check:
$(MAKE) -sC test
-
ifndef DEFINE_INCLUDED
DEFINE_INCLUDED = 1
-######################################################################
-# テストグループのディレクトリー
-######################################################################
-
-# テストグループとテストの両方で使う変数を定義したファイル
-DEF_FILE := Define.mk
-
-# テストのMakefileにインクルードするファイル
-TEST_MAKEFILE := Test.mk
+# 現在の日時
+DATE = $(shell date +"%F %T")
-######################################################################
-# テストのディレクトリー
-######################################################################
+# 現在のディレクトリー
+CURRDIR = $(shell pwd)
# Makefile
MAKEFILE := Makefile
-# テストコマンドファイル
-CMD_FILE := cmd
-
-# テスト説明ファイル
-DESC_FILE := desc.txt
-
-# テスト想定結果ファイル
-TEST0_FILE := 0.txt
-
-# テスト結果ファイル
-TEST1_FILE := 1.txt
-
-# テストの、想定結果と結果の差分ファイル
-DIFF_FILE := diff.txt
-
-# テストエラーファイル
-ERR_FILE := err.txt
-
-# テストログファイル
-LOG_FILE := test.log
-
-# 実行時間ファイル
-TIME_FILE := time.log
-
-# 現在の日時
-DATE = $(shell date +"%F %T")
-
######################################################################
# コマンド
######################################################################
CHMOD ?= chmod
+GREP ?= grep
+
+LINECOUNT ?= wc -l
+
+FIND ?= find
+
+TR ?= tr
+
+EXPR ?= expr
######################################################################
-# マクロ
+# ã\83\86ã\82¹ã\83\88ã\82°ã\83«ã\83¼ã\83\97ã\81¨ã\83\86ã\82¹ã\83\88ã\81§ã\81®å\85±é\80\9aã\83\9eã\82¯ã\83
######################################################################
# chk_var_null: 引数がNULLの場合、エラー
$(if $(wildcard $1),,$(error $1 not exists in $(CURRDIR)))
endef
+######################################################################
+# テストグループのディレクトリー
+######################################################################
+
+# テストグループとテストの変数を定義したMakefile
+DEF_FILE := Define.mk
+
+# テストグループの変数を定義したMakefile
+DEF_GROUP_FILE := Define_group.mk
+
+# テストの変数を定義したMakefile
+DEF_TEST_FILE := Define_test.mk
+
+# テストのターゲットを定義したMakefile
+TEST_MAKEFILE := Test.mk
+
+# すべてのMakefile群
+MAKEFILES := $(DEF_FILE) $(DEF_GROUP_FILE) $(DEF_TEST_FILE) $(TEST_MAKEFILE)
+
+# テストごとのMakefileでインクルードするMakefile群
+TEST_MAKEFILES := $(DEF_FILE) $(DEF_TEST_FILE) $(TEST_MAKEFILE)
+
+######################################################################
+# テストのディレクトリー
+######################################################################
+
+# テストコマンドファイル
+CMD_FILE := cmd
+
+# テスト説明ファイル
+DESC_FILE := desc.txt
+
+# テスト想定結果ファイル
+TEST0_FILE := 0.txt
+
+# テスト結果ファイル
+TEST1_FILE := 1.txt
+
+# テストの、想定結果と結果の差分ファイル
+DIFF_FILE := diff.txt
+
+# テストエラーファイル
+ERR_FILE := err.txt
+
+# テストログファイル
+LOG_FILE := test.log
+
+# 実行時間ファイル
+TIME_FILE := time.log
+
+# テスト詳細レポートファイル
+DETAIL_FILE := detail.log
+
+# テストの結果として作成されるファイル群
+TEST_RES_FILES := $(TEST1_FILE) $(DIFF_FILE) $(ERR_FILE) $(LOG_FILE) $(DETAIL_FILE) $(TIME_FILE)
+
endif
--- /dev/null
+######################################################################
+# テストグループのディレクトリー
+# ほかに、Define.mkでも一部定義
+######################################################################
+
+# グループディレクトリー
+GROUP_DIR := $(CURRDIR)
+
+# グループ名。ディレクトリ名から取得
+GROUP := $(notdir $(GROUP_DIR))
+
+# テスト名。カレントディレクトリー内の、名前が大文字または.以外で始まるディレクトリー
+TESTS = $(notdir $(shell $(FIND) -maxdepth 1 -name "[^A-Z.]*" -type d))
+
+# テストグループログファイル
+GROUP_LOG_FILE := $(shell $(ECHO) $(GROUP) | $(TR) '[a-z]' '[A-Z]').log
+
+# テストグループレポートファイル
+GROUP_REPORT_FILE := Report.log
+
+# テストグループ実行時間ファイル
+GROUP_TIME_FILE := $(shell echo $(GROUP) | $(TR) '[a-z]' '[A-Z]')_time.log
+
+# グループで、テスト結果として作成されるファイル群
+GROUP_RES_FILES := $(GROUP_LOG_FILE) $(GROUP_REPORT_FILE) $(GROUP_TIME_FILE)
+
+# テストごとのログファイル
+TEST_LOG_FILES := $(foreach test,$(TESTS),$(test)/$(LOG_FILE))
+
+######################################################################
+# テストグループのマクロ
+######################################################################
+
+# 指定したディレクトリーを作成
+# 用例: $(call create_dir,name)
+define create_dir
+ $(call chk_var_null,$1)
+ $(call chk_file_ext,$1)
+ $(MKDIR) $1
+endef
+
+# リストで指定された親ディレクトリーにあるMakefileをインクルードするMakefileを作成
+# 用例: $(call create_makefile,file,list_include_file)
+define create_makefile
+ $(RM) $1
+ $(foreach infile,$2,$(ECHO) "include ../$(infile)" >>$1; )
+endef
+
+# テストごとのファイルをグループファイルに出力
+# 引数は、テストのリスト、グループファイル、テストファイル
+# 用例: $(call group_log,files_test_log,file_group_log)
+define group_log
+ $(foreach target,$1,$(call group_log_each,$(target),$2))
+endef
+
+# テストのログファイルをグループログファイルに出力。引数は、テスト、グループログファイル
+# 用例: $(call group_log_each,file_test_log,file_group_log)
+define group_log_each
+ if test -s $1; then $(CAT) $1 >>$2; else $(ECHO) $(dir $1)": no log" >>$2; fi
+ $(ECHO) >>$2;
+
+endef
+
+# 成功したテストの数。テストグループログファイルから取得
+SUCCESS_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Success" $(GROUP_LOG_FILE) | $(LINECOUNT))
+
+# 失敗したテストの数。テストグループログファイルから取得
+FAIL_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Failure" $(GROUP_LOG_FILE) | $(LINECOUNT))
+
+# すべてのテストの数
+ALL_TEST = $(shell $(EXPR) $(SUCCESS_TEST) + $(FAIL_TEST))
+
+# テストごとの実行時間ファイル
+TEST_TIME_FILES := $(foreach test,$(TESTS),$(test)/$(TIME_FILE))
+
+# テストの結果を、グループログファイルを元にレポート。
+# 引数は、グループ名、グループログファイル、グループレポートファイル
+# 用例: $(call group_report,name,file_log,file_report)
+define group_report
+ $(ECHO) "$1: $(SUCCESS_TEST) / $(ALL_TEST) tests passed. Detail in $(GROUP_DIR)/$2" >$3;
+ if test $(FAIL_TEST) -eq 0; then $(ECHO) "$1: All tests are succeded." >>$3; fi
+endef
+
+# リストで指定したディレクトリーでmakeを実行
+# 用例: $(call make_tests,list_dir,target)
+define make_tests
+ $(foreach dir,$1,$(call make_test_each,$(dir),$2))
+endef
+
+# 指定したディレクトリーでmakeを実行
+# 用例: $(call make_test_each,tests,target)
+define make_test_each
+ $(MAKE) $2 -sC $1;
+
+endef
--- /dev/null
+######################################################################
+# マクロ
+######################################################################
+
+# 引数のファイルをチェックし、内容がない場合は削除
+# 用例: $(call rm_null,file)
+define rm_null
+ if test ! -s $1; then $(RM) $1; fi
+endef
+
+# 説明ファイルの内容を、引数のファイルに出力
+# 用例: $(call desc_log,file_out)
+define desc_log
+ if test -s $(DESC_FILE); then $(CAT) $(DESC_FILE) >>$1; fi
+endef
+
+# テスト実行の経過時間を、ファイルに出力して表示
+# 引数は、テスト名、コマンドファイル、出力ファイル
+# 用例: $(call time_cmd,name,file_cmd,file_out)
+define time_cmd
+ $(call chk_file_notext,$2)
+ $(CHMOD) u+x $2
+ $(TIME) -f"$1: %E" -o $3 ./$2 >$(DEV_NULL) 2>&1
+endef
+
+# テスト実行コマンド。引数は、コマンドファイル、出力ファイル、エラーファイル
+# コマンドファイルを実行し、標準出力を出力ファイルに保存。
+# エラー発生時は、エラー出力を出力ファイルとエラーファイルに保存。
+# 用例: $(call exec_cmd,file_cmd,file_out,file_err)
+define exec_cmd
+ $(call chk_file_notext,$1)
+ $(CHMOD) u+x $1
+ ./$1 >>$2 2>$3
+ if test -s $3; then $(CAT) $3 >>$2; fi
+ $(call rm_null,$3)
+endef
+
+# 2つのファイルを比較し、差分ファイルを作成
+# 引数は、2ファイルのリスト、差分ファイル
+# 用例: $(call diff_files,files,file_out)
+define diff_files
+ $(DIFF) $1 >$2 2>&1
+ $(call rm_null,$2)
+endef
+
+# 差分ファイルの内容をログファイルに出力
+# 引数は、テスト名、差分ファイル、ログファイル
+# 用例: $(call test_log,name,file_diff,file_log)
+define test_log
+ $(call desc_log,$3)
+ if test ! -s $2; then RES=Success; else RES=Failure; fi; $(ECHO) "$1: Test $$RES $(DATE)" >>$3
+ $(ECHO) "Detail in $(CURRDIR)/$(DETAIL_FILE)" >>$3
+endef
+
+# NODISPが設定されていない時は、ログファイルを表示
+# 引数は、ログファイル
+# 用例: $(call disp_test_log,file_log)
+define disp_test_log
+ $(if $(NODISP),,$(CAT) $1)
+endef
+
+# ファイル群から、ファイル名とファイルの内容を出力
+# 引数は、対象ファイル群、出力ファイル
+# 用例: $(call report_files,list_file_target,file_out)
+define report_files
+ $(call chk_file_ext,$2)
+ $(foreach tfile,$1,$(call report_file,$(tfile),$2))
+endef
+
+# ファイル名とファイルの内容を出力
+# 引数は、対象ファイル、出力ファイル
+# 用例: $(call report_file,file_target,file_out)
+define report_file
+ $(call chk_var_null,$1)
+ if test -s $1; then $(ECHO) "== $1 ==" >>$2; $(call echo_hr,$2); cat $1 >>$2; $(call echo_hr,$2); $(ECHO) >>$2; fi
+endef
+
+define echo_hr
+ $(ECHO) "----------------------------------------------------------------------" >>$1
+endef
-# autotest.mk > template > Group.mk
-# テストグループのMakefile
+# autotest.mk > test_template > Makefile
+# テストグループ作成のMakefile
#
# オペレーター
-# make : すべてのテストを実施し、ログファイルを作成
-# make check : ↓
-# make create : TESTNAMEで指定されたテストを新規に作成
-# make set : すべてのテストの、想定結果を出力
-# make checkeach: すべてのテストを実施
-# make report : ログファイルから、テストの結果をレポート
-# make clean : すべてのテストで、"make" で生成されたファイルをクリア
-# make cleanall: すべてのテストで、"make" と "make set" で生成されたファイルをクリア
-
-SHELL = /bin/sh
-
-######################################################################
-# テストグループの定義
-######################################################################
+# make : テストグループディレクトリーを作成し、Makefile群をコピー
+# make creategroup : ↓
+# make creategroupdir: テストグループディレクトリーを作成
+# make copymakefile : Makefile群をコピー
+# 変数やマクロの定義
include Define.mk
-# グループディレクトリー
-GROUP_DIR := $(shell pwd)
-
-# グループ名。ディレクトリ名から取得
-GROUP := $(notdir $(GROUP_DIR))
-
-# テスト名。カレントディレクトリー内の、名前が大文字または.以外で始まるディレクトリー
-TESTS = $(notdir $(shell find -maxdepth 1 -name "[^A-Z.]*" -type d))
-
-# テストグループログファイル
-GROUP_LOG_FILE := $(shell echo $(GROUP) | tr '[a-z]' '[A-Z]').log
-
-# テストグループレポートファイル
-GROUP_REPORT_FILE := Report.log
-
-# テストグループ実行時間ファイル
-GROUP_TIME_FILE := $(shell echo $(GROUP) | tr '[a-z]' '[A-Z]')_time.log
-
-# グループで、テスト時に作成されるファイル群
-GROUP_TEMP_FILES := $(GROUP_LOG_FILE) $(GROUP_REPORT_FILE) $(GROUP_TIME_FILE)
-
-# テストごとのログファイル
-TEST_LOG_FILES := $(foreach test,$(TESTS),$(test)/$(LOG_FILE))
-
-# 指定したディレクトリーを作成
-# 用例: $(call create_dir,name)
-define create_dir
- $(call chk_var_null,$1)
- $(call chk_file_ext,$1)
- $(MKDIR) $1
-endef
-
-# テストごとのMakefileを作成
-# 用例: $(call create_makefile,file)
-define create_makefile
- $(RM) $1
- $(foreach mkfile,$(DEF_FILE) $(TEST_MAKEFILE),$(ECHO) "include ../$(mkfile)" >>$1; )
-endef
-
-# テストごとのファイルをグループファイルに出力
-# 引数は、テストのリスト、グループファイル、テストファイル
-# 用例: $(call group_log,files_test_log,file_group_log)
-define group_log
- $(foreach target,$1,$(call group_log_each,$(target),$2))
-endef
-
-# テストのログファイルをグループログファイルに出力。引数は、テスト、グループログファイル
-# 用例: $(call group_log_each,file_test_log,file_group_log)
-define group_log_each
- if test -s $1; then $(CAT) $1 >>$2; else $(ECHO) $(dir $1)": no log" >>$2; fi
- echo >>$2;
-
-endef
-
-# 成功したテストの数。テストグループログファイルから取得
-SUCCESS_TEST = $(shell grep "^[^A-Z.].*: Test Success" $(GROUP_LOG_FILE) | wc -l)
-
-# 失敗したテストの数。テストグループログファイルから取得
-FAIL_TEST = $(shell grep "^[^A-Z.].*: Test Failure" $(GROUP_LOG_FILE) | wc -l)
-
-# すべてのテストの数
-ALL_TEST = $(shell expr $(SUCCESS_TEST) + $(FAIL_TEST))
-
-# テストごとの実行時間ファイル
-TEST_TIME_FILES := $(foreach test,$(TESTS),$(test)/$(TIME_FILE))
-
-# テストの結果を、グループログファイルを元にレポート。
-# 引数は、グループログファイル
-# 用例: $(call group_report,name,file_log,file_report)
-define group_report
- $(ECHO) "$1: $(SUCCESS_TEST) / $(ALL_TEST) tests passed. Details in $(GROUP_DIR)/$2" >$3;
- if test $(FAIL_TEST) -eq 0; then $(ECHO) "$1: All tests are succeded." >>$3; fi
-endef
-
-# リストで指定したディレクトリーでmakeを実行
-# 用例: $(call make_tests,list_dir,target)
-define make_tests
- $(foreach dir,$1,$(call make_test_each,$(dir),$2))
-endef
-
-# 指定したディレクトリーでMakeを実行
-# 用例: $(call make_test_each,tests,target)
-define make_test_each
- $(MAKE) $2 -sC $1;
-
-endef
-
-######################################################################
-# ターゲット
-######################################################################
-
-.PHONY: check checkall time create clean cleantime
-
-check checkall: clean $(GROUP_REPORT_FILE)
- @$(CAT) $(GROUP_REPORT_FILE)
-
-time: cleantime $(GROUP_TIME_FILE)
- @$(CAT) $(GROUP_TIME_FILE)
-
-create:
- @$(call create_dir,$(TEST))
- @$(call create_makefile,$(TEST)/$(MAKEFILE))
-
-clean:
- @$(call make_tests,$(TESTS),$@)
- @$(RM) $(GROUP_TEMP_FILES)
-
-cleantime:
- @$(call make_tests,$(TESTS),$@)
- @$(RM) $(GROUP_TIME_FILE)
-
-$(GROUP_REPORT_FILE): $(GROUP_LOG_FILE)
- @$(call group_report,$(GROUP),$^,$@)
+# テストグループのMakefileとしてコピーされるファイル
+GROUP_MAKEFILE := Group.mk
-$(GROUP_LOG_FILE): $(TEST_LOG_FILES)
- @$(call group_log,$^,$@)
+.PHONY: creategroup creategroupdir copymakefiles
-$(TEST_LOG_FILES):
- @$(MAKE) $(MAKECMDGOALS) -sC $(dir $@)
+creategroup: creategroupdir copymakefiles
-$(GROUP_TIME_FILE): $(TEST_TIME_FILES)
- @$(call group_log,$^,$@)
+creategroupdir:
+ @$(call err_var_null,GROUPDIR)
+ @$(call err_file_ext,GROUPDIR)
+ @$(MKDIR) $(GROUPDIR)
-$(TEST_TIME_FILES):
- @$(MAKE) time -sC $(dir $@)
+copymakefiles:
+ @$(CP) $(GROUP_MAKEFILE) $(GROUPDIR)/Makefile
+ @$(CP) $(MAKEFILES) $(GROUPDIR)/
# autotest.mk > test_template > Test.mk
# 自動テスト用のMakefile
#
-# 要: Define.mk
+# 要: Define.mk Define_test.mk
#
# オペレーター
# make : CMDの標準出力をTEST1_FILEに保存したあと、TEST0_FILEとの差分を比較し、結果をLOG_FILEに出力
SHELL = /bin/sh
-######################################################################
-# マクロ
-######################################################################
-
-# 引数のファイルをチェックし、内容がない場合は削除
-# 用例: $(call rm_null,file)
-define rm_null
- if test ! -s $1; then $(RM) $1; fi
-endef
-
-# 説明ファイルの内容を、引数のファイルに出力。
-# 用例: $(call desc_log,file_out)
-define desc_log
- if test -s $(DESC_FILE); then $(CAT) $(DESC_FILE) >>$1; fi
-endef
-
-# テスト実行の経過時間を、ファイルに出力して表示。
-# 引数は、テスト名、コマンドファイル、出力ファイル
-# 用例: $(call time_cmd,name,file_cmd,file_out)
-define time_cmd
- $(call chk_file_notext,$2)
- $(CHMOD) u+x $2
- $(TIME) -f"$1: %E" -o $3 ./$2 >$(DEV_NULL) 2>&1
-endef
-
-# テスト実行コマンド。引数は、コマンドファイル、出力ファイル、エラーファイル
-# ファイルの内容と、CMD_FILE実行の標準出力を、出力ファイルに保存。
-# エラー発生時は、エラー出力を出力ファイルとエラーファイルに保存。
-# 用例: $(call exec_cmd,file_cmd,file_out,file_err)
-define exec_cmd
- $(call chk_file_notext,$1)
- $(CAT) $1 >$2
- $(CHMOD) u+x $1
- ./$1 >>$2 2>$3
- if test -s $3; then $(CAT) $3 >>$2; fi
- $(call rm_null,$3)
-endef
-
-# 2つのファイルを比較し、差分ファイルを作成。
-# 引数は、2ファイルのリスト、差分ファイル
-# 用例: $(call diff_files,files,file_out)
-define diff_files
- $(DIFF) $1 >$2 2>&1
- $(call rm_null,$2)
-endef
-
-# 差分ファイルの内容をログファイルに出力。
-# 引数は、テスト名、差分ファイル、ログファイル
-# 用例: $(call test_log,name,file_diff,file_log)
-define test_log
- if test ! -s $2; then RES=Success; else RES=Failure; fi; $(ECHO) "$1: Test $$RES $(DATE)" >>$3
-endef
-
# テスト名。カレントディレクトリー名から取得
-TEST = $(notdir $(shell pwd))
-
-######################################################################
-# ターゲット
-######################################################################
+TEST = $(notdir $(CURRDIR))
.PHONY: check set reset time cleantime clean cleanall
-check: clean $(LOG_FILE)
+check: clean $(DETAIL_FILE)
+ @$(call disp_test_log,$(LOG_FILE))
checkall: check $(TIME_FILE)
@$(CAT) $(TIME_FILE) >>$(LOG_FILE)
+ @$(call disp_test_log,$(LOG_FILE))
set: $(TEST0_FILE)
@$(CAT) $^
@$(RM) $(TIME_FILE)
clean:
- @$(RM) $(TEST1_FILE) $(DIFF_FILE) $(LOG_FILE) $(ERR_FILE) $(TIME_FILE)
+ @$(RM) $(TEST_RES_FILES)
cleanall: clean
@$(RM) $(TEST0_FILE)
@-$(call exec_cmd,$^,$@,$(ERR_FILE))
$(DIFF_FILE): $(TEST0_FILE) $(TEST1_FILE)
+ @$(call chk_file_notext,$(TEST0_FILE))
@-$(call diff_files,$^,$@)
$(LOG_FILE): $(DIFF_FILE)
- @$(RM) $@
- @$(call desc_log,$@)
@$(call test_log,$(TEST),$^,$@)
+$(DETAIL_FILE): $(LOG_FILE)
+ @$(call report_files,$(LOG_FILE) $(CMD_FILE) $(TEST0_FILE) $(ERR_FILE) $(DIFF_FILE) $(TEST1_FILE),$@)
+
$(TIME_FILE): $(CMD_FILE)
@-$(call time_cmd,$(TEST),$^,$@)
-cat in.txt && ../../hoc1 < in.txt
1+2
1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9 + 10
1.23 + 5.43
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
-cat in.txt && ../../hoc1 < in.txt
9999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 + 1
9999999999999999860310597602564577717002641838126363875249660735883565852672743849064846414228960666786379280392654615393353172850252103336275952370615397010730691664689375178569039851073146339641623266071126720011020169553304018596457812688561947201171488461172921822139066929851282122002676667750021070848.00000000000000000000
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
--- /dev/null
+hoc1 - bignum 巨大な数
-cat in.txt && ../../hoc1 < in.txt
4 / 2
4 / 3
4 / 1
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
-cat in.txt && ../../hoc1 < in.txt
4 / 2
4 / 3
4 / 1
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
-cat in.txt && ../../hoc1 < in.txt
1.23e-100 + 5.43e-100
6.66000000000000021436e-100
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
--- /dev/null
+hoc1 - minnum ごく小さい数
-cat in.txt && ../../hoc1 < in.txt
(1 + 2) * (3 + 4)
1 + 2 * 3 + 4
(1 + 2) / (3 + 4)
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
-cat in.txt && ../../hoc1 < in.txt
2 * 3
3 * 2
2 * 1
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
-cat in.txt && ../../hoc1 < in.txt
4 * (1 - 1/3 + 1/5 - 1/7 + 1/9)
4 * (1 - 1/3 + 1/5 - 1/7 + 1/9 - 1/11 + 1/13 - 1/15 + 1/17 - 1/19)
4 * (1 - 1/3 + 1/5 - 1/7 + 1/9 - 1/11 + 1/13 - 1/15 + 1/17 - 1/19 + 1/21 - 1/23 + 1/25 - 1/27 + 1/29 - 1/31 + 1/33 - 1/35 + 1/37 - 1/39 + 1/41)
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
-cat in.txt && ../../hoc1 < in.txt
2 - 1
2 - 2
2 - 3
include ../Define.mk
+include ../Define_test.mk
include ../Test.mk
projects / autotest_mk.git / commitdiff