From: j8takagi Date: Sun, 28 Nov 2010 16:57:55 +0000 (+0900) Subject: テストごとに詳細ログdeteil.logを作成するよう仕様追加 X-Git-Tag: 0.2p3~51 X-Git-Url: https://j8takagi.net/cgi-bin/gitweb.cgi?a=commitdiff_plain;h=ab84b0bbed2ed96d2ad0baa35b89f347859cd3b4;p=autotest_mk.git テストごとに詳細ログdeteil.logを作成するよう仕様追加 --- diff --git a/template/Define.mk b/template/Define.mk index 44c12c9..18813ff 100644 --- a/template/Define.mk +++ b/template/Define.mk @@ -4,50 +4,15 @@ ifndef DEFINE_INCLUDED DEFINE_INCLUDED = 1 -###################################################################### -# テストグループのディレクトリー -###################################################################### - -# テストグループとテストの両方で使う変数を定義したファイル -DEF_FILE := Define.mk - -# テストのMakefileにインクルードするファイル -TEST_MAKEFILE := Test.mk +# 現在の日時 +DATE = $(shell date +"%F %T") -###################################################################### -# テストのディレクトリー -###################################################################### +# 現在のディレクトリー +CURRDIR = $(shell pwd) # Makefile MAKEFILE := Makefile -# テストコマンドファイル -CMD_FILE := cmd - -# テスト説明ファイル -DESC_FILE := desc.txt - -# テスト想定結果ファイル -TEST0_FILE := 0.txt - -# テスト結果ファイル -TEST1_FILE := 1.txt - -# テストの、想定結果と結果の差分ファイル -DIFF_FILE := diff.txt - -# テストエラーファイル -ERR_FILE := err.txt - -# テストログファイル -LOG_FILE := test.log - -# 実行時間ファイル -TIME_FILE := time.log - -# 現在の日時 -DATE = $(shell date +"%F %T") - ###################################################################### # コマンド ###################################################################### @@ -70,8 +35,17 @@ DEV_NULL ?= /dev/null CHMOD ?= chmod +GREP ?= grep + +LINECOUNT ?= wc -l + +FIND ?= find + +TR ?= tr + +EXPR ?= expr ###################################################################### -# マクロ +# テストグループとテストでの共通マクロ ###################################################################### # chk_var_null: 引数がNULLの場合、エラー @@ -92,4 +66,60 @@ define chk_file_notext $(if $(wildcard $1),,$(error $1 not exists in $(CURRDIR))) endef +###################################################################### +# テストグループのディレクトリー +###################################################################### + +# テストグループとテストの変数を定義したMakefile +DEF_FILE := Define.mk + +# テストグループの変数を定義したMakefile +DEF_GROUP_FILE := Define_group.mk + +# テストの変数を定義したMakefile +DEF_TEST_FILE := Define_test.mk + +# テストのターゲットを定義したMakefile +TEST_MAKEFILE := Test.mk + +# すべてのMakefile群 +MAKEFILES := $(DEF_FILE) $(DEF_GROUP_FILE) $(DEF_TEST_FILE) $(TEST_MAKEFILE) + +# テストごとのMakefileでインクルードするMakefile群 +TEST_MAKEFILES := $(DEF_FILE) $(DEF_TEST_FILE) $(TEST_MAKEFILE) + +###################################################################### +# テストのディレクトリー +###################################################################### + +# テストコマンドファイル +CMD_FILE := cmd + +# テスト説明ファイル +DESC_FILE := desc.txt + +# テスト想定結果ファイル +TEST0_FILE := 0.txt + +# テスト結果ファイル +TEST1_FILE := 1.txt + +# テストの、想定結果と結果の差分ファイル +DIFF_FILE := diff.txt + +# テストエラーファイル +ERR_FILE := err.txt + +# テストログファイル +LOG_FILE := test.log + +# 実行時間ファイル +TIME_FILE := time.log + +# テスト詳細レポートファイル +DETAIL_FILE := detail.log + +# テストの結果として作成されるファイル群 +TEST_RES_FILES := $(TEST1_FILE) $(DIFF_FILE) $(ERR_FILE) $(LOG_FILE) $(DETAIL_FILE) $(TIME_FILE) + endif diff --git a/template/Define_group.mk b/template/Define_group.mk new file mode 100644 index 0000000..f3cda2c --- /dev/null +++ b/template/Define_group.mk @@ -0,0 +1,95 @@ +###################################################################### +# テストグループのディレクトリー +# ほかに、Define.mkでも一部定義 +###################################################################### + +# グループディレクトリー +GROUP_DIR := $(CURRDIR) + +# グループ名。ディレクトリ名から取得 +GROUP := $(notdir $(GROUP_DIR)) + +# テスト名。カレントディレクトリー内の、名前が大文字または.以外で始まるディレクトリー +TESTS = $(notdir $(shell $(FIND) -maxdepth 1 -name "[^A-Z.]*" -type d)) + +# テストグループログファイル +GROUP_LOG_FILE := $(shell $(ECHO) $(GROUP) | $(TR) '[a-z]' '[A-Z]').log + +# テストグループレポートファイル +GROUP_REPORT_FILE := Report.log + +# テストグループ実行時間ファイル +GROUP_TIME_FILE := $(shell echo $(GROUP) | $(TR) '[a-z]' '[A-Z]')_time.log + +# グループで、テスト結果として作成されるファイル群 +GROUP_RES_FILES := $(GROUP_LOG_FILE) $(GROUP_REPORT_FILE) $(GROUP_TIME_FILE) + +# テストごとのログファイル +TEST_LOG_FILES := $(foreach test,$(TESTS),$(test)/$(LOG_FILE)) + +###################################################################### +# テストグループのマクロ +###################################################################### + +# 指定したディレクトリーを作成 +# 用例: $(call create_dir,name) +define create_dir + $(call chk_var_null,$1) + $(call chk_file_ext,$1) + $(MKDIR) $1 +endef + +# リストで指定された親ディレクトリーにあるMakefileをインクルードするMakefileを作成 +# 用例: $(call create_makefile,file,list_include_file) +define create_makefile + $(RM) $1 + $(foreach infile,$2,$(ECHO) "include ../$(infile)" >>$1; ) +endef + +# テストごとのファイルをグループファイルに出力 +# 引数は、テストのリスト、グループファイル、テストファイル +# 用例: $(call group_log,files_test_log,file_group_log) +define group_log + $(foreach target,$1,$(call group_log_each,$(target),$2)) +endef + +# テストのログファイルをグループログファイルに出力。引数は、テスト、グループログファイル +# 用例: $(call group_log_each,file_test_log,file_group_log) +define group_log_each + if test -s $1; then $(CAT) $1 >>$2; else $(ECHO) $(dir $1)": no log" >>$2; fi + $(ECHO) >>$2; + +endef + +# 成功したテストの数。テストグループログファイルから取得 +SUCCESS_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Success" $(GROUP_LOG_FILE) | $(LINECOUNT)) + +# 失敗したテストの数。テストグループログファイルから取得 +FAIL_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Failure" $(GROUP_LOG_FILE) | $(LINECOUNT)) + +# すべてのテストの数 +ALL_TEST = $(shell $(EXPR) $(SUCCESS_TEST) + $(FAIL_TEST)) + +# テストごとの実行時間ファイル +TEST_TIME_FILES := $(foreach test,$(TESTS),$(test)/$(TIME_FILE)) + +# テストの結果を、グループログファイルを元にレポート。 +# 引数は、グループ名、グループログファイル、グループレポートファイル +# 用例: $(call group_report,name,file_log,file_report) +define group_report + $(ECHO) "$1: $(SUCCESS_TEST) / $(ALL_TEST) tests passed. Detail in $(GROUP_DIR)/$2" >$3; + if test $(FAIL_TEST) -eq 0; then $(ECHO) "$1: All tests are succeded." >>$3; fi +endef + +# リストで指定したディレクトリーでmakeを実行 +# 用例: $(call make_tests,list_dir,target) +define make_tests + $(foreach dir,$1,$(call make_test_each,$(dir),$2)) +endef + +# 指定したディレクトリーでmakeを実行 +# 用例: $(call make_test_each,tests,target) +define make_test_each + $(MAKE) $2 -sC $1; + +endef diff --git a/template/Define_test.mk b/template/Define_test.mk new file mode 100644 index 0000000..78394cb --- /dev/null +++ b/template/Define_test.mk @@ -0,0 +1,80 @@ +###################################################################### +# マクロ +###################################################################### + +# 引数のファイルをチェックし、内容がない場合は削除 +# 用例: $(call rm_null,file) +define rm_null + if test ! -s $1; then $(RM) $1; fi +endef + +# 説明ファイルの内容を、引数のファイルに出力 +# 用例: $(call desc_log,file_out) +define desc_log + if test -s $(DESC_FILE); then $(CAT) $(DESC_FILE) >>$1; fi +endef + +# テスト実行の経過時間を、ファイルに出力して表示 +# 引数は、テスト名、コマンドファイル、出力ファイル +# 用例: $(call time_cmd,name,file_cmd,file_out) +define time_cmd + $(call chk_file_notext,$2) + $(CHMOD) u+x $2 + $(TIME) -f"$1: %E" -o $3 ./$2 >$(DEV_NULL) 2>&1 +endef + +# テスト実行コマンド。引数は、コマンドファイル、出力ファイル、エラーファイル +# コマンドファイルを実行し、標準出力を出力ファイルに保存。 +# エラー発生時は、エラー出力を出力ファイルとエラーファイルに保存。 +# 用例: $(call exec_cmd,file_cmd,file_out,file_err) +define exec_cmd + $(call chk_file_notext,$1) + $(CHMOD) u+x $1 + ./$1 >>$2 2>$3 + if test -s $3; then $(CAT) $3 >>$2; fi + $(call rm_null,$3) +endef + +# 2つのファイルを比較し、差分ファイルを作成 +# 引数は、2ファイルのリスト、差分ファイル +# 用例: $(call diff_files,files,file_out) +define diff_files + $(DIFF) $1 >$2 2>&1 + $(call rm_null,$2) +endef + +# 差分ファイルの内容をログファイルに出力 +# 引数は、テスト名、差分ファイル、ログファイル +# 用例: $(call test_log,name,file_diff,file_log) +define test_log + $(call desc_log,$3) + if test ! -s $2; then RES=Success; else RES=Failure; fi; $(ECHO) "$1: Test $$RES $(DATE)" >>$3 + $(ECHO) "Detail in $(CURRDIR)/$(DETAIL_FILE)" >>$3 +endef + +# NODISPが設定されていない時は、ログファイルを表示 +# 引数は、ログファイル +# 用例: $(call disp_test_log,file_log) +define disp_test_log + $(if $(NODISP),,$(CAT) $1) +endef + +# ファイル群から、ファイル名とファイルの内容を出力 +# 引数は、対象ファイル群、出力ファイル +# 用例: $(call report_files,list_file_target,file_out) +define report_files + $(call chk_file_ext,$2) + $(foreach tfile,$1,$(call report_file,$(tfile),$2)) +endef + +# ファイル名とファイルの内容を出力 +# 引数は、対象ファイル、出力ファイル +# 用例: $(call report_file,file_target,file_out) +define report_file + $(call chk_var_null,$1) + if test -s $1; then $(ECHO) "== $1 ==" >>$2; $(call echo_hr,$2); cat $1 >>$2; $(call echo_hr,$2); $(ECHO) >>$2; fi +endef + +define echo_hr + $(ECHO) "----------------------------------------------------------------------" >>$1 +endef diff --git a/template/Group.mk b/template/Group.mk index 2214574..e22d03c 100644 --- a/template/Group.mk +++ b/template/Group.mk @@ -13,102 +13,8 @@ SHELL = /bin/sh -###################################################################### -# テストグループの定義 -###################################################################### - include Define.mk - -# グループディレクトリー -GROUP_DIR := $(shell pwd) - -# グループ名。ディレクトリ名から取得 -GROUP := $(notdir $(GROUP_DIR)) - -# テスト名。カレントディレクトリー内の、名前が大文字または.以外で始まるディレクトリー -TESTS = $(notdir $(shell find -maxdepth 1 -name "[^A-Z.]*" -type d)) - -# テストグループログファイル -GROUP_LOG_FILE := $(shell echo $(GROUP) | tr '[a-z]' '[A-Z]').log - -# テストグループレポートファイル -GROUP_REPORT_FILE := Report.log - -# テストグループ実行時間ファイル -GROUP_TIME_FILE := $(shell echo $(GROUP) | tr '[a-z]' '[A-Z]')_time.log - -# グループで、テスト時に作成されるファイル群 -GROUP_TEMP_FILES := $(GROUP_LOG_FILE) $(GROUP_REPORT_FILE) $(GROUP_TIME_FILE) - -# テストごとのログファイル -TEST_LOG_FILES := $(foreach test,$(TESTS),$(test)/$(LOG_FILE)) - -# 指定したディレクトリーを作成 -# 用例: $(call create_dir,name) -define create_dir - $(call chk_var_null,$1) - $(call chk_file_ext,$1) - $(MKDIR) $1 -endef - -# テストごとのMakefileを作成 -# 用例: $(call create_makefile,file) -define create_makefile - $(RM) $1 - $(foreach mkfile,$(DEF_FILE) $(TEST_MAKEFILE),$(ECHO) "include ../$(mkfile)" >>$1; ) -endef - -# テストごとのファイルをグループファイルに出力 -# 引数は、テストのリスト、グループファイル、テストファイル -# 用例: $(call group_log,files_test_log,file_group_log) -define group_log - $(foreach target,$1,$(call group_log_each,$(target),$2)) -endef - -# テストのログファイルをグループログファイルに出力。引数は、テスト、グループログファイル -# 用例: $(call group_log_each,file_test_log,file_group_log) -define group_log_each - if test -s $1; then $(CAT) $1 >>$2; else $(ECHO) $(dir $1)": no log" >>$2; fi - echo >>$2; - -endef - -# 成功したテストの数。テストグループログファイルから取得 -SUCCESS_TEST = $(shell grep "^[^A-Z.].*: Test Success" $(GROUP_LOG_FILE) | wc -l) - -# 失敗したテストの数。テストグループログファイルから取得 -FAIL_TEST = $(shell grep "^[^A-Z.].*: Test Failure" $(GROUP_LOG_FILE) | wc -l) - -# すべてのテストの数 -ALL_TEST = $(shell expr $(SUCCESS_TEST) + $(FAIL_TEST)) - -# テストごとの実行時間ファイル -TEST_TIME_FILES := $(foreach test,$(TESTS),$(test)/$(TIME_FILE)) - -# テストの結果を、グループログファイルを元にレポート。 -# 引数は、グループログファイル -# 用例: $(call group_report,name,file_log,file_report) -define group_report - $(ECHO) "$1: $(SUCCESS_TEST) / $(ALL_TEST) tests passed. Details in $(GROUP_DIR)/$2" >$3; - if test $(FAIL_TEST) -eq 0; then $(ECHO) "$1: All tests are succeded." >>$3; fi -endef - -# リストで指定したディレクトリーでmakeを実行 -# 用例: $(call make_tests,list_dir,target) -define make_tests - $(foreach dir,$1,$(call make_test_each,$(dir),$2)) -endef - -# 指定したディレクトリーでMakeを実行 -# 用例: $(call make_test_each,tests,target) -define make_test_each - $(MAKE) $2 -sC $1; - -endef - -###################################################################### -# ターゲット -###################################################################### +include Define_group.mk .PHONY: check checkall time create clean cleantime @@ -120,11 +26,11 @@ time: cleantime $(GROUP_TIME_FILE) create: @$(call create_dir,$(TEST)) - @$(call create_makefile,$(TEST)/$(MAKEFILE)) + @$(call create_makefile,$(TEST)/$(MAKEFILE),$(TEST_MAKEFILES)) clean: @$(call make_tests,$(TESTS),$@) - @$(RM) $(GROUP_TEMP_FILES) + @$(RM) $(GROUP_RES_FILES) cleantime: @$(call make_tests,$(TESTS),$@) @@ -137,7 +43,7 @@ $(GROUP_LOG_FILE): $(TEST_LOG_FILES) @$(call group_log,$^,$@) $(TEST_LOG_FILES): - @$(MAKE) $(MAKECMDGOALS) -sC $(dir $@) + @$(MAKE) $(MAKECMDGOALS) -sC $(dir $@) NODISP=1 $(GROUP_TIME_FILE): $(TEST_TIME_FILES) @$(call group_log,$^,$@) diff --git a/template/Makefile b/template/Makefile index 0385c8f..2160a36 100644 --- a/template/Makefile +++ b/template/Makefile @@ -2,8 +2,10 @@ # テストグループ作成のMakefile # # オペレーター -# make : テストグループディレクトリーを作成 -# make creategroup: ↓ +# make : テストグループディレクトリーを作成し、Makefile群をコピー +# make creategroup : ↓ +# make creategroupdir: テストグループディレクトリーを作成 +# make copymakefile : Makefile群をコピー # 変数やマクロの定義 include Define.mk @@ -11,11 +13,15 @@ include Define.mk # テストグループのMakefileとしてコピーされるファイル GROUP_MAKEFILE := Group.mk -# テストグループディレクトリーを作成 -creategroup: +.PHONY: creategroup creategroupdir copymakefiles + +creategroup: creategroupdir copymakefiles + +creategroupdir: @$(call err_var_null,GROUPDIR) @$(call err_file_ext,GROUPDIR) @$(MKDIR) $(GROUPDIR) + +copymakefiles: @$(CP) $(GROUP_MAKEFILE) $(GROUPDIR)/Makefile - @$(CP) $(TEST_MAKEFILE) $(GROUPDIR)/ - @$(CP) $(DEF_FILE) $(GROUPDIR)/ + @$(CP) $(MAKEFILES) $(GROUPDIR)/ diff --git a/template/Test.mk b/template/Test.mk index 600e777..edfa278 100644 --- a/template/Test.mk +++ b/template/Test.mk @@ -1,7 +1,7 @@ # autotest.mk > test_template > Test.mk # 自動テスト用のMakefile # -# 要: Define.mk +# 要: Define.mk Define_test.mk # # オペレーター # make : CMDの標準出力をTEST1_FILEに保存したあと、TEST0_FILEとの差分を比較し、結果をLOG_FILEに出力 @@ -15,72 +15,17 @@ SHELL = /bin/sh -###################################################################### -# マクロ -###################################################################### - -# 引数のファイルをチェックし、内容がない場合は削除 -# 用例: $(call rm_null,file) -define rm_null - if test ! -s $1; then $(RM) $1; fi -endef - -# 説明ファイルの内容を、引数のファイルに出力。 -# 用例: $(call desc_log,file_out) -define desc_log - if test -s $(DESC_FILE); then $(CAT) $(DESC_FILE) >>$1; fi -endef - -# テスト実行の経過時間を、ファイルに出力して表示。 -# 引数は、テスト名、コマンドファイル、出力ファイル -# 用例: $(call time_cmd,name,file_cmd,file_out) -define time_cmd - $(call chk_file_notext,$2) - $(CHMOD) u+x $2 - $(TIME) -f"$1: %E" -o $3 ./$2 >$(DEV_NULL) 2>&1 -endef - -# テスト実行コマンド。引数は、コマンドファイル、出力ファイル、エラーファイル -# ファイルの内容と、CMD_FILE実行の標準出力を、出力ファイルに保存。 -# エラー発生時は、エラー出力を出力ファイルとエラーファイルに保存。 -# 用例: $(call exec_cmd,file_cmd,file_out,file_err) -define exec_cmd - $(call chk_file_notext,$1) - $(CAT) $1 >$2 - $(CHMOD) u+x $1 - ./$1 >>$2 2>$3 - if test -s $3; then $(CAT) $3 >>$2; fi - $(call rm_null,$3) -endef - -# 2つのファイルを比較し、差分ファイルを作成。 -# 引数は、2ファイルのリスト、差分ファイル -# 用例: $(call diff_files,files,file_out) -define diff_files - $(DIFF) $1 >$2 2>&1 - $(call rm_null,$2) -endef - -# 差分ファイルの内容をログファイルに出力。 -# 引数は、テスト名、差分ファイル、ログファイル -# 用例: $(call test_log,name,file_diff,file_log) -define test_log - if test ! -s $2; then RES=Success; else RES=Failure; fi; $(ECHO) "$1: Test $$RES $(DATE)" >>$3 -endef - # テスト名。カレントディレクトリー名から取得 -TEST = $(notdir $(shell pwd)) - -###################################################################### -# ターゲット -###################################################################### +TEST = $(notdir $(CURRDIR)) .PHONY: check set reset time cleantime clean cleanall -check: clean $(LOG_FILE) +check: clean $(DETAIL_FILE) + @$(call disp_test_log,$(LOG_FILE)) checkall: check $(TIME_FILE) @$(CAT) $(TIME_FILE) >>$(LOG_FILE) + @$(call disp_test_log,$(LOG_FILE)) set: $(TEST0_FILE) @$(CAT) $^ @@ -94,7 +39,7 @@ cleantime: @$(RM) $(TIME_FILE) clean: - @$(RM) $(TEST1_FILE) $(DIFF_FILE) $(LOG_FILE) $(ERR_FILE) $(TIME_FILE) + @$(RM) $(TEST_RES_FILES) cleanall: clean @$(RM) $(TEST0_FILE) @@ -107,12 +52,14 @@ $(TEST0_FILE) $(TEST1_FILE): $(CMD_FILE) @-$(call exec_cmd,$^,$@,$(ERR_FILE)) $(DIFF_FILE): $(TEST0_FILE) $(TEST1_FILE) + @$(call chk_file_notext,$(TEST0_FILE)) @-$(call diff_files,$^,$@) $(LOG_FILE): $(DIFF_FILE) - @$(RM) $@ - @$(call desc_log,$@) @$(call test_log,$(TEST),$^,$@) +$(DETAIL_FILE): $(LOG_FILE) + @$(call report_files,$(LOG_FILE) $(CMD_FILE) $(TEST0_FILE) $(ERR_FILE) $(DIFF_FILE) $(TEST1_FILE),$@) + $(TIME_FILE): $(CMD_FILE) @-$(call time_cmd,$(TEST),$^,$@)