CASL II仕様書のバージョンとURLの変更に対応
[YACASL2.git] / test / Template / Test.mk
1 # autotest.mk > test_template > Test.mk
2 # 自動テスト用のMakefile
3 #
4 # 要: Define.mk
5 #
6 # オペレーター
7 # make         : CMDの標準出力をTEST1_FILEに保存したあと、TEST0_FILEとの差分を比較し、結果をLOG_FILEに出力
8 # make check   : ↓
9 # make set     : CMDの標準出力をTEST0_FILEに保存。TEST0_FILEが存在する場合は実行しない
10 # make reset   : CMDの標準出力をTEST0_FILEに保存。TEST0_FILEが存在する場合は上書き
11 # make time    : CMDの実行にかかった時間をTIME_FILEに保存し、出力
12 # make time-clean: "make time" で作成されたファイルをクリア
13 # make valgrind: valgrind CMDの標準出力をVARGRIND_FILEに保存
14 # make clean   : "make" で作成されたファイルをクリア
15 # make all-clean: "make" と "make set" で作成されたファイルをクリア
16
17 ######################################################################
18 # マクロ
19 ######################################################################
20 # 指定されたファイルをチェックし、空の場合は削除
21 # 引数は、対象ファイル
22 # 用例: $(call rm_null,file_target)
23 define rm_null
24     if test ! -s $1; then $(RM) $1; fi
25 endef
26
27 # 説明ファイルの内容を、指定されたファイルに出力
28 # 引数は、出力ファイル
29 # 用例: $(call desc_log,file_out)
30 define desc_log
31     if test -s $(DESC_FILE); then $(CAT) $(DESC_FILE) >>$1; fi
32 endef
33
34 # テスト実行の経過時間を、指定されたファイルに出力して表示
35 # 引数は、テスト名、コマンドファイル、出力ファイル
36 # 用例: $(call time_cmd,file_cmd,file_out)
37 define time_cmd
38     if test ! -x $1; then $(CHMOD) u+x $1; fi
39     ($(TIME) ./$1 1>$(DEV_NULL) 2>$(DEV_NULL)) 2>&1 | $(GREP) '^real' >$2
40 endef
41
42 VALGRIND_CMD = $(strip $(shell if test -s $(VALGRIND_CMD_FILE); then $(CAT) $(VALGRIND_CMD_FILE); elif test "`$(FILE) $(CMD_FILE)`" = "data"; then $(CAT) $(CMD_FILE); else $(PRINTF) "./$(CMD_FILE)"; fi))
43
44 # valgrindによるメモリーチェック結果を、指定されたファイルに出力して表示
45 # 引数は、テスト名、コマンドファイル、出力ファイル
46 # 用例: $(call valgrind_cmd,file_cmd,file_out)
47 define valgrind_cmd
48     -$(VALGRIND) $(VALGRINDFLAG) $(VALGRIND_CMD) 1>/dev/null 2>&1
49 endef
50
51 # テスト実行コマンド
52 # コマンドファイルを実行し、標準出力を指定されたファイルに保存。
53 # エラー発生時は、エラー出力を出力ファイルとエラーファイルに保存。
54 # 引数は、コマンドファイル、出力ファイル、エラーファイル
55 # 用例: $(call exec_cmd,file_cmd,file_out,file_err)
56 define exec_cmd
57     if test ! -x $1; then $(CHMOD) u+x $1; fi
58     ./$1 >>$2 2>$3
59     if test -s $3; then $(CAT) $3 >>$2; fi
60     $(MV) $2 $2.tmp && $(SED) -e "s%$(CURDIR)%\$$PWD%g" $2.tmp >$2 && $(RM) $2.tmp
61     $(call rm_null,$3)
62 endef
63
64 # 2つのファイルを比較し、差分ファイルを作成
65 # 引数は、2ファイルのリスト、差分ファイル
66 # 用例: $(call diff_files,files,file_out)
67 define diff_files
68     $(DIFF) $1 >$2 2>&1
69     $(call rm_null,$2)
70 endef
71
72 # 差分ファイルの内容をログファイルに出力
73 # 引数は、テスト名、差分ファイル、ログファイル
74 # 用例: $(call test_log,name,file_diff,file_log)
75 define test_log
76     $(call desc_log,$3)
77     if test ! -s $2; then RES=Success; else RES=Failure; fi; $(ECHO) "$1: Test $$RES $(DATE)" >>$3
78     $(ECHO) "Details in $(CURDIR)/$(DETAIL_FILE)" >>$3
79 endef
80
81 # NODISPが設定されていない時は、ログファイルを表示
82 # 引数は、ログファイル
83 # 用例: $(call disp_test_log,file_log)
84 define disp_test_log
85     $(if $(NODISP),,$(CAT) $1)
86 endef
87
88 # ファイル群から、ファイル名とファイルの内容を指定されたファイルに出力
89 # 引数は、対象ファイル群、出力ファイル
90 # 用例: $(call report_files,list_file_target,file_out)
91 define report_files
92     $(foreach tfile,$1,$(call report_file,$(tfile),$2))
93 endef
94
95 # ファイル名とファイルの内容を指定されたファイルに出力
96 # 引数は、対象ファイル、出力ファイル
97 # 用例: $(call report_file,file_target,file_out)
98 define report_file
99     $(call chk_var_null,$1)
100     if test -s $1; then $(ECHO) "== $1 ==" >>$2; $(call echo_hr,$2); cat $1 >>$2; $(call echo_hr,$2); $(ECHO) >>$2; fi
101 endef
102
103 define echo_hr
104     $(ECHO) "----------------------------------------------------------------------" >>$1
105 endef
106
107 # テスト名。カレントディレクトリー名から取得
108 TEST = $(notdir $(CURDIR))
109
110 # コマンドファイルのソース
111 CMDSRC_FILE ?= $(CMD_FILE)
112
113 .PHONY: check set reset clean all-clean time time-clean valgrind valgrind-clean
114
115 check: clean $(DETAIL_FILE)
116         @$(call disp_test_log,$(LOG_FILE))
117
118 checkall: clean $(DETAIL_FILE) $(TIME_FILE)
119         @$(CAT) $(TIME_FILE) >>$(LOG_FILE)
120         @$(call disp_test_log,$(LOG_FILE))
121
122 set: $(CMD_FILE)
123         @$(call chk_file_ext,$(TEST0_FILE))
124         @-$(call exec_cmd,$(CMD_FILE),$(TEST0_FILE),$(ERR_FILE))
125         @$(CAT) $(TEST0_FILE)
126
127 reset: all-clean $(CMD_FILE)
128         @-$(call exec_cmd,$(CMD_FILE),$(TEST0_FILE),$(ERR_FILE))
129         @$(CAT) $(TEST0_FILE)
130
131 clean:
132         @$(RM) $(TEST_RES_FILES) $(TIME_FILE) $(VALGRIND_LOGFILE) $(VALGRIND_CMDLOGFILE) core
133
134 all-clean: clean
135         @$(RM) $(TEST0_FILE)
136
137 time: time-clean $(TIME_FILE)
138         @$(CAT) $(TIME_FILE)
139
140 time-clean:
141         @$(RM) $(TIME_FILE)
142
143 valgrind: valgrind-clean $(VALGRIND_LOGFILE) $(VALGRIND_CMDLOGFILE)
144         if test -s $(VALGRIND_LOGFILE); then $(ECHO) $(CURDIR) && $(CAT) $(VALGRIND_LOGFILE); else $(RM) $(VALGRIND_LOGFILE); fi
145
146 $(VALGRIND_CMDLOGFILE): $(VALGRIND_LOGFILE)
147         @$(PRINTF) "$(VALGRIND) $(VALGRINDFLAG) $(VALGRIND_CMD)\n" | $(CAT) - $(VALGRIND_LOGFILE) >$(VALGRIND_CMDLOGFILE)
148
149 valgrind-clean:
150         @$(RM) $(VALGRIND_LOGFILE)
151
152 $(TEST1_FILE): $(CMD_FILE)
153         @-$(call exec_cmd,$^,$@,$(ERR_FILE))
154
155 $(DIFF_FILE): $(TEST0_FILE) $(TEST1_FILE)
156         @-$(call diff_files,$^,$@)
157
158 $(LOG_FILE): $(DIFF_FILE)
159         @$(call test_log,$(TEST),$^,$@)
160
161 $(DETAIL_FILE): $(LOG_FILE)
162         @$(call report_files,$(LOG_FILE) $(CMDSRC_FILE) $(TEST0_FILE) $(ERR_FILE) $(DIFF_FILE) $(TEST1_FILE),$@)
163
164 $(TIME_FILE): $(CMD_FILE)
165         @$(call time_cmd,$^,$@)
166
167 $(VALGRIND_LOGFILE): $(CMD_FILE)
168         $(call valgrind_cmd,$^,$@)