comet2monitorのダンプ時に範囲が指定できるように
[YACASL2.git] / test / Template / Group.mk
1 # autotest.mk > template > Group.mk
2 # テストグループのMakefile
3 #
4 # オペレーター
5 # make          : すべてのテストを実行し、結果をログファイルに出力
6 # make check    : ↓
7 # make checkall : すべてのテストを実行し、結果と実行時間をログファイルに出力
8 # make time     : すべてのテストを実行し、実行時間をログファイルに出力
9 # make create   : TESTNAMEで指定されたテストを新規に作成
10 # make clean    : すべてのテストで、"make" で生成されたファイルをクリア
11 # make time-clean: すべてのテストで、実行時間のログファイルをクリア
12 # make valgrind: すべてのテストで、valgrindによるメモリリークチェックを実行する
13 # make valgrind-clean: すべてのテストで、valgrindのログファイルをクリア
14
15 include Define.mk
16
17 verbose ?= 1
18
19 ######################################################################
20 # テストグループのディレクトリー
21 ######################################################################
22
23 # グループディレクトリー
24 GROUP_DIR := $(CURDIR)
25
26 # グループ名。ディレクトリ名から取得
27 GROUP := $(notdir $(GROUP_DIR))
28
29 # テスト名。カレントディレクトリー内の、名前が大文字または.以外で始まるディレクトリー
30 TESTS := $(notdir $(shell $(FIND) . -maxdepth 1 -name "[^A-Z.]*" -type d))
31
32 # テストグループログファイル
33 GROUP_LOG_FILE := $(shell $(ECHO) $(GROUP) | $(TR) '[a-z]' '[A-Z]').log
34
35 # テストグループレポートファイル
36 GROUP_REPORT_FILE := Summary.log
37
38 # テストグループ実行時間ファイル
39 GROUP_TIME_FILE := $(shell echo $(GROUP) | $(TR) '[a-z]' '[A-Z]')_time.log
40
41 # テストグループvalgrindファイル
42 GROUP_VALGRIND_FILE := $(shell echo $(GROUP) | $(TR) '[a-z]' '[A-Z]')_valgrind.log
43
44 # グループで、テスト結果として作成されるファイル群
45 GROUP_RES_FILES := $(GROUP_LOG_FILE) $(GROUP_REPORT_FILE) $(GROUP_TIME_FILE) $(GROUP_VALGRIND_FILE)
46
47 # テストごとのログファイル
48 TEST_LOG_FILES := $(foreach test,$(TESTS),$(test)/$(LOG_FILE))
49
50 ######################################################################
51 # テストグループのマクロ
52 ######################################################################
53
54 # テストごとのファイルをグループファイルに出力
55 # 引数は、テストのリスト、グループファイル、テストファイル
56 # 用例: $(call group_log,files_test_log,file_group_log)
57 define group_log
58     $(if $(filter 1,$(verbose)),$(ECHO) '$(CURDIR) - $(words $1) tests')
59     $(foreach target,$1,$(call group_log_each,$(target),$2))
60 endef
61
62 # テストのログファイルをグループログファイルに出力。引数は、テスト、グループログファイル
63 # 用例: $(call group_log_each,file_test_log,file_group_log)
64 define group_log_each
65     $(ECHO) $(dir $1) >>$2;
66     if $(TEST) -s $1; then $(CAT) $1 >>$2; else $(ECHO) $(dir $1)": no log" >>$2; fi
67     $(ECHO) >>$2;
68 endef
69
70 # 成功したテストの数。テストグループログファイルから取得
71 SUCCESS_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Success" $(GROUP_LOG_FILE) | $(LINECOUNT))
72
73 # 失敗したテストの数。テストグループログファイルから取得
74 FAIL_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Failure" $(GROUP_LOG_FILE) | $(LINECOUNT))
75
76 # すべてのテストの数
77 ALL_TEST = $(shell $(EXPR) $(SUCCESS_TEST) + $(FAIL_TEST))
78
79 # テストごとの実行時間ファイル
80 TEST_TIME_FILES := $(foreach test,$(TESTS),$(test)/$(TIME_FILE))
81
82 # テストごとのvalgrindファイル
83 TEST_VALGRIND_FILES := $(foreach test,$(TESTS),$(test)/$(VALGRIND_FILE))
84
85 # テストの結果を、グループログファイルを元にレポート。
86 # 引数は、グループ名、グループログファイル、グループレポートファイル
87 # 用例: $(call group_report,name,file_log,file_report)
88 define group_report
89     $(ECHO) '$1: $(SUCCESS_TEST) / $(ALL_TEST) tests passed. Details in $(GROUP_DIR)/$2' >$3
90     if $(TEST) $(FAIL_TEST) -eq 0; then $(ECHO) "$1: All tests are succeded." >>$3; fi
91 endef
92
93 # リストで指定したディレクトリーでmakeを実行
94 # 用例: $(call make_targets,list_dir,target)
95 define make_targets
96     $(if $(filter 1,$(verbose)),$(ECHO) '$(CURDIR) - $2';)
97     $(foreach dir,$1,$(call make_target_each,$(dir),$2))
98 endef
99
100 # 指定したディレクトリーでmakeを実行
101 # 用例: $(call make_target_each,tests,target)
102 define make_target_each
103     $(MAKE) $2 -sC $1;
104 endef
105
106 .PHONY: check checkall time valgrind create clean time-clean valgrind-clean
107
108 check checkall: clean $(GROUP_REPORT_FILE)
109         @$(CAT) $(GROUP_REPORT_FILE)
110         @(if $(TEST) $(FAIL_TEST) -gt 0; then $(GREP) 'Failure' $(GROUP_LOG_FILE); fi)
111         @exit $(FAIL_TEST)
112
113 time: time-clean $(GROUP_TIME_FILE)
114         @$(CAT) $(GROUP_TIME_FILE)
115
116 create:
117         @$(call create_dir,$(TEST))
118         @$(call create_makefile,$(TEST)/$(MAKEFILE),$(MAKEFILES))
119
120 clean:
121         @$(call make_targets,$(TESTS),$@)
122         @$(RM) $(GROUP_RES_FILES);
123
124 time-clean:
125         @$(call make_targets,$(TESTS),$@)
126         @$(RM) $(GROUP_TIME_FILE);
127
128 valgrind:
129         @$(call make_targets,$(TESTS),$@)
130         @$(RM) $(GROUP_RES_FILES);
131
132 valgrind-clean:
133         @$(call make_targets,$(TESTS),$@)
134         @$(RM) $(GROUP_VALGRIND_FILE);
135
136 $(GROUP_REPORT_FILE): $(GROUP_LOG_FILE)
137         @$(call group_report,$(GROUP),$^,$@)
138
139 $(GROUP_LOG_FILE): $(TEST_LOG_FILES)
140         @$(call group_log,$^,$@)
141
142 $(TEST_LOG_FILES):
143         @$(MAKE) $(MAKECMDGOALS) -sC $(dir $@) NODISP=1
144
145 $(GROUP_TIME_FILE): $(TEST_TIME_FILES)
146         @$(call group_log,$^,$@)
147
148 $(TEST_TIME_FILES):
149         @$(MAKE) time -sC $(dir $@)
150
151 $(GROUP_VALGRIND_FILE): $(TEST_VALGRIND_FILES)
152         @$(call group_log,$^,$@)
153
154 $(TEST_VALGRIND_FILES):
155         @$(MAKE) time -sC $(dir $@)