template/Group.mk

   1 # autotest.mk > template > Group.mk
   2 # テストグループのMakefile
   3 #
   4 # オペレーター
   5 # make          : すべてのテストを実行し、結果をログファイルに出力
   6 # make check    : ↓
   7 # make checkall : すべてのテストを実行し、結果と実行時間をログファイルに出力
   8 # make time     : すべてのテストを実行し、実行時間をログファイルに出力
   9 # make create   : TESTNAMEで指定されたテストを新規に作成
  10 # make clean    : すべてのテストで、"make" で生成されたファイルをクリア
  11 # make time-clean: すべてのテストで、実行時間のログファイルをクリア
  12 # make valgrind: すべてのテストで、valgrindによるメモリリークチェックを実行する
  13 # make valgrind-clean: すべてのテストで、valgrindのログファイルをクリア
  14
  15 SHELL = /bin/sh
  16
  17 include Define.mk
  18
  19 verbose ?= 1
  20
  21 ######################################################################
  22 # テストグループのディレクトリー
  23 ######################################################################
  24
  25 # グループディレクトリー
  26 GROUP_DIR := $(CURDIR)
  27
  28 # グループ名。ディレクトリ名から取得
  29 GROUP := $(notdir $(GROUP_DIR))
  30
  31 # テスト名。カレントディレクトリー内の、名前が大文字または.以外で始まるディレクトリー
  32 TESTS = $(notdir $(shell $(FIND) -maxdepth 1 -name "[^A-Z.]*" -type d))
  33
  34 # テストグループログファイル
  35 GROUP_LOG_FILE := $(shell $(ECHO) $(GROUP) | $(TR) '[a-z]' '[A-Z]').log
  36
  37 # テストグループレポートファイル
  38 GROUP_REPORT_FILE := Summary.log
  39
  40 # テストグループ実行時間ファイル
  41 GROUP_TIME_FILE := $(shell echo $(GROUP) | $(TR) '[a-z]' '[A-Z]')_time.log
  42
  43 # テストグループvalgrindファイル
  44 GROUP_VALGRIND_FILE := $(shell echo $(GROUP) | $(TR) '[a-z]' '[A-Z]')_valgrind.log
  45
  46 # グループで、テスト結果として作成されるファイル群
  47 GROUP_RES_FILES := $(GROUP_LOG_FILE) $(GROUP_REPORT_FILE) $(GROUP_TIME_FILE) $(GROUP_VALGRIND_FILE)
  48
  49 # テストごとのログファイル
  50 TEST_LOG_FILES := $(foreach test,$(TESTS),$(test)/$(LOG_FILE))
  51
  52 ######################################################################
  53 # テストグループのマクロ
  54 ######################################################################
  55
  56 # テストごとのファイルをグループファイルに出力
  57 # 引数は、テストのリスト、グループファイル、テストファイル
  58 # 用例: $(call group_log,files_test_log,file_group_log)
  59 define group_log
  60     $(if $(filter 1,$(verbose)),$(ECHO) '$(CURDIR) - $(words $1) tests')
  61     $(foreach target,$1,$(call group_log_each,$(target),$2))
  62     $(if $(filter 1,$(verbose)),$(ECHO))
  63 endef
  64
  65 # テストのログファイルをグループログファイルに出力。引数は、テスト、グループログファイル
  66 # 用例: $(call group_log_each,file_test_log,file_group_log)
  67 define group_log_each
  68     $(if $(filter 1,$(verbose)),$(ECHO) -n '.')
  69     $(ECHO) $(dir $1) >>$2;
  70     if test -s $1; then $(CAT) $1 >>$2; else $(ECHO) $(dir $1)": no log" >>$2; fi
  71     $(ECHO) >>$2;
  72 endef
  73
  74 # 成功したテストの数。テストグループログファイルから取得
  75 SUCCESS_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Success" $(GROUP_LOG_FILE) | $(LINECOUNT))
  76
  77 # 失敗したテストの数。テストグループログファイルから取得
  78 FAIL_TEST = $(shell $(GREP) "^[^A-Z.].*: Test Failure" $(GROUP_LOG_FILE) | $(LINECOUNT))
  79
  80 # すべてのテストの数
  81 ALL_TEST = $(shell $(EXPR) $(SUCCESS_TEST) + $(FAIL_TEST))
  82
  83 # テストごとの実行時間ファイル
  84 TEST_TIME_FILES := $(foreach test,$(TESTS),$(test)/$(TIME_FILE))
  85
  86 # テストごとのvalgrindファイル
  87 TEST_VALGRIND_FILES := $(foreach test,$(TESTS),$(test)/$(VALGRIND_FILE))
  88
  89 # テストの結果を、グループログファイルを元にレポート。
  90 # 引数は、グループ名、グループログファイル、グループレポートファイル
  91 # 用例: $(call group_report,name,file_log,file_report)
  92 define group_report
  93     $(ECHO) '$1: $(SUCCESS_TEST) / $(ALL_TEST) tests passed. Details in $(GROUP_DIR)/$2' >$3
  94     if test $(FAIL_TEST) -eq 0; then $(ECHO) "$1: All tests are succeded." >>$3; fi
  95 endef
  96
  97 # リストで指定したディレクトリーでmakeを実行
  98 # 用例: $(call make_targets,list_dir,target)
  99 define make_targets
 100     $(if $(filter 1,$(verbose)),$(ECHO) '$(CURDIR) - $2';)
 101     $(foreach dir,$1,$(call make_target_each,$(dir),$2))
 102 endef
 103
 104 # 指定したディレクトリーでmakeを実行
 105 # 用例: $(call make_target_each,tests,target)
 106 define make_target_each
 107     $(MAKE) $2 -sC $1;
 108 endef
 109
 110 .PHONY: check checkall time valgrind create clean time-clean valgrind-clean
 111
 112 check checkall: clean $(GROUP_REPORT_FILE)
 113         @$(CAT) $(GROUP_REPORT_FILE)
 114         @exit $(FAIL_TEST)
 115
 116 time: time-clean $(GROUP_TIME_FILE)
 117         @$(CAT) $(GROUP_TIME_FILE)
 118
 119 create:
 120         @$(call create_dir,$(TEST))
 121         @$(call create_makefile,$(TEST)/$(MAKEFILE),$(MAKEFILES))
 122
 123 clean:
 124         @$(call make_targets,$(TESTS),$@)
 125         @$(RM) $(GROUP_RES_FILES);
 126
 127 time-clean:
 128         @$(call make_targets,$(TESTS),$@)
 129         @$(RM) $(GROUP_TIME_FILE);
 130
 131 valgrind:
 132         @$(call make_targets,$(TESTS),$@)
 133         @$(RM) $(GROUP_RES_FILES);
 134
 135 valgrind-clean:
 136         @$(call make_targets,$(TESTS),$@)
 137         @$(RM) $(GROUP_VALGRIND_FILE);
 138
 139 $(GROUP_REPORT_FILE): $(GROUP_LOG_FILE)
 140         @$(call group_report,$(GROUP),$^,$@)
 141
 142 $(GROUP_LOG_FILE): $(TEST_LOG_FILES)
 143         @$(call group_log,$^,$@)
 144
 145 $(TEST_LOG_FILES):
 146         @$(MAKE) $(MAKECMDGOALS) -sC $(dir $@) NODISP=1
 147
 148 $(GROUP_TIME_FILE): $(TEST_TIME_FILES)
 149         @$(call group_log,$^,$@)
 150
 151 $(TEST_TIME_FILES):
 152         @$(MAKE) time -sC $(dir $@)
 153
 154 $(GROUP_VALGRIND_FILE): $(TEST_VALGRIND_FILES)
 155         @$(call group_log,$^,$@)
 156
 157 $(TEST_VALGRIND_FILES):
 158         @$(MAKE) time -sC $(dir $@)