X-Git-Url: http://j8takagi.net/cgi-bin/gitweb.cgi?p=YACASL2.git;a=blobdiff_plain;f=src%2Ftoken.c;h=22f33ba0c7c33c6c590caa7a8bfbdccea4321532;hp=de29fafdad36fd8e4730a2cfe1af111413c0334c;hb=58b56a6373dbd2b2ce8d30f7661ff15f584fb03f;hpb=4a1d361916c660b63611a40520eaf7c78788f123

diff --git a/src/token.c b/src/token.c
index de29faf..22f33ba 100644
--- a/src/token.c
+++ b/src/token.c
@@ -1,12 +1,16 @@
-#include <stdio.h>
-#include <string.h>
-#include "cerr.h"
-#include "cmem.h"
-#include "assemble.h"
+#include "token.h"
 
+/**
+ * @brief 「,」区切りの文字列から、オペランドのトークンを取得
+ *
+ * @return オペランドのトークン
+ *
+ * @param *str 「,」区切りの文字列
+ */
+OPD *opdtok(const char *str);
 
 /**
- * 行トークン取得のエラー定義
+ * @brief 行トークン取得のエラー定義
  */
 CERR cerr_linetok[] = {
     { 104, "label length is too long" },
@@ -14,7 +18,7 @@ CERR cerr_linetok[] = {
 };
 
 /**
- * オペランドトークン取得のエラー定義
+ * @brief オペランドトークン取得のエラー定義
  */
 static CERR cerr_opdtok[] = {
     { 117, "operand too many in DC" },
@@ -23,147 +27,152 @@ static CERR cerr_opdtok[] = {
     { 123, "unclosed quote" },
 };
 
-/**
- * オペランドトークン取得のエラーを追加
- */
-void addcerrlist_tok()
-{
-    addcerrlist(ARRAYSIZE(cerr_linetok), cerr_linetok);
-    addcerrlist(ARRAYSIZE(cerr_opdtok), cerr_opdtok);
-}
-
-/**
- * 「,」区切りの文字列から、オペランドのトークンを取得
- */
 OPD *opdtok(const char *str)
 {
     OPD *opd = malloc_chk(sizeof(OPD), "opd");
-    char *p, *q, *r, *sepp;     /* pは文字列全体の先頭位置、qはトークンの先頭位置、rは文字の位置 */
-    int sepc = ',', rcnt = 0;
+    char *tok, *p, sepc = ',';
+    int i = 0, cnt_quote = 0;
     bool quoting = false;
 
     opd->opdc = 0;
-    if(str == NULL) {
+    if(!str || !str[0]) {
         return opd;
     }
-    p = q = r = strdup_chk(str, "opdtok.p");
+    tok = p = strdup_chk(str, "opdtok.p");
     do {
         /* オペランド数が多すぎる場合はエラー */
         if(opd->opdc >= OPDSIZE) {
-            setcerr(117, NULL);    /* operand is too many */
+            setcerr(117, "");    /* operand is too many */
             break;
         }
         /* 先頭が等号（=）の場合 */
-        if(*r == '=') {
-            r++;
+        if(p[i] == '=') {
+            i++;
         }
         /* 「'」の場合 */
-        if(*r == '\'') {
-            /* 「''」以外の場合はquote値を反転 */
-            if(*(r+1) != '\'' && !(q < r && *(r-1) == '\'')) {
+        if(p[i] == '\'') {
+            /* 「''」以外の場合はquote値を反転する */
+            if(p[i+1] != '\'' && (quoting == false || p[i-1] != '\'')) {
                 quoting = !quoting;
             }
-            /* 文字列の長さを数える。「'」の場合は数えない */
-            if(*(r+1) != '\'') {
-                rcnt++;
+            /* 「'」をカウントする。「''」の場合は1をカウント */
+            if(p[i+1] != '\'') {
+                cnt_quote++;
             }
         }
         if(quoting == true) {
-            /* 閉じ「'」がないまま文字列が終了した場合 */
-            if(*r == '\0') {
+            /* 「'」で開いたまま文字列が終了した場合 */
+            if(!p[i]) {
                 setcerr(123, str);    /* unclosed quote */
                 break;
             }
-            r++;
+            i++;
         } else {
-            sepp = r + strcspn(r, ", ");
-            sepc = *sepp;
-            *sepp = '\0';
-            if(*q == '\0') {
-                setcerr(121, NULL);    /* cannot get operand token */
+            i += strcspn(p + i, ", ");
+            if(i == 0) {
+                setcerr(121, "");    /* cannot get operand token */
                 break;
             }
-            if(strlen(q) - rcnt > OPDSIZE) {
-                setcerr(118, NULL);    /* operand length is too long */
+            if(i - cnt_quote > OPDSIZE) {
+                setcerr(118, "");    /* operand length too long */
                 break;
             }
-            opd->opdv[(++opd->opdc)-1] = strdup_chk(q, "opd.opdv[]");
-            q = r = sepp + 1;
-            rcnt = 0;
+            sepc = p[i];
+            opd->opdv[(opd->opdc)++] = strndup_chk(p, i, "opd->opdv[]");
+            p += i + 1;
+            i = cnt_quote = 0;
         }
     } while(sepc == ',');
-    FREE(p);
+    FREE(tok);
     return opd;
 }
 
-/**
- * 空白またはタブで区切られた1行から、トークンを取得する
- */
-CMDLINE *linetok(const char *line)
+/* assemble.hで定義された関数群 */
+void addcerrlist_tok()
 {
-    char *tokens, *p, *sepp;
+    addcerrlist(ARRAYSIZE(cerr_linetok), cerr_linetok);
+    addcerrlist(ARRAYSIZE(cerr_opdtok), cerr_opdtok);
+}
+
+char *strip_casl2_comment(char *s)
+{
+    int i;
     bool quoting = false;
+
+    for(i = 0; s[i]; i++) {
+        /* 「'」で囲まれた文字列の場合。「''」は無視 */
+        if(s[i] == '\'' && s[i+1] != '\'' && (quoting == false || s[i-1] != '\'')) {
+            quoting = !quoting;
+        /* 「'」で囲まれた文字列でない場合、文字列末尾の「;」以降を削除 */
+        } else if(quoting == false && s[i] == ';') {
+            s[i] = '\0';
+            break;
+        }
+    }
+    return s;
+}
+
+CMDLINE *linetok(const char *line)
+{
+    char *tok = NULL, *p = NULL;
+    int i;
     CMDLINE *cmdl = NULL;
 
-    if(*line == '\0') {
+    assert(line);
+    if(!line[0] || line[0] == '\n') {
         return NULL;
     }
-    tokens = strdup_chk(line, "tokens");
+    tok = p = strdup_chk(line, "tok");
     /* コメントを削除 */
-    for(p = tokens; *p != '\0'; p++) {
-        /* 「'」で囲まれた文字列の処理。「''」は無視 */
-        if(*p == '\'' && *(p+1) != '\'' && !(p > tokens && *(p-1) == '\'')) {
-            quoting = !quoting;
-        } else if(quoting == false && *p == ';') {
-            *p = '\0';
-            break;
-        }
+    strip_casl2_comment(p);
+    /* 文字列末尾の改行と空白を削除 */
+    strip_end(p);
+    /* 空行の場合、終了 */
+    if(!p[0]) {
+        goto linetokfin;
     }
-    if(*tokens != '\0') {
-        p = tokens;
-        cmdl = malloc_chk(sizeof(CMDLINE), "cmdl");
-        /* ラベルの取得。行の先頭が空白またはタブの場合、ラベルは空 */
-        if((sepp = p + strcspn(p, " \t\n")) == p){
-            cmdl->label = NULL;
-        } else {        /* ラベルを取得 */
-            *sepp = '\0';
-            /* 文字列が長すぎる場合はエラー */
-            if(strlen(p) > LABELSIZE) {
-                setcerr(104, p);    /* label length is too long */
-            }
-            cmdl->label = strdup_chk(p, "cmdl.label");
-            p = sepp + 1;
-        }
-        /* ラベルと命令の間の空白をスキップ */
-        while(*p == ' ' || *p == '\t') {
-            p++;
+    cmdl = malloc_chk(sizeof(CMDLINE), "cmdl");
+
+    /* ラベルの取得 */
+    /* 行の先頭が空白またはタブの場合、ラベルは空 */
+    if((i = strcspn(p, " \t")) == 0) {
+        cmdl->label = strdup_chk("", "cmdl->label");
+    } else {
+        cmdl->label = strndup_chk(p, i, "cmdl->label");
+        /* ラベルの文字列が長すぎる場合はエラー */
+        if(i > LABELSIZE) {
+            setcerr(104, cmdl->label);    /* label length is too long */
+            FREE(cmdl->label);
+            goto linetokfin;
         }
-        /* 命令とオペランドの取得 */
-        if(*p == '\n' || *p == '\0') {        /* 命令がない場合は、終了 */
-            if(cmdl->label != NULL) {         /* ラベルが定義されていて命令がない場合はエラー */
-                setcerr(105, NULL);    /* no command in the line */
-            }
-        } else {
-            /* 命令の取得 */
-            sepp = p + strcspn(p, " \t\n");
-            *sepp = '\0';
-            cmdl->cmd = strdup_chk(p, "cmdl.cmd");
-            p = sepp + 1;
-            /* 命令とオペランドの間の空白をスキップ */
-            while(*p == ' ' || *p == '\t') {
-                p++;
-            }
-            /* 改行かタブまでの文字列を取得 */
-            /* 「'」で囲まれた文字列に含まれる場合があるため、空白は無視 */
-            if((sepp = p + strcspn(p, "\t\n")) > p) {
-                *sepp = '\0';
-                cmdl->opd = opdtok(p);
-            } else {
-                cmdl->opd = malloc_chk(sizeof(OPD), "cmdl.opd");
-                cmdl->opd->opdc = 0;
-            }
+    }
+
+    /* 命令の取得 */
+    /* 文字列先頭をラベルの次の文字に移動 */
+    p += i;
+    /* 文字列先頭を、ラベルと命令の間の空白の後ろに移動 */
+    p += strspn(p, " \t");
+    /* 命令がない場合は、終了 */
+    if(!p[0]) {
+        if(cmdl->label) {      /* ラベルが定義されていて命令がない場合はエラー */
+            setcerr(105, "");    /* no command in the line */
         }
+        FREE(cmdl->label);
+        FREE(cmdl);
+        goto linetokfin;
     }
-    FREE(tokens);
+    /* 命令取得の実行 */
+    i = strcspn(p, " \t");
+    cmdl->cmd = strndup_chk(p, i, "cmdl.cmd");
+
+    /* オペランドの取得 */
+    /* 文字列先頭を、命令の次の文字に移動 */
+    p += i;
+    /* 文字列先頭を、命令とオペランドの間の空白の後ろに移動 */
+    p += strspn(p, " \t");
+    /* オペランド取得の実行 */
+    cmdl->opd = opdtok(p);
+linetokfin:
+    FREE(tok);
     return cmdl;
 }