X-Git-Url: http://j8takagi.net/cgi-bin/gitweb.cgi?a=blobdiff_plain;f=src%2Ftoken.c;h=22f33ba0c7c33c6c590caa7a8bfbdccea4321532;hb=e7ebcd590b4290eebf10b6d3765efd651b37da6f;hp=450452bc43c0ac9e4f75f89952ab509e214e1d03;hpb=9d0497a1aa2432b139e94affbe6b71171e4ad49f;p=YACASL2.git

diff --git a/src/token.c b/src/token.c
index 450452b..22f33ba 100644
--- a/src/token.c
+++ b/src/token.c
@@ -1,8 +1,4 @@
-#include <stdio.h>
-#include <string.h>
-#include "cerr.h"
-#include "cmem.h"
-#include "assemble.h"
+#include "token.h"
 
 /**
  * @brief 「,」区切りの文字列から、オペランドのトークンを取得
@@ -34,13 +30,12 @@ static CERR cerr_opdtok[] = {
 OPD *opdtok(const char *str)
 {
     OPD *opd = malloc_chk(sizeof(OPD), "opd");
-    char *tok, *p;
-    char sepc = ',';
+    char *tok, *p, sepc = ',';
     int i = 0, cnt_quote = 0;
     bool quoting = false;
 
     opd->opdc = 0;
-    if(str == NULL || !str[0]) {
+    if(!str || !str[0]) {
         return opd;
     }
     tok = p = strdup_chk(str, "opdtok.p");
@@ -57,7 +52,7 @@ OPD *opdtok(const char *str)
         /* 「'」の場合 */
         if(p[i] == '\'') {
             /* 「''」以外の場合はquote値を反転する */
-            if(p[i+1] != '\'' && (i == 0 || p[i-1] != '\'')) {
+            if(p[i+1] != '\'' && (quoting == false || p[i-1] != '\'')) {
                 quoting = !quoting;
             }
             /* 「'」をカウントする。「''」の場合は1をカウント */
@@ -74,17 +69,16 @@ OPD *opdtok(const char *str)
             i++;
         } else {
             i += strcspn(p + i, ", ");
-            sepc = p[i];
-            p[i] = '\0';
-            if(!p[0]) {
+            if(i == 0) {
                 setcerr(121, "");    /* cannot get operand token */
                 break;
             }
-            if(strlen(p) - cnt_quote > OPDSIZE) {
+            if(i - cnt_quote > OPDSIZE) {
                 setcerr(118, "");    /* operand length too long */
                 break;
             }
-            opd->opdv[(++opd->opdc)-1] = strdup_chk(p, "opd.opdv[]");
+            sepc = p[i];
+            opd->opdv[(opd->opdc)++] = strndup_chk(p, i, "opd->opdv[]");
             p += i + 1;
             i = cnt_quote = 0;
         }
@@ -100,52 +94,66 @@ void addcerrlist_tok()
     addcerrlist(ARRAYSIZE(cerr_opdtok), cerr_opdtok);
 }
 
-CMDLINE *linetok(const char *line)
+char *strip_casl2_comment(char *s)
 {
-    char *tok, *p;
     int i;
     bool quoting = false;
-    CMDLINE *cmdl = NULL;
 
-    if(!line[0] || line[0] == '\n') {
-        return NULL;
-    }
-    tok = p = strdup_chk(line, "tok");
-    /* コメントを削除 */
-    for(i = 0; p[i]; i++) {
+    for(i = 0; s[i]; i++) {
         /* 「'」で囲まれた文字列の場合。「''」は無視 */
-        if(p[i] == '\'' && p[i+1] != '\'' && (i == 0 || p[i-1] != '\'')) {
+        if(s[i] == '\'' && s[i+1] != '\'' && (quoting == false || s[i-1] != '\'')) {
             quoting = !quoting;
         /* 「'」で囲まれた文字列でない場合、文字列末尾の「;」以降を削除 */
-        } else if(quoting == false && p[i] == ';') {
-            p[i] = '\0';
+        } else if(quoting == false && s[i] == ';') {
+            s[i] = '\0';
             break;
         }
     }
-    if(!p[0] || p[0] == '\n') {
+    return s;
+}
+
+CMDLINE *linetok(const char *line)
+{
+    char *tok = NULL, *p = NULL;
+    int i;
+    CMDLINE *cmdl = NULL;
+
+    assert(line);
+    if(!line[0] || line[0] == '\n') {
+        return NULL;
+    }
+    tok = p = strdup_chk(line, "tok");
+    /* コメントを削除 */
+    strip_casl2_comment(p);
+    /* 文字列末尾の改行と空白を削除 */
+    strip_end(p);
+    /* 空行の場合、終了 */
+    if(!p[0]) {
         goto linetokfin;
     }
     cmdl = malloc_chk(sizeof(CMDLINE), "cmdl");
-    /* ラベルの取得。行の先頭が空白またはタブの場合、ラベルは空 */
-    if((i = strcspn(p, " \t\n")) == 0){
+
+    /* ラベルの取得 */
+    /* 行の先頭が空白またはタブの場合、ラベルは空 */
+    if((i = strcspn(p, " \t")) == 0) {
         cmdl->label = strdup_chk("", "cmdl->label");
-    } else {        /* ラベルを取得 */
-        /* 文字列が長すぎる場合はエラー */
+    } else {
+        cmdl->label = strndup_chk(p, i, "cmdl->label");
+        /* ラベルの文字列が長すぎる場合はエラー */
         if(i > LABELSIZE) {
-            setcerr(104, strndup_chk(p, i, "cerr"));    /* label length is too long */
-        } else {
-            cmdl->label = strndup_chk(p, i, "cmdl->label");
+            setcerr(104, cmdl->label);    /* label length is too long */
+            FREE(cmdl->label);
+            goto linetokfin;
         }
-        /* 文字列の先頭をラベルの次の文字に移動 */
-        p += i + 1;
-    }
-    /* 文字列の先頭から、ラベルと命令の間の空白を削除 */
-    for(i = 0; p[i] == ' ' || p[i] == '\t'; i++) {
-        ;
     }
+
+    /* 命令の取得 */
+    /* 文字列先頭をラベルの次の文字に移動 */
     p += i;
-    /* 命令とオペランドの取得 */
-    if(!p[0] || p[0] == '\n') {        /* 命令がない場合は、終了 */
+    /* 文字列先頭を、ラベルと命令の間の空白の後ろに移動 */
+    p += strspn(p, " \t");
+    /* 命令がない場合は、終了 */
+    if(!p[0]) {
         if(cmdl->label) {      /* ラベルが定義されていて命令がない場合はエラー */
             setcerr(105, "");    /* no command in the line */
         }
@@ -153,24 +161,17 @@ CMDLINE *linetok(const char *line)
         FREE(cmdl);
         goto linetokfin;
     }
-    /* 命令の取得 */
-    i = strcspn(p, " \t\n");
+    /* 命令取得の実行 */
+    i = strcspn(p, " \t");
     cmdl->cmd = strndup_chk(p, i, "cmdl.cmd");
-    /* 文字列の先頭を命令の次の文字に移動 */
-    p += i + 1;
-    /* 文字列の先頭から、命令とオペランドの間の空白を削除 */
-    for(i = 0; p[i] == ' ' || p[i] == '\t'; i++) {
-        ;
-    }
+
+    /* オペランドの取得 */
+    /* 文字列先頭を、命令の次の文字に移動 */
     p += i;
-    /* 改行かタブまでの文字列を取得 */
-    /* 「'」で囲まれた文字列に含まれる場合があるため、空白は無視 */
-    if((i = strcspn(p, "\t\n")) > 0) {
-        cmdl->opd = opdtok(strndup_chk(p, i, "cmdl->opd"));
-    } else {
-        cmdl->opd = malloc_chk(sizeof(OPD), "cmdl->opd");
-        cmdl->opd->opdc = 0;
-    }
+    /* 文字列先頭を、命令とオペランドの間の空白の後ろに移動 */
+    p += strspn(p, " \t");
+    /* オペランド取得の実行 */
+    cmdl->opd = opdtok(p);
 linetokfin:
     FREE(tok);
     return cmdl;