词法分析实验报告

编译原理实验一姓名：朱彦荣学号：20132184专业：软件工程2实验题目：词法分析完成语言：C/C++上级系统：VC++6.0日期：2015/11/7词法分析设计题目：手工设计c语言的词法分析器（可以是c语言的子集）设计内容：处理c语言源程序，过滤掉无用符号，判断源程序中单词的合法性，并分解出正确的单词，以二元组形式存放在文件中。设计目的：了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程。结果要求：课程设计报告。完成日期：第十五周提交报告一．分析要想手工设计词法分析器，实现C语言子集的识别，就要明白什么是词法分析器，它的功能是什么。词法分析是编译程序进行编译时第一个要进行的任务，主要是对源程序进行编译预处理（去除注释、无用的回车换行找到包含的文件等）之后，对整个源程序进行分解，分解成一个个单词，这些单词有且只有五类，分别是标识符、保留字、常数、运算符、界符。以便为下面的语法分析和语义分析做准备。可以说词法分析面向的对象是单个的字符，目的是把它们组成有效的单词（字符串）；而语法的分析则是利用词法分析的结果作为输入来分析是否符合语法规则并且进行语法制导下的语义分析，最后产生四元组(中间代码)，进行优化（可有可无）之后最终生成目标代码。可见词法分析是所有后续工作的基础，如果这一步出错，比如明明是‘=’却被拆分成‘’和‘=’就会对下文造成不可挽回的影响。因此，在进行词法分析的时候一定要定义好这五种符号的集合。下面是我构造的一个C语言子集。第一类：标识符letter(letter|digit)*无穷集第二类：常数(digit)+无穷集第三类：保留字(32)autobreakcasecharconstcontinuedefaultdodoubleelseenumexternfloatforgotoifintlongregisterreturnshortsignedsizeofstaticstructswitchtypedefunionunsignedvoidvolatilewhile第四类：界符‘/*’、‘//’、(){}[]'等第五类：运算符、=、、=、=、+、-、*、/、^、等对所有可数符号进行编码：$,0auto,1...while,32+，33-,34*,35/,36,37=,38,39=,40=,41==,42!=,43;,44(,45),46^,47,,48,49',50#,51&,52&&,53|,54||,55%,56~,57,58左移,59右移[,60],61{,62},63\,64.,65?,66:,67!,68[,],{,}常数99,数值标识符100，标识符指针上述二元组中左边是单词的符号，右边为其种别码，其中常数和标识符有点特别，因为是无穷集合，因此常数用自身来表示，种别码为99，标识符用标识符符号表的指针表示（当然也可用自身显示，比较容易观察），种别码100。根据上述约定，一旦见到了种别码syn=63,就唯一确定了‘}’这个单词。下面是一些变量的约定：//全局变量，保留字表staticcharreserveWord[32][20]={auto,break,case,char,const,continue,default,do,double,else,enum,extern,float,for,goto,if,int,long,register,return,short,signed,sizeof,static,struct,switch,typedef,union,unsigned,void,volatile,while};//界符运算符表,根据需要可以自行增加staticcharoperatorOrDelimiter[36][10]={+,-,*,/,,=,,=,=,==,!=,;,(,),^,,,\,\',#,&,&&,|,||,%,~,,,[,],{,},\\,.,\?,:,!};staticcharIDentifierTbl[1000][50]={};//标识符表charresourceProject[10000];//输入的源程序存放处，最大可以存放10000个字符。chartoken[20]={0};//每次扫描的时候存储已经扫描的结果。intsyn=-1;//syn即为种别码，约定‘$’的种别码为0，为整个源程序的结束符号一旦扫描到这个字符代表扫描结束intpProject=0;//源程序指针，始终指向当前源程序待扫描位置。几个重要函数：//查找保留字，若成功查找，则返回种别码//否则返回-1，代表查找不成功，即为标识符intsearchReserve(charreserveWord[][20],chars[])/*********************判断是否为字母********************/boolIsLetter(charletter)/*****************判断是否为数字************************/boolIsDigit(chardigit)/********************编译预处理，取出无用的字符和注释**********************/voidfilterResource(charr[],intpProject)/****************************分析子程序，算法核心***********************/voidScanner(int&syn,charresourceProject[],chartoken[],int&pProject)下面说一下整个程序的流程：1.词法分析程序打开源文件，读取文件内容，直至遇上’$’文件结束符，然后读取结束。2.对读取的文件进行预处理，从头到尾进行扫描，去除//和/**/的内容，以及一些无用的、影响程序执行的符号如换行符、回车符、制表符等。但是千万注意不要在这个时候去除空格，因为空格在词法分析中有用，比如说inti=3;这个语句，如果去除空格就变成了“inti=3”,这样就失去了程序的本意，因此不能在这个时候去除空格。3.选下面就要对源文件从头到尾进行扫描了，从头开始扫描，这个时候扫描程序首先要询问当前的字符是不是空格，若是空格，则继续扫描下一个字符，直至不是空格，然后询问这个字符是不是字母，若是则进行标识符和保留字的识别；若这个字符为数字，则进行数字的判断。否则，依次对这个字符可能的情况进行判断，若是将所有可能都走了一遍还是没有知道它是谁，则认定为错误符号，输出该错误符号，然后结束。每次成功识别了一个单词后，单词都会存在token[]中。然后确定这个单词的种别码，最后进行下一个单词的识别。这就是扫描程序进行的工作，可以说这个程序彻底实现了确定有限自动机的某些功能，比如说识别标识符，识别数字等。为了简单起见，这里的数字只是整数。4.主控程序主要负责对每次识别的种别码syn进行判断，对于不同的单词种别做出不同的反应，如对于标识符则将其插入标识符表中。对于保留字则输出该保留字的种别码和助记符，等等吧。直至遇到syn=0;程序结束。二．流程图下面是程序的流程图：开始读取源文件过滤掉无用字符初始化syn=-1开始扫描Syn==0?调用扫描子程序，识别出单词根据该单词的种别码，写出该单词的二元组输出标识符表结束词法分析流程图三．运行与测试比如说，就拿这个源程序的一部分进行测试：运行程序后结果为：同样单词也写入了文件如下：。。。综上分析，达到了预期的结果。四．实验体会每做一次比较大的实验，都应该写一下实验体会，来加深自己对知识的认识。其实这次的实验，算法部分并不难，只要知道了DFA，这个模块很好写，比较麻烦的就是五种类型的字符个数越多程序就越长。但为了能识别大部分程序，我还是用了比较大的子集，结果花了一下午的功夫才写完，虽然很累吧，但看着这个词法分析器的处理能力，觉得还是值得的。同时也加深了对字符的认识。程序的可读性还算不错。程序没有实现的是对所有复合运算的分离，但原理是相同的，比如“+=“，只需在”+“的逻辑之后向前扫描就行了，因此就没有再加上了。感受最深的是学习编译原理必须要做实验，写程序，这样才会提高自己的动手能力，加深自己对难点的理解，对于以后的求first{},follow{},fisrtVT{},lastVT{}更是应该如此。五．源程序//Lexical_Analysis.cpp:定义控制台应用程序的入口点。//#includestdio.h#includestdlib.h#includestring.h#includeiostreamusingnamespacestd;//词法分析程序//首先定义种别码/*第一类：标识符letter(letter|digit)*无穷集第二类：常数(digit)+无穷集第三类：保留字(32)autobreakcasecharconstcontinuedefaultdodoubleelseenumexternfloatforgotoifintlongregisterreturnshortsignedsizeofstaticstructswitchtypedefunionunsignedvoidvolatilewhile第四类：界符‘/*’、‘//’、(){}[]'第五类：运算符、=、、=、=、+、-、*、/、^、对所有可数符号进行编码：$,0auto,1...while,32+，33-,34*,35/,36,37=,38,39=,40=,41==,42!=,43;,44(,45),46^,47,,48,49',50#,51&,52&&,53|,54||,55%,56~,57,58左移,59右移[,60],61{,62},63\,64.,65?,66:,67!,68[,],{,}常数99,数值标识符100，标识符指针*//****************************************************************************************///全局变量，保留字表staticcharreserveWord[32][20]={auto,break,case,char,const,continue,default,do,double,else,enum,extern,float,for,goto,if,int,long,register,return,short,signed,sizeof,static,struct,switch,typedef,union,unsigned,void,volatile,while};//界符运算符表,根据需要可以自行增加staticcharoperatorOrDelimiter[36][10]={+,-,*,/,,=,,=,=,==,!=,;,(,),^,,,\,\',#,&,&&,|,||,%,~,,,[,],{,},\\,.,\?,:,!};staticcharIDentifierTbl[1000][50]={};//标识符表/****************************************************************************************//********查找保留字*****************/intsearchReserve(charreserveWord[][20],chars[]){for(int