词法分析阶段的任务是读字符流的源程序、从中识别并构成单词。
  一个Pascal源程序片断:position := initial + rate * 60;词法分析后可能返回:
  单词类型 单词值
  标识符 position
  算符(赋值) :=
  标识符 initial
  算符(加) +
  标识符 rate
  算符(乘) *
  整数 60
  界符(分号) ;

  一个C源程序片断:
  int a;
  a = a + 2;
  词法分析后可能返回:
  单词类型 单词值
  保留字 int
  标识符 a
  界符 ;
  标识符 a
  算符(赋值) =
  标识符 a
  算符(加) +
  整数 2
  界符 ;
  有关的英文
  词法分析---lexical analysis 或者scanning
  单词---token
  保留字---resered word
  标识符 ---identifier(user-defined name)