齐夫定律,文献计量学基本定律。哈佛大学教授G.K.齐夫(G.K.Zipf)在1949年发表的。他通过对文献词频规律的研究认为:若把一篇较长的文章中每个词出现的频次从高到低进行递减排列,其数量关系特征呈双曲线分布。该定律应用于情报检索用的词表的编制和情报检索系统中文档结构的设计。
定律内容
齐夫定律的基本表述为:在自然语言的语库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。齐夫定律很容易用点阵图观察,坐标为log(排名)和log(频率)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。最简单的齐夫定律的例子是“1/f函数”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的1/2,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。
如果将一篇较长的文章(约5000字以上)中每个词按其出现频次递减排列起来(高频词在前,低频词在后),并用自然数给这些词编上等级序号,出现频次最高的为1级,其次为2级……这样一直到D级,如果用f表示词在文章中出现的频次,用r表示词的等级序号,则有:fr=C(C为常数)。如果等级r与频次f都取对数,则双曲线会变成一条直线。与之等价的数学表达式为: klnr+lnf-lnC 。如果说fr=C是齐夫定律的一般形式,FRK=C便是齐夫定律的修正形式。
理论
这个“定律”是哈佛大学的语言学家齐夫于1949年发表的。齐夫定律是一个实验定律,而非理论定律。齐夫分布可以在很多现象中被观察到。然而,在一个广域范围内并且做出适当的近似,许多自然现象都符合齐夫定律。
比如,在某人语料库中,“the”是最常见的单词,它在这个语料库中出现了大约7%(100万单词中出现69971次)。正如齐夫定律中所描述的一样,出现次数为第二位的单词“of”占了整个语料库中的3.5%(36411次),之后的是“and”(28852次)。仅仅135个字汇就占了褐色语料库的一半。
参考资料
齐夫定律的词等级确定方法探讨.www.cnki.com.cn.2011-12-08
知网空间.www.cnki.com.cn.2011-12-07
关于齐夫第二定律的研究.www.cnki.com.cn.2011-12-08