首页 ›存档› 技术 › 查看内容

10行Python代码的词云

2018-3-30 13:00 |来自: 互联网 448 0

摘要: 我相信这么优秀的你已经置顶了我转自喔家ArchiSelf 什么是词云呢？词云又叫文字云，是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼 ...

我相信这么优秀的你

已经置顶了我

转自喔家ArchiSelf

什么是词云呢？

词云又叫文字云，是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼就可以领略文本数据的主要表达意思。

现在，可以从网络上找到各种各样的词云，下面一图来自沈浩老师的微博：

从百度图片中还可以可以看到更多制作好的词云，部分截图如下：

词云制作有很多工具.....

从技术上来看，词云是一种有趣的数据可视化方法，互联网上有很多现成的工具：

Wordle是一个用于从文本生成词云图而提供的游戏工具
Tagxedo 可以在线制作个性化词云
Tagul 是一个 Web 服务，同样可以创建华丽的词云
Tagcrowd 还可以输入web的url，直接生成某个网页的词云
......

十行代码

但是作为一个老码农，还是喜欢自己用代码生成自己的词云，复杂么？需要很长时间么？很多文字都介绍过各种的方法，但实际上只需要10行python代码即可。

import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

如此而已，生成的一个词云是这样的：

读一下这10行代码：

1～3 行，分别导入了画图的库matplotlib，词云生成库wordcloud 和 jieba的分词库；

4 行，是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。

5～6 行，使用jieba进行分词，并对分词的结果以空格隔开；

7行，对分词后的文本生成词云；

8～10行，用pyplot展示词云图。

这是我喜欢python的一个原因吧，简洁明快。

执行环境

如果这十行代码没有运行起来，需要检查自己的执行环境了。对于完整的开发学习环境，可以参考本公众号《老曹眼中的开发学习环境》。对于面向python 的数据分析而言，个人喜欢Anaconda，可以去https://www.continuum.io/downloads/ 下载安装，安装成功后的运行界面如下：

anaconda 是python 数据爱好者的福音吧。

安装wordcloud 和 jieba 两个库同样非常简单：

pip install wordcloud
pip install jieba

遇到的一个小坑，刚开始运行这十行代码的时候，只显式了若干彩色的小矩形框，中文词语显式不出来，以为是万恶的UTF8问题，debug一下，发现print 结巴分词的结果是可以显示中文的，那就是wordcloud 生成词语的字体库问题了。开源的好处来了，直接进入wordcloud.py 的源码，找字体库相关的代码

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

wordcloud 默认使用了DroidSansMono.ttf 字体库，改一下换成一个支持中文的ttf 字库，重新运行一下这十行代码，就可以了。当然，解读代码后有更优雅的方法。

看一下源码

既然进入了源码，就会忍不住好奇心，浏览一下wordcloud 的实现过程和方式吧。

wordcloud.py总共不过600多行，其间有着大量的注释，读起来很方便。其中用到了较多的库，常见的random，os，sys，re（正则）和可爱的numpy，还采用了PIL绘图，估计一些人又会遇到安装PIL的那些坑。

生成词云的原理其实并不复杂，大体分成5步：

对文本数据进行分词，也是众多NLP文本处理的第一步，对于wordcloud中的process_text（）方法，主要是停词的处理
计算每个词在文本中出现的频率，生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount，和各种语言的hello world 程序具有相同的地位了，呵呵。
根据词频的数值按比例生成一个图片的布局，类IntegralOccupancyMap 是该词云的算法所在，是词云的数据可视化方式的核心。
将词按对应的词频在词云布局图上生成图片，核心方法是generate_from_frequencies,不论是generate（）还是generate_from_text（）都最终到generate_from_frequencies
完成词云上各词的着色,默认是随机着色

词语的各种增强功能大都可以通过wordcloud的构造函数实现，里面提供了22个参数，还可以自行扩展。

10行Python代码的词云

词云制作有很多工具.....

十行代码

执行环境

看一下源码

更多的小例子

相关分类