业务需求
一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:
id | code | price | num |
---|---|---|---|
11 | 22 | 33 | 44 |
22 | 33 | 44 | 55 |
33 | 44 | 55 | 66 |
44 | 55 | 66 | 77 |
55 | 66 | 77 | 88 |
66 | 77 | 88 | 99 |
现在需要将code
的这一列用逗号,
拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77'
,这样的情况,我们需要怎么处理呢?当然方式有很多……
多行文本批量处理
有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text
,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。
- 选中需要操作的多行,按下
Ctr+Shift+L
即可同时编辑这些行 - 鼠标选中文本,反复按
CTRL+D
即可继续向下同时选中下一个相同的文本进行同时编辑 - 鼠标选中文本,按下
Alt+F3
即可一次性选择全部的相同文本进行同时编辑
如何节省效率
在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。
pandas读取表格数据并处理
这我们使用Python
的pandas
模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。
1 | sheet = pandas.read_excel(io=file_name, usecols=[line_num]) |
完整源码
因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller
模块来将脚本进行打包成exe
的window可执行文件,使其在无Python
的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py
,我已有打包的上传到交友网站Github
上,大家有兴趣的话,可以点击查看哦,交个朋友地址:https://github.com/gxcuizy
1 | #!/usr/bin/env python |
最后
如果大家有其他好玩的、好用的欢迎分享出来,大家一起学习和交流。对了,如果有说的不对的或者错误的地方,请大家指出来,我会加倍学习,力争改进,期望和大家一起进步,谢谢。