如何用pandas对excel中的文本数据进行操作

excel进行数据的操作最便捷的库是pandas,但是如何使用pandas对excel中的文本进行清洗,这是一个很技巧性的工作。之前常见的思路是操作结果保存到新的excel文件中,这会让代码可读性和清洗速度大大降低,这很不pythonic,所以今天分享pandas的文本数据处理技巧。

pandas中有Series和DataFrame两种数据结构,Series是一种数组,DataFrame是一种表(每一行数据是一条记录,每一列是一个变量)。

上图整体是一个DataFrame,图中的每一绿色圈中的是一个Series。

在Series中有str方法,本文所有的方法都是在Series对象基础上进行的操作。

Series.str方法

Series.str可以对某一序列中的每个文本数据进行批处理,一般返回的结果是数组。

上面内容看不懂没关系,我们通过代码帮助你理解

选择From_To列,得到Series类型数据

Run

upper/lower

将Airline列中的每一项变为大写

Run

将From_To列中的每一项变为小写

Run

len

求From_To列每一项的长度

Run

split分割

对From To列中每一项按照" "进行切割。注意这里expand参数

Run

contains

From_To列中每项是否含有'Brussels'这个字段,返回布尔值

Run

startswith

From_To列中每项是否含以'B'作为开头,返回布尔值

Run

endswith

From_To列中每项是否含以'n'作为结尾,返回布尔值

Run

findall

把RecentDelays列中的列表

Run

extract

清洗Airline列,使其每一项只拥有字母和空格。我们先看看数据

使用正则表达式,对From_To列进行提取操作,获得出发地和目的地。

findall(pat)

查找Series中每一项是否含有pat

Run

查找Series中每一项是否含有Monkey

Run

我们先看看df

查找From_To列中是否有Paris

Run

replace

将From To列中的" "换为">"

Run

get

get(i) 获得序列中每一项第i个位置的数据

Run

获得s1序列中每项文本的第2个位置的数据

Run

获得s1序列中每项文本的最后一个位置的数据

Run

join

join(sep) 按照sep对每一项文本序列数据进行拼接。注意遇到非文本数据,不进行拼接,返回nan

Run

将s2中每一项用空格拼接

Run

cat

Series.str.cat(sep, na rep)|按照sep对数组进行合并(如果遇到nan,以na rep替代),注意该方法返回字符串

将Airline列合并成一个大的字符串,用空格间隔

Run

推荐阅读

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章