<>1 问题

现在有这样一个需求,在一份记录着微信聊天记录的 csv 文件中,去除同一天同一个人发的相同消息的记录。

<>2 实现代码
# -*- coding: utf-8 -*- import pandas as pd import os from tqdm import * class
DeleteRepetition: def __init__(self, finished_filedir='newdata'): '''
初始化数据清洗后的csv文件保存地址 :param finished_filedir: 保存路径 ''' self.finished_filedir =
finished_filedir def deleteCsvRepetition(self, filename): '''
将单个csv文件以ID,时间,消息为主键,去除同天同的人发的相同的话 :param filename:文件名 :return:null ''' #
读取csv文件 try: csvfile = pd.read_csv(filename, encoding="utf-8") # print(csvfile)
except Exception: raise Exception('file is not found!') # 第一行没有数据,去除 csvfile =
csvfile[1:] # print(csvfile) # 复制一份时间用于还原 time = csvfile['时间'].copy() #
print(time) # print(time.str.split(' ', expand=True)[0]) # 按照天为单位,提取时间
csvfile['时间'] = csvfile['时间'].str.split(' ', expand=True)[0] #
print(csvfile['时间']) # 去除同天同人同消息的数据 csvfile.drop_duplicates(subset=['ID', '时间',
'消息'], keep='first', inplace=True) # 恢复时间格式 csvfile['时间'] = time #
print(csvfile) # 写入csv文件 csvfile.to_csv(self.finished_filedir + '/' + filename,
index=0) def deleteCsvsRepetition(self, filedir): ''' 将根目录下的所有文件进行去重处理 :param
filedir: 文件夹名 ''' # 读取根目录下所有的csv文件名 filenames_csv = os.listdir(filedir) for
filename in tqdm(filenames_csv): self.deleteCsvRepetition(filedir + '/' +
filename) if __name__ == '__main__': test = DeleteRepetition()
test.deleteCsvsRepetition('20190311_0408')

技术
©2020 ioDraw All rights reserved
在上海做什么赚钱快?这10个你可以试一试!PHP 先返回结果到前端,PHP代码继续执行后续的任务centos7部署springboot jar包 疫情过后 学哪个编程有前景安卓开发—根据顾客预算显示食物信息苹果iPhone 12全系售价泄露:官方最高售价近1万元log4j打印异常堆栈信息的方法PTA快速排序日经:索尼和铠侠正积极申请华为供货许可一个学生关于鸿蒙系统的一些看法