MySql数据库快速去重方法
最近研究原来收集的大数据资料,需要处理重复数据,找到以下几个方法:
1.复制需要去重的表
CREATE TABLE 新表 LIKE 旧表 ;
2.将需要去重的字段 设置为唯一union 索引
ALTER TABLE 表名 ADD UNIQUE(`字段`);
3.复制旧表数据到新表 并忽略错误
INSERT ignore into 新表(字段1,字段2,.......) SELECT 字段1,字段2,...... FROM 旧表
最近研究原来收集的大数据资料,需要处理重复数据,找到以下几个方法:
CREATE TABLE 新表 LIKE 旧表 ;
ALTER TABLE 表名 ADD UNIQUE(`字段`);
INSERT ignore into 新表(字段1,字段2,.......) SELECT 字段1,字段2,...... FROM 旧表