当前位置: 技术问答>linux和unix
求救，大文本文件要高效的插入到数据库？
来源: 互联网 发布时间：2017-02-28
本文导语: 一个500M左右的txt文件，每行格式相同（key一样，value不同），如下： key1=value1&key2=value2&key3=value3……大概20个这种参数 mysql数据库只需要前5个参数的值。表我就建好了5个字段了。 试了一下mysql命令行的： load data lo...
一个500M左右的txt文件，每行格式相同（key一样，value不同），如下：
key1=value1&key2=value2&key3=value3……大概20个这种参数
mysql数据库只需要前5个参数的值。表我就建好了5个字段了。
试了一下mysql命令行的：
load data local infile "E:/data.txt" into table zzz files terminated by '&' lines terminated by 'rn'
这样花了50分钟。而且5个字段的数据是 key1=value1, key2=value2,……还需要单独去掉key，只保留值。
后来我的思路是先生成一个只包含前5个字段的txt，再用mysql的load data加载进去。
朋友教了我一个办法：
cat test_data.txt | awk -F'&' '{for(i=1;i
key1=value1&key2=value2&key3=value3……大概20个这种参数
mysql数据库只需要前5个参数的值。表我就建好了5个字段了。
试了一下mysql命令行的：
load data local infile "E:/data.txt" into table zzz files terminated by '&' lines terminated by 'rn'
这样花了50分钟。而且5个字段的数据是 key1=value1, key2=value2,……还需要单独去掉key，只保留值。
后来我的思路是先生成一个只包含前5个字段的txt，再用mysql的load data加载进去。
朋友教了我一个办法：
cat test_data.txt | awk -F'&' '{for(i=1;i
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
站内导航:
特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除！