当前位置: 技术问答>linux和unix
海量小文件如何快速读到内存?
来源: 互联网 发布时间：2017-03-12
本文导语: 各位来讨论下: linux下如何快速将1k-100k左右的海量文件读入到内存? 目前我这边用的方式是紧凑型缓存,将文件打包到一个文件(不压缩),然后读入到内存. 此方法相比单个读入有30%以上的速度提升. 不知道其他朋友有...
各位来讨论下: linux下如何快速将1k-100k左右的海量文件读入到内存?
目前我这边用的方式是紧凑型缓存,将文件打包到一个文件(不压缩),然后读入到内存.
此方法相比单个读入有30%以上的速度提升.
不知道其他朋友有没更好的方式?
目前我这边用的方式是紧凑型缓存,将文件打包到一个文件(不压缩),然后读入到内存.
此方法相比单个读入有30%以上的速度提升.
不知道其他朋友有没更好的方式?
|
小文件的快速处理是不是可以参考taobao的文件系统处理
|
海量能读入内存？
|
先对文件进行合并处理吧
|
如果单纯考虑读入和读出的话，没有什么更快的方法了……
再有就是换SSD硬盘……
不过，如果要是在读入的命中率上下工夫，就有很多可做的事情了……
毕竟你不可能把硬盘上的数据全部读到内存里来，所以提升命中率才是提升整体速度的关键……
再有就是换SSD硬盘……
不过，如果要是在读入的命中率上下工夫，就有很多可做的事情了……
毕竟你不可能把硬盘上的数据全部读到内存里来，所以提升命中率才是提升整体速度的关键……
|
建立缓存机制
加大虚拟内存
加大虚拟内存
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。