当前位置:  编程技术>php

php与shell大文件数据统计与排序方法

    来源: 互联网  发布时间:2014-08-30

    本文导语:  本节内容: shell与php排序大数据的方法 大数据的问题,比如有个4G的文件,如何用只有1G内存的机器去计算文件中出现次数做多的数字(假设1行是1个数组,例如QQ号码)。 如果这个文件只有4B或者几十兆,那么最简单的办法就是...

本节内容:
shell与php排序大数据的方法

大数据的问题,比如有个4G的文件,如何用只有1G内存的机器去计算文件中出现次数做多的数字(假设1行是1个数组,例如QQ号码)。
如果这个文件只有4B或者几十兆,那么最简单的办法就是直接读取这个文件后进行分析统计。但是这个是4G的文件,当然也可能是几十G甚至几百G的文件,这就不是直接读取能解决了的。

同样对于如此大的文件,单纯用PHP做是肯定行不通的,我的思路是不管多大文件,首先要切割为多个应用可以承受的小文件,然后批量或者依次分析统计小文件后再把总的结果汇总后统计出符合要求的最终结果。类似于比较流行的MapReduce模型,其核心思想就是“Map(映射)”和“Reduce(化简)”,加上分布式的文件处理,当然我能理解和使用到的只有Reduce后去处理。

假设有1个10亿行的文件,每行一个6位-10位不等的QQ号码,那么我需要解决的就是计算在这10亿个QQ号码中,重复最多的前10个号码,使用下面的PHP脚本生成这个文件,很可能这个随机数中不会出现重复,但是假设这里面会有重复的数字出现。

例如,
 

代码示例:

    
 
 

您可能感兴趣的文章:

  • php和jquery实现地图区域数据统计展示数据示例
  • PHP快速排序小例子 php快速排序实现方法
  • php排序算法 PHP版快速排序与冒泡排序
  • php数组随机排序示例
  • php数组排序方法大全(脚本学堂整理奉献)
  • PHP二维数组排序的函数
  • 排序算法之PHP版快速排序、冒泡排序
  • php冒泡排序算法实现代码
  • php选择排序算法实现代码
  • 一个PHP二维数组排序的函数分享
  • php根据键值对二维数组排序的小例子
  • 又一个PHP实现的冒泡排序算法分享
  • php统计文章排行示例 iis7站长之家
  • php实例分享之二维数组排序
  • PHP数组分组排序实例代码
  • 不使用php api函数实现数组的交换排序示例
  • php中多维数组按指定value排序的实现代码
  • php中文数组排序方法示例
  • php对二维数组进行排序的简单实例
  • PHP排序函数有哪些?
  • PHP中数组的分组排序实例
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • php 统计字数(支持中英文)的实现代码
  • 开源的统计应用程序 PHP Web Stat
  • php+memcache实现的网站在线人数统计代码
  • php数组函数之array_count_values() 统计数组中所有值出现的次数
  • PHP统计字符串中单词出现次数的函数
  • php统计时间和内存使用情况示例分享
  • PHP遍历目录并返回统计目录大小
  • PHP如何统计数组元素个数
  • php统计时间与内存使用情况
  • PHP+Memcache实现wordpress访问总数统计(非插件)
  • PHP 统计监控系统 workerman-satistics
  • PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径
  • php统计文章排行示例
  • PHP折线图的示例代码 可以输出汉字的php折线统计图
  • C语言实现的统计php代码行数功能源码(支持文件夹、多目录)
  • php+highchats生成动态统计图
  • PHP Mysql与jQuery实现文件下载次数统计
  • PHP立体3D效果饼状统计图的生成代码
  • 修改配置真正解决php文件上传大小限制问题(nginx+php)
  • IIS7配置PHP图解(IIS7+PHP_5.2.17/PHP_5.3.5)
  • PHP 5.4.19 和 PHP 5.5.3 发布及下载地址
  • php输入流php://input使用示例(php发送图片流到服务器)
  • 修改配置真正解决php文件上传大小限制问题(apache+php)
  • PHP转换器 HipHop for PHP
  • PHP去除html标签,php标记及css样式代码参考
  • PHP 框架 Pop php
  • PHP 'ext/soap/php_xml.c'不完整修复存在多个任意文件泄露漏洞
  • PHP的JavaScript框架 PHP.JS
  • php通过socket_bind()设置IP地址代码示例
  • php服务器探针显示php服务器信息
  • php安装完成后如何添加mysql扩展




  • 特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3