如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。
1.readline读所有行
使用readlines方法读取所有行:
def readline_count(file_name):
return len(open(file_name).readlines())
2.依次读取每行
依次读取文件每行内容进行计数:
def simple_count(file_name):
lines = 0
for _ in open(file_name):
lines += 1
return lines
3.sum计数
使用sum函数计数:
def sum_count(file_name):
return sum(1 for _ in open(file_name))
4.enumerate枚举计数:
def enumerate_count(file_name):
with open(file_name) as f:
for count, _ in enumerate(f, 1):
pass
return count
5.buff count
每次读取固定大小,然后统计行数:
def buff_count(file_name):
with open(file_name, 'rb') as f:
count = 0
buf_size = 1024 * 1024
buf = f.read(buf_size)
while buf:
count += buf.count(b' ')
buf = f.read(buf_size)
return count
6.wc count
调用使用wc命令计算行:
def wc_count(file_name):
import subprocess
out = subprocess.getoutput("wc -l %s" % file_name)
return int(out.split()[0])
7.partial count
在buff_count基础上引入partial:
def partial_count(file_name):
from functools import partial
buffer = 1024 * 1024
with open(file_name) as f:
return sum(x.count(' ') for x in iter(partial(f.read, buffer), ''))
8.iter count
在buff_count基础上引入itertools模块 :
def iter_count(file_name):
from itertools import (takewhile, repeat)
buffer = 1024 * 1024
with open(file_name) as f:
buf_gen = takewhile(lambda x: x, (f.read(buffer) for _ in repeat(None)))
return sum(buf.count(' ') for buf in buf_gen)
下面是在我本机 4c8g python3.6的环境下,分别测试100m、500m、1g、10g大小文件运行的时间，单位秒：
方法
100M
500M
1G
10G
readline_count
0.25
1.82
3.27
45.04
simple_count
0.13
0.85
1.58
13.53
sum_count
0.15
0.77
1.59
14.07
enumerate_count
0.15
0.80
1.60
13.37
buff_count
0.13
0.62
1.18
10.21
wc_count
0.09
0.53
0.99
9.47
partial_count
0.12
0.55
1.11
8.92
iter_count
0.08
0.42
0.83
8.33
关于逆序数的问题描述如下： 已知数组nums，求新数组count，count[i]代表了在nums[i]右侧且比 nums[i]小的元素个数。 例如: nums = [5, 2, 6, 1], count = [2, 1, 1, 0]; nums = [6, 6, 6, 1, 1, 1], count = [3, 3, 3, 0,...
题目 设计一个算法，计算出n阶乘中尾部零的个数 样例 11! = 39916800，因此应该返回 2 题解 一开始就用最简单对1-n找出5的个数，然后超时了。虽然都直到是要找5，因为2肯定比5多，所以5的个数就是0的个数，只是计算方法得简单明了。既然1-n里5的个数就是0，我们就看看规律。5 10 15 。。。n 那n/...
EditText 限定中文8个英文16个的解决方法。 在EditText上控件提供的属性中有限定最大最小长度的方法。可是，对于输入时，限定中文8个英文16个时，怎么办？相当于一个中文的长度是两个英文的长度。 原理就不说了。自己看一下android的源代码。 以上直接上代码。 private final int maxLen =...
/**172. Factorial Trailing Zeroes *2016-6-4 by Mingyang* 首先别忘了什么是factorial，就是阶乘。那么很容易想到需要统计* (2,5)对的个数，因为2×5=10。但是这个条件放松一下就会发现其实只要数5的个数就好了，* 因为2实在是比5要多的多。那么这道题目就转...
引言 在这个-SLAM建图和导航仿真实例-项目中，主要分为三个部分，分别是 （一）模型构建（二）根据已知地图进行定位和导航（三）使用RTAB-MAP进行建图和导航 该项目的slam_bot已经上传我的Github。 这是第三部分，完成效果如下 图1 建图和导航 三、使用RTAB-Map进行建图和导航 1. rtab...
引言 在这个-SLAM建图和导航仿真实例-项目中，主要分为三个部分，分别是 （一）模型构建（二）根据已知地图进行定位和导航（三）使用RTAB-MAP进行建图和导航 该项目的slam_bot已经上传我的Github。 由于之前的虚拟机性能限制，我在这个项目中使用了新的ubantu 16.04环境，虚拟机配置 内存 8GCPU...
[{name:1},{name:2}].forEach((v,i,ar) => {console.log(v,i,ar)});//基础遍历[{name:1},{name:2}].map((v) => v.name);//[1,2]返回对象数组中指定字段值的一位数组（不改变原始数组）[{name:1},{name:2},{name:3}...
体验内容 使用gmapping方法利用turtlebot底盘移动信息和激光雷达数据进行建图。 1. 安装一些依赖包 sudo apt-get install ros-melodic-move-base* sudo apt-get install ros-melodic-map-server* sudo apt-get insta...
前言 我们知道Java/Python这种语言能够很好得 支持反射。反射机制 就是一种用户输入的字符串到对应实现方法的映射，比如http接口中 用户传入了url，我们需要调用该url对应的方法/函数对象 从而做出对应的操作。 而C++ 并没有友好得支持这样的操作，而最近工作中需要通过C++实现http接口，这个过程想要代码实现得优雅...
本例的初始文件是4位数字 (e.g. 0001.png)，想在前面补1个0 (00001.png) import numpy as np import cv2 from ptsemseg.utils import recursive_glob import osroot = "./src/" root1 = "./dst/" fil...
方法一： QString file("sample.jpg"); if (file.contains(".jpg") || file.contains(".bmp") || file.contains(".png")) { qDebug()<<"这是图片。"; } 方法二： QString file_...
shell中可能经常能看到：>/dev/null 2>&1 命令的结果可以通过%>的形式来定义输出 分解这个组合：“>/dev/null 2>&1” 为五部分。 1：> 代表重定向到哪里，例如：echo "123" > /home/123.txt 2：/dev/null 代表空设备文件 3：2> 表示stderr标准错误...
第三步，使用JODConverter将office文档转换为pdf JODConverter是一个java的OpenDucument文件转换器，可以进行许多文件格式的转换，它利用 OpenOffice来进行转换工作，它能进行以下的转换工作： 1.Microsoft Office格式转换为OpenDucument...