Linux下能否实现给大文件顺序去重

发布时间：2023-09-12 09:36:19 所属栏目：Linux 来源：未知

导读： 　　这篇文章主要介绍了Linux下如何实现给大文件排序去重相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇Linux下如何实现给大文件排序去重文章都会有所收获，

　　这篇文章主要介绍了Linux下如何实现给大文件排序去重相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇Linux下如何实现给大文件排序去重文章都会有所收获，下面我们一起来看看吧。

　　有一道校招生的面试题，是要给一个很大的文件（不能全部放内存，比如1T）按行来排序和去重。

　　一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。

　　在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到shell脚本文件里。文件名叫sort_uniq.sh.

　　#!/bin/bash

　　lines=$(wc -l $1 | sed 's/ .*//g')

　　lines_per_file=`expr $lines / 20`

　　split -d -l $lines_per_file $1 __part_$1

　　for file in __part_*

　　do

　　{

　　 sort $file > sort_$file

　　} &

　　done

　　wait

　　sort -smu sort_* > $2

　　rm -f __part_*

　　rm -f sort_*

　　使用方法：./sort_uniq.sh file_to_be_sort file_sorted

　　这段代码把大文件分词20或21个小文件，后台并行排序各个小文件，最后合并结果并去重。

　　如果只要去重，不需要排序，还有另外一种思路：对文件的每一行计算hash值，按照hash值把该行内容放到某个小文件中，假设需要分词100个小文件，则可以按照（hash % 100）来分发文件内容，然后在小文件中实现去重就可以了。

（编辑：烟台站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!