- 概述
- 在Linux服务器A上执行文件压缩操作
- 将压缩包A分割成多个文件包
- 将linux服务器A上的文件传输至linux服务器B
- 在linux服务器B上执行合并与解压操作
- 关于从php初级到架构师进阶的相关阅读材料
这是一系列关于Linux应用进阶学习的课程,特别关注于如何在Linux系统中处理超大文件的传输问题,从A服务器传输至B服务器。
学习目标:
掌握工作中遇到的大文件传输的解决方案。
场景描述:
当我们在处理linux服务器A中的大量数据文件,需要将其迁移至linux服务器B时,如果文件过大,直接进行压缩传输可能会耗费很长时间,并且在传输过程现中断需要重新上传的情况。我们需要采用一种策略,即将压缩文件分割成多个小部分进行传输,然后再在目标服务器上进行合并与解压。
在linux服务器A上执行文件压缩操作。通过压缩软件或命令行工具,可以将大文件压缩成一个或多个压缩包A。
接着,我们将压缩包A分割成多个小文件包。可以按照指定的大小(例如4000k)进行分割,这样会在当前目录生成多个分段的压缩文件,如B.tar.gzaa, B.tar.gzab等。
然后,开始将分割后的文件通过安全拷贝(scp)或其他传输方式,从linux服务器A传输到linux服务器B。
在linux服务器B上,进入相应的文件目录,执行合并与解压操作。可以一次性合并所有分段的压缩文件,或者逐一进行合并与解压。
完成上述步骤后,即可成功将linux服务器A中的大文件数据迁移至linux服务器B。