wget为下载命令,用来从指定的URL下载文件。功能强大,支持断点续传、代理服务器、操作也比较简单。 有关使用说明:wget 命令,Linux wget 命令详解:Linux系统下载文件工具 - Linux 命令搜索引擎 。
举一个网站归档的例子:
sh
wget --recursive --convert-links -mpck --html-extension --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36." -e robots=off site.com
wget --recursive --convert-links -mpck --html-extension --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36." -e robots=off site.com
参数说明:
--recursive
递归下载所有链接--convert-links
转换为本地链接,本地可直接访问非常方便--html-extension
将所有text/html文档以.html扩展名保存-e
执行`.wgetrc’格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc