[转]用linux下常用命令wget进行整站下载(递归下载至本地)

这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。 wget加上参数之后,即可成为相当强大的下载工具。 wget -r -p -np -k http://xxx.com/abc/ -r, –recursive(递归) specify recursive download.(指定递归下载) -k, –convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接) -p, –page-requisites(页面必需元素) get all images, etc.…

Linux wget命令整站下载做网站镜像

在linux下完整的用wget命令整站采集网站做镜像 的命令是: wget -m -e robots=off -U “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6” “http://www.example.com/” wget命令 参数注释: “-e robots=off” 让wget耍流氓无视robots.txt协议 -U “Mozilla/5.0 (Windows; U; Windows NT 5.1;…

wget进行整站下载(递归下载至本地)

这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。 wget加上参数之后,即可成为相当强大的下载工具。 wget -r -p -np -k /var/lcoal/ http://xxx.com/abc/ -r, –recursive(递归) specify recursive download.(指定递归下载) -k, –convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接) -p, –page-requisites(页面必需元素) get all images,…

pycharm激活(JetBrains IDEA 系列产品通用xx方法(license server))

http://xclient.info/a/f0b9738a-36fd-8a97-a966-0d3db497092d.html 1、打开激活窗口 2、选择 Activate new license with License server (用license server 激活) 3、在 License sever address 处填入 http://xidea.online 4、点击 Activate 进行认证 5、done! 补充2017.7.31: (1)上述server不可用,可换为: http://elporfirio.com:1017/ (2)修改hosts文件,利用license激活 0.0.0.0 account.jetbrains.com 添加进hosts licence:…

UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe9 in position 0: ordinal not in range(128) 解决办法

最近在用Python处理中文字符串时,报出了如下错误: UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128) 1、原因 因为默认情况下,Python采用的是ascii编码方式,如下所示: ◄► python -c "import sys; print sys.getdefaultencoding()" ascii ◄► 而Python在进行编码方式之间的转换时,会将 unicode 作为“中间编码”,但 unicode…

关于RPM的%config和(noreplace)

这篇文章翻译自这里, 是一篇关于制作RPM包中的一个比较难于理解的地方。 不做开发的同学就不要看了。 RPM spec文件有个名为 %config 的宏,它可以标识配置文件, 这样在升级时用户对配置文件做过的修改就不会丢失。 没有它,用户千辛万苦修改过的配置文件会在升级过程中被覆盖。 %config也可以写成%config(noreplace),不过网上关于它的说明却屈指可数。 下面是关于这两者的一些实验,都是在RedHat 9的RPM(rpm-4.2-0.69)上进行的, 其他版本有可能不同。 RPM中的文件的制约条件有三个:1. 该文件在spec中如何标识(默认,%config或者%config(noreplace)); 2. 在rpm升级包中该文件是否被更新;3. 该文件是否被用户编辑过。 下表就是各个条件的组合结果。 文件标识 在RPM升级包中是否更新了? 旧版本文件未被用户编辑过 旧版本文件被用户编辑过 默认 No 用新文件覆盖 用新文件覆盖 ~ Yes 用新文件覆盖…

使用kubeadm在Red Hat 7/CentOS 7快速部署Kubernetes 1.7集群

前言 kubeadm是Kubernetes官方推出的快速部署Kubernetes集群工具,其思路是将Kubernetes相关服务容器化(Kubernetes静态Pod)以简化部署。kubeadm当前处于beta阶段,不建议生产环境使用(比如etcd单点)。使用kubeadm部署Kubernetes集群非常简单方便,本文记录了在Red Hat 7上用kubeadm部署一个安全的Kubernetes集群的全过程,CentOS 7部署过程与之类似。 如需kubeadm部署一个高可用的集群,可采用如下方式 kubeadm init --api-advertise-addresses=vip --external-etcd-endpoints=http://x.x.x.x:2379,http://x.x.x.x:2379,http://x.x.x.x:2379 --pod-network-cidr 10.244.0.0/16 注:–api-advertise-addresses 本身支持多个api service ip,但操作kubeadm join加入集群节点会失败, 所以对外服务只配置为一个vip。 部署实例 etcd Version: 3.0.17 kubeadm: v1.7.1 kubernetes: v1.7.1 Flannel: v0.8.0 Docker: 17.03.1-ce…