发表于

反爬虫及其应对措施

常见的反爬措通常来说有三种：1、通过分析用户请求的Headers信息进行反爬虫；2、通过判断同一个IP在短时间内是否频繁访问对应网站等进行分析；3、通过动态页面增加爬取的难度，达到反爬虫的目的。我们来具体分析分析。一般来说，前面两种比较容易遇到，而且大多数也是根据前面两种方式来做反爬的。

阅读全文 »

发表于

使用ssh实现无密码启动hdfs

如果一个集群都使用密码来登录，可想而知是一件十分害怕的事情，所以就很有必要使用ssh来实现无密码登录了

本机的免密码启动hdfs

  1. 检查本机.ssh文件中是否有authorized_keys文件，没有则创建并且修改权限,修改权限,修改权限
    1
    2
    3
    cd .ssh
    touch authorized_keys
    chmod 600 authorized_keys
阅读全文 »