Linux 上部署 Geoserver 发表于 2018-01-20 Linux 上部署 Geoserver实验环境 Linux:CentOS7 jdk-8u152-linux-x64 geoserver-2.12.1 apache-tomcat-8.5.24 阅读全文 »
反爬虫及其应对措施 发表于 2017-12-16 反爬虫及其应对措施常见的反爬措通常来说有三种:1、通过分析用户请求的Headers信息进行反爬虫;2、通过判断同一个IP在短时间内是否频繁访问对应网站等进行分析;3、通过动态页面增加爬取的难度,达到反爬虫的目的。我们来具体分析分析。一般来说,前面两种比较容易遇到,而且大多数也是根据前面两种方式来做反爬的。 阅读全文 »
hadoop ssh实现无密码启动 发表于 2017-11-19 使用ssh实现无密码启动hdfs如果一个集群都使用密码来登录,可想而知是一件十分害怕的事情,所以就很有必要使用ssh来实现无密码登录了 本机的免密码启动hdfs 检查本机.ssh文件中是否有authorized_keys文件,没有则创建并且修改权限,修改权限,修改权限123cd .sshtouch authorized_keyschmod 600 authorized_keys 阅读全文 »
云平台配置3:配置完全分布式的 Hadoop 发表于 2017-11-19 云平台配置3:配置完全分布式的 Hadoop前面说了伪分布式的配置,也说了如何配置ssh,到现在是时候配置具有完全分布式的hadoop了 阅读全文 »