下载chrome
在命令行输入下面的指令,会自动下载最新版本的chrome浏览器,中间会让你输入y来确认安装操作,之后就会自动安装
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
输入y的时候的截图:
安装成功的截图:
查看chrome版本,下载对应版本的chromedriver
cd ../opt/google/chrome
第一步成功后,chrome一般就会安装在opt/google/chrome文件夹,通过上面的指令切换到chrome文件夹。用下面的指令查询chrome的版本。
./chrome --version
我下载的是Google Chrome 77.0.3865.75:
下载chromedriver建议去淘宝npm镜像,国内的速度比较快:http://npm.taobao.org/mirrors/chromedriver/
在网站点开对应版本后,复制下载框里面的地址:
在你的Linux服务器命令行切换到usr/local/share文件夹下,输入下面的指令:
wget 你刚才复制的地址
系统就会下载你所选择的chromedriver压缩包,接下来输入解压指令:
unzip chromedriver_linux64.zip
给chromedriver执行权限:
chmod +x chromedriver
解压之后,输入下面的指令建立软连接:
ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
ln -s /usr/local/share/chromedriver /usr/bin/chromedriver
安装selenium库
我的服务器是python2和python3共存,我要在python3安装selenium,输入:
pip3 install selenium
稍微等待一下,就能安装成功:
测试是否安装成功
找一个文件夹下建立一个chromedrivertest.py文件,我选择的是opt文件夹下,填入下面的测试代码:
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('headless')
option.add_argument('no-sandbox')
option.add_argument('disable-dev-shm-usage')
browser = webdriver.Chrome('/usr/local/bin/chromedriver',chrome_options=option)
browser.get('http://www.baidu.com/')
print(browser.title)
exit();
在linux命令行输入:
python3 /opt/chromedrivertest.py
如果安装成功了,会显示“百度一下,你就知道”:
这样就算安装成功了,在使用爬虫的时候我们就能够使用selenium库里的各种方法,用webdriver爬一些动态的网页,还可以使用无头浏览器进行网站的爬取。