时间:2021-11-25来源:www.pcxitongcheng.com作者:电脑系统城
我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据
代码如下
1 2 3 4 5 6 7 8 9 10 11 12 |
from selenium.webdriver import Chrome from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options # 使用无头浏览器 from selenium.webdriver import ChromeOptions chrome_options = Options() options = ChromeOptions() options.add_experimental_option( 'excludeSwitches' , [ 'enable-automation' ]) # =>去掉浏览器正在受到自动测试软件的控制 options.add_experimental_option( 'useAutomationExtension' , False ) chrome_options.add_argument( "--headless" ) # => 为Chrome配置无头模式 chrome_options.add_argument( '--no-sandbox' ) chrome_options.add_argument( '--disable-gpu' ) chrome_options.add_argument( '--disable-dev-shm-usage' ) |
代码如下:
1 2 3 4 5 6 |
s = Service(r "/home/driver/chromedriver" ) driver = Chrome( service = s, options = chrome_options ) driver.get( "https://www.baidu.com" ) print (diiver.title) |
命令如下:
1 2 3 |
yum install https: //dl .google.com /linux/direct/google-chrome-stable_current_x86_64 .rpm 检查chrome的版本 google-chrome --version |
命令如下:
1 2 3 4 5 6 7 8 |
按照对应的chrome版本下载chromedriver驱动 地址: https: //npm .taobao.org /mirrors/chromedriver 我的版本号是: 96.0.4664.45 wget https: //npm .taobao.org /mirrors/chromedriver/96 .0.4664.45 /chromedriver_linux64 .zip yum install -y unzip zip unzip chromedriver_linux64.zip # 解压zip文件 mkdir driver #新建文件夹用来存放驱动 chmod 777 driver /chromedriver # 这是权限 我这里给的是 777 |
新建test.py文件
1 | vi test .py |
保存 test.py run 一下看看
看到这个我么就算请求成功了
到此这篇关于在linux系统下部署selenium爬虫程序介绍的文章就介绍到这了
2023-03-17
Nginx主机域名配置实现2023-03-17
Nginx配置-日志格式配置方式2023-03-17
Apache APISIX Dashboard 未授权访问漏洞分析(CVE-2021-45232)正常项目无法访问(Linux 服务器),启动tomcat时卡在下图位置,项目无法启动。1、先检查tomcat日志、项目日志没有报错信息,且没再产生新的日志信息。2、jdk、tomcat 、 jvm 配置,服...
2023-03-15
这篇文章主要介绍了Kubernetes中Nginx服务启动失败排查流程(Error: ImagePullBackOff),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以...
2023-03-15