当前位置: 首页 > news >正文

爬虫报错:twisted.web._newclient.ResponseNeverReceived

我在使用scrapy进行数据爬取的过程中,出现了标题所示的报错信息。一开始以为是自己xpath路径写的有问题,然而没有用。于是百度搜索,以为是爬取频率略高被识别了,换了ip,还是报错,终于在github上找到了解决办法,这里仅供参考,因为每个人遇到的具体情况存在差异,只有不断尝试才知道怎么解决。(原贴详见蓝色链接

简单来说,就是cryptography就是捆绑了 libssl,因此需要降低版本以便顺利连接过时的服务器。实测降低pyOpenSSL和cryptography至图二版本即可

问题提出:
在这里插入图片描述
对比修改后主要看版本数↓
在这里插入图片描述

实测降低pyOpenSSL和cryptography至图二版本即可

在这里插入图片描述
响应成功!!

相关文章:

  • dw如何用表格来做网站/整站seo服务
  • 做网站要会哪些技术/网页设计规范
  • 个体户能否从事网站建设/seo系统是什么
  • 淮南网站建设好/全球网站排名查询
  • 哪些品牌网站做的好/百度搜索引擎api
  • 经常访问的网站来打不开/接广告推广
  • 前后端分离技术渲染动态页面 - 表白墙(Servlet)
  • 关于springboot多环境设设置说明
  • 一幅长文细学CSS3
  • P2-Net:用于2D像素与3D点匹配的局部特征的联合描述符和检测器(ICCV 2021)
  • 电磁兼容(EMC)基础(二)
  • 面向终客户和设备制造商的Ethernet-APL
  • React.lazy与Suspence实现延迟加载
  • React 中 memo useMemo useCallback 到底该怎么用
  • git命令
  • Vue的思维导图
  • 【Linux】4.0进程控制
  • 【Python应用】自制截图取词小工具-- 解锁文字识别新姿势