当前位置: 首页 > news >正文

爬虫报错:twisted.web._newclient.ResponseNeverReceived

我在使用scrapy进行数据爬取的过程中,出现了标题所示的报错信息。一开始以为是自己xpath路径写的有问题,然而没有用。于是百度搜索,以为是爬取频率略高被识别了,换了ip,还是报错,终于在github上找到了解决办法,这里仅供参考,因为每个人遇到的具体情况存在差异,只有不断尝试才知道怎么解决。(原贴详见蓝色链接

简单来说,就是cryptography就是捆绑了 libssl,因此需要降低版本以便顺利连接过时的服务器。实测降低pyOpenSSL和cryptography至图二版本即可

问题提出:
在这里插入图片描述
对比修改后主要看版本数↓
在这里插入图片描述

实测降低pyOpenSSL和cryptography至图二版本即可

在这里插入图片描述
响应成功!!

相关文章:

  • 华为od机试真题 — 分披萨(Python)
  • 【学习笔记】无人机系统(UAS)的连接、识别和跟踪(二)-定义和缩写
  • Ubantu 使用 docker 配置 + 远程部署 + 远程开发
  • Java中锁的全面详解(深刻理解各种锁)
  • 卷积神经网络图像识别车辆类型
  • 软件测试——非功能测试
  • 数据结构:排序算法+查找算法
  • 系统架构设计文档模版
  • Gradio Dataframe 学习笔记
  • 计算机网络---物理层疑难点总结
  • C# OpenCvSharp DNN Low Light image Enhancement
  • Linux yum与rpm区别
  • 前后端分离技术渲染动态页面 - 表白墙(Servlet)
  • 关于springboot多环境设设置说明
  • 一幅长文细学CSS3
  • P2-Net:用于2D像素与3D点匹配的局部特征的联合描述符和检测器(ICCV 2021)
  • 电磁兼容(EMC)基础(二)
  • 面向终客户和设备制造商的Ethernet-APL
  • React.lazy与Suspence实现延迟加载
  • React 中 memo useMemo useCallback 到底该怎么用
  • git命令
  • Vue的思维导图
  • 【Linux】4.0进程控制
  • 【Python应用】自制截图取词小工具-- 解锁文字识别新姿势
  • MYSQL学习笔记(DDL[数据定义]、DML[数据操作]、DQL[数据查询])
  • SpringCloud学习笔记
  • FFT 快速傅里叶变换 NTT 快速数论变换
  • 王传福赚嗨了!比亚迪单季利润超50亿 还大量出口到欧洲
  • 带你趣学算法
  • 设计模式(四)—— 装饰者模式
  • [架构之路-48]:目标系统 - 系统软件 - Linux下的网络通信-4-快速数据平面开发套件DPDK-工作原理
  • 创意电子学00课:需要准备的材料汇总