当前位置： 首页 > news >正文

爬虫报错：twisted.web._newclient.ResponseNeverReceived

news 来源：原创 2024/4/20 8:06:40

我在使用scrapy进行数据爬取的过程中，出现了标题所示的报错信息。一开始以为是自己xpath路径写的有问题，然而没有用。于是百度搜索，以为是爬取频率略高被识别了，换了ip，还是报错，终于在github上找到了解决办法，这里仅供参考，因为每个人遇到的具体情况存在差异，只有不断尝试才知道怎么解决。（原贴详见蓝色链接）

简单来说，就是cryptography就是捆绑了 libssl，因此需要降低版本以便顺利连接过时的服务器。实测降低pyOpenSSL和cryptography至图二版本即可

问题提出：
在这里插入图片描述
对比（修改后，主要看版本数↓）
在这里插入图片描述

实测降低pyOpenSSL和cryptography至图二版本即可

在这里插入图片描述
响应成功！！

相关文章：

  • neovim添加clipboard = “unnamedplus“出现打开速度变慢的解决办法
  • 温湿度传感器（DHT11）以及光照强度传感器（BH1750）的使用
  • ST-GCN模型详解（+openpose）
  • Linux：进程调度
  • 面试题：HashMap线程不安全 ConcurrentHashMap为什么线程安全
  • 机器学习在基因组学中的应用
  • 高温应用中GaN HEMT大信号建模的ASM-HEMT
  • Stable-Diffusion ubuntu服务器部署，报错解决方法（小白教程）
  • 跟着cherno手搓游戏引擎【25】封装2DRenderer，封装shader传参，自定义Texture
  • Premiere情侣恋爱记录照片展示爱情相册视频模板
  • Eureka服务搭建
  • Qt6.8 GRPC功能使用(2)标准 Qt实现客户端
  • 前后端分离技术渲染动态页面 - 表白墙(Servlet)
  • 关于springboot多环境设设置说明
  • 一幅长文细学CSS3
  • P2-Net：用于2D像素与3D点匹配的局部特征的联合描述符和检测器(ICCV 2021)
  • 电磁兼容（EMC）基础（二）
  • 面向终客户和设备制造商的Ethernet-APL
  • React.lazy与Suspence实现延迟加载
  • React 中 memo useMemo useCallback 到底该怎么用
  • git命令
  • Vue的思维导图
  • 【Linux】4.0进程控制
  • 【Python应用】自制截图取词小工具-- 解锁文字识别新姿势
  • MYSQL学习笔记(DDL[数据定义]、DML[数据操作]、DQL[数据查询])
  • SpringCloud学习笔记
  • FFT 快速傅里叶变换 NTT 快速数论变换
  • 王传福赚嗨了！比亚迪单季利润超50亿 还大量出口到欧洲
  • 带你趣学算法
  • 设计模式（四）—— 装饰者模式
  • [架构之路-48]：目标系统 - 系统软件 - Linux下的网络通信-4-快速数据平面开发套件DPDK-工作原理
  • 创意电子学00课：需要准备的材料汇总