Recent questions tagged pyspider

0 votes

597 views

1 answer

pyspider 每次重试的时候，是不是用的第一次爬取的信息。比如代理，无论retry多少次都是一个代理。

用pyspider写爬虫，发现只要出现错误之后，所有的错误重试都不能够成功猜测是因为每次重试都用的同一个代理代码部分如下 def on_start(self): self.crawl( 'http://he.gsxt.gov.cn/notice/ ... 用那种squid之类的代理（就是我只需要连接一个服务器，这个服务器帮我分发代理），这种模式可以 ...

asked Feb 19, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

633 views

1 answer

pyspider 数据库redis,ES混搭是否合适？

1.database中已有对ES的支持，但文档中并没有介绍 2.database中有对redis的支持，但只有taskdb,是否是建议taskdb放到redis中？ 3.projectdb使用mysql,taskdb使用redis,resultdb使用ES这样的组合是否合理？ 4.对于分布式部署有什么好的建议？...

asked Feb 17, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

630 views

1 answer

pyspider 数据库redis,ES混搭是否合适？

1.database中已有对ES的支持，但文档中并没有介绍 2.database中有对redis的支持，但只有taskdb,是否是建议taskdb放到redis中？ 3.projectdb使用mysql,taskdb使用redis,resultdb使用ES这样的组合是否合理？ 4.对于分布式部署有什么好的建议？...

asked Feb 17, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

739 views

1 answer

pyspider 爬虫集群搭建

我看到一篇相关的帖子：轻松组建分布式 pyspider 集群似乎pyspider的分布式集群，实现的关键点在于消息队列，有几个问题：是不是只要把slave节点的消息队列设成master节点的，比如 "message_queue": ... 是否也可以这样来搭建集群（通过设置message_queue）（手头没有能用来测试的节点，所以还暂时没法自己测）...

asked Feb 6, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

639 views

1 answer

pyspider 如何获取某个列表中的第n个元素

response.doc('.link_nei>ul>li>a').items() 上面的语句是用来获取所有符合条件的 <a>，我想获得倒数第二个 <a> 应该怎么获得？教程上都是通过正则表达式去筛选，不过这种方法好 low 而且不实用...

asked Feb 6, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

599 views

1 answer

pyspider 爬取的数据无法存入 MongoDB

代码在没有override on_result函数时，可以将爬取的数据存入pyspider自带的resultdb中但是override以后却无法将结果存入Mongodb中 congfig.json文件： { "taskdb": "mongodb+taskdb://127.0 ... 本3.4 搞了好久实在不知道问题出在哪里，恳请各位高人指点，谢谢~！...

asked Feb 6, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

661 views

1 answer

pyspider phantomjs内存泄漏和假死怎么解决呢？

爬取的时候，phantomjs会出现死掉的情况，这个怎么解决呢。。。...

asked Feb 5, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

735 views

1 answer

pyspider 单步调试点击run后界面卡死

用pyspider有一段时间了，然后就第一次遇到这种情况此时左边已经处于卡死状态，右边能够正常码代码但无法保存，点击save之后如同左边一样不得动弹。一开始只是以为是网络波动，等了好久也没有反应。只有重启pyspider能脱离卡死。而且是仅仅在爬这一个网站的时候遇到过这个情况。望解答，谢谢！...

asked Jan 29, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

737 views

1 answer

pyspider 在不同浏览器上访问，WebUI 乱码

部署在Linux服务器（centOS 7）上的pyspider正常运行了两个月，一直正常，今天同事问我，说他的google浏览器（版本79.0.3945.79正式版本（32位））不能正常显示webUI，但是我用火狐浏览器（版本76.0.1正式版本（32位））就可以正常访问，请问大家有没有解决过类似的问题？乱码UI 正常UI...

asked Jan 29, 2021 in Technique[技术] by 深蓝 (71.8m points)

0 votes

696 views

1 answer

pyspider scheduler日志 The table 'xxx' is full 是什么情况啊?

去看了下数据库,taskdb存了1300w条数据,这个不会自动清空的吗?...

asked Jan 27, 2021 in Technique[技术] by 深蓝 (71.8m points)

Categories

Just Browsing Browsing

Most popular tags