PyPI page
Home page
Author:
yanjlee
Summary:
雪球超级爬虫的所有组件互相没有任何依赖，包括参数。整体架构由Collector、Mapper以及Consumer三个接口支撑。功能分别为数据搜集、数据相关信息（分支信息）的组装、以及最终的数据分析，三个接口定义了整个数据抓取生命周期的三个阶段。Mapper组件可以进行多次嵌套，就像流水线一样，不同的Mapper负责自己对应的组装任务，经过N个Mapper，完成一个对象的N种属性组装，当然，如果你不需要某些属性，你完全可以跳过某些mapper，这样可以节省许多抓取时间。在参数传递方面，模块在处理参数之前会对参数进行深度复制，确保不会出现多线程同步问题，模块内部参数严格定义为只读。变量只局限在方法范围内，完全避免了线程间数据共享。.
Latest version:
2.2.5
Required dependencies:
apscheduler
|
base64
|
beautifulsoup4
|
bs4
|
certifi
|
clickhouse-driver
|
crypto
|
curl-cffi
|
drissionpage
|
execjs
|
fake-useragent
|
faker
|
fastapi
|
flask
|
flask-apscheduler
|
flask-cors
|
frida
|
fuzzywuzzy
|
gevent
|
hashlib
|
httpx
|
jinja2
|
langchain
|
langchain-community
|
loguru
|
pandas
|
pillow
|
playwright
|
pyexecjs
|
redis
|
requests
|
suiutils-py
|
uvicorn
Downloads last day:
0
Downloads last week:
8
Downloads last month:
24