chong_819 发表于 2017-7-21 17:26:51

c#开发网络爬虫工具

本帖最后由 chong_819 于 2017-7-21 17:29 编辑

软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.

1.    多任务多线程数据采集，支持POST方式(待定)；
2.    可采集Ajax页面；
3.    支持Cookie，支持手工登录采集数据；
4.    支持采集事务；
5.    支持数据自动及手工导出，导出格式为：文本、Excel、Access、MSSql、Mysql等；
6.    支持在线发布数据；
7.    支持导航网址的采集，导航深度不限；
8.    支持自动翻页；
9.    支持文件下载，可以采集图片、Flash及其他文件；
10. 支持采集结果数据的加工，包括替换、附前缀后缀、截取等操作，支持正则；
11. 采集网址定义不仅支持基本参数定义，也可外接字典数据作为网址参数，进行数据采集；
12. 支持一个任务多实例运行；
13. 提供计划任务，计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中)；
14. 计划任务执行周期支持每天、每周及自定义运行间隔；最小单位为：半小时；
15. 支持任务触发器，即可在采集任务完成后，自动触发执行其他任务（包括可执行文件或存储过程）。
16. 完善的日志功能：系统日志、任务执行日志、出错日志等等；



ppydppy 发表于 2018-4-25 23:07:30

多谢楼主分享

DarRing 发表于 2018-7-10 18:03:51

154145156151515156156151561

zhy120 发表于 2018-12-16 11:47:30

谢谢，可以学习下。

sk306420886 发表于 2019-9-26 10:02:47

多谢楼主分享

gang 发表于 2019-9-29 19:06:49

多谢楼主分享!

scolate 发表于 2020-1-29 22:46:01

感谢分享。

mrBao 发表于 2021-11-2 11:45:52

多谢楼主分享，下载一刻不止，学习始终未动{:2_34:}
页: [1]
查看完整版本: c#开发网络爬虫工具