火车采集器官方版是一款目前比较流行的网络数据采集工具,是广大网络管理员和数据挖掘从业者经常使用的一种软件。它可以快速采集任何需要的数据,比如网页内容、图片、视频、音频等,并且支持各种规则的数据提取和保存。
火车采集器官方版的界面非常友好,而且拥有详细的帮助文档,使得新手也能够很快上手。在主界面上,用户可以根据自己的需求,选择要采集数据的网站地址,然后按照软件提供的规则进行配置,即可开始采集数据。软件内置了多种数据采集模板,用户可以直接使用模板,也可以根据自己需要进行个性化的定制。
1、支持所有网站编码:完美支持采集所有编码格式的网页,程序还可以自动识别网页编码。
2、多种发布方式:支持目前所有主流和非主流的CMS,BBS等网站程序,通过系统的发布模块能实现采集器和网站程序间的完美结合。
3、全自动:无人值守工作,配置好程序后,程序将依据您的设置自动运行,完全无需人工干预。
4、本地编辑:本地可视化编辑已采集的数据。
5、采集测试:这是其它任何同类采集软件所不能比的,程序支持直接查看采集结果并测试发布。
6、管理方便:使用站点+任务方式管理采集节点,任务支持批量操作,再多的数据管理也很轻松。
1、规则自定义 - 通过采集规则的定义,可以搜索所有网站采集几乎任何类型的信息。
2、多任务,多线程 - 可以同时进行多个信息获取任务,每个任务可以使用多个线程。
3、所见即所得 - 任务采集过程所见即所得,过程中遍历的链接信息、采集信息、错误信息等都会及时的反映在软件界面中。
4、数据保存 - 数据边采集边自动保存到关系数据库中,并且数据结构能够自动适应,软件可以根据采集规则自动创建数据库,以及其中的表和字段,也可以通过导库方式灵活的将数据保存到客户已有的数据库结构中。
5、断点续采 - 信息收集任务可以在停止后从断点开始继续采集,从此你用不再担心你的采集任务意外中断了。
6、网站登录 - 支持网站Cookie,支持网站可视化登录,即使登录时需要验证码的网站也能采集。
7、计划任务 - 通过这个功能可以让你的采集任务定时、定量或者一直循环执行。
8、采集范围限制 - 可以根据采集的深度和网址的标识来限制采集的范围。
9、文件下载 - 可以将采集到的二进制文件(诸如:图片、音乐、软件、文档等等)下载到本地磁盘或者采集结果数据库中。
10、结果替换 - 可以将采集的结果根据规则替换成你定义的内容。
11、条件保存 - 可以根据某个条件来决定那些信息保存,那些信息过滤。
12、过滤重复内容 - 软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容。
13、特殊链接识别 - 运用此功能可以将用JavaScript动态生成的链接或其他更古怪的连接识别出来。
14、数据发布 - 可以通过自定义接口,将已采集的结果数据发布到任意的内容管理系统和指定数据库中。现在已支持的目标发布媒体包括:数据库(access, sql server,my sql,oracle) ,静态htm文件。
15、预留编程接口 - 定义多个编程接口,用户可以在事件中利用PHP,C#语言进行编程,扩充采集功能。
1、新建分组
新建一个任务分组,选择所属分组,确定分组名称和备注。
2、新建任务
确定所属分组,新建一个任务,填写任务名称并保存。
3、Web发布配置
Web发布配置定义了如何登陆一个网站以及向该网站提交数据。
主要涉及到登录信息的获取,网站编码设定,栏目列表的获取,以及使用数据测试发布效果。
4、Web发布模块
可以定义网站登录,获取栏目列表,获取网页随机值,内容发布参数,以及上传文件,构造发布数据等高级功能。
5、数据库发布配置
数据库发布配置定义了数据库链接信息的设置以及数据库模块的选择。
6、数据库发布模块
用于编辑数据库的发布模块,方便我们将数据发布到配置好的数据库中。
可选mysql、sqlserver、oracle、access四种数据库类型,在文本输入框中填写sql语句(需有数据库相关知识),并可使用标签替换相应数据。也可在采集器模块文件夹中加载某一模块进行编辑。
7、计划任务
设置列表中采集任务的启动计划,可每间隔、每天、每周、仅一次、或自定义Cron表达式,(Cron表达式的写法可参考相关术语中的介绍)。保存设置后,任务即可按照设置执行。
8、插件管理
插件是可以用来扩展火车采集器功能的程序
火车采集器V9支持PHP源码、C#源码、C#类库三种类型的插件,可用于扩展http请求、内容处理和文件下载的功能,并可以分别进行测试。
9、http二级代理
网络中的服务器,可以让网络用户去取得所需要的网络信息。
代理的功能有可以突破自身ip的访问限制访问国外站点,访问一些单位或团体内部资源,突破电信的ip封锁和隐藏真实的ip等。
火车采集器V9支持http代理、socket4和socket5代理。
10、http模拟请求
可以设置如何发起一个http请求,包括设置请求信息,返回头信息。并具有自动提交的功能。
1、通用性强
无论新闻、论坛、视频、黄页、图片、下载类网站,只要通过浏览器能看到的结构化的内容,通过指定匹配规则,都能采集到您所需要的内容。
2、稳定、高效
五年磨一剑,软件不断更新进步,采集速度快,性能稳定,占用资源少。
3、扩展性强、适用范围广
自定义web发布,自定义主流的数据库的保存和发布,自定义本地php及.net外部编程接口处理数据,让数据都能为你所用。
查看全部
同类推荐
SmartSniff下载 135.51KB 版本: SmartSniff,一款专为 Windows 设计的 TCP IP 数据包捕获软件,这款软件犹如一个功能齐全的网络侦探工具箱,内置多种捕获和分析工具,帮助用户深入挖掘网络通信的细节。无论是 ASCLL 格式还是十六进制格式,都能提供详尽的信息展示。其双层界面设计独特,能同时展示捕获的数据包以及其在 ASCII 或十六进制格式下的详细信息。
下载Sitebulb Enterprise下载 168.88MB 版本: Sitebulb Enterprise是一款功能强大的电脑端SEO工具。它提供了直观且便捷的数据分析功能,使用户能够轻松了解搜索引擎如何查看他们的网站。通过抓取报告,用户可以了解网站的抓取效率和抓取的数据类型,从而认识到网站的优点和改进的空间。
下载TeamViewer14免费版下载 23.92MB 版本: TeamViewer14免费版是一款功能强大的远程桌面控制软件,它提供了稳定的远程控制、桌面共享和文件传输功能。无论是在防火墙还是NAT代理后面,它都能轻松实现远程控制。使用TeamViewer非常简单,只需在两台计算机上同时运行,软件会自动生成合作伙伴ID。您只需在TeamViewer中输入此ID,即可立即建立连接。即使您从未使用过该软件,也能轻松上手。如果您需要远程办公,TeamViewer绝对能满足您的需求。
下载Snappy Fax下载 43.44MB 版本: Snappy Fax是一款功能强大的虚拟传真机软件,它超越了其他独立传真程序,可以将您的计算机与扫描仪、打印机和传真调制解调器配合使用,将其变成一台传真机。该软件可以从任何Windows程序中发送传真,并支持从扫描仪获取图像以用于传真,同时还支持平板或自动送纸扫描仪。不仅如此,Snappy Fax还兼容所有Twain兼容的扫描仪,还具有传真队列功能,您可以根据设定的日期、时间和频率来发送传真,或者按需发送传真。
下载TinyWall官方版下载 970KB 版本: TinyWall是一款功能强劲的网络防火墙软件,包括一系列功能,使其有别于商业防火墙和免费软件防火墙,它对于系统安全维护有很大的帮助,可以有效阻止系统数据被恶意篡改。不安装驱动或者内核组件,保持系统稳定,免费无广告无功能限制,根本不会用弹出窗口惹恼你。
下载AirDroid官方版免费下载 63.86MB 版本: AirDroid官方版免费是一款方便的远程控制软件,可以将你的电脑和手机无线连接。它不需要使用数据线,可以在电脑上通过客户端来控制手机,并且可以随时随地远程操作设备。此外,你还可以将手机屏幕投射到电脑桌面上。软件支持无需Root,无论是在局域网内还是远程连接,都能轻松实现远程控制,提高你的设备使用便利性。
下载LiveReload插件下载 60.22KB 版本: LiveReload Chrome插件是一款跨平台的软件,在OS X、Windows以及 Linux 下都能使用。运行 LiveReload 后载入网站源代码所在的文件夹,这样它就会开始识别。而要让 LiveReload自动刷新浏览器,则有两种方法,一种是在页面源代码中插入指定的代码,另外一种是安装浏览器扩展。
下载RealTimeSync下载 18.70MB 版本: RealTimeSync是一款功能强大的文件自动同步工具。它能够监控文件夹的实时变化并进行同步操作,非常实用。您可以使用RealTimeSync来实时获取文件夹的变化数据。它可以根据预设的批处理文件进行比较或备份操作,非常方便快捷。您可以指定两个文件夹之间进行单向或双向的同步,并比较不同文件夹中文件的工作状态是否相同。
下载FrontPage 2007官方免费下载 462.49MB 版本: FrontPage 2007官方免费是一款由微软推出的简单易用的网页制作应用程序。它适合初学者学习网页制作知识,并可以与Microsoft Office软件无缝连接。此外,FrontPage 2007还通过所见即所得的编辑方式提供直观的编辑体验,并拥有强大的流程逻辑定义功能,可帮助用户在IT管理环境中快速构建网站。它是一款对于初学者来说非常有用的设计制作软件。您可以免费下载并尝试使用。
下载silverlight官方版下载 6.7MB 版本: Microsoft Silverlight插件,中文名为 "微软银光 ",是一种新的网络呈现技术,可在多种平台上使用。借助此技术,您可以获得丰富内容和引人注目的交互体验,无论是在浏览器中还是在桌面操作系统中,都能提供一致的体验。它是一个跨浏览器、跨平台的插件,为网络带来基于 NET Framework的下一代媒体体验和丰富的交互式应用程序。
下载