波波小说

第5部分（第1页）

千万台计算机。。。。。。

莫回被这个数据吓了一跳，这太吓人了，现有的一切超级计算机放到它面前全部是渣渣。

不过这也给了莫回灵感，既然它计算力这么牛叉，那最适合他的赚钱方式应该就是大规模计算方面了。

莫回突然笑了，这还真是踏破铁鞋无觅处。

莫回是个码农，并且还是玩大数据的码农，这还真是专业对口，只要他把大数据的程序编写好，让这台超级笔记本来计算，那么可做的事情就很多了。

首先进入莫回脑海里的就是金融大数据，只要莫回能够开发出一款大数据软件，让它自动搜集网络上的相关信息，然后进行深度的数据分析，那么很容易能够将一个公司的实际经营状况分析出来。

这些数据只要利用好了，完全可以利用在股市上嘛，只要有无穷计算力做保证，那么分析结果将会无限趋近于真实情况，甚至会那个企业的董事长还要准确的把握住企业未来发展状态。

莫回通盘考虑了一下，感觉这个想法应该有足够的可行性，程序自己编写就足够了，网上的公共渠道也可以提供足够的信息，只要数据分析算法设计好，最终输出的结果将会有极大参考价值。

不过这事对于软件开发来说是一个大项目，恐怕很难一个人在短期内完成，不过这也不用太过担心，莫回的想法是拼接。在网上寻找各类开源软件，然后将这些软件拼接起来，先做成第一版的大数据金融分析软件。

等第一版软件出来，实际运行测试，开始帮助他炒股挣钱之后，他就可以用这些钱来雇人帮忙开发软件了。

到时他可以将整个软件分成很多个模块，每个模块发一个包，无论是包给个人也好，还是包给其他软件公司也好，这样分解开发，最终再在他这里组装在一起。到时他就是一个项目经理的角色，只要控制好整体的开发进度，完全可以遥控很大的一个团队帮助他进行开发。

这款软件的名字莫回已经想好了，就叫股神，他准备先开发股神1。0版。

开发周期莫回暂时无法预期，不过可以想见的是，即使做一个拼接组装的活，中间也会有大量的接口开发工作，将这些软件拼接在一起的粘合剂和组装平台就需要他自己动手了。

具体工作量无法预估，只能先干着再说，如果开源软件刚好都能找到合用的，这个周期自然会短不少，如果很不巧，没有合用的软件，估计他就得自己开发，这所耗用的时间就没头了。

莫回给自己列了一个工作进度表，按照这个进度表开始逐条逐项的完成和推进。

如果想要“攒”一个股神1。0，那么有几个必须的关键功能模块，比如股神1。0的大脑，这将是一个大数据分析模块，它负责将所有搜集来的信息进行整理加工，并且从中提取具备指导意义的分析结论。

这个数据分析模块，它必须同时具备显性因果分析能力，和隐性因果分析能力。

比如生猪存栏数据下跌，必然导致随后的猪肉价格上涨。生猪存栏数量与猪肉价格存在某种必然的因果关系，而数据分析模块，必须具备识别这种明显由因就可以导致果的因果关系的能力。

比如东南海峡输油管道发生破裂，必然导致帝国东南大区油品价格上涨，这也存在某种必然的因果关系。只不过与生猪存栏数据不同的是，生猪存栏数据属于常态化数据，它每天都有，每天都有浮动，而油管破裂属于偶发事件。

虽然油管破裂属于偶发事件，但是数据分析模块必须具备识别这种偶发事件，进而给出随后由其导致的必然后果的能力。

类似的因果关联事件或者数据很多，数据分析模块必须具备识别这种显性因果联系的能力。

与这些显性因果相对应的，就是隐性因果联系。

那个著名的啤酒和尿布的案例其实就是隐性因果联系，这些隐性因果之间，不一定具备必然性，但是因和果之间，往往存在或然性联系。

就单个事例来说，这种因果联系未必成立，但是将其置于一个足够大的基数上时，这种因果联系就凸显出来，这是一种概率学意义上的因果关系。

另外有一个案例，就是基于这种概率学因果关系的。一个搜索公司，它想研究今年冬天流感爆发的可能性，但是它研究的角度非常有意思，他不是从医学角度来研究，而是程序和算法角度来研究。

它通过分析5000万条最频繁检索的词汇，将之和疾病中心在5年间季节性流感传播时期的数据进行比较，并建立一个特定的数学模型，从中寻找关联性，寻找那些隐藏起来或然联系，最终它成功预测了流感的爆发，甚至可以精确到特定的地区和城市。

如果说显性因果只需要事先标注和设定，那么隐性因果明显就需要挖掘和寻找了，而如何找到这些隐性因果，就是数据分析模块的主要功能，同时也是这个模块是否设计成功的一个标志性指标。

【马上就要515了，希望继续能冲击515红包榜，到5月15日当天红包雨能回馈读者外加宣传作品。一块也是爱，肯定好好更！】

第十一章　数据海洋和爬虫

数据分析模块是股神1。0的大脑，除了这个大脑之外它还需要其他几个关键性模块。既然做大数据分析，那么这个数据来源就需要有一个功能模块来解决，它专门负责数据的收集。

这个数据收集模块就像是股神的手脚，负责从网络上收集对应的数据，这个模块一个关键的组成部分就是爬虫。

国际互联网发展到今天，变成了体系庞杂内容浩繁的网状系统，这个系统上的信息节点规模数以十亿计，这些节点可能包括台式机、笔记本、服务器、大规模群组、智能手机、平板、智能导航终端、各类信息采集终端、信息发射终端等等等等。

只要能够链接上互联网，能够与互联网进行数据交互的，都可以视为一个信息节点，比如遍布城市的各类监控探头，各类通讯基站，严格来说都属于节点之一。

这些节点为互联网提供的数据类型也各种各样，有文字，有数据，有图表，有文档，有视频，有音频，有数据库；它们的表现形式各式各样，有通用格式，有专用格式；所有这些信息加在一起，共同组成了沉积在国际互联网中浩瀚的数据海洋。

这个数据海洋是动态的，它时刻处在在运动和更新之中，就好像各种洋流和浪涛一样，永不停息。

整个数据海洋分散在无数个信息节点之中，这些信息节点被各种通讯协议链接起来，让它们可以相互通讯。各种通讯协议中，有我们最熟悉的一种，就是url，也就是我们总会遇到的网站链接。

如果将整个数据海洋比喻成我们的地球，那么每个数据节点就是一个房间，而节点内的数据信息就是我们人类，所有的信息节点组合起来，构成了地球上的无数个城市，无数个大厦，无数个房屋。

各种各类的数据链接模式，就是承载人们出行的道路，而url不过是道路的一种，算是各个城市之间，各个主要的商业大厦之间互通的铁路和公路。它主要出现在公共服务器之间，就是说只要有了url，理论上来说它对所有数据访客都是开放的，任何人都可以抵达这个服务器，只不过它有没有门禁就是另外一回事了。

https://www.du8.org https://www.shuhuangxs.com www.baquge.cc

abxsw.net dingdianshu.com bxwx9.net

kenshu.tw pashuba.com quanshu.la

tlxsw.cc qudushu.net zaidudu.org

duyidu.org baquge.cc kenshuge.cc

qushumi.com xepzw.com 3dllc.net