改变计算规则可以减轻大数据对互联网的影响

 
在我们以前所未有的高度依赖互联网的时代，由Mosharaf Chowdhury和Harsha Madhyastha领导的UM研究人员团队为科技公司，银行和卫生系统找到了一种方法，可以从中挤出更多容量我们现有的基础架构。
更改大数据软件工具Apache Spark的设计可以使全球最大的计算能力用户处理大型任务的速度提高多达16倍，同时减轻了他们在Internet上的负担。 Chowdhury是计算机科学和工程学的助理教授，Madhyastha是副教授。现在，可以在GitHub上下载名为Sol的修改。
Spark是一个开放源代码的电子框架，可以充当任务管理器，协调庞大的个人计算机网络，使其可以像一台机器一样在大型计算任务上一起工作。它是全球同类工具中使用最广泛的工具之一，每个大型科技公司以及银行，电信公司，政府和许多其他公司都在使用它。
十年前创建Spark时，大部分工作都在大型数据中心进行，大型数据中心位于单个站点。但是今天，它已越来越多地用于连接遍布全球并通过互联网连接的机器。
乔杜里(Chowdhury)在加州大学伯克利分校读研究生期间曾帮助建立Spark。他解释说，它使用称为执行引擎的组件将工作分解到各个机器上。它主要是为大型数据中心设计的，这些大型数据中心的同一局域网上的计算机组可以彼此快速通信。但是，当机器之间相距数千英里并通过相对狭窄的互联网管道进行连接时，效率较低。
Chowdhury说：“ Spark现有的执行引擎决定在最后一刻将工作发送到何处，只有在CPU发出准备进行更多工作的信号后，它才会发送新任务。” “这种方法最大程度地提高了灵活性，并且当一个任务存放在单个数据中心中时才有意义。但是，通过互联网连接的机器之间的通信花费了更长的时间。最后一分钟的方法经常会导致CPU使用不足，这意味着坐在周围等工作。”
因此，Chowdhury和Madhyastha与研究生研究助理Fan Lai和Jie You以及本科生Zhu Xiangfeng一起编写了一个名为Sol的新执行引擎。索尔采取更主动的方法;它不必等待CPU发出准备好进行新工作的信号，而是猜测哪些将排在下一个，并积极地将新任务推给他们。它还指示机器在可能的情况下本地处理数据，而不是在机器之间不断移动数据。
这意味着减少了机器之间的数据和命令改组，减轻了互联网负担并加快了数据处理速度。 Chowdhury的团队发现它极大地加快了计算速度，使普通任务的速度提高了4到16倍。
Chowdhury表示，虽然当前可用的发行版是该软件的研究版本，而不是更精致的产品，但以当前形式发行它是在速度至关重要时推动研究的一种方式。
他说：“范来已经开始帮助那些想尝试的人。” “我们正在尽一切努力迅速采取行动。”