威尼斯手机平台-电子正规官网登录首页

热门关键词: 威尼斯手机平台,威尼斯登录首页,威尼斯正规官网
此次微软开源的,一个每秒分析数十亿事件的数据处理引擎
分类:威尼斯官网

微软近日开源了数据处理引擎 Trill,它每天能够分析万亿次事件。

微软近日宣布开源Trill,一个每秒分析数十亿事件的数据处理引擎。该项目用于微软Azure云平台中,是微软开源的众多内部技术之一。微软开源的技术组合包括多个人工智能工具,包括一个同样用于Azure中的Infer.NET系统,以及流行的.NET开发工具包。

也许每个人对云计算的理解不同,也许大家都是在盲人摸象。Forester Research从云计算提供商的角色这样定义:云计算是一种标准化的IT能力,将软件、应用平台、基础设施整合建立起来一个系统,通过Internet技术以按需和自助的方式提供服务。目前,归纳云服务提供商所提供的SaaS(软件即服务)、PaaS(平台即服务)、IaaS(基础设施即服务)三种模式,基于这三种模式,微软云计算采用了软件+服务的策略。这一策略的实现,一方面依靠软件平台(将在其后介绍Windows Azure平台和Azure服务平台);另一方面通过提供服务或者开放的系统运行企业服务。下面我们将从Azure服务平台和Windows Azure平台来解读微软云计算。

项目地址:

Trill具有足够的通用性,可以处理实时数据和历史数据,目前只有少数开源工具可以做到。Trill可以接收事件,比如来自土壤传感器的温度变化日志,而且接受速度达到每秒数十亿个。在执行高级操作,例如从一批传感器日志中提取最高温度读数时,它的速度可达每秒1000万到1亿个事件。

  Azure服务平台(Azure Services Platform)

当下每毫秒处理大量数据正成为一种常见的业务需求,此次微软开源的 Trill,据说每秒能够处理高达数十亿事件,它结合了多模式分析支持和一系列其它功能,微软声称其它任何系统都无法完全与之匹敌。它有如下特点:

微软Azure首席研究工程师James Terwilliger讲到,"Trill在实时数据和离线数据集方面的表现同样出色,在整个范围内实现了最佳性能,这让它成为那些只需要一款工具就能进行所有分析的用户的首选引擎。"

  Azure服务平台是一个两层结构,其底层是Windows Azure,上层是一些服务。具体包括了以下主要组件:Windows Azure、Microsoft SQL数据库服务、Microsoft .Net服务、用于分享、储存和同步文件的Live服务、针对商业的Microsoft SharePoint和Microsoft Dynamics CRM服务。

  • 作为单节点引擎库,任何 .NET 应用程序、服务或平台都可以轻松使用并处理查询。

  • 提供一种时态查询语言,允许用户进行实时和离线数据集复杂查询。

  • 高性能,满足高速度与低延迟。过滤器以每秒数十亿事件的内存带宽速度运行,而分组聚合每秒运行 10 到 1 亿个事件。

此外,Trill引擎可以更改传入数据处理的间隔,用户从而可以管理延迟,此外企业还可以通过定制的分析功能扩展原生查询语言。微软会将Trill用于各种应用,例如支持Azure Stream Analytics服务和Bing Ads业务,并帮助视频游戏开发部门分析玩家数据。

  Azure服务平台包括了微软数据中心网络中的一系列存储、计算和网络基础服务。借助Azure服务平台,开发人员可以创建在“云”中 运行的应用,并可将现在的应用加以扩展,使之可以利用以“云”为基础的性能优势。Azure服务平台为商业和个人应用程序提供了基础,可以为用户轻松而安 全地在“云”中存储和共享信息,并在任意位置的任意设备中进行访问实现了统一的方式。Azure服务平台的整体结构如图1所示。

该引擎用途广泛,足以处理实时数据和历史数据,目前只有少数几款开源工具拥有同样的能力。

威尼斯官网 1

Trill 于 2012 年开始作为 Microsoft Research 的一个研究项目,在 VLDB 和 IEEE Data Engineering Bulletin 等研究论文中进行了广泛的描述。Trill 最早来源于微软以前的服务 StreamInsight,这是一个功能强大的平台,允许开发人员开发和部署复杂的事件处理应用程序。两个系统都基于扩展查询和数据模型,该模型使用时间组件扩展关系模型。

  图 1 Azure服务平台

对于用户来说,使用 Trill 与使用任何 .NET 库是一样的,因此不需要脱离 .NET 环境。用户可以将 Trill 嵌入到各种分布式处理基础架构中,例如 Orleans 和微软的 SCOPE 数据处理基础架构的流式版本。

  Windows Azure是Azure服务平台的底层部分, 它是由一套基于云计算的威尼斯官网,操作系统,主要用来提供云端线上服务所需要的作业系统与基础储存和管理的平台。这也是微软实施云计算战略的一个部分。Windows Azure是一个托管服务套件,它包括虚拟计算,可扩展存储以及自动化服务管理系统等。这些工具将会用来为微软的服务提供支持,其中包括MSN,Xbox Live以及Office Online等等,实现了服务的网络化。

Trill 支持内部应用程序和外部服务,覆盖数千名开发人员,目前已经提供了许多功能强大的流媒体服务,使用场景包括:

  Azure服务平台提供了众多服务,他们是Live Services、.NET Services、SQL Services、SharePoint services、Dynamics CRM Services。

  • Financial Fabric

  • Bing Ads

  • Azure Stream Analytics

  • Halo

  (1)Live Services

更详细的分析查看 Microsoft Azure 首席软件工程师的这篇文章:

  Live Services是一系列包含在Azure服务平台里面的用来处理用户数据和应用程序资源的构建块(building blocks),Live Services为开发者提供了一个简单的构建丰富的高级的应用程序和体验的入口,通过多种数字设备这些应用程序可以和英特网上最大规模的用户相连。Live Services包括:

  Mesh Services:它使得构建跨数字设备和web的应用程序成为可能,并且跨服务、应用程序和设备的数据同步。它包括Devices、Synchronization和应用程序管理。

(文/开源中国)    

  Identity Services

  Directory Services

  User-Data Storage Services

  Communications and Presence Services

  Search Services

    Geospatial Services

  (2).NET Services

  .NET Services是一个寄宿于微软架构、高可扩展,面向开发者的服务集,它提供了许多基于云或与云有关的应用程序需要的构建块(building blocks)。就像.NET Framework为开发者提供高级类库使开发效率更高一样,.NET Services允许开发者专注于他们的应用程序逻辑而不是构建和部署他们的基于云的基础设施服务,它由访问控制、服务总线、工作流服务三部分组成。

  访问控制(Access Control)

  Microsoft .NET Access Control Service提供了一个简单的方法去控制web应用程序和服务特别是当他们和基于标准的identity提供者集成在一起的时候,这些identity提供者包括企业目录提供者和web identity系统像Windows Live ID等。授权决定能够从应用程序分离出来,它自组成一个陈述规则集(declarative rules),该规则能够把进入的安全声明(incoming security claims)转换成应用程序能够理解的方式。

  服务总线(Service Bus)

  Microsoft .NET Service Bus使得把internet上的应用程序连接来非常简单。注册到服务总线上的服务通过任何网络拓扑能够容易的被发现和和访问。在帮助解决一些跨网络、安全和组织边界实现这种模式时所产生的困难问题时,服务总线在英特网级别提供了访问企业服务应用程序的模式。

  工作流服务(Workflow Service)

  Microsoft .NET Workflow Service是一个大规模的云端运行工作流宿主,它提供了一系列优化的操作去发送、接收和操作HTTP和服务总线消息,及一系列寄宿工具去配置、管理、和跟踪工作流实例的执行,和一系列管理应用程序接口。工作流可以利用我们所熟悉的Visual Studio 2008/2010工作流设计器来进行构造。

  (3)SQL Services

  SQL Service实现了微软数据平台把SQL Server的功能扩展到云端作为基于web的服务的构想,它允许你存储结构化的、半结构化的和非结构化的数据。SQL Services将会实现一个丰富集成服务集,利用这些服务你能够进行关系查询、查找、报告功能、分析、集成和与移动用户的数据同步集远程办公室和商业伙伴。目前,SQL Services提供成为Microsoft SQL Data Services关系数据库服务,其他的服务会在将来提供。

  微软SQL数据服务(Microsoft SQL Data Services,SDS)在云端提供高可扩展和面向英特网的分布式数据库服务来存储和出处理关系查询。SDS能够帮助开发者通过基于REST和SOAP的Web协议快速的开发和提供新的应用程序。这些服务构建在健壮成熟的SQL Server数据库和Windows Server技术之上,提供高可用性和高安全性。

  (4)SharePoint services

  在未来,开发者可以访问来自Azure Services Platform的微软共享点的功能,依靠它的灵活性,利用熟悉的开发工具如Visual Studio,开发者将能够快速的构建利用共享点功能的应用程序就像使用在他们的应用程序中使用构建块一样。

  (5)Dynamics CRM Services

  在未来,开发者可以访问来自Azure Services Platform的微软Microsoft Dynamics CRM functionality的功能. 依靠它的灵活性,利用熟悉的开发工具如Microsoft Visual Studio,开发者将能够快速的构建利用Microsoft Dynamics CRM功能的应用程序,就像使用在他们的应用程序中使用构建块一样。

  Windows Azure平台

  Windows Azure 平台包括三大组成部分:Windows Azure、SQL Azure、Windows Azure Platform AppFabric。Windows Azure 可看成一个云计算服务的操作系统;SQL Azure是云中的数据库;AppFabric 是一个基于 Web 的开发服务,它可以把现有应用和服务与云平台的连接和互操作变得更为简单,如图2所示:

威尼斯官网 2

  图2 Windows Azure 平台

  SQL Server是我们的服务器数据库产品,而SQL Azure则是我们的云端数据库产品。SQL Azure (之前被称为 SQL Server Data Services) 是由微软SQL Server 2008为主,建构在Windows Azure云操作系统之上,运行云计算的关系数据库服务,是一种云存储的实现,并提供网络型的应用程序数据存储的服务。SQL Azure的基础是SQL Server 2008,SQL Azure在架构上分成四个层次。

  1.用户端层(Client Layer)

  2.服务层(Service Layer,图标中的Data Provisioning Layer)

  3.平台层(Platform Layer,图标中的Data Service Layer)

  4.基础架构层(Infrastructure Layer)

  AppFabric作为中间件层,将起到连接非云端程序与云端程序的桥梁的功能。它提供了两大服务,服务总线和访问控制。AppFabric 让开发人员可以把精力放在他们的应用逻辑上而不是在部署和管理云服务的基础架构上。

  有了云计算的运行系统Windows Azure以及微软云计算提供的服务,我们也可以开发自己的应用在微软云计算平台上运行,他们的工作过程如图3所示:

威尼斯官网 3

  图3 微软云计算应用过程

  对于开发者而言,Windows Azure已经建立起一个简单而快速的系统,最重要的是它拥有着标准的模型,是我们步入“云计算”时代的捷径。开发者可以根据自己的需要选择第二层功能来使用,比如数据库,业务工具,甚至是第三方软件提供的功能。Windows Azure云计算平台为开发者提供了灵活性和可开发性,同时还需要考虑利用目前现有的技能、工具和技术,比如微软.NET框架和Visual Studio。使用Windows Azure Tools for Visual Studio,我们可以为Windows Azure创建,调试和部署服务和应用程序。Azure服务平台目前能够执行编译.NET Framework应用程式,并直接支持ASP.NET 应用程式框架以及配合将其他应用程序转移到云计算平台上。简单的说,Azure平台就是一个简单而快速的云计算系统。这个系统拥有着众多的标准模型,是开发者与用户进入云计算时代的捷径。

  与此同时,微软最近发布的Visual Studio 2010为Windows Azure提供了专门的项目模型,同时,也可以利于Visual Studio 2010对我们的服务和应用程序进行调试。另外,我们可以利用Visual Studio 2010将我们创建的服务打包,然后通过Windows Live Developer Portal部署到Windows Azure云计算平台上。

  应用及案例

  微软的云计算应用既有针对消费者的服务,也有针对企业的服务。微软针对消费者提供了包括 Windows Live、Office Live、Live Messenger、Bing以及 Xbox Live等在内的多种服务。上述服务用户都已在大量使用,比如 Live Meeting每年用户使用的在线会议时长达 50 亿分钟;Windows Live ID 每天用户登录使用人数达 10 亿人;Exchange Hosted Services 每天处理电子邮件信息 20 至 40 亿条等。微软针对企业用户的服务为 Microsoft Online Services,这是一整套由微软托管运维的向用户提供订阅服务的企业沟通协作解决方案,该企业级服务解决方案能够帮助各种经营规模的企业提高业务经营效率,而无需企业自己维护管理复杂的 IT基础架构。针对企业的服务主要包括 Exchange Online, SharePoint Online, Office communicator Online, Office Live Meeting, Dynamics CRM Online 等。

  苏州风云在线 (www.FW086.com)致力于为企业提供SaaS服务。目前,用户可通过风云在线平台应用的微软产品包括:Exchange Server 2007 ,Microsoft Dynamics 4.0,Windows SharePoint Services,以及统一通信软件等。苏州工业园区还将不断与优秀ISV合作、将其解决方案发布到风云在线平台,并与微软合作通过各种市场营销手段及渠道进行推广。作为微软―软件+服务‖战略的中国合作项目,以及作为苏州工业园区引领国内SaaS运营市场的一项重要计划,风云在线平台将致力于为国内企业,特别是中小企业提供SaaS服务。

  Kelley Blue Book是一家高级供应商,为消费者、汽车 经销商、政府以及金融保险业提供车辆价格信息。公司利用微软.NET框架3.5开发了信息丰富的,高通信传输的网站,并以2座托管的数据中心作为支持。为了节省托管支出和简化基础设施管理, Kelley Blue Book 决定通过软件+服务模式托管和管理其网站,公司施行了Windows Azure平台 —它提供了一个直截了当的流程。因此, Kelley Blue Book节省了新硬件的资本支出,通过关注于交付新特性来增强竞争优势,在托管花费上每年节省了 $100,000 美元以及更战略的使用IT资源。

  总结

  2010年差不多已经过半,在过去的半年里,云计算已经不像以往那样遥不可及,从在云端慢慢落地,微软发布Windows Azure云计算平台、Cloud Aisa 2010云计算大会、2010云计算大会、2010年3月云计算中国峰会、云计算与数据中心峰会以及各大云计算厂商的各个峰会,这些都有力的推动了云计算的普及与发展,我们有充分的理由相信,云计算的时代就要到来了,您准备好了吗?

 

 

IT168地址:

本文由威尼斯手机平台发布于威尼斯官网,转载请注明出处:此次微软开源的,一个每秒分析数十亿事件的数据处理引擎

上一篇:没有了 下一篇:Sandbox中安装的任何软件仅保留在沙箱中,微软向专业版和企业版 Windows 10 发布了沙箱 
猜你喜欢
热门排行
精彩图文