• 最近访问:
发表于 2019-05-11 21:45:18 股吧网页版
华胜天成的GD公司:来自硅谷的GD公司在世界搜索引擎届名列前茅上

技术分享Grid Dynamics告诉你什么是In Stream处理?

华胜天成

2006年创立于硅谷的Grid Dynamics(以下简称GD)公司致力于在云计算平台上,利用公开源技术为客户建立高可靠性、高效率和高质量的大数据大型电子服务解决方案。在项目系统架构设计和交付、大数据、QA自动化、开源云计算平台、UI /全栈工程、 DevOps、搜索引擎开发等领域,均拥有世界顶端的专业技术人才。公司集中提供高端计算应用平台的建立,为客户提供最先进的IT服务平台。 


GD始终保持技术和专家团队的更新和创新,其在大数据(Big Data)领域已经具有强大竞争力。为此小编特意邀请到GD技术专家与各位分享时下大数据最热点技术之一——In Stream大数据处理技术


In-Stream处理是一种强大的技术,它可以扫描来自传感器,信用卡刷卡,点击流和其他输入的大量数据,并几乎能即时查找到有价值的信息。例如,In-Stream处理可以检测到包含数百万个合法购买流中的单个欺诈交易,它也可以充当推荐引擎,仅仅几秒内就能向在实际购物中的某特定客户展示适合的广告或者促销活动,或者计算出汽车服务的最优的价格。


为什么叫做In-Stream处理?


“In-Stream处理”意味着:

数据作为由一些外部系统产生的连续的事件“流”进入处理引擎;

处理引擎的工作速度非常快以致于所有的决策都能在不停止数据流和首先存储信息的情况下进行。


您可以将In-Stream处理引擎视为事件处理的“网络工厂(cyber plant)”。 想象一下,被捕获的事件正高速进入网络工厂的前端,排队,接着发送到装配线进行处理。在网络输送机的内部,专门的软件机器人执行分析计算和转换,可以对传递下来的事件进行过滤,匹配,计数,聚合和归纳。 每当发现或计算出有趣的东西 ——例如揭露欺诈或者计算动态价格时,将立即发送该通知到外部业务系统以执行某些操作。在输送机的末端,经处理的事件将被运送到仓库,其他系统可以访问它们以进行其他形式的处理。


替代名称


由于In-Stream处理的许多应用在本质上是分析性的,所以有些人称这些系统为In-Stream分析系统。 或者,有时候,人们会将前缀“in”删除,并将其简称为流分析(Stream Analytics)或流处理(Stream Processing)。 最后,值得一提的是,In-Stream处理技术属于处理大量事件(称为复杂事件处理或CEP)的广泛类型的方法。 因为In-Stream处理速度很快,目的在于即时分析数据,有时被称为快速数据(Fast Data),这个术语在使用和普及程度越来越高。


大数据(Big Data)领域


In-Stream处理只是在通常被称为大数据的技术,程序,工具和应用程序的更广泛领域中的一种相当专业的处理类型。

In-Stream处理通常发生在数据采集的前端,并且具有双重目的:

?业务洞察,被面向客户的在线系统或内部服务支持团队发现便立即采取行动。

?事件数据的预处理,使其存储更加方便,以便批处理系统能进一步分析和处理。从技术上讲,这被称为数据摄取。

 


图1:在In-Stream和其他大数据基础架构间的一种典型关系


In-Stream处理本身不能存在;它与大数据基础设施的其余部分集成,以提供实时处理功能,并可作为新的大数据服务添加到现有的大数据基础架构中。


速度和Feeds


典型的In-Stream处理可以很好地处理这些工作负载:

?流数据量是1,000—100,000事件/秒;

?处理延迟时间是每个事件在2—60秒之间;

?事件和业务动作之间的总时间间隔为1—60分钟。

每秒不到1,000个事件,In-Stream处理可能是过剩的,现代微服务架构可以做到这一点。 对于每秒持续超过100,000次活动,In-Stream处理将可能仍然有效,但需要定制化设计才能满足特定需求和基础设施选择。

对于在2秒以下的延迟要求的应用程序,In-Stream处理将不是一个可行的选择,因为数据在源系统,In-Stream处理引擎和实际作用于洞察力的应用程序之间的处理次数过多。

对于可以等待60分钟或更长时间的应用程序,像Hadoop这种批处理分析系统可能提供比In-Stream处理更便宜,更简单和更强大的解决方案。


典型的使用案例


In-Stream处理正在迅速普及,并正在各种业务领域寻求应用。未来,我们将详细描述具体用例的解剖结构,以说明In-Stream处理的工作原理。现在,这里列出了In-Stream处理中众所周知的成熟应用:

?推荐引擎,实时摄取、聚合和分析点击流技术可以作为一个推荐引擎,为用户提供个性化的优惠券、折扣、定制搜索结果和导向目标广告——所有这些都帮助零售商提高网上购物体验、增加销售和提高转化率。

?预防性维护,其能允许设备制造商和服务提供商监控服务质量,及时发现问题,通知支持团队并防止中断。

?欺诈检测,在欺诈检测中使用机器学习来识别流量中的异常,对银行和服务提供商进行虚假交易阻止,并迅速通知受影响的账户。

?情绪分析,情绪分析可以帮助检测到一个购物不愉快的客户,通过流技术加强响应,为客户提供更好服务来防止情绪升级到愤怒。

?动态定价引擎,动态定价引擎根据当前客户需求、产品可用性和区域内的竞争价格来决定产品的价格。 


虽然业务领域相当多样化,但其使用模式实际上非常相似,并归纳为:

1、将事件提供给流处理引擎;

2、执行处理逻辑;

3、将结果传递给由处理引擎开发的具有数据洞察力的合适的输出系统。

 

图2:In-Stream分析的常用使用模式


随着In-Stream处理技术的成熟,更多的组织投入数字化转型,In-Stream分析的新应用正在广泛的行业中被识别和实施。


郑重声明:用户在财富号/股吧/博客社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《服务条款》《跟帖评论自律管理承诺书》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:[email protected]
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/021-24099099
香l港正版资料2019全年