博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Beam概念学习系列之PCollection数据集
阅读量:4603 次
发布时间:2019-06-09

本文共 392 字,大约阅读时间需要 1 分钟。

 

 

  不多说,直接上干货!

 

 

 

PCollection数据集

      PCollection是Apache Beam中数据的不可变集合可以是有限的数据集合也可以是无限的数据集合

  有限数据集,这种一般对应的是批处理,无限数据集数据持续不断的产生,只要系统不停止数据就持续产生下去,无法知道数据在什么时候结束,对应的是流处理。PCollection是将两种数据集统一的一种数据表达方式,PCollection还是一种分布式的数据集,其中的P表示数据集可以被并行处理。

 

 

      在Apache Beam中PCollection的特点:

  1. 不可变性:PCollection不能被修改
  2. 不可随机读取:PCollection只能顺序读取,且只能读取1次。
  3. 时间戳:PCollection的数据,每一条都带有时间。

转载于:https://www.cnblogs.com/zlslch/p/7609482.html

你可能感兴趣的文章
(黑客游戏)HackTheGame1.21 过关攻略
查看>>
Transparency Tutorial with C# - Part 2
查看>>
android 文件上传
查看>>
ASCII 码表对照
查看>>
javascript的DOM操作获取元素
查看>>
Shuffle'm Up(串)
查看>>
20145219 《Java程序设计》第06周学习总结
查看>>
C# 执行bat文件并取得回显
查看>>
基于YOLO的Autonomous driving application__by 何子辰
查看>>
javascript中的继承
查看>>
iOS-如何写好一个UITableView
查看>>
如何在Objective-C中实现链式语法
查看>>
select2 下拉搜索控件
查看>>
WebAPI常见的鉴权方法,及其适用范围
查看>>
08. 删除重复&海量数据
查看>>
重新想象 Windows 8 Store Apps (71) - 其它: C# 调用 C++
查看>>
发布mvc遇到的HTTP错误 403.14-Forbidden解决办法
查看>>
记录一些好用的工具
查看>>
超链接样式设置(去下划线)(转)
查看>>
restcontroller和controller区别
查看>>