博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
InputFormat的作用
阅读量:4300 次
发布时间:2019-05-27

本文共 330 字,大约阅读时间需要 1 分钟。

InputFormat:

从文件中读取数据,转化成key-value格式。

对于常用的数据类型,hadoop已经有了这个接口的实现。

特殊文件格式的话,只有你自己知道怎么读取这种文件格式,你可以自己来定义。

 

method:

1. get InputSplit

框架调用此方法获得有几个逻辑块,

这样就知道需要多少个mapper了,

数据产生地点产生Mapper的实例。

2.create RecordReader

很明显此方法就是用来读记录的,调用此方法一条一条的读记录。

转化成key-value,送给Mapper。

 

outputFormat:

给你个key-value,怎么写出去你来决定。

 

如果目标目录里有已有目录了,他不希望把你已有的数据冲掉,会报错。

转载地址:http://ewvws.baihongyu.com/

你可能感兴趣的文章
海龟交易法则10_通用积木
查看>>
海龟交易法则14_掌控心魔
查看>>
海龟交易法则15_万事俱备
查看>>
海龟交易法则16_附原版海龟交易法则
查看>>
克罗谈投资策略01_期货交易中的墨菲法则
查看>>
克罗谈投资策略02_赢家和输家
查看>>
克罗谈投资策略03_你所期望的赌博方式
查看>>
克罗谈投资策略04_感觉与现实
查看>>
通向财务自由之路01_导读
查看>>
通向财务自由之路02_成功的决定因素:你
查看>>
中低频量化交易策略研发01_引言
查看>>
中低频量化交易策略研发06_推进的择时策略
查看>>
史丹·温斯坦称傲牛熊市的秘密
查看>>
期货市场技术分析01_理论基础
查看>>
期货市场技术分析02_趋势的基本概念
查看>>
期货市场技术分析03_主要反转形态
查看>>
期货市场技术分析04_持续形态
查看>>
期货市场技术分析05_交易量和持仓兴趣
查看>>
TB交易开拓者入门教程
查看>>
TB创建公式应用dll失败 请检查用户权限,终极解决方案
查看>>