破解海量文件迁移难、备份慢难题 10月10日 星期五 15:00 云祺视频号准时直播
云祺直播二维码
扫码预约直播,观看精彩内容! 扫码预约直播,观看精彩内容!
关闭按钮
云祺Logo 云祺Logo
关于我们

技术分享

技术分享 MaxCompute(原ODPS)开发入门指南——数据上云篇

MaxCompute(原ODPS)开发入门指南——数据上云篇

2020-07-17

阅读全文

 

MaxCompute(原ODPS)开发入门指南——数据上云篇

写在最前面

>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.

根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?

MaxCompute(原ODPS)开发入门指南——数据上云篇

可通过多种方式数据流入MaxCompute

MaxCompute(原ODPS)提供了多种通道数据可以流入MaxCompute,包括MaxCompute原生的Tunnel,以及阿里云体系内的Log、DataX和数据集成,以及开源生态中的Flume、Logstash和Fluentd。以下为大家一一道来,大家视各自情况进行选择。

① MaxCompute Tunnel命令

直接在MaxCompute客户端中使用Tunnel命令进行数据上传,数据在传输过程中都是加密传输的,适用于一次性批量数据导入。

注意的是每一次上传只支持数据上传到一个表或表的一个分区,有分区的表一定要指定上传的分区。

数据上传命令如下:

tunnel upload log.txt test_project.test_table/p1="b1",p2="b2";

如何配置客户端和使用命令:

  1. 下载并配置客户端

  2. Tunnel 命令导入数据

  3. 更多关于Tunnel upload命令

SQL Cost

② MaxCompute Tunnel SDK

通过 TUNNEL 提供的 SDK 自行编写 Java 工具。

关于如何利用 tunnel SDK 进行上传数据,下面也将通过场景介绍。场景描述:上传数据到 MaxCompute,其中,项目空间为”odps_public_dev”,表名为”tunnel_sample_test”,分区为”pt=20150801,dt=hangzhou”。

详细的Tunnel SDK案例教学

③ LOG(阿里云日志分析产品)

了解更多关于日志分析产品

日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集(Logtail)、消费、投递(LogShipper)以及查询分析(LogSearch)等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。

 


云祺备份软件,云祺容灾备份系统,虚拟机备份,数据库备份,文件备份,实时备份,勒索软件,美国,图书馆
  • 标签:
  • 行业资讯

您可能感兴趣的新闻 换一批

现在下载,可享30天免费试用

立即下载

请添加好友为您提供支持
jia7jia_7

微信售后服务二维码

请拨打电话
为您提供支持

400-9955-698