Skip to content
SHOPAII
  1. Home

  2. Blog

Centos ·

aliyun oss file batch upload shell command

摘要： 经常碰到内部同学或者外部客户问ossutil关于增量上传的问题。本文简单描述下原理并举例说明。 # 应用场景 ## 场景一 某用户有一批文件（比如1000个）要上传到OSS（或从OSS下载，或从OSS拷贝到OSS，下同），当执行批量上传的过程中出现失败（比如在上传第601个文件时失败）。 经常碰到内部同学或者外部客户问ossutil关于增量上传的问题。本文简单描述下原理并举例说明。 用户可从这里获取ossutil。 官网：https://help.aliyun.com/document_detail/50452.html 代码：https://github.com/aliyun/ossutil 应用场景 场景一 某用户有一批文件（比如1000个）要上传到OSS（或从OSS下载，或从OSS拷贝到OSS，下同），当执行批量上传的过程中出现失败（比如在上传第601个文件时失败）。用户立即使用相同命令重新上传，并希望能跳过已经成功上传的文件，实现增量上传。 场景二 考虑这样一个场景，某用户有个目录dir1，连续一周每天往里面写10000个文件（比如监控场景等），每天晚上12:00将当天写入的文件上传至OSS。用户希望后续每天上传当天写入的新文件时能快速跳过前一天已经上传的文件，从而实现加速增量上传。 ossutil相关选项 –update/-u 选项说明 如果指定了该选项，只有以下情况，ossuti才执行上传、下载、拷贝 目标文件（或object）不存在 源文件（或object）新于目标文件（或object） 当指定了该选项时，无论是否指定了–force选项，当目标文件存在时，ossutil都不会提示，直接采取上述策略。 该选项可用于场景一。 例子 单个上传 $…

Python ·

sh auto push static content to github -gogit

2016-03-28 发布 一个结合crontab定时推送github或coding库小玩意  gogit  2.5k 次阅读  ·  读完需要 4 分钟 0   gogit 一个结合crontab定时推送github或coding库小玩意。 Github:https://github.com/HavenShen/gogit 注：运行此玩意的电脑，必须可运行python、已经配置好github和coding使用ssh key 无密钥通道git的ssh获取方式(推荐使用常年不关机的linux服务器)。 配置参考：Git配置安装使用教程操作github上传克隆数据 安装 1.克隆此库 git clone [email protected]:HavenShen/gogit.git 配置推送github同时提交coding库 1.在自己的github和coding中创建自己的新库…