问题描述

在使用Azure的存储服务时候，如果上传的文件大于了100MB， 1GB的情况下，如何上传呢？

问题解答

使用Azure存储服务时，如果要上传文件到Azure Blob，有很多种工具可以实现。如：Azure 门户， Azure Storage Explorer, 命令行工具 az copy等。

如果使用SDK，通过自定义代码上传的时，需要主要大文件上传时候需要考虑的问题。 Azure Blob支持两种上传方式：整体上传和分块上传。

  • 整块上传：当上传到块 Blob 的文件小于等于 SingleBlobUploadThresholdInBytes 属性（客户端可以通过设置该属性设置单个 Blob 上传的最大值，范围介于 1MB 和 256MB 之间）的值时，则可以采用整体上传的方式。

  • 分块上传：当上传的块 Blob 的文件大于 SingleBlobUploadThresholdInBytes 属性的值时，存储客户端会根据 StreamWriteSizeInBytes (客户端可以通过设置该属性设置单个分块 Blob 的大小，范围介于 16KB 和 100MB 之间) 的值将文件分解成块, 采用分块上传的方式上传文件。

如下示例，就是使用.NET7.0创建的示例代码：

1） 在VS Code中，使用 dotnet new console 创建一个空的控制台项目

dotnet new console --framework net7.0

2）添加 Microsoft.WindowsAzure.Storage 引用

dotnet add package WindowsAzure.Storage --version 9.3.3

4）修改 Program.cs 代码

// See //aka.ms/new-console-template for more information

using Microsoft.Azure;

using Microsoft.WindowsAzure.Storage;

using Microsoft.WindowsAzure.Storage.Blob;

using Microsoft.WindowsAzure.Storage.RetryPolicies;

Console.WriteLine("Hello, World!");

TimeSpan backOffPeriod = TimeSpan.FromSeconds(2);

int retryCount = 1;

//设置请求选项

BlobRequestOptions requestoptions = new BlobRequestOptions()

{

    SingleBlobUploadThresholdInBytes = 1024 * 1024 * 10, //10MB

    ParallelOperationThreadCount = 12,

    RetryPolicy = new ExponentialRetry(backOffPeriod, retryCount),

};

//String storageConnectionString = System.Environment.GetEnvironmentVariable("StorageConnectionString", EnvironmentVariableTarget.User);

//Console.WriteLine("String account string : "+storageConnectionString);

String storageConnectionString ="xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";

CloudStorageAccount account = CloudStorageAccount.Parse(storageConnectionString);

CloudBlobClient blobclient = account.CreateCloudBlobClient();

//设置客户端默认请求选项

blobclient.DefaultRequestOptions = requestoptions;

CloudBlobContainer blobcontainer = blobclient.GetContainerReference("uploadfiles-123");

await blobcontainer.CreateIfNotExistsAsync();

//文件路径，文件大小 117MB

string sourcePath = @"C:\WorkSpace\ETW\1.20211017.060119_000001.etl";

CloudBlockBlob blockblob = blobcontainer.GetBlockBlobReference("bigfiles");

//设置单个块 Blob 的大小（分块方式）

blockblob.StreamWriteSizeInBytes = 1024 * 1024 * 5;

try

{

    Console.WriteLine("uploading");

    //使用 Stopwatch 查看上传时间

    var timer = System.Diagnostics.Stopwatch.StartNew();

    using (var filestream = System.IO.File.OpenRead(sourcePath))

    {

        await blockblob.UploadFromStreamAsync(filestream);

    }

    timer.Stop();

    Console.WriteLine(timer.ElapsedMilliseconds);

    Console.WriteLine("Upload Successful, Time:" + timer.ElapsedMilliseconds);

}

catch (Exception e)

{

    Console.WriteLine(e.Message);

}

5) 代码完成。如果在Azure存储账号中开启了诊断日志，当上传大文件后，就可以通过日志分析出，以上代码执行了多次Upload操作以完成大文件的上传！

参考资料

上传大文件到 Azure 存储块 Blob：

WindowsAzure.Storage :

Tutorial: Create a .NET console application using Visual Studio Code ： 

 

【Azure 存储服务】.NET7.0 示例代码之上传大文件到Azure Storage Blob的更多相关文章

  1. 【Azure 存储服务】代码版 Azure Storage Blob 生成 SAS (Shared Access Signature: 共享访问签名)

    问题描述 在使用Azure存储服务,为了有效的保护Storage的Access Keys.可以使用另一种授权方式访问资源(Shared Access Signature: 共享访问签名), 它的好处可 ...

  2. 【Azure 存储服务】Java Azure Storage SDK V12使用Endpoint连接Blob Service遇见 The Azure Storage endpoint url is malformed

    问题描述 使用Azure Storage Account的共享访问签名(Share Access Signature) 生成的终结点,连接时遇见  The Azure Storage endpoint ...

  3. 玩转Windows Azure存储服务——网盘

    存储服务是除了计算服务之外最重要的云服务之一.说到云存储,大家可以想到很多产品,例如:AWS S3,Google Drive,百度云盘...而在Windows Azure中,存储服务却是在默默无闻的工 ...

  4. 解读 Windows Azure 存储服务的账单 – 带宽、事务数量，以及容量

    经常有人询问我们,如何估算 Windows Azure 存储服务的成本,以便了解如何更好地构建一个经济有效的应用程序.本文我们将从带宽.事务数量,以及容量这三种存储成本的角度探讨这一问题. 在使用 W ...

  5. 使用kbmmw 的REST 服务实现上传大文件

    我们在使用kbmmw的REST 服务时,经常会下载和上传大文件.例如100M以上的.kbmmw的rest服务中 提供标准的文件下载,上传功能,基本上就是打开文件,发送,接收,没有做特殊处理.这些对于文 ...

  6. webApi2 上传大文件代码

    上传大文件,取消内存缓存: GlobalConfiguration.Configuration.Services.Replace(typeof(IHostBufferPolicySelector), ...

  7. PHP代码中使用post参数上传大文件

    今天连续碰到了两个同事向我反应上传大文件(8M)失败的事情! 都是在PHP代码中通常使用post参数进行上传文件时,当文件的大小大于8M时,上传不能不成功. 首先,我想到了nginx的client_m ...

  8. 【Azure 存储服务】Python模块(azure.cosmosdb.table)直接对表存储(Storage Account Table)做操作示例

    什么是表存储 Azure 表存储是一项用于在云中存储结构化 NoSQL 数据的服务,通过无结构化的设计提供键/属性存储. 因为表存储无固定的数据结构要求,因此可以很容易地随着应用程序需求的发展使数据适 ...

  9. 【Azure 存储服务】如何把开启NFS 3.0协议的Azure Blob挂载在Linux VM中呢?(NFS: Network File System 网络文件系统)

    问题描述 如何把开启NFS协议的Azure Blob挂载到Linux虚拟机中呢? [答案]:可以使用 NFS 3.0 协议从基于 Linux 的 Azure 虚拟机 (VM) 或在本地运行的 Linu ...

  10. 玩转Windows Azure存储服务——高级存储

    在上一篇我们把Windows Azure的存储服务用作网盘,本篇我们继续挖掘Windows Azure的存储服务——高级存储.高级存储自然要比普通存储高大上的,因为高级存储是SSD存储!其吞吐量和IO ...

随机推荐

  1. 齐博x1 直播神器聊天小插件

    下载地址如下://down.php168.com/livemsg.rar 本插件由论坛网友笨熊提供 非常感谢他给大家提供那么一个非常好用的直播必备神器. 如下图所示,大家在直播的时候,这个 ...

  2. F118校准（二）-- 操作步骤（使用PX01 PG点屏，并使用PX01 PG校准F118）

    1. 准备工作 硬件连接: CA310通过USB线材连接PC PX01通过USB线材连接PC F118通过灰排线连接PX01左上角的GPIO扩展口(如下图所示) LCM连接PX01 启动LcdTool ...

  3. 题解 UVA439 骑士的移动 Knight Moves

    前言 最近板子题刷多了-- 题意 一个 \(8\times 8\) 的棋盘,问马从起点到终点的最短步数为多少. \(\sf Solution\) 要求最短路径嘛,显然 bfs 更优. 读入 这个读入处 ...

  4. 洛谷P5309 Ynoi 2011 初始化 题解

    题面. 我也想过根号分治,但是题目刷得少,数组不敢开,所以还是看题解做的. 这道题目要用到根号分治的思想,可以看看这道题目和我的题解. 题目要求处理一个数组a,支持如下操作. 对一个整数x,对数组长度 ...

  5. windows安装nodejs

    安装nodejs 1.官网地址: //nodejs.cn/download 2.选择下载路径 直接无脑下一步安装 3.安装成功之后 node -v 显示nodejs版本 npm -v 显示安 ...

  6. 【题解】CF1659E AND-MEX Walk

    题目传送门 位运算 设题目中序列 \(w_1,w_1 \& w_2,w_1 \& w_2 \& w_3,\dots,w_1 \& w_2 \& \dots \& ...

  7. 读书笔记：A Philosophy of Software Design

    今天一位同事在斯坦福的博士生导师John Ousterhout (注,Tcl语言的设计者)来公司做了他的新书<A Philosophy of Software Design>的演讲,介绍了 ...

  8. WSL下的Ubuntu 18.04LTS配置软件源和系统更新

    WSL下的Ubuntu 18.04LTS配置软件源和系统更新 设置系统语言为中文 # 安装中文支持 sudo apt-get install -y language-pack-zh-hans # 设置 ...

  9. docker和docker-compose便捷安装

    安装docker: curl -fsSL get.docker.com -o get-docker.sh&&sh get-docker.sh 或: curl -sSL // ...

  10. 1、ArrayList源码解析

    目录 1 概述 2 底层数据结构 3 构造函数 4 自动扩容 5 set() get() remove() 6 Fail-Fast机制 1 概述 ArrayList实现了List接口,是 顺序容器,允 ...