自
昨天其发布以来,我就开始使用这个新特性,用Windows Azure存储日志分析数据。简而言之,这个分析让你记录有关存储账户(blob、表和队列)调用的细节(或多或少满足你的需要),包括详细的日志(API调用时)和总体指标(例如消耗多少存储空间以及在过去一小时内完成的请求数量)。
由于我正在学习这些新功能,我将我的实验结果放在网上,网址是http://storageanalytics.cloudapp.net 。这个程序可以让你修改分析设置(因此你需要使用一个真正的存储账户和密钥来登录)并且你还能够绘制“Get Blob”图表。
使用这个程序需要注意几点:
- 当打开各种登录和分析功能时,你必须确保你的XML符合文档。这意味着,例如当你启用指标时,你还会添加<IncludeAPIs />标签,并且当你启用保持策略,你必须添加<Days/>标签。
- 图形页面需要浏览器支持<canvas>标签。(IE9将会支持,最近火狐浏览器、谷歌浏览器甚至苹果浏览器也将支持这个标签。)即使是在现代浏览器,我们已经得到了一些关于图表没有显示和其它问题bug报告。如果你遇到问题请在Twitter (我是@smarx) 让我知道,这样我就能探索这个问题。如果你将通过IE的F12(谷歌浏览器是Ctrl+Shift+I ,Firebug或类似浏览器)捕获的脚本错误提示发给我,你将有额外的加分。
- 该网站使用HTTPS来更好地保护您的用户名和密码,我已经使用了一个自签名的证书,所以当你浏览带有未经核实证书的网站,你需要在浏览器上选择OK选项。
接下来,我将与大家分享我目前所做的一些细节和代码。
打开Analytics
有一种用来打开和关闭analytics的新方法,它叫做“Set Storage Service Properties”。因为这是一个全新的方法,所以在.NET storage client(Microsoft.WindowsAzure.StorageClient命名空间)里没有相关支持。为方便起见,我把关于这个的一些web
UI和相应的“Get Storage Service Properties”方法贴出来了,你在http://storageanalytics.cloudapp.net的主页上就能看到。
如果你想自己写代码来改变这些设置,调用方法其实很简单。这只是将HTTP GET 或 PUT 到正确的URL的问题。有效负荷是一个简单的XML模式,打开和关闭各种功能。这里是http://storageanalytics.cloudapp.net 上贴出的相关源代码:
你可以在storage 团队的关于logging 和
metrics的帖子里找到关于启用和禁用各种分析选项的更加完整的代码,这里我只是想证明该调用方法可以是很直接的。
阅读指标
新的分析功能实际上包括两个方面:logging和metrics。logging是记录存储的每次调用。metrics是有关数据和总量。分析文档 以及storage团队的关于logging
和
metrics的博客文章对记录什么样的数据和如何使用这些数据做出了更多细节描述。如果你想得到那些细节,请阅读它们。
在http://storageanalytics.cloudapp.net里,我只举出了一个关于如何使用指标的例子。我画了一个随着时间的推移“Get Blob”使用情况的图表。以下图表显示了在过去的24小时之内通过http://netflixpivot.cloudapp.net 所做的“Get Blob”调用的次数。(注意http://netflixpivot.cloudapp.net
是一个奇怪的例子,因为大多数访问是通过CDN的。我想下面的一大部分请求是由后端产生的,它正在进行图像处理来构建深缩放图像,包括大量不通过CDN的直接调用存储。这说明了图表的spikiness,因为大约每小时重建一次图像。)
通过点击 http://storageanalytics.cloudapp.net 左边的图表链接,你可以看到你的blob存储账户的类似于图表的一个东西。这个图表是由出色的jqPlot 库画出来的,而且数据是从$MetricsTransactionsBlob表中调出来的。
注意按名指定的$logs容器和$Metrics*系列的表仅仅是存储账户内部有规律的容器和表。(例如,将有一个关于它们使用情况的列表。)然而,当你执行一个List容器或ListTables操作时这些容器和表不显示。这意味着没有任何现有的存储工具将告诉你这些日志和指标。这让我有点措手不及,起初我还想是不是我没有正确的启用分析,因为分析似乎没有在我选择的存储资源管理器里出现(ClumsyLeaf 工具)。
下面是http://storageanalytics.cloudapp.net 上我用来查询存储指标的代码,尤其是获得在过去的24小时之内“Get Blob”的使用情况:
我创建了一个简单模型(仅仅包含我要查询的 TotalRequests 属性),重复一遍,
storage团队关于metrics的博客文章里有更完整的源代码(包括读取这个表的实体及其所有可能属性的完全类)。
下载源代码
你可以在这里下载到关于http://storageanalytics.cloudapp.net的整个源代码:
http://cdn.blog.smarx.com/files/StorageAnalytics_source.zip
更多信息
若要了解更多,请查询MSDN 文档和storage团队关于logging
和
metrics的博客文章。
本文翻译自:http://blog.smarx.com/posts/playing-with-the-new-windows-azure-storage-analytics-features
分享到:
相关推荐
#Azure 存储分析查看器 Azure 存储分析是一项非常有用的功能。 它可以帮助隔离和调试与存储相关的问题。 但是,指标和日志对用户来说不太可读。 Azure 存储分析查看器是一个强大的工具,可以让分析数据更容易获取和...
Azure Data Lake Storage gen2容器存储数据Lake层的数据 Azure Databricks清理和转换数据 Azure Synapse Analytics存储演示数据 Azure CosmosDB存储元数据 凭据和访问管理已配置就绪 此设计基于Microsoft的一种解决...
By the end of the book, you’ll know how to handle scale for both data storage and analytics, how Apache Spark can be leveraged to handle scalability, and how R and Python can be used for analytic ...
请从上面的链接下载Azure Storage Explorer和ADLCopy工具 Azure数据湖分析 练习1:示例脚本 让我们开始创建一个Azure Data Lake Analytics帐户 创建一个帐户 登录到Azure门户。 单击新建>数据+分析>数据湖分析。 ...
Azure Blob Storage, MapReduce Job Framework and Job Execution Pipeline Doing big data analytics with MapReduce, writing your MapReduce programs in your choice of .NET programming language such as C# ...
java餐饮门户源码Azure IoT 套件实践研讨会 议程 1. 解决方案架构概述 2. 所需准备/软件 3. 创建模拟器 4. 物联网中心 5. Azure 流分析 6. Azure 存储 7. Azure 事件中心 8. Azure 机器学习 9. Azure 功能 10.电源BI...
Azure-Certification-DP-201:Azure数据工程师之路第二部分:DP-201-设计Azure数据解决方案
天蓝色nat网关,天蓝色虚拟机,vs代码如何配置Web应用程序以通过专用端点为Redis和Azure SQL数据库调用Azure缓存此示例说明如何在Azure上部署基础结构和网络拓扑,其中托管的ASP.NET Core Web应用程序使用从 访问...
Azure冠军 Azure对于ITPro / Devops工程师 土耳其语: 1. Review of Azure Portals a. Azure portal design b. Creating custom dashboards c. Azure Management Roles ç. Azure portal authorization 2. ...
在本节中,我们将使用将第一个网站部署到Azure。 然后,我们将其与连接起来以进行高级日志记录和丰富的分析。 今天无服务器风靡一时! 在本节中,我们将使用创建第一个无服务器工作流。 5-Azure开发运营 请坐下来...
链接: Azure Stream Analytics documentation. 进入portal -> Create a resource -> Stream Analytics job然后起个名字啥的基本操作还有Storage Account那里就不废话了。 然后进入你的Stream Analytics job,设置...
Chapter 5 Storage Chapter 6 Setting Up in AWS Chapter 7 Setting Up in GCP Chapter 8 Setting Up in Azure Chapter 9 Standing Up a Cluster Chapter 10 High Availability Chapter 11 Relational Data with ...
New in this second edition is coverage of SQL Server 2016 Internals, including In-Memory OLTP, columnstore enhancements, Operational Analytics support, Query Store, JSON, temporal tables, stretch ...
它可以从批处理数据源(例如Hadoop HDFS,Amazon S3,Azure ADLS,Google Cloud Storage)以及流数据源(例如Apache Kafka)中提取。 Pinot由LinkedIn和Uber的工程师打造,旨在无上限地扩展和扩展。 根据群集的...
transparently and securely to Microsoft Azure by using the Stretch Database (Stretch DB) feature. Chapter 7, Temporal Tables, introduces support for system-versioned temporal tables based on the SQL:...