当今政府暗数据的现状
Posted: Sun Dec 15, 2024 6:43 am
本博客文章摘录自我们最近与 DLT 和 Veritas 联合发布的报告《暗数据管理：政府数据的下一个前沿》。要下载完整报告，请点击此处。
根据 GovLoop 调查的受访者，他们确实感受到的不仅仅是暗数据的痛苦，还有组织中数据增长的总体挑战。80% 的人表示，他们组织的数据呈指数级增长。（图 1）
这是反映整个社会的一个事实：大数据及其增长将持续下去。想想看，当今数字世 印度尼西亚号码 界中存在着 2.7 ZB 的数据；每天有 100 TB 的数据上传到 Facebook，2020 年的数据产量将是 2009 年的 44 倍。
暗数据成为政府面临的重大挑战，这一点并不奇怪，GovLoop 的调查受访者也承认了这一点。68% 的受访者承认暗数据给他们的组织带来了挑战（图 2），近 40% 的受访者认为，他们机构拥有的所有数据中，四分之一到一半是暗数据。（图 3）更令人担忧的是，10% 的受访者认为，他们拥有的数据中有 75% 以上是暗数据。
这些事实并不令马龙和理查森感到惊讶。
“政府数据年增长率接近 40%，而存储容量仅增长约 9%”，Richardson 说道。“1PB 数据相当于约 20 亿个文件，平均文件大小为 40KB。因此，您可以想象需要筛选这些文件的人为因素。此外，您还面临其他挑战。您有多个部门做出不同的决定，而这些组织中只有极少数记录管理人员负责查看所有这些非结构化数据，然后手动对其进行分类、标记等。这对人们来说是一项艰巨的任务。”
那么，为什么如今数据和暗数据会如此大幅增长呢？除了数据生成量和增长速度达到前所未有的水平之外，事实证明，还有其他各种因素导致了这一问题。
根据 GovLoop 调查，受访者在处理暗数据方面遇到困难的首要原因（近 49%）是他们根本没有时间从战略上解决数据问题。排在第二位（27%）的原因是“用户将我们的存储系统视为数据‘垃圾场’”。其他原因包括“我们根据存储和处理的数据量而不是其价值来制定预算和 IT 战略”（10%）；“自动化应用程序生成的数据一旦不再需要就不会被删除”（9%）和“我们认为，当我们自由采用云应用程序和存储时，我们不再需要担心数据所在的位置”（4%）。（图 4）
根据 GovLoop 调查的受访者，他们确实感受到的不仅仅是暗数据的痛苦，还有组织中数据增长的总体挑战。80% 的人表示，他们组织的数据呈指数级增长。（图 1）
这是反映整个社会的一个事实：大数据及其增长将持续下去。想想看，当今数字世 印度尼西亚号码 界中存在着 2.7 ZB 的数据；每天有 100 TB 的数据上传到 Facebook，2020 年的数据产量将是 2009 年的 44 倍。
暗数据成为政府面临的重大挑战，这一点并不奇怪，GovLoop 的调查受访者也承认了这一点。68% 的受访者承认暗数据给他们的组织带来了挑战（图 2），近 40% 的受访者认为，他们机构拥有的所有数据中，四分之一到一半是暗数据。（图 3）更令人担忧的是，10% 的受访者认为，他们拥有的数据中有 75% 以上是暗数据。
这些事实并不令马龙和理查森感到惊讶。
“政府数据年增长率接近 40%，而存储容量仅增长约 9%”，Richardson 说道。“1PB 数据相当于约 20 亿个文件，平均文件大小为 40KB。因此，您可以想象需要筛选这些文件的人为因素。此外，您还面临其他挑战。您有多个部门做出不同的决定，而这些组织中只有极少数记录管理人员负责查看所有这些非结构化数据，然后手动对其进行分类、标记等。这对人们来说是一项艰巨的任务。”
那么，为什么如今数据和暗数据会如此大幅增长呢？除了数据生成量和增长速度达到前所未有的水平之外，事实证明，还有其他各种因素导致了这一问题。
根据 GovLoop 调查，受访者在处理暗数据方面遇到困难的首要原因（近 49%）是他们根本没有时间从战略上解决数据问题。排在第二位（27%）的原因是“用户将我们的存储系统视为数据‘垃圾场’”。其他原因包括“我们根据存储和处理的数据量而不是其价值来制定预算和 IT 战略”（10%）；“自动化应用程序生成的数据一旦不再需要就不会被删除”（9%）和“我们认为，当我们自由采用云应用程序和存储时，我们不再需要担心数据所在的位置”（4%）。（图 4）