51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9171内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9171 条
蚂蚁面试：Kafka 如何做压测？如何保证系统稳定？
Kafka是大数据领域应用非常广泛的消息中间件，今天我们来介绍Kafka压测方案，来确认Kafka集群的各类指标。

2025-05-09 08:30:00

Kafka大数据消息中间件
搭建数据指标体系，这是我见过最完整的攻略
和很多数据分析问题一样，OSM等理论本身没有问题。问题是不能把理论当教条，不深入业务流程之中，不考了具体场景，是没法搭建出好用的指标体系的。

2025-05-09 02:22:00

数据指标体系
一个经典案例掌握 Plotly 饼图绘制技巧
当需要展示同一数据的不同维度比例，或比较不同数据集的构成时，Plotly的子图饼图组合提供了一种强大而优雅的解决方案。

2025-05-08 08:25:00

Plotly饼图绘制Python
如果没有预测性AI，你的数据就浪费了
企业数据分析正经历从描述性、预测性到规范性分析的跃迁，但数据质量、孤岛、治理漏洞和失控的云成本构成转型四大拦路虎。

2025-05-08 07:05:00

数据分析AICIO
字节面试：Flink 如何做压测？如何保证系统稳定？
随着业务规模的扩大，了解Flink应用程序在高负载下的性能表现变得尤为重要。本文将详细介绍Flink压测的方法、工具和最佳实践，帮助您评估和优化Flink应用程序的性能。

2025-05-07 08:20:00

Flink压测大数据
破局与重构：2025年数据中台行业的生存法则与进化路径
当潮水退去，数据中台行业正在经历痛苦的去伪存真过程。那些真正理解"业务价值驱动、技术敏捷响应、组织能力适配"铁三角的企业，终将穿越周期迷雾。正如达沃斯论坛最新报告所言："未来的数字化转型，不是建设更大的中台，而是培育更聪明的数据生态。"

2025-05-07 03:00:00

数据中台大数据
使用 Plotly 创建 60+ 令人惊叹的交互式图表、地图
在本文中，我们展示了如何在交互式数据可视化中使用整体部分讲故事技术。我们使用数据科学家感兴趣的 22 个公共领域数据集讨论了大量代码片段、图形用户界面和 EDA 示例。

2025-05-07 00:35:00

Plotly交互式图表
Python 数据分析新手最常犯的五个错误及解决方案
Python 数据分析中的许多常见“陷阱”源于将传统编程习惯直接套用在向量化数据结构上，或忽视了数据本身的特性和质量。

2025-05-06 08:10:00

Python数据分析编程
什么是 Chunk 分片？它如何提高 Flink CDC 的性能？
Chunk分片的核心思想是将大表的数据分成多个较小的数据块（Chunk）进行并行读取，从而提高数据同步的效率。

2025-05-06 07:25:00

Chunk分片大数据Flink
Python 中这五个 Dask 并行计算技巧，大数据处理无压力！
本文介绍了五个 Dask 并行计算技巧，通过这些技巧，你可以轻松应对大规模数据处理的挑战。​

2025-05-06 07:15:00

Dask并行计算大数据
一文带您读懂DGI数据治理框架
DGI数据治理框架是一种逻辑结构，用于对涉及企业数据决策和采取行动的复杂活动进行分类、组织和传达。

2025-04-30 10:36:17

大数据数据治理DGI
字节面试：StarRocks 中如何优化大表 JOIN？
本文介绍 了StarRocks中优化大表JOIN的核心策略，通过合理运用这些策略，可以在保证查询准确性的同时，显著提升StarRocks的JOIN查询效率。​

2025-04-29 10:24:01

大数据StarRocksJOIN
从“人找服务”到“服务找人”：政务数字化转型的智治新范式
国务院《新一代人工智能发展规划》明确提出“开发适于政府服务与决策的人工智能平台”，而各地实践表明，这场变革已不再停留于技术试验，而是真正让数据流动起来、让治理“聪明”起来。

2025-04-29 09:43:28

数字化转型大数据数字政府
Orange：一个免费的交互式数据挖掘与机器学习平台
Orange 是一款开源的数据分析与可视化工具，专注于数据挖掘和机器学习领域。它提供了直观的图形化界面，用户无需编程和数学知识即可完成数据科学工作流程，同时也支持通过 Python 脚本实现高级功能。

2025-04-29 09:26:34

Orange交互式数据挖掘机器学习
AI三驾马车：数据、算力和算法，谁更重要？
当​​算法、算力、数据三大要素​​协同进化，AI才能真正爆发革命性力量。未来，这三驾马车将带我们驶向何方？答案已经在科技巨头的实验室里孕育，在创业者的代码中闪烁，在每一个技术变革者的思想中发酵。而这，正是AI未来最令人期待的部分。

2025-04-29 09:09:32

AI人工智能大数据
一文搞懂“预测模型”：建模思路，模型分类，应用场景
时间序列法就是模拟过去的走势，然后按过去的走势推演。这种做法和我们用肉眼观察数据走势，拍脑袋拍个数值没有思路上的区别，仅仅是用公式替代了肉眼观察，增加了精确度而已。

2025-04-29 01:55:00

预测模型建模思路模型分类
AI数据自动化：是革命还是泡沫？揭开“全流程替代”的真相
数据自动化的未来，不是机器取代人类，而是人类与机器共同进化。当 AI 负责 “从 0 到 1” 的探索，人工守护 “从 1 到 N” 的稳健 —— 这才是智能时代最动人的协奏曲。

2025-04-28 09:58:57

大数据数据治理企业转型
从困局到破局的AI+数据分析
未来，随着大模型和专业AI工具的发展，"数据民主化"将成为现实。每个人都能像使用搜索引擎一样使用数据分析工具，企业的数据资产价值将得到最大化释放。

2025-04-28 09:35:36

AI人工智能大数据
AI、BI、大数据与数据科学的底层逻辑
理解AI、BI、大数据和数据科学的关系，就像理解一个完整的生态系统。数据是基础，BI帮我们理解过去，分析让我们预测未来，大数据处理海量信息，数据科学提供方法，而AI则是最终实现智能决策的途径。

2025-04-27 09:52:49

AIBI大数据
终于明白了！数字化转型的本质、价值与路径
数字化转型不只是技术问题，更是战略问题和组织问题。成功的数字化转型需要自上而下的推动，CEO必须亲自参与。

2025-04-27 09:08:40

数字化转型数字化大数据
Flink 中的 Savepoint 和 Checkpoint 有什么区别？
Savepoint 和Checkpoint 都是 Flink 中用于状态持久化和恢复的机 制，但它们在目的、触发方式、生命周期管理和使用场景上有着明显区别。

2025-04-27 08:15:00

FlinkSavepointCheckpoint
九张图，看懂数据分析如何由浅入深
如果平地一声雷，甩一套新模板出去，不但培训需要时间，而且和现有的数据对不上，很有可能制造新的数据垃圾。因此更好的做法是，先基于现有分类，梳理出逻辑，再培训，提升规范度。

2025-04-27 01:44:00

数据分析指标模板
DeepSeek在数据领域的30个应用场景
本文为您揭秘DeepSeek在数据领域的30个颠覆性应用场景，带大家一窥AI如何重塑数据价值链。

2025-04-25 00:50:00

DeepSeek大数据人工智能
FlinkSQL 中 Catalog 的使用场景及案例详解
Catalog 在 Flink SQL 中是一个元数据管理组件，用于存储和管理数据库、表、视 图、函数等元数据对象的抽象接口。

2025-04-24 10:40:46

CatalogFlink SQL元数据
五个案例快速熟悉 Pandas 常用操作
本文展示了Pandas在日常数据处理中最常用的一些功能，熟练掌握这些操作是进行任何数据分析项目的基础。

2025-04-24 10:20:00

Pandas数据分析数据处理
你的数据有多好，你的模型就有多强
数据已从支撑要素蜕变为战略资产。在参数规模趋于同质化的AI赛道上，独特数据正成为企业最坚固的护城河。那些能够获取、处理和持续更新高价值垂直领域数据的企业，将在AI时代建立起难以撼动的竞争壁垒。

2025-04-24 00:40:00

大数据数字化人工智能
“史上最快闪存技术”登Nature！复旦新成果突破闪存速度理论极限，每秒执行操作2500000000次
研究人员提出，二维材料独特的能带结构和电学特性，有望彻底改变这一局面。

2025-04-23 09:41:27

闪存编程AI
数智飞轮：AI时代企业增长的核心密码
数智飞轮是AI时代企业增长的底层密码，数据不再是只看不用的奢侈品，而是每一次业务决策的坚实支撑。​​不必是华尔街交易员，每个人都能拥有自己的彭博终端​​。

2025-04-23 04:00:00

大数据数智飞轮人工智能
数字化转型四步走：企业的进化密码
数字化转型是一场没有终点的马拉松。从标准化的基础夯实，到信息化的流程再造，再到数字化的模式创新，最终达到智能化的自主决策，每一步都需要持续投入和坚定执行。

2025-04-23 02:00:00

数字化转型大数据数字化
告别SQL！四大技术重构数据查询：Text2SQL/RAG/TAG/MCP谁主沉浮？
面对Text2SQL、RAG、TAG、MCP四大技术流派，企业该如何抉择？本文将深度拆解技术内核，用真实商业案例揭示终极答案。

2025-04-21 04:10:00

数据查询Text2SQLTAG
知识图谱与其它知识库的关系
知识图谱的出现，正在改变了我们组织和理解信息的方式。 这种技术不仅仅是一种数据存储方式，更是一种思维模式的转变——从孤立的信息点，到相互关联的知识网络。

2025-04-18 12:49:58

知识图谱大模型人工智能
数据治理要有"治"有"理"，才有宝藏
数据是企业的核心资产，而数据治理是激活这一资产的关键。有"​​治​​"有"​​理​​"，你的数据才能成为真正的宝藏。

2025-04-17 07:00:00

大数据数据治理数字化
Spark on K8s 在 vivo 大数据平台的混部实战
在离线混部可以提高整体的资源利用率，不过离线Spark任务部署到混部容器集群需要做一定的改造，本文将从在离线混部中的离线任务的角度，讲述离线任务是如何进行容器化、平台上的离线任务如何平滑地提交到混部集群、离线任务在混部集群中如何调度的完整实现以及过程中的问题解决。

2025-04-17 06:00:00

SparkK8s大数据
数据分析不只是跑个SQL！
SQL只是数据分析的一小部分工具，真正的数据分析是一个完整的价值创造过程，从问题定义到价值实现的全流程闭环。

2025-04-17 02:00:00

数据分析SQL大数据
高效数据分析必备：Pandas 最常用的十个核心函数
本文介绍十个高频函数，结合代码示例，帮助您快速掌握核心功能。通过掌握这10个函数，您能高效完成80%的日常数据处理任务。

2025-04-16 08:10:00

PandasPython数据分析
数据和人工智能治理委员会是否应该分开？
决定将数据治理与 AI 治理分开还是合并，最终取决于您组织的独特需求和成熟度。虽然两种方法都有其合理的论据，但从统一的框架入手通常能够提供灵活性和简便性，以便随着组织的发展进行扩展。

2025-04-16 01:30:00

人工智能数据治理大数据
朋友，要数仓实战代码不要？只要你开金口...
本文将围绕我们在项目中使用的实战代码，详细介绍每个层次的实现过程和关键技术。

2025-04-15 10:10:00

数据仓库大数据数据
还没等老板开口，我已经把 ADS 层建好了
ADS层是数据仓库与业务系统之间的桥梁，将经过清洗、转换和汇总的数据以业务友好的方式呈现给最终用户。今天以我们项目中的实际案例为例进行ADS层建设思路介绍。

2025-04-14 08:15:00

ADS层数据仓库大数据
【小白扫盲】到底什么是数据（data）？
最近几年愈演愈烈的AI浪潮，进一步推动了数据的价值提升。人工智能的三要素，其中一项，就是数据（另外两个是算力和算法）。数据作为AI的“燃料”，其质量和数量直接决定了AI系统的性能和准确性。

2025-04-14 01:01:52

数据data人工智能
一文读懂数据建模的方法论
数据建模是将业务世界中的对象、行为和规则，通过结构化方式映射为数据模型的过程。它不只是"把数据装进数据库"，而是让数据具备业务语义，确保企业内部对数据有一致的理解和使用方式。

2025-04-10 11:47:41

大数据数字化数据治理
CDO 的价值要求：通过 Agentic AI 推动业务影响
人工智能正逐渐成为企业运营的中枢神经系统。随着人工智能战略、治理和货币化成为焦点，CDO 往往会演变为首席人工智能官 (CAIO)。

2025-04-09 12:39:46

CDOAgentic AI数据治理
老板又让我负责数仓 DWS 层建设了...
DWS（Data Warehouse Service）层是数据仓库的服务数据层，位于DWD层之上，ADS层之下。它主要承担了将明细数据进行主题聚合的职责，是数据仓库中承上启下的关键环节。

2025-04-09 10:24:36

DWS服务数据层数据仓库
PandaAI：一个基于AI的对话式数据分析工具
PandaAI 是一个基于 Python 开发的自然语言处理和数据分析工具，支持问答式（ChatGPT）的数据分析和报告生成功能。

2025-04-09 03:00:00

AIPandaAI数据分析
AI时代下数字化转型最大陷阱！是没数据，还是没用对数据？
企业不缺数据，缺的是对数据价值的挖掘。企业只要存续经营，就在不断产生大量数据，这些未被充分利用的数据就像沉睡的金矿，等待被唤醒创造价值...

2025-04-09 01:20:00

AI人工智能数字化转型
大模型+数据分析：下一代智能查询优化体系的先行探索
当你每天面对万亿级数据、日均百万次查询请求时，你会怎么做？ 处理海量数据查询犹如在迷雾中寻路，方向稍有不慎就会迷失。数据负载高到屏幕只显示超时，查询速度慢到让你有时间泡一杯咖啡再来检查结果。

2025-04-09 01:00:00

大模型数据分析智能查询
告诉我！数据仓库 DWD 层怎么建？
DWD（Data Warehouse Detail）层是数据仓库的核心加工区域，承担着将原始数据转换为可用分析数据的重要职责。

2025-04-08 09:40:00

DWD数据仓库大数据
数据质量不重要？它可以是数据治理的第一块基石！
我们常说"没有规矩不成方圆"，数据也是如此。企业数据是一种隐形资产，想要发挥其价值，就需要有一套科学有效的规则和机制来管理它。这就是数据治理的本质。

2025-04-07 08:00:00

大数据数字化数据治理
DeepSeek再好，还得先进行数据清洗！
数据清洗就像是数据分析的"地基工程"，地基不牢，上层再漂亮也会坍塌。 如何才能高效清洗数据，让脏数据变干净，让分析结果更可靠？如果数据清洗不当，数据质量不佳，DeepSeek也难成大就？ 让我们通过这篇文章一起掌握数据清洗的要点。

2025-04-07 00:30:00

DeepSeek大数据数字化
数据库、数据仓库、数据湖、数据中台，别再傻傻分不清了
作为技术人，你一定遇到过这样的困惑：数据库、数据仓库、数据湖、数据中台，这些名词傻傻分不清。 让我们一起揭开数据生态的神秘面纱，看看这些"数据家族成员"各自扮演什么角色。

2025-04-03 11:00:52

数据库数据仓库数据湖
一文看懂“深入的”数据分析：分析方法，MECE，业务建议
分析方法是相互穿插的。有常见的描述性统计、对比分析，也可以结合预测模型，也可以结合数据测试，判断方法可行性。做数据分析，从来都不是一条无敌公式打天下，细细梳理业务，构建逻辑，才体现水平。​

2025-04-03 05:10:00

数据分析分析方法MECE
1 23456 ··· 184
点赞

51CTO技术栈公众号

业务
速览
在线客服