51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9220内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9220 条
五张图，搭建完整的“数据指标体系”
每一个视频，有：播放次数、播放人数、人均播放时长、会员观看数、10%/30%/50%/90%播放完成数、单个视频发布后首日至第七日每日播放数据。还能分成：仅PC端播放、仅移动端播放，PC+移动端播放……同时由于是自己的平台播放，所以能统计到每个用户站内其他视频浏览行为。

2025-06-12 02:55:00

数据指标体系
腾讯面试：数仓分层架构是怎么样的？为什么要这样设计？
数据仓库作为企业数据存储、处理和分析的核心平台，其重要性日益凸显。而数仓建设的分层架构设计，则是提升数据仓库效能、优化数据处理流程的重要保障。

2025-06-11 08:35:00

数据仓库数仓分层架构
增量计算+实时湖仓是怎么回事？
Lamda架构的痛点之一，实时链路（Flink+Redis+ClickHouse）与离线链路（Spark+Hive）逻辑割裂，维表更新、指标计算一致性难以保障。

2025-06-11 04:00:00

增量计算Lamda架构
数仓指标体系搭建实战
建模流程主要是从业务视角指导工程师对需求场景涉及的指标进行主题抽象，归类，统一业务术语，减少沟通成本，同时避免后续的指标重复建设。

2025-06-11 02:45:00

数仓指标体系
蚂蚁面试：Flink 并行度、算子、算子链、Slot、Slot 共享组之间的关系是什么？如何设置能够使资源利用最大化？
一个特定算子的子任务（subtask）的个数被称之为其并行度。包含并行子任务的数据流，就是并行数据流，它需要多个分区（stream partition）来分配并行任务。

2025-06-10 08:30:00

Flink算子大数据
五个 Python 操作，轻松搞定文本分析
本文将深入探讨 Python 在文本分析中最常用的五个操作，帮助你掌握文本分析的核心技能。

2025-06-10 08:25:00

Python文本分析数据分析
AI驱动型企业数据治理的三大关键支柱
企业必须超越手动治理工作流程，实施自动化数据血缘追踪、细粒度访问控制和智能策略执行机制，这些机制需能够跨分布式生态系统进行扩展。

2025-06-10 07:11:00

AI驱动数据治理人工智能
八张图讲透：“数据支持决策”的完整攻略
数据驱动决策,需要的是业务流程与数据紧密配合，领导层参与推动，才能实现的事。数据驱动决策，从来都不是一个神机妙算的世外高人，拿着数据口念咒语：“妈咪妈咪轰”就轰出来一个惊天地泣鬼神的结论，这是基本常识。

2025-06-10 04:11:00

数据决策分析
数据仓库建模的艺术论
数据仓库建模没有放之四海而皆准的方法，关键在于灵活运用、融会贯通。最好的数据模型不是最复杂的，而是最能解决业务问题的。

2025-06-10 03:00:00

数据仓库数据模型大数据
网易面试：Hudi、Iceberg、Paimon 有什么异同点？如何选型？
本文将对Hudi、Iceberg和Paimon这三个组件进行详细的对比分析，探讨它们的异同点，帮助读者更好地选择适合自己业务场景的组件。

2025-06-09 09:57:16

数据湖大数据组件
预测分析和规范分析：将数据转化为航运业的行动
通过分析历史数据、市场趋势和运营模式，预测模型能够以惊人的准确度预测未来场景，这些洞察力对于提前规划至关重要。

2025-06-09 09:42:10

预测分析大数据
数据治理的生死线：为什么99%的企业都在裸奔？
在这个数据驱动的时代，谁能更好地管理和保护数据，谁就能在竞争中占据主动。数据分类分级，看似只是治理工作的第一步，实际上却是企业数字化转型的生死线。

2025-06-09 09:06:49

数据治理大数据数字化转型
Flink 反压问题深度剖析与解决方案
本文将从多个角度对 Flink 反压问题进行详细分析，并提供相应的解决方案和优化建议。

2025-06-09 07:45:00

Flink大数据反压
NumPy 实战：十个高频操作助你轻松搞定数据分析
本文将深入剖析 NumPy 中最常用且最重要的十个操作，帮助你快速掌握科学计算的核心技能！

2025-06-09 07:35:00

NumPy数据分析数组
Pandas 数据分析：五大核心操作助你高效挖掘数据价值
作为数据分析师日常工作的核心支撑工具，Pandas能轻松处理大规模结构化数据，执行复杂转换和聚合操作。本文将深入剖析Pandas数据分析中应用频率最高的五个核心操作。

2025-06-06 08:35:41

Pandas数据分析Python
做数据分析十年，第一次见到靠谱的“归因模型”
潜在用户、新用户、已开户用户三类人。三类人需求差异明显，客服服务政策也有区别。比如潜在用户咨询，本身属于有潜在收益行为，因此是可以作为销售线索转营销系统跟进的。

2025-06-06 03:22:00

数据分析归因模型系统
AI+数字经济的核心三要素
数据是燃料，算法是引擎，那算力就是马力。没有足够的算力，再好的算法也跑不动，再多的数据也处理不了。算力的重要性在AI时代表现得尤为突出。

2025-06-05 09:19:46

AI人工智能数字经济
用户生命周期分析：三个关键阶段，一个深层策略
如果用平均值的话，会把这些实际上是0的人平均掉，又是在制造虚假繁荣。如果剔除出去，只统计有消费的人，显然又会高估渠道价值。

2025-06-05 03:22:00

生命周期策略CDP
非结构化数据治理解决方案
“非结构化数据”是什么？相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容。非结构化数据指的是：数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。

2025-06-05 01:22:00

数据非结构化内容管理
京东面试：如何合理设置 Flink 并行度？有哪些优化的点？
在Apache Flink中，并行度（Parallelism）是指一个Flink程序的并行执行能力。一个Flink程序由多个任务（task）组成，这些任务可以并行执行以提高处理效率。

2025-06-03 07:00:00

大数据Flink并行度
网易面试：Flink 优化可以从哪几个方面入手？分别详细介绍一下？
MiniBatch聚合优化是Table API中最重要的性能优化技术之一，它通过批量处理输入记录来减少状态访问次数。

2025-05-30 20:08:03

Flink大数据聚合优化
数据分析体系：从"拍脑袋"到"数据说话"的华丽转身
昨天跟一个朋友聊天，他们公司刚刚因为一个"​​感觉很好​​"的项目，损失了几百万。如果当初有一套完整的数据分析体系，也许结果会完全不同。

2025-05-30 05:00:00

数据分析大数据数字化
这才是数据支持决策，而不是出个Excel报表
决策是个业务能力，理论上跟数据没啥关系！就像小伙子去约会，如果他高大英俊，气质不凡，腰缠万贯。那即使他啥都不做，都有大把女生扑上门来，满意度还贼高。

2025-05-29 02:23:00

Excel报表数据
这次终于有人把数据架构讲明白了!
数据架构是指组织和管理数据的方式，包括数据的存储、处理、流动和使用方式。它涉及到如何设计和构建数据模型、数据库系统、数据交换机制等，以确保数据的有效性、安全性和可用性。数据架构的目标是支持业务需求、提高数据的质量和一致性，并促进数据的共享和集成。

2025-05-29 01:00:00

数据架构大数据数据湖
AI重塑数据治理的底层逻辑
从人治模式到AI智治，已经不仅仅是技术的进步和期许，更是思维方式的转变，传统的数据治理，关注的是如何管理人，​​如何提高人的效率​​。而AI数据治理，关注的是​​如何设计系统，如何优化算法​​

2025-05-28 04:00:00

AI人工智能大数据
觉醒吧！别再做数据的奴隶
数据分析师，不应该是数据的奴隶，而应该是数据的主人。不应该是被动的响应者，而应该是主动的引领者。你手中的不只是SQL和Excel，而是洞察商业世界的千里镜和显微镜。

2025-05-27 07:00:04

数据分析大数据
Python 词云图神器！十行代码让文本数据美如画，老板直呼专业
今天我们将深入探索 Python 中最强大的词云库Wordcloud，通过实战案例带你掌握从基础到进阶的所有技巧。

2025-05-26 09:15:00

PythonWordcloud词云
Flink Checkpoint源码级拆解
Flink Checkpoint的工作原理是定期创建所有分布式应用程序状态的一致快照，允许 Flink 通过将应用程序状态恢复到最新的检查点来从故障中恢复。

2025-05-26 09:05:00

Flink大数据检查点
改到半夜！一篇数据分析报告的“逆袭”
如果数量到位了，但转化不好，这时候再考虑人的因素。在用户中，有可能有些人有需求，可以识别出来，看推广是否已触达这些人群。这里一提及“有需求”很多同学可能自然联想到推荐算法。

2025-05-26 02:42:00

数据分析场景
AI应用最大的问题不是技术，是数据问题
AI技术架构日趋成熟，算法优化空间有限，真正能带来竞争壁垒的是独特的数据资源。

2025-05-26 02:00:00

AI应用AI大数据
一个可以写进简历的 Flink 在金融风控行业应用的真实案例（附详细业务代码）
金融风控实时计算系统基于Apache Flink通过多层次的数据处理和分析，实现毫秒级的风险决策。

2025-05-23 09:51:35

大数据Flink数据分析
Vue3 新趋势：弃用 ECharts！最强图表库诞生！
随着 Vue3 的不断发展，一款全新的全能图标库 Vue Data UI 逐渐崭露头角，它凭借着诸多优势，有望成为新的数据可视化利器，甚至有取代传统图表库的趋势。

2025-05-21 09:47:57

Vue3数据可视化图表库
AI数据治理破局的战略重构
当我们面对AI带来的巨大变革时，企业领导者需要明白：​​数据治理不再是合规检查表上的一个简单勾选项，而是企业战略的核心组成部分​​。动态AI治理模式要求我们持续审视和调整数据策略，而不是被动应对。

2025-05-21 09:41:23

AI人工智能数据治理
阿里面试：Fluss 是什么？如何使用 Fluss 构建流式湖仓一体?
Fluss是一种支持亚秒级低延迟流式读写的流式存储系统。通过Lakehouse Storage，Fluss在Lakehouse之上提供实时流数据服务，实现了数据流和数据湖仓的统一。

2025-05-21 08:20:00

Fluss数据流数据湖仓
Flink SQL × Paimon 构建实时数仓优秀实践
Paimon与Apache Flink的集成为用户提供了强大的实时数据处理和分析能力，使企业能够构建高性能、高可靠性的实时数据仓库。

2025-05-20 10:03:59

数据仓库Flink SQLPaimon
小米面试：Paimon Join 用法有哪些？大规模数据场景下如何优化 Join 性能？
本文将详细介绍 Paimon 中的各类 Join 语法，包括 Lookup Join、Batch Join 以及其他特殊类型的 Join，并提供详细的案例说明。

2025-05-20 08:35:00

Paimon大数据Join
人工智能时代的数据平台架构模式
当前的人工智能革命对实时数据、语义理解和集成操作有着独特的需求，因此需要迈出下一步：构建现代数据平台。它不再仅仅关乎单一技术，更在于构建一个集成、智能、可靠的生态系统。

2025-05-20 01:00:00

人工智能数据平台数据湖
百度面试：Flink CEP 复杂事件处理是什么？原理是怎么样的？哪些场景可以使用？
复杂事件处理是一种用于检测事件流中特定模式的技术。在Apache Flink中，CEP是一个强大的功能，允许用户定义复杂的事件模式，并在实时数据流中识别这些模式。

2025-05-19 09:41:24

复杂事件处理Flink CEP大数据
Pandas 进阶秘籍：五招搞定复杂数据处理，效率飙升！
本文将深入探讨五个 Pandas 进阶实用技巧，助您优雅地应对复杂数据处理挑战，显著提升代码质量和运行效率。

2025-05-19 08:28:00

PandasPython数据分析
超好用！用 Python 轻松构建数据可视化应用
当我们希望基于Python高效实现在线可交互式的数据可视化应用，大幅度提升可视化结果的呈现效果以及可应用性时，今天要给大家介绍的方式，一定会让你受益良多。

2025-05-16 10:00:00

Python数据可视化
基于人工智能的以数据为中心的数据架构方法
本文简要探讨了如何在人工智能赋能下构建企业数据。文章强调了以整体视角看待人类思维和数据集成的重要性，并基于众多实际企业解决方案，提出了一些简单的关键领域考量。

2025-05-16 01:00:00

人工智能数据架构大数据
刚准备摸鱼（狗头），告警群炸了：记一次线上 HBase 数据压缩异常问题的发现、分析与解决全过程
本文详细记录了我在一次生产环境中遇到的HBase压缩问题，从发现问题的蛛丝马迹，到分析问题的根本原因，再到最终解决问题的全过程。

2025-05-15 10:01:22

HBase数据压缩大数据
AI+数据智能体的三大支点：数据治理、知识库和大模型
智能决策闭环犹如一座三角金字塔，三个支点缺一不可，相互支撑，形成企业的"数据智能体"。

2025-05-15 09:56:32

AI数据智能体数据治理
腾讯面试：Spark 内存如何优化？包含哪几个方面？
本文将详细介绍Spark内存管理机制及优化策略，包括缓存优化、内存配置、状态存储优化等方面及并给出相应的样例代码。

2025-05-15 08:25:00

Spark大数据内存
记一次生产环境中 Kafka 集群面对消息量飙升后获得五倍性能提升的优化之旅
前几天我碰到了一个Kafka集群在消息量突然飙升时遇到的性能瓶颈问题，经过几个小时的苦战后，集群恢复了平稳运行，性能提升了5倍，本文将详细阐述从问题发现、分析到最终解决的完整过程。

2025-05-14 08:05:00

大数据Kafka集群
七张图详解“用户分析”：用户策略、分层、标签
如果用户行为本身发生得很随机，则测算可以简化。比如啤酒、瓜子、矿泉水一类零食，用户购买可能完全是临时起意，没啥深入思考，也没啥忠诚度可言。此时只靠按单次广告投放核算成本即可。

2025-05-14 02:10:00

用户分析用户策略分层
数据产品开发三大秘笈，一篇讲明白！
火车头是数据产品开发的核心，包括价值牵引、场景驱动、合规支撑三个组成部分，其底层逻辑建立在于我国对数据要素基础制度体系的探索和实践 之上。 

2025-05-13 01:10:00

数据产品开发
数字AI时代下的数据湖与数据仓库
我们正处于数据AI驱动决策的时代，数据湖与数据仓库这对"​​双引擎​​"将持续助力企业释放数据价值，驱动业务创新与增长。掌握这两种技术的核心理念与适用场景，也行是每位数据从业者的必备素养。

2025-05-12 09:34:39

数据湖数据仓库大数据
生成式人工智能驱动的数据工程：现代数据工程师至少应掌握哪些技能
本文将我的经验与当前的行业实践相结合，提炼成一份循序渐进的参考指南，供想成为数据工程师或处于职业生涯中期的人士参考。

2025-05-12 09:31:58

生成式人工智能大数据数据工程师
Excel百万数据高性能导出方案！
很多小伙伴门在开发数据导出功能时，习惯性使用Apache POI的HSSF/XSSF组件。这类方案在数据量超过5万行时，会出现明显的性能断崖式下跌。根本原因在于内存对象模型的设计缺陷：每个Cell对象占用约1KB内存，百万级数据直接导致JVM堆内存爆炸。

2025-05-12 00:00:00

Excel数据高性能
1 23456 ··· 185
点赞

51CTO技术栈公众号

业务
速览
在线客服