51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程软考华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9117内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9117 条
到底是什么是“数据湖仓”？
根据毕马威的报告显示，86%的海外企业计划统一其分析数据，以支持AI业务的开发。国内也是如此。例如腾讯、B站、小红书等头部互联网企业，都采用了数据湖仓架构，用于不同程度的AI应用。

2025-03-28 01:33:00

数据湖仓AI
六张图详解“toB分析”：客户画像、转化路径、LTC模型
toB的目标客户是相对固定的。如果你是互联网广告业务，目标客户就是游戏、电商、互金、汽车、其他互联网APP；如果你是卖猪肉的，目标客户就是连锁零售、餐饮业、批发商贩。所以，toB业务分析，应从清晰画像开始。

2025-03-27 03:00:00

toB分析客户画像LTC模型
十段代码让你掌握Python Polars，高性能数据处理和分析工具
本文向读者全面介绍 Polars 库，从其独特特性、便捷的安装方式，到基础操作与高级应用技巧，还会探讨它在实际项目中的广泛应用场景，助力读者深入掌握并灵活运用这一工具，为数据处理工作带来质的飞跃。

2025-03-26 00:07:00

代码Polars技巧
Apache Hive：基于Hadoop的分布式数据仓库
Apache Hive 是一个基于 Apache Hadoop 构建的开源分布式数据仓库系统，支持使用 SQL 执行 PB 级大规模数据分析与查询。

2025-03-25 10:49:24

分布式数据仓库HadoopSQL
让数据说话，用 DataGear 开启你的视觉盛宴！
今天，我们将揭秘一款名为DataGear的Java开源神器——它不仅免费，还能用“万能兼容”和“无限定制”重新定义数据可视化！

2025-03-13 10:05:26

DataGearJava开源
写给小白的“数据仓库”科普
数据仓库，是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。

2025-03-12 03:00:00

数据仓库集成管理决策
一文搞懂“经营分析”：模型、策略、业财打通
对于服务类产品，或者虚拟产品，该访谈同样有用。比如手机游戏，为什么游戏产品/运营部门会看一大堆用户行为指标，就是要判断：到底用户体验好不好。这才是促成产品选择的关键。

2025-03-12 02:00:00

经营分析模型策略
超越算法：为什么数据治理是制药业AI未来的关键
最近的一项全球首席数据官洞察调查突出了核心问题：数据质量和准备程度(43%)、技术成熟度不足(43%)以及技能和数据素养短缺(35%)。传统的数据管理实践根本无法满足AI对动态和情境化数据的需求。

2025-03-07 07:00:00

数据治理药业AIAI驱动
智能数据如何使企业渡过供应链危机
随着供应链日益复杂，有效利用数据来预测和预防中断不再是便利或奢侈——而是生存的必需品。应对中断最成功的企业并不总是那些拥有最先进技术的企业。

2025-03-05 08:00:00

供应链智能数据企业
这才是真正的用户分层，而不是看平均数
用户分层看起来简单，可深入探讨的话，需要牵扯的业务细节非常多。很多同学做起来很困扰，都是困扰在：领导让我分高端用户，到底是8000算高端，10000算高端，还是12000算高端呢？

2025-03-05 00:01:00

用户分层平均数消费
五个Python数据可视化技巧，绘制更漂亮的数据图
流图形似河流，用于描绘数据随时间的变化。不同颜色区分不同类别，“河流”的宽度代表每个类别的数值大小。它以可视化的方式展示数据趋势和关系，便于理解数据动态。

2025-03-04 00:22:31

数据可视化技巧
基于PHP扩展Phpy实现Apache ORC高效读写，搞定大数据处理
Apache ORC 是一种专为 Hadoop 生态系统设计的列式存储文件格式，它具备高效的数据压缩和快速的查询性能。由于采用列式存储，ORC 格式在处理大规模数据时能够显著减少 I/O 开销，提高数据处理效率，广泛应用于大数据处理框架如 Apache Hive、Apache Spark 等。

2025-02-28 09:05:38

ApacheORCHadoop
抄作业！手把手教你搭建运营分析体系
想要实现真正的运营策略分析，首先得把运营工作，从一个个孤立的，单点式活动中解放出来，站在二层楼看问题。把各种主动动作拉通，看清楚围绕一个目标的策略组合是什么，才能做到策略层面的分析。​

2025-02-26 07:40:25

运营分析体系运营策略
ClickHouse BSI与字典服务在B站商业化DMP中的应用实践
DMP（数据管理平台）为广告部门提供B站用户数据的管理。主要功能包括用户标签收集存储，标签市场建设，人群包圈选，人群画像分析，人群/特征定向几大功能模块。

2025-02-26 01:17:57

ClickHouseDMPB站
Cloudera Lakehouse Optimizer助力企业轻松交付高性能Iceberg表
为进一步简化数据湖仓一体架构的管理，Cloudera推出了Cloudera Lakehouse Optimizer。该服务可智能化自动处理Iceberg表，使得许多维护作业能够在后台自动运行。

2025-02-24 10:48:45

ClouderaLakehouse湖仓一体
重塑数仓开发模式：物化视图与逻辑数据集的应用
文章详细介绍了逻辑数据集和物化视图的配置、运维、查询改写以及ETL任务生成与调度等关键技术手段。

2025-02-21 14:47:15

逻辑数据集物化视图大数据
分布式系统中的幂等性：何时以及为何重要​ 译文 精选
本文探讨了分布式系统中的幂等性问题，阐述了在多次执行操作时如何确保结果的一致性，并涉及其实现方法及面临的挑战。​

2025-02-14 14:22:40

分布式系统幂等性
从数据孤岛到AI就绪：用AI+大数据重塑百年建筑巨头的战略与实践
本文讲述了一位领导者如何打破数据孤岛，构建统一的企业数据战略，并促进团队多样性的故事。

2025-02-14 08:30:00

AI人工智能大数据
用傅里叶变换解码时间序列：从频域视角解析季节性模式
本文将详细介绍一些基础但重要的概念，这些方法对于每位研究时间序列的数据科学家都具有实用价值。

2025-02-12 10:28:57

SARIMA可视化分析Python
网易实践：用Apache Kyuubi构建云原生Spark网关
本文基于网易数帆软件工程师、Apache Kyuubi/Zeppelin PMC 成员潘成老师的分享整理汇总。通过本文，可以从网易在 Spark 服务化的经验中，学习如何使用 Apache Kyuubi 构建统一的 Spark 网关，既满足业务团队多样的 Spark 使用方式，又可以适配不同基础设施环境中多样的 Spark 部署方式。

2025-02-12 08:26:13

云原生Spark 网关大数据网关
从割裂到闭环：经营分析、财务分析、数据分析的实战框架
从2023年开始，经营分析迎来了一波文艺复兴。企业经营压力加大，便开始加强对业务绩效的考核，加强对成本的控制，强调投入产出比，而非规模增长。

2025-02-11 14:02:11

经营分析数据分析财务分析
货拉拉Flink CDC实践：稳定性建设与数据入湖新探索
本文将分享货拉拉基于 Flink CDC 的建设实践，以及对 CDC 数据入湖的新思考。我们正在建设的数据入湖，也做了一些面向未来的设计，包括 CDC 数据入湖分析。

2025-02-11 10:13:05

Flink数据湖湖仓一体
2025年数据治理趋势与成功策略全解析
随着2024年数据管理成果的回顾与2025年业务计划的展望，现代数据治理再次被确立为成功数据战略的核心。

2025-02-11 08:00:00

数据治理大数据
数据管理革命：2025年推动安全性、可扩展性和治理的趋势
本文探讨了2025年数据管理的五大关键趋势，包括AI 机器学习增强的数据管理、数据脱敏技术、大规模实时数据集成、云优先数据策略以及伦理AI和决策的数据治理。

2025-02-10 11:55:33

数据管理大数据AI
数据分析标准方法之周期性分析法
周期性分析法，即通过数据，找出业务周期性。从而达到理解业务规律、发现业务问题、避免误判的方法。那么，该怎么发现业务周期性呢？

2025-02-10 05:00:00

数据分析数据周期性
14个必学的Seaborn数据可视化技巧
通过使用pairplot、heatmap、lmplot等函数，能够清晰展示数据间的关系和趋势，帮助深入洞察数据背后的规律。

2025-02-10 00:45:00

pairplotheatmaplmplot
你了解布隆过滤器（Bloom Filters）吗？ 译文
本文将对布隆过滤器（Bloom Filters）数据结构进行介绍，解释了它是什么、何时使用它，以及其实现和功能的关键技术细节。​

2025-02-08 17:30:00

布隆过滤器数据结构
经营分析的三个等级，你到哪一级了？
很多同学很郁闷：说的是做经营分析，感觉就是把收入、利润、费用数据算个同比环比，再写个“要搞高”而已。到底高级的经营分析长啥样？今天系统地跟大家解答一下。

2025-02-07 12:29:21

经营分析等级数据
用户行为分析，这是我见过最实用的指南！
很多同学会说：直接问业务不就好了。问题是，四个情况里，除了情况三是很明确的有KPI压力以外，其他三个情况都很含糊，最后口头表达的需求就是：“做个用户行为分析看看”。

2025-02-06 11:52:44

行为分析ID交易订单
现代化实时数据仓库 SelectDB 产品全面解读
本次分享重点介绍了数据分析的痛点与机遇，SelectDB 的架构演进与优化，涵盖了多数据源集成、ETL 处理、实时查询及性能提升。通过支持复杂数据类型、日志查询优化及存储优势，SelectDB 为用户提供了高效的数据平台，简化系统架构，降低运维成本。

2025-02-06 08:54:54

数据分析SelectDB数据仓库
一文带您理解正态分数变换 (Normal Score Transformation，NST)
正态分数变换（NST）是一种将非正态分布数据转化为接近标准正态分布的方法，主要通过对数据进行排序并根据秩值转换为正态分布分位数。

2025-02-05 12:06:15

正态分数变换NST
互联网产品分析的三大核心模型
​互联网产品（APP、小程序、H5、网页）分析非常普遍，也让很多同学觉得很棘手。每次都是列了一堆DAU/MAU、打开率、跳失率、转化率数据，却很难得出结论。然后被领导批为：“分析不够深入”。

2025-02-04 18:36:12

互联网核心模型
搭建数据运营体系：从“跑数机”到“增长引擎”
运营是个大工作，里边的分支非常多。单独看每一类运营，都有一套自己的指标体系。这就是开头说的：“运营已经自己有指标了，我做了指标他们不看”问题的本质所在。

2025-01-26 09:25:08

数据运营指标体系
如何快速提升数据分析能力
“做数据的，看不懂数据”是很多基础同学痛点。在建立监控指标以后，应首先了解业务考核的关键指标（比如销售收入、利润、新用户数、活跃用户数等）的常规走势。

2025-01-26 00:00:10

数据分析PythonSQL
生成式人工智能时代的数据治理挑战 ​ 译文
应对隐私、安全和合规性挑战以推动创新。有效的数据治理由于生成式人工智能的最新发展变得更加关键。​

2025-01-17 14:03:02

数据治理生成式AI
阿里数据治理进化论：基于瓴羊Dataphin的多引擎兼容与统一资产消费实践
瓴羊，脱胎于阿里巴巴这座“超级工厂”的数字化实践，旨在将内部经验系统化、产品化地向千行百业进行输出。作为瓴羊旗下的智能数据建设与治理工具，Dataphin能够提供一站式的采、建、管、用的大数据能力，涵盖企业数据资产的建设、治理、消费等不同环节

2025-01-16 10:09:06

数据治理Dataphin瓴羊
构建【业务预测模型】，这个方法绝了
业务预测模型最大的优势，就是能彻底终结：“到底是预测不准，导致业绩不好；还是业绩不好，导致预测不准”这个鸡生蛋、蛋生鸡的问题。它明确地告诉大家：就是因为业务没做好，所以才预测不准！

2025-01-16 08:50:33

业务预测模型
Ray 在 Bilibili 的场景探索与落地实践
本文将详细解读 B 站如何借助 Ray 实现技术突破与业务升级。文章开篇将介绍 B 站业务概况，包括业务场景、诉求以及面临的痛点，揭示 B 站寻求变革的背景。接着深入架构升级部分，分享问题洞察与方案实施过程，展现如何借助 Ray 优化架构。

2025-01-15 09:16:10

Ray视频剪辑大数据
抖音集团离线数仓血缘基础能力的构建与应用
本文将从底层视角来描述血缘在离线数仓场景的具体应用。我们提出了一套依托 SQL 血缘能力的数据发现与数据保护解决方案。

2025-01-09 08:22:05

离线数仓数据建设SQL 血缘
蔚来知识平台的建设与应用
本文将分享蔚来知识平台的建设与应用。通过引入 AI 辅助知识理解、AI辅助知识创作、多模态能力和知识类型扩展，我们将持续优化和完善知识平台的功能和服务，以更好地满足用户需求并提升平台的整体价值。

2025-01-07 08:34:02

数据孤岛AI知识平台
TAG：定义自然语言查询的高效解决方案 原创 精选
TAG 模型的出现填补了传统数据查询技术与现代语义推理需求之间的空白。通过结合 SQL 查询和大语言模型，TAG 在复杂查询、推理和结果生成方面展现了强大的能力。

2025-01-07 07:00:00

数据分析自然语言查询TAG 模型
一文看懂：数据指标体系的四大类型
评估型指标体系的难点，主要是考虑问题的全面性和指标数据采集可行性。这里特别要注意：数据指标可采集性。很多同学一提到评估，就会随口说：NPS、用户满意度、用户意向之类的指标。

2025-01-03 09:30:01

数据指标体系
Cloudera刘隶放：企业需务实推进AI应用，AI智能体将迎来井喷式发展 原创
​在科技日新月异的今天，生成式 AI 无疑是最热门的话题之一。从文本生成到图像创作，从客户服务到供应链管理，生成式 AI 正逐步渗透到各行各业。然而，在这场 AI 技术革命中，拥有庞大、可信数据的企业无疑将更具竞争优势。近日，Cloudera 大中华区技术总监刘隶放接受了51CTO的采访，就 2025 年科技趋势，特别是生成式 AI 和 AI Agent 的发展，分享了他的见解。

2025-01-03 08:50:20

ClouderaAI Agent
五种被低估的非常规统计检验方法：数学原理剖析与多领域应用价值研究
本文将详细介绍五种具有重要应用价值的统计检验方法，并探讨它们在免疫学（TCR/BCR库分析）、金融数据分析和运动科学等领域的具体应用。

2025-01-02 15:10:17

数据分析MoodFriedman
后端开发必备：ElasticSearch入门与进阶
Kibana 是一款 ES 的数据可视化和管理工具，可以提供直方图，线形图，饼状图，地图。Kibana 还包含 Canvas 和 Elastic Maps 等应用程序。Canvas 可以基于用户创建动态信息。Elastic Maps 可以对空间数据进行可视化处理。

2025-01-02 10:58:27

数据可视化工具
C#中大数据列表的并行处理技术详解
在实际应用中，建议先进行性能测试，根据数据量大小和处理复杂度选择合适的实现方式。同时要注意异常处理和资源管理，确保程序的稳定性和可靠性。

2025-01-02 08:53:14

大数据并行处理测试
2025年数据分析趋势预测
世界涌现了各种数据库及分析模式：数据湖、数据仓库、内存分析和嵌入式分析。但开源编排平台开发商Kestra的首席执行官兼联合创始人Emmanuel Darras表示，到2025年，分析的标准将是数据湖屋（lakehouse）。

2024-12-31 15:18:56

数据分析数据库数据建模
轻松拿捏！七种数据分析报告写作模板
数据分析报告，首先是一个报告，得有清晰的报告逻辑。至于数据，只是让报告更可信，更真实。那做报告到底有几种常见逻辑呢？根据一个人对报告内容的熟悉程度来分，有7种类型介绍如下。

2024-12-31 12:09:31

数据分析模板数据
SuperSonic：Chat BI 与 Headless BI 新一代数据分析平台实践
我们融合 Chat BI 与 Headless BI，构建了新一代数据分析平台，为用户提供了更高效、更智能的数据分析服务和体验。

2024-12-31 08:46:10

数据分析Chat BI数据解读
基于指标+标签的经营分析 Agent 创新实践
本文将分享如何基于大模型能力，叠加指标和标签平台能力，构建企业内智能数据分析产品。

2024-12-30 08:45:09

大模型智能数据分析AI Agent
1 23456 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服