回到官网
新闻动态

Data Knowledge|从 0 到 1:探索基础数据世界

2026.09.20            浏览量:

在数字智能时代背景下,数据科学及AI已成为驱动社会进步与行业革新的核心动力。秉承学校“以企业为导向,以学生为中心”的教育理念,同时响应新商业、新传媒、新服务行业对高素质数据分析人才的需求,数据科学学院推出“Data Knowledge”专栏,将普及AI模型、具身智能、数据结构、机器学习等基础数智知识,为师生提供持续学习和成长的平台,同时,通过连接教学理论与现实实际,在生动传递专业知识的同时,深化教师队伍的知识储备,助力应用型数据分析人才的培养。




作者简介



图片


作者简介:夏天,数据科学学院大数据管理与应用专业教师

研究方向:动态合作博弈、数学建模

主讲课程:《数据库技术与应用》《数据可视化》《离散数学》


01

认知破局:什么是数据?


图片

图1 什么是数据


提到大数据,很多人的第一印象是复杂代码、海量表格、专业算法,认为其只存在于专业课堂与企业后台。但事实上,数据是数智时代的底层基石,藏在每一次生活操作、每一轮产业迭代之中。褪去专业滤镜,数据从来都不是高高在上的专业名词,而是贯穿我们日常生活、产业发展的核心基础资源。

抛开晦涩教科书定义,数据本质是对现实世界各类事物的客观记录与具象描述,是用来定义事物特征、捕捉运行状态、留存行为轨迹的所有信息集合。数字、文字、符号、图像、音频、视频,全部都属于数据的多元形态。

实操案例:我们日常输入的文字文案、拍摄的生活照片、手机录制的语音视频、天气APP显示的温度数值,都是最基础、最直观的数据形态。

可以说,没有海量数据的积累、清洗与迭代,就没有如今飞速发展的人工智能大模型、智慧城市运维体系与数字化产业生态,数据已然成为驱动时代发展的核心生产要素。


图片

图2 数据多元基础形态


02

无处不在:数据从何而来?


数据并非凭空产生,而是伴随人类活动、设备运行、产业运转实时生成,渗透在生活、产业、社会运行的每一个场景中,来源广泛、动态更新,真正实现了“无处不在、无时不有”。总体可划分为五大核心来源:生活场景、互联网平台、智能设备、企业产业、公共机构。

场景案例:个人浏览购物软件的记录、运动手环的心率步数属于生活数据;门店销售流水、用户消费画像属于企业产业数据;城市交通车流、政务办事统计数据属于公共服务数据,全方位覆盖学校新商业、新传媒、新服务三新战略应用场景。

人人皆是数据的生产者,也皆是数据价值的受益者,微小的日常数据积累,最终汇聚成产业升级、城市迭代的核心动力。


图片

图3 数据的五大来源


03

价值落地:数据究竟有什么用?


图片

图4 数据的作用


很多初学者存在认知误区:认为数据体量越大,价值越高。但事实上,杂乱、原始、未经过滤的零散数据,只是无效信息堆砌,不具备任何决策与应用价值。数据的核心意义,在于通过标准化加工处理,剔除无效信息,挖掘隐藏规律,最终实现赋能业务、支撑决策。


图片

完整的数据价值落地链路:收集数据 → 清洗数据 → 分析数据 → 落地应用


产业案例:新商业门店每日会产生上万条原始销售数据,包含无效重复记录、错漏数据。工作人员通过清洗筛选有效数据,分析热销品类、消费时段、用户偏好,进而调整进货库存、优化营销活动,实现降本增效。这就是数据“复盘过往、分析当下、预判未来”的核心价值,也是AI大模型迭代升级的核心数据养分。


图片

图5 数据转化流程


04

核心特质:读懂大数据 5V 特征


区别于传统手工统计的零散普通数据,数字化时代的大数据,具备行业公认的 5V 核心特征,是大数据专业教学、产业项目实操、数智应用落地的核心理论基础,也是区分传统数据与现代大数据的关键标准。


海量性(Volume)


数据体量呈指数级增长,以TB、PB为核心计量单位,远超传统数据存储量级。

案例:主流电商平台单日用户浏览、交易、评价数据可达数十TB,覆盖亿万用户行为轨迹。


多样性(Variety)


数据类型多元丰富,分为结构化数据(表格、数字)与非结构化数据(图文、音视频)。

案例:短视频平台同时存储用户文字评论、封面图片、播放视频、语音弹幕等多类型数据。


高速性(Velocity)


数据实时生成、快速流转、即时更新,可支撑动态监测与实时决策。

案例:城市智慧交通系统实时捕捉车流数据、秒级更新路况,为导航避堵、交通调度提供即时支撑。


真实性(Veracity)


代表数据的可信程度与数据质量。实际采集的数据往往混杂噪声、缺失值、错误记录,数据真伪与质量高低,直接决定数据分析结果是否可靠。

案例:新商业门店开展顾客调研问卷收集,常会遇到乱填作答、空值、重复提交等无效记录,必须通过数据清洗过滤脏数据,后续分析才具备参考意义。


价值性(Value)


大数据整体体量庞大但单条数据价值密度低,需深度挖掘才能释放价值。

案例:海量用户零散浏览数据无意义,经过聚合分析后,可精准提炼用户需求,实现个性化内容与商品推送。


图片

图6 大数据 5V 特征


05

基础分类:看懂两大核心数据类型


在数据学习与产业项目落地中,数据类型是最基础、最核心的分类逻辑,所有数据处理、分析、可视化工作,都建立在数据类型划分之上。日常我们接触的海量数据,可精准划分为结构化数据与非结构化数据两大类。


结构化数据


指格式规整、逻辑统一、可直接存入数据库的标准数据,也是课堂学习、企业统计的核心数据类型。

案例:学生学籍信息、门店销售表单、用户手机号、订单金额、考试成绩,行列整齐、维度固定,可直接用于统计分析。


非结构化数据


无固定格式、无统一维度、自由灵活的数据,占据互联网数据总量80%以上。

案例:短视频视频画面、直播弹幕、用户评论、商品实拍图、语音录音,是新商业、新传媒赛道最主要的数据形式。


图片

图7 生活中的数据


06

结语


随着数智化浪潮全面渗透各行各业,数据已然成为新时代不可或缺的核心基础资源,是驱动产业升级、技术创新、社会发展的核心动能。本期从数据基础认知、数据来源场景、数据价值逻辑、大数据5V核心特征,到结构化与非结构化数据分类,层层递进、由浅入深,搭建起数据相关专业零基础入门的完整知识框架,为同学们后续专业学习、工作室项目实践、产业岗位适配筑牢底层根基。


07

参考书目


[1] 国家质量监督检验检疫总局, 中国国家标准化管理委员会. 信息技术大数据术语: GB/T 35295—2017[S]. 北京: 中国标准出版社, 2017.

[2] 国家市场监督管理总局, 国家标准化管理委员会信息技术大数据数据分类指南: GB/T 38667—2020[S]. 北京: 中国标准出版社, 2020.

[3] 李国杰, 程学旗. 大数据研究: 未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J]. 中国科学院院刊, 2012, 27(6): 647-657.

[4] 维克托·迈尔-舍恩伯格, 肯尼思·库克耶. 大数据时代: 生活、工作与思维的大变革[M]. 盛杨燕, 周涛, 译. 杭州: 浙江人民出版社, 2013.

[5] IBM.大数据分析的 5V 原则[EB/OL]. https://www.ibm.com/cn-zh/think/topics/big-data-analytics.


------- 友情链接 -------

学校地址:陕西省西安市雁塔区东仪路8号    


Copyright 2017 Xi'an Eurasia University , All Rights Reserved , 陕ICP备13005465-1