大数据处理和分析
大数据处理和分析
1万+ 人选课
更新日期:2026/04/03
开课平台智慧树
开课高校上海商学院
开课教师刘攀许洪云
学科专业工学计算机类
开课时间2026/01/21 - 2026/07/20
课程周期26 周
开课状态开课中
每周学时-
课程简介
《大数据处理和分析》是一门新兴的课程,主要讲解手机端APPs联网数据的采集方法、基于Wireshark软件的数据分析方法、Excel文件的数据分析方法、基于Splunk平台的通用大数据分析方法和数据展示方法,让学生理解大数据分析的一般思路和处理过程,熟练掌握三种数据分析工具的使用方法。通过本课程的学习,让学生具备基于意图的数据采集、非结构化数据的分析、正则表达式的构造、Excel公式的构造、Splunk平台的使用能力,培养学生的大数据分析能力,为将来从事大数据分析的相关工作打下基础。该课程可以作为全校的通识课。
课程大纲

在线教程

章节简介教学计划
手机数据的采集
登录后可预览视频
手机与电脑组网
刘攀
手机数据的捕获
刘攀
手机APP的联网效率计算
刘攀
实践操作演示
刘攀
基于Wireshark的数据分析
上章回顾
刘攀
如何处理这些数据
刘攀
如何在地址之间进行数据传递
刘攀
如何找到手机APP联网的数据包(上)
刘攀
如何找到手机APP联网的数据包(下)
刘攀
基于Wireshark的数据分析总结及自动数据采集
手机APP是如何连接到网络呢?
刘攀
手机APP与谁通讯呢?
刘攀
实验操作
刘攀
数据分析的理论
刘攀
自动数据采集
刘攀
脚本执行
刘攀
Excel的数据项分析及Excel操作入门
正则表达式1
刘攀
正则表达式2
刘攀
数据查找
刘攀
数据特征分析
刘攀
Excel文件分析演示
刘攀
Excel数据处理
函数
函数-1
许洪云
函数-2
许洪云
汇总求和函数
汇总求和函数-1
许洪云
汇总求和函数-2
许洪云
平均值函数
许洪云
统计个数函数
许洪云
数学和三角函数
许洪云
日期和时间函数-1
许洪云
日期和时间函数-2
许洪云
文本函数之一
文本函数-1
许洪云
文本函数-2
许洪云
文本函数之二
文本字串提取函数
许洪云
文本函数的综合应用
许洪云
查找函数
许洪云
错误信息处理函数
许洪云
Excel图表处理
Excel图表处理
许洪云
Splunk平台初探
Splunk平台的简介
Splunk平台的简介-1
刘攀
Splunk平台的简介-2
刘攀
Splunk平台的安装与配置
刘攀
基于Splunk平台的数据分析
刘攀
SPL高级编程
刘攀
SPL语言学习
上一讲回顾与Splunk的基础命令
刘攀
Splunk软件的自动数据生成
Splunk软件的自动数据生成-1
刘攀
Splunk软件的自动数据生成-2
刘攀
常用命令详解
刘攀
SPL的练习
刘攀
自动数据生成
刘攀
数据展示
刘攀
官方帮助文档
刘攀
案例分析
刘攀
数据导入及错误分析
背景知识介绍
刘攀
数据选择
刘攀
时间戳错误
刘攀
导入配置
刘攀
SPL案例编程
stats命令学习
刘攀
案例分析
数据下载和导入
刘攀
问题描述及分析
刘攀
综合实战 ——非结构化数据分析方法
数据挖掘之前需要做什么
数据挖掘之前需要做什么-1
刘攀
数据挖掘之前需要做什么-2
刘攀
采用哪种数据过滤方法来实现数据抽样
采用哪种数据过滤方法来实现数据抽样-1
刘攀
采用哪种数据过滤方法来实现数据抽样-2
刘攀
采用哪种数据过滤方法来实现数据抽样-3
刘攀
如何分析status=404中链接比例呢?
刘攀
还能挖掘其他有用的信息吗?
刘攀
如何构造正则表达式呢?
刘攀
如何验证正则表达式是完备的呢?
如何验证正则表达式是完备的呢?-1
刘攀
如何验证正则表达式是完备的呢?-2
刘攀
  • 第一章手机数据的采集

    手机数据的采集

  • 1.1手机与电脑组网

    手机与电脑组网

  • 1.2手机数据的捕获

    手机数据的捕获

  • 1.3手机APP的联网效率计算

    手机APP的联网效率计算

  • 1.4实践操作演示

    实践操作演示

  • 第二章基于Wireshark的数据分析

    基于Wireshark的数据分析

  • 2.1上章回顾

    上章回顾

  • 2.2如何处理这些数据

    如何处理这些数据

  • 2.3如何在地址之间进行数据传递

    如何在地址之间进行数据传递

  • 2.4如何找到手机APP联网的数据包(上)

    如何找到手机APP联网的数据包(上)

  • 2.5如何找到手机APP联网的数据包(下)

    如何找到手机APP联网的数据包(下)

  • 第三章基于Wireshark的数据分析总结及自动数据采集

    基于Wireshark的数据分析总结及自动数据采集

  • 3.1手机APP是如何连接到网络呢?

    手机APP是如何连接到网络呢?

  • 3.2手机APP与谁通讯呢?

    手机APP与谁通讯呢?

  • 3.3实验操作

    实验操作

  • 3.4数据分析的理论

    数据分析的理论

  • 3.5自动数据采集

    自动数据采集

  • 3.6脚本执行

    脚本执行

  • 第四章Excel的数据项分析及Excel操作入门

    Excel的数据项分析及Excel操作入门

  • 4.1正则表达式1

    正则表达式1

  • 4.2正则表达式2

    正则表达式2

  • 4.3数据查找

    数据查找

  • 4.4数据特征分析

    数据特征分析

  • 4.5Excel文件分析演示

    Excel文件分析演示

  • 第五章Excel数据处理

    Excel数据处理

  • 5.1函数

    函数

  • 5.2汇总求和函数

    汇总求和函数

  • 5.3平均值函数

    平均值函数

  • 5.4统计个数函数

    统计个数函数

  • 5.5数学和三角函数

    数学和三角函数

  • 5.6日期和时间函数-1

    日期和时间函数-1

  • 5.7日期和时间函数-2

    日期和时间函数-2

  • 5.8文本函数之一

    文本函数之一

  • 5.9文本函数之二

    文本函数之二

  • 5.10查找函数

    查找函数

  • 5.11错误信息处理函数

    错误信息处理函数

  • 第六章Excel图表处理

    Excel图表处理

  • 6.1Excel图表处理

    Excel图表处理

  • 第七章 Splunk平台初探

    Splunk平台初探

  • 7.1Splunk平台的简介

    Splunk平台的简介

  • 7.2Splunk平台的安装与配置

    Splunk平台的安装与配置

  • 7.3基于Splunk平台的数据分析

    基于Splunk平台的数据分析

  • 7.4SPL高级编程

    SPL高级编程

  • 第八章SPL语言学习

    SPL语言学习

  • 8.1上一讲回顾与Splunk的基础命令

    上一讲回顾与Splunk的基础命令

  • 8.2Splunk软件的自动数据生成

    Splunk软件的自动数据生成

  • 8.3常用命令详解

    常用命令详解

  • 8.4SPL的练习

    SPL的练习

  • 8.5自动数据生成

    自动数据生成

  • 8.6数据展示

    数据展示

  • 8.7官方帮助文档

    官方帮助文档

  • 8.8案例分析

    案例分析

  • 第九章数据导入及错误分析

    数据导入及错误分析

  • 9.1背景知识介绍

    背景知识介绍

  • 9.2数据选择

    数据选择

  • 9.3时间戳错误

    时间戳错误

  • 9.4导入配置

    导入配置

  • 第十章SPL案例编程

    SPL案例编程

  • 10.1stats命令学习

    stats命令学习

  • 10.2案例分析

    案例分析

  • 第十一章综合实战 ——非结构化数据分析方法

    本章主要介绍Web日志数据分析方法,通过数据导入、数据过滤方法、数据抽样方法、HTTP状态码分析、各种状态码的比例获得、404错误的链接地址分析、404错误的Android版本号分析,讲解非结构化数据分析的一般方法(即增量抽样分析方法)、正则表达式的构造方法、正则表达式完备的分析方法和数据综合处理实战。

  • 11.1数据挖掘之前需要做什么

    数据挖掘之前需要做什么

  • 11.2采用哪种数据过滤方法来实现数据抽样

    采用哪种数据过滤方法来实现数据抽样

  • 11.3如何分析status=404中链接比例呢?

    如何分析status=404中链接比例呢?

  • 11.4还能挖掘其他有用的信息吗?

    还能挖掘其他有用的信息吗?

  • 11.5如何构造正则表达式呢?

    如何构造正则表达式呢?

  • 11.6如何验证正则表达式是完备的呢?

    如何验证正则表达式是完备的呢?

  • 开始学习
  • 第一章  作业测试
    第一章 手机数据的采集

    1.1 手机与电脑组网

    1.2 手机数据的捕获

    1.3 手机APP的联网效率计算

    1.4 实践操作演示

    视频数4
  • 第二章  作业测试
    第二章 基于Wireshark的数据分析

    2.1 上章回顾

    2.2 如何处理这些数据

    2.3 如何在地址之间进行数据传递

    2.4 如何找到手机APP联网的数据包(上)

    2.5 如何找到手机APP联网的数据包(下)

    视频数5
  • 第三章  作业测试
    第三章 基于Wireshark的数据分析总结及自动数据采集

    3.1 手机APP是如何连接到网络呢?

    3.2 手机APP与谁通讯呢?

    3.3 实验操作

    3.4 数据分析的理论

    3.5 自动数据采集

    3.6 脚本执行

    视频数6
  • 第四章  作业测试
    第四章 Excel的数据项分析及Excel操作入门

    4.1 正则表达式1

    4.2 正则表达式2

    4.3 数据查找

    4.4 数据特征分析

    4.5 Excel文件分析演示

    视频数5
  • 第五章  作业测试
    第五章 Excel数据处理

    5.1 函数

    5.2 汇总求和函数

    5.3 平均值函数

    5.4 统计个数函数

    5.5 数学和三角函数

    5.6 日期和时间函数-1

    5.7 日期和时间函数-2

    5.8 文本函数之一

    5.9 文本函数之二

    5.10 查找函数

    5.11 错误信息处理函数

    视频数15
  • 第六章  作业测试
    第六章 Excel图表处理

    6.1 Excel图表处理

    视频数1
  • 第七章  作业测试
    第七章 Splunk平台初探

    7.1 Splunk平台的简介

    7.2 Splunk平台的安装与配置

    7.3 基于Splunk平台的数据分析

    7.4 SPL高级编程

    视频数5
  • 第八章  作业测试
    第八章 SPL语言学习

    8.1 上一讲回顾与Splunk的基础命令

    8.2 Splunk软件的自动数据生成

    8.3 常用命令详解

    8.4 SPL的练习

    8.5 自动数据生成

    8.6 数据展示

    8.7 官方帮助文档

    8.8 案例分析

    视频数9
  • 第九章  作业测试
    第九章 数据导入及错误分析

    9.1 背景知识介绍

    9.2 数据选择

    9.3 时间戳错误

    9.4 导入配置

    视频数4
  • 第十章  作业测试
    第十章 SPL案例编程

    10.1 stats命令学习

    10.2 案例分析

    视频数3
  • 第十一章  作业测试
    第十一章 综合实战 ——非结构化数据分析方法

    11.1 数据挖掘之前需要做什么

    11.2 采用哪种数据过滤方法来实现数据抽样

    11.3 如何分析status=404中链接比例呢?

    11.4 还能挖掘其他有用的信息吗?

    11.5 如何构造正则表达式呢?

    11.6 如何验证正则表达式是完备的呢?

    视频数10
  • 期末考试
App 下载
关注我们