大数据知识体系(ZT)
大数据 / 2018年5月30日

大数据产品,从系统性和体系思路上来做,主要分为五步: 针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量数据,何谈大数据分析; 第二步,基于采集回来的多维度数据,采用ETL对其各类数据进行结构化处理及加载; 然后第三步,对于ETL处理后的标准化结构数据,建立数据存储管理子系统,归集到底层数据仓库,这一步很关键,基于数据仓库,对其内部数据分解成基础的同类数…

flink实践–状态管理&特征提取
未分类 / 2018年5月16日

项目说明:  通过实时检测室内光,温度,湿度,二氧化碳来判断是否有人,一个典型的二元分类问题   数据源 http://archive.ics.uci.edu/ml/machine-learning-databases/00357/ “date”: 日期 “Temperature”: 温度 “Humidity”: 湿度 “Light”: 光线 “CO2”: 二氧化碳 “HumidityR…

吴恩达 深度学习练习
未分类 / 2018年5月16日

https://blog.csdn.net/u013733326/article/details/79827273 1. 神经网络和深度学习 – 第二周作业 – 具有神经网络思维的Logistic回归 目标: 搭建一个能够【识别猫】 的简单的神经网络 引入的库: numpy :是用Python进行科学计算的基本软件包。 h5py:是与H5文件中存储的数据集进行交互…

flink实践–taxi fare预测–均值填充空值
未分类 / 2018年5月13日

项目说明:  目标是根据行程的距离和时长,额外的乘客数、信用卡而不是现金支付等综合考虑预测纽约的出租车费,   数据源 字段名 含义 说明 vendor_id 供应商编号 特征值 rate_code 比率码 特征值 passenger_count 乘客人数 特征值 trip_time_in_secs 行程时长 特征值 trip_distance 行程距离 特征值 payment_type…

flink实践–家庭温度和湿度感知器数据处理&预测
大数据 / 2018年5月7日

项目说明:  IOT领域,家庭温度和湿度感知器传回的数据信息做分析,用于线性回归预测   数据源 http://archive.ics.uci.edu/ml/datasets/Appliances+energy+prediction date time year-month-day hour:minute:second Appliances, energy use in Wh light…