新年第一篇, 先做个机器学习实践总结—几种常见场景下的特征提取方法: 机器学习中最重要的一环就是特征工程,特征工程的好坏直接影响模型的效果,如果做得不好大概率会出现“garbage in,garbage out ”的情况; 特征的提取主要指特征信息的数值化,向量化的过程,下面仅仅根据个人实践经验和理解简要总结常见应用场景下的特征提...

1. 问题分析 发布一个子系统到线上,根据测试流程中收集的质量数据 预测其可能的 线上问题数; 2. 模型设计 一般影响子系统质量的因素可能有哪些? 能获取到多少纬度的数据,取决于各厂的质量大数据平台的数据挖掘能力, 这里,由于本人无实际数据平台,举个样例,纬度不一定齐全 构造的训练数据: https://github.com/margaretmm/AI/blob/mas...

测试原理 比较适合做回归测试,基于baseline image比对的UI测试   测试工具数据流图 AI能力体现在哪里? Eyes Sever中提供图片screenshot比对功能, 使用了AI 算法, 只返回2个图片的差异点,包括图像尺寸和位置差异; 用户不用做 图像处理和模型训练,使用很方便 Eggplant AI 的AI智能也是用在图像识别上...

智能算法系统如何评估? 算法模型的评估: 主要衡量模型对未知新数据的预测能力,即泛化能,衡量泛化能力的指标(也叫模型的性能度量): 1.1   准确率(accuracy) :对于给定的数据集,正确分类的样本数占总样本数的比率。 1.2   精确率(precision)==查准率:对于给定的数据集,预测为正例的样本中真正例样本的比率。 1.3 召回率( rec...

1. 问题分析 基于房屋的各种纬度特征,预测房屋价格 2.原始数据扒取 从http://hz.ganji.com/fang5 网站上扒取 杭州市房屋特征数据: 'Address':div.find('span',class_=re.compile('area')).text.strip().replace(' ','').replace('\n',''), 'Rooms': div.find('d......

机器学习实践–blackFriday
未分类 / 2018年6月16日

项目说明:  根据用户购物行为发现一些特征相关性,并做一些分类预测或者聚类; 比如预测客户的年龄,预测用户购买物品的种类,比如基于用户的聚类等   数据源 来自零售商店的事物数据 User_ID: Unique identifier of shopper. Product_ID: Unique identifier of product. (No key given) Gender: S......

机器学习实践—心脏疾病预测
大数据 / 2018年6月6日

项目说明:  心脏疾病预测   数据源 https://www.kaggle.com/sarubhai56/heart-disease > 1. age  > 2. sex  > 3. chest pain type (4 values)  > 4. resting blood pressure  > 5. serum cholestoral in mg/d......

大数据知识体系(ZT)
大数据 / 2018年5月30日

大数据产品,从系统性和体系思路上来做,主要分为五步: 针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量数据,何谈大数据分析; 第二步,基于采集回来的多维度数据,采用ETL对其各类数据进行结构化处理及加载; 然后第三步,对于ETL处理后的标准化结构数据,建立数...

flink实践–状态管理&特征提取
未分类 / 2018年5月16日

项目说明:  通过实时检测室内光,温度,湿度,二氧化碳来判断是否有人,一个典型的二元分类问题   数据源 http://archive.ics.uci.edu/ml/machine-learning-databases/00357/ "date": 日期 "Temperature": 温度 "Humidity": 湿度 "Light": 光线 "CO2": 二氧化碳 "HumidityR......

吴恩达 深度学习练习
未分类 / 2018年5月16日

https://blog.csdn.net/u013733326/article/details/79827273 1. 神经网络和深度学习 – 第二周作业 – 具有神经网络思维的Logistic回归 目标: 搭建一个能够【识别猫】 的简单的神经网络 引入的库: numpy :是用Python进行科学计算的基本软件包。 h5py:是与H5文件中存储的数据集进行交互......

flink实践–taxi fare预测–均值填充空值
未分类 / 2018年5月13日

项目说明:  目标是根据行程的距离和时长,额外的乘客数、信用卡而不是现金支付等综合考虑预测纽约的出租车费,   数据源 字段名 含义 说明 vendor_id 供应商编号 特征值 rate_code 比率码 特征值 passenger_count 乘客人数 特征值 trip_time_in_secs 行程时长 特征值 trip_distance 行程距离 特征值 payment_type......

flink实践–家庭温度和湿度感知器数据处理&预测
大数据 / 2018年5月7日

项目说明:  IOT领域,家庭温度和湿度感知器传回的数据信息做分析,用于线性回归预测   数据源 http://archive.ics.uci.edu/ml/datasets/Appliances+energy+prediction date time year-month-day hour:minute:second Appliances, energy use in Wh light......

flink&spark stream 实践–在线LR模型训练与预测
未分类 , 笔记 / 2018年4月30日

项目目的: 和《flink实践–datastream-taxi到达目的地时间预测》章节一样,目的还是利用实时获取taxi行车轨迹数据,实时数据经过处理和提取特征过程,特征数据再实时被用于模型在线训练模型,用于实时预测taxi 到达目的地的时间, 只不不过实现方式稍微不同,由于flink的ML库不是很成熟, 新方案试着使用flink  实现特征提取 data...

flink实践–家用电器用电消耗分析&预测
笔记 / 2018年4月25日

项目目标: 对家用电器电量消耗数据做分析和多种模型的预测 a. 实时提取部分特征用于预测家用用电和季节的关系 b.提取部分特征用于聚类分析—根据用电量特征做聚类 c. 还可以使用Spark离线机器学习做复杂的预测   数据集(离线)分析: household_power_consumption数据维度信息: 1.date: 日期,格式为 dd/mm/yyyy 2.time: ......