新年第一篇, 先做个机器学习实践总结—几种常见场景下的特征提取方法: 机器学习中最重要的一环就是特征工程,特征工程的好坏直接影响模型的效果,如果做得不好大概率会出现“garbage in,garbage out ”的情况; 特征的提取主要指特征信息的数值化,向量化的过程,下面仅仅根据个人实践经验和理解简要总结常见应用场景下的特征提...

1. 问题分析 发布一个子系统到线上,根据测试流程中收集的质量数据 预测其可能的 线上问题数; 2. 模型设计 一般影响子系统质量的因素可能有哪些? 能获取到多少纬度的数据,取决于各厂的质量大数据平台的数据挖掘能力, 这里,由于本人无实际数据平台,举个样例,纬度不一定齐全 构造的训练数据: https://github.com/margaretmm/AI/blob/mas...

测试原理 比较适合做回归测试,基于baseline image比对的UI测试   测试工具数据流图 AI能力体现在哪里? Eyes Sever中提供图片screenshot比对功能, 使用了AI 算法, 只返回2个图片的差异点,包括图像尺寸和位置差异; 用户不用做 图像处理和模型训练,使用很方便 Eggplant AI 的AI智能也是用在图像识别上...

智能算法系统如何评估? 算法模型的评估: 主要衡量模型对未知新数据的预测能力,即泛化能,衡量泛化能力的指标(也叫模型的性能度量): 1.1   准确率(accuracy) :对于给定的数据集,正确分类的样本数占总样本数的比率。 1.2   精确率(precision)==查准率:对于给定的数据集,预测为正例的样本中真正例样本的比率。 1.3 召回率( rec...

1. 问题分析 基于房屋的各种纬度特征,预测房屋价格 2.原始数据扒取 从http://hz.ganji.com/fang5 网站上扒取 杭州市房屋特征数据: 'Address':div.find('span',class_=re.compile('area')).text.strip().replace(' ','').replace('\n',''), 'Rooms': div.find('d......

spark 简单实践1
大数据 , 笔记 / 2018年11月29日

Spark核心概念之间的关系: Spark Driver用于提交用户应用程序,实际可以看作Spark的客户端; Spark Driver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是所有Spark应用程序的发动机引擎; SparkContext初始化完毕,才能向Spark集群提交任务执行。   Spark context 处理原理如下图: &nb......

使用zookeeper实现分布式锁
笔记 / 2018年11月28日

最近定位一个问题, 发现读取的ZK中存储的数据 不符合预期, 后来发现该Znode节点有2个 服务会有写入操作,  所以造成了数据重入; 因此需要一个分布式环境下的同步机制, 方案有很多, 最终选择使用Zookeeper实现 分布式锁的功能 ; 原理是利用ZK的顺序节点+watcher机制实现: 在zookeeper指定节点下创建临时顺序节点node_lock_rsX 作为 对资源X访问...

Elasticsearch日志监控–自定义flume-elasticsearch-sink
大数据 , 性能 / 2018年11月27日

为了方便监控 ES 的慢查询日志, 采用方案:flume+elasticsearch+kibana方式, 但是我们ES版本是6.*, 而Flume官方版本只兼容ES1.7… 所以需要自定义flume 对接ES的 Sink代码   Flume 原理&架构 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集......

Java多线程–阻塞队列
笔记 / 2018年11月20日

如何实现一个有并发多任务访问的阻塞队列? 使用synchronized ,object.wait(),object.notifyall() 1、当调用put()方法时,如果此时容器的长度等于限定的最大长度,那么该方法需要阻塞直到队列可以有空间容纳下添加的元素 2、当调用take()方法时,如果此时容器的长度等于最小长度0,那么该方法需要阻塞直到队列中有了元素能够取出 3、put() 和 t...

java多线程–runable & thread
笔记 / 2018年11月19日

Java多线程定义方式可以通过继承Thead实现, 也可以通过实现Runable接口实现,它们之间关系如下图:   Thead类实际上是Run able类的实现类,所以最后不管是使用哪种方式,最终都是通过Thread类从OS申请资源分配启动线程; 下面的3段代码中,前2个效果等价: class MyThread extends Thread { private int i = 0; @O......

ActiveMQ 理解1–原理与网络IO模式
微服务 , 性能 / 2018年11月11日

MQ 是很常见的分布式中间件,被测系统和测试工具中也经常用到它们,使用它们的时候要遇到很多概念: JMS,AMQP , Producer,consumer等等,它们之间是神马关系? MQ的实现原理又是什么? 性能指标有哪些?可以通过哪些配置参数提升传输性能? MQ基础–协议 常见的MQ有 activemq, rabbitmq, rocketmq, kafka等,常用消息队列协议的基本原......

常见网络IO模型原理 & JAVA NIO模型
性能 , 笔记 / 2018年11月7日

网络IO传输模式和编解码方案对系统的性能影响至关重要, 作为HTTP Server, 为什么Nginx 的网络IO性能很高, 而Tomcat 之类的Web Server 网络IO 性能相对较低 ? 系统选择的网络IO模型不同, Nginx使用的poll/epoll属于 多路复用型网络模型; Tomcat 6 之前的版本都是用的阻塞式IO模型 (6版本之后支持 NIO模式了,网络IO有所提升) , ......

简易智能识别服务4–使用MQ+线程池实现异步消息监听
笔记 / 2018年11月1日

使用activeMQ做消息异步传输,  消息从Agent端(Python)发送, springboot 端接受异步消息 需求:   需要支持创建多个Consumer  同时消费 多个Queue的场景. 本来考虑直接把consumer做成单例模式, 但对上面需求支持会比较困难;   有效的资源利用: 不能太频繁的做线程创建和 销毁操作,影响系统性能 使用全局线程池就比 局部线程池 更节约资源 ...

简易智能识别服务3.2—springboot 集成zookeeper(curator)实现注册发现
微服务 / 2018年10月28日

智能识别服务涉及调用zookeeper做分布式消息同步,使用curator 包(对zookeeper的简单封装)提供了一些集成的方法,  比zookeeper原生的Client好用很多,提供了很多功能包括: 自动化的连接管理: 重新建立到ZooKeeper的连接和重试机制存在一些潜在的错误case。 Curator帮助你处理这些事情,对你来说是透明的。 清理API: 简化了原生的ZooKeeper......

简易智能识别服务3.1–使用zookeeper 实现简单的分布式信息同步
笔记 / 2018年10月22日

zk 分布式同步功能,可以由3个角色组成:  zk config manager(消息生产) ,   zk config server(消息生产2),   zk config client(消息消费) zk config manager:  任务部署在web server端,主要功能: 负责创建管理所有的“serverType” ,即一级节点,用于区分不同的配置内容,   可由 管理员通过前台界面......