自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 主成分分析(PCA)简要介绍

主成分分析(PCA)简要介绍

2017-12-31 11:04:36 679 0

原创 奇异值分解(SVD)原理

奇异值分解(SVD)原理

2017-12-30 21:09:06 881 1

原创 矩阵的迹及相关性质

矩阵的迹及相关性质

2017-12-30 16:12:19 27418 2

转载 K-means原理及应用

K-means原理及应用

2017-12-28 20:59:44 275 0

原创 聚类算法的几个注意点

聚类算法的几个注意点

2017-12-28 11:22:08 767 0

转载 scikit-learn 支持向量机算法库使用小结

scikit-learn 支持向量机算法库使用小结

2017-12-27 17:41:02 245 0

原创 关于Logistic Regression 与 SVM的选择

关于Logistic Regression 与 SVM的选择

2017-12-26 09:43:22 705 0

原创 非线性支持向量机与核函数

非线性支持向量机与核函数

2017-12-25 17:35:53 655 0

原创 拉格朗日对偶性

拉格朗日对偶性

2017-12-25 11:13:01 970 0

原创 支持向量机基本原理的直观理解

支持向量机基本原理的直观理解

2017-12-24 12:28:58 285 0

原创 Linear Regression 与 Logistic Regression的几点不同

Linear Regression 与 Logistic Regression的几点不同

2017-12-22 16:10:25 4102 1

原创 Normal Equation 简介

Normal Equation 简介

2017-12-21 18:58:28 1153 0

原创 为什么梯度下降是有效的?

       在机器学习的很多模型中都用到了梯度下降法或者基于梯度下降的改进算法,那么究竟梯度下降法是如何保证算法的正确性或者说它是有效的呢?接下来,本文将简单分析这个问题。1. 直观认识        以线性回归为例,这里定义了代价函数如下:        我们训练模型的目的就是求得一组解θ0,...

2017-12-20 12:08:07 2517 0

原创 结构化机器学习项目小结

        花了一天时间把吴大佬的专题三《结构化机器学习项目》这块内容看完了,大概是没有什么项目经验,所以理解的不是特别透彻,现简单总结一下,等以后有经验了再来学习应该会恍然大悟、受益颇多吧!1. 正交化:通过设置独立的参数来进行训练比较,可以有效地找到最佳的模型。2  单一数字评估指标:通常...

2017-12-19 18:07:08 430 0

原创 神经网络为什么要归一化?

       关于神经网络归一化问题,在神经网络为什么要归一化和深度学习(二十九)Batch Normalization 学习笔记这两篇文章已经介绍的非常清楚了。       在这里,我简单说下自己的直观理解:由于数据的分布不同,必然会导致每一维的梯度下降不同,使用同一个learning ...

2017-12-15 17:23:13 7190 0

原创 Tensorflow基本语法和实现神经网络

1. 基本语法        一般我们在用tensorflow编程时,会分为以下几个步骤:创建Tensors(变量)编写Tensors间的操作符初始化Tensors创建一个Session运行Session       示例如下:y_hat = tf.constant(36, name='...

2017-12-15 17:10:50 7268 3

原创 安装Anaconda及tensorflow

安装Anaconda及tensorflow

2017-12-14 22:51:51 345 0

原创 神经网络优化算法之不一样的梯度下降

       在上一篇文章中,我们介绍了正则化的作用以及方法,有效的应对“过拟合”问题。今天我们又将提出另一优化算法——Mini-batch。1. 什么是Mini-batch       前面我们提到,为了加快训练速度我们常采用向量化的手段来一次性训练所有的训练集,但是当训练集非常大时,这一过程是...

2017-12-13 18:01:57 669 0

原创 深层神经网络的正则化问题

1. 什么是正则化       我们知道,在使用神经网络进行分类时,有时会出现“训练集的分类效果很好而测试集的分类效果却不理想”这种现象。这种现象称之为“过拟合”,“正则化”的提出就是为了解决这个问题。那么究竟什么才是“正则化”呢?首先让我们来看下面两个公式:        (1)式是我们之前定义...

2017-12-12 17:53:56 357 0

原创 深层神经网络的权值初始化问题

        在上篇文章深层神经网络的搭建中,我们提到关于超参数权值的初始化至关重要。今天我们就来谈谈其重要性以及如何选择恰当的数值来初始化这一参数。1. 权值初始化的意义     一个好的权值初始值,有以下优点:加快梯度下降的收敛速度增加梯度下降到最小训练误差的几率2. 编写代码      为...

2017-12-12 15:41:56 2069 1

原创 深层神经网络的搭建

        在两层神经网络的设计与实现中,介绍了两层神经网络的工作原理。对于搭建多层神经网络,该方法依然适用。因此,本文不再推导公式,而是直接给出代码实现。1. 定义激活函数# 定义激活函数 def sigmoid(Z): A = 1 / (1 + np.exp(-Z)) as...

2017-12-09 23:36:32 344 0

原创 两层神经网络的设计与实现

       这几天看到了浅层网络(仅含有一层隐藏层单元的神经网络)的设计原理及思想,为了加深理解及记忆,下面做个总结。       为了简化原理思想,假设现有隐藏层只有四个隐藏单元的两层神经网络,如下图所示:               和单个神经元工作原理类似,包括前向传播和后向传播两个过程。...

2017-12-08 15:12:26 7685 0

原创 基于神经网络的二分类问题

       在之前的文章中,介绍了神经网络的概念和算法思想,甚至给出了公式推导。但依然没有掌握神经网络的精髓,于是打算进一步学习就在网上观看了吴恩达大佬的《神经网络和深度学习》这门课程,觉得收获很大。目前只学习了单个神经元的原理及应用,下面简单总结一下。1. 损失函数的定义       与之前介...

2017-12-06 21:46:44 13373 0

提示
确定要删除当前文章?
取消 删除