您好、欢迎来到现金彩票网!
当前位置:2019跑狗图高清彩图 > 向量化率 >

网易课程DeepLearningai 吴恩达深度学习课程笔记:第三周④:神

发布时间:2019-07-01 06:04 来源:未知 编辑:admin

  在这个视频中,我会给你实现反向传播或者说梯度下降算法的方程组,在下一个视频我们会介绍为什么这几个特定的方程是针对你的神经网络实现梯度下降的正确方程。

  你的单隐层神经网络会有W[1],b[1],W[2],b[2]这些参数,还有个nx表示输入特征的个数,n[1]表示隐藏单元个数,n[2]表示输出单元个数。

  你还有一个神经网络的成本函数,假设你在做二分类任务,那么你的成本函数等于:

  训练参数需要做梯度下降,在训练神经网络的时候,随机初始化参数很重要,而不是初始化成全零。当你参数初始化成某些值后,每次梯度下降都会循环计算以下预测值:

  上述是反向传播的步骤,注:这些都是针对所有样本进行过向量化,Y是1×m的矩阵;这里np.sum是python的numpy命令,axis=1表示水平相加求和,keepdims是防止python输出那些古怪的秩数(n,),加上这个确保阵矩阵db[2]这个向量输出的维度为(n,1)这样标准的形式。

  目前为止,我们计算的都和Logistic回归十分相似,但当你开始计算反向传播时,你需要计算,是隐藏层函数的导数,输出在使用sigmoid函数进行二元分类。这里是进行逐个元素乘积,因为W[2]Tdz[2]和(z[1])这两个都为(n[1],m)矩阵;

  还有一种防止python输出奇怪的秩数,需要显式地调用reshape把np.sum输出结果写成矩阵形式。

  以上就是正向传播的4个方程和反向传播的6个方程,这里我是直接给出的,在下个视频中,我会讲如何导出反向传播的这6个式子的。如果你要实现这些算法,你必须正确执行正向和反向传播运算,你必须能计算所有需要的导数,用梯度下降来学习神经网络的参数;你也可以许多成功的深度学习从业者一样直接实现这个算法,不去了解其中的知识。

  当你训练神经网络时,权重随机初始化是很重要的。对于逻辑回归,把权重初始化为0当然也是可以的。但是对于一个神经网络,如果你把权重或者参数都初始化为0,那么梯度下降将不会起作用。

  让我们看看这是为什么。有两个输入特征,n[0]=2,2个隐藏层单元n[1]就等于2。 因此与一个隐藏层相关的矩阵,或者说W[1]是2*2的矩阵,假设把它初始化为0的2*2矩阵,b[1]也等于[0 0]T,把偏置项b初始化为0是合理的,但是把w初始化为0就有问题了。 那这个问题如果按照这样初始化的话,你总是会发现a1[1]和a2[1]相等,这个激活单元和这个激活单元就会一样。因为两个隐含单元计算同样的函数,当你做反向传播计算时,这会导致dz1[1]和 dz2[1]也会一样,对称这些隐含单元会初始化得一样,这样输出的权值也会一模一样,由此W[2]等于[0 0];

  图3.11.1 但是如果你这样初始化这个神经网络,那么这两个隐含单元就会完全一样,因此他们完全对称,也就意味着计算同样的函数,并且肯定的是最终经过每次训练的迭代,这两个隐含单元仍然是同一个函数,令人困惑。dW会是一个这样的矩阵,每一行有同样的值因此我们做权重更新把权重W[1]⟹W[1]-adW每次迭代后的W[1],第一行等于第二行。

  由此可以推导,如果你把权重都初始化为0,那么由于隐含单元开始计算同一个函数,所有的隐含单元就会对输出单元有同样的影响。一次迭代后同样的表达式结果仍然是相同的,即隐含单元仍是对称的。通过推导,两次、三次、无论多少次迭代,不管你训练网络多长时间,隐含单元仍然计算的是同样的函数。因此这种情况下超过1个隐含单元也没什么意义,因为他们计算同样的东西。当然更大的网络,比如你有3个特征,还有相当多的隐含单元。

  如果你要初始化成0,由于所有的隐含单元都是对称的,无论你运行梯度下降多久,他们一直计算同样的函数。这没有任何帮助,因为你想要两个不同的隐含单元计算不同的函数,这个问题的解决方法就是随机初始化参数。你应该这么做:把W[1]设为np.random.randn(2,2)(生成高斯分布),通常再乘上一个小的数,比如0.01,这样把它初始化为很小的随机数。然后b没有这个对称的问题(叫做symmetry breaking problem),所以可以把b初始化为0,因为只要随机初始化W你就有不同的隐含单元计算不同的东西,因此不会有symmetry breaking问题了。相似的,对于W[2]你可以随机初始化,b[2]可以初始化为0。

  你也许会疑惑,这个常数从哪里来,为什么是0.01,而不是100或者1000。我们通常倾向于初始化为很小的随机数。因为如果你用tanh或者sigmoid激活函数,或者说只在输出层有一个Sigmoid,如果(数值)波动太大,当你计算激活值时z[1]=W[1]x+b[1],a[1]=σ(z[1])=g[1](z[1])如果W很大,z就会很大。z的一些值a就会很大或者很小,因此这种情况下你很可能停在tanh/sigmoid函数的平坦的地方(见图3.8.2),这些地方梯度很小也就意味着梯度下降会很慢,因此学习也就很慢。

  回顾一下:如果w很大,那么你很可能最终停在(甚至在训练刚刚开始的时候)z很大的值,这会造成tanh/Sigmoid激活函数饱和在龟速的学习上,如果你没有sigmoid/tanh激活函数在你整个的神经网络里,就不成问题。但如果你做二分类并且你的输出单元是Sigmoid函数,那么你不会想让初始参数太大,因此这就是为什么乘上0.01或者其他一些小数是合理的尝试。对于w[2]一样,就是np.random.randn((1,2)),我猜会是乘以0.01。

  事实上有时有比0.01更好的常数,当你训练一个只有一层隐藏层的网络时(这是相对浅的神经网络,没有太多的隐藏层),设为0.01可能也可以。但当你训练一个非常非常深的神经网络,你可能会选择一个不同于的常数而不是0.01。下一节课我们会讨论怎么并且何时去选择一个不同于0.01的常数,但是无论如何它通常都会是个相对小的数。

  好了,这就是这周的视频。你现在已经知道如何建立一个一层的神经网络了,初始化参数,用前向传播预测,还有计算导数,结合反向传播用在梯度下降中。

  神经网络和深度学习---------神经网络基础博文来自:大树先生的博客

  吴恩达深度学习专项课程Deeplearning.ai共开设五门课,目前已经学了大半,想起来忘了整理课程笔记,这几天抽空补上。1.基础概念神经网络:输入一些数据,经过隐藏层,最终得到输出,圆形节点为神经...博文来自:深度学习——从入门到放弃

  改善深层神经网络:超参数调试、正则化以及优化---超参数调试和BatchNorm博文来自:大树先生的博客

  个人网站:红色石头的机器学习之路CSDN博客:红色石头的专栏知乎:红色石头微博:RedstoneWill的微博GitHub:RedstoneWill的GitHub微信公众号:AI有道(ID:redst...博文来自:红色石头的专栏

  打卡(1)3.1神经网络概览*可以很多个sigmoid单元堆叠起来构成一个神经网络。*图中[1]、[2]表示层((1),(2)表示单个样本);*图中圆圈是sigmoid函数,由两步算的,第一步算z。第...博文来自:xavierri的博客

  序列模型与注意力机制3.1基础模型1.seq2seq模型在法译英句子中,输入的法语有5个元素,输出有6个元素。首先我们需要构建一个编码网络,这是一个典型的RNN的结构(可以是GRU或LSTM)每次只向...博文来自:u013093426的博客

  从接触机器学习就了解到AndrewNg的机器学习课程,后来发现又出来深度学习课程,就开始在网易云课堂上学习deeplearning.ai的课程,Andrew的课真是的把深入浅出。当然学习这些课程还是要...博文来自:努力奋斗的小墨鱼专栏

  第一周的课后作业为10道选择题注:答案从第一个往后类推为ABCD……答案有自己的理解,也有从网上博客的参考,仅用来学习。1、第一题自己理解答案:D。参考答案:A。“AI是新的电力”,这是吴恩达老师在今...博文来自:JackGao的博客

  改善深层神经网络:超参数调试、正则化以及优化----深度学习的实践方面博文来自:大树先生的博客

  01.神经网络和深度学习第三周  浅层神经网络上一周的课程讲解了单神经元的正向及反向传播推导公式及向量化。一个神经元内部的操作分为两步:第一步是输入特征的线性组合,第二步是将z通过激活函数进行非线性变...博文来自:u011135410的专栏

  吴恩达CourseraDeepLearning.ai《深度学习》系列课程笔记目录总集博文来自:大树先生的博客

  网易云课堂上吴恩达教授开的深度学习微专业中第二门课改善深层神经网络的课后作业、参考答案和笔记

  本文档是针对吴恩达老师深度学习课程(deeplearning.ai)视频做的笔记

  吴恩达老师 深度学习课程 第一课 神经网络和深度学习 第3周 浅层神经网络 编程作业 (有道翻译,有歧义的地方请参考原文)

  吴恩达deeplearning.ai深度学习课程的空白作业,包括深度学习微专业五门课程的全部空白编程作业(好吧,第3课并没有编程作业[滑稽]),经多方整理而来。网上找来的作业好多都是已经被别人写过的,不便于自己练习,而且很多都缺失各种数据...

  自动驾驶-汽车检测第三周的作业将使用YOLO模型识别和定位车辆,主要实现参考了两篇论文:Redmonetal.,2016(博文来自:浩宇天罡

  3.1目标定位图片检测问题分类问题:判断图中是否为汽车;目标定位:判断是否为汽车,并确定具体位置(框起来);目标检测:检测不同物体并定位。图片定位的神经网络结构假设我们要定位图片中:行人,汽车,摩托以...博文来自:浩宇天罡

  结构化机器学习项目——机器学习策略(2)一、误差分析1.性能上限:优化模型中的某个性能所减少的最大的误差。2.并行评估。对比多种导致误差的原因,通过分析错误标记的例子,统计假阳性(Falseposit...博文来自:u013093426的博客

  选择题:编程题下载链接所有题目不提供答案,有不确定的,可以讨论。博文来自:苦作舟的人呐

  吴恩达深度学习课程笔记,有助于绕开视频,快速入门深度学习。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

  网易云课堂上吴恩达教授开的深度学习微专业中第一门课神经网络和深度学习的课后作业、参考答案和笔记

  概述在完成吴恩达第一课第三周,即1hiddenlayer的neuralnetwork学习后,了解了两层神经网络的结构,然后参考网上的资料,完成该周作业,现将心得体会记录如下。核心代码调用库如下所示;i...博文来自:weixin_42604446的博客

  2.1词汇表征前面内容中,我们直接使用英文单词来表征词汇,但是对于计算机来说,是无法直接认识单词的。为了让计算机能够能更好地理解我们的语言,建立更好的语言模型。这就需要将词汇进行表征。下面是几种不同的...博文来自:浩宇天罡

  Week3目录Week33-1神经网络概述3-2神经网络的表示3-3计算神经网络的输出3-4多个栗例子中的向量化3.5向量化实现的解释3-6、3-7、3-8激活函数3-11随机初始化权重3-1神经网络...博文来自:Jmuyjl

  【吴恩达课后编程作业】Course1-神经网络和深度学习-第三周作业-带有一个隐藏层的平面数据分类上一篇:【课程1-第三周测验】※※※※※【回到目录】※※※※※下一篇:【课程1-第四周测验】声明  首...博文来自:何宽的博客

  我的CSDN博客地址:红色石头的专栏我的知乎主页:红色石头我的微博:RedstoneWill的微博我的GitHub:RedstoneWill的GitHub我的微信公众号:红色石头的机器学习之路(ID:...博文来自:红色石头的专栏

  我的CSDN博客地址:红色石头的专栏我的知乎主页:红色石头我的微博:RedstoneWill的微博我的GitHub:RedstoneWill的GitHub我的微信公众号:红色石头的机器学习之路(ID:...博文来自:红色石头的专栏

  上节课我们主要对深度学习(DeepLearning)的概念做了简要的概述。我们先从房价预测的例子出发,建立了标准的神经网络(NeuralNetwork)模型结构。然后从监督式学习入手,介绍了Stand...博文来自:红色石头的专栏

  选择题:编程作业链接题目不提供答案,若不确定答案,可以讨论。博文来自:苦作舟的人呐

  我的个人网站:红色石头的机器学习之路我的知乎主页:红色石头我的微博:RedstoneWill的微博我的GitHub:RedstoneWill的GitHub我的微信公众号:红色石头的机器学习之路(ID:...博文来自:红色石头的专栏

  Miss思的踩坑历程深度学习吴恩达第一课第三周课后编程作业——踩坑经历本次作业Bug给自己挖的坑(一个起因很二表现很诡异的bug)心得与体会深度学习吴恩达第一课第三周课后编程作业——踩坑经历学吴恩达的...博文来自:weixin_43978140的博客

  这份思维导图是在学习吴恩达深度学习课程时,做的思维导图主要用于我自己的复习与总结,如果想要原件可以联系我。...博文来自:zsWang9的博客

  01.神经网络和深度学习第二周 神经网络基础先说明最简单的二分类,即可以把结果分为0和1两类,或者说是否两种的分类情况。比如说判定图片中是否有猫,标记为有(1)或者无(0)。特征则是图片中像素点RGB...博文来自:u011135410的专栏

  Part1:机器翻译欢迎来到本周第一个作业。你将建立一个将人类可读日期(“2009年6月25日”)转换为机器可读日期(“2009-06-25”)的神经机器翻译(NMT)模型。你将使用注意力机制来执行此...博文来自:浩宇天罡

  不久前,Coursera上放出了吴恩达deeplearning.ai的第四门课程《卷积神经网络》。本文是加拿大国家银行首席分析师RyanShrott在完成该课程后所写的学习心得,有助于大家直观地了解、...博文来自:机器之心

  我的CSDN博客地址:红色石头的专栏我的知乎主页:红色石头我的微博:RedstoneWill的微博我的GitHub:RedstoneWill的GitHub我的微信公众号:红色石头的机器学习之路(ID:...博文来自:红色石头的专栏

  卷积神经网络——目标检测3.1目标定位1.分类与定位分类问题可以有助于定位问题的解决,当识别完图片类型之后我们可以让神经网络的输出增加几个单元,从而输出一个边界框(boundingbox),具体而言就...博文来自:u013093426的博客

  时不时给自己充电,记笔记巩固记忆。我以前也接触过机器学习,往简单说就是以前统计理论的曲线拟合的概念包装,数据一多就变成机器学习或者叫做人工智能,也就是用数据做分析,得出分类或者回归的结果。以前是用SV...博文来自:u011135410的专栏

  【中英】【吴恩达课后测验】Course1-神经网络和深度学习-第三周测验上一篇:【课程1-第二周编程作业】※※※※※【回到目录】※※※※※下一篇:【课程1-第三周编程作业】第3周测验-浅层神经网络以下...博文来自:何宽的博客

  一.卷积神经网络1.计算机视觉图片分类、图片识别:给出64*64图片计算机判断是否是一只猫目标检测:检测出图片中有哪些物体以及他们的位置风格迁移:图片融合图片1的轮廓和图片2的风格eg:1000*10...博文来自:好好的学习空间

  使用的是全志H3的芯片,运行Debian Desktop系统的ARM版本Armbian,要控制外部几个IO口,可以使用很多种方法,如果对GPIO的操作速度有要求就需要使用直接操作内存寄存器的方式来控制...博文来自:欢迎光临

  1.当我们发现无法联网时,我们运行下面命令或者ping命令rnip  addrrnrn结果没有显示局域网的IP地址rn2.我们去修改网卡配置文件,把网络连接打开rncd /rncd  /etc/sys...博文来自:sfeng95的博客

  还记得去年在北京安博会上,看到一些厂家的展示台上,各种船舶、公路、车辆的高清视频直播,好奇这些数据是怎么接到现场的,现场成百上千家展台,不可能有那么大的带宽供应,细想数据肯定不是实时的,果然,盯着看了...博文来自:Babosa的专栏

  jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn...博文来自:Websites

  上一篇博客介绍了如何解决Fragment重叠的问题,有需要的同学可以看一下,底部有demo下载。 n直通车:完美解决Fragment重叠本篇博客我们来说一下怎么让fragment重新加载布局资源文件。...博文来自:喻志强的博客

  授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。

  网易课程DeepLearning.ai 吴恩达深度学习课程笔记:第五周①:训练,验证,测试集、偏差,方差

  网易课程DeepLearning.ai 吴恩达深度学习课程笔记:第三周③:激活函数、激活函数的导数

  网易课程DeepLearning.ai 吴恩达深度学习课程笔记:第三周②:多样本向量化、向量化实现的解释

  网易课程DeepLearning.ai 吴恩达深度学习课程笔记:第四周③:搭建神经网络块、参数和超参数

  网易课程DeepLearning.ai 吴恩达深度学习课程笔记:第四周②:核对矩阵的维数、为什么使用深层表示?

  网易课程DeepLearning.ai 吴恩达深度学习课程笔记:第三周④:神经网络的梯度下降、随机初始化

http://chinoamobi.com/xianglianghualv/217.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有