三多之路

相关资料：书籍地址 maxnet官网 Chapter2：预备知识获取和运行本书的代码环境配置按照官网教程即可实现，可能会遇到一个问题，我的cuda是10.0版本，在修改environment文件时要写成mxnet100，这样就可以运行了。 另外我是在GPU服务器上运行，为了可以在自己的浏览器打开jupyternotebook，需要设置一下，具体设置自行百度，唯一需要注意的是，修改文件后一定要把修改配置前的“#”删去，否则是无效的。 Chapter3：深度学习基础线性回归当模型和损失函数形式较为简单时，其误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。 大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution） 对于求解数值解，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用，其做法就是选定一个初始点w0，然后w0沿着梯度下降到方向移动一定的距离，知道找到最小点。 线性回归模 ...

相关资料李宏毅老师：个人主页在这里有上课的课件、课后题目数据集及源码 课程视频（B站）：B站 课程笔记：GitHub1、GitHub2 作业说明及范例：GitHub 动手学深度学习：这本书也不错，理论与实践结合紧密 深度学习路线图 Neural Networks and Deep Learning CNN十大经典论文 TensorFlow：http://c.biancheng.net/view/1911.html 这个也可以参考一下：https://blog.csdn.net/iteapoy/article/details/105382315 Learning Map HomeWork 序号 任务 完成情况 完成时间 1 Linear Regression ✔Regression 2020/10/19 2 Classification ✔Classification 2020/10/21 3 CNN 待完成 P4 Basic ConceptBias and Variance如何区分理解？ 偏差(Bias)和方差(Variance)——机器学习中的模型选择 ...

填充材料 填充包括四种，分别是图片、棋盘、网格、条纹 图片：直接从源文件中加载； 棋盘、条纹：设置奇偶颜色分别是什么以及实体范围内有多少个棋盘或条纹，其中棋盘是一个二维数组，条纹是条纹的个数； 网格：直接设置网格的数量（二维）以及网格边框颜色及网格颜色； 1234567891011var viewer = new Cesium.Viewer('cesiumContainer');var entity = viewer.entities.add({ position : Cesium.Cartesian3.fromDegrees(-103.0, 40.0), ellipse : { semiMinorAxis : 250000.0, semiMajorAxis : 400000.0, material : Cesium.Color.BLUE.withAlpha(0.5) }}); 1var ellipse = entity.ellipse; 12//填充图片ellip ...

Cesium中的实体Entity包括Boxes、 123456//这两行函数针对每一个代码块的代码都需要加上才能运行成功；分别放置在首尾位置var viewer = new Cesium.Viewer('cesiumContainer');//viewer.entities可以替换为每个entity的名字，例如blueBox、redBoxviewer.zoomTo(viewer.entities); Boxes蓝色的立方体12345678910//添加一个蓝色的立方体var blueBox = viewer.entities.add({ name: "Blue box", position: Cesium.Cartesian3.fromDegrees(-114.0, 35.0, 300000.0), box: { dimensions: new Cesium.Cartesian3(400000.0, 300000.0, 500000.0) ...

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. “Deep learning.” Nature 521.7553 (2015): 436-444. [pdf] (Three Giants’ Survey) 深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示。这些方法极大地提高了语音识别、视觉对象识别、对象检测和许多其他领域(如药物发现和基因组学)的技术水平。深度学习通过使用反向传播算法指示机器应该如何改变其内部参数来发现大型数据集中复杂的结构，该内部参数用于从前一层的表示计算每一层的表示。深度卷积网络在处理图像、视频、语音和音频方面带来了突破，而循环网络则照亮了文本和语音等连续数据。 The difference between Machie learning and Deep Learning传统的机器学习技术在处理原始形式的自然数据方面能力有限。几十年来，构建模式识别或机器学习系统需要仔细的工程设计和大量的领域专业知识来设计特征提取器； 表示学习是一套方法，它允许机器获得原始数据，并自动发现检测或分类所需的表 ...

语言模型数据集读取数据集12345678from mxnet import ndimport randomimport zipfilewith zipfile.ZipFile('../data/jaychou_lyrics.txt.zip') as zin: with zin.open('jaychou_lyrics.txt') as f: corpus_chars = f.read().decode('utf-8')corpus_chars[:40] '想要有直升机\n想要和你飞到宇宙去\n想要和你融化在一起\n融化在宇宙里\n我每天每天每' 123corpus_chars = corpus_chars.replace('\n', ' ').replace('\t', ' ')corpus_chars = corpus_chars[0:10000]corpus_chars[0:49] ' ...

NiNe同AlexNet和VGG网络的区别 1x1卷积层卷积窗口形状为1×1（kh=kw=1）的多通道卷积层。我们通常称之为1×1卷积层，并将其中的卷积运算称为1×1卷积。因为使用了最小窗口，1×1卷积失去了卷积层可以识别高和宽维度上相邻元素构成的模式的功能，其主要计算发生在通道维上。下图展示了使用输入通道数为3、输出通道数为2的1×1卷积核的互相关计算。值得注意的是，输入和输出具有相同的高和宽。输出中的每个元素来自输入中在高和宽上相同位置的元素在不同通道之间的按权重累加。假设我们将通道维当作特征维，将高和宽维度上的元素当成数据样本那么1×1卷积层的作用与全连接层等价。 网络结构 传统的convolution层 传统的卷积层，通过卷积核得到 单通道mlpconv层 跨通道的mlpconv

VGG原理 VGG有两种结构，分别是VGG16（上图D列）和VGG19（上图E列)，两者并没有本质上的区别，只是网络深度不一样。 VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）。 两个3x3的卷积层串联相当于1个5x5的卷积层，即一个像素会跟周围5x5的像素产生关联，可以说感受野大小为5x5。而3个3x3的卷积层串联的效果则相当于1个7x7的卷积层; 参数： https://zhuanlan.zhihu.com/p/41423739

2012年，AlexNet横空出世。这个模型的名字来源于论文第一作者的姓名Alex Krizhevsky [1]。AlexNet使用了8层卷积神经网络，并以很大的优势赢得了ImageNet 2012图像识别挑战赛。 第一，与相对较小的LeNet相比，AlexNet包含8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 AlexNet第一层中的卷积窗口形状是11×11，strides=4。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大10倍以上，ImageNet图像的物体占用更多的像素，所以需要更大的卷积窗口来捕获物体。 第二层中的卷积窗口形状减小到5×5；第三、四、五层的卷积窗口大小为3x3. 第一、第二和第五个卷积层之后都使用了窗口形状为3×3、步幅为2的最大池化层；而第三、四个卷积层之后没有池化层。 第二，AlexNet将sigmoid激活函数改成了更加简单的ReLU激活函数。 一方面，ReLU激活函数的计算更简单，例如它并没有sigmoid激活函数中的求幂运算。 另一方面，ReLU激活函数在不同的参数初始化方法下使模型更容易训练。 ...