汽车开发者社区

【本文正在参加优质创作者激励计划】前言在全连接层构成的多层感知机网络中，我们要通过将图像数据展平成一维向量来送入模型，但这会忽略了每个图像的空间结构信息。理想的策略应该是要利用相近像素之间的相互关联性，将图像数据二维矩阵送给模型中学习。卷积神经网络(convolutionalneuralnetwork，CNN)正是一类强大的、专为处理图像数据（多维矩阵）而设计的神经网络，CNN的设计是深度学习中的一个里程碑式的技术。在Transform...

【本文正在参加优质创作者激励计划】本文给出了ChatGPT的详细注册及使用教程，称得上是非常详细的丰富图文教程。一，何为ChatGPTChatGPT是一个基于GPT3模型的对话系统，它主要用于处理自然语言对话。通过训练模型来模拟人类的语言行为，ChatGPT可以通过文本交流与用户互动。它可以用于各种场景，包括聊天机器人、智能客服系统等。基于GPT3模型的对话系统通常会有很好的语言生成能力，并能够模拟人类的语言行为。ChatGPT虽然才发...

【本文正在参加优质创作者激励计划】本文大部分内容参考《深度学习》第五章机器学习基础，但从中抽取重要的知识点，并对部分概念和原理加以自己的总结，适合当作原书的补充资料阅读，也可当作快速阅览机器学习原理基础知识的参考资料。前言深度学习是机器学习的一个特定分支。我们要想充分理解深度学习，必须对机器学习的基本原理有深刻的理解。大部分机器学习算法都有超参数（必须在学习算法外手动设定）。机器学习本质上属于...

【本文正在参加优质创作者激励计划】梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法）。因此，有必要从头理解梯度的来源和意义。本文从导数开始讲起，讲述了导数、偏导数、方向导数和梯度的定义、意义和数学公式，有助于初学者后续更深入理解随机梯度下降算法的公式。大部分内容来自维基百科和博客文章内容的总结，并加以个人理解。导数导数（英语：derivative）是微积分学中的一个概念。...

【本文正在参加优质创作者激励计划】本文内容参考资料为《智能之门神经网络与深度学习入门》和《解析卷积神经网络》两本书，以及部分网络资料，加以个人理解和内容提炼总结得到，文中所有直方图的图片来源于参考资料3。一，参数初始化概述我们知道神经网络模型一般是依靠随机梯度下降优化算法进行神经网络参数更新的，而神经网络参数学习是非凸问题，利用梯度下降算法优化参数时，网络权重参数的初始值选取十分关键。首先得明确...

【本文正在参加优质创作者激励计划】一，数学基础1.1，概率密度函数随机变量（randomvariable）是可以随机地取不同值的变量。随机变量可以是离散的或者连续的。简单起见，本文用大写字母$X$表示随机变量，小写字母$x$表示随机变量能够取到的值。例如，$x1$和$x2$都是随机变量$X$可能的取值。随机变量必须伴随着一个概率分布来指定每个状态的可能性。概率分布（probabilitydistribution）用来描述随机变量或一簇随机变量在每一个...

【本文正在参加优质创作者激励计划】本文分析了激活函数对于神经网络的必要性，同时讲解了几种常见的激活函数的原理，并给出相关公式、代码和示例图。一，激活函数概述1.1，前言人工神经元(ArtificialNeuron)，简称神经元(Neuron)，是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。生物神经元与人工神经元的对比图如下所示。从机器学习的角度来看，神经网络其实就是一个非线性模型...

【本文正在参加优质创作者激励计划】一，前向传播与反向传播1.1，神经网络训练过程神经网络训练过程是：1.先通过随机参数“猜“一个结果（模型前向传播过程），这里称为预测结果$a$；2.然后计算$a$与样本标签值$y$的差距（即损失函数的计算过程）；3.随后通过反向传播算法更新神经元参数，使用新的参数再试一次，这一次就不是“猜”了，而是有依据地向正确的方向靠近，毕竟参数的调整是有策略的（基于梯度下降策略）。以上步骤...

【本文正在参加优质创作者激励计划】前言所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，如果说网络参数初始化（模型迭代的初始点）能够决定模型是否收敛，那优化算法的性能则直接影响模型的训练效率。了解不同优化算法的原理及其超参数的作用将使我们更有效的调整优化器的超参数，从而提高模型的性能。本文的优化算法特指:寻找神经网络上的一组参数$\theta$，...

【本文正在参加优质创作者激励计划】本文总结分类和回归任务的常用损失函数，比如重点解析了交叉熵损失函数的由来，并给出详细计算公式和、案例分析、代码，同时也描述了MAE和MSE损失函数，给出了详细的计算公式、曲线图及优缺点。一，损失函数概述大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变$x$以最小化或最大化某个函数$f(x)$的任务，我们通常以最小化$f(x)$指代大多数最优化问题。在机器学习中，损失函数...

摘要ResNet的工作表面，只要建立前面层和后面层之间的“短路连接”（shortcut），就能有助于训练过程中梯度的反向传播，从而能训练出更“深”的CNN网络。DenseNet网络的基本思路和ResNet一致，但是它建立的是前面所有层与后面层的密集连接（denseconnection）。传统的$L$层卷积网络有$L$个连接——每一层与它的前一层和后一层相连—，而DenseNet网络有$L(L+1)2$个连接。在DenseNet中，让网络中的每一层都直接与其前面层相连，实...

前言本文的主要贡献在于通过理论分析和大量实验证明使用恒等映射（identitymapping）作为快捷连接（skipconnection）对于残差块的重要性。同时，将BNReLu这些activation操作挪到了Conv（真正的weightsfilter操作）之前，提出“预激活“操作，并通过与”后激活“操作做对比实验，表明对于多层网络，使用了预激活残差单元（Preactivationresidualunit）的resnetv2都取得了比resnetv1（或resnetv1.5）更好的结果。摘要近期已经涌现...

摘要残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。有[论文](https:link.zhihu.comtargethttps%3Aarxiv.orgabs1702.08591)指出，神经网络越来越深的时候，反传回来的梯度之间的相关性会越来越差，最后接近白噪声。即更深的卷积网络会产生梯度消失问题导致网络无法有效训练。而ResNet通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。目前ResNet被当作目标检测、语义分割等视觉算法...

torch.Tensortorch.Tensor是一种包含单一数据类型元素的多维矩阵，类似于numpy的array。可以使用使用torch.tensor()方法将python的list或序列数据转换成Tensor数据，生成的是dtype默认是torch.FloatTensor。注意torch.tensor()总是拷贝data。如果你有一个tensordata并且仅仅想改变它的requiresgrad属性，可用requiresgrad()或者detach()来避免拷贝。如果你有一个numpy数组并且想避免拷贝，请使用torch.astensor()。1，指定数据...

授人以鱼不如授人以渔，原汁原味的知识才更富有精华，本文只是对张量基本操作知识的理解和学习笔记，看完之后，想要更深入理解，建议去pytorch官方网站，查阅相关函数和操作，英文版在[这里](https:pytorch.orgdocs1.7.0torch.html)，中文版在[这里](https:pytorchcn.readthedocs.iozhlatestpackagereferencestorchtensors)。本文的代码是在pytorch1.7版本上测试的，其他版本一般也没问题。一，张量的基本操作Pytorch中，张量的...

前言一般机器学习任务其工作流程可总结为如下所示pipeline。在工业界，数据预处理步骤对模型精度的提高的发挥着重要作用。对于机器学习任务来说，广泛的数据预处理一般有四个阶段（视觉任务一般只需DataTransformation）:数据清洗(DataCleaning)、数据整合(DataIntegration)、数据转换(DataTransformation)和数据缩减(DataReduction)。1，DataCleaning：数据清理是数据预处理步骤的一部分，通过填充缺失值、平滑噪声数据、解决...

一，数据增强概述数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。数据增强几种常用方法有:图像水平竖直翻转、随机抠取、尺度变换和旋转。其中尺度变换（scaling）、旋转（rotating）等方法用来增加卷积卷积神经网络对物体尺度和方向上的鲁棒性。在此基础上，对原图或已变换的图像(...

[前言](前言)[一，网络层内在参数](一网络层内在参数)[1.1，使用3x3卷积](11使用3x3卷积)[1.2，使用cbr组合](12使用cbr组合)[1.3，尝试不同的权重初始化方法](13尝试不同的权重初始化方法)[二，图片尺寸与数据增强](二图片尺寸与数据增强)[三，batchsize设定](三batchsize设定)[3.1，背景知识](31背景知识)[3.2，batchsize定义](32batchsize定义)[3.3，选择合适大小的batchsize](33选择合适大小的batchsize)[3.4，学习率和batch...

[前言](前言)[一，数据层面处理方法](一数据层面处理方法)[1.1，数据扩充](11数据扩充)[1.2，数据（重）采样](12数据重采样)[数据采样方法总结](数据采样方法总结)[1.3，类别平衡采样](13类别平衡采样)[二，算法（损失函数）层面处理方法](二算法损失函数层面处理方法)[2.1，FocalLoss](21focalloss)[2.2，损失函数加权](22损失函数加权)[参考资料](参考资料)前言在机器学习的经典假设中往往假设训练样本各类别数目是均衡的，但...

[前言](前言)[概率论学科定义](概率论学科定义)[概率与信息论在人工智能领域的应用](概率与信息论在人工智能领域的应用)[3.1，为什么要使用概率论](31为什么要使用概率论)[3.2，随机变量](32随机变量)[3.3，概率分布](33概率分布)[3.3.1，离散型变量和概率质量函数](331离散型变量和概率质量函数)[3.3.2，连续型变量和概率密度分布函数](332连续型变量和概率密度分布函数)[3.4，边缘概率](34边缘概率)[3.5，条件概率](35条件概...

已经参加，​​深度学习基础优化算法详解​​​​​​。

值得参加！

汽车人，社区集结！