一个科技爱好者的个人博客
随着AI技术的快速发展，大型语言模型（LLM）与外部数据源和工具的交互需求日益迫切。在最初的提示词工程阶段，我们可能会人工编写、从数据库中筛选或者使用工具检索可能需要的信息，再手动粘贴到提示词 prompt 中。随着我们要解决的问题越来越复杂，手工把信息引入到 prompt 中会变得越来越困难[1]。
此时，如AI柠檬博主上一篇博客文章提到的 Function Call 便被引入了进来。该机制允许大模型在需要时调用用户预先定义的函数来获取数据或执行操作，显著提升了自动化水平。而这一过程本质上是由大模型输出一个json格式内容，在字段指定参数值中告诉你应该调用什么函数，以及传入什么函数入参来实现。
但工具函数调用这种传统API接口存在局限性，如兼容性差、安全隐患等，进而催生了模型上下文协议（Model Context Protocol, MCP）的诞生。这项由Anthropic公司于2024年11月推出的开放标准，被誉为“AI领域的USB-C接口”，旨在为AI应用与外部资源提供统一的通信框架[2]。
（更多…）在AI大模型的上下文中，”function calling” 是指AI模型能够直接调用预先定义好的函数来执行特定的任务，而不是仅仅基于文本生成来解决问题。这种能力使得AI可以主动地使用外部工具和资源来解决超出模型本身知识范围的问题，从而使AI的应用更加广泛和深入。
（更多…）在DNN-HMM架构的语音识别系统的声学模型中，训练一个DNN模型通常需要先进行帧和标签的对齐操作，此时需要先使用GMM通过EM算法不断迭代实现。而且隐马尔可夫假设一直饱受诟病，随着深度学习的发展，尤其是基于CTC的CNN和RNN模型的出现，使得实现端到端的语音识别声学模型成为了可能。CTC由于其强大的在时间序列上进行标签自动对齐的能力，可被用于语音识别、图像验证码(或者文本)识别和视频手势识别(手语识别)等问题中。
（更多…）RNN是循环神经网络的缩写，并且也是循环网络结构中的一种，我们通常使用这种网络模型来处理序列型的数据。语音识别处理的就是一个典型的有时间顺序的序列数据，自然语言文本也是。在一个普通的DNN网络中，层与层之间是全连接的，而每层中的神经元节点之间不存在任何连接，这样的一种普通DNN网络结构难以解决很多问题。以语音识别为例，不同时刻t的语音包含的字，在推理计算时，需要根据上下文来确定应该输出为什么字符，而且结果应当跟具体所在时刻t无关，否则会出现不同时间说相同的字会产生不同的识别输出的问题。
循环网络就解决了这个问题，这有点类似于隐马尔可夫模型，对于每一时刻的输入，所产生的输出值，不仅仅依赖于当前时刻t，还依赖于前N个时刻的输出值。这主要是通过在每一个循环层单元中，添加了一个记忆单元实现的。
（更多…）卷积神经网络是模式识别分类常用的网络结构之一，在大规模的图像识别等方面有着很大的优势。本文将总结卷积层、反卷积层、感受野、权重参数数量等卷积神经网络相关的原理和计算过程。
（更多…）
在YOLOv4的论文中，有一个很重要的BoF技巧，就是马赛克数据增强。很多人刚听说马赛克数据增强的时候，不知道这究竟是一种什么样的数据增强方案，其实，它是CutMix之类的图片预处理方案的一种推广。
（更多…）GolnazGhiasi, Tsung-YiLin, QuocV.Le
Google Brain
当深度神经网络被过度参数化并经过大量噪声和正则化训练（例如权重衰减和dropout）时，它们通常可以很好地工作。尽管Dropout被广泛用作全连接层的正则化技术，但对于卷积层而言，效果通常较差。卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。因此，需要结构化的Dropout形式来规范卷积网络。在本文中，我们介绍了DropBlock，这是一种结构化的Dropout形式，其中特征图的连续区域中的单元被一起Drop掉。我们发现，在卷积层之外的跳过连接中应用DropbBlock可以提高准确性。同样，在训练过程中逐渐增加的Drop单元数量会产生更佳的准确性和对超参数选择的鲁棒性。大量的实验表明，在正则化卷积网络中，DropBlock的效果要优于Dropout。在ImageNet分类中，带有DropBlock的ResNet-50体系结构可实现78.13％的准确度，比基线提高了1.6％以上。在COCO检测时，DropBlock将RetinaNet的平均精度从36.8％提高到38.4％。
（更多…）Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.
卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。
（更多…）摘要： 在使用机器学习处理一些实际场景中的任务时，往往会面临可获取的数据量不多的问题，而生物信息学就是这样的一个领域。生物信息学相关数据的样本量有限，而且往往样本正反例不平衡，主要为正例样本，并且数据的标注成本较高，而迁移学习技术使得在这样的条件下进行机器学习成为了可能。本文主要论述使用迁移学习进行生物信息学研究的可行性、有效性和重要性。
关键词： 生物信息学; 迁移学习
（更多…）