科学空间：NLP、算法设计、实验、数学推理博客

本文更新于: 2024年6月21日

APP喵前言：一个专注于自然语言处理（NLP）、算法设计、实验和数学推理的资源博客。

网站简介

科学空间网站适合那些对 NLP、深度学习算法、数学建模和相关技术有兴趣的读者。它提供了深入的技术分析和讨论，可以帮助读者更好地理解这些复杂的概念。

截图

一些内容

1. Softmax 函数及其替代品：文章讨论了 Softmax 函数在构建概率分布中的应用，以及它的一些局限性和可能的替代方案。Softmax 是一种在机器学习和深度学习中常用的函数，用于将实数向量转换为概率分布。
2. HiPPO 矩阵：文章提到了 HiPPO（High-Order Polynomial Projection Orthogonalization）矩阵，这是一种用于逼近实时更新函数的方法，涉及到正交函数基和线性系统。
3. MLA（Multi-head Latent Attention）：讨论了 MLA 技术，这是对 GQA（Guided Attention）的改进，旨在提高效率并减少成本。MLA 是在 NLP 领域中用于提高模型性能的一种注意力机制。
4. 注意力机制的演变：从 MHA（Multi-Head Attention）到 MQA（Multi-Query Attention）和 GQA，文章梳理了注意力机制的发展，并着重介绍了 MLA 的设计思路。

网站地址

https://kexue.fm