关于大模型的碎碎念
OpenAI在2020年5月发布了GPT-3的论文，而在2022年2月1日，GPT3.5也随之问世。国内对大模型的热情似乎从22年的12月开始高涨。对我个人而言，从我首次打开GPT3.5的对话页面到现在，已经过去了九个月。在此，我想分享一下我对大模型的一些想法。
MLP实现手写数字识别
通过MLP实现手写数字识别是一个经典案例，mnist 是keras自带的一个用于手写数字识别的数据集，它的图像的分辨率是 $28 * 28$，也就是有784个像素点，它的训练集是60000个手写体图片及对应标签，测试集是10000个手写体图片及对应标签。本例中：输入层784个单元，两个隐藏层都是392个神经元，最后输出层10个单元：
多层感知机（MLP）
之前主要学习了常见的机器学习算法，现在开始进入另一个环节：深度学习。首先就是多层感知机模型，Multi-Layer Perception（简称MLP）是标准的全连接神经网络模型，它由节点层组成，其中每个节点连接到上一层的所有输出，每个节点的输出连接到下一层节点的所有输入。本节会从一个简单的分类任务开始，逐步探讨多层感知机的工作原理。
模型评估与优化常用方法实战
通过酶活性预测实战来体验体验模型从欠拟合到过拟合、再到拟合的过程。选择模型从线性回归 -> 多项式回归。通过进行异常检测，帮助找到了潜在的异常数据点，进行主成分分析，判断是否需要降低数据维度，然后通过数据分离，即使未提供测试样本，也能从训练数据中分离出测试数据。然后计算得到混淆矩阵，实现模型更全面的评估。最后通过调整KNN核心参数让模型在训练数据和测试数据上均得到了好的表现。
数据分离与混淆矩阵
建立模型的意义，不在于对训练数据做出准确预测，更在于对新数据的准确预测。在分类中，如何评判模型的好坏呢，之前的学习中主要是通过计算测试数据集预测准确率(accuracy)以评估模型表现，但是现在有了更好的评估方案，那就是混淆矩阵。另外在仅有训练数据的情况下如何评估模型表现呢？这个时候就需要做一些数据分离的工作。最后会讨论模型的选择与优化相关的问题。
过拟合与欠拟合问题
拟合指机器学习模型在训练的过程中，通过更新参数，使得模型不断契合可观测数据（训练集）的过程，但在这个过程中容易出现欠拟合（underfitting）和过拟合（overfitting）的情况：一开始模型往往是欠拟合的，也就是说模型无法得到较低的训练误差，也正是因为如此才有了优化的空间，我们需要不断的调整参数使得模型能够更好的拟合训练集数据，但是优化到了一定程度，模型的训练误差远小于它在测试数据集上的误差，这个时候就需要解决过拟合的问题了。
LLM + Vector DB应用初探
在大模型的应用中，不断涌现出B端对专用数据的需求、C端对个性化与自动化的需求，带来给大模型增加记忆功能的刚性需求，相关产品需求量快速增长。众所周知，如今如火如荼的ChatGPT确实可以帮助我们解决许多问题，但是其作为一款语言大模型，从原理上就不容易实现记录与用户的全部历史对话，以及历史对话过程中的关键信息，这些信息往往只存在一次Session中。为了解决大模型没有“记忆”的问题，引入了向量数据库。
Unity实现通用红点树
在使用Unity开发游戏的时候经常用到红点系统，当玩家点击之后，或者收到服务器数据之后，都需要刷新红点的显示。如果每个人都自己写自己的红点模块，会增加不少的重复任务量，因此迫切需要一个通用的红点系统，其他模块只需要编写自己模块的表现层代码即可。所以单独抽取了一个红点树的逻辑。简单用UGUI拼了个界面，可以先看效果（暂时以数字表示红点数，0就是没有红点）：
