偷懒失败，还是写一下 概念知识蒸馏就是把一个大的模型当作教师模型，然后把他的知识教给较小的模型（学生模型）。 大的模型较臃肿，真正落地的中断算力有限，比如手表等，通过知识蒸馏把大模型变为小模型，再把小模型部署到终端。 模型soft target学生网络有两种标签，一种是教师网络的输出（Soft-target），一种是真实的标签（Hart-target）。 soft target就是常用的概率标

fairseq的命令行参数本次实验基于fairseq，目的是熟悉fairseq的命令行参数、实现损失函数 问题1.1Q: fairseq中，inference时默认是使用test数据集，如何改成train数据集： 方法一 直接修改命令行参数 1fairseq-generate data-bin --gen-subset train --path model.pt 参考 方法二 修改源码

不想打公式 直接截图了（苦鲁西 代码目录：/fairseq/models/transformer/ transformer_legacy.py226行注册了transformer_model_architecture，可以自定义配置。 同文件22行注册了transformer。继承TransformerModelBase。 77行init，先从Config中

Attention心理学基础动物在复杂环境下关注值得注意的带你 人类能够根据随意线索和不随意线索选择注意点 注意力机制的发展首先是从传统的RNN模型得来的Encoder-Decoder（两个RNN）模型，是包含时序的（$s_0$->$s_1$…）但是由于前面的所有输入$X_i$，无论多长都只能压缩成统一长度的编码c，导致翻译的精度下降。 而Attention机制通过在不同时间输入不同的c

先看一下Meta-Learning和Machine-Learning的区别 主要区别就是Meta-Learning是为了让机器学会学习，也就是通过一系列任务的训练，获取一组更好的模型初始化参数（让模型学会初始化），使其能够在小规模数据上迅速收敛并完成Fine-Tune。而传统的机器学习就是寻找当前任务的参数。 数据元学习中要准备许多任务进行学习，每个任务都有自己的训练集和测试集。 以下为一个任务

GNN应用领域图可以标识事物之间的相关关系，图在场景分析问题推理、推荐系统、风控 甚至无人汽车等多方面都有很大作用。 基本组成点：是特征，由特征向量表示 边：表示点之间的关系，也有特征。所有的边类型相同 图：全局的图，是向量 输入时要输入点的特征和邻接矩阵，邻接矩阵表示关系。 优势传统神经网络输入的规模固定（比如CNN输入图像一般都是256或512），在实际应用时，分子结构、或交通道路等点和边个

配个环境配了一天 人麻了pytorch+cuda环境配置 1234conda create -n {Env Name} python==3.10conda activate {Env Name}pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip install

我们的游戏做完啦！ 好激动，四周的时间过的好快，好像昨天还在讨论游戏的原型设计。现在居然已经完成了所有的工作。感谢tllwtg和wegret的付出，我们三个真强（哈哈哈）。希望zlgg和xyjj不要嫌我菜。 这里是我们的游戏，点点star（可怜） 没错 就是开放世界冒险游戏（没有虚假宣传。。。开放、世界、冒险都有） 做游戏的过程还是很开心的（可能是给我的活太少了），感觉自己没做什么，还好

第一篇博客做这个网站真的做了好久，教程确实很详细了，但是还是有些地方默认读者已经会了（我现在确实会了）。感谢tllwtg的帮助，没有tllwtg，就没有这个网站，呜呜。tllwtg告诉我教程之后还帮我调了两次（/跪谢）。 之后自己做的过程中也好多次感觉根本搞不出来，不想搞了。但是但是，这个好有意思，最后还是做出来了。tllwtg还跟我说做两三天是很正常的，我真的哭死。做完还是很开心的。我