个人主页 >
AI >
LLM >
基础 >
架构

架构

Mar 24, 2026

K的技术博客

Search

Submenu AIAI
- Submenu DeepLearning_BasesDeepLearning_Bases
  - Submenu 模型结构模型结构
  - Submenu 指标指标
  - Submenu 特征提取特征提取
    - 音频特征
  - 人脸相关
  - 激活函数
  - 常见算子
  - 端侧推理框架
  - 归一化
  - 正则化
  - 损失函数
  - Submenu 推理加速推理加速
  - 数据处理
  - Submenu 监督方式监督方式
    - 对比学习
    - 自监督
- Submenu LLMLLM
  - Submenu AgentsAgents
  - Submenu 基础基础
    - Submenu 推理推理
      - Decoding
    - Submenu 架构架构
    - 模型
    - 训练
    - Submenu 评分评分
      - Benchmarks
- Submenu InfraInfra
- Submenu 项目经验项目经验
  - Submenu DDP分布式训练DDP分布式训练
    - 问题回溯
  - Submenu GanGan
    - 经验总结
  - Submenu DiTDiT
    - InfiniteTalk
- Submenu 关注中关注中
  - Submenu 工具工具
  - Submenu 项目项目
    - Submenu AIGCAIGC
      - 关注列表
    - Submenu TalkingTalking
    - Submenu PosePose
      - 关注列表
    - Submenu AudioAudio
      - 关注列表
    - Submenu LLMLLM
      - 关注列表
  - Submenu 数据集数据集
    - Motion
- Submenu DiffusionDiffusion
  - Submenu 理论理论
  - Submenu 架构架构
  - Submenu 工具工具
    - ComfyUI
    - Lora
    - Submenu 模型压缩模型压缩
    - Lora原理和训练详细解析
    - StableDiffusion工程理解
Submenu AlgAlg
- Submenu 数学数学
- Submenu 基础基础
  - 常用算法速查
  - 算法和数据结构
Submenu IT知识IT知识
- Submenu 编程语言编程语言
  - Submenu C++C++
    - C++技巧
    - C++基础
  - Submenu PythonPython
  - Submenu nodejsnodejs
  - Submenu AmberAmber
    - 基础
  - Submenu RustRust
    - Rust基础
  - Submenu CC
    - C基础
  - Submenu gogo
    - go基础
- Submenu 常用工具常用工具
  - tmux
  - ffmpeg
  - docker
  - 版本管理
  - Submenu 编译&调试编译&调试
  - Submenu IDEIDE
  - rclone
  - 网络安全工具
  - Submenu KubernetesKubernetes
  - Submenu AdobeAdobe
    - Illustrator
  - hugo
  - protobuf
  - 数据库
- Submenu OSOS
  - Submenu LinuxLinux
  - Submenu WindowsWindows
  - 常用软件
  - Submenu AndroidAndroid
- Submenu ServicesServices
  - Submenu 常用服务常用服务
  - Submenu AI服务AI服务
    - 开源服务
    - MLFlow
  - Submenu 运维服务运维服务
  - Submenu 编程服务编程服务
  - Submenu 游戏服务游戏服务
- Submenu 常用库常用库
  - Boost
  - Submenu QualcommQualcomm
  - OpenGL
  - Halide
  - OpenCL
  - OpenCV
  - RabbitMQ
  - Vulkan
- Submenu 硬件硬件
- Submenu 基础知识基础知识
- Submenu Obsidian使用说明Obsidian使用说明
- Submenu 原型设计原型设计
  - OpenCL加速模块原型设计
  - 版本号定义规则
Submenu GraphicsGraphics
Submenu 语言的艺术语言的艺术
- Submenu 常用缩写常用缩写
  - 技术类
  - 常识类

Email GitHub BiliBili

架构

MoE

Tokenization

Transformer

位置编码

归一化

注意力机制