Hugging Face 介绍

发布时间: 更新时间: 总字数:629 阅读时间:2m 作者: IP上海 分享 网址

Hugging Face 是一家人工智能和自然语言处理技术公司,致力于开发和提供最先进的自然语言处理技术和工具。

介绍

Hugging Face 开发了许多流行的自然语言处理工具和框架

  • 官网:https://huggingface.co/
  • github 仓库:https://github.com/huggingface

开源工具包括:

  • transformers 用于 Pytorch、TensorFlow 和 JAX 的最先进的机器学习
  • tokenizers Rust 开发,为研究和生产而优化的快速先进的标记器
  • datasets 为ML模型提供的最大的即用型数据集中心,具有快速、易用和高效的数据操作工具
  • accelerate 用multi-GPU、TPU、混合精度来训练和使用PyTorch模型的简单方法

上述工具和框架可以帮助开发人员快速构建和训练自然语言处理模型,并实现各种任务,包括:

  • 文本分类
  • 问答
  • 对话生成
  • 特征提取
  • 文本到图像
  • 图像到文本
  • 文本到视频
  • 视觉问题回答

Hugging Face Hub 平台为自然语言处理社区提供了一个中心化的地方,使人们可以共享和发现各种自然语言处理模型和数据集。功能包括:

使开发人员可以更轻松地管理和使用自然语言处理模型,任何人都可以利用机器学习进行探索、实验、合作和构建技术。

NLP 任务分解:

  • Tokenizer:将文本分词、分字以及特殊字符(起始、终止、间隔,分类等,可以自己设计字符),称为 token
    • 将分词(token)映射为计算机认识的 特征(向量)
    • 辅助信息生成,包括 mask 等
  • 构建模型:一般如 BERT、GPT 等预训练模型
  • 训练:使用自己的模型,训练模型(一般为参数微调)

API

Home Archives Categories Tags Statistics
本文总阅读量 次 本站总访问量 次 本站总访客数