メインコンテンツへスキップ
Groq の LPU™(Language Processing Unit)推論エンジンによって駆動される超高速推論により、様々なオープンソースモデルにアクセスできます。

設定

~/.factory/settings.json に追加してください:

はじめに

  1. groq.com でサインアップしてください
  2. console.groq.com から API キーを取得してください
  3. Groq documentation で利用可能なモデルを確認してください
  4. 必要なモデルを設定に追加してください

注意事項

  • ベース URL 形式:https://api.groq.com/openai/v1
  • Groq は generic-chat-completion-api プロバイダータイプを使用します
  • LPU アーキテクチャにより極めて高速な推論速度で知られています
  • 対応モデルでストリーミングレスポンスをサポートしています