Technology
国内で、コスパ良く、
安全に使える推論を。
そのための3つの強みと、なぜそうするのかを書きます。
提供中整備中構想 いまの状態を、この札で示しています。
01
垂直展開
データセンターだけ、GPUだけでは、
推論の品質は守れない。
- なぜ
推論の速さと費用は、データセンターの電力と冷却、GPUの選び方、モデルの動かし方の組み合わせで決まります。1つの層だけを持つ会社は、ほかの層の条件に合わせるしかありません。
- どうする
土地・電力・通信・建屋から、GPUの計算基盤、推論のAPIまでを、1社で設計します。推論がどう使われているかを、データセンターと計算基盤の設計に返します。
02
運用効率
比べるのは、GPUの単価ではなく、
1トークンの費用。
- なぜ
同じGPUでも、モデルの動かし方と割り当て方で、出せるトークンの数は変わります。GPUを借りても、使い切れなければ、1トークンの費用は下がりません。
- どうする
AIモデルの運用効率＝モデルに合う量子化と推論エンジンを選び、1つのGPUで出せるトークンを増やします。応答の品質と速さを確かめてから切り替えます。
GPUの運用効率＝使った分だけGPUを割り当て、空き時間をなくします。処理に合わせて、GPUの種類を選びます。
効果は、お客様のモデルを使った共同検証で確かめます。
03
Connectivity Hub
巨大な1か所ではなく、
全国の拠点をつないで1つに。
- なぜ
日本では、土地と送電の制約から、巨大なデータセンターを1か所に集めにくい。一方で推論は、最上位のGPUでなくても動きます。ただ、拠点を分けると、つなぐ手間が増えます。
- どうする
回線が集まる都市部のハブと、全国のGPU拠点を専用線でつなぎ、1つの推論基盤として運用します。
↓ 専用線・閉域網・インターネットでハブにつなぐ
↓ 拠点とハブを専用線でつなぐ
1つの接続で全国へ
ハブにつなげば、全国のGPU拠点を使えます。
小さく始めて広げる
数台のGPUから始め、使う量に合わせて広げます。
閉じた回線で安全に
専用線・閉域網で、ハブとつなげます。
止まりにくい
1か所が止まっても、ほかの拠点で動かします。
3つがつながっているから
拠点から設計するから、GPUの置き方を推論に合わせられる。
運用で効率を上げるから、小さな拠点でも1トークンの費用を下げられる。
ハブでつなぐから、拠点を足しても1つの基盤として使える。
用途に合う構成は、共同検証の結果をもとにご提案します。