With You - AIキャラクター対話・生成ソフトウェア

ソフトウェア概要

「With You」はAIキャラクターと自然なテンポで会話できるデスクトップアプリです。単なるAIチャットではなく、キャラクターが「そこにいる」と感じられる没入感を大切にし、言語処理・3Dモデル・音声合成・UIを密に連携させています。

最新バージョンではユーザーの要望に応じてキャラクターの個性・外見・声を即時生成できるようになり、単一キャラクターの運用から「無数の人格を生み出す」プラットフォームへと進化しました。

開発の背景

「AIと雑談する」の先にある、「AIと過ごす」体験を形にするため、即応性・拡張性・個性表現を両立する汎用対話基盤として設計しました。

コアバリュー

レスポンスの速さと深い表現力の両立
割り込み可能な双方向会話
キャラクターの動的生成と永続化

With Youのダッシュボード画面 — ホームダッシュボードではキャラクター状態や会話履歴を一望できます。

主要機能

最新版の「With You」が提供する体験とテクノロジーです。

With Youのキャラクター生成UI — キャラクター生成画面：自然文入力から人格・外見設定を自動生成します。

音声入力リアルタイム会話

常時リッスンでAI発話中でも割り込み可能。自然なテンポでの雑談や相槌が可能です。

LLM連携とJSON制御

OpenAIのChat Completions APIを活用。出力はJSONスキーマを厳守し、会話データや設定を構造化します。

VOICEVOXによる逐次音声合成

ローカルHTTP APIを用いた逐次合成で発話開始までのラグを最小化。高品質な音声体験を実現します。

キャラクター動的生成

自然文の指示から口調・設定・外見・声をまとめたJSONを生成し、そのまま人格として起動します。

外見カスタマイズ

髪色・瞳色・VRMモデルをマテリアル操作で動的に変更。調和する配色を自動補正します。

永続化と再現

PlayerPrefsに生成結果を保存し、再起動後も同じ人格・設定で会話を継続できます。

構成アーキテクチャ

Unityを中心に、5つの主要領域が緊密に連携しています。

3Dキャラクター (VRM)

多数のVRMからランタイムロードし、瞬き・口パク・表情・体のモーションを同期。音声のゲイン解析でリップシンクを実現します。

音声認識

Windows標準DictationRecognizerにより、API不要・オフライン対応の常時リッスンモードを構築しました。

言語処理

LLMからの出力をJSONで受信し、会話方針やコンテキストを厳格に制御。モデルは用途に応じて選択可能です。

音声合成

VOICEVOXローカルAPIで逐次合成し、GPU処理によって応答開始を高速化。自然な会話テンポを支えます。

状態・履歴管理

PlayerPrefsで設定と履歴を永続化。生成したキャラクターをいつでも呼び出し、会話を続けられます。

キャラクター動的生成フロー

ユーザーが入力した自然文をもとに、AIがキャラクターの人格・外見・声をまとめたJSONを生成し、即座に反映します。異常値はスキーマ検証で排除し、安定した生成体験を提供します。

必須フィールド：instruction / name / hair_color_index / eye_color_index / model_index / speaker_id
補正ロジックにより髪色と瞳色のバランスを自動調整
生成結果はUIとPlayerPrefsに統合し、再利用可能に

01

自然文の要望入力

例：「優しくて頭のいい幼なじみ風の女の子にして」など、自由な指示を受け付けます。

02

LLMによるJSON生成

response_format=json_schemaで定義したスキーマに沿って、人格設定を構造化します。

03

キャラクター反映

モデルのロード、マテリアル調整、VOICEVOX話者設定を自動適用し、すぐに会話を開始できます。

04

永続化と再起動

生成した設定を保存し、アプリ起動時に同じ人格・記憶で会話を継続できるようにします。

With Youの生成結果プレビュー画面 — 生成結果は即座にUIへ反映され、モデル・色・話者設定が自動で整合されます。

割り込み可能な対話構造

ターン制の制約を取り払い、AIが話している最中にもユーザーが割り込める常時リッスン構造を採用。人間同士の雑談に近いテンポでリアクションが挿入できます。

レスポンス最適化

モデルごとの応答特性を分析し、逐次音声合成やGPU生成でレスポンスを高速化。テンポの良い対話体験を実現します。

With Youのリアルタイム会話画面 — リアルタイム会話画面では、音声入力・LLM応答・VOICEVOX発話がシームレスに同期します。

クラウド連携への拡張

生成したキャラクター設定をクラウドに保存し、スマートフォンやブラウザからも同じ人格で会話できる「パーソナルAIクラウド」構想を描いています。

どこからでも呼び出せる継続的な人格体験により、「アプリを閉じてもAIが生きている」感覚を目指します。

デジタルサイネージへの応用

商業施設や公共施設での案内AIとして活用し、シーンごとにカスタマイズされたキャラクターが多言語で情報提供する未来を見据えています。

静的サイネージでは実現できなかった、状況に応じた対話型の案内を提供します。

これからも「人とAIの距離」を縮めるために

趣味から始まった本プロジェクトは、多様な技術を横断しながら「人とAIの対話体験」を探求し続けています。限られた資源のなかで得た成果を出発点に、思いついた改善はすぐに実装し、進化を止めません。

生成AIの急速な進歩に追いつくためにも、情報を常にアップデートしながら、より豊かな対話と表現を追求していきます。

AIキャラクターと「過ごす」ためのデスクトップソフト