箱庭3D
コンセプト
「箱庭3D」では、生成系AIを介して仮想空間上のアバターと会話をすることで、誰でもわかりやすい情報交換・可視化する仕組みを実験しています。
社会や会社における独自の情報資産をAI学習させることで、知識や経験を集約化。悩んだり困ったりしている人がいつでもチャットを介して相談でき、親身に答えてくれる環境を作り出したいと考えています。
将来的には、「複合現実」や「デジタルツイン」の実現を目指しています。
「Hamamatsu Micro Maker Faire 2023」の出展作品です。
Hamamatsu Micro Maker Faire 2023
出展レポートを公開しました。
Hamamatsu Micro Maker Faire 2023に出展しました!
技術構成
機能構成とビジョン
3D空間 遊び心がある空間表現
3Dアバターは、普段の社内風景やメンバーを表現しています。ディレクター、デザイナー、プログラマーの3Dアバターが仕事している様子です。
地形は自然豊かで安らぐ環境を用意。そこに趣味の音楽やバイク、登山を楽しむ設備と、弊社のプロジェクト実績である「衛星アンテナ」や「入退場システム」を模した3Dモデルを設置しました。
会話AIロボット チャットで悩み解決
ChatGPTを活用した自動会話ロボットと1on1チャットボットの2種類を制作しています。
社内のナレッジをAI学習させることで、チャットを介して悩みや課題を解決しやすい環境を作り出したいと考えています。
音声入力・読み上げ 誰でも扱えるインターフェイス
子どもや高齢の方、体が不自由な方にやさしいUIとして、音声による操作を考えています。声をかけたら声で返してくれる、そんな誰でも扱うことができるインターフェイスを実現します。
BGM いまの気分に合った音楽
「いま、落ち込んでいるから癒やしの曲をかけて」のように投げかけると、自動生成したその人だけのBGMを流します。場の雰囲気や個人の気持ちに寄り添う、気が利くDJのような音楽提供を目指します。
環境音 リアルな自然の中に溶け込む
夏の田園の夜、冬の山の朝。風の音や鳥の囀りなど、仮想空間をよりリアルにするには自然の音が必要です。毎回異なる自然音を生成し、現実的な自然界の音の再現を目標としています。
電源 省電力でデジタルと共生
仮想通貨のマイニングに莫大な電力を要することが問題視されているように、日常生活のエネルギー問題には、アプリケーションの動作にかかわる消費電力も無視はできません。
エネルギー消費をいかに最適化した仕組みを作るかを、開発の課題としています。
本プロジェクトでは、ポータブル電源「EcoFlow Delta Pro」から電源供給し、消費電力の推移を確認しています。
プロジェクト情報
- AI
- GPT-4 Turbo
- 3D Model
- Blender
- Program
- React + Three.js + Typescript
- Sound
- Soundraw
- UI Design
- Figma
- Planning
- Tsuchiya
- 3D Model
- Hirasawa
- Program
- Hirayama
- Sound
- Horizumi
- UI Design
- Suzuki