目次
ROS
[VirtualBox,UTM]/UbuntuとホストのMacBookとの通信ができれば、MacOS側の音声認識・音声合成処理と連携できそう。ROSで通信できそう。ROS2-ROS1はブリッジが必要。
ロビ間の通信もROSで通信できそう。
Homepage | Ubuntu Japanese Team
↑ROS導入前、ROS導入はこれから。
I2C
i2cでESP32とrobi マイコンボードと接続できれば、ESP32でbluetooth通信とi2c制御ができ音声認識ボード不要になり、カメラを載せる事ができる?
i2cでESP32とrobi マイコンボードと接続は、仕様が不明で無理そうです。音声認識ボードを外す必要がありパソコンで代替する必要があります。
bluetoothのマイク・スピーカをロビに載せる事になります。できるかな。
bluetoothのマイク・スピーカ:
https://limia.jp/article/809452/
仮想マシーン
Macと仮想マシーンOSで両方対応なデバイスを使う必要があります。
PS3のコントローラでリモコンできそう。
Ubuntu では PlayStation 3 のコントローラ(DualShock 3)を簡単に無線接続できる - 玉虫色に染まれ!!
UTM でコネクトを確認した。MacBookはコネクトせず。
vboxではbluetooth通信ができず。
色々ありそうな感じです。
ロボゼロ用のケーブルも買いました。
ROSでflashairを使ってリモコンする。(作業中)
bmagyar/rosbook_jp: 詳説ROSロボットプログラミング
試行
これまでに試したことは、以下です。
ESP32-CAMのI２C
・ESP32のI2Cで目口のLED制御しました。
音声合成
・coqui TTSでロビの声を作りました。
Mozilla TTS の後継 coqui TTS (VITS) で日本語音声合成
・ChatBotを試しました。
Facebook、どんな話題にも対応できるAIチャットボット「BlenderBot 2.0」オープンソースで公開。会話しつつ裏でネット検索し最新情報を取得
https://c2c2c2c2.hatenablog.com/entry/20220402/1648899734
シュミレータを使ってみました。
・カメラを試しました。
ESP32 CAM Based Object Detection & Identification with OpenCV
ESP32 CAM Based Face & Eyes Recognition System
ESP32-CAM Text recognition (Tesseract.js)
・flashairでリモコンしました。
・音声リモコンアプリを作りました。
・服を作りました。
・フリマでゲットしました。
ロビ１合計4体:1体が約1〜2万円
20000円で買える？ パーフェクトグレード 1/60 - Google ショッピング
ロボゼロ１体：約５千円
ps3 一式
部品（マイコンボード、予備部品、ツール、IFケーブル）
参考雑誌（インタフェース数冊、STM32マイコンの本）
https://gigazine.net/news/20160622-sony-ps3-linux/
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11142513941
