JP4617322B2 - 自律型ロボットとの相互作用の装置と方法 - Google Patents

Description

本発明は自律型ロボットに関して、さらに具体的には自律型ロボットとの相互作用の装置と方法に関するものである。

自律型ロボットは外部からの刺激に人間の介入なく独自で反応するロボット装置である。近年の研究は、画像や音声などの自然的方法により交信する自律型ロボット製作において顕著な進歩を遂げている。まだ基本的ではあるものの自律型ロボットは家庭に於て児童にとっての教育・娯楽の方法としての応用分野が認められている。というのは児童との交信は成人に比べ言葉が簡単であり、従来の教育的方法や玩具に比べてロボットとの交流が児童にとって興味深いからである。

児童と相互作用するロボットの大半は、刺激に対する反応の方式で作動する。一般的に自律型ロボットは本体に種々の制御ボタンを有するか、有線や無線で接続された制御ボックス上に多くのボタンが装備されている。児童がボタンを操作すると、童謡その他を歌ったり、物語や冗談を話したりといった自律型ロボットの反応が生じる。さらに進んだ学習活動およびより複雑な学習内容には、制御ボタンによる相互作用は適切ではない。制御ボタンでの制約を克服し、自律型ロボットとの直感的な相互作用を行えるよう、SONY^RのAIBO^R等の既存のロボットはカメラを装備、物理的な図形カードにより捕捉画像とエンコードされた指示が作用して自律型ロボットが特定のモード設定(例：「物語」モードから「スペル学習」モードへ)を変更したり、特定の動作を実行(例：自動演奏に合わせたダンス)したり、自律型ロボットに保存された情報記憶部から特定の情報を引き出したり(例：「スペル学習」モードで単語を発音する)する。

理論的にはピクチャカード上の図形は、自律型ロボットが対応する「回答」を起動するための「合図」である。既述のように回答は内部設定の変更、動作、情報の提供、またはこれらの混合であることに注意されたい。また各図形画像は通常、人間の識別可能な姿勢および自律型ロボットの識別に基づいたエンコードされた指示という2つの部分で構成されている。エンコードされた指示が自律型ロボットにとっては有意義となる。エンコードされた指示はカード上の特定の位置での色やパターンで表現され、自律型ロボット人間の姿勢からその指示を識別できるようになっている。自律型ロボットに図形画像全体を直接識別させる(即ち図形画像そのものがエンコードされた指示)ことは可能である。単純化のため以下の「図形画像」とは、識別可能な人間の姿勢および画像に含められたエンコード指示の双方を指すこととする。

一例として、ある自律型ロボットは小学校レベルのスペル学習コース(ここのコースとは、特定のカテゴリ内の特定の話題に関する情報セットを指す)を備え、児童に一連の単語のスペル(即ち解答)を教える。各単語はカード上に図形的な表現を有する。児童が家の絵の描かれたカードを持って自律型ロボットのカメラに向ける。すると自律型ロボットはカードの画像を捕捉し、画像を認識(より具体的には、図形画像に含まれるエンコードされた指示)し、答えを探し、内蔵スピーカーから「house」のスペルを読み上げる。ピクチャカードで自律型ロボットと交信する方法は他の種々の学習活動に応用できる。例えば星の描かれたカードで自律型ロボットに童謡コースから「きらきら星」を歌わせたり、楽譜を描いたカードで音楽紹介コースからの音楽を再生したりすることが考えられる。

ピクチャカードのような視覚的合図で自律型ロボットに刺激を与えるのは直感的ではあるが強力な交信手段である。しかしながら一連のカードを保管してその中から探すのは時間がかかるし、年若いものにとってその努力は学習意欲を削ぐものである。また視覚の合図による交信には多くのマイナス要素がある。例えば図形画像の確実な識別にはカードへの照明が重要な要素となる。照明が不十分の場合、自律型ロボットはカードの識別を誤り、見当違いや誤った解答を出して、操作中の児童を失望させたり誤った方向に導くおそれがある。カード上の絵も長期使用によって汚れたりかすれたりする可能性があり、確実な識別に困難性を加える。カードの数量が多くなると、カード上からのエンコードされた指示を準備するのにより複雑なエンコードシステムが必要となり、識別失敗率が高まったり、さらなる解像度のコストの高いカメラが必要となったりする。さらに算術や数学などの学習活動では、カードで表現可能なのは限られた具体例でしかないので不適切である。ある手法では、ホワイトボードに数学の出題を書いて手書きの問題を自律型ロボットに識別させる。予想されることであるが、正しく書けない幼い学習者の場合識別率は高くない。ある手法では事前に印刷された数学の演算子と数字を用いて並べることにより数式を表現するものがある。これは確かに識別率を高めるが、大量のカードを扱わねばならない不便さがある。

従って自律型ロボットへの合図を送る前述の方法の欠点を除く新たな装置および関連方法がここに提供される。
該装置はPDAまたはタブレットPCと同様のコンピューティング装置で、図形画像の蓄積および図形画像の表示という機能を有する。自律型ロボットへの図形画像の提示は、ユーザーが装置を持って表示された図形画像を自律型ロボットのカメラに見せるか、図形画像からエンコードされた指示を電気信号として自律型ロボットに送るかのいずれかによって行う。言い換えると、図形画像は自律型ロボットに対して前者では視覚的合図として、または後者では電気的合図として提示される。

該装置には以下の主要部分が含まれる。出力は通常、ユーザーまたは自律型ロボットへのパネルスクリーンとして表示される。入力はスクリーンに重ねた透明タッチパネルの形でペン、スタイラス、または指でポイントして選択する動作で行う。不揮発性の情報記憶部は通常フラッシュROMまたは磁気ディスクドライブの形で図形画像を保存する。またデータ構成は、ツリー構造または階層構造で効率的な検索および取り出しが可能なように図形画像を整理する。

該装置にはさらに自律型ロボットやその他装置との交信用の有線または無線通信方法を含む。通信方法は、装置から自律型ロボットが回答を得るための図形画像の電気的信号を送信できる。通信方法はまた、自律型ロボットやその他装置から更新された図形画像やその他情報を装置にインストールするのに使用される。装置は自律型ロボットと一体化となる部分で、遠隔操作には自律型ロボットから切り離して使用したり、取り付けて自律型ロボットのコントロールパネルとして使用したりできる。装置は壁のコンセントからのACによって、または装置を取り付けた自律型ロボットによって充電可能な内蔵バッテリーを電源とする。装置にインストールされた情報は、装置を自律型ロボットに再度取り付けた際に実行可能である。

該装置で表示される図形画像は静止画像で自己照明を持つのでピクチャカードの照明問題は避けられる。大量の図形画像に関しては、装置は自由度が高くかつ信頼性のあるエンコードシステムによって画素レベルまで図形画像を制御するので、自律型ロボットの識別率の問題は生じない。装置の主要な長所は、ユーザーによる解答の整理によって数に関係なく効果的に探せるようになっている点である。数学のような複雑な課題については、高識別性の数式が動的に生成される。

請求項１の発明は、自律型ロボットと交信する装置において、該自律型ロボットとは図形画像に含まれるエンコードされた指示により視覚的に合図を受けて動作起動され、前記合図に対し視覚的または音声的に解答を提示するものであり、前記の装置は、エンコードされた指示が加えられた複数の事前に保存された図形画像、前記の図形画像を保存する不揮発性情報記憶部、自己発光表示機能を有する出力手段、前記の図形画像をツリー状に組織化する組織化手段、ユーザーと該装置とのインタラクティブ動作を可能とし、ユーザーが該組織化手段が表示するこれら図形画像を見ながら一つの図形画像を選択できるようにする入力手段と、を包含し、ユーザーが選択した該図形画像が該出力手段に表示されることを特徴とする自律型ロボットと交信する装置としている。
請求項２の発明は、請求項１記載の自律型ロボットと交信する装置において、前記の自律型ロボットは視覚入力装置を含み、また前記の入力手段でユーザーによって選択され、前記の出力手段で表示された前記の図形画像は前記の自律型ロボットの前記の視覚入力に提示される、そして、前記の自律型ロボットは、前記のエンコードされた指示を含んだ図形画像が前記の合図であると認めることを特徴とする自律型ロボットと交信する装置としている。
請求項３の発明は、請求項１記載の自律型ロボットと交信する装置において、前記の自律型ロボットと電気的に交信可能な通信手段をさらに備えることを特徴とする自律型ロボットと交信する装置としている。
請求項４の発明は、請求項３記載の自律型ロボットと交信する装置において、前記ユーザーが前記入力手段で前記出力手段に表示された前記図形画像を選んだ際、エンコードされた指示は電気信号に変換されて前記通信手段により前記合図として前記自律型ロボットに送られることを特徴とする自律型ロボットと交信する装置としている。
請求項５の発明は、請求項３記載の自律型ロボットと交信する装置において、前記通信手段は下記の手段、USBベースケーブル接続、WLANベースワイヤレス接続、ブルートゥースベースのワイヤレス接続のうち、最低一種を使用することを特徴とする自律型ロボットと交信する装置としている。

請求項６の発明は、自律型ロボットとの交信方法において、前記自律型ロボットは合図としての図形画像に含まれるエンコードされた指示により視覚的に刺激を受け、前記合図に対する反応を視覚的または音声的に下記ステップ、すなわち、
ステップ１、不揮発性情報記憶部に事前にビルトインされた画像を保存し、並びに自己発光表示機能を持つ出力手段および入力手段を提供し、そのうち、各該画像はそれぞれエンコードされた指示が加入されている、
ステップ２、ツリー状にこれら画像を組織化し、ユーザーが該入力手段でこれら画像を見ながらそのうち一つの画像を選択できるようにし、
ステップ３、前記ユーザーにより選択された図形画像を前記出力手段により表示する、
で応答することを特徴とする自律型ロボットとの交信方法としている。
請求項７の発明は、請求項６記載の自律型ロボットとの交信方法において、該自律型ロボットは視覚的入力装置を備え、また該ステップ３はさらに以下を含む、
前記ユーザーにより前記入力手段で選択された前記出力手段上の前記図形画像は、前記自律型ロボットにより前記図形画像のエンコードされた指示が前記合図として識別されることを特徴とする自律型ロボットとの交信方法としている。
請求項８の発明は、請求項６記載の自律型ロボットとの交信方法において、該ステップ１には、電気的に自律型ロボットと交信が可能な通信手段が含まれることを特徴とする自律型ロボットとの交信方法としている。
請求項９の発明は、請求項８記載の自律型ロボットとの交信方法において、該ステップ３には、前記ユーザーが前記入力手段で選択して前記出力手段で表示された前記図形画像のエンコードされた指示が電気信号に変換され、前記通信手段により前記自律型ロボットに電気信号として送信されることを特徴とする自律型ロボットとの交信方法としている。
請求項１０の発明は、請求項８記載の自律型ロボットとの交信方法において、該通信手段は下記のうちの一つである、
USBベースケーブル接続、WLANベースワイヤレス接続、ブルートゥースベースのワイヤレス接続であることを特徴とする自律型ロボットとの交信方法としている。

本発明は、刺激反応型自律型ロボットとの使用を対象とする。当該装置は、各々にエンコードされた指示を含む図形画像の電気的保存記憶部、およびエンコードされた指示の自律型ロボットへの提示装置という両方の機能を有する。当該装置は下記の主要部分を含む、ユーザーへの表示および自律型ロボットへのエンコードされた指示提示の双方に使用される出力手段、ユーザーによる種々のタップ選択操作が可能な入力手段、図形画像保存のための不揮発性情報記憶部、図形画像をツリー構造または階層構造的に整理し効果的に検索、取り出しを行う組織化手段。

本発明は、自律型ロボット、即ち人間の知覚である視覚や聴覚による外部からの刺激に応じて反応する能力を持つコンピューティング装置との使用を対象にしている。当該自律型ロボットは形状や備える身体部位は特定せず、ヒューマノイド型あるいは顔の表情を持つかは本発明において制限しない。自律型ロボットには本体に単数または複数のコースを構成する不揮発性情報記憶部を有し、図形画像が提示されると、自律型ロボットは対応する解答を示す。

本発明は、図形画像を視覚的または電気的のいずれかまたは両方の方式で受信する。自律型ロボットはいずれかの方法で受信するため、適切な入力インタフェースを装備する。視覚的入力にはCCDカメラ等の図形画像を捕捉する画像キャプチャ装置を有し、エンコードされた指示を識別する。電気的入力では自律型ロボットは、エンコードされた指示の電気信号を受信する有線または無線のインタフェースを装備する。

自律型ロボットは人間の知覚可能な方法で解答を提出する。例えば、自律型ロボットは通常スピーカーの形式でオーディオ出力装置を有し、解答を人間の声に近い合成音または予め録音された音声部分の再生で伝える。また自律型ロボットにはスクリーンなどの視覚的出力装置を備え、解答を視覚的に提供する。自律型ロボットによる解答は、再生音楽に合わせた「ダンス」や単語のスペルの書き出し等の身体動作で提供される場合もある。ただし本発明は特定の方法での解答提示を条件としていない。

本発明の装置は基本的にコンピューティング装置であり、PDAまたはタブレットPCのような形状と見なせる。「コンピューティング装置」と称され、装置内部には、中央処理装置、メモリ、バス、I/Oインタフェース、コントローラなど従来のコンピュータアーキテクチャを備える。図1に示されるように、装置1は片手や両手で持ちやすい外寸を持ち、ユーザーに対する主要なマンマシンインタフェースとしてLCDパネルのような出力装置を備える。装置はまた内部に不揮発性情報記憶部(図示されず)を有し、通常はフラッシュROMまたは磁気ディスクドライブの形で複数の図形画像を保存する。情報保存部からの出力手段として、装置1には通常アプリケーションプログラムの形で組織化が備えられ、幼いユーザーでも興味のある図形画像を探し出せるように整理された形で提供される。例として、単語のスペル学習においては、装置1はユーザーが画面10で選べるよう、文字や生き生きとした図形により、各種カテゴリーが提示される。ユーザーが「車」のカテゴリーを選ぶと、画面10には種々の車の画像が表示される。ユーザーは興味のある車を選択する。画面10に必要な図形画像が表示されたら、自律型ロボット2のカメラ20に画面10の図形画像を見せる。これで自律型ロボット2は図形に含まれるエンコードされた指示を合図として自動的に解答を提出する。

言い換えると、本装置の主要な長所は大量の図形画像を電気的に保存し、整理された形でユーザーが直感的に探し出せるようにしてある点で、児童でも指導や助けなしに自分で操作できる点にある。このように児童は自律型ロボットと効率的に交信し学習過程をより効果的に行える。検索を容易にするため、組織的に情報整理および提供する方法は幾つか存在する。最も一般的な方法にはツリー構造で下向きに一般から特定への方向でのものがある。より興味深い方法を喩えで言うと、情報を図書館の部門、列、本棚の本のように整理する方法がある。ただし本発明は図形画像の整理方法については特定の条件は要求しない。

ユーザーが装置1および自律型ロボット2との交信や選択を行えるよう、装置1には画面10に重ねた透明タッチパネル12の形で入力手段を備える。ユーザーは選択や機能を実行するのに指、ペンまたは装置に接続したスタイラス13でタッチパネル12をタップする。装置には通常スピーカー11の形でのオプション出力装置を含められ、ユーザーの装置1での操作において興味深い音響効果を発生できる。装置1にはコントロールボタン列15を含めて画面10の輝度や、スピーカー11の音量調節などに利用できる。

図形画像を手で自律型ロボットに見せる代わりに、装置は選択された図形画像のエンコードされた指示を電気信号に変換して、有線や無線通信手段で自律型ロボットに送信することができる。この際変換して送信されるのは図形画像ではなくエンコードされた指示であることに注意されたい。有線や無線の通信方法には、可能性としての例では有線接続14としてUSB(ユニバーサルシリアルバス)、無線接続16としてワイヤレスローカルエリアネットワーク(WLAN)やブルートゥース等の種々の技術が採用できる。通信手段は、エンコードされた指示の送信のみならず、さらに装置1への情報のインストールにも使用可能である。通信手段を介して、自律型ロボット2やその他装置(他の装置1やその他コンピューティング装置)は、装置1に追加や更新された図形画像をアップロードしたり、装置1は自律型ロボット2やその他装置(他の装置やその他コンピューティング装置)から、追加や更新された図形画像をダウンロードしたりといった操作が可能である。

装置1はまた、自律型ロボット2に組み込まれた一部であることも可能である。装置1は自律型ロボット2の取り付け座21に取り付けて自律型ロボットの一部となる。装置1が自律型ロボット2とワイヤレス通信を行っている場合、装置1と取り付け座21には物理的なコネクタが双方にあって、取り付け座21に取り付けた場合、装置1は自動的に電気的に自律型ロボット2と接続する。装置1がこのように自律型ロボット2に取り付けられると、装置1は自律型ロボットのコントロールパネルとなり、自律型ロボット2の制御は装置の情報のアップロード・ダウンロードを含め、取り付けた装置1を通してなされる。装置1は随時自律型ロボット2から取り外して自律型ロボット2の遠隔操作に使用できる。装置1は壁付コンセントに挿した電源ケーブル(図示されず)を介して充電される内蔵充電式バッテリー(図示されず)を電源とする。また装置1は自律型ロボット2の取り付け座21に取り付けた場合にも自動的に充電される。

自律型ロボット2は複数の装置1と交信して興味深い学習環境を創り出せる。例えば、教師や保護者が一つの装置、児童がもう一つの装置を持つこととする。教師はその装置を使って、図形画像は児童に見えないように「House」のスペルを示すよう自律型ロボットに指示する。児童は「house」の図形画像を自分の装置から探すよう求められる。児童は見つけた答えが合っているか、自律型ロボットにそのスペルを知らせる。装置はさらに数学などの複雑な問題の学習にも応用可能である。装置は画面に自動的にまたランダムに提供される数字を使った数式を生成できる。

装置の操作を理解した後、本発明により提供される方法は極めて直接的である。その手段はPDA、タブレットPC、さらには携帯電話(例えばスマートフォンと呼ばれる携帯電話)にも採用可能である。図2は本発明の実施に従った手順を示すフローチャートである。図示されるように方法は複数の図形画像を不揮発性情報記憶部に保存し、図形画像表示用の出力装置を準備、図形画像選択のための入力装置、自律型ロボットとの通信方法などのステップ100がある。ステップ110では、入力装置経由で図形画像を組織的な方法で探し出力装置で図形画像を提示する方法が示される。ユーザーが選択した後、ステップ120では、図形画像は出力装置に表示され、エンコードされた指示が電気的信号に変換され、通信手段で自律型ロボットに送信される。

本発明の実施に従った装置の概要図である。 本発明の実施に従った処理ステップを示すフローチャートである。

1 装置
10 画面
2 自律型ロボット
20 カメラ
12 タッチパネル
13 スタイラス
11 スピーカー
15 コントロールボタン列
14 有線接続
16 無線接続
21 取り付け座
100 ステップ
110 ステップ
120 ステップ

Claims (10)

1. 自律型ロボットと交信する装置において、該自律型ロボットとは図形画像に含まれるエンコードされた指示により視覚的に合図を受けて動作起動され、前記合図に対し視覚的または音声的に解答を提示するものであり、前記の装置は、エンコードされた指示が加えられた複数の事前に保存された図形画像、前記の図形画像を保存する不揮発性情報記憶部、自己発光表示機能を有する出力手段、前記の図形画像をツリー状に組織化する組織化手段、ユーザーと該装置とのインタラクティブ動作を可能とし、ユーザーが該組織化手段が表示するこれら図形画像を見ながら一つの図形画像を選択できるようにする入力手段と、を包含し、ユーザーが選択した該図形画像が該出力手段に表示されることを特徴とする自律型ロボットと交信する装置。
2. 請求項１記載の自律型ロボットと交信する装置において、前記の自律型ロボットは視覚入力装置を含み、また前記の入力手段でユーザーによって選択され、前記の出力手段で表示された前記の図形画像は前記の自律型ロボットの前記の視覚入力に提示される、そして、前記の自律型ロボットは、前記のエンコードされた指示を含んだ図形画像が前記の合図であると認めることを特徴とする自律型ロボットと交信する装置。
3. 請求項１記載の自律型ロボットと交信する装置において、前記の自律型ロボットと電気的に交信可能な通信手段をさらに備えることを特徴とする自律型ロボットと交信する装置。
4. 請求項３記載の自律型ロボットと交信する装置において、前記ユーザーが前記入力手段で前記出力手段に表示された前記図形画像を選んだ際、エンコードされた指示は電気信号に変換されて前記通信手段により前記合図として前記自律型ロボットに送られることを特徴とする自律型ロボットと交信する装置。
5. 請求項３記載の自律型ロボットと交信する装置において、前記通信手段は下記の手段、USBベースケーブル接続、WLANベースワイヤレス接続、ブルートゥースベースのワイヤレス接続のうち、最低一種を使用することを特徴とする自律型ロボットと交信する装置。
6. 自律型ロボットとの交信方法において、前記自律型ロボットは合図としての図形画像に含まれるエンコードされた指示により視覚的に刺激を受け、前記合図に対する反応を視覚的または音声的に下記ステップ、すなわち、
   ステップ１、不揮発性情報記憶部に事前にビルトインされた画像を保存し、並びに自己発光表示機能を持つ出力手段および入力手段を提供し、そのうち、各該画像はそれぞれエンコードされた指示が加入されている、
   ステップ２、ツリー状にこれら画像を組織化し、ユーザーが該入力手段でこれら画像を見ながらそのうち一つの画像を選択できるようにし、
   ステップ３、前記ユーザーにより選択された図形画像を前記出力手段により表示する、
   で応答することを特徴とする自律型ロボットとの交信方法。
7. 請求項６記載の自律型ロボットとの交信方法において、該自律型ロボットは視覚的入力装置を備え、また該ステップ３はさらに以下を含む、
   前記ユーザーにより前記入力手段で選択された前記出力手段上の前記図形画像は、前記自律型ロボットにより前記図形画像のエンコードされた指示が前記合図として識別されることを特徴とする自律型ロボットとの交信方法。
8. 請求項６記載の自律型ロボットとの交信方法において、該ステップ１には、電気的に自律型ロボットと交信が可能な通信手段が含まれることを特徴とする自律型ロボットとの交信方法。
9. 請求項８記載の自律型ロボットとの交信方法において、該ステップ３には、前記ユーザーが前記入力手段で選択して前記出力手段で表示された前記図形画像のエンコードされた指示が電気信号に変換され、前記通信手段により前記自律型ロボットに電気信号として送信されることを特徴とする自律型ロボットとの交信方法。
10. 請求項８記載の自律型ロボットとの交信方法において、該通信手段は下記のうちの一つである、
    USBベースケーブル接続、WLANベースワイヤレス接続、ブルートゥースベースのワイヤレス接続であることを特徴とする自律型ロボットとの交信方法。

Images