JP3493532B2

JP3493532B2 - 物体説明装置および物体説明方法

Info

Publication number: JP3493532B2
Application number: JP11503495A
Authority: JP
Inventors: 徹藤井; 雅人川出; 秀一江島
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1995-01-31
Filing date: 1995-03-20
Publication date: 2004-02-03
Anticipated expiration: 2019-02-03
Also published as: JPH08272946A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、カメラ等で認識した
物体を言語情報によって説明する物体説明装置および物
体説明方法に関する。

【０００２】

【従来の技術】カメラ等で撮像した画像から物体を抽出
して認識し、その物体を言語情報で出力するような装置
が考えられている。このような装置において、物体の説
明を行うのに最も容易な方法は、予め各物体の名前を登
録しておいて、カメラ等で撮像した画像内から物体を切
り出していって認識し、その認識した物体が登録された
物体と一致する場合に、一致した物体の内容を言語情報
として出力すればよい。例えば、「机の上に何がありま
すか？」と装置に対して指示した場合、装置は、まずこ
の質問の内容の意味解析を行って机の位置を画像内から
切り出し、次に机を基準として画像内の所定範囲に存在
する物体を切り出して認識する。そして、その物体が登
録されている物体と一致している時にその物体名を取り
出して「何々があります」と回答する。机の上に電話が
ある場合には、「電話があります」と回答する。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな物体説明装置では、世の中に存在し得る全ての物体
を登録することが不可能であるために、実際の使用に際
して適切な回答を行うことができない問題がある。例え
ば、「机の上に何がありますか？」といった質問に対し
て、机の上にごみ箱があり、ごみ箱が予め想定されてい
なくて登録されていない場合には、「何かがあります」
と回答することぐらいしかできない。従って、ユーザー
が机の上に何かがあることはわかってもそれが何である
か全く知ることができない。

【０００４】本発明の目的は、上記のような場合に、即
ち、登録外の物体が存在する場合には、その物体の説明
を登録済の物体の名前や特徴を組み合わせた表現で説明
することにより上記の問題点を解決する物体説明装置お
よび方法を提供することにある。

【０００５】

【課題を解決するための手段】本発明は、物体を検出す
るセンサ手段と、複数の物体について、物体の名前とこ
の物体の色、大きさなどの複数の属性の特徴量とを含む
物体データを予め記憶する特徴量記憶手段と、前記セン
サ手段の検出データから特定の範囲内に存在する物体の
複数の属性についてその特徴量をそれぞれ抽出する抽出
手段と、前記抽出手段で抽出した複数の属性の特徴量に
基づいて前記特徴量記憶手段を検索し、属性毎にその特
徴量が対応する物体を取り出し、属性毎に取り出した物
体が全て一致している場合には該物体の名前を出力し、
属性毎に取り出した物体が全て一致していない場合には
それらの物体の名前又は属性を組み合わせたメッセージ
を生成し出力する物体説明手段と、を備えたことを特徴
としている。

【０００６】また、入力された指示内容を解析する指示
内容解析手段を更に備え、前記抽出手段はその解析した
内容に含まれる物体を基準物体として該基準物体を前記
センサ手段の検出データから抽出するとともに、前記特
定の範囲をこの基準物体の位置を基準して設定すること
を特徴とする。

【０００７】前記指示内容解析手段は、音声が入力され
る音声入力手段と、該音声入力手段に入力された音声か
ら前記指示内容を解析する手段を含むことを特徴とす
る。また、前記センサ手段は物体の特徴を抽出出来るも
のであれば良いが、例えば、これを画像を検出するカメ
ラとすることが出来る。このカメラは使用者の頭部等の
身体へ固定可能である。

【０００８】また、前記物体説明手段は、前記物体の
名前や複数の物体の名前又は属性を組合せたメッセージ
を音声出力する。

【０００９】さらに、前記物体説明手段は、複数の物
体の名前と属性とを組み合わせて出力する時に、該組合
せに属性が接近していることを表す、「近い」「ぐら
い」などの表現を加えたメッセージを生成する。

【００１０】

【００１１】また、前記基準物体の抽出が出来なかった
ときには、その旨を警報出力し、抽出した特徴量に対応
する物体か複数個ある場合にはその数も出力するように
している。

【００１２】さらに、本発明は、以下の構成をとるもの
である。

【００１３】音声入力を受け入れ、入力された音声入
力から、予め基準物体名と検索範囲の記憶されている指
示登録データに基づいて指示内容を解析して検索範囲Ｗ
を出力する指示認識装置と、カメラ等により認識された
物体の画像が入力され、該入力画像から、予め色、大き
さなどの複数の属性の特徴量が物体名毎に記憶されてい
る基準物体登録データに基づいて、候補となる基準物体
の名前および位置を抽出し基準位置データＷｂとして出
力する部分、および前記入力画像から、予め複数の属性
の特徴量が物体名毎に記憶されている測定物体登録デー
タに基づいて、属性毎にその特徴量が対応する測定物体
の名前および位置を抽出し、物体内容Ｅとして出力する
部分を含む入力計測装置と、前記指示認識装置および入
力計測装置の情報を受け取って、前記検索範囲内に存在
する測定物体の物体内容を前記物体内容Ｅから抽出して
対象物体内容を獲得し、該対象物体内容の複数の属性の
測定物体名が全て一致しているときにはその測定物体名
を音声出力に変換し、一部でも一致していなければ対象
物体内容の複数の属性又は各属性に対応する複数の測定
物体名を組み合わせたメッセージを生成し、このメッセ
ージを音声出力に変換する回答合成装置と、を備えてな
る物体説明装置。

【００１４】

【作用】本発明では、カメラ等のセンサ手段によって物
体を検出すると、その物体の検出データから物体の複数
の属性についてその特徴量を抽出する。属性とは、
「色」や「大きさ」などであり、属性の特徴量とは例え
ば「色」が赤色であったり、「大きさ」が５０ｃｍ² 〜
１００ｃｍ² の範囲にあることをいう。続いて、この抽
出した特徴量に基づいて、特徴量記憶手段を検索し、複
数の属性の特徴量が全て所定の判定基準からみて同じと
みなせる物体がある場合には、その物体の名前を出力
し、複数の属性の特徴量が全て所定の判定基準からみて
同じとみなせる物体がない場合には、属性毎にその特徴
量に近い特徴量を持つ物体を取り出し、これらの物体の
名前又は属性を組み合わせたメッセージを生成し出力す
る。従って、例えば、電話に近い色のごみ箱があって、
ごみ箱が登録されていない場合には、「電話に近い色
で、植木鉢ぐらいの大きさのものがあります」とごみ箱
の説明を行う。また、電話の色が灰色として登録されて
いる場合、「灰色に近い色で、植木鉢ぐらいの大きさの
ものがあります」や、物体の名前を使わない場合には、
「灰色に近い色で、中程度の大きさのものがあります」
などの説明を行うことも出来る。なお、この場合、電話
と植木鉢については登録されている。

【００１５】物体説明を行う時には、カメラ等で撮像し
た画像内に認識できる物体を順次認識したものから説明
するようにしてもよいが、ユーザーが指示を行って、こ
の指示に対する回答によって物体を説明することもでき
る。この場合には、マイクロフォン等の音声入力部を含
む指示内容解析手段によって、入力された指示内容を解
析し、その解析した内容に含まれる物体を基準物体とし
てまず認識する。そしてその物体の位置を基準として特
定の範囲を設定し、その特定の範囲内に存在する物体を
説明する。

【００１６】センサ手段としては、カメラ等が考えられ
るがさらに物体の特徴を認識できるものであればよいた
めにこのカメラ等に代えて超音波センサ等を使用するこ
とも可能である。カメラは、使用者の身体の一部、例え
ば頭部に固定出来るように、頭部固定手段を備えるよう
にすれば、使用者が向きを変えれば、それに応じて撮像
画像も変わって来る。したがって、使用者の向きに応じ
て物体説明が行われる。

【００１７】出力は言語情報として出力するが、通常、
この場合音声出力を行うスピーカを使用することができ
る。しかし、これに限らず表示装置などに出力するよう
にすることも可能である。

【００１８】上記物体説明手段は、登録前の物体を説明
する時に、「電話の色で植木鉢の大きさのものがありま
す」と説明するようにしてもよいが、この説明に対し
「近い」「ぐらい」の表現を加えることによって、「電
話に近い色で植木鉢ぐらいの大きさのものがあります」
と表現するようにしてもよい。

【００１９】また、属性としては、「色」「大きさ」が
典型的であるが、この他、さらにモーメントや縦横比、
円形度などを使用することができる。また、基準物体が
検出出来なかったときには、「机がありません」（この
場合基準物体は机）等の出力を行うようにすることで、
何も出力されない状態になるのを回避出来る。さらに、
抽出した同じ特徴量を持つ物体が複数個ある場合に、そ
の数も出力することで、１回の出力でそれらの複数の物
体の説明を行える。例えば、電話が机の上に２個ある場
合、「机の上に電話が２個あります」と説明すること
で、同じ説明を２回繰り返される冗長を避けられる。

【００２０】

【実施例】図１は、本発明の実施例の物体説明装置のブ
ロック図を示している。また、図２は同装置の動作を示
すフローチャートである。

【００２１】図の１はマイクロホンで、このマイクロホ
ンから音声が入力される。音声入力Ｓｉは指示認識装置
２に導かれる。指示認識装置２は、マイクロホン１に音
声が入力されたことを認識して起動信号Ｔを生成して、
後述の入力計測装置４に出力する。また、入力された音
声入力の指示を解析しどのような指示がされたかを認識
する。さらに、指示に対応する検索範囲を後述の回答合
成装置５に出力する。音声入力の指示の解析では、指示
登録データ１１を参照して、音声入力に対応する基準物
体名、Ｘ／Ｙ幅、Ｘ／Ｙ重心オフセットを、説明すべき
物体の検索範囲Ｗとして回答合成装置５に出力する。図
３は、指示登録データ１１を示している。図に示すよう
に、音声入力に対して基準物体名、その基準物体のＸ方
向の幅（Ｘ幅）とＹ方向の幅（Ｙ幅）と、Ｘ方向の重心
およびＹ方向の重心オフセットを記憶する。ここで、指
示認識装置２から出力される検索範囲Ｗとは、基準物体
を基準とした画像上での相対的な範囲のことである。基
準物体は、例えば、机、壁、床などの必ず存在する物体
とする。また、基準物体名は検索範囲の基準となる基準
物体名であり、Ｘ／Ｙ幅は検索範囲の縦／横幅、Ｘ／Ｙ
重心オフセットは、検索範囲の重心と基準物体の重心の
偏差である。従って、基準物体の重心位置がわかれば、
上記Ｘ／Ｙ重心オフセットと、検索範囲の縦／横幅のＸ
／Ｙ幅を得ることにより、画面上の絶対検索範囲を知る
ことができる。図４は、検索範囲のイメージ図を示して
いる。図において、指示は基準物体からの相対位置で行
われ、その範囲内に存在する物体を説明するものとすれ
ば、同図に示す例では、「机の上に何がありますか？」
とした時、基準物体名が机であって、その上方に、検索
範囲が設定されることを示している。なお、マイクから
の音声入力の指示を解析するときに、音声入力に対応す
る基準物体名が指示登録データ中に存在しないときに
は、警告登録データ１５を使って、警告メッセージを出
力する。例えば、音声入力が「机の上に何があります
か」の場合に、指示登録データ中に基準物体として机が
存在しない場合、警告メッセージは、「机はありませ
ん」となる。

【００２２】前記入力計測装置４は、指示認識装置２
から起動信号Ｔが入力されると、その時のカメラ３から
の画像入力を解析して、画像入力内の基準物体およびそ
の他の物体（測定物体）の部分を切り出す（抽出す
る）。続いて、基準物体の基準位置を重心を求めること
により獲得し、さらに測定物体がどのような特徴を持っ
ているかの情報である物体内容を測定する。最後に、決
定した基準位置および物体内容を回答合成装置５に送
る。なお、入力手段は、物体の特徴を獲得できればよい
ので、超音波映像などを測定する手段であってもよい。
また、指示認識装置２においての指示は、マイクロホン
等の音声入力部に代えてキーボード等の入力部、その他
の手段から行われるようにしてもよい。

【００２３】画像入力内の基準物体および測定物体の部
分の切り出しは、全ての画像について、図５の基準物体
登録データおよび測定物体登録データの色範囲の属性欄
を使用して行う。即ち、

【数１】

【００２４】前記基準物体登録データおよび測定物体登
録データは、基準物体についてはｍ個の物体名、測定物
体についてはｐ個の測定物体名がそれぞれ予め登録され
ている。上記〔数１〕では、全ての画素について基準物
体名または測定物体名を割り当てていく動作を行い、ａ
の部分では基準物体名を、残るｂの部分では測定物体名
を割り当てていく。なお、この例では、物体の切り出し
を色範囲によって行ったが、物体の切り出しを行う他の
方法があれば、その方法で行うことも可能である。図５
（Ｂ）の測定物体登録データには、色範囲と大きさ範囲
の各属性の欄に、測定物体特徴名の欄が設けられている
が、これは、この欄および測定物体名の欄に「茶」
「緑」といった概念を入れることを可能にするためであ
る。このような「茶」「緑」という概念を入れるとき、
大きさ範囲の上限、下限を０にしておく。このようにす
ると、例えば、登録した物体に緑のものがなかった場合
に、概念を入れておいて物体の説明に抜けがないように
することが出来る。

【００２５】同一の測定物体候補（この実施例では、測
定物体と同じ色のもの）が画像入力内に複数存在する場
合は、画素の連結性を見る必要がある。この画素の連結
性を見る方法を以下に示す。まず、すべての画素のｌａ
ｂｅｌ番号を０にする。次に図８のｌａｂｅｌｉｎｇ手
順のイメージ図に示すように、最初の画素列から検索し
ていき、ある測定物体名の画素が存在している画素列を
見つけたら、横方向の始点〜終点の間の画素に、ｌａｂ
ｅｌ番号を割り当てる。このｌａｂｅｌ番号の割当て
は、以下の条件で行う。１）始点〜終点の間の画素の上位置の画素に、目的の測
定物体名の画素が存在していない場合は、今までの最大
のｌａｂｅｌ番号をインクリメントして、今までとは別
のｌａｂｅｌ番号を割り当てる。２）始点〜終点の間の画素の上位置の画素に、目的の測
定物体名の画素が存在している場合は、２─１）ｌａｂｅｌ番号が１種類の場合、上位置の画素
のｌａｂｅｌ番号を割当て、２─２）ｌａｂｅｌ番号が２種類以上の場合、上位置の
画素の最小のｌａｂｅｌ番号を割り当てる。また、現在
処理している列以前の画素の中で、この割り当てたｌａ
ｂｅｌ番号以外の画素を、全てこの割り当てたｌａｂｅ
ｌ番号に変更する。

【００２６】以上の処理を、全ての測定物体候補につい
て、繰り返し実行する。こうして、画像入力内に測定物
体候補が存在する状況により、図９の測定物体更新デー
タを作成する。この作成の際、例えば、ある測定物体が
画像入力内に存在しない場合何もしないが、ある測定物
体が画像入力内に１つだけ存在する場合には、その測定
物体の測定物体登録データの内容を測定物体更新データ
としてコピーし、そのときのｌａｂｅｌ番号を代入す
る。また、ある測定物体が画像入力内に２つ以上存在す
る場合、ｌａｂｅｌ番号の種類だけ、測定物体の測定物
体登録データの内容を測定物体更新データとしてコピー
し、ｌａｂｅｌ番号を代入する。この作業を繰り返すこ
とにより、図９の測定物体更新データを作成する。

【００２７】前記基準物体の基準位置Ｗｂとは、基準物
体名とその重心位置のことであって、図４に示す絶対検
索範囲を確定するための情報である。また、測定物体が
どのような特徴を持っているかを表す情報の物体内容と
は、測定物体の各属性の特徴量が予め登録されている物
体の中で一番近い測定物体名と、その測定物体の重心位
置とを表す情報である。ここで、基準位置および物体内
容の重心位置は、各画素の物体名に従って下記〔数２〕
に従って算出する。

【数２】

【００２８】上記式において、ｃ，ｅにおいて基準物体
の重心が求められる、ｄ，ｆにおいて測定物体の重心が
求められる。なお、ｇにおいては、測定物体更新データ
のうち存在しない測定物体に対して“−１”の重心位置
を与え、回答合成装置２７において考慮されないように
している。

【００２９】なお、前述のように、測定物体更新デー
タの測定物体名には、通常は、「電話」、「植木鉢」な
どの視覚的に形状を把握することのできる物体名を登録
するが、これとともに、「茶」「緑」といった概念を登
録することもできる（測定物体特徴名の欄にもこの
「茶」「緑」が登録される）。この様な場合には、測定
物体登録データのうちの大きさ範囲の属性の特徴量を上
限、下限とも０にしておく。このようにしておくことに
より、例えば、登録した場合に緑のものがなかった場
合、「緑に近い色で植木鉢ぐらいの大きさのものがあり
ます」といった説明ができるようになる。

【００３０】ここで、測定物体の各属性の特徴量が予め
登録されている物体のどれに近いかを判定し、その近い
物体名を測定物体名として割りつけていく処理は、図９
の測定物体更新データを使用して行う。

【００３１】本実施例では、属性「色」に対する判定
は、上記〔数１〕〔数２〕において既に物体の切り出し
によって行っているために、残りの属性「大きさ」によ
る判定を以下の〔数３〕によって行う。

【数３】

【００３２】上記〔数３〕の実行によって、各属性毎
の測定物体名、即ち「色」の属性と「大きさ」の属性毎
の測定物体名を得られる。ここでは、属性として色およ
び大きさを取っているが、物体の特徴をとらえるものを
さらに付け加えることも可能である。また、測定物体特
徴名とは、測定物体の該当する特徴量の状態の名前で、
「電話」の色の特徴量の測定物体特徴名は「灰」とな
る。一方、大きさのように、相対的な情報が重要で、絶
対的な「大きい」「小さい」という表現では大きさの感
じがつかみにくいような場合、「植木鉢」の大きさの特
徴量の測定物体特徴名を、測定物体名と同じ「植木鉢」
としてもよい。なお、入力計測装置４から出力される基
準位置は、実際には図１０に示すｍ個の配列データであ
る。また、〔数３〕で求めた各属性に対応する測定物体
名、測定物体特徴名を入れて作成した図１１の配列デー
タが物体内容Ｅとして回答合成装置５に出力される。

【００３３】回答合成装置５は、指示認識装置２から
検索範囲Ｗ、入力計測装置４から基準位置Ｗｂおよび物
体内容Ｅを受け取り、まず、検索範囲Ｗ内の基準物体名
の基準位置が算出できたかどうか（画像入力内に存在し
ているかどうか）を調べる。画像入力内に存在していな
かった場合には、基準物体が存在しないことを警告メッ
セージとして出力する。警告メッセージは、上記検索範
囲Ｗ内の基準物体名と図１２の警告登録データとを照合
し、一致した音声出力を選択する。例えば、「机の上に
何がありますか」といった質問に対して、机がない場合
は、「机がありません」という警告メッセージを出力す
る。また、存在していた場合には、基準位置と検索範囲
から、検索範囲の絶対位置である絶対検索範囲を算出す
る。次に、物体内容の重心が絶対検索範囲内にあるもの
を対象物体内容として抜き出す。この状態は図７に示さ
れる。即ち、絶対検索範囲内に重心の存在する測定物体
が対象物体として選択され、この対象物体の物体内容Ｅ
が対象物体内容として抽出される。最後に、上記対象物
体内容を各属性の測定物体名が全て一致している場合に
は、その測定物体名を音声出力に変換し、全て一致して
いない場合には、対象物体内容の各属性、測定物体名、
測定物体特徴名を合成して音声出力に変換する。そし
て、音声出力をスピーカ６から出力する。なお、出力手
段は物体の説明が伝わればよいので、音声に代えて画面
出力などの別の方法によって出力することも可能であ
る。

【００３４】前記絶対検索範囲は、説明しようとする物
体の検索範囲を示すものであって、入力された指示から
選択された検索範囲の基準物体名に対応する基準位置
と、検索範囲のＸ／Ｙ幅およびＸ／Ｙ重心オフセットか
ら算出することができる。この算出方法を下記〔数４〕
に示す。

【数４】

【００３５】その後、物体内容の重心位置が算出した絶
対検索範囲内にあるものを選択して、対象物体内容とす
る。

【数５】

【００３６】また、対象物体内容から音声出力への変換
は、対象物体内容の各属性の物体名と図６の回答登録デ
ータとを照合し、全て一致した音声出力を選択する。従
って、上記の実施例では、回答登録データの色の測定物
体名と大きさの測定物体名が一致していれば、音声出力
を「ＸＸＸがあります」という内容にし、一致していな
ければ、「ＸＸＸに近い色で、ＹＹＹぐらいの大きさの
ものがあります」という内容にすればよい。

【００３７】音声出力の例を示すと次のようになる。い
ずれも、「机の上に何がありますか」の質問に対する音
声出力である。１）図１３の例のように、電話が机の上にあって、植木
鉢が机の左下にある場合。なお、測定物体として電話が
登録されている。音声出力→「電話があります」２）図１４の例のように、ゴミ箱が机の上にあって、植
木鉢が机の左下にある場合。なお、測定物体としてゴミ
箱が登録されていない。この場合、対象物体内容の色の
測定物体名が「電話」、測定物体特徴名が「灰」で、大
きさの測定物体名および測定物体特徴名が「植木鉢」と
なる。音声出力→「灰色に近い色で、植木鉢ぐらいの大きさの
ものがあります」３）図７の例のように、電話とゴミ箱が机の上にあっ
て、植木鉢が机の左下にある場合。なお、測定物体とし
てゴミ箱が登録されていない。音声出力→「電話があります」「灰色に近い色で、植木
鉢ぐらいの大きさのものがあります」４）対象物体内容の色の測定物体名および測定物体特徴
名が「緑」という概念で、大きさの測定物体名および測
定物体特徴名がない場合。音声出力→「緑に近い色のものがあります」本実施例では、図６に示すように、これらの属性毎の測
定物体名、測定物体特徴名と、音声出力の組み合わせが
予め登録されているため、音声出力の内容は、属性毎の
測定物体名の組み合わせがわかればよい。

【００３８】なお、音声出力には、「近い」や「ぐら
い」の表現を加えることによって、より正確な表現とな
るようにしているが、「近い」や「ぐらい」の表現をは
ずすことも可能である。また、既述のように測定物体登
録データに「緑」のような概念の測定物体を登録してお
くことによって、「緑に近い色のものがあります」とい
う内容の出力を行うこともできるようになる。また、図
６では、色の測定物体名と大きさの測定物体名の組合せ
に対する音声出力を予めテーブルで示しているが、この
回答登録データの容量をより小さくするために、測定物
体名の組合せに従って、出力音声を合成するように構成
することも可能である。このような場合には、文章の形
や単語のつなぎ目などに最適なものを選択する必要があ
るために、条件分岐で処理を実行することになる。さら
に、音声出力で、全く同じものが複数ある場合、その数
を音声出力に挿入して、一回の音声出力にすることも容
易に実現出来る。例えば、「電話があります」という音
声出力が２つある場合、回答合成装置５がその状態を検
出し、「電話が２つあります」という音声出力に置き換
えて、音声出力を１回で済ませることが出来る。また、
図１５に示すように、マイクロホン１、カメラ３および
スピーカ６を一体化し、これらを使用者の頭部にヘッド
バンド２０により固定することで、使用者の頭部の向き
に応じてカメラ３による撮像範囲を自由に変更すること
が出来る。このように構成することにより、物体説明を
行うことの出来る範囲を広く出来、しかも使用者の視線
に応じた範囲の説明を行うことが出来る。

【００３９】

【発明の効果】以上説明したように、本発明では、登録
済の物体である場合には、その物体の名前を直接出力
し、登録外の物体である場合には、登録済の物体の名前
と属性とを組み合わせた表現で出力するようにしたこと
によって、登録外の物体が存在する場合に「何かがあり
ます」や「何があるかわかりません」のような出力を避
けて、「ＸＸＸに近い色で、ＹＹＹに近い大きさのもの
があります」のような出力を行うことができるために、
物体の説明に対して柔軟性を持たせることができる。こ
の場合、指示内容解析手段を設けることにより、基準物
体に対する特定の範囲内の物体の説明を行わせるように
できるために、例えば、基準物体として机を指定した場
合、その机の上に何があるか回答することを指示するこ
とができ、質問に対する物体の説明を行うこともできる
ようになる。また、物体の説明を音声によって行うこと
によって可視出力が困難な環境においての出力が可能で
あり、また、属性が接近していることを表す、「近い」
「ぐらい」などの表現を加えて出力することにより、よ
り本物に近い説明を行うことができる。

【００４０】また、カメラ等の入力手段を使用者の頭部
等、身体の一部に固定する手段を設けることにより、使
用者の向く位置の物体説明を行わせることが出来、非常
に実用的となる。さらに、上記基準物体が存在しないと
きには、その旨の警報を行うために、何も出力しないと
いう状況になるのを防止出来る。さらに、音声出力で、
全く同じものが複数ある場合、その数を音声出力に挿入
して、一回の音声出力にすることも容易に実現出来、冗
長な出力がなくなる利点がある。

【図面の簡単な説明】

【図１】本発明の物体説明装置のブロック図である。

【図２】上記物体説明装置の動作を示すフローチャート
である。

【図３】上記物体説明装置に使用する指示登録データの
データ構造を示す図である。

【図４】上記物体説明装置において検索範囲を示すイメ
ージ図である。

【図５】（Ａ），（Ｂ）上記物体説明装置の基準物体登
録データ、測定物体登録データのデータ構造を示す図で
ある。

【図６】上記物体説明装置の回答登録データのデータ構
造を示す図である。

【図７】上記物体説明装置において物体を切り出す時の
イメージ図である。

【図８】ｌａｂｅｌｉｎｇ手順のイメージ図である。

【図９】測定物体更新データのデータ構造を示す図であ
る。

【図１０】基準位置データのデータ構造を示す図であ
る。

【図１１】物体内容データのデータ構造を示す図であ
る。

【図１２】警告登録データのデータ構造を示す図であ
る。

【図１３】上記物体説明装置において物体を切り出す時
のイメージ図（他の例）である。

【図１４】上記物体説明装置において物体を切り出す時
のイメージ図（他の例）である。

【図１５】上記物体説明装置の入力部および出力部の構
成を示す図である。

【符号の説明】

１マイクロホン２指示認識装置３カメラ４入力計測装置５回答合成装置６スピーカ１１指示登録データ１２基準物体登録データ１３計測物体登録データ１４回答登録データ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭61−231630（ＪＰ，Ａ) 特開平６−76065（ＪＰ，Ａ) 特開平６−36183（ＪＰ，Ａ) 特開平６−301726（ＪＰ，Ａ) 特開平２−98988（ＪＰ，Ａ) 増井重弘ほか，風景画の画像理解，第９回ファジィシステムシンポジウム講演論文集，日本，第９回ファジィシステムシンポジウム実行委員会，1993年５月 19日，725−728 福山義幸ほか，機能言語理論による物語の画像理解に関する一考察，第９回ファジィシステムシンポジウム講演論文集，日本，第９回ファジィシステムシンポジウム実行委員会，1993年５月19 日，733−736 増井重弘ほか，ファジィ理論を用いた風景画の画像理解，日本ファジィ学会誌，日本，日本ファジィ学会，1994年10 月15日，Ｖｏｌ．６，Ｎｏ．５，1000− 1011 廣田薫ほか，実時間動画理解システムにおけるファジィフレームによる知識表現，第19回知能システムシンポジウム, 日本，1994年３月23日，ＳＹ0002／94 ／0000−0053，53−56 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 280 G06T 7/00 300 G06T 1/00 G06N 7/02 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】物体を検出するセンサ手段と、複数の物体について、物体の名前とこの物体の色、大き
さなどの複数の属性の特徴量とを含む物体データを予め
記憶する特徴量記憶手段と、前記センサ手段の検出データから特定の範囲内に存在す
る物体の複数の属性についてその特徴量をそれぞれ抽出
する抽出手段と、前記抽出手段で抽出した複数の属性の特徴量に基づいて
前記特徴量記憶手段を検索し、属性毎にその特徴量が対
応する物体を取り出し、属性毎に取り出した物体が全て
一致している場合には該物体の名前を出力し、属性毎に
取り出した物体が全て一致していない場合にはそれらの
物体の名前又は属性を組み合わせたメッセージを生成し
出力する物体説明手段と、を備えてなる物体説明装置。
【請求項２】入力された指示内容を解析する指示内容
解析手段を更に備え、前記抽出手段はその解析した内容
に含まれる物体を基準物体として該基準物体を前記セン
サ手段の検出データから抽出するとともに、前記特定の
範囲をこの基準物体の位置を基準として設定することを
特徴とする、請求項１記載の物体説明装置。
【請求項３】前記指示内容解析手段は、音声が入力さ
れる音声入力手段と、該音声入力手段に入力された音声
から前記指示内容を解析する手段を含むことを特徴とす
る、請求項２記載の物体説明装置。
【請求項４】前記センサ手段は物体の画像を検出する
カメラであることを特徴とする、請求項１〜３のいずれ
かに記載の物体説明装置。
【請求項５】前記カメラは、物体説明装置本体の使用
者の身体への固定部材を備えることを特徴とする、請求
項４記載の物体説明装置。
【請求項６】前記物体説明手段は、前記物体の名前や
複数の物体の名前又は属性を組合せたメッセージを音声
出力する請求項１〜５のいずれかに記載の物体説明装
置。
【請求項７】前記物体説明手段は、複数の物体の名前
と属性とを組み合わせて出力する時に、該組合せに属性
が接近していることを表す、「近い」「ぐらい」などの
表現を加えたメッセージを生成することを特徴とする、
請求項１〜６のいずれかに記載の物体説明装置。
【請求項８】前記抽出手段が基準物体を抽出出来なか
ったときに、その旨を警報出力する手段を備えたことを
特徴とする請求項２〜３のいずれかに記載の物体説明装
置。
【請求項９】前記物体説明手段は、前記抽出手段によ
り抽出した特徴量に対応する物体が複数個ある場合に、
その数も出力することを特徴とする、請求項１〜８のい
ずれかに記載の物体説明装置。
【請求項１０】音声入力を受け入れ、入力された音声
入力から、予め基準物体名と検索範囲の記憶されている
指示登録データに基づいて指示内容を解析して検索範囲
Ｗを出力する指示認識装置と、カメラ等により認識された物体の画像が入力され、該入
力画像から、予め色、大きさなどの複数の属性の特徴量
が物体名毎に記憶されている基準物体登録データに基づ
いて、候補となる基準物体の名前および位置を抽出し基
準位置データＷｂとして出力する部分、および前記入力
画像から、予め複数の属性の特徴量が物体名毎に記憶さ
れている測定物体登録データに基づいて、属性毎にその
特徴量が対応する測定物体の名前および位置を抽出し、
物体内容Ｅとして出力する部分を含む入力計測装置と、前記指示認識装置および入力計測装置の情報を受け取っ
て、前記検索範囲内に存在する測定物体の物体内容を前
記物体内容Ｅから抽出して対象物体内容を獲得し、該対
象物体内容の複数の属性の測定物体名が全て一致してい
るときにはその測定物体名を音声出力に変換し、一部で
も一致していなければ対象物体内容の複数の属性又は各
属性に対応する複数の測定物体名を組み合わせたメッセ
ージを生成し、このメッセージを音声出力に変換する回
答合成装置と、を備えてなる物体説明装置。
【請求項１１】センサ手段によって物体を検出し、該
センサ手段の検出データから特定の範囲内に存在する物
体について、色、大きさなどの複数の属性の特徴量を抽
出し、該抽出手段で抽出した複数の属性の特徴量に基づ
いて、複数の物体について、物体の名前とこの物体の
色、大きさなどの複数の属性の特徴量とを含む物体デー
タを予め記憶する特徴量記憶手段を検索し、属性毎にそ
の特徴量が対応する物体を取り出し、属性毎に取り出し
た物体が全て一致している場合には該物体の名前を出力
し、属性毎に取り出した物体が全て一致していない場合
にはそれらの物体の名前又は属性を組み合わせたメッセ
ージを生成し出力することを特徴とする、物体説明方
法。
【請求項１２】入力された指示内容を解析し、その解
析した内容に含まれる物体を基準物体として前記センサ
手段で検出した検出データから抽出するとともに、前記
特定の範囲をこの基準物体の位置を基準として設定する
ことを特徴とする、請求項１１記載の物体説明方法。