JP6705656B2

JP6705656B2 - 視覚補助装置及びオブジェクトの分類の検出方法

Info

Publication number: JP6705656B2
Application number: JP2016014319A
Authority: JP
Inventors: ダヤルラジブ
Original assignee: トヨタモーターエンジニアリングアンドマニュファクチャリングノースアメリカ，インコーポレイティド
Priority date: 2015-01-30
Filing date: 2016-01-28
Publication date: 2020-06-03
Anticipated expiration: 2036-01-28
Also published as: JP2016143060A; US20160225286A1; US10037712B2

Description

本明細書は、視覚補助装置（vision-assist devices）に関し、より詳細には、環境中で検出されたオブジェクトに関する聴覚制限情報を提供する視覚補助装置に関する。

盲人、又は視覚障碍者は、環境中のオブジェクトの位置及び種類を検出することが容易ではないので、環境中を進むことは難しい。盲人、又は視覚障碍者は、空間を進むときに補助的にステッキを使用することがある。コンピュータベースの視覚システムは、画像データに存在するオブジェクトを検出可能であるが、このような視覚システムは、オブジェクトの種類を誤検出することがある。オブジェクトがある種のオブジェクトであるとコンピュータベースの視覚システムが人に信じさせたものの、オブジェクトが異なるものであることが分かったとき、人はコンピュータベースの視覚システムが提供する情報を信じることができなくなるおそれがある。したがって、このようなコンピュータベースの視覚システムは、検出したオブジェクトに関する情報に関して信用が欠如するため、盲人、又は視覚障碍者の補助には役に立たなくなるおそれがある。

このように、盲人、又は視覚障碍者のための代替的な視覚補助装置への要求がある。

１つの実施形態では、視覚補助装置は、シーンに対応する画像データを生成する少なくとも１つの画像センサと、プロセッサと、音声装置とを含む。プロセッサは、少なくとも１つの画像センサから画像データを受信し、シーンに存在する検出オブジェクトの分類を決定するために画像データにおいてオブジェクト認識を実行し、検出オブジェクトの分類に対する信頼値を決定するようにプログラミングされる。信頼値は、検出オブジェクトの分類が検出オブジェクトの実際の分類に一致することの信頼性に基づく。また、プロセッサは、信頼値に基づいて音声信号を生成するようにプログラミングされる。音声装置は、プロセッサから音声信号を受信し、音声信号から音声メッセージを生成する。音声メッセージは、検出オブジェクトの分類及び信頼値を示す。

他の実施形態において、オブジェクトの分類を検出する方法は、少なくとも１つの画像センサからシーンの画像データを受信し、シーンに存在する検出オブジェクトの分類を画像データからプロセッサにより決定し、検出オブジェクトの分類に対する信頼値を決定することを含む。信頼値は、検出オブジェクトの分類が検出オブジェクトの実際の分類に一致することの信頼性に基づく。また、方法は、検出オブジェクトの分類及び信頼値を示す音声メッセージを生成することを含む。

図１は、説明される１つ又は２つ以上の実施形態に従う視覚補助装置を概略的に示す図である。図２は、説明される１つ又は２つ以上の実施形態に従って、ユーザの首の周りに装着されるように構成された視覚補助装置を概略的に示す図である。図３は、説明される１つ又は２つ以上の実施形態に従って、ユーザによって装着された図２に示す視覚補助装置を概略的に示す図である。図４は、説明される１つ又は２つ以上の実施形態に従って、眼鏡として構成された視覚補助装置を概略的に示す図である。図５は、ユーザが進むことができる環境を概略的に示す図である。図６は、説明される１つ又は２つ以上の実施形態に従って、環境内でオブジェクトを検出し、検出オブジェクトに関する音声情報を提供する処理を示す図である。図７は、説明される１つ又は２つ以上の実施形態に従う信頼値の範囲を示す図である。図８は、説明される１つ又は２つ以上の実施形態に従う視覚補助装置がユーザフィードバック時の受信及び動作を示すフローチャートである。

本明細書で説明される実施形態が提供する構成及び付加的な構成は、図面と共に以下の詳細な説明を考慮することで、より深く理解されることになる。

図面で説明される実施形態は、実際は説明に使用される例示的なものであり、クレームで規定される主題を限定することを意図するものではない。説明される実施形態の以下の説明は、同一の構造は同一の符号が付された図面と共に読むことで理解できる。

図面を参照すると、本開示の実施形態は、環境を進む盲人又は視覚障碍の個々人を補助する視覚補助装置を対象とする。本明細書で説明される実施形態は、１つ又は２つ以上の画像センサ（すなわち１つ又は２つ以上のカメラ）を使用してユーザの環境の画像データを撮像する装置として構成されてもよく、ユーザの環境内のオブジェクト又は人々を検出するためにオブジェクト識別分析を実行してもよい。このような情報は、盲人又は視覚障碍者が環境中を進むときに有用であろう。オブジェクト識別分析は、１００％正確な結果を得ることができないので、本明細書で説明さえる実施形態は、装置が検出したオブジェクトの種類だけでなく、環境内に物理的に存在するオブジェクトの形式又は分類の信頼性の程度のユーザへの音声メッセージを生成する。この方法では、ユーザは、視覚補助装置が提供した音声情報を信頼して受け入れるか否かを自分で決定できる。

限定されない例において、視覚補助装置は、階段がユーザの正面にあることを検出してもよく、「階段があなたのすぐ前にあることの正確性は６０％です」という音声メッセージを生成してもよい。以下により詳細に説明されるように、音声メッセージは、「階段があなたのすぐ前にあることを非常に確信します」又は「階段があなたの前にあると思いますが、自信はありません」のように、程度の一般的な用語の中にオブジェクト識別情報を提供してもよい。次いで、ユーザは、オブジェクトを更に調査することを決定してもよく、音声メッセージを無視してもよく、他の動作をしてもよい。

視覚補助装置又はオブジェクトの分類を検出する方法の種々の実施形態は、本明細書で詳細に説明される。

ここで図１を参照すると、視覚補助装置１００が図示される。視覚補助装置は、筐体１８０を有し、１つ又は２つ以上のプロセッサ１１０と、１つ又は２つ以上の画像センサ１３０と、コンピュータが読み取り可能な命令を記憶する１つ又は２つ以上のメモリコンポーネント１４０と、１つ又は２つ以上の音声装置１５０と、１つ又は２つ以上のユーザ入力装置１６０とを筐体１８０の内部又は表面に有する。より詳細に説明するように、筐体１８０は、何れの形状を有してもよく、いくつかの実施形態では、ユーザが身に着けることでユーザが視覚補助装置１００を操作するときにユーザの手を自由にすることができる。

メモリコンポーネント１４０は、揮発性及び不揮発性の非一時的なコンピュータ読み取り可能な媒体として構成されてもよく、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ及び／又は他の形式のランダムアクセスメモリを含む）、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、ＤＶＤ（digital versatile discs）、磁気ディスク及び／又は他の形式の記憶素子のようなものを含んでもよい。加えて、以下により詳細に説明するように、メモリコンポーネント１４０は、操作論理、オブジェクト認識論理及び音声メッセージ生成論理を他の物と共に記憶するように構成されてもよい。メモリコンポーネント１４０は、１つ又は２つ以上の画像センサが撮像した画像データ、又は外部から獲得された画像データ等を、以下で説明されるオブジェクト識別分析を実行するために記憶してもよい。

また、ローカルインタフェース１２０は、図１に含まれ、バス又は他のインタフェースとして実装されて、視覚補助装置１００の構成素子の間の通信を補助してもよい。図１に示されないが、視覚補助装置１００は、遠隔のコンピュータ装置又は遠隔のコンピュータネットワークに接続するためにネットワークインタフェースを含んでもよい。ネットワークインタフェースモジュールは、モデム、ＬＡＮポート、ワイヤレスフィディリティ（wireless fidelity、Ｗｉ−Ｆｉ）カード、ＷｉＭａｘカード、モバイル通信ハードウェア、及び／又は他のネットワーク及び／又は装置と通信するための他のハードウェアを含んでもよい。

１つ又は２つ以上のプロセッサ１１０は、（メモリコンポーネント１４０等から）情報を受信し、命令を実行するように構成された何れかの処理コンポーネントを含んでもよい。

１つ又は２つ以上の画像センサ１３０は、視覚補助装置１００が動作する環境（シーン等）の画像データを撮像するように構成されてもよい。画像データは、シーン内のオブジェクト及び人々のような視覚補助装置１００が動作するシーンをデジタルで示す。画像センサ１３０は、例えば、可視スペクトルの波長を有する光学的放射を検出するための、非限定的には固体撮像デバイス画像センサ、相補型金属酸化膜半導体センサのような画像データを撮像するように動作する何れかのセンサとして構成されてもよい。１つ又は２つ以上の画像センサ１３０は、赤外線波長のような可視光の波長の外側の光学的放射を検出するように構成されてもよい。いくつかの実施形態では、２つの画像センサ１３０が提供されて、深さ情報を撮像することができるステレオ画像データを生成する。

１つ又は２つ以上の音声装置１５０は、プロセッサ１１０から音声信号を受信（直接的に、又はアンプ、ドライバ、ＤＡコンバータ等の他のハードウェアから間接的に）して、ユーザが聞くことができる音声メッセージを生成することができるスピーカとして構成されてもよい。いくつかの実施形態では、１つ又は２つ以上の音声装置１５０は、第１スピーカ及び第２スピーカを含み、音声メッセージがユーザにステレオで提供されてもよい。

１つ又は２つ以上のユーザ入力装置１６０は、視覚補助装置１００とユーザが通信するために提供されてもよい。１つ又は２つ以上のユーザ入力装置１６０をユーザが使用して、プログラムの優先度又は設定のようなタスクを達成してもよく、視覚補助装置１００に命令を提供してもよく、視覚補助装置１００にフィードバックを提供してもよい。１つ又は２つ以上のユーザ入力装置１６０は、適当な何れの構造であってもよい。例えば、１つ又は２つ以上のユーザ入力装置１６０は、キーボード、ボタン、スイッチ、タッチパッド、マイク等として構成されてもよい。適当な何れのユーザ入力装置を利用してもよい。

視覚補助装置１００は、電源、電圧調整器、ＡＤコンバータ、ＤＡコンバータ、ドライバ、信号調整回路、電磁フィルタ回路のような図１に示されない付加的なコンポーネントを含んでもよい。

ここで、図２及び３を参照すると、例示的な視覚補助装置１００が非限定的に図示される。図２は例示的な視覚補助装置１００がユーザなしに示され、図３はユーザ１７０が装着した図２の例示的な視覚補助装置１００が示される。図２及び３の双方を参照すると、例示的な視覚補助装置１００は、ユーザ１７０の首の周りに装着されるネックレス構造を有する。視覚補助装置の筐体１８０は、首部１８４、第１胸部１８２Ａ及び第２胸部１８２Ｂを規定する。筐体１８０は、図２及び３に示すものと異なるように構成されてもよく、筐体は、他の実施形態において、他の形状及び大きさを有してもよいことを理解すべきである。

いくつかの実施形態では、筐体１８０は、非限定的にはエチレンビニルアセレートのような柔軟な材料で形成されてもよい。他の実施形態では、筐体１８０は、硬い材料から形成される。

図３を具体的に参照すると、視覚補助装置１００は、ユーザ１７０の首の周りに装着されて、首部１８４がユーザの首の後方に接触し又は近接するように構成されてもよい。第１胸部１８２Ａ及び第２胸部１８２Ｂは、ユーザの胸を覆う。図２及び３に示す例では、第１胸部１８２Ａは、第１音声装置１５０Ａと、第１画像センサ１３０Ａと、タッチパッド又は機械的なボタンとして構成された第１ユーザ入力装置１６０Ａとを含む。同様に、第２胸部１８２Ｂは、第２音声装置１５０Ｂと、第２画像センサ１３０Ｂと、第２ユーザ入力装置１６０Ｂとを含む。図２及び３に示す例示的な視覚補助装置１００の筐体１８０における種々のコンポーネントの配置は、説明を目的とするものであり、より多くのコンポーネント又はより少ないコンポーネントは、図２及び３に示す配置とは異なる方法で提供又は配置されてもよいことを理解すべきである。例えば、非限定的且つ代替的な配置では、第１胸部１８２Ａ及び第２胸部１８２Ｂの１つのみは、ユーザ入力装置を含んでもよい。他の実施形態では、第１音声装置１５０Ａ及び第２音声装置１５０Ｂは、筐体に配置されずに、ユーザが装着するヘッドホンとして構成されてもよい。

第１画像センサ１３０Ａ及び第２画像センサ１３０Ｂは、画像データを撮像して、以下で詳細に説明さえるように、オブジェクト及び人々の検出のためのオブジェクト認識アルゴリズムが使用するユーザが進む環境のようなシーンの３次元画像を生成するように構成される。図３に示すように、第１画像センサ１３０Ａ及び第２画像センサ１３０Ｂは、第１胸部１８２Ａ及び第２胸部１８２Ｂに配置され、正面に向き、ユーザの真正面のシーンの画像データを撮像する。他の実施形態において、１つ又は２つ以上の付加的な画像センサを筐体に配置して、ユーザの左右及び／又は後方のようなユーザ１７０の正面以外の方向の画像を提供してもよい。

第１音声装置１５０Ａ及び第２音声装置１５０Ｂは、ユーザによって受信されることを意図する音声メッセージを生成する。音声メッセージは、ユーザにメニュー案内オプションを提供して、ユーザが視覚補助装置１００をプログラムし又は視覚補助装置１００のパラメータを設定してもよい。また、音声メッセージは、以下に詳細に説明されるように、シーンについての環境情報を含んでもよい。２つの音声装置が示されるが、より多い音声装置が提供されてもよく、より少ない音声装置が提供されてもよい。いくつかの実施形態では、マイクがユーザ入力装置として提供されて、視覚補助装置１００の音声制御を可能にしてもよい。この方法では、ユーザは、音声命令を使用して、視覚補助装置１００にフィードバックを提供してもよい。非限定的な例では、第１音声装置１５０Ａ及び／又は第２音声装置１５０Ｂは、音声命令の受信及び音声メッセージ／音の発信の双方が可能なスピーカ／マイクの組み合わせとして構成されてもよい。

ここで、図４を参照すると、眼鏡として構成された例示的な視覚補助装置２００は、図示される。この例では、筐体２８０は、ユーザが装着するように操作可能な眼鏡フレームとして構成される。第１前方画像センサ２３０Ａ及び第２前方画像センサ２３０Ｂは、筐体２８０のそれぞれの端部に配置される。上述のように、第１前方画像センサ２３０Ａ及び第２前方画像センサ２３０Ｂは、シーンの画像データを撮像可能な何れの装置として構成される。プロセッサ及び他のハードウェア（付図示）は、筐体２８０に内部に配置される。

説明される視覚補助装置２００は、ユーザの耳の周りに装着されるように構成されるイヤホン２９０を更に含む。イヤホンは、ユーザの耳に挿入され、本明細書で説明される音声メッセージを生成する音声装置２５０を含む。例示的なイヤホン２９０は、視覚補助装置２００に情報（すなわち音声命令）を入力するユーザ入力装置としてマイク２６０を含んでもよい。このように、イヤホン２９０は、視覚補助装置２００の入力装置／出力装置として動作する。符号２９５で示されるように、イヤホン２９０は、筐体２８０の内部のコンポーネント（すなわちプロセッサ）と無線通信してもよい。他の実施形態では、イヤホン２９０は、眼鏡フレームの筐体２８０と一体化される。

ここで、視覚補助装置１００の動作が説明される。図５は、ユーザが進んでもよいシーン又は環境３００を示す。例えば、環境３００は、小売店であってもよい。いくつかのオブジェクト又は地物は、第１ゴミ箱３０１Ａ、及び第２ゴミ箱３０１Ｂ、男性用トイレ表示３０２により示される男性用トイレ、女性用トイレ表示３０３で示される女性用トイレ、テーブル３０４、ランプ３０５及び出口表示３０６で示される出口のように図示される環境３００の内部に存在する。ユーザが環境３００を進むとき、視覚補助装置１００は、画像データを撮像し、環境内のオブジェクトを検出する。

図６は、例えば図５に示す環境３００のような環境内のオブジェクトの検出処理、及び環境内で検出されたオブジェクトについて視覚補助装置のユーザへの音声フィードバックの提供処理を示す。ユーザが環境３００を進むとき、ブロック４１０において、視覚補助装置１００は、１つ又は２つ以上の画像センサ１３０を使用して画像データを撮像する。画像データは、１つ又は２つ以上の静止画像、若しくは多くの連続するデジタル画像で構成されるビデオの形式であってもよい。画像データは、例えば、メモリコンポーネント１４０に記憶されてもよい。ブロック４２０において、プロセッサ１１０は、画像データにアクセスし、オブジェクト認識論理に従って、画像データにおいて、１つ又は２つ以上のオブジェクト認識アルゴリズムを実行する。オブジェクト認識論理は、シーンを示す画像データ内の１つ又は２つ以上のオブジェクトを検出する。

既知のオブジェクト認識アルゴリズム又は未だ開発されていないオブジェクト認識アルゴリズムを利用して、環境を示す画像データ内のオブジェクトを検出してもよい。例示的なオブジェクト認識アルゴリズムは、エッジ検出アルゴリズム、コーナ検出アルゴリズム、ブロブ検出アルゴリズム、機能説明アルゴリズム（ＳＩＦＴ（scale-invariant feature transform）、ＳＵＲＦ（speeded up robust features）、ＧＬＯＨ（gradient location and orientation histogram）等）を非限定的に含んでもよい。本明細書で使用する時、用語「オブジェクト認識アルゴリズム」は、画像データに存在する人を検出する顔検出アルゴリズムを含むことを理解すべきである。

ブロック４３０において、オブジェクトの分類は、オブジェクト認識処理の結果として決定される。分類は、検出されたオブジェクトの種類を示す。例えば、図５に示す環境３００を示す画像データは、ごみ箱３０１Ａを含む。オブジェクト認識アルゴリズムは、オブジェクト３０１Ａをゴミ箱として分類することができる。

オブジェクト認識アルゴリズムは、１００％の精度でなく、種々の理由でオブジェクトを誤分類する可能性がある。オブジェクトが不正確に分類される非限定的な理由は、低環境光、画像データのエラー、環境のオブジェクトの姿勢、異なる種類のオブジェクトの間の類似した形状、及びオブジェクトへの不慣れである。本開示のオブジェクト認識アルゴリズムは、画像データから検出されたオブジェクトに対して信頼値を生成する（ブロック４４０）。信頼値は、物理的な環境の実際のオブジェクトは、画像データから決定されたオブジェクトの種類であるか否かに関する信頼の程度を示す。信頼値は最小値（すなわち、最も低い信頼性）から最大値（すなわち、最も高い信頼性）までの範囲を有する。低信頼性は、オブジェクト識別が検出オブジェクトの適切な分類を、高信頼性を有して決定できないときに生成される。反対に、オブジェクト認識は、検出オブジェクトの分類に確信があるとき、高信頼値を生成する。いくつかの実施形態では、信頼値は、最小値としての０％から最大値としての１００％までの範囲のパーセンテージである。他の実施形態では、信頼値は、パーセンテージの形式ではなく、所定のスケール（例えば、０から１．０まで又は０から２０まで）の数字であってもよい。

視覚補助装置１００のユーザは、視覚補助装置１００が提供する情報を信頼すべきである。視覚補助装置１００が、オブジェクトは、環境の実際のオブジェクトと異なるものであるとユーザに繰り返し伝えると、ユーザは、視覚補助装置１００を使用したくなくなる可能性がある。本開示の実施形態は、オブジェクト認識アルゴリズムが生成した信頼値を、盲人又は視覚障碍者が聞いて理解できる音声メッセージに変換する。音声メッセージは、検出オブジェクトの分類が環境に物理的に存在するオブジェクトの実際の種類であるか否かについての正解性の程度を提供する。適切な方法で音声情報をユーザに提供することで、ユーザは、環境の情報を信頼すべきか否かを決定することができ、視覚補助装置１００が提供する情報を全体として信頼することができ、視覚補助装置１００を使用し続けることができる。

ブロック４５０において、プロセッサ１１０は、検出オブジェクトの分類と共に検出オブジェクトの信頼値の表示を少なくとも含む音声信号を生成する。本明細書で使用するとき、音声信号は、プロセッサ（単体若しくは付加的な回路又は集積回路と協働）が生成し、１つ又は２つ以上の音声装置１５０に提供され（ブロック４６０）、１つ又は２つ以上の音声装置１５０により発せられる音声信号を示すデジタル信号又はアナログ信号である。

１つの実施形態では、プロセッサ１１０が生成する音声信号は、既知のコンピュータスピーチ合成処理又は未だ開発されていないコンピュータスピーチ合成処理により生成されてもよい。いくつかの実施形態において、音声信号は、自然な会話である（すなわち、完全なセンテンスである）音声メッセージを生成する。例えば、音声装置１５０に提供される音声信号は、「４０％の確度であなたの前にゴミ箱があります」と主張する。このように、音声メッセージは、オブジェクトの分類（例えば、「ゴミ箱」）及び信頼値の音声表示（例えば、４０％の確度）の双方を含む。

ブロック４６０において、音声装置１５０によって生成される音声メッセージの他の形式は、信頼性の実際のパーセンテージを復唱せずに、視覚補助装置１００が検出したオブジェクトの分類を他の方法で特定する。非限定的な例では、音声メッセージは、「確かでない」、「と思う」、「まず間違いない」、「かなり確信する」、「確かな」、「間違いなく」等のような言葉及び表現を使用することで、分類を特定する。例えば、音声メッセージは、信頼値が非常に低いとき、「あなたの前にゴミ箱があると思うが、確かではない」と主張してもよく、信頼値が非常に高いとき、「間違いなくあなたの前にゴミ箱がある」と主張してもよい。情報をこのように特定することで、視覚補助装置１００のユーザは、情報を信用するか否かを決定でき、情報を使用して、どのようにユーザが応答するかを決定してもよい（例えば、情報を無視する、より近くで見る）。

ここで、音声メッセージの信頼性のために変換的に特定する表現を選択する非限定的な方法が説明される。図７を参照すると、信頼値は、最小信頼値（例えば０）〜最大信頼値（例えば１００）までの範囲を有する信頼値範囲５００から選択されてもよい。信頼値範囲は、複数のサブインクリメント５０２Ａ〜５０２Ｅに更に分割される。いずれの数のサブインクリメントを提供してもよい。非限定的な例として、サブインクリメント５０２Ａ内の信頼値は０から２０の範囲であり、サブインクリメント５０２Ｂ内の信頼値は２１から４０の範囲であり、サブインクリメント５０２Ｃ内の信頼値は４１から６０の範囲であり、サブインクリメント５０２Ｄ内の信頼値は６１から８０の範囲であり、サブインクリメント５０２Ｅ内の信頼値は８１から１００の範囲である。

サブインクリメント５０２Ａ〜５０２Ｅのそれぞれは、１つ又は２つ以上の関連付けられた記述を有する。音声説明は、信頼値に関して特定するステートメントである。サブインクリメント５０２Ａの音声説明は、サブインクリメント５０２Ｅの音声説明よりも検出オブジェクトの分類に対する確度の程度が低いことを示す。非限定的な例では、サブインクリメント５０２Ａに関連付けられた音声説明は、「確かでない」、「と思う」を含んでもよく、サブインクリメント５０２Ｅに関連付けられた音声説明は、「確信する」、「確かである」を非限定的に含んでもよい。多くの音声説明が可能であることを理解すべきである。

音声信号を生成するとき、特定の検出オブジェクトの分類の信頼値に関連付けられるサブインクリメントは、決定される。上述の例を使用すると、オブジェクト識別アルゴリズムは、７４の信頼値によりゴミ箱として図５のオブジェクト３０１Ａを検出すると、サブインクリメント５０２Ｄが選択される。プロセッサ１１０は、検出オブジェクト（例えば、ごみ箱）の分類を、サブインクリメント５０２Ｄｎｉ関連付けられた１つ又は２つ以上の音声説明（例えば、「まず間違いない」又は「かなり確信する」）と共に含むことによって、音声信号を生成する。例示的な音声信号は、「あなたの前にゴミ箱があるとかなり確信する」という音声メッセージを生成してもよい。

また、プロセッサ１１０は、例えば、左右への角度のような方向情報を音声メッセージに組み込んでもよい。また、距離情報が提供されてもよい（例えば、「あなたの左約３０度にあなたから約１０ｍのところにゴミ箱があると確信します」）。

いくつかの実施形態では、視覚補助装置１００は、ユーザのフィードバックに基づいて、ユーザの好みを学習してもよい。視覚補助装置１００は、音声情報をどのように提供するか、及び／又はどのような種類の音声情報を提供するかを調整してもよい。加えて、以下により詳細に説明するように、ユーザフィードバックは、検出オブジェクトを分類するオブジェクト認識アルゴリズムが使用する画像データを記憶するときに使用されてもよい。

図８のフローチャート６００を参照すると、ブロック６１０において、ユーザはユーザフィードバックを提供する。ユーザフィードバックは、１つ又は２つ以上のユーザ入力装置１６０によって提供されてもよい。例えば、ユーザフィードバックは、環境の実際のオブジェクトは、視覚補助装置１００が言ったものではなかったこと（すなわち、ユーザは、視覚補助装置１００が提供した分類を否定する）を示してもよく、ユーザフィードバックは、環境の実際のオブジェクトが視覚補助装置１００が言ったものと一致したことを確認してもよい。ブロック６２０において、ユーザフィードバックが分類を確認したことを示す場合、処理はブロック６３０に進み、検出オブジェクトの画像データ及び検出オブジェクトの分類は、データベースに記憶される。代替的には、実際の画像データでなく、検出オブジェクトの属性及び検出オブジェクトの分類が記憶されてもよい。このような情報は、将来、オブジェクトを検出するときにオブジェクト認識アリゴリズムにより使用されることで、正確性を向上できる。

しかしながら、ブロック６２０において、ユーザフィードバックは、視覚補助装置１００により提供された分類を確認しなかったとき、処理はブロック６４０に進み、ユーザフィードバックは、視覚補助装置１００が提供した検出オブジェクトの分類を拒否したか否かを評価する。ユーザフィードバックが視覚補助装置１００が提供した分類を拒否しない（例えば、ユーザフィードバックは、オブジェクトの分類に無関係である）とき、処理はブロック６５０で終了し、他の動作が行われることになる。ユーザフィードバックが視覚補助装置１００が提供した分類を実際に拒否した（ユーザが音声メッセージを無視するか、又はユーザが視覚補助装置１００が言ったものと異なるオブジェクトであると言うかの何れか）とき、処理はブロック６６０に進み、音声メッセージは、フィルタリング又は変更される。例えば、視覚補助装置は、４０％の確かさで検出オブジェクトがゴミ箱であることを示すことができる。ユーザが情報を拒否したとき、視覚補助装置は、４０％の確かさで検出オブジェクトがゴミ箱であること以上の何れのメッセージをユーザに提供しなくてもよい。

他のシナリオでは、ユーザフィードバックが視覚補助装置１００が言ったものと異なる分類を目標物が有することを示すとき、拒否された分類に関連付けられる情報は、記憶され、将来のオブジェクト認識を改良するために使用される。

ここで、本明細書で説明された実施形態は、盲人又は視覚障碍者のための視覚補助装置を目的とすることを理解すべきである。本明細書で説明される視覚補助装置は、ユーザの環境内のオブジェクトを検出する。視覚補助装置は、環境で検出されたオブジェクトの種類に関する音声メッセージを生成する。さらに、音声メッセージは、視覚補助装置が検出したオブジェクトの種類に関して視覚補助装置が正しいと信じる信頼性に関する特定のステートメントを含む。ユーザは、視覚補助装置が提供する情報に信頼を寄せられるかを知ることで、視覚補助装置に対する信頼性が向上する。

具体的な実施形態が本明細書で説明されるが、種々の他の変化及び修正がクレームされた主題の精神及び範囲を逸脱することなく可能であることを理解すべきである。また、クレームされた主題は種々の態様は、本明細書で説明されるが、このような態様は、組み合わされて利用される必要はない。したがって、クレームされた発明は、クレームの主題の範囲内でこのような変化及び修正を含むことを意図するものである。

Claims

シーンに対応する画像データを生成する少なくとも１つの画像センサと、
プロセッサであって、
前記少なくとも１つの画像センサから前記画像データを受信し、
前記シーンに存在する検出オブジェクトの分類を決定するために前記画像データにおいてオブジェクト認識を実行し、
前記検出オブジェクトの分類に対する信頼値を決定し、ここで前記信頼値は、前記検出オブジェクトの分類が前記検出オブジェクトの実際の分類に一致することの信頼性に基づき、
前記信頼値に基づいて音声信号を生成する、
ようにプログラミングされるプロセッサと、
前記プロセッサから前記音声信号を受信し、前記検出オブジェクトの分類及び前記信頼値を示す音声メッセージを前記音声信号から生成する音声装置と、
を有し、
前記信頼値は、信頼値範囲から選択され、前記信頼値範囲は、複数のサブインクリメントを含み、
前記プロセッサは、
前記音声メッセージに対するユーザフィードバック信号を受信し、
前記ユーザフィードバック信号に基づいて、前記信頼値範囲の前記複数のサブインクリメントを調整するように更にプログラミングされる、視覚補助装置。
前記信頼値は、前記検出オブジェクトの分類が前記検出オブジェクトの実際の分類と一致することの信頼性に基づくパーセンテージであり、
前記音声メッセージは、前記信頼値の前記パーセンテージを含む、請求項１に記載の視覚補助装置。
前記信頼値は、最小信頼値から最大信頼値の範囲を有する前記信頼値範囲から選択され、
前記信頼値範囲は、前記最小信頼値から前記最大信頼値までの前記複数のサブインクリメントを含み、前記複数のサブインクリメントのそれぞれのサブインクリメントは、複数の信頼値に広がり、
前記複数のサブインクリメントのそれぞれのサブインクリメントは、信頼性の程度を示す音声説明に関連付けられ、
前記音声信号は、選択された信頼値を含む前記複数のサブインクリメントの選択サブインクリメントを選択し、前記選択サブインクリメントに関連付けられた音声説明を前記音声信号に組み込むことで生成される、請求項１に記載の視覚補助装置。
前記少なくとも１つの画像センサは、第１画像センサと、第２画像センサとを有する、請求項１に記載の視覚補助装置。
ユーザに装着されるように構成される、請求項１に記載の視覚補助装置。
眼鏡フレームを更に有し、前記少なくとも１つの画像センサは、前記眼鏡フレームに接続される、請求項１に記載の視覚補助装置。
ユーザの耳に挿入されるように構成されたイヤホンを更に含み、前記音声装置は、前記イヤホンの内部に配置される、請求項６に記載の視覚補助装置。
前記プロセッサは、前記眼鏡フレームの内部に配置される、請求項６に記載の視覚補助装置。
ユーザによって装着されるように構成された筐体を更に含む、請求項１に記載の視覚補助装置。
前記筐体は、首部と、第１胸部と、第２胸部とを有する、請求項９に記載の視覚補助装置。
前記少なくとも１つの画像センサは、前記第１胸部及び／又は前記第２胸部の内部に配置される、請求項１０に記載の視覚補助装置。
前記プロセッサは、
前記音声メッセージに対するユーザフィードバック信号を受信し、前記ユーザフィードバック信号は、前記検出オブジェクトに関連付けられた音声メッセージのユーザの無視に対応し、
前記音声メッセージを無視するユーザフィードバック信号に関連付けられた前記検出オブジェクトの分類と同一の分類を有する将来の検出オブジェクトのそれぞれのために、信頼値が、無視された前記音声メッセージに関連付けられた前記信頼値よりも大きいときのみに、音声信号を生成するように更にプログラミングされる、請求項１に記載の視覚補助装置。
前記プロセッサは、
前記音声メッセージに対するユーザフィードバック信号を受信し、前記ユーザフィードバック信号は、前記音声メッセージに関連付けられた前記検出オブジェクトの分類が前記検出オブジェクトの実際の分類であることのユーザの確認に対応し、
前記ユーザフィードバック信号の受信に対して、前記検出オブジェクト及び前記分類を示す画像データを非一時的にコンピュータ読み取り可能な媒体に記憶するように更にプログラミングされる、請求項１に記載の視覚補助装置。