JP5002068B1

JP5002068B1 - 環境情報伝達装置

Info

Publication number: JP5002068B1
Application number: JP2011151548A
Authority: JP
Inventors: 純二嶋田
Original assignee: 純二嶋田
Priority date: 2011-07-08
Filing date: 2011-07-08
Publication date: 2012-08-15
Anticipated expiration: 2031-07-08
Also published as: JP2013017555A

Abstract

【課題】障害物等の物体を精度良く識別することができる環境情報伝達装置を提供する。
【解決手段】使用者の周囲の環境情報を複数のスピーカ５〜８から出力する音により伝達する環境情報伝達装置１００であって、一対の画像データを撮像するステレオカメラ２００と、画像データに含まれる物体の距離情報を算出する距離算出手段１４と、画像データにおける距離情報が基準値以下の要注意領域を抽出する領域抽出手段１６と、抽出された要注意領域に対応する位置に音像定位するように環境表現音を処理してスピーカ５〜８から出力する音処理手段１８とを備える。
【選択図】図１

Description

本発明は、環境情報伝達装置に関し、より詳しくは、使用者の周囲の環境情報を音により伝達する環境情報伝達装置に関する。

視覚障害者が周囲の環境情報を取得するための装置として、従来から下記のものが存在する。
１．複数の超音波器を設置し、視覚障害者に振動子とイヤホンを使用して障害物を表現する視覚障害者用歩行補助携帯器具（特許文献１）
２．ビデオカメラからの信号を画像処理し、複数設置したアクチュエータを駆動し、障害物の存在を体感的に伝達する視覚障害者歩行用補助具（特許文献２）
３．視覚障害者の補助機能として、映像情報を可聴できる音波に変換する人工視覚装置（特許文献３）
ところが、上記従来の装置は、周囲に障害物が存在するか否か等の大まかな情報は得られるものの、当該障害物の形状や距離などの詳細情報を把握することが困難であるという問題があった。

また、特許文献４には、２つのカメラで取得した画像データに基づき対象物までの距離を計測し、距離の大きさに基づいて発生させる音の音量および周波数を決定する景色認識装置が開示されている。この装置によれば、景色全体について水平方向に細長いウインドウを設定し、このウインドウ内で音源を走査させることにより、定位された音源から距離情報に対応した音量および周波数の音情報が出力される。

ところが、上記特許文献４に記載された景色認識装置は、対象物までの距離は認識できる一方で、使用者が注意すべき物体を把握することが困難であり、環境情報の伝達が不十分になり易いという問題があった。

特開２００１−３３５５２号公報特開２００３−７９６８５号公報特開２００７−１７５５１０号公報特開２００１−８４４８４号公報

そこで、本発明は、障害物等の物体を精度良く識別することができる環境情報伝達装置の提供を目的とする。

本発明の前記目的は、使用者の周囲の環境情報を複数のスピーカから出力する音により伝達する環境情報伝達装置であって、一対の画像データを撮像するステレオカメラと、前記画像データに含まれる物体の距離情報を算出する距離算出手段と、前記画像データにおける前記距離情報が基準値以下の要注意領域を抽出する領域抽出手段と、抽出された前記要注意領域に対応する位置に音像定位するように環境表現音を処理して前記スピーカから出力する音処理手段とを備え、前記環境表現音は、周波数が互いに異なる複数の単音を重ねあわせた和音であり、複数の前記単音を、それぞれ画像データを上下方向に分割した複数のブロックに対応させて、前記各ブロック内の単位領域の輝度値に基づいて前記各単音の周波数が決定され、前記音処理手段は、音像を定位した位置を左右方向に移動させて、左右方向の各位置で、上下方向に分割した複数の前記ブロックの輝度情報を、それぞれの周波数の単音を重ねあわせた前記和音により表現する環境情報伝達装置により達成される。

また、時間間隔をあけて撮像した複数の前記画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出手段を更に備えることが好ましく、前記音処理手段は、前記モーション検出手段の検出に基づき警告音を前記スピーカから出力することが好ましい。

本発明によれば、障害物等の物体を精度良く識別することができる環境情報伝達装置を提供することができる。

本発明の一実施形態に係る環境情報伝達装置の概略構成を示す斜視図である。図１に示す環境情報伝達装置のブロック図である。ステレオカメラが撮像した画像データの一例を示す図である。領域抽出部による処理を説明するための模式図である。領域抽出部により抽出された画像データの一例を示す図である。図５に示す画像データの画像処理後の状態を示す図である。変換テーブルの一例を示す図である。音像定位の手法を説明するための模式図である。音像定位の手法を説明するための模式図である。仮想音源の移動を説明するための模式図である。モーション検出部による処理の一例を説明するための図である。変換テーブルの他の例を示す図である。

以下、本発明の実施の形態について、添付図面を参照して説明する。図１は、本発明の一実施形態に係る環境情報伝達装置の概略構成を示す斜視図であり、図２は、図１に示す環境情報伝達装置のブロック図である。図１および図２に示すように、環境情報伝達装置１００は、使用者に装着可能な装着具１と、使用者の前方を撮像するように装着具１に固定された２台のカメラ２，３からなるステレオカメラ２００と、使用者の耳部９，１０に装着可能となるように装着具１に取り付けられた４つのスピーカ５，６，７，８と、ステレオカメラ２００が取得した画像データに基づいて各スピーカ５〜８から環境表現音を出力する制御装置４とを備えている。

装着具１は、本実施形態では使用者の耳部９，１０に装着可能な眼鏡またはサングラスから構成されているが、使用者の頭部や顔部等に安定して装着可能なものであれば特に限定されず、例えばヘッドホンや帽子等であってもよい。２台のカメラ２，３は、例えばＣＣＤカメラであり、光軸が互いに略平行となるように配置され、それぞれ異なる視点から同時に撮像できるように構成されている。また、４つのスピーカ５，６，７，８は、両方の耳部９，１０の上部および下部にそれぞれ装着されるように配置されている。

制御装置４は、図２に示すように、ステレオカメラ２００が撮像した一対の画像データを取得してメモリに記憶する画像取得部１２と、一対の画像データに含まれる物体１１の距離情報を算出する距離算出部１４と、距離情報が基準値以下となる画像データ内の要注意領域を抽出する領域抽出部１６と、要注意領域に対応する位置に音像定位するように環境表現音を処理してスピーカ５〜８から出力する音処理部１８とを備えている。

距離算出部１４は、ステレオカメラ２００が取得した一方の画像データを基準画像データとし、他方の画像データを参照画像データとして、公知のステレオマッチングの手法により距離情報を取得する。距離情報は、ステレオカメラ２００から物体１１までの距離に対応しており、画像データを所定の単位領域（例えば、一画素）で細分化し、単位領域毎に取得されてメモリに格納される。すなわち、距離情報は、同一の物体１１であっても、物体表面の位置によって変化し得る値である。

領域抽出部１６は、距離算出部１４が取得した距離情報に基づき、予め設定された基準値以下の距離情報に対応する単位領域（例えば、一画素）を判別し、これら単位領域の集合体によって構成される要注意領域を抽出する。単位領域を判別するための基準値は、使用者が用途や環境に応じて適宜増減できるように、ボタン操作等によって調整可能に構成してもよい。

音処理部１８は、領域抽出部１６が抽出した要注意領域を使用者が音で知覚できるように、環境表現音の処理を行う。環境表現音の具体的な処理方法については、後に詳述する。

制御装置４は、更に、画像取得部１２が取得した画像データの時系列解析を行い、時間間隔をあけて撮像した複数の画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出部２０を備えている。

次に、上記構成を備える環境情報伝達装置１００の作動を説明する。環境情報伝達装置１００の動作開始と共に、ステレオカメラ２００による撮像が開始され、画像取得部１２は、所定の時間間隔（例えば、０．２ｓ）で画像データを取得する。距離算出部１４は、２台のカメラ２，３が同時に撮像して得られた２つの画像データ（例えば、図３に示す画像データＤ１，Ｄ２）の対象点（例えば、Ｐ１，Ｐ２）を互いに対応付けし、これによって得られた視差から三角測量等によって、この対象点を含む単位領域の距離情報を算出する。こうして、画像データ上の全ての単位領域について、距離情報が得られる。

そして、領域抽出部１６は、得られた距離情報を基準値と比較して、基準値以下の距離情報を有する単位領域を判別し、これらの単位領域によって構成される要注意領域を抽出する。例えば、図４に示すように、画像データに２つの物体１１ａ，１１ｂが含まれている場合、ステレオカメラ２００からの距離Ｌ１が基準値ＳＴよりも小さい物体１１ａが抽出される一方、ステレオカメラ２００からの距離Ｌ２が基準値ＳＴよりも大きい物体１１ｂは抽出されない。こうして、図５に示すように、物体１１ａに対応する要注意領域Ｒを含む画像データが抽出される。要注意領域Ｒの抽出は、例えば図６に示すように、抽出された画像データに対して縦１６画素×横３２画素程度の減画素処理を行い、要注意領域Ｒ内の各画素Ｐｉの輝度値を１６段階で表す一方、要注意領域Ｒ外の有効でない画素については、輝度値を全て０として行うことができる。なお、抽出される要注意領域Ｒは、図５及び図６に示すように物体全体の場合だけでなく、物体の一部のみの場合もあり得る。

音処理部１８は、撮像した画像データにおける要注意領域Ｒの位置情報に基づいて、この要注意領域Ｒに対応する物体が実際に存在すると想定される位置に音像定位するように、環境表現音を４つのスピーカ５〜８から出力する。環境表現音の周波数は、例えば図７に示すように、輝度値と周波数との関係が予め設定された変換テーブルＴ１に基づき決定される。すなわち、図７に示す変換テーブルＴ１によれば、要注意領域Ｒを構成する画素の輝度値が高くなるほど環境表現音の周波数が高くなり、スピーカ５〜８から高音が出力される。

音像定位は、スピーカ５〜８から発生する環境表現音に時間差や振幅差を生じさせて行う。人が認識する音の方向感や距離感は、その音が左右の耳にそれぞれ到達するまでの時間差や振幅（音量）差に基づいて生じることから、各スピーカ５〜８から発生する環境表現音の時間差や振幅差を、それぞれ遅延器や乗算器で調整することにより、所望の空間位置に音像を定位することができる。例えば、図８に示すように、左右のスピーカ５，７から両耳９，１０に環境表現音を同じタイミングで出力した場合、左右のスピーカ５，７から等距離の位置に仮想音源Ｓ１が定位される。一方、左のスピーカ５よりも右のスピーカ７から先に環境表現音を出力すると、仮想音源Ｓ２は中央よりも右側に定位され、右のスピーカ７よりも左のスピーカ５から先に環境表現音を出力すると、仮想音源Ｓ３は中央よりも左側に定位される。

本実施形態の環境情報伝達装置１００は、図９に示すように、４つのスピーカ５，６，７，８を備えていることから、左側の上下に配置されたスピーカ５，６の間、および、右側の上下に配置されたスピーカ７，８の間で、それぞれ環境表現音の出力に時間差を生じさせることにより、仮想平面ＶＰ上の任意の位置に仮想音源Ｓを定位することができる。したがって、この仮想平面ＶＰと画像データとを対応させることにより、画像データ上の要注意領域Ｒの位置に仮想音源を定位することができる。

ステレオカメラ２００が撮像する画像データは、距離情報を含む三次元画像データである。一方、仮想音源の定位は、各スピーカ５〜８から出力する環境表現音に音量差を生じさせることで、仮想音源に距離感を与えることが可能である。したがって、要注意領域Ｒの平面上の位置情報に距離情報を加えることにより、要注意領域Ｒに対応する仮想音源を三次元空間に定位することができる。なお、仮想音源を三次元空間に定位するためのスピーカの数は、複数であれば特に限定されない。

要注意領域Ｒに含まれる画素が複数存在する場合には、画素によって輝度が異なり得ることから、各画素の輝度に対応する環境表現音の周波数の変化が使用者に認識できる程度の速度で、仮想音源を移動させることが好ましい。例えば図１０に矢印で示すように、仮想音源Ｓを左上から右下に向けて主走査および副走査を行うことが可能であり、各走査位置で環境表現音の周波数を異ならせることができる。なお、図１０は、各画素における仮想音源Ｓをブロック状に模式的に示しており、各ブロックの長さは周波数を表している。

こうして、画像取得部１２が画像データを取得する毎に制御部４の内部で上述した各手順が実行され、使用者は現在の環境情報をリアルタイムに把握することができる。モーション検出部２０は、時間間隔をあけて撮像した複数の画像データに基づいて、所定値以上の速度で移動する物体を検出する。例えば、図１１（ａ）および（ｂ）に示すように、ステレオカメラ２００の一方のカメラ２（または３）が時間差をおいて撮像した２つの画像データを比較して複数の対象点の対応付けを行い、所定の距離以上移動した対象点を含む画像を抽出する（図１１（ｂ）の正方形で囲んだエリアＡ）。音処理部１８は、この画像抽出に基づき移動物の存在を知らせるための警告音を生成し、各スピーカ５〜８から出力する。警告音は、例えばブザー音や音声であり、移動物の位置や移動方向などを情報として含むようにしてもよい。

本実施形態の環境情報伝達装置１００によれば、ステレオカメラ２００が撮像した画像データにおいて距離情報が基準値以下の要注意領域Ｒを抽出し、この要注意領域Ｒに対応する位置に音像定位するように環境表現音を処理して各スピーカ５〜８から出力するように構成しているため、視覚障害者にとっては特に重要な情報である、使用者の近傍における障害物等の物体の存在や位置を把握することができる。また、画像データの中から要注意領域Ｒのみを抽出して画像処理や音処理を施すことで、ノイズの混入を抑制しつつ迅速な情報伝達が可能である。

また、要注意領域Ｒ内の単位領域（例えば、一画素）毎の輝度情報に応じて環境表現音の周波数が変化するように、音像を定位した位置を移動させることで、物体の形状や色などの情報を使用者に的確に伝達することができ、使用者が当該物体を識別し易くすることができる。

以上、本発明の一実施形態について詳述したが、本発明の具体的な態様は上記実施形態に限定されるものではない。例えば、本実施形態においては、画像データから要注意領域を抽出するために用いる単位領域毎の距離情報を、ステレオカメラ２００を基準とした物体１１までの距離に対応させているが、ステレオカメラ２００に最も近い物体１１の位置を基準として、ステレオカメラ２００から各単位領域までの距離と、ステレオカメラ２００から上記基準位置までの距離との差を、距離情報としてもよい。この構成によれば、画像データに含まれる物体が全体的に近い位置にある場合でも、物体の中で特に近接しているため注意が必要な領域のみを的確に抽出することが可能であり、使用者に環境情報を正確に伝達し易くすることができる。

また、本実施形態においては、スピーカ５〜８から出力する環境表現音を、輝度値に対応した周波数の単音としているが、周波数が互いに異なる複数の単音を重ねあわせた和音であってもよい。環境表現音を和音とすることで、より多くの情報を環境表現音に含めることができ、環境情報の伝達力を高めることができる。例えば、和音を構成する複数の単音を、それぞれ画像データを上下方向（垂直方向）に分割した複数のブロックに対応させ、図１２に示す変換テーブルＴ２のように各単音のベース周波数を固有のものとして、各ブロック内の単位領域の輝度値に基づいて単音の周波数をそれぞれ決定する（一例として、各ブロック１，２，３，・・・の単位領域の輝度値にそれぞれ対応する周波数１１００Ｈｚ、２０５０Ｈｚ、３１００Ｈｚ、・・・の各単音の集合体により、和音を生成する）。この構成によれば、仮想音源を左右方向（水平方向）に移動させるだけで、左右方向の各位置で上下方向の輝度情報を表現することが可能であり、環境情報の伝達を迅速且つ的確に行うことができる。

１００環境情報伝達装置
２００ステレオカメラ
５，６，７，８スピーカ
１２画像取得部
１４距離算出部
１６領域抽出部
１８音処理部
２０モーション検出部

Claims

使用者の周囲の環境情報を複数のスピーカから出力する音により伝達する環境情報伝達装置であって、
一対の画像データを撮像するステレオカメラと、
前記画像データに含まれる物体の距離情報を算出する距離算出手段と、
前記画像データにおける前記距離情報が基準値以下の要注意領域を抽出する領域抽出手段と、
抽出された前記要注意領域に対応する位置に音像定位するように環境表現音を処理して前記スピーカから出力する音処理手段とを備え、
前記環境表現音は、周波数が互いに異なる複数の単音を重ねあわせた和音であり、複数の前記単音を、それぞれ画像データを上下方向に分割した複数のブロックに対応させて、前記各ブロック内の単位領域の輝度値に基づいて前記各単音の周波数が決定され、
前記音処理手段は、音像を定位した位置を左右方向に移動させて、左右方向の各位置で、上下方向に分割した複数の前記ブロックの輝度情報を、それぞれの周波数の単音を重ねあわせた前記和音により表現する環境情報伝達装置。
時間間隔をあけて撮像した複数の前記画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出手段を更に備え、
前記音処理手段は、前記モーション検出手段の検出に基づき警告音を前記スピーカから出力する請求項１に記載の環境情報伝達装置。