JP4745403B2 - 情報処理装置及びその制御方法等 - Google Patents

Description

本願は、情報処理装置、特に移動体に搭載した情報処理装置の技術分野に関する。

近年、移動体の外部にある障害物の存在を認識させ、衝突の危険性がある場合には、その旨を表示にて告知する情報処理装置が提供されるようになってきている。

一例として、ナビゲーション装置においては、ユーザが車両等を運転中に、衝突の危険性を示す警報が表示装置に表示されるようになっている。

また、障害物の方向をユーザが容易に認知可能なように、当該障害物の存在する方向に音像を定位させて警報する装置が提案されている。これによれば、ユーザが表示装置を視認せずとも、当該ユーザに対して危険を直ちに認知させることができる。

また、例えば、特許文献１には、複数の音響マイクロホンによって他の車両のエンジン音等の外来音を採取し、採取した音信号に基づいて音源がある方向に音像を定位させる車両警報装置が開示されている。これによれば、ユーザにより他の車両が視覚的に見渡せない範囲にある場合にも、当該ユーザに対して他の車両の存在を認知させることができる。
特開平０５−８５２８８号公報。

しかしながら、上述した従来の障害物に関して警報を発する装置においては、例えば、障害物の種類を判別（例えば障害物が人間、自転車、自動二輪車、小型自動車、または大型自動車（ダンプカー等）であることを判別）して、その判別結果に基づいて、警報レベルを変更することは行なわれていなかった。そのため、緊急にユーザが対応しなければいけない状態か否かがユーザに認識されずに、必ずしもユーザが適切な判断をできず、衝突等の危険を迅速に回避することが困難な場合が想定される。

そこで、本願の課題の一例は、情報処理装置、特に移動体に搭載した情報処理装置において、障害物の種類や移動状態（位置関係を含む）に応じてユーザへ報知する警報を変化させ、障害物との衝突等の危険を迅速に回避することを可能とする情報処理装置、情報処理装置の制御方法、制御プログラムおよび当該制御プログラムを記録した情報記録媒体を提供することにある。

本発明の請求項１に記載の情報処理装置は、移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情報処理装置において、予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶手段と、前記移動体の外部の画像情報を撮像する画像情報撮像手段と、前記画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶された前記障害物の画像情報とを比較する比較手段と、前記比較手段の比較による結果、前記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動体の中心付近を基準として当該障害物が位置する方向を示す第一方向情報と、当該移動体の運転席に着座した運転者の中心付近を基準として当該第一方向情報によって示される方向と平行となる方向を示す第二方向情報と、を演算する演算手段と、前記演算された第二方向情報と、前記障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる音像定位手段と、を備えることを特徴とする。

本発明の請求項７に記載の情報処理装置の制御方法は、移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情報処理装置の制御方法において、予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶工程と、前記移動体の外部の画像情報を撮像する画像情報撮像工程と、前記画像情報撮像工程において撮像された画像情報と、前記記憶工程において記憶された前記障害物の画像情報とを比較する比較工程と、前記比較工程における比較による結果、前記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動体の中心付近を基準として当該障害物が位置する方向を示す第一方向情報と、当該移動体の運転席に着座した運転者の中心付近を基準として当該第一方向情報によって示される方向と平行となる方向を示す第二方向情報と、を演算する演算工程と、前記演算された第二方向情報と、前記障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる音像定位工程と、を備えることを特徴とする。

本発明の請求項８に記載の制御プログラムは、移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行うコンピュータを、予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶手段、前記移動体の外部の画像情報を撮像する画像情報撮像手段、前記画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶された前記障害物の画像情報とを比較する比較手段、前記比較手段の比較による結果、前記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動体の中心付近を基準として当該障害物が位置する方向を示す第一方向情報と、当該移動体の運転席に着座した運転者の中心付近を基準として当該第一方向情報によって示される方向と平行となる方向を示す第二方向情報と、を演算する演算手段、及び前記演算された第二方向情報と、前記障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる音像定位手段として機能させることを特徴とする。

本実施形態における情報処理装置の概要構成例を示すブロック図である。 本実施形態における音像定位位置、車両、およびドライバーとの位置関係を示す平面図である。 本実施形態における各カメラの撮像範囲を示した図である。 （ａ）は本実施形態における各カメラの撮像範囲と重複した角度範囲を記憶部に記憶する様子を示した図である。（ｂ）は本実施形態における各カメラの撮像範囲と重複した角度範囲についての説明図である。 本実施形態における車両の死角と撮像角度との関係を示した図である。 本実施形態に係わる情報処理装置の動作の一例をあらわしたフローチャートである。

符号の説明

１ａ、１ｂ、１ｃ、１ｄ…カメラ
２…画像情報処理装置
３…記憶装置
４…画像認識装置
５…警報発生装置
６…スピーカ
Ｓ…情報処理装置

次に、本発明に最適な実施の形態について、図面に基づいて説明する。

なお、本実施形態では、一例として、移動体を車両とし、当該車両に設けられた（搭載された）情報処理装置について説明する。

図１は本実施形態における情報処理装置Ｓの例を示すブロック図である。

本実施形態における情報処理装置Ｓは、ユーザに対して警報情報を報知するための情報処理を行う装置であり、車両外部の画像情報を撮像する画像情報撮像手段の一例としてのカメラ１ａ、１ｂ、１ｃ、および１ｄ、カメラ１ａ、１ｂ、１ｃ、および１ｄによって撮像された画像情報を合成、または画像情報を切り替える画像情報処理装置２、障害物等の画像情報等を予め記憶しておく記憶手段の一例としての記憶装置３、比較手段及び演算手段の一例としての画像認識装置４、警報情報を音像として定位させるための情報処理をする音像定位手段の一例としての警報発生装置５および音像を定位させるための音情報を放音するスピーカ６（例えば車両に設けられるオーディオ用のスピーカ）を備えている。

なお、情報処理装置Ｓは、例えば、車載用ナビゲーション装置やＡＶ（Audio Visual）装置等に組み込まれるものであってもよいし、独立して搭載されるものであってもよい。

次に、各構成要素について説明する。

カメラ１ａ、１ｂ、１ｃ、および１ｄはＣＣＤ（Charge Coupled Device）または、ＣＭＯＳ(Complementary Metal Oxide Semiconductor）等の撮像素子を用いたデジタルカメラが使用される。

複数のカメラを使用することによって車両搭載時に車両外部３６０度の画像情報を死角なく撮像できるようになっている（詳細は図３および図４において説明する）。

画像情報処理装置２は、カメラ１ａ、１ｂ、１ｃ、および１ｄにおいて撮像された画像情報を合成して車両の周囲３６０度の画像情報に重複や不足部分が発生しないように画像処理をする。また、車両の外部にある特定の物体の画像を処理するために、４台のカメラの画像を合成せずに、１乃至３台のカメラで撮像した画像を用い、車両外部の物体の画像を処理する場合もある（車両の周囲３６０度の画像処理を必要としない場合）。

記憶装置３には、車両の外部に存在し、後述の処理において障害物として認識されるべき、人物、動物、自転車、自動二輪車、小型車両（小型自動車）、中型車両（中型自動車）、および大型車両（大型自動車）等の移動体の画像情報が、それらの種別（例えば、人物（幼児または子供と、大人とが区別されている）、動物、自転車、自動二輪車、小型車両、中型車両、大型車両等の種別（言い換えれば、属性））を示す種類情報が対応付けられて予め記憶されている。

また、記憶装置３は、自車両が中型車両であるのか大型車両であるのかといった自車の種別（言い換えれば、属性）を示す自車情報（自移動体情報の一例）も記憶している。かかる自車情報は、例えば、表示部（図示せず）に複数の車両候補（小型車両、中型車両、及び大型車両等）を表示させ、ユーザが操作部（図示せず）を操作して選択することにより記憶装置３に記憶される。

さらに、記憶装置３は、道路上に描かれている横断歩道の標識、道路上に描かれている横断歩道が近くにあることを示す標識、道路上に描かれている制限速度の表示等の、案内標識（道路の分岐点の予告、高速道路の出口、駐車場、本線表示、非常駐車帯、サービスエリアおよびその予告等の標識）、警戒標識（道路交差点あり、右（又は左）方屈曲または屈折あり、学校・幼稚園・保育所等あり、信号機あり、合流交通あり、動物が飛び出すおそれあり等の標識）、規制標識（進入禁止、一方通行、特定車両（歩行者、自転車を含む、以下同様）の通行止め、特定車両専用道路、徐行、一時停止等の標識）、指示標識（横断歩道、自転車横断帯、安全地帯、規制予告、特定区間の始まりおよび終わり、停止線、中央線、駐車可、停車可等の標識）、補助標識（車両の種類、通学路、追越し禁止、踏切注意、動物注意、特定区域等の標識）等の標識情報を記憶するようになっている。

画像認識装置４は、画像情報処理装置２で処理された画像情報と、記憶装置３に記憶されている障害物の画像情報とを比較し、一致する画像が有るか否かを判断する。この判断結果（比較結果）、一致する画像が有る場合、つまり、撮像された画像情報に、障害物が存在する（含まれる）場合には、当該障害物を認識し、次いで、画像認識装置４は、認識された障害物および自車両の移動状態を予測演算し、認識された障害物が自車両と接触または衝突する可能性を判断する。

これは、例えば、車両外部に障害物を認識した場合に、その障害物および自車両との相対関係、画像情報処理装置２を介して入力された連続する複数の画像情報から得られる障害物の移動ベクトル等を用いて推測することが可能となる。

この推測の結果、上記障害物と自車両とが接触または衝突する可能性がある場合には、画像認識装置４は、自車両を基準として上記障害物が位置する方向を示す方向情報を演算し、当該演算された障害物への方向情報と、当該障害物の種類情報（例えば、人物、若しくは中型車両等）とを含む警報情報を生成し、これを警報発生装置５に出力する。

警報発生装置５は、画像認識装置４から入力された警報情報と、前述の自車情報とに基づいてスピーカ６より発する音情報（例えば、衝突音、サイレン音等）を確定し、さらに、自車両の中心付近またはドライバー（運転者）の座席位置を中心に、上記障害物の位置（存在）する方向に上記音情報（すなわち、警報情報）を音像として定位させるための音場情報を図示しないＤＳＰ（Digital Signal Processor）等により算出し、スピーカ６を構成する個々のスピーカへ上記算出された音場情報を適切なレベル及び位相の警報信号（警告信号）として振り分ける。

スピーカ６は、警報発生装置５から入力される警報信号を放音する。車載用の場合、スピーカ６を単独で設けず、車載オーディオ用のスピーカと共用することができる。

このように構成することによって、例えば、障害物が人物または自転車などの場合には、自車両の種別（属性）に関わらず、衝突音でかつ音量の大きい警報信号を当該障害物の方向へ定位させて発生させる。なぜならば人物又は自転車は、自車両と接触すると死亡事故につながる可能性が高いからであり、ドライバーが危険性を十分に認識し、瞬間的に反応を開始することが望ましいからである。

また、障害物が人物である場合において、その人物がさらに幼児または子供である場合には、さらに音量を大きくした警報信号を発生させる。なぜならば、車両と接触または衝突を回避することを幼児または子供が適切に判断し行動することがより困難であることが予想されるからである。

また、障害物が大型車両の場合であって、自車両が中型車両である場合には、大型車両と衝突した場合、中型車両が大型車両に押しつぶされてしまうことが考えられる。この場合には、画像認識装置４は、障害物が人物の場合に次いで危険であると判断し、サイレン音等からなる警報信号を障害物の方向へ定位させて発生させる。

他方、障害物も自車両と同じような中型車両の場合には、対象が大型車両よりは危険度は小さいと考え、ピー音等の警報信号を障害物の方向へ定位させて発生させる。

さらに、画像認識装置４は、予め記憶装置３に記憶されている標識情報と、カメラ１から画像情報処理装置２を介して入力される画像情報とが一致しているか否かを加味して、警報情報を生成してもよい。

例えば、自車両の進行方向にある障害物が人物である場合には、次いで自車両の進行方向の画像情報に例えば横断歩道に関する標識情報があるか否かを認識する。

画像認識装置４が、記憶装置３に記憶されている案内標識、警戒標識、規制標識、指示標識、補助標識等の標識情報における横断歩道情報と、画像情報処理装置２から入力される画像情報とを比較した結果、画像情報処理装置２から入力される画像情報に横断歩道情報があると認識される場合には、画像認識装置４は、人物が横断歩道に向かおうとしているか否かを、画像情報処理装置２を介して入力される複数の画像情報から推測する。

推測方法は様々な方法で処理することが可能である。一例として、画像認識装置４は、時間的に前後する画像情報から人物の移動方向および移動速さを演算する。この場合、画像認識装置４は、人物の移動方向に横断歩道が存在する場合には、人物の移動速さから人物が横断歩道に到達する時間を演算する。そして、画像認識装置４は、人物の場合と同様に、画像情報から演算された自車両の移動方向および移動速さから自車両が横断歩道に到達する時間を演算する。

その結果、横断歩道に到達する時間が自車両と人物とで一致するか又はかなり接近した値（例えば３秒以内）である場合には、人物と自車両が接触または衝突する可能性があると推測し警報発生装置５へ対応する警報情報を出力するように構成するとよい。

次に、本実施形態に係るカメラ１ａ、１ｂ、１ｃ、および１ｄの車両への取り付け位置、障害物としての人、および警報情報としての警報音の音像定位位置との関係を、図２の平面図を用いて説明する。

車両７において、ドライバー８が座席９ａに座り、ハンドル１０を操作して車両７の運転をする。９ｂは助手席であり、９ｃは後部座席である。

車両７の図２における左上方（車両７の左前方）にはカメラ１ａが取り付けられ、車両７の図２における左下方（車両７の左後方）にはカメラ１ｂが取り付けられ、車両７の図２における右下方（車両７の右後方）にはカメラ１ｃが取り付けられ、車両７の図２における右上方（車両７の右前方）にはカメラ１ｄが取り付けられている。車両の４方向に設けられたこれらのカメラ１ａ、１ｂ、１ｃ、および１ｄによって撮像された画像情報によって車両７の周囲３６０度（車両中心位置Ｃ１から円Ｃ２の円周）方向に存在する障害物（例えば、人物１０）の画像情報が得られるように各カメラの向き、視野角は設定されている。

図２の場合、車両７の左後方にいる人物１０は、カメラ１ｂまたはカメラ１ａによって撮像され、画像認識装置４によって人物であることが特定される。

仮に、特定された人物１０が、車両７の中心付近Ｃ１を中心とした半径ｒ２の円周Ｃ２付近であって、半径方向Ｄ２の線上にいると仮定する。

ここで、情報処理装置Ｓは、ドライバー８の体の中心付近Ｃ３から半径ｒ１離れた円周Ｃ４上の点Ｂ１に警報情報の音像を定位させてもよい。警報情報の音像が定位される点Ｂ１は、円周Ｃ２の半径方向Ｄ２と円周Ｃ４の半径方向Ｄ３とが互いに平行となるように、情報処理装置Ｓによって決定される。ドライバー８は、音像が定位された点Ｂ１方向に障害物としての人物１０がいることを、聴覚で認識する。

もし、警報情報の音像が定位される点を、人物１０の存在する半径方向Ｄ２と円周Ｃ４とが交差する点Ｂ２にすると、ドライバー８の体の中心付近Ｃ３から点Ｂ２の延長線上方向Ｄ１に人物がいると誤認識される可能性がある。したがって、この誤認識を防ぐために、情報処理装置Ｓが警報情報の音像を点Ｂ１に定位させるのである。

例えば、人物１０が存在する円周Ｃ２の半径ｒ２が大きくなるほど、ドライバー８が認識する人物１０の方向の誤差が大きくなる（半径方向Ｄ１と半径方向Ｄ２とから形成される角度θ１の端点Ｄ１１（人物１０が存在しない位置の延長線上）と端点Ｄ２１（人物１０が存在する位置の延長線上）との距離は、半径ｒ２が大きくなるほど離れていく）ことから、ドライバー８が認識する人物１０の方向の誤差（ドライバーＣ３から点Ｂ２を介して端点Ｄ１１の半径Ｄ１方向延長線上の位置と、ドライバー８の体の中心付近Ｃ３から点Ｂ１を介して半径Ｄ３方向延長線上の位置）とが大きくなることがわかる。

しかし、半径方向Ｄ２と半径方向Ｄ３とが平行であれば、人物１０が半径ｒ２の延長線上のどの位置に存在している場合にも、ドライバー８は人物１０が半径ｒ１の延長線上の半径方向Ｄ３に存在することを認識できるので、車両７の中心付近Ｃ１から人物１０が存在する方向の位置認識がずれていくことにはならない。このことから、情報処理装置Ｓは、警報情報の音像を定位させる位置をドライバー８を中心とした円周Ｃ４上にすることが望ましいのである。

次に、カメラ１ａ、１ｂ、１ｃおよび１ｄの各カメラの撮像範囲と重複する撮像範囲を車両７の平面図である図３を用いて説明する。

図２と同様に、車両７の図３における左上方（車両７の左前方）にはカメラ１ａが取り付けられ、車両７の図３における左下方（車両７の左後方）にはカメラ１ｂが取り付けられ、車両７の図３における右下方（車両７の右後方）にはカメラ１ｃが取り付けられ、および車両７の図３における右上方（車両７の右前方）にはカメラ１ｄが取り付けられている。

カメラ１ａの撮像範囲は、一例として、視野角θａで示されるおおよそ１２０度の範囲を図示している。視野角θａの一方の辺は車両７の左側面７ａ（図３において車両７の左辺）であり、他の辺は車両７の前方斜め左方向の辺７ＦＬとなる。そして、カメラ１ａの撮像範囲の中心方向を方向Ｄａで示している。

また、カメラ１ｂの撮像範囲は、一例として、視野角θｂで示されるおおよそ１２０度の範囲を図示している。視野角θｂの一方の辺は車両７の背面７ｂ（図３において車両７の低辺）であり、他の辺は車両７の後方斜め左方向の辺７ＢＬとなる。そして、カメラ１ｂの撮像範囲の中心方向を方向Ｄｂで示している。

また、角度θａｂはカメラ１ａとカメラ１ｂとの撮像範囲で重複する範囲である。撮像範囲を２台のカメラで重複させるのは、カメラ１ａとカメラ１ｂとで撮像した範囲に死角（車両７の周囲で撮像できない部分）が発生することを防ぐためである。詳細については、図４を用いて説明する。

カメラ１ｃの撮像範囲は、一例として、視野角θｃで示されるおおよそ１２０度の範囲を図示している。視野角θｃの一方の辺は車両７の右側面７ｃ（図３において車両７の右辺）であり、他の辺は車両７の後方斜め右方向の辺７ＢＲとなる。そして、カメラ１ｃの撮像範囲の中心方向を方向Ｄｃで示している。

また、角度θｂｃはカメラ１ｂとカメラ１ｃとの撮像範囲で重複する範囲である。撮像範囲を２台のカメラで重複させるのは、カメラ１ｂとカメラ１ｃとで撮像した範囲に死角（車両７の周囲で撮像できない部分）が発生することを防ぐためである。

カメラ１ｄの撮像範囲は、一例として、視野角θｄで示されるおおよそ１２０度の範囲を図示している。視野角θｄの一方の辺は車両７の正面７ｄ（図３において車両７の上辺）であり、他の辺は車両７の前方斜め右方向の辺７ＦＲとなる。そして、カメラ１ｄの撮像範囲の中心方向を方向Ｄｄで示している。

また、角度θｃｄはカメラ１ｃとカメラ１ｄとの撮像範囲で重複する範囲である。撮像範囲を２台のカメラで重複させるのは、カメラ１ｃとカメラ１ｄとで撮像した範囲に死角（車両７の周囲で撮像できない部分）が発生することを防ぐためである。

同様に、角度θｄａはカメラ１ｄとカメラ１ａとの撮像範囲で重複する範囲である。撮像範囲を２台のカメラで重複させるのは、カメラ１ｄとカメラ１ａとで撮像した範囲に死角（車両７の周囲で撮像できない部分）が発生することを防ぐためである。

カメラ１の撮像範囲を示す視野角θａ、θｂ、θｃ、およびθｄの値は、おおよそ１２０度に限定されるわけではなく９０度以上の任意の値とすることが可能である。

次に、図４を用いて、カメラ１ａ、１ｂ、１ｃおよび１ｄの各カメラの撮像範囲と画像情報処理装置２内に設けられている記憶部（図示せず）への画像の記憶処理について説明する。

図４（ａ）は、カメラ１ａ、１ｂ、１ｃおよび１ｄの各カメラで撮像された範囲の画像情報と、各カメラで重複して撮像された画像情報範囲とを模式的に示している。

カメラ１ａで撮像された画像情報は視野角θａで示された領域であり、カメラ１ｂで撮像された画像情報は視野角θｂで示された領域であり、カメラ１ｃで撮像された画像情報は視野角θｃで示された領域であり、カメラ１ｄで撮像された画像情報は視野角θｄで示された領域である。

ここで、図４（ａ），（ｂ）における視野角θａ、θｂ、θｃ、θｄは図３におけるカメラ１ａ、１ｂ、１ｃ、１ｄで撮像される視野角θａ、θｂ、θｃ、θｄと各々対応している。

また、図４（ｂ）に示すように、カメラ１ａのθａａに対応する画像領域がＡ１であり、カメラ１ｂのθａｂに対応する画像領域がＢ２である。同様に、カメラ１ｂのθｂｂに対応する画像領域がＢ１であり、カメラ１ｃのθｂｃに対応する画像領域がＣ２であり、カメラ１ｃのθｃｃに対応する画像領域がＣ１であり、カメラ１ｄのθｃｄに対応する画像領域がＤ２である。

図４中、共通な角度範囲の画像情報、例えば、カメラ１ａのθａａに対応する画像情報（画像情報領域Ａ１）と、カメラ１ｂのθａｂに対応する画像情報（画像情報領域Ｂ２）とは、ともに画像情報処理装置２の記憶部に記憶される。

したがって、図３における０度方向に位置する人物１０ａ、図３における９０度方向に位置する人物１０ｂ、図３における１８０度方向に位置する人物１０ｃ、および図３における２７０度方向に位置する人物１０ｄは、それぞれ対応する複数のカメラの画像に含まれた形で記憶される。例えば、９０度方向に位置する人物画像中、カメラ１ａおよび１ｂとの重複部分は、そのままカメラ１ａおよび１ｂの画像として重複して記憶される。

次に、図５を用いて、画像情報領域Ａ１、画像情報領域Ｂ１、画像情報領域Ｃ１、および画像情報領域Ｄ１を画像情報処理装置２が記憶する必要がある理由について説明する。

例えば、図５における空間領域ＡＤは、図３のカメラ１ａが撮像する角度θａａに対応する空間領域である。画像情報領域Ａ１に対応する画像情報には、図４（ｂ）で示すように、画像情報領域Ｂ２との重複部分がある反面、画像情報領域Ａ１にしか含まれない領域ＡＤがある。したがって、仮に、画像情報領域Ａ１に対応する画像情報を画像情報処理装置２が記憶しない場合には、空間領域ＡＤに対応する画像情報が欠落してしまう。すなわち、空間領域ＡＤに位置する障害物を情報処理装置Ｓが認識できなくなってしまう（車両７にとって死角となる）ためである。

また、画像情報領域Ｂ１についても同様のことがいえ、空間領域ＢＤに対応する画像情報が死角となるので、カメラ１ｂの画像情報を記憶する必要がある。カメラ１ｃについての空間領域ＣＤ、カメラ１ｄについての空間領域ＤＤも同様である。

前述のように、画像情報処理装置２は、隣接する各カメラの配置に起因する死角をなくすようにする為に一部の画像情報を重複して記憶するように構成している。

次に、図６を用いて、情報処理装置Ｓにおける動作例についてフローチャートを用いて説明する。

本動作例においては、前述の説明に加え、過去の事故情報を記憶装置３にさらに記憶しており、この情報も危険度の判別に利用している。過去の事故情報としては、過去に事故の起きた回数に基づいて事故が多発する地点に対して関連付けられた統計的な多段階の危険度情報を事故情報として記憶し利用することができる。

図６に示すステップＳ１において、車両７に設置された４台のカメラ（カメラ１ａ、１ｂ、１ｃ、および１ｄ）で撮像された画像情報を合成し、図５で説明したように死角なく画像情報処理装置２の記憶部に展開する。

ステップＳ２において、画像認識装置４は、画像情報処理装置２の記憶部に記憶された画像情報と、記憶装置３に予め記憶されている障害物の画像情報（テンプレート情報）とを比較し、車両７の周囲に存在する障害物の有無および種類を認識する。

ステップＳ３において、ステップＳ２において認識された障害物が、車両７と衝突し、または接触するなどの危険性があるか否かを、画像認識装置４が連続的に入力されるカメラ画像から判断する。この際、標識情報を利用すると人物が交差点に向かっているといった、より正確な判断が可能となる。画像認識装置４が、危険性が無いと判断した場合（ステップＳ３：ＮＯ）にはステップＳ１に戻り、危険性が有ると判断した場合（ステップＳ３：ＹＥＳ）にはステップＳ４に進む。

ステップＳ４において、画像認識装置４は、危険性の有る障害物が車両７からどの方向にあるかを、画像情報処理装置２から出力された画像情報に基づいて判別（演算）する。

ステップＳ５において、画像認識装置４は、上記障害物の種類情報と、車両７を基準として当該障害物が位置する方向を示す方向情報を含む警報情報を、警報発生装置５へ出力する。

ステップＳ６において、警報発生装置５は、画像認識装置４から出力された警報情報を受け、自車情報を考慮し警報信号の種類とレベルを選択する。次いで、警報情報に含まれる障害物の方向情報（車両７から障害物の位置する方向への角度情報）より、内部のＤＳＰを用いて警報信号のレベル及び位相を決定することで定位を制御する（言い換えれば、警報音の音像位置を決めて警報を出力する）。この際、前述のように画像認識により得られた障害物の方向を、運転席を基準とした方向になるように、方向換算（変換）する（例えば、図２における半径方向Ｄ３を演算することに該当する）ことでより実体に沿った警報信号を提供することができる。そして、警報発生装置５は、ＤＳＰで演算された条件に沿って各スピーカを駆動し、音像を定位させる。

なお、カーステレオ等の音響機器のスピーカと共用する場合には、音楽等も同様に定位を変更したり、音楽等に重畳する警報信号のみの定位を変更してもよい。

前述の一連の処理は、ステップＳ７において、障害物がないと判断されるまで継続する。障害物が有る場合（ステップＳ９：ＮＯ）には、ステップＳ１に戻り、障害物が無い場合（ステップＳ９：ＹＥＳ）には、情報処理装置Ｓは処理を終了するように構成している。

また、過去の事故情報をさらに利用する際の例としては、ステップＳ８およびステップＳ９を追加することが考えられる。

ステップＳ８において、画像認識装置４は、記憶装置３に予め記憶されている過去の事故情報と、現在の車両７（自車両）の位置とを比較し、当該車両７が事故を起こす危険度を判断する。例えば、過去の事故情報より事故多発の地点と判断される場合には警報信号のレベルを通常より大きくするという制御が可能となる。

さらにステップＳ９においては、自車両の運転状態を判断することで警報信号のレベルを選択することにより、該レベルを変更可能にしている。例えば、長時間運転、夜間運転中であるか否かは容易に検出できるので、この情報を利用して反応が鈍くなっていると判断し、警報信号のレベルを通常より大きくしたりする制御を可能としている。

なお、図６のフローチャートを、光ディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。

以上説明したように、上記実施形態によれば、情報処理装置Ｓは、カメラ画像認識処理をした結果、自車両の中心又は運転席を中心とした３６０度のどの方向に危険が生じたかを画像認識装置４で判断し、警報情報を警報発生装置５に伝え、警報発生装置５が警報音を制御して音像を定位させ、警報音の聞こえる方向によってどの方向に危険が生じたかをドライバーに知らせることができる。したがって、ドライバーはいち早く肉眼で実態を確認できるので、衝突等の危険回避操作を迅速にすることができる。

また、情報処理装置Ｓは、障害物の種類情報に応じて警報情報を変化（定位させる音像を変化）させることができるので、危険度の高い障害物の場合には、ドライバーに緊急事態であることを迅速に判断させることができる一方、危険度の低い障害物の場合には、ドライバーに適度な警報音に基づいて適切な運転操作を促すことができ、運転操作の安全性も確保することができる。

また、情報処理装置Ｓは、障害物の種類情報と自車情報に基づいて（つまり、障害物の種別と、自車両の種別との組合せに応じて）警報情報を変化（定位させる音像を変化）させることができるので、より一層、適切な運転操作を促すことができ、運転操作の安全性を一層向上させることができる。

また、情報処理装置Ｓは、障害物と車両との移動状態（位置関係を含む）を推測することができるので、事前に障害物と車両との衝突または接触の可能性を判断することができる。その結果、ドライバーが十分な余裕時間をもって、障害物との衝突または接触を回避するための運転操作をすることができる。

また、情報処理装置Ｓは、車両の周囲にある標識を認識することができるので、標識と障害物との関係に基づいて危険度を判断し、音像を定位することによって、ドライバーに余裕時間をもたせて、障害物との衝突または接触を回避するための運転操作をさせることができる。

また、情報処理装置Ｓは、過去の事故パターン等の事故情報を記憶する構成によれば、車両の周囲の状況と過去の事故情報とを考慮した危険度の予測ができるので、確率よくドライバーに余裕時間をもたせて、障害物との衝突または接触を回避するための運転操作をさせることができる。

また、情報処理装置Ｓは、車両の周囲の状況を認識する場合に死角が発生しないように画像情報を処理するので、確実にドライバーの周辺にある障害物を認識して衝突または接触を回避するための運転操作をさせることができる。

また、情報処理装置Ｓは、障害物として人物が認識された場合において、車両が直進している場合には衝突または接触する危険度が低いと判断し、車両の経路が左折を予定している場合には衝突または接触する危険度が非常に高いと判断して警報情報を生成することも可能であり、より適切にドライバーに障害物との衝突または接触を回避するための運転操作をさせることができる。

また、情報処理装置Ｓは、標識情報として速度制限の表示を認識した場合に、車両が制限された速度以上で移動している場合に、障害物を認識した場合には、危険度が非常に高いと判断して警報情報を生成することも可能なので、より適切にドライバーに障害物との衝突または接触を回避するための運転操作をさせることができる。

また、情報処理装置Ｓは、標識情報として駐車場、非常駐車場、サービスエリア、またはそれらの予告情報の表示を認識した場合に、障害物がそれらの標識情報を認識した付近から接近してくる場合には、危険度が高いと判断して警報情報を生成することも可能であり、より適切にドライバーに障害物との衝突または接触を回避するための運転操作をさせることができる。

また、情報処理装置Ｓは、標識情報として学校、幼稚園、保育園、信号機、またはそれらの予告情報の表示を認識した場合にも同様である。基本的には車両の周囲に接近してくる子供を認識した場合には、危険度が高いと判断して警報情報を生成することが望ましい。

また、上記実施形態については、移動体として車両を例にとって説明したが、これに限定されるものではなく、移動体として航空機、船舶、或いはユーザにより運転可能な機器に対しても適用可能である。

Claims (9)

1. 移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情報処理装置において、
   予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶手段と、
   前記移動体の外部の画像情報を撮像する画像情報撮像手段と、
   前記画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶された前記障害物の画像情報とを比較する比較手段と、
   前記比較手段の比較による結果、前記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動体の中心付近を基準として当該障害物が位置する方向を示す第一方向情報と、当該移動体の運転席に着座した運転者の中心付近を基準として当該第一方向情報によって示される方向と平行となる方向を示す第二方向情報と、を演算する演算手段と、
   前記演算された第二方向情報と、前記障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる音像定位手段と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記演算手段は、少なくとも２つ以上の前記撮像された画像情報に基づいて前記障害物および前記移動体の移動状態を予測演算し、前記障害物と前記移動体とが接触する可能性がある場合に、前記音像定位手段は前記警報情報を音像として定位させることを特徴とする情報処理装置。
3. 請求項１または２に記載の情報処理装置において、
   前記音像定位手段は、前記障害物の前記種類情報に応じて前記警報情報を変化させることを特徴とする情報処理装置。
4. 請求項３に記載の情報処理装置において、
   前記記憶手段は、自移動体の種別を示す自移動体情報を更に記憶しており、
   前記音像定位手段は、前記障害物の前記種類情報と前記自移動体情報に基づいて前記警報情報を変化させることを特徴とする情報処理装置。
5. 請求項１乃至４の何れか一項に記載の情報処理装置において、
   前記方向情報に示される方向を、前記移動体の運転席を基準とした方向へ変換する変換手段を有することを特徴とする情報処理装置。
6. 請求項１乃至５の何れか一項に記載の情報処理装置において、
   前記画像情報撮像手段が複数ある場合には、隣接する前記画像情報撮像手段はお互いに隣接する一部の角度範囲を重複して撮像することを特徴とする情報処理装置。
7. 移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情報処理装置の制御方法において、
   予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶工程と、
   前記移動体の外部の画像情報を撮像する画像情報撮像工程と、
   前記画像情報撮像工程において撮像された画像情報と、前記記憶工程において記憶された前記障害物の画像情報とを比較する比較工程と、
   前記比較工程における比較による結果、前記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動体の中心付近を基準として当該障害物が位置する方向を示す第一方向情報と、当該移動体の運転席に着座した運転者の中心付近を基準として当該第一方向情報によって示される方向と平行となる方向を示す第二方向情報と、を演算する演算工程と、
   前記演算された第二方向情報と、前記障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる音像定位工程と、
   を備えることを特徴とする情報処理装置の制御方法。
8. 移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行うコンピュータを、
   予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶手段、
   前記移動体の外部の画像情報を撮像する画像情報撮像手段、
   前記画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶された前記障害物の画像情報とを比較する比較手段、
   前記比較手段の比較による結果、前記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動体の中心付近を基準として当該障害物が位置する方向を示す第一方向情報と、当該移動体の運転席に着座した運転者の中心付近を基準として当該第一方向情報によって示される方向と平行となる方向を示す第二方向情報と、を演算する演算手段、及び
   前記演算された第二方向情報と、前記障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる音像定位手段として機能させることを特徴とする制御プログラム。
9. 請求項８に記載の制御プログラムを記録した、コンピュータに読み取り可能な情報記録媒体。

Images