JP4345526B2

JP4345526B2 - 物体監視装置

Info

Publication number: JP4345526B2
Application number: JP2004064429A
Authority: JP
Inventors: 裕介水野; 清貴田口
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2004-03-08
Filing date: 2004-03-08
Publication date: 2009-10-14
Anticipated expiration: 2024-03-08
Also published as: JP2005251111A

Description

本発明は、物体監視装置に関するものである。

従来、画像処理にて障害物を検出する障害物検知システムが提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている障害物検知システムは、自動車に取り付けられたカメラからの画像を画像処理にて道路環境の種類、障害物の種類、相対位置等を算出し、緊急度合いが高い障害物について、その存在を画像表示等によって通知するものであるが、障害物を認識するために撮像画像全体を画像処理しなければならず、膨大な量の計算が必要となる。

この問題に関し、視線認識技術を利用して視線検出結果に基づいて被写体の位置を特定する被写体認識方法が提案されている（例えば、特許文献２参照）。この特許文献２に開示されている被写体認識方法は、視線の検出結果を用いて被写体の認識範囲を切り出し、この切り出した範囲において被写体認識処理を行う。
特開２００２−７４５９４号公報特開２００１−１１６９８５号公報

上述した、被写体認識方法では、認識範囲を限定しているため画像処理の計算量を低減することができるものの、視線を被写体から外してしまうと、その後の被写体の位置が特定できないという問題がある。

本発明は、かかる問題を鑑みてなされたもので、物体から視線を外しても、その物体の位置を特定することができる物体監視装置を提供することを目的とする。

請求項１に記載の物体監視装置は、視線方向を検出する視線方向検出手段と、前記視線方向の風景の画像を撮影する撮像手段と、前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、前記視点特定手段によって特定される視点の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、前記監視対象物決定手段は、前記画像における前記監視対象物の位置を示すポイントを設定する設定手段を備え、さらに、前記ポイントを前記画像に重ねて表示する表示手段を備え、前記監視対象物追従手段は、前記ポイントの位置を前記画像の動きに応じた方向へ移動することで、その監視対象物を追従し、前記設定手段は、前記監視対象物を監視する監視範囲を前記ポイントを基準として設定し、前記表示手段は、前記監視範囲を前記画像に重ねて表示し、前記視線方向検出手段は、前記視線方向とともに瞳孔の開き度合いを検出し、前記設定手段は、前記監視対象物に視線を向けたときの瞳孔の開き度合いに応じて、前記監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする。
また、請求項２に記載の物体監視装置は、視線方向を検出する視線方向検出手段と、前記視線方向の風景の画像を撮影する撮像手段と、前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、物体に関する情報を取得する物体情報取得手段と、前記視点特定手段によって特定される視点の位置、及び、前記物体情報取得手段によって取得される物体に関する情報に基づく前記画像における位置の少なくとも一方の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、前記監視対象物決定手段は、前記画像における前記監視対象物の位置を示すポイントを設定する設定手段を備え、さらに、前記ポイントを前記画像に重ねて表示する表示手段を備え、前記監視対象物追従手段は、前記ポイントの位置を前記画像の動きに応じた方向へ移動することで、その監視対象物を追従し、前記設定手段は、前記監視対象物を監視する監視範囲を前記ポイントを基準として設定し、前記表示手段は、前記監視範囲を前記画像に重ねて表示し、前記視線方向検出手段は、前記視線方向とともに瞳孔の開き度合いを検出し、前記設定手段は、前記監視対象物に視線を向けたときの瞳孔の開き度合いに応じて、前記監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする。
さらに、請求項３に記載の物体監視装置は、視線方向を検出する視線方向検出手段と、前記視線方向の風景の画像を撮影する撮像手段と、前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、前記視点特定手段によって特定される視点の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、前記監視対象物決定手段は、前記視点の位置に写し出される物体を監視対象物として決定する際、前記視点の位置が第１の所定時間以上同じ位置である場合に決定し、前記監視対象物追従手段は、前記監視対象物が前記画像に複数存在する場合、所定の順序に従って前記監視対象物毎にその位置を追従させるとともに、前記視点の位置が同一の監視対象物に複数回位置する、及び前記視点の位置が同一の監視対象物に前記第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように前記所定の順序を変更する変更手段を備えることを特徴とする。
また、請求項４に記載の物体監視装置は、視線方向を検出する視線方向検出手段と、前記視線方向の風景の画像を撮影する撮像手段と、前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、物体に関する情報を取得する物体情報取得手段と、前記視点特定手段によって特定される視点の位置、及び、前記物体情報取得手段によって取得される物体に関する情報に基づく前記画像における位置の少なくとも一方の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、前記監視対象物決定手段は、前記視点の位置に写し出される物体を監視対象物として決定する際、前記視点の位置が第１の所定時間以上同じ位置である場合に決定し、前記監視対象物追従手段は、前記監視対象物が前記画像に複数存在する場合、所定の順序に従って前記監視対象物毎にその位置を追従させるとともに、前記視点の位置が同一の監視対象物に複数回位置する、及び前記視点の位置が同一の監視対象物に前記第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように前記所定の順序を変更する変更手段を備えることを特徴とする。

例えば、自動車等の車両の運転者は、通常、潜在的な危険性を有する物体（例えば、横断歩道、交差点等）の位置する方向に視線を向け、自車両に対する危険性の有無（例えば、歩行者、軽車両、他車両の飛び出し等）を把握するといった視認行動をとる。

また、例えば、自動車等の車両に本発明の物体監視装置が搭載される場合、撮像手段によって撮影された画像は、車両の移動に伴ってその移動方向と相反する方向へ動くため、上述した潜在的な危険性を有する横断歩道や交差点等の位置についても、画像内において、車両の移動方向と相反する方向へ移動する。

本発明は、この運転者の視認行動と、画像における横断歩道や交差点等の位置の移動方向に着目し、視線特定手段によって特定される視点の位置に写し出される物体（被写体）を監視対象物とし、撮像手段の撮影する画像の動きに応じて監視対象物の位置を追従させる。これにより、例えば、運転者が横断歩道や交差点等から視線を外した場合であっても、その物体の位置を画面の動きに応じて追従するため、常にその位置を特定することができる。

例えば、請求項２及び４の構成によれば、監視する必要のある物体に関する情報を取得し、その情報に基づく画像における位置の被写体を監視対象物とすることで、例えば、自動車等の車両の運転者が監視すべき物体に一度も視線を向けなくとも、監視する必要のある物体の位置を追従させることができる。

請求項３及び４に記載の物体監視装置によれば、監視対象物決定手段は、視点の位置に写し出される物体を監視対象物として決定する際、視点の位置が第１の所定時間以上同じ位置である場合に決定する。

すなわち、一般に、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向ける。従って、視点の位置が第１の所定時間（例えば、数百ミリ秒程度）以上同じ位置である場合に、その視点の位置の被写体を監視対象物に決定することができる。

請求項１、２、及び５に記載の物体監視装置によれば、監視対象物決定手段は、画像における監視対象物の位置を示すポイントを設定する設定手段を備え、監視対象物追従手段は、ポイントの位置を画像の動きに応じた方向へ移動することで、その監視対象物を追従する。

例えば、自動車等の車両に本発明の物体監視装置が搭載される場合、監視対象物の位置を示すポイントは、車両の移動方向と相反する方向へ移動する。従って、車両の移動方向と相反する方向へ監視対象物の位置を示すポイント移動することで、その監視対象物を追従して監視することができる。

請求項１、２、及び６に記載の物体監視装置は、監視対象物の位置を示すポイントを画像に重ねて表示する表示手段を備える。これにより、表示手段に表示される画像から監視対象物を監視することができる。

請求項７に記載の物体監視装置によれば、監視対象物追従手段は、ポイントの位置を移動することによって画像から外れる場合、そのポイントを追従対象から除外することを特徴とする。これにより、危険性が無くなった監視対象物を監視対象から除外することができる。

請求項１、２、及び８に記載の物体監視装置によれば、設定手段は、監視対象物を監視する監視範囲をポイントを基準として設定し、表示手段は、監視範囲を画像に重ねて表示する。これにより、表示手段に表示される監視範囲を示す画像から監視対象物の監視ができる。

請求項１、２、及び９に記載の物体監視装置によれば、視線方向検出手段は、視線方向とともに瞳孔の開き度合いを検出し、設定手段は、監視対象物に視線を向けたときの瞳孔の開き度合いに応じて、監視範囲の大きさを変更する監視範囲変更手段を備える。

上述したように、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向けるが、その物体の詳細な点まで認識しようとする場合、人の目は、目に入射する光の量を抑えようとする（目を凝らす）ため、瞳孔の開き度合いが小さくなる。従って、瞳孔の開き度合いに応じて、監視範囲の大きさを変更することで、詳細な点まで認識した監視対象物の監視範囲の大きさに変更することができる。

請求項１０に記載の物体監視装置によれば、監視範囲変更手段は、瞳孔の開き度合いが通常の開き度合いよりも大きい場合、監視範囲を広げ、瞳孔の開き度合いが通常の開き度合いよりも小さい場合、監視範囲を狭めることを特徴とする。

これにより、例えば、自動車等の車両の運転者が詳細な点まで認識しなかった（目を凝らさずに視認した）監視対象物の監視範囲を大きくし、また、詳細な点まで認識した（目を凝らして視認した）監視対象物の監視範囲を小さくすることができる。

請求項１１に記載の物体監視装置によれば、設定手段は、監視対象物の種類、又は監視対象物までの距離に応じて、監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする。これにより、監視対象物の種類や距離の長さに応じて監視範囲の大きさを変更することができる。

請求項１２に記載の物体監視装置によれば、監視範囲変更手段は、監視対象物が道路の分岐地点、合流地点、交差点、及び横断歩道の何れかの地点である、又は監視対象物までの距離が短い場合、監視範囲を広げ、監視対象物が歩行者、及び軽車両の何れかの物体である、又は監視対象物までの距離が長い場合、監視範囲を狭めることを特徴とする。

これにより、比較的大きさの大きい監視対象物や距離の短い監視対象物については監視範囲を大きくし、比較的大きさの小さい監視対象物や距離の長い監視対象物については監視範囲を小さくすることができる。

請求項１３に記載の物体監視装置によれば、監視対象物追従手段は、監視対象物が画像に複数存在する場合、所定の順序に従って監視対象物毎にその位置を追従させることを特徴とする。例えば、距離の短い（画面上では、画面の下方に近い）監視対象物から画面の動きに応じた方向へその位置を移動することで、距離の短い監視対象物から追従することができる。

請求項１４に記載の物体監視装置によれば、監視対象物追従手段は、視点の位置が同一の監視対象物に複数回位置する、及び視点の位置が同一の監視対象物に第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように所定の順序を変更する変更手段を備えることを特徴とする。

上述したように、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向け、その物体の詳細な点まで認識しようとする場合には目を凝らすが、さらに、その物体が移動しているか否か、及びその物体の移動方向を把握する際、上述した第１の所定時間（例えば、数百ミリ秒程度）よりも更に長い第２の所定時間以上、その物体へ視線を向ける。

この第２の所定時間以上継続して視線を向けることができるのは、例えば、自動車等の車両を運転中の運転者である場合、車両が停止した状態／極低速で走行する状態に限られる。つまり、自動車等の車両を運転中の運転者は、一般に、車両の進行方向を注視するため、その注視する方向から外れた物体を視認する場合、注視する方向から視線を移動する必要があるからである（言い換えれば、車両の進行方向から視線を継続して外すことができないからである。）。

この注視する方向から視線を移動する必要があるのは、人の視覚認知の特性に係わっている。すなわち、人の視野は、目で見たときに注目している領域（中心視）とその周辺（周辺視）とに大別され、この中心視と周辺視とでは認知能力が異なることが知られている。

つまり、人は、中心視で見ている対象が何であるかを認識することができるものの、周辺視では、何であるのかを認識することが難しくなり、その傾向は、中心視から離れるほど強くなる。但し、周辺視内の物体であっても、その物体が視野内で動いていれば何か物体があること（物体の存在）を人は認識することができ、物体の存在に気が付けば、その方向を中心視で確認する。

このことから、自動車等の車両を運転中の運転者は、継続して視線を向けることができない場合、その物体が移動しているか否か、及びその物体の移動方向を把握する際に、その物体に対して少なくとも２回以上（複数回）視線を向け、その物体の位置の変化から移動方向を把握することが想定される。

従って、視点の位置が同一の監視対象物に複数回位置する、及び視点の位置が同一の監視対象物に第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように所定の順序を変更することで、危険性の高い監視対象物を優先して追従させることができる。

請求項１５に記載の物体監視装置によれば、変更手段は、所定の順序を変更する際、監視対象物の位置を追従させる順番、及び更新する頻度の少なくとも一方を変更することを特徴とする。これにより、危険性の高い監視対象物から優先して追従させたり、危険性の高い監視対象物を繰り返し追従させたりすることができる。

請求項１６に記載の物体監視装置は、視点の位置が同一の監視対象物に複数回位置し、さらに、視点の位置の履歴によって示される視点の軌跡の方向が特定の方向と略一致する場合、監視対象物と衝突する可能性が有ると判定する衝突可能性判定手段を備えることを特徴とする。

例えば、本発明の物体監視装置が自動車等の車両に搭載され、車両の移動方向の画像を撮影する場合、その視線の軌跡の方向が車両に向かう方向と略一致する場合、その監視対象物と車両とが衝突する可能性が有ると判定することができる。

請求項１７に記載の物体監視装置は、衝突可能性判定手段によって衝突する可能性が有ると判定される場合、その旨を報知する報知手段を備えることを特徴とする。これにより、監視対象物と衝突する可能性が有ることを把握することができる。

請求項１８に記載の物体監視装置は、物体監視装置は、移動体に搭載されるものであって、衝突可能性判定手段によって衝突する可能性が有ると判定される場合、監視対象物との衝突を回避するように、移動体の駆動力、又は／及び移動体の操舵を制御する衝突回避制御手段を備えることを特徴とする。これにより、監視対象物の監視だけでなく、監視対象物との衝突を回避することが可能となる。

以下、本発明の物体監視装置に関して、図面に基づいて説明する。なお、本実施形態では、自動車等の車両の進行方向に存在する物体を監視する物体監視装置について説明する。

図１に、本実施形態における物体監視装置１００の全体構成を示す。同図に示すように、物体監視装置１００は、制御装置１０、視線認識装置２０、視線認識用カメラ３０、物体監視用カメラ４０、カーナビゲーション装置（以下、カーナビ）５０、表示装置６０、及びスピーカ７０によって構成される。

制御装置１０は、マイクロコンピュータとして構成されるもので、何れも周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、及び、これら構成を接続するバスラインによって構成される。ＣＰＵは、ＲＯＭに記憶されるプログラムに従って所定の演算処理を実行する。

視線認識用カメラ３０は、図２に示すように、車両の乗員（例えば、運転者）の目の画像を撮影することができる車室内に配置され、撮影された目の画像を視線認識装置２０へ出力する。また、視線認識用カメラ３０は、制御装置１０からの指示信号に応じて、フォーカス、シャッタースピード、フレームレート、出力ゲイン等の調整を行う。

視線認識装置２０は、視線認識用カメラ３０によって撮影された目の画像に基づいて、乗員の視線方向からと瞳孔の開き度合いを認識する。なお、視線方向は、車両の特定位置（例えば、重心位置）を中心とし、車両の前後（Ｘ軸）、左右（Ｙ軸）、高さ（Ｚ軸）の各座標軸によって構成される車両座標系に対する目の位置（アイポイント）[ΔＸ、ΔＹ、ΔＺ]、及び、上記目の位置における視線方向の各座標軸に対する角度[αx、βy、γz]によって示される。

この目の画像から視線方向を認識する方法としては、例えば、特開平８−２３８２２２号公報に開示されている視線認識装置のように、角膜曲率中心と瞳孔中心の位置情報から視線方向を認識する方法をとればよい。

また、瞳孔の開き度合いについては、撮影画像から瞳孔と虹彩（アイリス）との境界付近の画素値の変化を検出して（エッジ検出）、この検出したエッジからなる領域の大きさ（すなわち、瞳孔の大きさ）から瞳孔の開き度合いを認識すればよい。この視線認識装置２０によって認識された乗員の視線方向と瞳孔の開き度合いの情報は、制御装置１０へ出力される。

物体監視用カメラ４０は、図２に示すように、車両の前部に配置され、車両の進行方向の風景の画像を撮影する。物体監視用カメラ４０は、視線認識用カメラ３０と同様に、制御装置１０からの指示信号に応じて、フォーカス、シャッタースピード、フレームレート、出力ゲイン等の調整を行い、撮影画像を制御装置１０へ出力する。

カーナビ５０は、周知のごとく、車両の現在位置周辺の地図を表示する地図表示機能、所望の施設を検索する施設検索機能、目的地までの経路を誘導する経路誘導機能等の各種機能を実行するものである。このカーナビ５０は、何れも図示しない位置検出器、地図データ入力器、制御回路によって構成される。

位置検出器は、車両の現在位置を検出するもので、いずれも周知の地磁気センサ、及び衛星からの電波に基づいて車両の位置を検出するＧＰＳ（Global Positioning System）のためのＧＰＳ受信機等によって構成される。

地図データ入力器は、道路データ、背景データ、目印データ等から構成される地図データを入力するための装置であり、制御回路からの要請により各種データを送信する。これら各種データを記憶する記憶媒体としては、ＣＤ、ＤＶＤ、ＨＤ（ハードディスク）等の大容量の記憶媒体が主に用いられる。

ここで、地図データを構成する道路データのリンクデータ及びノードデータについて説明する。先ず、リンクとは、地図上の各道路を交差・分岐・合流する点等の複数のノードにて分割し、それぞれのノード間をリンクとして規定されるものであり、リンクを接続することにより道路が構成される。リンクデータは、リンクを特定する固有番号（リンクＩＤ）、リンクの長さを示すリンク長、リンクの始端と終端の座標、道路名称、道路種別、道路幅員等の各データから構成されている。

一方、ノードデータは、地図上の各道路が分岐、合流、交差するノード毎に固有の番号を付したノードＩＤ、ノード座標、ノード名称、ノードに接続する全てのリンクのリンクＩＤが記述される接続リンクＩＤ、分岐地点、合流地点、交差点、及び横断歩道の何れかの地点に該当するかを示す地点の種類等の各データから構成されている。

このカーナビ５０は、車両の現在位置を検出するとともに、車両の現在位置から所定距離以内の進行方向に存在する分岐地点、合流地点、交差点、及び横断歩道の何れかの地点の種類とその位置を示す地点情報を地図データから抽出する。そして、制御装置１０からの要請がある場合に、その地点情報を制御装置１０へ出力する。

これにより、制御装置１０において、地図データに含まれる道路データから、道路の分岐地点、合流地点、交差点、及び横断歩道の何れかの地点に関する情報を取得することができる。

表示装置６０は、図２に示すように、車両の運転者が見ることのできる位置に配置される。この表示装置６０は、例えば液晶ディスプレイによって構成され、表示装置９の画面には、カーナビ５０の各種機能に応じた画像を表示することができるとともに、制御装置１０から出力される物体監視用の画像を表示することができる。このカーナビ５０の画像と物体監視用の画像の切り替えは、制御装置１０によって制御される。スピーカ７０は、カーナビ５０の各種機能に応じた音や音声を出力したり、車両の乗員に対して注意喚起を行うための警報を出力したりする。

また、物体監視装置１００は、他車両や路側インフラ等の外部との通信を行う通信機（図示せず）を備えており、車両の周囲に存在する歩行者や軽車両等の物体の種類とその位置を含む物体情報を受信する。このように、路側インフラや他車両等との通信を行う路車間通信や車車間通信等を利用することで、車両の運転者の死角に存在する歩行者や軽車両等の物体情報を取得することができる。

制御装置１０は、視線認識装置２０によって認識された乗員の視線方向と瞳孔の開き度合いの情報と、物体監視用カメラ４０によって撮影された画像を取得し、この画像における乗員の視点の位置を特定する。次に、この特定した視点の位置をマーキングし、このマーキングされたマーカの被写体を監視対象物として決定（検出）し、車両の移動に伴う画像の動きに応じてマーカを動かして監視対象物を追従して監視する物体監視処理を実行する。

また、物体監視用カメラ４０によって撮影された画像は、車両の移動に伴ってその移動方向と相反する方向へ動くため、上述した潜在的な危険性を有する横断歩道や交差点等の位置についても、画像内において、車両の移動方向と相反する方向へ移動する。

本実施形態では、この運転者の視認行動と、画像における横断歩道や交差点等の位置の移動方向に着目し、視点の位置に写し出される物体（被写体）を監視対象物とし、車両の移動に伴う画像の動きに応じて監視対象物の位置を追従させる。これにより、例えば、運転者が横断歩道や交差点等から視線を外した場合であっても、その物体の位置を画面の動きに応じて追従するため、常にその位置を特定することができる。

以下、本実施形態の特徴部分に係わる物体監視処理について、図６〜図１１に示すフローチャートを用いて説明する。先ず、図６に示すステップ（以下、Ｓと記す）１０では、物体検出処理を実行し、Ｓ２０にて、その検出した物体を画像に動きに応じて追従させる物体追従処理を実行する。

この物体検出処理について、図７〜図１０に示すフローチャートを用いて説明する。図７に示すＳ１００では、視線認識処理を実行する。この視線認識処理では、視線認識装置２０によって認識された乗員の視線方向の情報に基づいて、物体監視用カメラ４０によって撮影された画像における乗員の視点の位置を認識する。

この画像における視点の位置は、車両座標系に対する目の位置（アイポイント）[ΔＸ、ΔＹ、ΔＺ]、及び、上記目の位置における視線方向の各座標軸に対する角度[αx、βy、γz]と、物体監視用カメラ４０の車両座標系に対する取り付け位置、撮影方向、及び撮影範囲に基づいて幾何学的に算出することで求めることができる。

Ｓ２００では、視線移動が停止したか否かを判定する。ここで、肯定判定される場合にはＳ３００のマーキング処理に移行し、否定判定される場合には、本物体検出処理を終了し、Ｓ２０の物体追従処理を実行する。

このＳ２００は、乗員の視点の位置の被写体を監視対象物とすべきか否かを判定するもので、具体的には、画像における視点の位置が第１の所定時間以上同じ位置であるか否かを判定する。すなわち、一般に、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向ける。従って、視点の位置が第１の所定時間（例えば、数百ミリ秒程度）以上同じ位置である場合に、運転者が認識した被写体を監視対象物にすることができる。

続いて、Ｓ３００におけるマーキング処理について、図８に示すフローチャートを用いて説明する。図８に示すＳ３１０では、視点の位置が以前に検出した画像上の場所であるか否かを判定する。すなわち、既に存在するマーカ以外の画像上の場所であるか否かを判定するもので、乗員が新たな物体を認識したか否かの判定となる。ここで、肯定判定される場合には、Ｓ３２０へ処理を進め、否定判定される場合にはＳ３４０の優先度設定処理に移行する。

Ｓ３２０における監視範囲決定処理について、図９に示すフローチャートを用いて説明する。図９に示すＳ３２２では、視線認識装置２０において、乗員の瞳孔の開き度合いが認識（検出）され、Ｓ３２４では、この瞳孔の開き度合いが通常の乗員の瞳孔の開き度合いに比べて大きいか否かを判定する。ここで、肯定判定される場合にはＳ３２６にて、監視対象物を監視する監視範囲を広げて、監視範囲を大きく設定し、一方、否定判定される場合にはＳ３２８にて、監視対象物を監視する監視範囲を狭めて、監視範囲を小さく設定する。

この監視範囲は、乗員の視点の位置を基準として設定するもので、例えば、視点の位置を中心とする円を監視範囲として設定する。そして、この監視範囲の大きさを瞳孔の大きさに応じて変更する。

すなわち、上述したように、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向けるが、その物体の詳細な点まで認識しようとする場合、人の目は、目に入射する光の量を抑えようとする（目を凝らす）ため、瞳孔の開き度合いが小さくなる。

従って、例えば、瞳孔の開き度合いが通常の開き度合いよりも大きい場合、監視範囲を広げ、瞳孔の開き度合いが通常の開き度合いよりも小さい場合、監視範囲を狭めるように監視範囲の大きさを変更することで、運転者が詳細な点まで認識しなかった（目を凝らさずに視認した）監視対象物の監視範囲を大きくし、また、詳細な点まで認識した（目を凝らして視認した）監視対象物の監視範囲を小さくすることができる。

図８に示すＳ３３０では、乗員の視点の位置（マーキングポイント、ＭＰ）を基準とする監視範囲を示すマーカ（ＭＫ）をマーキングする。これにより、例えば、図３に示すように、被写体である歩行者を監視対象物として決定し、その監視対象物に対する乗員の視点の位置（ＭＰ）と監視範囲を示すマーカ（ＭＫ）がマーキングされる。

次に、優先度設定処理について、図１０に示すフローチャートを用いて説明する。図１０に示すＳ３４２では、乗員の視点の位置が以前に検出した画像上の場所であるか否かを判定する。すなわち、乗員が同じ監視対象物に複数回視線を向けたか否かの判定をする。ここで、肯定判定される場合には、Ｓ３４８へ処理を進め、否定判定される場合にはＳ３４４へ処理を進める。

Ｓ３４４では、乗員が注視していたか否かを判定する。すなわち、乗員の視点の位置が同じ監視対象物を上述した第１の所定時間よりも長い第２の所定時間以上位置したか否かの判定を行う。ここで、肯定判定される場合にはＳ３４８へ処理を進め、否定判定される場合にはＳ３４４へ処理を進める。

このＳ３４２、及びＳ３４４の判定結果は、乗員自身が視覚によって監視対象物の危険性を判定した場合の判定結果と一致するものである。つまり、上述したように、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向け、その物体の詳細な点まで認識しようとする場合には目を凝らすが、さらに、その物体が移動しているか否か、及びその物体の移動方向を把握する際、上述した第１の所定時間（例えば、数百ミリ秒程度）よりも更に長い第２の所定時間以上、その物体へ視線を向ける。

この第２の所定時間以上継続して視線を向けることができるのは、車両が停止した状態／極低速で走行する状態に限られる。つまり、運転者は、一般に、車両の進行方向を注視するため、その注視する方向から外れた物体を視認する場合、注視する方向から視線を移動する必要があるからである（言い換えれば、車両の進行方向から視線を継続して外すことができないからである。）。

すなわち、人は、中心視で見ている対象が何であるかを認識することができるものの、周辺視では、何であるのかを認識することが難しくなり、その傾向は、中心視から離れるほど強くなる。但し、周辺視内の物体であっても、その物体が視野内で動いていれば何か物体があること（物体の存在）を人は認識することができ、物体の存在に気が付けば、その方向を中心視で確認する。

このことから、運転者は、継続して視線を向けることができない場合、その物体が移動しているか否か、及びその物体の移動方向を把握する際に、その物体に対して少なくとも２回以上（複数回）視線を向け、その物体の位置の変化から移動方向を把握することが想定される。従って、Ｓ３４２、及びＳ３４４の判定処理によって、危険性の高い監視対象物であるか否かを判定することができる。

Ｓ３４６では、後述する物体追従処理における追従する順序（スケジュール）として、通常のスケジューリングを設定する。例えば、距離の短い（画面上では、画面の下方に近い）マーカ（ＭＫ）から追従するようにスケジューリングする。これにより、距離の短い監視対象物から追従することができる。

一方、Ｓ３４８では、危険性の高い監視対象物に対応するマーカ（ＭＫ）を優先したスケジューリングを設定する。具体的には、危険性の高い監視対象物に対応するマーカ（ＭＫ）を追従する順番や更新する頻度等を変更する。

例えば、危険性の高い監視対象物に対応するマーカ（ＭＫ＿Ａ）とそれ以外のマーカ（ＭＫ＿Ｂ、ＭＫ＿Ｃ）が存在する場合、追従する順番として、（ＭＫ＿Ａ）→（ＭＫ＿Ｂ）→（ＭＫ＿Ｃ）としたり、追従する際の更新頻度として、（ＭＫ＿Ａ）→（ＭＫ＿Ｂ）→（ＭＫ＿Ａ）→（ＭＫ＿Ｃ）としたりする。これにより、危険性の高い監視対象物に対応するマーカから優先して追従させたり、繰り返し追従させたりすることができる。

Ｓ２０における物体追従処理について、図１１に示すフローチャートを用いて説明する。図１１に示すＳ２２では、マーカの位置を画像の動きに応じた方向へ移動させる。例えば、本実施形態のように、物体監視装置１００が車両に搭載される場合、図５（ａ）に示すように、各マーカ（ＭＫ＿ａ、ＭＫ＿ｂ）は、車両の移動に伴って、図５（ｂ）や図（ｃ）に示すように、車両の移動方向と相反する方向（略画面の下方）へ移動する。

従って、車両の移動方向と相反する方向へ各マーカを移動することで、その監視対象物に対応するマーカを追従して監視することができる。なお、図５（ａ）に示すＥＭは、視点の位置の履歴を示す軌跡であり、ＭＰ＿ａ、ＭＰ＿ｂは、各マーカのマーキングポイントを示している。

Ｓ２４では、移動させたマーカの位置が画面の外に位置するか否かを判定する。ここで、肯定判定される場合には、Ｓ２６において、そのマーカを監視対象から除外し、上述したスケジューリングの中から削除する。これにより、これにより、危険性が無くなった監視対象物を監視対象から除外することができる。

なお、図示していないが、Ｓ２６の処理の後に、図５に示したマーカの画像を表示装置６０に表示するようにしてもよい。これにより、車両の乗員は、図４に示すように、表示装置６０に画面される画像から監視対象物を監視することができる。

このように、本実施形態の物体監視装置１００は、視線認識装置２０によって認識された乗員の視線方向の情報と、物体監視用カメラ４０によって撮影された画像を取得し、この画像における乗員の視点の位置を特定する。次に、この特定した視点の位置をマーキングし、このマーキングされたマーカの位置の被写体を監視対象物として決定（検出）し、車両の移動に伴う画像の動きに応じてマーカを動かして監視対象物を追従して監視する物体監視処理を実行する。

これにより、例えば、運転者が横断歩道や交差点等から視線を外した場合であっても、その物体の位置を画面の動きに応じて追従するため、常にそのマーカの位置を特定することができる。

（変形例１）
本実施形態では、乗員の視点の位置の被写体を監視対象物としているが、監視する必要のある物体に関する情報を取得して、その情報に基づく画像における位置の被写体を監視対象物としてもよい。

例えば、カーナビ５０から、車両の現在位置から所定距離以内の進行方向に存在する分岐地点、合流地点、交差点、及び横断歩道の何れかの地点の種類とその位置を示す地点情報を取得したり、他車両や路側インフラ等の外部との通信を行う通信機から、車両の周囲に存在する歩行者や軽車両等の物体の種類とその位置を含む物体情報を取得したりして、この取得した地点情報や物体情報に基づく画像における位置を算出し、その位置にマーカをマーキングする。

これにより、車両の運転者が監視すべき物体に一度も視線を向けなくとも、監視する必要のある物体の位置を追従させることができる。なお、この地点情報や物体情報に基づいて設定したマーカ（監視範囲）の大きさは、監視対象物の種類や監視対象物までの距離等に応じて、マーカの大きさを変更するようにしてもよい。

例えば、監視対象物が道路の分岐地点、合流地点、交差点、及び横断歩道の何れかの地点である、又は監視対象物までの距離が短い場合にはマーカを大きくし、監視対象物が歩行者や軽車両等の物体である、又は監視対象物までの距離が長い場合にはマーカを小さくする。

これにより、比較的大きさの大きい監視対象物や距離の短い監視対象物についてはマーカを大きくし、比較的大きさの小さい監視対象物や距離の長い監視対象物についてはマーカを小さくすることができる。

（変形例２）
本実施形態は、表示装置６０にマーカの画像を表示するものであるが、乗員の視点の位置が同一のマーカ上に複数回位置し、さらに、その視点の位置の軌跡（ＥＭ）の方向が特定の方向と略一致する場合、監視対象物と衝突する可能性が有ると判定して、その旨を表示装置６０やスピーカ７０等から報知するようにしてもよい。

例えば、視点の位置の軌跡（ＥＭ）の方向が車両に向かう方向と略一致する場合、そのマーカの監視対象物と車両とが衝突する可能性が有ると判断できる。従って、衝突する可能性が有る場合に、その旨を報知することで、乗員は、監視対象物と衝突する可能性が有ることを把握することができる。

（変形例３）
上記変形例２に加えて、監視対象物と衝突する可能性が有ると判定される場合、監視対象物との衝突を回避するように、車両の駆動力や操舵を制御するようにしてもよい。例えば、例えば、運転者によるアクセルペダルの開側の操作が無効となるように、燃料噴射装置のスロットルの開閉を制御したり、ブレーキアクチュエータを駆動して、車両を自動的に制動させたり、或いは、監視対象物との衝突を回避する方向へステアリングの操舵を制御したりする。これにより、監視対象物の監視だけでなく、監視対象物との衝突を回避することが可能となる。

本発明の実施形態に係わる、物体監視装置１００の全体構成を示すブロック図である。視線認識用カメラ３０、物体監視用カメラ４０、表示装置６０の車両における取り付け位置のイメージを示す図である。監視対象物である歩行者に対する乗員の視点の位置（ＭＰ）と監視範囲を示すマーカ（ＭＫ）がマーキングされた場合の例を示す図である。表示装置６０に表示される画面のイメージを示す図である。（ａ）〜（ｃ）は、車両の移動に伴って車両の移動方向と相反する方向へマーカ（ＭＫ＿ａ、ＭＫ＿ｂ）を移動させた場合の例を示す図である。本発明の実施形態に係わる、物体監視処理の流れを示すフローチャートである。本発明の実施形態に係わる、物体検出処理の流れを示すフローチャートである。本発明の実施形態に係わる、マーキング処理の流れを示すフローチャートである。本発明の実施形態に係わる、検出範囲決定処理の流れを示すフローチャートである。本発明の実施形態に係わる、優先度設定処理の流れを示すフローチャートである。本発明の実施形態に係わる、物体追従処理の流れを示すフローチャートである。

符号の説明

１０制御装置
２０視線認識装置
３０視線認識用カメラ
４０物体監視用カメラ
５０カーナビ
６０表示装置
７０スピーカ
１００物体監視装置

Claims

視線方向を検出する視線方向検出手段と、
前記視線方向の風景の画像を撮影する撮像手段と、
前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、
前記視点特定手段によって特定される視点の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、
前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、
前記監視対象物決定手段は、前記画像における前記監視対象物の位置を示すポイントを設定する設定手段を備え、
さらに、前記ポイントを前記画像に重ねて表示する表示手段を備え、
前記監視対象物追従手段は、前記ポイントの位置を前記画像の動きに応じた方向へ移動することで、その監視対象物を追従し、
前記設定手段は、前記監視対象物を監視する監視範囲を前記ポイントを基準として設定し、
前記表示手段は、前記監視範囲を前記画像に重ねて表示し、
前記視線方向検出手段は、前記視線方向とともに瞳孔の開き度合いを検出し、
前記設定手段は、前記監視対象物に視線を向けたときの瞳孔の開き度合いに応じて、前記監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする物体監視装置。
視線方向を検出する視線方向検出手段と、
前記視線方向の風景の画像を撮影する撮像手段と、
前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、
物体に関する情報を取得する物体情報取得手段と、
前記視点特定手段によって特定される視点の位置、及び、前記物体情報取得手段によって取得される物体に関する情報に基づく前記画像における位置の少なくとも一方の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、
前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、
前記監視対象物決定手段は、前記画像における前記監視対象物の位置を示すポイントを設定する設定手段を備え、
さらに、前記ポイントを前記画像に重ねて表示する表示手段を備え、
前記監視対象物追従手段は、前記ポイントの位置を前記画像の動きに応じた方向へ移動することで、その監視対象物を追従し、
前記設定手段は、前記監視対象物を監視する監視範囲を前記ポイントを基準として設定し、
前記表示手段は、前記監視範囲を前記画像に重ねて表示し、
前記視線方向検出手段は、前記視線方向とともに瞳孔の開き度合いを検出し、
前記設定手段は、前記監視対象物に視線を向けたときの瞳孔の開き度合いに応じて、前記監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする物体監視装置。
視線方向を検出する視線方向検出手段と、
前記視線方向の風景の画像を撮影する撮像手段と、
前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、
前記視点特定手段によって特定される視点の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、
前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、
前記監視対象物決定手段は、前記視点の位置に写し出される物体を監視対象物として決定する際、前記視点の位置が第１の所定時間以上同じ位置である場合に決定し、
前記監視対象物追従手段は、前記監視対象物が前記画像に複数存在する場合、所定の順序に従って前記監視対象物毎にその位置を追従させるとともに、前記視点の位置が同一の監視対象物に複数回位置する、及び前記視点の位置が同一の監視対象物に前記第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように前記所定の順序を変更する変更手段を備えることを特徴とする物体監視装置。
視線方向を検出する視線方向検出手段と、
前記視線方向の風景の画像を撮影する撮像手段と、
前記視線方向検出手段の検出結果に基づいて、前記画像における視点の位置を特定する視点特定手段と、
物体に関する情報を取得する物体情報取得手段と、
前記視点特定手段によって特定される視点の位置、及び、前記物体情報取得手段によって取得される物体に関する情報に基づく前記画像における位置の少なくとも一方の位置に写し出される物体を監視対象物として決定する監視対象物決定手段と、
前記画像の動きに応じて前記監視対象物の位置を追従させる監視対象物追従手段とを備え、
前記監視対象物決定手段は、前記視点の位置に写し出される物体を監視対象物として決定する際、前記視点の位置が第１の所定時間以上同じ位置である場合に決定し、
前記監視対象物追従手段は、前記監視対象物が前記画像に複数存在する場合、所定の順序に従って前記監視対象物毎にその位置を追従させるとともに、前記視点の位置が同一の監視対象物に複数回位置する、及び前記視点の位置が同一の監視対象物に前記第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように前記所定の順序を変更する変更手段を備えることを特徴とする物体監視装置。
前記監視対象物決定手段は、前記画像における前記監視対象物の位置を示すポイントを設定する設定手段を備え、
前記監視対象物追従手段は、前記ポイントの位置を前記画像の動きに応じた方向へ移動することで、その監視対象物を追従することを特徴とする請求項３又は４記載の物体監視装置。
前記ポイントを前記画像に重ねて表示する表示手段を備えることを特徴とする請求項５記載の物体監視装置。
前記監視対象物追従手段は、前記ポイントの位置を移動することによって前記画像から外れる場合、そのポイントを追従対象から除外することを特徴とする請求項１、２、５又は６記載の物体監視装置。
前記設定手段は、前記監視対象物を監視する監視範囲を前記ポイントを基準として設定し、
前記表示手段は、前記監視範囲を前記画像に重ねて表示することを特徴とする請求項６又は７記載の物体監視装置。
前記視線方向検出手段は、前記視線方向とともに瞳孔の開き度合いを検出し、
前記設定手段は、前記監視対象物に視線を向けたときの瞳孔の開き度合いに応じて、前記監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする請求項８記載の物体監視装置。
前記監視範囲変更手段は、
前記瞳孔の開き度合いが通常の開き度合いよりも大きい場合、前記監視範囲を広げ、
前記瞳孔の開き度合いが通常の開き度合いよりも小さい場合、前記監視範囲を狭めることを特徴とする請求項９記載の物体監視装置。
前記設定手段は、前記監視対象物の種類、又は前記監視対象物までの距離に応じて、前記監視範囲の大きさを変更する監視範囲変更手段を備えることを特徴とする請求項８記載の物体監視装置。
前記監視範囲変更手段は、
前記監視対象物が前記道路の分岐地点、合流地点、交差点、及び横断歩道の何れかの地点である、又は前記監視対象物までの距離が短い場合、前記監視範囲を広げ、
前記監視対象物が歩行者、及び軽車両の何れかの物体である、又は前記監視対象物までの距離が長い場合、前記監視範囲を狭めることを特徴とする請求項１１記載の物体監視装置。
前記監視対象物追従手段は、前記監視対象物が前記画像に複数存在する場合、所定の順序に従って前記監視対象物毎にその位置を追従させることを特徴とする請求項１〜１２の何れか１項に記載の物体監視装置。
前記監視対象物追従手段は、前記視点の位置が同一の監視対象物に複数回位置する、及び前記視点の位置が同一の監視対象物に前記第１の所定時間よりも長い第２の所定時間以上位置した場合の少なくとも一方に該当する場合、その監視対象物の位置を優先して追従するように前記所定の順序を変更する変更手段を備えることを特徴とする請求項１３記載の物体監視装置。
前記変更手段は、前記所定の順序を変更する際、前記監視対象物の位置を追従させる順番、及び更新する頻度の少なくとも一方を変更することを特徴とする請求項１４記載の物体監視装置。
前記視点の位置が同一の監視対象物に複数回位置し、さらに、前記視点の位置の履歴によって示される前記視点の軌跡の方向が特定の方向と略一致する場合、前記監視対象物と衝突する可能性が有ると判定する衝突可能性判定手段を備えることを特徴とする請求項１〜１５の何れか１項に記載の物体監視装置。
前記衝突可能性判定手段によって衝突する可能性が有ると判定される場合、その旨を報知する報知手段を備えることを特徴とする請求項１６記載の物体監視装置。
前記物体監視装置は、移動体に搭載されるものであって、前記衝突可能性判定手段によって衝突する可能性が有ると判定される場合、前記監視対象物との衝突を回避するように、前記移動体の駆動力、又は／及び前記移動体の操舵を制御する衝突回避制御手段を備えることを特徴とする請求項１６又は１７記載の物体監視装置。