JP4816431B2 - モニタリングシステム、ドライビングアシストシステム - Google Patents

Description

本発明は、広角光学系を用いて撮像された画像を利用するシステムに関する。

従来、広角レンズや魚眼レンズなどの広角光学系を用いて撮像された画像に対して画像処理を行うことにより、その広角光学系の歪曲収差を補正するシステムが知られている（たとえば、特許文献１参照）。

特開平６−２０５２４２号公報

特許文献１に開示されるシステムでは、画像の周辺部を伸張させ、中心付近の部分を縮小させることにより、補正後の画像において周辺部の画質が劣化するのを防止している。したがって、中心付近の部分で画像情報が圧縮され、元の画像情報の一部が失われてしまうという問題が生じる。

請求項１の発明によるモニタリングシステムは、光軸から離れるほど小さな像高により前記被写体像を結像する光学特性を有する広角光学系により結像される被写体像を撮像して撮像画像を取得する撮像手段と、前記撮像画像に基づいて対象被写体像を特定する対象特定手段と、前記対象特定手段で特定される対象物として移動体または滞留物のいずれを検出するかを選択して設定する設定手段と、前記撮像手段の撮像方向を変化させる方向変化手段と、前記対象特定手段で特定された対象被写体像が前記撮像画像において前記中心領域内に位置するように、前記方向変化手段を制御する制御手段とを備え、前記対象特定手段は、前記設定手段により移動体を検出するよう設定された場合に、前記撮像画像で撮像された被写体のうち、時間に応じて位置が変化する被写体を対象被写体像として特定し、前記設定手段により滞留物を検出するよう設定された場合には、前記撮像画像で撮像された被写体のうち、かつては位置が変化していたが、今では変化しなくなった被写体を対象被写体像として特定することを特徴とする。
請求項２の発明は、請求項１のモニタリングシステムにおいて、前記撮像画像から人の顔画像を抽出する顔画像抽出手段をさらに備えることを特徴とする。
請求項３の発明は、請求項１または２のモニタリングシステムにおいて、前記顔画像抽出手段により抽出された顔画像に基づいて個人を特定する顔認識手段をさらに備えることを特徴とする。
請求項４の発明は、請求項１〜３いずれか一項のモニタリングシステムと、前記撮像手段により取得される車両周囲の撮像画像を前記車両内のディスプレイに表示する表示制御手段とを備えることを特徴とするドライビングアシストシステムである。

本発明によれば、広角光学系を用いて撮像された画像において、中心付近の部分で画像情報が圧縮されることなく、その広角光学系の歪曲収差を補正することができる。

図１は、本発明の一実施形態によるモニタリングシステムの構成を示すブロック図である。図１に示すモニタリングシステム１は、オフィス、工場、店舗、集合住宅等の様々な施設内に設けられており、カメラの撮像画像を利用して施設内の観察や監視を行うものである。このモニタリングシステム１は、広角光学系１１、カメラ１２、制御部１３、画像表示部１４、画像記録部１５、視線検出部１６、駆動機構部１７およびマニュアル制御入力部１８の各構成を備える。

広角光学系１１は、カメラ１２に取り付けて用いられる撮像用の光学系であり、複数のレンズを組み合わせたレンズ群などによって構成されている。この広角光学系１１は、撮像用に使用される通常の光学系と比べて、より広い画角を有している。たとえば、上下方向および左右方向の少なくともいずれか一方において、120°以上の画角を有している。なお、広角光学系１１が有する画角とは、広角光学系１１を取り付けた状態でカメラ１２において撮像画像を取得できる角度範囲を表している。すなわち、広角光学系１１の画角が上下方向に120°であれば、広角光学系１１の光軸を中心に上下でそれぞれ60°ずつ、合計120°の範囲まで、カメラ１２において撮像画像を取得できる。同様に、広角光学系１１の画角が左右方向に120°であれば、広角光学系１１の光軸を中心に左右でそれぞれ60°ずつ、合計120°の範囲まで、カメラ１２において撮像画像を取得できる。なお、撮像用に使用される通常の光学系は、たとえば45°程度の画角を有している。

また、広角光学系１１は、光軸から離れるほど小さな像高により被写体像を結像する光学特性を有している。この広角光学系１１の光学特性を、図２により説明する。図２は、各種光学系における入射角と像高の関係を表した投影関数のグラフの例を示している。この図２において、グラフの横軸は光学系への入射角θを表し、グラフの縦軸は撮像素子上の像高ｈを表している。

図２に示すグラフＡ、ＢおよびＣのうち、グラフＡは図１の広角光学系１１における入射角と像高の関係を表している。このグラフＡの傾きは、入射角θが大きくなるにしたがって小さくなっている。すなわち、被写体の位置する方向が広角光学系１１の光軸から離れているほど、入射角θに対する像高ｈの増加量が小さくなるため、小さな像高によりその被写体像が結像される。広角光学系１１は、このような光学特性を有している。なお、グラフＡの形状から、このような光学特性のことを、投影関数が上に凸形状の光学特性ともいう。

一方、グラフＢは、一般的な魚眼レンズにおける入射角と像高の関係を表している。このグラフＢの傾きは一定である。すなわち、被写体の位置する方向に関わらず、入射角θに対する像高ｈの増加量は変化しないため、一定の像高により被写体像が結像される。なお、このときの像高ｈは、焦点距離ｆを用いてｈ＝ｆ・θと表すことができるため、こうような光学特性を有するレンズのことを、ｆθレンズともいう。

グラフＣは、歪みのないレンズにおける入射角と像高の関係を表している。このグラフＣの傾きは、入射角θが大きくなるにしたがって大きくなっている。このとき像高ｈは、焦点距離ｆを用いてｈ＝ｆ・ｔａｎθと表すことができる。

なお、以上説明したグラフＡ〜Ｃに対応する光学系のうち、グラフＡまたはグラフＢに対応する光学系では、光軸から離れるほど被写体像が歪曲される。すなわち、これらの光学系は、レンズの周辺領域において中心領域よりも大きな歪曲収差を有している。この歪曲の度合いは、グラフＡに対応する光学系、すなわち広角光学系１１の方が、グラフＢに対応する光学系、すなわちｆθレンズよりも大きい。

さらに、広角光学系１１は、焦点距離を所定の範囲内で変化させることのできる焦点距離調節機構（ズーム機構）を有している。この焦点距離調節機構の動作は、制御部１３からのズーム制御により制御される。このズーム制御の内容については、後で説明する。

広角光学系１１は、以上説明したような特徴を有している。次に、モニタリングシステム１が有する他の構成の特徴について、以下に説明する。

カメラ１２は、広角光学系１１により結像される被写体２の像を撮像して、その撮像画像を取得する。このカメラ１２は、たとえばＣＣＤ（Charge Coupled Device）等を用いた撮像素子などによって構成されている。カメラ１２により取得された撮像画像は、所定のフレームレートで制御部１３に出力される。

制御部１３は、カメラ１２により取得された撮像画像に基づいて、施設内を観察または監視するための様々な処理や制御を行う。たとえば、周辺領域内の撮像画像における被写体像の歪曲を画像処理により補正する歪曲補正処理や、駆動機構部１７を制御してカメラ１２の撮像方向を変化させる撮像方向制御、広角光学系１１の焦点距離調節機構の動作を制御してそのズーム量を調節するズーム制御などが、制御部１３において実行される。また、撮像画像から顔の部分の画像（顔画像）を抽出し、その顔画像に基づいて個人を特定する顔認識処理も、制御部１３において実行される。制御部１３が行うこれらの処理や制御の具体的な内容については、後で図３のフローチャートにより詳しく説明する。

画像表示部１４は、たとえば施設内の警備室や、施設外にある監視センターなど、その施設の観察や監視に当たる者（以下、単に観察者と称する）が駐在している場所に設置されている。この画像表示部１４は、制御部１３の制御に応じて、カメラ１２により取得された撮像画像を表示する。また、前述の顔画像なども必要に応じて表示する。画像表示部１４に表示されたこれらの画像が観察者によって観察されることで、施設内の観察や監視が行われる。

画像記録部１５は、制御部１３の制御に応じて、撮像画像から抽出された顔画像を記録する。さらに、その顔画像に基づいて個人が特定された場合は、その個人が誰であるかを記録する。なお、顔画像の抽出および顔画像に基づく個人の特定は、前述のように制御部１３において実行される顔認識処理により行われる。

視線検出部１６は、画像表示部１４に表示される撮像画像を観察している観察者の視線を検出し、その検出結果を制御部１３に出力する。制御部１３は、視線検出部１６から出力された視線の検出結果に基づいて、前述のように駆動機構部１７に対する撮像方向の制御や、広角光学系１１に対するズーム量の制御を行う。なお、視線検出部１６が観察者の視線を検出する際には、周知の方法を用いることができる。たとえば、観察者の眼球を撮影して瞳の位置を求めることにより視線を検出する方法や、眼球に赤外光を照射したときの眼底からの反射光により視線を検出する方法などが知られている。

駆動機構部１７は、カメラ１２の撮像方向をパン方向およびチルト方向にそれぞれ変化させるための駆動機構を有している。この駆動機構部１７は、制御部１３による前述の撮像方向制御、またはマニュアル制御入力部１８からの制御に応じて動作する。この動作により、カメラ１２の撮像方向が変化される。

マニュアル制御入力部１８は、カメラ１２の撮像方向を手動で変化させるための操作スイッチ類を有している。この操作スイッチ類を観察者などが操作することにより、マニュアル制御入力部１８によって駆動機構部１７の動作が制御され、カメラ１２の撮像方向が変化される。

次に、以上説明したような特徴を有する各構成によって実現されるモニタリングシステム１の具体的な動作内容について説明する。図３は、モニタリングシステム１を用いて施設内の観察または監視を行うときに、制御部１３において実行される処理の流れを示したフローチャートである。以降では、このフローチャートに基づいて説明を進める。

ステップＳ１０では、カメラ１２により取得された撮像画像を制御部１３において入力する。次のステップＳ２０では、ステップＳ１０で入力した撮像画像を画像表示部１４において表示する。

ステップＳ３０では、ステップＳ１０で入力した撮像画像に対して領域の設定を行う。ここでは、撮像画像を中心部分と周辺部分とに分け、その各部分に対して中心領域と周辺領域をそれぞれ設定する。ステップＳ１０で入力した撮像画像のうち、ステップＳ３０で設定された中心領域内の画像のことを、以下では中心領域画像と称する。一方、ステップＳ１０で入力した撮像画像のうち、ステップＳ３０で設定された周辺領域内の画像のことを、以下では周辺領域画像と称する。

上記のようにして設定される領域の具体例を図４の撮像画像例により説明する。図４は、カメラ１２により取得された撮像画像の例を示している。ステップＳ３０では、このような撮像画像に対して、たとえば境界線２１よりも内側の領域を中心領域に設定し、境界線２１よりも外側の領域を周辺領域に設定する。この境界線２１は、たとえば光軸を中心に角度60°の位置に設定されている。なお、中心領域と周辺領域とを区別する境界線の位置は図４の例に限られるものではなく、任意に定めることができる。たとえば、光軸を中心に角度60°〜100°のいずれかの位置に境界線を設定することができる。その他にも、様々な位置において境界線を設定することができる。

ステップＳ４０では、ステップＳ１０で入力した撮像画像のうち上記の周辺領域画像に対して、その被写体像の歪曲を画像処理により補正する歪曲補正処理を実行するか否かを判定する。周辺領域画像に対して歪曲補正処理を実行する場合はステップＳ５０へ進み、実行しない場合はステップＳ７０へ進む。このステップＳ４０の判定は、予め定められた設定条件の内容にしたがって行われる。すなわち、設定条件において、周辺領域画像に対して歪曲補正処理を実行するように定められている場合はステップＳ５０へ進み、そうでない場合はステップＳ７０へ進む。

ステップＳ５０では、周辺領域画像における被写体像の歪曲を画像処理により補正するための歪曲補正処理を実行する。このとき、図２のグラフＡに示したような広角光学系１１の光学特性を考慮した画像処理が、周辺領域画像に対して行われる。なお、ステップＳ５０の歪曲補正処理は、周辺領域画像に対してのみ実行され、中心領域画像に対しては実行されない。したがって、中心領域画像を変形させずに、周辺領域画像のみを変形させることで、その被写体像の歪曲が補正される。

ステップＳ６０では、ステップＳ５０において歪曲補正処理が実行されることによって得られた補正後の周辺領域画像を、撮像画像と共に画像表示部１４に表示する。なお、このとき撮像画像と補正後の周辺領域画像とを別々に表示してもよい。あるいは、撮像画像のうち補正されていない部分、すなわち中心領域画像と、補正後の周辺領域画像とをつなぎ合わせて表示してもよい。

ステップＳ５０で表示される補正後の周辺領域画像の例を図５に示す。図５の画像は、図４の撮像画像において境界線２１よりも外側にある周辺領域画像の一部を抽出し、その抽出した部分の画像に対して歪曲補正処理を行ったものである。この補正後の画像では、図４に示す補正前の画像に比べて、符号２２に示す人物の像が見やすくなっていることが分かる。このようにして、周辺領域画像における被写体像が歪曲補正処理により見やすく補正される。

ステップＳ７０では、周辺領域画像の変化に基づいて、移動体または滞留物の検出を行う。このとき移動体と滞留物のどちらを検出するかは、設定条件として予め定められている。なお、移動体とは、撮像画像の周辺領域内において撮像された被写体のうち、その位置が時間に応じて変化するものを意味している。たとえば、移動している人物などが移動体として検出される。一方、滞留物とは、撮像画像の周辺領域内において撮像された被写体のうち、その位置がかつては変化していたが、今では変化しなくなったものを意味している。たとえば、持ち込まれて置き忘れられた鞄などが滞留物として検出される。このような移動体または滞留物のいずれかを、周辺領域画像の変化に基づいて検出する。

上記のステップＳ７０では、異なるタイミングで撮像された複数の撮像画像間で周辺領域画像同士を比較することにより、周辺領域画像の変化が求められる。この周辺領域画像の変化に基づいて、移動体または残留物が検出される。なお、ステップＳ５０で周辺領域画像に対して歪曲補正処理を実行していた場合は、その補正後の周辺領域画像に基づいて移動体または残留物を検出するようにしてもよい。

ステップＳ８０では、ステップＳ７０において移動体または滞留物が検出されたか否かを判定する。移動体または滞留物が検出された場合はステップＳ９０へ進む。ステップＳ９０では、ステップＳ７０において検出された移動体または滞留物に合わせて撮像方向制御およびズーム制御を行う。このとき、検出された移動体または滞留物の像が撮像画像において中心領域内に位置するように、駆動機構部１７にカメラ１２の撮像方向を変化させると共に、広角光学系１１のズーム量を変化させる。このようにすることで、その移動体または滞留物の像を対象として、中心領域画像を変形させずに、周辺領域画像における被写体像の歪曲を補正することができる。なお、ズーム制御は、移動体または滞留物がカメラ１２から遠く離れている場合などに、必要に応じて行えばよい。

ステップＳ９０において実行される撮像方向制御およびズーム制御の内容を、図６の撮像画像例により説明する。図６（ａ）は、撮像方向制御およびズーム制御が行われる前の撮像画像の例を示している。このような撮像画像において、符号２３に示す人物が移動体として検出されたとする。この場合、移動体として検出された人物２３の像が撮像画像において中心領域内に位置するように、カメラ１２の撮像方向および広角光学系１１のズーム量が変化される。その結果、図６（ｂ）に示すような撮像画像が表示される。このようにして、撮像方向制御およびズーム制御が行われる。

上記のステップＳ９０を実行したら、次のステップＳ１００へ進む。一方、移動体または滞留物が検出されなかったとステップＳ８０において判定された場合は、ステップＳ９０を実行せずにステップＳ１００へ進む。

ステップＳ１００では、視線検出部１６から出力される観察者の視線の検出結果を制御部１３において入力する。次のステップＳ１１０では、ステップＳ１００で入力した視線検出結果に基づいて、観察者の視線が撮像画像において前述の周辺領域に向けられているか否かを判定する。観察者の視線が周辺領域に向けられている場合はステップＳ１２０へ進む。

ステップＳ１２０では、ステップＳ１００で入力した視線検出結果に応じて撮像方向制御およびズーム制御を行う。このとき、観察者の視線の先にある被写体像が撮像画像において中心領域内に位置するように、駆動機構部１７にカメラ１２の撮像方向を変化させると共に、広角光学系１１のズーム量を変化させる。このようにすることで、前述のステップＳ９０と同様に、その被写体像を対象として、中心領域画像を変形させずに、周辺領域画像における被写体像の歪曲を補正することができる。なお、ズーム制御は、ステップＳ９０と同様に、必要に応じて行えばよい。たとえば、観察者の視線に対応する位置の被写体がカメラ１２から遠く離れている場合などに、ズーム制御を行うようにする。

上記のステップＳ１２０を実行したら、次のステップＳ１３０へ進む。一方、観察者の視線が周辺領域に向けられていないとステップＳ１１０において判定された場合は、ステップＳ１２０を実行せずにステップＳ１３０へ進む。

ステップＳ１３０では、顔認識処理を実行するか否かを判定する。顔認識処理を実行する場合は、次のステップＳ１４０へ進む。一方、顔認識処理を実行しない場合はステップＳ１０へ戻り、前述のような処理を繰り返す。このステップＳ１３０の判定もステップＳ４０の判定と同様に、予め定められた設定条件の内容にしたがって行われる。すなわち、設定条件において顔認識処理を実行するように定められている場合はステップＳ１４０へ進み、そうでない場合はステップＳ１０へ戻る。

ステップＳ１４０では、ステップＳ１０で入力した撮像画像から人の顔画像を抽出する処理を行う。ここでは、撮像画像において人の顔に当たる部分を周知の方法により検出し、その部分を顔画像として抽出する。たとえば、撮像画像において肌色の部分を検出したり、目、鼻、口など人の顔に特徴的な部分を検出したりすることにより、人の顔を検出することができる。なお、このときに用いられる顔画像の抽出方法は公知の技術であるため、詳しい説明は省略する。

ステップＳ１５０では、ステップＳ１４０において撮像画像から顔画像が抽出されたか否かを判定する。顔画像が抽出された場合は、次のステップＳ１６０へ進む。一方、顔画像が抽出されなかった場合は、ステップＳ１０へ戻って前述のような処理を繰り返す。

ステップＳ１６０では、ステップＳ１４０において撮像画像から抽出された顔画像に基づいて、個人を特定する顔認識処理を実行する。ここでは、施設を利用する人の顔画像を予めデータベースに登録しておき、そのデータベースに基づいて周知の方法により顔の照合を行うことで、個人を特定する。なお、このときに用いられる方法は公知の技術であるため、詳しい説明は省略する。

ステップＳ１７０では、ステップＳ１６０の顔認識処理の結果に基づいて、ステップＳ１４０で抽出された顔画像に該当する人が、予めデータベースにその顔画像が登録されている登録者であるか否かを判定する。登録者である場合は、ステップＳ１８０を実行せずにステップＳ１９０へ進む。一方、登録者でない場合、すなわち顔認識処理により個人を特定できなかった場合は、ステップＳ１８０で警報を出力した後、ステップＳ１９０へ進む。なお、警報出力の対象とする人物の顔画像を予めデータベースに登録しておき、その人物がステップＳ１６０の顔認識処理において特定された場合に、ステップＳ１７０において登録者でないと判定するようにしてもよい。ステップＳ１８０では、たとえば画像表示部１４において警告表示を行うことにより、警報を出力する。

ステップＳ１９０では、ステップＳ１４０で抽出された顔画像と、ステップＳ１６０で実行された顔認識処理の結果とを、画像記録部１５において記録する。このとき、ステップＳ１６０の顔認識処理により個人が特定された場合は、その個人が誰であるかを顔認識処理の結果として記録する。一方、ステップＳ１６０の顔認識処理により個人が特定されなかった場合は、その者が登録者でないことを顔認識処理の結果として記録する。ステップＳ１９０を実行したらステップＳ１０へ戻り、以上説明したような処理を繰り返す。このようにして、モニタリングシステム１により施設内の観察または監視が行われる。

以上説明した実施の形態によれば、次の作用効果を奏する。
（１）広角光学系１１により結像される被写体像をカメラ１２により撮像して撮像画像を取得する。制御部１３では、その撮像画像に対して中心領域と周辺領域とを設定し（ステップＳ３０）、その中心領域内の中心領域画像を変形させずに、周辺領域内の周辺領域画像における被写体像の歪曲を補正する（ステップＳ５０、Ｓ９０、Ｓ１２０）こととした。このようにしたので、広角光学系１１を用いて撮像された画像において、中心付近の部分において画像情報が圧縮されることなく、広角光学系１１の歪曲収差を補正することができる。

（２）広角光学系１１は、光軸から離れるほど小さな像高により被写体像を結像する光学特性を有することとした。このようにしたので、カメラ１２により広い範囲を一度に撮像することができる。

（３）ステップＳ５０では、周辺領域画像に対して歪曲補正処理を行うことで、その周辺領域画像における被写体像の歪曲を画像処理により補正することとした。このようにしたので、中心領域画像を変形させずに、周辺領域画像において歪曲している被写体像を見やすく補正することができる。

（４）一方、ステップＳ９０またはＳ１２０では、周辺領域画像において歪曲を補正する対象被写体像を特定し、その対象被写体像が撮像画像において中心領域内に位置するように、駆動機構部１７にカメラ１２の撮像方向を変化させる。これにより、周辺領域画像における被写体像の歪曲を補正することとしたので、中心領域画像を変形させずに、周辺領域画像において歪曲している被写体像を見やすく補正することができる。

（５）周辺領域画像の変化に基づいて、移動体または滞留物の像を検出する（ステップＳ７０）。ステップＳ９０では、ステップＳ７０で検出された移動体または滞留物の像を歪曲補正する対象の被写体像として、その移動体または滞留物の像が撮像画像において中心領域内に位置するように、駆動機構部１７にカメラ１２の撮像方向を変化させることとした。このようにしたので、周辺領域画像において注目すべき移動体または滞留物の像を見やすい位置に移動させることができる。

（６）視線検出部１６により検出された観察者の視線を入力する（ステップＳ１００）。この観察者の視線が周辺領域に向けられている場合（ステップＳ１１０）、ステップＳ１２０では、その視線の先にある被写体像を歪曲補正する対象の被写体像として、その被写体像が撮像画像において中心領域内に位置するように、駆動機構部１７にカメラ１２の撮像方向を変化させることとした。このようにしたので、観察者が操作をしなくても、観察者が注目している被写体像を見やすい位置に移動させることができる。

（７）制御部１３からのズーム制御により広角光学系１１の焦点距離を変化させることとしたので、被写体がカメラ１２から遠く離れている場合でも、撮像画像においてその被写体像を見やすくすることができる。

（８）制御部１３において顔認識処理を実行するときには、撮像画像から人の顔画像を抽出する（ステップＳ１４０）。こうして抽出された顔画像に基づいて顔認識処理を実行し（ステップＳ１６０）、個人を特定することとした。さらに、抽出された顔画像を画像記録部１５において記録することとした。このようにしたので、撮像画像を利用して施設内を確実に、かつ効率よく監視することができる。

なお、上記の実施の形態では、施設内に設置されたモニタリングシステムを例に説明したが、本発明はこれ以外のシステムについても適用することができる。たとえば、車両に設置されて運転者を補助するドライビングアシストシステムにおいて本発明を適用することができる。すなわち、カメラ１２により、たとえば車両の前方や後方など、車両周囲の撮像画像を取得し、その撮像画像を車両内に設置された画像表示部１４に表示する。このとき、上記の実施の形態において説明したような各種の処理や制御を実行することにより、撮像範囲が広く、運転者にとって使いやすいドライビングアシストシステムを実現することができる。

さらに、上記のようなドライビングアシストシステムを車両のナビゲーションシステムと組み合わせてもよい。すなわち、設定された目的地までの推奨経路を探索し、その推奨経路にしたがって車両を目的地まで案内するとともに、車両周囲の撮像画像を取得し、その撮像画像を表示するシステムにおいて、本発明を適用することができる。その他にも、たとえば大型車両内を監視するシステムなど、様々なシステムにおいて本発明を適用することができる。

以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。

本発明の一実施形態によるモニタリングシステムの構成を示すブロック図である。 各種光学系における入射角と像高の関係を表した投影関数のグラフ例を示す図である。 施設内の観察または監視を行うときに実行されるフローチャートである。 撮像画像に設定される領域の具体例を示す図である。 補正後の周辺領域画像の例を示す図である。 撮像方向制御およびズーム制御の内容を説明するための撮像画像例であり、（ａ）は制御前の撮像画像例、（ｂ）は制御後の撮像画像例を示している。

符号の説明

１：モニタリングシステム ２：被写体
１１：広角光学系 １２：カメラ
１３：制御部 １４：画像表示部
１５：画像記録部 １６：視線検出部
１７：駆動機構部 １８：マニュアル制御入力部

Claims (4)

1. 光軸から離れるほど小さな像高により前記被写体像を結像する光学特性を有する広角光学系により結像される被写体像を撮像して撮像画像を取得する撮像手段と、
   前記撮像画像に基づいて対象被写体像を特定する対象特定手段と、
   前記対象特定手段で特定される対象物として移動体または滞留物のいずれを検出するかを選択して設定する設定手段と、
   前記撮像手段の撮像方向を変化させる方向変化手段と、
   前記対象特定手段で特定された対象被写体像が前記撮像画像において前記中心領域内に位置するように、前記方向変化手段を制御する制御手段とを備え、
   前記対象特定手段は、前記設定手段により移動体を検出するよう設定された場合に、前記撮像画像で撮像された被写体のうち、時間に応じて位置が変化する被写体を対象被写体像として特定し、前記設定手段により滞留物を検出するよう設定された場合には、前記撮像画像で撮像された被写体のうち、かつては位置が変化していたが、今では変化しなくなった被写体を対象被写体像として特定することを特徴とするモニタリングシステム。
2. 請求項１のモニタリングシステムにおいて、
   前記撮像画像から人の顔画像を抽出する顔画像抽出手段をさらに備えることを特徴とするモニタリングシステム。
3. 請求項１または２のモニタリングシステムにおいて、
   前記顔画像抽出手段により抽出された顔画像に基づいて個人を特定する顔認識手段をさらに備えることを特徴とするモニタリングシステム。
4. 請求項１〜３いずれか一項のモニタリングシステムと、
   前記撮像手段により取得される車両周囲の撮像画像を前記車両内のディスプレイに表示する表示制御手段とを備えることを特徴とするドライビングアシストシステム。
   

Images