JPWO2006087790A1 - 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム - Google Patents

Abstract

例えば車両に搭載され運転者の顔を撮像対象とする車載カメラを用いたシステムにおいて、撮像対象を続けて撮像し、第１の画像から検出された撮像対象の範囲、例えば運転者の顔の輪郭の幅、更に運転者の目及び鼻の位置に基づき決定される顔の中心等の基準点に基づいて、第１の画像の後の撮像に基づく第２の画像に対し、基準点を中心とする撮像対象を含む領域の拡大等の加工を行い、加工した第２の画像に対し、撮像対象の範囲の検出、基準点の決定等の画像処理を行う画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラムを提供する。

Description

本発明は、撮像対象を続けて撮像し、撮像に基づく画像内での撮像対象の範囲を検出する画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる撮像装置及び画像処理装置、並びに該画像処理装置を実現するためのコンピュータプログラムに関し、特に範囲の検出等の処理を容易にする画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラムに関する。

自動車等の車両の運転を支援する装置として、運転者の顔を撮像することが可能な位置に配置された車載カメラで運転者の顔を撮像し、得られた画像から運転者の顔の輪郭、並びに目及び鼻の位置、更にはそれらに基づく顔の状況を検出する画像処理を行う画像処理装置が提案されている（例えば、特許文献１参照）。またこの様な装置を用いて、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムが構築されている。
特開２００４−２３４３６７号公報

しかしながら例えば車載カメラから運転者の顔が離れている場合、撮像した画像中における顔の部分が小さくなり、輪郭、並びに目及び鼻の位置の検出等の画像処理が十分に行えなくなるという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、運転者の顔等の撮像対象を続けて撮像する場合に、第１の画像に対して検出した顔の輪郭等の範囲に基づいて、第１の画像の後に撮像された第２の画像に対し拡大等の加工を行い、加工した第２の画像内での撮像対象の範囲の検出を行うことにより、画像対象に係る範囲の検出等の画像処理を容易にする画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる撮像装置及び画像処理装置、並びに該画像処理装置を実現するためのコンピュータプログラムの提供を目的とする。

第１発明に係る画像処理方法は、撮像対象を続けて撮像し、撮像に基づく画像内での撮像対象の範囲を検出する画像処理方法において、第１の画像から検出された撮像対象の範囲に基づいて、第１の画像の後の第２の画像を加工し、加工した第２の画像内での撮像対象の範囲の検出を行うことを特徴とする。

第２発明に係る画像処理システムは、撮像対象を続けて撮像する撮像手段と、該撮像手段の撮像に基づく画像内での撮像対象の範囲を検出する画像処理手段とを備える画像処理システムにおいて、第１の画像から検出された撮像対象の範囲に基づいて、第１の画像の後の第２の画像を加工する加工手段と、加工した第２の画像内の撮像対象の範囲を検出する手段とを備えることを特徴とする。

第３発明に係る画像処理システムは、第２発明において、前記加工手段は、第２の画像を拡大するように構成してあることを特徴とする。

第４発明に係る画像処理システムは、第３発明において、前記加工手段は、範囲の大きさに基づき拡大率を決定するように構成してあることを特徴とする。

第５発明に係る画像処理システムは、第３発明又は第４発明において、撮像対象内の加工の基準点を決定する手段を更に備え、前記加工手段は、基準点を中心として拡大するように構成してあることを特徴とする。

第６発明に係る画像処理システムは、第５発明において、前記撮像対象は、顔であり、前記撮像対象の範囲は、顔の所定方向の範囲であり、前記撮像対象内の基準点は、目及び／又は鼻の位置に基づいて求められる点であることを特徴とする。

第７発明に係る撮像装置は、撮像対象を続けて撮像する手段を備え、撮像に基づく画像内での撮像対象の範囲を検出する画像処理装置と接続する撮像装置において、前記画像処理装置から、第１の画像から検出された撮像対象の範囲を示す範囲データの入力を受け付ける手段と、受け付けた範囲データが示す範囲に基づいて、第１の画像の後の第２の画像を加工する手段と、加工した第２の画像を示す画像データを、前記画像処理装置へ出力する手段とを備えることを特徴とする。

第８発明に係る画像処理装置は、画像を示す画像データの入力を続けて受け付け、受け付けた画像データに基づく画像内での撮像対象の範囲を検出する画像処理装置において、第１の画像データに基づく画像から検出された撮像対象の範囲に基づいて、第１の画像データの後の第２の画像データを加工する手段と、加工した第２の画像データに基づく画像内での撮像対象の範囲を検出する手段とを備えることを特徴とする。

第９発明に係るコンピュータプログラムは、画像を示す画像データの入力を続けて受け付ける手段を備えるコンピュータに、受け付けた画像データに基づく画像内での撮像対象の範囲を検出させるコンピュータプログラムにおいて、コンピュータに、第１の画像データに基づく画像から検出された撮像対象の範囲に基づいて、第１の画像データの後の第２の画像データを加工させる手順と、コンピュータに、加工した第２の画像データに基づく画像内での撮像対象の範囲を検出させる手順とを実行させることを特徴とする。

第１発明、第２発明、第７発明、第８発明及び第９発明では、例えば車両に搭載され運転者の顔を撮像対象とする車載カメラを用いたシステムに適用され、第１の画像に対する処理結果に基づいて第２の画像を適宜加工することにより、第２の画像に対し、画像対象に係る範囲の検出等の画像処理を容易にすることを可能とする。特に第７発明に示した撮像装置に適用した場合には、撮像対象が標準的な状態で画像内に示される様に前処理として予め加工した上で、画像処理装置へ出力することにより、画像処理装置の処理負荷を軽減し、しかも複数の種類の画像処理ソフトで共通して用いることができるので、画像データを記録するメモリを削減することが可能である。また第８発明及び第９発明では、従来の撮像装置を用いて本発明の画像処理を実現することが可能である。

第３発明では、例えば撮像対象である運転者の顔が小さい場合にも拡大することにより、画像対象に係る範囲の検出等の画像処理が容易となる。

第４発明では、適宜拡大率を決定することにより、撮像対象の大きさを画像処理に適した大きさに調整することが可能である。

第５発明では、撮像した画像中で撮像対象が移動した場合でも、画像処理を行いやすい位置に調整することが可能である。

第６発明では、車両を運転する運転者の顔の輪郭、並びに目及び鼻の位置、更にはそれらに基づく顔の状況の検出に適用することが可能である。

本発明に係る画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラムは、例えば車両に搭載され運転者の顔を撮像対象とする車載カメラを用いたシステムに適用され、撮像対象を続けて撮像し、第１の画像から検出された撮像対象の範囲、例えば運転者の顔の輪郭の幅、更に運転者の目及び鼻の位置に基づき決定される顔の中心等の基準点に基づいて、第１の画像の後の撮像に基づく第２の画像に対し、基準点を中心とする撮像対象を含む領域の拡大等の加工を行い、加工した第２の画像に対し、撮像対象の範囲の検出、基準点の決定等の画像処理を行う。

この構成により、画像中の撮像対象が小さい場合でも大きくし、しかも位置の調整をも行うことができるので、撮像対象の範囲の検出、基準点の決定等の画像処理を容易に行うことが可能となる等、優れた効果を奏する。

特に車載カメラ等の撮像装置に適用した場合、撮像対象が標準的な状態で画像内に示される様に前処理として予め加工した上で、画像処理装置へ出力することにより、撮像装置に接続される画像処理装置の処理負荷を軽減し、しかも複数の種類の画像処理ソフトで共通して用いることができるので、画像データを記録するメモリを削減することが可能である等、優れた効果を奏する。

本発明の実施の形態１に係る画像処理システムの構成を示すブロック図である。 本発明の実施の形態１に係る画像処理システムにて用いられる画像処理装置の画像認識処理を示すフローチャートである。 本発明の実施の形態１に係る画像処理システムにて用いられる画像処理装置の処理を概念的に示す説明図である。 本発明の実施の形態１に係る画像処理システムにて用いられる画像処理装置の処理を概念的に示す説明図である。 本発明の実施の形態１に係る画像処理システムにて用いられる撮像装置の画像加工用データ記録処理を示すフローチャートである。 本発明の実施の形態１に係る画像処理システムにて用いられる撮像装置の画像データ加工処理を示すフローチャートである。 本発明の実施の形態１に係る画像処理システムにて用いられる撮像装置の処理を概念的に示す説明図である。 本発明の実施の形態２に係る画像処理システムの構成を示すブロック図である。 本発明の実施の形態２に係る画像処理システムにて用いられる撮像装置及び画像処理装置の画像データ取得処理を示すフローチャートである。 本発明の実施の形態２に係る画像処理システムにて用いられる画像処理装置の画像処理を示すフローチャートである。

符号の説明

１ 撮像装置
２ 画像処理装置
３ コンピュータプログラム
４ 記録媒体

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理システムの構成を示すブロック図である。図１中１は、車両に搭載された車載カメラ等の撮像装置であり、撮像装置１は、画像処理を行う画像処理装置２に専用ケーブル等の通信線又は有線或いは無線にて構成される車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網にて接続されている。撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔を撮像対象として撮像可能な状態に調整されている。

撮像装置１は、装置全体を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１と、ＭＰＵ１１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＯＭ１２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いて構成される撮像部１４と、撮像部１４の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１５と、Ａ／Ｄ変換器１５によりデジタルに変換された画像データに対して後述する画像処理を行う処理回路１６と、処理回路１６により処理された画像データを一時的に記憶するフレームメモリ１７と、画像処理装置２との通信に用いられる通信インタフェース１８とを備えている。

撮像装置１では、撮像部１４により、連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１５へ出力し、Ａ／Ｄ変換器１５では、画像データを構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタル画像データに変換する。そして処理回路１６にて処理された画像データをフレームメモリ１７に記憶し、記憶した画像データを所定のタイミングで画像処理装置２へ出力する。また撮像装置１では、画像処理装置２から所定のタイミングで、処理回路１６の処理に要する各種データを受け付け、受け付けたデータを処理回路１６が備えるフラッシュメモリ等のメモリに記録する。なおメモリには、処理回路１６にて行われる画像処理に要する基準値等の各種データが予め記録されている。

画像処理装置２は、装置全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＣＰＵ２１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するハードディスク（以下ＨＤという）２２と、ＨＤ２２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記憶するＲＡＭ２３と、例えば不揮発性メモリにて構成されるフレームメモリ２４と、撮像装置１との通信に用いられる通信インタフェース２５と、ＣＤ−ＲＯＭ、メモリカード等の記録媒体にアクセスする補助記憶部２６とを備えている。

画像処理装置２では、撮像装置１から出力された画像データを通信インタフェース２５にて受け付け、受け付けた画像データに対して、ＨＤ２２に記録されているコンピュータプログラムを実行することにより、様々な画像処理を行い、また画像処理の結果に基づく各種データを通信インタフェース２５から撮像装置１へ出力する。ＨＤ２２に記録されているコンピュータプログラムの実行に基づく画像処理とは、画像データからの撮像対象である運転者の顔の輪郭の検出並びに目及び鼻の位置の特定、更にはそれらの結果に基づく顔の向きの検出等の様々な処理である。具体的な処理の例としては、パターンマッチングにより目の位置を検出する処理を挙げることができる。また他の処理の例として、画像の垂直方向に並ぶ輝度を積算し、積算した値を所定の閾値と比較することで、背景より輝度が高い画素にて構成される顔の輪郭の水平方向の範囲を検出する処理を挙げることができる。また更にその処理において、積算値の水平方向の変化を微分して変化が大きい位置を特定して、輝度が大きく変化する背景と顔の輪郭との境界を検出する処理を挙げることができる。詳細な処理の内容は、例えば本願出願人により出願された特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載されている。なおこれらの画像処理は、必ずしも特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報及び特開２００４−２３４３６７号公報に記載された処理に限るものではなく、その用途、ハードウェア構成、他のアプリケーションプログラムとの連携等の条件に応じて適宜選択することが可能である。

次に本発明の実施の形態１における画像処理システムにて行われる各種処理について説明する。図２は、本発明の実施の形態１に係る画像処理システムにて用いられる画像処理装置２の画像認識処理を示すフローチャートである。画像処理装置２は、ＣＰＵ２１の制御により、画像データから撮像対象である運転者の顔の輪郭の検出並びに目及び鼻の位置の特定を含む画像処理である撮像対象の認識処理を行い（Ｓ１０１）、撮像対象の認識処理の結果に基づいて運転を支援する。更に画像処理装置２は、ＣＰＵ２１の制御により、認識処理の結果に基づいて、撮像対象の範囲を検出し（Ｓ１０２）、また撮像対象内の基準点を決定し（Ｓ１０３）、検出した範囲を示す範囲データ及び決定した基準点を示す基準点データを通信インタフェース２５から撮像装置１へ出力する（Ｓ１０４）。ステップＳ１０１における撮像対象の認識処理は、例えば前述した様に特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載された各種処理を用いて行われる。なおステップＳ１０１にて行われる撮像対象の認識処理に用いられる画像データは、後述する撮像装置１の処理により、撮像してＡ／Ｄ変換した画像データに対し、座標系の変換を伴う加工処理を施した画像データであるため、認識処理の結果に基づいて行われる運転支援処理に際しては本来の座標系に戻す変換処理が行われる。但しステップＳ１０４にて出力される範囲データ及び基準点データは元の座標系に戻す変換の要否は任意に設定することができる。画像処理装置２にて範囲データ及び基準点データの変換を行わない場合、撮像装置１にて座標系の変換が行われる。

図３は、本発明の実施の形態１に係る画像処理システムにて用いられる画像処理装置２の処理を概念的に示す説明図である。図３は、図２を用いて説明した画像処理装置２の画像認識処理におけるステップＳ１０２の撮像対象の範囲の検出を概念的に示している。図３において実線で示した長方形の枠が画像データに基づく画像の全体であり、画像内に撮像対象である運転者の顔が示されており、両矢印にて示した範囲が撮像対象の範囲である。ステップＳ１０２における撮像対象の範囲を検出する処理とは、ステップＳ１０１にて検出した撮像対象である運転者の顔の輪郭に基づいて、運転者の顔の左右方向（水平方向）の幅を検出する処理である。

図４は、本発明の実施の形態１に係る画像処理システムにて用いられる画像処理装置２の処理を概念的に示す説明図である。図４は、図２を用いて説明した画像処理装置２の画像認識処理におけるステップＳ１０３の撮像対象の基準点の決定を概念的に示している。図４に示す様に、ステップＳ１０３における撮像対象内の基準点の決定とは、ステップＳ１０１にて検出した撮像対象である運転者の顔内で特定した目及び鼻の位置に基づいて顔の中心を加工の基準となる基準点として決定する処理であり、具体的には、図４中の破線の×印にて示した両目及び鼻の両穴の４点の座標から、実線の×印にて示した重心の座標を算出し、算出した重心を顔の中心である基準点として決定する処理である。

図５は、本発明の実施の形態１に係る画像処理システムにて用いられる撮像装置１の画像加工用データ記録処理を示すフローチャートである。撮像装置１では、ＭＰＵ１１の制御により、画像処理装置２から出力された範囲データ及び基準点データの入力を通信インタフェース１８にて受け付け（Ｓ２０１）、受け付けた範囲データを、処理回路１６のメモリに予め基準値として記録している範囲データの最大値と比較する（Ｓ２０２）。

ステップＳ２０２において、受け付けた範囲データが、範囲データの最大値より大きいと判定した場合（Ｓ２０２：ＹＥＳ）、撮像装置１では、ＭＰＵ１１の制御により、処理回路１６のメモリに記録している拡大率を示す数値を下げる拡大率変更処理を行う（Ｓ２０３）。拡大率を示す数値とは、画像データの加工として画像データを拡大する場合の倍率を示す数値であり、処理回路１６のメモリに記録されている数値は、画像データを前回拡大した時に用いた数値である。即ちステップＳ２０３における拡大率変更処理により、前回の拡大率で拡大するか否かを判定する。なお拡大率を変更する場合、受け付けた範囲データと、予め記録している基準値との比を算出し、算出した比に基づいて変更後の拡大率を算出する。なお数段階に分級された複数の拡大率を予め記録しておき、拡大率を変更する場合に、拡大率の級を所定段階分遷移させることで拡大率を変更する様にしても良い。

ステップＳ２０２において、受け付けた範囲データが、範囲データの最大値以下であると判定した場合（Ｓ２０２：ＮＯ）、撮像装置１では、ＭＰＵ１１の制御により、受け付けた範囲データを処理回路１６のメモリに予め基準値として記録している範囲データの最小値と比較する（Ｓ２０４）。

ステップＳ２０４において、受け付けた範囲データが、範囲データの最小値より小さいと判定した場合（Ｓ２０４：ＹＥＳ）、撮像装置１では、ＭＰＵ１１の制御により、処理回路１６のメモリに記録している拡大率を示す数値を上げる拡大率変更処理を行う（Ｓ２０５）。即ちステップＳ２０２〜Ｓ２０５の処理では、範囲データが示す範囲の大きさに基づいて拡大率が決定される。なお範囲データを最大値及び最小値と比較することなく、範囲データを受け付ける都度、受け付けた範囲データに基づいて拡大率を変更する様にしても良い。なお受け付けた範囲データが画像処理装置２にて座標系の変換が行われていない場合、ステップＳ２０２の比較前に変換処理がなされる。

ステップＳ２０３或いはステップＳ２０５にて拡大率変更処理を実施後、又はステップＳ２０４において、受け付けた範囲データが、範囲データの最小値以上であると判定した場合（Ｓ２０４：ＮＯ）、撮像装置１では、ＭＰＵ１１の制御により、ステップＳ２０１にて受け付けた基準点データに基づいて拡大の中心となる座標を決定し（Ｓ２０６）、決定した拡大の中心となる座標を処理回路１６のメモリに記録する（Ｓ２０７）。ステップＳ２０６では、基準点データを拡大の中心となる座標に決定する。但し受け付けた基準点データが画像処理装置２にて座標系の変換が行われていない場合、基準点データの座標系の変換後の座標を拡大の中心となる座標として決定する。また拡大の中心となる座標の決定に際してはメモリに記録されている拡大率に基づいて、当該座標が拡大後の画像の有効範囲内かどうかの判定も行われる。

図６は、本発明の実施の形態１に係る画像処理システムにて用いられる撮像装置１の画像データ加工処理を示すフローチャートである。撮像装置１では、ＭＰＵ１１の制御に基づいて、撮像部１４が撮像してＡ／Ｄ変換器１５にてデジタルデータに変換された画像データを処理回路１６にて受け付け、処理回路１６では、メモリに記録されている拡大率を示す数値及び拡大の中心となる座標を読み取り（Ｓ３０１）、読み取った数値が示す拡大率で、読み取った座標を中心として、受け付けた画像データを拡大する加工処理を行う（Ｓ３０２）。拡大される画像データの範囲は、拡大率及び拡大の中心から決定される。なお画像データの拡大に際し、画像データを構成する画素の補間処理が行われる。また画像データの拡大に伴い座標系の変換が行われる。そして撮像装置１では、ＭＰＵ１１の制御により、拡大された画像データをフレームメモリ１７に記憶し、フレームメモリ１７に記憶した拡大された画像データを所定のタイミングで通信インタフェース１８から画像処理装置２へ出力する（Ｓ３０３）。なお画像処理装置２において、画像データの座標系の変換に関する処理を行う場合、座標系の変換に要するデータも撮像装置１から画像処理装置２へ出力する。

図７は、本発明の実施の形態１に係る画像処理システムにて用いられる撮像装置１の処理を概念的に示す説明図である。図７は、図６を用いて説明した撮像装置１の画像データ加工処理におけるステップＳ３０２の加工処理を概念的に示している。図７（ａ）の実線で示した枠が撮像により得られた加工処理前の画像データに基づく画像を示しており、図７（ａ）内の一点鎖線で示した枠内の画像に対して加工処理が行われる。また図７（ｂ）の実線で示した枠が加工処理後の画像データに基づく画像を示している。図７に示す加工処理は、画像の拡大処理であり、図７（ａ）に示す画像の中に示された拡大の中心となる座標（ｘ，ｙ）を中心として、メモリから読み取った拡大率に基づき、図７（ａ）の画像の一部が拡大されている。なお拡大される一部の画像とは、拡大率及び拡大の中心から決定される範囲内の画像である。

そして画像処理装置２では、通信インタフェース２５にて拡大された加工処理後の画像データの入力を受け付け、受け付けた画像データに対し、撮像対象の認識、撮像対象の範囲の検出、基準点の決定等の図２を用いて示した画像認識処理を行う。このように本発明の画像処理システムでは、第１の画像から検出される撮像対象の範囲及び決定される基準点に基づいて、第１の画像の後の撮像に基づく第２の画像に対し、基準点を中心とする撮像対象を含む領域の拡大等の加工を行い、加工した第２の画像に対し、撮像対象の範囲の検出、基準点の決定等の画像処理を行う。

実施の形態２．
実施の形態２は、実施の形態１において、画像データの加工処理を、画像処理装置２にて行う形態である。図８は、本発明の実施の形態２に係る画像処理システムの構成を示すブロック図である。なお実施の形態１と同じ構成要素については、実施の形態１と同一符号を付し、その説明を省略する。実施の形態２では、画像データの加工処理を画像処理装置２にて行うため、撮像装置１は、処理回路１６を備えていない。画像処理装置２は、本発明のコンピュータプログラム３及びデータ等の各種情報を記録している記録媒体４から補助記憶部２６により、各種情報を読み取り、読み取った各種情報をＨＤ２２に記録し、ＨＤ２２に記録した各種情報をＲＡＭ２３に記憶させてＣＰＵ２１の制御により実行する。なお本発明のコンピュータプログラム３の実行に際し、ＨＤ２２には、画像処理に要する基準値等のデータが記録される。

図９は、本発明の実施の形態２に係る画像処理システムにて用いられる撮像装置１及び画像処理装置２の画像データ取得処理を示すフローチャートである。撮像装置１は、ＭＰＵ１１の制御により、撮像装置１４が撮像してＡ／Ｄ変換器１５にてデジタルデータに変換された画像データをフレームメモリ１７に記憶し、フレームメモリ１７に記憶した画像データを所定のタイミングで通信インタフェース１８から画像処理装置１８へ出力する（Ｓ４０１）。

画像処理装置２は、ＣＰＵ２１の制御により、撮像装置１から出力された画像データを通信インタフェース２５にて受け付け（Ｓ４０２）、受け付けた画像データをフレームメモリ２４に記憶する（Ｓ４０３）。

図１０は、本発明の実施の形態２に係る画像処理システムにて用いられる画像処理装置２の画像処理を示すフローチャートである。画像処理装置２は、ＣＰＵ２１の制御により、ＨＤ２２又はＲＡＭ２３に記録されている拡大率を示す数値及び拡大の中心となる座標を読み取り（Ｓ５０１）、読み取った数値が示す拡大率で、読み取った座標を中心として、フレームメモリ２４に記憶している画像データを拡大する加工処理を行う（Ｓ５０２）。

そして画像処理装置２は、ＣＰＵ２１の制御により、拡大された画像データから撮像対象である運転者の顔の輪郭の検出並びに目及び鼻の位置の特定を含む画像処理である撮像対象の認識処理を行い（Ｓ５０３）、撮像対象の認識処理の結果に基づいて運転を支援する。更に画像処理装置２は、ＣＰＵ２１の制御により、認識処理に結果に基づいて、撮像対象の範囲を検出し（Ｓ５０４）、また撮像対象内の基準点を決定する（Ｓ５０５）。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ５０４にて検出した撮像対象の範囲を、ＨＤ２２に予め基準値として記録している撮像対象の範囲の最大値と比較する（Ｓ５０６）。

ステップ５０６において、検出した撮像対象の範囲が、記録している範囲の最大値より大きいと判定した場合（Ｓ５０６：ＹＥＳ）、画像処理装置２では、ＣＰＵ２１の制御により、ＨＤ２２又はＲＡＭ２３に記録している拡大率を示す数値を下げる拡大率変更処理を行う（Ｓ５０７）。

ステップＳ５０６において、検出した撮像対象の範囲が、記録している範囲の最大値以下であると判定した場合（Ｓ５０６：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ５０４にて検出した撮像対象の範囲を、ＨＤ２２に予め基準値として記録している撮像対象の範囲の最小値と比較する（Ｓ５０８）。

ステップＳ５０８において、検出した撮像対象の範囲が、記録している範囲の最小値より小さいと判定した場合（Ｓ５０８：ＹＥＳ）、画像処理装置２では、ＣＰＵ２１の制御により、ＨＤ２２又はＲＡＭ２３に記録している拡大率を示す数値を上げる拡大率変更処理を行う（Ｓ５０９）。

ステップＳ５０７或いはステップＳ５０９にて拡大率変更処理を実施後、又はステップＳ５０８において、検出した撮像対象の範囲が、記録している範囲の最小値以上であると判定した場合（Ｓ５０８：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ５０５にて決定した基準点に基づいて拡大の中心となる座標を決定し（Ｓ５１０）、決定した拡大の中心となる座標をＨＤ２２又はＲＡＭ２３に記録する（Ｓ５１１）。ステップＳ５１１までの処理が実行された時点でＨＤ２２又はＲＡＭ２３に記録されている拡大率及び拡大の中心となる座標は、次の画像データを拡大する加工処理に用いられる。

実施の形態１及び２にて詳述した様に、本発明では、撮像対象を続けて撮像し、第１の画像に基づき決定される拡大率及び拡大の中心となる座標に基づいて、第１の画像の後の撮像により得られる第２の画像を加工し、加工した第２の画像に基づく様々な画像処理を行うと共に、更に次の画像の拡大率及び拡大の中心となる座標を決定するという処理を繰り返す。

前記実施の形態１及び２では、画像を加工する処理として拡大する処理を示したが、本発明はこれに限らず、縮小、階調の変換、微分処理等の様々な処理を用いることが可能である。また拡大処理として、画像データを拡大する形態を示したが、撮像している範囲を光学的に拡大する形態であっても良い。

前記実施の形態１及び２では、車両の運転者を撮像対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を撮像対象とする形態であっても良い。

Claims (9)

1. 撮像対象を続けて撮像し、撮像に基づく画像内での撮像対象の範囲を検出する画像処理方法において、
   第１の画像から検出された撮像対象の範囲に基づいて、第１の画像の後の第２の画像を加工し、
   加工した第２の画像内での撮像対象の範囲の検出を行う
   ことを特徴とする画像処理方法。
2. 撮像対象を続けて撮像する撮像手段と、該撮像手段の撮像に基づく画像内での撮像対象の範囲を検出する画像処理手段とを備える画像処理システムにおいて、
   第１の画像から検出された撮像対象の範囲に基づいて、第１の画像の後の第２の画像を加工する加工手段と、
   加工した第２の画像内の撮像対象の範囲を検出する手段と
   を備えることを特徴とする画像処理システム。
3. 前記加工手段は、第２の画像を拡大するように構成してあることを特徴とする請求項２に記載の画像処理システム。
4. 前記加工手段は、範囲の大きさに基づき拡大率を決定するように構成してあることを特徴とする請求項３に記載の画像処理システム。
5. 撮像対象内の加工の基準点を決定する手段を更に備え、
   前記加工手段は、基準点を中心として拡大するように構成してある
   ことを特徴とする請求項３又は請求項４に記載の画像処理システム。
6. 前記撮像対象は、顔であり、
   前記撮像対象の範囲は、顔の所定方向の範囲であり、
   前記撮像対象内の基準点は、目及び／又は鼻の位置に基づいて求められる点である
   ことを特徴とする請求項５に記載の画像処理システム。
7. 撮像対象を続けて撮像する手段を備え、撮像に基づく画像内での撮像対象の範囲を検出する画像処理装置と接続する撮像装置において、
   前記画像処理装置から、第１の画像から検出された撮像対象の範囲を示す範囲データの入力を受け付ける手段と、
   受け付けた範囲データが示す範囲に基づいて、第１の画像の後の第２の画像を加工する手段と、
   加工した第２の画像を示す画像データを、前記画像処理装置へ出力する手段と
   を備えることを特徴とする撮像装置。
8. 画像を示す画像データの入力を続けて受け付け、受け付けた画像データに基づく画像内での撮像対象の範囲を検出する画像処理装置において、
   第１の画像データに基づく画像から検出された撮像対象の範囲に基づいて、第１の画像データの後の第２の画像データを加工する手段と、
   加工した第２の画像データに基づく画像内での撮像対象の範囲を検出する手段と
   を備えることを特徴とする画像処理装置。
9. 画像を示す画像データの入力を続けて受け付ける手段を備えるコンピュータに、受け付けた画像データに基づく画像内での撮像対象の範囲を検出させるコンピュータプログラムにおいて、
   コンピュータに、第１の画像データに基づく画像から検出された撮像対象の範囲に基づいて、第１の画像データの後の第２の画像データを加工させる手順と、
   コンピュータに、加工した第２の画像データに基づく画像内での撮像対象の範囲を検出させる手順と
   を実行させることを特徴とするコンピュータプログラム。

Images