JP6025399B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像画像データにおける歩行者等の動体領域を強調表示する技術に関するものである。

従来、車両前方に取り付けられたカメラで撮像された画像データから歩行者を検出し、表示装置等に歩行者の存在を強調表示するナイトビューシステムが知られている（例えば、特許文献１参照）。従来のナイトビューシステムを使用した場合、運転者が歩行者を発見しやすくなり、夜間等の照度が不足しているときの運転を補助するものとして大変有用である。ところで、従来のナイトビューシステムでは、赤外線カメラで撮像された赤外線画像データを用いることが多い。この赤外線画像データから特徴量を抽出することにより歩行者検出が行われる。

特開２０１０−８８０４５号公報

しかしながら、赤外線画像データはグレースケール画像データであるため、物体が重なり合っている場合、特徴量の抽出は、可視光画像データよりも技術的に難易度が高い。このことは、例えば、歩行者が横断歩道上を歩行している場合、赤外線画像データから歩行者を検出することが困難であることを意味する。

そこで、本発明の目的は、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示できるようにすることにある。

本発明の画像処理装置は、撮像装置を介した撮像によって第１の撮像画像データを取得する取得手段と、前記取得手段により前記第１の撮像画像データが取得された場合に、前記第１の撮像画像データの撮像位置を示す位置情報を取得する位置取得手段と、前記第１の撮像画像データより後に撮像される撮像画像データ内の強調表示されるべき領域を特定するために、前記撮像画像データと比較される比較画像データとして、前記第１の撮像画像データから所定の物体領域が除去された第１の除去済み画像データが蓄積されるべきか否かを、前記取得手段により前記第１の撮像画像データが取得された時間帯に基づいて判定する判定手段と、前記判定手段により前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきであると判定された場合に、前記第１の除去済み画像データを前記位置取得手段により取得された前記第１の撮像画像データの撮像位置を示す位置情報に関連付けて蓄積装置に蓄積する蓄積手段と、前記蓄積手段により除去済み画像データが蓄積される前記蓄積装置から、前記位置取得手段により取得された前記第１の撮像画像データの撮像位置を示す位置情報と対応する位置情報に関連付けて蓄積されている第２の除去済み画像データであって、前記第１の撮像画像データより前に撮像された撮像画像データから所定の物体領域が除去された第２の除去済み画像データを取得する画像取得手段と、前記取得手段により取得された前記第１の撮像画像データと前記画像取得手段により取得された前記第２の除去済み画像データとを比較して差分情報を抽出する抽出手段と、前記取得手段により取得された前記第１の撮像画像データ内の強調表示されるべき領域を、前記抽出手段により抽出された差分情報に基づいて特定し、前記特定した領域を強調表示させる強調手段とを有することを特徴とする。

本発明によれば、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示することができる。

本発明の第１の実施形態に係る画像処理システムの構成を示す図である。 本発明の第１の実施形態に係る画像処理システムにおける処理を概略的に示す図である。 除去領域を外周画素の平均値で置き換える処理を説明するための図である。 蓄積装置に格納されるデータベースの例を示す図である。 本発明の第１の実施形態における画像処理装置の処理を示すフローチャートである。 本発明の第２の実施形態に係る画像処理システムの構成を示す図である。 本発明の第２の実施形態における画像処理装置の処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理システムの構成を示す図である。図１に示すように、本発明の第１の実施形態に係る画像処理システムは、撮像装置１０１、画像処理装置１１０及び蓄積装置１０３から構成される。また、画像処理装置１１０は、画像蓄積部１０２、比較画像生成部１０４、差分抽出部１０５及び画像強調部１０６を備える。

撮像装置１０１は、車両のノーズ等に設置され、車両前方を撮像する。撮像装置１０１によって撮像された画像データを以下では撮像画像データｘと称す。画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する。比較画像生成部１０４は、蓄積装置１０３から撮像画像データｘを取得し、比較画像データｙを生成する。差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。画像強調部１０６は、差分抽出部１０５によって抽出された差分情報に基づいて、撮像画像データｘの特定領域を強調した画像データを生成する。

図２は、本実施形態に係る画像処理システムにおける処理を概略的に示す図である。図２の２００は、比較画像データｙを示している。図２の２０１は、撮像画像データｘを示している。図２の２０２は、撮像画像データｘ２０１と比較画像データｙ２００との差分情報を示している。図２の２０３は、差分情報に基づいて算出された撮像画像データｘの特定領域を示している。図２の２０４は、撮像画像データｘ２０１の特定領域２０３を枠で囲むことにより強調した画像データを示している。

以下、図１に示した画像処理装置１１０の各構成について詳細に説明する。画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する。ところで、撮像画像データｘに存在する歩行者や車両等の動体領域は、差分抽出部１０５によって差分情報が抽出される際に不要な情報となる。従って、画像蓄積部１０２は、これらの不要な情報を撮像画像データｘから除去して蓄積装置１０３に蓄積する。不要な情報の除去手段は種々考えられるが、例えば、撮像画像データｘの１フレーム毎に特徴量を抽出し、特徴量に基づいて歩行者又は車両と推定される領域を撮像画像データｘから除去する方法が挙げられる。そして、除去された領域は、例えば、当該除去領域に接する外周画素の平均値等で置き換えればよい。

図３は、上記除去領域を外周画素の平均値で置き換える処理を説明するための図である。図３（ａ）は、上記除去領域が除去される前の撮像画像データｘを示しており、図３（ｂ）は、上記除去領域が除去された後の撮像画像データｘを示している。画像蓄積部１０２は、図３（ａ）に示すように、撮像画像データｘから車両と推定される領域３０１を検出し、図３（ｂ）に示すように、領域３０１を周辺画素の平均値で置き換える。なお、歩行者や車両と推定される領域を検出するための特徴量の抽出方法は、一般的な技術であるため、ここでは詳述しない。また、歩行者や車両以外の動体領域を検出してもよい。なお、動体領域の除去処理は、蓄積装置１０３に蓄積される際でなく、比較画像生成部１０４によって蓄積装置１０３から撮像画像データｘが取得される際に行ってもよい。

また、画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する際、ＧＰＳ受信機及び制御装置からなるＧＰＳシステムから現在の自車両の位置情報、即ち、撮像装置１０１によって撮像画像データｘを生成している位置情報を取得する。そして、画像蓄積部１０２は、現在の自車両の位置情報を撮像画像データｘの撮像位置情報として蓄積装置１０３に蓄積する。なお、ここでいう自車両とは、当該画像処理システムが搭載された車両を意味する。蓄積装置１０３は、蓄積する撮像画像データｘを管理するためのデータベースを備える。

図４は、蓄積装置１０３に格納されるデータベースの例を示す図である。図４に示すデータベースの例では、撮像画像データｘのＩＤ毎に、撮像画像データｘの撮像時刻情報、撮像画像データｘの撮像位置情報（緯度、経度）、及び、蓄積装置１０３内における撮像画像データｘの蓄積位置情報が対応付けられている。なお、データベースに対する上記情報の登録は、例えば６０フレームに１回等の一定の間隔をおいて行われる。

画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する際、撮像画像データｘをＭＰＥＧ２等でエンコードするとともに、撮像位置情報も同様にエンコードし、撮像位置情報を撮像画像データｘの各フレームのヘッダ情報に付与して蓄積する。ここでは、撮像画像データを、ＭＰＥＧ２−ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ（ＴＳ）等のフォーマットで蓄積することを想定している。

比較画像生成部１０４は、ＧＰＳシステムから現在の自車両の位置情報を取得する。そして、比較画像生成部１０４は、蓄積装置１０３に蓄積されている撮像画像データｘのうち、現在の自車両の位置情報と等しい撮像位置情報が付与され、且つ、最新の撮像画像データｘを取得し、比較画像データｙとする。

ここで、比較画像生成部１０４による比較画像データｙの生成処理について具体的に説明する。ここでは、上記データベースを用いた粗検索と、撮像画像データｘの各フレームのヘッダ情報として付与された撮像位置情報を用いた詳細検索とを組み合わせた手法について説明する。

比較画像生成部１０４は、データベースに登録されるＩＤのうち、撮像位置情報が現在の自車両の位置情報に最も近く、且つ、撮像時刻情報が最も新しいＩＤを検索する。次に、比較画像生成部１０４は、検索したＩＤに対応する撮像画像データの蓄積位置を起点として、蓄積装置１０３に対する検索を開始し、撮像位置情報が等しい撮像画像データｘのフレームを取得し、比較画像データｙとする。なお、撮像位置情報が等しい撮像画像データｘのフレームが存在しない場合、比較画像生成部１０４は、現在の自車両の位置情報に最も近い撮像位置情報が付与され、且つ、撮像時刻情報が最も新しい撮像画像データのフレームと、その前後のフレームとを取得する。そして、比較画像生成部１０４は、取得したこれらの撮像画像データのフレームを用いてフレーム補間処理を実行することにより中間画像データを生成し、生成した中間画像データを比較画像データｙとする。

差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。なお、撮像画像データｘと比較画像データｙとは、撮像された時間によって、照度が異なる。そのままでは、単純に差分情報を抽出することは困難である。そこで、本実施形態では、予め輝度調整を行う。例えば、それぞれの画像データ全体の平均輝度で各画素を正規化し、輝度調整後の画像データ間の差分情報を抽出すればよい。これにより、照度が異なっていても、差分情報を抽出することが可能となる。また、輝度調整を行う以外にも、エッジを抽出する方法が考えられる。この場合、予めそれぞれの画像データでエッジを抽出し、エッジ抽出後の画像データ間の差分情報を抽出する。これにより、照度が異なっていても、差分情報を抽出することが可能となる。

また、夜間に撮像された撮像画像データｘが対象となるため、画像蓄積部１０２による動体領域の除去処理時において、そのままでは撮像画像データｘから特徴量を抽出しにくいことがある。その一因として、照度が撮像画像データｘの中で不均一であることが挙げられる。即ち、自車両のヘッドライトでは、自車両周辺しか照度を確保することができず、遠方は照度不足となる。これは、撮像画像データｘの下端（ヘッドライトに最も近い部分）から離れるに従って、照度が落ちるということを意味する。この照度が不均一という課題に対しては、特徴量の抽出の前処理として、撮像画像データｘの下端からの距離に応じた輝度調整を行えばよい。これにより、照度が均一化された、特徴量を抽出しやすい撮像画像データｘを得ることができる。

画像強調部１０６は、差分抽出部１０５によって抽出された差分情報から撮像画像データｘの特定領域を決定し、当該特定領域を強調する処理を行う。特定領域の決定には、例えば特徴量の抽出処理を用いればよい。これは、画像蓄積部１０２による特徴量の抽出処理と同様の処理でよい。強調処理は種々考えられるが、特定領域に枠を重畳させてもよいし、特定領域を所定の色で着色してもよい。さらに、特定領域をより目立たせるために、撮像画像データｘの輝度を下げる、又は、コントラストを下げる等の前処理を実施してもよい。また、夜間に撮像された等の理由で撮像画像データｘにノイズが多く含まれている場合、特定領域が目立ちにくくなることも考えられるため、撮像画像データｘに対して前処理としてノイズ除去を行ってもよい。

図５は、画像処理装置１１０の処理を示すフローチャートである。ステップＳ５０１において、画像蓄積部１０２は、蓄積モードがオンであるか否かを判定する。蓄積モードがオンである場合、処理はステップＳ５０２に移行する。一方、蓄積モードがオフである場合、処理は、ステップＳ５０２及びＳ５０３をスキップして、Ｓ５０４に移行する。例えば、昼間のみ蓄積モードをオンとするのであれば、日の出時間に蓄積モードをオンとし、日の入り時間に蓄積モードをオフとする。

ステップＳ５０２において、画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する。ステップＳ５０３において、画像蓄積部１０２は、撮像画像データｘの、撮像時刻情報、撮像位置情報及び蓄積位置情報を蓄積装置１０３内のデータベースに登録する。ステップＳ５０４において、比較画像生成部１０４は、比較画像データｙを生成する。ステップＳ５０５において、差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。ステップＳ５０６において、画像強調部１０６は、差分抽出部１０５によって抽出された差分情報に基づいて、撮像画像データｘの特定領域を決定し、特定領域に対して強調処理を行う。

以上により、本実施形態においては、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示することができる。なお、本実施形態では、車両前方を対象としたが、車両前方以外に撮像装置１０１を取り付けた場合でも効果は同等である。例えば、車両を後退させる際に、車両後方を確認するために、撮像装置１０１によって撮像された車両後方の撮像画像データを確認する際にも適用することができる。

次に、本発明の第２の実施形態について説明する。第２の実施形態では、車両走行中における車両前方の撮像画像データが予め蓄積されている場合について説明する。また、以下では、第１の実施形態との相違する点に主眼をおいて説明を行うものとする。

図６は、本発明の第２の実施形態に係る画像処理システムの構成を示す図である。図６に示すように、本発明の第２の実施形態に係る画像処理システムは、撮像装置１０１、画像処理装置６００及び蓄積装置１０３から構成される。また、画像処理装置６００は、比較画像生成部１０４、差分抽出部１０５及び画像強調部１０６を備える。なお、第２の実施形態の蓄積装置１０３においては、車両前方の撮像画像データｘが予め蓄積されているとともに、図４に示すような構成のデータベースも管理されているものとする。

図７は、第２の実施形態における画像処理装置６００の処理を示すフローチャートである。ステップＳ７０１において、比較画像生成部１０４は、蓄積装置１０３から比較画像データｙを生成する。ステップＳ７０２において、差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。ステップＳ７０３において、画像強調部１０６は、差分抽出部１０５によって抽出された差分情報に基づいて、撮像画像データｘの特定領域を決定し、特定領域に対して強調処理を行う。

第２の実施形態においては、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示することができる。なお、第２の実施形態では、車両走行中における車両前方の撮像画像データが予め蓄積されている場合について述べたが、それ以外にも、車両走行中における車両前方の撮像画像データを通信装置等で外部から取得する場合にも同様に有効である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：撮像装置、１０２：画像蓄積部、１０３：蓄積装置、１０４：比較画像生成部、１０５：差分抽出部、１０６：画像強調部、１１０、６００：画像処理装置

Claims (9)

1. 撮像装置を介した撮像によって第１の撮像画像データを取得する取得手段と、
   前記取得手段により前記第１の撮像画像データが取得された場合に、前記第１の撮像画像データの撮像位置を示す位置情報を取得する位置取得手段と、
   前記第１の撮像画像データより後に撮像される撮像画像データ内の強調表示されるべき領域を特定するために、前記撮像画像データと比較される比較画像データとして、前記第１の撮像画像データから所定の物体領域が除去された第１の除去済み画像データが蓄積されるべきか否かを、前記取得手段により前記第１の撮像画像データが取得された時間帯に基づいて判定する判定手段と、
   前記判定手段により前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきであると判定された場合に、前記第１の除去済み画像データを前記位置取得手段により取得された前記第１の撮像画像データの撮像位置を示す位置情報に関連付けて蓄積装置に蓄積する蓄積手段と、
   前記蓄積手段により除去済み画像データが蓄積される前記蓄積装置から、前記位置取得手段により取得された前記第１の撮像画像データの撮像位置を示す位置情報と対応する位置情報に関連付けて蓄積されている第２の除去済み画像データであって、前記第１の撮像画像データより前に撮像された撮像画像データから所定の物体領域が除去された第２の除去済み画像データを取得する画像取得手段と、
   前記取得手段により取得された前記第１の撮像画像データと前記画像取得手段により取得された前記第２の除去済み画像データとを比較して差分情報を抽出する抽出手段と、
   前記取得手段により取得された前記第１の撮像画像データ内の強調表示されるべき領域を、前記抽出手段により抽出された差分情報に基づいて特定し、前記特定した領域を強調表示させる強調手段とを有することを特徴とする画像処理装置。
2. 前記取得手段は、更に、前記第１の撮像画像データを取得した後に、前記撮像装置を介した撮像によって第２の撮像画像データを取得し、
   前記位置取得手段は、前記取得手段により前記第２の撮像画像データが取得された場合に、前記第２の撮像画像データの撮像位置を示す位置情報を取得し、
   前記画像取得手段は、更に、前記蓄積装置に蓄積されている除去済み画像データのうち、関連付けられている位置情報が前記第２の撮像画像データの撮像位置を示す位置情報と対応する除去済み画像データが、前記第１の除去済み画像データである場合、前記蓄積装置から前記第１の除去済み画像データを取得し、
   前記抽出手段は、更に、前記取得手段により取得された前記第２の撮像画像データと前記画像取得手段により取得された前記第１の除去済み画像データとを比較して差分情報を抽出し、
   前記強調手段は、更に、前記取得手段により取得された前記第２の撮像画像データ内の強調表示されるべき領域を、前記抽出手段により前記第２の撮像画像データと前記第１の除去済み画像データとを比較して抽出された差分情報に基づいて特定し、前記特定した領域を強調表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、昼間に対応する時間帯として予め設定された時間帯に前記取得手段により前記第１の撮像画像データが取得された場合に、前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきであると判定し、夜間に対応する時間帯として予め設定された時間帯に前記取得手段により前記第１の撮像画像データが取得された場合に、前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきでないと判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段は、車両に設置された前記撮像装置を介して、前記車両の前方を撮像することで前記第１の撮像画像データを取得し、
   前記位置取得手段は、前記第１の撮像画像データの撮像位置を示す位置情報として、前記車両の位置情報を取得し、
   前記第１の除去済み画像データは、前記第１の撮像画像データに対して前記車両のヘッドライトによる影響に応じた輝度調整が行われて所定の物体領域が除去された画像データであることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記第１の除去済み画像データは、前記第１の撮像画像データに対して画像の下端からの距離に応じた輝度調整が行われて所定の物体領域が除去された画像データであることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記抽出手段は、前記取得手段により取得された前記第１の撮像画像データと前記画像取得手段により取得された前記第２の除去済み画像データのそれぞれに対して、画像全体の平均輝度で各画素を正規化する輝度調整を行い、前記輝度調整後の前記第１の撮像画像データと前記第２の除去済み画像データとを比較して差分情報を抽出することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法であって、
   撮像装置を介した撮像によって第１の撮像画像データを取得する取得ステップと、
   前記取得ステップで取得された前記第１の撮像画像データの撮像位置を示す位置情報を取得する位置取得ステップと、
   前記第１の撮像画像データより後に撮像される撮像画像データ内の強調表示されるべき領域を特定するために、前記撮像画像データと比較される比較画像データとして、前記第１の撮像画像データから所定の物体領域が除去された第１の除去済み画像データが蓄積されるべきか否かを、前記取得ステップで前記第１の撮像画像データが取得された時間帯に基づいて判定する判定ステップと、
   前記判定ステップで前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきであると判定された場合に、前記第１の除去済み画像データを前記位置取得ステップで取得された前記第１の撮像画像データの撮像位置を示す位置情報に関連付けて蓄積装置に蓄積する蓄積ステップと、
   前記蓄積ステップにおいて除去済み画像データが蓄積される前記蓄積装置から、前記位置取得ステップで取得された前記第１の撮像画像データの撮像位置を示す位置情報と対応する位置情報に関連付けて蓄積されている第２の除去済み画像データであって、前記第１の撮像画像データより前に撮像された撮像画像データから所定の物体領域が除去された第２の除去済み画像データを取得する画像取得ステップと、
   前記取得ステップで取得された前記第１の撮像画像データと前記画像取得ステップで取得された前記第２の除去済み画像データとを比較して差分情報を抽出する抽出ステップと、
   前記取得ステップで取得された前記第１の撮像画像データ内の強調表示されるべき領域を、前記抽出ステップで抽出された差分情報に基づいて特定し、前記特定した領域を強調表示させる強調ステップとを含むことを特徴とする画像処理方法。
8. 前記判定ステップでは、前記取得ステップで前記第１の撮像画像データが取得された時間帯が昼間に対応する時間帯として予め設定された時間帯である場合に、前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきであると判定し、前記取得ステップで前記第１の撮像画像データが取得された時間帯が夜間に対応する時間帯として予め設定された時間帯である場合に、前記第１の除去済み画像データが前記比較画像データとして蓄積されるべきでないと判定することを特徴とする請求項７に記載の画像処理方法。
9. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images