JPWO2016121406A1 - 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 - Google Patents

Abstract

車両の周辺領域を撮像した撮像画像上の画像処理領域を動的に決定する画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法を提供する。車両１６に設けられる画像処理装置１２は、走行路１７を撮像した撮像画像上の画像処理領域３２を決定するプロセッサ２６を備える。プロセッサ２６は、撮像画像の輝度情報および色情報の少なくとも一方に基づいて、撮像画像上の走行路１７の遠方端３１に対応する近似線３０の少なくとも一部を決定する処理と、近似線３０の少なくとも一部に対して予め定められる相対位置に基づいて、画像処理領域３２を決定する処理と、を実行する。

Description

関連出願の相互参照

本出願は、２０１５年１月２８日に日本国に特許出願された特願２０１５−０１４８１７の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、車両の周辺領域を撮像した撮像画像を用いる画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法に関する。

従来、車両に複数の車載カメラを設置して車両の周辺を撮像し、生成した撮像画像を用いて車両の周辺を視認可能な画像を表示することが行われている。例えば、特許文献１には、映像表示手段に表示される車両の周辺映像の映像位置を、傾斜度計などの傾き検出手段を用いて検出した車両の傾きに基づいて移動させる手法が開示されている。このように、車両の周辺領域映像を精度よく表示する方法が求められている。

特開平８−０５２５５５号公報

しかしながら、車両自体は傾いていない場合であっても、車両の周辺状況に応じて撮像範囲に含まれる被写体は異なる。例えば、車両の進行方向の被写体を撮像する際に、車両の走行路に上り傾斜がある場合には、走行路が撮像範囲の大部分を占める。一方、車両の走行路に下り傾斜がある場合には、走行路の上空が撮像範囲の大部分を占める。このため、撮像画像に対して固定的に定めた領域を、例えば表示範囲の切り出し処理などの画像処理を行うための画像処理領域として用いることは、必ずしも適切ではなかった。

本発明の目的は、車両の周辺領域を撮像した撮像画像上の画像処理領域を動的に決定する画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法を提供することにある。

本発明の一実施形態に係る画像処理装置は、
車両に設けられる画像処理装置であって、
走行路を撮像した撮像画像上の画像処理領域を決定するプロセッサを備え、
前記プロセッサは、
前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理と、
前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記画像処理領域を決定する処理と、を実行する
ことを特徴とする。

また、本発明の一実施形態に係る画像処理システムは、
走行路を撮像して撮像画像を生成する撮像装置と、
前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理、および前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記撮像画像上の画像処理領域を決定する処理を実行するプロセッサを有する画像処理装置とを備える
ことを特徴とする。

また、本発明の一実施形態に係る車両は、
走行路を撮像して撮像画像を生成する撮像装置と、前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理、および前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記撮像画像上の画像処理領域を決定する処理を実行するプロセッサを有する画像処理装置とを含む画像処理システムを備える
ことを特徴とする。

また、本発明の一実施形態に係る撮像装置は、
車両に設けられる撮像装置であって、
走行路を撮像して撮像画像を生成する撮像素子と、
前記撮像画像上の画像処理領域を決定するプロセッサと、を備え、
前記プロセッサは、
前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理と、
前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記画像処理領域を決定する処理と、を実行する
ことを特徴とする。

また、本発明の一実施形態に係る画像処理方法は、
走行路を撮像した撮像画像の輝度情報および色情報の少なくとも一方に基づいて、該撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定するステップと、
前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記撮像画像上の画像処理領域を決定するステップとを含む
ことを特徴とする。

本発明の第１の実施形態に係る画像処理システムの概略構成を示すブロック図である。 図１の画像処理システムを備える車両を示す概略図である。 図１の撮像装置が生成する撮像画像の例を示す図である。 図１の撮像装置が生成する撮像画像上の画像処理領域を示す図である。 図１の画像処理システムの動作を説明するフローチャートである。 本発明の第１の実施形態の変形例に係る基準情報の例を示す図である。 本発明の第１の実施形態の変形例に係る画像処理装置の動作を説明する図である。 本発明の第２の実施形態に係る撮像装置が生成する撮像画像の例を示す図である。 本発明の第２の実施形態に係る画像処理装置の動作を説明する図である。 本発明の第２の実施形態に係る画像処理システムの動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
はじめに、本発明の第１の実施形態に係る画像処理装置、画像処理システム、車両、および撮像装置について説明する。

図１に示すように、画像処理システム１０は、複数の撮像装置１１ａ、１１ｂと、画像処理装置１２とを備える。画像処理システム１０は、表示装置１３と、被写体認識装置１４とをさらに備えてもよい。本実施形態において、複数の撮像装置は、例えば、フロントカメラ１１ａおよびリアカメラ１１ｂである。画像処理システム１０の各構成要素は、無線、有線、またはＣＡＮなどのネットワーク１５を介して情報を送受信可能である。

図２に示すように、フロントカメラ１１ａは、車両１６の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、車両１６の後方の周辺領域を撮像可能となるように配置される。表示装置１３は、運転席から視認可能な位置に配置される。

フロントカメラ１１ａおよびリアカメラ１１ｂは、例えば魚眼レンズなどの画角の広いレンズを備えており、車両１６の周辺領域を広角撮影可能である。例えば、車両１６から遠方に延びる走行路上に車両１６が位置する場合について説明する。かかる場合には、フロントカメラ１１ａの撮像範囲およびリアカメラ１１ｂの撮像範囲に、それぞれ車両１６から遠方に延びる走行路と、走行路の上空とが含まれる。このため、フロントカメラ１１ａの撮像画像およびリアカメラ１１ｂの撮像画像は、図３（ａ）に示すように走行路１７と上空１８とを含む。一般に、広角撮影においては広範囲の被写体を撮像可能であり、撮像画像の周辺部における被写体は湾曲して撮像される。図面においては説明の簡便のため、被写体が湾曲していない状態で図示している。

次に、フロントカメラ１１ａの構成について説明する。フロントカメラ１１ａは（図１参照）、光学系１９ａと、撮像素子２０ａと、画像処理部２１ａと、入出力部２２ａと、カメラ制御部２３ａとを備える。

光学系１９ａは、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１９ａは広い画角を有しており、車両１６の前方の周辺領域を含む撮像範囲の被写体像を結像可能である。

撮像素子２０ａは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子であって、光学系１９ａによって結像する被写体像を撮像する。また、撮像素子２０ａは、撮像によって生成した撮像画像をアナログの画像信号として、画像処理部２１ａに出力する。

画像処理部２１ａは、例えばＤＳＰ（Digital Signal Processor）などの画像処理専用のプロセッサであって、撮像素子２０ａから取得した画像信号に対して、ＣＤＳ（Correlated Double Sampling）、ゲイン調整、およびＡＤ変換などの前処理を施す。画像処理部２１ａは、前処理が施された画像信号（撮像画像）を、ネットワーク１５を介して画像処理装置１２に出力する。

また、画像処理部２１ａは、画像処理装置１２から画像処理領域に関する情報を取得すると、当該情報に基づいて定まる画像処理領域を用いて、撮像画像に対して自動露出（ＡＥ）、自動ホワイトバランス（ＡＷＢ）、色補間、明るさ補正、色補正、およびガンマ補正などの通常の画像処理を施す。画像処理領域に関する情報および画像処理領域の詳細については後述する。好適には、画像処理部２１ａは、前処理が施された撮像画像から画像処理領域を切り出し、切り出された撮像画像に対して上述した通常の画像処理を施す。

そして、画像処理部２１ａは、通常の画像処理が施された撮像画像を、ネットワーク１５を介して表示装置１３および被写体認識装置１４に出力する。

入出力部２２ａは、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースである。

カメラ制御部２３ａは、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵ（Central Processing Unit）である。カメラ制御部２３ａは、フロントカメラ１１ａの各部位の動作を制御する。例えば、カメラ制御部２３ａは、撮像素子２０ａおよび画像処理部２１ａの動作を制御して、周期的に、例えば３０ｆｐｓで画像信号を出力させる。また、カメラ制御部２３ａは、画像処理装置１２から後述する画像処理領域に関する情報を取得する。

リアカメラ１１ｂは、フロントカメラ１１ａと同様に、光学系１９ｂと、撮像素子２０ｂと、画像処理部２１ｂと、入出力部２２ｂと、カメラ制御部２３ｂとを備える。光学系１９ｂ、撮像素子２０ｂ、画像処理部２１ｂ、入出力部２２ｂ、およびカメラ制御部２３ｂの機能および構成は、フロントカメラ１１ａと同様である。

画像処理装置１２は、入出力部２４と、記憶部（メモリ）２５と、制御部（プロセッサ）２６とを備える。

入出力部２４は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースである。

記憶部２５は、画像処理装置１２の動作に必要な種々の情報およびプログラムを記憶する。

制御部２６は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。

制御部２６は、周期的に、例えば３０ｆｐｓでフロントカメラ１１ａおよびリアカメラ１１ｂから撮像画像をそれぞれ取得する。以下、説明の簡便のため、フロントカメラ１１ａを用いる例についてのみ説明する。リアカメラ１１ｂを用いる例は、フロントカメラ１１ａを用いる例と同様であるため説明を省略する。

制御部２６は、取得された撮像画像の輝度情報および色情報の少なくとも一方に基づいて、撮像画像上の走行路の遠方端に対応する近似線の少なくとも一部を決定する。近似線の少なくとも一部を決定する動作の詳細については後述する。

制御部２６は、決定された近似線の少なくとも一部に対して予め定められる相対位置に基づいて、撮像画像上の画像処理領域を決定する。画像処理領域を決定する動作の詳細については後述する。

また、制御部２６は、画像処理領域に関する情報を、ネットワーク１５を介して出力する。画像処理領域に関する情報は、例えば、撮像画像上の後述する画像処理領域の位置、大きさ、および形状を示す情報を含む。

表示装置１３は、例えばＬＣＤ（Liquid Crystal Display）を含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、フロントカメラ１１ａによって通常の画像処理が施された撮像画像と、当該撮像画像に対応する画像処理領域に関する情報とを、ネットワーク１５を介して取得する。あるいは、表示装置１３は、フロントカメラ１１ａによって画像処理領域を切り出され通常の画像処理が施された撮像画像を、ネットワーク１５を介して取得する。そして、表示装置１３は、撮像画像の画像処理領域を表示する。また、表示装置１３は、例えばタッチパネルである。また、表示装置は、ユーザ操作を受け付けるインターフェースとして機能してもよい。

被写体認識装置１４は、フロントカメラ１１ａによって通常の画像処理が施された撮像画像と、当該撮像画像に対応する画像処理領域に関する情報とを、ネットワーク１５を介して取得する。あるいは、被写体認識装置１４は、フロントカメラ１１ａによって画像処理領域を切り出され通常の画像処理が施された撮像画像を、ネットワーク１５を介して取得する。そして、被写体認識装置１４は、撮像画像上の画像処理領域において被写体認識処理を行う。被写体の認識は、例えばパターン認識など、一般的な物体認識技術を用いて行われる。被写体認識装置１４は、障害物など所定の被写体を検出すると、当該被写体の存在を運転者に通知する。通知は、例えば表示装置１３に障害物の存在を示す表示をさせ、または警告音を発生するなど、任意の方法によって行われる。

（近似線の少なくとも一部を決定する動作）
次に、制御部２６が近似線の少なくとも一部を決定する動作の詳細について説明する。図３（ａ）は、車両１６から遠方に延びる水平な走行路１７を撮像したフロントカメラ１１ａの撮像画像の例を示す。当該撮像画像は、走行路１７を含む第１領域２７と、上空１８を含む第２領域２８とを有する。

制御部２６は、撮像画像の輝度信号または色信号の閾値を所定値に定めて２値化処理を行う。図３（ｂ）は、図３（ａ）に示す撮像画像に２値化処理を施した例を示す。一般に、第２領域２８の輝度情報に基づく輝度信号強度および色情報に基づく色信号強度は、第２領域２８が上空１８を含むため、第１領域２７の輝度信号強度および色信号強度よりも大きい値となる。制御部２６は、第１領域２７における輝度信号強度および色信号強度よりも大きい値であって第２領域２８における輝度信号強度および色信号強度よりも小さい値を閾値に定めて２値化処理を行う。２値化処理が施された撮像画像は、図３（ｂ）に示すように、第１領域２７と第２領域２８との境界２９を有する。したがって、制御部２６は、第１領域２７と第２領域２８との境界２９に対応する近似線３０を決定可能である。また、２値化処理を施した撮像画像上において境界２９に対応する直線または曲線が明確でない場合には、制御部２６は、２値化処理後の撮像画像に対して、例えば最小二乗法による曲線あてはめによって近似線３０を決定してもよい。

上述したように、車両１６から遠方に延びる水平な走行路１７を撮像した場合には、図３（ｃ）に示すように、走行路１７の遠方端３１は、撮像画像の左右方向中央の付近に位置する。好適には、制御部２６は、撮像画像の左右方向の中央付近においてのみ、第１領域２７と第２領域２８との境界２９に対応する近似線３０を決定する。換言すると、制御部２６は、走行路１７の遠方端３１に対応する近似線３０の少なくとも一部を決定する。ここで、近似線３０の少なくとも一部は、近似線３０の一部である線要素であってもよく、近似線３０上の２点であってもよい。

また、制御部２６は、撮像画像上の走行路１７の形状に基づいて、走行路１７の遠方端３１に対応する近似線３０の少なくとも一部を決定してもよい。例えば、制御部２６は、撮像画像に対する輪郭検出処理またはパターンマッチングなどの画像処理を用いて走行路１７の形状を決定する。そして、制御部２６は、決定された形状から走行路１７の遠方端３１を識別し、遠方端３１に対応する近似線３０の少なくとも一部を決定する。以下、説明の簡便のため、近似線３０の少なくとも一部を、近似線３０ともいう。

（画像処理領域を決定する動作）
次に、制御部２６が画像処理領域３２を決定する動作の詳細について説明する。図４（ａ）は、車両１６から遠方に延びる水平な走行路１７を撮像したフロントカメラ１１ａの撮像画像の例を示す。制御部２６は、例えば車両１６を始動させた際に、図４（ａ）に示す撮像画像上の所定位置に所定の大きさおよび所定の形状の画像処理領域３２ａを定める。続いて、制御部２６は、近似線３０ａに対する画像処理領域３２ａの相対位置を示す情報を初期値として記憶部２５に記憶させる。

次に、車両１６の走行によって、上り傾斜を有する走行路１７の手前まで車両１６が移動した場合について説明する。かかる場合には、図４（ｂ）に示すように、近似線３０ｂは、水平な走行路１７を撮像した撮像画像上の近似線３０ａ（図４（ａ）参照）と比較して、撮像画像内の上方に位置する。制御部２６は、撮像画像上の画像処理領域３２ｂを、近似線３０ｂの少なくとも一部に対して予め定められる相対位置、本実施形態では初期値に基づいて決定する。例えば、制御部２６は、近似線３０ｂに対する画像処理領域３２ｂの相対位置が、初期値として記憶された相対位置と略一致するように、図４（ｂ）に示す撮像画像上に画像処理領域３２ｂを決定する。このようにして、水平な走行路１７を撮像したときと、上り傾斜を有する走行路１７を撮像したときとの間で、画像処理領域３２ａ、３２ｂに対する走行路１７の大きさおよび位置関係が維持される。

次に、車両１６の走行によって、下り傾斜を有する走行路１７の手前まで車両１６が移動した場合について説明する。かかる場合には、図４（ｃ）に示すように、近似線３０ｃは、水平な走行路１７を撮像した撮像画像上の近似線３０ａ（図４（ａ）参照）と比較して、撮像画像内の下方に位置する。制御部２６は、撮像画像上の画像処理領域３２ｃを、近似線３０ｃの少なくとも一部に対して予め定められる相対位置、本実施形態では初期値に基づいて決定する。例えば、制御部２６は、近似線３０ｃに対する画像処理領域３２ｃの相対位置が、初期値として記憶された相対位置と略一致するように、図４（ｃ）に示す撮像画像上に画像処理領域３２ｃを決定する。このようにして、水平な走行路１７を撮像したときと、下り傾斜を有する走行路１７を撮像したときとの間で、画像処理領域３２ａ、３２ｃに対する走行路１７の大きさおよび位置関係が維持される。

次に、本実施形態に係る画像処理システム１０の動作について、図５を用いて説明する。本動作は、例えば運転者が車両１６を始動させたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。また、以下の動作は、フロントカメラ１１ａが撮像画像を生成する各フレームについて実行される。リアカメラ１１ｂについて実行される動作は、フロントカメラ１１ａと同様であるため、説明は省略する。

はじめに、フロントカメラ１１ａは、車両１６から遠方に延びる走行路１７を撮像して撮像画像を生成する（ステップＳ１００）。

次に、画像処理装置１２の制御部２６は、ステップＳ１００において生成された撮像画像を取得する（ステップＳ１０１）。

続いて、制御部２６は、ステップＳ１０１において取得された撮像画像の輝度情報および色情報の少なくとも一方に基づいて、撮像画像上の走行路１７の遠方端３１に対応する近似線３０の少なくとも一部を決定する（ステップＳ１０２）。

続いて、制御部２６は、ステップＳ１０１において取得された撮像画像上の画像処理領域３２を、近似線３０の少なくとも一部に対して予め定められる相対位置、本実施形態では初期値に基づいて決定する（ステップＳ１０３）。

そして、制御部２６は、画像処理領域に関する情報を、ネットワーク１５を介して出力する（ステップＳ１０４）。

このように、第１の実施形態に係る画像処理システム１０の画像処理装置１２は、撮像画像上の画像処理領域３２を、近似線３０の少なくとも一部に対して予め定められる相対位置に基づいて、動的に決定可能である。このため、例えば傾斜を有する走行路１７の手前まで車両１６が移動した場合であっても、画像処理領域３２に対する走行路１７の大きさおよび位置関係が維持される。換言すると、走行路１７の大きさおよび位置関係が維持されるように、画像処理領域３２の位置、大きさ、および形状が決定される。

また、本実施形態において、画像処理領域３２は、例えば切り出し処理、被写体認識処理、ＡＥおよびＡＷＢなどの所定の画像処理に用いられる領域として決定される。上述のようにして決定された画像処理領域３２は、以下に説明するように種々の画像処理を行うための領域として好適である。

例えば、表示装置１３は、撮像画像の画像処理領域３２を表示する。上述したように、例えば傾斜を有する走行路１７の手前まで車両１６が移動した場合であっても、表示画像上に含まれる走行路１７の位置および大きさが維持されるため、走行路１７の傾斜に拠らず表示画像の視認性が維持される。

また例えば、被写体認識装置１４は、撮像画像の画像処理領域３２において被写体認識処理を行う。一般に、被写体認識処理において、処理負担および認識精度の観点から、画像上の背景（例えば、走行路１７の位置および大きさ、および第１領域２７と第２領域２８との割合など）は、複数フレームの撮像画像において略同一であることが好ましい。上述したように、例えば傾斜を有する走行路１７の手前まで車両１６が移動した場合であっても、撮像画像の画像処理領域３２に含まれる走行路１７の位置および大きさが維持されるため、画像処理領域３２は、被写体認識処理を行う領域として好適である。

また例えば、フロントカメラ１１ａは、撮像画像の画像処理領域３２の輝度情報または色情報に基づいてＡＥおよびＡＷＢなどの画像処理を行う。一般に、撮像範囲の大部分を走行路１７が占める場合には、ＡＥおよびＡＷＢを行うと撮像画像上の上空１８が白飛びする。反対に、撮像範囲の大部分を上空１８が占める場合には、ＡＥおよびＡＷＢを行うと撮像画像上の走行路１７が黒つぶれする。上述したように、例えば傾斜を有する走行路１７の手前まで車両１６が移動した場合であっても、撮像画像の画像処理領域３２に含まれる走行路１７の位置および大きさが維持される。このため、撮像画像の白飛びおよび黒つぶれの発生が低減される。また、傾斜を有する走行路１７の手前まで車両１６が移動する前後における、撮像画像の明るさおよびホワイトバランスの変動が低減される。

また、本実施形態において、画像処理装置１２は、撮像画像の輝度情報または色情報に基づく２値化処理を用いて、近似線３０の少なくとも一部を決定する。上述したように、第２領域２８の輝度情報に基づく輝度信号強度および色情報に基づく色信号強度は、第２領域２８が上空１８を含むため、第１領域２７の輝度信号強度および色信号強度よりも大きい。このため、２値化処理を用いて近似線３０を決定可能であり、例えば輪郭検出処理などの他の処理と比較して処理負担が軽減される。

（第１の実施形態の変形例）
次に、本発明の第１の実施形態の変形例について説明する。変形例に係る画像処理システム１０の構成は、第１の実施形態と同様である（図１参照）。概略として、変形例に係る画像処理システム１０は、制御部２６の動作および記憶部２５に記憶される情報が第１の実施形態と異なる。

変形例に係る記憶部２５は、画像処理領域３２と撮像画像上の走行路１７との基準の相対位置を示す基準情報を記憶する。基準の相対位置は、画像処理領域３２を用いて行う画像処理の内容に応じて予め定められる。例えば、基準情報は、補助領域３３の形状および大きさ、補助線３４ａの長さ、ならびに補助領域３３と補助線３４ａとの位置関係を示す情報である。後述するように、補助領域３３は、画像処理領域３２に対応する。また、補助線３４ａは、走行路１７の遠方端３１に対応する近似線３０に対応する。基準情報は、補助領域３３および補助線３４ａを含む画像データ（図６（ａ）参照）であってもよい。あるいは、基準情報は、補助領域３３の形状および大きさ、ならびに補助領域３３と補助線３４ｂとの位置関係を示す情報である。後述するように、補助線３４ｂは、第１領域２７と第２領域２８との境界２９に対応する近似線３０に対応する。基準情報は、補助領域３３および補助線３４ｂを含む画像データ（図６（ｂ）参照）であってもよい。

変形例に係る制御部２６は、取得された撮像画像上の画像処理領域３２を、記憶部２５に記憶された基準情報に基づいて決定する。例えば、図６（ａ）に示す基準情報を用いる場合には、制御部２６は、例えば図７（ａ）に示すように、撮像画像において近似線３０を補助線３４ａとみなした補助領域３３を、画像処理領域３２に定める。あるいは、図６（ｂ）に示す基準情報を用いる場合には、制御部２６は、例えば図７（ｂ）に示すように、撮像画像において近似線３０を補助線３４ｂとみなした補助領域３３を、画像処理領域３２に定める。

このように、変形例に係る画像処理システム１０の画像処理装置１２は、撮像画像上の画像処理領域３２を、記憶部２５に記憶された基準情報に基づいて決定する。このため、例えば車両１６の始動時に車両１６が傾斜を有する走行路１７の手前に位置するか否かに関わらず、画像処理領域３２と撮像画像上の走行路１７との基準の相対位置が維持される。したがって、車両１６の始動時における周辺状況に拠らず、撮像画像上において好適な画像処理領域３２が決定される。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る画像処理システム１０の構成は、第１の実施形態と同様である（図１参照）。概略として、第２の実施形態に係る画像処理システム１０の画像処理装置１２は、撮像画像に対して回転処理を施す点が第１の実施形態と相違する。

以下、例えば車両１６の右側に偏って積載された貨物などの重量によって、車両１６が右側に傾いている場合について説明する。図８（ａ）は、かかる場合におけるフロントカメラ１１ａの撮像画像の例を示す。走行路１７および上空１８などの被写体は、撮像画像上において傾斜する。説明のため、図面においては被写体を大きく傾斜させて示している。図８（ｂ）は、図８（ａ）に示す撮像画像を用いて制御部２６によって決定された近似線３０の例を示す。

制御部２６は、撮像画像に対して定まる所定方向の軸からの近似線３０の傾きに基づいて、撮像画像の回転処理に用いる補正情報を生成する。例えば、制御部２６は、撮像画像に対して定まる左右方向の軸（ｘ軸）からの近似線３０の傾きを略ゼロにするように、すなわち、近似線３０が撮像画像に対して左右方向に平行となるように、撮像画像の回転処理に用いる回転角度を補正情報として生成する。制御部２６は、生成された補正情報を用いて、撮像画像に対して回転処理を施す。図９（ａ）は、回転処理が施された撮像画像の例を示す。図９（ａ）に示すように、撮像画像に対する回転処理によって、近似線３０は撮像画像に対して左右方向に平行である。

制御部２６は、回転処理が施された撮像画像を用いて、第１の実施形態と同様に、撮像画像上の画像処理領域３２を決定する。図９（ｂ）は、決定された画像処理領域３２の例を示す。図９（ｂ）に示すように、近似線３０に対する画像処理領域３２の相対位置は、第１の実施形態と同様である。

制御部２６は、第１の実施形態と同様に、画像処理領域に関する情報を、ネットワーク１５を介して出力する。本実施形態において、画像処理領域に関する情報は、例えば、補正情報、ならびに、画像処理領域３２の位置、大きさ、および形状を示す情報を含む。

次に、本実施形態に係る画像処理システム１０の動作について、図１０を用いて説明する。本動作は、例えば運転者が車両１６を始動させたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。また、以下の動作は、フロントカメラ１１ａが生成する撮像画像の各フレームについて実行される。リアカメラ１１ｂについて実行される動作は、フロントカメラ１１ａと同様であるため、説明は省略する。

ステップＳ２００乃至ステップＳ２０２では、第１の実施形態におけるステップＳ１００乃至ステップＳ１０２（図５参照）と同様の処理が行われる。

次に、画像処理装置１２の制御部２６は、Ｓ２０２（図１０参照）において決定された近似線３０の傾きに基づいて、撮像画像の回転処理に用いる補正情報を生成する（ステップＳ２０３）。

続いて、制御部２６は、ステップＳ２０３において生成された補正情報を用いて、撮像画像に対して回転処理を施す（ステップＳ２０４）。

続いて、制御部２６は、ステップＳ２０４において回転処理が施された撮像画像上の画像処理領域３２を、ステップＳ２０２において決定された近似線３０の少なくとも一部に対して予め定められる相対位置、本実施形態では初期値に基づいて決定する（ステップＳ２０５）。

そして、制御部２６は、画像処理領域３２に関する情報を、ネットワーク１５を介して出力する（ステップＳ２０６）。

このように、第２の実施形態に係る画像処理システム１０の画像処理装置１２は、近似線３０の傾きに基づいて、撮像画像の回転処理に用いる補正情報を生成する。補正情報によって、撮像画像上の被写体の傾きが補正可能となる。このため、例えば車両１６が左右片側に傾いている場合であっても、撮像画像上において好適な画像処理領域３２を決定可能となる。

本発明の上述した実施形態に係る画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法によれば、車両の周辺領域を撮像した撮像画像上の画像処理領域を動的に決定可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、画像処理装置１２が、表示装置１３および被写体認識装置１４の機能および構成要素を備えてもよい。また、撮像装置１１ａ、１１ｂが、画像処理装置１２の機能および構成要素を備えてもよい。

また、画像処理装置１２の制御部２６は、撮像画像または回転処理が施された撮像画像に対して画像処理領域３２の切り出し処理を施し、切り出された撮像画像を画像処理領域に関する情報としてフロントカメラ１１ａまたはリアカメラ１１ｂに出力してもよい。かかる場合には、フロントカメラ１１ａまたはリアカメラ１１ｂは、画像処理装置１２から取得した撮像画像に対して、ＡＥおよびＡＷＢなどの通常の画像処理を施す。

また、上述の実施形態に係る画像処理システム１０の構成要素の一部は、車両１６の外部に設けられてもよい。例えば、画像処理装置１２などは、携帯電話または外部サーバ等の通信機器として実現され、画像処理システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 画像処理システム
１１ａ フロントカメラ
１１ｂ リアカメラ
１２ 画像処理装置
１３ 表示装置
１４ 被写体認識装置
１５ ネットワーク
１６ 車両
１７ 走行路
１８ 上空
１９ａ、１９ｂ 光学系
２０ａ、２０ｂ 撮像素子
２１ａ、２１ｂ 画像処理部
２２ａ、２２ｂ 入出力部
２３ａ、２３ｂ カメラ制御部
２４ 入出力部
２５ 記憶部
２６ 制御部
２７ 第１領域
２８ 第２領域
３９ 境界
３０、３０ａ、３０ｂ、３０ｃ 近似線
３１ 遠方端
３２、３２ａ、３２ｂ、３２ｃ 画像処理領域
３３ 補助領域
３４ａ、３４ｂ 補助線

Claims (9)

1. 車両に設けられる画像処理装置であって、
   走行路を撮像した撮像画像上の画像処理領域を決定するプロセッサを備え、
   前記プロセッサは、
   前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理と、
   前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記画像処理領域を決定する処理と、
   を実行する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   決定された前記画像処理領域は、所定の画像処理に用いられる領域として決定される、画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記プロセッサは、前記撮像画像の輝度情報または色情報に基づく２値化処理を用いて、前記近似線の前記少なくとも一部を決定する、画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   画像処理領域と撮像画像上の走行路との基準の相対位置を示す基準情報を記憶するメモリをさらに備え、
   前記プロセッサは、前記基準情報に基づいて、前記撮像画像上の画像処理領域を決定する、画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記プロセッサは、前記近似線の傾きに基づいて、前記撮像画像の回転処理に用いる補正情報を生成する処理をさらに実行する、画像処理装置。
6. 走行路を撮像して撮像画像を生成する撮像装置と、
   前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理、および前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記撮像画像上の画像処理領域を決定する処理を実行するプロセッサを有する画像処理装置と
   を備える、画像処理システム。
7. 走行路を撮像して撮像画像を生成する撮像装置と、前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理、および前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記撮像画像上の画像処理領域を決定する処理を実行するプロセッサを有する画像処理装置とを含む画像処理システムを備える、車両。
8. 車両に設けられる撮像装置であって、
   走行路を撮像して撮像画像を生成する撮像素子と、
   前記撮像画像上の画像処理領域を決定するプロセッサと、を備え、
   前記プロセッサは、
   前記撮像画像の輝度情報および色情報の少なくとも一方に基づいて、前記撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定する処理と、
   前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記画像処理領域を決定する処理と、
   を実行する撮像装置。
9. 走行路を撮像した撮像画像の輝度情報および色情報の少なくとも一方に基づいて、該撮像画像上の前記走行路の遠方端に対応する近似線の少なくとも一部を決定するステップと、
   前記近似線の少なくとも一部に対して予め定められる相対位置に基づいて、前記撮像画像上の画像処理領域を決定するステップと
   を含む、画像処理方法。

Images