JP6161582B2 - 画像処理装置 - Google Patents

Description

本発明は、１つの撮像デバイスを複数のアプリケーションで共有する画像処理装置に関する。

従来、このような分野の技術として、例えば特許文献１に記載されたものがある。この文献に記載の画像処理装置は、画像を取得する撮像デバイスと、複数のアプリケーションから撮像デバイスを制御するコントロール部と、複数のアプリケーションが１つの撮像デバイスから時間的に重なることなく画像データの取り込みのタイミングを決定する画像取り込みスケジューリング部とを備える。上述の構成を有する画像処理装置によれば、カメラパラメータを動的に変化させる複数のアプリケーションで１つの撮像デバイスを信頼性高く共有することができる。

特開２００８−２７８５１５号公報

しかしながら、上記した画像処理装置では、１つの撮像デバイスを共有するには、複数のアプリケーションで共通の機能を使用することが必要とされている。例えば、レーン逸脱警報とレーン維持走行支援とのようにレーン認識機能を共通して使用するアプリケーションの間でだけ、撮像デバイスで撮像した画像を共有することが可能である。このため、１つの撮像デバイスを複数のアプリケーションで共有できる状況が限られていた。

本発明は、上記の点に鑑みてなされたものであり、１つの撮像デバイスを複数のアプリケーションで共有する状況を拡大できる画像処理装置を提供することを目的とする。

上記課題を解決する本発明の画像処理装置は、撮像デバイスで撮像した画像に基づいて複数のアプリケーションが実行される画像処理装置であって、各アプリケーションの実行に必要な画像に関する撮像パラメータの範囲をそれぞれ取得するパラメータ範囲取得手段と、前記パラメータ範囲取得手段で取得した各撮像パラメータの範囲に基づいて、前記撮像デバイスで撮像した画像を複数のアプリケーションで共有するための共有撮像パラメータを決定するパラメータ決定手段と、前記パラメータ決定手段で決定した共有撮像パラメータに基づいて、前記撮像デバイスの撮像を制御する制御手段と、を備えることを特徴とする。

本発明に係る画像処理装置によれば、各撮像パラメータの範囲に基づき撮像デバイスで撮像した画像を共有するための共有撮像パラメータが決定されるので、例えば各撮像パラメータの共通する部分又は類似する部分があった場合に、撮像デバイスにより撮像される画像を複数のアプリケーションで共有することが可能になる。したがって、従来のように共通の機能を使用する場合のみに共有できる態様と比べて、画像を共有できる態様を広げることができる。その結果、１つの撮像デバイスを複数のアプリケーションで共有する状況を拡大することができる。

第１実施形態に係る画像処理装置の全体構成を示すブロック図。 第１実施形態に係る画像処理装置の処理手順を示すフローチャート。 撮像条件定義の例を示す図。 要求性能定義の例を示す図。 アプリＡの撮像パラメータ定義の例を示す図。 アプリＢの撮像パラメータ定義の例を示す図。 アプリＡ及びアプリＢの撮像パラメータ定義の例を示す図。 アプリＡ及びアプリＢで画像を共有する場合の撮像時間の例を示す図。 第２実施形態に係る画像処理装置の処理手順を示すフローチャート。 （ａ）アプリＡ及びアプリＢで画像を共有する場合の撮像時間の例を示す図、（ｂ）アプリＡ及びアプリＢの実行に必要な画像を個別に撮像する場合の撮像時間の例を示す図。 （ａ）第３実施形態に係るアプリＡ及びアプリＢで画像を共有する場合の撮像時間の例を示す図、（ｂ）第３実施形態に係るアプリＡ及びアプリＢの実行に必要な画像を個別に撮像する場合の撮像時間の例を示す図、（ｃ）第３実施形態に係るアプリＡ及びアプリＢの実行に必要な画像を個別に撮像する場合の撮像時間の他の例を示す図。

以下、図面を参照して本発明に係る画像処理装置の実施形態について説明する。なお、図面の説明において同一の要素には同一符号を付し、重複する説明を省略する。

＜第１実施形態＞
図１は第１実施形態に係る画像処理装置の全体構成を示すブロック図である。画像処理装置１は、車両に搭載され、ステレオカメラ８で撮像した画像を処理してＮ個のアプリケーション１１〜１Ｎを実行することにより、車の安全運転を実現する装置である。なお、本実施形態に係る撮像とは、画像の取り込みを意味している。図１に示すように、画像処理装置１は、メモリ２、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェース部３、パラメータ範囲取得部５、パラメータ決定部６、及びカメラ制御部７を備えている。

メモリ２は、画像処理装置１の動作に関する情報を格納するものである。本実施形態において、メモリ２には自車状況２１、外界状況２２及びアプリケーション情報２３が格納されている。自車状況２１および外界状況２２は、車両の現在の走行状態に係る様々な状況であり、アプリケーション１１〜１Ｎの処理結果または車内の他のシステムから得られるデータが含まれている。

自車状況２１としては、例えば、自車の走行速度、加速度、ハンドル操作、ギア操作、ペダル操作の状況が挙げられる。外界状況２２としては、例えば、先行車及び対向車の位置、自車周辺の歩行者の位置、周囲の明るさ、天候、道路状況等が挙げられる。アプリケーション情報２３は、各アプリケーションの実行に必要な情報を含んでおり、例えば、撮像条件定義、要求性能定義、及び撮像パラメータ定義等から構成されている。

ＣＡＮインタフェース部３は、メモリ２に接続され、互いにデータ転送が可能に構成されている。また、ＣＡＮインタフェース部３は、ＣＡＮバス４を介して、車内の他のシステムとのやりとりを行うことが可能である。例えば、自車にハンドル操作があった場合、そのハンドル操作に関する情報がＣＡＮバス４とＣＡＮインタフェース部３とを経由してメモリ２に入力され、自車状況２１に格納される。

パラメータ範囲取得部５は、メモリ２に接続され、メモリ２に格納された各情報を参照し、各アプリケーションの実行に必要な画像に関する撮像パラメータの範囲を取得する。
撮像パラメータは、ステレオカメラ８の撮像に関わる各設定値であり、例えば、撮像時間、露光時間、解像度、ホワイトバランス（色調）、画像サイズ、ゲイン等が挙げられる。パラメータ決定部６は、メモリ２及びパラメータ範囲取得部５にそれぞれ接続されている。このパラメータ決定部６は、メモリ２に格納されたアプリケーション情報を参照し、各アプリケーションに求められた撮像パラメータの範囲等に基づいて、ステレオカメラ８で撮像した画像を複数のアプリケーションで共有するための共有撮像パラメータを決定する。

ここで、共有撮像パラメータを決定するとは、共有する撮像パラメータの具体名称のみならず、そのパラメータの値または範囲も決定することを意味している。例えば、共有する撮像パラメータが露光時間であった場合に、パラメータ決定部６は、露光時間を共有撮像パラメータとして決定するとともに、その具体値（例えば、３０ｍｓ）も決定する。したがって、パラメータ範囲取得部５で決定した共有撮像パラメータには、パラメータの具体名称のほか、その値または範囲も含まれている。そして、パラメータ決定部６は、その決定した共有撮像パラメータをカメラ制御部７に送信する。

カメラ制御部７は、パラメータ決定部６に接続され、パラメータ決定部６より送信された共有撮像パラメータに基づき、ステレオカメラ８に制御信号を送り、ステレオカメラ８の撮像を制御する。ステレオカメラ８に関する制御信号として、例えば露光、ゲイン、色情報等の制御に関するものが挙げられる。また、カメラ制御部７は、アプリケーション１１〜１Ｎとそれぞれ接続され、ステレオカメラ８で撮像した画像を各アプリケーションに送信する。

アプリケーション１１〜１Ｎは、カメラ制御部７を介してステレオカメラ８で撮像した画像を取得し、その画像に基づいてそれぞれのプログラムに従い実行される。アプリケーション例としては、例えば車両・歩行者認識、標識認識、配光制御、レーン逸脱警報、割り込み車両警報、追い越し車両警報、レーン維持走行支援等が挙げられる。

ステレオカメラ８は、車両の前方の様子を撮像している。ステレオカメラ８は、所定の間隔を開けて取り付けられた左カメラ８１と右カメラ８２とを有する。これらのカメラ８１，８２は、それぞれカメラ制御部７に接続され、カメラ制御部７からの制御信号を受信しその制御指令に従って撮像を行い、更に撮像したデータをカメラ制御部７に送信する。なお、カメラ８１，８２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子から構成されている。

以下、図２を参照して画像処理装置１の処理手順を説明する。図２は、第１実施形態に係る画像処理装置の処理手順を示すフローチャートである。本実施形態に係る画像処理装置１は、通常では、設定された撮像スケジュール（すなわち、ステレオカメラ８からの画像取り込み順序）に基づいて周期的に撮像を行っているが、所定のタイミングで撮像スケジュールの再設定を行うことが可能にされている。例えば、アプリケーションの起動時、アプリケーションの停止時、自車又は外界の状況に変化があったとき、あるいは所定の時間が経過したときに、撮像スケジュールの再設定が行われる。そして、撮像スケジュールの再設定は、例えば撮像順番の入れ替えや、撮像時間の変更等が考えられる。

まず、ステップＳ１１において、パラメータ範囲取得部５は、自車状況２１、外界状況２２及びアプリケーション情報２３内の要求性能定義を参照して、実行中のアプリケーションの要求性能を求める。例えば、車両・歩行者認識、標識認識及び配光制御のアプリケーションが実行されている場合、パラメータ範囲取得部５は、まず、メモリ２に格納された自車状況２１、外界状況２２及びこれらのアプリケーション情報２３内の要求性能定義に関する情報を取得する。次に、パラメータ範囲取得部５は、その取得した情報を基にこれらのアプリケーションの要求性能をそれぞれ求める。なお、各アプリケーションの要求性能は、自車状況２１及び外界状況２２によって常に変化するものである。

図３は撮像条件定義の例を示す図である。図３に示すように、車両・歩行者認識、標識認識及び配光制御のアプリケーションの場合、撮像条件として画像種別と撮像頻度が挙げられている。具体的には、車両・歩行者認識アプリケーションの場合、視差情報が必要であるため、ステレオ画像が要求される。一方、標識認識アプリケーション及び配光制御アプリケーションの場合、単眼画像であれば足りる。そして、３つのアプリケーションの撮像頻度はともに５０ｍｓ毎である。なお、撮像条件は上述した画像種別と撮像頻度のほか、例えば、画質や露光時間（シャッタスピード）等も挙げられる。

図４は要求性能定義の例を示す図である。図４に示すように、車両・歩行者認識、標識認識及び配光制御のアプリケーションの要求性能は、ともに検知距離であり、自車速度が５０ｋｍ／ｈ未満であるか否かによって分かれている。自車速度が５０ｋｍ／ｈ未満の場合、車両・歩行者認識アプリケーション及び標識認識アプリケーションの要求性能は検知距離５０ｍ以上、配光制御アプリアプリケーションの要求性能は検知距離１００ｍ以上である。一方、自車速度が５０ｋｍ／ｈ以上の場合、これらのアプリケーションの要求性能は、ともに検知距離１００ｍ以上である。

ここでは、自車速度が５０ｋｍ／ｈ以上の例を挙げて説明する。この場合、パラメータ範囲取得部５は、自車状況２１より自車速度に関する情報を取得し、その取得した情報を基に図４に示す車両・歩行者認識、標識認識及び配光制御のアプリケーションの要求性能を参照し、これらのアプリケーションの要求性能（すなわち、検知距離１００ｍ以上であること）を求める。

ステップＳ１２において、パラメータ範囲取得部５は、ステップＳ１１で求めた各アプリケーションの要求性能に基づき、各アプリケーションに求められた撮像パラメータの範囲を取得する。例えば、標識認識アプリケーション（以下、アプリＡと称する）と配光制御アプリケーション（以下、アプリＢと称する）の場合、パラメータ範囲取得部５は、これらのアプリケーションの要求性能を満たすことを前提に、アプリケーション情報２３内の撮像パラメータ定義を参照して、各アプリケーションの実行に必要な画像に関する撮像パラメータの範囲を取得する。

図５はアプリＡの撮像パラメータ定義の例を示す図であり、図６はアプリＢの撮像パラメータ定義の例を示す図である。アプリＡ及びアプリＢの要求性能がともに検知距離１００ｍ以上であったため、図５の場合、その条件を満たすアプリＡの撮像パラメータ（ここでは露光時間）の範囲は１０〜４０ｍｓである。一方、図６の場合、その条件を満たすアプリＢの撮像パラメータ（ここでは露光時間）の範囲は２０〜５０ｍｓである。

ステップＳ１３において、パラメータ範囲取得部５は、ステップＳ１２で求めた各アプリケーションの撮像パラメータの範囲に基づき、撮像時間の範囲を取得する。撮像時間は、画像サイズ・露光時間・ゲイン等により決定されているが、本実施例では、単純に撮像時間＝露光時間とする。したがって、アプリＡの撮像時間の範囲は１０〜４０ｍｓ、アプリＢの撮像時間の範囲は２０〜５０ｍｓになる。

ステップＳ１４において、パラメータ決定部６は、各アプリケーションの撮像パラメータの範囲のうち、共通範囲があるか否かを判定する。共通範囲があった場合、処理がステップＳ１５へ進む。一方、共通範囲がない場合、処理がステップＳ１６へ進む。図７はアプリＡ及びアプリＢの撮像パラメータ定義の例を示す図である。図７の場合、アプリＡ及びアプリＢの撮像パラメータが撮像時間であり、両者の撮像時間の共通範囲が２０〜４０ｍｓであるため、パラメータ決定部６は、撮像パラメータの範囲に共通範囲があると判定する。

ステップＳ１５において、パラメータ決定部６は、ステレオカメラ８で撮像した画像を複数のアプリケーションで共有するための共有撮像パラメータを決定する。ここでは、撮像パラメータが撮像時間であるので、パラメータ決定部６は、共有撮像時間を決定する。図７に示すように、アプリＡ及びアプリＢの撮像時間の共通範囲２０〜４０ｍｓのうち、撮像時間が３０ｍｓのときに、これらのアプリケーションの性能を高く維持しつつ、アプリＡのグラフとアプリＢのグラフとが交差している。したがって、アプリＡ及びアプリＢの高い性能を確保できる観点から、撮像時間３０ｍｓを共有撮像時間として決定するのが好適である。図８はアプリＡ及びアプリＢで画像を共有する場合の撮像時間の例を示す図である。図８に示すように、アプリＡ及びアプリＢで画像を共有する共有撮像時間が３０ｍｓであり、これらのアプリケーションの撮像周期が５０ｍｓ（すなわち、撮像頻度が５０ｍｓ毎）である。

ステップＳ１６において、カメラ制御部７は、パラメータ決定部６により決定された共有撮像時間に従い、ステレオカメラ８による画像の取り込みを制御する。ここでは、アプリＡ及びアプリＢの実行に必要な画像がともに単眼画像であるため、カメラ制御部７は、例えばステレオカメラ８のうち、左カメラ８１だけを撮像させるように制御する。そして、カメラ制御部７は、左カメラ８１により撮像された画像をアプリＡ及びアプリＢにそれぞれ送信する。

一方、ステップＳ１４で撮像パラメータの範囲に共通範囲がないと判定した場合、処理がＳ１６に進むが、ここでは、カメラ制御部７は、例えば各アプリケーションの実行に必要な画像の取り込みを通常の個別撮像方式で行うようにステレオカメラ８を制御する。カメラ制御部７は、個別撮像方式で撮像した画像を各アプリにそれぞれ送信する。これによって、一連の処理を終了する。

以上の構成を有する画像処理装置１では、パラメータ範囲取得部５が各アプリケーション１１〜１Ｎの実行に必要な画像に関する撮像パラメータの範囲をそれぞれ取得し、パラメータ決定部６が各撮像パラメータの範囲のうち、共通範囲があったときにステレオカメラ８で撮像した画像を複数のアプリケーション１１〜１Ｎで共有するための共有撮像パラメータ（共有撮像時間）を決定する。したがって、従来のように共通の機能を使用する場合のみに共有できる態様と比べて、画像を共有できる態様を広げることができる。その結果、１つの撮像デバイスを複数のアプリケーションで共有する状況を拡大することができる。また、ステレオカメラ８で撮像した画像を共有できる状況を広げることで、カメラの数を増やさずに、限られた期間内により多くのアプリケーションを実行することができ、画像処理装置のコストを削減する効果を奏する。

＜第２実施形態＞
以下、図９及び図１０を参照して第２実施形態について説明する。本実施形態に係る画像処理装置は、その処理手順において第１実施形態と異なっているが、装置の構成等は第１実施形態と同様であるため、重複する説明を省略する。

本実施形態の特徴的な部分は、パラメータ決定部６が共有撮像時間のほか、各アプリケーションに必要な画像を個別に撮像する個別撮像時間を更に仮決定し、個別撮像時間と共有撮像時間とを比較して最終の撮像時間を決定することである。以下、その特徴的な部分を中心に説明する。図９は、第２実施形態に係る画像処理装置の処理手順を示すフローチャートである。本実施形態において、アプリＡ及びアプリＢが実行されている。

処理Ｓ２１〜Ｓ２３は第１実施形態の処理Ｓ１１〜Ｓ１３と同様である。Ｓ２３に続く処理は、平行に進むステップＳ２４〜Ｓ２５と、ステップＳ２６〜Ｓ２７に分かれている。ステップＳ２４において、パラメータ決定部６は、撮像パラメータの範囲に共通範囲があるか否かを判定する。共通範囲があった場合、処理がステップＳ２５へ進む。一方、共通範囲がない場合、処理がステップＳ２８へ進む。

上述の図７に示すように、アプリＡ及びアプリＢの撮像時間の共通範囲が２０〜４０ｍｓであるため、パラメータ決定部６は、撮像パラメータの範囲に共通範囲があると判定する。ステップＳ２５において、パラメータ決定部６は、ステレオカメラ８で撮像した画像をアプリＡ及びアプリＢで共有するための共有撮像時間を決定する。図１０（ａ）は、アプリＡ及びアプリＢで画像を共有する場合の撮像時間の例を示す図である。図１０（ａ）に示すように、ここでは、パラメータ決定部６は、共有撮像時間をアプリＡ及びアプリＢ双方の性能を高く確保できる撮像時間３０ｍｓと決定した。

一方、ステップＳ２６において、パラメータ決定部６は、アプリＡ及びアプリＢの実行に必要な画像を個別に撮像するときの撮像時間の合計値が所定の撮像周期内であるか否かを判定する。撮像時間の合計値が所定の撮像周期内と判定した場合、処理がステップＳ２７へ進む。撮像時間の合計値が所定の撮像周期内でないと判定した場合、処理がステップＳ２８へ進む。

具体的には、パラメータ決定部６は、まず、ステップＳ２３で取得したアプリＡ及びアプリＢの撮像時間の範囲を参照し、これらのアプリケーションの実行に必要な画像をそれぞれ撮像する場合の最短の撮像時間の合計値を算出する。次に、パラメータ決定部６は、その合計値が所定の撮像周期内であるか否かを判定する。

上記の例において、アプリＡの実行に必要な画像の最短の撮像時間は１０ｍｓ（図５参照）、アプリＢの実行に必要な画像の最短の撮像時間は２０ｍｓ（図６参照）であるので、両者の合計値は３０ｍｓである。そして、所定の撮像周期が５０ｍｓであるため、両者の最短の撮像時間の合計値が所定の撮像周期内になる。したがって、パラメータ決定部６は、撮像時間の合計値が所定の撮像周期内であると判定し、処理がＳ２７に進む。

ステップＳ２７において、パラメータ決定部６は、各アプリケーションに必要な画像を個別に撮像する個別撮像時間を仮決定する。図１０（ｂ）はアプリＡ及びアプリＢの実行に必要な画像を個別に撮像する場合の撮像時間の例を示す図である。単純な構成では、アプリＡの実行に必要な画像の撮像時間をその最短の撮像時間である１０ｍｓ、アプリＢの実行に必要な画像の撮像時間をその最短撮像時間である２０ｍｓとそれぞれ決定すれば良いが、ここでは、パラメータ決定部６は、更に所定の撮像周期（５０ｍｓ）の範囲内でこれらの撮像時間の調整を行い、各アプリケーションの性能を高める。

本実施形態では、パラメータ決定部６は、アプリＡの実行に必要な画像の撮像時間を２０ｍｓ、アプリＢの実行に必要な画像の撮像時間を３０ｍｓとなるように調整した（図１０（ｂ）参照）。このようにすれば、各アプリケーションの性能をより高めることができる。すなわち、アプリＡの場合、最短の撮像時間である１０ｍｓと比べて撮像時間が２０ｍｓのときに、検知距離が更に長くなるので（図５参照）、アプリＡの性能をより良くすることができる。同様に、アプリＢの場合、最短の撮像時間である２０ｍｓと比べて撮像時間が３０ｍｓのときに、検知距離が更に長くなるので、アプリＢの性能もより良くすることが可能になる。

なお、ここでの調整は全てのアプリケーションの撮像時間を対象にしなくてもよく、必要に応じて複数のアプリケーションの一部の撮像時間を調整すればよい。例えば、アプリＡ及びアプリＢのうち、アプリＢの性能を最大化する要求があった場合に、アプリＢの撮像時間を検知距離が最も長いときの露光時間３５ｍｓまで長くする。一方、アプリＡの撮像時間を最短の撮像時間１０ｍｓのままにする。このように必要に応じて撮像時間を調整することができるので、装置に対する様々な要求に対応することが可能にある。

ステップＳ２８において、パラメータ決定部６は、ステップＳ２４〜Ｓ２５とステップＳ２６〜Ｓ２７でそれぞれ決定した撮像時間を比較し、最終の撮像時間を決定する。具体的には、パラメータ決定部６は、共有撮像時間及び個別撮像時間のうち、アプリＡ及びアプリＢの性能をより高める方を選択して最終の撮像時間とする。

一方、両者の間にアプリケーション性能の差異がない場合に、パラメータ決定部６は、例えばカメラ駆動による消費電力が少ない方を選択して最終の撮像時間とする。なお、上述した共有撮像時間及び個別撮像時間のうち、どちらを選択するかは状況によって変化するが、パラメータ決定部６は、そのときの状況に応じて各アプリケーションの性能をより高めていく方を最終の撮像時間として決定すればよい。一方、ステップＳ２４で撮像パラメータ範囲に共通範囲がないと判定した場合、共有撮像時間が決定されないため、パラメータ決定部６は、個別撮像時間を最終の撮像時間として決定する。

ステップＳ２９において、カメラ制御部７は、ステップＳ２８で決定した最終の撮像時間に従い、ステレオカメラ８による画像の取り込みを制御する。ここでは、アプリＡ及びアプリＢの実行に必要な画像がともに単眼画像であるため、カメラ制御部７は、例えばステレオカメラ８のうち、左カメラ８１のみを撮像させるように制御する。そして、カメラ制御部７は、左カメラ８１により撮像された画像をアプリＡ及びアプリＢにそれぞれ送信する。これによって、一連の処理を終了する。

本実施形態に係る画像処理装置は、第１実施形態と同様な作用効果を得られるほか、共有撮影時間と個別撮像時間とを比較して、各アプリケーションの性能をより高める方を選択して最終の撮像時間として決定することで、各アプリケーションの高い性能を実現することができる。

＜第３実施形態＞
以下、図１１を参照して第３実施形態について説明する。本実施形態の特徴的な部分は、単眼画像を必要とするアプリＡ及びアプリＢのほか、ステレオ画像を必要とするアプリＣも実行されることである。以下、その特徴的な部分を中心に説明する。装置の構成及び処理手順等は第２実施形態と同様であるため、重複する説明を省略する。

図１１（ａ）は第３実施形態に係るアプリＡ及びアプリＢで画像を共有する場合の撮像時間の例を示す図であり、（ｂ）は第３実施形態に係るアプリＡ及びアプリＢの実行に必要な画像を個別に撮像する場合の撮像時間の例を示す図であり、（ｃ）は第３実施形態に係るアプリＡ及びアプリＢの実行に必要な画像を個別に撮像する場合の撮像時間の他の例を示す図である。

本実施形態において、標識認識アプリケーション（アプリＡ）、配光制御アプリケーション（アプリＢ）及び車両・歩行者認識アプリケーション（以下、アプリＣと称する）が実行される。図３に示すように、アプリＣの場合、視差情報が必要であるため、ステレオ画像が要求される。一方、アプリＡ及びアプリＢの場合、単眼画像であれば足りる。なお、これらのアプリケーションの撮像周期はともに５０ｍｓである。

アプリＣの実行にはステレオ画像が必要であるため、左カメラ８１及び右カメラ８２で同時に撮像することが必要である。一方、アプリＡ及びアプリＢの実行に必要な画像が単眼画像であるので、左カメラ８１及び右カメラ８２のうち、片方を用いて撮像すれば良い。本実施形態において、３つのアプリケーションのうち、アプリＣの優先順位が最も高い。したがって、アプリＣは優先してステレオカメラ８を使用し、その空き時間にアプリＡとアプリＢとの実行に必要な画像を撮像する。

アプリＡ及びアプリＢに関する撮像時間については、図１１に示す３通りがあると考えられる。まず、図１１（ａ）に示すように、アプリＡ及びアプリＢに関する撮像パラメータの範囲に共通範囲があり、これらのアプリケーションの実行に必要な画像を共有撮像時間で撮像する。この場合の処理は、上述した図９のステップＳ２４〜Ｓ２５でパラメータ決定部６によって行われる。

次に、図１１（ｂ）に示すように、アプリＡ及びアプリＢの実行に必要な画像を個別に撮像するときの撮像時間の合計値が所定の撮像周期内であった場合、左カメラ８１及び右カメラ８２の片方（ここでは、右カメラ８２）を用いて個別撮像時間で画像を撮像する。この場合の処理は、上述した図９のステップＳ２６〜Ｓ２７でパラメータ決定部６によって行われる。

更に、図１１（ｃ）に示すように、アプリＡ及びアプリＢの実行に必要な画像を個別に撮像するときのそれぞれの撮像時間が所定の撮像周期内であった場合、左カメラ８１と右カメラ８２との双方を用いて個別撮像時間で画像を撮像する。本実施形態では、アプリＡの実行に必要な画像を右カメラ８２、アプリＢの実行に必要な画像を左カメラ８１で個別に撮像する。また、図１１（ｃ）において、アプリＡ及びアプリＢの実行に必要な撮像を同時に行う場合を示しているが、これらの撮像は必ずしも同時に行う必要がなく、タイミングをずらして行っても良い。なお、この場合の処理は、上述した図９のステップＳ２６〜Ｓ２７でパラメータ決定部６によって行われる。

続いて、パラメータ決定部６は、上記３通りの撮像時間に基づいて、最終の撮像時間を決定する。ここでは、優先順位のほか、例えば得られるアプリケーションの性能の確保、あるいはカメラ駆動による消費電力の削減等を考慮して最終の撮像時間を決定するのが好適である。例えば、撮像を共有できる観点から、図１１（ａ）に示す撮像時間の方が最も良い。

また、図１１（ａ）及び（ｂ）の場合、左カメラ８１及び右カメラ８２の片方（ここでは、右カメラ８２）を用いてアプリＡ及びアプリＢの実行に必要な画像を撮像するため、もう片方のカメラ(左カメラ８１)が空いたため、別のアプリの実行に必要な画像を撮像することが可能である。したがって、カメラの数を増やさずに、限られた期間内により多くのアプリケーションを実行できるメリットがある。

一方、図１１（ｃ）の場合、カメラを２台使うため、カメラ駆動による消費電力の増加、制御回路の複雑化になるデメリットがある。しかし、アプリＢ（配光制御アプリケーション）の場合に、自車のヘッドライトのハイビーム又はロービームの自動制御を含む配光制御を実現するため、数百メートル離れた先行車のテールライト又は対向車のヘッドライトを検知する必要がある。そのため、他のアプリケーション（ここでは、アプリＡ）よりも長い露光時間での撮像が好ましい。したがって、アプリＢが実行される場合、上記３通りの撮像時間のうち、図１１（ｃ）に示す場合の撮像時間を最終の撮像時間として決定するのが好ましい。このようにすれば、配光制御アプリケーションの性能をより高めることができる。なお、このように３通りの撮像時間のうち、どれが選択するかは状況によって変化するので、そのときの状況に応じて最適となる撮像時間を選択して最終の撮像時間として決定すればよい。

本実施形態に係る画像処理装置は、上述の実施形態と同様な作用効果を得られるほか、各アプリケーションの実行に必要な画像の種別に基づいて、ステレオカメラ８の２つのカメラを効率良く使い分けることができる。また、図１１に示すような複数の撮像時間を選択することが可能であるため、必要に応じて最適となる撮像時間を選び、装置の適用性を高めることができる。

以上、本発明の実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、上述の実施形態では、撮像パラメータとして撮像時間＝露光時間の例を挙げて説明したが、撮像パラメータは露光時間に限定されず、本発明はその他の撮像パラメータにも適用される。撮像パラメータの他の例として、解像度（画像数）も考えられる。この場合、アプリケーションによって最適な解像度が異なる。解像度は高いほど情報量が増え、それを処理するには時間がかかるが、限られた処理能力で所定の時間内に処理結果を出すには、必要且つ十分な解像度を設定する必要がある。

また、撮像パラメータの他の例として、ホワイトバランス（色調）も考えられる。この場合、アプリケーションによって画像中の注目する物体が異なるため、色調の設定が必要となる。例えば、先行車のデールライトを識別するために画像中の赤色を際立たせたり、処理時間を短縮するために画像を白黒（無彩色）にしたりする。

また、第１実施形態において、ステレオカメラ８を用いて説明したが、実行されるアプリケーション（例えば、アプリＡ及びアプリＢ）に必要な画像が単眼画像だけの場合、ステレオカメラ８に代えて通常の単眼カメラを用いても良い。

１ 画像処理装置
２ メモリ
３ ＣＡＮインタフェース部
４ ＣＡＮバス
５ パラメータ範囲取得部
６ パラメータ決定部
７ カメラ制御部
８ ステレオカメラ
１１〜１Ｎ アプリケーション
８１ 左カメラ
８２ 右カメラ

Claims (5)

1. 撮像デバイスで撮像した画像に基づいて複数のアプリケーションが実行される画像処理装置であって、
   各アプリケーションの実行に必要な画像に関する撮像パラメータの範囲をそれぞれ取得するパラメータ範囲取得手段と、
   前記パラメータ範囲取得手段で取得した各撮像パラメータの範囲に基づいて、前記撮像デバイスで撮像した画像を複数のアプリケーションで共有するための共有撮像パラメータを決定するパラメータ決定手段と、
   前記パラメータ決定手段で決定した共有撮像パラメータに基づいて、前記撮像デバイスの撮像を制御する制御手段と、を備え、
   前記パラメータ決定手段は、前記各撮像パラメータの範囲のうち、共通範囲があるか否かを判定し、共通範囲があったときに、その共通範囲を有する複数のアプリケーションでの前記共有撮像パラメータを決定し、
   前記撮像パラメータは、撮像時間であり、
   前記共有撮像パラメータは、前記撮像デバイスで撮像した画像を共有するための共有撮像時間であり、
   前記パラメータ決定手段は、前記共通範囲を有する複数のアプリケーションの実行に必要な画像を個別に撮像するときの撮像時間の合計値が所定の撮像周期内であったときに、これらのアプリケーションの実行に必要な画像を個別に撮像する個別撮像時間を仮決定し、更に、前記個別撮像時間と前記共有撮像時間に基づいて、最終の撮像時間を決定することを特徴とする画像処理装置。
2. 前記パラメータ決定手段は、前記個別撮像時間及び前記共有撮像時間のうち、前記共通範囲を有する複数のアプリケーションの性能をより高める方を前記最終の撮像時間として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像デバイスは、ステレオカメラであり、
   前記共通範囲を有する複数のアプリケーションの実行に必要な画像が単眼画像であった場合に、その単眼画像は前記ステレオカメラの片方又は双方のカメラによって個別に撮像されることを特徴とする請求項２に記載の画像処理装置。
4. 前記パラメータ決定手段は、前記共通範囲を有する複数のアプリケーションの実行に必要な画像を個別に撮像するときの最短の撮像時間の合計値と、前記所定の撮像周期とを比較し、前記最短の撮像時間の合計値が前記所定の撮像周期内であったときに、前記所定の撮像周期内の範囲で個別に撮像するときの各撮像時間のうち、少なくとも一つの撮像時間を調整し、前記個別撮像時間を仮決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像デバイスの配光を制御するアプリケーションが実行される場合に、前記パラメータ決定手段は、前記ステレオカメラの双方を用いて個別に撮像する個別撮像時間を最終の撮像時間として決定することを特徴とする請求項４に記載の画像処理装置。

Images