JP6759460B2 - 画像処理装置 - Google Patents

Description

本発明は、車両に搭載され、周囲の画像を撮像可能な撮像デバイスを制御する画像処理装置に関する。

従来、車両に搭載され、一対の撮像デバイスで車外を撮像した画像を用いて、例えば三角測量により車両から対象物までの距離を算出するといった画像処理装置が知られている。また、この画像処理装置においては、撮像画像を利用して様々な処理を行うことが知られており、例えば、撮像画像に含まれる対象物を認識する処理を行う。また、画像処理装置における、車両から対象物までの距離を算出する処理などは、二つの撮像デバイスで撮像した画像（視差画像）を用いる処理（以下、「ステレオ処理」という）であるが、対象物を認識する処理などの一つの撮像デバイスで撮像した画像を用いて行うことができる処理（以下、「単眼処理」という）もある。

特開２０１１−３０１２３号公報では、第一の撮像部及び第二の撮像部の二つの撮像部を備え、一つの撮像部だけで撮像を行う単眼モードと、二つの撮像部で撮像を行う複眼モードと、を有し、単眼モードから複眼モードに切り替える際に、複眼モードでの撮像部の状態を単眼モードでの撮像部の状態に近づける発明について開示している。

特開２０１１−３０１２３号公報

特開２０１１−３０１２３号公報に記載の発明では、複眼モードでの撮像部の状態を単眼モードでの撮像部の状態に近づけることで、単眼モードから複眼モードに切り替えたときにスムーズに立体画像を得られるようにしようとしているが、単眼モードや複眼モードでの撮像画像を用いたその他の処理については何ら考慮されていないものであった。

例えば、車載用の画像処理装置における処理としては撮像画像の中から道路標識を認識する処理が考えられるが、最近の道路標識は多様化し、例えば、板に塗料で描かれた看板式標識のほか、内側が光る標識も知られている。例えば看板式標識を認識可能な撮像条件で内側が光る標識を撮像した場合、その撮像画像では、内側が光る標識が明るすぎて白とびしてしまい、内側が光る標識の認識が不可能であるという問題が考えられる。一方、内側が光る標識を認識可能な撮像条件を用いた場合、看板式標識や、ステレオ処理で車両からの距離を算出する対象物が黒つぶれしてしまい、それらの認識が不可能であるという問題が考えられる。

また、車載用の画像処理装置では、上記の道路標識以外の対象物（例えば、立体物、車両、歩行者等）を撮像画像から認識する複数の認識アプリケーションが実装及び実行されている。そのため、道路標識の認識アプリケーションの構成に際しては、その処理が他の認識アプリケーションの処理を阻害しないように配慮し、全ての認識アプリケーションと共存可能な処理で構成することが必要である。その際、車速が高い場合でも対応可能なように、処理に要する時間を短くすることも重要となる。

すなわち従来は、特に、車載用の画像処理装置において、ステレオ処理を行うアプリケーションや、単眼処理を行うアプリケーションなどの複数のアプリケーションを、他のアプリケーションから悪影響を受けずに実行可能とすることや、明るさの異なる様々な対象物を認識する処理を、車両の走行に合わせて高速で実行することについて、何ら考慮されていないという問題があった。

本発明の目的は、他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することにある。

本発明は、上記目的を達成するために、次のように構成される。
画像処理装置において、車両の前方を撮像する左右一対の第一の撮像部及び第二の撮像部を有する撮像部と、前記第一の撮像部と前記第二の撮像部とに対して第一の制御量で同じタイミングで露光動作するように露光制御を行う第一の露光制御部と、明るさの異なる三種類の道路標識を認識可能な撮像画像を得るために、前記第一の撮像部と前記第二の撮像部とに対して、それぞれ互いに異なる制御量であり、かつ、前記第一の制御量とも異なる前記第一の制御量に基づいた制御量の露光制御を行う第二の露光制御部と、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える露光制御切り替え部と、を備える。

本発明によれば、他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る画像処理装置１のブロック図。 図１に示した画像処理装置１の第一の撮像部１００や第二の撮像部１０１による撮像画像の種別と撮像のタイミングについて説明する図。 （ａ）は電光式標識の例を正面から見た図、（ｂ）は（ａ）の標識を、短い露光時間で撮像した撮像画像の例を示す図。 図１に示した画像処理装置１による処理のフローチャート。 本発明の実施例２に係る画像処理装置２のブロック図。 本発明の実施例３に係る画像処理装置３のブロック図。 本発明の実施例４に係る画像処理装置４のブロック図。 実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの例を示す図。 実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの図８とは別の例を示す図。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面や以下の説明は、本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

図１は、本発明の実施例１に係る画像処理装置１のブロック図である。

本実施例では、画像処理装置１が、車両（不図示）の前方に取り付けたカメラである第一の撮像部１００及び第二の撮像部１０１を備え、車両の前方の障害物や道路状況の監視を行う装置である場合の例について説明する。車両の前方の障害物としては、車両や歩行者などがあり、道路状況としては信号や道路標識などがある。

画像処理装置１は、それぞれ車両前方を撮像する左右一対の第一の撮像部１００及び第二の撮像部１０１と、第一の撮像部１００や第二の撮像部１０１が撮像する際の露光制御を行う第一の露光制御部１０３及び第二の露光制御部１０４と、第一の露光制御部１０３によって第一の撮像部１００や第二の撮像部１０１の露光制御を行うか第二の露光制御部１０４によって第一の撮像部１００や第二の撮像部１０１の露光制御を行うかを切り替える露光制御切替部１０２と、単眼処理を行う単眼画像処理部１０５と、ステレオ処理を行うステレオ画像処理部１０６と、を備える。なお、画像処理装置１は、外部の他の機器との通信に使用する外部ＩＦ（インターフェース）を備えているが、図示は省略している。

第一の撮像部１００及び第二の撮像部１０１のそれぞれは、不図示のレンズやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ回路などから構成されるカメラモジュールであり、受けた光を電気信号に変換し、出力することができる。なお、第一の撮像部１００及び第二の撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ回路を用いるものであってもよい。第一の撮像部１００と第二の撮像部１０１とで視差画像を撮像可能である。

第一の露光制御部１０３及び第二の露光制御部１０４のそれぞれは、第一の撮像部１００及び第二の撮像部１０１のそれぞれに対して設定すべき露光制御情報を算出する。第一の露光制御部１０３による露光制御情報を設定するか、それとも第二の露光制御部１０４による露光制御情報を設定するかは、露光制御切替部１０２が判断する。この露光制御情報は、第一の撮像部１００や第二の撮像部１０１に対する露光制御の制御量を定める情報である。また、露光制御の制御量として、本実施例では、露光時間（いわばシャッター速度）を用いる。ただし、本発明は、露光制御の制御量として露光時間を用いるものに限られず、露光制御の制御量として、第一の撮像部１００や第二の撮像部１０１からの出力を増幅するゲイン（利得）を用いるものであってもよいし、撮像時の絞り値を用いるものであってもよいし、撮像時のＩＳＯ感度を用いるものであってもよい。また、このほか、第一の撮像部１００や第二の撮像部１０１に入射する光が通過するレンズとして、例えば電流を流すことで色を変化させることができるエレクトロクロミズム素材を用いたレンズを採用し、このレンズの光透過度を露光制御の制御量としてもよい。また、露光制御の制御量は、撮像画像の明るさを調節可能な他の如何なる制御量であってもよい。さらに、露光制御の制御量は、例示した制御量の如何なる組合せであってもよい。

単眼画像処理部１０５は、単眼処理、例えば道路標識の検知、認識や露光制御用の画像処理を行う。

ステレオ画像処理部１０６は、ステレオ処理、例えば３次元座標から立体物や路面形状を推定する処理を行う。本実施例では、ステレオ画像処理部１０６で実行するステレオ処理が、車両の前方の障害物を検出する処理であって、ステレオ画像処理による立体物検出処理である場合について説明する。

ステレオ画像処理部１０６で行うステレオ画像処理では、第一の撮像部１００及び第二の撮像部１０１から得られた画像データを、予め算出した校正パラメータを用いて画像変換し、変換後の画像（撮像画像）から各画像の対応点（第一の撮像部１００による撮像画像と第二の撮像部１０１による撮像画像との対応点）を求めることで、３次元情報を取得することができる。

ここで、各画像の対応点を求める際に、第一の撮像部１００及び第二の撮像部１０１の双方から得られる画像データが同時刻に撮像したものであることが重要である。各画像の対応点のずれ、すなわち視差から距離を算出するため、時刻がずれてしまうと、対応する位置がずれてしまい正しく距離を測定することができない。

そこで、第一の露光制御部１０３は、第一の撮像部１００と第二の撮像部１０１とが同じタイミングで露光動作するように制御する。障害物を検出する際には、この３次元情報を使用して、ステレオ画像処理部１０６では、道路上に対して垂直に面を持つものであって、大きさが車両または歩行者程度のサイズであるものをグループ化することで障害物を検出する。

図２は、図１に示した画像処理装置１の第一の撮像部１００や第二の撮像部１０１による撮像画像の種別と撮像のタイミングについて説明する図であり、横軸は時間軸である。

第一の撮像部１００や第二の撮像部１０１で撮像する道路標識としては、詳しくは後述するような明るさの異なる三種類の道路標識が存在する。このため、画像処理装置１では、単眼画像処理部１０５で実行する道路標識認識処理によって明るさの異なる三種類の道路標識のすべてが撮像画像から認識可能であることが望ましい。なお、本実施例では、撮像画像の中から明るさの異なる三種類の道路標識のそれぞれを認識する場合の処理について説明するが、本発明はこれに限られるものではなく、道路標識以外の対象物を認識する処理であってもよい。

明るさの異なる三種類の道路標識を認識可能な撮像画像を得るためには、第一の撮像部１００や第二の撮像部１０１において露光制御の制御量を異ならせて撮像する必要がある。一方、ステレオ処理に供するためには、第一の撮像部１００による撮像画像と第二の撮像部１０１による撮像画像とが、同じ露光制御の制御量で撮像されたものである必要がある。異なる露光制御の制御量で撮像されたものでは上述の対応点を正しく求めることができないからである。

このため、従来は、ステレオ処理で必要な、同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１により撮像された撮像画像では、道路標識認識処理において明るさの異なる三種類の道路標識の認識ができないし、逆に、道路標識認識処理で必要な、異なる露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１により撮像された撮像画像では、ステレオ処理が正しく動作できず、道路標識認識処理とステレオ処理とが互いに悪影響を与えてしまい、両処理が両立できないという問題があった。

そこで本実施例では、第一の撮像部１００及び第二の撮像部１０１による撮像タイミングの中に、ステレオ処理に供する撮像画像を撮像するタイミングと、道路標識認識処理に供する撮像画像を撮像するタイミングと、を設けた。また本実施例では、ステレオ処理に供する撮像画像を撮像した後、その撮像画像を用いたステレオ処理が完了するまでは、次のステレオ画像に供する撮像画像を撮像する必要がないので、その間に、道路標識認識処理に供する撮像画像を撮像し、ステレオ処理が完了したならば、次のステレオ処理に供する撮像画像を撮像する。このようにすることで、ステレオ処理に悪影響を与えることなく、道路標識認識処理に供する撮像画像を撮像することができる。なお、ステレオ処理に供する撮像画像を撮像した後、ステレオ処理が完了した後であっても、次のステレオ処理を実行するまでに時間の余裕があれば、その間に道路標識認識処理に供する撮像画像を撮像するようにしてもよい。

図２には、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングとを示している。図中、枠内に「立体物」と記載してあるのは、ステレオ処理に供する撮像画像であることを示し、枠内に「標識Ａ」と記載してあるのは、道路標識認識処理に供する撮像画像であって、明るさの異なる三種類の道路標識のうち標識Ａを認識するための撮像画像であることを示し、枠内に「標識Ｂ」と記載してあるのは、道路標識認識処理に供する撮像画像であって、明るさの異なる三種類の道路標識のうち標識Ｂを認識するための撮像画像であることを示し、枠内に「標識Ｃ」と記載してあるのは、道路標識認識処理に供する撮像画像であって明るさの異なる三種類の道路標識のうち標識Ｃを認識するための撮像画像であることを示す。

第一の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第一の撮像タイミングでは、第一の露光制御部１０３による露光制御（以下「第一の露光制御」という）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供され、第一の撮像部１００による撮像画像は道路標識認識処理に供される。

第一の撮像タイミングに続く第二の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第二の撮像タイミングでは、第二の露光制御部１０４による露光制御（以下「第二の露光制御」という）を行い、第二の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行い、第三の制御量である露光制御の制御量で第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像は道路標識認識処理に供される。

第二の撮像タイミングに続く第三の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第三の撮像タイミングでは、第一の露光制御により、第一の撮像タイミングと同じ撮像が行われる。第三の撮像タイミングに続く第四の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第四の撮像タイミングでは、第二の露光制御により、第二の撮像タイミングと同じ撮像が行われる。以下、第三の撮像タイミング及び第四の撮像タイミングと同じ処理が繰り返され、撮像が継続される。

ここで、明るさの異なる三種類の道路標識について説明する。明るさの異なる三種類の道路標識には、看板式標識と、電光式標識と、内側から蛍光灯やＬＥＤで明かりが灯された内側が光る標識（内照式標識）と、がある。本実施例では、これに対応し、この看板式標識、電光式標識及び内側が光る標識を、認識可能な撮像画像を撮像する露光制御を行う。

看板式標識は、板に塗料で描かれた反射式の標識であり、周辺の明るさや、車両のヘッドライトの当たり具合で明るさが多く変化する。車両のヘッドライトと看板式標識の位置によっては、夜間とても暗くなるため、できるだけ長い時間露光して、明るく撮像したい。

電光式標識は、格子状に配列された複数の光源（例えばＬＥＤ光源）を適宜明滅させることによって文字や図形等が描かれる自発光式の標識である。この電光式標識について図３を参照して説明する。図３（ａ）は電光式標識の例を正面から見た図である。図３（ｂ）は図３（ａ）の標識を、短い露光時間で撮像した撮像画像の例を示す図である。図３（ａ）に示す電光式標識は、最高速度４０ｋｍの区間であることを示す規制標識であり、数字の４０がＬＥＤ光源によって描かれる。このＬＥＤ光源は、常に点灯しているように見えても、人間の目では識別できない程度の高速で点滅していることが多い。このため、露光時間がある閾値より短いと、図３（ｂ）に示すような文字が欠けた撮像画像が撮像されてしまうことがある。これは、第一の撮像部１００や第二の撮像部１０１のＣＭＯＳセンサ回路が光を蓄積する露光時間が短すぎると、電光式標識の文字の点滅周期より短くなってしまい、消灯状態を撮像した撮像画像となってしまうからである。これをフリッカ現象と呼ぶ。したがって、電光式標識の文字が判別できるように撮像するには、一定以上の露光時間で露光する必要がある。

内側が光る標識（内照式標識）は、半透明の板に文字や図形が描かれた自発光式の標識であり、この標識に内蔵した光源（例えばＬＥＤや蛍光灯など）によって照らされることで、夜間でも視認性の良い標識となっている。しかし、夜間は、周囲の明るさに比べて明るく照らされているために、歩行者や車両に比べてとても明るく撮像される。歩行者や車両に比べてあまりにも明るいと、標識部分の輝度が第一の撮像部１００や第二の撮像部１０１のＣＭＯＳセンサ回路などの最大値を超えてしまい、いわゆる白とび状態となってしまう。白とび状態では、模様がなくなってしまい、道路標識認識処理にて識別することができない。

以上のことから、本実施例では、図２の標識Ａ、Ｂ及びＣのいずれかに、看板式標識、電光式標識及び内側が光る標識のそれぞれが該当するように制御し、車両走行中に、これら明るさの異なる三種類の道路標識のいずれがあったとしても、最短の時間で必要な撮像画像を撮像し、道路標識の認識を可能とする。

次に、図２の標識Ａ、Ｂ及びＣの露光制御の制御量の定め方について図４を参照して説明する。図４は、図１に示した画像処理装置１による処理のフローチャートである。ここでは、露光制御の制御量が露光時間である場合を例に説明する。

まず、第一の露光制御部１０３が第一の撮像部１００及び第二の撮像部１０１の露光制御を行うように、露光制御切替部１０２によって切り替える。第一の露光制御部１０３は、予め定めた露光時間（第一の制御量）で第一の撮像部１００及び第二の撮像部１０１を露光制御（第一の露光制御）して撮像を行う（ステップＳ４０１）。この撮像が、図２に示した第一の撮像タイミングでの撮像である。

ステップＳ４０１で用いる露光時間は、例えば、不図示の露出計、輝度計または照度計などを単独あるいは組み合わせて、車両の外界の明るさを測定し、その測定結果に基づいて定めてもよいし、外界の明るさの変化に応じてその都度変更してもよい。なお、本実施例とは別の例として、ステップＳ４０１で用いる露光時間は、予め定めた固定値であってもよい。

ステレオ画像処理部１０６では、ステップＳ４０１において第一の撮像部１００で撮像した画像及び第二の撮像部１０１で撮像した撮像画像を用いてステレオ処理を実行する。

単眼画像処理部１０５では、ステップＳ４０１において第一の撮像部１００で撮像した画像を用いて、図２に示した「標識Ａ」を認識する単眼処理を行う。

第一の露光制御部１０３では、第一の露光制御として、ステップＳ４０１において第一の撮像部１００で撮像した画像及び第二の撮像部１０１で撮像した撮像画像を参照して、次回の第一の露光制御部１０３による露光制御の制御量を算出し、決定する（ステップＳ４０２）。このステップＳ４０２では、例えば、ステップＳ４０１において第一の撮像部１００で撮像した画像及び第二の撮像部１０１で撮像した撮像画像を参照し、画像全体の輝度画像の分布を計算し、所定の閾値よりも明るい画素が多ければ制御量を小さくし（露光時間を短くし）、所定の閾値よりも暗い画素が多ければ制御量を大きくする（露光時間を長くする）、といった制御を行う。制御量を小さくする場合の閾値と制御量を大きくする場合の閾値とは、同じものである場合があり、異なるものである場合がある。例えば、露光制御の制御量が第一の撮像部１００や第二の撮像部１０１からの出力を増幅するゲインである場合には、所定の閾値よりも明るい画素が多ければゲインを小さくし、所定の閾値よりも暗い画素が多ければゲインを大きくする、といった制御を行う。例えば、露光制御の制御量が撮像時の絞り値である場合には、所定の閾値よりも明るい画素が多ければ絞り値を大きくし、所定の閾値よりも暗い画素が多ければ絞り値を小さくする、といった制御を行う。例えば、露光制御の制御量が撮像時のＩＳＯ感度である場合には、所定の閾値よりも明るい画素が多ければＩＳＯ感度を低くし、所定の閾値よりも暗い画素が多ければＩＳＯ感度を高くする、といった制御を行う。例えば、露光制御の制御量がレンズの光透過度である場合には、所定の閾値よりも明るい画素が多ければレンズの光透過度を低くし、所定の閾値よりも暗い画素が多ければレンズの光透過度を高くする、といった制御を行う。

続いて、ステップＳ４０３以降で第二の露光制御を行う。第二の露光制御部１０４では、ステップＳ４０１で用いた露光時間、今回の第二の露光制御での第一の撮像部１００における露光時間及び今回の第二の露光制御での第二の撮像部１０１における露光時間の三種類の露光時間が、明るさの異なる三種類の道路標識のそれぞれに対応し、すべての道路標識が認識可能となるように、露光制御の制御量（露光時間）を決定する。

本実施例では、適切な露光時間を、電光式標識は５０ｍｓ、内側が光る標識は７ｍｓ、看板式標識は１５０ｍｓとする。また、電光式標識でフリッカ現象がおきる最短露光時間を１０ｍｓ、暗い看板式標識を認識できる最低露光時間を１００ｍｓとする。なお、適切な露光時間は、レンズの特性やＣＭＯＳセンサの感度や、外環境（外界環境）の状況（例えば、時刻、地域、天候、季節）によって変動するので、それに応じて異ならせるようにしてもよい。

ステップＳ４０３では、ステップＳ４０１で用いた露光時間（第一の露光時間）が１０ｍｓ未満であるかを判定する。第一の露光時間が１０ｍｓ未満のとき（ステップＳ４０３：ＹＥＳ）は、第一の撮像部１００の露光時間（第二の制御量）を５０ｍｓ、第二の撮像部１０１の露光時間（第三の制御量）を１５０ｍｓに設定する（ステップＳ４０５）。

ステップＳ４０３において第一の露光時間が１０ｍｓ以上のとき（ステップＳ４０３：ＮＯ）は、第一の露光時間が１００ｍｓ未満であるかを判定する（ステップＳ４０４）。第一の露光時間が１０ｍｓ以上且つ１００ｍｓ未満のとき（ステップＳ４０４：ＹＥＳ）は、第一の撮像部１００の露光時間（第二の制御量）を７ｍｓ、第二の撮像部１０１の露光時間（第三の制御量）を１５０ｍｓに設定する（ステップＳ４０６）。

ステップＳ４０４において第一の露光時間が１００ｍｓ以上のとき（ステップＳ４０４：ＮＯ）は、第一の撮像部１００の露光時間（第二の制御量）を７ｍｓ、第二の撮像部１０１の露光時間（第三の制御量）を５０ｍｓに設定する（ステップＳ４０７）。

その後、ステップＳ４０８では、第二の露光制御部１０４が第一の撮像部１００及び第二の撮像部１０１の露光制御を行うように、露光制御切替部１０２によって切り替える。第二の露光制御部１０４は、ステップＳ４０５、Ｓ４０６またはＳ４０７で設定した露光時間（第二の露光時間）で第一の撮像部１００を露光制御（第二の露光制御）して撮像を行い、またステップＳ４０５、Ｓ４０６またはＳ４０７で設定した露光時間（第三の露光時間）で第二の撮像部１０１を露光制御（第二の露光制御）して撮像を行う。この撮像が、図２に示した第二の撮像タイミングでの撮像である。

単眼画像処理部１０５では、ステップＳ４０８において第一の撮像部１００で撮像した画像を用いて、図２に示した「標識Ｂ」を認識する単眼処理を行うとともに、ステップＳ４０８において第二の撮像部１０１で撮像した画像を用いて、図２に示した「標識Ｃ」を認識する単眼処理を行う。

以降、ステップＳ４０１〜Ｓ４０８を繰り返す。

前述のように、第一の露光時間が１０ｍｓ未満の場合（ステップＳ４０３：ＹＥＳ）は、第一の撮像部１００の露光時間を５０ｍｓ、第二の撮像部１０１の露光時間を１５０ｍｓに設定する。この場合、ステップＳ４０１で撮像した撮像画像の露光時間（第一の露光時間）は１０ｍｓ未満であって、内側が光る標識の最適露光時間（本実施例では７ｍｓ）に近いので、単眼画像処理部１０５ではステップＳ４０１で撮像した撮像画像を用いて内側が光る標識の認識を行うことができる。また、ステップＳ４０８で第一の撮像部１００が撮像した撮像画像の露光時間（第二の露光時間）は５０ｍｓであって、電光式標識の最適露光時間（本実施例では５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第一の撮像部１００が撮像した撮像画像を用いて電光式標識の認識を行うことができる。また、ステップＳ４０８で第二の撮像部１０１が撮像した撮像画像の露光時間（第三の露光時間）は１５０ｍｓであって、看板式標識の最適露光時間（本実施例では１５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第二の撮像部１０１が撮像した撮像画像を用いて看板式標識の認識を行うことができる。

また前述のように、第一の露光時間が１０ｍｓ以上且つ１００ｍｓ未満の場合（ステップＳ４０３：ＮＯ、ステップＳ４０４：ＹＥＳ）は、第一の撮像部１００の露光時間を７ｍｓ、第二の撮像部１０１の露光時間を１５０ｍｓに設定する。この場合、ステップＳ４０１で撮像した撮像画像の露光時間（第一の露光時間）は１０ｍｓ以上１００ｍｓ未満であって、電光式標識の最適露光時間（本実施例では５０ｍｓ）に近いので、単眼画像処理部１０５ではステップＳ４０１で撮像した撮像画像を用いて電光式標識の認識を行うことができる。また、ステップＳ４０８で第一の撮像部１００が撮像した撮像画像の露光時間（第二の露光時間）は７ｍｓであって、内側が光る標識の最適露光時間（本実施例では７ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第一の撮像部１００が撮像した撮像画像を用いて内側が光る標識の認識を行うことができる。また、ステップＳ４０８で第二の撮像部１０１が撮像した撮像画像の露光時間（第三の露光時間）は１５０ｍｓであって、看板式標識の最適露光時間（本実施例では１５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第二の撮像部１０１が撮像した撮像画像を用いて看板式標識の認識を行うことができる。

また前述のように、第一の露光時間が１００ｍｓ以上の場合（ステップＳ４０３：ＮＯ、ステップＳ４０４：ＮＯ）は、第一の撮像部１００の露光時間を７ｍｓ、第二の撮像部１０１の露光時間を５０ｍｓに設定する。この場合、ステップＳ４０１で撮像した撮像画像の露光時間（第一の露光時間）は１００ｍｓ以上であって、看板式標識の最適露光時間（本実施例では１５０ｍｓ）に近いので、単眼画像処理部１０５ではステップＳ４０１で撮像した撮像画像を用いて看板式標識の認識を行うことができる。また、ステップＳ４０８で第一の撮像部１００が撮像した撮像画像の露光時間（第二の露光時間）は７ｍｓであって、内側が光る標識の最適露光時間（本実施例では７ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第一の撮像部１００が撮像した撮像画像を用いて内側が光る標識の認識を行うことができる。また、ステップＳ４０８で第二の撮像部１０１が撮像した撮像画像の露光時間（第三の露光時間）は５０ｍｓであって、電光式標識の最適露光時間（本実施例では５０ｍｓ）であるので、単眼画像処理部１０５ではステップＳ４０８で第二の撮像部１０１が撮像した撮像画像を用いて電光式標識の認識を行うことができる。

以上により、車両や歩行者の検出処理と両立して、短時間で三種類の標識を検出、認識することができる。

なお、本実施例では、第一の露光画像に応じて第二の露光画像を生成する（第一の露光制御の露光時間に応じて第二の露光制御の露光時間を決定する）例について説明したが、第二の露光画像から第一の露光画像を決めてもよく（第二の露光制御の露光時間に応じて第一の露光制御の露光時間を決定してもよく）、本発明はこれに限定されない。

実施例２では、ハードウェアのコストを抑えながら本発明を実現する構成の例について説明する。

図５は、本発明の実施例２に係る画像処理装置２のブロック図である。図５において、図１の画像処理装置１と同じ構成については同じ参照番号を付して詳しい説明は省略する。図５の画像処理装置２では、図１の画像処理装置１の構成に加えて、ステレオ処理判定部５０１を有している。

ステレオ処理判定部５０１は、露光制御切替部１０２の切替結果によってステレオ処理を実行すべきかどうかを判断する。露光制御切替部１０２が、標識用の露光設定の場合（第二の露光制御部１０４によって第一の撮像部１００及び第二の撮像部１０１の露光制御を行うように切り替えている場合）は、ステレオ処理判定部５０１は単眼画像処理部１０５のみを実行し、ステレオ画像処理部１０６のステレオ処理を行わないよう制御する。

このステレオ処理判定部５０１を設けることで、ステレオ処理を必要以上に高速に動作させることはないため、処理コストを抑えることができる。たとえば、ステレオ処理をＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に搭載する場合は、回路が小規模になり、低コスト及び低消費電力で実現することができる。

実施例３では、外環境に応じた処理を行う例について説明する。

図６は、本発明の実施例３に係る画像処理装置３のブロック図である。図６において、図１の画像処理装置１と同じ構成については同じ参照番号を付して詳しい説明は省略する。図６の画像処理装置３では、図１の画像処理装置１の構成に加えて、外環境判定部５０２を有している。

外環境判定部５０２は、時刻、地域、天候、季節などの外環境を取得し、これらの外環境単独または組合せにより、現在の外環境を判定する。第一の露光制御部１０３や第二の露光制御部１０４は、この外環境判定部５０２による判定結果に基づいて最適な露光制御の制御量で第一の撮像部１００や第二の撮像部１０１を制御する。実施例１では、適切な露光時間を、電光式標識は５０ｍｓ、内側が光る標識は７ｍｓ、看板式標識は１５０ｍｓとしたが、本実施例では、外環境判定部５０２が外環境を判定し、例えば雪道の晴天の昼間のような明るい状況には適切な露光時間をより短くするよう、第一の露光制御部１０３や第二の露光制御部１０４が第一の撮像部１００や第二の撮像部１０１を制御する。このようにすることで、外環境に応じて、現状に適した制御を行うことができる。

実施例４では、車両の移動量に応じた処理を行う例について説明する。

図７は、本発明の実施例４に係る画像処理装置４のブロック図である。図７において、図１の画像処理装置１と同じ構成については同じ参照番号を付して詳しい説明は省略する。図７の画像処理装置４では、図１の画像処理装置１の構成に加えて、移動量算出部５０３を有している。

移動量算出部５０３は、画像処理装置４を搭載した車両の移動量の算出を行うものであり、例えば、車速センサを用いることもできるし、第一の撮像部１００や第二の撮像部１０１で撮像した撮像画像の時間変化により車両の移動量を算出するものを用いることもできる。

移動量算出部５０３により算出した移動量が所定量以下である場合、第二の露光制御部１０４は、第一の撮像部１００または第二の撮像部１０１のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行う。この点について図８を参照して詳しく説明する。

図８は、実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの例を示す図である。

本実施例では、移動量算出部５０３による算出結果が所定量を超えるものであった場合には、図２を参照して説明したタイミングで、ステレオ処理に供する撮像画像の撮像及び道路標識認識処理に供する撮像画像の撮像を行う。一方、移動量算出部５０３による算出結果が所定量以下であった場合には、図８のタイミングで撮像を行う。図８の枠内の記載の意味は図２と同様である。また、図８において、枠内に「停止」と記載してあるのは、その撮像部による撮像を停止することを示す。

第一の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第一の撮像タイミングでは、第一の露光制御部１０３による露光制御（第一の露光制御）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供され、第一の撮像部１００による撮像画像は道路標識認識処理に供される。

第一の撮像タイミングに続く第二の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第二の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第二の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。

第二の撮像タイミングに続く第三の撮像タイミングは、ステレオ処理に供する撮像画像の撮像タイミングである。この第三の撮像タイミングでは、第一の露光制御部１０３による露光制御（第一の露光制御）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供される。

第三の撮像タイミングに続く第四の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第四の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第三の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。

以下、第一の撮像タイミングから第四の撮像タイミングと同じ処理が繰り返され、撮像が継続される。

なお、図８では、第二の撮像タイミング及び第四の撮像タイミングにおいて第一の撮像部１００のみで撮像を行うようにしているが、本発明はこれに限られるものではなく、第二の撮像タイミング及び第四の撮像タイミングにおいて第二の撮像部１０１のみで撮像を行うようにしてもよい。

図９は、実施例４において移動量算出部５０３による算出結果が所定量以下であった場合の、ステレオ処理に供する撮像画像の撮像タイミングと道路標識認識処理に供する撮像画像の撮像タイミングの図８とは別の例を示す図である。図９の枠内の記載の意味は図８と同様である。

第一の撮像タイミングは、ステレオ処理及び道路標識認識処理に供する撮像画像の撮像タイミングである。この第一の撮像タイミングでは、第一の露光制御部１０３による露光制御（第一の露光制御）を行い、第一の制御量である同じ露光制御の制御量で第一の撮像部１００及び第二の撮像部１０１を制御して撮像を行う。第一の撮像部１００による撮像画像及び第二の撮像部１０１よる撮像画像はステレオ処理に供され、第一の撮像部１００による撮像画像は道路標識認識処理に供される。

第一の撮像タイミングに続く第二の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第二の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第二の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。

第二の撮像タイミングに続く第三の撮像タイミングは、道路標識認識処理に供する撮像画像の撮像タイミングである。この第三の撮像タイミングでは、第二の露光制御部１０４による露光制御（第二の露光制御）を行い、第三の制御量である露光制御の制御量で第一の撮像部１００を制御して撮像を行う。第一の撮像部１００による撮像画像は道路標識認識処理に供される。

以下、第一の撮像タイミングから第三の撮像タイミングと同じ処理が繰り返され、撮像が継続される。

なお、図９では、第二の撮像タイミング及び第三の撮像タイミングにおいて第一の撮像部１００のみで撮像を行うようにしているが、本発明はこれに限られるものではなく、第二の撮像タイミング及び第三の撮像タイミングにおいて第二の撮像部１０１のみで撮像を行うようにしてもよい。

なお、実施例４においては、移動量算出部５０３による算出結果が所定量を超えるものであった場合には図２のタイミングで撮像を行い、移動量算出部５０３による算出結果が所定量以下であった場合には図８または図９のタイミングで撮像を行うようにしたが、本発明はこれに限られるものではなく、移動量算出部５０３による算出結果にかかわらず図８または図９のタイミングで撮像を行うようにしてもよい。

この実施例４によれば、移動量算出部５０３による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第二の撮像部１０１は第二の露光制御部１０４によって制御されないので、その空いた時間で他の処理を行うことができる。

また、実施例４によれば、移動量算出部５０３による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第一の撮像部１００または第二の撮像部１０１のいずれか一方のみが第二の露光制御部１０４により第二の制御量の制御がされ且つ第三の制御量の制御がされるので、第一の露光制御部１０３による制御と第二の露光制御部１０４による制御とが交互に実施される環境において、第二の露光制御部１０４により制御される第一の撮像部１００が第一の露光制御部１０３により制御され次に第一の露光制御部１０３により制御可能となるまでの時間が、例えば第一の撮像部１００が第二の露光制御部１０４により第二の制御量の制御がされ且つ第二の撮像部１０１が第二の露光制御部１０４により第三の制御量の制御がされる場合と比べて、より多くかかり、第一の露光制御部１０３により制御されて撮像した撮像画像を用いるステレオ処理はそのより多い時間でステレオ処理を完了させればよいし、またステレオ処理が早く完了するのであれば空いた時間を他の処理に回すことができ、ソフトウェア資源やハードウェア資源をより有効活用することができる。また、計算量を削減することで低消費電力化することができる。

また、本発明は上述の構成に限られるものではなく、例えば、第一の露光制御部１０３や第二の露光制御部１０４による露光制御の制御量の一部またはすべてを、予め定めた固定値にしてもよい。このようにすることで、制御量の算出の負荷が削減され、また限定された外界環境で用いる（例えば特定の地域の晴れの日の昼間にしか車両を使用しないなど）場合には上述の実施例と同様の効果を得ることができる。

なお、上述の実施例では車載用の画像処理装置について説明したが、本発明はこれに限られるものではなく、例えば、模型やロボットに搭載してもよいし、自身は移動せずに周囲が移動する環境に適用してもよい。

＜付記１＞
なお、以上説明した本発明は、
１．
撮像を行う撮像部（例えば、第一の撮像部１００、第二の撮像部１０１）と、
前記撮像部に対して、第一の制御量で露光制御を行う一の露光制御部（例えば、第一の露光制御部１０３、第二の露光制御部１０４）と、
前記撮像部に対して、前記第一の制御量に基づいた制御量で露光制御を行う他の露光制御部（例えば、第二の露光制御部１０４、第一の露光制御部１０３）と、
前記撮像部に対する露光制御を、前記一の露光制御部が行うか、前記他の露光制御部が行うか、を切り替える露光制御切替部（例えば、露光制御切替部１０２）と、を備えた、ことを特徴とする画像処理装置、としたので、
・他のアプリケーションに悪影響を与えずに、明るさの異なる様々な対象物を認識可能な撮像画像を得られる画像処理装置を提供することができる。
・すなわち、例えば、一の露光制御部によって制御された撮像部によって、他のアプリケーションで用いる撮像画像を得て、また、他の露光制御部によって制御された撮像部によって、明るさの異なる対象物についての撮像画像を得ることで、他のアプリケーションに悪影響を与えることなく、明るさの異なる様々な対象物を認識可能とすることができる。

また、本発明は、
２．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部と（例えば、第二の撮像部１０１）、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量で露光制御を行うものであり、
前記第二の露光制御部は、前記第一の制御量に基づき、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、第一の露光制御部で用いる第一の制御量に基づいて、第二の露光制御部で用いる露光制御の制御量を決定することで、現状に適した制御を行うことができる。

また、本発明は、
３．
２．に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第一の閾値以上であり且つ前記第二の閾値未満である場合、前記第一の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第二の閾値以上の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置、としたので、
・第一の閾値及び第二の閾値を設けることで、例えば、電光式標識、内側が光る標識及び看板式標識のそれぞれの認識を可能にすることができ、ステレオ処理の露光制御の制御量が第一の閾値以上であり且つ第二の閾値未満の場合に対応することができる。

また、本発明は、
４．
２．に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第二の閾値以上である場合、前記第一の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第一の閾値以上であり且つ前記第二の閾値未満の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置、としたので、
・第一の閾値及び第二の閾値を設けることで、例えば、電光式標識、内側が光る標識及び看板式標識のそれぞれの認識を可能にすることができ、ステレオ処理の露光制御の制御量が第二の閾値以上の場合に対応することができる。

また、本発明は、
５．
２．に記載の画像処理装置において、
露光制御の制御量についての閾値である第一の閾値が第二の閾値より小さいとしたとき、前記第二の露光制御部は、前記第一の制御量が前記第一の閾値未満である場合、前記第一の閾値以上であり且つ前記第二の閾値未満の第二の制御量を前記第一の撮像部に対する露光制御の制御量とし、前記第二の閾値以上の第三の制御量を前記第二の撮像部に対する露光制御の制御量とする、ことを特徴とする画像処理装置、としたので、
・第一の閾値及び第二の閾値を設けることで、例えば、電光式標識、内側が光る標識及び看板式標識のそれぞれの認識を可能にすることができ、ステレオ処理の露光制御の制御量が第一の閾値未満の場合に対応することができる。

また、本発明は、
６．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第二の露光制御部であり、
前記他の露光制御部は第一の露光制御部であり、
前記第一の露光制御部は、前記第二の露光制御部による露光制御の制御量に基づいた前記第一の制御量で、前記第一の撮像部と前記第二の撮像部とに対して露光制御を行うものであり、
前記第二の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、第二の露光制御部で用いる露光制御の制御量に基づいて、第一の露光制御部で用いる第一の制御量を決定することで、現状に適した制御を行うことができる。

また、本発明は、
７．
１．に記載の画像処理装置において、
外環境の判定を行う外環境判定部（例えば、外環境判定部５０２）をさらに備え、
前記一の露光制御部及び前記他の露光制御部は、前記外環境判定部による判定結果に基づいて、前記撮像部に対する露光制御の制御量を決定する、ことを特徴とする画像処理装置、としたので、
・外環境に応じて、現状に適した制御を行うことができる。

また、本発明は、
８．
撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、
撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、
前記第一の撮像部と前記第二の撮像部とに対して予め定めた固定値の制御量である第一の制御量で露光制御を行う第一の露光制御部（例えば、第一の露光制御部１０３）と、
前記第一の撮像部に対して予め定めた固定値の制御量である第二の制御量の露光制御を行い、前記第二の撮像部に対して予め定めた固定値の制御量である第三の制御量の露光制御を行う第二の露光制御部（例えば、第二の露光制御部１０４）と、
前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える露光制御切替部（例えば、露光制御切替部１０２）と、を備えた、ことを特徴とする画像処理装置、としたので、
・第一の制御量、第二の制御量及び第三の制御量として適切な値を予め定めておくことで、処理の負荷を軽減しながら、他のアプリケーションに悪影響を与えることなく、明るさの異なる様々な対象物を認識可能とすることができる。

また、本発明は、
９．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して予め定めた固定値の制御量である前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記第一の制御量に基づき、前記第一の撮像部と前記第二の撮像部とに対して異なる制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の制御量として適切な値を予め定めておくことで、処理の負荷を軽減しながら、他のアプリケーションに悪影響を与えることなく、明るさの異なる様々な対象物を認識可能とすることができる。
・また、第一の露光制御部で用いる第一の制御量に基づいて、第二の露光制御部で用いる露光制御の制御量を決定することで、現状に適した制御を行うことができる。

また、本発明は、
１０．
１．に記載の画像処理装置において、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記第一の撮像部または前記第二の撮像部のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部または第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、第一の撮像部または第二の撮像部のいずれか他方は第二の露光制御部によって制御されないので、その空いた時間で他の処理を行うことができる。
・また、第一の撮像部または第二の撮像部のいずれか一方のみが第二の露光制御部により第二の制御量の制御がされ且つ第三の制御量の制御がされるので、第一の露光制御部による制御と第二の露光制御部による制御とが交互に実施される環境において、第二の露光制御部により制御される撮像部が第一の露光制御部により制御され次に第一の露光制御部により制御可能となるまでの時間が、例えば第一の撮像部が第二の露光制御部により第二の制御量の制御がされ且つ第二の撮像部が第二の露光制御部により第三の制御量の制御がされる場合と比べて、より多くかかり、第一の露光制御部により制御されて撮像した撮像画像を用いるステレオ処理はそのより多い時間でステレオ処理を完了させればよいし、またステレオ処理が早く完了するのであれば空いた時間を他の処理に回すことができ、ソフトウェア資源やハードウェア資源をより有効活用することができる。

また、本発明は、
１１．
１．に記載の画像処理装置において、
前記画像処理装置を搭載した車両の移動量を算出する移動量算出部（例えば、移動量算出部５０３）を備え、
前記撮像部は、撮像を行う第一の撮像部（例えば、第一の撮像部１００）と、撮像を行う第二の撮像部（例えば、第二の撮像部１０１）と、から成り、
前記一の露光制御部は第一の露光制御部であり、
前記他の露光制御部は第二の露光制御部であり、
前記第一の露光制御部は、前記第一の撮像部と前記第二の撮像部とに対して前記第一の制御量の露光制御を行うものであり、
前記第二の露光制御部は、前記移動量算出部による算出結果が所定量以下である場合、前記第一の撮像部または前記第二の撮像部のいずれか一方のみに対して第二の制御量の露光制御及び第三の制御量の露光制御を行うものであり、
前記露光制御切替部は、前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える、ことを特徴とする画像処理装置、としたので、
・第一の撮像部及び第二の撮像部の少なくとも二つの撮像部を有する場合において、第一の露光制御部によって制御された第一の撮像部及び第二の撮像部によって、例えばステレオ処理のアプリケーションで用いる撮像画像を得て、また、第二の露光制御部によって制御された第一の撮像部または第二の撮像部によって、明るさの異なる例えば道路標識についての撮像画像を得ることで、ステレオ処理に悪影響を与えることなく、明るさの異なる道路標識を認識可能とすることができる。
・また、移動量算出部による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第一の撮像部または第二の撮像部のいずれか他方は第二の露光制御部によって制御されないので、その空いた時間で他の処理を行うことができる。
・また、移動量算出部による算出結果が所定量以下である場合すなわち車両の速度が遅く外界の変化が遅い場合には、第一の撮像部または第二の撮像部のいずれか一方のみが第二の露光制御部により第二の制御量の制御がされ且つ第三の制御量の制御がされるので、第一の露光制御部による制御と第二の露光制御部による制御とが交互に実施される環境において、第二の露光制御部により制御される撮像部が第一の露光制御部により制御され次に第一の露光制御部により制御可能となるまでの時間が、例えば第一の撮像部が第二の露光制御部により第二の制御量の制御がされ且つ第二の撮像部が第二の露光制御部により第三の制御量の制御がされる場合と比べて、より多くかかり、第一の露光制御部により制御されて撮像した撮像画像を用いるステレオ処理はそのより多い時間でステレオ処理を完了させればよいし、またステレオ処理が早く完了するのであれば空いた時間を他の処理に回すことができ、ソフトウェア資源やハードウェア資源をより有効活用することができる。

なお、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上述した個々の実施例の各要素のいかなる組合せも本発明に含むものである。

１…画像処理装置、２…画像処理装置、１００…第一の撮像部、１０１…第二の撮像部、１０２…露光制御切替部、１０３…第一の露光制御部、１０４…第二の露光制御部、１０５…単眼画像処理部、１０６…ステレオ画像処理部、５０１…ステレオ処理判定部、５０２…外環境判定部、５０３…移動量算出部。

Claims (9)

1. 車両の前方を撮像する左右一対の第一の撮像部及び第二の撮像部を有する撮像部と、
   前記第一の撮像部と前記第二の撮像部とに対して第一の制御量で同じタイミングで露光動作するように露光制御を行う第一の露光制御部と、
   明るさの異なる三種類の道路標識を認識可能な撮像画像を得るために、前記第一の撮像部と前記第二の撮像部とに対して、それぞれ互いに異なる制御量であり、かつ、前記第一の制御量とも異なる前記第一の制御量に基づいた制御量の露光制御を行う第二の露光制御部と、
   前記第一の撮像部及び前記第二の撮像部に対する露光制御を、前記第一の露光制御部が行うか、前記第二の露光制御部が行うか、を切り替える露光制御切り替え部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   単眼画像処理部を備え、前記第一の制御量に基づいた前記制御量は、第二の制御量及び第三の制御量であり、
   前記単眼画像処理部は、
   前記第一の制御量で露光制御された前記第一の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第一種類の道路標識を認識し、
   前記第二の制御量で露光制御された前記第一の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第二種類の道路標識を認識し、
   前記第三の制御量で露光制御された前記第二の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第三種類の道路標識を認識することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   ステレオ画像処理部を備え、
   前記ステレオ画像処理部は、
   前記第一の制御量で露光制御された前記第一の撮像部により撮像された画像及び前記第一の制御量で露光制御された前記第二の撮像部により撮像された画像をステレオ処理することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記ステレオ画像処理部による前記ステレオ処理及び前記単眼画像処理部による前記第一種類の前記道路標識の認識を行う第一の撮像タイミングと、
   前記第一の撮像タイミングに続き、前記単眼画像処理部による前記第二種類の前記道路標識及び前記第三種類の前記道路標識を認識する第二の撮像タイミングと、
   により、画像処理が行われることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記第二の撮像タイミングに、前記ステレオ画像処理部が前記ステレオ処理を行わないように制御するステレオ処理判定部を備えることを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、
   外環境を判定する外環境判定部を備え、前記第一の露光制御部及び前記第二の露光制御部は、前記外環境判定部が判定した結果に基づいて、前記第一の撮像部及び前記第二の撮像部を制御することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記車両の移動量を算出する移動量算出部を備え、
   前記第一の制御量に基づいた前記制御量は、第二の制御量及び第三の制御量であり、
   前記移動量が所定量を超える場合は、前記第二の露光制御部は、前記第一の撮像部に対して、前記第二の制御量に基づいた制御量の露光制御を行い、前記第二の撮像部に対して、前記第三の制御量に基づいた制御量の露光制御を行い、
   前記移動量が所定量以下の場合は、前記第二の露光制御部は、前記第一の撮像部又は前記第二の撮像部のいずれか一方のみに対して、前記第二の制御量及び前記第三の制御量に基づいた前記制御量の露光制御を行うことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   単眼画像処理部を備え、
   前記単眼画像処理部は、
   前記移動量が所定量を超える場合は、
   前記第一の制御量で露光制御された前記第一の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第一種類の道路標識を認識し、
   前記第二の制御量で露光制御された前記第一の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第二種類の道路標識を認識し、
   前記第三の制御量で露光制御された前記第二の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第三種類の道路標識を認識し、
   前記移動量が所定量以下の場合は、
   前記第一の制御量で露光制御された前記第一の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第一種類の道路標識を認識し、
   前記第二の制御量で露光制御された前記第一の撮像部又は前記第二の撮像部のいずれか一方により撮像された画像を用いて、前記三種類の道路標識のうちの第二種類の道路標識を認識し、
   前記第一の撮像部又は前記第二の撮像部のうちの、前記第二の制御量で露光制御されたいずれか一方の撮像部と同一の撮像部が前記第三の制御量で露光制御され、前記同一の撮像部により撮像された画像を用いて、前記三種類の道路標識のうちの第三種類の道路標識を認識することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   ステレオ画像処理部を備え、
   前記ステレオ画像処理部は、
   前記第一の制御量で露光制御された前記第一の撮像部により撮像された画像及び前記第一の制御量で露光制御された前記第二の撮像部により撮像された画像をステレオ処理することを特徴とする画像処理装置。

Images