JP7427594B2

JP7427594B2 - 画像処理装置

Info

Publication number: JP7427594B2
Application number: JP2020538247A
Authority: JP
Inventors: 善之武藤; 春樹的野
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-08-22
Filing date: 2019-07-25
Publication date: 2024-02-05
Anticipated expiration: 2039-07-25
Also published as: CN112544066A; WO2020039837A1; JPWO2020039837A1

Description

本発明は、画像処理装置に関する。

例えば、車両に搭載され、照明の届かないような低照度環境の風景について赤外線画像を表示部に表示し、ドライバーの運転支援を行う画像処理装置が知られている。

上記のような画像処理装置は、赤外線画像の全画像が表示されるため、注意する必要の無い建物等が表示され、検出したい対象物の発見が遅延する可能性があった。

特許文献１には、取得した赤外線画像データと可視画像データに対して、車両の速度情報等を元に決定した制御対象領域のみに画像処理を実施する技術が開示されている。

特開２０１３－０４２４０４号公報

２つのカメラを使用するステレオカメラを撮像部として用いる画像処理装置が知られている。

ステレオカメラにおいては、複数の撮像部が存在し、撮像部ごとに異なる画像演算領域が設定され、異なる画像演算領域が設定される。

特許文献１に記載の技術を、ステレオカメラを用いた画像処理装置に適用すると、異なる画像演算領域のそれぞれに、制御対象領域のみの画像処理を実施する必要がある。車両に搭載される画像処理装置は、画像処理の高速化が要求されるとともに、得られた画像を車両の動作制御にも使用することがあるため、車両制御システム全体の演算処理負荷を抑制することが必要となる。

特許文献１に記載の技術は、ステレオカメラのように複数の撮像を有する画像処理装置において、撮像部ごとに異なる画像演算領域を設定するような構成を想定していないため、車両制御システム全体の演算処理負荷の抑制及び画像処理の高速化が困難である。

本発明の目的は、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置を実現することである。

上記目的を達成するため、本発明は次のように構成される。

画像処理装置において、第一の撮像部が撮像した第一画像と、第二の撮像部が撮像した第二画像とを得る画像取得部と、
前記第一画像から、第一の演算領域を得る第一演算領域取得部と、
前記第二画像から、前記第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部と、
を備え、
前記第一の演算領域は、第一の特定認識対象物に基づいて設定された第一の特定領域であり、前記第二の演算領域は、第二の特定認識対象物に基づいて設定された第二の特定領域であり、前記第一の撮像部に対して前記第一の演算領域及び露光制御値が算出され、前記第二の撮像部に対して前記第二の演算領域及び露光制御値が算出される。

また、ステレオカメラ装置において、第一の撮像部と、第二の撮像部と、前記第一の撮像部で得られる画像から、第一の演算領域を得る第一演算領域取得部と、前記第二の撮像部で得られる画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部と、を備え、前記第一の演算領域は、第一の特定認識対象物に基づいて設定された第一の特定領域であり、前記第二の演算領域は、第二の特定認識対象物に基づいて設定された第二の特定領域であり、前記第一の撮像部に対して前記第一の演算領域及び露光制御値が算出され、前記第二の撮像部に対して前記第二の演算領域及び露光制御値が算出される。

本発明によれば、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置（ステレオカメラ装置）を実現することができる。

本発明の一実施例に関するステレオカメラ装置のブロック構成図である。第一の撮像部および第二の撮像部におけるそれぞれの画像取得タイミングに相当する同期信号の一例を示す図である。フレームに応じて第一および第二の撮像部に対する設定処理の切替を説明するフローチャートである。ステレオ画像を用いた立体物認識処理の実行についての説明図である。単眼画像を用いた単眼認識処理の実行についての説明図である。ステレオ処理及び単眼処理を纏めた一例の説明図である。第一の撮像部および第二の撮像部の単眼認識処理における画像演算領域の一例を示す図である。認識対象物に特化した画像演算領域を設定した場合における、認識処理を実行するまでの流れの一例を示した図である。

以下、本発明に関する実施例を、添付図面を参照しながら詳細に説明する。なお、以下の説明では、画像処理装置である車載用ステレオカメラ装置に本発明を適用した場合の例について説明する。

自動車の安全運転支援システムとして、車間距離警報システム、アダプティブクルーズコントロールシステム、プリクラッシュブレーキシステム等が挙げられる。

上記システムを構築する際に、先行車両、走行車線、自車周辺の障害物など、車両前方の環境を的確に認識するセンシング技術が必須となる。車両前方の環境認識センサとして、車両に搭載される車載用カメラ装置がある。

車載用カメラ装置の中でも、ステレオカメラ装置は左右のカメラの視差情報から立体物認識が可能となるため、歩行者や縁石など任意形状の立体物を検出する上で優れている。ステレオカメラ装置では、車両進行方向に対して左右に取り付けられたカメラの撮像素子部で同タイミングに取得した画像の輝度情報の差異より、視差を算出することで立体物を精度良く認識出来る。

ここで、左右カメラのフレームレートを可変制御することで、視差算出のための画像以外に、別途、単眼画像を用いた単眼認識処理向けの画像を撮像することが可能となり、それによって視差情報を用いた立体物認識処理を含めた複数の画像認識処理を同一プラットフォーム上で実行出来るようになる。

しかし、上記構成例の場合、同一タイミングで複数の画像認識処理を実施することになるため、演算処理負荷が大きくなる。

そのため、各認識処理の画像演算領域を最適化することによって、車載用カメラ装置のシステム全体に対する演算処理負荷を低減させることが重要となる。

本発明の一実施例における画像処理装置は、視差算出を実施するステレオ画像処理と、視差算出を実施しない単眼認識処理を適切なタイミングで切り替える制御部を有し、画像処理タイミングに応じて、適切な露光制御と画像演算領域を車載用カメラ装置に搭載されている撮像部ごとに独立して制御する。

本発明の一実施例による画像処理装置のうち代表的な一つは、二つの撮像素子を有したステレオカメラ装置である。

図１は、本発明の一実施例に関するステレオカメラ装置１０１のブロック構成図である。

図１において、ステレオカメラ装置１０１は、車両進行方向に対して左右に取り付けられた第一の画像を撮像する第一の撮像部１０２および第二の画像を撮像する第二の撮像部１０３と、第一の撮像部１０２が撮像した第一画像の画像演算領域を設定する第一演算領域取得部１０４と、第二の撮像部１０３が撮像した第二画像の画像演算領域を設定する第二演算領域取得部１０５と、第一の撮像部１０２に対するシャッタ等の露光制御値を設定する第一シャッタ制御部（第一露光制御部）１０６と、第二の撮像部１０３に対してシャッタ等の露光制御値を設定する第二シャッタ制御部（第二露光制御部）１０７とを備える。

さらに、ステレオカメラ装置１０１は、第一の撮像部１０２に対して設定する画像演算領域および露光制御値を算出するための第一画像取得制御部１０８と、第二の撮像部１０３に対して設定する画像演算領域および露光制御値を算出するための第二画像取得制御部１０９と、第一の撮像部１０２で取得した画像を使用して単眼画像処理を行う第一の単眼画像処理部１１０と、第二の撮像部１０３で取得した画像を使用して単眼画像処理を行う第二の単眼画像処理部１１１と、第一の撮像部１０２および第二の撮像部１０３双方の画像を使用してステレオ画像処理を行うステレオ画像処理部１１２と、フレーム単位で実施する認識処理の切替制御を行うための認識処理フレーム切替部１１３とを備えている。

認識処理フレーム切替部１１３では、ステレオ画像処理部１１２と、第一の単眼画像処理部１１０および第二の単眼画像処理部１１１のいずれを動作させるか、フレームタイミングに応じて認識処理フレーム（画像フレーム）の切替処理を実行する。

図２は、第一の撮像部１０２および第二の撮像部１０３それぞれの画像取得タイミングに相当する同期信号の一例を示す図である。

図２では、ステレオ処理用画像と単眼処理用画像を交互に取得する例を示している。

第一の撮像部１０２における同期信号（第一の撮像部の同期信号）２０１と、第二の撮像部１０３における同期信号（第二の撮像部の同期信号）２０２において、ステレオ画像処理を実施するタイミング（ｔ_０～ｔ_１（ステレオ処理用撮像タイミング））では第一の撮像部１０２および第二の撮像部１０３の双方の画像をもとに視差演算されたステレオ画像２０００ａを生成する。

また、単眼画像処理を実施するタイミング（ｔ_２～ｔ_３（単眼処理用撮像タイミング））では第一の撮像部１０２で取得した画像は第一の単眼処理用画像１００１として使用され、第二の撮像部１０３で取得した画像は第二の単眼処理用画像１００２として使用される。

そして、ステレオ画像処理を実施するタイミング（ｔ_４～ｔ_５（ステレオ処理用撮像タイミング））では第一の撮像部１０２および第二の撮像部１０３の双方の画像をもとに視差演算されたステレオ画像２０００ｂを生成する。

以降、同様にして、ステレオ画像、第一の単眼画像、第二の単眼画像が順次生成される。

認識処理フレーム切替部１１３は、画像フレームに応じてステレオ画像処理部１１２による立体物認識処理を実行するか、第一の単眼画像処理部１１０および第二の単眼画像処理部１１１による単眼画像処理を実行するかを、第一画像取得制御部１０８及び第二画像取得制御部１０９に指令し、認識処理フレーム（認識処理を行う画像フレーム）を切替える。

ステレオ画像処理と単眼画像処理では、各々の認識対象物に応じて撮像部（１０２、１０３）へ要求する画像演算領域と露光制御値が異なるため、第一画像取得制御部１０８および第二画像取得制御部１０９は、ステレオ画像処理部１１２の要求値（画像演算領域及び露光制御値）と、第一の単眼画像処理部１１０及び第二の単眼画像処理部１１１の要求値（画像演算領域及び露光制御値）とのいずれを選択すべきか判断するために、認識処理フレーム切替部１１３からの情報を用いる。

第一画像取得制御部１０８および第二画像取得制御部１０９は、ステレオ画像処理部１１２の要求値、第一の単眼画像処理部１１０又は第二の単眼画像処理部１１１の要求値に基づいて、第一演算領域取得部１０４、第二演算取得部１０５、第一シャッタ制御部１０６又は第二シャッタ制御部１０７を制御する。

そして、第一画像取得制御部１０８は、第一演算領域取得部１０４が取得した画像を第一の単眼画像処理部１１０又はステレオ画像処理部１１２に伝送する。

また、第二画像取得制御部１０９は、第二演算領域取得部１０５が取得した画像を第二の単眼画像処理部１１１又はステレオ画像処理部１１２に伝送する。

図３は、上記内容を踏まえた上で、フレームに応じて第一および第二の撮像部１０２、１０３に対する設定処理の切替を説明するフローチャートである。

図３において、初めに、認識処理フレーム切替部１１３が指示する画像フレームで実施対象とすべき画像処理の確認を実行する（ステップＳ３０１）。当該画像フレームがステレオ画像処理１１２を実施するタイミングの場合（ステップＳ３０２でＹＥＳ）、ステレオ画像処理を実施する上で第一の撮像部１０２および第二の撮像部１０３の両撮像部に対して設定すべき制御値を取得する（ステップＳ３０３）。

当該画像フレームが単眼画像処理を実施するタイミングの場合（ステップＳ３０２でＮＯ）、第一の単眼画像処理１１０を実施する上で第一の撮像部１０２に設定すべき制御値の取得（ステップＳ３０４）と、第二の単眼画像処理１１１を実施する上で第二の撮像部１０３に設定すべき制御値の取得（ステップＳ３０５）を実施する。

各撮像部（第一の撮像部１０２、第二の撮像部１０３）に設定すべき制御値を取得したら、第一の撮像部１０２に対してシャッタ制御値の設定（ステップＳ３０６）と画像演算領域の設定（ステップＳ３０７）を行う。また、第二の撮像部１０３に対してもシャッタ制御値の設定（ステップＳ３０８）と画像演算領域の設定（ステップＳ３０９）を行う。

ここで、ステレオ画像を用いた立体物認識処理を実行するまでの流れの一例について、図２で示された同期信号に照らし合わせて説明する。

図４はステレオ画像を用いた立体物認識処理の実行についての説明図である。

図４において、第一の撮像部１０２および第二の撮像部１０３における画像取得同期信号４０１において、ステレオ処理用の画像取得タイミングの画像フレーム４０２では、ＣＭＯＳイメージセンサ等の撮像素子から出力された画像の画像取得処理４０３に行いながら、シェーディング補正やガンマ補正等の画像補正処理４０４を取得画像領域に応じて適切に実施する。

第一の撮像部１０２及び第二の撮像部１０３のそれぞれで画像補正処理４０４が完了した領域から、両画像の差分情報より視差演算処理４０５を実施し、視差演算処理４０５が必要領域に対して完了した時点で立体物認識処理４０６を実行する。

以降、同様にしてステレオ画像処理（ステレオ処理と同義）が実行される。

図４に対し、単眼画像を用いた単眼認識処理を実行するまでの流れの一例について説明する。図５は単眼画像を用いた単眼認識処理の実行についての説明図である。

図５において、第一の撮像部１０２における画像取得同期信号５０１にて、第一の単眼処理用画像取得タイミングの画像フレーム５０２では、図４のステレオ処理用画像取得タイミングと同様に、撮像素子から出力された画像取得処理５０３を行いながら、画像補正処理５０４を取得画像領域に応じて適切に実行する。

単眼認識処理では、第二の撮像部１０３で取得した画像との視差演算処理は不要のため、適切に画像補正処理５０４が完了した段階で第一の単眼画像処理５０５を実行する。

第二の撮像部１０３における画像取得同期信号５０６にて、第二の単眼処理用画像取得タイミングの画像フレーム５０７に対しても第一の撮像部１０２の場合と同様に、撮像素子から出力された画像取得処理５０８を行いながら、画像補正処理５０９を取得画像領域に応じて適切に実行する。

適切に画像補正処理５０９が完了した段階で第二の単眼画像処理５１０を実行する。

ここで、認識処理実行までの流れの一例として示した図４および図５に示したステレオ処理及び単眼処理を纏める。図６は、ステレオ処理及び単眼処理を纏めた一例の説明図である。

ステレオ画像処理と第一の単眼画像処理および第二の単眼画像処理を同一プラットフォームで実行する場合、図６に示した一例では、第一の撮像部１０２での画像同期信号６０１と、第二の撮像部１０３での画像同期信号６０２のようなタイミングで画像処理を行う場合において、ステレオ処理用画像取得タイミングの画像フレーム６０３、６０４の時、前ステレオ処理用画像フレームにおけるステレオ画像処理（立体物認識処理）のタイミングと、前単眼処理用画像フレームで取得した画像を元に第一の単眼画像処理および第二の単眼画像処理を実行するタイミングが重複する部分が存在する。

この場合、例えば、全処理を同一のＲＡＭで実行させると、ＣＰＵとＲＡＭ間のバストラフィックが増加し、システム全体の演算処理時間に対して遅延等の影響が発生する。

上記問題を解消するため、第一の撮像部１０２と第二の撮像部１０３で、それぞれ画像演算領域を独立制御させるようにする。

図７は、第一の撮像部１０２および第二の撮像部１０３の単眼認識処理における画像演算領域の一例を示す図である。

図７に示した例では、車両進行方向に対して左側に取り付けられた撮像部（第一の撮像部１０２又は第二の撮像部１０３）で取得した左カメラ画像７０１と、右側に取り付けられた撮像部（第二の撮像部１０３又は第一の撮像部１０２）で取得した右カメラ画像７０２を示している。

本実施例では、左右カメラ（第一の撮像部１０２及び第二の撮像部１０３）で標識認識処理を実行し、例えば左カメラ画像７０１では、第一の特定の認識対象物として路肩の看板標識７０３を想定し、右カメラ画像７０２では第二の特定認識対象物として道路上方の電光掲示板７０４を想定している。

ここで、左カメラの認識対象物である路肩の看板標識７０３の認識処理を実行するに当たって、左カメラの全撮像領域７０１の全てに対して画像演算処理を実行する必要は無く、認識対象物７０３を含んだ一定領域（第一の特定領域）７０５に絞って実行すれば良い。

右カメラの認識対象物である道路上方の電光掲示板７０４に対しても同様に、右カメラの全撮像領域７０２の全てに対して画像演算処理を実施する必要は無く、認識対象物７０４を含んだ一定領域（第二の特定領域）７０６に絞って実行すれば良い。

上記はステレオ画像処理についても同様で、特定の認識対象物に特化した画像演算領域を設定し、視差演算を実行すれば良い。

図８は、認識対象物に特化した画像演算領域を設定した場合における、認識処理を実行するまでの流れの一例を示した図である。

撮像部（第一の撮像部１０２、第二の撮像部１０３）ごとに画像演算領域を絞り込むため、画像補正、視差演算、認識処理（立体物認識処理、第一の単眼画像処理、第二の単眼画像処理）等の演算時間が短縮され、本実施例におけるステレオカメラ装置のシステム全体に対する処理負荷の軽減が見込まれ、同一プラットフォーム上において、複数の認識アプリケーションの並列実行に関する拡張性を広げることが可能となる。

以上のように、本発明の一実施例によれば、ステレオカメラを用いたステレオカメラ装置（画像処理装置）において、ステレオ処理用撮像タイミングにて、２つの撮像部（第一の撮像部１０２、第二の撮像部１０３）からの画像情報に基づいて、立体物処理を実行し、ステレオ処理用撮像タイミングとは異なる単眼処理用撮像タイミングにて、２つの撮像部からの別画像領域（特定画像領域）の画像情報に基づいて、２つの別箇の特定の情報を取得する単眼認識処理を実行するように構成される。

したがって、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置であるステレオカメラ装置を実現することができる。

なお、第一の単眼処理用画像取得タイミングのフレーム５０２と第二の単眼処理用のフレームと第二の単眼処理用画像取得タイミングのフレーム５０７とは、同一のタイミングとしてもよいし、互に異なるタイミングとしてもよい。

また、上述した例は、本発明を車両用の画像処理装置に適用した場合の例であるが、車両用に限らず、その他の移動体や、複数の撮像部からの画像を処理する監視装置等に適用することができる。

また、本発明は、少なくとも２つの画像撮像部を有し、これら２つの画像撮像部の画像演算領域が互いに異なるように構成すれば本発明は成立する。つまり、第一の撮像部１０２が撮像した第一画像と、第二の撮像部１０３が撮像した第二画像とを得る画像取得部（シャッタ制御部１０６及び１０７を含む）と、画像取得部が取得した第一画像から、第一の演算領域を得る第一演算領域取得部１０４と、画像取得部が取得した第二画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部１０５とを備える画像処理装置であれば本発明は成立する。

また、画像処理装置はステレオカメラ装置に適用可能であることは、もちろんのこと、ステレオカメラ装置以外の複数の撮像部を有する画像処理装置にも適用可能である。

また、本発明は、上述した実施例の内容に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０１・・・ステレオカメラ装置（画像処理装置）、１０２・・・第一の撮像部、
１０３・・・第二の撮像部、１０４・・・第一演算領域取得部、１０５・・・第二演算領域取得部、１０６・・・第一シャッタ制御部、１０７・・・第二シャッタ制御部、１０８・・・第一画像取得制御部、１０９・・・第二画像取得制御部、１１０・・・第一の単眼画像処理部、１１１・・・第二の単眼画像処理部、１１２・・・ステレオ画像処理部、１１３・・・認識処理フレーム切替部、
２０１・・・第一の撮像部の同期信号、２０２・・・第二の撮像部の同期信号、
４０１・・・画像取得同期信号、４０２・・・ステレオ画像取得タイミングのフレーム、４０３・・・画像取得処理、４０４・・・画像補正処理、４０５・・・視差演算処理、４０６・・・立体物認識処理、５０１・・・画像取得同期信号、５０２・・・第一の単眼処理用画像取得タイミングのフレーム、５０３・・・画像取得処理、５０４・・・画像補正処理、５０５・・・第一の単眼画像処理、
５０６・・・画像取得同期信号、５０７・・・第二の単眼処理用画像取得タイミングのフレーム、５０８・・・画像取得処理、５０９・・・画像補正処理、５１０・・・第二の単眼画像処理、６０１・・・画像同期信号、６０２・・・画像同期信号、６０３・・・ステレオ処理用画像取得タイミングのフレーム、６０４・・・ステレオ処理用画像取得タイミングのフレーム、７０１・・・左カメラ画像、７０２・・・右カメラ画像、７０３・・・路肩の看板標識、７０４・・・道路上方の電光掲示板、７０５、７０６・・・一定領域

Claims

第一の撮像部と、
第二の撮像部と、
前記第一の撮像部で得られる画像から、第一の演算領域を得る第一演算領域取得部と、
前記第二の撮像部で得られる画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部と、
前記第一の撮像部及び前記第二の撮像部の特定の画像領域における両方の画像を用いて視差演算を行い、立体物認識処理を行うステレオ画像処理部と、
前記第一の撮像部の画像を用いて、前記第一の演算領域における第一の特定認識対象物を認定する単眼画像処理を行う第一の単眼画像処理部と、
前記第二の撮像部の画像を用いて、前記第二の演算領域における前記第一の特定認識対象物とは異なる第二の特定認識対象物を認定する単眼画像処理を行う第二の単眼画像処理部と、
を備え、
前記第一の演算領域は、前記第一の特定認識対象物に基づいて設定された第一の特定領域であり、前記第二の演算領域は、前記第二の特定認識対象物に基づいて設定された第二の特定領域であり、前記第一の撮像部に対して前記第一の演算領域及び第一の露光制御値が算出され、前記第二の撮像部に対して前記第二の演算領域及び第二の露光制御値が前記第一の撮像部とは独立して算出されることを特徴とするステレオカメラ装置。
請求項１に記載のステレオカメラ装置において、
前記立体物認識処理を行うか、前記単眼画像処理を行うかを指令し、前記立体物認識処理を行う認識処理フレームと前記単眼画像処理を行う認識処理フレームとを切り替える認識処理フレーム切替部と、
前記認識処理フレーム切替部からの指令により、前記第一の単眼画像処理部又は前記ステレオ画像処理部からの要求値に従って、前記第一演算領域取得部が前記第一の撮像部から取得した画像を取得する第一画像取得制御部と、
前記認識処理フレーム切替部からの指令により、前記第二の単眼画像処理部又は前記ステレオ画像処理部からの要求値に従って、前記第二演算領域取得部が前記第二の撮像部から取得した画像を取得する第二画像取得制御部と、
を備えることを特徴とするステレオカメラ装置。
請求項２に記載のステレオカメラ装置において、
前記第一画像取得制御部は前記単眼画像処理を行うための第一の露光制御値を算出し、算出した前記第一の露光制御値に従って前記第一の撮像部の露光制御値を設定する第一露光制御部と、
前記第二画像取得制御部は前記単眼画像処理を行うための第二の露光制御値を算出し、算出した前記第二の露光制御値に従って前記第二の撮像部の露光制御値を設定する第二露光制御部と、
を備えることを特徴とするステレオカメラ装置。
請求項１、２、３のうちのいずれか一項に記載のステレオカメラ装置において、
前記ステレオカメラ装置は、車両に搭載される車載用カメラ装置であることを特徴とするステレオカメラ装置。