JP7361482B2 - 画像処理装置、撮像装置、移動体及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置、撮像装置、移動体及び画像処理方法に関する。

近年、自動車等の移動体に多数の撮像装置が搭載されている。例えば、撮像装置は、運転者が直接目視し難い車両の周辺の状況を運転者に向けて表示する用途に使用される。また、撮像装置は、車両の周辺に存在する人物、他の車両等の障害物、及び、路面上の車線等を認識して、車両の衝突回避のためのドライバへの警告、自動ブレーキ制御、及び、オートクルーズコントロールの為のアクセル制御等の運転支援に活用されている。

撮像装置は、自然な画像を再現するために、一般的に撮像した画像を自動的に調整する機能を有している。自動的に行われる調整には、オートホワイトバランスを含む色調整及び自動露出（ＡＥ）を含む輝度調整が含まれる。車両で使用される撮像装置は、一般に道路及び空を含む画像を取り込む。しかしながら、画像の一部に空が含まれ、空の青さに基づいてホワイトバランスが調整されると、被写体が赤味又は黄色味を帯びて、色再現性が低下することがある。このため、オートホワイトバランス用の測光範囲に空を含まないように設定する方法が提案されている（例えば、特許文献１参照）。

２０１６－２２５８６０

特許文献１に開示された方法では、撮像装置の設置高さを示す仮想的な高さ線よりも下方に測光範囲を設定することによって、空を測光範囲から除外するようにしている。しかしながら、この方法では、撮像装置の向き又は撮像装置を搭載した移動体の向きによっては、測光範囲に除外すべき空が含まれる場合がある。また、測光範囲に空が含まれていなくとも、測光範囲内に特定の色又は明るさに偏った被写体が大きな割合を占めている場合、画像調整に影響を与えることがある。

したがって、これらの点に着目してなされた本発明の目的は、撮像環境に影響を受け難く安定した画像調整を行うことができる画像処理装置、撮像装置、車両及び画像処理方法を提供することにある。

上記目的を達成する画像処理装置は、入力インターフェイスと、少なくとも１つのプロセッサとを備える。前記入力インターフェイスは、移動体の周辺領域を撮像した画像を取得する。前記少なくとも１つのプロセッサは、前記画像を処理する。前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動する道路を検出する第１の処理と、前記画像における前記道路の色に基づいて前記画像全体の色を調整するための調整パラメータを算出する第２の処理とを実行する調整用パラメータ算出部を有する。

上記目的を達成する撮像装置は、移動体に搭載される撮像装置であって、光学系と、少なくとも１つのプロセッサとを備える。前記少なくとも１つのプロセッサは、前記光学系により結像される周辺領域の画像を撮像するように構成される。前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動する道路を検出する第１の処理と、前記画像における前記道路の色に基づいて前記画像全体の色を調整するための調整パラメータを算出する第２の処理とを実行する。

上記目的を達成する移動体は、撮像装置を備える。前記撮像装置は、光学系、及び、少なくとも１つのプロセッサを含む。前記少なくとも１つのプロセッサは、前記光学系により結像される周辺領域の画像を撮像するように構成される。前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動する道路を検出する第１の処理と、前記画像における前記道路の色に基づいて前記画像全体の色を調整するための調整パラメータを算出する第２の処理とを実行する。

上記目的を達成する画像処理方法は、移動体の周辺領域を撮像した画像を取得し、前記画像から前記移動体が移動する道路を検出する第１の処理を実行することを含む。前記画像処理方法は、前記画像における前記道路の色に基づいて前記画像全体の色を調整するための調整パラメータを算出する第２の処理を実行することを含む。前記画像処理方法は、前記調整パラメータに基づいて前記画像を調整して表示用の画像を生成することを更に含む。

本開示の実施形態によれば、撮像環境に影響を受け難く安定した画像調整を行うことができる。

本開示の一実施形態に係る撮像装置を搭載した車両示す図である。 一実施得形態に係る撮像装置の概略構成を示すブロック図である。 図２の演算部の概略構成の一例を示す図である。 移動体の周辺領域を撮像した画像の一例を示す図である。 図４に示した画像に基づくフリースペース検出のイメージ図である。 画像処理装置の処理の手順の一例を示すフローチャートである。

以下、本開示の複数の実施形態の一つについて、図面を参照して説明する。

（移動体における配置）
本開示の一実施形態の撮像装置１０は、移動体に搭載される。図１は、移動体の一例としての車両１における、撮像装置１０の搭載位置を例示する図である。車両１に搭載される撮像装置１０は、車載カメラと呼ぶことができる。撮像装置１０は、車両１の種々の場所に設置することができる。例えば、撮像装置１０ａは、車両１が走行する際の前方を監視するカメラとして、フロントバンパー又はその近傍に配置することができる。また、前方を監視する撮像装置１０ｂは、車両１の車室内のルームミラー（Inner Rearview Mirror）の近傍に配置することができる。撮像装置１０ｃは、車両１の後方モニター用に車両１の後部に設置することができる。撮像装置１０は、これらに限られず、左後ろ側方を撮像する左サイドカメラ及び右後ろ側方を撮像する右サイドカメラ等、種々の位置に設置される撮像装置１０を含む。

撮像装置１０により撮像された画像の画像信号は、車両１内の情報処理装置２、又は、表示装置３等に出力されることができる。車両１内の情報処理装置２は、画像から得られた情報に基づいて、運転者の運転を支援する装置を含む。情報処理装置２は、例えば、ナビゲーション装置、衝突被害軽減ブレーキ装置、車間距離制御装置、及び、車線逸脱警報装置等を含むが、これらに限定されない。表示装置３は、撮像装置１０から直接、又は、情報処理装置２を介して画像信号を受信することができる。表示装置３は、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、及び、無機ＥＬディスプレイを採用しうるが、これらに限定されない。表示装置３は、種々の状況で、撮像装置１０により出力された画像を表示することができる。例えば、表示装置３は、リアカメラ等の運転者から視認しづらい位置の画像を撮像する撮像装置１０から出力された画像信号を、運転者に対して表示することができる。

なお、本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。以下において、「移動体」は「車両」であるものとして説明する。以下の実施形態において、「車両」は、「移動体」と読み替えることができる。

（撮像装置の構成）
本開示の一実施形態に係る撮像装置１０は、図２に示すように、光学系１１、撮像素子１２、及び、画像処理装置１３を含んで構成される。光学系１１、撮像素子１２、及び画像処理装置１３は、１つの筺体に収容されてよい。あるいは、光学系１１及び撮像素子１２と、画像処理装置１３とは別の筺体に収容されてよい。

光学系１１は、撮像装置１０に入射する車両１の周辺領域の被写体の像を撮像素子１２の撮像面に結像させる。光学系１１は、１つ以上の光学素子により構成される。光学素子は、レンズを含むことができる。光学素子は、ミラー、絞り、光学フィルター等の他の光学素子を含みうる。

撮像素子１２は、光学系１１により結像される車両１の周辺領域の画像を撮像する。撮像素子１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及び、ＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む固体撮像素子の何れかを採用することができる。撮像素子１２は、受光面に結像した光を光電変換することによって、周辺領域の画像を電気信号に変換して出力する。撮像素子１２は、例えば、所望のフレームレートで、周辺領域の画像を連続的に撮像可能である。

（画像処理装置の構成）
画像処理装置１３は、撮像素子１２から出力された画像に対して種々の処理を行う。光学系１１及び撮像素子１２と画像処理装置１３とが別の筺体に収容されている場合、画像処理装置１３は、入力インターフェイス１４と、演算部１５と、出力インターフェイス１６とを含む。光学系１１及び撮像素子１２と画像処理装置１３とが１つの筺体に収容されている場合、入力インターフェイス１４は不要となる。以下では、光学系１１及び撮像素子１２と画像処理装置１３とが別の筺体に収容されているものとして説明をする。なお、画像処理装置１３は、外部から画像を取得する独立した装置として構成することができる。

入力インターフェイス１４は、画像処理装置１３の外部から画像を取得する。撮像装置１０に含まれる画像処理装置１３は、撮像素子１２から画像を取得する。入力インターフェイス１４は、入力される画像信号の伝送方式に応じたコネクタを有する。例えば、入力インターフェイス１４は、物理コネクタを含む。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、IEC60603に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。入力インターフェイス１４は、無線通信機を含むことができる。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。入力インターフェイス１４は、取得した画像信号に対して、受信に係るプロトコル処理及び復調等の処理を行い、演算部１５に引き渡す。

演算部１５は、車両１が移動可能な領域を検出する第１の処理と、車両１が移動可能な領域に基づいて表示用の画像（以下適宜「表示用画像」とする）を調整するための調整パラメータを算出する第２の処理とを実行する。

演算部１５は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、及び特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）及び特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。演算部１５は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。プロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。

演算部１５は、入力インターフェイス１４から取得した画像に種々の調整を行うとともに、画像に含まれる被写体及びフリースペースの認識処理を行う。「フリースペース」とは、移動体の移動可能な領域を意味する。撮像装置１０が搭載される移動体が車両１の場合、「フリースペース」は、車両１の走行可能な道路表面の領域（路面領域）を意味する。演算部１５は、上述の画像処理に加え、画像処理装置１３全体を制御してよい。さらに、演算部１５は、撮像装置１０全体を制御してよい。演算部１５は、撮像素子１２を制御して、任意のフレームレートで連続撮像を実行させてよい。演算部１５は、撮像素子１２が連続撮像した画像を順次取得してよい。演算部１５は、後述する出力インターフェイス１６を介して、適宜表示用画像及び画像処理により得られた情報等を出力してよい。演算部１５の行う画像処理の詳細については、後述される。

出力インターフェイス１６は、画像処理装置１３から表示用画像及び他の画像処理により得られた情報を出力する。出力インターフェイス１６は、情報送信のための送信される情報の変調、プロトコル処理を行ってよい。出力インターフェイス１６は、物理コネクタ、及び無線通信機が採用できる。複数の実施形態の１つにおいて、移動体が車両１の場合、出力インターフェイス１６は、ＣＡＮ（Control Area Network）等の車両のネットワークに接続することができる。画像処理装置１３は、ＣＡＮを介して車両の情報処理装置２、及び表示装置３等に接続される。出力インターフェイス１６を介して出力された情報は、情報処理装置２、及び表示装置３の各々で適宜利用される。

図２において入力インターフェイス１４と出力インターフェイス１６とは分かれているが、これに限られない。入力インターフェイス１４と出力インターフェイス１６とは、１つの通信インターフェイス部によって具現化されてよい。

（演算部の処理）
演算部１５は、取得した車両１の周辺領域を撮像した画像（以下、適宜「周辺画像」とする）に対し、被写体及びフリースペースの検出を含む画像認識処理と、表示装置３に表示するための画像調整及び表示用画像の生成を含む表示用画像生成処理を行う。このため、演算部１５は、認識用画像調整部１７、画像認識部１８、調整用パラメータ算出部１９、表示用画像調整部２０、表示用画像生成部２１の各機能ブロックを含んで構成されることができる。認識用画像調整部１７及び画像認識部１８は、画像認識処理を実行する。表示用画像調整部２０及び表示用画像生成部２１は、表示用画像生成処理を実行する。調整用パラメータ算出部１９は、表示用画像生成処理に用いる画像調整用のパラメータ（以下、調整パラメータと呼ぶ）を算出する。調整パラメータは、画像認識処理に用いることもできる。

演算部１５の各機能ブロックは、ハードウェアモジュールであってもよく、ソフトウェアモジュールであってもよい。各機能ブロックの実行する動作は、演算部１５が実行するものと言い換えることができる。演算部１５が実行する動作は、演算部１５を構成する少なくとも１つのプロセッサが実行するものと言い換えることができる。各機能ブロックの機能は、複数のプロセッサによって分散して実行されてよい。また、単一のプロセッサが複数の機能ブロックの機能を実行してよい。

演算部１５は、種々のハードウェア構成を採りうる。一例として、本実施形態では、演算部１５は、図３に示すようにそれぞれ１つ以上のプロセッサを含む、画像信号処理回路２２、歪み補正回路２３、画像認識回路２４及び制御回路２５を含むものとする。画像信号処理回路２２、歪み補正回路２３、画像認識回路２４及び制御回路２５は、それぞれ１以上のメモリを含みうる。演算部１５の各機能ブロックは、画像信号処理回路２２、歪み補正回路２３、画像認識回路２４及び制御回路２５を使用して処理を実行しうる。

画像信号処理回路２２は、撮像素子１２から取得した周辺画像の画像信号に対して、色補間、輝度調整、ホワイトバランスを含む色調整、ガンマ補正、ノイズリダクション、エッジ強調、シェーディング等を含む処理を実行する。画像信号処理回路２２は、ＩＳＰ（Image Signal Processor）によって実現され得る。ＩＳＰは、撮像素子１２から取得した画像信号に対して各種の画像処理を行う画像処理専用のプロセッサである。ＩＳＰは、例えばＦＰＧＡ等により構成される。画像信号処理回路２２は、フレームバッファに画像を格納し、高速処理ができるようにパイプライン処理を行うことができる。

歪み補正回路２３は、画像信号処理回路２２から出力された調整された画像に対して、光学系１１により生じる歪み及び幾何学的歪の補正を行う。車両１に搭載される撮像装置１０は、魚眼レンズ等の広角レンズを用いることが多いので、画像の周縁部ほど歪曲した画像となる。歪み補正回路２３は、種々の技術を用いて歪みを補正することができる。例えば、歪み補正回路２３は、歪みを有する画像の画素位置を、歪みを補正した画像の画素位置へ座標変換することができる。

画像認識回路２４は、歪み補正回路２３により歪み補正された画像に対して、画像認識処理を行う。具体的には、画像認識処理は、画像内の被写体及びフリースペースの検出を含む。フリースペースは、画像から空及び車両１の移動の障害となる被写体の撮像された領域を除いた領域として検出されうる。

画像認識回路２４は、ディープラーニングを含む機械学習を使用した認識処理を行うことができる。画像認識回路２４は、機械学習による学習済みのモデルを使用して、人物、車両、自転車などの被写体の検出と、フリースペースの検出を行う。このため、画像認識回路２４は、専用の画像認識用のプロセッサを搭載することができる。画像認識用のプロセッサは、例えば、機械学習で使用される畳み込みニューラルネットワークを用いた画像判別処理を実装する。自動車分野において、撮像装置から取得した画像に基づいて、フリースペースを検出する技術は、近年多くの研究がなされている。機械学習の結果、フリースペースを精度高く検出できることが知られている。

制御回路２５は、例えば汎用のマイクロプロセッサを含み、画像信号処理回路２２、歪み補正回路２３、画像認識回路２４を含む、演算部１５全体の処理を制御する。制御回路２５は、認識用画像調整部１７、画像認識部１８、調整用パラメータ算出部１９、表示用画像調整部２０、表示用画像生成部２１の各機能ブロックの処理を実行する。制御回路２５は、画像処理装置１３全体を制御してよい。制御回路２５は、撮像装置１０全体を制御してよい。

以下に、認識用画像調整部１７、画像認識部１８、調整用パラメータ算出部１９、表示用画像調整部２０、表示用画像生成部２１の各機能ブロックについて説明する。

認識用画像調整部１７は、入力インターフェイス１４を介して取得した車両１の周辺画像に対して、画像認識用の調整を行う。画像認識用の調整には、画像信号処理回路２２を使用する。認識用画像調整部１７は、前のフレームの後述する調整パラメータに従って、周辺画像を調整することができる。調整パラメータは、画像の色及び輝度の少なくとも何れかに関する調整用のパラメータを含む。認識用画像調整部１７は、調整パラメータに従い、画像認識用に画像の調整を行うことができる。また、認識用画像調整部１７は、ガンマ補正、エッジ強調、シェーディング補正等の補正処理を、被写体及びフリースペースの検出精度を高くするように設定されたパラメータに従って実行してよい。

認識用画像調整部１７は、さらに、画像信号処理回路２２から出力された画像に対して歪み補正回路２３を用いて歪み補正を行うことができる。光学系１１に起因する歪み等のため、画像全体について歪み補正をすると、画像の周辺部に暗い部分及び撮像素子１２の形状である長方形の外形から大きく変形した部分が生じるが、認識用画像調整部１７は、後段の画像認識用にこれらの部分を含めて出力することができる。

画像認識部１８は、認識用画像調整部１７により周辺画像から画像認識用に調整された認識用画像に対して、被写体及びフリースペースの検出を行う処理（第１の処理）を実行する。図４及び図５を参照して、画像認識部１８の処理を説明する。図４は、撮像素子１２から入力インターフェイス１４を介して取得した周辺画像の想定例である。この場合、撮像装置１０は車両１の前方を監視する車載カメラである。周辺画像には、道路の路面３１、空３２、人３３、他車両３４及び、樹木、建物、ガードレール等の他の被写体が含まれうる。路面３１は、舗装された路面の色（例えば、灰色）を基調とする道路の表面である。空３２は、晴れた日の青空である。

画像認識部１８は、画像認識回路２４を用いて、機械学習により人３３及び他車両３４等の被写体及びフリースペースを検出する。図５は、図４に対応して画像認識部１８により検出されたフリースペース３５を網掛けして示している。フリースペース３５は、画像の全領域から空３２の領域、並びに、車両１の移動の障害となる人３３、他車両３４、及び、樹木、建物、ガードレール等の他の被写体の領域を除いた領域となっている。画像認識回路２４は、ディープラーニング等の機械学習を用いた画像認識により、周辺画像に含まれる被写体及びフリースペース３５を精度高く検出することができる。図５では、人３３及び他車両３４等の被写体は、これら被写体を囲む矩形の枠で示されている。フリースペースはこれらの枠内の領域が除外された領域となっている。しかし、フリースペースは、画像上における被写体そのものが表示された領域のみを除いた領域とすることができる。

画像認識部１８は、出力インターフェイス１６を介して、画像認識処理の結果得られた情報を車両内の情報処理装置２等へ出力することができる。出力される情報は、例えば、被写体の種類、大きさ及び画像内の位置を含む。画像認識結果の情報は、種々の用途に使用することが可能である。例えば、画像認識部１８は、検出した車両１の移動の障害となる被写体の情報を、衝突被害軽減ブレーキ装置、車間距離制御装置等の情報処理装置２に対して送信することができる。車両１の情報処理装置２は、画像認識部１８から取得した情報に基づいて、車両１を制御することができる。

調整用パラメータ算出部１９は、フリースペースの領域の表示に基づいて、表示用画像調整部２０で表示用画像を調整するために使用する調整パラメータを算出する処理（第２の処理）を実行する。前述のようにフリースペースは、路面を示している。路面は、太陽等の周辺環境の光に対して、概して周知の色及び輝度を有している。例えば、路面は、一般的には舗装に用いられるアスファルトの灰色である。したがって、フリースペースの色を基準としてホワイトバランス等の色調整を行えば、空又は特定の色に偏った被写体の影響を受け難い。フリースペースの色としては、フリースペース全体の色を平均してよい。又は、フリースペースの色は、フリースペースから特定の領域を切り出して判定してよい。色調整は、表示用画像のフリースペースのＲ，Ｇ，Ｂの各色成分の平均が、特定の値となるように調整することができる。また、調整用パラメータ算出部１９は、フリースペースの平均の輝度に基づいて、表示用画像の平均の輝度を調整してよい。調整パラメータは、輝度調整用のパラメータ及び色調整用のパラメータの少なくとも１つを含むことができる。

調整用パラメータ算出部１９は、フリースペースに対して照射される光の光源に関する情報を更に取得することができる。フリースペースに対して照射される光は、太陽光、街灯の光、車両１の発する光等が含まれる。光源の情報には、時刻、天候、移動中の場所等の情報が含まれる。調整用パラメータ算出部１９は、撮像装置１０が有する時計、撮像装置１０の有するセンサ、並びに、車両１及び他の情報源との間の通信手段等により光源の情報を取得しうる。

調整用パラメータ算出部１９は、光源の情報を考慮して、調整パラメータを算出してよい。例えば、晴れた日の昼間にフリースペースに太陽光が照射されている場合、調整用パラメータ算出部１９は、フリースペースを調整パラメータを算出するために使用する。この場合、フリースペースの明るさは、画像全体の平均的な明るさよりも暗くなると考えられる。このため、調整用パラメータ算出部１９は、フリースペースから得られた輝度に対して、オフセットをかけて適切な輝度となるように、調整パラメータを算出する。すなわち、路面であるフリースペースの輝度が、平均の輝度となるように、画像全体の輝度が調整されるのではなく、フリースペースの輝度を基準にして画像全体の輝度が算出される。

また、調整用パラメータ算出部１９は、夜間においては、時計、明るさセンサ、撮像装置１０自身のシャッタースピード等から夜間であることを認識することができる。夜間の場合、調整用パラメータ算出部１９は、フリースペースに他の車両のブレーキランプの赤い光が照射されていることを想定して、表示画像のホワイトバランス等の色の調整処理をすることができる。この場合、調整用パラメータ算出部１９は、フリースペースの色が赤味がかった色となるようにオフセットを設定して、ホワイトバランスを調整する調整用パラメータを算出する。これによって、表示用画像を正しい色味に調整することが可能になる。

さらに、調整用パラメータ算出部１９は、車両１のナビゲーション装置等から特定のトンネル内を走行していることを示す情報を取得することができる。その場合、調整用パラメータ算出部１９は、フリースペースである路面が特定の色（低圧ナトリウムランプによるオレンジ色等）で照明されていることを前提として、表示用画像のホワイトバランス等の色の調整をすることができる。この場合、調整用パラメータ算出部１９は、フリースペースの色がオレンジの色味がかった色となるようにオフセットを設定して、ホワイトバランスを調整する調整用パラメータを算出する。

調整用パラメータ算出部１９は、必要な場合、次のフレームの画像の認識用画像の調整のために、調整パラメータを認識用画像調整部１７に引き渡すことができる。認識用画像調整部１７に引き渡す調整パラメータは、表示用画像の調整に用いる調整パラメータと異ならせてよい。例えば、調整パラメータ算出部１９は、フリースペースの色又は輝度に対して設定する前述の各オフセットの値を異ならせることができる。

表示用画像調整部２０は、画像信号処理回路２２を使用して、撮像素子１２から入力インターフェイス１４を介して取得した周辺画像に対して、調整パラメータにより画像表示用に適した調整を実行する。このため、画像信号処理回路２２は、取得した周辺画像を認識用画像とは別に、表示用画像として複製してよい。従来、撮像装置により撮像した画像に空が含まれ、空の明るさに基づいて輝度調整がなされると、画像全体が暗くなってしまうことがあった。また、空の青色に合わせてホワイトバランスの調整が行われると、画像が自然な画像と異なる色となることがあった。本開示の撮像装置１０において、表示用画像は、輝度及び色の特性が安定した路面であるフリースペースに基づいて調整されるので、再現性の高い輝度及び色の少なくとも何れかの調整が可能になる。さらに、表示用画像調整部２０は、表示用画像を調整するために、ガンマ補正、ノイズリダクション、エッジ強調、シェーディング補正等を含む他の補正処理を実行してよい。

表示用画像調整部２０は、さらに、画像信号処理回路２２から出力された画像に対して歪み補正回路２３を用いて歪み補正を行う。歪み補正をすると、画像の周辺部に暗い部分及び撮像素子１２の形状である長方形の外形から大きく変形した部分が生じる。認識用画像調整部１７は、歪み補正をした画像から、表示用に例えば表示装置３における表示に適した長方形の形状をした一部の領域を切り出す。

表示用画像生成部２１は、表示用画像調整部２０で表示用に調整された表示用画像を、出力インターフェイス１６を介して出力する。表示用画像は、車両１の表示装置３に表示されることができる。表示用画像生成部２１は、表示用画像に種々の加工を行って出力してよい。例えば、表示用画像生成部２１は、表示用画像に車両１の進行方向を示すガイド線を付加してよい。

（画像処理方法）
次に、図６を参照して、演算部１５が行う画像処理の手順を説明する。画像処理装置１３は、以下に説明する演算部１５が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。

まず、演算部１５は、撮像素子１２から入力インターフェイス１４を介して周辺画像を取得する（ステップＳ０１）。演算部１５は、周辺画像を時間的に連続的に取得することができる。以下の説明において、演算部１５が取得する順次の周辺画像のうち、任意の連続する２つのフレームの画像を第１の画像及び第２の画像とする。演算部１５は、取得した各フレームの画像を複製し、認識用画像と表示用画像とし、それぞれをフレームバッファに格納する。

演算部１５の認識用画像調整部１７が、第１の画像から複製した認識用画像に対して画像認識用の調整を行う（ステップＳ０２）。画像認識用の調整には、調整パラメータを使用することができる。ここで、調整パラメータは、第１の画像の前のフレームの周辺画像に基づいて、調整用パラメータ算出部１９により算出されたものである。画像認識用の調整に、調整パラメータを使用することは必須ではない。

ステップＳ０２で認識用に調整された画像に対して、演算部１５の画像認識部１８が、車両１の移動の障害になる被写体の領域及びフリースペースの領域の検出を行う（ステップＳ０３）。フリースペースの検出には、ディープラーニングを含む機械学習を利用することができる。

画像認識部１８は、必要に応じて、ステップＳ０３で得られた情報を、出力インターフェイス１６を介して出力する（ステップＳ０４）。画像認識部１８は、例えば、検出された被写体の種類、位置及び画像内での大きさ等の情報を、車両１の情報処理装置２に出力してよい。ステップＳ０４は、必須のステップではない。

演算部１５の調整用パラメータ算出部１９は、ステップＳ０３で得られたフリースペースの領域の画像を使用して、調整パラメータを算出する（ステップＳ０５）。調整用パラメータ算出部１９は、算出した調整パラメータにより、画像信号処理回路２２で、表示用画像の調整に使用される調整パラメータを更新する。第１の画像に基づいて算出された調整パラメータは、第１の画像から複製された表示用画像の調整に使用することができる。

また、調整用パラメータ算出部１９は、算出した調整パラメータにより、画像信号処理回路２２で認識用画像の調整に使用される調整パラメータを更新することができる。

演算部１５の表示用画像調整部２０は、第１の画像から複製された表示用画像に対して調整パラメータを使用して、画像表示用の調整を行う（ステップＳ０６）。

演算部１５の表示用画像生成部２１は、表示用画像調整部２０により調整された表示用画像を、出力インターフェイス１６を介して出力する（ステップＳ０７）。表示用画像は、例えば、車両１の表示装置３に表示される。

演算部１５は、画像処理装置１３又は撮像装置１０の電源がオフされる等により、終了を支持する信号を受けた場合、処理を終了する（ステップＳ０８：Ｙｅｓ）。それ以外の場合、（ステップＳ０８：Ｎｏ）、演算部１５は、順次撮像素子１２から入力インターフェイス１４を介して取得する周辺画像の画像フレームに対して、ステップＳ０１～Ｓ０７の処理を繰り返す。第１の画像に続く第２の画像から複製された認識用画像の調整（ステップＳ０２）では、第１の画像に基づいて算出された調整パラメータが使用される。

以上説明したように、本実施形態によれば、輝度及び色の特性が安定した路面に対応する車両１の移動可能な領域の画像に基づいて表示用画像の調整を行うので、撮像環境に影響を受け難く安定した画像調整を行うことができる。本実施形態の画像処理装置１３により得られる画像は、色の再現性及び輝度の再現性の双方又は何れか一方が高いことが期待できる。

また、本実施形態では、ディープラーニングを含む機械学習を用いて、上記車両１の移動可能な領域として、フリースペースを検出する。このため、空及び車両１の移動の障害となる被写体の存在する領域を除く、フリースペースを正確に検出することができる。このため、表示用画像の輝度及び色の双方又は何れか一方の再現性を更に高くすることができる。

さらに、本実施形態では、移動体の移動可能な領域（フリースペース）に対して照射される光源に関する情報を取得し、光源の情報を考慮して、表示用画像を調整するための調整パラメータを算出する第２の処理を実行する。これにより、車両１の周囲の照明環境に応じた適切な画像を表示することができる。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

例えば、上記実施形態において、移動体を車両として説明したが、移動体は船舶または航空機であってよい。例えば、移動体が船舶の場合、フリースペースは海面とすることができる。その場合、画像処理装置は、平均的な海面の色及び輝度を基準として、表示用画像を調整することができる。

上記実施形態において、演算部の画像認識部は、被写体の検出及びフリースペースの検出の双方を行うものとして説明した。しかし、被写体の検出とフリースペースの検出とは、独立して行うことができる。また、被写体の検出は必須ではない。本開示の画像処理装置の演算部は、フリースペースのみを検出し、調整パラメータを算出してよい。

また、上記実施形態において、第１の画像に基づいて算出した調整用パラメータを第１の画像から複製した表示用画像の調整に使用するものとしたが、本発明はこれに限られない。例えば、第１の画像に基づいて算出した調整用パラメータは、次のフレームである第２の画像から複製した表示用画像の調整に使用されてよい。さらに、上記実施形態では、フレームごとにフリースペースの認識処理及び調整パラメータの算出処理を行うものとした。しかし、フリースペースの認識処理及び調整パラメータの算出処理は、数フレームおきに間欠的に行ってもよい。その場合、算出された調整パラメータは、次の調整パラメータの算出までの、複数のフレームの画像の調整に使用されてよい。

１ 車両
２ 情報処理装置
３ 表示装置
１０ 撮像装置
１１ 光学系
１２ 撮像素子
１３ 画像処理装置
１４ 入力インターフェイス
１５ 演算部
１６ 出力インターフェイス
１７ 認識用画像調整部
１８ 画像認識部
１９ 調整用パラメータ生成部
２０ 表示用画像調整部
２１ 表示用画像生成部
２２ 画像信号処理回路
２３ 歪み補正回路
２４ 画像認識回路
２５ 制御回路
３１ 路面
３２ 空
３３ 人（被写体）
３４ 他車両（被写体）
２５ フリースペース
４０ 車両
４１ 情報処理装置
４２ 表示装置

Claims (1)

1. 移動体の周辺領域を撮像した画像を取得する入力インターフェイスと、
   前記画像を処理する少なくとも１つのプロセッサと
   を備え、
   前記少なくとも１つのプロセッサは、ナビゲーション装置から前記移動体がトンネル内を走行していることを示す情報を取得した場合に、前記画像において道路がオレンジの色味がかかった色となるように当該画像を調整する
   画像処理装置。

Images