JP6314667B2 - 撮像装置、画像補正プログラムおよび画像処理装置 - Google Patents

Description

本発明は、撮像装置、画像補正プログラムおよび画像処理装置に関する。

蛍光灯などの照明光のもとで撮像装置により画像を撮像すると、電源周波数に応じた照明光の周期的な明るさの変動によって画像データに輝度値のムラが生じ、画像のちらつきとなって現れることがある。このような現象はフリッカと呼ばれる。フリッカを抑制するための技術としては、例えば、特許文献１に記載の技術や特許文献２に記載の技術などが知られている。

特許文献１には、入力画像の１フレーム分のフレーム輝度と、フレーム輝度を時間軸で平滑化して得られる平均輝度との差分を求め、差分値を入力画像の各画素の輝度値に減算または加算することで、面間フリッカを抑制する技術が開示されている。面間フリッカは、グローバルシャッタ方式により撮像を行った場合に生じるフレーム間の輝度値のムラに起因するフリッカである。

また、特許文献２には、第１電源周波数に基づくフリッカを低減させる第１電子シャッタ速度と、第２電源周波数に基づくフリッカを低減させる第２電子シャッタ速度とのいずれかを設定して撮像を行うことで、面内フリッカを抑制する技術が開示されている。面内フリッカは、ローリングシャッタ方式により撮像を行った場合に生じるフレーム内の輝度値のムラに起因するフリッカである。

ところで、近年では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが広く普及したことにより、ローリングシャッタ方式で撮像を行う撮像装置が主流になってきている。また、近年では、光通信技術の進展に伴って、光源の点滅により通信を行う通信機が様々なシーンで利用されている。このような通信機の光源は電源周波数とは非同期で点滅するが、通信機の近くで画像の撮像を行うと、光源の点滅の影響を受けて、撮像された画像にフリッカと同様の現象が生じる場合がある。このため、ローリングシャッタ方式で撮像を行う場合に、電源周波数とは非同期で点滅する光源の影響による画像のちらつきを抑制することが求められている。

しかし、特許文献１に記載の技術では、グローバルシャッタ方式により撮像を行った場合の画像のちらつきを抑制することはできるが、ローリングシャッタ方式により撮像を行った場合の画像のちらつきを抑制することはできない。また、特許文献２に記載の技術では、電源周波数に応じた照明光の周期的な明るさの変動に起因する画像のちらつきを抑制することはできるが、電源周波数と非同期で点滅する光源の影響による画像のちらつきを抑制することはできない。

上述した課題を解決するために、本発明は、光学系と、前記光学系により結像された光学像をローリングシャッタ方式により撮像して画像データを出力する撮像部と、前記撮像部が出力する画像データを補正する補正部と、を備え、前記補正部は、補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、該差分が第１の閾値以上の前記部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正することを特徴とする。

本発明によれば、ローリングシャッタ方式で撮像を行う場合に、電源周波数とは非同期で点滅する光源の影響による画像のちらつきを抑制することができるという効果を奏する。

図１は、実施形態の車載カメラが搭載されたバスの内部の運転席周辺を模式的に示す図である。 図２は、光源の点滅による影響を説明する図である。 図３は、実施形態の車載カメラのハードウェア構成例を示す図である。 図４は、補正部の詳細を説明する機能ブロック図である。 図５は、補正部による処理手順の一例を示すフローチャートである。 図６は、ＣＭＯＳイメージセンサの分光感度を示す図である。 図７は、補正部による処理手順の一例を示すフローチャートである。 図８は、補正部の詳細を説明する機能ブロック図である。 図９は、画像データの位置ずれ量を説明する図である。 図１０は、補正部の詳細を説明する機能ブロック図である。 図１１は、補正範囲を決定する様子を模式的に示す図である。 図１２は、実施形態の画像処理装置の概略構成図である。

以下に添付図面を参照しながら、本発明の一実施形態に係る撮像装置、画像補正プログラムおよび画像処理装置について詳しく説明する。以下で説明する実施形態は、公共車両優先システム（ＰＴＰＳ）を利用するバスに搭載される車載カメラに本発明を適用した例であるが、適用可能な例はこれに限らない。本発明は、電源周波数とは非同期で点滅する（点滅が周期的でない）光源からの光の影響によって輝度値のムラが生じる画像を補正する技術として広く適用できる。

（第１の実施形態）
まず、本実施形態の車載カメラの配置例について、図１を参照して説明する。図１は、本実施形態の車載カメラ１が搭載されたバスＢ（車両の一例）の内部の運転席周辺を模式的に示す図である。

本実施形態の車載カメラ１は、例えば図１に示すように、バスＢのルーフ部に設置される。この車載カメラ１は、バスＢの内部からフロントガラスＦＧ（車両ウィンドウの一例）を介して、車外の様子を動画として撮像する。車載カメラ１は、後述するように撮像素子としてＣＭＯＳイメージセンサを用い、ローリングシャッタ方式で画像の撮像を行う。車載カメラ１により撮像された画像は、例えばドライブレコーダに記録される。

また、バスＢの内部には、例えばセンターコンソール部などに通信機２が設置されている。この通信機２は、赤外光を出射する光源の点滅により、路上に設置された光ビーコン３と通信する。光ビーコン３は、バスＢの内部に設置された通信機２との通信により、バスＢが光ビーコン３の近傍を通過していることを認識し、その情報を交通管制センタに通知する。交通管制センタでは、光ビーコン３からの通知に基づいてバスＢの動向を把握し、バスＢが近づいている交差点の信号を赤から青に切り替えたり、青の時間を延長したりすることで、公共車両であるバスＢが交差点を優先的に通過できるように制御する。このような仕組みは、公共車両優先システムと呼ばれる。

通信機２は、バスＢが光ビーコン３の近傍を通過する際に確実に光ビーコン３と通信できるように、所定間隔で定期的に光源を動作させる。それぞれの動作タイミングでの光源の点滅パターンは、通信機２が送信する信号に応じて決まる。このため、光源の点滅は、通信機２の電源周波数とは非同期である。

通信機２の光源が点灯すると、光源からの赤外光はバスＢのフロントガラスＦＧを透過して車外の光ビーコン３により受光されるが、その一部はフロントガラスＦＧで反射して、車載カメラ１の光学系に入射する。つまり、車載カメラ１は、通信機２の光源からの赤外光が映り込むフロントガラスＦＧを介して、車外を撮像することになる。通信機２の光源からの赤外光は、人の目では感知できない光であるが、車載カメラ１で撮像すると輝度の増加として現れる。このため、特に夜間に撮像した画像のように全体的に暗い低輝度の画像では、通信機２の光源が点滅することの影響によって輝度値のムラが生じ、画像のちらつきの要因となる。車載カメラ１はローリングシャッタ方式で画像を撮像するため、輝度値のムラは画像のフレーム内で発生し、面内フリッカと同様の現象となる。

図２は、光源の点滅による影響を説明する図である。ローリングシャッタ方式で画像を撮像する場合、ラインごとに露光のタイミングと読み出し時間が異なるため、光源が点灯している間に露光を行ったラインと、光源が消灯している間に露光を行ったラインとで輝度値の差が生じる。そして、このライン間の輝度値の差によって画像上に横縞状の輝度値のムラが生じ、連続するフレームの画像を動画として再生すると画像がちらついて見える。本実施形態の車載カメラ１は、このような通信機２の光源が点滅することの影響による輝度値のムラをなくすように、撮像した画像を補正する機能を持つ。具体的には、光源が点灯している間に露光を行ったラインの輝度値を、光源が消灯している（点灯していない）間に露光を行ったラインの輝度値に近づけるように補正する。以下では、このような機能を持つ車載カメラ１の具体的な構成例について説明する。

図３は、本実施形態の車載カメラ１のハードウェア構成例を示す図である。車載カメラ１は、図１に示すように、光学系１０と、センサＩＣ（Integrated Circuit）２０と、画像処理ＩＣ３０と、車載カメラ１全体の動作を制御するＣＰＵ（Central Processing Unit）４０とを備える。

光学系１０は、被写体の光学像（本実施形態では、バスＢのフロントガラスＦＧを透過した車外の光学像）を結像するための光学素子である。図３では、光学系１０を単レンズで図示しているが、複数のレンズを組み合わせた構成であってもよい。

センサＩＣ２０は、光学系１０により結像された光学像をローリングシャッタ方式により撮像して画像データを出力する撮像部の一例である。センサＩＣ２０は、例えば、光学像を光電変換して画像信号を出力する撮像素子２１と、撮像素子２１が出力する画像信号に対してゲイン調整やＡ／Ｄ（アナログ／デジタル）変換などを行って画像データを出力する信号処理回路２２とを含む。撮像素子２１としては、上述したようにＣＭＯＳイメージセンサが用いられる。

センサＩＣ２０は、ＣＰＵ４０による制御のもとで、例えばＮＴＳＣ方式に対応するフレームレートで撮像を行って画像データを出力する。撮像の方式（撮像素子２１の駆動方式）はローリングシャッタ方式である。このセンサＩＣ２０が出力する画像データは、画像処理ＩＣ３０に入力される。

画像処理ＩＣ３０は、ＣＰＵ４０による制御のもとで、センサＩＣ２０から出力された画像データに対して各種の画像処理を行う。特に本実施形態の車載カメラ１では、この画像処理ＩＣ３０に、上述した画像データの補正を行う機能が設けられている。例えば画像処理ＩＣ３０には、図３に示すように、入力フレームバッファ３１、参照フレームバッファ３２、および出力フレームバッファ３３の３つのフレームバッファと、補正部５０とが設けられている。なお、画像処理ＩＣ３０には、センサＩＣ２０および当該画像処理ＩＣ３０での処理の基準となるクロックを発振する発振器が設けられ、また、補正部５０以外の画像処理を行う各種の処理部などが必要に応じて設けられるが、図３ではこれらの図示を省略している。

入力フレームバッファ３１は、センサＩＣ２０から出力された画像データをフレーム単位で保持する。参照フレームバッファ３２は、補正部５０での処理で参照される補正された前フレームの画像データを保持する。出力フレームバッファ３３は、補正部５０により補正された画像データを保持する。参照フレームバッファ３２が保持する画像データは、出力フレームバッファ３３が保持する画像データのコピーとなる。なお、入力フレームバッファ３１、参照フレームバッファ３２、および出力フレームバッファ３３は、それぞれフレーム内のラインごとに画像データを更新しながら保持することができ、またアドレス指定によりラインごとに画像データを取り出すことができる。

補正部５０は、入力フレームバッファ３１が保持する画像データに対して、参照フレームバッファ３２を参照しながら、上述した通信機２の光源が点滅することの影響によって生じる輝度値のムラを補正する処理を行う。

この補正部５０は、例えば、画像処理ＩＣ３０に実装したプロセッサが所定の画像補正プログラムを実行することにより実現することができる。この場合、画像処理プログラムの実行環境となる画像処理ＩＣ３０には、例えば、プロセッサのほか、プロセッサのワークメモリとなるＲＡＭ（Random Access Memory）や、画像処理プログラムが格納されたプログラムＲＯＭ（Read Only Memory）などが実装される。そして、このようなコンピュータシステムとしてのハードウェア環境において、プロセッサがプログラムＲＯＭから画像補正プログラムを読み出して実行することにより、ＲＡＭ上に補正部５０の機能が実現される。

補正部５０を実現するための画像補正プログラムは、例えば、画像処理ＩＣ３０に実装されたプログラムＲＯＭに予め格納されて提供される。なお、この画像補正プログラムは、車載カメラ１にインストール可能な形式又は実行可能な形式のファイルで所定の記録媒体に記録されて提供されてもよい。また、この画像補正プログラムをインターネットなどのネットワークに接続された外部装置に格納し、車載カメラ１がネットワーク経由でダウンロードする形式で提供してもよい。

また、補正部５０は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現される構成であってもよい。

図４は、補正部５０の詳細を説明する機能ブロック図である。補正部５０は、図４に示すように、比較部５１と輝度補正部５２とを備える。

比較部５１は、入力フレームバッファ３１が保持する画像データ（現フレーム）に対して、予め定めた処理単位である部分領域ごとに、参照フレームバッファ３２が保持する画像データ（補正された前フレーム）との輝度値の差分を算出する。

輝度補正部５２は、比較部５１により算出された差分が予め定めた第１の閾値以上の部分領域の輝度値を、参照フレームバッファ３２が保持する画像データ（補正された前フレーム）に近づけるように補正する。なお、第１の閾値は、上述した通信機２の光源の点灯時と消灯時（非点灯時）との輝度の違いを判定可能で、かつ、被写体の変化による輝度の違いを吸収することができる最適な値を実験などにより求めて予め設定しておけばよい。

以下では、１ライン分の画像データを処理単位（部分領域）とする場合を例に挙げて、補正部５０の比較部５１および輝度補正部５２による処理を具体的に説明する。

例えば比較部５１は、入力フレームバッファ３１から１ライン分の画像データを取り出して、その１ライン分の輝度平均値を算出する。また、比較部５１は、入力フレームバッファ３１から取り出したラインと同じラインの画像データを参照フレームバッファ３２から取り出して、その１ライン分の輝度平均値を算出する。そして、比較部５１は、入力フレームバッファ３１から取り出したライン（現フレームの画像データの部分領域）の輝度平均値と、参照フレームバッファ３２から取り出したライン（補正された前フレームの画像データの部分領域）の輝度平均値との差分を算出する。比較部５１は、以上の処理をすべてのラインに対して繰り返す。比較部５１により算出された輝度平均値の差分（差分値）は、入力フレームバッファ３１から取り出した１ライン分の画像データとともに、輝度補正部５２に渡される。

輝度補正部５２は、比較部５１から１ライン分の画像データおよび差分値を受け取ると、受け取った差分値が第１の閾値以上であるか否かを判定する。そして、輝度補正部５２は、差分値が第１の閾値以上となっている場合、当該ラインを構成する各画素の輝度値から例えば差分値を減算することによって、当該ラインの輝度値を補正する。そして、輝度補正部５２は、輝度値を補正したラインの画像データを出力フレームバッファ３３および参照フレームバッファ３２の該当するラインに書き込む。一方、差分値が第１の閾値未満である場合には、輝度補正部５２は、当該ラインの画像データをそのまま（輝度値を補正することなく）出力フレームバッファ３３および参照フレームバッファ３２の該当するラインに書き込む。輝度補正部５２は、比較部５１から１ライン分の画像データおよび差分値を受け取るたびに、以上の処理を繰り返す。この結果、出力フレームバッファ３３には、通信機２の光源が点滅することの影響による輝度値のムラをなくすように補正された画像データが出力用に格納され、また、参照フレームバッファ３２には、このように補正された画像データが次のフレームの画像データを補正する際の参照用に格納される。

なお、本実施形態では、１ライン分の画像データを処理単位（部分領域）として比較部５１や輝度補正部５２の処理を行うものとして説明したが、これに限らない。比較部５１や輝度補正部５２の処理は、予め定められた処理単位である部分領域ごとに行われればよく、例えば複数ライン分の画像データを部分領域として、複数ライン分の画像データごとに処理を行うようにしてもよい。

また、本実施形態では、前フレームの画像データとの差分を算出する部分領域（本実施形態では１ライン）の輝度値を、その部分領域の輝度平均値としたが、この輝度平均値は必ずしもその部分領域に含まれるすべての画素の輝度平均値でなくてもよい。例えば、離散的にサンプリングされた画素の輝度平均値など、その部分領域の平均的な明るさを表す輝度値であればよい。

また、本実施形態では、前フレームの画像データとの差分が第１の閾値以上である部分領域の輝度値から差分値を減算することで、部分領域の輝度値を前フレームの画像データに近づけるようにしたが、これに限らない。例えば、前フレームの画像データとの差分が第１の閾値以上である部分領域の輝度値から予め定めた固定値を減算することで、部分領域の輝度値を前フレームの画像データに近づけるようにしてもよい。この場合の固定値は、通信機２の光源の点灯時と消灯時（非点灯時）との光量の差に応じた輝度値の増加分に相当する値を実験などによって求めて予め設定しておけばよい。

また、本実施形態では、比較部５１が、入力フレームバッファ３１が保持する画像データの部分領域ごとに、参照フレームバッファ３２が保持する１フレーム前の画像データとの輝度値の差分を算出する構成としたが、これに限らない。つまり、比較部５１が比較の対象とする前フレームの画像データは、１フレーム前の画像データに限らず、２フレーム以上前の画像データであってもよい。例えば、参照フレームバッファ３２の更新を複数フレーム単位で間欠的に行うようにして、比較部５１が２フレーム以上前の前フレームの画像データとの輝度値の差分を算出することを許容する構成であってもよい。

また、本実施形態では、参照フレームバッファ３２が、補正された前フレームの画像データを保持する構成としたが、補正された前フレームの画像データの部分領域（本実施形態では１ライン）ごとの輝度値を、ＲＡＭなどに一時的に保持する構成であってもよい。この場合、比較部５１は、入力フレームバッファ３１から取り出した部分領域に対応する、補正された前フレームの部分領域の輝度値をＲＡＭなどから取り出して、当該部分領域の輝度値の差分を算出すればよい。

また、本実施形態では、センサＩＣ２０から出力された画像データを入力フレームバッファ３１に保持し、補正部５０による処理が終了した画像データを出力フレームバッファ３３に保持する構成としたが、これに限らない。つまり、画像データは必ずしもフレーム単位で保持する必要はなく、処理単位である部分領域ごとに一時的に保持できる構成であればよい。

図５は、本実施形態の車載カメラ１が備える補正部５０による処理手順の一例を示すフローチャートである。この図５のフローチャートで示す一連の処理は、センサＩＣ２０が撮像した画像のフレームごとに繰り返し行われる。なお、フレームの区切りは、例えばセンサＩＣ２０から画像処理ＩＣ３０に供給される垂直同期信号に基づいて判断することができる。

図５のフローチャートで示す処理が開始されると、まず、ライン番号ｎが初期値＝１にセットされる（ステップＳ１０１）。そして、比較部５１が、入力フレームバッファ３１からｎ番目のラインの画像データを取り出して、このラインの輝度値Ｙｎを算出する（ステップＳ１０２）。

次に、比較部５１は、参照フレームバッファ３２からｎ番目のラインの画像データを取り出して、このラインの輝度値Ｙｎ’を算出する（ステップＳ１０３）。そして、比較部５１は、ステップＳ１０２で算出した輝度値ＹｎとステップＳ１０３で算出した輝度値Ｙｎ’との差分値（Ｙｎ−Ｙｎ’）を算出し（ステップＳ１０４）、算出した差分値（Ｙｎ−Ｙｎ’）を、ステップＳ１０２で入力フレームバッファ３１から取り出したｎ番目のラインの画像データとともに、輝度補正部５２に渡す。

次に、輝度補正部５２は、比較部５１から受け取った差分値（Ｙｎ−Ｙｎ’）が第１の閾値Ｔｈ１以上であるか否かを判定する（ステップＳ１０５）。この判定の結果、差分値（Ｙｎ−Ｙｎ’）が第１の閾値Ｔｈ１以上であれば（ステップＳ１０５：Ｙｅｓ）、輝度補正部５２は、入力フレームバッファ３１から取り出したｎ番目のラインの各画素の輝度値から差分値（Ｙｎ−Ｙｎ’）を減算し（ステップＳ１０６）、補正されたｎ番目のラインの画像データを出力フレームバッファ３３および参照フレームバッファ３２のｎ番目のラインに書き込む（ステップＳ１０７）。一方、比較部５１から受け取った差分値（Ｙｎ−Ｙｎ’）が第１の閾値Ｔｈ１未満であれば（ステップＳ１０５：Ｎｏ）、輝度補正部５２は、入力フレームバッファ３１から取り出したｎ番目のラインについて輝度値の補正は行わずに、そのまま出力フレームバッファ３３および参照フレームバッファ３２のｎ番目のラインに書き込む（ステップＳ１０７）。

次に、ライン番号ｎが最大値ｎ＿ｍａｘであるか否か、すなわち、フレームの最終ラインまで処理が終了したか否かが判定される（ステップＳ１０８）。そして、ライン番号ｎが最大値ｎ＿ｍａｘでなければ（ステップＳ１０８：Ｎｏ）、ライン番号ｎの値がインクリメント（＋１）され（ステップＳ１０９）、ステップＳ１０２に戻って以降の処理が繰り返される。一方、ライン番号ｎが最大値ｎ＿ｍａｘであれば（ステップＳ１０８：Ｙｅｓ）、最終ラインまで処理が終了しているため、出力フレームバッファ３３が保持する画像データが出力されて（ステップＳ１１０）、図５のフローチャートで示す一連の処理が終了する。

以上、具体的な例を挙げて詳細に説明したように、本実施形態の車載カメラ１は、センサＩＣ２０が出力する画像データに対して、予め定めた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、算出した差分が第１の閾値を超えた部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する補正部５０を備える。したがって、この車載カメラ１によれば、電源周波数とは非同期で点滅する通信機２の光源の影響によってローリングシャッタ方式で撮像した画像に現れる面内フリッカと同様の画像のちらつきを有効に抑制することができる。

また、本実施形態の車載カメラ１では、補正部５０が、前フレームの画像データとの輝度値の差分が第１の閾値を超えた部分領域の輝度値から差分に相当する値を減算して前フレームの画像データに近づけるようにすることで、補正を精度よく行うことができる。

また、本実施形態の車載カメラ１では、補正部５０が、前フレームの画像データとの輝度値の差分が第１の閾値を超えた部分領域の輝度値から予め定めた固定値を減算して前フレームの画像データに近づけるようにすることで、補正を簡便に行うことができる。

なお、通信機２の光源の影響による画像のちらつきは、上述したように、特に夜間に撮像した画像のように、全体的に暗い低輝度の画像において顕著に現れる。そこで、本実施形態の車載カメラ１は、撮像のタイミングが夜間であるか否か、あるいは撮像された画像が低輝度の画像であるか否かを判断し、夜間に撮像された画像、あるいは低輝度の画像に対してのみ補正部５０による処理を行うように構成してもよい。この場合、撮像のタイミングが夜間であるか否かは、例えば、バスＢに設けられた運行管理システムから取得する時間情報に基づいて判断することができる。また、バスＢのヘッドライトなどの灯光器の動作情報を取得し、この灯光器の動作情報に基づいて撮像のタイミングが夜間であるか否かを判断することもできる。また、撮像された画像が低輝度の画像であるか否かは、例えば、入力フレームバッファ３１が保持する画像データの全体の輝度平均値などから判断することができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態の車載カメラ１は、光学系１０と、光学系１０により結像された光学像をローリングシャッタ方式により撮像して画像データを出力するセンサＩＣ２０と、センサＩＣ２０が出力する画像データを補正する補正部５０と、を備え、補正部５０は、補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、該差分が第１の閾値以上の部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する。

また、本実施形態の車載カメラ１は、光源の点滅により車外の光ビーコン３と通信する通信機２を備えるバスＢに搭載され、センサＩＣ２０は、通信機２の光源からの光が映り込むバスＢのフロントガラスＦＧを介して車外の被写体の光学像を撮像する。

また、本実施形態の車載カメラ１が備える補正部５０は、補正された前フレームの画像データとの輝度値の差分が第１の閾値以上の部分領域の輝度値から前記差分に相当する値を減算する。あるいは、本実施形態の車載カメラ１が備える補正部５０は、補正された前フレームの画像データとの輝度値の差分が第１の閾値以上の部分領域の輝度値から予め定められた固定値を減算する。

また、本実施形態の画像補正プログラムは、光学系１０と、光学系１０により結像された光学像をローリングシャッタ方式により撮像して画像データを出力するセンサＩＣ２０と、を備える車載カメラ１において実行される画像補正プログラムであって、補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出する比較部５１の機能と、該差分が第１の閾値以上の部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する輝度補正部５２の機能とを車載カメラ１に実現させる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、センサＩＣ２０がＲＧＢの３つのチャンネルを持つ画像データを出力することを前提に、補正部５０が、補正された前フレームの画像データとの輝度値の差分が第１の閾値以上の部分領域に対して、ＲＧＢの各チャンネルで独立に輝度値を補正する例である。以下、第２の実施形態の補正部５０を第１の実施形態の補正部５０と区別して、補正部５０Ａと表記する。なお、車載カメラ１の基本的な構成および主要な動作は上述した第１の実施形態と同様であるため、以下では重複する説明を省略し、第１の実施形態との相違点のみを説明する。

図６は、センサＩＣ２０の撮像素子２１として用いるＣＭＯＳイメージセンサの分光感度を示す図である。ＣＭＯＳイメージセンサは、図６に示すように、通信機２の光源が出力する赤外域の光（赤外光）に対して、ＲＧＢのそれぞれのチャンネルで異なる感度を有する。このため、通信機２の光源が点灯することによる輝度値の増加分は、ＲＧＢのチャンネルごとに異なった値となる。

本実施形態では、補正部５０Ａが、補正された前フレームの画像データとの輝度値の差分が第１の閾値以上の部分領域に対して、ＲＧＢの各チャンネルで独立に輝度値を補正する。つまり、補正部５０Ａは、差分値を減算することで部分領域の輝度値を補正する場合は、ＲＧＢの各チャンネルのそれぞれについて、補正された前フレームの画像データの輝度値との差分を算出し、算出した差分を各チャンネルの輝度値から減算して補正する。また、固定値を減算することで輝度値を補正する場合は、ＲＧＢの各チャンネルのそれぞれに対応する個別の固定値を予め定めておき、対応する固定値を各チャンネルの輝度値から減算して補正する。

以上のように、本実施形態によれば、補正部５０Ａが、補正された前フレームの画像データとの輝度値の差分が第１の閾値以上の部分領域に対して、ＲＧＢの各チャンネルで独立に輝度値を補正する。このため、通信機２の光源が点滅することの影響で生じる画像データの輝度値のムラを、より高精度に補正することができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態では、センサＩＣ２０が出力する画像データは、ＲＧＢの３つのチャンネルを持つ画像データであり、補正部５０Ａは、前フレームの画像データとの輝度値の差分が第１の閾値以上の部分領域の輝度値を、ＲＧＢの各チャンネルで独立に補正する。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、補正された前フレームの画像データとの輝度値の差分が大きすぎる部分領域については、通信機２の光源の点滅以外の要因で輝度値が変動していると判断し、補正部５０による輝度値の補正を行わない例である。例えば、車載カメラ１を搭載したバスＢの移動に伴って、車載カメラ１で撮像される画像内の高輝度被写体の位置が変化すると、フレーム間で同じ位置の部分領域の輝度値を比較したときに、通信機２の光源の影響がなくても輝度値の差分は大きくなる。そして、このような高輝度被写体の位置変化に起因して前フレームとの輝度値の差分が大きくなっている部分領域に対して上述した輝度値の補正を行ってしまうと、画質の悪化を招くことになる。

そこで、本実施形態では、補正部５０が、前フレームの画像データとの輝度値の差分が第１の閾値以上であり、かつ、第１の閾値よりも大きな第２の閾値未満の部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する。以下、第３の実施形態の補正部５０を第１の実施形態の補正部５０と区別して、補正部５０Ｂと表記する。なお、車載カメラ１の基本的な構成および主要な動作は上述した第１の実施形態と同様であるため、以下では重複する説明を省略し、第１の実施形態との相違点のみを説明する。

図７は、本実施形態の補正部５０Ｂによる処理手順の一例を示すフローチャートである。図７に示すフローチャートにおいて、ステップＳ２０１〜ステップＳ２０４の処理は、図５に示したフローチャートのステップＳ１０１〜ステップＳ１０４の処理と同様である。また、ステップＳ２０６〜ステップＳ２１０の処理は、ステップＳ１０６〜ステップＳ１１０の処理と同様である。

本実施形態の補正部５０Ｂ（輝度補正部５２）は、ステップＳ２０５において、ステップＳ２０４で算出された差分値（Ｙｎ−Ｙｎ’）が第１の閾値Ｔｈ１以上であり、かつ、第２の閾値Ｔｈ２未満であるか否かを判定する（ステップＳ２０５）。第２の閾値Ｔｈ２は、高輝度被写体が画像内で移動することによる輝度値の変化を判定するための閾値であり、第１の閾値Ｔｈ１よりも十分に大きな値が予め設定されている。

そして、本実施形態の補正部５０Ｂ（輝度補正部５２）は、差分値（Ｙｎ−Ｙｎ’）が第１の閾値Ｔｈ１以上であり、かつ、第２の閾値Ｔｈ２未満であれば（ステップＳ２０５：Ｙｅｓ）、入力フレームバッファ３１から取り出したｎ番目のラインの各画素の輝度値から差分値（Ｙｎ−Ｙｎ’）を減算し（ステップＳ２０６）、補正されたｎ番目のラインの画像データを出力フレームバッファ３３および参照フレームバッファ３２のｎ番目のラインに書き込む（ステップＳ２０７）。一方、ステップＳ２０４で算出された差分値（Ｙｎ−Ｙｎ’）が第１の閾値Ｔｈ１未満、あるいは第２の閾値Ｔｈ２以上であれば（ステップＳ２０５：Ｎｏ）、入力フレームバッファ３１から取り出したｎ番目のラインについて輝度値の補正は行わずに、そのまま出力フレームバッファ３３および参照フレームバッファ３２のｎ番目のラインに書き込む（ステップＳ２０７）。

以上のように、本実施形態によれば、補正部５０Ｂが、前フレームの画像データとの輝度値の差分が第１の閾値以上であり、かつ、第１の閾値よりも大きな第２の閾値未満の部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する。このため、通信機２の光源の点滅以外の要因で変動した部分領域の輝度値を誤って補正してしまう不都合を抑制し、このような誤った補正に起因する画質の劣化を有効に防止することができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態では、補正部５０Ｂは、前フレームの画像データとの輝度値の差分が第１の閾値以上、かつ、第１の閾値よりも大きな第２の閾値未満の部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する。

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態は、入力フレームバッファ３１が保持する画像データおよび参照フレームバッファ３２が保持する画像データから高輝度被写体を検出し、検出した高輝度被写体をもとにフレーム間の位置調整を行った上で部分領域の輝度値の差分を算出する例である。以下、第４の実施形態の補正部５０を第１の実施形態の補正部５０と区別して、補正部５０Ｃと表記する。なお、車載カメラ１の基本的な構成および主要な動作は上述した第１の実施形態と同様であるため、以下では重複する説明を省略し、第１の実施形態との相違点のみを説明する。

図８は、本実施形態の補正部５０Ｃの詳細を説明する機能ブロック図である。本実施形態の補正部５０Ｃには、図８に示すように、検出部３５が接続されている。検出部３５は、入力フレームバッファ３１が保持する画像データおよび参照フレームバッファ３２が保持する画像データから高輝度被写体を検出する処理部である。高輝度被写体の検出は、例えば、画像データからエッジを検出し、エッジで囲まれた領域の輝度平均値が基準値を超えている場合に、その領域を高輝度被写体として検出するといった方法で実施することができる。

本実施形態の補正部５０Ｃでは、比較部５１が、まず、検出部３５により検出された高輝度被写体の位置をもとに、補正対象の画像データと前フレームの画像データとの位置ずれ量を判定する。図９は、入力フレームバッファ３１が保持する補正対象の画像データと参照フレームバッファ３２が保持する前フレームの画像データとの位置ずれ量を説明する図である。例えば、車載カメラ１を搭載したバスＢの移動に伴って、車載カメラ１で撮像される画像内の高輝度被写体Ｈの位置が変化する。本実施形態では、検出部３５が、入力フレームバッファ３１が保持する補正対象の画像データと、参照フレームバッファ３２が保持する前フレームの画像データとから、それぞれ高輝度被写体Ｈを検出する。補正部５０Ｃの比較部５１は、補正対象の画像データから検出された高輝度被写体Ｈの位置と、前フレームの画像データから検出された高輝度被写体Ｈの位置とが垂直方向に何ライン分ずれているかを判定し、これを位置ずれ量ｄとして保持する。

その後、比較部５１は、入力フレームバッファ３１から部分領域の画像データを取り出すとともに、参照フレームバッファ３２から、位置ずれ量ｄ分だけシフトした位置の部分領域の画像データを取り出す。そして、比較部５１は、これらの部分領域の輝度値の差分を算出する。なお、輝度補正部５２での処理は第１の実施形態と同様である。

以上のように、本実施形態によれば、検出部３５が、補正対象の画像データと前フレームの画像データとから高輝度被写体を検出する。そして、補正部５０Ｃが、検出された高輝度被写体の位置をもとに補正対象の画像データと前フレームの画像データとの位置ずれ量を判定し、判定した位置ずれ量に応じて比較対象とする部分領域を特定する。したがって、車載カメラ１で撮像される画像内の高輝度被写体Ｈの位置が変化した場合であっても、このような高輝度被写体Ｈの位置変化によって変動した部分領域の輝度値を誤って補正してしまう不都合を抑制し、このような誤った補正に起因する画質の劣化を有効に防止することができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態では、画像データから高輝度被写体を検出する検出部３５をさらに備え、補正部５０Ｃは、検出された高輝度被写体の位置をもとに補正対象となる画像データと補正された前フレームの画像データとの位置ずれ量を判定し、該位置ずれ量に応じて、補正対象の画像データの部分領域と輝度値を比較する補正された前フレームの画像データの部分領域を特定する。

（第５の実施形態）
次に、第５の実施形態について説明する。第５の実施形態は、補正対象となる画像データの１フレーム前の補正されていない画像データと、２フレーム前の補正されていない画像データとを用いて、補正対象となる画像データの補正範囲を決定する例である。以下、第５の実施形態の補正部５０を第１の実施形態の補正部５０と区別して、補正部５０Ｄと表記する。なお、車載カメラ１の基本的な構成および主要な動作は上述した第１の実施形態と同様であるため、以下では重複する説明を省略し、第１の実施形態との相違点のみを説明する。

図１０は、本実施形態の補正部５０Ｄの詳細を説明する機能ブロック図である。本実施形態では、図１０に示すように、第１の実施形態の構成に加えて、１次コピーバッファ３６、２次コピーバッファ３７、抽出部３８および決定部３９が設けられ、決定部３９が補正部５０Ｄに接続されている。

１次コピーバッファ３６は、入力フレームバッファ３１の更新と同期して、それまで入力フレームバッファ３１に保持されていた画像データをコピーして保持する。また、２次コピーバッファ３７は、１次コピーバッファ３６の更新と同期して、それまで１次コピーバッファ３６に保持されていた画像データをコピーして保持する。つまり、１次コピーバッファ３６には、入力フレームバッファ３１が保持する補正対象の画像データの１フレーム前の画像データが、補正されていない状態で保持される。また、２次コピーバッファ３７には、入力フレームバッファ３１が保持する補正対象の画像データの２フレーム前の画像データが、補正されていない状態で保持される。

抽出部３８は、１次コピーバッファ３６が保持する１フレーム前の補正されていない画像データと、２次コピーバッファ３７が保持する２フレーム前の補正されていない画像データに対して、例えば垂直方向にフーリエ変換を行って、それぞれの画像データのスペクトルを抽出する。そして、抽出部３８は、１フレーム前の補正されていない画像データから抽出したスペクトルの振幅および位相成分の情報と、２フレーム前の補正されていない画像データから抽出したスペクトルの振幅および位相成分の情報とを、決定部３９に渡す。

決定部３９は、抽出部３８から受け取った情報をもとに、２フレーム前から１フレーム前までのフレーム間におけるスペクトルの振幅および位相成分の変化量を求め、求めた変化量から、補正対象の画像データにおける補正範囲を決定する。図１１は、補正対象の画像データの補正範囲を決定する様子を模式的に示す図である。決定部３９は、２フレーム前から１フレーム前までのフレーム間におけるスペクトルの振幅および位相成分の変化量をもとに、補正対象の画像データにおいて輝度値のムラが発生する画像領域の範囲を予測し、この範囲を補正範囲として決定する。

本実施形態では、補正部５０Ｄの比較部５１が、補正対象の画像データのうち、決定部３９により決定された補正範囲に含まれる部分領域を対象として、補正された前フレームの画像データとの輝度値の差分を算出する。なお、輝度補正部５２での処理は第１の実施形態と同様である。

以上のように、本実施形態によれば、決定部３９が、補正対象の画像データにおいて輝度値のムラが発生すると予測される範囲を補正範囲として決定する。そして、補正部５０Ｄが、補正対象の画像データのうち、決定された補正範囲に含まれる部分領域のみを対象として、補正された前フレームの画像データとの輝度値の差分を算出する。したがって、通信機２の光源の影響による輝度値のムラをなくすための補正処理を効率よく実施することができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態では、補正対象となる画像データの１フレーム前および２フレーム前の画像データのスペクトルを抽出する抽出部３８と、抽出されたスペクトルの振幅および位相成分の変化量から、補正対象となる画像データの補正範囲を決定する決定部３９とをさらに備え、補正部５０Ｄは、補正対象となる画像データのうち、決定部３９が決定した補正範囲に含まれる部分領域を対象として、補正された前フレームの画像データとの輝度値の差分を算出する。

（第６の実施形態）
次に、第６の実施形態について説明する。第６の実施形態は、車載カメラ１とは別体の画像処理装置に対して、上述した補正部５０と同等の機能を持たせる例である。画像処理装置の例としては、例えば、車載カメラ１により撮像された画像データを記録するドライブレコーダや、車載カメラ１により撮像された画像データを表示する機能を持ったカーナビゲーションシステムなどが挙げられる。

図１２は、本実施形態の画像処理装置２００の概略構成図である。この画像処理装置２００は、図１２に示すように、撮像装置１００により撮像された画像データを取得する取得部２１０と、取得部２１０が取得した画像データを補正する補正部２２０とを備える。

撮像装置１００は、例えば、上述した車載カメラ１から補正部５０の機能を除いた構成である。取得部２１０は、この撮像装置１００により撮像された画像データを撮像装置１００から取得する。なお、取得部２１０は、記録メディアなどを介して間接的に、撮像装置１００から画像データを取得する構成であってもよい。

補正部２２０は、取得部２１０が取得した画像データに対し、上述した補正部５０と同様に、電源周波数とは非同期で点滅する光源の影響による輝度値のムラをなくすように補正を行う。すなわち、補正部２２０は、補正対象となる画像データに対して、予め定めた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、算出した差分が第１の閾値を超えた部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する。

このように、本実施形態の画像処理装置２００は、取得部２１０および補正部２２０を備えることにより、電源周波数とは非同期で点滅する通信機２の光源の影響によって、撮像装置１００によりローリングシャッタ方式で撮像された画像に現れる面内フリッカと同様の画像のちらつきを有効に抑制することができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態の画像処理装置２００は、光学系と、該光学系により結像された光学像をローリングシャッタ方式により撮像して画像データを出力する撮像部と、を備える撮像装置１００から、撮像部が出力する画像データを取得する取得部２１０と、取得部２１０が取得した画像データを補正する補正部２２０と、を備え、補正部２２０は、補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、該差分が第１の閾値以上の部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する。

以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形を加えることが可能である。また、上述した実施形態のいくつかを組み合わせて実施することもできる。

１ 車載カメラ
２ 通信機
１０ 光学系
２０ センサＩＣ
２１ 撮像素子
２２ 信号処理回路
３０ 画像処理ＩＣ
３５ 検出部
３８ 抽出部
３９ 決定部
５０（５０Ａ〜５０Ｄ） 補正部
５１ 比較部
５２ 輝度補正部
Ｂ バス
ＦＧ フロントガラス

特開２００９−３３２９３号公報 特開２０１１−１７６６２２号公報

Claims (10)

1. 光学系と、
   前記光学系により結像された光学像をローリングシャッタ方式により撮像して画像データを出力する撮像部と、
   前記撮像部が出力する画像データを補正する補正部と、を備え、
   前記補正部は、補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、該差分が第１の閾値以上の前記部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正することを特徴とする撮像装置。
2. 光源の点滅により車外と通信する通信機を備える車両に搭載され、
   前記撮像部は、前記光源からの光が映り込む車両ウィンドウを介して車外の被写体の光学像を撮像することを特徴とする請求項１に記載の撮像装置。
3. 前記補正部は、前記差分が前記第１の閾値以上の前記部分領域の輝度値から前記差分に相当する値を減算することを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正部は、前記差分が前記第１の閾値以上の前記部分領域の輝度値から予め定められた固定値を減算することを特徴とする請求項１または２に記載の撮像装置。
5. 前記撮像部が出力する画像データは、ＲＧＢの３つのチャンネルを持つ画像データであり、
   前記補正部は、前記差分が前記第１の閾値以上の前記部分領域の輝度値をＲＧＢの各チャンネルで独立に補正することを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
6. 前記補正部は、前記差分が前記第１の閾値以上、かつ、前記第１の閾値よりも大きな第２の閾値未満の前記部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
7. 画像データから高輝度被写体を検出する検出部をさらに備え、
   前記補正部は、検出された高輝度被写体の位置をもとに補正対象となる画像データと補正された前フレームの画像データとの位置ずれ量を判定し、該位置ずれ量に応じて前記部分領域と輝度値を比較する補正された前フレームの画像データの前記部分領域を特定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
8. 補正対象となる画像データの１フレーム前および２フレーム前の画像データのスペクトルを抽出する抽出部と、
   抽出されたスペクトルの振幅および位相成分の変化量から、補正対象となる画像データの補正範囲を決定する決定部と、をさらに備え、
   前記補正部は、前記補正範囲に含まれる前記部分領域を対象として前記差分を算出することを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
9. 光学系と、該光学系により結像された光学像をローリングシャッタ方式により撮像して画像データを出力する撮像部と、を備える撮像装置において実行される画像補正プログラムであって、
   補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出する機能と、
   算出した前記差分が第１の閾値以上の前記部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正する機能と、を前記撮像装置に実現させるための画像補正プログラム。
10. 光学系と、該光学系により結像された光学像をローリングシャッタ方式により撮像して画像データを出力する撮像部と、を備える撮像装置から、前記撮像部が出力する画像データを取得する取得部と、
    前記取得部が取得した画像データを補正する補正部と、を備え、
    前記補正部は、補正対象となる画像データに対して、予め定められた処理単位である部分領域ごとに、補正された前フレームの画像データとの輝度値の差分を算出し、該差分が第１の閾値以上の前記部分領域の輝度値を、補正された前フレームの画像データに近づけるように補正することを特徴とする画像処理装置。

Images