JP6045894B2

JP6045894B2 - 画像処理装置および画像処理方法

Info

Publication number: JP6045894B2
Application number: JP2012263136A
Authority: JP
Inventors: 毅都築
Original assignee: Hanwha Techwin Co Ltd
Current assignee: Hanwha Vision Co Ltd
Priority date: 2012-11-30
Filing date: 2012-11-30
Publication date: 2016-12-14
Anticipated expiration: 2032-11-30
Also published as: KR20140070345A; KR101964228B1; JP2014110484A

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

しかし、短露光画像と長露光画像とを合成するという仕組みから発生する問題が２点ある。一つは、被写体に動きがあると合成時にずれが生じ、輪郭が二重になるといったアーティファクトが発生するという問題である。もう一つは、短露光画像にフリッカが撮影されてしまう場合があり、この短露光画像が合成に使用されるとフリッカを含む合成画像が出力されてしまい、見にくい画像となってしまうという問題である。本明細書においては、主に後者のフリッカについての問題の解決を試みる。

フリッカを起こすものとしてはインバータなしの蛍光灯が有名であるが、近年普及し始めたＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）照明の中にも明滅周波数が低いものがあり、このような低い周波数の明滅はフリッカの発生源となることがある。また、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）を備えたテレビジョン装置や、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）用ディスプレイの中にも、動画表示性能の向上を目的としてバックライトを明滅させるものが増えているが、バックライトの明滅もフリッカの発生源となり得る。

ＷＤＲのフリッカ低減手法としては、以下のようなものがある。フラッシュありの環境で撮影された画像を合成した際のＷＢ（ＷｈｉｔｅＢａｌａｎｃｅ）とフラッシュなしの環境で撮影された画像を合成した際のＷＢとの違いを揃えることを主な目的とする手法がある（特許文献１参照。）。かかる手法においては、複数枚の画像を加算平均することでフリッカを低減する。さらに、かかる手法によれば、複数枚の画像を加算平均することによりＷＤＲ効果も得ることができる。また、かかる手法においては、ＷＢを揃えるためのゲインを調整している。

また、１／２４０秒および１／６０秒それぞれのシャッタタイムで撮影した画像を比較してフリッカを検出する手法がある（特許文献２参照。）。かかる手法においては、フリッカ検出結果に基づいて複数のＷＤＲ合成画像および短露光画像１枚の階調補正画像それぞれに対して優先順位を設定し、当該優先順位に基づいて複数のＷＤＲ合成画像および短露光画像１枚の階調補正画像の表示制御または記録制御をする。フリッカが検出された場合には、ＷＤＲ合成画像ではなく１枚の階調補正画像の混合比率が高められる。

特開２０１１−３５８９４号公報特開２０１２−１１９７６１号公報

しかしながら、特許文献１に開示された手法では、短露光画像と長露光画像を合成するタイプと比べるとＷＤＲ効果が小さい。また、特許文献１に開示された手法においては、複数枚の画像を加算平均するために、枚数分のフレームメモリが必要となり、メモリサイズあるいはデータ転送の負荷が大きくなるという問題もある。動き検出結果は、ＷＢの調整用のゲイン算出には活用されているが、加算平均することによって動物体が二重になってしまうという問題は解決されていない。

また、特許文献２に開示された手法においては、撮影前にフリッカ判定シーケンスを撮影する必要があり、動画撮影中にフリッカの有無が変化した場合には対応できない。また、特許文献２に開示された手法において、フリッカが検出された場合には、ＷＤＲ合成画像ではなく１枚の階調補正画像の混合比率が高められるため、ＷＤＲ効果が大幅に落ちるという問題がある。

そこで、本発明は、高いＷＤＲ効果が得られる長露光画像および短露光画像を合成するタイプのＷＤＲ処理において、メモリサイズやデータ転送負荷の増加を小さく抑え、動物体の二重像も小さく抑えながら、フリッカを含む動画像に対しても高いＷＤＲ効果を得ることを可能とする技術を提供しようとするものである。

本発明のある実施形態によれば、現フレームの長露光画像および前フレームの長露光画像に基づいて動きを検出する検出部と、前記動きに基づいて、巡回係数を制御して現フレームの短露光画像に対してＩＩＲフィルタリングを行う処理部と、を備える、画像処理装置が提供される。

かかる構成によれば、メモリサイズやデータ転送負荷の増加を小さく抑え、動物体の二重像も小さく抑えながら、フリッカを含む動画像に対しても高いＷＤＲ効果を得ることが可能である。

前記処理部は、現フレームの短露光画像と前フレームの短露光画像に対するＩＩＲフィルタリングの処理結果との混合により前記現フレームの短露光画像に対するＩＩＲフィルタリングを行ってもよい。混合には巡回係数を用いてもよく、巡回係数としてはどのような値が使用されてもよい。

例えば、前記処理部は、前記動きの量が大きいほど、前記現フレームの短露光画像の巡回係数を大きくして前記現フレームの短露光画像に対するＩＩＲフィルタリングを行ってもよい。このように巡回係数の値が決められることによって、合成された後の動画がより自然に見えるようになることが予想される。

前記画像処理装置は、現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とを合成する合成部を備えてもよい。このような合成部の機能によって、ＷＤＲ合成画像が生成される。

また、本発明の別の実施形態によれば、現フレームの長露光画像および前フレームの長露光画像に基づいて動きを検出するステップと、前記動きに基づいて、巡回係数を制御して現フレームの短露光画像に対してＩＩＲフィルタリングを行うステップと、を含む、画像処理方法が提供される。

かかる方法によれば、メモリサイズやデータ転送負荷の増加を小さく抑え、動物体の二重像も小さく抑えながら、フリッカを含む動画像に対しても高いＷＤＲ効果を得ることが可能である。

以上説明したように、本発明によれば、高いＷＤＲ効果が得られる長露光画像および短露光画像を合成するタイプのＷＤＲ処理において、メモリサイズやデータ転送負荷の増加を小さく抑え、動物体の二重像も小さく抑えながら、フリッカを含む動画像に対しても高いＷＤＲ効果を得ることが可能である。

本発明の実施形態に係るＷＤＲシステムの機能構成を示す図である。動き検出結果と巡回係数との関係の例を示す図である。本発明の実施形態に係るＷＤＲシステムの動作の流れの例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、本発明の実施形態に係るＷＤＲシステム１０の機能構成について説明する。図１は、本発明の実施形態に係るＷＤＲシステム１０の機能構成を示す図である。図１に示すように、ＷＤＲシステム１０は、センサ１１０、第１メモリ１２１、第２メモリ１２２、検出部１３０、ＩＩＲフィルタ１４０および合成部１５０を備える。

以下、ＷＤＲシステム１０が備える各機能ブロックの機能について順次詳細に説明する。なお、ＷＤＲシステム１０は、本発明の実施形態に係る画像処理装置の一例として機能する。

センサ１１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

具体的には、センサ１１０は、長露光画像と短露光画像とを連続撮影する。長露光画像と短露光画像とが同時に撮影される場合、図１に示すように、ＷＤＲシステム１０は、センサ１１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有する。しかし、センサ１１０は、長露光画像と短露光画像とを時分割で出力してもよい。その場合には、ＷＤＲシステム１０は、長露光画像および短露光画像を出力するための共通の系統を１つ有していればよい。

長露光撮影された前フレームの長露光画像は第１メモリ１２１に書き込まれる。一方、短露光撮影された前フレームの短露光画像はＩＩＲフィルタ１４０に出力され、ＩＩＲフィルタ１４０によって当該前フレームの短露光画像に対するＩＩＲフィルタリングの処理結果が第２メモリ１２２に書き込まれる。続いて、センサ１１０は、長露光撮影を行うことにより現フレームの長露光画像を取得し、短露光撮影を行うことにより現フレームの短露光画像を取得する。前フレームは現フレームよりも１フレーム前のフレームに相当する。

ここで、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

ＩＩＲフィルタ１４０は、検出部１３０により検出された動きに基づいて、巡回係数を制御して、センサ１１０から出力された現フレームの短露光画像に対してＩＩＲフィルタリングを行う。より詳細には、ＩＩＲフィルタ１４０は、現フレームの短露光画像と前フレームの短露光画像に対するＩＩＲフィルタリングの処理結果との混合によりＩＩＲフィルタリングを行う。ＩＩＲフィルタ１４０は、処理部の一例として機能する。

このようなＩＩＲフィルタ１４０による演算は、例えば、下記の式（１）により行われる。

Ｙ＝Ｋ・Ｘ_ｔ＋（１−Ｋ）・Ｘ_ｔ−１・・・式（１）

式（１）において、Ｋは「０」〜「１」の値を取る巡回係数、Ｘ_ｔは現フレームの短露光画像の画素値、Ｘ_ｔ−１は前フレームの短露光画像の画素値に対するＩＩＲフィルタ１４０の処理結果である。Ｙは出力値であり、現フレームの短露光画像の画素値に対するＩＩＲフィルタリングの処理結果として合成部１５０に出力されるとともに、第２メモリ１２２にも書き込まれ、現フレームの次のフレームにおいてＸ_ｔ−１として使用される。ＩＩＲフィルタ１４０は、式（１）に示した演算を各画素について行えばよい。

このＩＩＲフィルタ１４０による演算においては、巡回係数Ｋを小さくするほど複数枚の加算平均効果が顕著になり、フリッカの低減度合いが強くなる。しかも、かかる演算においては、フレームメモリは画像１枚分しか必要とならない点が特長である。ただし、複数枚の加算平均を行うと、動きのある場所では物体の輪郭がいくつも重なって不自然に見えてしまう。

一方、巡回係数Ｋを大きくするほど、式（１）の出力Ｙは現フレームの情報が大半を占めるので時間方向のフィルタリング効果は少なく、フリッカ低減効果は小さい。ただし、動きのある場所で物体の輪郭が重なって見える現象も小さくなる。

ＩＩＲフィルタリングに限らず、ダイナミックレンジ拡大やノイズリダクションなどを目的として複数枚の加算平均を行う場合、動きのある部分で物体の輪郭が重なって不自然になるというのが大きな問題となる。この問題に対して、動きを検出して動きのある部分では複数枚加算を行わないようにする対策をとる例もある。

しかし、このような対策をとるのは照明環境に変化がないことが前提である場合が多い。フリッカと動きを区別するのは難しく、加算平均を行う従来の処理に対して、フリッカを含む画像が入力された場合は、フリッカと動きの区別がつかず、誤動作を起こし所望の効果が得られないことが多い。

本発明の実施形態においては、ＷＤＲシステムの撮影手法の特徴を生かし、次に述べる動き検出手法によりこの問題を解決する。

一般に、長露光画像のシャッタスピードはフリッカ周波数と同等もしくはそれよりも長く、長露光画像にフリッカはほとんど含まれない。したがって、動き検出の精度は単純に長露光画像に対してフレーム差分を取ることによっても十分に得られる。そこで、検出部１３０は、センサ１１０から出力された現フレームの長露光画像および第１メモリ１２１から出力された前フレームの長露光画像に基づいて動きを検出する。

検出部１３０は、長露光画像に対してフレーム差分を取ることによって動きを検出する場合、差分値が第１の閾値より小さい場合はノイズの影響が大きいと考えられるため、動きとして検出しないようにしてもよい。一方、検出部１３０は、差分値が第２の閾値より大きい場合は動きとして検出してもよい。さらに、検出部１３０は、差分値が第１の閾値と第２の閾値との中間の値を取った場合は、差分値が大きいほど動き検出の結果を大きくするようにしてもよい。このようにして検出部１３０によって検出された長露光画像における動き領域を示す情報がＩＩＲフィルタ１４０に送られ、巡回係数が適応的に設定される。

動き検出結果（動き量）に基づいて巡回係数を制御する場合の制御例について説明する。図２は、動き検出結果と巡回係数との関係の例を示す図である。ＩＩＲフィルタ１４０は、動き検出結果が大きいほど、巡回係数を大きくしてＩＩＲフィルタリングを行ってもよい。図２に示した例では、前述したような動きの有無を判定する際に用いる閾値をＴＨ１、ＴＨ２としている。

例えば、ＩＩＲフィルタ１４０は、動き検出結果がＴＨ１より小さい場合には巡回係数を小さく設定し（例として、巡回係数に「０．３」を設定し）、複数枚の加算平均による効果を大きくしてフリッカ低減効果を高める。

一方、ＩＩＲフィルタ１４０は、動き検出結果がＴＨ２より大きい場合には巡回係数を大きく設定し（例として、巡回係数に「０．９」を設定して）、フレーム間の加算平均効果を小さくして動物体の輪郭が重なって不自然に見える現象を防ぐ。ＩＩＲフィルタ１４０は、動き検出結果がＴＨ１とＴＨ２との間にある場合は、動き検出結果が大きいほど、巡回係数を大きくしてＩＩＲフィルタリングを行うことによって、動画として自然に見えるように配慮してもよい。

合成部１５０は、現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とを合成する。例えば、合成部１５０は、選択情報に基づいて現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とを合成することによりＷＤＲ画像を生成する。現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

また、合成部１５０は、混合比率に基づいて現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とを合成することによりＷＤＲ画像を生成してもよい。例えば、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

例えば、長露光画像の混合比率をαとした場合、合成部１５０は、現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とにおいて対応する各画素について、α×（現フレームの長露光画像の画素値）＋（１−α）×（現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。なお、選択情報や混合比率は、例えば、ＷＤＲシステム１０の内部または外部において生成されればよい。また、合成部１５０による合成手法は特に限定されない。

図３は、本発明の実施形態に係るＷＤＲシステム１０の動作の流れの例を示す図である。図３に示すように、まず、検出部１３０は、センサ１１０から出力された現フレームの長露光画像および第１メモリ１２１から出力された前フレームの長露光画像に基づいて動きを検出する（ステップＳ１）。ＩＩＲフィルタ１４０は、検出部１３０により検出された動きに基づいて巡回係数を制御して、センサ１１０から出力された現フレームの短露光画像に対してＩＩＲフィルタリングを行う（ステップＳ２）。

合成部１５０は、センサ１１０から出力された現フレームの長露光画像とセンサ１１０から出力された現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とを合成する（ステップＳ３）。現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果は、第２メモリ１２２に記録されて、現フレームの次のフレームに対するＩＩＲフィルタリングにおいて、前フレームの短露光画像に対するＩＩＲフィルタリングの処理結果として使用される。ステップＳ１〜ステップＳ３の動作は、次フレーム以降についても同様に行われ得る。

本発明の実施形態に係る手法によれば、高いＷＤＲ効果が得られる長露光画像および短露光画像を合成するタイプのＷＤＲ処理において、メモリサイズやデータ転送負荷の増加を小さく抑え、動物体の二重像も小さく抑えながら、フリッカを含む動画像に対しても高いＷＤＲ効果を得ることが可能である。

以下、本発明の実施形態に係る手法により奏する効果をさらに詳細に述べる。本発明の実施形態においては、ＷＤＲ合成前に短露光画像に含まれるフリッカを低減する手法を採用している。フリッカの低減はＩＩＲフィルタリングによって行うが、複数枚の画像を加算平均する手法を採用する場合には、動物体の輪郭が重なって不自然に見える現象が一般に問題となる。

この問題に対して、本発明の実施形態においては、フリッカを含まない長露光画像を使った動き検出により高精度に動き領域を検出し、検出結果をＩＩＲフィルタリングの巡回係数の設定に活用することで対策している。

また、ＷＤＲ合成時にフリッカを低減する手法を採用した場合には、フリッカと動きの区別は難しいため、フリッカを低減するのは困難である。本発明の実施形態によれば、ＷＤＲ合成前に短露光画像に含まれるフリッカを低減することができるため、ＷＤＲ合成時にはフリッカに配慮する必要がなく安定した合成を行うことが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本発明の実施形態に係る手法による処理対象の信号としては、Ｂａｙｅｒデータを用いる場合が最も好適であるが、当該処理対象の信号として用いられる信号は、Ｂａｙｅｒデータに限定されず、ＲＧＢデータでもよいし、ＹＵＶデータでもよい。

１０ＷＤＲシステム（画像処理装置）
１１０センサ
１２１第１メモリ
１２２第２メモリ
１３０検出部
１４０ＩＩＲフィルタ（処理部）
１５０合成部

Claims

現フレームの長露光画像および前フレームの長露光画像に基づいて動きを検出する検出部と、
前記動きに基づいて、巡回係数を制御して現フレームの短露光画像に対してＩＩＲフィルタリングを行う処理部と、
を備える、画像処理装置。
前記処理部は、現フレームの短露光画像と前フレームの短露光画像に対するＩＩＲフィルタリングの処理結果との混合により前記現フレームの短露光画像に対するＩＩＲフィルタリングを行う、
請求項１に記載の画像処理装置。
前記処理部は、前記動きの量が大きいほど、前記現フレームの短露光画像の巡回係数を大きくして前記現フレームの短露光画像に対するＩＩＲフィルタリングを行う、
請求項１に記載の画像処理装置。
前記画像処理装置は、
現フレームの長露光画像と現フレームの短露光画像に対するＩＩＲフィルタリングの処理結果とを合成する合成部をさらに備える、
請求項１に記載の画像処理装置。
現フレームの長露光画像および前フレームの長露光画像に基づいて動きを検出するステップと、
前記動きに基づいて、巡回係数を制御して現フレームの短露光画像に対してＩＩＲフィルタリングを行うステップと、
を含む、画像処理方法。