JPWO2017104395A1

JPWO2017104395A1 - 画像処理装置及び画像処理方法

Info

Publication number: JPWO2017104395A1
Application number: JP2017555955A
Authority: JP
Inventors: 誠庄原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-12-15
Filing date: 2016-11-29
Publication date: 2018-09-06
Anticipated expiration: 2036-11-29
Also published as: KR20180080297A; US20180260945A1; CN108293090A; JP6597794B2; CN108293090B; KR102102740B1; WO2017104395A1; EP3393117A1; US10699393B2; EP3393117A4

Abstract

画像を処理する画像処理装置が、異なる撮影条件で複数回撮影して複数の撮影画像を生成し、前記撮影画像を変換して輝度及び色差を示す変換画像を生成し、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶し、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成することにより、出力する画像の画質が良い画像処理装置を提供する。

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、複数回撮影を行い、撮影によって得られる複数の画像を合成して画像を生成する方法が知られている。

例えば、ダイナミックレンジ（ｄｙｎａｍｉｃｒａｎｇｅ）を拡大するため、まず、多重露光撮影において、撮影モードに応じて、複数の画像を画素値の比較結果に基づいて、複数の画像のうち、いずれかの画像の画素値を選択して合成する。次に、複数の画像を加算又は減算して画像合成を行う方法が知られている（特許文献１参照）。

しかしながら、従来の方法では、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力される画像の画質が悪い場合がある。

本発明は、上記課題に鑑みてなされたものであり、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力する画像の画質が良い画像処理装置を提供することを目的とする。

一態様における、画像を処理する画像処理装置は、異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部とを備えることを特徴とする。

本発明の各実施形態によれば、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力する画像の画質が良い画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理装置の全体構成の一例を示す断面図である。本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。本発明の一実施形態に係る画像処理装置によるＲＡＷ画像処理の一例を示すフローチャートである。本発明の一実施形態に係る画像処理装置による画像生成処理の一例を示すフローチャートである。本発明の一実施形態に係る係数データの一例を示す図である。本発明の第２実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付し、重複した説明を省く。

＜第１実施形態＞
＜画像処理装置例＞
図１は、本発明の一実施形態に係る画像処理装置の全体構成の一例を示す断面図である。画像処理装置１０は、例えば、複眼の構成である。具体的には、画像処理装置１０は、まず、撮影装置１２と、筐体１４と、シャッタボタン１８とを有する。

撮影装置１２は、例えば、図示するように結像光学系２０Ａと、結像光学系２０Ｂと、固体撮影素子２２Ａと、固体撮影素子２２Ｂとを有する。

固体撮影素子２２Ａ及び固体撮影素子２２Ｂは、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光学センサである。

結像光学系２０Ａ及び結像光学系２０Ｂは、例えば、６群７枚のいわゆる魚眼レンズ等である。また、結像光学系２０Ａ及び結像光学系２０Ｂは、２つの光学系で撮影する範囲が３６０以上であることが望ましい。さらに、結像光学系２０Ａ及び結像光学系２０Ｂは、それぞれの画角が１８０°以上であり、より望ましくは、それぞれの画角が１８５°以上又は１９０°以上であり、重複して撮影される範囲があることが望ましい。なお、重複して撮影される範囲は、各画像をつなぎ合わせる際、つなぎ合わせの処理の参考となる。

結像光学系２０Ａ及び結像光学系２０Ｂには、プリズム、フィルタ及び絞り等の光学系が含まれる。

固体撮影素子２２Ａ及び固体撮影素子２２Ｂと、結像光学系２０Ａ及び結像光学系２０Ｂとは、それぞれ対応する。また、固体撮影素子２２Ａ及び固体撮影素子２２Ｂは、例えば図示するように、各結像光学系に入光する光が対応する固体撮影素子の受光領域の中心部に直交する位置、かつ、受光領域が対応するレンズの結合面となる位置に位置決めされる。さらに、各固体撮影素子は、受光領域を有し、受光領域に入光した光を画像信号に変換し、出力する。この例では、結像光学系２０Ａ、結像光学系２０Ｂ、固体撮影素子２２Ａ及び固体撮影素子２２Ｂは、同一の仕様であり、それぞれの光軸が合致するように互いに逆向きに設置されるとする。

なお、撮影装置は、固体撮影素子及び結像光学系を２つ有する場合に限られない。撮影装置は、３以上の固体撮影素子及び結像光学系を有してもよい。以下、図示する固体撮影素子及び結像光学系が２対である場合を例に説明する。

筐体１４は、撮影装置１２のコントローラ及び電源となるバッテリ等の部品を有する。また、シャッタボタン１８は、筐体１４に設けられ、撮影装置１２のシャッタを切る操作を行うためのボタンである。

画像処理装置１０は、撮影装置１２によって撮影される各画像（以下「撮影画像」という。）をつなぎ合わせる処理を行う。次に、画像処理装置１０は、複数の撮影画像をつなぎ合わせて合成し、立体角４ｒａｄ（ｒａｄｉａｎ）の合成画像（以下「全天球画像」という。）を生成する処理を行う。なお、全天球画像は、撮影地点から見渡すことのできる全方位を示す画像である。すなわち、全天球画像は、水平面が３６０°撮影範囲となる、いわゆるパノラマ（ｐａｎｏｒａｍａ）画像であってもよい。

固体撮影素子２２Ａ及び固体撮影素子２２Ｂの各走査方向を一致させることで、画像処理装置１０は、各処理を行いやすくすることができる。つまり、つなぎ合わせの処理が行われる箇所等で走査方向及び順序が一致することで、各固体撮影素子の被写体、特に移動物体のつなぎ合わせの処理が行いやすくできる。例えば、固体撮影素子２２Ａの画像の左上部分及び固体撮影素子２２Ｂの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合は、固体撮影素子２２Ａの走査方向を上から下、かつ、右から左方向とする。また、固体撮影素子２２Ａの画像の左上部分及び固体撮影素子２２Ｂの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合には、固体撮影素子２２Ｂの走査方向を下から上、かつ、左から右方向とする。つなぎ合わせ処理を行う箇所に基づいて走査方向を一致させることによって、画像処理装置１０は、つなぎ合わせの処理が行いやすくできる。

画像処理装置１０は、処理した画像を、例えば、ディスプレイ装置又は画像形成装置等の出力装置に出力させる。他にも、画像処理装置１０は、画像を、例えば、ＳＤ（登録商標）カード又はコンパクトフラッシュ（登録商標）等の記録媒体に出力してもよい。

＜ハードウェア構成例＞
図２は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、画像処理装置は、撮影装置１２を有する。また、撮影装置１２は、光学系の例であるレンズ１及び固体撮影素子の例であるＣＭＯＳセンサ２等を有する。

撮影装置１２は、デジタルスチルカメラプロセッサ５に接続される。また、撮影装置１２は、デジタルスチルカメラプロセッサ５が有するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２９によって制御される。また、画像処理装置は、ＮＡＮＤＦＬＡＳＨ等のＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）２６を有する。さらに、ＲＯＭ２６には、ＣＰＵ２９が用いる制御プログラム及びパラメータ等のデータが記憶される。

画像処理装置は、電源スイッチ等のスイッチ２１を有する。このスイッチ２１がオンの状態となると、例えば、ＲＯＭ２６に記憶される制御プログラムがメインメモリにロードされる等の処理が行われ、画像処理装置が起動する。また、ＣＰＵ２９は、プログラムに従って、各部の動作を制御する。さらに、ＣＰＵ２９は、制御及び処理においてデータをＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又はＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のＲＡＭ１５に記憶する。また、ＲＯＭ２６に、書き換え可能なフラッシュＲＯＭ等を使用すると、制御プログラム又は制御用のパラメータの変更が可能となり、機能のバージョンアップが容易となる。

ＩＳＰ（ＩｍａｇｅＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）６は、ＣＭＯＳ２から入力される画像データに対して、ホワイトバランス、ガンマ補正並びに画像データが示すそれぞれの画素値を輝度及び色差に変換する処理等を行う。

ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）２７は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等の外部装置とＵＳＢ通信を行う。また、ＳＰＩ２３は、外部装置とシリアル通信を行う。さらに、ＪＰＥＧコーデック器１６は、画像データをＪＰＥＧ形式に圧縮及びＪＰＥＧ形式から伸張する。さらにまた、Ｈ．２６４動画コーデック器１７は、画像データをＨ．２６４形式に圧縮及びＨ．２６４形式から伸張する。また、リサイズ器１９は、画像データに対して補間処理等を行い、画像サイズを拡大及び縮小させる。さらに、画像処理装置は、画像データをＳＤ（登録商標）カード２５等に記憶する。なお、ＳＤ（登録商標）カード２５は、メモリカードスロットル等によって、着脱可能である。

ＳＤＲＡＭ４には、ＩＳＰ６及び歪曲補正・合成処理装置２４が用いる画像データ等が記憶される。また、歪曲補正・合成処理装置２４は、３軸加速度センサー３６から取得されるデータを利用して、天地補正及び傾き補正等を行ってもよい。次に、顔検出装置３７は、補正された画像から人の顔等を検出する。これによって、画像内に写る顔の位置等が特定される。

なお、画像データは、デジタルスチルカメラプロセッサ５に読み込まれる。この例では、画像データは、ＩＳＰ６によるホワイトバランス及びガンマ補正等が行われた後の状態である「ＲＡＷ−ＲＧＢ画像データ」等である。他にも、画像データは、ＩＳＰ６による輝度及び色差変換等が行われた後の状態である「ＹＣｂＣｒ画像データ」等である。さらに、画像データは、ＪＰＥＧコーデック器１６によるＪＰＥＧ圧縮が行われた後の状態である「ＪＰＥＧ画像データ」等である。

画像処理装置は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）ドライバ等を有する。これによって、画像処理装置は、接続されるＬＣＤモニタ３５等の出力機器に画像を出力させる。すなわち、ＬＣＤドライバは、ＬＣＤモニタ３５を駆動させるドライブ回路であり、ＬＣＤドライバは、各種状態をＬＣＤモニタ３５に表示するための信号に変換する処理を行う。

画像処理装置は、ユーザ等による音声を入力するマイク３２が接続される。また、画像処理装置は、マイク３２によって入力される音声の音声信号を増幅するアンプ等を有する。他にも、画像処理装置は、音声信号を示すデータを記憶する記憶装置を有する。

画像処理装置は、記憶される音声を出力するスピーカ３３が接続される。また、画像処理装置は、スピーカ３３に音声を出力させるための音声信号を増幅するアンプ等を有する。

＜全体処理例＞
図３は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。

ステップＳ０１では、画像処理装置は、撮影を行う。なお、ステップＳ０１で行われる撮影は、いわゆるブラケット撮影である。具体的には、画像処理装置は、露光条件等の撮影条件を変更して、異なる複数の撮影条件で、複数回の撮影を行う。以下、撮影回数を「Ｍ＝４回」とする例で説明する。この例では、各撮影条件における露光条件が異なる。例えば、露光条件は、「ＰｒｏｐＥｘｐ」、「Ｕ２Ｅｘｐ」、「Ｕ１Ｅｘｐ」及び「Ｏ１Ｅｘｐ」である。また、この例では、露光条件を例えば、ＥＶ（ＥｘｐｏｓｕｒｅＶａｌｕｅ）値で示すとする。ＥＶ値は、絞り（Ｆ値）及びシャッタ速度等の露出の明るさ等を特定できる条件の例である。

以下、「ＰｒｏｐＥｘｐ＝０ＥＶ」、「Ｕ２Ｅｘｐ＝−２ＥＶ」、「Ｕ１Ｅｘｐ＝−１ＥＶ」及び「Ｏ１Ｅｘｐ＝＋２ＥＶ」とする例で説明する。なお、撮影条件は、「ＰｒｏｐＥｘｐ＝０ＥＶ」、「Ｕ２Ｅｘｐ＝−２ＥＶ」、「Ｕ１Ｅｘｐ＝−１ＥＶ」及び「Ｏ１Ｅｘｐ＝＋２ＥＶ」とする条件に限られない。例えば、撮影条件は、カメラの特性に合わせて設定可能な上限値及び下限値を考慮して設定されてもよい。具体的には、「Ｕ１Ｅｘｐ」は、「Ｕ２Ｅｘｐ」の露光量の半分等と定義され、かつ、「Ｕ２Ｅｘｐ」の設定において上限に達するため、「Ｕ２Ｅｘｐ＝−０．６ＥＶ」とする場合には、「Ｕ１Ｅｘｐ」は、「−０．３ＥＶ」と設定されてもよい。

なお、撮影は、通常のＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）よりも低いＩＳＯ条件で行われるのが望ましい。つまり、撮影回数を「Ｍ＝１」とする場合よりも、複数回撮影を行う場合には、感度が低くなる条件で撮影が行われるのが望ましい。このように、低いＩＳＯ条件で撮影が行われると、画像処理装置は、ノイズの影響を少なくすることができる。

ステップＳ０１によって、各撮影条件での画像データがそれぞれ生成される。この例では、「ＰｒｏｐＥｘｐ」によって生成される画像データは、第１画像データＲａｗＰｒｏｐである。同様に、「Ｕ２Ｅｘｐ」によって生成される画像データは、第２画像データＲａｗＵ２である。さらに、「Ｕ１Ｅｘｐ」によって生成される画像データは、第３画像データＲａｗＵ１である。さらにまた、「Ｏ１Ｅｘｐ」によって生成される画像データは、第４画像データＲａｗＯ１である。なお、第１画像データＲａｗＰｒｏｐ、第２画像データＲａｗＵ２、第３画像データＲａｗＵ１及び第４画像データＲａｗＯ１は、それぞれＲＡＷ画像形式（Ｒａｗｉｍａｇｅｆｏｒｍａｔ）である。

ステップＳ０２では、画像処理装置は、ＲＡＷ画像処理を行う。すなわち、ステップＳ０２では、画像処理装置は、第１画像データＲａｗＰｒｏｐ、第２画像データＲａｗＵ２、第３画像データＲａｗＵ１及び第４画像データＲａｗＯ１のそれぞれの画像データに対して、現像処理を行い、ＹＣｂＣｒ画像に変換する。

図４は、本発明の一実施形態に係る画像処理装置によるＲＡＷ画像処理の一例を示すフローチャートである。例えば、ステップＳ０２では、画像処理装置は、図示する処理を各ＲＡＷ画像形式の画像データに対して、それぞれ行う。以下、第１画像データＲａｗＰｒｏｐに対するＲＡＷ画像処理の例で説明する。

ステップＳ１０では、画像処理装置は、ＯＢ（ＯｐｉｔｉｃａｌＢｌａｃｋ）補正を行う。例えば、ステップＳ１０では、画像処理装置は、有効画素領域の出力信号をフレア又は暗い箇所でのノイズの大きさに合わせてクランプする補正を行う。

ステップＳ１１では、画像処理装置は、欠陥画素補正を行う。固体撮影素子は、複数の画素が配列される。そのため、固体撮影素子は、半導体基板上に、複数のフォトダイオード等の感光素子が形成されるように製造される。したがって、製造において、半導体基板上に不純物が混入する等によって、画素値の取り込みができない画素、いわゆる欠陥画素が製造される場合がある。このような欠陥画素を補うため、画像処理装置は、欠陥画素の周辺画素からの画素値に基づいて、欠陥画素の出力を補う画素値を生成する。

ステップＳ１２では、画像処理装置は、リニア（ｌｉｎｅａｒ）補正を行う。すなわち、ステップＳ１２では、画像処理装置は、Ｒ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）及びＢ（ｂｌｕｅ）ごとに、それぞれリニア補正を行う。

ステップＳ１３では、画像処理装置は、シェーディング（ｓｈａｄｉｎｇ）補正を行う。例えば、ステップＳ１３では、画像処理装置は、あらかじめ用意される補正係数を有効画素領域の出力信号に乗じて、有効画素領域のシェーディング（陰影）による歪みを補正する。なお、補正係数は、固定値である。

ステップＳ１４では、画像処理装置は、輝度値を計算する。具体的には、まず、ステップＳ１４では、画像処理装置は、画像を所定の領域に分割する。次に、画像処理装置は、各領域の画素値に基づいて、それぞれの領域の平均輝度値を計算する。なお、計算される平均輝度値は、例えば、ＡＥ処理等に用いられる。

ステップＳ１５では、画像処理装置は、ホワイトバランス処理を行う。固体撮影素子が有するそれぞれのフォトダイオードには、カラーフィルタがそれぞれ設置される。このため、フィルタの色によって、透過する光量が異なるため、各フォトダイオードに蓄積される電荷量が異なる。また、グリーンが最も感度が高くなることが多い。一方で、レッド及びブルーは、グリーンと比較すると、感度が低くなることが多く、半分程度となる場合がある。そこで、ホワイトバランス処理では、これらの感度の差を補い、画像に写る白色が白く表示させるように、レッド及びブルーに対してゲインをかける処理等が行われる。また、被写体の色は、光源色、例えば、太陽光又は蛍光灯等によって異なる。そのため、ホワイトバランス処理では、光源に応じて、白色を白く表示させるため、光源ごとに、ゲインが変更されてもよい。

ステップＳ１６では、画像処理装置は、ガンマ補正を行う。すなわち、ガンマ補正は、非線形な入出力変換を行う。このような非線形な出力である場合には、明るさに階調性がない場合が多い。また、画像が暗くなると、人の目には、画像が見えなくなる場合がある。そこで、画像処理装置は、出力装置の特性を考慮して、出力が線形性を保つように、入力信号に対して非線形な変換を行う。

ステップＳ１７では、画像処理装置は、ベイヤ補間を行う。固体撮影素子が有するそれぞれのフォトダイオードに各色のカラーフィルタがそれぞれ設置される場合には、固体撮影素子が出力する画像データは、画素ごとに、それぞれ１色の画素値を示す。これに対して、カラー画像を表示するには、レッド、グリーン及びブルーの３色の画素値が必要となる。そこで、各画素において、画像処理装置は、足りない色の画素値を周辺の画素等からバイリニア等の補間処理によって補間する。

ステップＳ１８では、画像処理装置は、ＹＣｂＣｒ変換を行う。すなわち、ステップＳ１８では、画像処理装置は、ＲＧＢ値を示すＲＡＷ画像形式から、輝度を示すＹ並びに色差を示すＣｂ及びＣｒのＹＣｂＣｒ画像形式に変換する。

このように、ＹＣｂＣｒ変換等によって、変換画像の例である「ＹＣｂＣｒ画像」は、生成される。すなわち、以下の例では、ＹＣｂＣｒ画像が示す「Ｙ」が輝度の例である。また、ＹＣｂＣｒ画像が示す「Ｃｂ」が第１色差の例であり、ＹＣｂＣｒ画像が示す「Ｃｒ」が第２色差の例である。

なお、変換画像は、ＹＣｂＣｒ形式の画像に限られない。例えば、変換画像は、ＣＩＥ（国際照明委員会、Ｃｏｍｍｉｓｓｉｏｎｉｎｔｅｒｎａｔｉｏｎａｌｅｄｅｌ'ｅｃｌａｉｒａｇｅ）１９７６で定められるＬ^＊Ｕ^＊Ｖ^＊色空間、ＣＩＥ１９７６で定められるＬ^＊ａ^＊ｂ^＊色空間又はＹＵＶ形式等の画像でもよい。以下、変換画像がＹＣｂＣｒ画像である例で説明する。

なお、ＪＰＥＧ画像は、ＹＵＶ画像形式のデータから変換されることが多い。そのため、ＪＰＥＧ画像に変換するため、画像データは、ＹＵＶ画像形式に変換されてもよい。

ステップＳ１９では、画像処理装置は、エッジ強調（ＹＣＦＬＴ）を行う。例えば、画像処理装置は、輝度からエッジを抽出するエッジ抽出フィルタ処理と、抽出されるエッジにゲインをかけるゲイン乗算と、ノイズを減らすＬＰＦ（ｌｏｗｐａｓｓｆｉｌｔｅｒ）処理と、ゲイン乗算後及びＬＰＦ処理後の画像データの加算等を行う。

ステップＳ２０では、画像処理装置は、色補正を行う。例えば、画像処理装置は、彩度設定、色相設定、部分的な色相変更設定、色抑制又はこれらの組み合わせ等を行う。

図示する処理によって、ＹＣｂＣｒ画像形式である第１ＹＣｂＣｒ画像データＹＣｂＣｒＰｒｏｐが出力される。

なお、ＲＡＷ画像処理は、図示する処理に限られない。例えば、図示する処理の一部が省略又は他の処理が行われてもよい。

また、例えば、図３に示す第２画像データＲａｗＵ２、第３画像データＲａｗＵ１及び第４画像データＲａｗＯ１に対しても、同様に、図４に示す処理が行われる。このようにすると、第２ＹＣｂＣｒ画像データＹＣｂＣｒＵ２、第３ＹＣｂＣｒ画像データＹＣｂＣｒＵ１及び第４ＹＣｂＣｒ画像データＹＣｂＣｒＯ１がそれぞれ生成される。

図３に戻り、ステップＳ０３では、画像処理装置は、画像合成を行う。

図５は、本発明の一実施形態に係る画像処理装置による画像生成の一例を示すフローチャートである。例えば、図３に示すステップＳ０３では、ステップＳ０２で生成される第１ＹＣｂＣｒ画像データＹＣｂＣｒＰｒｏｐ、第２ＹＣｂＣｒ画像データＹＣｂＣｒＵ２、第３ＹＣｂＣｒ画像データＹＣｂＣｒＵ１及び第４ＹＣｂＣｒ画像データＹＣｂＣｒＯ１を合成して合成画像を生成する。

ステップＳ３０では、画像処理装置は、各ＹＣｂＣｒ画像の色差を比較して、最大値を採用する。まず、画像処理装置は、各ＹＣｂＣｒ画像から色差、すなわち、Ｃｒ値データ及びＣｂ値データをそれぞれ抜き出す。次に、画像処理装置は、画素ごとに、Ｃｒ値及びＣｂを比較する。そして、この例では、４つのＹＣｂＣｒ画像のＣｒ値及びＣｂ値のうち、全体値が最大となる値を採用する。このように、最大値を採用すると、画像処理装置は、絶対値が大きい値の色差を利用して合成画像を生成できる。そのため、画像処理装置は、彩度が強調される画質の良い合成画像を生成できる。また、ステップＳ３０に係る演算は、高速に行うことができるため、画像処理装置は、処理速度を速くすることができる。

なお、彩度補正の程度を抑えたい場合等には、画像処理装置は、ＹＣｂＣｒ画像のＣｂ値を二乗した第１色差二乗値の例であるＣｂ二乗値及びＹＣｂＣｒ画像のＣｒ値を二乗した第２色差二乗値の例であるＣｒ二乗値を加算したそれぞれの加算結果を比較してもよい。つまり、画像処理装置は、画素ごとに、加算結果の絶対値が最大となるＣｂ値及びＣｒ値をそれぞれ採用して、合成画像を生成してもよい。

また、画像処理装置は、最大値を算出するための元画像として撮影画像すべてを用いず、一部の画像、例えば「Ｏ１Ｅｘｐ」によって生成される画像データを除いて算出してもよい。このように、適切な色差が生成されることが期待できる画像のみを用いることで、画像処理装置は、より適切な彩度をもつ画質の良い合成画像を生成できる。以下、ステップＳ３０によって生成される合成画像のＣｒ値及びＣｂ値を示す画像データを「合成ＣｂＣｒ画像ＣｂＣｒ」という。

ステップＳ３１では、画像処理装置は、余白の追加を行う。具体的には、まず、画像処理装置は、各ＹＣｂＣｒ画像から輝度、すなわち、Ｙ値データをそれぞれ抜き出す。次に、画像処理装置は、各Ｙ値データが所定のピラミッド段数を得られるように、各Ｙ値データに余白を追加する等によってデータ数を調整する。

例えば、後段の処理でのピラミッド段数が「Ｎ」である場合には、画像処理装置は、Ｙ値データの幅及び高さの数がそれぞれ「２^{（Ｎ−１）}」で割り切れる値であるか否かを判断する。次に、割り切れない値である場合には、画像処理装置は、Ｙ値データに余白を追加する。

余白を追加する方法は、例えば、Ｙ値データの端の画素値をコピーする等の方法がある。なお、余白を追加する方法は、固定値の画素値を追加する等の他の方法でもよい。

以下、ステップＳ３１によって余白が追加されたＹ値データを「余白付Ｙ値データＹＰ」という。なお、余白付Ｙ値データＹＰは、ＹＣｂＣｒ画像データごとにそれぞれ生成される。以下の説明では、生成される４つの余白が追加されたＹ値データうち、いずれか１つを指して「余白付Ｙ値データＹＰ」という。

ステップＳ３２では、画像処理装置は、係数を決定する。例えば、係数は、あらかじめ入力される係数を示すデータ（以下「係数データＤＬＵＴ」という。）によって決定される。また、係数データＤＬＵＴは、露光条件等によって異なるデータである。さらに、係数データＤＬＵＴは、例えば、ＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）形式のデータである。

係数は、画素ごとに、Ｙ値データ間で重みを正規化する。例えば、正規化は、下記（１）式のように示せる。

上記（１）式では、「ｗ_ｅ」は、正規化された露光条件「ｅ」の重み係数を示す。また、「ＬＵＴ_ｅ」は、露光条件「ｅ」用の係数データＤＬＵＴ、すなわち、ＬＵＴを示す。さらに、「Ｙ_ｅ」は、露光条件「ｅ」での輝度を示す。このように、正規化は、各画素において、各露光条件の重み係数を足すと、「１」となるようにする処理である。

図６は、本発明の一実施形態に係る係数データの一例を示す図である。係数データは、例えば、入力側を輝度値「Ｙ」とし、この「Ｙ」に対する「利用割合」の値を出力するＬＵＴ等である。すなわち、「利用割合」が高くなると、合成において使用される重みが大きくなる。また、図では、撮影条件ごとに、横軸は、入力を示し、縦軸は、入力に対する出力を示す。なお、利用割合は、「０」を超える値が設定される。また、「Ｙ」は、「０乃至２５５」の値である例で説明する。さらに、以下の例では、「利用割合」は、分母を「２５５」とし、分子が「１乃至２５５」の値であるとする。つまり、ＬＵＴは、８ビットの値を８ビットの値に変換する。そのため、ＬＵＴは、２５６バイトのデータである例とする。

この例では、高輝度部分を解像するため、暗く撮影する「Ｕ２Ｅｘｐ」用のＬＵＴは、明るい側の割合を増やし、一方で、暗い側の割合を減らすように設定される。図示するように、「Ｕ２Ｅｘｐ」用のＬＵＴは、明るい側、すなわち、所定の値以上の輝度が入力されると、出力が「１」等のように高くなるように設定される。このようにすると、所定の値以上の輝度が合成において使用される重みが大きくなる。

逆に、低輝度部分を解像するため、明るく撮影する「Ｏ１Ｅｘｐ」用のＬＵＴは、明るい側の割合を減らし、一方で、暗い側の割合を増やすように設定される。図示するように、「Ｏ１Ｅｘｐ」用のＬＵＴは、暗い側、すなわち、所定の値以下の輝度が入力されると、出力が「１」等のように高くなるように設定される。このようにすると、所定の値以下の輝度が合成において使用される重みが大きくなる。

なお、この例では、所定の値を「２５５÷２≒１２７」とする例である。また、所定の値は、あらかじめ設定される値である。

さらに、中間の撮影条件で撮影する「ＰｒｏｐＥｘｐ」及び「Ｕ１Ｅｘｐ」用のそれぞれのＬＵＴは、「Ｙ＝０．５」の中央付近の値に対して、割合を増やす。例えば、「ＰｒｏｐＥｘｐ」及び「Ｕ１Ｅｘｐ」用のそれぞれのＬＵＴは、図示するように、同一である。このように、各撮影条件において、係数データが設定されると、画像処理装置は、明るい領域及び暗い領域を解像させ、全体的な明るさを維持させて画像を生成できる。以下、このようなＬＵＴを用いて生成される画像を「荷重画像」という。

図５に戻り、ステップＳ３３では、画像処理装置は、ガウシアンピラミッド処理を行う。例えば、ガウシアンピラミッド処理は、ステップＳ３２によって生成される荷重画像ＬＩｍｇからガウシアンピラミッドＬＰＭを生成する。なお、ガウシアンピラミッドＬＰＭは、所定の「Ｎ」段まで生成されるとする。なお、ピラミッド処理は、例えば、１つの画像を解像度を変えて複数の画像を生成する処理等である。以下、同様に表現する。

ステップＳ３４では、画像処理装置は、Ｙラプラシアンピラミッド処理を行う。例えば、Ｙラプラシアンピラミッド処理は、各ＹＣｂＣｒ画像のＹ値データからラプラシアンピラミッドＹＰＭを生成する。なお、ラプラシアンピラミッドＹＰＭは、所定の「Ｎ」段まで生成されるとする。

ステップＳ３５では、画像処理装置は、Ｙ荷重平均処理を行う。具体的には、ステップＳ３５では、画像処理装置は、ガウシアンピラミッドＬＰＭ及びラプラシアンピラミッドＹＰＭを乗算し、合成ラプラシアンピラミッドＣＰＭを生成する。なお、合成ラプラシアンピラミッドＣＰＭは、下記（２）式のように示せる。

上記（２）式では、「Ｙｗ_ｊ」は、合成ラプラシアンピラミッドＣＰＭにおいて、「ｊ」段目の画像を示す。また、上記（２）式では、「ｗ_ｅ，ｊ」は、露光条件「ｅ」の正規化重み係数画像から生成されるガウシアンピラミッドＬＰＭにおいて、「ｊ」段目の画像を示す。さらに、上記（２）式では、「Ｙ_ｅ，ｊ」は、露光条件「ｅ」のＹ値データから生成されるラプラシアンピラミッドＹＰＭにおいて、「ｊ」段目の画像を示す。

ステップＳ３６では、画像処理装置は、Ｙ逆ラプラシアン処理を行う。すなわち、ステップＳ３６では、画像処理装置は、ステップＳ３５で生成される合成ラプラシアンピラミッドＣＰＭに対して、Ｙ逆ラプラシアン処理を行い、合成後Ｙ値データＹＢを生成する。なお、合成後Ｙ値データＹＢは、余白が含まれる。

ステップＳ３７では、画像処理装置は、余白を削除する。すなわち、画像処理装置は、ステップＳ３６で生成される合成後Ｙ値データＹＢから余白を削除する。以下、ステップＳ３７によって生成されるデータが示す画像を「合成Ｙ画像Ｙ」という。

合成Ｙ画像Ｙ及び合成ＣｂＣｒ画像ＣｂＣｒのデータが、合成によって生成される合成画像データＣＹＣｂＣｒである。

なお、図５に示す画像生成の処理は、ステップＳ３０等のＣｂＣｒに係る処理を先に行う処理順序であるのが望ましい。このような処理順序とすると、ＣｂＣｒに係る処理に用いられるメモリを解放し、Ｙに係る処理に用いることができる。すなわち、ＣｂＣｒに係る処理を先に行う処理順序であると、画像処理装置は、メモリの使用効率を高めることができる。

＜第２実施形態＞
以下、２つの魚眼レンズで全方位を撮影するカメラ（以下「全天球カメラ」という。）を用いる例で説明する。全天球カメラは、複数の撮影画像をつなぎ合わせて、出力画像を生成する。なお、全天球カメラは、２つの固体撮影素子を有する、いわゆる複眼を有する画像処理装置の例である。これらの固体撮影素子でそれぞれ撮影される撮影画像は、多重合成を行うための余白を有し、かつ、ピラミッド処理の「Ｎ」段に対応する余白を有するのが望ましい。具体的には、撮影画像は、撮影画像をスティッチする領域及び「２^（Ｎ− ^１）」以上の余白画素に光が入射されるのが望ましい。

＜全体処理例＞
図７は、本発明の第２実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。以下、図３と同様の処理には同一の符号を付し、重複した説明を省略する。図３と比較すると、図７は、ステップＳ４１以降が加わる点が異なる。また、２つの固体撮影素子を有する全天球カメラでは、各処理が、それぞれの固体撮影素子が生成する撮影画像に基づいてそれぞれ行われる。そのため、この例では、各処理は、２回ずつ行われ、各画像は、撮影画像に基づいてそれぞれ生成される。

ステップＳ４１では、画像処理装置は、歪補正を行う。すなわち、ステップＳ４１では、画像処理装置は、歪補正によって、いわゆる正距円筒画像を生成する。この正距円筒画像は、複数の撮影画像、すなわち、いわゆる魚眼画像等から構成される。また、正距円筒画像を生成する際に、魚眼画像同士をつなぐつなぎ目部分で、スティッチ処理が行われる。

この例では、魚眼画像に相当する画像は、各合成画像データＣＹＣｂＣｒが示す画像である。したがって、各合成画像データＣＹＣｂＣｒが歪補正され、複眼画像ＣＩｍｇが生成される。

ステップＳ４２では、画像処理装置は、色輝度補正を行う。例えば、フレア等の影響によって、２つの固体撮影素子が撮影する画像の間には、色差又は輝度差が生じる場合がある。そのため、つなぎ目に、色又は輝度の段差が生じる場合がある。そこで、ステップＳ４２では、画像処理装置は、このような段差を補正する色輝度補正を行う。例えば、色輝度補正では、つなぎ目部分を画像の赤道に配置し、補正する等の色輝度補正が行われる。

なお、ステップＳ４２は、ステップＳ０３等の各撮影画像に対する処理の後に行われるのが望ましい。これによって、各固体撮影素子が撮影した画像は、それぞれ別に分離して処理される。このようにすると、画像処理装置は、出力画像の画質を向上させることができる。

ステップＳ４３では、画像処理装置は、天頂補正を行う。例えば、天頂補正は、加速度センサデータＤＣに基づいて行われる。この例では、画像処理装置は、加速度センサデータＤＣが示す天頂方向に合わせて画像が示す向きを補正する。この補正によって生成される画像が出力画像ＯｕｔＩｍｇとなる。

＜機能構成例＞
図８は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置１０は、撮影部１０Ｆ１と、変換部１０Ｆ２と、画像生成部１０Ｆ３と、記憶部１０Ｆ４とを備える。

撮影部１０Ｆ１は、異なる撮影条件で複数回撮影して複数の撮影画像ＲａｗＩｍｇを生成する。なお、撮影画像は、例えば、図３に示す第１画像データＲａｗＰｒｏｐ、第２画像データＲａｗＵ２、第３画像データＲａｗＵ１及び第４画像データＲａｗＯ１等である。また、撮影部１０Ｆ１は、例えば、撮影装置１２（図２）等によって実現される。

変換部１０Ｆ２は、撮影画像ＲａｗＩｍｇを変換してＹＣｂＣｒ画像ＹＣｂＣｒＩｍｇを生成する。なお、変換部１０Ｆ２は、例えば、図４に示す処理を行って、撮影画像ＲａｗＩｍｇに基づいてＹＣｂＣｒ画像ＹＣｂＣｒＩｍｇを生成する。また、変換部１０Ｆ２は、例えば、ＩＳＰ６（図２）等によって実現される。

記憶部１０Ｆ４は、撮影条件ごとに、ＹＣｂＣｒ画像ＹＣｂＣｒＩｍｇの輝度に対する係数を示すデータを記憶する。記憶部１０Ｆ４によって記憶されるデータは、例えば、係数データＤＬＵＴ（図５）等である。すなわち、記憶部１０Ｆ４は、図６に示すデータを記憶する。また、記憶部１０Ｆ４は、例えば、ＲＯＭ２６（図２）等によって実現される。

画像生成部１０Ｆ３は、記憶部１０Ｆ４が記憶するデータが示す係数に基づいて、複数のＹＣｂＣｒ画像を合成して合成画像ＣＹＣｂＣｒを生成する。例えば、画像生成部１０Ｆ３は、図５に示す処理等を行う。また、画像生成部１０Ｆ３は、例えば、ＩＳＰ６等によって実現される。

また、全天球カメラ等の複眼で撮影を行う画像処理装置では、図７に示すように、画像生成部１０Ｆ３が生成する複数の合成画像ＣＹＣｂＣｒに対して、歪補正等が更に行われてもよい。この場合には、画像処理装置は、図７に示すように複数の合成画像ＣＹＣｂＣｒをつなぎ合わせる処理等を行い、出力画像を出力する出力部を更に備える。

なお、色差は、ＹＣｂＣｒ画像のＣｒ値及びＣｂ値に限られない。例えば、色差は、Ｌａｂにおけるａ及びｂでもよい。さらに、色差は、ＹＵＶにおけるＵ及びＶでもよい。

なお、本発明に係る各処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置等のコンピュータに画像処理方法を実行させるためのコンピュータプログラムである。

また、プログラムは、ＲＯＭ又はＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤ（登録商標）カード又はＭＯ等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

本国際出願は、２０１５年１２月１５日に出願された日本国特許出願２０１５−２４３６７９号に基づく優先権を主張するものであり、その全内容を本国際出願に援用する。

１０画像処理装置
ＲａｗＩｍｇ撮影画像
ＹＣｂＣｒＩｍｇＹＣｂＣｒ画像
ＤＬＵＴ係数データ
ＣＹＣｂＣｒ合成画像

特開２０１３−５１５８４号公報

Claims

画像を処理する画像処理装置であって、
異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、
前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、
前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、
前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部とを備える画像処理装置。
前記画像生成部は、前記変換画像が示す色差を比較して、画素ごとに、値の絶対値が最大となる色差をそれぞれ採用して前記合成画像を生成する請求項１に記載の画像処理装置。
前記画像生成部は、前記変換画像が示す複数の色差のうち、第１色差を二乗した第１色差二乗値及び前記変換画像が示す複数の色差のうち、前記第１色差とは異なる第２色差を二乗した第２色差二乗値を加算したそれぞれの加算結果を比較して、画素ごとに、前記加算結果の絶対値が最大となる第１色差及び第２色差をそれぞれ採用して前記合成画像を生成する請求項１に記載の画像処理装置。
前記データは、前記撮影条件が暗く撮影する条件である場合、前記輝度のうち、所定の値以上の値となる輝度が前記合成において使用される重みが大きくなるように設定され、かつ、前記撮影条件が明るく撮影する条件である場合、前記輝度のうち、所定の値以下の値となる輝度が前記合成において使用される重みが大きくなるように設定される請求項１に記載の画像処理装置。
複眼で撮影を行い、画像を処理する画像処理装置であって、
異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、
前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、
前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、
前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部と、
前記合成画像をつなぎ合わせて出力画像を出力する出力部と
を備える画像処理装置。
画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置が、異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影手順と、
前記画像処理装置が、前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換手順と、
前記画像処理装置が、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶手順と、
前記画像処理装置が、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成手順と
を含む画像処理方法。