JP6888167B2 - ホワイトバランス処理方法、電子デバイスおよびコンピュータ可読記憶媒体 - Google Patents

Description

本開示は、画像処理技術の分野に関し、より詳細には、ホワイトバランス処理方法およびデバイス、電子デバイス、ならびにコンピュータ可読記憶媒体に関する。

複数の光源を伴うシナリオでは、関連技術のホワイトバランス処理方法は、画像を処理することにより光源を検出し、光源のうちの１つを主光源として選択することができる。したがって、主光源の色に基づいてホワイトバランス処理が行われる。

本開示の実施形態は、ホワイトバランス処理方法、電子デバイス、およびコンピュータ可読記憶媒体を提供する。

本開示の実施態様によるホワイトバランス処理方法は、複数の光源を使用したシナリオでそれぞれ色温度変化を受けた複数の連続するフレーム画像に対してホワイトバランス処理を実行するために使用される。ホワイトバランス処理方法は、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像を処理するステップと、原色温度の変化が所定のしきい値以上であるかどうかを判定するステップであって、原色温度の変化は、第２のフレーム画像における主光源の色温度と第１のフレーム画像における主光源の色温度との差を指し、第１のフレーム画像および第２のフレーム画像は、互いに隣接し、かつ複数の連続するフレーム画像からの２つのフレーム画像である、ステップと、原色温度の変化が所定のしきい値未満である場合に、第１のフレーム画像の主光源の色温度に従って第２のフレーム画像に対してホワイトバランス処理を実行するステップと、を含む。

一実施形態では、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像を処理するステップは、フレーム画像内の複数の光源を検出するステップと、主光源を決定するために、複数の光源の所定のパラメータを互いに比較するステップと、主光源の色温度を決定するために、主光源の色を決定するステップと、を含む。

一実施形態では、フレーム画像内の複数の光源を検出するステップは、フレーム画像を複数の領域に分割するステップと、各領域のヒストグラムに従って、領域が光源を有するターゲット領域であるかどうかを判定するステップと、領域が光源を有するターゲット領域である場合に、互いに隣接する少なくとも２つのターゲット領域が存在するかどうかを判定するステップと、互いに隣接する少なくとも２つのターゲット領域が存在する場合に、少なくとも２つのターゲット領域に含まれる少なくとも２つの光源を複数の光源のうちの１つに継ぎ合わせるステップと、隣接する少なくとも２つのターゲット領域が存在しない場合に、ターゲット領域に含まれる光源を複数の光源のうちの１つとして決定するステップと、を含む。

一実施形態では、ヒストグラムは、横軸にピクセル値を、縦軸にピクセル数を示すヒストグラムと、横軸にピクセル数を、縦軸にピクセル値を示すヒストグラムと、横軸にピクセル数の比を、縦軸にピクセル値を示すヒストグラムと、横軸にピクセル値を、縦軸にピクセル数の比を示すヒストグラムと、を含むグループから選択される。

一実施形態では、領域のヒストグラムに従って、領域が光源を有するターゲット領域であるかどうかを判定するステップは、各ピクセル値が所定の値より大きいピクセル数の比が所定の比を超えているかどうかを判定するステップと、ピクセル値が所定の値よりも大きいピクセルの数の比が所定の比を超えた場合に、領域のヒストグラムに従って、領域が光源を有するターゲット領域であると判定するステップと、ピクセル値が所定の値よりも大きいピクセルの数の比が所定の比を超えていない場合に、領域のヒストグラムに従って、領域が光源を有するターゲット領域ではないと判定するステップと、を含む。

一実施形態では、主光源を決定するために、複数の光源の所定のパラメータを比較するステップは、複数の光源のシナリオパラメータ、面積および輝度パラメータのいずれか１つに従って主光源を決定するステップを含み、シナリオパラメータは、画像を取り込むための時間およびＧＰＳの信号強度を含み、輝度パラメータは、複数の光源の輝度および画像の平均輝度を含む。

一実施形態では、複数の光源の面積に従って主光源を決定するステップは、最大面積を有する光源を主光源として決定するステップを含む。

一実施形態では、複数の光源の輝度および画像の平均輝度に従って主光源を決定するステップは、所定の輝度よりも大きく、かつ画像の平均輝度と一致する輝度を有する光源を主光源として決定するステップを含む。

一実施形態では、主光源の色温度を決定するために、主光源の色を決定するステップは、主光源の中心から半径方向に沿った輝度分布に従って、第１の領域および第２の領域を決定するステップであって、第１の領域は、主光源の中心から半径方向に沿った第１の輝度範囲内の輝度を有するピクセルによって規定される領域を指し、第２の領域は、主光源の中心から半径方向に沿った第２の輝度範囲内の輝度を有するピクセルによって規定される領域を指し、第２の輝度範囲の上限は、第１の輝度範囲の下限以下である、ステップと、主光源の色を決定するために、第１の領域の原色チャネルの平均ピクセル値から第２の領域の原色チャネルの平均ピクセル値を減算するステップと、主光源の色に従って主光源の色温度を決定するステップと、を含む。

一実施形態では、ホワイトバランス処理方法は、原色温度の変化が所定のしきい値以上である場合に、第２のフレーム画像の主光源の色温度に従って第２のフレーム画像に対してホワイトバランス処理を実行するステップをさらに含む。

一実施形態では、ホワイトバランス処理方法は、原色温度の変化が所定のしきい値以上である場合に、ノード色温度の変化が所定のしきい値以上であるかどうかを判定するステップであって、ノード色温度の変化は、第３のフレーム画像の主光源の色温度と第１のフレーム画像の主光源の色温度との差を指し、第３のフレーム画像は、第１のフレーム画像に隣接しておらず、かつ複数の連続するフレーム画像からのものである、ステップと、ノード色温度の変化が所定のしきい値未満である場合に、第１のフレーム画像の主光源の色温度に従って第３のフレーム画像に対してホワイトバランス処理を実行するステップと、ノード色温度の変化が所定のしきい値以上である場合に、第３のフレーム画像の主光源の色温度に従って第３のフレーム画像に対してホワイトバランス処理を実行するステップと、をさらに含む。

一実施形態では、ホワイトバランス処理方法は、ホワイトバランス処理がされたフレーム画像に対してユーザにより行われた操作の支援により、主光源を決定するステップをさらに含む。

一実施形態では、操作は、編集、保存、および削除のうちの少なくとも１つを含む。

本開示の実施態様による電子デバイスは、１つまたは複数のプロセッサ、メモリ、ならびに１つまたは複数のプログラムを含む。１つまたは複数のプログラムはメモリに格納され、１つまたは複数のプロセッサによって実行可能に構成されている。１つまたは複数のプログラムは、上記実施形態のいずれか１つによるホワイトバランス処理方法を実行するための命令を含む。

本開示の実施態様によるコンピュータ可読記憶媒体は、電子デバイスと協働するコンピュータプログラムを含む。コンピュータプログラムは、上記実施形態のいずれか１つによるホワイトバランス処理方法を実行するためにプロセッサにより実行される。

本開示の実施態様によるホワイトバランス処理方法、電子デバイス、およびコンピュータ可読記憶媒体によれば、２つの隣接するフレーム画像間の主光源の原色温度の変化が所定のしきい値よりも小さい場合に、隣接する前のフレーム画像の主光源の色温度に従って現在のフレーム画像に対してホワイトバランス処理が実行される。したがって、カメラが揺れたときに視野の揺れに起因する主光源の頻繁な切り替えが防止され、ホワイトバランスが補正されたプレビュー画像の色調の変化がさらに防止され、それによりユーザエクスペリエンスが改善される。

本開示の実施形態のさらなる態様および利点は、一部は以下の説明で与えられ、一部は以下の説明から明らかになり、または本開示の実施形態の実施から学習されよう。

本開示の実施形態のこれらおよび他の態様および利点は、図面を参照して行われる以下の説明から明らかになり、より容易に理解されよう。
本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法のシナリオを示す概略図である。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法のシナリオを示す概略図である。 本開示の実施態様によるホワイトバランス処理方法のシナリオを示す概略図である。 本開示の実施態様によるホワイトバランス処理方法で説明される各領域のヒストグラムである。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法のシナリオを示す概略図である。 本開示の実施態様によるホワイトバランス処理方法で説明される色温度の曲線プロットである。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理方法を示すフローチャートである。 本開示の実施態様によるホワイトバランス処理デバイスを示すブロック図である。 本開示の実施態様による第１の処理モジュールを示すブロック図である。 本開示の実施態様による検出モジュールを示すブロック図である。 本開示の実施態様による決定モジュールを示すブロック図である。 本開示の実施態様によるホワイトバランス処理デバイスを示すブロック図である。 本開示の実施態様によるホワイトバランス処理デバイスを示すブロック図である。 本開示の実施態様によるホワイトバランス処理デバイスを示すブロック図である。 本開示の実施態様による電子デバイスを示すブロック図である。そして 本開示の実施態様による電子デバイスとコンピュータ可読記憶媒体との間の接続を示す概略図である。

本開示の実施態様について詳細に説明し、実施態様の例を図面に示す。同一または類似の要素、ならびに同一または類似の機能を有する要素は、説明全体を通して同様の符号で示される。図面を参照して本明細書で説明される実施態様は説明的なものであり、本開示の実施態様を理解するために使用され、本開示の実施態様を限定するものとは解釈されない。

本開示の実施態様の説明では、「中央」、「縦方向」、「横方向」、「長さ」、「幅」、「厚さ」、「上方」、「下方」、「前方」、「後方」、「右」、「左」、「垂直」、「水平」、「頂部」、「底部」、「内側」、「外側」、「時計回り」、「反時計回り」などの用語で示される方向と位置関係は、図面に示されるような向きと位置関係に基づいており、本開示の実施態様を説明し、説明を簡略化するためにのみ使用され、言及されたデバイスまたは要素が特定の向きを有し、特定の向きで構築または操作されなければならないことを示唆または暗示するものではないことを理解されたい。したがって、これらの相対的な用語は、本開示の実施態様を制限するために構築されていない。さらに、「第１」および「第２」という用語は説明の目的でのみ使用されており、相対的な重要性や技術的特徴の数を示すことも意味することも意図していない。さらに、「第１」および「第２」で定義された機能は、明示的または暗黙的にこの機能を１つまたは複数含んでもよい。本開示の説明では、「複数の」という用語は、別段の定めがない限り、２つまたは３つ以上を意味する。

本開示の実施態様の説明では、明示的に指定または別段の限定がない限り、「取り付けられた」、「接続された」、および「結合された」という用語は広く使用され、固定、取り外し可能または一体的な接続などを包含しており、また、機械的または電気的な接続であってもよく、相互に通信してもよいし、また、本開示の詳細な実施形態に従って当業者が理解することができる他の明示的な定義がない限り、直接接続および中間媒体を介した間接接続であってもよく、さらに、内部接続または２つの要素間の相互作用であってもよいことに留意されたい。

本開示の実施態様では、明示的に指定または特に限定されない限り、第１の特徴が第２の特徴の「上」または「下」にある構造は、第１の特徴が第２の特徴に直接接触する実施形態を含んでもよく、また、第１の特徴が第２の特徴と直接接触しないように、第１の特徴と第２の特徴との間に追加の特徴が形成される実施形態を含んでもよい。さらに、第２の特徴の「上」、「上方」または「頂部」の第１の特徴は、第１の特徴が第２の特徴の「上」、「上方」、または「頂部」にある実施形態を含んでもよく、また、第１の特徴が第２の特徴の「上」、「上方」、または「頂部」にない、あるいは単に第１の特徴が第２の特徴よりも高いところにあることを意味する実施形態を含んでもよい。第２の特徴の「下」、「下方」、または「底部」の第１の特徴は、第１の特徴が第２の特徴の「下」、「下方」、または「底部」にある実施形態を含んでもよく、また、第１の特徴が第２の特徴の「下」、「下方」、または「底部」ではない、または単に第１の特徴が第２の特徴よりも低いところにあることを意味する実施形態を含んでもよい。

本開示の実施態様による種々の構造を実施するために、本開示では多くの種々の実施形態または例が提供される。本発明の実施態様の開示を単純化するために、特定の例の構成要素および配置を以下に説明する。確かに、それらは単なる例であり、本開示を限定することを意図するものではない。さらに、参照番号および／または参照文字は、本開示の実施態様の種々の例で繰り返される場合があり、これは単純化および明確化のためであり、説明される様々な実施態様および／または配置間の関係を示すものではない。さらに、本発明の実施態様は、様々な特定のプロセスおよび材料の例を提供するが、他のプロセスの使用および／または他の材料の使用は、当業者によって認識され得る。

関連技術では、カメラが振られると、視野の振れにより、主光源が複数の光源間で切り替えられる場合がある。その結果、ホワイトバランスが補正されたプレビュー画像の色調が変化し、使用感が低下する。

本開示の実施形態はホワイトバランス処理方法を提供し、これは複数の光源を使用したシナリオでそれぞれ色温度変化を受けた複数の連続するフレーム画像に対してホワイトバランス処理を実行するために使用される。ホワイトバランス処理方法は、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像を処理するステップと、原色温度の変化が所定のしきい値以上であるかどうかを判定するステップであって、原色温度の変化は、第２のフレーム画像における主光源の色温度と第１のフレーム画像における主光源の色温度との差を指し、第１のフレーム画像および第２のフレーム画像は、互いに隣接し、かつ複数の連続するフレーム画像からの２つのフレーム画像である、ステップと、原色温度の変化が所定のしきい値未満である場合に、第１のフレーム画像の主光源の色温度に従って第２のフレーム画像に対してホワイトバランス処理を実行するステップと、を含む。

本開示の実施形態は、複数の光源を用いたシナリオの下でそれぞれ色温度変化を受けた複数の連続するフレーム画像に対してホワイトバランス処理を実行するように構成されたホワイトバランス処理デバイスを提供する。ホワイトバランス処理デバイスは、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像を処理するように構成された第１の処理モジュールと、原色温度の変化が所定のしきい値以上であるかどうかを判定するように構成された第１の判定モジュールであって、原色温度の変化は、第２のフレーム画像における主光源の色温度と第１のフレーム画像における主光源の色温度との差を指し、第１のフレーム画像および第２のフレーム画像は、互いに隣接し、かつ複数の連続するフレーム画像からの２つのフレーム画像である、第１の判定モジュールと、原色温度の変化が所定のしきい値未満である場合に、第１のフレーム画像の主光源の色温度に従って第２のフレーム画像に対してホワイトバランス処理を実行するように構成された第２の処理モジュールと、を含む。

本開示の実施形態は、１つまたは複数のプロセッサ、メモリ、ならびに１つまたは複数のプログラムを含む電子デバイスを提供する。１つまたは複数のプログラムはメモリに格納され、１つまたは複数のプロセッサによって実行可能に構成されている。１つまたは複数のプログラムは、ホワイトバランス処理方法を実行するための命令を含む。

本開示の実施形態は、本開示の実施態様によるコンピュータ可読記憶媒体を提供し、電子デバイスと協働するコンピュータプログラムを含む。コンピュータプログラムは、ホワイトバランス処理方法を実行するためにプロセッサによって実行される。

図１を参照すると、本開示の一実施態様によるホワイトバランス処理方法は、複数の光源使用したシナリオで複数の連続するフレーム画像に対してホワイトバランスプロセスを実行するために使用される。ホワイトバランス処理方法は以下を含む。

ブロックＳ１１では、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像が処理される。

ブロックＳ１２では、原色温度の変化が所定のしきい値以上であるかどうかが判定される。原色温度の変化とは、色温度変化を受けた第２のフレーム画像の主光源の色温度と、色温度変化を受けた第１のフレーム画像の主光源の色温度との差を指す。第１のフレーム画像および第２のフレーム画像は、互いに隣接する、複数の連続するフレーム画像からの２つのフレーム画像である。

ブロックＳ１３では、原色温度の変化が所定のしきい値未満である場合に、色温度変化を受けた第１のフレーム画像の主光源の色温度に従って、色温度変化を受けた第２のフレーム画像に対してホワイトバランス処理が実行される。本開示の実施態様によるホワイトバランス処理方法により、２つの隣接するフレーム画像の主光源の原色温度の変化が所定のしきい値よりも小さい場合に、隣接する前のフレーム画像の主光源の色温度を用いて現在のフレーム画像に対してホワイトバランス処理が実行される。したがって、カメラが揺れたときに視野の揺れに起因する主光源の頻繁な切り替えが防止され、ホワイトバランスが補正されたプレビュー画像の色調の変化がさらに防止され、それによりユーザエクスペリエンスが改善される。

具体的には、図２を参照すると、一実施形態では、カメラが振られる（上下に振られるなど）と、カメラの視野に、Ｆ０、Ｆ１、Ｆ２、Ｆ３・・・を含む複数のフレーム画像が順に提示される。Ｆ０は色温度変化を受けた第１のフレーム画像、Ｆ１は色温度変化を受けた第２のフレーム画像、Ｆ２は色温度変化を受けた第３のフレーム画像、Ｆ３は色温度変化を受けた第４のフレーム画像であると仮定する。画像Ｆ０では、光源Ｒは主光源であり、光源Ｒの色温度はＣＣＴ０である。ホワイトバランス処理は、光源Ｒの色温度ＣＣＴ０に従ってホワイトバランス処理方法により画像Ｆ０に対して実行される。画像Ｆ１では、光源Ｒは部分的に視野外に移動し、光源Ｂが主光源であり、光源Ｂの色温度はＣＣＴ１である。ＣＣＴ１とＣＣＴ０との差の絶対値｜ＣＣＴ１−ＣＣＴ０｜（すなわち、原色温度の変化ΔＴ）が所定のしきい値Ｔ０以上であるかどうかが判定される（例えば、所定のしきい値Ｔ０は５０Ｋ、１００Ｋ、１２０Ｋなどであってもよく、本明細書では限定されない）。ΔＴ＜Ｔ０の場合、光源Ｒの色温度ＣＣＴ０に従って画像Ｆ１に対してホワイトバランス処理が実行される。したがって、カメラのわずかな揺れによる選択された主光源の頻繁な切り替えが防止される。

図３を参照すると、いくつかの実施態様では、ブロックＳ１１は以下を含む。

ブロックＳ１１１では、画像内の複数の光源が検出される。

ブロックＳ１１２では、主光源を決定するために、複数の光源の所定のパラメータが互いに比較される。

ブロックＳ１１３では、主光源の色温度を決定するために、主光源の色が決定される。

本開示の一実施態様によるホワイトバランス処理方法では、各フレーム画像を検出して、フレーム画像内の複数の光源を決定する。複数の光源の所定のパラメータは、現在のフレーム画像における主光源の色温度が決定されるように、現在のフレーム画像における主光源を決定するために互いに比較される。いくつかの実施態様では、複数の光源は、異なる色温度を有する光源である。

具体的には、図２を再び参照すると、画像Ｆ０を例にとると、画像Ｆ０内の複数の光源Ｒ、Ｇ、Ｂがホワイトバランス処理方法で検出される。複数の光源Ｒ、Ｇ、およびＢの所定のパラメータは、光源Ｒ、Ｇ、およびＢのうちのどれが主光源であるかを決定するために互いに比較される。光源Ｒが主光源として決定されると、光源Ｒの色が検出され、光源Ｒの色温度が決定される。光源Ｇが主光源として決定されると、光源Ｇの色が検出され、光源Ｇの色温度が決定される。光源Ｂが主光源として決定されると、光源Ｂの色が検出され、光源Ｂの色温度が決定される。この例では、光源Ｒが主光源であり、光源Ｒの色温度はＣＣＴ０であると検出される。同じ方法で、主光源の対応する色温度が、画像Ｆ１、Ｆ２、Ｆ３・・・についてホワイトバランス処理方法で決定される。

図４を参照すると、いくつかの実施態様では、ブロックＳ１１１は以下を含む。

ブロックＳ１１１１では、フレーム画像が複数の領域に分割される。

ブロックＳ１１１２では、各領域のヒストグラムに従って、その領域が光源を有するターゲット領域であるかどうかが判定される。

ブロックＳ１１１３では、領域が光源を有するターゲット領域である場合に、互いに隣接する少なくとも２つのターゲット領域が存在するかどうかが判定される。

ブロックＳ１１１４では、少なくとも２つのターゲット領域が存在する場合に、少なくとも２つのターゲット領域に含まれる少なくとも２つの光源が複数の光源のうちの１つに継ぎ合わせられる。

ブロックＳ１１１５では、少なくとも２つのターゲット領域が存在しない場合に、ターゲット領域に含まれる光源が複数の光源のうちの１つとして決定される。

具体的には、図５〜図７を参照すると、一実施形態では、フレーム画像は、ホワイトバランス処理方法を用いて４×５領域などの複数の領域に分割される。各領域について、チャネルＲ、Ｇｒ、Ｇｂ、Ｂのチャネル値に従って４つのヒストグラムを描くことができる。各領域の４つのヒストグラムに従って、その領域が光源を有するターゲット領域であるかどうかが判定される。図５および図６に示すように、各フレーム画像は複数のターゲット領域を含む。例えば、図５に示す画像には３つのターゲット領域が含まれているが、図６に示す画像には８つのターゲット領域が含まれている。画像中に光源を有するターゲット領域が存在する場合に、ホワイトバランス処理方法により、互いに隣接するターゲット領域が少なくとも２つ存在するかどうかが判定される。すなわち、単一の光源が少なくとも２つのターゲット領域に含まれるかどうかが判定される。「含まれる」という用語は、部分的に含まれる、または完全に含まれることを指す。少なくとも２つのターゲット領域が存在する場合に、少なくとも２つのターゲット領域に含まれる少なくとも２つの光源が、ホワイトバランス処理方法により複数の光源の１つに継ぎ合わせられる。少なくとも２つのターゲット領域が存在しない場合に、各ターゲット領域に含まれる各光源が、ホワイトバランス処理方法により複数の光源のうちの１つとして決定される。図５を参照すると、互いに隣接しない３つのターゲット領域に含まれる光源が、それぞれ、光源Ｒ、光源Ｇ、および光源Ｂとして決定される。図６を参照すると、互いに隣接する６つのターゲット領域に含まれる光源が完全な光源Ｒに継ぎ合わせられ、互いに隣接しない他の２つの領域に含まれる光源がそれぞれ光源Ｇおよび光源Ｂとして決定される。

加えて、図７に示す領域のヒストグラムを描く方法は単なる例示にすぎないことに留意されたい。図７に示されているヒストグラムの横軸はピクセル値であり、ヒストグラムの縦軸はピクセル数である。他の実施形態では、ヒストグラムの横軸がピクセル数であってもよく、一方、ヒストグラムの縦軸がピクセル値であってもよい。あるいは、ヒストグラムの横軸がピクセル数の比であり、ヒストグラムの縦軸がピクセル値である。あるいは、ヒストグラムの横軸がピクセル値であり、ヒストグラムの縦軸がピクセル数の比である。

いくつかの実施態様では、領域のヒストグラムに従って領域が光源を有するターゲット領域であるかどうかを判定するステップは、所定の値より大きいピクセル値を有するピクセルの数が所定の比を超えたかどうかを判定することによって実現されてもよい。例えば、２３９よりも大きいピクセル値を有するピクセルの数の比が５％を超えたかどうかを判定することができる。２３９より大きいピクセル値を有するピクセルの数の比が５％を超えた場合に、その領域は光源を有するターゲット領域であることが示される。２３９より大きいピクセル値を有するピクセルの数の比が５％を超えない場合に、その領域は光源を有するターゲット領域ではないことが示される。

図８を参照すると、いくつかの実施態様では、ブロックＳ１１２は以下を含む。

ブロックＳ１１２１では、複数の光源のシナリオパラメータ、面積および輝度パラメータのうちの少なくとも１つに従って主光源が決定される。シナリオパラメータには、画像を取り込むための時間およびＧＰＳの信号強度が含まれる。輝度パラメータには、複数の光源の輝度と画像の平均輝度が含まれる。

具体的には、現在の時刻が含まれる期間は、画像を取り込むための時間に従って決定されてもよい。現在の時間内にユーザが画像を取り込む場所は、ローカルに保存されたユーザのタイムテーブルおよびルーチンに従って決定されてもよい。例えば、午前１２：００に、ユーザは通常、レストランで昼食をとる。午後８時以降、ユーザは通常リビングルームで本を読む。したがって、画像を取り込む時間に従って、ユーザが屋内環境にいるか、屋外環境にいるか、または特定のシナリオにいるかを大まかに判定することができる。さらに、屋外環境でのＧＰＳの信号強度は、一般に屋内環境でのＧＰＳの信号強度よりも大きくなる。したがって、ＧＰＳの信号強度に従って、ユーザが屋内環境にいるか屋外環境にいるかを大まかに判定することができる。屋内光源の色温度は一般に５０００Ｋより低いことが理解できる。例えば、タングステンランプの色温度は２７６０〜２９００Ｋの範囲であり、フラッシュライトの色温度は３８００Ｋである。屋外の光源の色温度は５０００Ｋを超える場合がある。例えば、正午の太陽の色温度は５０００Ｋで、正午の空の色温度は１００００Ｋである。したがって、ユーザがいる屋内環境または屋外環境に従って、現在の色温度が５０００Ｋよりも低いか５０００Ｋよりも高いかを大まかに判定することができる。したがって、主光源が決定され得る。

複数の光源の面積に従って主光源を決定する場合に、複数の光源の面積を比較して、面積が最も大きい光源を主光源として選択してもよい。例えば、図６に示すように、光源Ｒの面積は光源Ｇの面積よりも大きく、かつ光源Ｂの面積よりも大きい。したがって、光源Ｒが主光源として決定される。

複数の光源の輝度と画像の平均輝度に従って主光源を決定する場合に、複数の光源の輝度を画像の平均輝度と組み合わせて互いに比較することにより、主光源を決定してもよい。光源の輝度が高いほど、画像への全体的な影響が大きくなることが理解できる。特定の光源の輝度が高く、画像の平均輝度と一致する場合に、特定の光源が主光源として決定される。

本開示の実施態様によるホワイトバランス処理方法では、複数の光源下で画像を取り込む時間とＧＰＳの信号強度との組み合わせに従って、主光源を決定してもよい。あるいは、複数の光源の面積に従って主光源を決定してもよい。あるいは、複数の光源の輝度と画像の平均輝度との組み合わせに従って主光源を決定してもよい。あるいは、複数の光源の下で画像を取り込む時間とＧＰＳの信号強度、および複数の光源の面積の組み合わせに従って主光源を決定してもよい。あるいは、複数の光源下で画像を取り込む時間とＧＰＳの信号強度の組み合わせ、および複数の光源の輝度と画像の平均輝度の組み合わせに従って主光源を決定してもよい。あるいは、複数の光源の面積と、複数の光源の輝度と画像の平均輝度との組み合わせに従って主光源を決定してもよい。あるいは、複数の光源下で画像を取り込む時間とＧＰＳの信号強度の組み合わせ、面積、画像の輝度および平均輝度の組み合わせに従って主光源を決定してもよい。

一実施形態では、ホワイトバランス処理方法により、複数の光源下で画像を取り込む時間とＧＰＳの信号強度の組み合わせ、面積、画像の輝度と平均輝度の組み合わせに従って主光源を決定してもよい。複数の光源下で画像を取り込む時間とＧＰＳの信号強度の組み合わせ、面積、画像の輝度および平均輝度の組み合わせは、異なる重みで設定されてもよい。したがって、主光源を正確に選択して、画像にホワイトバランス処理を実行することができ、それにより、ユーザが望むホワイトバランス効果をよりよく満たすことができる。

図９を参照すると、いくつかの実施態様では、ブロックＳ１１３は以下を含む。

ブロックＳ１１３１では、主光源の中心から半径方向に沿った輝度分布に従って、高輝度領域と中輝度領域が決定される。

ブロックＳ１１３２では、主光源の色を決定するために、中輝度領域の原色チャネルの平均ピクセル値が高輝度領域の原色チャネルの平均ピクセル値から減算される。

ブロックＳ１１３３では、主光源の色に従って主光源の色温度が決定される。

具体的には、図１０を参照すると、画像内の主光源の位置が決定される。図１０の中央に示されている影付きの領域は露出オーバーの領域であり、これは一般に大きな白い斑点であり、光源の色の情報を除外する。高輝度領域Ｈ、中輝度領域Ｍおよび低輝度領域Ｌは、主光源の中心から半径方向に沿って分布している。高輝度領域Ｈは、主光源の中心から半径方向に沿った第１の輝度範囲Ｌ１内の輝度を有するピクセルによって規定される領域を指すことができる。第１の輝度範囲Ｌ１は、例えば［２００、２３９）である。中輝度領域Ｍは、主光源の中心から半径方向に沿って第２の輝度範囲Ｌ２内の輝度を有するピクセルによって規定される領域を指すことができる。第２の輝度範囲Ｌ２は、例えば［１５０、２００）である。なお、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２は、主光源の中心から半径方向に沿った輝度分布に従って決定されてもよい。例えば、光源の輝度が急激に減衰する場合に、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２を適切に増加させることができる。例えば、光源の輝度がゆっくり減衰する場合に、第１の輝度範囲Ｌ１および第２の輝度範囲Ｌ２を適切に減少させることができる。

高輝度領域の原色チャネルの平均ピクセル値は、高輝度領域のすべてのピクセルのピクセル値の平均である。中輝度領域の原色チャネルの平均ピクセル値は、中輝度領域のすべてのピクセルのピクセル値の平均である。高輝度領域のピクセル数をＣ１、中輝度領域のピクセル数をＣ２とすると、高輝度領域の原色チャネルの平均ピクセル値は次のように表される。

また、中輝度領域の原色チャネルの平均ピクセル値は次のように表される。

主光源の色を決定するために、中輝度領域の原色チャネルの平均ピクセル値

が、高輝度領域の原色チャネルの平均ピクセル値

（すなわち

）から減算される。したがって、主光源の色温度は、主光源の色に従って決定されてもよい。具体的には、図１１を参照すると、一実施形態では、３０００Ｋ、４０００Ｋ、５０００Ｋ、６０００Ｋ・・・の色温度を有する標準ライトボックスの下で、画像が取得され、色温度下の

の対応する値が計算される。したがって、曲線プロット（図１１に示す）または

の値と光源の色温度との関係を表すマッピングテーブルを決定することができる。曲線プロットとマッピングテーブルは、ローカルデータベースに格納することができる。本開示の実施態様では、

の値が計算された後に、曲線プロットおよびマッピングテーブルに基づいて、主光源の色温度が照会され得る。ホワイトバランスパラメータは、主光源の色温度、および主光源の色温度とホワイトバランスパラメータ間の対応関係に従って探索することができる。したがって、ホワイトバランスパラメータに従って、ホワイトバランス処理を画像に対して実行することができる。

図１２を参照すると、いくつかの実施態様では、ホワイトバランス処理方法はさらに以下を含む。

ブロックＳ１４では、原色温度の変化が所定のしきい値以上である場合に、色温度変化を受けた第２のフレーム画像の主光源の色温度に従って、色温度変化を受けた第２のフレーム画像に対してホワイトバランス処理が実行される。

本開示の一実施態様によるホワイトバランス処理方法により、主光源の色温度がカメラの深刻な揺れのために大きく変化する（すなわち、現在のフレーム画像と隣接する前のフレーム画像との間の主光源の原色温度の変化は、所定のしきい値以上である）場合に、現在のフレーム画像の主光源の色温度に従って現在のフレーム画像に対してホワイトバランス処理を実行することができる。

具体的には、図２を参照すると、一実施形態では、カメラが振られる（例えば上下に振られる）と、Ｆ０、Ｆ１、Ｆ２、Ｆ３・・・を含む複数のフレーム画像がカメラの視野に連続して提示される。Ｆ０は色温度変化を受けた第１のフレーム画像、Ｆ１は色温度変化を受けた第２のフレーム画像、Ｆ２は色温度変化を受けた第３のフレーム画像、Ｆ３は色温度変化を受けた第４のフレーム画像であると仮定する。画像Ｆ０では、光源Ｒは主光源であり、光源Ｒの色温度はＣＣＴ０である。ホワイトバランス処理は、光源Ｒの色温度ＣＣＴ０に従ってホワイトバランス処理方法により画像Ｆ０に対して実行される。画像Ｆ１では、光源Ｒは部分的に視野外に移動し、光源Ｂが主光源であり、光源Ｂの色温度はＣＣＴ１である。ＣＣＴ１とＣＣＴ０との差の絶対値｜ＣＣＴ１−ＣＣＴ０｜（原色温度の変化ΔＴ）が、ホワイトバランス処理方法により、所定のしきい値Ｔ０以上であるかどうかが判定される（所定のしきい値Ｔ０は５０Ｋ、１００Ｋ、１２０Ｋであってもよく、本明細書では限定されない）。ΔＴ≧Ｔ０の場合、光源Ｂの色温度ＣＣＴ１に従って画像Ｆ１に対してホワイトバランス処理が実行される。したがって、原色温度の変化ΔＴが比較的大きい場合に、カメラは正常に動くと判定されてもよい。したがって、複数の光源間でリアルタイムに主光源を切り替えることができる。

図１３を参照すると、いくつかの実施態様では、ホワイトバランス処理方法はさらに以下を含む。

ブロックＳ１５では、原色温度の変化が所定のしきい値以上である場合に、ノード色温度の変化が所定のしきい値以上であるかどうかが判定される。ノード色温度の変化は、色温度変化を受けた第ｋのフレーム画像の主光源の色温度と、色温度変化を受けた第１のフレーム画像の主光源の色温度との差を指す。第ｋのフレーム画像は、第１のフレーム画像に隣接していない複数の連続するフレーム画像のうちの１つである。

ブロックＳ１６では、ノード色温度の変化が所定のしきい値未満である場合に、色温度変化を受けた第１のフレーム画像の主光源の色温度に従って、色温度変化を受けた第ｋのフレーム画像に対してホワイトバランス処理が実行される。

ブロックＳ１７では、ノード色温度の変化が所定のしきい値以上である場合に、色温度変化を受けた第ｋのフレーム画像の主光源の色温度に従って、色温度変化を受けた第ｋのフレーム画像に対してホワイトバランス処理が実行される。

本開示の実施態様によるホワイトバランス処理方法により、主光源の色温度がカメラの深刻な揺れのために大きく変化する（すなわち、現在のフレーム画像と隣接する前のフレーム画像の主光源の原色温度の変化が所定のしきい値以上である）場合に、現在のフレーム画像の次のフレーム画像と現在のフレーム画像の隣接する前のフレーム画像との間の主光源のノード色温度の変化が所定のしきい値以上であるかどうかがさらに判定される。後続のフレーム画像と隣接する前のフレーム画像との間のノード色温度の変化が所定のしきい値よりも小さい場合に、隣接する前のフレーム画像の主光源の色温度に従って後続のフレーム画像に対してホワイトバランス処理が実行される。後続の画像と隣接する前の画像との間のノード色温度の変化が所定のしきい値以上である場合に、後続のフレーム画像の主光源の色温度に従って後続のフレーム画像に対してホワイトバランス処理が実行される。

具体的には、図２を再び参照すると、一実施形態では、カメラが振られる（上下に振られるなど）と、カメラの視野に、Ｆ０、Ｆ１、Ｆ２、Ｆ３・・・を含む複数のフレーム画像が順に提示される。Ｆ０は色温度変化を受けた第１のフレーム画像、Ｆ１は色温度変化を受けた第２のフレーム画像、Ｆ２は色温度変化を受けた第３のフレーム画像、Ｆ３は色温度変化を受けた第４のフレーム画像であると仮定する。画像Ｆ０では、光源Ｒは主光源であり、光源Ｒの色温度はＣＣＴ０である。ホワイトバランス処理は、光源Ｒの色温度に従ってホワイトバランス処理方法により画像Ｆ０に対して実行される。画像Ｆ１では、光源Ｒは部分的に視野外に移動し、光源Ｂが主光源であり、光源Ｂの色温度はＣＣＴ１である。画像Ｆ２では、光源Ｒが視野から完全に外れており、光源Ｂが主光源であり、光源Ｂの色温度はＣＣＴ２である。画像Ｆ３では、光源Ｒが視野に戻され、光源Ｒが主光源であり、光源Ｒの色温度はＣＣＴ３である。実施形態では、ホワイトバランス処理方法のワークフローを説明するための例としてｋ＝３をとる。ＣＣＴ１とＣＣＴ０との差の絶対値｜ＣＣＴ１−ＣＣＴ０｜（すなわち、原色温度の変化ΔＴ）が、ホワイトバランス処理方法により、所定のしきい値Ｔ０以上であるかどうかが判定される（所定のしきい値Ｔ０は５０Ｋ、１００Ｋ、１２０Ｋであってもよく、本明細書では限定されない）。ΔＴ≧Ｔ０の場合、ＣＣＴ３とＣＣＴ０の差の絶対値｜ＣＣＴ３−ＣＣＴ０｜（すなわち、ノード色温度の変化ΔＴ１）が所定のしきい値Ｔ０以上であるかどうかが判定される。ΔＴ１＜Ｔ０の場合、光源Ｒの色温度ＣＣＴ０に従って、画像Ｆ３に対してホワイトバランス処理が実行される。ΔＴ１≧Ｔ０の場合、光源Ｒの色温度ＣＣＴ３に従って、画像Ｆ３に対してホワイトバランス処理が実行される。したがって、カメラの揺れにより、短時間で主光源が光源Ｒから光源Ｂに切り替わり、光源Ｂから光源Ｒに切り替わる。光源Ｂの色温度に従って中間フレーム画像に対して行われるホワイトバランス処理は省略されてもよい。すなわち、本開示の一実施態様によるホワイトバランス処理方法は、主光源の頻繁な切り替えによるホワイトバランス補正後のプレビュー画像の色調の変化を防止するために、主光源の頻繁な切り替えが終了するまで、画像に対してホワイトバランス処理を実行しない。

図１４を参照すると、いくつかの実施態様では、ホワイトバランス処理方法はさらに以下を含む。

ブロックＳ１８では、ホワイトバランス処理がされたフレーム画像に対してユーザにより行われた操作の支援により、主光源が決定される。

本開示の一実施態様によるホワイトバランス処理方法により、主光源は、複数の光源の所定のパラメータを互いに比較することにより主光源を決定しながら、ホワイトバランス処理がされた画像に対して通常ユーザが実行する操作の支援により決定されてもよい。操作には、編集、保存、削除のうちの少なくとも１つが含まれてもよい。

具体的には、ホワイトバランス処理がされた画像は、ホワイトバランス処理後のローカルアルバムに保存されている画像であってもよい。ユーザは、良好なホワイトバランス効果の画像を保存し、不十分なホワイトバランス効果の画像を削除してもよいことが理解され得る。さらに、ユーザは画像を編集して、例えば画像の色温度を調整することができる。したがって、長期の機械学習とフィードバックにより、主光源はホワイトバランス処理方法によってより正確に決定され、画像に対してホワイトバランス処理を実行するホワイトバランス効果がますます満たされる可能性がある。

図１５を参照すると、本開示の実施態様によるホワイトバランス処理デバイス１０は、複数の光源を用いたシナリオの下でそれぞれ色温度変化を受けた複数の連続するフレーム画像に対してホワイトバランス処理を実行するように構成される。ホワイトバランス処理デバイス１０は、第１の処理モジュール１１、第１の判定モジュール１２、および第２の処理モジュール１３を含む。本開示の一実施態様によるホワイトバランス処理方法は、本開示の一実施態様によるホワイトバランス処理デバイス１０により実現されてもよい。例えば、ブロックＳ１１は、第１の処理モジュール１１により実現されてもよい。ブロックＳ１２は、第１の判定モジュール１２により実現されてもよい。ブロックＳ１３は、第２の処理モジュール１３により実現されてもよい。

すなわち、第１の処理モジュール１１は、複数の連続するフレーム画像の各フレーム画像を処理して、主光源に対応する色温度を決定するように構成されてもよい。第１の判定モジュール１２は、原色温度の変化が所定のしきい値以上であるかどうかを判定するように構成されてもよい。原色温度の変化とは、第２のフレーム画像における主光源の色温度と第１のフレーム画像における主光源の色温度との差を指す。第１のフレーム画像および第２のフレーム画像は、互いに隣接する、複数の連続するフレーム画像からの２つのフレーム画像である。第２の処理モジュール１３は、原色温度の変化が所定のしきい値未満である場合に、第１のフレーム画像内の主光源の色温度に従って第２のフレーム画像に対してホワイトバランス処理を実行するように構成されてもよい。

本開示の実施態様によるホワイトバランス処理デバイス１０により、２つの隣接するフレーム画像の主光源の原色温度の変化が所定のしきい値よりも小さい場合に、隣接する前のフレーム画像の主光源の色温度を用いて現在のフレーム画像に対してホワイトバランス処理が実行される。したがって、カメラが揺れたときに視野の揺れに起因する主光源の頻繁な切り替えが防止され、ホワイトバランスが補正されたプレビュー画像の色調の変化がさらに防止され、それによりユーザエクスペリエンスが改善される。

図１６を参照すると、いくつかの実施態様では、第１の処理モジュール１１は、検出ユニット１１１、比較ユニット１１２、および決定ユニット１１３を含む。ブロックＳ１１１は、検出ユニット１１１により実現されてもよい。ブロックＳ１１２は、比較ユニット１１２により実現されてもよい。ブロックＳ１１３は、決定ユニット１１３により実現されてもよい。

すなわち、検出ユニット１１１は、画像中の複数の光源を検出するように構成されてもよい。比較ユニット１１２は、複数の光源の所定のパラメータを互いに比較して、主光源を決定するように構成されてもよい。決定ユニット１１３は、主光源の色を決定して、主光源の色温度を決定するように構成されてもよい。

図１７を参照すると、いくつかの実施態様では、検出ユニット１１１は、分割サブユニット１１１１、第１の判定サブユニット１１１２、第２の判定サブユニット１１１３、第１の決定サブユニット１１１４、および第２の決定サブユニット１１１５を含む。ブロックＳ１１１１は、分割サブユニット１１１１により実現されてもよい。ブロックＳ１１１２は、第１の判定サブユニット１１１２によって実現されてもよい。ブロックＳ１１１３は、第２の判定サブユニット１１１３によって実現されてもよい。ブロックＳ１１１４は、第１の決定サブユニット１１１４によって実現されてもよい。ブロックＳ１１１５は、第２の決定サブユニット１１１５によって実現されてもよい。

すなわち、分割サブユニット１１１１は、フレーム画像を複数の領域に分割するように構成されてもよい。第１の判定サブユニット１１１２は、各領域のヒストグラムに従って、その領域が光源を有するターゲット領域であるかどうかを決定するように構成されてもよい。第２の判定サブユニット１１１３は、光源を有するターゲット領域である場合に、互いに隣接する少なくとも２つのターゲット領域が存在するかどうかを判定するように構成されてもよい。第１の決定サブユニット１１１４は、少なくとも２つのターゲット領域が存在する場合に、少なくとも２つのターゲット領域に含まれる少なくとも２つの光源を複数の光源のうちの１つに継ぎ合わせるように構成されてもよい。第２の決定サブユニット１１１５は、少なくとも２つのターゲット領域が存在しない場合に、ターゲット領域に含まれる光源を複数の光源のうちの１つとして決定するように構成されてもよい。

図１６を参照すると、いくつかの実施態様では、比較ユニット１１２は、第３の決定サブユニット１１２１を含む。ブロックＳ１１２１は、第３の決定サブユニット１１２１によって実現されてもよい。

すなわち、第３の決定サブユニット１１２１は、複数の光源のシナリオパラメータ、面積および輝度パラメータのうちの少なくとも１つに従って主光源を決定するように構成されてもよい。シナリオパラメータには、画像の取り込み時間とＧＰＳの信号強度が含まれる。輝度パラメータには、複数の光源の輝度と画像の平均輝度が含まれる。

図１８を参照すると、いくつかの実施態様では、決定ユニット１１３は、第４の決定サブユニット１１３１、比較サブユニット１１３２、および第５の決定サブユニット１１３３を含む。ブロックＳ１１３１は、第４の決定サブユニット１１３１によって実現されてもよい。ブロックＳ１１３２は、計算サブユニット１１３２によって実現されてもよい。ブロックＳ１１３３は、第５の決定サブユニット１１３３によって実現されてもよい。

すなわち、第４の決定サブユニット１１３１は、主光源の中心から半径方向に沿った輝度分布に従って高輝度領域と中輝度領域を決定するように構成されてもよい。計算サブユニット１１３２は、高輝度領域の原色チャネルの平均ピクセル値から中輝度領域の原色チャネルの平均ピクセル値を減算して、主光源の色を決定するように構成されてもよい。第５の決定サブユニット１１３３は、主光源の色に従って主光源の色温度を決定するように構成されてもよい。

図１９を参照すると、いくつかの実施態様では、ホワイトバランス処理デバイス１０は、第３の処理モジュール１４をさらに含む。ブロックＳ１４は、第３の処理モジュール１４により実現されてもよい。

すなわち、第３の処理モジュール１４は、原色温度の変化が所定のしきい値以上である場合に、色温度変化を受けた第２のフレーム画像の主光源の色温度に従って、色温度変化を受けた第２のフレーム画像に対してホワイトバランス処理を行うように構成されてもよい。

図２０を参照すると、いくつかの実施態様では、ホワイトバランス処理デバイス１０は、第２の判定モジュール１５、第４の処理モジュール１６、および第５の処理モジュール１７をさらに含む。ブロックＳ１５は、第２の判定モジュール１５により実現されてもよい。ブロックＳ１６は、第４の処理モジュール１６により実現されてもよい。ブロックＳ１７は、第５の処理モジュール１７により実現されてもよい。

再び図２０を参照すると、言い換えると、第２の判定モジュール１５は、原色温度の変化が所定のしきい値以上である場合に、ノード色温度の変化が所定のしきい値以上であるかどうかを判定するように構成されてもよい。ノード色温度の変化は、色温度変化を受けた第ｋのフレーム画像の主光源の色温度と、色温度変化を受けた第１のフレーム画像の主光源の色温度との差を指す。第ｋのフレーム画像は、第１のフレーム画像に隣接していない複数の連続するフレーム画像のうちの１つである。第４の処理モジュール１６は、色温度変化を受けた第１のフレーム画像の主光源の色温度に従って、色温度変化を受けた第ｋのフレーム画像に対してホワイトバランス処理を行うように構成されてもよい。第５の処理モジュール１７は、色温度変化を受けた第ｋのフレーム画像における主光源の色温度に従って、色温度変化を受けた第ｋのフレーム画像に対してホワイトバランス処理を実行するように構成される。

図２１を参照すると、いくつかの実施態様では、ホワイトバランス処理デバイス１０は、決定モジュール１８をさらに含む。ブロックＳ１８は、決定モジュール１８によって実現されてもよい。

すなわち、決定モジュール１８は、ホワイトバランス処理がされたフレーム画像に対してユーザにより行われた操作の支援により、主光源を決定するように構成されてもよい。

図２２を参照すると、本開示の実施態様による電子デバイス２０は、１つまたは複数のプロセッサ２１、メモリ２２、ならびに１つまたは複数のプログラムを含む。１つまたは複数のプログラムはメモリ２２に格納され、１つまたは複数のプロセッサ２１により実行可能となるように構成されている。プログラムは、上記の実施態様のいずれか１つによるホワイトバランス処理方法を実行するための命令を含む。

例えば、プログラムには、以下を含むホワイトバランス処理方法を実行するための命令が含まれる。

ブロックＳ１１では、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像が処理される。

ブロックＳ１２では、原色温度の変化が所定のしきい値以上であるかどうかが判定される。原色温度の変化とは、色温度変化を受けた第２のフレーム画像の主光源の色温度と、色温度変化を受けた第１のフレーム画像の主光源の色温度との差を指す。

ブロックＳ１３では、原色温度の変化が所定のしきい値未満である場合に、色温度変化を受けた第１のフレーム画像の主光源の色温度に従って、色温度変化を受けた第２のフレーム画像に対してホワイトバランス処理が実行される。

本開示の一実施態様による電子デバイス２０により、２つの隣接するフレーム画像の主光源の原色温度の変化が所定のしきい値よりも小さい場合に、現在のフレーム画像に隣接する前のフレーム画像の主光源の色温度に従って、現在のフレーム画像に対してホワイトバランス処理が実行される。したがって、カメラが揺れたときに視野のジャンプに起因する主光源の頻繁な切り替えが防止され、ホワイトバランスが補正されたプレビュー画像の色調の変化がさらに防止され、それによりユーザエクスペリエンスが改善される。

本開示の実施態様による電子デバイス２０は、電話、タブレットコンピュータ、ラップトップコンピュータ、カメラ、および撮影機能を有する他の電子デバイスを含むが、これらに限定されない。

図２３を参照すると、本開示の実施態様によるコンピュータ可読記憶媒体３０は、電子デバイス２０と協働するコンピュータプログラムを含む。コンピュータプログラムは、上記の実施態様のいずれか１つによるホワイトバランス処理方法を実現するためにプロセッサ２１によって実行されてもよい。

例えば、コンピュータプログラムをプロセッサ２１で実行することにより、以下を含むホワイトバランス処理方法を実現することができる。

ブロックＳ１１では、主光源に対応する色温度を決定するために、複数の連続するフレーム画像の各フレーム画像が処理される。

ブロックＳ１２では、原色温度の変化が所定のしきい値以上であるかどうかが判定される。原色温度の変化とは、色温度変化を受けた第２のフレーム画像の主光源の色温度と、色温度変化を受けた第１のフレーム画像の主光源の色温度との差を指す。

ブロックＳ１３では、原色温度の変化が所定のしきい値未満である場合に、色温度変化を受けた第１のフレーム画像の主光源の色温度に従って、色温度変化を受けた第２のフレーム画像に対してホワイトバランス処理が実行される。

本開示の一実施態様によるコンピュータ可読記憶媒体３０により、２つの隣接するフレーム画像の主光源の原色温度の変化が所定のしきい値よりも小さい場合に、現在のフレーム画像に隣接する前のフレーム画像の主光源の色温度に従って、現在のフレーム画像に対してホワイトバランス処理が実行される。したがって、カメラが揺れたときに視野のジャンプに起因する主光源の頻繁な切り替えが防止され、ホワイトバランスが補正されたプレビュー画像の色調の変化がさらに防止され、それによりユーザエクスペリエンスが改善される。

本開示の説明では、本明細書を通して「実施形態」、「いくつかの実施形態」、「概略的な例」、「例」、「特定の例」または「いくつかの例」への言及は、実施態様または例に関連して説明される特定の特徴、構造、材料、または特性は、本開示の少なくとも１つの実施態様または例に含まれる。本明細書では、上記の用語の概略表現は、必ずしも本開示の同じ実施形態または例を参照しているとは限らない。さらに、特定の特徴、構造、材料、または特性は、１つまたは複数の実施態様または例で任意の適切な方法で組み合わせてもよい。

フローチャートに記載されている、または他の方法で本明細書に記載されているプロセスまたは方法は、プロセス内の特定の論理機能またはステップを実現するための実行可能な命令のコードの１つまたは複数のモジュール、セグメント、または部分を含むと理解されてもよく、本開示の好ましい実施形態の範囲は、他の実施態様を含み、実行の順序は、図示または説明されている順序と異なってもよく、関連する機能に従って実質的に同時または逆の順序で機能を実行することを含んでおり、これは、本開示の実施形態の当業者によって理解されるべきである。

本明細書の他の方法で説明された、またはフローチャートに示された論理および／またはステップ、例えば、論理機能を実現するための実行可能な命令の特定のシーケンステーブルは、命令実行システム、デバイス、または機器（コンピュータに基づくシステム、プロセッサを含むシステム、または命令実行システム、デバイスおよび機器から命令を取得し、命令を実行できる他のシステムなど）によって使用される、あるいは、命令実行システム、デバイス、および機器と組み合わせて使用される任意のコンピュータ可読媒体で具体的に達成されてもよい。仕様に関して、「コンピュータ可読媒体」は、命令実行システム、デバイス、または機器によって、またはそれらと組み合わせて使用されるプログラムを含み、格納し、通信し、伝播し、または転送するのに適した任意のデバイスであってもよい。コンピュータ可読媒体のより具体的な例としては、これらに限定されないが（非網羅的なリスト）、１つまたは複数のワイヤとの電子接続（ＩＰＭ過電流保護回路）、ポータブルコンピュータエンクロージャ（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバデバイス、ならびにポータブルコンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）が挙げられる。加えて、コンピュータ可読媒体は、プログラムを印刷することができる紙または他の適切な媒体であってもよく、これは、例えば、紙またはその他の適切な媒体を光学的にスキャンし、必要に応じて他の適切な方法で編集、復号化、または処理して電気的にプログラムを取得し、その後プログラムをコンピュータのメモリに保存できるためである。

本開示の実施態様の各部分は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせによって実現されてもよいことを理解されたい。上記の実施態様では、複数のステップまたは方法は、メモリに格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実現されてもよい。例えば、ハードウェアによって実現される場合には、別の実施形態と同様に、ステップまたは方法は、当技術分野で既知の技術、すなわち、データ信号の論理機能を実現するための論理ゲート回路を有するディスクリート論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、のうちの１つまたは組み合わせによって実現されてもよい。

当業者は、本開示の上記の例示的な方法におけるステップのすべてまたは一部が、プログラムを用いて関連するハードウェアに命令することによって達成されてもよいことを理解されたい。プログラムはコンピュータ可読記憶媒体に格納されてもよく、プログラムは、コンピュータで実行された場合に本開示の方法の実施形態におけるステップのうちの１つまたは組み合わせを含む。

さらに、本開示の実施形態の各機能セルは、処理モジュールに統合されてもよく、またはこれらのセルは別個の物理的存在であってもよく、または２つ以上のセルが処理モジュールに統合されてもよい。統合されたモジュールは、ハードウェアの形態またはソフトウェア機能モジュールの形態で実現されてもよい。統合されたモジュールがソフトウェア機能モジュールの形態で実現され、スタンドアロン製品として販売または使用される場合に、統合されたモジュールはコンピュータ可読記憶媒体に格納されてもよい。上記の記憶媒体は、読み取り専用メモリ、磁気ディスク、ＣＤなどであってもよい。

Claims (15)

1. 複数の光源を使用したシナリオでそれぞれ色温度変化を受けた複数の連続するフレーム画像に対してホワイトバランス処理を実行するために使用されるホワイトバランス処理方法であって、
   主光源に対応する色温度を決定するために、前記複数の連続するフレーム画像の各フレーム画像を処理するステップ（Ｓ１１）と、
   原色温度の変化が所定のしきい値以上であるかどうかを判定するステップ（Ｓ１２）であって、前記原色温度の変化は、第２のフレーム画像における前記主光源の色温度と第１のフレーム画像における前記主光源の色温度との差を指し、前記第１のフレーム画像および前記第２のフレーム画像は、互いに隣接し、かつ前記複数の連続するフレーム画像からの２つのフレーム画像であり、前記第１のフレーム画像は、前記第２のフレーム画像の１つ前のフレーム画像である、ステップ（Ｓ１２）と、
   前記原色温度の変化が前記所定のしきい値未満である場合に、前記第１のフレーム画像の前記主光源の色温度に従って前記第２のフレーム画像に対して前記ホワイトバランス処理を実行し、前記原色温度の変化が前記所定のしきい値以上である場合に、前記第２のフレーム画像の前記主光源の色温度に従って前記第２のフレーム画像に対して前記ホワイトバランス処理を実行するステップ（Ｓ１３）と、
   を含む、ホワイトバランス処理方法。
2. 前記主光源に対応する色温度を決定するために、前記複数の連続するフレーム画像の各フレーム画像を処理するステップ（Ｓ１１）は、
   前記フレーム画像内の複数の光源を検出するステップ（Ｓ１１１）と、
   前記主光源を決定するために、前記複数の光源の所定のパラメータを互いに比較するステップ（Ｓ１１２）と、
   前記主光源の色温度を決定するために、前記主光源の色を決定するステップ（Ｓ１１３）と、
   を含む、請求項１に記載のホワイトバランス処理方法。
3. 前記フレーム画像内の前記複数の光源を検出するステップ（Ｓ１１１）は、
   前記フレーム画像を複数の領域に分割するステップ（Ｓ１１１１）と、
   各領域のヒストグラムに従って、前記領域が前記光源を有するターゲット領域であるかどうかを判定するステップ（Ｓ１１１２）と、
   前記領域が前記光源を有する前記ターゲット領域である場合に、互いに隣接する少なくとも２つのターゲット領域が存在するかどうかを判定するステップ（Ｓ１１１３）と、
   互いに隣接する前記少なくとも２つのターゲット領域が存在する場合に、前記少なくとも２つのターゲット領域に含まれる少なくとも２つの光源を前記複数の光源のうちの１つに継ぎ合わせるステップ（Ｓ１１１４）と、
   互いに隣接する前記少なくとも２つのターゲット領域が存在しない場合に、前記ターゲット領域に含まれる前記光源を前記複数の光源のうちの１つとして決定するステップ（Ｓ１１１５）と、
   を含む、請求項２に記載の方法。
4. 前記ヒストグラムは、
   横軸にピクセル値を、縦軸にピクセル数を示すヒストグラムと、
   横軸にピクセル数を、縦軸にピクセル値を示すヒストグラムと、
   横軸にピクセル数の比を、縦軸にピクセル値を示すヒストグラムと、
   横軸にピクセル値を、縦軸にピクセル数の比を示すヒストグラムと、
   を含むグループから選択される、請求項３に記載の方法。
5. 前記領域の前記ヒストグラムに従って、前記領域が前記光源を有する前記ターゲット領域であるかどうかを判定するステップ（Ｓ１１１２）は、
   各ピクセル値が所定の値より大きいピクセル数の比が所定の比を超えているかどうかを判定するステップと、
   前記ピクセル値が前記所定の値よりも大きい前記ピクセルの数の前記比が前記所定の比を超えた場合に、前記領域の前記ヒストグラムに従って、前記領域が前記光源を有する前記ターゲット領域であると判定するステップと、
   前記ピクセル値が前記所定の値よりも大きい前記ピクセルの数の前記比が前記所定の比を超えていない場合に、前記領域の前記ヒストグラムに従って、前記領域が前記光源を有する前記ターゲット領域ではないと判定するステップと、
   を含む、請求項３または４に記載の方法。
6. 前記主光源を決定するために、前記複数の光源の前記所定のパラメータを比較するステップ（Ｓ１１２）は、
   前記複数の光源のシナリオパラメータ、面積および輝度パラメータのいずれか１つに従って前記主光源を決定するステップ（Ｓ１１２１）を含み、前記シナリオパラメータは、
   前記フレーム画像を取り込むための時間およびＧＰＳの信号強度を含み、前記輝度パラメータは、前記複数の光源の輝度および前記フレーム画像の平均輝度を含む、請求項２から５のいずれか一項に記載の方法。
7. 前記複数の光源の面積に従って前記主光源を決定するステップ（Ｓ１１２１）は、
   最大面積を有する光源を前記主光源として決定するステップを含む、請求項６に記載の方法。
8. 前記複数の光源の輝度および前記フレーム画像の平均輝度に従って前記主光源を決定する（Ｓ１１２１）ステップは、
   所定の輝度よりも大きく、かつ前記フレーム画像の平均輝度と一致する輝度を有する光源を前記主光源として決定するステップを含む、請求項６に記載の方法。
9. 前記主光源の色温度を決定するために、前記主光源の前記色を決定するステップ（Ｓ１１３）は、
   前記主光源の中心から半径方向に沿った輝度分布に従って、第１の領域および第２の領域を決定するステップ（Ｓ１１３１）であって、前記第１の領域は、前記主光源の中心から半径方向に沿った第１の輝度範囲内の輝度を有するピクセルによって規定される領域を指し、前記第２の領域は、前記主光源の中心から半径方向に沿った第２の輝度範囲内の輝度を有するピクセルによって規定される領域を指し、前記第２の輝度範囲の上限は、前記第１の輝度範囲の下限以下である、ステップ（Ｓ１１３１）と、
   前記主光源の前記色を決定するために、前記第１の領域の原色チャネルの平均ピクセル値から前記第２の領域の原色チャネルの平均ピクセル値を減算するステップ（Ｓ１１３２）と、
   前記主光源の前記色に従って前記主光源の色温度を決定するステップ（Ｓ１１３３）と、
   を含む、請求項２から８のいずれか一項に記載の方法。
10. 前記原色温度の前記変化が前記所定のしきい値以上である場合に、前記第２のフレーム画像の前記主光源の前記色温度に従って前記第２のフレーム画像に対して前記ホワイトバランス処理を実行するステップ（Ｓ１４）をさらに含む、請求項１から９のいずれか一項に記載の方法。
11. 前記原色温度の前記変化が前記所定のしきい値以上である場合に、ノード色温度の変化が前記所定のしきい値以上であるかどうかを判定するステップ（Ｓ１５）であって、前記ノード色温度の前記変化は、第３のフレーム画像の前記主光源の色温度と前記第１のフレーム画像の前記主光源の色温度との差を指し、前記第３のフレーム画像は、前記第１のフレーム画像に隣接しておらず、かつ前記複数の連続するフレーム画像からのものである、ステップ（Ｓ１５）と、
    前記ノード色温度の前記変化が前記所定のしきい値未満である場合に、前記第１のフレーム画像の前記主光源の色温度に従って前記第３のフレーム画像に対して前記ホワイトバランス処理を実行するステップ（Ｓ１６）と、
    前記ノード色温度の前記変化が前記所定のしきい値以上である場合に、前記第３のフレーム画像の前記主光源の色温度に従って前記第３のフレーム画像に対して前記ホワイトバランス処理を実行するステップ（Ｓ１７）と、
    をさらに含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記ホワイトバランス処理がされた前記フレーム画像に対してユーザにより行われた操作の支援により、前記主光源を決定するステップ（Ｓ１８）をさらに含む、請求項２から１１のいずれか一項に記載の方法。
13. 前記操作は、編集、保存、および削除のうちの少なくとも１つを含む、請求項１２に記載の方法。
14. 電子デバイス（２０）であって、
    １つまたは複数のプロセッサ（２１）と、
    メモリ（２２）と、
    前記メモリ（２２）に格納され、前記１つまたは複数のプロセッサ（２１）により実行可能に構成された１つまたは複数のプログラムと、
    を含み、前記１つまたは複数のプログラムは命令を含み、前記命令が実行されると、前記１つまたは複数のプロセッサは、請求項１から１３のいずれか一項に記載のホワイトバランス処理方法を実行するように構成される、電子デバイス（２０）。
15. 非一時的なコンピュータ可読記憶媒体（３０）であって、電子デバイス（２０）と協働するコンピュータプログラムを含み、
    前記コンピュータプログラムは、請求項１から１３のいずれか一項に記載のホワイトバランス処理方法を実行するために前記電子デバイス（２０）のプロセッサ（２１）によって実行される、非一時的なコンピュータ可読記憶媒体（３０）。

Images