JP7422911B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体に係り、特に光源の変化に伴って動画像のフレーム間で異なる色補正を行う技術に関する。

特許文献１に記載の画像処理装置は、フリッカの除去を行う補正対象画像の行単位の信号量の積分値を算出し、この積分値を適用して画像フレームの各行に含まれるフリッカ成分を検出する。この検出フリッカ成分は実際の照明のフリッカ波形に応じたデータである。このフリッカ成分の逆相パターンからなるフリッカ補正係数を適用した補正処理を実行することによりフリッカ除去を行う。

また、特許文献２に記載の画像補正装置は、ＣＭＯＳイメージセンサを用い、ローリングシャッタにて撮像を行う撮像装置において、ＣＭＯＳイメージセンサの出力によって表される原画像のフリッカを補正するフリッカ補正回路を備える。フリッカ補正回路の領域補正係数算出回路は、原画像を垂直方向にＭ分割すると共に水平方向にＮ分割し、分割領域ごとに画素信号を平均化することにより領域平均値を算出し、分割領域ごとに複数フレーム分の領域平均値の平均を算出することによりフリッカ成分を含まない領域基準値を算出する。フリッカ補正回路は、領域基準値と原画像の領域平均値との比から算出した領域補正係数を用いて原画像を補正する。

特開２０１１－１６００９０号公報 特開２００８－１０９３７０号公報

本開示の技術に係る一つの実施形態は、光源の変化に伴って動画像のフレーム間で異なる色補正を行う画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体を提供する。

本発明の一の態様に係る画像処理装置は、１つ以上のプロセッサを含み、１つ以上のプロセッサは、撮像素子が撮像した動画像データを取得する動画像取得処理と、動画像取得処理で取得した動画像データを構成する複数のフレームより基準フレームと基準フレームに対する補正フレームを特定するフレーム特定処理と、フレーム内の第１補正係数の算出に用いる画像領域を決定し、基準フレームより第１基準画像領域を決定し、補正フレームより第１基準画像領域に対応する第１補正画像領域を決定する第１画像領域決定処理と、第１基準画像領域の色画像データより第１基準色信号を取得し、第１補正画像領域の色画像データより第１補正色信号を取得する第１色信号取得処理と、第１補正色信号を第１基準色信号に合わせる第１補正係数を算出する第１補正係数算出処理と、を実行するように構成されている。

本発明の他の態様に係る画像処理装置において、１つ以上のプロセッサは、第１補正係数算出処理により算出された第１補正係数を補正フレームに適用して補正フレームの色補正を行う第１色補正処理を更に実行するように構成されていることが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１画像領域決定処理により決定される第１基準画像領域及び第１補正画像領域はそれぞれ複数の画像領域であり、かつ各画像領域は特定画素又は特定画素を含む周辺画素の画像領域であることが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１基準色信号及び第１補正色信号は、それぞれ複数の色信号から構成されること好ましい。

本発明の更に他の態様に係る画像処理装置において、第１基準色信号の複数の色信号を赤色のＲ_ｒｅｆ、緑色のＧ_ｒｅｆ、青色のＢ_ｒｅｆとし、第１補正色信号の複数の色信号を赤色のＲ、緑色のＧ、青色のＢとすると、第１補正係数算出処理は、複数の画像領域において、次式、
Ｒ_ｒｅｆ＝α1・Ｒ＋β1・Ｇ＋γ1・Ｂ＋Δ1
Ｇ_ｒｅｆ＝α2・Ｒ＋β2・Ｇ＋γ2・Ｂ＋Δ2
Ｂ_ｒｅｆ＝α3・Ｒ＋β3・Ｇ＋γ3・Ｂ＋Δ3
を成立させる第１補正係数であるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１補正係数算出処理は、複数の画像領域において、Ｒ_ｒｅｆとＲ、Ｇ_ｒｅｆとＧ、及びＢ_ｒｅｆとＢの差がそれぞれ最小になるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、動画像データは、撮像素子上に形成される画素に対し、少なくとも１つ以上の画素毎又は走査ライン毎に順次露光動作が行われて撮像されたものであり、第１画像領域決定処理は、基準フレーム及び補正フレームにおいて、撮像素子の露光開始と露光終了のタイミングが同じ画像領域からそれぞれ第１基準画像領域及び第１補正画像領域を決定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１画像領域決定処理は、基準フレームにおける第１基準画像領域と補正フレームにおける第１補正画像領域とをフレーム内の同じ位置とすることが好ましい。

本発明の更に他の態様に係る画像処理装置において、１つ以上のプロセッサは、動画像データより光源のフリッカの位相を検出するフリッカ位相検出処理を実行するように構成され、フレーム特定処理は、フリッカの位相を用いて基準フレームを特定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、フレーム特定処理は、第１色補正処理により色補正された補正フレームを、次の補正フレームに対する基準フレームとして特定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、動画像取得処理は、フレーム間隔よりも１フレーム当りの露光時間が短い複数のフレームから構成される動画像データを取得することが好ましい。

本発明の更に他の態様に係る画像処理装置において、動画像データは、フリッカを有する光源下で撮像素子上に形成される画素に対し、少なくとも１つ以上の画素毎又は走査ライン毎に順次露光動作が行われて撮像されたものであり、動画像取得処理は、１フレーム当りの露光時間がフレーム間隔よりも短く、かつ光源のフリッカの周期よりも短い複数のフレームから構成される動画像データを取得し、１つ以上のプロセッサは、動画像データを構成する各フレームにおいて、基準走査ライン上のライン画像を基準ライン画像として特定し、基準走査ラインに隣接する走査ライン上のライン画像を補正ライン画像として特定するライン画像特定処理と、ライン画像内の第２補正係数の算出に用いる画像領域を決定し、基準ライン画像より第２基準画像領域を決定し、補正ライン画像より第２基準画像領域に対応する第２補正画像領域を決定する第２画像領域決定処理と、第２基準画像領域の色画像データより第２基準色信号を取得し、第２補正画像領域の色画像データより第２補正色信号を取得する第２色信号取得処理と、第２補正色信号を第２基準色信号に合わせる第２補正係数を算出する第２補正係数算出処理と、第２補正係数算出処理により算出された第２補正係数を補正ライン画像に適用して補正ライン画像の色補正を行う第２色補正処理と、を実行するように構成され、ライン画像特定処理は、第２色補正処理により色補正された補正ライン画像を、次の補正ライン画像に対する基準ライン画像として特定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、動画像データは、フリッカを有する光源下で撮像素子上に形成される画素に対し、少なくとも１つ以上の画素毎又は走査ライン毎に順次露光動作が行われて撮像されたものであり、動画像取得処理は、１フレーム当りの露光時間がフレーム間隔よりも短く、かつ光源のフリッカの周期よりも短い複数のフレームから構成される動画像データを取得し、１つ以上のプロセッサは、動画像データを構成する各フレームにおいて、基準走査ライン上のライン画像を基準ライン画像として特定し、基準走査ライン以外の走査ライン上のライン画像を補正ライン画像として特定するライン画像特定処理と、ライン画像内の第２補正係数の算出に用いる画像領域を決定し、基準ライン画像より第２基準画像領域を決定し、補正ライン画像毎に第２基準画像領域に対応する第２補正画像領域を決定する第２画像領域決定処理と、第２基準画像領域の色画像データより第２基準色信号を取得し、第２補正画像領域の色画像データより第２補正色信号を取得する第２色信号取得処理と、第２補正色信号を第２基準色信号に合わせる第２補正係数を算出する第２補正係数算出処理と、算出された第２補正係数を補正ライン画像に適用して補正ライン画像の色補正を行う第２色補正処理と、を実行するように構成され、第２画像領域決定処理は、補正ライン画像内の、基準ライン画像の第２基準画像領域の色と色が近似する画像領域を第２補正画像領域として決定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、１つ以上のプロセッサは、フレームからオブジェクトを検出するオブジェクト検出処理を実行するように構成され、第２画像領域決定処理は、オブジェクト検出処理により検出された、基準ライン画像の第２基準画像領域に含まれるオブジェクトと同じオブジェクトを含む、補正ライン画像の画像領域を第２補正画像領域として決定することが好ましい。

本発明の更に他の態様に係る撮像装置は、動画像を撮像する撮像素子と、上記の何れかに記載の画像処理装置と、を備え、動画像取得処理は、撮像素子が撮像した動画像を示す動画像データを取得する。

本発明の更に他の態様に係る画像処理方法は、撮像素子が撮像した動画像データを取得するステップと、動画像データを構成する複数のフレームより基準フレームと基準フレームに対する補正フレームを特定するステップと、フレーム内の第１補正係数の算出に用いる画像領域を決定し、基準フレームより複数の第１基準画像領域を決定し、補正フレームより複数の第１基準画像領域に対応する複数の第１補正画像領域を決定するステップと、複数の第１基準画像領域毎の色画像データより複数の第１基準色信号を取得し、複数の第１補正画像領域毎の色画像データより複数の第１補正色信号を取得するステップと、複数の第１補正色信号を複数の第１基準色信号に合わせる第１補正係数を算出するステップと、算出された第１補正係数を補正フレームに適用して補正フレームの色補正を行うステップと、を含む。

本発明の更に他の態様に係る画像処理方法において、第１基準色信号を赤色のＲ_ｒｅｆ、緑色のＧ_ｒｅｆ、青色のＢ_ｒｅｆとし、第１補正色信号を赤色のＲ、緑色のＧ、青色のＢとすると、第１補正係数を算出するステップは、複数の画像領域において、次式、
Ｒ_ｒｅｆ＝α1・Ｒ＋β1・Ｇ＋γ1・Ｂ＋Δ1
Ｇ_ｒｅｆ＝α2・Ｒ＋β2・Ｇ＋γ2・Ｂ＋Δ2
Ｂ_ｒｅｆ＝α3・Ｒ＋β3・Ｇ＋γ3・Ｂ＋Δ3
を成立させる第１補正係数であるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出することが好ましい。

本発明の更に他の態様に係る画像処理方法において、第１補正係数を算出するステップは、複数の画像領域において、Ｒ_ｒｅｆとＲ、Ｇ_ｒｅｆとＧ、及びＢ_ｒｅｆとＢの差がそれぞれ最小になるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出することが好ましい。

本発明の更に他の態様に係る画像処理プログラムは、撮像素子が撮像した動画像データを取得する機能と、動画像データを構成する複数のフレームより基準フレームと基準フレームに対する補正フレームを特定する機能と、フレーム内の第１補正係数の算出に用いる画像領域を決定し、基準フレームより複数の第１基準画像領域を決定し、補正フレームより複数の第１基準画像領域に対応する複数の第１補正画像領域を決定する機能と、複数の第１基準画像領域毎の色画像データより複数の第１基準色信号を取得し、複数の第１補正画像領域毎の色画像データより複数の第１補正色信号を取得する機能と、複数の第１補正色信号を複数の第１基準色信号に合わせる第１補正係数を算出する機能と、算出された第１補正係数を補正フレームに適用して補正フレームの色補正を行う機能と、をコンピュータにより実現させる。

図１は、本発明に係る振れ補正装置を含む撮像装置を斜め前方から見た斜視図である。 図２は、図１に示した撮像装置の背面図である。 図３は、図１に示した撮像装置の内部構成の実施形態を示すブロック図である。 図４は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。 図５は、画像処理装置のハードウェア構成の一例を示す積層型ＣＭＯＳの実施形態を示す図である。 図６は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。 図７は室外で撮像された動画像の基準フレームＦ_ｒｅｆと屋内で撮像された動画像の補正フレームＦの一例を示す図である。 図８は事前に準備した基準フレームＦ_ｒｅｆと補正フレームＦの一例を示す図である。 図９は光源のフリッカと撮像素子の露光動作と動画像データとの関係を模式的に示した図である。 図１０は、本発明に係る画像処理装置の第３実施形態を示すブロック図である。 図１１は、本発明に係る画像処理装置の第４実施形態を示すブロック図である。 図１２は、本発明に係る画像処理方法の実施形態を示すフローチャートである。 図１３は、本発明に係る撮像装置の一実施形態であるスマートフォンの外観図である。 図１４は、スマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施形態について説明する。

＜撮像装置の外観＞
図１は、本発明に係る画像処理装置を含む撮像装置を斜め前方から見た斜視図であり、図２は図１に示した撮像装置の背面図である。

図１に示すように撮像装置１０は、交換レンズ１００と、交換レンズ１００が着脱可能なカメラ本体２００とから構成されたミラーレスのデジタル一眼カメラである。

図１において、カメラ本体２００の前面には、交換レンズ１００が装着される本体マウント２６０と、光学ファインダのファインダ窓２０等が設けられ、カメラ本体２００の上面には、主としてシャッタレリーズスイッチ２２、シャッタスピードダイヤル２３、露出補正ダイヤル２４、電源レバー２５、及び内蔵フラッシュ３０が設けられている。

また、図２に示すようにカメラ本体２００の背面には、主として液晶モニタ２１６、光学ファインダの接眼部２６、ＭＥＮＵ／ＯＫキー２７、十字キー２８、再生ボタン２９等が設けられている。

液晶モニタ２１６は、撮像モード時にライブビュー画像を表示し、再生モード時に撮像した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能し、またユーザに対して各種の情報を通知する通知部として機能する。

ＭＥＮＵ／ＯＫキー２７は、液晶モニタ２１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

十字キー２８は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択し、各メニューから各種設定項目の選択を指示するマルチファンクションキーとして機能する。また、十字キー２８の上キー及び下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向及び逆方向送り）ボタンとして機能する。また、液晶モニタ２１６に表示された複数の被写体から焦点調節あるいは色補正する所望の被写体を指定する操作部としても機能する。

また、ＭＥＮＵ／ＯＫキー２７、十字キー２８、及び液晶モニタ２１６に表示されるメニュー画面を使用することで、１枚の静止画像を撮像する静止画像撮像モードの他に、通常の動画像を撮像する動画像撮像モード（第１動画像撮像モード）、動画像撮像モードの一種であって、静止画像抽出用の動画像を撮像する動画像撮像モード（第２動画像撮像モード）を含む各種の撮像モードの設定を行うことができる。

尚、第２動画像撮像モードは、静止画像の抽出に適した撮像条件を設定し、動画像から高画質の静止画像を抽出するためのモードであり、例えば、動画像のフレーム間隔よりも１フレーム当りの露光時間が短く設定される。

再生ボタン２９は、撮像記録した静止画像又は動画像を液晶モニタ２１６に表示させる再生モードに切り替えるためのボタンである。

＜撮像装置の内部構成＞
［交換レンズ］
図３は、撮像装置１０の内部構成の実施形態を示すブロック図である。

撮像装置１０を構成する撮像光学系として機能する交換レンズ１００は、カメラ本体２００の通信規格に沿って製造されたものであり、後述するようにカメラ本体２００との間で通信を行うことができる交換レンズである。この交換レンズ１００は、撮像光学系１０２、フォーカスレンズ制御部１１６、絞り制御部１１８、レンズ側ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０、フラッシュＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１２６、レンズ側通信部１５０、及びレンズマウント１６０を備える。

交換レンズ１００の撮像光学系１０２は、フォーカスレンズを含むレンズ群１０４及び絞り１０８を含む。

フォーカスレンズ制御部１１６は、レンズ側ＣＰＵ１２０からの指令にしたがってフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。絞り制御部１１８は、レンズ側ＣＰＵ１２０からの指令にしたがって絞り１０８を制御する。

レンズ側ＣＰＵ１２０は、交換レンズ１００を統括制御するもので、ＲＯＭ１２４及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)１２２を内蔵している。

フラッシュＲＯＭ１２６は、カメラ本体２００からダウンロードされたプログラム等を格納する不揮発性のメモリである。

レンズ側ＣＰＵ１２０は、ＲＯＭ１２４又はフラッシュＲＯＭ１２６に格納された制御プログラムに従い、ＲＡＭ１２２を作業領域として、交換レンズ１００の各部を統括制御する。

レンズ側通信部１５０は、レンズマウント１６０がカメラ本体２００の本体マウント２６０に装着されている状態で、レンズマウント１６０に設けられた複数の信号端子を介してカメラ本体２００との通信を行う。即ち、レンズ側通信部１５０は、レンズ側ＣＰＵ１２０の指令にしたがって、レンズマウント１６０及び本体マウント２６０を介して接続されたカメラ本体２００の本体側通信部２５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行い、撮像光学系１０２の各光学部材のレンズ情報（フォーカスレンズの位置情報及び絞り情報等）を、カメラ本体２００に通知する。

また、交換レンズ１００は、フォーカスレンズの位置情報、及び絞り情報を検出する検出部（図示せず）を備えている。ここで、絞り情報とは、絞り１０８の絞り値（Ｆ値）、絞り１０８の開口径等を示す情報である。

レンズ側ＣＰＵ１２０は、カメラ本体２００からのレンズ情報のリクエストに応えるために、検出されたフォーカスレンズの位置情報及び絞り情報を含む各種のレンズ情報をＲＡＭ１２２に保持することが好ましい。また、レンズ情報は、カメラ本体２００からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期（動画像のフレーム周期よりも十分に短い周期）で検出され、検出結果を保持することができる。

［カメラ本体］
図３に示す撮像装置１０を構成するカメラ本体２００は、撮像素子２０１、撮像素子制御部２０２、アナログ信号処理部２０３、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器２０４、画像入力コントローラ２０５、デジタル信号処理部２０６、ＲＡＭ２０７、圧縮伸張処理部２０８、メディア制御部２１０、メモリカード２１２、表示制御部２１４、液晶モニタ２１６、本体側ＣＰＵ２２０、操作部２２２、フラッシュＲＯＭ２２６、ＲＯＭ２２８、ＡＦ(Ａｕｔｏｆｏｃｕｓ)制御部２３０、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ)制御部２３２、ホワイトバランス補正部２３４、無線通信部２３６、ＧＰＳ(Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ)受信部２３８、電源制御部２４０、バッテリ２４２、本体側通信部２５０、本体マウント２６０、内蔵フラッシュ３０（図１）を構成するフラッシュ発光部２７０、フラッシュ制御部２７２、フォーカルプレーンシャッタ（ＦＰＳ：ｆｏｃａｌ－ｐｌａｎｅ ｓｈｕｔｔｅｒ）２８０、及びＦＰＳ制御部２９６を備える。

撮像部として機能する撮像素子２０１は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ)型のカラーイメージセンサにより構成されている。尚、撮像素子２０１は、ＣＭＯＳ型に限らず、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の撮像素子でもよい。

撮像素子２０１は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）のうちのいずれか１色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置され、ＲＧＢの各色の画素が構成される。カラーフィルタ配列は、一般的なベイヤー配列とすることできるが、これに限定されるものではなく、例えば、Ｔｒａｎｓ（登録商標）配列等の他のカラーフィルタ配列でもよい。

交換レンズ１００の撮像光学系１０２によって撮像素子２０１の受光面に結像された被写体の光学像は、撮像素子２０１によって電気信号に変換される。撮像素子２０１上に形成された各画素には、入射する光量に応じた電荷が蓄積され、撮像素子２０１からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。

撮像素子制御部２０２は、本体側ＣＰＵ２２０の指令にしたがって撮像素子２０１から画像信号の読み出し制御を行う。

また、撮像素子制御部２０２は、本体側ＣＰＵ２２０からのシャッタ制御信号により、撮像素子２０１をいわゆるグローバルシャッタ方式又はローリングシャッタ方式で駆動する。

ここで、グローバルシャッタ方式とは、ＣＭＯＳ型の撮像素子２０１において、1画面内の全画素に対し一斉にリセットし露光動作を開始する（即ち、1画面内の全画素に対し電荷の蓄積を開始する）方式をいい、ローリングシャッタ方式とは、ＣＭＯＳ型の撮像素子２０１において、少なくとも１つ以上の走査ラインや画素毎に順次露光動作を行う方式（即ち、走査ラインや画素毎に順次リセットを行い電荷の蓄積を開始し蓄積した電荷を読み出す方式であり、フォーカルプレーンシャッタ方式とも言われる。

アナログ信号処理部２０３は、撮像素子２０１で被写体を撮像して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部２０３は、サンプリングホールド回路、色分離回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路等を含んで構成されている。ＡＧＣ回路は、撮像時の感度（ＩＳＯ感度(ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器２０４は、アナログ信号処理部２０３から出力されたアナログの画像信号をデジタルの画像信号に変換する。

静止画像又は動画像の撮像時に撮像素子２０１、アナログ信号処理部２０３、及びＡ／Ｄ変換器２０４を介して出力されるＲＧＢの画素毎の画像データ（画素毎にＲＧＢの濃度値を持つＲＡＷデータ）は、画像入力コントローラ２０５からＲＡＭ２０７に入力され、一時的に記憶される。尚、撮像素子２０１がＣＭＯＳ型撮像素子である場合、アナログ信号処理部２０３及びＡ／Ｄ変換器２０４は、撮像素子２０１内に内蔵されていることが多い。

デジタル信号処理部２０６は、ＲＡＭ２０７に格納されているＲＡＷデータに対して、各種のデジタル信号処理を施す。デジタル信号処理部２０６は、ＲＡＭ２０７に記憶されているＲＡＷデータを適宜読み出し、読み出したＲＡＷデータに対してオフセット処理、ＲＧＢのＲＡＷデータを正確な色再現性のある新たなＲＧＢ信号に色補正するリニアマトリックス処理、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理、同時化処理とも言う）、ＲＧＢ／ＹＣｒＣｂ変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びＲＡＭ２０７に記憶させる。

尚、デモザイク処理とは、例えば、ＲＧＢの３原色のカラーフィルタを有する撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理であり、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢの３面の画像データを生成する。また、ＲＧＢ／ＹＣｒＣｂ変換処理は、同時化されたＲＧＢデータを輝度データ（Ｙ）及び色差データ（Ｃｒ、Ｃｂ）に変換する処理である。

圧縮伸張処理部２０８は、静止画像又は動画像の記録時に、一旦ＲＡＭ２０７に格納された非圧縮の輝度データＹ及び色差データＣｂ，Ｃｒに対して圧縮処理を施す。静止画像の場合には、例えばＪＰＥＧ(Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)形式で圧縮し、動画像の場合には、例えばＨ．２６４形式で圧縮する。圧縮伸張処理部２０８により圧縮された画像データは、メディア制御部２１０を介してメモリカード２１２に記録される。また、圧縮伸張処理部２０８は、再生モード時にメディア制御部２１０を介してメモリカード２１２から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。

メディア制御部２１０は、圧縮伸張処理部２０８で圧縮された画像データを、メモリカード２１２に記録する制御を行う。また、メディア制御部２１０は、メモリカード２１２から、圧縮された画像データを読み出す制御を行う。

表示制御部２１４は、ＲＡＭ２０７に格納されている非圧縮の画像データを、液晶モニタ２１６に表示させる制御を行う。液晶モニタ２１６は、液晶表示デバイスにより構成されているが、液晶モニタ２１６の代わりに有機エレクトロルミネッセンスなどの表示デバイスによって構成してもよい。

液晶モニタ２１６にライブビュー画像を表示させる場合には、デジタル信号処理部２０６で連続的に生成されたデジタルの画像信号が、ＲＡＭ２０７に一時的に記憶される。表示制御部２１４は、このＲＡＭ２０７に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、液晶モニタ２１６に順次出力する。これにより、液晶モニタ２１６に撮像画像がリアルタイムに表示され、液晶モニタ２１６を電子ビューファインダとして使用することができる。

シャッタレリーズスイッチ２２は、静止画像や動画像の撮像指示を入力するための撮像指示部であり、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。

静止画像撮像モードの場合、シャッタレリーズスイッチ２２が半押しされることによってＳ１オンの信号、半押しから更に押し込む全押しがされることによってＳ２オンの信号が出力され、Ｓ１オン信号が出力されると、本体側ＣＰＵ２２０は、ＡＦ制御（自動焦点調節）及びＡＥ制御（自動露出制御）などの撮影準備処理を実行し、Ｓ２オン信号が出力されると、静止画像の撮像処理及び記録処理を実行する。

尚、ＡＦ制御及びＡＥ制御は、それぞれ操作部２２２によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ制御及びＡＥ制御が行われないことは言うまでもない。

また、動画像撮像モードの場合、シャッタレリーズスイッチ２２が全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、動画像の記録を開始する動画像記録モードになり、動画像の画像処理及び記録処理を実行し、その後、シャッタレリーズスイッチ２２が再び全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、スタンバイ状態になり、動画像の記録処理を一時停止する。

尚、シャッタレリーズスイッチ２２は半押しと全押しとからなる２段ストローク式のスイッチの形態に限られず、1回の操作でＳ１オンの信号、Ｓ２オンの信号を出力しても良く、それぞれ個別のスイッチを設けてＳ１オンの信号、Ｓ２オンの信号を出力しても良い。

また、タッチパネル等により操作指示を行う形態では、これら操作手段としてタッチパネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮影準備処理や撮像処理を指示するものであれば操作手段の形態はこれらに限られない。

撮像により取得された静止画像又は動画像は、圧縮伸張処理部２０８により圧縮され、圧縮された画像データは、撮像日時、ＧＰＳ情報、撮像条件（Ｆ値、シャッタスピード、ＩＳＯ感度等）の所要の付属情報が、ヘッダに付加された画像ファイルとされた後、メディア制御部２１０を介してメモリカード２１２に記録される。

本体側ＣＰＵ２２０は、カメラ本体２００全体の動作及び交換レンズ１００の光学部材の駆動等を統括制御するもので、シャッタレリーズスイッチ２２を含む操作部２２２等からの入力に基づき、カメラ本体２００の各部及び交換レンズ１００を制御する。

フラッシュＲＯＭ２２６は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報を記憶する。

ＲＯＭ２２８には、本体側ＣＰＵ２２０が実行するカメラ制御プログラム、本発明に係る画像処理プログラム、撮像素子２０１の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側ＣＰＵ２２０は、ＲＯＭ２２８に格納されたカメラ制御プログラムにしたがい、ＲＡＭ２０７を作業領域としながらカメラ本体２００の各部、及び交換レンズ１００を制御する。

ＡＦ検出部２３０は、デジタルの画像信号に基づいて、ＡＦ制御に必要な数値を算出する。いわゆるコントラストＡＦの場合、例えば所定のＡＦエリア内におけるＧ信号の高周波成分の積算値（焦点評価値）を算出する。本体側ＣＰＵ２２０は、ＡＦ制御時に焦点評価値が最大となる位置（即ち、コントラストが最大になる位置）に交換レンズ１００のレンズ群１０４に含まれるフォーカスレンズを移動させる。尚、ＡＦは、コントラストＡＦには限定されず、例えば、撮像素子に設けられた位相差検出用画素の画素データに基づいてデフォーカス量を検出し、このデフォーカス量がゼロになるようにフォーカスレンズを移動させる位相差ＡＦを行うものでもよい。

ＡＥ制御部２３２は、被写体の明るさ（被写体輝度）を検出する部分であり、被写体輝度に対応するＡＥ制御及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）制御に必要な数値（露出値（ＥＶ値（ｅｘｐｏｓｕｒｅ ｖａｌｕｅ）））を算出する。ＡＥ制御部２３２は、撮像素子２０１を介して取得した画像の輝度、画像の輝度の取得時のシャッタスピード及びＦ値によりＥＶ値を算出する。

本体側ＣＰＵ２２０は、ＡＥ制御部２３２から得たＥＶ値に基づいて所定のプログラム線図からＦ値、シャッタスピード及びＩＳＯ感度を決定し、ＡＥ制御を行うことができる。

ホワイトバランス補正部２３４は、ＲＧＢデータ（Ｒデータ、Ｇデータ及びＢデータ）の色データ毎のホワイトバランスゲイン（ＷＢ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）ゲイン)Ｇr,Ｇg,Ｇbを算出し、Ｒデータ、Ｇデータ及びＢデータに、それぞれ算出したＷＢゲインＧr,Ｇg,Ｇbを乗算することによりホワイトバランス補正を行う。ここで、ＷＢゲインＧr,Ｇg,Ｇbの算出方法としては、被写体の明るさ（ＥＶ値）によるシーン認識（室外、室内の判定等）及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なＷＢゲインが記憶されている記憶部から特定した光源種に対応するＷＢゲインを読み出す方法が考えられるが、少なくともＥＶ値を使用してＷＢゲインＧr,Ｇg,Ｇbを求める他の公知の方法が考えられる。

無線通信部２３６は、Wi-Fi（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器（スマートフォン、等の携帯端末）との間で必要な情報の送受信を行う。

ＧＰＳ受信部２３８は、本体側ＣＰＵ２２０の指示にしたがって、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、カメラ本体２００の緯度、経度、及び高度からなるＧＰＳ情報を取得する。取得されたＧＰＳ情報は、撮像された画像の撮像位置を示す付属情報として画像ファイルのヘッダに記録することができる。

電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、バッテリ２４２から供給される電源電圧をカメラ本体２００の各部に与える。また、電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２４８及びレンズマウント１６０を介して、バッテリ２４２から供給される電源電圧を交換レンズ１００の各部に与える。

レンズ電源スイッチ２４４は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２４８及びレンズマウント１６０を介して交換レンズ１００に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。

本体側通信部２４６は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２４８及びレンズマウント１６０を介して接続された交換レンズ１００のレンズ側通信部１５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行う。尚、本体マウント２６０には、図１に示すように複数の端子２６０Ａが設けられており、交換レンズ１００がカメラ本体２００に装着（レンズマウント１６０と本体マウント２６０とが接続）されると、本体マウント２６０に設けられた複数の端子２６０Ａ（図１）と、レンズマウント１６０に設けられた複数の端子（図示せず）とが電気的に接続され、本体側通信部２５０とレンズ側通信部１５０との間で双方向通信が可能になる。

内蔵フラッシュ３０（図１）は、例えば、ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）自動調光方式のフラッシュであり、フラッシュ発光部２７０と、フラッシュ制御部２７２とから構成されている。

フラッシュ制御部２７２は、フラッシュ発光部２７０から発光するフラッシュ光の発光量（ガイドナンバー）を調整する機能を有する。即ち、フラッシュ制御部２７２は、本体側ＣＰＵ２２０からのフラッシュ撮像指示に同期してフラッシュ発光部２７０を発光させ、交換レンズ１００の撮像光学系１０２を介して入射する反射光（周囲光を含む）の測光を開始し、測光値が標準露出値に達すると、フラッシュ発光部２７０からのフラッシュ光の発光を停止させる。

フォーカルプレーンシャッタ２８０は、撮像装置１０のメカシャッタを構成し、撮像素子２０１の直前に配置される。

ＦＰＳ制御部２９６は、本体側ＣＰＵ２２０からの指示入力に基づいてＦＰＳ駆動部（図示しないチャージモータ、先幕用電磁石及び後幕用電磁石）に制御信号を出力する部分である。

チャージモータによりフォーカルプレーンシャッタ２８０の先幕及び後幕がチャージ位置に駆動され、先幕用電磁石及び後幕用電磁石により固定されている状態で、シャッタレリーズスイッチ２２がＯＮされると、ＦＰＳ制御部２９６は、先幕をチャージ位置で保持している先幕用電磁石をＯＦＦにし、先幕走行用バネにより先幕を開方向に走行させ、露光用開口部を開く。その後、ＦＰＳ制御部２９６は、シャッタスピードに対応する時間の経過後に後幕をチャージ位置で保持している後幕用電磁石をＯＦＦにし、後幕走行用バネにより後幕を閉方向に走行させ、露光用開口部を閉じる。これにより、シャッタスピードに対応する時間だけ撮像素子２０１を露光させる。

［画像処理装置の第１実施形態］
カメラ本体２００には、本発明に係る画像処理装置が設けられている。

本発明に係る画像処理装置は、デジタル信号処理部２０６、又はデジタル信号処理部２０６及び本体側ＣＰＵ２２０に設けられ、あるいは図示しない専用のハードウェアとして設けられる。

図４は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。

図４に示す画像処理装置は、動画像撮像モード（特に静止画像抽出用の第２動画像撮像モード）による動画像を撮像する場合に、光源の変化に伴って動画像のフレーム間で異なる色補正を行う装置であり、主として動画像取得部３０２、フレーム特定部３１０、第１画像領域決定部３２０、第１色信号取得部３３０、第１補正係数算出部３４０、及び第１色補正部３５０から構成されている。

尚、本例の動画像撮像モードは、撮像素子２０１の走査ライン毎に順次リセットを行い、走査ライン毎に順次露光動作（電荷の蓄積開始）を行い、露光時間経過後に走査ライン毎に順次蓄積した電荷に対応するデータを読み出すローリングシャッタ方式による動画像の撮像を行うものとする。

動画像取得部３０２は、第２動画像撮像モードが設定され、交換レンズ１００及び撮像素子２０１等により撮像された動画像データを取得する部分であり、本例では動画像データとしてＲＡＭ２０７に一時記憶されたＲＡＷデータ３００を取得する。動画像取得部３０２により取得されたＲＡＷデータ３００は、第１色補正部３５０及びフレーム特定部３１０に出力される。

フレーム特定部３１０は、動画像取得部３０２が取得した動画像を構成する複数のフレームより基準フレームと、その基準フレームに対する補正フレームとを特定する。本例のフレーム特定部３１０は、フリッカ位相検出部３１２を有し、フリッカ位相検出部３１２は、光源のフリッカ位相を検出する。

室内の光源下で動画像の撮像を行う場合、蛍光灯、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ)等の人工光源は、商用電源の周波数（５０Ｈｚ又は６０Ｈｚ）の影響を受け、商用電源の周波数に対応する周波数のフリッカを発生する。

したがって、人工光源下で動画像の撮像を行うと、人工光源のフリッカにより動画像のフレーム間で色味が変化し、特にフレーム間隔よりも１フレーム当りの露光時間が短い（フリッカ周期よりも短い）第２動画像撮像モードでは、フレーム間での色味の変化が顕著である。

フリッカ位相検出部３１２は、動画像取得部３０２が取得した１フレーム分のＲＡＷデータ３００の各走査ラインの明暗の変化等により光源のフリッカ周波数、フリッカ位相を検出する。フリッカ位相は、例えば、各フレームの１ライン目の露光開始時点を基準にし、その露光開始時点から光源の輝度が最大になる時間として検出することができる。

いま、光源のフリッカ周波数と動画像のフレームレート（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）とが一致している場合、フレーム間ではフリッカの影響はないが、不一致の場合、フレーム間で色味が変化する。

光源のフリッカ周波数と動画像のフレームレートとが異なる場合でも、一定の周期毎に同一のフリッカ位相又はほぼ同一のフリッカ位相が現われる。

フレーム特定部３１０は、フリッカ位相検出部３１２により検出されるフリッカ位相に基づいて、一定の周期毎に現われる特定のフリッカ位相のフレームを基準フレームとし、他のフレームを補正フレームとして決定する。一定の周期毎の基準フレームは、一定の周期内で最も明るいフレームが好ましい。

第１画像領域決定部３２０は、フレーム特定部３１０により特定された基準フレームと補正フレームとから、それぞれフレーム内の第１補正係数の算出に用いる画像領域を決定する部分であり、基準フレームと補正フレームの各演算領域内における基準フレームより第１基準画像領域を決定し、補正フレームより第１基準画像領域に対応する第１補正画像領域を決定する。

基準フレーム及び補正フレームの各演算領域は、フレームの全領域でもよいし、フレームのフォーカス領域、あるいはフレームの中央領域でもよい。

第１基準画像領域は、例えば、基準フレームの演算領域内の予め設定された複数の画素位置における特定画素又は特定画素を含む周辺画素の画像領域とすることができる。尚、本例では、特定位置の１画素の領域も第１基準画像領域を構成する領域とすることができる。

第１補正画像領域は、補正フレームの演算領域内の領域であり、第１基準画像領域に対応する領域である。本例の第１基準画像領域と第１補正画像領域とは、撮像素子２０１の露光開始と露光終了のタイミングが同じ走査ライン上の画像領域であり、それぞれ同じ位置の領域である。

第１色信号取得部３３０は、第１画像領域決定部３２０により決定された第１基準画像領域の色画像データ（本例では、ＲＧＢのＲＡＷデータ）より、ＲＡＷデータの第１基準画像領域のＲ画素の画素データの代表値、Ｇ画素の画素データの代表値、及びＢ画素の画素データの代表値を、複数の第１基準画像領域毎に第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）として取得する。

ここで、第１基準画像領域におけるＲＡＷデータが、Ｒ画素、Ｇ画素、Ｂ画素のうちのいずれか１つの場合、その画素の画素データが代表値である。また、第１基準画像領域にＲ画素が複数存在する場合には、複数のＲ画素の画素データの平均値、又は複数のＲ画素の画素データを、第１基準画像領域の中心からの距離に応じて重み付け平均した値を代表値とすることができる。第１基準画像領域にＧ画素、Ｂ画素がそれぞれ複数存在する場合もＧ画素、Ｂ画素の代表値も上記と同様にして求めることができる。

第１色信号取得部３３０は、同様にして第１画像領域決定部３２０により決定された第１補正画像領域のＲＧＢのＲＡＷデータより、ＲＡＷデータの第１補正画像領域のＲ画素の画素データの代表値、Ｇ画素の画素データの代表値、及びＢ画素の画素データの代表値を、複数の第１補正画像領域毎に第１補正色信号（Ｒ、Ｇ、Ｂ）として取得する。

第１補正係数算出部３４０は、第１補正色信号（Ｒ、Ｇ、Ｂ）を、第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）に合わせる第１補正係数を算出する。

具体的には、第１補正係数算出部３４０は、複数の画像領域（第１基準画像領域と第１補正画像領域の複数ペアの画像領域）において、次式
［数１］
Ｒ_ｒｅｆ＝α1・Ｒ＋β1・Ｇ＋γ1・Ｂ＋Δ1
［数２］
Ｇ_ｒｅｆ＝α2・Ｒ＋β2・Ｇ＋γ2・Ｂ＋Δ2
［数３］
Ｂ_ｒｅｆ＝α3・Ｒ＋β3・Ｇ＋γ3・Ｂ＋Δ3
を成立させる第１補正係数であるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出する。

第１補正係数算出部３４０は、［数１］式から［数３］式を成立させる第１補正係数（α1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3）を算出する場合に、複数の画像領域において、最小自乗法によりＲ_ｒｅｆとＲ、Ｇ_ｒｅｆとＧ、及びＢ_ｒｅｆとＢの差がそれぞれ最小になるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出する。

［数１］式から［数３］式に示す第１補正係数（α1、α2、α3、β1、β2、β3、γ1、γ2、γ3）は、補正フレームのＲＧＢのＲＡＷデータに対する乗数であり、第１補正係数（Δ1、Δ2、Δ3）は、補正フレームのＲＧＢのＲＡＷデータのオフセット値である。

オフセット値は、補正フレームの露光時間における光源が、単色光などスペクトルに偏りがある場合、あるいは基準フレームの露光時間における光源には、ＲＧＢの全ての波長帯域が含まれるが、補正フレームの露光時間における光源には、ＲＧＢの波長帯域のうちのいずれか１以上の波長帯域が不足する場合に、後述する色補正において、補正フレームの色の再現性を上げるために必要な補正係数である。したがって、光源の波長帯域によっては、第１補正係数（Δ1、Δ2、Δ3）はゼロにし、またはオフセット用の第１補正係数（Δ1、Δ2、Δ3）は設けないようにしてもよい。

第１色補正部３５０は、第１補正係数算出部３４０により算出された第１補正係数（α1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3）を補正フレームに適用し、補正フレームの色補正を行う。

即ち、第１色補正部３５０は、動画像取得部３０２から入力するＲＡＷデータ３００のフレームが補正フレームであって、その補正フレームのＲＡＷデータのＲ画素の画素データを補正する場合、［数１］式に示したようにＲ画素の画素データ（Ｒ）と、Ｒ画素の周辺のＧ画素の画素データ（Ｇ）と、Ｒ画素の周辺のＢ画素の画素データ（Ｂ）にそれぞれ第１補正係数（α1、β1、γ1）を乗算するとともに、オフセット値Δ1を加算して、色補正したＲ画素の画素データを取得する。

第１色補正部３５０は、補正フレームのＲＡＷデータのＧ画素の画素データを補正する場合、［数２］式に示したようにＧ画素の周辺のＲ画素の画素データ（Ｒ）と、Ｇ画素の画素データ（Ｇ）と、Ｇ画素の周辺のＢ画素の画素データ（Ｂ）にそれぞれ第１補正係数（α2、β2、γ2）を乗算するとともに、オフセット値Δ2を加算して、色補正したＧ画素の画素データを取得し、補正フレームのＲＡＷデータのＢ画素の画素データを補正する場合、［数３］式に示したようにＢ画素の周辺のＲ画素の画素データ（Ｒ）と、Ｂ画素の周辺のＧ画素の画素データ（Ｇ）と、Ｂ画素の画素データ（Ｂ）にそれぞれ第１補正係数（α3、β3、γ3）を乗算するとともに、オフセット値Δ3を加算して、色補正したＧ画素の画素データを取得する。

上記構成の画像処理装置によれば、補正フレームのＲＡＷデータの色味を基準フレームの色味に合わせ、又は近づけることができる。

また、この画像処理装置は、Ｒデータ、Ｇデータ及びＢデータに、光源種や色温度等に応じたＷＢゲインＧr,Ｇg,Ｇbを乗算することにより、ホワイトバランス補正を行うホワイトバランス補正部２３４とは異なり、光源種や色温度等に依存しない画像処理であり、光源のフリッカに関わらず補正フレームの色味を基準フレームの色味に合わせることができる。

尚、デジタル信号処理部２０６のリニアマトリックス処理部は、ＲＧＢの色画像データに対して３×３の固定係数による行列演算を行うが、この固定係数に第１補正係数（α1、α2、α3、β1、β2、β3、γ1、γ2、γ3）を乗算した値を適用することができる。また、デジタル信号処理部２０６のオフセット処理部は、撮像素子２０１のオプティカルブラック領域に発生する信号成分（オフセット値）を減算することで暗電流の影響を補正する部分であるが、オフセット処理部のオフセット値に第１補正係数（Δ1、Δ2、Δ3）を加算した値を適用することができる。これにより、リニアマトリックス処理部及びオフセット処理部を第１色補正部３５０として機能させることができる。

図５は、画像処理装置のハードウェア構成の一例を示す積層型ＣＭＯＳの実施形態を示す図である。尚、図５において、図４に示した画像処理装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図５において、基準フレーム記憶領域３１４に基準フレーム、補正フレーム記憶領域３１６に補正フレームの画素データを一時記憶させる。基準フレーム記憶領域３１４及び補正フレーム記憶領域３１６からは、第１補正係数の演算に使用する第１画像領域３２２毎に、それぞれ第１基準画像領域の画素データ（第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ））及び第１補正画像領域の画素データ（第１補正色信号（Ｒ、Ｇ、Ｂ））が並列に読み出され、第１補正係数算出部３４０に加えられる。

第１補正係数算出部３４０は、並列に読み出された同一の第１画像領域である第１基準画像領域の第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）と、第１補正画像領域の第１補正色信号（Ｒ、Ｇ、Ｂ）とに基づいて、第１補正画像領域の第１補正色信号を、第１基準画像領域の第１基準色信号に合わせる第１補正係数を算出する。

第１色補正部３５０は、補正フレーム記憶領域３１６から読み出される補正フレームの画素データに対して第１補正係数算出部３４０により算出された第１補正係数を使用した補正処理を行い出力する。

このようにして基準フレームと補正フレームの対応する第１画像領域毎の演算を並列に行うことで第１補正係数の算出時間を短縮し、補正フレームの色補正をリアルタイムで実行可能にしている。

［画像処理装置の第２実施形態］
図６は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。

図６に示すフレーム特定部３１１は、第１実施形態のように光源のフリッカ位相に対応して基準フレームと補正フレームとを特定するものではなく、例えば、動画像撮像時の最初のフレームを基準フレームとして特定し、それ以降のフレームを補正フレームとして特定し、あるいは操作部２２２を使用してユーザが指定したフレームを基準フレームとして特定し、それ以外のフレームを補正フレームとして特定することができる。基準フレームと補正フレームの特定方法はこれに限定されず、例えば、人物等の主要被写体が最初に検出されたフレームを基準フレームとし、それ以降のフレームであって、主要被写体が撮像されているフレームを補正フレームとすることができる。

第１画像領域決定部３２１は、オブジェクト検出部３２４を有し、オブジェクト検出部３２４により検出されたフレーム内のオブジェクトに対応する演算領域を決定する。オブジェクト検出部３２４は、画像の特徴量を抽出し、抽出した特徴量に基づいてフレーム内の人物、建物、空、地面などの１以上のオブジェクトを検出するもので、オブジェクト検出用に機械学習させた学習器などを使用することができる。

第１画像領域決定部３２１は、オブジェクト検出部３２４により検出されたフレーム内のオブジェクトを基準にして演算領域を決定する。複数のオブジェクトが検出された場合には、画面中心に近いオブジェクト、あるいは優先順位の高いオブジェクトを選択することができる。

図７は室外で撮像された動画像の基準フレームＦ_ｒｅｆと屋内で撮像された動画像の補正フレームＦの一例を示す図である。

図７に示す例では、基準フレームＦ_ｒｅｆ及び補正フレームＦ内のオブジェクトとして人物が検出されており、第１画像領域決定部３２１は、検出された人物を基準にして基準フレームＦ_ｒｅｆにおける演算領域Ａ、及び補正フレームＦにおける演算領域Ｃを決定することができる。

第１画像領域決定部３２１は、基準フレームＦ_ｒｅｆの演算領域Ａ内のｎ個の第１基準画像領域Ｂ１～Ｂｎを決定し、補正フレームＦの演算領域Ｃ内のｎ個の第１補正画像領域Ｄ１～Ｄｎを決定する。尚、図７に示す例では、第１基準画像領域Ｂ１～Ｂｎと第１補正画像領域Ｄ１～Ｄｎとはそれぞれ同じ位置の領域である。また、図７では、それぞれ１つの第１基準画像領域Ｂ１及び第１補正画像領域Ｄ１のみが図示されている。

図６に戻って、第１色信号取得部３３０は、第１画像領域決定部３２１により決定された第１基準画像領域Ｂ１～Ｂｎの色画像データより第１基準画像領域Ｂ１～Ｂｎ毎に第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）を取得し、同様に第１画像領域決定部３２１により決定された第１補正画像領域Ｄ１～Ｄｎの色画像データより第１補正画像領域Ｄ１～Ｄｎ毎に第１補正色信号（Ｒ、Ｇ、Ｂ）を取得する。

第１補正係数算出部３４０は、複数ペアの第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）と第１補正色信号（Ｒ、Ｇ、Ｂ）に基づいて、第１補正色信号（Ｒ、Ｇ、Ｂ）を、第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）に合わせるための第１補正係数（［数１］式～［数３］式のα1～α3、β1～β3、γ1～γ3、Δ1～Δ3）を算出する。

第１色補正部３５０は、第１補正係数算出部３４０により算出された第１補正係数（α1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3）を補正フレームに適用し、補正フレームの色補正を行う。

室外の自然光から室内の単色照明に光源が切り替わる場合、これらの光源に応じたＷＢゲインＧr,Ｇg,Ｇbを、Ｒデータ、Ｇデータ及びＢデータに乗算するホワイトバランス補正を行っても被写体の色味は大きく異なるが、第２実施形態によれば、室内で撮像される動画像（演算領域Ｃの被写体）を、室外で撮像された演算領域Ａの被写体の色味に近づけることができる。

尚、補正フレームＦの演算領域Ｃ以外の背景領域の色味は、基準フレームＦ_ｒｅｆの演算領域Ａ以外の背景領域の色味に必ずしも近づかないが、少なくとも補正フレームＦの被写体（主要被写体）を含む演算領域Ｃの色味を、基準フレームＦ_ｒｅｆの演算領域Ａの色味に近づけることができる。

図８は事前に準備した基準フレームＦ_ｒｅｆと補正フレームＦの一例を示す図である。

図８に示す基準フレームＦ_ｒｅｆは、色味を合わせたいオブジェクト画像として顔画像を含み、この顔画像を含む顔領域を演算領域Ａとしている。

オブジェクト検出部３２４（図６）は補正フレームＦから顔画像を検出し、第１画像領域決定部３２１は、オブジェクト検出部３２４により検出された顔画像を含む顔領域を演算領域Ｃとする。

図８に示すように基準フレームＦ_ｒｅｆの演算領域Ａと補正フレームＦの演算領域Ｃの位置及び大きさが異なる場合、オブジェクト検出部３２４は、基準フレームＦ_ｒｅｆの演算領域Ａに含まれる顔領域から顔パーツ（例えば、目、鼻、口、頬、額、顎、眉毛、頭髪等）を検出し、同様に補正フレームＦの演算領域Ｃに含まれる顔領域から顔パーツを検出する。

第１画像領域決定部３２１は、オブジェクト検出部３２４により検出された基準フレームＦ_ｒｅｆの演算領域Ａに含まれる各顔パーツの領域を第１基準画像領域とし、補正フレームＦの演算領域Ｃに含まれる各顔パーツの領域を第１補正画像領域とすることができる。

このようにして第１補正係数を算出するための第１基準画像領域及び第１補正画像領域を決定することで、事前に決めた特定の被写体の好ましい色味に、補正フレーム内の特定の被写体の色味を近づけることができる。

［画像処理装置の第３実施形態］
図９は、光源のフリッカと撮像素子の露光動作と動画像データとの関係を模式的に示した図である。

図９に示す光源は、商用電源の周波数に応じて明滅を繰り返す。また、撮像素子２０１は、動画像を撮像する場合にローリングシャッタ方式で駆動されており、１フレームの走査ライン毎に露光開始のタイミングがずれている。

したがって、光源のフリッカにより、同一フレーム内であっても走査ラインの位置に応じて露光時間中の光源からの入射光量やＲＧＢの分光比が異なり、同一フレーム内でも色味が走査ラインに応じて変化する。

図１０は、本発明に係る画像処理装置の第３実施形態を示すブロック図である。

図１０に示す第３実施形態の画像処理装置は、同一フレーム内の色味の変化を補正するものであり、主として動画像取得部３０３、ライン画像特定部４１０、第２画像領域決定部４２０、第２色信号取得部４３０、第２補正係数算出部４４０、及び第２色補正部４５０から構成されている。

ＲＡＷデータ３０１は、図９に示したようにフリッカを有する光源下で、ローリングシャッタ方式で撮像素子２０１が駆動される場合に、撮像素子２０１から得られる動画像データである。動画像取得部３０３はＲＡＷデータ３０１を取得し、取得したＲＡＷデータ３０１をライン画像特定部４１０及び第２色補正部４５０に出力する。

ライン画像特定部４１０は、ＲＡＷデータ３０１の各フレームにおいて、基準走査ライン上の画像を基準ライン画像として特定し、基準走査ライン画像に隣接する走査ライン上の画像を補正ライン画像として特定する。

各フレームの最初の基準走査ラインは、例えば、１フレーム内の先頭の走査ラインとすることができる。また、各フレームの最初の基準走査ラインは、フリッカの影響が少ない走査ラインとすることができる。フリッカの影響が少ない走査ラインとは、走査ラインの露光時間における光源の輝度変化が少ない走査ラインである。

また、ライン画像特定部４１０は、後述の第２色補正部４５０により色補正された補正ライン画像を、隣接する次の補正ライン画像に対する基準ライン画像として特定する。

第２画像領域決定部４２０は、ライン画像特定部４１０により特定された基準ライン画像と補正ライン画像とから、それぞれライン画像内の第２補正係数の算出に用いる画像領域を決定する部分であり、基準ライン画像と補正ライン画像の各演算領域内における基準ライン画像より第２基準画像領域を決定し、補正ライン画像より第２基準画像領域に対応する第２補正画像領域を決定する。

本例の第２基準画像領域と第２補正画像領域とは、それぞれライン画像内の同じ位置の領域とすることができる。

第２基準画像領域は、例えば、基準ライン画像の演算領域内の予め設定された複数の画素位置における特定画素又は特定画素を含む周辺画素の画像領域とすることができる。特定画素は、ライン画像の全領域の画素が含まれるように複数選択することが望ましい。

第２補正画像領域は、補正ライン画像の演算領域内の領域であり、第２基準画像領域に対応する領域である。

本例の基準ライン画像と補正ライン画像とは、互いに隣接する走査ライン上のライン画像であり、露光時間が近似し、かつ被写体の相関が高いため、色の変化を抽出し易い。

第２色信号取得部４３０は、第２画像領域決定部４２０により決定された第２基準画像領域の色画像データ（本例では、ＲＧＢのＲＡＷデータ）より、ＲＡＷデータの第２基準画像領域のＲ画素の画素データの代表値、Ｇ画素の画素データの代表値、及びＢ画素の画素データの代表値を、複数の第２基準画像領域毎に第２基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）として取得する。

第２色信号取得部４３０は、同様にして第２画像領域決定部４２０により決定された第２補正画像領域のＲＧＢのＲＡＷデータより、ＲＡＷデータの第２補正画像領域のＲ画素の画素データの代表値、Ｇ画素の画素データの代表値、及びＢ画素の画素データの代表値を、複数の第２補正画像領域毎に第２補正色信号（Ｒ、Ｇ、Ｂ）として取得する。

尚、比較する第２基準色信号と第２補正色信号のペアを多くすることが望ましい。演算に使用する第２基準色信号と第２補正色信号のペアを多くすることで、局所的なライン間の被写体の相関性の低さに起因する、第２補正係数の誤差を減らすためである。

第２補正係数算出部４４０は、第２補正色信号（Ｒ、Ｇ、Ｂ）を、第２基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）に合わせる第２補正係数を算出する。尚、第２補正係数の演算は、フレーム間の第１補正係数の演算と同様に行うことができる。

第２色補正部４５０は、第２補正係数算出部４４０により算出された第２補正係数（α1～α3、β1～β3、γ1～γ3、Δ1～Δ3）を補正ライン画像に適用し、補正ライン画像の色補正を行う。尚、第２補正係数のうちのオフセット値（Δ1～Δ3）は省略することができる。

第２色補正部４５０は、動画像取得部３０３から入力するＲＡＷデータ３００の１ライン毎の補正ライン画像に、ライン毎に算出された第２補正係数を適用して色補正し、色補正した補正ライン画像を出力する。ライン画像特定部４１０は、第２色補正部４５０により色補正された補正ライン画像を、次の補正ライン画像に対する基準ライン画像として取得する。

このようにして補正ライン画像を順次色補正することにより、同一フレーム内の色味の変化（色ムラ、輝度ムラ）を補正することができる。

図１１は、本発明に係る画像処理装置の第４実施形態を示すブロック図である。尚、図１１において、図１０に示した第３実施形態の画像処理装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す第４実施形態の画像処理装置は、第３実施形態と同様に同一フレーム内の色味の変化を補正するものであるが、主としてライン画像特定部４１１による基準ライン画像と補正ライン画像の特定方法、及び第２画像領域決定部４２１による比較する画像領域の決定方法が異なる。

ライン画像特定部４１１は、動画像データを構成する各フレームにおいて、基準走査ライン上のライン画像を基準ライン画像として特定し、基準走査ライン以外の走査ライン上のライン画像を補正ライン画像として特定する。ここで、基準走査ラインは、フリッカの影響が少ない走査ラインとすることができる。

第２画像領域決定部４２１は、ライン画像特定部４１１により特定された基準ライン画像と補正ライン画像とから、それぞれライン画像内の第２補正係数の算出に用いる画像領域を決定する部分であり、基準ライン画像と補正ライン画像の各演算領域内における基準ライン画像より第２基準画像領域を決定し、補正ライン画像毎に第２基準画像領域に対応する第２補正画像領域を決定する。

ここで、基準ライン画像と補正ライン画像は、フレーム内で離れていることが想定されるため、第２画像領域決定部４２１は、基準ライン画像と補正ライン画像から色が似通った走査ライン方向（水平方向）の画素同士を含む複数の画像領域を決定する。色が似通っているかどうかの判断は、例えば、画素データ（Ｒ、Ｇ、Ｂ）から、（Ｒ－Ｇ）／（Ｂ－Ｇ）を算出し、その算出結果の差が基準値以下になるか否かにより行うことができる。尚、本例では、ＲＡＷデータを入力データとするため、例えば、比較する特定画素がＲ画素の画素データの場合、そのＲ画素の近傍のＧ画素、Ｂ画素の画素データを使用して、色が似通っているか否かの判断を行う。

また、第２画像領域決定部４２１は、フレームから顔画像等のオブジェクトを検出するオブジェクト検出部４２４を備えている。第２画像領域決定部４２１は、オブジェクト検出部４２４により検出された、基準ライン画像の第２基準画像領域に含まれるオブジェクトと同じオブジェクトを含み、かつ色が似通った画素を含む補正ライン画像の画像領域を第２補正画像領域として決定することが望ましい。

第４実施形態によれば、フレーム内で基準ライン画像と補正ライン画像が離れていても、色補正に使用する特定画素を決定することができる。

フリッカを有する光源下で、ローリングシャッタ方式で撮像素子を駆動して取得した動画像データの場合、第１実施形態又は第２実施形態の画像処理装置によりフレーム間の色味の変化を補正するとともに、第３実施形態又は第４実施形態の画像処理装置により同一フレーム内の色味の変化を補正することが望ましい。この場合、最初に同一フレーム内の色味の変化を補正し、その後、フレーム間の色味の変化を補正することが望ましい。

また、本例では、補正対象の動画像データとしてＲＡＷデータを使用する場合について説明したが、これに限らず、例えば、リニアマトリックス処理後の動画像データ、デモザイク処理後の同時化されたＲＧＢデータ、ＲＧＢ／ＹＣｒＣｂ変換処理により同時化されたＲＧＢデータを輝度データ（Ｙ）及び色差データ（Ｃｒ、Ｃｂ）に変換したＹＣｒＣｂデータを、補正対象の動画像データとしてもよい。

尚、ＹＣｒＣｂデータを、補正対象の動画像データとする場合、［数１］式から［数３］式において、ＲＧＢデータの代わりにＹＣｒＣｂデータが適用されることは言うまでもない。また、撮像素子は、ＲＧＢのカラーフィルタを備えているものに限らず、イエロー、エメラルドなどの他の色を含むものでもよい。

［画像処理方法］
図１２は、本発明に係る画像処理方法の実施形態を示すフローチャートである。尚、図１２に示す画像処理方法は、図４に示した第１実施形態の画像処理装置に対応するものである。

図１２において、本体側ＣＰＵ２２０は、静止画像抽出用の動画像を撮像する第２動画像撮像モードが設定され、動画像撮像のスタンバイ中にシャッタレリーズスイッチ２２から動画像の撮像開始の指示入力があるか否かを判別する（ステップＳ１０）。本体側ＣＰＵ２２０は、動画像の撮像開始の指示入力を受け付けると、撮像素子制御部２０２を介して撮像素子２０１を駆動し、静止画像抽出用の動画像の撮像を行わせ、撮像された動画像データであるＲＡＷデータに対して、画像処理装置として機能するデジタル信号処理部２０６により画像処理を行わせる。

図４に示した画像処理装置の動画像取得部３０２は、１フレーム分のＲＡＷデータ３００を取得する（ステップＳ１２）。フレーム特定部３１０は、動画像取得部３０２により取得された１フレームが、動画像を構成する複数のフレームのうちの基準フレームであるか補正フレームであるかを特定し、特定した基準フレーム又は補正フレームを取得する（ステップＳ１４）。基準フレーム又は補正フレームの特定は、フリッカ位相検出部３１２により検出されるフリッカ位相に基づいて行うことができる。

第１画像領域決定部３２０は、フレーム特定部３１０により特定された基準フレームから第１補正係数の算出に用いる複数の第１基準画像領域を決定し、フレーム特定部３１０により特定された補正フレームから複数の第１基準画像領域にそれぞれ対応する複数の第１補正画像領域を決定する（ステップＳ１６）。

第１色信号取得部３３０は、第１画像領域決定部３２０により決定された複数の第１基準画像領域のＲＡＷデータより、第１基準画像領域毎に第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）を取得し、複数の第１補正画像領域のＲＡＷデータより、第１補正画像領域毎に第１補正色信号（Ｒ、Ｇ、Ｂ）を取得する（ステップＳ１８）。

第１補正係数算出部３４０は、第１色信号取得部３３０により取得された複数ペアの第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）と第１補正色信号（Ｒ、Ｇ、Ｂ）に基づいて、第１補正色信号（Ｒ、Ｇ、Ｂ）を、第１基準色信号（Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、Ｂ_ｒｅｆ）に合わせるための第１補正係数（［数１］式～［数３］式のα1～α3、β1～β3、γ1～γ3、Δ1～Δ3）を算出する（ステップＳ２０）。

第１色補正部３５０は、動画像取得部３０２から入力する補正フレームに対して第１補正係数算出部３４０により算出された第１補正係数を適用し、補正フレームの色補正を行う（ステップＳ２２）。この補正フレームに対する色補正により、補正フレームの色味を基準フレームの色味に近づけることができる。

続いて、本体側ＣＰＵ２２０は、シャッタレリーズスイッチ２２から動画像の撮像終了の指示入力があるか否かを判別する（ステップＳ２４）。本体側ＣＰＵ２２０は、動画像の撮像終了の指示入力がない場合には、ステップＳ１２に遷移させる。これにより、次のフレームに対してステップＳ１２からステップＳ２４の処理を実行させる。一方、動画像の撮像終了の指示入力を受け付けると、第２動画像撮像モードによる動画像の撮像及び画像処理等を終了させる。

尚、上記実施形態の画像処理方法では、動画像の撮像により取得したＲＡＷデータをリアルタイムに補正処理しているが、例えば、ＲＡＷデータを一旦、記憶媒体（メモリカード２１２やフラッシュＲＯＭ２２６）に一旦記録した後、記憶媒体からＲＡＷデータを読み出して補正処理を行うようにしてもよい。

本実施形態の撮像装置１０は、ミラーレスのデジタル一眼カメラであるが、これに限らず、一眼レフカメラ、レンズ一体型の撮像装置、デジタルビデオカメラ等でもよく、また、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１３は、本発明の撮像装置の一実施形態であるスマートフォン５００の外観を示すものである。図１３に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロフォン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用すること、あるいは折り畳み構造やスライド機構を有する構成を採用することもできる。

図１４は、図１３に示すスマートフォン５００の構成を示すブロック図である。図１４に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ受信部５７０（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。主制御部５０１は、動画像取得部、フレーム特定部、第１画像領域決定部、第１色信号取得部、第１補正係数算出部、及び第１色補正部として機能する。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行う。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

表示パネル５２１としては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などが表示デバイスとして用いられる。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指やペン等によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１３に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

通話部５３０は、スピーカ５３１やマイクロフォン５３２を備え、マイクロフォン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力すること、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力することができる。また、図１３に示すように、例えばスピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロフォン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図１３に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフト（本発明に係る画像処理方法を実現するプログラムを含む）、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５６２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、公知の記憶媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン５００は、外部入出力部５６０を介して他の外部機器に通信等により直接的又は間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４、ネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を挙げることができる。その他、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）なども通信等の手段として挙げることができる。

スマートフォン５００に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、やＳＩＭ(Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ)／ＵＩＭ(Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ)カードが挙げられる。また、オーディオ及びビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータを外部機器に伝送することができる。

モーションセンサ部５８０は、例えば、３軸の加速度センサや傾斜センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出すことにより、スマートフォン５００の動く方向や加速度、姿勢が検出される。かかる検出結果は、主制御部５０１に出力されるものである。電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（不図示）に蓄えられる電力を供給する。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御する。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮影するデジタルカメラり、図１に示した撮像装置１０に相当する。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データ（動画像、静止画像）を例えばＭＰＥＧやＪＰＥＧなどの圧縮した画像データに変換し、記憶部５５０に記録することや、外部入出力部５６０や無線通信部５１０を通じて出力することができる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画像又は動画像の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロフォン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等を付加して記憶部５５０に記録することや、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

図１３に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影すること、或いは、複数のカメラ部５４１を同時に使用して撮影することができる。

［その他］
本実施形態の画像処理装置は、撮像装置１０に内蔵されているが、外部のコンピュータ等により構成される画像処理装置でもよい。

また、本発明は、撮像装置内のコンピュータ、又は外部のコンピュータにインストールされることにより、これらのコンピュータを本発明に係る画像処理装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された記憶媒体を含む。

更に、本実施形態では、撮像装置内で第１補正係数、第２補正係数を算出し、算出した第１補正係数、第２補正係数を補正フレームに適用してフレーム間の色味、あるいは同一フレーム内の色味をリアルタイムに補正するが、これに限らず、例えば、撮像装置では、動画像データ（ＲＡＷデータ）の取得と、補正係数（第１補正係数，又は第１補正係数と第２補正係数）の算出を行い、動画像データと補正係数とを関連付けて保存し、補正モード等で撮像装置が動画像データと補正係数とを取得し、又はコンピュータ等の外部機器が動画像データと補正係数とを取得して、動画像データのフレーム間の色味、あるいは同一フレーム内の色味を補正するようにしてもよい。この場合、補正係数は、動画ファイルのヘッダに記録してもよいし、動画ファイルと関連付けられた別のファイルに記録してもよい。

また、撮像素子がグローバルシャッタ方式で駆動される場合には、同一フレーム内のライン画像間の色補正は不要であり、基準フレームと補正フレームとのフレーム間で色補正を行う。この場合、基準フレームと補正フレームとの同一エリア間で色補正、或いは、オブジェクト検出によって検出された基準フレームと補正フレームの同一被写体の間で色補正を行うことができる。

また、本実施形態において、例えば、本体側ＣＰＵ２２０、レンズ側ＣＰＵ１２０等の各種の処理を実行する処理部（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）のハードウェア的な構造は、次に示すような各種のプロセッサ（ｐｒｏｃｅｓｓｏｒ）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ oｎ Ｃｈｉｐ：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）である。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
２０ ファインダ窓
２２ シャッタレリーズスイッチ
２３ シャッタスピードダイヤル
２４ 露出補正ダイヤル
２５ 電源レバー
２６ 接眼部
２７ ＭＥＮＵ／ＯＫキー
２８ 十字キー
２９ 再生ボタン
３０ 内蔵フラッシュ
１００ 交換レンズ
１０２ 撮像光学系
１０４ レンズ群
１０８ 絞り
１１６ フォーカスレンズ制御部
１１８ 絞り制御部
１２０ レンズ側ＣＰＵ
１２２、２０７ ＲＡＭ
１２４、２２８ ＲＯＭ
１２６ フラッシュＲＯＭ
１５０ レンズ側通信部
１６０ レンズマウント
２００ カメラ本体
２０１ 撮像素子
２０２ 撮像素子制御部
２０３ アナログ信号処理部
２０４ Ａ／Ｄ変換器
２０５ 画像入力コントローラ
２０６ デジタル信号処理部
２０８ 圧縮伸張処理部
２１０ メディア制御部
２１２ メモリカード
２１４ 表示制御部
２１６ 液晶モニタ
２２０ 本体側ＣＰＵ
２２２ 操作部
２２６ フラッシュＲＯＭ
２３０ ＡＦ検出部
２３２ ＡＥ制御部
２３４ ホワイトバランス補正部
２３６ 無線通信部
２３８ ＧＰＳ受信部
２４０ 電源制御部
２４２ バッテリ
２４４ レンズ電源スイッチ
２４６ 本体側通信部
２４８ 本体マウント
２５０ 本体側通信部
２５９ ＦＰＳ制御部
２６０ 本体マウント
２６０Ａ 端子
２７０ フラッシュ発光部
２７２ フラッシュ制御部
２８０ フォーカルプレーンシャッタ
２９６ ＦＰＳ制御部
３００ ＲＡＷデータ
３０１ ＲＡＷデータ
３０２ 動画像取得部
３０３ 動画像取得部
３１０ フレーム特定部
３１１ フレーム特定部
３１２ フリッカ位相検出部
３１４ 基準フレーム記憶領域
３１６ 補正フレーム記憶領域
３２０、３２１ 第１画像領域決定部
３２２ 第１画像領域
３２４ オブジェクト検出部
３３０ 第１色信号取得部
３４０ 第１補正係数算出部
３５０ 第１色補正部
４１０ ライン画像特定部
４１１ ライン画像特定部
４２０ 第２画像領域決定部
４２１ 第２画像領域決定部
４２４ オブジェクト検出部
４３０ 第２色信号取得部
４４０ 第２補正係数算出部
４５０ 第２色補正部
５００ スマートフォン
５０１ 主制御部
５０２ 筐体
５１０ 無線通信部
５２０ 表示入力部
５２１ 表示パネル
５２２ 操作パネル
５３０ 通話部
５３１ スピーカ
５３２ マイクロフォン
５４０ 操作部
５４１ カメラ部
５５０ 記憶部
５５１ 内部記憶部
５５２ 外部記憶部
５６０ 外部入出力部
５６２ 外部記憶部
５７０ ＧＰＳ受信部
５８０ モーションセンサ部
５９０ 電源部
Ａ 演算領域
Ｂ１ 第１基準画像領域
Ｃ 演算領域
Ｄ１ 第１補正画像領域
Ｆ 補正フレーム
Ｆ_ｒｅｆ 基準フレーム
Ｓ１０～Ｓ２４ ステップ

Claims (18)

1. １つ以上のプロセッサを含む画像処理装置であって、
   前記１つ以上のプロセッサは、
   動画像データを取得する動画像取得処理と、
   取得した前記動画像データが特定時間内に光源環境が変動する環境において撮像された場合に、前記動画像取得処理で取得した前記動画像データを構成する複数のフレームより基準フレームと前記基準フレームに対する補正フレームを特定するフレーム特定処理と、
   前記基準フレームの少なくとも一部の領域から色に関する第１基準色信号を取得する第１基準信号取得処理と、
   前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域から色に関する第１補正色信号を取得する第１補正信号取得処理と、
   前記第１基準色信号と第１補正色信号の比較により、前記補正フレームに対する第１補正係数を算出する第１補正係数算出処理と、
   を実行するように構成されている画像処理装置。
2. 前記第１補正係数は、前記第１基準色信号と第１補正色信号の差を小さくするような係数である請求項１に記載の画像処理装置。
3. 前記１つ以上のプロセッサは、前記第１補正係数算出処理により算出された前記第１補正係数を前記補正フレームに適用して前記補正フレームの色補正を行う第１色補正処理を更に実行するように構成されている請求項１又は２に記載の画像処理装置。
4. 前記基準フレームの少なくとも一部の領域、及び前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域はそれぞれ複数の画像領域であり、かつ各画像領域は特定画素又は前記特定画素を含む周辺画素の画像領域である請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１基準色信号及び前記第１補正色信号は、それぞれ複数の色信号から構成される請求項４に記載の画像処理装置。
6. 前記第１基準色信号の複数の色信号を赤色のＲ_ｒｅｆ、緑色のＧ_ｒｅｆ、青色のＢ_ｒｅｆとし、前記第１補正色信号の複数の色信号を赤色のＲ、緑色のＧ、青色のＢとすると、前記第１補正係数算出処理は、前記複数の画像領域において、次式、
   Ｒ_ｒｅｆ＝α1・Ｒ＋β1・Ｇ＋γ1・Ｂ＋Δ1
   Ｇ_ｒｅｆ＝α2・Ｒ＋β2・Ｇ＋γ2・Ｂ＋Δ2
   Ｂ_ｒｅｆ＝α3・Ｒ＋β3・Ｇ＋γ3・Ｂ＋Δ3
   を成立させる前記第１補正係数であるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出する請求項５に記載の画像処理装置。
7. 前記第１補正係数算出処理は、前記複数の画像領域において、Ｒ_ｒｅｆとＲ、Ｇ_ｒｅｆとＧ、及びＢ_ｒｅｆとＢの差がそれぞれ最小になる前記α1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出する請求項６に記載の画像処理装置。
8. 前記動画像データは、撮像素子上に形成される画素に対し、少なくとも１つ以上の画素毎又は走査ライン毎に順次露光動作が行われて撮像されたものであり、
   前記基準フレームの少なくとも一部の領域と、前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域とは、前記基準フレーム及び前記補正フレームにおいて、前記撮像素子の露光開始と露光終了のタイミングが同じ画像領域である請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記基準フレームの少なくとも一部の領域と、前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域とをフレーム内の同じ位置とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記フレーム特定処理は、前記第１色補正処理により色補正された前記補正フレームを、次の補正フレームに対する基準フレームとして特定する請求項３に記載の画像処理装置。
11. 前記動画像取得処理は、フレーム間隔よりも１フレーム当りの露光時間が短い複数のフレームから構成される前記動画像データを取得する請求項１から１０のいずれか１項に記載の画像処理装置。
12. 動画像を撮像する撮像素子と、
    請求項１から１１のいずれか１項に記載の画像処理装置と、を備え、
    前記動画像取得処理は、前記撮像素子が撮像した前記動画像を示す動画像データを取得する撮像装置。
13. 動画像データを取得するステップと、
    取得した前記動画像データが特定時間内に光源環境が変動する環境において撮像された場合に、前記動画像データを構成する複数のフレームより基準フレームと前記基準フレームに対する補正フレームを特定するステップと、
    前記基準フレームの少なくとも一部の領域から色に関する第１基準色信号を取得するステップと、
    前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域から色に関する第１補正色信号を取得するステップと、
    前記第１基準色信号と第１補正色信号の比較により、前記補正フレームに対する第１補正係数を算出するステップと、
    前記算出された前記第１補正係数を前記補正フレームに適用して前記補正フレームの色補正を行うステップと、
    を含む画像処理方法。
14. 前記基準フレームの少なくとも一部の領域、及び前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域はそれぞれ複数の画像領域であり、かつ各画像領域は特定画素又は前記特定画素を含む周辺画素の画像領域である請求項１３に記載の画像処理方法。
15. 前記第１基準色信号を赤色のＲ_ｒｅｆ、緑色のＧ_ｒｅｆ、青色のＢ_ｒｅｆとし、前記第１補正色信号を赤色のＲ、緑色のＧ、青色のＢとすると、前記第１補正係数を算出するステップは、前記複数の画像領域において、次式、
    Ｒ_ｒｅｆ＝α1・Ｒ＋β1・Ｇ＋γ1・Ｂ＋Δ1
    Ｇ_ｒｅｆ＝α2・Ｒ＋β2・Ｇ＋γ2・Ｂ＋Δ2
    Ｂ_ｒｅｆ＝α3・Ｒ＋β3・Ｇ＋γ3・Ｂ＋Δ3
    を成立させる前記第１補正係数であるα1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出する請求項１４に記載の画像処理方法。
16. 前記第１補正係数を算出するステップは、前記複数の画像領域において、Ｒ_ｒｅｆとＲ、Ｇ_ｒｅｆとＧ、及びＢ_ｒｅｆとＢの差がそれぞれ最小になる前記α1、α2、α3、β1、β2、β3、γ1、γ2、γ3、Δ1、Δ2、Δ3を算出する請求項１５に記載の画像処理方法。
17. 動画像データを取得する機能と、
    取得した前記動画像データが特定時間内に光源環境が変動する環境において撮像された場合に、前記動画像データを構成する複数のフレームより基準フレームと前記基準フレームに対する補正フレームを特定する機能と、
    前記基準フレームの少なくとも一部の領域から色に関する第１基準色信号を取得する機能と、
    前記基準フレームの少なくとも一部の領域に対応する、前記補正フレームの領域から色に関する第１補正色信号を取得する機能と、
    前記第１基準色信号と第１補正色信号の比較により、前記補正フレームに対する第１補正係数を算出する機能と、
    前記算出された前記第１補正係数を前記補正フレームに適用して前記補正フレームの色補正を行う機能と、
    をコンピュータにより実現させる画像処理プログラム。
18. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１７に記載の画像処理プログラムをコンピュータに実行させる記録媒体。

Images