JP5988725B2 - 撮像装置及び現像装置 - Google Patents

Description

本発明は、撮像装置、現像装置、画像処理システム及びそれらの制御方法に関する。

デジタルカメラなどの撮像装置で撮影されたＲＡＷ画像をネットワーク上の現像装置に転送し、高精彩・高機能な現像処理を行う静止画用の現像サービスが提案されている。しかしながら、撮像装置内で行われる現像方法と現像装置で行われる現像方法が異なり、ユーザが撮像装置を用いて撮像したときの画像と、現像装置で現像した画像で色合いや階調感といった画質が異なる場合がある。これは、撮像装置のメーカーごとに現像アルゴリズムが異なり共通の現像装置では対応できなかったり、撮像装置と現像装置でどちらかの現像処理が簡略化されていたりということが考えられる。

このような、現像方法の違いに起因する現像後の画像の差違に対する対策が提案されている。特許文献１は、ＲＡＷ画像を取得し、ユーザによる追加調整が指示されたときに、追加調整情報を用いて現像処理を行う画像処理方法を開示している。この画像処理方法によれば、ユーザは、一度現像した後の画像を確認し追加で調整することができる。また、特許文献２は、現像装置に対して撮像装置で現像した画像の縮小画像を参照画像として送信し、参照画像の色合いや階調に合うように現像処理方法を調整する画像処理システムを開示している。

特開２００６−２０３５７２号公報 特開２０１０−２７９０２０号公報

近年、動画撮影ができるデジタルカメラや、ＲＡＷ画像を記録できるビデオカメラも登場し、今後、静止画だけでなく動画に対するＲＡＷ現像サービスも行われることが想像される。センサーから取り出された多画素のＲＡＷ画像を記録しておき、現像装置で、ＳＤやＦｕｌｌＨＤ、将来の４Ｋ２Ｋといった異なったテレビシステムに対応するように現像するという用途が考えられる。動画像の場合にも、従来技術で説明したような撮像装置と現像装置の現像方法の違いによる現像後の画質が異なるという状況は同じように生じる。

動画像では、取り扱う画像のフレーム数が非常に多くなる為、例えば特許文献１のように、全てのフレームに対してユーザが追加調整を行うことは、ユーザの負荷を非常に高める。また全てのフレームの参照画像を作成して送信すると、撮像装置の処理が煩雑になり、また通信および現像装置の処理も非効率になり現実的ではない。本発明は、動画像を現像する現像装置に必要とされる参照画像と参照情報を効率的に作成・送信することで、通信負担をかけることなく撮像装置と現像装置の画質の差を低減する撮像装置を提供することを目的とする。

本発明の一実施形態の撮像装置は、撮像素子から出力されたＲＡＷ画像を現像する現像手段と、前記ＲＡＷ画像を現像して得られた現像画像において、前記ＲＡＷ画像の撮影モードに対応した検出条件に従って生成された標本値が閾値を超える場合に、前記現像画像を参照画像として決定するとともに、前記標本値と閾値との比較結果に基づいて参照情報を作成する作成手段と、前記ＲＡＷ画像、前記参照情報及び前記参照画像を現像装置に送信する送信手段と、を備える。

本発明の撮像装置によれば、動画像を現像する現像装置に必要とされる参照画像と参照情報を効率的に作成・送信することで、通信負担をかけることなく撮像装置と現像装置の画質の差を低減することが可能となる。

本発明の画像処理システムの構成例を示す図である。 実施例１で撮像装置が行う画像判定処理を説明するフロー図である。 輝度ヒストグラムを示す図である。 色相ヒストグラムを示す図である。 参照情報の作成を説明する図である。 実施例１で現像装置が行う撮像処理を説明するフロー図である。 実施例２の撮像装置の構成例を示す図である。 実施例２で現像装置が行う撮像処理を説明するフロー図である。

（実施例１）
図１は、実施例１の画像処理システムの構成例を示す図である。画像処理システムは、撮像装置１および現像装置２を備える。撮像装置１および現像装置２は、ネットワークを介して互いに通信可能に接続されている。撮像装置１は、レンズ・絞り１１、撮像素子１２、ＡＦＥ１３、補正信号処理部１４、現像信号処理部１５、表示部１６、画像判定部１７、ＲＡＷ画像記憶部１８、参照情報作成部１９、通信部２０を備える。また、現像装置２は、ＲＡＷ画像・参照情報受信部２１、参照情報抽出部２２、現像パラメータ算出部２３、現像処理部２４を備える。

撮像装置１のレンズ・絞り１１は、被写体からの光量を調整して、撮像素子１２に結像する。撮像素子１２は光電変換を行い、電気信号をＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１３へ出力する。ＡＦＥ１３は、撮像素子１２から出力されるアナログ映像信号をデジタル映像信号に変換する。補正信号処理部１４は、ＲＡＷ画像に対して、欠陥画素補正や、黒レベル補正などの補正処理を行う。現像信号処理部１５は、ＲＡＷ画像を撮像装置内でγ処理・ＹＣＣ現像・アパーチャ処理などの画質処理を行う。すなわち、現像信号処理部１５は、撮像素子から出力されたＲＡＷ画像を現像する現像手段として機能する。表示部１６は、現像信号処理部１５が現像した画像を表示する。画像判定部１７は、現像された画像より参照情報を抽出するかどうかを判定する。ＲＡＷ画像記憶部１８はＲＡＷ画像を記憶し、参照情報作成部１９は画像判定部１７による判定結果に基づき参照情報を作成する。そして通信部２０は、ＲＡＷ画像記憶部１８および参照情報作成部１９からそれぞれＲＡＷ画像および参照情報を受け取り、現像装置２に送信する。

現像装置２のＲＡＷ画像・参照情報受信部２１は、撮像装置１からＲＡＷ画像と参照情報を受信し、参照情報抽出部２２は、受信した参照情報に基づいて参照条件を抽出する。現像パラメータ算出部２３は、抽出された参照条件に基づいて現像パラメータを算出し、現像処理部２４は、算出された現像パラメータを用いて現像処理を行う。

次に、図２を参照して、図１に示す撮像装置１が実施する画像処理のフローを説明する。図２に示す処理内容は、連続する複数フレームからなる動画像における、各々１フレームでの処理内容をあらわす。

まずステップ２０１で、画像判定部１７は画質処理が行われたＲＡＷ画像を現像信号処理部１５から受け取り、１フレームの画像からヒストグラム情報を作成する。このとき、画像判定部１７は、輝度または色相に対応する画素数を標本値としてヒストグラムを作成する。輝度ヒストグラムの例を図３に、色相ヒストグラムの例を図４に示す。図３に示す輝度は、本実施例では、左から右に向かって明度が低くなる設定とするが、これに限定されるものではない。

次に、ステップ２０２で、画像判定部１７は、現像装置２に必要とされる参照情報を作成するために、輝度または色相の検出条件を取得する。検出条件は、図３、図４中に示すように、現像装置２が全輝度または全色相中から現像時に参照するのに必要なものをあらかじめ何点か定めておく。例えば、図３に示すように、輝度検出条件であれば、輝度軸において最も明るい左側の位置から１つ目、２つ目と検出条件と定めておく。また、図４に示すように、色相検出条件であれば、赤と橙の間の色相を１つ目の検出条件、橙と黄の間の色相を２つ目の検出条件と定めておく。

ステップ２０３で、画像判定部１７は作成したヒストグラムの結果を、検出条件と比較する。例えば、画像判定部１７は、色相であれば赤や青といった検出条件に対応する色相ヒストグラムの標本値が、あらかじめ指定された標本値の閾値を超えるか否かを判別する。

ステップ２０４で、画像判定部１７は閾値を超える検出条件が無かった場合にそのフレームの処理を終了し、閾値を超える検出条件が存在した場合には、参照情報作成部１９に参照情報の作成を依頼する。具体的には、参照情報作成部１９は、画像判定に使用した現像画像を現像装置２へ送信する為の参照画像として記憶する。また、参照情報作成部１９は、画像判定部１７が検出した輝度または色相の標本値と、その輝度または色相の標本値が検出された前記参照画像中の位置情報とを記憶する。また、参照情報作成部１９は、参照画像として選ばれた現像画像を現像信号処理部１５が作成した元となったＲＡＷ画像と識別する識別情報も記憶する。すなわち、画像判定部１７と参照情報作成部１９は、現像された画像を参照画像として決定するとともに、標本値が閾値を超える検出条件に関する参照情報を現像された画像に基づいて作成する作成手段として機能する。最後に、ステップ２０５で、画像判定部１７は、本フレームで検出された輝度または色相を検出条件から外すように検出条件を更新する。また、参照情報作成部１９は、予め決められた検出条件の全てについて検出条件の標本値と閾値との比較の結果に基づく参照情報が作成されるまで参照情報の作成を繰り返す。

次に、図５を用いて色相ヒストグラムを使用した参照情報の抽出の流れを説明する。図５は、撮像装置の映像信号の概念図である。連続するフレーム画像をフレーム番号順に処理して行くものとする。フレーム１では空と草原だけなので検出条件として青と緑の標本値が閾値を超える。よって画像判定部１７はフレーム１を参照画像として選択すると、参照情報作成部１９は緑と青および位置情報を参照情報として作成する。画像判定部１７が、フレーム３で人物が映ると、新たに肌色および洋服の紫色を検出すると、参照情報作成部１９は新たに参照情報を作成する。画像判定部１７が、さらにフレーム５にて建物が映ると屋根の赤および壁の黄色を検出し、参照情報作成部１９は参照情報を作成する。

上述の処理により、画像判定部１７が、予め決められた検出条件の標本値が閾値を超えるフレームを参照画像として選択し、参照情報作成部１９が参照情報を作成すると、通信部２０がＲＡＷ画像、参照画像、及び参照情報を間欠的に現像装置２に送信する。すなわち、通信部２０は、ＲＡＷ画像、参照情報、及び参照画像を現像装置に送信する送信手段として機能する。画像判定部１７は、全ての参照画像の選択が完了するまでこの処理を繰り返す。全ての検出条件が満たされたら参照情報の送信も終了する。

次に、図６を用いて本発明の現像装置の動作を説明する。図６は現像装置が行う処理を説明するフローチャートである。本フローチャートでは、複数フレームの処理が行われる。まずステップ６０１で、現像装置２のＲＡＷ画像・参照情報受信部２１は受信手段として機能し、撮像装置１からＲＡＷ画像と参照情報を受信する。具体的には、ＲＡＷ画像・参照情報受信部２１は輝度および色相の標本値と、それの元となったＲＡＷ画像と、参照画像と、ＲＡＷ画像および参照画像を識別する識別情報と、標本値に該当する輝度または色相の位置情報とを受信する。ステップ６０２で、参照情報抽出部２２は抽出手段として機能し、受信した全ての参照情報に基づいて参照条件を抽出する。具体的には、参照情報抽出部２２は参照する輝度または色相の種類と、それの元となったＲＡＷ画像および参照画像と、該当する輝度または色相の位置情報とを取得する。

ステップ６０３で、現像パラメータ算出部２３は算出手段として機能し、参照条件となった輝度または色相のそれぞれに対して、ＲＡＷ画像と参照画像の該当位置の画素を比較し、現像パラメータを算出する。具体的には、現像パラメータ算出部２３は入力されたＲＡＷ画像の輝度または色相を、現像後に出力される輝度または色相に変換するための変換情報を作成する。ステップ６０４で、現像処理部２４は全てのＲＡＷ画像に対して上記現像パラメータを用いて現像処理を行い、現像した画像を記憶する。

以上の制御を実施することで、撮像装置は、あらかじめ定められた検出条件を満たす画像においてのみ参照情報を抽出および送信する。つまり、撮像装置は動画像を現像する現像装置に必要とされる参照画像と参照情報を効率的に作成・送信することで、通信負担を低減させることができる。そして、現像装置は複数のＲＡＷ画像に対して参照情報を適応できるので、効率的に参照情報が使用され撮像装置と現像装置の現像方法の違いによる画質の差を低減することが可能になる。

（実施例２）
本発明の撮像装置の第２実施例を示す。図７は実施例２を実施するための撮像装置の構成例を示すブロック図である。実施例１の構成との差違を説明する。図７に示すように、撮像装置１は、シーン判別部７１、撮影モード決定部７２、及び映像制御部７３をさらに備える。シーン判別部７１は、現像信号処理部１５が現像した後の画像を受け取り、画像の映像信号を分析して映像信号の撮像シーンを判別し、シーン情報を撮影モード決定部７２に送出する。具体的なシーン判別の一例としては、シーン判別部７１は、人物の顔が検出されて一人ならばポートレートシーン、人の顔が無く明るければ風景シーン、人の顔が無く暗ければ夜景シーンといった判別を行う（例えば特開２００３−３４４８９１号公報を参照）。

撮影モード決定部７２は決定手段として機能し、シーン判別部７１からシーン情報を受信すると、シーン判別結果に基づいて撮影モードを決定し、決定された撮影モードを映像制御部７３に送信する。例えば、撮影モード決定部７２は、色相について、ポートレートシーンであればポートレートモード、風景シーンであれば青空モード、夜景シーンであれば夜景モードと決定する。

映像制御部７３は、撮影モード決定部７２から撮影モードを受信すると、該撮影モードに従って映像信号のホワイトバランス・カラーバランス・ＮＲ・γなどの変更を行うよう現像信号処理手段を制御する。また、映像制御部７３は、撮影モードに従って検出条件を変更するよう画像判定部１７を制御する。すなわち、映像制御部７３は、撮影モードに従って、現像された画像を再現像するように現像信号処理部を制御する制御手段として機能する。上記のような撮像シーン判別による撮影モードの変更処理によって現像信号処理部１５の動作が変更されるので、現像後の画像の色合いや階調は変更してしまい、現像装置２で現像される画像と差異が生じ得る。

次に、図６を用いて本発明の画像判定部１７の動作を説明する。実施例１の差違を説明する。最初に、ステップ８０１で、撮影モード決定部７２は、シーン判別部７１からシーン情報を取得し、取得したシーン情報に基づいて撮影モードを決定し、決定された撮影モードを映像制御部７３に送信する。ステップ８０２で、映像制御部７３は、受信した撮影モードが１つ前に受信したフレームの撮影モードと比較して変更があったかどうかを判断する。撮影モードに変更があった場合にはステップ８０３で、映像制御部７３は、変更後の撮影モードに応じて映像信号を変更するよう現像信号処理部１５を制御するとともに、検出条件の変更を行うよう画像判定部１７を制御する。

例えば、画像判定部１７は、ポートレートモードに変更された場合には、人間の肌色の色合いを重視して、肌色周辺の色相を細かく検出するように設定し、青空モードに変更された場合には、青色周辺の色相を細かく検出するように設定する。具体的な処理としては、青空モードの場合、色相の検出条件において青関連の色相を検出条件として複数設定する。また、青空モードの場合、輝度の検出条件において、高明度の位置を検出条件として複数設定し、低明度の位置は高明度の位置よりも少ない数を検出条件として設定してもよい。以降の動作は実施例１と同様に動作していくがステップ８０７の参照情報の抽出時に、実施例１で現像装置２に送信した情報に加えて撮影モードの情報を追加する。

図８を用いて、実施例２における現像装置の動作を説明する。図８現像装置が行う処理を説明するフローチャートである。本フローチャートでは、複数フレームの処理が行われる。

実施例１との差違を示す。まずステップ６０１で、現像装置２のＲＡＷ画像・参照情報受信部２１は、撮像装置１の通信部２０からＲＡＷ画像と参照情報を受信する。次に、ステップ６０２で、参照情報抽出部２２は受信した全ての参照情報から参照条件を抽出するが、撮影モードによって参照条件は異なるため、その際に同一の撮影モードで得られた参照条件を異なる撮影モードで得られた参照条件と区別して抽出する。次に、ステップ６０３で、現像パラメータ算出部２３は、参照条件となった輝度および色相のそれぞれに対して、ＲＡＷ画像と参照画像の該当位置の画素を比較することで、撮影モードごとの現像パラメータを算出する。そして、ステップ６０４で、現像処理部２４は全てのＲＡＷ画像に対して、それぞれの撮影モードに対応した現像パラメータを用いて現像処理を行い、現像された画像を記憶する。

本発明の画像処理システムによれば、撮像装置のシーン判別によって撮影モードが変更することで現像処理の内容が異なっても、撮像装置が新たに参照情報を作成しなおす。そして、現像装置が参照条件と撮影モードに応じて現像することで撮像装置と現像装置の現像方法の違いによる画質の差を低減することが可能になる。

１７ 画像判定部
１９ 参照情報作成部
２０ 通信部

Claims (7)

1. 撮像素子から出力されたＲＡＷ画像を現像する現像手段と、
   前記ＲＡＷ画像を現像して得られた現像画像において、前記ＲＡＷ画像の撮影モードに対応した検出条件に従って生成された標本値が閾値を超える場合に、前記現像画像を参照画像として決定するとともに、前記標本値と前記閾値との比較結果に基づいて参照情報を作成する作成手段と、
   前記ＲＡＷ画像、前記参照情報及び前記参照画像を現像装置に送信する送信手段と、を備える
   ことを特徴とする撮像装置。
2. 前記検出条件は、輝度または色相であり、
   前記作成手段は、前記現像画像に基づいて、前記輝度または色相のヒストグラムを作成し、作成したヒストグラムが示す前記輝度または色相の標本値と、前記閾値とを比較し、比較の結果、前記輝度または色相の標本値が前記閾値を超える場合に、該輝度または色相の情報と、該輝度または色相の前記参照画像の位置とを参照情報として作成し、
   前記送信手段は、前記作成手段によって前記参照画像として決定されなかった現像画像を前記現像装置に送信しない
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記作成手段は、
   前記検出条件の標本値が前記閾値を超えたことによって前記参照画像を決定した場合に、該検出条件を検出条件から外し、
   前記検出条件の全てについて検出条件の標本値と前記閾値との比較の結果に基づいて前記参照情報が作成されるまで、前記参照情報の作成を繰り返す
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記現像手段により現像された現像画像を分析して撮影モードを決定する決定手段と、
   決定された前記撮影モードに従って前記現像画像を再現像するように前記現像手段を制御する制御手段をさらに備え、
   前記作成手段は、再現像して得られた画像及び前記撮影モードを受け取り、前記参照情報を作成する
   ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の撮像装置。
5. 請求項１乃至４のいずれか１項に記載の撮像装置から、前記ＲＡＷ画像、前記参照画像及び前記参照情報を受信する受信手段と、
   前記参照画像および前記参照情報を用いて、前記ＲＡＷ画像を現像処理する現像処理手段と、を備える
   ことを特徴とする現像装置。
6. 前記参照情報に基づいて、輝度または色相の標本値と、前記参照画像における前記輝度または色相の位置と、前記ＲＡＷ画像の参照に使用する前記参照画像を識別する識別情報とを参照条件として抽出する抽出手段と、
   受信した前記ＲＡＷ画像と前記参照画像とを比較し、現像時に使用する輝度または色相のパラメータを算出する算出手段と、を備え
   前記現像処理手段は、
   前記算出されたパラメータを用いてＲＡＷ画像を現像処理する
   ことを特徴とする請求項５に記載の現像装置。
7. 前記受信手段は、前記撮像装置から前記参照情報として撮影モードをさらに受信し、
   前記抽出手段は、前記撮影モードごとに区別して前記参照条件を抽出し、
   前記算出手段は、前記ＲＡＷ画像と前記参照画像とを比較した後、前記撮影モードに従って、現像時に使用する輝度または色相のパラメータを算出する
   ことを特徴とする請求項６に記載の現像装置。