JP6250970B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体に関する。

現在、画像データのダイナミックレンジを拡大する技術が知られている。特許文献１は、記録された画像中に含まれる特定画像を所望の明るさにするために、ダイナミックレンジ修正用の輝度変換関数を算出して、画像全体の輝度を変換する制御方法を提案している。

また、デジタルビデオカメラやデジタルカメラなどの撮像装置として、撮影中の被写体画像の確認のために液晶や有機ＥＬのディスプレイ（パネル）や電子ビューファインダー（ＥＶＦ）などの表示装置を備えたものが普及している。このような撮像装置は、ユーザが撮影中の被写体画像を表示装置に表示するが、この表示は一般的に、画像データを記録する際の画質で行われる。

特開２０１０−１９３５１３号公報

撮像装置のユーザは、意図的に暗い画像や明るい画像を記録する場合がある。例えば暗い画像を記録する場合、撮像装置の表示装置にも暗い画像が表示される。そのため、ユーザは撮影中の被写体画像の階調を確認することが困難である。表示装置の輝度を上げたとしても、階調再現性が向上する訳ではないので、依然として階調の確認は困難である。

また、特許文献１は、撮影中の被写体画像の確認を目的としたものではない。仮に特許文献１を撮影中の被写体画像の確認のために利用したとしても、画像全体の輝度が変換されてしまうため、表示される画像が実際に記録される画像と大きく異なってしまう可能性がある。

本発明はこのような状況に鑑みてなされたものであり、ユーザが撮影中の画像の階調を確認することを容易にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像手段により生成された画像データを現像することにより現像画像を生成する現像手段と、前記現像画像の特定の領域から部分画像を取得する取得手段と、前記取得した部分画像の輝度のダイナミックレンジを拡大する拡大手段と、前記ダイナミックレンジが拡大された部分画像を前記現像画像に重畳する重畳手段と、前記部分画像が重畳された現像画像を第１の表示装置に出力する出力手段と、を備える画像処理装置であって、前記現像手段による前記現像は、第２の表示装置のガンマ特性に対応するガンマ補正を含み、前記画像処理装置は、前記現像画像を記録する記録手段と、前記第２の表示装置のガンマ特性に対応する逆ガンマ補正を前記現像画像に対して行う逆ガンマ補正手段と、を更に備え、前記取得手段は、前記逆ガンマ補正された現像画像から前記部分画像を取得することを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、ユーザが撮影中の画像の階調を確認することを容易にすることが可能となる。

第１の実施形態に係る画像処理装置１０の構成を示すブロック図。 第２の実施形態に係る画像処理装置２０の構成を示すブロック図。 画像全体のダイナミックレンジを拡大する処理を示す図。 画像処理装置１０による画像処理を示すフローチャート。 画像処理装置２０による画像処理を示すフローチャート。 （ａ）現像ガンマ及び逆現像ガンマを示す図、（ｂ）表示ガンマ及び逆表示ガンマを示す図、（ｃ）ダイナミックレンジ拡大用のガンマカーブの一例を示す図、（ｄ）ダイナミックレンジ拡大用のガンマカーブの他の例を示す図。 ダイナミックレンジが拡大された部分画像を現像画像に重畳する処理の説明図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１Ａは、第１の実施形態に係る画像処理装置１０の構成を示すブロック図である。図１Ａにおいて、センサー１００は、ＣＣＤやＣＭＯＳなどの撮像素子である。センサー１００は、撮影レンズ群（不図示）で入射光量や合焦の調節が行われて結像された撮影画像を光電変換し、アナログ・デジタル変換したデジタル信号を出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが、所定の配列、例えばベイヤー配列やハニカム配列で配置されている。色毎にＲＧＢ画像信号が出力される。また、センサー１００は、高速出力のために、数個の画素を加算して１個の画素として出力画像を縮小する画素加算処理を行ってＲＧＢ画像信号を出力する場合もある。画像処理装置１０がセンサー１００を備える場合、画像処理装置１０はデジタルカメラやデジタルビデオカメラなどのような撮像装置として動作可能である。しかしながら、画像処理装置１０はセンサー１００を備えていなくてもよく、この場合、画像処理装置１０は、外部のセンサーからＲＧＢ画像信号を取得する。

現像処理部１０１は、ＲＧＢ画像信号（画像データ）を受信し、ＲＧＢのオフセット調整、ゲイン調整、及び現像ガンマ補正処理を行う。現像ガンマ補正処理は、図４（ａ）に示す現像ガンマ補正曲線のように画像入力値を出力値に変換する。現像ガンマ補正曲線は、センサー１００や撮影レンズ群（不図示）などの特性を考慮して、ユーザが所望する記録画像を生成するための曲線である。曲線を変えることによって、ＴＶモニターで表示するための記録画像の生成や、映画フィルムの質感や階調を再現した記録画像の生成が可能である。換言すると、現像処理部１０１は、記録画像を表示する予定の表示装置のガンマ特性に対応するガンマ補正を行う。次に、現像処理部１０１は、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換して出力する。また、現像処理部１０１は、レンズの歪曲収差の補正処理や、撮像装置の防振処理やノイズリダクション処理なども行う。

符号化部１０２は、ＹＣｂＣｒ画像信号（現像画像）を受信し、記録フォーマットに合わせて圧縮符号化して、記録部１０３に出力する。記録部１０３は、圧縮符号化された画像を記録媒体（不図示）に記録する。

逆現像ガンマ部１０４は、現像処理部１０１での現像ガンマ補正の逆特性ガンマ（図４（ａ）の逆現像ガンマ）の処理を行い、現像画像を線形な特性を持つ画像に変換する。換言すると、逆現像ガンマ部１０４は、記録画像を表示する予定の表示装置のガンマ特性に対応する逆ガンマ補正を行う。

表示ガンマ部１０５は、逆現像ガンマにより処理された現像画像に対し、ＥＶＦ表示のための表示装置のガンマ特性（図４（ｂ）の表示ガンマ）に対応するガンマ補正（図４（ｂ）の逆表示ガンマによる処理）を行う。これにより、現像画像が非線形な特性を持つ画像に変換される。

画像切り出し部１０６は、逆現像ガンマにより処理された現像画像から、指定された特定の領域の画像を切り出して取得し、ダイナミックレンジ拡大部１０７に送信する。特定の領域の指定は、領域指定部１１３を通じて行われる。領域指定部１１３は、例えば、パネルなどのユーザインタフェースを含む。或いは、領域指定部１１３は、現像画像から顔や物体を検出し、検出結果に基づいて特定の領域を指定してもよい。

ダイナミックレンジ拡大部１０７は、切り出された部分画像の輝度の平均値を求める。次に、ダイナミックレンジ拡大部１０７は、輝度の平均値を中心値として、指定された拡大範囲まで輝度のダイナミックレンジを拡大可能なガンマカーブを算出し、ダイナミックレンジの拡大を行う。

表示ガンマ処理選択部１０８は、ＥＶＦ表示する画像を、現像処理部１０１の出力画像と、表示ガンマ部１０５の出力画像（逆現像ガンマ部１０４で一旦逆ガンマ補正され表示ガンマ部１０５でガンマ補正された画像）とから選択する。

重畳部１０９は、ダイナミックレンジ拡大部１０７によりダイナミックレンジが拡大された部分画像を、表示ガンマ処理選択部１０８で選択された画像に重畳する。その際に、重畳部１０９は、画像切り出し部１０６が部分画像を取得した特定の領域に部分画像を重畳してもよいし、これとは異なる領域に部分画像を重畳してもよい。表示出力部１１０は、重畳部１０９による重畳が行われた画像を、ＥＶＦ表示用の表示装置に出力する。その際、表示出力部１１０は、表示装置のパネルの受信フォーマットに合わせて出力画像をフォーマット変換する。画像を外部モニターに表示する場合は、表示出力部１１０は、ＨＤＭＩ（登録商標）やＳＤＩ、コンポーネントやコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を画像処理装置１０の外部に出力する。

ここで、参考として、画像全体のダイナミックレンジを拡大する処理について、図２を参照して説明する。画像切り出し部２０１において、入力画像２００から顔領域などの部分画像が切り出される。輝度変換関数算出部２０２は、ダイナミックレンジ拡大用の輝度範囲や変換用関数を求める。ダイナミックレンジ拡大処理２０３は、求められた関数に従って入力画像２００を変換して、表示画像２０４を生成する。

次に、図３Ａを参照して、画像処理装置１０による画像処理について説明する。本実施形態では、デジタルビデオカメラとして動作する画像処理装置１０によりユーザが動画を撮影中に液晶パネルで階調を確認するシナリオを例として説明する。しかし、本フローチャートの画像処理は、画像処理装置１０と液晶パネルが起動していれば、撮影開始前でも実行可能である。また、動画ではなく静止画を撮影する場合にも実行可能である。本フローチャートの各ステップの処理は、特に断らない限り、画像処理装置１０のＣＰＵ（不図示）がＲＯＭ（不図示）に格納されたプログラムを実行することにより実施可能である。

Ｓ３０１で、現像処理部１０１は、図４（ａ）を参照して前述した現像ガンマ補正処理を行い、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換して出力する。

Ｓ３０２で、逆現像ガンマ部１０４は、現像ガンマ補正の逆ガンマ特性の演算処理を行い、現像画像を線形特性の画像に変換する。Ｓ３０３で、領域指定部１１３は、現像画像の特定の領域を指定し、画像切り出し部１０６は、指定された特定の領域から部分画像を切り出す。

Ｓ３０４で、ダイナミックレンジ拡大部１０７は、Ｓ３０３で切り出された部分画像の輝度の平均値を算出する。Ｓ３０５で、ダイナミックレンジ拡大部１０７は、Ｓ３０４で算出した輝度の平均値を中心にダイナミックレンジ拡大用のガンマカーブを図４（ｃ）や図４（ｄ）に示す例のように生成する。ダイナミックレンジ拡大用のガンマカーブは、輝度の平均値を中心にして、入力レンジ幅と出力レンジ幅（ダイナミックレンジの拡大範囲）を任意に変えることが可能である。これらのレンジ幅は、例えば、ＣＰＵなどの制御ブロックで設定される。例えば、ダイナミックレンジ拡大部１０７は、ＥＶＦ用の表示装置のガンマ特性に対応するガンマ補正のためのガンマカーブ（図４（ｂ）の逆表示ガンマ）を、ダイナミックレンジの拡大範囲と輝度の平均値とに基づいて変形する。これにより、ダイナミックレンジ拡大用のカーブ（図４（ｃ）や図４（ｄ））を生成することができる。なお、ダイナミックレンジ拡大用のガンマ曲線は、画像のＲＧＢ各成分の平均値を中心にして、図４（ｃ）や図４（ｄ）に示す例のように生成してもよい。Ｓ３０６で、ダイナミックレンジ拡大部１０７で、Ｓ３０５で生成したガンマカーブに基づき、ダイナミックレンジ拡大処理を行う。

Ｓ３０７で、画像処理装置１０は、表示ガンマ処理選択部１０８が表示ガンマ部１０５の出力画像を選択しているか否かを判定する。表示ガンマ処理選択部１０８が表示ガンマ部１０５の出力画像を選択している場合、処理はＳ３０８に進み、そうでない場合、処理はＳ３０９に進む。

Ｓ３０８で、表示ガンマ部１０５は、逆現像ガンマにより処理された現像画像に対し、ＥＶＦ表示のための表示装置のガンマ特性（図４（ｂ）の表示ガンマ）に対応するガンマ補正（図４（ｂ）の逆表示ガンマによる処理）を行う。

Ｓ３０９で、重畳部１０９は、表示ガンマ処理選択部１０８が選択した現像画像に対し、Ｓ３０６においてダイナミックレンジが拡大された部分画像を重畳する。例えば、重畳部１０９は、図５（ａ）に示すように、画像切り出し部１０６が部分画像を取得した特定の領域に部分画像を重畳する。或いは、重畳部１０９は、図５（ｂ）に示すように、特定の領域とは異なる領域に部分画像を重畳してもよい。この場合、ユーザは、元の画像とダイナミックレンジ拡大した画像とを比較して確認することができる。図５（ａ）及び図５（ｂ）いずれの場合も、重畳部１０９は、部分画像を拡大して現像画像に重畳してもよい。図５（ａ）及び図５（ｂ）においては、図２の場合と異なり、現像画像全体ではなく部分画像のみダイナミックレンジが拡大されている。また、図５（ｂ）の場合、重畳部１０９は、画像切り出し部１０６が部分画像を取得した特定の領域を示す枠線を現像画像に重畳してもよい。

Ｓ３１０で、表示出力部１１０は、部分画像が重畳された現像画像をＥＶＦ表示用の表示装置に出力する。その結果、表示装置には、図５（ａ）や図５（ｂ）に示されるように画像が表示される。本実施形態の構成の場合、Ｓ３０１からＳ３１０まで１フレーム時間以内で処理され、リアルタイムに階調確認用の撮影補助表示が可能である。その後、処理はＳ３０１に戻り、次のフレームについて同様の処理が行われる。

ところで、ＥＶＦ用の表示装置（第１の表示装置）と記録画像用の表示装置（第２の表示装置）のガンマ特性が異なる場合、現像処理部１０１の出力画像をそのままＥＶＦ用の表示装置に表示すると、適正な階調で表示されない可能性がある。図３Ａに示す画像処理によれば、図５（ａ）や図５（ｂ）に示される部分画像は、Ｓ３０２で逆現像ガンマ処理され、Ｓ３０６でＥＶＦ用の表示装置のガンマ特性を考慮したダイナミックレンジ拡大処理が施された画像である。従って、ＥＶＦ用の表示装置と記録画像用の表示装置のガンマ特性が異なっていても、ユーザは容易に部分画像の階調を確認することができる。

なお、画像処理装置１０は、センサー１００の駆動周期とパネル駆動周期の同期を制御するように構成されていてもよい。この構成は、周期の制御と、遅延時間の制御をセンサー１００とパネルで各々制御できる構成であってもよい。具体的には、センサー１００とパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の遅延量が所定の範囲内に入るよう調節する。

また、画像処理装置１０は、各ブロックを制御するＣＰＵなどの制御ブロックを有し、この制御ブロックは、特に現像処理や逆現像ガンマ処理、領域指定処理、表示ガンマ処理などの設定調整などを行う。

現像処理部１０１は、ＲＧＢ画像信号ではなくＹＣｂＣｒ画像信号を受信する場合もある。この場合、現像処理部１０１は、ＹＣｂＣｒ画像信号を一旦ＲＧＢ画像信号に変換してから現像処理を実施する。或いは、ＲＧＢ画像信号での現像処理を省略してもよい。

以上説明したように、本実施形態によれば、画像処理装置１０は、現像画像の特定の領域から部分画像を取得し、部分画像のダイナミックレンジを拡大して現像画像に重畳する。これにより、ユーザは撮影中の画像の階調を容易に確認することができる。

［第２の実施形態］
第１の実施形態では、部分画像を取得する特定の領域の数は１つであった。第２の実施形態では、特定の領域が複数あってそれぞれから部分画像を取得する構成について説明する。以下、主に、第１の実施形態と異なる点について説明する。

図１Ｂは、第２の実施形態に係る画像処理装置２０の構成を示すブロック図である。図１Ｂにおいて、図１Ａと同様のブロックには同一の符号を付す。

メモリ１ １２１は、逆現像ガンマ処理後の現像画像を一時的に記憶する。領域指定部１２２は、現像画像において複数の特定の領域を指定する。画像切り出し部１２３は、複数の特定の領域それぞれから部分画像を切り出す。ダイナミックレンジ拡大部１２４は、各部分画像について、ダイナミックレンジの拡大処理を行う。メモリ２ １２５は、ダイナミックレンジが拡大された複数の部分画像を一時的に記憶する。重畳部１２６は、メモリ２ １２５に記憶された複数の部分画像それぞれを現像画像に重畳する。

次に、図３Ｂを参照して、画像処理装置２０による画像処理について説明する。図３Ｂにおいて、図３Ａと同様のステップには同一の符号を付す。本フローチャートの各ステップの処理は、特に断らない限り、画像処理装置２０のＣＰＵ（不図示）がＲＯＭ（不図示）に格納されたプログラムを実行することにより実施可能である。本実施形態では、Ｓ３０２において逆現像ガンマ処理された現像画像は、メモリ１ １２１に格納される。

Ｓ４０１で、画像処理装置２０は、領域指定部１２２によって指定された複数の領域の全てについて処理が終了したか否かを判定する。全ての領域について処理が終了した場合、処理はＳ３０７に進む。そうでない場合、処理はＳ４０２に進む。

Ｓ４０２からＳ４０５では、領域指定部１２２によって指定された複数の領域のうちの１つについて、図３ＡのＳ３０３からＳ３０６と同様の処理が行われ、最終的に得られた部分画像がメモリ２ １２５に格納される。Ｓ４０１からＳ４０５の処理が繰り返されることにより、領域指定部１２２によって指定された複数の領域それぞれに対応する部分画像がメモリ２ １２５に格納される。

Ｓ４０６で、重畳部１２６は、メモリ２ １２５に格納されている複数の部分画像それぞれを、表示ガンマ処理選択部１０８が選択した現像画像に対して重畳する。その際、重畳部１２６は、図５（ｃ）に示すように、画像切り出し部１２３が各部分画像を取得した特定の領域に各部分画像を重畳する。或いは、重畳部１２６は、特定の領域とは異なる領域に各部分画像を重畳してもよい。この場合、重畳部１２６は、画像切り出し部１２３が各部分画像を取得した特定の領域を示す枠線を現像画像に重畳してもよい。

なお、メモリ１ １２１とメモリ２ １２５とは、物理的に別個のメモリにより実装されてもよいし、１個のメモリがアドレス制御によって使用される構成により実装されてもよい。

以上説明したように、本実施形態によれば、画像処理装置２０は、現像画像の複数の特定の領域それぞれから部分画像を取得し、各部分画像のダイナミックレンジを拡大して現像画像に重畳する。これにより、ユーザは撮影中の画像の階調を容易に確認することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 撮像手段により生成された画像データを現像することにより現像画像を生成する現像手段と、
   前記現像画像の特定の領域から部分画像を取得する取得手段と、
   前記取得した部分画像の輝度のダイナミックレンジを拡大する拡大手段と、
   前記ダイナミックレンジが拡大された部分画像を前記現像画像に重畳する重畳手段と、
   前記部分画像が重畳された現像画像を第１の表示装置に出力する出力手段と、
   を備える画像処理装置であって、
   前記現像手段による前記現像は、第２の表示装置のガンマ特性に対応するガンマ補正を含み、
   前記画像処理装置は、
   前記現像画像を記録する記録手段と、
   前記第２の表示装置のガンマ特性に対応する逆ガンマ補正を前記現像画像に対して行う逆ガンマ補正手段と、
   を更に備え、
   前記取得手段は、前記逆ガンマ補正された現像画像から前記部分画像を取得する
   ことを特徴とする画像処理装置。
2. 前記拡大手段は、前記部分画像の輝度の平均値を中心として前記ダイナミックレンジを拡大する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記拡大手段は、前記第１の表示装置のガンマ特性に対応するガンマ補正のためのガンマカーブを、前記ダイナミックレンジの拡大範囲と前記平均値とに基づいて変形することにより得られるガンマカーブを用いて、前記ダイナミックレンジを拡大する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の表示装置のガンマ特性に対応するガンマ補正を前記逆ガンマ補正された現像画像に対して行うガンマ補正手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記重畳手段により前記部分画像が重畳される現像画像として、前記現像手段が生成した現像画像又は前記逆ガンマ補正され前記ガンマ補正された現像画像を選択する選択手段を更に備える
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記重畳手段は、前記現像画像の前記特定の領域に前記部分画像を重畳する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記重畳手段は、前記現像画像の前記特定の領域とは異なる領域に前記部分画像を重畳する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記特定の領域を指定する指定手段を更に備える
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記取得手段は、複数の特定の領域それぞれから部分画像を取得する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 請求項１乃至９のいずれか１項に記載の画像処理装置と、
    前記撮像手段と、
    を備えることを特徴とする撮像装置。
11. 画像処理装置による画像処理方法であって、
    前記画像処理装置の現像手段が、撮像手段により生成された画像データを現像することにより現像画像を生成する現像工程と、
    前記画像処理装置の取得手段が、前記現像画像の特定の領域から部分画像を取得する取得工程と、
    前記画像処理装置の拡大手段が、前記取得した部分画像の輝度のダイナミックレンジを拡大する拡大工程と、
    前記画像処理装置の重畳手段が、前記ダイナミックレンジが拡大された部分画像を前記現像画像に重畳する重畳工程と、
    前記画像処理装置の出力手段が、前記部分画像が重畳された現像画像を第１の表示装置に出力する出力工程と、
    を備え、
    前記現像工程による前記現像は、第２の表示装置のガンマ特性に対応するガンマ補正を含み、
    前記画像処理方法は、
    前記画像処理装置の記録手段が、前記現像画像を記録する記録工程と、
    前記画像処理装置の逆ガンマ補正手段が、前記第２の表示装置のガンマ特性に対応する逆ガンマ補正を前記現像画像に対して行う逆ガンマ補正工程と、
    を更に備え、
    前記取得工程では、前記逆ガンマ補正された現像画像から前記部分画像を取得する
    ことを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images