JP6247513B2 - 撮像装置、制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置、制御方法およびプログラムに関し、特に撮像装置のフォーカス状態を確認するための画像を生成する技術に関するものである。

自動焦点検出（Auto Focus：以下、AF）技術の進歩に伴い、デジタルスチルカメラやデジタルビデオカメラのような撮像装置での焦点検出には、主にAFが用いられている。

しかしながら、マクロ撮影のようにフォーカスを厳密に合わせる必要がある場合や、意図的にぼけた映像を撮影する場合など、手動による焦点調節（Manual Focus：以下、MF）での撮影が行われることも多い。

MF操作が可能な撮像装置では、撮影者がより容易に合焦状態（フォーカス状態）を把握できるようにするための補助画像を表示する機能（フォーカスアシスト機能）を有するものがある。

フォーカスアシスト機能で表示される補助画像（フォーカスアシスト画像）には、例えば、撮影映像のうち合焦している輪郭部分を強調表示（ピーキング）するための画像や、フォーカス状態確認のための部分拡大画像がある。

さらに特許文献１に記載されるような、映像上の輪郭（エッジ）成分の所定方向における位置とレベルとの関係を表す波形の画像も知られている。

特開２０１０−２４３９２３号公報 特開２００２−１９６７４４号公報

従来、フォーカスアシスト画像は、特許文献１に開示されているように、現像処理後の画像データを用いて生成されるが、一般に、現像処理には予め定められたガンマ処理（階調補正処理）が含まれている。

ガンマ処理は本来、入出力特性が非線形の表示装置において、被写体の階調が正しく表示されるように入力画像の階調特性を補正する処理である。しかし、被写体の色合いを十分に表現するためであったり、後編集を前提として黒潰れや白とびを抑えるためであったりなど、他の目的でガンマ処理が行われることもある。

また、特許文献２に記載されるように、LCDなどの表示装置に映画とグラフィックスの画像データを同時に表示する際に、映画を表示する領域とグラフィックスを表示する領域とで異なるガンマ処理を適用することも知られている。

合焦度合いは画像のコントラストの高さによって判定することができ、ピーキングやエッジ部分の波形画像の生成には、コントラストの高い部分を検出する処理が含まれる。また、部分拡大画像を表示する場合も、ユーザは部分拡大画像の鮮鋭度が高くなるようにＭＦ操作を行う。

従って、現像処理のガンマ処理で適用される階調補正特性（ガンマカーブやガンマ特性などとも呼ばれる）が、画像のコントラストを低下させる特性である場合、フォーカスアシスト機能の有効性に影響を与える。このような階調補正特性の最も顕著な例としては、後編集を前提として黒潰れや白とびを抑えることを目的として適用される階調補正特性がある。現像処理で画像のコントラストが低下するガンマ処理が適用された場合、現像処理後の画像データに基づいてフォーカスアシスト機能を実行すると、適切なフォーカスアシスト画像が生成できず、フォーカスアシスト機能の有効性が低下してしまう。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、階調補正された画像が入力された場合であっても、有効なフォーカスアシスト画像を提供することが可能な撮像装置、制御方法およびプログラムを提供することを目的とする。

上述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には、フォーカスアシスト機能を有する撮像装置であって、撮像によって得られた画像データに対して、特性が異なる複数の第１の階調補正特性から選択された１つの第１の階調補正特性を用いた階調補正処理を含む現像処理を行って現像画像データを生成する現像手段と、現像画像データに対して、現像手段に用いられた第１の階調補正特性が階調性に与えた影響を低減する第２の階調補正特性を用いた階調補正処理を適用する補正手段と、補正手段によって補正された現像画像データから、フォーカスアシストに用いる補助画像データを生成する生成手段と、を備えることを特徴とする。

このような構成により、本発明によれば、階調補正された画像が入力された場合であっても、有効なフォーカスアシスト画像を提供することができる。

本発明の実施形態に係る画像処理装置の一例としてのカメラの機能構成例を示すブロック図 ガンマ処理の例を示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としての、フォーカスアシスト機能を備えたデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は撮像機能を有する任意の電子機器はもとより、撮影や記録に関する機能を有さない電子機器にも適用可能である。これらの電子機器には、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれるが、これらは単なる例示である。

（画像処理装置の構成）
図１は、本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラの機能構成例を示すブロック図である。

なお、図１に示す機能ブロックの１つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアで実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、実際には同じハードウェアが主体として実現されうる。

図１において、撮影レンズ群１２３は、被写体像をセンサー部１０１の撮像面上に結像する光学系を構成し、入射光量やフォーカスの調節及び、絞り調整機能を備える。

センサー部１０１は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する。センサー部１０１は、撮影レンズ群１２３により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を出力する。

センサー部１０１は、ＣＣＤ（Charge-Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどの撮像素子であってよい。センサー部１０１は例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが設けられている。センサー部１０１は、これらの色成分ごとに分離したＲＧＢ形式で画像データを出力する。

センサー部１０１はまた、高速出力のために、複数個の画素値から１個の画素値を求めることにより出力画像を縮小する画素加算処理を行ってＲＧＢ形式の画像データを出力する場合もある。

センサー補正部１０２は、センサー部１０１が出力する画像データに対し、撮影レンズ群１２３により生じた収差の補正処理や、センサーの欠陥画素を補間する処理を行ない、ＲＧＢ形式の画像データを出力する。

現像処理部１０３は、センサー補正部１０２から得られたＲＧＢ形式の画像データを受信し、これを入力画像データとしてＲＧＢのオフセット調整、ゲイン調整、ベイヤー配列の補間処理、および現像ガンマ処理等を行う。

本実施形態における現像ガンマ処理は、例えば、図２（ａ）に示す入力輝度と出力輝度の関係（階調補正特性。ガンマカーブ、ガンマ特性などと呼ばれる）に基づいて入力画像データを補正する処理を指す。現像ガンマ処理に用いられる階調補正特性（第１の階調補正特性）は、センサー部１０１や撮影レンズ群１２３などの特性を考慮して、ユーザが所望する階調性を有する画像を生成するための階調補正特性であり、本実施形態では、現像ガンマ特性という。

現像処理部１０３は、ＣＰＵ１２１の指示により、現像処理を行う際に適用する現像ガンマ特性を設定する。ＣＰＵ１２１は、予め把握しているセンサー部１０１や撮影レンズ群１２３などの特性や表示機器に応じて現像ガンマ特性を決定してよい。また、ＣＰＵ１２１は、操作部１２２を通じて入力されたユーザ指示に基づいて現像ガンマ特性を決定してもよい。現像ガンマ特性の設定は、現像処理部１０３に予め設定された複数の現像ガンマ特性の１つを特定する情報をＣＰＵ１２１から現像処理部１０３に通知することによって行うことができるが、他の方法を用いてもよい。

このように、本実施形態においては、現像処理部１０３が用いる現像ガンマ特性を複数の現像ガンマ特性から選択可能とすることで、目的に応じた階調特性を有する画像データを生成可能となる。これらの階調特性には、例えば、TVモニタ等の各種ディスプレイ機器の表示に適した階調特性や、後編集を前提とした、高ダイナミックレンジ画像の入力を可能とする階調特性などがある。

高ダイナミックレンジ画像に用いる現像ガンマ特性の例には、いわゆるlogガンマがある。logガンマとは、入力値に対して出力値が対数的に増加する特性を示す階調補正特性である。logガンマを用いることにより、画像データの有するビット数で表現される範囲よりも大きな範囲の階調を表現することが可能となり、白飛びや黒つぶれが生じにくい、後編集に適した画像データを生成することができる。

色信号変換部１０４は、現像処理部１０３からのＲＧＢ形式の画像データを輝度成分（Ｙ）と色差成分（Ｃｂ、Ｃｒ）からなるＹＣＣ形式の画像データに変換して出力する。

符号化部１０５は、このＹＣＣ形式の画像データ、記録フォーマットに合わせて圧縮符号化するとともに、ヘッダなどの付加情報を含んだ記録用の画像ファイルを生成する。符号化部１０５は、画像ファイルを半導体メモリカードなどの記録メディア１０６に記録する。

表示画像補正部１０７は、現像処理部１０３の出力画像データを表示部１１０に表示するために補正する。この補正は例えば表示部１１０の入出力特性に応じた階調補正処理であってよい。例えば、表示部１１０がガンマ値２．２の入出力特性を持つ場合、現像処理部１０３の出力画像データの階調が表示部１１０で正しく表示されるよう、表示部１１０の入出力特性の逆特性を有するガンマ特性を用いて補正する。一般に表示部１１０の入出力特性は固定であるため、表示画像補正部１０７が用いるガンマ特性は予め設定しておくことができる。

第１選択部１０８は、ＣＰＵ１２１の指示により、現像処理部１０３の出力画像データと表示画像補正部１０７の出力画像データの一方を出力する。

現像ガンマ特性が表示部１１０の入出力特性の逆特性であれば、表示画像補正部１０７における補正処理は不要である。そのため、ＣＰＵ１２１は、まず、現像処理部１０３に設定した現像ガンマ特性と、表示部１１０の入出力特性とが逆特性の関係を満たすかどうかを判定する。そして、逆特性の関係を満たすと判定する場合には現像処理部１０３の出力画像データを出力するように第１選択部１０８に指示する。この判定は例えば現像ガンマ特性のうちどれが表示部１１０の入出力特性と逆特性であるかを予め記憶しておき、現在設定されている現像ガンマ特性と記憶されている現像ガンマ特性とが合致するかどうかに基づいて行うことができる。

評価画像補正部１１１は、補助画像生成部１１３で評価する画像データを生成するため、現像処理部１０３からの画像データに階調補正処理を適用する。

評価画像補正部１１１における階調補正処理は、センサー補正部１０２が出力した画像データの階調性が現像ガンマ処理によって受けた影響を低減するための処理であり、換言すれば現像ガンマ処理前の画像データに近づけるための処理である。従って、評価画像補正部１１１で用いる階調補正特性（第２の階調補正特性）は、現像処理部１０３における現像ガンマ特性に応じて決定される。

例えば、図２（ａ）に示す現像ガンマ特性が用いられる場合、評価画像補正部１１１で現像ガンマ特性の逆特性である階調補正特性（図２（ｂ））を用いれば、画像データの階調性が現像ガンマ処理で受けた影響を相殺することができる（図２（ｃ））。

評価画像補正部１１１で階調補正処理を行った画像データに基づいてフォーカスアシスト画像データを生成することで、画像のコントラストを低下させる現像ガンマ特性が用いられる場合であっても、有効なフォーカスアシスト機能を提供することができる。

なお、説明及び理解を容易にするため、評価画像補正部１１１で用いる階調補正特性が、現像ガンマ特性の逆特性である場合を例示したが、評価画像補正部１１１で用いる階調補正特性は現像ガンマ特性の逆特性でなくてもよい。

また、評価画像補正部１１１により出力される特性、つまり現像ガンマ特性と評価画像補正部１１１で用いられる階調補正特性との組み合わせによって得られる階調補正特性が、必ずしも線形な特性でなくてよい。現像ガンマ特性による階調圧縮が低減される特性であれば本実施形態の効果は得られる。

また、評価画像補正部１１１が用いる階調補正特性は、操作部１２２及びＣＰＵ１２１を通じてユーザにより指定されるものが設定されてもよい。

第２選択部１１２は、第１選択部１０８と同様に、ＣＰＵ１２１の指示により、現像処理部１０３の出力画像データと評価画像補正部１１１の出力画像データの一方を出力する。

ＣＰＵ１２１は、例えば、予め定められた、評価画像補正部１１１による階調補正処理を行う必要がない現像ガンマ特性が用いられている場合には、第２選択部１１２に対して、現像処理部１０３からの画像データを出力するよう指示をしてもよい。

ここで、評価画像補正部１１１による階調補正処理を行う必要がない現像ガンマ特性とは、第１選択部１０８が現像処理部１０３からの画像データを出力する場合と同じ現像ガンマ特性であってよい。あるいは、現在設定されている現像ガンマ特性が、予め定められた、フォーカスアシスト機能への影響が少ない特性であれば、現像処理部１０３の出力画像データをそのまま補助画像生成部１１３に供給するようにしてもよい。

補助画像生成部１１３は、第２選択部１１２から入力された画像データからフォーカスアシスト画像のデータを生成する。上述の通り、フォーカスアシスト機能には、ピーキング、部分拡大表示、エッジモニタ機能などがある。

ピーキングとは、合焦している部分のエッジを強調表示する機能であり、部分拡大表示は、画面の一部を拡大して合焦度合いを視認しやすくする機能である。また、エッジモニタは、合焦状態を波形で表示し、合焦度合いが高いほど大きな波形を表示する機能である。

補助画像生成部１１３は、現在設定されているフォーカスアシスト機能に応じたフォーカスアシスト画像のデータを生成して出力する。なお、フォーカスアシスト機能およびフォーカスアシスト画像のデータ生成については公知の構成を用いることができるため、その詳細についての説明は省略する。

表示合成部１０９は、第１選択部１０８からの表示画像データに補助画像生成部１１３からのフォーカスアシスト画像データ（補助画像データ）を合成した合成画像データを生成し、表示部１１０に供給する回路である。合成画像データは、表示部１１０で表示される。なお、表示画像データに対してどのようにフォーカスアシスト画像データを合成するかは、例えばフォーカスアシスト機能ごとに予め定められている。フォーカスアシスト画像が表示画像に重畳表示されるように合成してもよいし、別個の表示領域（別個の表示装置である場合を含む）に表示されるように合成してもよい。いずれにせよ、フォーカスアシスト画像は表示画像（撮像画像）と同時に表示される。なお、表示部１１０は外部に接続される形態であってもよい。

以上説明した処理は、例えばライブビュー表示時のような動画撮影時に、各フレーム画像に対して実施することができるが、フォーカスアシスト画像の生成は数フレームごとに実施してもよい。

ＣＰＵ１２１は、ユーザから操作部１２２を通じて入力されたマニュアルフォーカス操作に応じて、フォーカス調整部１２０に制御信号を出力する。フォーカス調整部１２０は例えばモータ等によって撮影レンズ群１２３に含まれるフォーカシングレンズを駆動し、撮影レンズ群１２３の合焦位置を変化させる。合焦位置の変化を反映した画像が撮像され、フォーカスアシスト画像が撮像画像に応じて変化する。従って、ユーザは、フォーカスアシスト画像の変化を観察しながらマニュアルフォーカス操作を行うことで、所望の合焦状態を得ることができる。

なお、実施形態に係る画像処理装置が現像処理部１０３を含まない構成（現像処理部１０３の出力画像データが入力される形態）である場合、現像ガンマ特性についての情報は現像処理部１０３を有する装置（例えば撮像装置）から取得すればよい。あるいは、入力画像データの付加情報から現像ガンマ特性の情報を取得してもよい。

以上説明したように本実施形態によれば、階調補正処理が適用された画像データに対し、適用されている階調補正特性が階調に与えた影響を低減するような階調補正処理をさらに適用した後にフォーカスアシスト画像を生成するようにした。そのため、例えばコントラストが大幅に低下するような階調補正処理がなされた画像データが入力される場合であっても、有効なフォーカスアシスト画像を生成することができる。

（実施形態２）
次に、本発明の実施形態２について説明する。本実施形態の画像処理装置は、現像処理部１０３および評価画像補正部１１１の動作以外、実施形態１と同様であるため、重複する説明は省略し、相違点について重点的に説明する。

本実施形態は、現像処理部１０３が複数の現像ガンマ特性の１つを選択的に利用して現像ガンマ処理を行い、評価画像補正部１１１の階調補正特性が現像ガンマ特性の変化による階調性への影響の変動を低減するように決定される点で、実施形態１と異なる。

現像ガンマ特性が切り替えられると、現像処理部１０３から出力される画像データの階調性が変化する。評価画像補正部１１１で適用する階調補正特性が一定の場合、実際の被写体輝度が変化しないにもかかわらず、補助画像生成部１１３が生成するフォーカスアシスト画像が変化してしまう。このため、合焦状態を正確に把握できず、フォーカス調整に支障をきたすことがある。

現像処理部１０３は、予め用意された複数の現像ガンマ特性のうち、ＣＰＵ１２１から設定された１つを用いて現像ガンマ処理を行う。ＣＰＵ１２１は、操作部１２２を通じて入力された現像ガンマ特性に関するユーザ指示に基づいて現像ガンマ特性を設定または変更してもよい。

そして、現像処理部１０３は、実施形態１と同様に現像ガンマ処理を入力画像データに適用し、設定された現像ガンマ特性に応じた階調性を有する画像データを出力する。

上述の通り、本実施形態における評価画像補正部１１１の階調補正処理は、現像ガンマ特性が変更されることによる出力画像データの階調性の変動を低減するための処理である。例えば、評価画像補正部１１１に設定される階調補正特性は、使用されている現像ガンマ特性との組み合わせによって実現される階調補正特性が実質的に一定となるように、現像ガンマ特性に応じて設定される。

典型的には、現像ガンマ特性の逆特性を評価画像補正部１１１に設定することができる。評価画像補正部１１１で現像ガンマ特性の逆特性を用いるように設定することで、現像ガンマ処理が画像データの階調性に与える影響、ひいてはフォーカスアシスト画像に与える影響を、現像ガンマ特性が変化しても相殺することができる。

評価画像補正部１１１で用いる階調特性は、ＣＰＵ１２１が決定し、評価画像補正部１１１に設定することができる。上述の通りＣＰＵ１２１は現像ガンマ特性の設定も行うため、例えば現像ガンマ特性を現像処理部１０３に設定（もしくは変更）する際に、現像ガンマ特性に応じた階調補正特性を評価画像補正部１１１に設定することができる。もちろん、評価画像補正部１１１への階調補正特性の設定方法及びタイミングはこれに限定されない。

なお、現像ガンマ特性に応じて、評価画像補正部１１１にどの階調補正特性を設定すべきかについても、様々な方法で決定することができる。例えば現像処理部１０３と評価画像補正部１１１とがそれぞれ、適用可能な複数の階調補正特性を記憶している場合、逆特性となる組み合わせを予め記憶しておけばよい。

また、階調補正特性の設定は、ＣＰＵ１２１が、現像処理部１０３に対して現像ガンマ特性を特定する情報を通知する際に、評価画像補正部１１１に対して適用する階調補正特性を特定する情報を通知することで行うことができるが、他の方法を用いてもよい。

例えば、現像処理部１０３が評価画像補正部１１１に現像ガンマ特性の情報を通知し、評価画像補正部１１１が予め記憶された対応関係に従って使用する階調補正特性を変更してもよい。また、画像データの付加情報などに現像ガンマ特性に関する情報が含まれる場合、評価画像補正部１１１がこの情報を監視し、現像ガンマ特性に変化があった場合には自身の階調補正特性を変更してもよい。

このように、本実施形態では、評価画像補正部１１１が、現像ガンマ特性が変更されることによる出力画像データの階調性の変動を低減するような階調補正処理を適用する。そのため、現像処理部１０３で用いられる現像ガンマ特性の変化がフォーカスアシスト画像の階調性に与える影響の変動を低減し、有効なフォーカスアシスト画像を生成することができる。

なお、説明及び理解を容易にするため、評価画像補正部１１１で用いる階調補正特性が、現像ガンマ特性の逆特性である場合を例示した。しかし、現像ガンマ特性が変更されることによる出力画像データの階調性の変動を低減できれば、評価画像補正部１１１で用いる階調補正特性は必ずしも現像ガンマ特性の逆特性でなくてもよい。また、現像ガンマ特性と評価画像補正部１１１で用いられる階調補正特性との組み合わせによって得られる階調補正特性が必ずしも線形な特性でなくてよい。

以上、本発明を例示的な実施形態について説明したが、本発明の範囲は特許請求の範囲によってのみ規定され、これらの実施形態に記載された構成に限定されない。本発明の範囲内で種々の変形及び変更が可能である。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. フォーカスアシスト機能を有する撮像装置であって、
   撮像によって得られた画像データに対して、特性が異なる複数の第１の階調補正特性から選択された１つの第１の階調補正特性を用いた階調補正処理を含む現像処理を行って現像画像データを生成する現像手段と、
   前記現像画像データに対して、前記現像手段に用いられた前記第１の階調補正特性が階調性に与えた影響を低減する第２の階調補正特性を用いた階調補正処理を適用する補正手段と、
   前記補正手段によって補正された前記現像画像データから、フォーカスアシストに用いる補助画像データを生成する生成手段と、を備えることを特徴とする撮像装置。
2. 前記補正手段は、前記第２の階調補正特性と前記現像手段に用いられた前記第１の階調補正特性との組み合わせによって得られる階調補正特性が、予め定めた階調補正特性となるような前記第２の階調補正特性を用いることを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記第２の階調補正特性と前記現像手段に用いられた前記第１の階調補正特性との組み合わせによって得られる階調補正特性が、線形な階調補正特性となるような前記第２の階調補正特性を用いることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の階調補正特性が、前記現像手段に用いられた前記第１の階調補正特性の逆特性であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記現像手段が現像した現像画像データと、前記補助画像データとを表示する表示手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記表示手段は、前記現像手段が現像した現像画像データに、前記補助画像データを同時に表示することを特徴とする請求項５に記載の撮像装置。
7. フォーカスアシスト機能を有する撮像装置の制御方法であって、
   現像手段が、撮像によって得られた画像データに対して、特性が異なる複数の第１の階調補正特性から選択された１つの第１の階調補正特性を用いた階調補正処理を含む現像処理を行って現像画像データを生成する現像工程と、
   補正手段が、前記現像画像データに対して、前記現像工程において用いられた前記第１の階調補正特性が階調性に与えた影響を低減する第２の階調補正特性を用いた階調補正処理を適用する補正工程と、
   生成手段が、前記補正工程において補正された前記現像画像データから、フォーカスアシストに用いる補助画像データを生成する生成工程と、を備えることを特徴とする撮像装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images