JP6083946B2

JP6083946B2 - 画像処理装置及び画像処理装置の制御方法

Info

Publication number: JP6083946B2
Application number: JP2012089698A
Authority: JP
Inventors: 久保田　耕司; 耕司久保田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-10
Filing date: 2012-04-10
Publication date: 2017-02-22
Anticipated expiration: 2032-04-10
Also published as: JP2013219626A

Description

本発明はフォーカス調整用にエッジ強調のためのピーキングアシスト機能を行う画像処理装置及び画像処理装置の制御方法に関するものである。

従来ビデオカメラではフォーカス調整を容易にするため、画像にピーキング信号を付加するフォーカスアシスト機能が備えられている。ピーキング信号とは映像信号から高周波成分を抽出し、増幅することで生成される信号である。特許文献１では、ピーキング信号を映像信号に加算しビューファインダもしくは出力モニタに表示することで映像中の輪郭部分が強調して表示され、ユーザに合焦の程度を視覚的に知らせることによりフォーカス調整を容易に行うことを可能としている。

特開２００９−２３１９１８号公報

しかしながら、特許文献１では、ピーキング信号生成部の後に表示デバイスのサイズに応じて拡大縮小を行う構成をとっているため、フォーカスアシスト時に拡大処理を行った場合にはピーキングをとる画素が少なく正確にピーキング情報をとれない、という課題があった。

上記課題に鑑み、本発明の目的は、より正確にピーキング情報を生成しながら表示デバイスには滑らかな表示映像を出力することが可能となる画像処理装置及び画像処理装置の制御方法を提供することとする。

上記課題を解決するために、本発明の画像処理装置は、入力される画像信号に拡大倍率に応じた補間処理を施す補間手段と、前記補間手段で補間処理が施された画像信号から、前記画像信号内の所定方向における信号レベルの変化量に応じたレベルを有するピーキング信号を生成するピーキング信号生成手段と、前記補間手段で補間処理が施された画像信号に前記ピーキング信号生成手段で生成される前記ピーキング信号を重畳して、表示デバイスに表示させる表示制御手段と、を有し、前記補間手段は、前記入力される画像信号に対して第１の補間処理と、前記第１の補間処理に比べて処理対象となる画像信号の高周波成分を残す第２の補間処理を施すことが可能であって、前記表示制御手段は、前記補間手段で前記第１の補間処理を施して得られた画像信号に、前記補間手段で前記第２の補間処理を施して得られた画像信号から生成されたピーキング信号を重畳することを特徴とする。

また、本発明の画像処理装置の制御方法は、入力される画像信号に拡大倍率に応じた補間処理を施す補間ステップと、前記補間ステップにおいて補間処理が施された画像信号から、前記画像信号内の所定方向における信号レベルの変化量に応じたレベルを有するピーキング信号を生成するピーキング信号生成ステップと、前記補間ステップで補間処理が施された画像信号に前記ピーキング信号生成ステップで生成される前記ピーキング信号を重畳して、表示デバイスに表示させる表示制御ステップと、を有し、前記補間ステップは、前記入力される画像信号に対して第１の補間処理と、前記第１の補間処理に比べて処理対象となる画像信号の高周波成分を残す第２の補間処理を施すことが可能であって、前記表示制御ステップでは、前記補間ステップで前記第１の補間処理を施して得られた画像信号に、前記補間ステップで前記第２の補間処理を施して得られた画像信号から生成されたピーキング信号を重畳することを特徴とする。

本発明によれば、より正確にピーキング情報を生成しながら表示デバイスには滑らかな表示映像を出力することが可能となる。

第１の実施形態において、本発明を適用した撮像装置の構成を示すブロック図である。フォーカスアシスト機能の概略図である。ピーキング信号生成回路の概略図である。ピーキング生成回路の入力と出力の関係を示した図である。拡大時の線形補間処理によるピーキング生成回路の入力と出力の関係を示した図である。拡大時の最近傍補間処理によるピーキング生成回路の入力と出力の関係を示した図である。第２の実施形態において、本発明を適用した撮像装置の構成を示すブロック図である。第１の実施形態のフォローチャートである。第２の実施形態のフォローチャートである。

（第１の実施形態）
図１は本実施形態における画像処理装置の一例としての撮像装置であるデジタルカメラを含めたシステム全体のブロックを示す図である。なお、各部の一部あるいは全てはハードウェアで実現されていても良いし、ファームウェアによってソフト的に実現されていても良いものとする。

光学系１００を介して被写体からの光が撮像素子１０１に入射される。撮像素子１０１は、本実施形態では単板でＲ、Ｇ、Ｂのベイヤー配列をとっているが、これに限らない。光学系１００はズーム駆動、フォーカス駆動が可能なズームレンズ及びフォーカスレンズを含めたレンズ群、レンズ保持部材、シャッター、絞り及びそれらを駆動させる駆動装置等で構成されている。撮像素子１０１でＡＤ変換された信号は、ディジタル信号処理部１０２によりカメラ信号処理が施される。カメラ信号処理には、同時化処理、ホワイトバランス処理、アパーチャ補正処理、周辺光量落ち補正処理、アンシャープマスク処理、色空間変換処理、ガンマ処理等が含まれる。本実施形態では、ディジタル信号処理部１０２から出力される画像の信号形式は予め設定されている形式に従い、Ｒ、Ｇ、Ｂの３板形式の画像信号や、Ｒ、Ｇ、Ｂのベイヤー配列の画像信号、Ｙ、Ｃｒ、Ｃｂの画像信号の形式などを選択的に少なくとも１つ出力する。

フレームメモリ１０３はディジタル信号処理部１０２から出力される映像をバッファし、次段のカメラ記録部１０６と表示ブロック１１７のフレームレートが異なる撮影シーケンスにも対応可能にしている。映像記録駆動部１０４は記録メディア１０５にあわせたフォーマットに信号を変換し記録メディア１０５に映像が記録される。

表示ブロック１１７は、表示デバイス１１３への画像の表示を行うための処理ブロックである。

従来の一般的な構成では、表示デバイス向けの補間処理は、表示デバイス向けの信号処理やピーキング信号を生成した後に行われる。しかし、本実施形態では、モニタ信号処理部１１０及びピーキング信号生成部１１４に入力される画像信号の画像サイズ（画素数）が表示デバイス１１３に対応した一定のものになるように、両ブロックの前段にスケーリング回路１０７を設ける。

スケーリング回路１０７は、制御部１１６から伝達される、不図示のインターフェース（画像サイズ指示手段）を介してユーザによって予め設定された記録画像の画像サイズと、スケーリング倍率と表示デバイス１１３の画素数に基づいて入力される画像信号を拡大、縮小処理する。スケーリング回路１０７は第１の補間処理回路１０８と第２の補間処理回路１０９を有し、それぞれモニタ信号処理回路１１０、ピーキング信号生成部１１４に出力する画像信号の拡大、縮小処理を行う。第１の補間処理回路１０８による第１の補間処理と、第２の補間処理部１０９による第２の補間処理との違いは後ほど説明する。

モニタ信号処理部１１０では、表示デバイス１１３用のガンマ変換等の処理が行われ、表示デバイス１１３での表示に適した画像に変換される。その後、フォーカスアシスト機能がＯＦＦの場合には表示制御部１１６からの制御信号１２１に基づきＳＷ１１５がＯＦＦとなる。このときモニタ信号処理部１１０の信号出力はそのまま表示素子駆動部１１２に入力され、表示素子駆動部１１２にて表示デバイス１１３に合わせた信号フォーマットに変換された後、表示デバイス１１３に出力される。フォーカスアシスト機能がＯＮである場合には、表示制御部１１６からの制御信号１２１に基づきＳＷ１１５がＯＮとなる。このとき、ピーキング信号生成部１１４で生成されるピーキング信号がモニタ信号処理回路１１０からの出力に加算器１１１で重畳され、表示素子駆動部１１２にて表示デバイス１１３に合わせた信号フォーマットに変換された後、表示デバイス１１３に出力される。ここで表示デバイスはデジタルカメラに内蔵されるビューファインダまたは外部の通常のモニタ出力の場合もある。もしくは両方を備えた構成も考えられる。

制御部２００は、上述した各部の動作を制御し、また各部の処理に必要な演算等を行う。制御部２００は光学系１００に含まれるフォーカスレンズを駆動することでフォーカシングを実現する。

次にフォーカスアシスト機能について概略を説明する。図２はフォーカスアシスト機能の概略を示した図である。図２（ａ）はフレームメモリ１０３に記憶されている画像の全体の映像を示しており、フォーカスアシスト機能がＯＦＦの場合は記録メディア１０５と表示デバイス１１３には同等の画角の信号が入力され、表示デバイス１１３には図２（ａ）の画像全体が表示される。ここでユーザが被写体の一部にフォーカスを合わせたい場合にはフォーカスアシスト機能をＯＮすることにより例えば２０１の範囲が選択されていると、図２（ｂ）で示すように所定の範囲を拡大して表示デバイス１１３に表示される。このとき２０２で示すように被写体にピーキング信号（エッジ情報）を付加した画像を表示させることにより、ユーザに視覚的にフォーカスの合焦度合いを伝えることを可能とする。

図３はピーキング信号生成部１１４の概略図である。ピーキング信号生成回路はＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）Ｆｉｌｔｅｒ３０２を基本として構成され、第２の補間処理回路１０９からの入力画像信号Ｙ＿ｉｎ３０１が入力される。本実施形態では、ＦＩＲＦｉｌｔｅｒ３０２に入力される時点で輝度信号（Ｙ信号）であるが、Ｒ、Ｇ、Ｂ信号でも構わない。ゲイン調整信号３０３及び周波数調整信号３０４によりエッジ信号の強度及び周波数が調整可能な構成とする。ピーキング信号生成回路は既知の技術であるためここでは詳細には述べないが、ＦＩＲＦｉｌｔｅｒ３０２によって、ゲイン調整信号３０３及び周波数調整信号３０４により設定される信号強度及び周波数の画像信号を抽出し、ピーキング信号とする。入力信号Ｙ＿ｉｎ３０１と出力信号ｏｕｔ３０５の関係を図４を用いて説明する。

図４（ａ）は図２で示されるような画像データの水平方向の座標をｘ軸として、各ｘ座標における輝度信号のグラフを示したものである。横軸４０２がｘ座標を表し、縦軸４０１は輝度レベルを示す。図４（ｂ）は出力信号３０５、すなわちピーキング信号の図４（ａ）と同じ水平ラインにおけるｘ軸方向の分布を示したものであり、横軸４０４は図４（ａ）の横軸４０２と対応する。ピーキング信号の生成の仕方は様々な方法が提案されているが最も単純に概略を示すと「入力信号の変化量、すなわち微分値をピーキングレベル」として定義したものが図４である。４１０、４１１、４１２はピーキング信号のレベルを示し、図４（ａ）の信号の変化量が多いほど図４（ｂ）のピーキング信号の値が大きくなることを示している。

次にフォーカスアシスト時の拡大表示における問題点と本発明内容を述べる。フォーカスアシスト機能をＯＮでスケーリング回路１０７での補間処理が拡大倍率であるとき、拡大補間時に滑らかな補間の代表である線形補間を使用した場合の輝度信号とピーキング信号の関係を示した図５に示す。

図５（ａ）は図４（ａ）の信号を２倍に線形補間したときの各画素の輝度を示す図である。丸印が第２の補間処理回路１０９への元々の入力信号５０１を示し、四角が第２の補間処理１０９の補間処理による補間画素５０２を示す。これらの信号をピーキング信号生成部１１４に入力して作成されるピーキング信号の分布を示す図が図５（ｂ）である。図５についても図４と同様に入力輝度レベルとピーキング信号生成部で生成されるピーキング信号の対応を時間軸で取ったものとなる。

線形補間で補間画素を作っているため表示デバイス１１３に映し出される映像は滑らかで奇麗な画質となる。反面、図５（ｂ）の５１０、５１１、５１２で示すようにピーキング信号のレベルは図４（ｂ）の場合の４１０、４１１、４１２に比べて約半分となってしまう。これでは有効なピーキング信号が生成しにくいという問題点が発生する。そこで本問題の対策として以下のように補間処理を行う。表示デバイス１１３で表示される画像信号そのものを処理するモニタ信号処理部１１０への入力信号には第１の補間処理回路１０８で第１の補間処理、すなわちキュービック補間処理や線形補間処理のような滑らかな映像となる補間処理を行う。一方、ピーキング信号を生成するピーキング信号生成部１１４への入力信号には、第２の補間処理回路１０９で第２の補間処理、すなわち最近傍補間処理（ニアレストネイバー法）によりエッジ情報を残した状態で信号を送る。図６は最近傍補間によるピーキング信号生成部の入力信号と出力信号を図示したものである。丸印がオリジナル信号６０１を示し、四角が補間画素６０２を示す。最近傍補間処理であるために補間後でもエッジ情報が失われないので、ピーキング信号のレベル６１０、６１１、６１２は４１０、４１１、４１２と同等レベルとなる。

図８は撮影時の画像処理装置による表示デバイスへの画像表示処理の動作を示すフローチャートである。下記の処理は表示制御部１１６及び表示制御部１１６の指示により各部で実行される。まずＳ１０００で予めユーザにより設定されているフォーカスアシスト機能の設定がＯＮかＯＦＦかを判断する。ＯＦＦの場合は、予めユーザにより設定されている記録画像サイズと表示デバイス１１３の画素数に応じてスケーリング倍率が決定（Ｓ１００４）され、上述した処理を経た出力画像信号が表示デバイス１１３に出力される（Ｓ１００５）。ＯＮの場合は記録画像サイズ、表示デバイス１１３の画素数とフォーカスアシスト倍率に応じてスケーリング倍率が決定（Ｓ１００１）され、第１の補間処理と第２の補間処理で異なる補間処理が実施される（Ｓ１００２）。その後、ピーキング生成回路１１４で生成されたピーキング情報を重畳（Ｓ１００３）し表示デバイス１１３に出力される。

以上のように、本実施形態では、画像のエッジ部分を確認するピーキング表示を、拡大画像について行う場合において、表示画像には滑らかな補間処理、ピーキング信号を生成する為の画像には第１の補間処理よりも高周波成分を残す（損ないにくい）補間処理で拡大処理を行う。これにより、より正確にピーキング情報を生成しながら表示デバイスには滑らかな表示映像を出力することが可能となる。

本実施形態では、フォーカス調整の際に合焦の程度を確認するためのピーキング情報の表示に関する実施形態を説明したが、本発明はこれに限らず、画像の拡大処理を伴ったピーキング表示であれば、その利用方法は問わない。

また、本実施形態では、第１の補間処理を線形補間処理、第２の補間処理を最近傍補間処理としたが、補間処理の組み合わせはこれに限らない。すなわち、第１の補間処理に比べて第２の補間処理の方がよりエッジの情報（高周波成分の情報）が残りやすい補間処理であればよい。例えば第１の補間処理がバイキュービック補間処理で、第２の補間処理が最近傍補間処理である場合、第１の補間処理が線形補間処理で、第２の補間処理がバイキュービック補間処理である場合などが考えられる。

また、本実施形態では、モニタ信号処理部１１０の前段に第１の補間処理回路１０８を置くことで、モニタ信号処理部１１０に入力される画像信号の画像サイズ（画素数）が表示デバイス１１３に対応した一定のものになるように構成した。これにより、モニタ信号処理部１１０が簡易な構成で済むようにした。しかし、これに限らず、モニタ信号処理部１１０の後段に第１の補間処理回路１０８を置く構成でも本発明の目的、効果は達成できる。

（第２の実施形態）
図７は第２の実施形態における画像処理装置の一例としての撮像装置であるデジタルカメラのブロック図である。第１の実施形態との違いは、スイッチ７０１が追加されたところである。モニタ信号処理回路１１０への入力信号を、表示制御部１１６の指示により、フォーカスアシスト時の拡大率に応じて第１の補間処理回路１０８からの出力か第２の補間処理回路１０９からの出力かで切り替える。

フォーカスアシスト時に拡大倍率が一定以上上がった場合の問題点として、補間処理１でバイキュービックに代表されるなめらかな補間処理で補間を行った場合、拡大率が非常に大きくなった場合には画像がぼけてしまうという問題点がある。そこで倍率判定回路７０１で所定の倍率より高いと判断した場合には１１０への入力信号を補間処理２と同じ近傍補間処理を用いる。これにより、意図的に滑らかではない画像を表示することでフォーカスアシスト時の拡大率が大きい時の表示画像の画像ぼけを防ぎ、合焦度合いの確認をしやすくすることが可能となる。

図９は第２の実施形態における撮影時の画像処理装置による表示デバイスへの画像表示処理の動作を示すフローチャートである。Ｓ２０００、Ｓ２００１、Ｓ２００４、Ｓ２００５、Ｓ２００６は図８と同じであるため説明は省略する。

Ｓ２００２でスケーリング倍率が閾値を超えているかどうかを判定し、閾値を超えていない場合にはＳ２００６に分岐し、表示制御部１１６の指示によりスイッチ７０１では第１の補間処理回路１０８からの出力が選択される。つまり以後は第１の実施形態と同一の処理となる。

一方、スケーリング倍率が閾値を超えた場合は、表示制御部１１６の指示によりスイッチ７０１では第２の補間処理回路１０９からの出力が選択される。すなわち、モニタ信号処理部１１０に入力される画像もピーキング信号生成部１１４に入力される画像と同様の補間処理（最近傍補間処理）を実施（Ｓ２００３）し、Ｓ２００５でピーキング信号を重畳し表示デバイス１１３に出力される。

以上のように本実施形態では、表示画像が所定倍率より大きく拡大（補間）処理される場合には、表示用の画像としては滑らかになり過ぎないように、ピーキング信号生成部１１４と同様の補間処理により表示画像の拡大処理も行う。これにより、拡大倍率が大きい場合でも適切なフォーカス確認を行う画像が得られる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００光学系
１０１撮像素子
１０２ディジタル信号処理部
１０３フレームメモリ
１０７スケーリング回路
１０８第１の補間処理回路
１０９第２の補間処理回路
１１０モニタ信号処理部
１１１ピーキング信号重畳回路
１１２表示素子駆動部
１１３表示デバイス
１１４ピーキング信号生成部
１１５スイッチ
１１６表示制御部
１１７表示ブロック

Claims

入力される画像信号に拡大倍率に応じた補間処理を施す補間手段と、
前記補間手段で補間処理が施された画像信号から、前記画像信号内の所定方向における信号レベルの変化量に応じたレベルを有するピーキング信号を生成するピーキング信号生成手段と、
前記補間手段で補間処理が施された画像信号に前記ピーキング信号生成手段で生成される前記ピーキング信号を重畳して、表示デバイスに表示させる表示制御手段と、を有し、
前記補間手段は、前記入力される画像信号に対して第１の補間処理と、前記第１の補間処理に比べて処理対象となる画像信号の高周波成分を残す第２の補間処理を施すことが可能であって、
前記表示制御手段は、前記補間手段で前記第１の補間処理を施して得られた画像信号に、前記補間手段で前記第２の補間処理を施して得られた画像信号から生成されたピーキング信号を重畳することを特徴とする画像処理装置。
前記第１の補間処理は、線形補間処理あるいはバイキュービック補間処理であり、前記第２の補間処理は、最近傍補間処理であることを特徴とする請求項１に記載の画像処理装置。
前記第１の補間処理は、線形補間処理であり、前記第２の補間処理は、バイキュービック補間処理であることを特徴とする請求項１に記載の画像処理装置。
前記表示デバイスに表示される画像の拡大倍率を指示する指示手段によって指示される前記拡大倍率が所定の閾値より大きい場合、前記表示制御手段は、前記補間手段で前記第２の補間処理を施して得られた画像信号に、前記補間手段で前記第２の補間処理を施して得られた画像信号から生成されたピーキング信号を重畳することを特徴とする請求項３に記載の画像処理装置。
請求項１乃至４のいずれか１つに記載の画像処理装置と、
フォーカスレンズを含む光学系と、
前記光学系から入射される光を撮像する撮像手段と、
前記撮像手段のフォーカシングを制御する制御手段と、を有することを特徴とする撮像装置。
入力される画像信号に拡大倍率に応じた補間処理を施す補間ステップと、
前記補間ステップにおいて補間処理が施された画像信号から、前記画像信号内の所定方向における信号レベルの変化量に応じたレベルを有するピーキング信号を生成するピーキング信号生成ステップと、
前記補間ステップで補間処理が施された画像信号に前記ピーキング信号生成ステップで生成される前記ピーキング信号を重畳して、表示デバイスに表示させる表示制御ステップと、を有し、
前記補間ステップは、前記入力される画像信号に対して第１の補間処理と、前記第１の補間処理に比べて処理対象となる画像信号の高周波成分を残す第２の補間処理を施すことが可能であって、
前記表示制御ステップでは、前記補間ステップで前記第１の補間処理を施して得られた画像信号に、前記補間ステップで前記第２の補間処理を施して得られた画像信号から生成されたピーキング信号を重畳することを特徴とする画像処理装置の制御方法。
請求項６に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
コンピュータに、請求項７に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。