JP5006727B2

JP5006727B2 - 画像処理装置およびデジタルカメラ

Info

Publication number: JP5006727B2
Application number: JP2007194522A
Authority: JP
Inventors: 兼弘　　亮
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2007-07-26
Filing date: 2007-07-26
Publication date: 2012-08-22
Anticipated expiration: 2027-07-26
Also published as: US20090027543A1; CN101355631B; US7916208B2; JP2009031979A; CN101355631A

Description

本発明は、ぼかし処理の確認が容易な画像処理装置およびデジタルカメラに関する。詳しくは、１枚の画像データを被写体とそれ以外の背景とに分離し、背景についてぼかし処理を施した後、両画像を再び合成することにより、背景がぼかされた画像を生成／表示することが可能な画像処理装置およびデジタルカメラにおいてぼかし処理の確認を容易にしたものである。

従来、特許文献１の「カメラ装置及びスルー画像表示方法」では、ホワイトバランス処理等の画像処理を施した見本画像を、画像処理を施していない画像を表示する領域とは異なる領域に表示することにより、画像処理の結果を使用者が認識できる方式が提案されている。また、コンパクトデジタルカメラでも、一眼レフカメラのようなぼかし効果を実現するために、画像データを加工することにより同様な背景ぼかし効果を実現する方式がある。

特開２００５−２２９３２号公報

しかしながらこれらの従来のカメラでは、背景ぼかし処理が施された画像を同一カメラで確認する際に、細部まで確認するのが困難だという問題があった。これは、デジタルカメラに搭載されている表示装置（ＬＣＤ等）の解像度が記録された画像ファイルの画素数にくらべて十分でない、つまり低解像であることに起因している。また、特許文献１のカメラ装置では、背景のぼかし処理効果の確認をしたいときのような表示領域の細部を確認する場合のことが考慮されておらず、画像処理結果の確認が充分にできないことがあった。そこで本発明は、ぼかし処理の確認を容易にした画像処理装置およびデジタルカメラを提案することを目的とした。

上記課題を解決するために、請求項１の発明の画像処理装置は、元画像データから被写体部分の領域を抽出する被写体抽出手段と、前記元画像データにおいて、前記抽出された被写体領域とそれ以外の背景領域とを分離し、前記被写体領域の画像データと前記背景領域の画像データとを生成する被写体分離手段と、前記背景領域の画像データにぼかしフィルタ処理を行うぼかしフィルタ処理手段と、前記被写体領域の画像データと前記ぼかしフィルタ処理が行われた前記背景領域の画像データとを合成する画像合成手段と、前記ぼかしフィルタ処理が施された合成画像データと前記ぼかしフィルタ処理が施されていない元画像データとを、それぞれ対応する表示領域に表示する画像表示手段と、を具備する画像処理装置において、前記合成画像データにおいて、前記被写体領域と前記背景領域との境界のうち高周波成分の最も高い領域を中心として合成画像データの表示領域を決定し、前記元画像データにおいて、前記合成画像データの表示領域に対応する領域を元画像データの表示領域として決定する表示領域決定手段と、前記表示領域決定手段により決定された前記合成画像データの表示領域及び前記元画像データの表示領域を共に拡大して表示する拡大表示手段と、を具備することを特徴とする。

請求項２の発明の画像処理装置は、請求項１の画像処理装置において、操作部により拡大縮小処理の指示がなされると、前記合成画像データの表示領域とそれに対応する前記元画像データの表示領域とに対して共に拡大縮小処理を行うことを特徴とする。

請求項３の発明のデジタルカメラは、請求項１又は２のいずれかの画像処理装置を備えたことを特徴とする。

以上述べた本発明によれば、次のような効果がある。
（１）背景ぼかし画像の結果を拡大して表示できることにより、従来の縮小画像では確認することが困難であった背景ぼかし効果を容易に確認できるようになる。
（２）また、元画像とぼかし結果の合成画像を画面内に同時に表示することにより、相対的な比較が可能となり、ぼかし効果の程度を容易に確認できるようになる。
（３）さらに、同時に表示された、元画像とぼかし画像が一度の操作で、同じ領域を表示することが可能となり、使用者は、確認したい画像領域をストレスなく選択できるようになる。
（４）また、背景ぼかし処理において抽出された被写体と背景の境界部分を判断して、背景ぼかし効果の認識可能な領域が自動的に拡大され表示されることから、使用者は即座に背景ぼかし処理結果の効果を確認することが可能となる。
（５）さらには、前回の背景ぼかし処理結果を表示した状態のまま、簡単な操作で異なるぼかしフィルタパラメータで背景ぼかし処理を再実行できるようになり、使用者は、簡単に、ぼかしフィルタパラメータの変更および確認が可能となる。

以下、図に基づいて本発明の実施形態を説明する。図１は本実施形態にかかるデジタルカメラのシステム構成図、図２はデジタルカメラの外観図である。最初に、図１のデジタルカメラのシステム構成図の各部についての説明をする。レンズユニット内にあるレンズ（ズームおよびフォーカスレンズ）１は、モータドライバ２によって駆動される。モータドライバ２は、信号処理ＩＣ３の内部に含まれるＣＰＵ４等からなるマイクロコンピュータ（以下マイコン）によって制御される。

撮像部は、ＣＣＤ５、ＣＣＤ５を駆動するタイミング信号発生器（以下ＴＧ）６、ＣＣＤ５からの出力データから画像信号をサンプリングするＣＤＳ７、アナログゲインコントローラ（以下ＡＧＣ）８、ＣＣＤ出力電気信号（アナログ画像データ）をデジタル信号に変換するＡ／Ｄ変換器９から構成されている。ここでＣＤＳ７とＡＧＣ８とＡ／Ｄ変換器９をアナログフロントエンド（ＡＦＥ）とする。撮像部から信号処理ＩＣ３に入力されたデジタルデータは、ＣＣＤインターフェース（ＣＣＤＩ／Ｆ）ブロック１１を介して、信号処理ＩＣ３に取り込まれる。

信号処理ＩＣ３は、ＣＣＤＩ／Ｆ部１１、画像処理部１２、表示Ｉ／Ｆ部１３、ＪＰＥＧコーデック部１４、リサイズ・フィルタ部１５、カードコントローラ部１６、通信Ｉ／Ｆ部１７、メモリコントローラ１８、ＣＰＵ４から構成されている。ＣＣＤＩ／Ｆ部１１は、画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ変換器９から入力されるデジタルＲＧＢ信号を取り込む。モニタリング動作時は、ＲＧＢデータを画像処理部１２に送り、画像処理部１２では、ＲＧＢデータをＹＵＶデータに変換し、さらにリサイズ・フィルタ部１５で表示に適したサイズに変換した結果がＳＤＲＡＭ１９に出力される。

静止画撮影時は、ＣＣＤ５の全画素を複数回に分けて転送が行われるため、各フィールドデータはメモリコントローラ１８経由でＳＤＲＡＭ１９にＲＧＢデータの書き込みを行う。図示例においては、ＶＤとＨＤは信号処理ＩＣ３から出力される形式をとったが、ＴＧ６から出力されるような形式として同期をとるシステムとしてもよい。画像処理部１２は、システム制御部から設定された画像処理パラメータに基づき、ＣＣＤＩ／Ｆ１１から送られてきたＲＧＢデータ、またはＳＤＲＡＭ１９に一時保管されたＲＧＢデータをＹＵＶデータに変換処理して出力する。

リサイズ・フィルタ部１５は、ＹＵＶデータとＲＧＢデータを入力とし、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。このモジュールでは、空間フィルタ処理機能も有していて、拡大や縮小をした時に発生するギザギザ感やモザイクなどの画質劣化を軽減するために、線形補間、バイキュービック補間などの複数の補間方式が選択可能であり、必要な画質や速度に応じて、ＣＰＵ４によって設定が変更されて、フィルタ処理が行われる。

例えばモニタリング時は高速の処理速度が必要なため、水平のみの線形補間やフィルタＯＦＦ（単純間引き）が選択され、静止画撮影時は、解像度が必要なためバイキュービック補間が選択される。また、リサイズ・フィルタ部１５は、リサイズ倍率を１倍に設定することでフィルタ機能だけ動作させることができる。フィルタの設定としては、空間周波数が高い成分（画像のエッジ成分）だけを取り出すハイパスフィルタや、空間周波数が低い成分だけを取り出して平滑化をするローパスフィルタが設定可能である。

ＪＰＥＧコーデック部１４は、記録時はＳＤＲＡＭ１９に書き込まれたＹＵＶデータ２３を圧縮してＪＰＥＧ符号化されたデータを出力し、再生時は記録メディアより読み出したＪＰＥＧ符号化データをＹＵＶデータに伸張して出力する。表示Ｉ／Ｆ部１３はＳＤＲＡＭ１９に書き込まれた表示用データを表示装置に送り、撮影画像の表示を行う。この表示装置は、デジタルカメラが内蔵しているＬＣＤに表示することも、ＴＶビデオ信号として出力してテレビに表示することも可能である。また、この表示装置は、一般的に表示対象の撮影画像より低解像である。

画像処理部１２は、入力された画像データに対して、ホワイトバランス処理、エッジ強調処理等の画像処理が実行される。また、本発明の実施の形態では、画像処理部１２において、入力された画像データについて背景ぼかし処理が適用される。カードコントローラ部１６は、ＣＰＵ４の指示により、メモリカード２７内データのＳＤＲＡＭ１９への読み出しと、ＳＤＲＡＭ１９上のデータのメモリカード２７への書き込みを行う。

全体制御部であるマイコンは、起動時に書き換え可能なＲＯＭ２５に格納されたプログラムおよび制御データをＳＤＲＡＭ１９にロードし、そのプログラムコードに基づいて全体を制御する。マイコンは、操作部２９のボタン等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像処理装置における画像処理パラメータの設定、メモリコントロール、表示制御を行う。通信Ｉ/Ｆ部１７は、上記のようにデジタルカメラの制御をするだけでなくＰＣやプリンタなどとの通信によって、画像ファイルの送受信を行う。またマイコンの制御プログラムのバージョンアップも、ＰＣからプログラムを受信することで実現している。

操作部２９は、図２に示す各種ボタンやスイッチに相当し、撮影者が撮像装置の動作指示を行うためのものであり、撮影を指示するレリーズキー４１、光学ズーム及び電子ズーム倍率を設定するズームボタンであるところのＷＩＤＥ釦４２およびＴＥＬＥ釦４３、露光モード選択や記録サイズ選択やその他の各種設定を外部から行うための入力手段を備えている。特に、後述の動作例で説明する操作を実現するために、十字（上下左右）釦４４〜４７、ＰＬＡＹ釦４８、ＯＫ釦４９、ＭＥＮＵ釦５１、ＤＩＳＰ釦５２を備えている。なお、５３は表示装置である。

（実施例１）
本発明の実施例１について説明する。図３〜６は、再生モードにおける背景ぼかし処理およびその表示についてのフローチャートである。最初に、再生モードにおける背景ぼかし処理および表示について説明する。再生モードの開始と終了の処理を図３に示す。使用者は、ＰＬＡＹ釦４８を押下することより、撮影記録された画像を確認することができる。ＰＬＡＹ釦４８により遷移した状態を再生モードと呼ぶ。再生モードに遷移すると、再生可能な画像ファイルが表示される。使用者は、再生画像ファイルに対する背景ぼかし処理を実行するために、まず対象となる画像ファイルを選択する。使用者が、右釦４７を押下すると次の画像が表示される。逆に、左釦４６を押下すると前の画像が表示される。この操作により背景ぼかし処理を適用する対象ファイルを選択できる。

次に、現在選択され表示されている画像に対する背景ぼかし処理の適用方法について説明する。また、背景ぼかし処理の選択を図４および図５に示し、背景ぼかし処理を図６に示す。使用者は、メニュー釦５１を押下して表示される再生メニュー画面から背景ぼかし処理を選択する（ステップＳ４０２ＹＥＳ）。背景ぼかし処理が選択されると、選択されている画像の背景ぼかし用の表示が開始される（ステップＳ５０２）。この背景ぼかし処理は、被写体認識処理（ステップＳ６０１）、領域分割処理（ステップＳ６０２）、ぼかしフィルタ適用処理（ステップＳ６０３）、画像合成処理（ステップＳ６０４）から構成されている。背景ぼかし処理が選択されると、現在表示されている画像から被写体認識処理が実行される（ステップＳ６０１）。この被写体認識処理（ステップＳ６０１）において、画像領域のなかから、被写体部分の領域が抽出される。被写体以外の領域は背景部分として抽出される。

この被写体認識および抽出処理は次の方式で実現される。まず、画像データをメッシュブロック状に分割する。分割されたそれぞれのブロック領域毎のコントラストおよび色情報を抽出する。抽出されたコントラストおよび色情報から被写体領域とそれ以外の領域を含むブロックを検出する。次に、抽出された被写体と背景部分ごとに分割された、２枚の画像を生成する領域分割処理（ステップＳ６０２）が実行される。被写体認識処理（ステップＳ６０１）において、検出されたブロックを被写体部分とそれ以外の背景部分の領域としてブロックを境界分離することにより、被写体領域とそれ以外とに分離することができる。

その後、生成された画像データに対して、ぼかしフィルタ処理が適用される（ステップＳ６０３）。適用された画像データは、画像合成され（ステップＳ６０４）、背景ぼかし画像が生成される。ぼかしフィルタ処理においては、分離された画像に、ローパスフィルタを適用することによって、ぼかし効果が得られる。

次に、背景ぼかし画像の表示処理について説明する。図７は、表示装置５３に表示されている表示画像結果である。左領域には、選択されている画像の背景ぼかし処理が適用されていない元画像を表示する。右領域には、選択されている画像の背景ぼかし処理が適用されたぼかし画像が表示される。ここで、それぞれの表示領域に表示する画像領域は、画像の全領域のうち、背景ぼかし処理の効果が認識できる領域となっている。

図８は、背景ぼかし処理効果の確認領域の例である。背景ぼかし効果が確認できる領域選択について説明する。背景ぼかし処理において、元画像は、背景部分と被写体分の領域に分割されたそれぞれの画像が形成されている。背景ぼかしの効果を確認する場合には、使用者は、背景のぼかし程度を被写体から距離を考慮して評価する場合が多い。ここでは、上記抽出された被写体と背景の境界領域を背景ぼかしの効果の確認できる領域としている。

特に、本実施形態では、被写体領域と背景部分との境界のうち高周波成分の最も高い領域を中心として、表示領域を決定する。高周波成分の高い領域は、ぼかし処理で使用されるローパスフィルタの効果がもっとも確認しやすい領域である。また、被写体からの距離差に応じた、ぼかし程度を確認する場合には、後述の表示領域の変更操作を持って、使用者の所望する領域の表示が可能となっている。具体的には、前記ぼかし画像処理の領域分割時に、生成された境界情報を元に表示対象領域が決定される。

次に、表示する画像表示領域の変更方法について説明する。最初に表示されている変倍率が、ぼかし処理を確認するのに十分でない場合は、使用者は、ＴＥＬＥ釦４３／ＷＩＤＥ釦４２を押下することで表示画像の表示倍率を変更することが可能である。具体的には、使用者がＴＥＬＥ釦４３を押下すると、表示画像が拡大されて表示され、ＷＩＤＥ釦４２を押下すると、表示画像が縮小されて表示される。この拡大縮小処理は、左右の表示領域ともに適用され、常に左右の表示領域で同じ領域を観察することができる。

さらに、十字釦（上下左右）４４〜４７を押下することで、表示領域に表示する表示画像を移動（スクロール）することができる。具体的には、現在の表示サイズを維持したまま、釦を押下した方向に表示領域を移動する。右釦４７を押下した場合には、現在表示されている表示画像のさらに右側の画像領域を観察することができる。

次に、表示するぼかし処理のフィルタの変更方法について説明する。さらに、本実施例の形態である画像ぼかし処理の場合には、上記２画面表示状態において、ぼかしフィルタの選択が可能である。具体的には、使用者がＤＩＳＰ釦５２を押下すると、ぼかしフィルタのパラメータ情報が画面に表示される。ぼかしフィルタの変更画面に遷移した場合には、十字釦４４〜４７がぼかしフィルタのパラメータ変更釦として動作する。ぼかしフィルタのぼかしパラメータは、ぼかしフィルタの大きさおよび強度で構成されている。

ぼかしフィルタの大きさを変更する場合には、フィルタサイズを大きくした場合には、より大きなぼかし効果が得られ、小さくした場合には、ぼかし効果を軽減することできる。同様に、ぼかし強度を変更することにより、強度を強くした場合には、ぼかし効果を増幅させ、強度を弱くした場合には、ぼかし効果を軽減させることになる。具体的に、使用者は、このぼかしフィルタ変更の情報を表示されている状態で、上下釦４４，４５でぼかしフィルタの大きさ、左右釦４６，４７でぼかしフィルタ強度を調整することができる。

本実施例では、ぼかしパラメータ変更において、十字釦４４〜４７をフィルタの変更に用いているが、ぼかしフィルタ変更として別の釦に割り付けることによって、ぼかしパラメータ変更モードであっても、上記表示領域の変更が可能となる。使用者がぼかしフィルタを変更しようとして、上下左右釦が押下されると表示装置５３における表示領域の右半分に表示されているぼかし画像が更新される。具体的には、前回のぼかし処理において生成されている被写体と背景のそれぞれの領域分割画像において、新しいぼかしフィルタパラメータを用いたぼかし処理が実行される。実行されたそれぞれの画像は、画像合成処理においてぼかし合成画像が生成され表示領域の右半分に表示される。

また、本ぼかしフィルタ変更においては、画面上に、現在のぼかしフィルタの設定情報を表示する形態も考えられる。使用者は、ぼかしフィルタの設定量とぼかし処理結果画像を確認しながらぼかし処理を実行できる。

次に、使用者が、ＤＩＳＰ釦５２を押下することでぼかしフィルタ変更を終了する。表示されているぼかし処理結果の画像が使用者の所望している結果であれば、使用者は、最終的にＯＫ釦４９を押下することによって、ぼかし処理結果のぼかし画像を記録メディアに記録して、ぼかし処理モードを終了する。この記録メディアへの記録処理は、元画像ファイルと異なるファイルとして記録することも、また、元画像のファイルを更新することで記録することも可能である。

（実施例２）
実施例１の形態において、背景ぼかし効果を確認するために最適な高周波成分がない場合の表示領域の決定方法についてを、実施例２として説明する。この場合、背景部分領域の中から高周波成分の高い部分を表示領域として決定する。さらには、背景部分における背景ぼかし効果の確認に十分な領域の決定には、被写体領域周辺からの距離が近い順に判定を行い、背景ぼかし効果の確認に十分な高周波成分を含む領域として最初に判定された部分を表示領域とする。この場合の背景ぼかし効果の確認領域の決定部分以外は実施例１に記載の形態と同様の形態をとることが可能である。

本発明の実施形態の構成を示すブロック図である。本発明の実施形態のデジタルカメラの外観図である。本発明の実施形態の動作フロー図である。本発明の実施形態の動作フロー図である。本発明の実施形態の動作フロー図である。本発明の実施形態の動作フロー図である。本発明の実施形態の表示装置の表示例である。本発明の実施形態の表示装置の表示例である。

符号の説明

１レンズ（ズームおよびフォーカスレンズ）
２モータドライバ
３信号処理ＩＣ
４ＣＰＵ
５ＣＣＤ
６タイミング信号発生器（ＴＧ）
７ＣＤＳ
８アナログゲインコントローラ（ＡＧＣ）
９Ａ／Ｄ変換器
１１ＣＣＤインターフェース（ＣＣＤＩ／Ｆ）ブロック
１２画像処理部
１３表示Ｉ／Ｆ部
１４ＪＰＥＧコーデック部
１５リサイズ・フィルタ部
１６カードコントローラ部
１７通信Ｉ／Ｆ部
１８メモリコントローラ
１９ＳＤＲＡＭ
２３ＹＵＶデータ
２５ＲＯＭ
２７メモリカード
２９操作部
４１レリーズキー
４２ＷＩＤＥ釦
４３ＴＥＬＥ釦
４４〜４７十字（上下左右）釦
４８ＰＬＡＹ釦
４９ＯＫ釦
５１ＭＥＮＵ釦
５２ＤＩＳＰ釦
５３表示装置

Claims

元画像データから被写体部分の領域を抽出する被写体抽出手段と、
前記元画像データにおいて、前記抽出された被写体領域とそれ以外の背景領域とを分離し、前記被写体領域の画像データと前記背景領域の画像データとを生成する被写体分離手段と、
前記背景領域の画像データにぼかしフィルタ処理を行うぼかしフィルタ処理手段と、
前記被写体領域の画像データと前記ぼかしフィルタ処理が行われた前記背景領域の画像データとを合成する画像合成手段と、
前記ぼかしフィルタ処理が施された合成画像データと前記ぼかしフィルタ処理が施されていない元画像データとを、それぞれ対応する表示領域に表示する画像表示手段と、
を具備する画像処理装置において、
前記合成画像データにおいて、前記被写体領域と前記背景領域との境界のうち高周波成分の最も高い領域を中心として合成画像データの表示領域を決定し、前記元画像データにおいて、前記合成画像データの表示領域に対応する領域を元画像データの表示領域として決定する表示領域決定手段と、
前記表示領域決定手段により決定された前記合成画像データの表示領域及び前記元画像データの表示領域を共に拡大して表示する拡大表示手段と、
を具備することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
操作部により拡大縮小処理の指示がなされると、前記合成画像データの表示領域とそれに対応する前記元画像データの表示領域とに対して共に拡大縮小処理を行うことを特徴とする画像処理装置。
請求項１又は２に記載の画像処理装置を備えたことを特徴とするデジタルカメラ。