JP5742336B2 - 撮像装置および撮像装置の制御プログラム - Google Patents

Description

本発明は、撮像装置および撮像装置の制御プログラムに関する。

特定の被写体に対して立体感を強調する画像処理が知られている。例えば、被写体までの距離を考慮して、画像の各領域に周波数特定の異なるぼけフィルターを適用する。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００６−６７５２１号公報

ユーザは、自ら設定した上述のような特殊効果処理を、ライブビュー表示時等にも適用して、その効果をリアルタイムに確認したい。一方、特殊効果処理が施された画像は、ピント確認の観点からは視認性に乏しい。

本発明の第１の態様における撮像装置は、画像データを処理する画像処理部と、画像処理部により処理された画像データの画像を連続的に表示部に表示させる表示制御部と、被写体に対して焦点調整を行う焦点調整部とを備え、表示制御部は、取得された画像データに特殊効果処理を施すように画像処理部が設定されている場合であっても、焦点調整に連動して、特殊効果処理が施されていない画像を前記表示部に表示させる。

本発明の第２の態様における撮像装置の制御プログラムは、画像データを処理する画像処理ステップと、画像処理ステップにより処理された画像データの画像を連続的に表示部に表示させる表示制御ステップと、被写体に対して焦点調整を行う焦点調整ステップとを有し、表示制御ステップが、取得された画像データに特殊効果処理を施すように画像処理ステップが設定されている場合であっても、焦点調整に連動して、特殊効果処理が施されていない画像を前記表示部に表示させるように、コンピュータにそれぞれのステップを実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るカメラのシステム構成図である。 カメラの背面図である。 メニュー設定画面を示す図である。 特殊効果フィルターの視覚効果を示す模式図である。 ミニチュア撮影効果処理の処理手順を説明する図である。 ＡＦ処理とライブビュー画面の遷移を説明する図である。 他の表示形態を示す模式図である。 静止画撮影時の処理フローを示す図である。 動画撮影時の処理フローを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置としてのカメラ１０のシステム構成図である。カメラ１０は、システム制御部１１を備え、カメラ１０を構成する各要素を直接的または間接的に制御する。システム制御部１１は、システムメモリ１２と通信する。システムメモリ１２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ１２は、カメラ１０の動作時に必要な定数、変数、設定値、プログラム等を、カメラ１０の非動作時にも失われないように記録している。

カメラ１０は、光学系２０を備える。光学系２０は、主にズームレンズ、フォーカスレンズ、手振れ補正レンズを含むレンズ群２１、および、レンズシャッタ２２により構成される。被写体像は光軸に沿って光学系２０に入射し、撮像素子３１の結像面に結像する。

撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤセンサ、ＣＭＯＳセンサが用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。

デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器３２によりデジタル信号に変換された画像データは、一旦内部メモリ３３に記憶される。内部メモリ３３は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ３３は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。

また、内部メモリ３３は、画像処理部３４が行う画像処理、圧縮処理において、ワークメモリとしての役割も担うと共に、目的に即して加工処理された画像データを一時的に保管する役割も担う。更に、システムメモリ１２に記録されている定数、変数、設定値、プログラム等が適宜展開されて、カメラ１０の制御に利用される。したがって、内部メモリ３３は、これらの役割を担うに相当する十分なメモリ容量を備える。システム制御部１１は、メモリ制御部としての役割を担い、いかなる作業にどれくらいのメモリ容量を内部メモリ３３に割り当てるかを制御する。

画像処理部３４は、設定されている撮影モード、ユーザからの指示に則して、画像データを特定の画像フォーマットに従った画像ファイルに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。

画像処理部３４によって処理された静止画像ファイル、動画像ファイルは、内部メモリ３３から記録媒体ＩＦ３８を介して、記録媒体５０に記録される。記録媒体５０は、フラッシュメモリ等により構成される、カメラ１０に対して着脱可能な不揮発性メモリである。ただし、記録媒体５０は、着脱式に限らず、カメラ１０に内蔵される例えばＳＳＤなどの記録媒体であっても良い。記録媒体５０に記録された静止画像ファイル、動画像ファイルは、有線によるＵＳＢ、無線によるＬＡＮ等により外部へ出力される。

画像処理部３４は、ＡＦに利用されるコントラスト評価用の画像データ生成、後述する特殊効果フィルター処理等の、画像処理全般に関わる処理を実行する。また、画像処理部３４は、記録用に処理する画像データに並行して、あるいは先行して、表示用画像データを生成する。表示用画像データは、撮像素子から送られてくる画像データをコピーして間引き処理された、画素数の少ない画像データである。なお、画像処理部３４は、記録用の画像データのみならず表示用の画像データに対しても、設定された特殊効果フィルター処理を施すことができる。

表示部３７は、例えばＬＣＤパネルにより構成されるディスプレイユニットである。表示部３７は、表示制御部３６が出力するＲＧＢ信号を受け取り、表示用画像データをユーザに視認されるように表示する。

記録の有無に関わらず、画像処理部３４が撮像素子３１の出力に従って逐次表示用画像データを生成し、表示制御部３６が当該表示用画像データを表示部３７へ出力すれば、スルー画としてのライブビュー表示を実現することができる。したがって、表示制御部３６は、表示部３７を介して、静止画および動画撮影後の再生表示、撮影前および動画撮影中のライブビュー表示を実現することができる。

また、表示制御部３６は、表示する画像データに付随する情報、および、システムメモリ１２に記録されたメニュー画面等も、表示部３７に単独で、あるいは表示画像に重畳して表示させることもできる。

顔認識部３５は、画像処理部３４が生成した画像データに対して、顔認識処理を実行する。例えば、ライブビュー表示に用いられる表示用画像データを画像処理部３４から受け取り、被写体として写る人物の顔領域を認識して、その結果をシステム制御部１１へ返す。システム制御部１１は、認識された顔領域に対して焦点調節を実行するよう、焦点調整部４１へ指示を与えることができる。なお、顔認識処理に用いる画像データは、後述の特殊フィルター効果処理が施されていない画像データであることが望ましい。

カメラ１０は、ユーザからの操作を受け付ける操作部材３９を複数備えているが、システム制御部１１は、これら操作部材３９が操作されたことを検知し、操作に応じた動作を実行する。また、カメラ１０は操作部材３９の類としてレリーズスイッチ４０を備える。ユーザは、レリーズスイッチ４０を操作することにより、システム制御部１１に撮影準備動作および撮影動作を実行させる。

焦点調整部４１は、画像処理部３４が連続的に出力する評価用の被写体画像データを取得してコントラスト評価値を算出し、その結果に従ってフォーカスレンズを駆動することにより被写体に対して焦点調整を実行する、いわゆるコントラストＡＦを実行する。レンズシャッタ２２は、露光制御部４２により制御されて、設定された絞り値およびシャッタ速度を実現する。絞り値、シャッタ速度およびＩＳＯ感度を含む露出値は、予備取得された画像データの輝度分布と予め設定されたプログラム線図により、システム制御部１１により算出される。

図２は、本実施形態に係るカメラの背面図である。カメラ１０の背面には、表示部３７の他に、操作部材３９としての、ズームを指示するシーソースイッチ５１、メニュー項目を選択する十字キー５２、選択した項目を確定させる確定ボタン５３、メニュー選択などに用いられる複数の押しボタン５４、カメラ１０の電源ＯＮ／ＯＦＦを切替える電源ボタン４３が配設されている。

シーソースイッチ５１は、ズーム指示の他に、表示された画像の拡大、縮小の指示にも利用される。また、十字キー５２は、拡大された画像表示に対して、上下左右の表示移動にも利用される。これにより、ユーザは、表示部３７が比較的小さなパネルであっても、生成された画像データを詳細に確認できる。ユーザは、押しボタン５４の一つを操作することにより、撮影モードと再生モードを切り替えることができる。さらに、撮影モードとして、一回の撮影動作に対して一枚の撮影画像データを記録する通常の静止画撮影モード、および、動画像データを記録する動画撮影モードを切り替えることができる。

なお、図において表示部３７には、特殊効果処理を施さない通常の表示形態で被写体像を表示するライブビュー表示の様子が示されている。特に、ユーザによってレリーズスイッチ４０が操作され、顔認識部３５によって認識された顔領域に対して矩形枠がスーパーインポーズされた様子を示す。

図３は、メニュー設定画面を示す図である。特に、図３（ａ）は、特殊効果フィルター設定画面を示し、図３（ｂ）は、シーンモード設定画面を示す。

ユーザは、メニュー設定画面において、十字キー５２を操作して設定項目が示されたアイテムバー１０２のいずれかをハイライトさせることにより、特定の設定項目を選択する。そして、確定ボタン５３を操作して、選択した設定項目の適用を決定する。選択できる設定項目が多数用意されている場合には、ユーザは、スクロールバー１０１を上下させて、隠れた設定項目を出現させる。各アイテムバー１０２にはトグルスイッチ１０３が用意されており、トグルスイッチ１０３は、当該アイテムバー１０２が示す設定項目がユーザにより適用された場合に、その旨を示す態様に切り替わる。

図３（ａ）に示すように、特殊効果フィルターの設定項目としては、ミニチュア撮影効果、スケッチ画像効果、セレクトカラー効果などが用意されている。特殊効果フィルター処理は、通常の画像処理により生成された画像データに対し、その画像が特定の視覚効果を発揮するように追加的に施す画像処理である。例えば、ミニチュア撮影効果処理は、模型を接写したように、特定被写体に対して非常に浅い被写界深度を擬似的に実現する処理である。スケッチ画像効果処理は、画像を絵画調に変換する処理である。また、セレクトカラー効果処理は、ユーザにより指定された特定の色だけを残して、他の領域を白黒にする処理である。ユーザは、撮影画像に特殊効果フィルター処理を施したい場合に、この設定画面から好みのものを選択する。

図３（ｂ）に示すように、撮影モードであるシーンモードの設定項目としては、風景、スポーツ、ポートレート、スナップなどが用意されている。シーンモード設定は、それぞれの想定シーンに対して予め用意された露出設定等の最適設定であって、ユーザは、特定のシーンモードを選択すると、簡単な撮影作業によって良好な画像データを取得できる。例えば、スポーツモードでは、被写体に動きがあることが想定されるので、比較的速いシャッタスピードが適用されるようにプログラムされている。スナップモードでは、カメラ１０を振り回しながらも気軽に撮影が行えるように、手振れ補正効果が強めに設定されている。ユーザは、シーンに合った設定をカメラに自動で行わせたい場合に、この設定画面から好みのものを選択する。

図４は、特殊効果フィルターの視覚効果を示す模式図である。特に図４（ａ）は、ミニチュア撮影効果の視覚効果を示し、図４（ｂ）は、スケッチ画像効果の視覚効果を示す。

ミニチュア撮影効果処理が施された画像は、ピントが合った被写体領域とぼけた被写体領域とを画像内に含む。図４（ａ）においては、バス２０１の大部分と、手前の樹木２０２および奥の樹木２０３のうちバス２０１寄りの部分はピントが合った被写体として観察され（実線で示す）、樹木２０２、２０３の他の部分は、ぼけた被写体として観察される（点線で示す）。特に、ピントが合った領域であるピント領域は、マクロレンズで至近距離の被写体を捉えた光学像のように、きわめて浅い被写界深度を表現する帯状領域として観察される。

スケッチ画像処理が施された画像は、例えば図４（ｂ）のように、細いクレヨンにより斜線を多用するタッチで描かれたスケッチ画のような印象を観察者に与える。取得した画像をスケッチ画調に変換する処理としては、例えば、取得した画像を２値化して輪郭を抽出し、他の領域をぼかした上で、輪郭近傍に、画材とタッチを表現するテンプレートを重ね合わせる処理が知られている。

図５は、ミニチュア撮影効果処理の処理手順を説明する図である。画像処理部３４は、撮像素子３１から送られてくる画像データに対して、まず通常の画像処理を施し、取得画像データを生成する。取得画像データの取得画像は、図５に示すように、撮像素子３１に結像する被写体光学像を忠実に再現する画像である。画像処理部３４は、この取得画像に対して、全体にローパスフィルター処理を実行する。ローパスフィルター処理は、被写体像の空間周波数を低減させるぼかし処理である。ローパスフィルター処理が実行されたローパス処理後画像は、非合焦状態で撮影したぼけ画像のような擬似効果を発揮する。なお、選択されるミニチュア撮影効果の程度に応じて、ぼけの程度が設定されても良い。

一方で、画像処理部３４は、取得画像データが撮影されたときに設定されていた合焦領域３０１を取得し、これによりマスクパターンを生成する。マスクパターンは、取得画像とローパス処理後画像を重ね合わせる処理における、領域ごとの混合比率を表現する。パターンマスクは、合焦領域３０１を含むように設定された帯部３０２を有する。パターンマスクのうち帯部３０２の外側である上下の領域は、ローパス処理後画像の混合比率を１００％とする領域である。帯部３０２の領域のうち、合焦領域３０１を含む中央部分の黒塗りの領域は、ローパス処理後画像の混合比率を０％、すなわち取得画像の混合比率を１００％とする領域である。帯部３０２の領域のうち、斜線部で表される境界領域は、混合比率を段階的に変化させて、境界における空間周波数の急激な変化を緩和させる領域である。

画像処理部３４は、マスクパターンで定義された混合比率に従って取得画像とローパス処理後画像のそれぞれの画素値を加算する、ブレンド処理を実行する。このようにして合成された画像は、ミニチュア撮影効果を発揮するミニチュア撮影効果画像となる。図５に示すように、ミニチュア撮影効果は、マスクパターンで設定した帯部３０２に対応する帯領域３０３でピントが合い、その他の領域でぼけた画像となる。

なお、焦点調整部４１で設定される合焦領域３０１に連動して設定される帯部３０２の幅を、ユーザが設定できるように構成しても良い。また、帯部３０２によって規定される混合比率の変化も、ユーザが設定できるように構成しても良い。また、帯部３０２は、合焦領域３０１に連動して設定されるのではなく、独立して設定できるように構成しても良い。また、姿勢センサによって検出されるカメラ１０の姿勢を考慮して、横画角で撮影されるときにも縦画角で撮影されるときにも、帯部３０２の方向が常に横方向となるように構成しても良い。

図６は、ＡＦ処理とライブビュー画面の遷移を説明する図である。本実施形態においては、画像処理部３４は、設定された特殊効果処理を、ライブビューとして表示される画像に対しても実行する。ただし、予め定められた条件に従い、焦点調整に連動する期間においては特殊効果処理を施さない。以下にその説明をする。

上述のように、特殊効果処理であるミニチュア撮影効果処理、スケッチ画像効果処理等には、取得画像に対してぼかし処理を伴う。ぼかし処理は、上述の通り、非合焦状態で撮影したぼけ画像のような擬似効果を発揮する処理であるので、ぼかし処理を施された画像領域は、現実にはピントが合った領域だとしても、ユーザにはぼけた領域として視認される。つまり、ユーザは、ぼかし処理を伴う特殊効果処理が施されたライブビュー画像では、実際のピント状態を正しく認識することができない。たとえ帯状領域においてピント状態が確認できたとしても、あくまで部分領域であるので、視認性に欠ける。

そこで、画像処理部３４は、焦点調整に連動する期間において特殊効果処理を中断し、表示制御部３６は、特殊効果処理が施されていない通常の取得画像信号を画像処理部３４から受け取って表示部３７に表示させる。ユーザは、この期間において、被写体像のピント状態をライブビュー画像により快適に視認できる。

図６を用いて説明する。図６では、左から右へ向かう矢印に沿って時間の経過を表している。時刻ｔ_１においてレリーズスイッチ４０がユーザによって操作され、システム制御部１１は、当該操作を撮影準備指示として受け付ける。撮影準備指示を受け付ける時刻ｔ_１までは、ユーザが被写体に向かって構図を調整するなどの時間であり、表示制御部３６は、画像処理部３４から特殊効果処理が施された画像データを受け取って、表示部３７に表示させる。ユーザは、特殊効果処理が施された画像をほぼリアルタイムで確認できるので、撮影指示によって記録される最終的な画像を想定しながら構図を調整できる。

時刻ｔ_１で撮影準備が開始されると、表示制御部３６は、画像処理部３４から通常の取得画像データを受け取って、表示部３７に表示させる。焦点調整部４１は、時刻ｔ_１から焦点調整を開始する。時刻ｔ_２において、焦点調整部４１が設定された合焦領域において被写体像を合焦させたら、表示制御部３６は、焦点調整が完了した旨を告知する合焦表示を、特殊効果処理が施されていないライブビュー画像に重畳して、表示部３７へ送信する。合焦表示は、例えば緑の矩形枠によって行われる。また、合焦前は例えば赤の矩形枠を重畳させても良い。その後、表示制御部３６は、期間Ｔ_０に亘って当該画像データを表示用の画像信号に変換して、継続的に表示部３７へ送信する。つまり、ユーザは、合焦画像を期間Ｔ_０に亘って確認することができる。

期間Ｔ_０が経過した時刻ｔ_３からは、表示制御部３６は、画像処理部３４から再び特殊効果処理が施された画像データを受け取って、表示部３７に表示させる。なお、時刻ｔ_２の合焦完了後の一定期間にレリーズスイッチ４０がユーザによって更に操作され、システム制御部１１が撮影指示を受け付けた場合には、一連の撮影シーケンスが実行される。

上記において、表示切り替えタイミングは、システム制御部１１が撮影準備指示を受け付ける時刻ｔ_１である。このように設定すると焦点調整部４１の焦点調整に対しても有効である。焦点調整部４１は、上述のように画像処理部３４が連続的に出力する評価用の被写体画像データを評価するコントラストＡＦを実行する。しかし、画像処理部３４が、評価用の被写体画像データの生成と共に、ライブビュー画像用の特殊効果処理を実行するとなれば、必然的に処理負荷が増大し、それぞれの出力レートが低下する。評価用の被写体画像データの出力レートが低下することは、すなわち焦点調整の遅延に直結する。翻って、焦点調整期間に特殊効果処理を省くことができれば、焦点調整を短時間で完了させることができる。したがって、時刻ｔ_１のタイミングで表示を切り替えることは、視認性確保に加えて、焦点調整の高速化にも寄与する。

しかしながら、視認性確保の観点からは、表示切り替えのタイミングを時刻ｔ_１とは異ならせても良い。ユーザは、焦点調整の完了タイミングである時刻ｔ_２において画像全体のピント状態を確認できれば、構想通りに撮影ができるか否かを判断できるので、表示制御部３６は、表示切り替えタイミングを時刻ｔ_２としても良い。その意味において、ユーザは、焦点調整が完了した旨を告知する合焦表示が行われている期間に画像全体のピント状態を確認できれば良いので、表示制御部３６は、この期間が含まれるように表示切り替えタイミングを設定しても良い。

上述の説明では、特殊効果処理の例としてミニチュア撮影効果処理とスケッチ画像効果処理を挙げた。これらの特殊効果処理は、ぼかし処理を伴うので、視認性確保の観点から焦点調整に連動して一時的に通常の取得画像を表示することが好ましいと説明した。しかし、別の特殊効果処理は、ぼかし処理を伴わない場合もある。例えば、図３（ａ）を用いて説明したセレクトカラー効果処理は、色情報の置き換えに留まるので、焦点調整中に処理を施した画像をライブビュー画像として表示しても、ユーザの視認性はそれほど低下しない。したがって、設定された特殊効果処理の種類によっては、例えば、ぼかし処理を伴わない特殊効果処理の場合には、表示制御部３６は、画像処理部３４から特殊効果処理が施されている画像データを継続的に受け取って表示部３７へ表示させるようにしても良い。

また、ぼかし処理を伴わない特殊効果処理であっても、画像処理部３４に大きな負荷を与える処理であれば、焦点調整の高速化の観点から、焦点調整に連動して特殊効果処理を中断するように設定しても良い。このような場合には、少なくとも焦点調整部４１が焦点調整を実行する間は、特殊効果処理を中断することが好ましい。

また、図３（ｂ）を用いて説明したシーンモードのいずれかが選択されていることにより、表示切り替えを行うか否かを規定しても良い。例えば、被写体に動きがあることが想定されているスポーツモードが選択されている場合には、ユーザは、できるだけ広い領域でピントの状態を確認したいと考えられる。そこで、スポーツモードが選択されている場合であって、特殊効果処理が設定されている場合には、表示制御部３６は、焦点調整に連動して一時的に通常の取得画像を表示部３７へ表示させると良い。一方、速写性が要求されない風景モード等においては、画像処理部３４における処理負荷の影響が小さいので、表示制御部３６は、画像処理部３４から特殊効果処理が施されている画像データを継続的に受け取って表示部３７へ表示させるようにしても良い。

もちろん、ユーザの指示を受け付けて、表示切り替えを行うか否かを規定しても良い。例えば、表示制御部３６は、図３で示すメニュー設定画面と同様の態様により、「焦点調整に連動する特殊効果処理の中断」なるアイテムバー１０２と、これを選択するトグルスイッチ１０３を表示部３７へ表示させる。そして、システム制御部１１は、トグルスイッチ１０３の選択を受け付けた場合に、表示切り替えを実行する。このように構成すれば、ユーザは、自らの希望に合わせて、特殊効果処理を施したライブビュー画像を観察し続けるか、焦点調整に連動してピントの確認を行うかを任意に選択することができる。

なお、上述においては、特殊効果処理が施されていない画像が表示部３７に表示される場合には、画像処理部３４は、取得画像に対して実行する特殊効果処理を停止するものとして説明した。しかし、例えば画像処理エンジンのような専用のハードウェアで高速に特殊効果処理が実行されているような場合には、特殊効果処理自体はそのまま継続させておき、表示制御部３６が、通常の取得画像データを選択して表示部３７へ表示させるように構成しても良い。

また、上述の実施形態においては、特殊効果処理が施された画像と施されていない画像を切り替えて表示する形態について説明したが、視認性確保の観点からは、表示制御部３６は、画像全体を切り替えなくても良い。図７は、他の表示形態を示す模式図である。

図示するように、特殊効果処理が施された画像に重畳して別ウィンドウ３１０が設けられ、特殊効果処理が施されていない画像がこの別ウィンドウ３１０に当てはめられて表示されている。表示制御部３６は、両画像およびウィンドウを図のようにレイアウトして、表示部３７へ一つの画像信号として送信する。特に、顔認識部３５が認識した顔領域に対して焦点調整部４１が焦点調整を実行するような場合には、合焦領域が動的に変化するので、合焦領域を特殊処理が施されていない通常の画像として別ウィンドウ３１０により拡大表示することは、ユーザの視認性を著しく向上させる。

図８は、静止画撮影時の処理フローを示す図である。一連の処理は、カメラ１０の電源がオンにされ、撮影モードの開始と共に開始される。なお、本フローにおいては、特殊効果フィルターとしてミニチュア撮影効果が選択されているものとして説明する。

システム制御部１１は、ステップＳ１０１で、設定されている合焦領域を取得する。具体的には、初期設定としての中央領域またはユーザによって指定された任意の領域が内部メモリ３３に記憶されており、システム制御部１１は、内部メモリ３３から合焦領域を読み出して取得する。ステップＳ１０２において、画像処理部３４は、システム制御部１１から合焦領域を受け取り、合焦領域を含む帯部を設定してパターンマスクを生成する。

ステップＳ１０３へ進み、画像処理部３４は、撮像素子３１で光電変換されＡ／Ｄ変換器３２でデジタル化された画像データに通常の画像処理を施して生成した被写体画像データを取得する。そして、ステップＳ１０４で、取得した被写体画像データにミニチュア撮影効果処理を施す。表示制御部３６は、ステップＳ１０５で、ミニチュア撮影効果処理が施された画像データを画像処理部３４から受け取る。そして、表示用の画像信号に変換して表示部３７へ送信し、表示部３７に当該画像を表示させる。

ステップＳ１０６で、システム制御部１１は、レリーズスイッチ４０のオン、オフを検出して、ユーザから撮影準備の指示が行われているか否かを確認する。指示が行われていないと判断すれば、ステップＳ１１７へ進み、システム制御部１１は、操作部材３９の出力を検出して、ユーザから撮影モードの終了指示が行われているか否かを確認する。指示が行われていないと判断すれば、ステップＳ１１８へ進み、システム制御部１１は、同様に、合焦領域の変更指示が行われているか否かを確認する。指示が行われていないと判断すれば、ステップＳ１０３へ戻る。したがって、ユーザから特に指示を受けない限りはステップＳ１０３からステップＳ１０５の処理が繰り返されることになるので、ミニチュア撮影効果処理が施された画像がライブビュー画像として表示され続ける。

ステップＳ１１７で、ユーザから撮影モードの終了指示が行われていると判断したら、システム制御部１１は一連の処理を終了させる。また、ステップＳ１１８で合焦領域の変更指示が行われていると判断したら、システム制御部１１は、ステップＳ１０１まで戻り再び合焦領域の取得から実行する。

ステップＳ１０６で、システム制御部１１がユーザから撮影準備の指示が行われていると判断すれば、ステップＳ１０７へ進む。ステップＳ１０７では、画像処理部３４は、撮像素子３１で光電変換されＡ／Ｄ変換器３２でデジタル化された画像データに通常の画像処理を施して生成した被写体画像データを取得する。そして、ステップＳ１０８で、表示制御部３６は、その被写体画像データを画像処理部３４から受け取り、表示用の画像信号に変換して表示部３７に当該画像を表示させる。すなわち、表示制御部３６は、ミニチュア撮影効果処理が施されていない通常の画像を表示部３７に表示させる。

ステップＳ１０９では、焦点調整部４１が、画像処理部３４から表示画像に対応する評価用の被写体画像データを取得してコントラスト評価値を算出する。そして、ステップＳ１１０で、焦点調整部４１は、算出したコントラスト評価値の推移を参照して、現在の被写体画像データに対するコントラスト評価値が最大であるか否かを判断する。最大でないと判断した場合には、ステップＳ１１１へ進む。ステップＳ１１１では、焦点調整部４１は、コントラスト評価値の推移に従って、フォーカスレンズを微小量移動させ、ステップＳ１０７へ再び処理を戻す。

したがって、焦点調整であるステップＳ１０７からステップＳ１１１の処理が繰り返されている間は、ミニチュア撮影効果処理が施されていない通常の画像がライブビュー画像として表示され続ける。

ステップＳ１１０で、焦点調整部４１は、現在の被写体画像データに対するコントラスト評価値が最大であると判断した場合には、ステップＳ１１２へ進む。ステップＳ１１２で、表示制御部３６は、焦点調整が完了した旨を告知する合焦表示を、ステップＳ１０７で取得した通常の被写体画像に重畳して、表示部３７に表示させる。そしてステップＳ１１３で、システム制御部１１は、タイマーＴによる経時を開始する。

ステップＳ１１４へ進み、システム制御部１１は、レリーズスイッチ４０がユーザにより更に操作されて撮影指示が行われているか否かを確認する。行われていないと判断した場合にはステップＳ１１５へ進み、システム制御部１１は、タイマーＴが規定時間Ｔ_０を超えていないか否かを判断する。つまり、規定時間Ｔ_０は、撮影指示を許容する時間であり、この間はステップＳ１１２による重畳表示が継続されている。

ステップＳ１１４で、撮影指示が行われていると判断した場合にはステップＳ１１６へ進み、システム制御部１１は、静止画像ファイル生成のための撮影動作を実行する。画像処理部３４は、取得された撮影画像データにミニチュア撮影効果処理を施した上で静止画像ファイルを生成し、システム制御部１１は、記録媒体ＩＦ３８を介して記録媒体５０に当該静止画像ファイルを記録する。

ステップＳ１１５で規定時間Ｔ０が経過した場合、または、ステップＳ１１６で撮影動作が完了した場合は、ステップＳ１１７へ進む。そして、ステップＳ１１７で、システム制御部１１が撮影モードの終了を判断するまで、以上の処理を継続する。

以上の実施形態においては、静止画撮影モードにおけるライブビュー画像の表示を前提に説明したが、被写体像の確認という観点においては、動画撮影中のライブビュー画像の表示に対しても上述の処理を適用し得る。ただし、動画特有の性質において処理を変更すべき点もあるので、以下に動画撮影時の処理について説明する。

図９は、動画撮影時の処理フローを示す図である。一連の処理は、動画撮影が始められた時点から開始される。なお、本フローにおいても、特殊効果フィルターとしてミニチュア撮影効果が選択されている例により説明するが、パターンマスクの生成など図８の処理と共通する処理については一部省略している。

ステップＳ２０１で、画像処理部３４は、撮像素子３１で光電変換されＡ／Ｄ変換器３２でデジタル化された画像データに通常の画像処理を施して生成した被写体画像データを取得する。そして、ステップＳ２０２において、焦点調整部４１が、画像処理部３４から当該被写体画像データに対応する評価用の被写体画像データを取得してコントラスト評価値を算出する。また、画像処理部３４は、ステップＳ２０３で、取得した被写体画像データにミニチュア撮影効果処理を施す。表示制御部３６は、ステップＳ２０４で、ミニチュア撮影効果処理が施された画像データを画像処理部３４から受け取る。そして、表示用の画像信号に変換して表示部３７へ送信し、表示部３７に当該画像を表示させる。

ステップＳ２０５で、焦点調整部４１は、ステップＳ２０２で算出したコントラスト評価値と前回算出したコントラスト評価値を比較し、もし今回のコントラスト評価値が前回のコントラスト値よりも小さいのであれば、その低下量をＥとして算出する。そして、低下量Ｅが、予め設定された許容値Ｅ_０以下であれば、ステップＳ２１３へ進む。ステップＳ２１３では、システム制御部１１は、動画撮影の終了が指示されたか否かを判断する。終了の指示がされていないと判断したらステップＳ２０１へ戻り、動画撮影を継続する。したがって、コントラスト値が許容値Ｅ_０を超えて低下しない限りは、ステップＳ２０１からステップＳ２０４の処理が繰り返されることになるので、ミニチュア撮影効果処理が施された画像が動画撮影中のライブビュー画像として表示され続ける。

ステップＳ２０５で、低下量Ｅが予め設定された許容値Ｅ_０を超えていると焦点調整部４１が判断した場合は、ステップＳ２０６へ進む。ステップＳ２０６では、焦点調整部４１は更に、低下量Ｅが許容値Ｅ_０よりも大きいＥ_１を超えているか否かを判断する。低下量Ｅが許容値Ｅ_１を超えていると焦点調整部４１が判断した場合は、ステップＳ２１４へ進み、そうでない場合は、ステップＳ２０７へ進む。

ステップＳ２０７では、画像処理部３４は、撮像素子３１で光電変換されＡ／Ｄ変換器３２でデジタル化された画像データに通常の画像処理を施して生成した被写体画像データを取得する。そして、ステップＳ２０８において、焦点調整部４１が、画像処理部３４から当該被写体画像データに対応する評価用の被写体画像データを取得してコントラスト評価値を算出する。また、画像処理部３４は、ステップＳ２０９で、取得した被写体画像データにミニチュア撮影効果処理を施す。表示制御部３６は、ステップＳ２１０で、ミニチュア撮影効果処理が施された画像データを画像処理部３４から受け取る。そして、表示用の画像信号に変換して表示部３７へ送信し、表示部３７に当該画像を表示させる。

ステップＳ２１１で、焦点調整部４１は、算出したコントラスト評価値の推移を参照して、現在の被写体画像データに対するコントラスト評価値が最大であるか否かを判断する。最大でないと判断した場合には、ステップＳ２１２へ進む。ステップＳ２１２では、焦点調整部４１は、コントラスト評価値の推移に従って、フォーカスレンズを微小量移動させ、ステップＳ２０７へ再び処理を戻す。したがって、低下量Ｅが許容値Ｅ_１以下であるような焦点位置の微調整の場合は、ステップＳ２０７からステップＳ２１２の処理が繰り返されることになるので、ミニチュア撮影効果処理が施された画像が動画撮影中のライブビュー画像として表示され続ける。

ステップＳ２１４では、画像処理部３４は、撮像素子３１で光電変換された画像信号に通常の画像処理を施して生成した被写体画像データを取得する。そして、ステップＳ２１５において、焦点調整部４１が、画像処理部３４から当該被写体画像データに対応する評価用の被写体画像データを取得してコントラスト評価値を算出する。そして、ステップＳ２１６で、表示制御部３６は、ステップＳ２１４で取得された被写体画像データを画像処理部３４から受け取り、表示用の画像信号に変換して表示部３７に当該画像を表示させる。すなわち、表示制御部３６は、ミニチュア撮影効果処理が施されていない通常の画像を表示部３７に表示させる。

ステップＳ２１７で、焦点調整部４１は、算出したコントラスト評価値の推移を参照して、現在の被写体画像データに対するコントラスト評価値が最大であるか否かを判断する。最大でないと判断した場合には、ステップＳ２１８へ進む。ステップＳ２１８では、焦点調整部４１は、コントラスト評価値の推移に従って、フォーカスレンズを微小量移動させ、ステップＳ２１４へ再び処理を戻す。したがって、低下量Ｅが許容値Ｅ_１を超えているような焦点位置の大幅な再調整の場合は、ステップＳ２１４からステップＳ２１８の処理が繰り返されることになるので、ミニチュア撮影効果処理が施されていない通常の画像が動画撮影中のライブビュー画像として表示され続ける。

ステップＳ２１７で、コントラスト値が最大であると焦点調整部４１が判断した場合は、システム制御部１１は、ステップＳ２１９で、タイマーＴによる経時を開始する。そして、ステップＳ２２０で、システム制御部１１は、タイマーＴが規定時間Ｔ_０を超えていないか否かを判断する。この間はステップＳ２１６による表示が継続されている。ステップ２２０で、システム制御部１１が規定時間Ｔ_０を超えたと判断した場合、および、ステップＳ２１１で、焦点調整部４１が現在の被写体画像データに対するコントラスト評価値が最大であると判断した場合には、ステップＳ２１３へ進む。ステップＳ２１３では、システム制御部１１は、動画撮影の終了が指示されたか否かを判断する。終了の指示がされていないと判断したらステップＳ２０１へ戻り、動画撮影を継続する。終了の指示がされたと判断したら、画像処理部３４は、動画ファイルの終端処理を実行して一連の処理を終了させる。

以上の処理によれば、焦点調整部４１が予め定められた範囲を超えて焦点を変更する場合に、表示制御部３６は、焦点調整に連動して、ミニチュア撮影効果処理が施されていない画像を表示させる。したがって、ユーザは、焦点調整部４１が微小量の焦点調整を行うときには逐一表示画像が切り替わる煩わしさが無く、一方で、大きく修正する焦点調整を行うときには、被写体像のピント状態を正しく視認できる。

以上の実施形態において、ユーザが合焦画像を確認することができる期間Ｔ_０は、例えば、ユーザに撮影指示を許容する時間として規定されている。しかし、ユーザが期間Ｔ_０を任意に設定できるように、カメラ１０を構成しても良い。例えば２秒、４秒といった固定時間の他に、特定の操作部材３９が押圧されている期間などの変動期間も設定対象として準備することができる。

以上の実施形態においては、コンパクトデジタルカメラであるカメラ１０を例に説明したが、撮像装置としてはコンパクトデジタルカメラに限らない。一眼レフカメラ、カメラ付き携帯端末においても多大な効果を発揮する。また、光学ファインダーを備えないミラーレスカメラ、動画撮影を主とするビデオカメラ等にも適用することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ カメラ、１１ システム制御部、１２ システムメモリ、２０ 光学系、２１ レンズ群、２２ レンズシャッタ、３１ 撮像素子、３２ Ａ／Ｄ変換器、３３ 内部メモリ、３４ 画像処理部、３５ 顔認識部、３６ 表示制御部、３７ 表示部、３８ 記録媒体ＩＦ、３９ 操作部材、４０ レリーズスイッチ、４１ 焦点調整部、４２ 露光制御部、４３ 電源ボタン、５０ 記録媒体、５１ シーソースイッチ、５２ 十字キー、５３ 確定ボタン、５４ 押しボタン、１０２ アイテムバー、１０３ トグルスイッチ、２０１ バス、２０２，２０３ 樹木、３０１ 合焦領域、３０２ 帯部、３１０ 別ウィンドウ

Claims (16)

1. 画像データを処理する画像処理部と、
   前記画像処理部により処理された画像データの画像を連続的に表示部に表示させる表示制御部と、
   被写体に対して焦点調整を行う焦点調整部と
   を備え、
   前記表示制御部は、取得された画像データにぼかし処理を伴う特殊効果処理を施すように前記画像処理部が設定された状態で前記焦点調整が行われた場合は、前記特殊効果処理が施されていない画像を前記表示部に表示させ、前記ぼかし処理を伴わない前記特殊効果処理を施すように前記画像処理部が設定された状態で前記焦点調整が行われた場合は、前記特殊効果処理が施されている画像の表示を行う撮像装置。
2. 前記表示制御部は、前記焦点調整の開始に同期して、前記特殊効果処理が施されていない画像を表示させる請求項１に記載の撮像装置。
3. 前記表示制御部は、前記焦点調整の完了に同期して、前記特殊効果処理が施されていない画像を表示させる請求項１に記載の撮像装置。
4. 前記表示制御部は、前記焦点調整が完了した旨を告知する合焦表示を行う期間を少なくとも含むように、前記特殊効果処理が施されていない画像を表示させる請求項１に記載の撮像装置。
5. 前記表示制御部は、予め定められた撮影モードが選択されている場合に、前記焦点調整に連動して、前記特殊効果処理が施されていない画像を表示させる請求項１から４のいずれか１項に記載の撮像装置。
6. 前記表示制御部は、前記焦点調整に連動して前記特殊効果処理が施されていない画像を前記表示部に表示させる旨の設定項目がユーザにより選択されている場合に、前記焦点調整に連動して、前記特殊効果処理が施されていない画像を表示させる請求項１から５のいずれか１項に記載の撮像装置。
7. 前記表示制御部は、前記特殊効果処理が施された画像の表示に別ウィンドウを重畳させて、該別ウィンドウに前記特殊効果処理が施されていない画像を表示させる請求項１から６のいずれか１項に記載の撮像装置。
8. 前記表示制御部は、前記別ウィンドウに、前記焦点調整が行われた部分領域を表示させる請求項７に記載の撮像装置。
9. 前記表示制御部は、予め定められた時間が経過した後に前記特殊効果処理が施された画像を再び表示させる請求項１から８のいずれか１項に記載の撮像装置。
10. 前記時間は、ユーザによって設定される請求項９に記載の撮像装置。
11. 前記表示制御部は、動画撮影時において、前記焦点調整に連動して、前記特殊効果処理が施されていない画像を表示させる請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記表示制御部は、前記焦点調整部が予め定められた範囲を超えて焦点を変更する場合に、前記特殊効果処理が施されていない画像を表示させる請求項１０に記載の撮像装置。
13. 前記画像処理部は、前記焦点調整に連動して、前記特殊効果処理を停止する請求項１から１２のいずれか１項に記載の撮像装置。
14. 前記特殊効果処理は、注目領域に対して周辺領域の空間周波数を低減させるミニュチュア撮影効果処理、および被写体像を絵画調で表現するスケッチ画像効果処理の少なくともいずれかを含む請求項１から１３のいずれか１項に記載の撮像装置。
15. 画像データを処理する画像処理ステップと、
    前記画像処理ステップにより処理された画像データの画像を連続的に表示部に表示させる表示制御ステップと、
    被写体に対して焦点調整を行う焦点調整ステップと
    を有し、
    前記表示制御ステップが、取得された画像データにぼかし処理を伴う特殊効果処理を施すように前記画像処理ステップが設定された状態で前記焦点調整が行われた場合は、前記特殊効果処理が施されていない画像を前記表示部に表示させ、前記ぼかし処理を伴わない前記特殊効果処理を施すように前記画像処理ステップが設定された状態で前記焦点調整が行われた場合は、前記特殊効果処理が施されている画像の表示を行うように、コンピュータにそれぞれのステップを実行させる撮像装置の制御プログラム。
16. 画像データを処理する画像処理部と、
    前記画像処理部により処理された画像データの画像を連続的に表示部に表示させる表示制御部と、
    被写体に対して焦点調整を行う焦点調整部と
    を備え、
    前記表示制御部は、取得された画像データに特殊効果処理を施した画像を前記表示部に表示しているときに前記焦点調整部による焦点調整が実行される場合は、前記特殊効果処理が施されていない画像を前記表示部に表示させる撮像装置。

Images