JP4908742B2

JP4908742B2 - 撮影装置およびこの制御方法

Info

Publication number: JP4908742B2
Application number: JP2004152330A
Authority: JP
Inventors: プーンユニス; めぐみ神田; クラークイアン
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-05-21
Filing date: 2004-05-21
Publication date: 2012-04-04
Anticipated expiration: 2024-05-21
Also published as: JP2005333587A

Description

本発明は、撮影装置およびこの制御方法に関し、詳しくは、画像を撮影する撮影装置およびこうした撮影装置の制御方法に関する。

従来、この種の撮影装置としては、撮影した画像を液晶モニタに表示するデジタルカメラなどが提案されている。この装置では、撮影した画像をその場で液晶モニタに表示し、撮影者に撮影した内容（画像）を確認させるようにしている。
特開平８−１８６７６８号公報

しかしながら、上述の撮影装置では、撮影者の技術や撮影環境によっては対象物にピントが合っていない状態で撮影してしまうことがある。この場合、液晶モニタに表示される画像を確認しても、液晶モニタのサイズや性能によっては対象物にピントが合っているか外れているかを判断するのが難しい。この結果、ピントが合っていない状態で撮影を終了してしまうことがある。

本発明の撮影装置およびこの制御方法は、撮影した画像のミスフォーカスをより適切に撮影者に通知することを目的の一つとする。また、本発明の撮影装置およびこの制御方法は、画像のミスフォーカスをより適正に判定することを目的の一つとする。

本発明の撮影装置およびこの制御方法は、上述の目的の少なくとも一部を達成するために以下の手段を採った。

本発明の撮影装置は、
画像を撮影する撮影装置であって、
撮影した画像を記憶する画像記憶手段と、
該画像記憶手段に記憶された画像の全領域のうち判定対象領域のミスフォーカスを判定するミスフォーカス判定手段と、
該判定結果を出力する判定結果出力手段と、
を備えることを要旨とする。

この本発明の撮影装置では、画像記憶手段に記憶された撮影した画像の全領域のうち判定対象領域のミスフォーカスを判定して判定結果を出力する。したがって、撮影した画像のミスフォーカスを判定して操作者に知らせることができる。ここで「判定結果を出力」には、判定結果の音声出力や画面出力などが含まれる。

こうした本発明の撮影装置において、撮影した画像の前記判定対象領域を設定する判定対象領域設定手段を備え、前記ミスフォーカス判定手段は前記判定対象領域設定手段により設定された判定対象領域のミスフォーカスを判定する手段であるものとすることもできる。この態様の本発明の撮影装置において、画面を表示する画面表示手段を備え、前記判定対象領域設定手段は、前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定する手段であるものとすることもできる。こうすれば、画像分割画面を介して選択された領域を判定対象領域として設定することができる。

さらに、本発明の撮影装置において、前記ミスフォーカス判定手段は、前記判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、少なくとも一つの前記各位置を含むブロックに前記判定対象領域を分割すると共に該ブロックに含まれる該各位置のエッジ評価値に基づいて該ブロックがピントが合っているインフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定する手段であるものとすることもできる。こうすれば、エッジの程度に応じてインフォーカス領域を判定すると共にこのインフォーカス領域の割合に基づいて判定対象領域のミスフォーカスを判定するから、より適正に判定対象領域のミスフォーカスを判定することができる。さらに、ブロック単位でインフォーカス領域の判定などを行なうから、画素単位で行なう場合などと比較して処理負荷をより低減することができる。

また、本発明の撮影装置において、前記ミスフォーカス判定手段は、前記判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、少なくとも一つの前記各位置を含むブロックに前記判定対象領域を分割すると共に該ブロックに含まれる該各位置のエッジ評価値に基づいて該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定する手段であるものとすることもできる。こうすれば、エッジの程度に応じてミスフォーカス領域を判定すると共にこのミスフォーカス領域の割合に基づいて判定対象領域のミスフォーカスを判定するから、より適正に判定対象領域のミスフォーカスを判定することができる。さらに、ブロック単位でミスフォーカス領域の判定などを行なうから、画素単位で行なう場合などと比較して処理負荷をより低減することができる。

さらに、本発明の撮影装置において、前記ミスフォーカス判定手段は、前記判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、少なくとも一つの前記各位置を含むブロックに前記判定対象領域を分割すると共に該ブロックに含まれる該各位置のエッジ評価値に基づいて該ブロックがピントが合っているインフォーカスブロックであるか否かを判定すると共に該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定する手段であるものとすることもできる。こうすれば、エッジの程度に応じてインフォーカス領域やミスフォーカス領域を判定すると共にこのインフォーカス領域やミスフォーカス領域の割合に基づいて判定対象領域のミスフォーカスを判定するから、より適正に判定対象領域のミスフォーカスを判定することができる。さらに、ブロック単位でインフォーカス領域やミスフォーカス領域の判定などを行なうから、画素単位で行なう場合などと比較して処理負荷をより低減することができる。

こうした本発明の撮影装置において、前記ミスフォーカス判定手段は、前記インフォーカス領域の割合が小さいほど／前記ミスフォーカス領域の割合が大きいほど前記判定対象領域をミスフォーカスと判定しやすい手段であるものとすることもできる。こうすれば、インフォーカス領域の割合が小さい場合やミスフォーカス領域の割合が大きい場合に判定対象領域をミスフォーカスと判定しやすくすることができる。

また、本発明の撮影装置において、前記ミスフォーカス判定手段は、前記インフォーカス領域および／または前記ミスフォーカス領域の前記判定対象領域全体における位置に基づいて該判定対象領域のミスフォーカスを判定する手段であるものとすることもできる。こうすれば、インフォーカス領域やミスフォーカス領域の位置に応じて判定対象領域のミスフォーカスを判定することができる。

さらに、本発明の撮影装置において、前記エッジ評価値はエッジの程度が小さいほど大きくなる傾向の値であり、前記ミスフォーカス判定手段は前記ブロックに含まれる前記各位置のエッジ評価値が大きいほど該ブロックがインフォーカスブロックでない／ミスフォーカスブロックであると判定しやすい手段であるものとすることもできる。こうすれば、エッジ評価値が大きいほど、インフォーカスブロックでないと判定したりミスフォーカスブロックであると判定したりすることができる。

こうした本発明の撮影装置において、前記ミスフォーカス判定手段は、前記ブロックに含まれる前記各位置のエッジ評価値に基づいて該ブロック単位のエッジ評価値を演算し、該ブロック単位のエッジ評価値が所定閾値以下のときには該ブロックがインフォーカスブロックである／ミスフォーカスブロックでないと判定し該ブロック単位のエッジ評価値が所定閾値より大きいときには該ブロックがインフォーカスブロックでない／ミスフォーカスブロックであると判定する手段であるものとすることもできる。こうすれば、ブロック単位のエッジ評価値と所定閾値との比較によりインフォーカスブロックやミスフォーカスブロックの判定を行なうことができる。

また、本発明の撮影装置において、前記ミスフォーカス判定手段は、前記判定対象領域の各位置における垂直方向および／または水平方向に近接する画素間の輝度差を示すエッジ勾配を演算し、該演算したエッジ勾配が大きいほど小さな値となるように前記エッジ評価値を演算する手段であるものとすることもできる。こうすれば、エッジ勾配に基づいてエッジ評価値を演算することができる。この場合、前記ミスフォーカス判定手段は、Ｓｏｂｅｌエッジ検出用フィルタを用いて前記エッジ勾配を演算する手段であるものとすることもできる。

さらに、本発明の撮影装置において、前記ミスフォーカス判定手段は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記エッジ評価値を演算する手段であるものとすることもできる。こうすれば、エッジ幅に基づいてエッジ評価値を演算することができる。ここで「エッジの方向」とは、エッジを示す線に略直交する方向を意味する。

こうした本発明の撮影装置において、前記ミスフォーカス判定手段は、前記ブロックに含まれる前記各位置のエッジ評価値に基づいて判定されたインフォーカスブロックであるか否か／ミスフォーカスブロックであるか否かの判定結果を該インフォーカスブロックおよび／または該ミスフォーカスブロックが連続して配置される傾向で修正する手段であるものとすることもできる。こうすれば、インフォーカスブロックやミスフォーカスブロックが連続するように判定結果を修正することができる。

本発明の撮影装置の制御方法は、
撮影した画像を記憶する画像記憶手段を備える撮影装置の制御方法であって、
（ａ）前記画像記憶手段に記憶された画像の全領域のうち判定対象領域のミスフォーカスを判定し、
（ｂ）該判定結果を出力する、
ことを要旨とする。

この本発明の撮影装置の制御方法では、画像記憶手段に記憶された撮影した画像の全領域のうち判定対象領域のミスフォーカスを判定して判定結果を出力する。したがって、撮影した画像のミスフォーカスを判定して操作者に知らせることができる。ここで「判定結果を出力」には、判定結果の音声出力や画面出力などが含まれる。

こうした本発明の撮影装置の制御方法において、前記ステップ（ａ）は、前記判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、少なくとも一つの前記各位置を含むブロックに前記判定対象領域を分割すると共に該ブロックに含まれる該各位置のエッジ評価値に基づいて該ブロックがピントが合っているインフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定するステップであるものとしたり、前記判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、少なくとも一つの前記各位置を含むブロックに前記判定対象領域を分割すると共に該ブロックに含まれる該各位置のエッジ評価値に基づいて該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定するステップであるものとしたり、前記判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、少なくとも一つの前記各位置を含むブロックに前記判定対象領域を分割すると共に該ブロックに含まれる該各位置のエッジ評価値に基づいて該ブロックがピントが合っているインフォーカスブロックであるか否かを判定すると共に該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定するステップであるものとしたりすることができる。こうすれば、エッジの程度に応じてインフォーカス領域やミスフォーカス領域を判定すると共にこのインフォーカス領域やミスフォーカス領域の割合に基づいて判定対象領域のミスフォーカスを判定するから、より適正に判定対象領域のミスフォーカスを判定することができる。さらに、ブロック単位でインフォーカス領域やミスフォーカス領域の判定などを行なうから、画素単位で行なう場合などと比較して処理負荷をより低減することができる。

次に、本発明を実施するための最良の形態を実施例を用いて説明する。

図１は、本発明の一実施例としての撮影装置であるデジタルカメラ２０の外観を例示する斜視図であり、図２は実施例のデジタルカメラ２０の背面を例示する背面図であり、図３は実施例のデジタルカメラ２０の機能ブロックを例示するブロック図である。

実施例のデジタルカメラ２０は、図１に示すように、正面には光学３倍ズームが可能なズーム機構付きレンズ２１と、点滅することによりセルフタイマーが動作中であることを表示するセルフタイマー点灯部２５とを備え、上部にはモードを選択するモードダイヤル２３と、このモードダイヤル２３の中央に配置された電源ボタン２２と、シャッターボタン２４とを備える。また、デジタルカメラ２０は、図２に示すように、背面３０には、中央の左寄りに配置された液晶ディスプレイ３１と、その右側に配置され上下左右の方向に操作可能な４方向ボタン３２と、背面３０の左上に配置された印刷ボタン３３と、ズーム機能を操作するＷボタン３４ａおよびＴボタン３４ｂと、４方向ボタン３２の左上に配置されたメニューボタン３５と、液晶ディスプレイ３１の下方の左右に配置されたＡボタン３６およびＢボタン３７と、４方向ボタン３２の下方左に配置され液晶ディスプレイ３１への表示を切り替えるディスプレーボタン３８と、その右方向に配置されたレビューボタン３９とを備える。

実施例のデジタルカメラ２０は、機能的には図３に例示するように、中央演算処理装置としてのＣＰＵ４０ａや処理プログラムを記憶するＲＯＭ４０ｂ，一時的にデータを記憶するワークメモリ４０ｃ，設定されたデータを不揮発的に記憶するフラッシュメモリ４０ｄなどを中心として構成されている。デジタルカメラ２０は、撮影系として、レンズや絞りなどにより構成された光学系４２や、この光学系４２により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル毎の受光量に応じた電気信号を出力するイメージセンサ４３、このイメージセンサ４３を駆動するために必要な駆動パルスをイメージセンサ４３に出力する駆動回路としてのセンサコントローラ４４、イメージセンサ４３から出力される電気信号を量子化してデジタル信号に変換するアナログフロントエンド（ＡＦＥ）部４５、このＡＦＥ部４５から出力されたデジタル信号に対して画像形成処理，ホワイトバランス補正，γ補正，色空間変換等を施して各画素についてＲ，Ｇ，Ｂの階調値やＹ，Ｃｂ，Ｃｒの階調値などを表すデジタル画像を出力するデジタル画像処理部４６、デジタル画像の系列変換（離散コサイン変換やウェーブレット変換等）及びエントロピー符号化（ランレングス符号化やハフマン符号化等）を行なうことによりデジタル画像を圧縮しそれらの逆変換を施すことによりデジタル画像を伸張する圧縮伸張部４７などを備える。また、実施例のデジタルカメラ２０は、液晶ディスプレイ３１の一画面分のデータを格納するためのフレームバッファやフレームバッファに格納されたデジタル画像に基づいて液晶ディスプレイ３１を駆動するための表示回路を有するディスプレイコントローラ５０やモードダイヤル２３，４方向ボタン３２，各種ボタン２４，３３〜３９の入力および着脱可能なフラッシュメモリなどの記憶媒体５３への入出力を司る入出力インタフェース５２、ＵＳＢ（Universal Serial Bus）接続端子５５に接続された機器（コンピュータやプリンタ）との通信のやり取りを管理するＵＳＢホストコントローラ５４やＵＳＢデバイスコントローラ５６なども備えている。なお、デジタル画像処理部４６により画像処理された画像データや圧縮伸張部４７により圧縮・伸張された画像データは、一旦ワークメモリ４０ｃに書き込まれ、その後、撮影順にＩＤとしてのファイル名が付与されて画像ファイルとして入出力インタフェース５２を介して記憶媒体５３に書き込まれる。

次に、こうして構成された実施例のデジタルカメラ２０の動作、特に撮影した画像のミスフォーカスを判定する動作について説明する。図４は、画像を撮影する際にＣＰＵ４０ａにより実行される画像撮影処理の一例を示すフローチャートである。画像撮影処理が実行されると、ＣＰＵ４０ａは、まず、撮影された画像の画像データをワークメモリ４０ｃに書き込むと共にこの画像を９分割して表示する画像分割画面を液晶ディスプレイ３１に表示する（ステップＳ１００，Ｓ１１０）。液晶ディスプレイ３１に表示された画像分割画面の一例を図５に示す。画像分割画面は、図示するように、画像を９分割するための境界線（破線）が画像の上層に重ねて描画されている。画像分割画面の表示は、ワークメモリ４０ｃに書き込んだ画像データやＲＯＭ４０ｂに予め記憶されている境界線の画像データをディスプレイコントローラ５０を介して液晶ディスプレイ３１に出力することにより行なわれる。

こうして液晶ディスプレイ３１に画像分割画面を表示している状態で、４方向ボタン３２を操作することによりカーソルが所望の分割領域に合わせられＡボタン３６が操作されると、カーソルが合わせられた分割領域を判定対象領域として設定し、この判定対象領域のミスフォーカスを判定するミスフォーカス判定処理を実行する（ステップＳ１２０，Ｓ１３０）。ここで、画像撮影処理の説明を中断し、図６に例示するミスフォーカス判定処理について説明する。

ミスフォーカス判定処理では、まず、図示するように、赤（Ｒ），緑（Ｇ），青（Ｂ）の表色系で表現された判定対象領域の画像（ＲＧＢ画像）を次式（１）〜（３）によりＹ（輝度），Ｉ（オレンジ−シアン），Ｑ（緑−マゼンダ）の三要素からなるＹＩＱ色空間に変換する（ステップＳ２００）。

Y = 0.299R + 0.587G + 0.114B ・・・（１）
I = 0.596R - 0.274G + 0.322B ・・・（２）
Q = 0.211R - 0.523G + 0.312B ・・・（３）

そして、ＹＩＱ色空間に変換した画像のＹチャンネルの値（輝度値）を用いて各画素位置（ｘ，ｙ）における水平方向のエッジ勾配ｄｘと垂直方向のエッジ勾配ｄｙとを演算すると共にこのエッジ勾配ｄｘ，ｄｙに基づいてエッジ勾配の大きさａ（ｘ，ｙ）を次式（４）により計算する（ステップＳ２１０，Ｓ２２０）。実施例では、エッジ勾配ｄｘ，ｄｙを演算する際には、図７に示すＳｏｂｅｌフィルタを用いて行なうものとした。具体的には、対象となる画素位置（ｘ，ｙ）を中心として上下左右の９つの画素の輝度値に対してＳｏｂｅｌフィルタの係数をそれぞれ乗算し、この乗算結果を合計することによりエッジ勾配ｄｘ，ｄｙを演算する。

続いて、エッジ勾配ｄｘ，ｄｙに基づいてエッジ方向θを求めると共にこのエッジ方向θに基づいて定まる方向（水平方向か垂直方向）のエッジ幅ｗ（ｘ，ｙ）を演算する（ステップＳ２３０）。エッジ方向θはエッジ勾配ｄｘ，ｄｙとの間で次式（５）の関係を満たすθとして求めることができ、エッジを示す線に対して略直交する方向となる。図８は、エッジ幅ｗ（ｘ，ｙ）の一例を示す説明図である。図示するように、エッジ幅ｗ（ｘ，ｙ）は、対象の画素位置（ｘ，ｙ）を基準として輝度値が極大値をとる最初の画素位置と輝度値が極小値をとる最初の画素位置との距離（画素数）である。エッジ幅ｗ（ｘ，ｙ）を演算する際の方向は、実施例では、エッジ方向θが４５°未満のときには水平方向とし、エッジ方向θが４５°〜９０°のときには垂直方向とした。

tanθ = dy/dx ・・・（５）

そして、演算したエッジ勾配の大きさａ（ｘ，ｙ）やエッジ幅ｗ（ｘ，ｙ）に基づいて各画素位置（ｘ，ｙ）におけるミスフォーカスの程度を示すミスフォーカス評価値Ｍ（ｘ，ｙ）を次式（６）により演算する（ステップＳ２４０）。式（６）から分かるように、ミスフォーカス評価値Ｍ（ｘ，ｙ）は、エッジ勾配の大きさａ（ｘ，ｙ）が大きいほど小さな値となり、エッジ幅ｗ（ｘ，ｙ）が小さいほど小さな値となる。即ち、エッジ勾配が大きくてエッジ幅が短いような、はっきりとしたエッジが存在するほど、ミスフォーカス評価値Ｍ（ｘ，ｙ）は小さな値となるのである。なお、エッジ勾配の大きさａ（ｘ，ｙ）が略値０の場合には、ミスフォーカス評価値Ｍ（ｘ，ｙ）には評価不能を示す値（例えば、“＊”（アスタリスク）など）を設定するものとした。このようなケースとしては、画像のうち輝度の変化の少ない領域（例えば、空や海など）の画素位置におけるエッジ勾配の大きさａ（ｘ，ｙ）などを考えることができる。

M(x,y) = W(x,y)/a(x,y) ・・・（６）

こうして各画素位置（ｘ，ｙ）におけるミスフォーカス評価値Ｍ（ｘ，ｙ）を演算すると、判定対象領域の画像をｍ×ｎのブロックに分割し、分割したブロック内の各画素位置（ｘ，ｙ）におけるミスフォーカス評価値Ｍ（ｘ，ｙ）の中から最大値を抽出することによりブロック単位のミスフォーカス評価値Ｙ（ｍ，ｎ）を生成する（ステップＳ２５０）。

続いて、ブロック単位のミスフォーカス評価値Ｙ（ｍ，ｎ）とブロック分類用の閾値とを比較することにより、各ブロックをピントが外れているミスフォーカスブロックとピントが合っているインフォーカスブロックとに分類してブロック分類Ｘ（ｍ，ｎ）を生成する（ステップＳ２６０）。具体的には、ミスフォーカス評価値Ｙ（ｍ，ｎ）がブロック分類用の閾値より大きいときにはミスフォーカスブロックに分類し、ブロック分類用の閾値以下のときにはインフォーカスブロックに分類する。図９は、こうして生成されたブロック分類Ｘ（ｍ，ｎ）をイメージとして表す説明図である。図示するように、各ブロックは、ミスフォーカスブロックとインフォーカスブロックのほか、ブロック内の全ての画素位置のミスフォーカス評価値Ｍ（ｘ，ｙ）が評価不能を示す値であることを示す評価不能ブロックとに分類される。

そして、ブロック分類Ｘ（ｍ，ｎ）や前述したブロック単位のミスフォーカス評価値Ｙ（ｍ，ｎ）に基づいて、散在するインフォーカスブロックやミスフォーカスブロックを周辺のブロックに埋没させて分類が同じブロックを連続して配置するためのオブジェクト分割処理を実行する（ステップＳ２７０）。具体的には、ベイズの定理に基づく次式（７）〜（９）などを用いて、近接するブロックの分類を考慮して、各ブロックがミスフォーカスブロックである場合とインフォーカスブロックである場合の事後確率を演算し、この演算した事後確率が高い方の分類でブロック分類Ｘ（ｍ，ｎ）を更新する処理を繰り返し実行する。図１０は、オブジェクト分割処理を実行する際のブロック分類Ｘ（ｍ，ｎ）の様子をイメージとして表す説明図である。このように、分類が同じブロックが連続して配置されるように、ブロック分類Ｘ（ｍ，ｎ）が更新される。なお、評価不能ブロックは、オブジェクト分類処理の最後に、周辺のブロックの分類に基づいてインフォーカスブロックかミスフォーカスブロックのどちらかに更新するものとした。

こうしてオブジェクト分割処理を実行すると、インフォーカスブロックの領域とミスフォーカスブロックの領域のブロック数に基づいて判定対象領域がミスフォーカスであるか否かを判定する（ステップＳ２８０）。判定対象領域がミスフォーカスであるか否かの判定は各種の判断基準を適用して行なうことができる。実施例では、ミスフォーカスブロックの判定対象領域全体に対する割合（ミスフォーカスブロック数／判定対象領域全体のブロック数）が所定値（例えば、０．８）より大きいときに、判定対象領域がミスフォーカスであると判定するものとした。なお、インフォーカスブロックの領域とミスフォーカスブロックの領域と判定対象領域全体との割合や位置に基づく判断基準であればその他の判断基準であっても構わないのは勿論である。

こうして判定対象領域のミスフォーカスを判定すると、図４の画像撮影処理では、判定結果を出力する（ステップＳ１４０）。判定結果の出力は、判定対象領域がミスフォーカスであると判定されたときにはミスフォーカスである旨を示すメッセージを液晶ディスプレイ３１に表示すると共に警告音を出力し、ミスフォーカスでないと判定されたときにはミスフォーカスでない旨を示すメッセージを液晶ディスプレイ３１に表示するものとした。ミスフォーカスであると判定された場合のメッセージの表示例を図１１に示す。そして、Ａボタン３６が操作されると、ワークメモリ４０ｃの画像データを記憶媒体５３に書き込んで（ステップＳ１５０）、この画像撮影処理を終了する。なお、Ｂボタン３７が操作された場合には、画像データの記憶媒体５３への書き込みを行なわずに処理を終了するものとした。撮影者は、ミスフォーカスの判定結果に応じて、画像データを保存したり破棄したりするのである。

以上説明した実施例のデジタルカメラ２０によれば、撮影した画像の全領域のうち画像分割画面を介して設定された判定対象領域のミスフォーカスを判定して判定結果を出力することができる。この結果、撮影した画像のミスフォーカスを撮影者に知らせることができる。

また、実施例のデジタルカメラ２０によれば、画像の輝度値を用いて各画素位置（ｘ，ｙ）におけるエッジ勾配の大きさａ（ｘ，ｙ）やエッジ幅ｗ（ｘ，ｙ）を演算すると共にこれらを用いてミスフォーカス評価値Ｍ（ｘ，ｙ）を演算し、判定対象領域をブロックに分割してブロック単位のミスフォーカス評価値Ｙ（ｍ，ｎ）を生成すると共にブロック分類用の閾値と比較してミスフォーカスブロックとインフォーカスブロックとに分類し、インフォーカスブロックの領域とミスフォーカスブロックの領域のブロック数や判定対象領域全体に対する位置などに基づいて判定対象領域がミスフォーカスであるか否かを判定することができる。したがって、より適正に判定対象領域のミスフォーカスを判定することができる。また、判定対象領域をｍ×ｎのブロックに分割すると共にこのブロック単位で処理を行なうから、画素単位で処理を行なう場合と比較して処理負荷をより低減することができる。さらに、散在するインフォーカスブロックやミスフォーカスブロックを周辺のブロックに埋没させて分類が同じブロックを連続して配置するオブジェクト分割処理を実行するから、より適正に判定対象領域のミスフォーカスを判定することができる。

ここで、実施例のデジタルカメラ２０では、ワークメモリ４０ｃが画像記憶手段に相当し、液晶ディスプレイ３１が画面表示手段に相当し、ステップＳ１１０，Ｓ１２０の処理を実行するＣＰＵ４０ａが判定対象領域設定段に相当し、ミスフォーカス判定処理を実行するＣＰＵ４０ａがミスフォーカス判定手段に相当し、ステップＳ１４０の処理を実行するＣＰＵ４０ａが判定結果出力手段に相当する。また、ミスフォーカス評価値Ｍ（ｘ，ｙ）がエッジ評価値に相当する

実施例のデジタルカメラ２０では、判定対象領域を設定する画像分割画面において画像を９分割して表示するものとしたが、９分割でなくても構わないのは勿論であり、４分割や１６分割など、所定数の領域に分割して表示するものであればよい。また、判定対象領域を設定する方法は、その他の方法を採用してもよい。例えば、判定対象領域を自由な位置と大きさで設定するものとしても構わないし、人物撮影や風景撮影などの撮影モードに応じて予め判定対象領域を設定するものとしても差し支えない。また、常に所定の領域（画像の全領域，画像の中心位置からα％の領域など）を判定対象領域とするものとしても構わない。

実施例のデジタルカメラ２０では、ミスフォーカス評価値Ｍ（ｘ，ｙ）は、エッジ勾配が大きくてエッジ幅が短いようなはっきりとしたエッジが存在するほど小さな値となるものとしたが、はっきりとしたエッジが存在するほど大きな値となるものとしてもよい。この場合、ブロックを分類する際には、ミスフォーカス評価値Ｙ（ｍ，ｎ）がブロック分類用の閾値より大きいときにはインフォーカスブロックに分類しブロック分類用の閾値以下のときにはミスフォーカスブロックに分類するものとすればよい。

実施例のデジタルカメラ２０では、エッジ勾配の大きさａ（ｘ，ｙ）やエッジ幅ｗ（ｘ，ｙ）に基づいてミスフォーカス評価値Ｍ（ｘ，ｙ）を演算するものとしたが、エッジ勾配の大きさａ（ｘ，ｙ）のみに基づいて演算するものとしたり、エッジ幅ｗ（ｘ，ｙ）のみに基づいて演算するものとしても構わない。さらに、ミスフォーカス評価値Ｍ（ｘ，ｙ）がエッジの程度に基づく値となれば、その他の各種の演算方法を適用するものとしても差し支えない。

実施例のデジタルカメラ２０では、ブロック内の各画素位置（ｘ，ｙ）におけるミスフォーカス評価値Ｍ（ｘ，ｙ）の中から最大値を抽出することによりブロック単位のミスフォーカス評価値Ｙ（ｍ，ｎ）を生成するものとしたが、ブロック内のミスフォーカス評価値Ｍ（ｘ，ｙ）に基づいていればよく、例えば、ブロック内のミスフォーカス評価値Ｍ（ｘ，ｙ）の合計値や平均値，メディアンなどをブロック単位のミスフォーカス評価値Ｙ（ｍ，ｎ）としてもよい。

実施例のデジタルカメラ２０では、散在するインフォーカスブロックやミスフォーカスブロックを周辺のブロックに埋没させて分類が同じブロックを連続して配置するためのオブジェクト分割処理を実行するものとしたが、こうしたオブジェクト分割処理を実行しなくても構わない。この場合、ステップＳ２６０により生成したブロック分類Ｘ（ｍ，ｎ）に基づいて判定対象領域がミスフォーカスであるか否かを判定すればよい。

実施例のデジタルカメラ２０では、インフォーカスブロックの領域とミスフォーカスブロックの領域のブロック数や判定対象領域全体に対する位置などに基づいて画像がミスフォーカスであるか否かを判定するものとしたが、インフォーカスブロックの領域のみに基づいて判定するものとしたりミスフォーカスブロックの領域のみに基づいて判定するものとしても構わない。

実施例では、撮影した画像の全領域のうち画像分割画面を介して設定された判定対象領域のミスフォーカスを判定して判定結果を出力するデジタルカメラ２０の形態として説明したが、こうした撮影装置の制御方法の形態としてもよい。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。

デジタルカメラ２０の外観を例示する斜視図。デジタルカメラ２０の背面を例示する背面図。デジタルカメラ２０の機能ブロックを例示するブロック図。画像撮影処理の一例を示すフローチャート。液晶ディスプレイ３１に表示された画像分割画面の一例を示す説明図。ミスフォーカス判定処理の一例を示すフローチャート。Ｓｏｂｅｌフィルタを示す説明図。エッジ幅ｗ（ｘ，ｙ）の一例を示す説明図。ブロック分類Ｘ（ｍ，ｎ）をイメージとして表す説明図。オブジェクト分割処理を実行する様子を表す説明図。ミスフォーカスと判定された場合のメッセージの表示例を示す説明図。

符号の説明

２０デジタルカメラ、２１ズーム機構付きレンズ、２２電源ボタン、２３モードダイヤル、２４シャッターボタン、２５セルフタイマー点灯部、３０背面、３１液晶ディスプレイ、３１液晶ディスプレイ、３２４方向ボタン、３３印刷ボタン、３４ａＷボタン、３４ｂＴボタン、３５メニューボタン、３６Ａボタン、３７Ｂボタン、３８ディスプレーボタン、３９レビューボタン、４０ａＣＰＵ、４０ｂＲＯＭ、４０ｃワークメモリ、４０ｄフラッシュメモリ、４２光学系、４３イメージセンサ、４４センサコントローラ、４５アナログフロントエンド（ＡＦＥ）部、４６デジタル画像処理部、４７圧縮伸張部、５０ディスプレイコントローラ、５２入出力インタフェース、５３記憶媒体、５４ＵＳＢホストコントローラ、５５ＵＳＢ接続端子、５６ＵＳＢデバイスコントローラ。

Claims

画像を撮影する撮影装置であって、
画面を表示する画面表示手段と、
前記撮影した画像を記憶する画像記憶手段と、
前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し、該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定する判定対象領域設定手段と、
前記画像記憶手段に記憶された画像の全領域のうち前記判定対象領域設定手段により設定された判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、前記判定対象領域を前記各位置を複数含むブロックにさらに分割すると共に該ブロックに含まれる該各位置のエッジ評価値の最大値や合計値，平均値，メディアンのうちいずれか１つを用いて該ブロック単位のエッジ評価値を生成し、該生成したブロック単位のエッジ評価値と所定の閾値とを比較することにより該ブロックがピントが合っているインフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定するミスフォーカス判定手段と、
該判定結果を出力する判定結果出力手段と、
を備え、
前記ミスフォーカス判定手段は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記各位置のエッジ評価値を演算し、前記ブロック単位のエッジ評価値が大きいほど該ブロックがインフォーカスブロックでないと判定しやすく、前記ブロック単位のエッジ評価値に基づいて判定されたインフォーカスブロックであるか否かの判定結果を該インフォーカスブロックが連続して配置される傾向で修正し、前記インフォーカス領域の割合が小さいほど前記判定対象領域をミスフォーカスと判定しやすい手段である
撮影装置。
画像を撮影する撮影装置であって、
画面を表示する画面表示手段と、
前記撮影した画像を記憶する画像記憶手段と、
前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し、該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定する判定対象領域設定手段と、
前記画像記憶手段に記憶された画像の全領域のうち前記判定対象領域設定手段により設定された判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、前記判定対象領域を前記各位置を複数含むブロックにさらに分割すると共に該ブロックに含まれる該各位置のエッジ評価値の最大値や合計値，平均値，メディアンのうちいずれか１つを用いて該ブロック単位のエッジ評価値を生成し、該生成したブロック単位のエッジ評価値と所定の閾値とを比較することにより該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定するミスフォーカス判定手段と、
該判定結果を出力する判定結果出力手段と、
を備え、
前記ミスフォーカス判定手段は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記各位置のエッジ評価値を演算し、前記ブロック単位のエッジ評価値が大きいほど該ブロックがミスフォーカスブロックであると判定しやすく、前記ブロック単位のエッジ評価値に基づいて判定されたミスフォーカスブロックであるか否かの判定結果を該ミスフォーカスブロックが連続して配置される傾向で修正し、前記ミスフォーカス領域の割合が大きいほど前記判定対象領域をミスフォーカスと判定しやすい手段である
撮影装置。
画像を撮影する撮影装置であって、
画面を表示する画面表示手段と、
前記撮影した画像を記憶する画像記憶手段と、
前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し、該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定する判定対象領域設定手段と、
前記画像記憶手段に記憶された画像の全領域のうち前記判定対象領域設定手段により設定された判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、前記判定対象領域を前記各位置を複数含むブロックにさらに分割すると共に該ブロックに含まれる該各位置のエッジ評価値の最大値や合計値，平均値，メディアンのうちいずれか１つを用いて該ブロック単位のエッジ評価値を生成し、該生成したブロック単位のエッジ評価値と所定の閾値とを比較することにより該ブロックがピントが合っているインフォーカスブロックであるか否かを判定すると共に該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定するミスフォーカス判定手段と、
該判定結果を出力する判定結果出力手段と、
を備え、
前記ミスフォーカス判定手段は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記各位置のエッジ評価値を演算し、前記ブロック単位のエッジ評価値が大きいほど該ブロックがインフォーカスブロックでない／ミスフォーカスブロックであると判定しやすく、前記ブロック単位のエッジ評価値に基づいて判定されたインフォーカスブロックであるか否か／ミスフォーカスブロックであるか否かの判定結果を該インフォーカスブロックおよび／または該ミスフォーカスブロックが連続して配置される傾向で修正し、前記インフォーカス領域の割合が小さいほど／前記ミスフォーカス領域の割合が大きいほど前記判定対象領域をミスフォーカスと判定しやすい手段である
撮影装置。
前記ミスフォーカス判定手段は、前記インフォーカス領域および／または前記ミスフォーカス領域の前記判定対象領域全体における位置に基づいて該判定対象領域のミスフォーカスを判定する手段である請求項１ないし３いずれか１項に記載の撮影装置。
前記ミスフォーカス判定手段は、前記ブロック単位のエッジ評価値が前記所定の閾値以下のときには該ブロックがインフォーカスブロックである／ミスフォーカスブロックでないと判定し該ブロック単位のエッジ評価値が前記所定の閾値より大きいときには該ブロックがインフォーカスブロックでない／ミスフォーカスブロックであると判定する手段である請求項４記載の撮影装置。
前記ミスフォーカス判定手段は、前記判定対象領域の各位置における垂直方向および／または水平方向に近接する画素間の輝度差を示すエッジ勾配を演算し、該演算したエッジ勾配が大きいほど小さな値となるように前記各位置のエッジ評価値を演算する手段である請求項５記載の撮影装置。
前記ミスフォーカス判定手段は、Ｓｏｂｅｌエッジ検出用フィルタを用いて前記エッジ勾配を演算する手段である請求項６記載の撮影装置。
画面を表示する画面表示手段と、撮影した画像を記憶する画像記憶手段とを備える撮影装置の制御方法であって、
（ａ）前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し、該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定し、
（ｂ）前記画像記憶手段に記憶された画像の全領域のうち前記判定対象領域設定手段により設定された判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、前記判定対象領域を前記各位置を複数含むブロックにさらに分割すると共に該ブロックに含まれる該各位置のエッジ評価値の最大値や合計値，平均値，メディアンのうちいずれか１つを用いて該ブロック単位のエッジ評価値を生成し、該生成したブロック単位のエッジ評価値と所定の閾値とを比較することにより該ブロックがピントが合っているインフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定し、
（ｃ）該判定結果を出力し、
前記ステップ（ｂ）は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記各位置のエッジ評価値を演算し、前記ブロック単位のエッジ評価値が大きいほど該ブロックがインフォーカスブロックでないと判定しやすく、前記ブロック単位のエッジ評価値に基づいて判定されたインフォーカスブロックであるか否かの判定結果を該インフォーカスブロックが連続して配置される傾向で修正し、前記インフォーカス領域の割合が小さいほど前記判定対象領域をミスフォーカスと判定しやすいステップである
撮影装置の制御方法。
画面を表示する画面表示手段と、撮影した画像を記憶する画像記憶手段とを備える撮影装置の制御方法であって、
（ａ）前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し、該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定し、
（ｂ）前記画像記憶手段に記憶された画像の全領域のうち前記判定対象領域設定手段により設定された判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、前記判定対象領域を前記各位置を複数含むブロックにさらに分割すると共に該ブロックに含まれる該各位置のエッジ評価値の最大値や合計値，平均値，メディアンのうちいずれか１つを用いて該ブロック単位のエッジ評価値を生成し、該生成したブロック単位のエッジ評価値と所定の閾値とを比較することにより該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定し、
（ｃ）該判定結果を出力し、
前記ステップ（ｂ）は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記各位置のエッジ評価値を演算し、前記ブロック単位のエッジ評価値が大きいほど該ブロックがミスフォーカスブロックであると判定しやすく、前記ブロック単位のエッジ評価値に基づいて判定されたミスフォーカスブロックであるか否かの判定結果を該ミスフォーカスブロックが連続して配置される傾向で修正し、前記ミスフォーカス領域の割合が大きいほど前記判定対象領域をミスフォーカスと判定しやすいステップである
撮影装置の制御方法。
画面を表示する画面表示手段と、撮影した画像を記憶する画像記憶手段とを備える撮影装置の制御方法であって、
（ａ）前記撮影した画像を所定数の領域に分割すると共に該領域を選択可能な画像分割画面を前記画面表示手段に表示し、該表示した画像分割画面を介して選択された領域を前記判定対象領域として設定し、
（ｂ）前記画像記憶手段に記憶された画像の全領域のうち前記判定対象領域設定手段により設定された判定対象領域を構成する各画素の輝度情報に基づいて該判定対象領域の各位置におけるエッジの程度を示すエッジ評価値を演算し、前記判定対象領域を前記各位置を複数含むブロックにさらに分割すると共に該ブロックに含まれる該各位置のエッジ評価値の最大値や合計値，平均値，メディアンのうちいずれか１つを用いて該ブロック単位のエッジ評価値を生成し、該生成したブロック単位のエッジ評価値と所定の閾値とを比較することにより該ブロックがピントが合っているインフォーカスブロックであるか否かを判定すると共に該ブロックがピントが外れているミスフォーカスブロックであるか否かを判定し、該判定によりインフォーカスブロックであると判定されたブロックにより構成されるインフォーカス領域と該判定によりミスフォーカスブロックであると判定されたブロックにより構成されるミスフォーカス領域と前記判定対象領域全体との割合に基づいて該判定対象領域のミスフォーカスを判定し、
（ｃ）該判定結果を出力し、
前記ステップ（ｂ）は、前記判定対象領域の各位置における垂直方向のエッジ勾配と水平方向のエッジ勾配とに基づいてエッジの方向を示すエッジ方向を演算し、該判定対象領域の各位置を中心として該演算したエッジ方向に近接する画素のうち輝度の極大値を有する画素と極小値を有する画素との距離を示すエッジ幅を演算し、該演算したエッジ幅が大きいほど大きな値となるように前記各位置のエッジ評価値を演算し、前記ブロック単位のエッジ評価値が大きいほど該ブロックがインフォーカスブロックでない／ミスフォーカスブロックであると判定しやすく、前記ブロック単位のエッジ評価値に基づいて判定されたインフォーカスブロックであるか否か／ミスフォーカスブロックであるか否かの判定結果を該インフォーカスブロックおよび／または該ミスフォーカスブロックが連続して配置される傾向で修正し、前記インフォーカス領域の割合が小さいほど／前記ミスフォーカス領域の割合が大きいほど前記判定対象領域をミスフォーカスと判定しやすいステップである
撮影装置の制御方法。