JP5725380B2 - オートフォーカス画像システム - Google Patents

オートフォーカス画像システム Download PDF

Info

Publication number
JP5725380B2
JP5725380B2 JP2012542669A JP2012542669A JP5725380B2 JP 5725380 B2 JP5725380 B2 JP 5725380B2 JP 2012542669 A JP2012542669 A JP 2012542669A JP 2012542669 A JP2012542669 A JP 2012542669A JP 5725380 B2 JP5725380 B2 JP 5725380B2
Authority
JP
Japan
Prior art keywords
gradient
peak
pair
edge
gradients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012542669A
Other languages
English (en)
Other versions
JP2013527635A (ja
Inventor
ナム タイ,ヒョク
ナム タイ,ヒョク
Original Assignee
ナム タイ,ヒョク
ナム タイ,ヒョク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナム タイ,ヒョク, ナム タイ,ヒョク filed Critical ナム タイ,ヒョク
Publication of JP2013527635A publication Critical patent/JP2013527635A/ja
Application granted granted Critical
Publication of JP5725380B2 publication Critical patent/JP5725380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)

Description

(関連出願との相互参照)
本出願は、2009年12月7日に出願された米国仮出願第61/267,436号に基づく優先権を主張する。
開示される主題は概して、電子的にオートフォーカスして取り込まれた画像に関するものである。
デジタルカメラおよびデジタルビデオカメラなどのような写真機材は、静止又はビデオ画像への処理のために光を取り込む電子画像センサーをそれぞれ備えることができる。電子画像センサーは一般的に、フォトダイオードのような光取込素子を数百万個含んでいる。
カメラなどのような多くの画像取込装置は、オートフォーカスシステムを備えている。オートフォーカスのプロセスは、画像を取り込む工程と、フォーカスされているか否かを決定するように前記画像を処理する工程と、前記画像がフォーカスされていない場合に、フォーカスレンズの位置(フォーカス位置)を変更するために用いられるフィードバック信号を発生する工程とを含む。オートフォーカス技術としては、主に、コントラスト測定に関わる技術と、対になる画像の間の位相差に着目する技術との2つがある。前記コントラスト方法においては、隣接画素間の強度差を解析し、最大コントラストが検出されるまで前記フォーカスを調節する。前記コントラスト技術は、静止ピクチャに対応することができるが、モーションビデオには適していない。
前記位相差方法は、入力画像を、別々の画像センサーにより取り込まれる2つの画像に分割することを含む。また、前記2つの画像を比較して位相差を決定する。そして、前記2つの画像がマッチするまで前記フォーカス位置を調節する。前記位相差方法は、ビームスプリッター及び付加的な画像センサーのような付加的な部品が必要である。さらに、前記位相差の方法は、相対的に小さい帯域における固定検出点を解析する。小さなグループの検出点を有すると、ノイズが1つ以上の点に重ねられる可能性があるため、エラーが発生しやすくなる。この技術は、前記検出点が画像のエッジと一致しない場合にも無効である。結果として、前記位相差方法は、前記光を分割するため、光センサーに衝突する光の量が半分又はそれ以下に低減されてしまう。これは、前記画像の光強度が低下した薄暗い設置環境において問題になり得る。
フォーカス信号発生器に結合されている画素アレイを含むオートフォーカス画像システムである。前記画素アレイは、幅を有するエッジを少なくとも1つ備える画像を取り込む。前記発生器は、前記エッジ幅の関数及びエッジ幅の種々の統計データであるフォーカス信号を発生する。前記発生器は、画像信号の勾配プロファイルが非対称であるエッジを除去してもよい。
オートフォーカス画像ピックアップ装置の実施形態を示す概略図である。 オートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 フォーカス信号発生器を示すブロック図である。 画像信号マトリクスにおける水平方向のSobel演算子の演算を示す説明図である。 水平勾配からのエッジ幅の算出を示す図である。 斜め角φを有する垂直エッジについてのエッジ幅の算出を示す説明図である。 斜め角φを有する垂直エッジについてのエッジ幅の算出を示す説明図である。 斜め角φを有する水平エッジについてのエッジ幅の算出を示す説明図である。 斜め角φを有する水平エッジについてのエッジ幅の算出を示す説明図である。 斜めの垂直エッジについて斜め角φを算出し、エッジ幅を補正するプロセスを示すフローチャートである。 垂直連結エッジを示す説明図である。 図9Aは、グループのぎっしり詰まっている垂直バーを示す説明図である。図9Bは、図9Aにわたる画像信号を示すグラフである。図9Cは、図9Aにわたる水平方向のSobel勾配を示すグラフである。 浅い変調深度を有するぎっしり詰まっているエッジを消去するためのプロセスを示すフローチャートである。 精細なフォーカス信号を算出するためのエッジ幅の一範囲を説明する複数のエッジ幅のヒストグラムである。 1つのシーンを示す説明図である。 図12のシーンのフォーカス走査期間における狭いエッジのカウントの変化を示すグラフである。 図12のシーンのフォーカス走査期間における概略フォーカス信号の変化を示すグラフである。 フォーカス位置の範囲にわたる精細なフォーカス信号の変化を示すグラフである。 シーンにおける複数のオブジェクト及びこれらのオブジェクトのうちの1つに対する選択マークを表示する装置を示す説明図である。 フォーカス信号発生器の他の実施形態を示すブロック図である。 オートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 異なるフォーカス位置における、主画素アレイからのエッジ幅の変化及び補助画素アレイからのエッジ幅の変化を示す説明図である。 図23Aは、2つの隣接するエッジが相互作用しない場合における、両極(すなわち、両符号)の前記エッジをわたる画像信号の勾配を示す概略図である。 図23Bは、2つの隣接するエッジが相互作用する場合における、両極(すなわち、両符号)の前記エッジをわたる画像信号の勾配を示す概略図である。 図24Aは、図23Bからの複数の正勾配を示す図であり、特定の勾配レベルにおける1対の補間勾配の間の距離が、補間ピークによって2つの不均等な距離に分割されていることを示す。 図24Bは、図23Bからの複数の正勾配を示す図であり、2つの勾配レベルの間の区域であって、前記勾配プロファイルの2つの側の左右に面している区域が、前記補間ピーク直下の垂直線によって2つの不均等な領域に分割されていることを示す。 図24Cは、図23Bからの複数の正勾配を示す図であり、2つの勾配レベルの間の前記勾配プロファイルのセグメントの長さと、前記セグメント及び低い方の勾配レベル直下の領域の面積と、前記領域の底辺の幅を示す。 図24Dは、図23Bからの複数の正勾配を示す図であり、前記第1導関数を算定する方法を示す。 図24Eは、図23Bからの複数の正勾配を示す図であり、前記第1導関数を算定する他の方法を示す。 図24Fは、図23Bからの複数の正勾配を示す図であり、前記第2導関数を算定する方法を示す。 図24Gは、図23Bからの複数の正勾配を示す図であり、前記第2導関数を算定する他の方法を示す。 図24Hは、図23Bからの複数の正勾配を示す図であり、異なる勾配レベルでの中間点間の距離及び各中間地点と補間ピークとの間の距離を示す。 図24Iは、図23Bからの複数の正勾配を示す図であり、補間ピークから共通の距離での2つの勾配を示す。 図24Jは、 対称勾配プロファイルと、複数の中間点と補間ピークが一致していることを示す図である。
開示されるのは、フォーカス信号発生器に結合されている画素アレイを含むオートフォーカス画像システムである。前記画素アレイは、幅を有するエッジを少なくとも1つ備える画像を取り込む。前記フォーカス信号発生器は、エッジ幅の関数及び/又は複数のエッジ幅の統計データであるフォーカス信号を発生し得る。オートフォーカス画像システムは、フォーカス信号発生器に接続された画素アレイを有する。前記画素アレイは、幅を有する少なくとも1つのエッジを備える画像を取り込む。前記発生器は、前記エッジ幅の関数とエッジ幅の様々な統計データであるフォーカス信号を発生する。前記発生器は、画像信号の勾配が非対称であるエッジを除去してもよい。前記発生器はまた、前記勾配において対応するピーキングのためのテンプレートを持たないエッジを除去してもよい。プロセッサーが、前記フォーカス信号及び/又は前記複数のエッジ幅の統計データを受信し、フォーカスレンズのフォーカス位置を調節する。前記エッジ幅は、勾配の利用を含む様々な技術により決定することができる。複数のエッジ幅を示すヒストグラムは、特定の画像がフォーカスされているか否かを決定するために使用することができる。薄いエッジ幅の大きな個体数を有するヒストグラムが、フォーカスされている画像を示す。
構成
参照番号に基づいて図面をさらに詳しく参照すると、図1は、オートフォーカス画像取込システム102の一実施形態を示す。前記システム102は、デジタルスチルカメラの一部であってもよいが、このシステムは画像の制御されたフォーカスが必要ないずれの装置で具現化されてもよいことを理解すべきである。前記システム102は、フォーカスレンズ104と、画素アレイ及び回路108と、A/D変換器110と、プロセッサー112と、表示装置114と、メモリカード116と、ドライブモータ/回路118とを含んでもよい。シーンからの光が前記レンズ104を介して入射する。前記画素アレイ及び回路108は、前記A/D変換器110によりデジタル信号に変換されるアナログ信号を発生する。前記画素アレイ108は、例えば、ベイヤパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮/解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー112に送信されてもよく、前記フォーカス信号発生器120に送信されてもよい。前記フォーカス信号発生器120及び前記プロセッサー112が異なるパッケージに備わっている場合には、前記デジタル信号130に対して色補間を行って前記フォーカス信号発生器120のためにそれぞれの画素における欠落色信号を見積もるために、色補間ユニット148を利用してもよい。または、前記フォーカス信号発生器120及び前記プロセッサー112が同一パッケージ144にある場合には、前記フォーカス信号発生器120は、図2に示すようにバス146を通して前記プロセッサー112から補間されたカラー画像又は前記A/D変換器110から発生された元の画像信号から導き出された単一画像信号(例えば、階調信号)を入力してもよい。
前記フォーカス信号発生器120は、さらにプロセッサー112から1つのグループの制御信号132を受信し、そして、複数の信号134を前記プロセッサー112に出力してもよい。出力信号134は、フォーカス信号134と、狭いエッジのカウントと、前記画像におけるエッジ幅の統計データを示す1組の数字とのうちの1つ以上を含んでもよい。前記プロセッサー112は、前記ドライブモータ/回路118に送信されて前記フォーカスレンズ104を制御するフォーカス制御信号136を発生することができる。フォーカスされている画像は、最終的に前記表示装置114に供給され、及び/又は前記メモリカード116に記憶される。フォーカス位置を調節するためのアルゴリズムは、前記プロセッサー112により実行されてもよい。
前記画素アレイ及び回路108、A/D変換器110、フォーカス信号発生器120、及びプロセッサー112は、全て1つのパッケージに備わっていてもよい。または、前記画素アレイ及び回路108、A/D変換器110、及びフォーカス信号発生器120は、前記プロセッサー112とは別に、図1に示すような画像センサー150としての1つのパッケージ142に備わっていてもよい。または、フォーカス信号発生器120及びプロセッサー112は、前記画素アレイ108及びA/D変換器110とは別に、図2に示すようなカメラコントローラ160としての1つのパッケージ144に備わっていてもよい。
フォーカス信号発生器
図3は、画像供給ユニット202から画像を受信するフォーカス信号発生器120の一実施形態を示す。前記画像供給ユニット202は、図1における色補間器148または図2におけるプロセッサー212であってもよい。前記フォーカス信号発生器120は、エッジ検出・幅測定(EDWM)ユニット206と、フォーカス信号算出器210と、長さフィルター212と、幅フィルター209とを含んでもよい。それは、「精細」222を入力することにより制御される精細スイッチ220をさらに含んでもよい。前記フォーカス信号発生器120は、幅フィルター209からの狭いエッジのカウント、及びフォーカス信号算出器210からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」222の入力によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号134の一部として出力されてもよい。前記エッジ検出・幅測定ユニット206は、画像供給ユニット202により供給される画像を受信する。図1及び図2においては、制御信号「精細」222のような制御信号は、プロセッサー112により信号132に提供していてもよい。そして、図1及び図2において、前記出力信号134をプロセッサー112に供給してもよい。前記プロセッサー112は、前記フォーカスレンズ104のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号134を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ108において鮮明にフォーカスする。以下、前記フォーカス信号発生器120の各種の構成要素について説明する。
EDWMユニット206は、前記入力画像を、前記画像の3つの信号、赤(R)、緑(G)及び青(B)が単一画像信号に変換されるように変換してもよい。画像を単一画像に変換するには、幾つかの技術が利用される。複数のRGB値を用いて輝度又は色度値を算出することができ、あるいは、特定比率のRGB値を用いて前記単一画像信号を形成することができる。例えば、前記輝度値は、Y=0.2126*R+0.7152*G+0.0722*B、ただし、Y=輝度値、という式により算出されることができる。前記単一画像信号はその後、ガウスフィルター又は任意のローパスフィルターによって処理され、隣接画素の間に画素信号値を円滑化してノイズを除去する。
前記フォーカス信号発生器120、120’、120”は、階調信号に限られない。それは、前記画像信号における1つ以上のエッジを検出するために、何れか1つの画像信号に対して操作を行ってもよい。または、それは、例えば、Y、R−G又はB−Gのような複数の画像信号の何れかの組み合せに対して操作を行ってもよい。それは、複数のエッジを検出するために、個別に前記R、G、B画像信号の一つ一つ、又はその何れか1つ以上の組合わせに対して操作を行ってもよい。それは、前記R、G、B画像信号の一つ一つ又はその何れかの組合わせに対して複数のエッジ幅の統計データを形成してもよい。それは、1つ以上の画像信号からの複数のエッジ幅の統計データによってフォーカス信号を形成してもよい。
それから、前記処理された画像の勾配が算出される。前記勾配を算出するには、ラプラシアン(Laplacian)法とソーベル(Sobel)法を含む様々な方法が利用可能である。垂直及び水平エッジをそれぞれ検出するために、例えば、Sobel−X演算子とSobel−Y演算子をそれぞれ利用し、複数の列及び複数の行に亘った勾配を算出してもよい。画素位置[k,q]におけるSobel−X演算子(ただし、kは行数でqは列数である)は、Sx[k,q]=U[k,q+1]−U[k,q−1]という式から得られる。同一位置におけるSobel−Y演算子は、Sy[k,q]=U[k+1,q]−U[k−1,q]、ただし、U=処理された画像の画像信号、という式から得られる。
配向タグ付け
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限(「消去閾値」)(例えば、8ビットの画像の場合には5)を超えている場合に、水平エッジ(「H」)又は垂直エッジ(「V」)とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限以下の場合に、エッジ無しとタグ付けされる。前記下限によって、緩やかな陰影やノイズによる偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上(例えば、8ビットの画像の場合には2)超えている場合に、垂直エッジとタグ付けされ、逆の場合も同様である。これら両方の勾配が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近くに隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ1行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確実にするのに役立つ。図4は水平及び垂直勾配を有する6×6アレイにおけるタグ付けの結果を示す。それぞれのセルにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、5を超えている水平又は垂直勾配の大きさを有する画素のみである。
前記画像、前記勾配、及び前記タグは、垂直エッジには水平に、水平エッジには垂直に走査されてもよい。同一行において同一の水平勾配極性を有し、かつ全てが垂直エッジとしてタグ付けされた隣接する複数の画素の各グループは、このグループの左側又は右側に同じようなことを満たす隣接画素がない場合に、垂直エッジとして示されてもよい。同様に、同一列において同一の垂直勾配極性を有しかつ全てが水平エッジに対してタグ付けした各グループの連続画素は、このグループの上側又は下側に同じようなことを満たす隣接画素がない場合に、水平エッジとして示されてもよい。これによって、水平及び垂直エッジを識別することができる。
エッジ幅
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの所定の割合よりも小さい画素を除去することによって精細化されてもよい。図5は、エッジのピーク勾配の大きさの3分の1に等しい精細化閾値を利用し、前記エッジ幅を元の9から減らした3に精細化する前記ステップを示す。このエッジの精細化は、勾配が多くの画素において緩やかな減衰を起こし得る多数の重なった陰影が画像にあっても、エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する主な勾配成分を識別することができるものである。
エッジ幅は、既知方法の何れか1つにより算出されてもよい。エッジ幅の算出方法の1つは、ただ、1つのエッジにおける画素数を数えることである。図5にはエッジ幅を算出する代替方法を示す。図5において、前記精細化閾値304からの補間により、精細化されたエッジの第1の外部画素(画素3)とその隣接した外部画素(画素2)との間に第1の小数画素位置(2.4)が求められる。同様に、第2の外部画素(画素5)とその隣接した外部画素(画素6)との間に第2小数画素位置(5.5)が求められる。前記エッジ幅は、この2つの小数画素位置間の差、5.5−2.4=3.1として求められる。
斜め補正
各エッジは、所定の方向(例えば、垂直方向又は水平方向)又は他の垂直な所定の方向(例えば、水平方向又は垂直方向)に指定されていてもよく、この指定されたエッジ方向に対して垂直な方向に測定したエッジ幅を有していてもよいが、それらのエッジが現れる画像において異なる画像信号値の複数の領域間の境界は、前記所定方向のいずれかに正確にアライメントされていなくてもよく、また一般にされていない。図6Aにおいて、境界(陰影付きの帯)は、垂直鎖線に対して斜め角φ傾斜しており、幅aは、垂直方向(例えば、水平方向)で測定していることを示している。しかしながら、幅b(図に示す)は、境界方向(これもまた境界の一部をなすエッジの方向)に垂直な方向において測定しており、幅aよりも境界の幅(また、エッジの幅)として、より適切である。それぞれのエッジ方向から垂直には測定していないこのような幅 aは、長くなりすぎる傾向にあり、それぞれの境界の実際の厚さを表していない。
複数のエッジ幅からフォーカス信号を算出するために、これらの所定方向のうちの一方又は他方において測定された前記複数のエッジ幅が、それらをそれぞれのエッジの方向に垂直する方向での幅に低減させることにより補正される。前記エッジ検出・幅測定ユニット206は複数のエッジ幅に対してこのような補正を行う。図6Aに示すように、前記測定された幅aは、直角三角形の斜辺の長さである。前記直角三角形は、その底辺(幅bでマークする)が陰影付きの境界を垂直(これによって前記エッジ方向に垂直)に越えており、角度φを有している。そして、前記補正された幅bは、前記エッジ方向に垂直な方向への前記測定された幅aの投影から得られ得る。基本三角法から、この投影は、b = a cos(φ)から求められるが、20%以下の正確性が得られれば、近似値を使ってもよい。前記角度φ又はcos(φ)そのものは、この技術において知られている、画像におけるエッジの方向を求めるための何れかの既知方法、又は図7に示すフローチャートに記載されるより正確な方法によって、求められ得る。
それぞれの水平又は垂直エッジのエッジ幅は、前記水平又は垂直配向(所定の方向)からの斜めに対して補正されてもよい。図6A、6Bは、垂直線から傾斜した境界(及びこれによって前記境界を形成する複数のエッジ)について水平方向に測定されたエッジ幅に対する補正計算を示す。図6C、6Dは、水平線から傾斜した境界(及びこれによって前記境界を形成する複数のエッジ)について垂直方向に測定されたエッジ幅に対する補正計算を示す。前記補正は、所定の方向(例えば垂直方向又は水平方向)に測定された前記エッジ幅に因子cosφ(ただし、φは前記所定の方向からの斜め角)を乗じることにより行われてもよい。
例えば、図7は、1つの垂直線から傾斜した複数のエッジについてのエッジ幅を斜め補正するためのプロセスのフローチャートを示す。(水平エッジについては、フローチャートにおいて「行」を「列」に置換し、「水平」で「垂直」を置き換える。)
ステップ502からステップ506において、斜め角φが求められる。それぞれの垂直エッジに対して、ステップ502において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配xを求める。ステップ504において、前記列の位置に沿って、2つの画素以内で垂直勾配の大きさがピークに達する位置を求め、そしてこの垂直勾配yを求める。
ステップ506において、斜め角φ = tan−1(y/x)を求める。ステップ506において、斜め角がルックアップ表を調べることによって求められ得る。ステップ502〜506は、斜め角を求める1つの特定手順及び方法を示しているが、その代わりに当該分野に公知の他の手順及び方法を使用してもよい。
最後に、ステップ508において、当業者が実際によく行うように、cos(φ)で又はその近似値で乗算することにより前記エッジ幅を縮小する。
図7に示すプロセスの第1の変形としては、入力値x及びyの種々の組み合わせに対するエントリーを有するルックアップ表を提供することに、ステップ506及び一部のステップ508を置き換える。入力値x及びyの組合わせのそれぞれに対して、前記ルックアップ表はエッジ幅補正因子を返す。前記ルックアップ表により出力されるエッジ幅補正因子は、cos(tan−1(y/x))の20%以下(好ましくは5%以下)の近似値であってもよい。そして、前記エッジ幅は、この補正因子で乗算されて斜め補正されたエッジ幅を形成する。
第2の変形としては、垂直勾配yと水平勾配xとの商y/xを算出して商qを発生し、そしてqを使用してqの各種の値のエントリーを有するルックアップ表に入力する。qのそれぞれの値に対して、前記ルックアップ表はエッジ幅補正因子を返す。前記エッジ幅補正因子は、cos(tan−1(q))の20%以下(好ましくは5%以下)の近似値であってもよい。
斜め角φ(又はその近似値。それによって、前記補正因子の正確性が20%以下になる。)を求めてから、それによって補正因子cos(φ)(又はその近似値)を求め、又は(第1及び第2の変形に記載したように)前記斜め角φを求めずに補正因子を直接に求めるためには、ステップ502〜506でx及びyの値を得てもよいが、その代わりに他の方法によってこの2つの値を求めてもよい。
第3の変形としては、前記エッジにおける複数の画素のそれぞれに対して次のことを実行する。(a)画素について水平勾配x及び垂直勾配yの両方を求める。(b)前記画素についてq = y/xを求める。そして、(c)qに対応する補正因子(例えば、cos(tan−1(q))又はその20%以内の近似値)を求める。最後に、前記複数の画素のそれぞれからの補正因子において平均化することによって前記エッジ幅の補正因子を求める。前記平均値は、重み付け平均値、例えば、比較的大きい水平勾配を有する画素に比較的小さい水平勾配を有する別の画素より大きい重みを与えるものであってもよい。
これらの方向や他の方向に沿って別の変形が可能である。
選別閾値
それらのピーク勾配の大きさが隣接する比較的広いエッジのピーク勾配の大きさの所定の割合未満であれば、隣接した複数のエッジがフォーカス信号に寄与することをすっかり排除する又は衰減させることができる。図9A、9B及び9Cは検討されている問題を示す。
図9Aは、それぞれが2画素分の幅の2つの狭い黒色空間によって隔てられた3つの垂直白色バーを示す。前記真ん中の白色バーは2画素分の幅の狭いバーである。図9Bは、鮮明な画像及びぼやけた画像のそれぞれについて図9A中の画像において水平に描いた画像信号を示す。図9Cは、前記鮮明な画像及びぼやけた画像について図9BのSobelx勾配を描いている。図9Cにおいて、前記ぼやけた画像の第1のエッジ(画素2〜5)は前記鮮明な画像の第1のエッジより広く、そして、予想されるように、最後のエッジ(画素13〜15)も同じである。しかし、2つの最も狭いエッジ(画素9と10、及び画素11と12)は両方の画像において2という幅がある。図9Bにおいて、画素9と10及び画素11と12における対応する傾斜は、それぞれ2つの画素で遷移を完成する。しかし、前記ぼやけた画像は、比較的広いエッジから比較的狭いエッジへのピーク勾配の大きさが50%も著しく減少されている。一方、前記鮮明な画像は、比較的広いと比較的狭いエッジとの間で変化が10%未満である。
反対符号の勾配を有する比較的広いエッジに隣接する比較的狭いエッジのピーク勾配の大きさの(例えば20%以上の)著しい減少は、前記ぼやけた画像がよくフォーカスされていないことを示唆する。従って、前記比較的狭いエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信頼すべきではない。
同様に、互いに緊密に近接していれば、例えば、1画素(「最小エッジ隙間」)しか離れていなければ、それらのエッジの幅が小さくても、交互勾配極性を有する互いに隣接する複数のエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信用すべきではない。前記最小エッジ隙間は、(例えば1又は2又はその間)画素数で表す。
さらに、消去閾値よりも小さいピーク勾配を有するので1つのエッジが消去され得ると仮定すると、2つの互いに隣接するエッジの一方又は両方からの寄与を消去又は降格させる条件として、次の条件を用いてもよい。すなわち、2つの連続エッジは、同じ勾配極性を有し、かつ、最小エッジ隙間の2倍に鮮明_エッジ_幅(鮮明_エッジ_幅とは、鮮明なエッジのエッジ幅を示すように割り当てられる数である。)を足した距離以下離れるという条件である。
前記エッジ検出・幅測定ユニット206は、比較的広いエッジによって設定された選別閾値、及びオン/オフできる変調選別フラグに基づき、ぎっしり詰まっている比較的狭いエッジを消去するための下記のアルゴリズムを実行することができる。
それぞれのエッジに対して、反対極性の直後のエッジに用いられる選別閾値及び選別フラグは、図10に示すフローチャートのプロセスによって決定される。
前記選別閾値及び選別フラグが与えられると、下記条件の1つが成立しなければ、1つのエッジが消去される。(a)このエッジに対して選別フラグがオフになる。(b)前記エッジのピーク勾配の大きさがこのエッジに対する選別閾値以上である。条件(a)及び(b)には、条件(c)エッジ幅が鮮明_エッジ_幅+1以上であることが加えられてもよい。ここで、1つの数が、1つの鮮明なエッジのエッジ幅を指定するように鮮明_エッジ_幅に割り当てられるが、前記「+1」は、エッジが(a)及び(b)を満たさないと当該エッジが消去される鮮明_エッジ_幅を超えたエッジ幅の範囲を設定するように変更されてもよい。図9A〜9Cに示す実例には、鮮明_エッジ_幅が2であってもよい。図10はそれぞれのエッジについて選別閾値及び選別フラグを決定するフローチャートである。垂直エッジに対しては、行に沿って左から右へ走査すると仮定しているが、これに限定されない。(水平エッジに対しては、列に沿って上部から底部へ走査すると仮定しているが、これは必須ではない。)鮮明_エッジ_幅に1つの数が割り当てられ、図9A〜9Cに示す実例では2であってもよい。ステップ702において第1のエッジで開始し、ステップ720において、それぞれのエッジに対して、そのエッジ幅が1に鮮明_エッジ_幅を加えたもの以上になるか否かのクエリーを行い、前記値1はここで説明に用いられる最小エッジ隙間値であるが、異なる値(例えば0.5〜2.0の値)を使用してもよい。「はい」の場合、前記エッジが比較的広いエッジであり、ステップ706でその後、反対極性を有する直後のエッジに対する選別閾値を前記エッジのピーク勾配の大きさのβ倍に設定し、βが0.3〜0.7で、好ましくは0.55であり、そしてステップ708でその後、次のエッジに対して選別フラグをオンにし、引き続き次のエッジを処理する。「いいえ」の場合、前記エッジが比較的広いエッジではなく、ステップ730でその後、このエッジと同じ勾配極性を有する前のエッジとのある間隔が前記最小エッジ隙間の2倍(又は、他の異なる所定の数)に鮮明_エッジ_幅を加えたものより大きいか、かつ、反対極性を有する直前のエッジ(もし存在する場合)との間隔が前記最小エッジ隙間より大きいかを調べる。「はい」とすると、ステップ710でその後、次のエッジに対して前記選別フラグをオフにする。「いいえ」とすると、次のエッジに対して前記選別フラグ及び前記選別閾値を維持し、次のエッジへ進む。βは1つの所定の小数であってもよく、又は所定の式によって算出される小数、例えば1つのエッジ幅の関数であってもよい。後者の場合には、βは前記画像の部分によって異なってもよい。
勾配対称性
図23A及び図23Bは、フォーカス信号発生器によって勾配信号(以下において勾配プロファイルという)のピークを中心とする対称性の欠如を検出し、関連するエッジを完全にオートフォーカス制御システムへの影響から(関連するエッジ幅又はエッジカウント(これに限定されない)の関数として発生されたフォーカス信号を通じて)減ずる又は除去する方法を示す。前記ピークは、一連の連続する勾配におけるピーク勾配であってもよい。あるいは、前記ピークは、前記一連の連続する勾配のうち2以上の勾配から補間した補間ピーク勾配であってもよい。図23Aは、両極(すなわち符号)の2つの隣接するエッジにわたる1つの画像信号の勾配プロファイルを示す。但し、前記複数のエッジは離れており、相互作用しない。一方、図23Bは、前記複数のエッジが十分近接しており、互いに相互作用している場合の、両極の2つの隣接するエッジにわたる1つの画像信号の勾配プロファイルを示す。図23A及び23Bを比べると、両符号の隣接するエッジ(すなわち、一方のエッジが正勾配を有し、他方のエッジが負勾配を有する)が近接している場合、それぞれの勾配プロファイルに対称性がないことがわかる。
図23Aにおいて、左から右へ、前記勾配プロファイルは、左側の位置6で正ピーク勾配3210になるまで上昇しており、右側の位置18で負ピーク勾配3260に落ちている。前記複数の勾配値は、正規化され、1.0のピーク勾配の大きさを与えている。各ピーク勾配3210、3260に隣接して、それぞれの勾配プロファイルは、ピークを中心に左右対称である。それぞれのピーク勾配の大きさの0.3倍を閾値として使用すると、正勾配プロファイル3211及び負勾配プロファイル3261は、それぞれのエッジに対して5のエッジ幅に対応する。
一方、図23Bにおいて、左側の位置6における正ピーク勾配3212及び右側の位置9における負ピーク3262は、図23Aにおいてよりも互いに近接している。図23Bにおいて、前記勾配値は、図23Aのように、正規化されて、1.0のピーク勾配の大きさを与えている。図23Bにおいて、正勾配プロファイル3213及び負勾配プロファイル3263に対応するそれぞれのエッジは、明らかに相互作用し、部分的に打ち消し合っており、それにより位置6及び9で近接して隣り合う正ピーク3212と負ピーク3262との間にある複数の勾配の大きさが減少している。
その結果、前記勾配プロファイル3213、3263は、それぞれのエッジにおいて左右反射対称性を欠く。対称性が欠如しているということは、特に、図では補間勾配プロファイル(実線曲線で示す)において顕著である。対称性の欠如は、ピーク勾配からある程度の距離の範囲(特に、エッジのエッジ幅の0.2〜0.7倍の間の距離)又はそのピーク勾配レベルとその非ゼロ小数(特に、ピーク勾配レベルの10%〜90%以内;さらには、20%〜80%以内)との間の勾配レベルの一定範囲の間で見られる。例えば、非対称性は、エッジ幅の半分の距離内の補間勾配プロファイルの右側と左側を比べることによって求めてもよく、あるいは、そのピーク勾配レベルの20%〜80%の間の勾配レベル範囲内を比べることによって求めてもよい。
他の結果として、ピーク勾配の大きさの0.3倍という同じ閾値を使用して測定すると、各ピーク3212、3262周辺のエッジ幅は、4に減少している。このようにして測定した両方のエッジのエッジ幅は、もはやフォーカスの程度を表していない。前記フォーカス信号発生器は、非対称性を検出し、対応するエッジ幅のフォーカス信号及び/又はエッジカウントへの寄与を弱めたり、すっかり除去したりしてもよい。より一般的には、画像のエッジの鮮明さを調べることでよりシャープな画像を得るための前記フォーカス制御システムは、勾配プロファイルが対称性を欠くエッジの影響を弱めたり、すっかり除去したりしてもよい。
画像において背景中の鮮明な境界線から生じる、単離した複数のエッジは、それぞれ単離したエッジにわたり左右反射対称性を示す勾配プロファイルを有する。図23Aにおいて、垂直対称軸(垂直鎖線)に沿って左右反射対称性があり、これは、位置6でピーク勾配3210の下で現れ、垂直対称軸に沿った反射に基づき、位置4での勾配が位置7での勾配とマッピングされ(逆もまた同じ)、位置3での勾配が位置8での勾配とマッピングされている(逆もまた同じ)。これは、勾配プロファイル3211に対応するエッジに対応する境界がその真ん中でサンプリングされたからである。多くの場合、境界は、真ん中ではサンプリングされず、その結果、垂直対称軸は画素の位置と一致せず、2つの画素の間にある。しかしながら、左右反射対称性は、以下のように補間することで識別することができる。
図24Jは、単離したエッジの別の一般的勾配プロファイルを示す。位置6でのピーク勾配3212’、その右側の位置2〜5での4つの他の勾配及びその左側の位置7〜10での4つの他の勾配は、共に前記単離エッジの勾配プロファイルをなしている。補間ピーク3270’は、おおよそ位置5.85にあり、垂直対称軸3271’は、補間ピーク3270’の下に一点鎖線で示す。勾配プロファイルにおける各勾配は、対称軸3271’に沿った反射の下では、同じ勾配プロファイルにおいて他の勾配とマッッピングしていないが、補間勾配とはマッピングしている。例えば、位置3の勾配は、“X”(おおよそ位置8.6)で示した補間勾配とマッピングしており、明らかに位置8と9と(逆も同じ)の勾配の間の良好な補間を示している。同様に、位置7の勾配は、“+”(おおよそ位置4.6)で示した補間勾配とマッピングしており、明らかに位置4と5と(逆も同じ)の勾配の間の良好な補間を示している。さらに、勾配レベル0.5(及びそれぞれ位置4及び7.6)において、それぞれ三角や逆三角で示した補間勾配対のように、補間勾配が他の補間勾配とマッピングしている(逆も同じ)ことがわかる。左右反射対称性は、勾配プロファイルが補間勾配プロファイル(図24Jの実線曲線)に補間された場合、特に顕著である。いずれの2つの勾配レベルにおいても、勾配プロファイルの両側方の間の中間点(例えば、中間点3281’及び3280’)が同じ中間点位置3287で一致していることに留意すべきである。これは、対称軸の位置であると同様、補間ピークの位置である。
左右反射対称性があるため、各垂直対称軸に沿って反射されたジオメトリは、対応するジオメトリにマッピングされている、すなわち後者に一致していることが一般にわかる。このようなジオメトリとは、点(すなわち、勾配又は補間勾配)、線、曲線、有界領域、角、等である。このようなジオメトリは、距離、長さ、区域、傾斜(すなわち、第1導関数)、曲線(すなわち、第2導関数及びさらに高次の導関数)等に対応するパラメータである。例えば、補間勾配プロファイルに沿ったセグメント(又は隣接する勾配同士を接続する直線セグメント)は、同じ勾配レベルの他のセグメントとマッピングし、従って同じ長さを有する。左右反射対称性の他の特徴としては、対称軸上の複数の点はそれ自体とマッピングされている、すなわち動かないことである。従って、それらは、左右それぞれまでの距離が同一である。また、対称性の下で互いにマッピングされた2つのジオメトリ間では、垂直対称軸は、正確にそれらの真ん中にあることが一般に知られている。これらの特徴及び反射対称性に関する他の一般に知られている事象から、勾配プロファイルが左右反射対称性を有しているかを調べるための様々な方法が工夫され得る。
補間が一種の近似であるという性質から、ジオメトリが一致しているかを調べるためのパラメータについての所定の許容域が、対称性を立証するために使用される。例えば、X及びYが測定された2つのパラメータであり、完全な対称性が厳密にX=Yとなる場合、許容域は、−A<X−Y<B(但し、A及びBは正数)となるように特定され得、X−Yの値が−Aより大きく、Bより小さい場合に非対称の決定とはならない。但しX−Yの値はBよりも大きい正数又は−Aよりも小さい負数である場合、極端に対称性を欠くと判断する。以下、−Aよりも大きい負の値であり、且つBよりも小さい正の値である場合のX−Yの値の範囲を許容域という。許容域の上限は、非対称性閾値である。従って、本例においては、−A及びBは共に、X及びYを測定する非対称性に対する許容域を限定する非対称性閾値である。以下、X−Yの値が許容域外である場合を、(関連する)非対称性閾値を超えるという。例えば、(X−Y)がBよりも大きい正の値である場合、(X−Y)は、非対称性閾値Bを超えるという。(X−Y)が−Aよりも小さい負の値である場合、(X−Y)は、非対称性閾値−Aを超えると言う。本文における“超える”とは、パラメータ(X−Y)が許容域の関連する境界をわたることによって許容域から外れることを意味する。
エッジをわたる勾配プロファイルの左右反射対称性の欠如を検出する様々な方法を以下に述べるが、全てを挙げているわけではない。この本発明の一形態、すなわち、フォーカス信号又はフォーカス制御へのエッジの寄与を除去する又は弱めることは、下記に述べるエッジをわたる勾配プロファイルの反射対称性の欠如を検出するための特定の方法に限定されず、均等方法、類似方法、及びそれらの自明な又は公知の様々な変形例を含み、上述の反射対称性の特徴の1つ以上を利用する算出方法も同様に含む。
対称性の欠如を検出する1つの方法は、画素に対応する勾配の大きさがピーク勾配の大きさの所定の割合を超える、ピーク勾配の片側の前記画素のカウントと他側の画素のカウントとの差分を求めることである。カウントの非対称性閾値は、いずれか片側のカウントが他側のカウントよりもカウント非対称性閾値を超えて大きい場合に、対称性の欠如が検出されるように、例えば、0.5に設定してもよい。これを図23A及び図23Bにおいて、小数を0.3及びカウント非対称性閾値を0.5として例示する。図23Aにおいて、位置6における左側の正のピークに対して、+0.3の勾配レベル上で、2つの画素がそれぞれ位置4及び5で左側にあり、2つの画素がそれぞれ位置7及び8で右側にある。画素カウントは、左側と右側で等しい。従って非対称性は検出されない。一方、図23Aにおいて、位置6における左側の正のピークに対して、+0.3の勾配レベルの上に、2つの画素がそれぞれ位置4及び5で左側にあるが、右側には画素が1つだけ位置7にある。図52Bにおける左側の正の勾配プロファイル3213において、右側よりも左側で1画素多く存在し、0.5のカウント非対称性閾値を超えている。従って、対称性の欠如が検出される。
ある変更例は、複数の勾配から補間し、補間勾配プロファイルが最大の大きさ(“補間ピーク勾配”)となる小数画素位置3272(“補間ピーク位置”)を求めるものである。この補間ピーク位置は、以下に述べるように、左側まで及び右側までの距離を算出すために使用してもよい。補間ピーク勾配はまた、これらの距離を測定する又はその上又は下で画素を数える勾配レベルを算出するために使用してもよい。例えば、図24Aにおいて、垂直一点鎖線は補間ピーク3270の下に描き、水平点線3275は、勾配レベル0.95(勾配上限閾値)で補間勾配プロファイル(実線曲線)を横切るように描き、水平鎖線3273は、勾配レベル0.25(勾配下限閾値)で補間勾配プロファイルを横切るように描いている。2つの画素を、それぞれピーク勾配3212(位置6)左側の位置4及び5でカウントし、1つの画素のみ、右側の位置7でカウントする。ピーク勾配3212(本例では、位置6)とするか、補間ピーク3270(おおよそ位置5.8)とするかは、非対称性の決定に関与しない。前者では、ピーク勾配3212は、左右どちらの側でもカウントされておらず、後者では、上限閾値3275(本例では0.95、一般には、0.85〜0.97の間)がピーク勾配3212を右側のカウントにおいてカウントから排除しているためである。
また上記の方法に対する別の変更例は、ピーク勾配から勾配プロファイルが補間されて、ピーク勾配3212(又は補間ピーク3270)の勾配値の小数(好ましくは10%〜90%、より好ましくは20%〜80%)である、ある勾配レベルをわたる(交差する)左側まで及び右側までのそれぞれ距離を求め、小さい方の距離よりも大きい方の距離がある幅非対称性閾値以上超えている場合、対称性の欠如を検出するものである。言い換えれば、一方の距離を他方の距離から除したものがマイナス(幅非対称性閾値)よりも小さい負の数又は幅非対称性閾値よりも大きい正の数の場合、対称性の欠如と判定する。従って、許容域はゼロに対して対称な数値幅を有する。前記幅非対称性閾値は、いくつかの方法により求められてもよい。それは、1つの画像に対して1つの固定数、すなわちピークに対応するエッジのエッジ幅に応じた数として与えられてもよく、例えば、エッジ幅が3以下の場合は、エッジ幅の10%、エッジ幅が3を超え、且つ5未満である場合は、エッジ幅の7%である。どのような画像信号(勾配プロファイルの勾配がそれから発生される)及び/又はどのように勾配プロファイルの勾配が発生されるかに基づく、他の合理的な依存関係は、幅非対称閾値を決定するのに許容でき、特にピークの補間及び/又は交差の補間における不正確性を許容する。図24Aはまた、この非対称検出方法を示している。ピーク勾配3212(位置6)からの距離、あるいは補間ピーク3270(おおよそ位置5.8)からの距離を測定してもよい。本例では、距離W及びWは、補間ピーク3270から測定され、それぞれ約2.5及び1.3となっており、差分は1.2である。エッジ幅は、+0.3の正規化された勾配レベルで測定され、約3.7となっている。幅非対称性閾値は、エッジ幅のある割合(例えば15%)として与えられ得、0.56となっている。前記差分(1.2)は、幅非対称性閾値(0.56)を超えているため、対称性の欠如が検出される。なお、ピーク勾配3212(本例では、位置6)であるか、補間ピーク3270(おおよそ位置5.8)であるかは、フォーカス信号又はフォーカス制御システムに対して無視できる程度の関係である。それらの位置の違いは概して0.5未満、一般には0.3未満であり、|W−W|が0.6未満となるためである。エッジの勾配プロファイルが非対称である殆どの場合、WとWとの不一致は、0.6をはるかに超える。WとWを測定するために一方又は他方のどちらを選択するかは、従って、無視できる程度の小さなエッジの対称性の欠如を求める場合にしか影響しない。
他の方法は、ピーク勾配3212(又は補間ピーク3270)のうち一方に対して左側、他方に対して右側の2つの区域を評価し、区域非対称性閾値に対する所定の基準に応じてそれらを比較することである。2つの区域各々は、ピーク勾配(又は補間ピーク)下の垂直線によって一方の側に区切られ、他方の側に補間勾配(実線曲線)(又は、連続する勾配を接続する直線)によって区切られていてもよく、ピーク勾配レベル(又は補間ピーク勾配レベル、すなわち補間ピークの勾配レベル)の異なる所定の割合である上勾配レベル及び下勾配レベルによって上下に区切られていてもよい(あるいは、上勾配レベルは、区域を制限していないが、勾配又は勾配プロファイルそのものである)。例えば、図24Bにおいて、補間ピークが1.0の勾配レベルとなるように勾配プロファイルが正規化された場合、上勾配レベル3276は、0.75となり、下勾配レベル3274は0.2となる。領域3277(区域Aを有する)(正の補間ピーク3270の左側)は、上からは上勾配レベル3276によって区切られ、下からは下勾配レベル3274によって区切られ、右からは補間ピーク下の垂直一点鎖線によって区切られ、左からは補間勾配プロファイル(実線曲線)によって区切られている。領域3278(区域Aを有する)(同ピーク3270の右側)は、上下からは同様に区切られ、右からは補間勾配プロファイルによって区切られ、左からは垂直一点鎖線によって区切られている。区域AとAが所定の基準に応じた所定の範囲を超えて異なると、対称性の欠如が検出される。例えば、大きい方の区域が、区域非対称性閾値以上に小さい方の区域を超えた場合に、非対称性が検出されてもよい。前記区域非対称性閾値は、さまざまな異なる方法のうちの1つで表現されてもよい。前記区域非対称性閾値は、(小さい方の区域の)百分率で表現されてもよく、それは画像に対する固定数又は関連するエッジのエッジ幅の関数であってもよい。あるいは、前記区域非対称性閾値は、正規化された勾配プロファイルに対する区域差分で表現されてもよい。どのような画像信号(それから勾配プロファイルの勾配が発生される)及び又はどのように勾配プロファイルの勾配が発生されるかに基づく、その他の合理的な依存関係は、区域非対称性閾値を決定するために許容される。
他の方法においては、図24Iに示すように、補間ピーク3270(又はピーク勾配3212)から勾配プロファイルの左側及び右側までの共通距離Wを測定する。言い換えれば、補間ピーク3270(又はピーク勾配3212)下の垂直一点鎖線からのそれらの距離が共にWとなるように、補間勾配を算出する(又は勾配を求める)。完全に対称な勾配プロファイルでは、両方の補間勾配が共通の勾配レベルにある。しかしながら、非対称な勾配プロファイルでは、補間勾配は、異なる勾配レベルG3252、G3253にある。勾配レベルG及びGが、所定の基準に応じた所定の範囲を超えて異なる場合、対称性の欠如が検出される。例えば、小さい方の勾配レベルG3252を超える大きい方の勾配レベルG3253の超過Ghlが、小さい方の勾配レベルGよりも勾配非対称性閾値以上大きい場合に、非対称性が検出されてもよい。前記勾配非対称性閾値は、様々な異なる方法のうちの1つによって表現されてもよい。前記勾配非対称性閾値は、(例えば、小さい方の勾配Gの)百分率で表現されてもよく、画像に対する固定数であってもよく、関連するエッジのエッジ幅の関数であってもよい。あるいは、前記勾配非対称性閾値は、正規化された勾配プロファイルに対する勾配レベルの差分によって表現されてもよい。どのような画像信号(そこから勾配プロファイルの勾配が発生される)及び/又は勾配プロファイルの勾配が発生されるかに基づく、その他の合理的な依存関係は、勾配非対称閾値を決定するために許容される。共通のWは、0.1〜0.5、好ましくは0.2〜0.4の小数のような、エッジ幅の所定の割合となるよう選択されてもよい。あるいは、Wは、補間ピーク3270(又はピーク勾配3212)から補間勾配対又はピーク勾配レベルの所定の割合である所定の勾配レベルの勾配までの2つの距離の小さい方として選択されてもよい。この場合、Gのみが非対称性の程度を示すパラメータであり得る。次に、勾配非対称性閾値は、Gが前記閾値を超えた場合に非対称性の欠如が検出されるように設定してもよい。その他の様々なWの定義方法及び基準の定義方法は、当業者にとって考え得ることである。
最後に示した方法の変形例は、勾配レベルWとWでの2つの補間勾配の第1又は第2導関数をそれぞれ比較することである。完全に対称な勾配プロファイルでは、両方の補間勾配が符号は逆であるが同一の大きさである第1導関数と、符号及び大きさにおいて同一である第2導関数を有している。しかしながら、非対称な勾配プロファイルでは、補間勾配は一般に、第1及び第2導関数は異なる。第1導関数の大きさが2つの補間勾配(又はおそらく勾配)の間で所定の基準に応じた所定の限界を超えて異なる場合、対称性の欠如が検出される。例えば、大きい方の第1導関数が小さい方の第1導関数よりも大きさにおいて非対称性閾値以上に大きい場合、非対称性が検出されてもよい。他の例では、第2導関数のうち一方を他方から減算した差分が非対称性閾値を超える場合、非対称性が検出されてもよい。前記非対称性閾値は、様々な方法のうちの1つによって表現されてもよい。非対称性閾値は、百分率(例えば、小さい方の第1/第2導関数の)で表現してもよく、1つの画像に対する固定数であってもよく、関連するエッジのエッジ幅の関数であってもよい。どのような画像信号(それから勾配プロファイルの勾配が発生される)及び/又はどのような勾配プロファイルの勾配が発生されるかに基づく、他の合理的な依存関係は、前記勾配非対称性閾値を決定するために許容される。
上述の画素カウント又は距離(図24A)又は区域(図24B)を使用して非対称性を検出する方法において、補間ピーク又はピーク勾配に基づいてカウント又は距離又は区域を分割するのではなく、先に述べたような中間点が使用できる。例えば、補間ピーク3270下の垂直一点鎖線を使用して、上勾配レベル3276と下勾配レベル3274との間の区域をそれぞれ区域AとAの2つの領域に分割するにあたり(図24B参照)、上勾配レベル(正規化された勾配レベル0.75の水平点線)と補間勾配プロファイル(実線曲線)との間の1対の交差点の中間点から垂直線を引くことができる。あるいは、垂直線は、下勾配レベル(正規化された勾配レベル0.2の水平鎖線)との間の1対の交差点から引くことができる。あるいは、垂直線は、補間勾配プロファイルとピーク勾配の勾配レベルの所定の百分率の範囲(例えば、10%〜90%の間)のいずれかの勾配レベルとの間の1対の交差点の中間点から引くことができる。
上記の区域方法の他の変形例は、上勾配レベル3274と下勾配レベル3276との間の補間勾配曲線(あるいは、連続する勾配を結ぶ直線セグメント)の長さを評価することである。例えば、図24Cにおいて、補間勾配曲線は、左側に正規化された勾配レベル0.25と0.75との間にセグメント(長さLを有する)を有し、右側のセグメントよりも長く、明らかに長さLの方が短く、対称性の欠如を示している。長さLとLが所定基準に応じた所定の制限を超えて異なると、対称性の欠如が検出される。例えば、長い方の長さが長さ非対称閾値以上に短い方の長さより長い場合、非対称性が検出されてもよい。上記区域非対称閾値のように、長さ非対称閾値は、様々な異なる方法のうちの1つによって表現されてもよい。長さ非対称閾値は、百分率(例えば、短い方の長さの)で表現されてもよく、好ましくは10%〜30%であり、画像に対する固定数であってもよく、関連するエッジのエッジ幅の関数であってもよい。あるいは、長さ非対称閾値は、正規化された勾配プロファイルに対する長さの差分で表現されてもよい。どのような画像信号(それから勾配が発生される)及び/又は勾配がどのようにして発生されるかに基づく他の合理的な依存関係は、前記長さ非対称閾値を決定するために許容される。なお、上述のように、下勾配レベル又は上勾配レベルを描く際にピーク勾配3212と補間ピーク3270のどちらを参照するかは、フォーカス制御システム又は特にフォーカス信号にとっては重要ではないことに留意すべきである。逆の符号の2つのエッジが互いのエッジ幅に影響するほど非常に接近している場合は、ほとんどの場合、LとLとの不一致がかなり大きいため、どちらを選択しても、長さの差分における差はほとんどない。LとLを測定するために一方又は他方のいずれを選択するかは、従って、無視できる程度の小さなエッジに対する対称性の欠如にしか影響しない。
最後に説明し、図24Cで示した方法は、改変してもよい。長さLとLとを比較する代わりに、左側及び右側の斜線領域の区域A’及びA’のそれぞれを同様の方法で比較できる。区域非対称性閾値は、同様に規定してもよく、A’とA’との差の大きさを比較するために使用してもよい。
最後に説明し、図24Cに示した長さ方法は、更に別の方法に改変してもよい。左側の、補間勾配曲線が上勾配及び下勾配と交差する間の距離(WBL)と、同右側の距離(WBR)とを比較する。WBLとWBRとが所定の基準に比べて非常に異なっている場合、対称性の欠如が検出される。例えば、WBLとWBRのうち大きい方が、小さい方よりも幅非対称性閾値以上に大きい場合、対称性の欠如が検出される。また、前記幅非対称性閾値は、上記の様々な非対称性閾値方法のうちのいずれか1つと同様に規定され得る。
図24Hは、最後に説明した幅方法と均等な別の方法を示す。この方法では、上勾配レベル3276での2つの補間勾配3284、3285の間の第1中間点3281(上中間点)と、下勾配レベル3274での2つの補間勾配3282、3284の間の第2中間点3280(下中間点)を算出し、第1中間点3281と第2中間点3280との間の距離Xabを算出する。完全に対称な勾配プロファイルでは、第1中間点3281と第2中間点3280との間の距離(“相互中間距離”)は、無視できる程度の距離である。すなわち、図24Jのように、中間点同士一致している。前記相互中間点距離が所定の相互中間点距離非対称閾値を超える場合、対称性の欠如が検出される。前記相互中間点距離は、|WBL−WBR|の2倍である。この方法のバリエーションにおいては、図24Hに示すように、1つの勾配レベル3274のみを使用して対応する1つの中間点3280のみを算出し、ピーク勾配3212(又は補間ピーク3270)から1つの中間点3280までの距離XbPkを測定する。
さらに別の方法は、ピーク勾配3212(又は補間ピーク3270)の両側の勾配プロファイルの傾斜の第1導関数を求め、所定の基準に基づいて前記第1導関数同士を比較し、対称性の欠如があるかどうかを判定することである。例えば、傾斜がきつい方の第1導関数の大きさが、傾斜の小さい方よりも第1導関数非対称性閾値以上に大きい場合は、対称性の欠如が判定される。一方、完全に対称な勾配プロファイルは、両側で符号のみが異なり、大きさが同一である第1導関数を有する。前記複数の第1導関数は、補間によって近似的に算出されてもよい。前記複数の第1導関数は、例えば、0.5といったピーク勾配値のある割合(好ましくは10%〜90%の間、より好ましくは20%〜80%の間)である勾配レベルで近似的に算出されてもよい。図23Bにおいて、勾配レベルがピーク勾配3212の0.5倍である場合、正のピーク勾配3212の両側で、連続する1対の立ち上がり傾斜及び立ち下り傾斜がある。右側の傾斜は、左側の傾斜よりも著しく急勾配である。図24Dは、前記第1導関数が勾配レベル0.25において正規化された勾配プロファイルについてどのように評価され、それぞれ補間勾配プロファイルの左右の辺に接する、底辺幅1の直角三角形(斜線)の斜辺と近似させているかを示している。前記第1導関数は、それぞれ三角形の高さS、Sによって近似される。図24Eは、同一の底辺幅(本例では1)を有する2つの三角形を使用した第1導関数の近似方法を示す。各三角形の底辺の中心は、勾配プロファイルを補間して、勾配レベル0.25となる点である。対応する斜辺の端部は、それぞれ1画素の半分ずつ離れており、勾配プロファイルから補間した勾配値を勾配値としている。前記第1導関数は、ここでは1とする底辺で割った高さS’、S’として近似される。一般に知られているように、様々な連続した複数のデータ要素から第1導関数を近似する方法がある。従って、本発明のこの様態は、上述した特定の例に限定されることはなく、全ての均等な方法及び第1導関数を提供するすべての近似法を含む。
さらに他の方法は、ピーク勾配3212(又は補間ピーク3270)の両側の勾配プロファイルの第2導関数を求め、所定の基準に基づき前記第2導関数同士を比較し、非対称性の有無を判定するものである。例えば、一方が他方よりも第2導関数非対称性閾値以上に大きい場合、対称性の欠如とする。一方、完全に対称な勾配プロファイルは、符号及び大きさが一致する第2導関数を両側で有する。前記第2導関数は、補間により近似的に算出されてもよい。前記複数の第2導関数は、例えば0.25であるピーク勾配値の所定の割合(好ましくは10%〜90%の間、より好ましくは20%〜80%の間)である勾配レベルで算出してもよい。図24Fに第2誘導体の近似方法を示す。まず、左側の、等間隔で連続する三つの組の勾配又は補間勾配3295、3296、3297と、右側の他の三つの組3291、3292、3293を求め、それぞれの中間点3296、3292を0.25の正規化された勾配レベルとする。前記複数の三つの組の一定の間隔に対して、0.25の正規化された勾配レベル上のそれぞれ外側点の対(左側の3295、3297及び右側の3291、3293)の正規化された勾配値の算術平均のそれぞれの高さ(D、D)をそれぞれの第2導関数に対する近似値として求める。図24Fに示すように、Dは正であり、Dは負である。
図24Gに他の第2導関数の近似法(正規化勾配レベル0.18)を示す。各側において、補間勾配プロファイルと0.18の勾配レベル(すなわち、この勾配レベルでの勾配又は補間勾配)との間で交差する点の上下で、それぞれ1つの三角形を勾配プロファイルに当てはめている。各三角形の斜辺は、その斜辺が補間勾配プロファイルと合う傾斜で傾斜している。左側の三角形の高さSUL、SLL(右側では、三角形のSUR、SLR)を減算し、第2導関数D(D)を求める。前記複数の第2誘導体の逆符号を矢印で示す(上向きはD’、下向きはD’)。この勾配プロファイルは、明らかに両側で第2導関数が著しく一致しておらず、従って、非対称である。
一般に知られているように、様々な連続した複数のデータ要素から第2導関数を近似する方法がある。従って、本発明のこの様態は、上述した特定の例に限定されることはなく、全ての均等な方法及び第2導関数のためのすべての可能な近似法を含む。
上記の例で異なる測定パラメータを使用して反射対称性の欠如を検出する方法を述べてきたが、上記の方法のうち2以上を同時に使用してそれぞれの測定パラメータを算出できる。また、これらの測定パラメータを結合させて比較パラメータを形成し、非対称性閾値、より一般的には所定の許容域と比較し、比較パラメータの値が許容域からはずれている場合は、反射対称性の欠如が検出される。例えば、中間点Xab(図24H)同士の距離と、第1導関数S−S(図24D)同士の差分を重み平均Zにおいて結合し、許容域を間隔−α<Z<αとして規定する非対称性閾値αと比較してもよい。
上述の非対称エッジの検出方及び解決法は、エッジ検出及び幅測定ユニット206において行われ得る。
長さフィルター
以下、長さフィルター212の機能について説明する。広義では、長さフィルター212は、それぞれが同様の配向の1つ以上のエッジに接続するエッジへの嗜好を作成する。同様の方向を有してその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有してグループにおいて互いに接続されたグループのエッジ(「連結エッジ」)は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるにつれ、指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば10未満と弱いといった薄暗い又は短い露光の場合に用いることができる。前記嗜好は、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。
第1の方法としては、連結長さ閾値より小さい長さを有する垂直/水平連結エッジに属するエッジを消去する。前記連結長さ閾値は、前記対象領域が比較的薄暗い場合に比較的に大きくしてもよい。例えば、前記連結長さ閾値は、2のような小さな値から始まってもよいが、対象領域における信号対雑音比が5に低下される場合に8に増える。前記連結長さ閾値は、前記プロセッサー112、112’、112”によって、例えば、信号132の一部となる図3に示すような「長さコマンド」信号で提供されてもよい。または、前記閾値は、式に基づいて前記フォーカス信号発生器で算出されてもよい。
第2の方法としては、それぞれのエッジに対して前記長さフィルター212で長さ重みを提供し、そしてこの長さ重みを前記フォーカス信号算出器210でのフォーカス信号の算出に適用する。比較的長い連結エッジの一部であるエッジは、比較的短い連結エッジの一部であるエッジより大きい重みを受け取る。例えば、前記長さ重みは、前記連結エッジの長さの平方であってもよい。従って、全ての寄与値を合計する前に、それぞれのエッジのフォーカス信号に対する寄与値に因子A/Bを乗じることによって、フォーカス信号を形成してもよく、ここで、Bはフォーカス信号の算出に入る全てのエッジの長さ重みの合計であり、Aは前記エッジの長さ重みである。同様に、エッジ幅のヒストグラム(信号134の一部として出力されてもよい)は、好ましくは、いずれのエッジも同様の寄与値(例えば+1)を提供するのではなく、比較的長い連結エッジに属する複数のエッジが、それらのそれぞれのエッジ幅に対応する区間により大きな寄与値を提供するようにすることができる。従って、例えば、それぞれのエッジはA/Cに寄与することができ、ただし、Cは前記エッジに亘るAの平均値である。同様に、狭いエッジのカウントは、比較的長い連結エッジのメンバーとしてのエッジがより多く寄与するようにすることができる。従って、例えば、それぞれのエッジによる寄与は、A/Dを乗じてもよく、ただし、Dは狭いエッジのカウントで数えられるエッジの間のAの平均値である。
最上部(最左側)及び底部(最右側)のエッジを除き、それぞれのエッジが2つの他の垂直(水平)エッジ(一方のエッジはその上方(左側)、他方のエッジはその下方(右側)にある。)に接触する1群のN個の垂直(水平)エッジは、長さNを有する垂直(水平)連結エッジである。前記上部(最左側)エッジは、その下方(右側)の1つのエッジのみに接触することが必要である。前記底部(最右側)エッジは、その上方(左側)の1つのエッジのみに接触することが必要である。
図8は垂直連結エッジ及びその長さを示す。図8において、セルR2C3及びR2C4は第1の垂直エッジを形成し、ユニットR3C3、R3C4及びR3C5は一緒に第2の垂直エッジを形成し、また、ユニットR4C4及びR4C5は一緒に第3の垂直エッジを形成している。前記第1及び第3の垂直エッジはそれぞれ1つの他の垂直エッジのみに接触するのに対し、前記第2の垂直エッジは2つの他の垂直エッジに接触する。前記第1、第2及び第3の垂直エッジは一緒に長さ3を有する垂直連結エッジを形成する。
垂直(水平)連結エッジに2つ以上の分岐がある、即ち、1行(列)に2つのエッジがある場合(図示せず)には、前記長さが連結エッジにおける総エッジ数として定義されてもよい。又は、前記長さは、その中の最上部(最左側)エッジから最底部(最右側)エッジまでの垂直(水平)距離に1を加えたものとして定義されてもよい。
上述した提案の他に、連結長さを定義する他の可能な方法がある。例えば、連結エッジの長さの定義は、前記長さが前記連結エッジにおける少なくとも3までのメンバーエッジ数に比例する特性を有することである。これは、前述した推理に合致しており、すなわち、互いに接触して互いに接続される複数のエッジが多ければ、連結エッジがノイズに起因される確率が指数関数的に低くなり、これによって、前記長さが、連結エッジにおける適当な数以下のメンバーエッジ数に比例することになるべきであり、前記適当な数とは、当該連結エッジの信頼性を単一のメンバーエッジの信頼性よりも十分に向上させる数である。前記長さフィルター212は、連結長さ1を有するエッジを弱め、又は消去して、広義では区別することができる。前記長さフィルター212は、連結長さ2を有するエッジを区別することができる。前記長さフィルター212は、連結長さ3を有するエッジを区別してノイズによる影響をさらに低下することができる。前記長さフィルター212は、前記プロセッサーからのコマンドに基づいてこれらの動作の何れか1つを行うことができる。
図3には前記エッジ検出・幅測定ユニット206の直後に設けることを示しているが、その他の配置も可能である。例えば、前記フォーカス信号算出器210の前に前記長さフィルター212が挿入されてもよい。前記長さフィルター212によって処理された複数のエッジは、「精細」信号に応じて前記幅フィルター209を通過するエッジである。
フォーカス信号発生器の代替実施形態においては、前記精細スイッチ220を除去することにより、前記フォーカス信号算出ユニット210に、前記幅フィルター209にろ過されていない第1のデータ群及びろ過された第2のデータ群を受信させ、そして、前者のデータ群の計算により概略フォーカス信号を取得し、後者のデータ群の計算により精細フォーカス信号を取得するように、前記両データ群に対して計算を行って異なるフォーカス信号を取得し、さらに、この2つの信号を前記プロセッサー112、112’に出力してもよい。
幅フィルター
次に、図3を参照して前記幅フィルター209の動作を理解する。図11は複数のエッジ幅のヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントのグラフを描いている。エッジ幅2(即ち、前記上述鮮明_エッジ_幅)には、前記画像に複数の鮮明なエッジが存在することを示唆する1つのピークがある。しかし、エッジ幅4及び5には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。フォーカス信号を算出するには、幅が所定の範囲(「狭いエッジの範囲」)外にある複数のエッジは、前記幅フィルター209によって、弱めるようにしてもよい。前記幅フィルター209は、前記フォーカス信号の算出に用いるために、前記狭いエッジの範囲外にある複数のエッジ幅に対して比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み1.0が割り当てられるが、上限840の右側へ+1よりも大きく離れた複数のエッジ幅に対して重み0が割り当てられ、その間の複数のエッジ幅に対して0〜1.0の重みが割り当てられ、エッジ幅と共に単調に低減される。または、前記幅フィルター209は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適切な上限及び下限830、840は、画素アレイ108でのクロストーク、フォーカス信号発生器120に受信された画像に対して欠落色を発生する補間方法及び前記エッジ検出・幅測定ユニット206に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適切な上限及び下限830、840及び前記パラメータの鮮明_エッジ_幅は、前記画像ピックアップ装置102、102’に対して、種々の鮮明度を有する画像を取り込んでエッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、鮮明な画像のピークがエッジ幅2にある場合、適切な上限及び下限はそれぞれ、1.5及び3であり、前記鮮明_エッジ_幅は2.0に設定されてもよい。前記下限と上限及び鮮明_エッジ_幅は、上述したように決定され、そして前記プロセッサー112、112”によって前記フォーカス信号発生器120、120’、120”に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号が、狭いエッジの範囲外にあるエッジ幅を弱める。
また、前記幅フィルター209は、エッジ幅が狭いエッジの範囲内にある複数のエッジの総数を算出し、出力信号134の一部として出力してもよい。狭いエッジのカウントは、前記フォーカスシステムコントローラ(プロセッサー112)に入力されて、鮮明な画像の存在の検出及び/又は追跡の開始のために用いられてもよい。
フォーカス信号
次に、図3の前記フォーカス信号算出器210を参照すると、前記フォーカス信号算出器210は、複数のエッジ幅を受信してフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号=Σw/Σw、ただし、eはエッジ幅、wは重み、ここで、w=c、cはエッジ幅eにおけるエッジのカウントであり、iは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、w=cであってもよい。また、重みで表される前記幅フィルター209からの嗜好は、それぞれのエッジ幅をさらに乗じてもよい。例えば、前記幅フィルター209により発生される重みΩに対しては、ΣΩ=1、フォーカス信号はΣΩ/ΣΩとして算出されてもよい。制御信号「精細」がオン、且つ「排除」がオフになると、図11に示す実例では、前記フォーカス信号は、2.0という鮮明なエッジ幅の値に非常に近い値となり、これは、2.0〜3.0のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実際に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、且つ「排除」がオフになると、前記フォーカス信号は5.0に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ220をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ220がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ220がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター212により表現される前記強調は、複数の方法のうちの1つにより、前記フォーカス信号に組み込まれてもよい。例えば、フォーカス信号の計算への組み込みを弱めるようにエッジを消去してもよく、または、エッジの、対応するエッジ幅の区間のカウントeへの寄与において、その対応する重みを低減してもよい。
図15は、オブジェクトが鮮明にフォーカスされている所の近傍のフォーカス位置の調節に対する前記精細フォーカス信号の応答をスケッチする。前記精細なフォーカス信号は、大体、前記フォーカス位置により画像が鮮明にフォーカスにされるような鮮明_エッジ_幅において、最小値に達するが、そうでなければ増える。前記精細フォーカス信号は、既に焦点が合った又はその状態に非常に近いオブジェクトの追跡に用いられてもよい。移動するオブジェクトに対しては、前記精細なフォーカス信号は、焦点距離が変わり続ける場合でも、前記フォーカス制御システムにより、これらのオブジェクトが鮮明にフォーカスされることを保つようにする。前記精細なフォーカス信号はまた、前記オブジェクトが、幅が狭いエッジの範囲に収まるエッジを生じさせるように、鮮明にフォーカスされないがこの状態に十分に近いオブジェクトの鮮明フォーカスを取得する(「取得」)ことに用いられてもよい。前記エッジ幅のヒストグラムに示すピークは、前記鮮明_エッジ_幅から離れた、前記オブジェクトに対応するエッジ幅のところにあるために、前記精細なフォーカス信号が鮮明_エッジ_幅よりも大きくなるので、前記フォーカス制御システムは、前記精細なフォーカス信号値が前記鮮明_エッジ_幅にさらに近くなるようにフォーカス位置を調節することでそれに対応することができ、これにより、前記オブジェクトに起因するエッジ幅のピークが鮮明_エッジ_幅に等しいエッジ幅の値の中心に位置決めされる。
基本の使用方法
図12〜16は、狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。
図12は、前景における「人」、背景における「山、太陽及び地平線」、及びその間における「自動車」のように、異なる焦点距離において3つのグループのオブジェクトを有する戸外シーンを示す。
図13は、前記フォーカスレンズ104のフォーカス位置が図12に示すシーンを遠くから近くへ走査する場合における時間に対して描かれた狭いエッジのカウントの図である。前記狭いエッジのカウントは、フォーカス位置においてオブジェクトが画素アレイ108で鮮明な画像となる場合にピークに達する。従って、前記狭いエッジのカウントは走査中に、「山、太陽及び地平線」、「自動車」及び「人」に対してこの順で1つずつ、合計3つのピークを示す。
図14は時間に対して描かれた概略フォーカス信号を示す。前記概略フォーカス信号は、前記フォーカス位置が狭いエッジのカウントがピークに達する3つのフォーカス位置のそれぞれに近い場合に最小値を示す。しかし、それぞれの最小値において、前記概略フォーカス信号は、焦点外れの他のオブジェクトにより寄与された比較的大きいエッジ幅に起因して、前記鮮明_エッジ_幅レベル、この実例では2.0にない。
図15は、図12のシーンにおける「自動車」に対する鮮明なフォーカス位置の近傍にあるフォーカス位置に対して描かれた精細なフォーカス信号を示す。前記精細なフォーカス信号は、複数のぼやけたオブジェクト(「人」及び「山、太陽及び地平線」)が存在するにもかかわらず、鮮明_エッジ_幅、この実例では2を基本的に達成する。図11を再び参照すると、幅4及び5における2つのピークは、それらの2つのグループのぼやけたオブジェクトにより寄与されるが、これは、前記幅フィルター324が重みを低減させ、又は上限840の右側へのエッジ幅による寄与を完全に消去したと理解することができる。
フォーカス制御システムは、概略フォーカス信号を利用して、検索モードで最寄りの鮮明なフォーカス位置を検索することができる。それは、フォーカス位置を現在のフォーカス位置から離れるように移動させて前記概略フォーカス信号が増加するか低減するかを決定することができる。例えば、前記フォーカス位置が内向き(外向き)に移動する場合に前記概略フォーカス信号が増加(低減)すると、現在のフォーカス位置から比較的遠い鮮明なフォーカス位置が存在する。前記プロセッサー112、112’、112”はその後、フォーカス駆動信号を供給し、隣接する鮮明なフォーカス位置へフォーカスレンズ104を移動させることができる。
フォーカス制御システムは、前記シーンにおける変化、前記オブジェクトの移動又は前記画像ピックアップ装置の移動にもかかわらず、前記精細なフォーカス信号を利用して、既に鮮明にフォーカスされたオブジェクトを追跡して対応する画像の鮮明さ(従って、「追跡モード」)を保ってもよい。オブジェクトが鮮明にフォーカスされる場合に、上記の変化があるにもかかわらず、前記精細なフォーカス信号レベルは安定している。これによって、前記精細なフォーカス信号の変更は、前記オブジェクトの画像ピックアップ装置からの焦点距離の変更を示唆する。前記フォーカス制御システムを、最小値に近い所定の精細なフォーカス信号レベル、例えば、この実例では2.0〜2.5、特に2.1に「ロックする」ことにより、前記精細なフォーカス信号レベルが変動すると、直ちに前記プロセッサー112、112’、112”に前記オブジェクトの焦点距離の変更が通知される。前記プロセッサー112、112’、112”はその後、方向を決めて、フォーカスレンズ104を移動させて前記精細なフォーカス信号レベルを「ロックされた」レベルに回復させることができる。従って、前記画像ピックアップ装置102、103、103’、103”は、移動オブジェクトを追跡することができる。
例えば、プロセッサー112、112’、112”におけるアルゴリズムにおいて実施されるようなフォーカス制御システムは、狭いエッジのカウントを利用して検索モードから追跡モードへの変更をトリガしてもよい。前記追跡モードにおいて、前記フォーカス制御システムは、前記精細なフォーカス信号により前記オブジェクトを「ロックする」。フォーカス位置が前記オブジェクトの鮮明なフォーカス位置に十分に近づく前に、前記フォーカス制御システムは、前記概略フォーカス信号により移動方向を確認し、レンズの移動速度を調節してもよい。オブジェクトが鮮明にフォーカスされる場合に、狭いエッジのカウントはシャープにピークに達する。狭いエッジのカウントにおける鮮明な上昇、ピークの到達又はその両方を検出した場合、前記プロセッサー112、112’、112”は、追跡モードに切り替えて、精細なフォーカス信号を、フォーカス位置の制御に用いてもよい。鮮明なフォーカス位置によって閾値が異なる可能性があり、前記閾値は、終端間フォーカス位置「走査」によって見つけられたそれぞれのグループのオブジェクトに割り当てられ、そしてその後、狭いエッジのカウントがこの閾値を超えると、対応するグループのオブジェクトが検出される。静止シーンに対して、例えば、静止画像の撮影に対しては、終端間フォーカス位置走査は、狭いエッジのカウントがピークに達する毎に最大のカウントがある最大カウントリストを返すことができる。例えば、最大のカウントの50%を取ることにより、前記最大のカウントのリストから、閾値のリストを生成することができる。
図16は、表示装置114と、複数のボタンを含む入力装置107と、前記表示装置114においてハイライトされた選択マーカー1920とを有する画像ピックアップ装置102を示す。ユーザは前記入力装置107を利用して、前記選択マーカー1920を作成、成形及び操作することができる。この実例において複数のボタンを含むことを示しているが、前記入力装置107は、表示装置114でのタッチ又はストロークの位置を検出するために、前記表示装置114に載せたタッチスクリーンを含んでもよい。前記入力装置107、及び前記プロセッサー112、112’、112”又は入力装置107のための別個専用コントローラ(図示せず)は、選択領域を決定することができる。前記選択領域を記述するための複数のパラメータは、バス132を介して(又はフォーカス信号発生器120が前記プロセッサー112の一部である場合に、前記プロセッサー112において内部で)、前記フォーカス信号発生器120、120’、120”に転送されることができる。それに応じて、前記フォーカス信号発生器120は、フォーカス信号の算出、狭いエッジのカウント又はその両方を前記パラメータに記述される選択領域におけるエッジに限定し又は前記選択領域外にあるエッジを弱めるようにすることができる。こうすると、前記フォーカス信号より意図せぬオブジェクトの強調を弱めることができ、そして前記概略フォーカス信号でも単一の最小値及び鮮明なエッジ幅における1.0以下の最小レベルを示す。
代替実施形態
図45は、フォーカス信号発生器120’の代替実施形態を示す。フォーカス信号発生器120’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ120’が出力するエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含むエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所でのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す1組の係数、及びエッジ幅の関数を示すことができる任意のデータのうちの1つ以上であってもよい。全数調査ユニット240は、前記フォーカス信号発生器120’と他のユニットのうちの1つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器120’は、エッジ幅分布の表示の信号を出力することができる。
図46に示すように、このように信号134で代替オートフォーカス画像ピックアップ装置102’における代替実施形態のプロセッサー112’に供給されるエッジ幅の統計データは、上述した方法又はその同等のものにより、概略及び/又は精細なフォーカス信号及び狭いエッジのカウントを算出するように、前記プロセッサー112’により使用されてもよい。さらに、前記フォーカス信号発生器120’に算出された何れのデータも、出力信号134の一部としてプロセッサー112’に出力されてもよい。例えば、前記排除範囲及び連鎖は、エッジの統計データ(例えば、図19又は図20のフローチャートによる排除範囲及び連鎖を算出するためのエッジ特性の統計データ)とともに、前記プロセッサー112’に送信されてもよい。
前記プロセッサー112’は、図1のプロセッサー112に含まれる機能の外に、フォーカス信号及び/又は狭いエッジのカウントを内部で発生させてもよい。
前記画素アレイ108、A/D変換器110、色補間器148及び発生器120’は、前記プロセッサー112’とは別の、画像センサー150’を一緒に含む1つのパッケージ142に備わってもよい。
さらに、フォーカス信号発生器の別の実施形態としては、全数調査ユニット240を図1の発生器102に付加し、上記発生器で算出された1つ以上の統計データを前記プロセッサー112に出力してもよい。
補助画素アレイ
図47は、オートフォーカス画像ピックアップシステム103の代替実施形態を示す。システム102に含まれる素子の外に、前記システム103は、ハーフミラー2850と、フルミラー2852と、光学ローパスフィルター2840と、主画素アレイ2808と、主A/D変換器2810とを含んでもよい。前記ハーフミラー2850は、入射する光ビームを、第1のスプリットビーム及び第2のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第1のスプリットビームは、最後に、前記第1のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ2808に到達する前に、さらに前記光学ローパスフィルター2840を透過してもよい。前記第2のスプリットビームは、最後に、図1に示すシステム102における画素アレイ108に対応する前記補助画素アレイ108”に到達する前に、前記フルミラー2852により反射されてもよい。第2の光ビームに対する第1の光ビームの光強度の比は、1対1又は1対1よりも大きくなり得る。例えば、この比は4対1になり得る。
前記主画素アレイ2808は、例えばバイエルパターンのようなカラーモザイクパターンのカラーフィルターアレイに被覆されてもよい。前記光学ローパスフィルター2808は、前記画素アレイ2808にフォーカスされた最小光点がエイリアシングを引き起こすほど小さすぎないようにする。モザイクパターンのカラーフィルターが前記画素アレイ2808を被覆する場合に、エイリアシングは、色補間の後にカラーモアレ偽像を引き起こし得る。例えば、前記光学ローパスフィルターを利用することにより、前記主画素アレイ2808における光点の可視光パワーの84%を取り囲む円の最小直径(「最小主直径」)は、1.5画素の幅より大きいが、2画素の幅より小さいように維持される。例えば、前記主画素アレイ2808は4.5 umの画素の幅を有するのに対し、光学ローパスフィルタリング無しで最小直径が2.0 umであると、前記光学ローパスフィルター2840は、光点の直径が6.7 um以上になるようにするために選択されてもよい。
前記補助画素アレイ108”は、1つ以上の光検出器アレイを含んでもよい。これらのアレイのそれぞれは、カラーモザイクパターンのカラーフィルターアレイに被覆されても、被覆されなくてもよい。前記補助画素アレイ108”におけるこの(これらの)アレイは、A/D変換器110によりデジタル信号130に変換されるアナログ信号で画像を出力する。これらの画像は前記フォーカス信号発生器120に送信される。色補間器148は、複数のカラーフィルターに被覆される画素から発生される画像に対して、欠落色を発生することができる。補助画素アレイ108”が複数の光検出器アレイを含む場合、それぞれのアレイは、前記主画素アレイ2808により取り込まれた画像の一部に対応するサブ画像を取り込むことが可能である。前記複数のアレイが、物理的に1百個の画素の幅以上に離れてもよく、また、1つの半導体基板を共有しても、共有しなくてもよい。補助画素アレイ108”における前記画素アレイは、1つの半導体基板を共有しない場合、一緒に1つのパッケージ(図示せず)に収容されてもよい。
主A/D変換器2810は、前記主画素アレイ2808からのアナログ信号をデジタル主画像データ信号2830に変換する。前記デジタル主画像データ信号2830は、前記プロセッサー112に送信され、最後にメモリカード116に記憶されるものである。前記プロセッサー112では、前記主画素アレイ2808において取り込まれた画像に対して色補間、色補正及び画像圧縮/解凍のような画像処理を行い得る。
前記補助画素アレイ108”における光検出器アレイは、前記主画素アレイ2808の画素の幅(「主画素の幅」)よりも小さい画素の幅(「補助画素の幅」)を有してもよい。前記補助画素の幅は、前記主画素の幅の半分ほどであってもよい。補助画素がカラーフィルターにカバーされ、且つ前記補助画素の幅が光学ローパスフィルタリングが行われていない場合の可視光の最小点の1.3倍よりも小さい場合、前記補助画素アレイ108”における最小直径(「最小補助直径」)が1.3〜2(好ましくは1.5)倍であって、最小主直径よりも小さい大きさに増加されるように、前記補助アレイ108”の前に第2の光学ローパスフィルターが挿入されてもよい。ユーザには前記補助画像が最終的な取込画像として提示しないので、前記補助画像における微細なモアレは問題ではない。
図50は、前記主画素アレイ2808からの主画像(実線曲線)及び前記補助画素アレイ108”からの補助画像(鎖線曲線)について、エッジ幅が鮮明なフォーカス位置周辺で如何に変化するかを示す。前記補助画像は、たとえ前記主画像が目的とする鮮明なエッジ幅である2に達する場合であっても、より鮮明な傾斜を与える。前記補助画像は、ユーザには最終画像として提示しないため、エイリアシングによるモアレが前記補助画像において重要ではないので、目的とする鮮明なエッジ幅以下に達することが許容される。これにより、前記鮮明なエッジ幅よりも下位及び上位の傾斜がきつくなる。このよりきつい傾斜は、また、前記補助画素の幅が前記主画素の幅より小さいことによって達成される。
図50における陰影領域は、主画像が鮮明なフォーカスに維持されるようにフォーカス位置を制御するための良好な領域を示す。フォーカス位置における外向きの変化により、補助画像でエッジ幅が増加するのに対し、内向きの変化により、それが低減することになる。主画像のエッジ幅が鮮明なエッジ幅に近いことを維持するために、真ん中の補助エッジ幅値を前記陰影領域内にターゲットし、補助画像から発生されたエッジ幅をフィードバック信号として用いるように線形フィードバック制御システムが用いられてもよい。
前記補助画素アレイ108”、A/D変換器110、フォーカス信号発生器120は、一緒に1つのパッケージ142に収容されて1つの補助センサー150を構成してもよい。前記補助センサー150は、色補間器148をさらに含んでもよい。
図48は、フォーカス信号発生器120をフォーカス信号発生器120’に置き換えたことを除き、装置103と同様のオートフォーカス画像ピックアップ装置103’の代替実施形態を示す。前記補助画素アレイ108”、A/D変換器110、フォーカス信号発生器120’は、一緒に1つのパッケージ142に収容されて1つの補助センサー150’を構成してもよい。前記補助センサー150は、色補間器148をさらに含んでもよい。
図49は、オートフォーカス画像ピックアップ装置103”の代替実施形態を示す。前記フォーカス信号発生器120及び前記プロセッサー112”は、前記補助画素アレイ108”とは別に、カメラコントローラとしてパッケージ144に収容されてもよい。前記プロセッサー112”は、プロセッサー112”が前記主画素アレイ2808及び前記補助画素アレイ108”から画像を受け取ることを除き、プロセッサー112と同様である。前記プロセッサー112”は、前記プロセッサー112が図2で信号130に対して実行可能な処理と同様に、信号2830で受け取られた画像に対して色補間、色補正、圧縮/解凍、及びメモリカード116への記憶を行うことができる。図2とは違って、ここでは、信号130で受け取られた画像は、圧縮/解凍されたり、メモリカード116に記憶されたりする必要がない。前記プロセッサー112”は、補助画素アレイ108”でのカラーフィルターに被覆された画素に対して、信号130で受け取られた画像に色補間を行い、そして色補間された画像をフォーカス信号発生器120に信号146で送信することができる。
前記オートフォーカス画像ピックアップシステム102、102’、103、103’、103”は、それぞれ前記プロセッサー112、112’、112”及び/又は前記フォーカス信号発生器120、120’が本願に記述された機能のうちの1つ以上を実行するようにする指令を含むコンピュータプログラム記憶媒体(図示せず)を備えてもよい。一例として、前記指令は、前記プロセッサー112又は前記発生器120’が図7のフローチャートに基づいてエッジ幅に対して斜め補正を行うようにしてもよい。別の実例として、前記指令は、前記プロセッサー112’又は前記発生器120が幅フィルター209に関する上記記述に基づいてエッジ幅のろ過を実行するようにしてもよい。または、前記プロセッサー112、112’又は前記発生器120、120’は、ファームウェア及びハードウェアの組合わせ又は本願に含まれる機能のうちの1つ以上に対する単純なハードウェアの実装を有するように配置されてもよい。例えば、発生器120において、単純なハードウェアにおいて斜め補正を実施し、ファームウェアにおいて指令による長さフィルター212を実施してもよい。
メモリカード116はシステム102の一部として示されているが、その代わりに、その中に記憶された画像がユーザによりアクセス可能であり、且つ前記システム102の外部にある異なる位置に転写可能であるハードディスクドライブのような、不揮発性記憶媒体も使用してもよい。
前記システムに使用される1つ以上のパラメータ、例えば、鮮明_エッジ_幅は、前記システムにおける1つの装置の不揮発性メモリに記憶されてもよい。前記装置はフラッシュメモリ装置、プロセッサー又は画像センサー、又はこれらとは別の装置としてのフォーカス信号発生器であってもよい。前記システムに使用される1つ以上の式、例えば、連結長さ閾値を算出するための又はβを算出するための式は同様に、パラメータとして又はコンピュータが実施可能な指令として、前記装置のうちの1つ以上での不揮発性メモリに記憶されてもよい。
上記図面において幾つかの例示的な実施形態を描いて示したが、これらの実施形態は、広い本発明を制限するものではなく、単に本発明を説明するものである。また、本発明は、当業者により様々な別の変形を達成することができるため、上記に描かれて示された特定の構造と構成に限定されないことが理解されるべきである。



















Claims (14)

  1. 複数のエッジ幅からフォーカス信号を発生させて、画像の画像鮮明さの程度を表す方法において、各エッジ幅は前記画像の複数のエッジのうちの1つであり、該方法は、
    前記エッジに対応する勾配プロファイルが前記エッジにわたる反射対称性が過度に欠如している場合、前記フォーカス信号に対する前記エッジのエッジ幅の寄与を除く又は減ずるステップを包含する、方法。
  2. 前記エッジにわたる勾配プロファイルの非対称性の程度を示すパラメータが非対称性閾値を超える値又は所定の許容域を外れた値を有する場合、前記反射対称性の欠如は過度である、請求項1の方法。
  3. 前記勾配プロファイルは、一連の連続する整数に対してプロットした第1の方向に並んで配列された複数の画素にわたる、連続する全て正又は全て負の複数の勾配であり、前記一連内のピーク勾配は、前記一連内のすべての勾配の勾配値の大きさのうち最大の大きさを持つピーク勾配値を有し、前記ピーク勾配の各側は、少なくとも1つの勾配を含む、請求項1又は2の方法。
  4. 前記勾配プロファイルの前記ピーク勾配又は補間ピークの異なる側の間で又は前記ピーク勾配又は前記補間ピークの両側にあり、且つ第1勾配レベルを共有する、1対の勾配、1対の補間勾配、又は1対の補間勾配及び勾配の間の第1中間点の異なる側の間で、前記勾配プロファイルを比較することにより、前記反射対称性の欠如は決定される、請求項3の方法。
  5. 前記ピーク勾配又は前記勾配プロファイルの補間ピークの両側にあり、且つ第1勾配レベルを共有する、1対の勾配、1対の補間勾配、又は1対の補間勾配及び勾配の間の第1中間点に対して、前記反射対称性の欠如は決定される、請求項3の方法。
  6. 前記第1勾配レベルは、前記ピーク勾配又は前記補間ピークの勾配値の第1割合として規定される勾配値である、請求項5の方法。
  7. 前記勾配プロファイルにおける反射対称性の欠如を以下の1つ以上から測定するステップを包含する、方法であって、
    前記以下の1つ以上は、
    前記ピーク勾配又は前記勾配プロファイルの補間ピークから第1中間点までの距離であって、前記第1中間点は、前記ピーク勾配の両側、又は前記補間ピークの両側における、第1勾配レベルでの第1の1対の勾配、第1の1対の補間勾配、又は第1の1対の補間勾配及び勾配の間にあるものと、
    前記第1中間点から第2中間点までの距離であって、前記第2中間点は、前記ピーク勾配の両側、又は前記補間ピークの両側における第2勾配レベルでの、第2の1対の勾配、第2の1対の補間勾配、又は第2の1対の補間勾配及び勾配の間にあるものと、
    1対の距離であって、前記1対の距離の各々は、前記ピーク勾配又は前記補間ピーク又は前記第2中間点から前記第1の1対の勾配、前記第1の1対の補間勾配、又は前記第1の1対の補間勾配及び勾配の各々までの距離と、
    前記ピーク勾配の両側、又は前記補間ピークの両側における、前記補間ピークからの又は前記第2中間点からの第1の距離での、1対の勾配、1対の補間勾配、及び1対の補間勾配及び勾配と、
    1対の画素のカウントであって、前記1対の画素のカウントの各々は、前記補間ピークの2つの側、又は前記ピーク勾配の2つの側、又は前記第2中間点の2つの側の各々における画素に対するものであり、前記画素の各々は、前記第1勾配レベルから前記ピーク勾配値までの範囲内のレベルにある勾配レベルに対応するものと、
    1対の区域であって、前記1対の区域の各々は、前記勾配プロファイル下、且つ前記第1勾配レベルと前記第2勾配レベルとの間、又は前記第1及び第2勾配レベルと異なる第3勾配レベルと前記第1勾配レベルとの間における、前記補間ピークの2つの側、又は前記ピーク勾配の2つの側、又は前記第2中間点の2つの側の各々の領域の区域であるものと、
    1対の長さであって、前記1対の長さの各々は、前記第1勾配レベルと第2勾配レベルとの間で、前記勾配プロファイルに沿って、前記補間ピークの2つの側、又は前記ピーク勾配の2つの側、又は前記第2中間点の2つの側の各々で測定されるものであるものと、
    同一勾配レベルと前記補間ピーク又は前記ピーク勾配又は前記第2中間点からの同一距離とのいずれかにおける、前記ピーク勾配の両側、又は前記補間ピークの両側での1対の第1又は第2導関数と、
    上記のうちいずれか1つの同等物、自明又は既知の変形物又は近似物と
    を含む請求項3の方法。
  8. 前記第1、第2及び第3勾配レベルは、前記ピーク勾配値又は前記補間ピークの勾配値のそれぞれ第1割合、第2割合及び第3割合として規定された異なる勾配値である、請求項7の方法。
  9. 前記第1、第2及び第3割合は、10%から90%の範囲内である、請求項8の方法。
  10. 前記第1、第2及び第3小数は、20%から80%の範囲内である、請求項8の方法。
  11. 前記第1の距離は、前記エッジ幅よりも小さい、請求項8の方法。
  12. 以下の複数の測定パラメータのうちの1つ以上を定するステップ
    非対称性の程度を示すパラメータが前記測定パラメータのうちの1つ以上の関数であり、且つ所定許容域から外れた値を有する場合、対称性の欠如であると決定するステップと、
    を包含し、
    前記複数の測定パラメータは、
    勾配プロファイルのピーク勾配又は補間ピークから第1中間点までの距離であって、前記第1中間点は、前記ピーク勾配の両側、又は前記補間ピークの両側における、第1勾配レベルでの第1の1対の勾配、第1の1対の補間勾配、又は第1の1対の補間勾配及び勾配の間にある、測定距離と、
    前記第1中間点から第2中間点までの距離であって、前記第2中間点は、前記ピーク勾配の両側、又は前記補間ピークの両側における第2勾配レベルでの、第2の1対の勾配、第2の1対の補間勾配、又は第2の1対の補間勾配及び勾配の間にあり、前記第1勾配レベルは、前記第2勾配レベルと異なるものである、測定距離と、
    1対の距離であって、前記1対の距離の各々は、前記ピーク勾配又は前記補間ピーク又は前記第2中間点から前記第1の1対の勾配、前記第1の1対の補間勾配、又は前記第1の1対の補間勾配及び勾配のうちの各々までの距離である、1対の距離と、
    前記ピーク勾配の両側、又は前記補間ピークの両側における、前記補間ピークからの又は前記第2中間点からの第1の距離での、1対の勾配、1対の補間勾配、及び1対の補間勾配及び勾配と、
    1対の画素のカウントであって、前記1対の画素のカウントの各々は、前記補間ピークの2つの側、又は前記ピーク勾配の2つの側、又は前記第2中間点の2つの側の各々における画素に対するものであり、前記画素の各々は、前記第1勾配レベルから前記ピーク勾配のピーク勾配値までの範囲内のレベルにある勾配レベルに対応する、1対の画素カウントと、
    1対の区域であって、前記1対の区域の各々は、前記勾配プロファイル下、且つ前記第1勾配レベルと前記第2勾配レベルとの間又は前記第1及び第2勾配レベルと異なる第3勾配レベルと前記第1勾配レベルとの間における、前記補間ピークの2つの側、又は前記ピーク勾配の2つの側、又は前記第2中間点の2つの側の各々の領域の区域である1対の区域と、
    1対の長さであって、前記1対の長さの各々は、前記第1勾配レベルと前記第2勾配レベルとの間で、前記勾配プロファイルに沿って、前記補間ピークの2つの側、又は前記ピーク勾配の2つの側、又は前記第2中間点の2つの側の各々で測定されるものである1対の長さと、
    同一勾配レベルと前記補間ピーク又は前記ピーク勾配又は前記第2中間点からの同一距離とのいずれかにおける、前記ピーク勾配の両側、又は前記補間ピークの両側での1対の第1又は第2導関数と、
    上記のうちいずれか1つの同等物、自明又は既知の変形物又は近似物である測定パラメータと、
    である、
    エッジにわたる複数の勾配の対称性の欠如を検出する方法。
  13. 前記勾配プロファイルは、一連の連続する整数に対してプロットした第1方向に並んで配列された複数の画素にわたる、連続する全て正又は全て負の複数の勾配であり、前記ピーク勾配は、前記一連の勾配内において、前記一連の勾配のうちすべての勾配の勾配値の大きさのうち最大の大きさを持つピーク勾配値を有する勾配であり、前記ピーク勾配の各側は、少なくとも1つの勾配を含む、請求項12の方法。
  14. 前記第1、第2及び第3の勾配レベルはそれぞれ、前記ピーク勾配値又は前記補間ピークの勾配値の第1割合、第2割合及び第3割合として規定された異なる勾配値である、請求項13の方法。
JP2012542669A 2009-12-07 2010-12-07 オートフォーカス画像システム Active JP5725380B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US26743609P 2009-12-07 2009-12-07
PCT/IB2010/055641 WO2011070513A1 (en) 2009-12-07 2010-12-07 Auto-focus image system

Publications (2)

Publication Number Publication Date
JP2013527635A JP2013527635A (ja) 2013-06-27
JP5725380B2 true JP5725380B2 (ja) 2015-05-27

Family

ID=42470708

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012542669A Active JP5725380B2 (ja) 2009-12-07 2010-12-07 オートフォーカス画像システム
JP2012542670A Ceased JP2013527483A (ja) 2009-12-07 2010-12-07 オートフォーカス画像システム
JP2015238094A Pending JP2016057638A (ja) 2009-12-07 2015-12-04 複数のエッジ幅からフォーカス信号を生成する方法
JP2016078083A Expired - Fee Related JP6179827B2 (ja) 2009-12-07 2016-04-08 フォーカス信号を生成する方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2012542670A Ceased JP2013527483A (ja) 2009-12-07 2010-12-07 オートフォーカス画像システム
JP2015238094A Pending JP2016057638A (ja) 2009-12-07 2015-12-04 複数のエッジ幅からフォーカス信号を生成する方法
JP2016078083A Expired - Fee Related JP6179827B2 (ja) 2009-12-07 2016-04-08 フォーカス信号を生成する方法

Country Status (12)

Country Link
US (8) US8457431B2 (ja)
EP (1) EP2510680B1 (ja)
JP (4) JP5725380B2 (ja)
CN (1) CN103416052B (ja)
AU (2) AU2010329533A1 (ja)
BR (3) BR112012013721A2 (ja)
CA (1) CA2821143A1 (ja)
GB (4) GB2504857B (ja)
HK (1) HK1191780A1 (ja)
MX (2) MX2012006468A (ja)
SG (2) SG181173A1 (ja)
WO (2) WO2011070513A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010329533A1 (en) 2009-12-07 2012-07-26 Hiok Nam Tay Auto-focus image system
AU2010353808A1 (en) * 2010-05-26 2012-12-06 Tay, Hiok Nam MR Auto-focus image system
GB2510495A (en) * 2010-05-26 2014-08-06 Hiok Nam Tay Auto-focus image system
AU2011340207A1 (en) * 2010-12-07 2013-07-18 Hiok Nam Tay Auto-focus image system
DE112011104233T5 (de) 2010-12-07 2013-12-12 Hiok Nam Tay Autofokus-Bildsystem
US9065999B2 (en) 2011-03-24 2015-06-23 Hiok Nam Tay Method and apparatus for evaluating sharpness of image
CN103650473B (zh) * 2011-06-09 2018-09-04 郑苍隆 自动聚焦图像方法
CN103283215B (zh) * 2011-06-09 2017-03-08 郑苍隆 自动聚焦图像系统
WO2013020143A1 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack quantification
JP5325966B2 (ja) * 2011-11-25 2013-10-23 オリンパス株式会社 撮像装置及び撮像方法
WO2013090830A1 (en) 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
US20130162806A1 (en) * 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
US8630504B2 (en) * 2012-01-16 2014-01-14 Hiok Nam Tay Auto-focus image system
US9030591B2 (en) 2012-07-20 2015-05-12 Apple Inc. Determining an in-focus position of a lens
US8922662B1 (en) 2012-07-25 2014-12-30 Amazon Technologies, Inc. Dynamic image selection
JP5801002B2 (ja) * 2012-12-28 2015-10-28 富士フイルム株式会社 画素補正方法及び撮像装置
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
US9480860B2 (en) 2013-09-27 2016-11-01 Varian Medical Systems, Inc. System and methods for processing images to measure multi-leaf collimator, collimator jaw, and collimator performance utilizing pre-entered characteristics
US9392198B2 (en) 2014-02-26 2016-07-12 Semiconductor Components Industries, Llc Backside illuminated imaging systems having auto-focus pixels
US9560259B2 (en) * 2014-06-27 2017-01-31 Sony Corporation Image processing system with blur measurement and method of operation thereof
US20170139308A1 (en) * 2014-07-03 2017-05-18 Sony Corporation Filter control device, filter controlling method, and imaging device
US9716822B2 (en) * 2014-11-14 2017-07-25 Qualcomm Incorporated Direction aware autofocus
US9478007B2 (en) * 2015-01-21 2016-10-25 Samsung Electronics Co., Ltd. Stable video super-resolution by edge strength optimization
CN106973219B (zh) * 2017-02-21 2019-06-28 苏州科达科技股份有限公司 一种基于感兴趣区域的自动聚焦方法及装置
US10945657B2 (en) * 2017-08-18 2021-03-16 Massachusetts Institute Of Technology Automated surface area assessment for dermatologic lesions
FR3080936B1 (fr) * 2018-05-04 2020-04-24 Imginit Methode de detection et de quantification du flou dans une image numerique
US10686991B2 (en) 2018-09-11 2020-06-16 Sony Corporation Techniques for improving photograph quality for fouled lens or sensor situations
US20200084392A1 (en) * 2018-09-11 2020-03-12 Sony Corporation Techniques for improving photograph quality for poor focus situations
WO2020215050A1 (en) 2019-04-19 2020-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona All-in-focus imager and associated method
WO2020215046A1 (en) * 2019-04-19 2020-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona On-chip signal processing method and pixel-array sensor
CN112534330B (zh) 2019-06-27 2022-11-29 松下知识产权经营株式会社 摄像装置
JP7289055B2 (ja) * 2019-06-27 2023-06-09 パナソニックIpマネジメント株式会社 撮像装置
JP7390636B2 (ja) 2019-06-27 2023-12-04 パナソニックIpマネジメント株式会社 撮像装置
CN112464947B (zh) * 2020-10-30 2021-09-28 深圳市路远智能装备有限公司 一种三脚透镜的视觉识别方法

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6068510U (ja) * 1983-10-17 1985-05-15 キヤノン株式会社 焦点検出装置
JPS60143311A (ja) 1983-12-29 1985-07-29 Asahi Optical Co Ltd Ttlオ−トフオ−カスビデオカメラの光学系
JPS6119211U (ja) 1984-07-06 1986-02-04 株式会社 コシナ オ−トフオ−カス付ズ−ムレンズ
JPS61210310A (ja) * 1985-03-15 1986-09-18 Nippon Kokan Kk <Nkk> 自動焦点合せ装置
JPH0779434B2 (ja) * 1986-05-16 1995-08-23 キヤノン株式会社 合焦検出装置
US5040228A (en) * 1989-08-28 1991-08-13 At&T Bell Laboratories Method and apparatus for automatically focusing an image-acquisition device
JP3167023B2 (ja) 1989-11-13 2001-05-14 キヤノン株式会社 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写体位置検出装置
EP0455444B1 (en) 1990-04-29 1997-10-08 Canon Kabushiki Kaisha Movement detection device and focus detection apparatus using such device
US5790710A (en) * 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
US5488429A (en) 1992-01-13 1996-01-30 Mitsubishi Denki Kabushiki Kaisha Video signal processor for detecting flesh tones in am image
JPH066661A (ja) 1992-06-19 1994-01-14 Canon Inc 合焦検出装置
JP3482013B2 (ja) 1993-09-22 2003-12-22 ペンタックス株式会社 光学系のピント評価方法、調整方法、調整装置、およびチャート装置
JPH07177414A (ja) * 1993-12-20 1995-07-14 Canon Inc 合焦検出装置
JPH07311025A (ja) 1994-05-17 1995-11-28 Komatsu Ltd 3次元形状検査装置
US5496106A (en) 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
US5532777A (en) * 1995-06-06 1996-07-02 Zanen; Pieter O. Single lens apparatus for three-dimensional imaging having focus-related convergence compensation
US5880455A (en) 1995-08-08 1999-03-09 Nikon Corporation Focal position detection apparatus having a light reflecting member with plural reflecting films
US5875040A (en) * 1995-12-04 1999-02-23 Eastman Kodak Company Gradient based method for providing values for unknown pixels in a digital image
JP3630880B2 (ja) 1996-10-02 2005-03-23 キヤノン株式会社 視線検出装置及び光学機器
US6094508A (en) * 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
JP4018218B2 (ja) 1997-12-25 2007-12-05 キヤノン株式会社 光学装置及び測距点選択方法
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US6415053B1 (en) * 1998-04-20 2002-07-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6337925B1 (en) 2000-05-08 2002-01-08 Adobe Systems Incorporated Method for determining a border in a complex scene with applications to image masking
JP2001331806A (ja) 2000-05-22 2001-11-30 Nec Corp 画像処理方式
JP2002189164A (ja) * 2000-12-21 2002-07-05 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP2002209135A (ja) * 2001-01-11 2002-07-26 Minolta Co Ltd デジタル撮像装置および記録媒体
JP2002214513A (ja) * 2001-01-16 2002-07-31 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP3555584B2 (ja) * 2001-01-23 2004-08-18 ミノルタ株式会社 デジタル撮像装置および記録媒体
JP3555583B2 (ja) * 2001-01-23 2004-08-18 ミノルタ株式会社 光学系制御装置、光学系制御方法、記録媒体および撮像装置
US20030123704A1 (en) 2001-05-30 2003-07-03 Eaton Corporation Motion-based image segmentor for occupant tracking
US20020191102A1 (en) * 2001-05-31 2002-12-19 Casio Computer Co., Ltd. Light emitting device, camera with light emitting device, and image pickup method
US20020191973A1 (en) 2001-06-13 2002-12-19 Hofer Gregory V. Method and apparatus for focus error reduction in a camera
US7088474B2 (en) * 2001-09-13 2006-08-08 Hewlett-Packard Development Company, Lp. Method and system for enhancing images using edge orientation
JP2003125198A (ja) 2001-10-18 2003-04-25 Sharp Corp 画像処理装置および画像処理方法、並びにそれを備えた画像形成装置、プログラム、記録媒体
JP3555607B2 (ja) * 2001-11-29 2004-08-18 ミノルタ株式会社 オートフォーカス装置
US6917901B2 (en) 2002-02-20 2005-07-12 International Business Machines Corporation Contact hole profile and line edge width metrology for critical image control and feedback of lithographic focus
JP4334179B2 (ja) 2002-03-07 2009-09-30 シャープ株式会社 電子カメラ
JP2003262783A (ja) * 2002-03-08 2003-09-19 Minolta Co Ltd オートフォーカス装置および撮像装置
US6888564B2 (en) 2002-05-24 2005-05-03 Koninklijke Philips Electronics N.V. Method and system for estimating sharpness metrics based on local edge kurtosis
JP3885000B2 (ja) * 2002-06-25 2007-02-21 日本特殊陶業株式会社 スパークプラグの検査方法、スパークプラグの製造方法及びスパークプラグの検査装置
JP4208563B2 (ja) 2002-12-18 2009-01-14 キヤノン株式会社 自動焦点調節装置
JP2004219546A (ja) * 2003-01-10 2004-08-05 Pentax Corp 自動焦点調節装置および自動焦点調節方法
US7269296B2 (en) * 2003-01-16 2007-09-11 Samsung Electronics Co., Ltd. Method and apparatus for shoot suppression in image detail enhancement
SG115540A1 (en) 2003-05-17 2005-10-28 St Microelectronics Asia An edge enhancement process and system
JP2005043792A (ja) 2003-07-25 2005-02-17 Pentax Corp 内視鏡の自動焦点調節装置
US7720302B2 (en) * 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing
JP2004110059A (ja) * 2003-10-27 2004-04-08 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
US7391920B2 (en) * 2003-11-04 2008-06-24 Fujifilm Corporation Image processing method, apparatus, and program
WO2005065823A1 (ja) * 2004-01-09 2005-07-21 Nippon Oil Corporation 石油系炭化水素の水素化脱硫触媒および水素化脱硫方法
JP2005269604A (ja) 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2005309559A (ja) 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US20050244077A1 (en) 2004-04-22 2005-11-03 Fuji Photo Film Co., Ltd. Method, apparatus and program for image processing
JP2005332383A (ja) 2004-04-23 2005-12-02 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20060078217A1 (en) * 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
JP2006024193A (ja) * 2004-06-07 2006-01-26 Fuji Photo Film Co Ltd 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム
EP1624672A1 (en) * 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
JP2006115446A (ja) 2004-09-14 2006-04-27 Seiko Epson Corp 撮影装置、及び画像評価方法
US7343047B2 (en) 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
JP4487805B2 (ja) * 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
JP4539318B2 (ja) 2004-12-13 2010-09-08 セイコーエプソン株式会社 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
JP4759329B2 (ja) 2005-06-23 2011-08-31 Hoya株式会社 オートフォーカス機能を有する撮影装置
US7630571B2 (en) * 2005-09-15 2009-12-08 Microsoft Corporation Automatic detection of panoramic camera position and orientation table parameters
US7590288B1 (en) * 2005-11-07 2009-09-15 Maxim Integrated Products, Inc. Method and/or apparatus for detecting edges of blocks in an image processing system
WO2007075552A2 (en) 2005-12-16 2007-07-05 Thomson Licensing Imager and imaging method for digital cinematography
US7792420B2 (en) 2006-03-01 2010-09-07 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
JP4743773B2 (ja) 2006-06-01 2011-08-10 コニカミノルタセンシング株式会社 エッジ検出方法、装置、及びプログラム
JP4182990B2 (ja) 2006-06-02 2008-11-19 セイコーエプソン株式会社 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム
US20080021665A1 (en) 2006-07-20 2008-01-24 David Vaughnn Focusing method and apparatus
JP2008072696A (ja) * 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP4781233B2 (ja) 2006-11-07 2011-09-28 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法
US7924468B2 (en) 2006-12-20 2011-04-12 Seiko Epson Corporation Camera shake determination device, printing apparatus and camera shake determination method
KR20080081693A (ko) 2007-03-06 2008-09-10 삼성전자주식회사 카메라의 자동초점조절 방법
JP2009065224A (ja) * 2007-09-04 2009-03-26 Seiko Epson Corp 画像データ解析装置、画像データ解析方法、およびプログラム
US8264591B2 (en) 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal
JP2009156946A (ja) 2007-12-25 2009-07-16 Sanyo Electric Co Ltd 撮像装置の防振制御回路
JP2009218806A (ja) * 2008-03-10 2009-09-24 Seiko Epson Corp 画像処理装置及び方法、並びに、そのためのプログラム
JP2009260411A (ja) 2008-04-11 2009-11-05 Olympus Corp 撮像装置
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US20110109764A1 (en) 2008-09-24 2011-05-12 Li Hong Autofocus technique utilizing gradient histogram distribution characteristics
WO2010061250A1 (en) 2008-11-26 2010-06-03 Hiok-Nam Tay Auto-focus image system
WO2010061352A2 (en) * 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
JP5511212B2 (ja) 2009-03-31 2014-06-04 大日本スクリーン製造株式会社 欠陥検出装置及び欠陥検出方法
JP2011003124A (ja) 2009-06-22 2011-01-06 Sony Corp 画像処理装置および画像処理プログラム
AU2010329533A1 (en) 2009-12-07 2012-07-26 Hiok Nam Tay Auto-focus image system
US8724009B2 (en) 2010-05-05 2014-05-13 Hiok Nam Tay Auto-focus image system
US8630504B2 (en) 2012-01-16 2014-01-14 Hiok Nam Tay Auto-focus image system

Also Published As

Publication number Publication date
GB201020769D0 (en) 2011-01-19
GB201314741D0 (en) 2013-10-02
GB2504857B (en) 2014-12-24
US8159600B2 (en) 2012-04-17
AU2010329534A1 (en) 2012-07-26
GB2475983B (en) 2013-03-13
US9251571B2 (en) 2016-02-02
WO2011070513A1 (en) 2011-06-16
US20130265480A1 (en) 2013-10-10
MX2012006468A (es) 2012-11-29
GB201209942D0 (en) 2012-07-18
JP2016057638A (ja) 2016-04-21
US20120314121A1 (en) 2012-12-13
US20150317774A1 (en) 2015-11-05
HK1191780A1 (en) 2014-08-01
US9734562B2 (en) 2017-08-15
JP6179827B2 (ja) 2017-08-16
CN103416052A (zh) 2013-11-27
US20130044255A1 (en) 2013-02-21
US20150207978A1 (en) 2015-07-23
SG181539A1 (en) 2012-07-30
US20110134312A1 (en) 2011-06-09
SG181173A1 (en) 2012-07-30
EP2510680B1 (en) 2016-10-26
JP2013527635A (ja) 2013-06-27
CN103416052B (zh) 2017-03-01
US20110135215A1 (en) 2011-06-09
BR112012013721A2 (pt) 2016-03-15
JP2016130869A (ja) 2016-07-21
GB2504857A (en) 2014-02-12
BR112013014240A2 (pt) 2017-10-31
GB2475983A (en) 2011-06-08
GB201020759D0 (en) 2011-01-19
JP2013527483A (ja) 2013-06-27
GB2488482A (en) 2012-08-29
BR112013014226A2 (pt) 2017-04-04
EP2510680A1 (en) 2012-10-17
MX2012006469A (es) 2012-11-29
WO2011070514A1 (en) 2011-06-16
US8457431B2 (en) 2013-06-04
CA2821143A1 (en) 2011-06-16
US20120314960A1 (en) 2012-12-13
US8923645B2 (en) 2014-12-30
AU2010329533A1 (en) 2012-07-26

Similar Documents

Publication Publication Date Title
JP5725380B2 (ja) オートフォーカス画像システム
US8630504B2 (en) Auto-focus image system
JP2014078021A (ja) オートフォーカス画像システム
JP5920608B2 (ja) 画像の鮮明度を評価する撮像システムおよび方法
JP6057086B2 (ja) 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置
JP2014504375A (ja) オートフォーカス画像システム
JP2014504375A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150318

R150 Certificate of patent or registration of utility model

Ref document number: 5725380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250