JP4930509B2 - 画像追尾装置、画像追尾方法、およびカメラ - Google Patents

画像追尾装置、画像追尾方法、およびカメラ Download PDF

Info

Publication number
JP4930509B2
JP4930509B2 JP2008532011A JP2008532011A JP4930509B2 JP 4930509 B2 JP4930509 B2 JP 4930509B2 JP 2008532011 A JP2008532011 A JP 2008532011A JP 2008532011 A JP2008532011 A JP 2008532011A JP 4930509 B2 JP4930509 B2 JP 4930509B2
Authority
JP
Japan
Prior art keywords
image information
image
information
reference image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008532011A
Other languages
English (en)
Other versions
JPWO2008026434A1 (ja
Inventor
慶子 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008532011A priority Critical patent/JP4930509B2/ja
Publication of JPWO2008026434A1 publication Critical patent/JPWO2008026434A1/ja
Application granted granted Critical
Publication of JP4930509B2 publication Critical patent/JP4930509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/12—Reflex cameras with single objective and a movable reflector or a partly-transmitting mirror
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Image Processing (AREA)

Description

本発明は、画面内を移動する被写体を自動的に追尾する画像追尾装置、画像追尾方法、およびカメラに関する。
移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うカメラが知られている。従来のカメラでは、被写体を追尾するための基準となる画像を記憶し、パターンマッチングにより相関の高い対象を追尾している（たとえば、特許文献１）。
特開２００６−５８４３１号公報
しかしながら、基準となる画像に類似した画像が背景に依存する場合や追尾対象の前を横切る場合には、追尾対象を誤検出しやすいという問題がある。
請求項１に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部と、前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置とを備え、前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する。
請求項２に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする。
請求項４に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する。
請求項６に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する。
請求項８に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する。
請求項１５に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する。
請求項１７に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する。
請求項１９に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する。
請求項２１に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する。
本発明によれば、対象となる像の一部に対応する画像情報を含む第１基準画像情報と、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて設定された第２基準画像情報とに基づいて対象を認識するので、認識精度を向上することができる。
本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。 撮像素子の画素構成を説明する図である。 実施の形態における追尾方法を説明する図である。 実施の形態における追尾方法を説明する図である。 実施の形態における追尾方法を説明する図である。 実施の形態における被写体追尾処理を説明するフローチャートである。 変形例を整理した機能ブロック図。
以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一実施の形態を説明する。図１に、本発明のデジタルカメラの要部構成を示す。カメラ本体１０には、撮影レンズ２１を備えるレンズ鏡筒２０が交換可能に装着されている。
カメラ本体１０の内部には、被写体を撮像するための第一の撮像素子１２が設けられている。第一の撮像素子１２としてＣＣＤやＣＭＯＳ等が使用される。撮影レンズ２１と第一の撮像素子１２との間には、撮影レンズ２１を通過した被写体光をファインダ光学系へと反射するクイックリターンミラー１１が配設されている。被写体光の一部はクイックリターンミラー１１の半透過領域を透過し、サブミラー１１１にて下方に反射され、位相差式ＡＦセンサモジュール１１２へ入射される。姿勢センサ１１３は、カメラの姿勢を検出する。
位相差式ＡＦセンサモジュール１１２は、たとえば、焦点検出光束を一対の焦点検出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、それに応じた焦点検出信号を出力する一対のＣＣＤラインセンサとを備える。ＣＣＤラインセンサから出力される焦点検出信号は制御部３０に入力され、後述するように、制御部３０は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する。
クイックリターンミラー１１で反射された被写体光は、第一の撮像素子１２と光学的に等価な位置に設けられた焦点板１３上に結像する。焦点板１３上に結像された被写体像は、ペンタプリズム１４と接眼レンズ１５を介して撮影者により観察されるとともに、ペンタプリズム１４からプリズム１７と結像レンズ１８とを通過し、第二の撮像素子１９の受光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行される場合は、クイックリターンミラー１１が図の破線で示す位置に回動して、被写体光は第一の撮像素子１２上に結像する。
第二の撮像素子１９は、図２（ａ）に示すように、マトリックス状に配列された複数（図示例では２０×１４）の画素１９１を備えている。各画素１９１は、図２（ｂ）に示すように、さらに３つの細画素１９１ａ〜１９１ｃに分割されている。これら細画素１９１ａ〜１９１ｃのそれぞれに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルターが設けられることにより、被写体像のＲＧＢ出力が得られる。
第二の撮像素子１９は、ＣＣＤ制御部３１により、撮像面に結像された被写体像に対応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。Ａ／Ｄ変換回路３２は、第二の撮像素子１９から出力されたアナログ撮像信号をデジタル画像信号に変換して、制御部３０へ出力する。制御部３０はＣＰＵ、ＲＯＭ、ＲＡＭおよび各種周辺回路から構成されている。機能的には、第二の撮像素子１９から入力した画像処理の施されていない画像データ（ＲＡＷデータ）に基づいて追尾対象の追尾を行う追尾制御部３３と、焦点検出演算を行う焦点検出演算部３５と、撮影レンズ２１の駆動量を演算するレンズ駆動量演算部３６と、後述の焦点検出領域４０を表すＡＦエリアマークの点灯／消灯（点消灯）を行う表示部３７１の点消灯制御部３７とを有する。表示部３７１は、焦点板１３近傍に配置された液晶表示板２２によってＡＦエリアマークを表示可能となっている。
焦点検出演算部３５は、撮影者によるエリア選択操作部３５１の操作で選択された焦点検出領域４０に対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量などの焦点調節状態の演算を行う。
図３（ａ）に示すようにこの実施の形態のカメラでは、ファインダで観察される画面４２内に、たとえば１１箇所の焦点検出領域４０ａ〜４０ｋが設けられている。この１１箇所の焦点検出領域４０ａ〜４０ｋの中から１つがエリア選択操作部３５１によって選択されると、焦点検出演算部３５は選択された焦点検出領域に対する焦点調節状態（以下、便宜上、デフォーカス量と呼ぶ）の演算を行う。さらに、エリア選択操作部３５１は、１１箇所の焦点検出領域４０ａ〜４０ｋの中のどの焦点検出領域が選択されたかを示す選択領域信号を追尾制御部３３へ出力する。焦点検出演算部３５で算出されたデフォーカス量はレンズ駆動量演算部３６に出力される。レンズ駆動量演算部３６では、入力したデフォーカス量に基づきレンズ駆動量を演算して、レンズ駆動モータ３６１に対してレンズ駆動信号を送出する。レンズ駆動モータ３６１は、レンズ駆動信号に応じて撮影レンズ２１を光軸方向へ移動させ、これにより、焦点調節状態が調節される。なお、焦点検出領域の選択は、エリア選択操作部３５１によるもののほか、検出した焦点調節状態に基づいてカメラが自動的に選択するようにしてもよい。いずれの場合も、選択された領域を示す選択領域信号を追尾制御部３３へ出力するのは同じである。
追尾制御部３３では、入力された選択領域信号に基づいて、第二の撮像素子１９から入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演算に際して、図３（ｂ）、（ｃ）に示すように、第二の撮像素子１９より取得した初期画像４３ａ上において、追尾被写体領域４５と、周辺情報領域４１ａ〜４１ｄ（総称して符号４１を用いることもある）と、追尾被写体領域４５よりも範囲の広い被写体探索領域４７とを設定し、追尾被写体領域４５内の画像をテンプレート画像４８とする。
追尾被写体領域４５は、選択領域信号により認識した焦点検出領域（図３の例では４０ａ）に対応する画素情報（被写体の色情報）に類似した色情報を有する同色情報領域４９を囲む矩形の領域として設定される。周辺情報領域４１は、たとえば、図３（ｃ）に示すように、追尾被写体領域４５を基準として上下左右にそれぞれ１画素離れた位置にて、たとえば追尾被写体領域４５より小さい２画素の大きさの領域として設定され、対応する画素で得られる画像データからのＲ、Ｇ、Ｂの各色の色情報を被写体周辺情報４６（４６ａ〜４６ｄ）として記憶する。被写体探索領域４７は、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で設定される。そして、第二の撮像素子１９にて時系列的に繰り返し取得した画像において、被写体探索領域４７の領域内でテンプレート画像４８と同じ大きさの比較対象領域を作成し、比較対象領域の画像情報と、テンプレート画像４８の画像情報との差分を計算した後、差分が所定値以下の比較対象領域、すなわち新たな追尾被写体領域の候補において上記と同様に設定される周辺情報領域で得られる情報と被写体周辺情報４６とを比較することにより被写体追尾を行う。
図３、４を用いて、被写体追尾方法について詳細に説明する。ここで、撮影者がエリア選択操作部３５１を操作して、図３（ａ）に示すように、焦点検出領域４０ａを選択したものとする。追尾制御部３３は、エリア選択操作部３５１からの選択領域信号に基づいて、焦点検出領域４０ａの位置に対応する所定範囲内の画素からのＲ、Ｇ、Ｂの各色の色情報を被写体色情報として記憶部３８に記憶する。図３（ｂ）に示す初期画像４３ａ上において、追尾制御部３３は、被写体色情報におけるＲ、Ｇ、Ｂの各色との差分が所定値以下である画素のまとまりを、被写体色情報に類似した色情報（相関の高い色情報）を有する同色情報領域４９として検出し、この領域４９を囲む矩形領域を追尾被写体領域４５として設定する。この追尾被写体領域４５はテンプレート画像４８として記憶部３８に記憶される。さらに、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で被写体探索領域４７を新たに設定する。追尾被写体領域４５が設定されると、追尾制御部３３は、図３（ｃ）に示すように、追尾被写体領域４５に対して上下左右に１画素離れた位置における２画素の周辺情報領域４１ａ〜４１ｄにおけるＲ、Ｇ、Ｂの各色の色情報を取得して、被写体周辺情報４６ａ〜４６ｄとして記憶部３８に記憶する。
図４は、画像４３ａに続いて第二の撮像素子１９から時系列的に取得された次画像４３ｂを示す。追尾制御部３３は、次画像４３ｂの被写体探索領域４７内で、テンプレート画像４８と同じ大きさの領域を比較対象領域として抽出する。被写体探索領域４７内で順次その抽出位置を移動させ、各比較対象領域におけるＲ／ＧおよびＲ／Ｂで表される色比率と、テンプレート画像４８のＲ／Ｇ、Ｒ／Ｂとの差分を対応する画素ごとに計算する。そして、差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０とする。図４（ａ）においては、次画像４３ｂの比較対象領域のうち２つの領域５０ａおよび５０ｂが追尾被写体候補領域であることを示す。なお、追尾被写体候補領域を代表符号５０とする。
追尾被写体候補領域５０が決定すると、これに対応する周辺情報領域４１ａａ、４１ｂａ、４１ｃａ、４１ｄａ、４１ａｂ、４１ｂｂ、４１ｃｂ、４１ｄｂからの画像情報を取得して、これらの情報と被写体周辺情報４６との比較を行なう。比較の結果、被写体周辺情報４６と一致する情報をより多く有する周辺情報領域４１に対応する追尾被写体候補領域５０を、新たな追尾被写体領域４５ａとして設定する。図４（ｂ）には、追尾被写体候補領域５０ａに対応する周辺情報領域４１ａａ〜４１ｄａから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａａ〜４１ｄａのそれぞれの画像情報を比較すると、図４（ｃ）に示すように、被写体周辺情報４６ａ、４６ｃ、４６ｄと周辺情報領域４１ａａ、４１ｃａ、４１ｄａの情報とが、それぞれ、計３つ一致している。また、図４（ｄ）には、追尾被写体候補領域５０ｂに対応する周辺情報領域４１ａｂ〜４１ｄｂから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａｂ〜４１ｄｂのそれぞれの画像情報を比較すると、図４（ｅ）に示すように、被写体周辺情報４６ａ、４６ｂと周辺情報領域４１ａｂ、４１ｂｂの情報とが、それぞれ、計２つ一致している。
したがって、より多くの類似した周辺情報が得られる追尾被写体候補領域５０ａが新たな追尾被写体領域４５ａとして設定される。なお、被写体周辺情報４６の情報と、各被写体候補領域５０に対する周辺情報領域４１の情報との一致数が等しい場合や、いずれも一致しない場合は、前述したテンプレート画像４８との比較により差分の合計が最小となる比較対象領域が新たな追尾被写体領域４５ａとして設定される。
追尾被写体領域４５ａが設定されると、追尾制御部３３は、初期設定画面で設定したテンプレート画像４８におけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報と、追尾被写体領域４５ａにおけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報とを合成して、新たなテンプレート画像４８を作成する。ただし、この場合は、初期設定画面で設定したテンプレート画像４８の色情報の割合を多く配分する。たとえば、初期設定画面で設定したテンプレート画像４８の色情報を８０パーセントとし、新たに設定した追尾被写体領域４５ａの色情報を２０パーセントとした割合で合成する。テンプレート画像４８を更新した後に、前述と同様にして、図５（ａ）に示すように、被写体探索領域４７が設定される。
追尾制御部３３は、追尾被写体領域４５ａの中央位置の座標を焦点検出演算部３５へ出力する。焦点検出演算部３５は、入力した追尾被写体領域４５ａの座標に基づき、図５（ｂ）に示すように、追尾被写体領域４５ａの中心に最も近い焦点検出領域４０ａに追尾対象が存在するものとみなし、焦点検出領域４０ｅに対応する一対のＡＦセンサモジュール１１２のＣＣＤラインセンサから出力される焦点検出信号を用いて焦点調節状態を演算する。焦点検出演算部３５は、焦点検出領域４０ａを示す選択領域信号を追尾制御部３３を介して点消灯制御部３７へ出力する。これにより、表示部３７１は、焦点検出領域４０ａのＡＦエリアマークを点灯する。
なお、複数の焦点検出領域４０が追尾被写体領域４５ａの中心から等距離に位置している場合には、それ以前に取得した時系列的な画像における被写体の移動方向、すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点検出領域４０を選択する。
以下で、図６に示すフローチャートを用いて、被写体追尾制御動作の各処理について説明する。なお、このフローチャートに示す各処理は、制御部３０によりプログラムを実行して行われる。また、このフローチャートは不図示のレリーズスイッチの半押し操作により開始される。
ステップＳ１では、撮影者により設定された焦点検出領域４０に対して焦点検出演算部３５で演算された焦点検出演算結果に基づいて、撮影レンズ２１を駆動して焦点調節を行い、ステップＳ２へ進む。ステップＳ２では、第二の撮像素子１９からの画像を取得してステップＳ３へ進む。
ステップＳ３においては、選択された焦点検出領域に対応する画素からの出力に基づいて被写体色情報を取得し、記憶部３８に記憶してステップＳ４へ進む。ステップＳ４においては、ステップＳ３にて取得した被写体色情報に類似した色情報を有する同色情報領域４９を検出してステップＳ５へ進む。ステップＳ５においては、ステップＳ４にて検出した同色情報領域４９を囲む矩形領域を追尾被写体領域４５として設定してステップＳ６へ進む。
ステップＳ６においては、ステップＳ５で設定した追尾被写体領域４５をテンプレート画像４８として記憶部３８に記憶してステップＳ７へ進む。ステップＳ７においては、追尾被写体領域４５に基づいて、前述したように被写体探索領域４７を設定してステップＳ８へ進む。ステップＳ８において、追尾被写体領域４５の周辺情報領域４１からのＲ、Ｇ、Ｂの各色の色情報を取得し、被写体周辺情報４６として記憶部３８に記憶してステップＳ９へ進む。
ステップＳ９においては、撮影者により不図示のレリーズスイッチが全押しされたか否かを判定する。ステップＳ９が肯定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされたと判定された場合は、ステップＳ１７へ進む。ステップＳ９が否定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされていないと判定された場合は、ステップＳ１０へ進む。
ステップＳ１０では、第二の撮像素子１９から次画像（新たな画像）を取得し、ステップＳ１１へ進む。ステップＳ１１においては、被写体探索領域４７内で、前述したように、テンプレート画像４８と同じ大きさの領域を抽出し、各領域の差分を対応する画素ごとに演算してステップＳ１２へ進む。ステップＳ１２では、ステップＳ１１における演算結果に基づいて、テンプレート画像４８との差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０として設定してステップＳ１３へ進む。
ステップＳ１３においては、ステップＳ１２にて設定した追尾被写体候補領域５０に対応する周辺情報領域４１からの画像情報を取得して被写体周辺情報４６との比較を行ない、ステップＳ１４へ進む。ステップＳ１４では、ステップＳ１３における比較結果に基づいて、前述したように、被写体周辺情報４６と類似した画像情報をより多く有する追尾被写体候補領域５０を新たな追尾被写体領域４５として設定し、ステップＳ１５へ進む。
ステップＳ１５においては、前述した方法を用いてテンプレート画像４８を更新し、記憶部３８に記憶する。ステップＳ１６では、ステップＳ１４で設定した新たな追尾被写体領域４５に基づいて、新たに被写体探索領域４７を設定して、ステップＳ９へ戻る。ステップＳ９においてレリーズスイッチが全押しされたと判定すると、ステップＳ１７へ進んで、前述したように撮影動作を行い、一連の処理を終了する。
なお、追尾被写体領域４５を設定するステップＳ５やステップＳ１４、被写体周辺情報４６を記憶部３８に記憶するステップＳ８は、追尾対象となる画像の画像情報を設定し、追尾対象となる画像の近傍に位置する画像の情報を追尾対象の画像の画像情報を補助する補助画像情報として設定する設定部として機能する。ステップＳ１１〜Ｓ１４の処理は、これら追尾対象の画像の画像情報と上記補助画像情報とを使用して、追尾対象を認識する認識部として機能する。
以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）第二の撮像素子１９により取得された色情報（画像情報）に基づいて、追尾対象を含む画像範囲から得られる基準画像情報、すなわちテンプレート画像４８と、テンプレート画像４８の近傍に位置する画像の情報に基づいて近傍画像情報、すなわち被写体周辺情報４６とを設定して追尾対象を追尾するようにした。したがって、人物を撮影するような場合、追尾対象の顔を含む範囲をテンプレート画像４８と設定すると、追尾対象の衣服など追尾対象と関連のある情報を被写体周辺情報４６から取得することができるので、追尾対象を横切った異なる被写体を追尾対象として検出するというような誤検出が無くなり、追尾精度が向上する。
（２）テンプレート画像４８と被写体探索領域４７内の比較対象領域との画像情報の差分演算により、複数の追尾被写体候補領域５０が検出された場合、すなわち追尾対象と所定値以上の相関を示す追尾候補が複数存在する場合は、近傍画像情報である被写体周辺情報４６と類似した画像情報を有する周辺情報領域４１をより多く有する追尾被写体候補領域５０を、新たな追尾被写体領域４５として設定して、追尾対象を追尾するようにした。したがって、類似の画像情報を有する被写体が複数存在する場合でも、周辺情報を用いて追尾対象を特定することができるので誤検出を防ぐことができる。
（３）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて、テンプレート画像４８と切出し領域との差分演算を行なうようにしたので、追尾処理を高速に行なうことができる。
以上で説明した実施の形態を以下のように変形することができる。
（１）第二の撮像素子１９により取得された追尾対象の色情報に基づいて、テンプレート画像４８を設定する際の基準となる追尾被写体領域４５を決定したが、色情報に代えて輝度を用いてもよい。
（２）４箇所の周辺情報領域４１内のすべての画像を用いて画像情報の比較を行なったが、すべてを用いることなく、たとえば有彩色の画像情報を有するものや特徴的な画像情報を有する周辺情報領域４１を用いてもよい。特に、追尾対象が人物の場合、追尾被写体候補領域５０の下に位置する周辺情報領域４１を用いると、追尾対象の衣類などに基づく画像情報を取得しやすいので効果的である。また、追尾被写体候補領域５０の下に位置する周辺情報領域４１の重み付けを大きくするようにしてもよい。以上のような場合、カメラ本体１０に設けた姿勢センサ１１３の出力に応じてカメラの姿勢を検出し、検出したカメラの姿勢を考慮して被写界内において追尾被写体候補領域５０の下に位置する周辺情報領域４１を選択するようにしてもよい。
（３）追尾開始から撮影終了まで被写体周辺情報４６を同数保持して周辺情報領域４１との比較を行なうものとして説明したが、複数回の追尾制御を行なう際に繰り返し検出された周辺情報領域４１のうち、最も変化の少ない画像情報を有する周辺情報領域４１を被写体周辺情報４６として設定してもよい。
（４）テンプレート画像４８に基づいて、追尾被写体候補領域５０を選択した後に周辺情報領域４１の情報と被写体周辺情報４６との比較を行なうものに代えて、テンプレート画像４８と被写体周辺情報４６とをまとめて一つのテンプレートとして設定してもよい。
（５）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて追尾対象を追尾するものとしたが、画像の周辺光量落ち補正やホワイトバランスなどの画像処理の施された色情報を用いて追尾対象を追尾してもよい。
（６）４箇所の周辺情報領域４１の中から、追尾被写体領域４５のデフォーカス量との差が所定値以下となるデフォーカス量を有する周辺情報領域４１を選択し、選択された周辺情報領域４１の情報を被写体周辺情報４６として用いてもよい。さらに、テンプレート画像４８と被写体周辺情報４６との位置関係については、デフォーカス量に基づいて決定してもよい。この場合、追尾対象までの距離が近いときはテンプレート画像４８と被写体周辺情報４６との間隔を離し、追尾対象までの距離が遠いときはテンプレート画像４８と被写体周辺情報４６との間隔を近づけるようにするとよい。
（７）撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を認識する機能を備えるカメラであれば、被写体の認識結果に基づいて追尾対象となる被写体を設定して上述の追尾処理を開始するようにしてもよい。
（８）テンプレート画像４８のＲ、Ｇ、Ｂの各色の色情報と追尾被写体領域４５ａのＲ、Ｇ、Ｂの各色の色情報とを合成して新たなテンプレート画像４８として更新するものとして説明したが、追尾被写体領域４５ａとの合成を行なわず、テンプレート画像４８をそのまま継続して用いてもよい。
（９）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、被写体として人物の顔を追尾する場合に、追尾被写体領域が６×６画素程度の大きさだとすると、周辺の被写体情報として１、２画素程度の小さな領域の情報では、服の色のほんの一部（柄など）しか取れない可能性がある。そのため、この場合、概ね寸法比で１／３程度の２×２画素を周辺の被写体情報として用いる。また、追尾被写体領域が大きいほど、被写体周辺情報の領域を拡大するようにする。
（１０）焦点距離などのレンズ情報や像倍率（焦点距離と撮影距離とから求める）に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、焦点距離が近い場合、あるいは像倍率が大きいほど、被写体周辺情報の大きさを大きくする。このときの追尾被写体領域４５と被写体周辺情報４６との寸法比はほぼ一定となるようにする。すなわち、結像光学系の光学特性に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。
（１１）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の位置を変えるようにしてもよい。例えば、追尾被写体領域が大きいほど、追尾被写体領域のすぐ真下でなく、少し離して位置させる。図３（ｃ）で説明すると、追尾被写体領域４５と被写体周辺情報４６の間の画素が１画素分離れているのを、２画素や３画素などにする。これは、追尾被写体領域４５が顔だとした場合、すぐ下の首の色ではなく、もう少し下の服の色を被写体周辺情報４６とするのが好ましいためである。
（１２）上記（９）（１０）とも関係するが、被写体が接近してくる（像倍率が上がる）につれて追尾被写体領域４５を大きくし、それに伴って被写体周辺情報４６の大きさを大きくするとともに追尾被写体領域４５との間隔も広げるようにしてもよい。
（１３）上記実施の形態のステップＳ１４において、被写体周辺情報４６と類似した画像情報を有する領域を選択する際、複数の被写体周辺情報４６のうち、追尾被写体領域４５の下に位置する被写体周辺情報４６に対する重み付けを大きくするようにしてもよい。これは、周辺を見て決める際、被写体の下に位置する領域の情報が被写体の補助情報として適切である可能性が高いためである。例えば、上記説明したように、追尾対象が人物で、追尾被写体領域４５が顔となるような場合である。これにより、下側の周辺情報との一致度が高いものを新たな被写体領域として決定する。
（１４）撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこれに限定されるものではなく、レンズ一体型カメラやビデオカメラに適用してもよい。
図７は、上記説明した変形例を整理した機能ブロック図であり、追尾制御部３３が各ブロックの処理を行う。追尾制御部３３が処理する機能は、上述した設定部２０１と認識部２０２とに分かれる。各ブロック内の番号は、上記説明した変形例の番号に対応する。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２３３８２３号（２００６年８月３０日出願）

Claims (23)

  1. 結像光学系による像を撮像して画像情報を生成する撮像装置と、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部と、
    前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置とを備え、
    前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する画像追尾装置。
  2. 結像光学系による像を撮像して画像情報を生成する撮像装置と、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
    前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾装置。
  3. 請求項１又は請求項２に記載された画像追尾装置において、
    前記設定部は、前記第２基準画像情報に対応する画像の大きさが、前記第１基準画像情報に対応する画像の大きさよりも小さくなるように、前記第２基準画像情報を設定する画像追尾装置。
  4. 結像光学系による像を撮像して画像情報を生成する撮像装置と、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
    前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
  5. 請求項１〜３のいずれか１項に記載された画像追尾装置において、
    前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
  6. 結像光学系による像を撮像して画像情報を生成する撮像装置と、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
    前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
  7. 請求項１〜５のいずれか１項に記載された画像追尾装置において、
    前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
  8. 結像光学系による像を撮像して画像情報を生成する撮像装置と、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
    前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
  9. 請求項１〜７のいずれか１項に記載された画像追尾装置において、
    前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
  10. 請求項４〜９のいずれか１項に記載された画像追尾装置において、
    前記認識部は、前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾装置。
  11. 請求項１〜１０のいずれか１項に記載された画像追尾装置において、
    前記画像情報は、色情報または輝度である画像追尾装置。
  12. 請求項１〜１１のいずれか１項に記載された画像追尾装置を備えるカメラ。
  13. 請求項１２に記載されたカメラにおいて、
    前記カメラの姿勢を検出する姿勢検出装置を有し、
    前記認識部は、前記姿勢検出装置からの出力に応じて前記第２基準画像情報を決定する決定部とを備えるカメラ。
  14. 請求項１２又は請求項１３に記載されたカメラにおいて、
    前記画像情報は画像処理を施した画像情報であるカメラ。
  15. 結像光学系による像を撮像して画像情報を生成し、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
    前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する画像追尾方法。
  16. 請求項１５に記載された画像追尾方法において、
    前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾方法。
  17. 結像光学系による像を撮像して画像情報を生成し、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
    前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
  18. 請求項１５又は請求項１６に記載された画像追尾方法において、
    前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
  19. 結像光学系による像を撮像して画像情報を生成し、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
    前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
  20. 請求項１５〜１８のいずれか１項に記載された画像追尾方法において、
    前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
  21. 結像光学系による像を撮像して画像情報を生成し、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
    前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
  22. 請求項１５〜１８のいずれか１項に記載された画像追尾方法において、
    前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
  23. 請求項１７〜２２のいずれか１項に記載された画像追尾方法において、
    前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾方法。
JP2008532011A 2006-08-30 2007-08-08 画像追尾装置、画像追尾方法、およびカメラ Active JP4930509B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008532011A JP4930509B2 (ja) 2006-08-30 2007-08-08 画像追尾装置、画像追尾方法、およびカメラ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006233823 2006-08-30
JP2006233823 2006-08-30
PCT/JP2007/065538 WO2008026434A1 (fr) 2006-08-30 2007-08-08 Appareil et procédé d'alignement d'image, ainsi que caméra
JP2008532011A JP4930509B2 (ja) 2006-08-30 2007-08-08 画像追尾装置、画像追尾方法、およびカメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012027301A Division JP5288015B2 (ja) 2006-08-30 2012-02-10 画像追尾装置、画像追尾方法、およびカメラ

Publications (2)

Publication Number Publication Date
JPWO2008026434A1 JPWO2008026434A1 (ja) 2010-01-21
JP4930509B2 true JP4930509B2 (ja) 2012-05-16

Family

ID=39135720

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008532011A Active JP4930509B2 (ja) 2006-08-30 2007-08-08 画像追尾装置、画像追尾方法、およびカメラ
JP2012027301A Active JP5288015B2 (ja) 2006-08-30 2012-02-10 画像追尾装置、画像追尾方法、およびカメラ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012027301A Active JP5288015B2 (ja) 2006-08-30 2012-02-10 画像追尾装置、画像追尾方法、およびカメラ

Country Status (4)

Country Link
US (1) US8154605B2 (ja)
EP (1) EP2059026A4 (ja)
JP (2) JP4930509B2 (ja)
WO (1) WO2008026434A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5247076B2 (ja) * 2007-07-09 2013-07-24 株式会社ニコン 画像追尾装置、焦点調節装置および撮像装置
JP2009141475A (ja) * 2007-12-04 2009-06-25 Nikon Corp カメラ
JP5256847B2 (ja) * 2008-05-20 2013-08-07 株式会社ニコン 撮像装置
JP5279635B2 (ja) * 2008-08-20 2013-09-04 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
JP2010130281A (ja) * 2008-11-27 2010-06-10 Hoya Corp 撮像装置
ATE553397T1 (de) * 2008-12-30 2012-04-15 Sony Corp Kameraunterstütztes abtastabbildungssystem und mehrfachaspekt-abbildungssystem
JP5965653B2 (ja) * 2012-01-27 2016-08-10 オリンパス株式会社 追尾装置及び追尾方法
JP5977526B2 (ja) * 2012-01-30 2016-08-24 オリンパス株式会社 画像処理装置及び画像処理方法
WO2013145589A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法
JP5950664B2 (ja) * 2012-04-10 2016-07-13 キヤノン株式会社 撮像装置およびその制御方法
JP5873378B2 (ja) * 2012-04-10 2016-03-01 キヤノン株式会社 撮像装置およびその制御方法
JP6287058B2 (ja) * 2013-10-24 2018-03-07 株式会社リコー 縮小光学系用の光電変換素子、画像読取装置、画像形成装置及び画像読取方法
JP6432163B2 (ja) * 2014-05-30 2018-12-05 株式会社ニコン 追尾装置、カメラ、追尾方法および追尾プログラム
JPWO2016016984A1 (ja) * 2014-07-31 2017-06-01 日立マクセル株式会社 撮像装置およびその被写体追尾方法
CN104469167B (zh) 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
US20170109912A1 (en) * 2015-10-15 2017-04-20 Motorola Mobility Llc Creating a composite image from multi-frame raw image data
JP6702796B2 (ja) * 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2020187691A (ja) * 2019-05-17 2020-11-19 株式会社Ｌｉｘｉｌ 判定装置、判定方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055744A (ja) * 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61123368A (ja) * 1984-11-20 1986-06-11 Canon Inc カメラ
JPH0537940A (ja) * 1991-08-01 1993-02-12 Minolta Camera Co Ltd ビデオカメラ
US6249317B1 (en) 1990-08-01 2001-06-19 Minolta Co., Ltd. Automatic exposure control apparatus
US6072526A (en) 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
US5392088A (en) * 1992-09-04 1995-02-21 Nikon Corporation Target follow-up device and camera comprising the same
US5614985A (en) * 1992-10-28 1997-03-25 Canon Kabushiki Kaisha Camera with device for detecting line of sight
US6172706B1 (en) * 1995-04-19 2001-01-09 Canon Kabushiki Kaisha Video camera with automatic zoom adjustment based on distance between user's eyes
JP4040139B2 (ja) * 1997-05-12 2008-01-30 キヤノン株式会社 カメラ
JP3732665B2 (ja) 1998-12-22 2006-01-05 株式会社リコー 自動焦点制御装置及びその合焦動作決定方法
JP4289712B2 (ja) * 1999-03-10 2009-07-01 キヤノン株式会社 焦点検出装置及び測距装置
US6956611B2 (en) * 2000-07-31 2005-10-18 Canon Kabushiki Kaisha Projection apparatus and phototaking apparatus having the same
JP3704045B2 (ja) 2001-01-15 2005-10-05 株式会社ニコン 目標物体追尾装置
JP2003241065A (ja) * 2002-02-15 2003-08-27 Fuji Photo Optical Co Ltd オートフォーカスシステム
JP3949000B2 (ja) 2002-04-22 2007-07-25 三洋電機株式会社 オートフォーカスカメラ
JP4281954B2 (ja) * 2002-12-27 2009-06-17 カシオ計算機株式会社 カメラ装置
JP3836814B2 (ja) * 2003-05-20 2006-10-25 株式会社東芝 画像処理方法、画像処理装置、画像処理プログラム
US7446809B2 (en) * 2003-11-17 2008-11-04 Olympus Corporation Lens replacement type imaging apparatus, control apparatus, cleaning apparatus, and cleaning method
EP1601189A2 (en) 2004-05-26 2005-11-30 Fujinon Corporation Autofocus system
JP2006058431A (ja) 2004-08-18 2006-03-02 Fujinon Corp オートフォーカスシステム
EP1684503B1 (en) * 2005-01-25 2016-01-13 Canon Kabushiki Kaisha Camera and autofocus control method therefor
JP2006233823A (ja) 2005-02-23 2006-09-07 Toyota Motor Corp ピストン
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055744A (ja) * 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、およびプログラム

Also Published As

Publication number Publication date
JPWO2008026434A1 (ja) 2010-01-21
EP2059026A1 (en) 2009-05-13
US8154605B2 (en) 2012-04-10
JP5288015B2 (ja) 2013-09-11
JP2012142958A (ja) 2012-07-26
EP2059026A4 (en) 2010-12-29
WO2008026434A1 (fr) 2008-03-06
US20100066843A1 (en) 2010-03-18

Similar Documents

Publication Publication Date Title
JP4930509B2 (ja) 画像追尾装置、画像追尾方法、およびカメラ
JP5167750B2 (ja) 追尾装置、撮像装置、および追尾方法
JP4720673B2 (ja) 被写体追尾装置およびカメラ
US8254773B2 (en) Image tracking apparatus and tracking evaluation method
JP4872834B2 (ja) 画像認識装置、焦点調節装置および撮像装置
JP2009109714A (ja) 画像認識装置、焦点調節装置および撮像装置
JP2009033238A (ja) 撮像装置
JP2009015185A (ja) 画像検出装置、焦点調節装置および撮像装置
JP2009109839A (ja) 画像追尾装置、撮像装置
JP2017103601A (ja) 焦点検出装置およびカメラ
JP4702193B2 (ja) 被写体領域特定装置、被写体領域特定方法およびカメラ
JP5056136B2 (ja) 画像追尾装置
JP4888249B2 (ja) 焦点検出装置および撮像装置
JP2012208507A (ja) 画像追尾装置
JP4985155B2 (ja) 焦点調節装置および撮像装置
JP2018004904A (ja) 被写体追尾装置および撮像装置
JP5233646B2 (ja) 画像追尾装置、撮像装置、画像追尾方法
JP2010054586A (ja) 焦点調節装置、撮像装置
JP5447579B2 (ja) 追尾装置、焦点調節装置および撮影装置
JP2012093775A (ja) 焦点検出装置および撮像装置
JP4973369B2 (ja) 画像処理装置および撮像装置
JP5347834B2 (ja) 画像追尾装置
JP2018063439A (ja) 焦点調節装置、撮像装置
JP2016028298A (ja) 焦点調節装置、撮像装置
JP2009063688A (ja) 画像認識装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

R150 Certificate of patent or registration of utility model

Ref document number: 4930509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250