JP5268433B2 - 撮像装置、及び撮像装置の制御方法 - Google Patents

撮像装置、及び撮像装置の制御方法 Download PDF

Info

Publication number
JP5268433B2
JP5268433B2 JP2008144549A JP2008144549A JP5268433B2 JP 5268433 B2 JP5268433 B2 JP 5268433B2 JP 2008144549 A JP2008144549 A JP 2008144549A JP 2008144549 A JP2008144549 A JP 2008144549A JP 5268433 B2 JP5268433 B2 JP 5268433B2
Authority
JP
Japan
Prior art keywords
subject
motion vector
tracking
imaging apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008144549A
Other languages
English (en)
Other versions
JP2009296030A (ja
JP2009296030A5 (ja
Inventor
康嘉 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008144549A priority Critical patent/JP5268433B2/ja
Priority to US12/410,258 priority patent/US8692888B2/en
Publication of JP2009296030A publication Critical patent/JP2009296030A/ja
Publication of JP2009296030A5 publication Critical patent/JP2009296030A5/ja
Application granted granted Critical
Publication of JP5268433B2 publication Critical patent/JP5268433B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に、被写体追尾処理技術に特徴のある撮像装置、及び撮像装置の制御方法に関する。
従来、デジタルカメラにおいて、撮像して得られた画像データに基づいて被写体の領域を指定し、この被写体の領域を適正な輝度に合わせたり、ピントを合わせたりする機能を備えたものがある。
それらのカメラの中には、被写体を追尾するために時系列で並んだ画像のパターンマッチングを行い、被写体を追尾するものがある。例えば、距離情報や顔検出結果を用いて主被写体を特定し、この主被写体が存在する領域の特徴と類似する領域を、その後に得られた画像から抽出する処理を続けて行うことで、主被写体を追尾する機能を達成することができる(例えば、特許文献1参照)。
特開2006−184742号公報
しかしながら、従来提案されてきた被写体追尾処理技術の場合、カメラを急激に動かしたり、主被写体が急激に方向転換を行ったりすると、主被写体を見失ってしまうことがある。しかも、主被写体を見失ったにも関わらず、その時点で主被写体が存在するとみなした領域を基準にパターンマッチングを続けてしまうと、被写体ではない領域に追尾が固定され続けるといった問題がある。
例えば、従来の方式として、ユーザーにデジタルカメラ背面の液晶画面に表示された追尾枠を移動させて追尾対象となる被写体を指定させ、この指定された被写体を追尾するというものがある。この方式にて、被写体を追尾した場合、次のような問題が生じることがある。
例えば、図4(a)は、ユーザーがデジタルカメラの操作部を用いて、液晶画面に表示された追尾枠を移動させ、人物の顔を追尾対象として選択したことを示す図である。この追尾枠内の部分画像とのマッチングを行うことによって、新たに得られた画像から追尾対象が存在する領域を抽出し、抽出した追尾対象に追尾枠を移動させて重畳表示する。追尾対象の抽出が成功するたびに、マッチングの基準となる部分画像を更新することで、追尾対象の表情が変わったり、角度が変わったりするなどして、被写体のパターンが徐々に変化したとしても、同一の被写体に対する追尾を継続することができる。
図4(b)は、このような処理によって、被写体への追尾ができていることを示す図である。ところが、この追尾対象となる人物が突然向きを変えるなどの理由により、追尾対象の画像パターンが急激に変化してしまうと、その前に抽出された追尾対象の部分画像パターンと、実際の追尾対象となる被写体の画像パターンの差が大きくなってしまう。そのため、追尾対象となる被写体の位置を正確には捉えられず、その結果、図4(c)に示すように、追尾枠がずれてしまうことがある。その結果、追尾枠には背景の一部が含まれてしまい、マッチングのベースとなる部分画像にも、この背景の画像パターンが含まれてしまう。
さらに、図4(d)は、マッチングの基準となる部分画像に含まれた背景の画像パターンに追尾対象の抽出結果が引っ張られてしまい、追尾枠が被写体から完全に離れ、背景に追尾枠が固定されていることを示す図である。この後は、図4(e)に示すように、この背景の領域を基準としてパターンマッチングが行われてしまうため、そのまま背景に追尾枠が表示され続けてしまう。
本発明の目的は、誤った被写体追尾を行うことを抑制することができる撮像装置、及び撮像装置の制御方法を提供することにある。
上記目的を達成するために、請求項1記載の撮像装置は、撮像装置であって、撮像素子にて生成された動画から追尾対象の被写体の動きベクトルを検出する第1の検出手段と、前記撮像装置の装置本体の動きベクトルを検出する第2の検出手段と、前記第1の検出手段により検出された前記被写体の動きベクトルと前記第2の検出手段により検出された前記装置本体の動きベクトルとを比較する比較手段と、前記比較手段の比較結果に基づいて前記第1の検出手段による前記被写体の追尾続行の可否を判断する判断手段と、を備え、前記判断手段は、前記装置本体の動きベクトルと前記被写体の動きベクトルとの差が、設定された閾値以上の場合に、前記被写体の追尾続行が不可であると判断することを特徴とする。
また、請求項11記載の撮像装置の制御方法は、撮像素子にて生成された動画から追尾対象の被写体の動きベクトルを検出する第1の検出手段と、装置本体の動きベクトルを検出する第2の検出手段と、を有する撮像装置の制御方法であって、前記第1の検出手段により検出された前記被写体の動きベクトルと前記第2の検出手段により検出された前記装置本体の動きベクトルとを比較する比較ステップと、前記装置本体の動きベクトルと前記被写体の動きベクトルとの差が、設定された閾値以上の場合に、前記第1の検出手段による前記被写体の追尾続行が不可であると判断する判断ステップと、を有することを特徴とする。
本発明の撮像装置によれば、適正に被写体追尾を行うことができ、かつ適正に追尾枠を表示することができる。
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
図1は、本発明の実施の形態に係る撮像装置としてのデジタルカメラのブロック図である。
図1において、操作部101は、本デジタルカメラのユーザーが本デジタルカメラに対して各種の指示を入力するために操作するスイッチやボタン等により構成されている。操作部101の中には、シャッタースイッチも含まれており、このシャッタースイッチが半押しの場合には、SW1信号が操作部101から制御部102に対して通知される。また、シャッタースイッチが全押しされている場合には、SW2信号が操作部101から制御部102に対して通知される。
制御部102は、同図に示す各部の動作を制御するものであり、操作部101からの指示に応じて各部を制御する。制御部102がこのデジタルカメラ全体の動作を統括して制御している。
撮像素子103は、レンズ117、露出機構118を介して入射される光を受け、その光量に応じた電荷を出力するものである。撮像素子103はCCDやCMOSセンサなどの光電変換素子で構成される。
レンズ117は、複数のレンズから構成されたレンズ群であり、撮像素子103に被写体像を合焦させるためのフォーカスレンズや、撮像素子103に結像する被写体象の倍率を変化させる光学ズームレンズを備えている。露出機構118は、撮像素子103に到達する被写体像の光量を調節する絞りや、撮像素子に被写体像が到達しないよう撮像素子103を遮光するシャッターを備えている。
AF処理部108は、撮像素子103に結像された被写体像の合焦状態を調整するために、レンズ117に含まれるフォーカスレンズを駆動する。AE処理部109は、撮像素子103に到達する被写体像の光量を制御するため、露出機構118の絞りの開口径を調整したり、シャッターで撮像素子103を遮光したりする。
A/D変換部104は、撮像素子103から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。
画像処理部105は、A/D変換部104から出力されたデジタル画像信号に対してホワイトバランス処理、ガンマ変換処理、及び、色変換処理を含む各種の画像処理を行い、YUV画像信号に変換したデジタル画像信号を出力する。
被写体位置設定部106は、ユーザーが操作部101に含まれる不図示のボタンを操作することで任意に特定した領域を、追尾対象である被写体がいる追尾対象領域として設定する。あるいは、被写体位置設定部106が画像のエッジ形状から人物の顔が存在する領域を検出する機能を備え、この検出した人物の顔領域を自動的に追尾対象領域として設定する構成としてもよい。この被写体位置設定部106は、追尾対象となる領域を設定する設定手段として機能する。
動体検出部115は、時系列的に連続して得られたデジタル画像信号を比較することで、いずれかのフレームの画像にて被写体位置設定部106によって追尾対象領域として設定された被写体の動きを被写体動き情報として検出し、追尾する処理を行う。
姿勢変化検出部119は、ジャイロで構成された角速度センサを用いてデジタルカメラ自身に生じた動きをカメラ動き情報として検出する。
動体追尾判断部116は、被写体動き情報とカメラ動き情報を比較し、追尾を続行するかどうかの可否判断を行う。
EF処理部110は、制御部102からフラッシュオンの指示を受けると、フラッシュ部111に、制御部102からの指令に応じた発光量にて閃光発光を行わせる。制御部102は、追尾対象となっている被写体の輝度が低い場合にはフラッシュが必要と判断し、EF処理部110にフラッシュオンを指示する。
表示部107は、小型液晶画面等により構成されており、画像処理部105にて処理されたデジタル画像信号を用いて画像を表示する。撮像素子103で生成された画像をリアルタイムで動画として表示することにより、カメラのユーザーに被写体の様子を観察させることが可能である。
フォーマット変換部112は、画像処理部105から出力されたデジタル画像信号(画像データ)のフォーマットをJPEG等のフォーマットに変換し、画像記録部113に出力する。
画像記録部113は、フォーマット変換部112から受けたフォーマット変換済みの画像データを、本デジタルカメラ内の不図示のメモリや、本デジタルカメラに挿入されている外部メモリ等に記録する。
外部接続部114は、本デジタルカメラをPC(パーソナルコンピュータ)やプリンタといった外部装置に接続するためのインターフェースとして機能するものである。
次に、本デジタルカメラを用いて撮像を行う場合の動作フローについて説明する。
図2は、図1のデジタルカメラによって実行される撮影処理の手順を示すフローチャートである。本実施の形態では、予め、ユーザーが指定した被写体を追尾する追尾モードが設定されているものとする。
デジタルカメラの操作部101に含まれている電源スイッチがオンされることによって、このフローチャートが開始される。
ステップS201では、制御部102の指示により、不図示の電源から本デジタルカメラを構成する各部に電源を供給する。本デジタルカメラを構成する各部に電源が供給されるとシャッターが開き、リアルタイムで被写体を観察するための動画を表示部107に表示するための撮像動作が開始される。撮像素子103に電荷が蓄積され、A/D変換部104にアナログ画像信号として出力される。A/D変換部104がアナログ画像信号に対して、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。画像処理部105は、このデジタル画像信号に対してホワイトバランス処理、ガンマ変換処理、及び、色変換処理を含む各種画像処理を行う。これを定められたフレームレートで繰り返し行い、得られたデジタル画像信号を用いて、被写体をリアルタイムに映した動画を表示部107に表示する。
ステップS202では、ユーザーに追尾対象とすべき被写体を選択させるため、制御部102が表示部107に、表示した動画の中央部に追尾枠を表示させ、追尾対象とする被写体に枠を重畳させるようガイダンスを表示させる。
ステップS203では、被写体位置設定部106が、ユーザーが操作部101に含まれる不図示のボタンによって、追尾枠を移動させ、その位置を確定させたか否かを判断する。ユーザーによって追尾枠の位置が設定されるまで待機し、設定されるとステップS204に進む。
ステップS204では、ステップS203で設定された追尾枠の存在する領域を、追尾対象領域として設定する。そして、ユーザーによって追尾枠を確定する操作が行われたときのデジタル画像信号のうち、追尾対象領域に該当する部分のデジタル画像信号を追尾対象領域画像信号として記憶する。そして、被写体位置設定部106は、追尾対象領域の座標、及び、追尾対象領域画像信号を動体検出部105に送信する。
ステップS205では、動体検出部105が動画を構成する時系列に並んだデジタル画像信号間で比較を行い、被写体の動き情報を検出する。まず、追尾対象領域の座標を中心として、この追尾対象領域の水平方向、垂直方向をそれぞれ3倍に拡大した領域を、読み出し領域として設定する。追尾対象領域が設定されたフレームよりも後のフレームのデジタル画像信号から、この読み出し領域に位置するデジタル画像信号を抽出し、記憶しておいた追尾対象領域画像信号とのマッチングを行う。そして、追尾対象領域画像信号と最もマッチング度の高かった領域を検出し、この検出した領域を新たな追尾対象領域として設定し、追尾対象領域の座標、及び、追尾対象領域画像信号を更新する。
この様子を、図3を用いて説明する。図3(a)及び(b)はそれぞれ表示部107に表示された画像を示すものであり、図3(a)に示すフレーム画像と図3(b)に示すフレーム画像の間で、被写体の動き情報の検出が行われるものとする。図3(a)において、人物の顔領域に重畳しているグレー色の太枠がユーザーによって設定された追尾枠である。この追尾枠の領域を縦横に3倍した鎖線枠で領域と、その位置及び大きさが同じになるように、図3(b)の画像に対して読み出し領域が設定される。この図3(b)の読み出し領域の中から、図3(a)に示す追尾枠内の領域と最もマッチング度の高い領域を検出し、その領域を新たな追尾対象領域(図3(b)のグレー色の太枠)として更新する。
そして、動体検出部115が、図3(a)の追尾対象領域の中心位置と、図3(b)で検出された追尾対象領域の中心位置の座標の差分である被写体ベクトル(Tx、Ty)を求め、被写体の動き情報とする。つまり、動体検出部115は、撮像素子103にて生成された動画から追尾対象の被写体の動き情報を検出する第1の検出手段として機能する。
また、この動体検出部115は、被写体の動き情報を検出するために用いた2つのデジタル画像信号に対して、追尾対象領域を除外した残りの領域の相関から、背景の動き情報を示す背景ベクトルを求める。
ステップS206では、姿勢変化検出部119が、角速度センサからデジタルカメラ自身のカメラの動き情報を求める。角速度センサは、手ぶれやパンニング等の様々な原因に起因するカメラの姿勢の変化を検出する。そして、姿勢変化検出部119は、角速度センサで検出されたカメラの姿勢変動の情報と動体検出部115にて求めた背景ベクトルから、カメラの画角の変化を演算する。そして、カメラの姿勢変化による画角の水平方向(パン方向)及び垂直方向(チルト方向)の変化を、画角ベクトル(Gx、Gy)として求め、カメラの動き情報とする。尚、カメラをパンあるいはチルト方向に回転させたときに、光学ズームの倍率が高いほど、画角ベクトルに対して被写体ベクトルが大きくなるため、光学ズームの倍率に応じて画角ベクトル、あるいは、被写体ベクトルの大きさを補正する。つまり、姿勢変化検出部119は、装置本体の動き情報を検出する第2の検出手段として機能する。
ステップS207では、動体追尾判定部116が被写体ベクトルの水平方向成分(Tx)と画角ベクトルの水平方向成分(Gx)の向きを判定する。これらが互いに逆向き(Tx*Gx<0)であればステップS208へ進み、逆向きでなければ(Tx*Gx≧0)ステップS209へ進む。
ステップS208では、動体追尾判定部116が被写体ベクトルの水平方向成分(Tx)と画角ベクトルの水平方向成分(Gx)の差分と閾値Thとを比較する。被写体ベクトルの水平方向成分(Tx)と画角ベクトルの水平方向成分(Gx)の差分が閾値Thよりも小さければステップS209に進み、小さくなければステップS214へ進む。
ステップS209では、動体追尾判定部116が被写体ベクトルの垂直方向成分(Ty)と画角ベクトルの垂直方向成分(Gy)の向きを判定する。これらが互いに逆向き(Ty*Gy<0)であればステップS210へ進み、逆向きでなければ(Ty*Gy≧0)ステップS211へ進む。
ステップS210では、動体追尾判定部116が被写体ベクトルの垂直方向成分(Ty)と画角ベクトルの垂直方向成分(Gy)の差分と閾値Thとを比較する。被写体ベクトルの垂直方向成分(Ty)と画角ベクトルの垂直方向成分(Gy)の差分が閾値Thよりも小さければステップS211に進み、小さくなければステップS214へ進む。
これらステップS207乃至S210において、動体追尾判定部116は、被写体ベクトルと画角ベクトルを比較する。そして、水平方向成分と垂直方向成分のいずれかが、その向きが逆向きであって、かつ、その差分が閾値以上であるときには、追尾続行不可と判断してステップS214に進む。反対に、いずれの条件も満たさなければ、追尾続行可と判断してステップS211に進む。
被写体を追うためにカメラをシフトさせたのであれば、被写体ベクトルと画角ベクトルに大きな差は生じないと考えられる。そのため、被写体ベクトルと画角ベクトルに大きな差がなければ、追尾に成功したと判断し、追尾を続行する。
反対に、従来例で説明したように、追尾枠が意図しない被写体に対して設定された場合には、意図する被写体を追うためにシフトさせたカメラの動きと、被写体のユーザーの意図する画角と追尾枠の位置とが全く関連のないものとなる。そのため、被写体ベクトルと画角ベクトルに大きな差があれば、追尾に失敗したと判断し、追尾を中止する。
動体追尾判定部116は、例えば、カメラがさほど動いていないとき、即ち、画角ベクトル自体が小さいときには、被写体ベクトルの大きさや向きに関わらず、追尾に成功したと判断するように構成しても構わない。あるいは、画角ベクトルが小さいときには、画角ベクトルが大きいときに比較して、閾値Thの値を大きく設定し、追尾に失敗していると判断されにくいようにしてもよい。
画角ベクトルが小さいということは、ユーザーには画角を変える意図が無いと考えられるためであり、スポーツしている人物や、遊んでいる子供など、動き回る被写体を広い画角で撮影している可能性が考えられる。
また、撮影モードとして、スポーツモードやシャッター速度優先モードが選択された場合も、被写体が動き回る可能性が高いため、被写体ベクトルと画角ベクトルに大きな差があったとしても、追尾に成功したと判断するように構成しても構わない。あるいは、閾値Thを他の撮影モードに比較して大きく設定するようにしても構わない。
また、動体追尾判定部116は、被写体ベクトルと画角ベクトルのなす角度が大きいほど、閾値Thを小さくして追尾続行不可と判定する確率を高くするよう構成してもよい。また、被写体ベクトルと画角ベクトルの水平方向成分と垂直方向の成分のいずれかの向きが逆向きでなくとも、被写体ベクトルと画角ベクトルのなす角度が所定値よりも大きければ、閾値Thと比較するように構成してもよい。
さらに、手振れのような瞬間的なカメラのぶれの影響を抑制するため、数フレームにわたって検出した被写体の動き情報から被写体ベクトルを、数フレームにわたって検出したカメラの動き情報から画角ベクトルを求めるようにしてもよい。
このように、動体追尾判断部116は、比較手段の比較結果に基づいて第1の検出手段による被写体追尾の続行の可否を判断する判断手段として機能する。
ステップS211では、表示部107が、更新された追尾対象領域に追尾枠を移動させ、画像に重畳して表示する。
ステップS212では、AF処理部108が更新後の追尾対象領域の被写体が合焦するように、レンズ117に含まれるフォーカスレンズを駆動し、AE処理部118が同じ領域の輝度が適正値となるように、露出機構118の絞りの開口径を調節する。
ステップS213では、制御部102は、シャッタースイッチが半押しされてSW1信号が入力されたか判定し、SW1信号が入力されていればステップS217に進む。入力されていなければステップS205に戻って、新たなフレームのデジタル画像信号を用いて追尾処理を続ける。このように、ステップS213にてSW1信号が制御部102に入力されるまで、追尾が成功している間は、ステップS204で追尾対象領域として設定された被写体の追尾処理を継続して行うことになる。
ここで、ステップS208またはS210にて、動体追尾判定部116が追尾に失敗したと判断すると、ステップS214で、動体追尾判定部116が表示部107に表示されている画像から追尾枠の表示を消去する。そして、動体検出部115が追尾対象領域の座標、及び、追尾対象領域画像信号をリセットする。
ステップS215では、画角の中央部の領域の被写体が合焦するように、レンズ117に含まれるフォーカスレンズを駆動し、AE処理部118が同じ領域の輝度が適正値となるように、露出機構118の絞りの開口径を調節する。
ステップS216では、制御部102がシャッタースイッチが半押しされてSW1信号が入力されたか判定し、SW1信号が入力されていればステップS217に進む。入力されていなければステップS202に戻り、ユーザーに追尾対象とすべき被写体を選択させるためのガイダンスを表示する。
ステップS213、または、S216で制御部102にSW1信号が入力されると、ステップS217では、レンズ117のフォーカスレンズの位置と露出機構118の絞りの開口径を、その直前に設定された状態に固定する。このときの輝度値より、制御部102はEF処理部110にフラッシュ発光処理を行わせるか判断する。そして、ステップS218で制御部102にSW2信号が入力されるまで待機し、SW2信号が入力されるとステップS219に進む。
ステップS219では制御部102が、必要に応じてフラッシュ部111に発光を行わせ、本露光動作を行わせる。そして、本露光にて生成されたデジタル画像信号を、フォーマット変換部112がJPEG等のフォーマットに変換し、画像記録部113に出力する。画像記録部113は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。
このように、本実施の形態のカメラは、被写体を追尾する際に、カメラ自身の動きと追尾対象である被写体の動きに大きなずれが生じた場合には、追尾に失敗していると判断している。この構成によれば、ユーザーの意図しない被写体が追尾対象として設定されてしまった場合に、すみやかに、その被写体を追尾対象から外すことができるようになり、カメラの使い勝手を向上させることができる。
以上、本発明の実施の形態について、図面を参照して詳述してきたが、具体的な構成はこの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明の実施の形態に係る撮像装置としてのデジタルカメラのブロック図である。 図1のデジタルカメラによって実行される撮影処理の手順を示すフローチャートである。 追尾対象領域の検出方法を説明するための図である。 被写体の位置と追尾状態を示す図である。
符号の説明
101 操作部
102 制御部
103 撮像素子
104 A/D変換部
105 画像処理部
106 被写体位置設定部
107 表示部
112 フォーマット変換部
113 画像記録部
114 外部接続部
115 動体検出部
116 動体追尾判断部
117 レンズ
118 露出機構
119 姿勢変化検出部

Claims (11)

  1. 撮像装置であって、
    撮像素子にて生成された動画から追尾対象の被写体の動きベクトルを検出する第1の検出手段と、
    前記撮像装置の装置本体の動きベクトルを検出する第2の検出手段と、
    前記第1の検出手段により検出された前記被写体の動きベクトルと前記第2の検出手段により検出された前記装置本体の動きベクトルとを比較する比較手段と、
    前記比較手段の比較結果に基づいて前記第1の検出手段による前記被写体の追尾続行の可否を判断する判断手段と、を備え、
    前記判断手段は、前記装置本体の動きベクトルと前記被写体の動きベクトルとの差が、設定された閾値以上の場合に、前記被写体の追尾続行が不可であると判断することを特徴とする撮像装置。
  2. 前記比較手段は、前記装置本体の動きベクトルあるいは前記被写体の動きベクトルを、光学ズームの倍率に応じて補正することを特徴とする請求項1に記載の撮像装置。
  3. 前記判断手段は、前記装置本体の動きベクトルと、前記被写体の動きベクトルの向きが逆であり、かつ、前記装置本体の動きベクトルと前記被写体の動きベクトルとの差が前記閾値以上の場合に、前記被写体の追尾続行が不可であると判断することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記動画から前記被写体の顔を検出し、検出した顔が存在する領域を追尾対象として設定する設定手段を有することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. ユーザーによる操作により指定された領域を追尾対象として設定する設定手段を有することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  6. 前記第1の検出手段は、動画を構成する時系列に並んだ複数の画像を比較し、マッチングを行うことで前記被写体の動きベクトルを検出することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記判断手段は、前記閾値を前記装置本体の動きベクトルに応じて設定することを特徴とする請求項1乃至6のいずれか1項に記載に撮像装置。
  8. 前記判断手段は、前記装置本体の動きベクトルが第1の値のときの前記閾値よりも、前記装置本体の動きベクトルが前記第1の値よりも小さな第2の値のときの前記閾値を大きく設定することを特徴とする請求項7に記載の撮像装置。
  9. 前記判断手段は、前記閾値を撮影モードに応じて設定することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  10. 前記判断手段は、前記装置本体の動きベクトルと、前記被写体の動きベクトルのなす角度が大きくなるほど、前記閾値を小さく設定することを特徴とする請求項1又は2に記載の撮像装置。
  11. 撮像素子にて生成された動画から追尾対象の被写体の動きベクトルを検出する第1の検出手段と、装置本体の動きベクトルを検出する第2の検出手段と、を有する撮像装置の制御方法であって、
    前記第1の検出手段により検出された前記被写体の動きベクトルと前記第2の検出手段により検出された前記装置本体の動きベクトルとを比較する比較ステップと、
    前記装置本体の動きベクトルと前記被写体の動きベクトルとの差が、設定された閾値以上の場合に、前記第1の検出手段による前記被写体の追尾続行が不可であると判断する判断ステップと、を有することを特徴とする撮像装置の制御方法。
JP2008144549A 2008-06-02 2008-06-02 撮像装置、及び撮像装置の制御方法 Active JP5268433B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008144549A JP5268433B2 (ja) 2008-06-02 2008-06-02 撮像装置、及び撮像装置の制御方法
US12/410,258 US8692888B2 (en) 2008-06-02 2009-03-24 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008144549A JP5268433B2 (ja) 2008-06-02 2008-06-02 撮像装置、及び撮像装置の制御方法

Publications (3)

Publication Number Publication Date
JP2009296030A JP2009296030A (ja) 2009-12-17
JP2009296030A5 JP2009296030A5 (ja) 2011-07-21
JP5268433B2 true JP5268433B2 (ja) 2013-08-21

Family

ID=41379293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008144549A Active JP5268433B2 (ja) 2008-06-02 2008-06-02 撮像装置、及び撮像装置の制御方法

Country Status (2)

Country Link
US (1) US8692888B2 (ja)
JP (1) JP5268433B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5279635B2 (ja) * 2008-08-20 2013-09-04 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
JP5543180B2 (ja) * 2009-01-07 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US20100259610A1 (en) * 2009-04-08 2010-10-14 Celsia, Llc Two-Dimensional Display Synced with Real World Object Movement
KR101627185B1 (ko) * 2009-04-24 2016-06-03 삼성전자 주식회사 영상촬영장치의 제어방법
US8493453B2 (en) * 2009-06-05 2013-07-23 Apple Inc. Image capturing devices using orientation detectors to implement automatic exposure mechanisms
JP2011040902A (ja) * 2009-08-07 2011-02-24 Toshiba Corp 撮像装置及び撮像装置用制御装置
JP2011135376A (ja) * 2009-12-24 2011-07-07 Samsung Yokohama Research Institute Co Ltd 撮像装置及び画像処理方法
JP5091976B2 (ja) * 2010-04-09 2012-12-05 株式会社東芝 映像表示装置、映像表示方法及び映像表示プログラム
JP5594157B2 (ja) * 2011-01-14 2014-09-24 株式会社Jvcケンウッド 撮像装置および撮像方法
JP5848507B2 (ja) * 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
JP2014123815A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法及び記録媒体
CN105745915B (zh) * 2013-09-06 2019-02-15 索尼公司 图像拍摄装置、方法和程序
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
JP6525545B2 (ja) * 2014-10-22 2019-06-05 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
CN104469167B (zh) * 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
JP6539091B2 (ja) * 2015-04-09 2019-07-03 キヤノン株式会社 撮像装置およびその制御方法
JP6179569B2 (ja) * 2015-08-20 2017-08-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6776062B2 (ja) * 2016-08-30 2020-10-28 キヤノン株式会社 撮像装置およびその制御方法
JP6661493B2 (ja) * 2016-08-30 2020-03-11 キヤノン株式会社 像ブレ制御装置、撮像装置および制御方法
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
US10547790B2 (en) * 2018-06-14 2020-01-28 Google Llc Camera area locking
CN109091228B (zh) * 2018-07-04 2020-05-12 首都医科大学 一种多器械光学定位方法及系统
CN111983432B (zh) * 2020-09-01 2021-04-20 无锡卓海科技有限公司 一种晶圆位置检测装置仿真测试系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2941815B2 (ja) * 1988-09-09 1999-08-30 キヤノン株式会社 撮像装置及びぶれ補正装置
JPH04245782A (ja) * 1991-01-30 1992-09-02 Fuji Photo Film Co Ltd ビデオカメラ
JPH07143389A (ja) 1993-11-15 1995-06-02 Matsushita Electric Ind Co Ltd カメラ
JPH07298247A (ja) * 1994-04-22 1995-11-10 Oki Electric Ind Co Ltd Tvカメラを用いた監視方法及び監視システム
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
KR100325253B1 (ko) * 1998-05-19 2002-03-04 미야즈 준이치롯 움직임벡터 검색방법 및 장치
TW444507B (en) * 1998-10-22 2001-07-01 Sony Corp Detecting method and device for motion vector
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US20020054211A1 (en) * 2000-11-06 2002-05-09 Edelson Steven D. Surveillance video camera enhancement system
JP4140202B2 (ja) * 2001-02-28 2008-08-27 三菱電機株式会社 移動物体検出装置
JP2004112550A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd 撮像装置、カメラ、プログラム及び記録媒体
JP3861815B2 (ja) * 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP4438047B2 (ja) * 2003-07-28 2010-03-24 キヤノン株式会社 焦点調節装置、撮像装置、およびその制御方法
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
JP4404822B2 (ja) * 2004-08-31 2010-01-27 三洋電機株式会社 手ぶれ補正装置および撮像機器
US7561790B2 (en) * 2004-12-28 2009-07-14 Fujinon Corporation Auto focus system
JP4596246B2 (ja) 2004-12-28 2010-12-08 富士フイルム株式会社 オートフォーカスシステム
KR100643304B1 (ko) * 2005-02-15 2006-11-10 삼성전자주식회사 관성 센서 보정 장치 및 방법, 그리고, 상기 방법을 기록한기록 매체
JP4345722B2 (ja) * 2005-07-15 2009-10-14 ソニー株式会社 動体追跡制御装置、動体追跡システム、動体追跡制御方法及びプログラム
US20080259175A1 (en) * 2005-07-19 2008-10-23 Sharp Kabushiki Kaisha Imaging Device
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
KR100758632B1 (ko) * 2006-03-29 2007-09-14 삼성전자주식회사 파노라마 사진촬영 장치 및 방법
JP2007288726A (ja) * 2006-04-20 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP5055018B2 (ja) * 2006-06-14 2012-10-24 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理装置の制御方法
JP5191224B2 (ja) * 2007-12-07 2013-05-08 イーストマン コダック カンパニー 画像処理装置

Also Published As

Publication number Publication date
US8692888B2 (en) 2014-04-08
JP2009296030A (ja) 2009-12-17
US20090295926A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
JP5268433B2 (ja) 撮像装置、及び撮像装置の制御方法
EP2168005B1 (en) Focus control apparatus, image sensing apparatus, and control method therefor
US20120275648A1 (en) Imaging device and imaging method and program
JP2008136035A (ja) 撮像装置
JP2007279601A (ja) カメラ
JP5279635B2 (ja) 画像処理装置、画像処理方法、および、プログラム
US8648960B2 (en) Digital photographing apparatus and control method thereof
KR20100067407A (ko) 디지털 촬영 장치의 움직임에 따른 촬영 제어 방법 및 장치
JP2010021598A (ja) 撮像装置および撮像方法
JP2021124669A (ja) 電子機器
JP2019121860A (ja) 画像処理装置及びその制御方法
JP2010062943A (ja) 電子カメラ
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP2020088810A (ja) 撮像装置及び撮像装置の制御方法
US11523048B2 (en) Electronic device, control method of electronic device, and non-transitory computer readable medium
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP7122916B2 (ja) 撮像装置およびその制御方法、プログラムならびに記憶媒体
JP5113669B2 (ja) 撮像装置、その制御方法及びプログラム
KR20100098122A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2010044210A (ja) 焦点調節装置及び焦点調節方法
US11669975B2 (en) Subject tracking device, subject tracking method, and imaging apparatus
US20230370714A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP2024033747A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP5323245B2 (ja) 撮像装置
JP2015040939A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130507

R151 Written notification of patent or utility model registration

Ref document number: 5268433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151