JP4760918B2 - 撮像装置、被写体追従方法、及びプログラム - Google Patents

撮像装置、被写体追従方法、及びプログラム Download PDF

Info

Publication number
JP4760918B2
JP4760918B2 JP2009013439A JP2009013439A JP4760918B2 JP 4760918 B2 JP4760918 B2 JP 4760918B2 JP 2009013439 A JP2009013439 A JP 2009013439A JP 2009013439 A JP2009013439 A JP 2009013439A JP 4760918 B2 JP4760918 B2 JP 4760918B2
Authority
JP
Japan
Prior art keywords
change
subject
imaging
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009013439A
Other languages
English (en)
Other versions
JP2010171815A (ja
JP2010171815A5 (ja
Inventor
康佑 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009013439A priority Critical patent/JP4760918B2/ja
Priority to KR1020100004682A priority patent/KR20100086943A/ko
Priority to US12/690,209 priority patent/US20100188511A1/en
Priority to CN2010101753166A priority patent/CN101867725B/zh
Priority to EP10151353.9A priority patent/EP2211306B1/en
Priority to TW099101709A priority patent/TWI419552B/zh
Publication of JP2010171815A publication Critical patent/JP2010171815A/ja
Publication of JP2010171815A5 publication Critical patent/JP2010171815A5/ja
Application granted granted Critical
Publication of JP4760918B2 publication Critical patent/JP4760918B2/ja
Priority to KR1020120092860A priority patent/KR101290611B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Description

本発明は、撮像装置、被写体追従方法、及びプログラムに関する。
移動する被写体の位置を順次検出する機能を備えた撮像装置が知られている。例えば、テンプレートマッチング(ブロックマッチングともいう)を用いて被写体を追従させる技術がある。
例えば特許文献1に記載の画像監視装置は、前フレーム画像(追従させたい被写体を含む画像)から切り出されたテンプレートに類似する小画像領域を、現フレーム画像の探索範囲から探索することにより、最も類似度の高い小画像領域を検出する。そして、検出された小画像領域内に該被写体が移動したと判別する。また、新たにフレーム画像が撮像されると、該検出した小画像領域をテンプレートとして更新し、上記動作を繰り返すことにより、連続して撮像される各フレーム画像に対して、どの位置に被写体が移動しているのかを順次検出(追従)していく。
特開2001−076156号公報
しかしながら、特許文献1に記載の技術によれば、被写体の振る舞いに関わらず一律に同じ探索条件でブロックマッチングを行うので、例えば、フレーム画像内における被写体の振る舞いの変化が激しいときは、これに適したブロックマッチングを行うことができないという問題がある。
具体的には、広角撮影等、撮影画角が広い場合で被写体の動きがほとんど無い場合、不必要な演算量が増え、結果的に過剰な処理負荷を与え、望遠撮影等、撮影画角が狭い場合で被写体の動きが激しい場合、被写体が探索すべき範囲から外れる可能性が高く、結果として当該被写体を追従しきれないという問題である。
本発明は、上記問題点に鑑みてなされたものであり、撮影画角に左右されることなく、被写体の振る舞いに適した被写体追従処理を行うことができる撮像装置、被写体追従方法、及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る撮像装置は、撮像手段と、前記撮像手段により順次撮像される画像間の変化を検出する変化検出手段と、この前記変化検出手段によって検出された画像間の変化に基づいて、前記画像間の撮像画角の変化を判別し、この判別された前記撮像画角の変化とは異なる変化が存在する領域又は変化が存在しない領域を前記被写体領域として検出する被写体検出手段と、前記変化検出手段による検出結果と前記被写体検出手段による検出結果とに基づいて撮影状況を判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮像手段によって撮像される画像に含まれる被写体領域の追従を制御する制御手段と、を備えることを特徴とする。
また、前記制御手段は、前記判定手段による判定結果に基づいて、前記画像における被写体領域を追従すべき範囲を変更するようにしてもよい。
また、予め前記撮像手段により撮像された画像から検出された被写体のテンプレート画像と所定の閾値以上で一致する画像領域を、追従すべき被写体に対応する被写体領域として特定する特定手段を更に備えるともに、前記制御手段は、前記判定手段による判定結果に基づいて、前記所定の閾値の値を変更する変更手段を含むようにしてもよい。
また、前記制御手段は、前記判定手段による判定結果に基づいて、前記所定の閾値の値を、その直前に設定されていた閾値の値よりも低い値に変更するようにしてもよい。
また、前記被写体検出手段は、複数の領域を被写体領域として検出したか否かを判断するとともに、複数の領域について検出したと判断すると、これらの複数の領域のうち、直近に追従した被写体領域に最も近い領域で検出された被写体領域を、追従すべき被写体領域として検出するようにしてもよい。
また、前記撮像手段によって順次撮像される画像間の動きベクトルのベクトル分布を算出する算出手段を更に備えるとともに、前記変化検出手段は、前記算出手段によって算出されたベクトル分布に基づいて、前記画像間の変化を検出し、前記被写体検出手段は、前記算出手段によって算出されたベクトル分布と、前記変化検出手段によって検出された前記画像間の変化とに基づいて前記被写体領域を検出するようにしてもよい。
また、前記算出手段は、前記順次撮像される画像間の動きベクトルから手ぶれに起因する動きベクトルを差し引いてベクトル分布を算出するようにしてもよい。
本発明の第2の観点に係る被写体追従方法は、撮像部にて順次撮像する撮像ステップと、前記撮像ステップにより順次撮像される画像間の変化を検出する変化検出ステップと、この前記変化検出ステップによって検出された画像間の変化に基づいて、前記画像間の撮像画角の変化を判別し、この判別された前記撮像画角の変化とは異なる変化が存在する領域又は変化が存在しない領域を前記被写体領域として検出する被写体検出ステップと、前記変化検出ステップによる検出結果と前記被写体検出ステップによる検出結果とに基づいて撮影状況を判定する判定ステップと、この判定ステップによる判定結果に基づいて、撮像される画像に含まれる被写体領域の追従を制御する制御ステップと、を含むことを特徴とする。
本発明の第3の観点に係るプログラムは、撮像装置が有するコンピュータを、順次撮像される画像間の変化を検出する変化検出手段、この前記変化検出手段によって検出された画像間の変化に基づいて、前記画像間の撮像画角の変化を判別し、この判別された前記撮像画角の変化とは異なる変化が存在する領域又は変化が存在しない領域を前記被写体領域として検出する被写体検出手段、前記変化検出手段による検出結果と前記被写体検出手段による検出結果とに基づいて撮影状況を判定する判定手段、前記判定手段による判定結果に基づいて、前記撮像手段によって撮像される画像に含まれる被写体領域の追従を制御する制御手段、として機能させることを特徴とする。
本発明によれば、撮影画角に左右されることなく、被写体の振る舞いに適した被写体追従処理を行うことができる。
本発明の実施形態に係る撮像装置の外観を示す図である。 撮像装置の概略構成を示すブロック図である。 被写体追従モードの動作を示すフローチャートである。 追従設定処理の動作を示すフローチャートである。 撮像画像の具体例を示す図である。 図5に対応するオプティカルフローを示す図である。 撮影状況に対応する追従設定の一覧を示す図である。
本発明の実施形態に係る撮像装置について、図面を参照しながら説明する。図1(A)は、本実施の形態に係る撮像装置1の外観を示す正面図であり、図1(B)は背面図である。この撮像装置1には、前面に撮像レンズ2が設けられており、上面部にはシャッターキー3が設けられている。このシャッターキー3は、半押し操作と全押し操作とが可能ないわゆるハーフシャッター機能を備えるものである。また、背面には、ファンクションキー4、カーソルキー5、及び、表示部6が設けられている。カーソルキー5は図1(B)中のaの方向に回転可能なロータリースイッチとして機能する。表示部6は、例えば、16:9のアスペクト比を備えるLCD(Liquid Crystal Display)からなる。
図2は、撮像装置1の概略構成を示すブロック図である。撮像装置1は、撮像レンズ2、キー入力部3〜5、表示部6、駆動制御部7、撮像部8、ユニット回路9、画像処理部10、符号化/復号化処理部11、プレビューエンジン12、画像記録部13、プログラムメモリ14、RAM(Random Access Memory)15、制御部16、手ぶれ検出部17、バスライン18から構成される。
制御部16は、撮像装置1の各部を制御するワンチップマイコンである。この実施の形態の撮像装置1は、撮像装置1が撮影する画像中から被写体を検出し、その被写体を追従する。制御部16は、その動作を実行するため、撮像装置1の各部を制御する。
撮像レンズ2は、詳細には複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えた光学系部材を実装するレンズユニットである。制御部16は、撮影者のズーム操作、または、撮影者のシャッターキー3の半押し操作を検出するとAF(オートフォーカス)処理を行い、駆動制御部7に駆動制御部7を制御するための制御信号を送出する。駆動制御部7は、その制御信号に基づいて、撮像レンズ2の位置を移動させる。
キー入力部3〜5は、シャッターキー3、ファンクションキー4、及びカーソルキー5からの操作に応じた操作信号を制御部16に送出する。
撮像部8は、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサからなり、上述の撮像レンズ2の光軸上に配置されている。
ユニット回路9は、撮像部8から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路である。ユニット回路9は、入力した撮像信号を保持するCDS、AE(自動露出調整)処理等に伴いその撮像信号を増幅するゲイン調整アンプ(AGC)、増幅された撮像信号をデジタルの撮像信号に変換するA/D変換器(ADC)等から構成されている。画像処理部10は、ユニット回路9から送出される撮像信号に各種画像処理を施す。
撮像部8から出力される撮像信号は、ユニット回路9を経てデジタル信号として画像処理部10に送られる。そのデジタル信号(撮像信号)は、画像処理部10において各種画像処理が施され、さらにプレビューエンジン12にて縮小加工されて、表示部6に供給される。そして、供給されたデジタル信号(撮像信号)と表示部6が内蔵するドライバを駆動する駆動制御信号とが表示部6に入力されると、表示部6はこのデジタル信号(撮像信号)に基づく画像をライブビュー表示する。
画像記録部13は、画像ファイルを記録する。画像記録部13は、撮像装置1に内蔵されるメモリであってもよいし、着脱可能なメモリであってもよい。画像記録時において、画像処理部10で処理された撮像信号は、符号化/復号化処理部11で圧縮符号化され、JPEG形式等の所定のファイル形式でファイル化されて画像記録部13に記録される。一方、画像再生時においては画像記録部13から読み出された画像ファイルは、符号化/復号化処理部11で復号化され表示部6に表示される。
プレビューエンジン12は、上記ライブビュー表示すべき画像の生成の他、画像記録時において画像記録部13に記録される直前の画像を表示部6に表示させる際に必要な制御を行う。
プログラムメモリ14は、後述する各種フローチャートに示す処理を実行するためのプログラムを記憶する。RAM15は、連続撮影された画像を一時的に記憶する。手ぶれ検出部17は、撮影者の手ぶれに起因する振動を検出し、検出結果を制御部16に送出する。バスライン18には、撮像装置1の各部を接続し各部間で相互にデータを伝送する。
続いて、撮像装置1の動作について説明する。制御部16は、ファンクションキー4やカーソルキー5の所定の操作による撮影モードの起動の指示を検出すると、プログラムメモリ14から図3のフローチャートに示すような被写体追従モードに係るプログラムを読み出して実行する。
被写体追従モードでは、先ず、撮像レンズ2を介して撮像部8に結像された画像に基づいて、所定の周期(フレーム)でユニット回路9にてデジタル信号に変換する。制御部16は、そのデジタル信号を画像処理部10にて画像データに加工し、その結果得られた映像(画像)をライブビュー画像として取得し、表示させる(ステップS101)。以下、このように連続したライブビュー画像を取得する周期のことをフレームといい、現時点で得られた画像を現在のフレーム画像といい、現在のフレーム画像の1フレーム前の画像を前回のフレーム画像という。
ライブビュー画像の表示を開始すると、制御部16は、被写体追従処理を実行する(ステップS102)。ここで、被写体追従処理とは、前回のフレーム画像から検出された被写体のテンプレート画像に類似する小画像領域を、現フレーム画像における前回被写体を検出した領域から一定範囲を探索することにより、所定の閾値以上で類似する小画像領域を検出し、検出された小画像領域内に該被写体が移動したと判別する処理のことである。なお、最初に行われる被写体の検出はフレーム画像の全領域に対して行われる。ここで被写体とは、撮影者が撮影対象とするものであり、人物や人物の特定の部分(顔など)、動物、オブジェなど、ライブビュー画像から検出されるあらゆるものである。
続いて、制御部16は、ステップS102で前回被写体を検出した領域から一定範囲において、被写体が検出されたか否かを判別する(ステップS103)。
ステップS103で、被写体が検出されたと判別した場合は(ステップS103;Y)、ステップS108に進む。一方、被写体が検出されなかったと判別した場合は(ステップS103;N)、制御部16は、前回のフレーム画像をブロック分割して、現在のフレーム画像から各ブロックのフロー(動きベクトル)の分布を示したオプティカルフローを算出する(ステップS104)。
そして、制御部16は、ステップS104にて算出したオプティカルフローに基づき撮像装置1自体の移動(撮影画角の変化)及び被写体推定領域(被写体が存在する可能性が高い領域)を検出する(ステップS105)。具体的には、ステップS104にて算出したオプティカルフローに基づいて撮像装置1自体の移動(画像4隅の移動、背景の移動)や、ズームレンズ等の移動を検出し、更に、検出した撮像装置1のフローとは異なるフローを持った領域を被写体推定領域として検出する。
図4は、ステップS105における撮像装置及び被写体の移動の検出、及びステップS106における追従設定処理の具体的な動作を示すフローチャートである。ここでは先ず、制御部16は、撮像装置1が移動したか(画像4隅の移動、背景の移動があったか)否かを判別する(ステップS201)。
撮像装置1の移動がない(画像4隅または背景からフローが検出されなかった)場合(ステップS201;No)、制御部16は、被写体推定領域を検出したか否か(フローを持った領域が存在するか否か)を判別する(ステップS202)。被写体推定領域が検出されなかった場合(フローを持った領域が存在しなかった場合)は(ステップS202;No)、制御部16は、通常の追従設定を行い(ステップS203)、追従設定処理を終える。
また、被写体推定領域が検出された場合(フローを持った領域が存在した場合)は(ステップS202;Yes)、通常の追従設定よりも検出範囲を拡大し、検出用閾値を低くする追従設定を行い(ステップS204)、追従設定処理を終える。ここで、検出範囲とは、テンプレート画像を用いたマッチングを行う範囲であり、前回のフレーム画像において被写体領域が検出された位置からの所定の範囲である。また、検出用閾値とは、テンプレート画像とのマッチングを判別するための閾値であり、この値よりマッチングの度合いが高い画像領域を被写体領域として検出する。これら設定値は所定の値が予め定められており、プログラムメモリ14の所定領域などに格納される。
一方、撮像装置1に移動がある場合も(ステップS201;Yes)、制御部16は、被写体推定領域を検出したか否か(撮像装置1の移動とは異なるフロー(動きベクトル)を持った領域、又はフロー(動きベクトル)を持たない領域が検出されたか否か)を判別する(ステップS205)。
被写体推定領域を検出した場合は(ステップS205;Yes)、制御部16は、その被写体推定領域は、フローを持たない領域であるか否かを判別する(ステップS206)。
そして、検出した被写体推定領域は、フローを持たない領域であると判別された場合は(ステップS206;Yes)、検出範囲を拡大し、検出用閾値を通常にする追従設定を行い(ステップS207)、追従設定処理を終える。
一方、検出した被写体推定領域は、撮像装置1の移動とは異なるフローを持った領域であると判別された場合は(ステップS206;No)、検出範囲を拡大し、検出用閾値を低くする追従設定を行い(ステップS204)、追従設定処理を終える。
また、被写体推定領域が検出されなかった(異なるフローを持った領域が無かった)場合は(ステップS205;No)、通常の追従設定を行い(ステップS208)、追従設定処理を終える。
図5は、撮像画像の具体例を示している。図5(A)は、前回のフレーム画像を示している。図5(B)〜(F)は、現在のフレーム画像を示している。また、図6(A)〜(E)は、それぞれ、図5(B)〜(F)に変化したときに算出されるオプティカルフローの具体例を示した図であり、図7は算出されたオプティカルフローに対応する各撮影状況と追従設定の一覧である。
図5(A)から図5(B)に変化した場合は、被写体51と木(背景)52の位置に移動はない。よって、算出されるオプティカルフローは図6(A)のようになる。つまり、撮像装置1の移動がなく、且つ被写体推定領域がない場合であり(ステップS201;No、ステップS202;No)、静止している被写体を撮像装置1が固定された状態で撮影している場合であると判別し、通常の追従設定がなされる(ステップS203)。
図5(A)から図5(C)に変化した場合は、被写体51が移動しているが、木(背景)52の位置に移動はない。よって、算出されるオプティカルフローは図6(B)のようになる。この場合、撮像装置1の移動は検出されないが、動きベクトルが分布している領域が検出され、この領域が被写体推定領域である。つまり、撮像装置1の移動がなく、且つ被写体推定領域が検出された場合であり(ステップS201;No、ステップS202;Yes)、移動している被写体を撮像装置1が固定された状態で撮影していると判別し、被写体の検出をしやすくするために、検出範囲を拡大し、閾値を低くする追従設定がなされる(ステップS204)。
図5(A)から図5(D)に変化した場合は、被写体51の位置に移動はないが、木(背景)52の位置が移動している。よって、算出されるオプティカルフローは図6(C)のようになる。この場合、撮像装置1の移動は検出されるが、動きベクトルが分布していない領域が検出され、この領域が被写体推定領域である。つまり、撮像装置1の移動があり、且つ移動を検出しない被写体推定領域が検出された場合であり(ステップS201;Yes、ステップS205;Yes、ステップS206;Yes)、一定方向に移動する被写体を追って撮影していると判別し、被写体の位置がずれる可能性があるので検出範囲を拡大し、被写体の向きは変更しないと考えられるため、閾値は通常の閾値が追従設定される(ステップS207)。
図5(A)から図5(E)に変化した場合は、被写体51及び木(背景)52の位置が同じ方向に、同じ量だけ移動している。よって、算出されるオプティカルフローは図6(D)のようになる。つまり、撮像装置1の移動があり、且つ被写体推定領域がない場合は(ステップS201;Yes、ステップS205;No)、静止している被写体を撮像装置1を移動させながら撮影している場合(写真の構図を決めているような場合)であると判別し、通常の追従設定がなされる(ステップS208)。
図5(A)から図5(F)に変化した場合は、被写体51と木(背景)52とが異なる方向に変化している。よって、算出されるオプティカルフローは図6(E)のようになる。この場合、検出された撮像装置1の移動とは異なる量又は方向の動きベクトルが分布している領域が検出され、この領域が被写体推定領域である。つまり、撮像装置1の移動があり、且つ被写体推定領域が検出された場合であって、被写体推定領域が他の領域と異なるフローで移動している領域の場合は(ステップS201;Yes、ステップS205;Yes、ステップS206;No)、移動している被写体を追って撮影しているが、不規則に移動する被写体を追いきれていない場合であると判別し、被写体を検出しやすくするために、検出範囲を拡大し、閾値を低くする追従設定がなされる(ステップS204)。この場合、より被写体を検出しやすくするため、検出範囲を図5(C)や(D)の場合の設定より広くしてもよい。
以上のような設定により、好適に被写体を検出し追従することができる。
追従設定処理を終えると、図3に戻り、制御部16は、該設定された検出範囲及び検出閾値で被写体追従処理を行う(ステップS107)。
そしてステップS108では、制御部16は、ステップS103又はステップS107において検出した小画像領域をフォーカスする領域として設定するとともに、この領域についてAF(オートフォーカス)処理、AE(自動露出調整)処理、及び、AWB(オートホワイトバランス)処理を含む撮像前処理を行い、検出した被写体領域に枠を付加して、フレーム画像を表示部6にライブビュー表示させる。また、該検出した被写体領域の画像を新たなテンプレート画像として更新し、上記動作を繰り返すことにより、連続して撮像される各フレーム画像に対して、どの位置に被写体が移動しているのかを順次検出(追従)していく。
以上のように、この実施の形態の撮像装置1によれば、撮像する画像内の被写体、及び/又は、撮像装置1(の向き)の移動を検出することで、撮影状況に適した被写体追従処理を行うことができる。
なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。
例えば、図3のステップS105にて被写体推定領域として複数の領域が検出されたときは、前回のフレーム画像で被写体を検出した領域内にある、又は当該領域に近い方の領域を被写体推定領域として決定するようにしてもよい。
また、図3のステップS107における被写体追従処理で被写体を追従できなかった場合は、S105で検出された被写体推定領域における検出用閾値を低くして、再度、被写体追従処理を行うようにしてもよい。
また、上述したオプティカルフローは、手ぶれに起因する動きベクトルを考慮して算出するようにしてもよい。つまり、算出したオプティカルフローから手ブレ検出部17から検出された手ぶれに起因する動きベクトルを差し引いたオプティカルフローに基づいて撮像装置の移動を検出するようにしてもよい。
また、撮像装置1の制御部16が実行するプログラムはプログラムメモリ14に予め記憶されているものとして説明したが、外部の記憶媒体から取得したものであってもよいし、ネットワークを介して伝送されたものを記憶したものであってもよい。
1…撮像装置、2…撮像レンズ、3…シャッターキー、4…ファンクションキー、5…カーソルキー、6…表示部、7…駆動制御部、8…撮像部、9…ユニット回路、10…画像処理部、11…符号化/復号化処理部、12…プレビューエンジン、13…画像記録部、14…プログラムメモリ、15…RAM、16…制御部、17…手ぶれ検出部、18…バスライン

Claims (9)

  1. 撮像手段と、
    前記撮像手段により順次撮像される画像間の変化を検出する変化検出手段と、
    この前記変化検出手段によって検出された画像間の変化に基づいて、前記画像間の撮像画角の変化を判別し、この判別された前記撮像画角の変化とは異なる変化が存在する領域又は変化が存在しない領域を前記被写体領域として検出する被写体検出手段と、
    前記変化検出手段による検出結果と前記被写体検出手段による検出結果とに基づいて撮影状況を判定する判定手段と、
    前記判定手段による判定結果に基づいて、前記撮像手段によって撮像される画像に含まれる被写体領域の追従を制御する制御手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記制御手段は、前記判定手段による判定結果に基づいて、前記画像における被写体領域を追従すべき範囲を変更することを特徴とする請求項1に記載の撮像装置。
  3. 予め前記撮像手段により撮像された画像から検出された被写体のテンプレート画像と所定の閾値以上で一致する画像領域を、追従すべき被写体に対応する被写体領域として特定する特定手段を更に備えるともに、
    前記制御手段は、前記判定手段による判定結果に基づいて、前記所定の閾値の値を変更する変更手段を含むことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記制御手段は、前記判定手段による判定結果に基づいて、前記所定の閾値の値を、その直前に設定されていた閾値の値よりも低い値に変更することを特徴とする請求項3に記載の撮像装置。
  5. 前記被写体検出手段は、複数の領域を被写体領域として検出したか否かを判断するとともに、複数の領域について検出したと判断すると、これらの複数の領域のうち、直近に追従した被写体領域に最も近い領域で検出された被写体領域を、追従すべき被写体領域として検出することを特徴とする請求項1〜4の何れか1項に記載の撮像装置。
  6. 前記撮像手段によって対し順次撮像される画像間の動きベクトルのベクトル分布を算出する算出手段を更に備えるとともに、
    前記変化検出手段は、前記算出手段によって算出されたベクトル分布に基づいて、前記画像間の変化を検出し、
    前記被写体検出手段は、前記算出手段によって算出されたベクトル分布と、前記変化検出手段によって検出された前記画像間の変化とに基づいて前記被写体領域を検出することを特徴とする請求項1〜4の何れか1項に記載の撮像装置。
  7. 前記算出手段は、前記順次撮像される画像間の動きベクトルから手ぶれに起因する動きベクトルを差し引いてベクトル分布を算出することを特徴とする請求項に記載の撮像装置。
  8. 撮像部にて順次撮像する撮像ステップと、
    前記撮像ステップにより順次撮像される画像間の変化を検出する変化検出ステップと、
    この前記変化検出ステップによって検出された画像間の変化に基づいて、前記画像間の撮像画角の変化を判別し、この判別された前記撮像画角の変化とは異なる変化が存在する領域又は変化が存在しない領域を前記被写体領域として検出する被写体検出ステップと、
    前記変化検出ステップによる検出結果と前記被写体検出ステップによる検出結果とに基づいて撮影状況を判定する判定ステップと、
    この判定ステップによる判定結果に基づいて、撮像される画像に含まれる被写体領域の追従を制御する制御ステップと、
    を含むことを特徴とする被写体追従方法。
  9. 撮像装置が有するコンピュータを、
    順次撮像される画像間の変化を検出する変化検出手段、
    この前記変化検出手段によって検出された画像間の変化に基づいて、前記画像間の撮像画角の変化を判別し、この判別された前記撮像画角の変化とは異なる変化が存在する領域又は変化が存在しない領域を前記被写体領域として検出する被写体検出手段、
    前記変化検出手段による検出結果と前記被写体検出手段による検出結果とに基づいて撮影状況を判定する判定手段、
    前記判定手段による判定結果に基づいて、前記撮像手段によって撮像される画像に含まれる被写体領域の追従を制御する制御手段、
    として機能させることを特徴とするプログラム。
JP2009013439A 2009-01-23 2009-01-23 撮像装置、被写体追従方法、及びプログラム Expired - Fee Related JP4760918B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2009013439A JP4760918B2 (ja) 2009-01-23 2009-01-23 撮像装置、被写体追従方法、及びプログラム
KR1020100004682A KR20100086943A (ko) 2009-01-23 2010-01-19 촬상 장치, 피사체 추종 방법 및 기록 매체
US12/690,209 US20100188511A1 (en) 2009-01-23 2010-01-20 Imaging apparatus, subject tracking method and storage medium
CN2010101753166A CN101867725B (zh) 2009-01-23 2010-01-21 摄像装置和拍摄对象跟踪方法
EP10151353.9A EP2211306B1 (en) 2009-01-23 2010-01-22 Imaging apparatus, subject tracking method and storage medium
TW099101709A TWI419552B (zh) 2009-01-23 2010-01-22 攝影裝置、被攝體追蹤方法及記錄媒體
KR1020120092860A KR101290611B1 (ko) 2009-01-23 2012-08-24 촬상 장치, 피사체 추종 방법 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009013439A JP4760918B2 (ja) 2009-01-23 2009-01-23 撮像装置、被写体追従方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2010171815A JP2010171815A (ja) 2010-08-05
JP2010171815A5 JP2010171815A5 (ja) 2010-09-16
JP4760918B2 true JP4760918B2 (ja) 2011-08-31

Family

ID=42097182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009013439A Expired - Fee Related JP4760918B2 (ja) 2009-01-23 2009-01-23 撮像装置、被写体追従方法、及びプログラム

Country Status (6)

Country Link
US (1) US20100188511A1 (ja)
EP (1) EP2211306B1 (ja)
JP (1) JP4760918B2 (ja)
KR (2) KR20100086943A (ja)
CN (1) CN101867725B (ja)
TW (1) TWI419552B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US9007429B2 (en) * 2011-04-06 2015-04-14 Casio Computer Co., Ltd. Image processing device capable of generating wide-range image
KR101223528B1 (ko) * 2011-04-25 2013-01-21 한국과학기술원 협업 방식의 감시카메라 시스템 구동방법, 시스템 및 이를 위한 카메라
JP6071173B2 (ja) * 2011-05-23 2017-02-01 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5800600B2 (ja) * 2011-06-24 2015-10-28 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
JP5945425B2 (ja) * 2012-02-02 2016-07-05 オリンパス株式会社 撮像装置及びその撮像方法
JP6181925B2 (ja) 2012-12-12 2017-08-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US9154686B2 (en) * 2013-09-25 2015-10-06 Google Technology Holdings LLC Close focus with GPU
JP6493746B2 (ja) * 2015-04-08 2019-04-03 リコーイメージング株式会社 画像追尾装置及び画像追尾方法
JP6587006B2 (ja) * 2018-03-14 2019-10-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム
TWI697914B (zh) * 2018-11-29 2020-07-01 宏碁股份有限公司 監測系統及其方法
CN115278043A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 一种目标追踪方法及相关装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2956056B2 (ja) * 1988-10-27 1999-10-04 キヤノン株式会社 追尾制御方法及び装置並びにぶれ補正方法及び装置
JPH03149512A (ja) * 1989-11-07 1991-06-26 Sony Corp フォーカス制御回路
JP2698827B2 (ja) * 1993-11-05 1998-01-19 カシオ計算機株式会社 バンプ電極を備えた半導体装置の製造方法
JP3268953B2 (ja) * 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
JP3644668B2 (ja) 1999-09-03 2005-05-11 三菱電機株式会社 画像監視装置
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US20040218787A1 (en) * 2002-04-17 2004-11-04 Tomohisa Tagami Motion detector, image processing system, motion detecting method, program, and recordig medium
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US7400344B2 (en) * 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
US7660439B1 (en) * 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
CN100541535C (zh) * 2004-01-06 2009-09-16 索尼株式会社 图像处理设备和方法
KR101108634B1 (ko) * 2004-01-06 2012-01-31 소니 주식회사 화상 처리 장치 및 화상 처리 방법 및 기록 매체
CN101344923B (zh) * 2004-08-03 2012-05-23 松下电器产业株式会社 人物搜索跟踪装置
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP4241742B2 (ja) * 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
CN101375590B (zh) * 2006-02-15 2010-12-22 松下电器产业株式会社 摄影装置以及摄影方法
JP4961850B2 (ja) * 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
JP4935380B2 (ja) * 2007-01-29 2012-05-23 株式会社ニコン 画像追尾装置および撮像装置
EP3683768B1 (en) 2007-05-03 2023-06-28 Sony Group Corporation Method and system for initializing templates of moving objects
JP4315215B2 (ja) * 2007-05-18 2009-08-19 カシオ計算機株式会社 撮像装置、及び顔検出方法、顔検出制御プログラム

Also Published As

Publication number Publication date
TW201032585A (en) 2010-09-01
KR20120114191A (ko) 2012-10-16
KR101290611B1 (ko) 2013-07-29
JP2010171815A (ja) 2010-08-05
TWI419552B (zh) 2013-12-11
KR20100086943A (ko) 2010-08-02
US20100188511A1 (en) 2010-07-29
CN101867725B (zh) 2013-06-05
CN101867725A (zh) 2010-10-20
EP2211306B1 (en) 2017-07-26
EP2211306A1 (en) 2010-07-28

Similar Documents

Publication Publication Date Title
JP4760918B2 (ja) 撮像装置、被写体追従方法、及びプログラム
JP4761146B2 (ja) 撮像装置及びそのプログラム
US8724981B2 (en) Imaging apparatus, focus position detecting method, and computer program product
JP4780205B2 (ja) 撮像装置、画角調節方法、及び、プログラム
JP6512907B2 (ja) シフト素子制御装置、シフト素子制御プログラムおよび光学機器
JP5115210B2 (ja) 撮像装置
JP2011039344A (ja) 撮像装置および方法
JP4645413B2 (ja) 撮像装置
JP6188474B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP5217451B2 (ja) 撮像装置
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP2009081530A (ja) 撮像装置、及び撮影方法
JP4991899B2 (ja) 撮像装置及びその制御方法
JP5858658B2 (ja) 撮像装置
JP2010049148A (ja) 画像認識装置及び撮像装置
JP2008206021A (ja) 撮像装置及びレンズ鏡筒
JP4989243B2 (ja) 撮像装置及びその被写体検出方法
JP6330283B2 (ja) 被写体追尾装置、撮像装置及び被写体追尾プログラム
JP4239954B2 (ja) カメラ装置及び合焦領域制御プログラム
JP5449448B2 (ja) 撮像装置及びその制御方法
JP5157528B2 (ja) 撮影装置
JP6234103B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP5610889B2 (ja) 焦点調節装置及び方法
JP2015040939A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4760918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees