JP6504899B2 - 制御装置、光学機器、撮像装置および制御方法 - Google Patents

制御装置、光学機器、撮像装置および制御方法 Download PDF

Info

Publication number
JP6504899B2
JP6504899B2 JP2015086886A JP2015086886A JP6504899B2 JP 6504899 B2 JP6504899 B2 JP 6504899B2 JP 2015086886 A JP2015086886 A JP 2015086886A JP 2015086886 A JP2015086886 A JP 2015086886A JP 6504899 B2 JP6504899 B2 JP 6504899B2
Authority
JP
Japan
Prior art keywords
subject
image
tracking
reliability
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015086886A
Other languages
English (en)
Other versions
JP2016208230A (ja
JP2016208230A5 (ja
Inventor
伸茂 若松
伸茂 若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015086886A priority Critical patent/JP6504899B2/ja
Priority to US15/099,810 priority patent/US9692962B2/en
Priority to CN201610245439.XA priority patent/CN106067943B/zh
Publication of JP2016208230A publication Critical patent/JP2016208230A/ja
Publication of JP2016208230A5 publication Critical patent/JP2016208230A5/ja
Application granted granted Critical
Publication of JP6504899B2 publication Critical patent/JP6504899B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、制御装置、光学機器、撮像装置および制御方法に関する。
デジタルカメラ等の撮像装置では、露出決定やピント合わせといった、撮影上の重要な作業が全自動化されている。また、手振れ等による像ブレを防ぐ防振制御装置を搭載した撮像装置では、撮影者の撮影ミスを誘発する要因は殆どなくなっている。また、被写体に含まれる人物の顔や人体を検出する顔検出機能や人体検出機能を有する撮像装置が提案されている。このような撮像装置では、例えば人物の顔と判断するパターンが予め定められており、画像内に含まれる該パターンに一致する箇所を、人物の顔として検出することができる。検出された人物の顔は、例えば合焦制御や露出制御において参照される。
しかし、被写体が移動している状態での撮影や、焦点距離が大きくなる望遠での撮影において、以下の問題がある。被写体が移動して撮影画像内から外れてしまう場合に、動き続ける被写体を撮影者の操作によって精度良く追尾するには、撮影者の特別な技術が必要である。また、焦点距離が大きくなる望遠レンズを有するカメラで撮影を行う場合、手振れによる像ブレ影響が大きくなるので、主被写体を撮影画像中心に保持することが難しい。撮影者が撮影画像内に被写体を戻そうとカメラを操作しても、撮影者が意図して操作した手ぶれ量もブレ補正してしまうため、防振制御の影響により被写体を撮影画像内や撮影画像中心に微調整する操作が難しい。
特許文献1は、光軸と交差させる方向に光学系の一部を移動することによって、自動的に被写体を追尾する撮像装置を開示している。また、特許文献2は、撮影信号から目的の被写体を抽出して被写体の重心位置を出力し、被写体の重心位置が撮影画像の中心付近に出力されるように、回転雲台などで被写体を追尾する撮像装置を開示している。
特開2010−93362号公報 特開平7−226873号公報
特許文献2が開示する撮像装置のように、被写体の重心位置を撮影画像の特定位置に保持するように被写体追尾を行うと、以下の問題がある。撮影画像の中に顔、人物などの被写体が複数存在する場合、撮像装置は、1つの特定被写体のみを選択してその被写体の重心位置が撮影画像中心に保持するように制御する。したがって、撮影画像の中の他の複数の顔、人物は画像から外れてしまい、撮影者の意図にかかわらず強制的に特定被写体が撮影画像の特定位置に保持するように自動追尾されてしまう。
本発明は、撮影画像に存在する複数の被写体が撮影画像内にできるだけ収まるような被写体追尾を実現できる装置の提供を目的とする。
本発明の一実施形態の制御装置は、撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾制御する制御装置である。前記制御装置は、前記撮影画像から検出される複数の被写体に対応する一つの重心位置を演算する重心演算手段と、前記演算される重心位置が前記撮影画像の特定位置に位置するように前記可動手段を駆動制御する制御手段と、前記制御装置に加わる振れを示す振れ検出信号に基づいて、撮影者の被写体追尾操作を検出する検出手段と、前記検出された被写体追尾操作に応じて前記被写体の信頼度を変更する変更手段と、を備える。前記重心演算手段は、前記検出される被写体の数と、各被写体の重心位置と、各被写体の信頼度とに基づいて、前記複数の被写体に対応する一つの重心位置を演算する。
本発明の制御装置によれば、撮影画像に存在する複数の被写体が撮影画像内にできるだけ収まるような被写体追尾を実現できる。
本実施形態の撮像装置を模式的に示す図である。 撮像装置の構成を示す図である。 検出された被写体の追尾制御を説明する図である。 追尾量算出部の機能ブロック図の一例である。 撮像装置が一つの主被写体を追尾制御する例を説明する図である。 実施例1の撮像装置が実行する追尾制御を説明する図である。 被写体の追尾制御の例を説明するフローチャートである。 実施例2の撮像装置が実行する追尾制御を説明する図である。
(実施例1)
図1は、本実施形態の撮像装置を模式的に示す図である。また、図2は、撮像装置の構成を示す図である。
カメラ101の本体には、レリーズボタン104が設けられている。レリーズボタン104の操作によるスイッチの開閉信号が、CPU105に送られる。CPU105は、本実施形態の制御装置として機能する。なお、本発明は、このCPU105を備える任意の光学機器にも適用可能である。撮像光学系の光軸102上には、補正レンズ114と撮像素子106とが位置する。角速度計103は、矢印103p(ピッチ)、103y(ヨー)回りの角度振れを検出する角速度検出手段である。角速度計103の出力は、CPU105に入力される。振れ補正角度算出部108は、角速度計103の出力に基づいて、振れ補正角度を演算する。具体的には、振れ補正角度算出部108は、角速度計103の出力に対して、角速度計103に検出ノイズとして付加されるDC成分をカットした後、積分処理を実行して角度信号を出力する。DC成分のカットには、例えばHPF(ハイパスフィルタまたは高域透過フィルタ)が用いられる。振れ補正角度算出部108の出力は、敏感度調整部109に入力される。
敏感度調整部109は、ズーム、フォーカスの位置情報107と、これらにより求まる焦点距離や撮影倍率に基づいて、振れ補正角度算出部108の出力を増幅し、振れ補正目標値にする。ズーム、フォーカスの位置情報107に基づいて振れ補正目標値を求めるのは、レンズのフォーカスやズームなどの光学情報の変化により補正レンズ114の振れ補正ストロークに対するカメラ像面での振れ補正敏感度が変化するからである。敏感度調整部109は、振れ補正目標値を振れ補正量として駆動制御部113に出力する。
補正レンズ114は、撮影画像における被写体をシフト移動させる可動手段として機能する。駆動制御部113は、補正レンズ114を駆動制御して、被写体の追尾制御を実行する。また、駆動制御部113は、補正レンズ114を光軸と異なる方向に駆動することで像ブレ補正(光学防振)を実行する。図2に示す例では、補正レンズ114を用いた光学防振が採用されるが、像ブレ補正方法として、撮像素子を光軸に垂直な面内で移動させることで像ブレを行う方法を適用してもよい。また、撮像素子が出力する各撮影フレームの切り出し位置を変更することで、振れの影響を軽減させる電子防振を適用してもよい。また、複数の像ブレ補正方法を組み合わせてもよい。
次に、補正レンズ114を用いた被写体追尾の制御方法について説明する。図2に示す被写体位置検出部110は、撮影画像内の被写体の位置(被写体位置)を検出する。追尾量算出部111は、検出された被写体位置情報に基づいて、補正レンズ114で被写体を追尾するために用いる制御量である追尾補正量を算出する。加算器112は、敏感度調整部109が出力する振れ補正量と追尾量算出部111が出力する追尾補正量とを加算して駆動制御部113に対して出力する。駆動制御部113は、加算器112からの出力に基づいて、補正レンズ114の駆動量を算出し、この駆動量に基づいて補正レンズ114を駆動することで、被写体の追尾と像ブレ補正とを実行する。
次に、被写体位置検出部110での被写体位置検出方法について説明する。撮像素子106は、被写体からの反射光を電気信号に変換することで画像情報を得る。画像情報は、デジタル信号に変換される。デジタル信号に変換された画像情報は、被写体位置検出部110に送られる。
撮影画像内に捉えられている被写体のうち、主被写体を自動的に認識する方法としては以下の方法がある。1つ目の方法は、人物を検出する方法である。被写体位置検出部110は、撮影画像中の被写体として顔、人体を検出する。顔検出処理では、人物の顔と判断するパターンが予め定められており、画像内に含まれる該パターンに一致する箇所を、人物の顔として検出することができる。また、人体の検出についても、予め定められたパターンとの一致度に基づいて検出される。被写体位置検出部110は、検出された各被写体について、被写体(顔)としての確からしさを示す信頼度を算出する。信頼度は、例えば、画像内における顔領域の大きさや、顔パターンとの一致度合いから算出される。すなわち、被写体位置検出部110は、撮影画像内における被写体の大きさ、または当該被写体と予め記憶された被写体のパターンとの一致度に基づいて当該被写体の信頼度を演算する信頼度演算手段として機能する。
他の主被写体検出の方法として、撮影画像内に捉えられている被写体を撮像された画像内の色相や彩度等のヒストグラムから導入される分布を区間に分け、当該区間毎に撮像された画像を分類することで得られるそれぞれの領域を被写体として認識してもよい。例えば、撮像された画像について作成された複数の色成分のヒストグラムを山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域に撮像された画像を分類することで被写体を認識する。認識された被写体毎に評価値を算出することで、当該評価値が最も高い被写体を主被写体として判定することができる。主被写体が決定された後は、主被写体領域の、例えば色相分布や大きさ等の特徴量を用いて、以降に順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾することができる。検出された被写体の位置情報は、追尾量算出部111に入力され、追尾量算出部111が、追尾補正量を演算する。被写体が1つの場合、追尾量算出部111は、被写体の重心位置が画像中心付近に位置するように追尾補正量を演算する。被写体が複数の場合、追尾量算出部111は、複数の被写体に対応する1つの重心位置を求め、求めた重心位置が画像中心付近に位置するように追尾補正量を演算する。
図3は、検出された被写体の追尾制御を説明する図である。
図3(A)は、被写体の追尾制御開始前の撮影画像301aを示す。図3(B)は、被写体の追尾制御開始後の撮影画像301bを示す。図3(A)の撮影画像301aにおいて、被写体302aは、画像中心304から離れた位置にある。303aは、被写体302aの重心位置(被写体重心位置)を示す。CPU105が、被写体重心位置303aの画像中心304までの距離を追尾制御により徐々に近づけていき、最終的には画像中心304と被写体重心位置がほぼ一致するように追尾制御を行う。図3(B)に示すように、追尾が成功した被写体302bの被写体重心位置303aは、画像中心304と一致する。
図4は、追尾量算出部の機能ブロック図の一例である。
追尾量算出部111は、画像縦方向、横方向の各軸にて個々に追尾補正量を演算するが、ここでは片軸についてのみ説明する。
減算器403は、被写体位置検出部110が出力する被写体位置情報に基づき、被写体位置401の座標と画像中央位置402の座標とを減算する。これにより、画像中心位置と被写体の重心位置との画像上での距離(中心ズレ量)が算出され、算出された中心ズレ量は画像中心を0とした符号付きのデータになる。減算器403の出力は、カウント値テーブル404に入力され、被写体重心位置と画像中心との差分の距離の大きさに基づいて、追尾のためのカウント値が演算される。カウント値は、制御サンプリング毎に演算される。ここで、中心ズレ量が所定閾値A以下または所定閾値−A以上の場合、カウント値を0に設定することで、中心から所定範囲内では追尾をしない不感帯領域を設けている。また、カウント値テーブル404では、中心ズレ量が大きくなるとカウント値が大きくなる。カウント値の符号は、中心ズレ量の符号に合わせて演算される。
カウント値テーブル404の出力は、信号選択部406に入力される。信号選択部406には、ダウンカウント値405の出力と、追尾スイッチ407の状態も入力される。追尾スイッチがオンされている場合は、信号選択部406は、カウント値テーブル404の出力を選択し、加算器408に出力する。追尾スイッチがオフされている場合は、信号選択部406は、ダウンカウント値405の出力を選択し、加算器408に出力する。
ダウンカウント値出力部405は、ダウンカウント値を出力する。ダウンカウント値出力部405には、後処理で演算される追尾量前回サンプリング値410も入力されている。追尾量前回サンプリング値410は、前回サンプリングまでの追尾補正量である。追尾量前回サンプリング値410がプラスの符号である場合は、ダウンカウント値出力部405は、ダウンカウント値をマイナスに設定する。追尾量前回サンプリング値410がマイナスの符号である場合は、ダウンカウント値出力部405は、ダウンカウント値をプラスに設定し、追尾補正量の絶対値が小さくなるようにする。また、追尾量前回サンプリング値410が0±所定範囲以内である場合は、ダウンカウント値出力部405は、ダウンカウント値を0に設定する。
加算器408は、選択部406の出力と追尾量前回サンプリング値410とを加算する。加算器408の出力は、上下限値設定部409に入力される。上下限値設定部409は、追尾補正量を、所定上限値以上、所定下限値以下にならないように設定する。上下限値設定部409の出力はLPF(ローパスフィルタまたは低域透過フィルタ)411に入力される。上下限値設定部409の出力は、LPF411によって被写体検出の高周波ノイズがカットされ、補正レンズ量変換部412に出力する。補正レンズ量変換部412は、LPF411の出力を、補正レンズ114で被写体追尾するための信号に変換する。これにより、最終的な追尾補正量が演算される。以上の処理によって得られた追尾補正量に基づいて補正レンズ114が駆動されることで、徐々に被写体の重心位置が画像中心付近に位置するように追尾補正される。
図5は、撮像装置が一つの主被写体を追尾制御する例を説明する図である。
撮影画像の中には、複数の被写体が存在している。図5に示す例では、撮像装置は、撮影画像から検出した主被写体(顔)の重心位置を撮影画像の中心位置に遷移させるように追尾制御を行う。図5(A)は、追尾制御開始前の画像を示す。図5(B)は、追尾制御開始後被写体を画像中心付近に捉えたときの画像を示す。
撮影画像501aで、主被写体502aは、画像中心から離れた点に位置している。CPU105は、被写体重心位置503aと画像中心までの距離を追尾制御により徐々に近づけていき、最終的には画像中心と被写体重心位置がほぼ一致するように追尾制御を行う。追尾が成功した画像501bにおいては、被写体重心位置503aが画像中心と一致する。しかし、追尾制御開始前の撮影画像501aにおいて、複数の顔が存在する場合、主被写体と認識された502aを画像中心に追尾制御してしまうと、他の被写体504aの位置は無視される。したがって、主被写体を中心に捉えた場合の撮影画像502bにおいて、他の被写体504bが撮影画像から外れてしまう。
しかし、撮影者が、被写体502aの顔を中心に追尾してほしいとは限らない。撮影者は他の顔を主被写体として撮影したい可能性もあるので、図5(A),(B)を参照して説明した追尾制御では、撮影者の意図しない画像が得られることがある。また、撮影者が、撮りたい被写体を画像内に戻そうとカメラを振ってフレーミングしても、撮像装置は、追尾制御を認識した被写体502aを画像中心に保持しようとしてしまい、フレーミング動作にも影響を与えてしまう。
そこで、実施例1の撮像装置は、複数の被写体が撮影画像内に存在する場合、それぞれの被写体の重心位置と信頼度とに基づいて、複数の被写体に対応する1つの重心位置を追尾目標位置として演算する。そして、撮像装置が備える駆動制御部113(図2)が、演算された追尾目標位置が特定位置(この例では画像中心付近)に位置するように追尾制御を行う。これにより、複数の被写体(顔、人物)が撮影画像内に存在する場合、特定被写体を間違えて、撮影者が本来撮影した被写体が画面から外れてしまわないようにすることができる。
図6は、実施例1の撮像装置が実行する追尾制御を説明する図である。
図6(A)は、追尾制御開始前の画像を示す。図6(B)は、追尾制御開始後の画像を示す。
撮影画像601a内には、複数の被写体(被写体602a、604a)が存在する。撮像装置が備える追尾量算出部111(図2)は、検出した顔の数nと、各顔の重心座標位置bと、各顔の信頼度aに基づいて、式(1)により、複数の被写体に対応する一つの重心位置を演算する重心演算手段として機能する。
Figure 0006504899
nは検出した顔の数である。bは各顔の重心座標位置である。aは各顔の信頼度である。yは複数の被写体に対応する一つの重心位置である。本実施例では、追尾量算出部111は、信頼度が高い顔の重みを大きくすることで、演算される重心位置が信頼度が高い顔に近くなるようにする。
図6(A)の撮影画像601aにおいて、603aが、複数の被写体に対応する重心位置を示す。
撮像装置は、図6(B)の撮影画像602bに示すように、画像中心位置に重心位置yが遷移するように追尾制御を実行する。この例では、顔の大きさから被写体602aのほうが他の被写体604aよりも信頼度が高い。したがって、単純に画像に存在する顔位置の中心位置に重心位置yが演算されるのではなく、式(1)により、演算される重心位置yは、被写体602b寄りの位置となる。しかし、被写体604bが撮影画像から外れてしまうことをできるだけ防止することができる。
図7は、被写体の追尾制御の例を説明するフローチャートである。
図7に示す追尾制御は、カメラ101の主電源オンでスタートされ、一定のサンプリング周期で実行される。
まず、ステップS701において、CPU105が、防振SWがONであるかを判断する。防振SWがOFFである場合は、処理がS705に進み、CPU105は、振れ補正量を0とする。そして、処理がステップS706に進む。防振SWがONである場合は、処理がS702に進む。
ステップS702において、CPU105が、角速度計103の出力の取り込みを行う。ステップS703において、CPU105が、カメラが振れ補正が可能な状態であるか否かを判断する。具体的には、CPU105は、カメラが電源の供給から角速度計103の出力が安定するまでの状態である場合は、振れ補正が可能な状態でないと判断する。CPU105は、カメラが角速度計103の出力が安定した後の状態である場合は、振れ補正が可能な状態であると判断する。これにより、電源を供給直後の出力値が不安定な状態で振れ補正を行わないようにすることができる。カメラが振れ補正が可能な状態でない場合は、処理がステップS705に進む。カメラが振れ補正が可能な状態である場合は、処理がステップS704に進む。
ステップS704において、CPU105が、振れ補正角度算出部108と敏感度調整部109とにより、ステップS702で取り込んだ角速度計の出力に基づき振れ補正量を算出する。続いて、ステップS706において、CPU105が、追尾SWがONであるかを判断する。追尾SWがOFFである場合は、処理がステップS713に進む。そして、ステップS713において、CPU105が、追尾補正量を0に設定して、処理がステップS714に進む。追尾SWがONである場合は、処理がステップS707に進む。
ステップS707において、CPU105が、撮像素子106で取り込んだ画像信号から、追尾対象となる被写体が存在するか否かを判断する。追尾対象となる被写体が存在しない場合は、処理がS713に進む。追尾対象となる被写体が存在する場合は、処理がステップ708に進む。
ステップS707において、CPU105が、被写体の数を検出する。続いて、ステップS709において、CPU105が、各被写体の重心位置を検出する。ステップS710において、CPU105が、各被写体の信頼度を検出する。
次に、ステップS711において、CPU105が、ステップS708乃至S710において検出した被写体の数と、各被写体の重心位置と、各被写体の信頼度とに基づいて、式(1)を用いて被写体重心位置を算出する。続いて、ステップS712において、CPU105が、追尾量算出部111によって、被写体重心位置に基づき追尾補正量を算出する。
次に、ステップS714において、CPU105が、ステップS704で算出された振れ補正量と、ステップS712で算出された追尾補正量とを加算して、レンズ駆動量を算出する。続いて、ステップS715において、CPU105が、駆動制御部113によって、レンズ駆動量に基づき補正レンズ114を駆動する。これにより、像ブレ補正と被写体追尾が行われる。そして、処理がステップS716に進んで振れ補正ルーチンが終了し、次回サンプリング周期まで待ち状態となる。
実施例1の制御装置は、撮像画像内の複数の被写体の位置と各被写体の信頼度とから複数の被写体に対応する一つの重心位置を算出し、この重心位置に基づいて、自動追尾制御を行う。これにより、特定被写体のみの追尾により他被写体が画面から外れてしまい、撮影者が意図しない自動追尾動作をしてしまうことを防ぐことができる。
本実施例では、振れ補正手段として補正レンズを用いて、光軸に垂直な面内で移動させる、いわゆる光学防振を適用する。しかし、本発明は、光学防振に限らず、以下の構成を適用することもできる。
(1)撮像素子を光軸に垂直な面内で移動させる被写体追尾装置の構成
(2)撮像素子が出力する各撮影フレームの切り出し位置を変更する被写体追尾装置の構成
(3)撮像素子と撮影レンズ群を含む鏡筒を回転駆動する被写体追尾装置の構成
(4)撮像装置とは別に設けた撮像装置をパン・チルトできる回転雲台を組み合わせた被写体追尾装置の構成
(5)上記複数の被写体追尾装置を組み合わせた構成
(実施例2)
図8は、実施例2の撮像装置が実行する追尾制御を説明する図である。
実施例1と同様に、撮像装置は、検出した顔の数nと、各顔の重心座標位置bと、各顔の信頼度aに基づいて、式(1)により、複数の被写体に対応する一つの重心位置を演算する。そして、撮像装置は、重心位置が画像中心に維持されるように追尾制御を行う。実施例2では、CPU105が、角速度計103の出力すなわち撮像装置に加わる振れを示す振れ検出信号に基づいて、撮影者のカメラ振り動作(被写体追尾操作)を検出する。CPU105は、検出したカメラ振れ動作に基づいて、撮影者が狙っている被写体を推定し、その被写体の信頼度を高く設定して、重心位置を再演算する。そして、再演算された重心位置が画像中心に維持されるように追尾制御を行う。
図8(A)中の撮影画像801aにおいては、2つの被写体(802a、803a)に対応する重心位置804aが画像中心に維持されるように追尾制御が行われている。この状態で、撮影者が、被写体803aを画像中心に戻すようにカメラを動かすと、矢印805aに示す方向のカメラ振れが生じる。撮像装置は、このカメラ振れを検出して、その検出結果に基づいて、撮影者が狙っている被写体は被写体803aであると推定する。そして、撮像装置は、被写体803aの信頼度を高く設定し、重心位置を再演算する。すなわち、撮像装置は、カメラ振れの方向に位置する被写体803aの信頼度を高くし、カメラ振れの方向と反対方向もしくは中心近傍にある被写体802aの信頼度を低く設定し直して、重心位置を再演算する。撮像装置は、再演算された重心位置が画像中心に維持されるように追尾制御を行う。
図8(B)中の撮影画像801bにおいては、再演算された重心位置804bが画像中心に維持されるように追尾制御が行われている。この状態で、撮影者が被写体803bをさらに画像中心に戻そうとしてカメラを動かすと、矢印805aに示す方向のカメラ振れが生じる。撮像装置は、カメラ振り方向に位置する被写体803bの信頼性を更に高くし、被写体802bの信頼性を更に低く設定し直す。新たに設定し直した信頼性に基づいて重心位置が再演算され、この重心位置が画像中心に維持されるように追尾制御が行われる。図8(C)中の撮影画像801cにおいては、再演算された重心位置804cが画像中心に維持されるように追尾制御が行われている。実施例2の撮像装置によれば、撮影者が意図しない自動追尾制御を行うことを防止できる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 カメラ
105 CPU
106 撮像素子
114 振れ補正レンズ

Claims (9)

  1. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾制御する制御装置であって、
    前記撮影画像から検出される複数の被写体に対応する一つの重心位置を演算する重心演算手段と、
    前記演算される重心位置が前記撮影画像の特定位置に位置するように前記可動手段を駆動制御する制御手段と
    前記制御装置に加わる振れを示す振れ検出信号に基づいて、撮影者の被写体追尾操作を検出する検出手段と、
    前記検出された被写体追尾操作に応じて前記被写体の信頼度を変更する変更手段と、を備え、
    前記重心演算手段は、前記検出される被写体の数と、各被写体の重心位置と、各被写体の信頼度とに基づいて、前記複数の被写体に対応する一つの重心位置を演算する
    ことを特徴とする制御装置。
  2. 前記重心演算手段は、前記信頼度が高い被写体の重みを大きくすることで、前記演算される重心位置が前記信頼度が高い被写体に近くなるようにする
    ことを特徴とする請求項に記載の制御装置。
  3. 前記変更手段は、前記被写体追尾操作が検出されたときの前記振れの方向にある被写体の信頼度を高くする
    ことを特徴とする請求項1または請求項2に記載の制御装置。
  4. 前記変更手段は、前記被写体追尾操作が検出されたときの前記振れの方向と反対方向にある被写体または前記撮影画像の中心近傍にある被写体の信頼度を低くする
    ことを特徴とする請求項1乃至3のいずれか1項に記載の制御装置。
  5. 前記被写体は、人物の顔または人体である
    ことを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
  6. 前記撮影画像内における被写体の大きさ、または当該被写体と予め記憶された被写体のパターンとの一致度に基づいて当該被写体の信頼度を演算する信頼度演算手段を備える
    ことを特徴とする請求項1乃至のいずれか1項に記載の制御装置。
  7. 請求項1乃至のいずれか1項に記載の制御装置を備える光学機器。
  8. 請求項に記載の光学機器として機能する撮像装置。
  9. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾制御する制御方法であって、
    前記撮影画像から検出される複数の被写体に対応する一つの重心位置を演算する工程と、
    前記演算される重心位置が前記撮影画像の特定位置に位置するように前記可動手段を駆動制御する工程と
    前記可動手段を制御する装置に加わる振れを示す振れ検出信号に基づいて、撮影者の被写体追尾操作を検出する工程と、
    前記検出された被写体追尾操作に応じて前記被写体の信頼度を変更する工程と、を備え、
    前記重心位置を演算する工程にて、前記検出される被写体の数と、各被写体の重心位置と、各被写体の信頼度とに基づいて、前記複数の被写体に対応する一つの重心位置を演算する
    ことを特徴とする制御方法。
JP2015086886A 2015-04-21 2015-04-21 制御装置、光学機器、撮像装置および制御方法 Expired - Fee Related JP6504899B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015086886A JP6504899B2 (ja) 2015-04-21 2015-04-21 制御装置、光学機器、撮像装置および制御方法
US15/099,810 US9692962B2 (en) 2015-04-21 2016-04-15 Control device, optical apparatus, imaging apparatus, and control method
CN201610245439.XA CN106067943B (zh) 2015-04-21 2016-04-19 控制装置、光学设备、摄像设备和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015086886A JP6504899B2 (ja) 2015-04-21 2015-04-21 制御装置、光学機器、撮像装置および制御方法

Publications (3)

Publication Number Publication Date
JP2016208230A JP2016208230A (ja) 2016-12-08
JP2016208230A5 JP2016208230A5 (ja) 2018-05-31
JP6504899B2 true JP6504899B2 (ja) 2019-04-24

Family

ID=57148222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015086886A Expired - Fee Related JP6504899B2 (ja) 2015-04-21 2015-04-21 制御装置、光学機器、撮像装置および制御方法

Country Status (3)

Country Link
US (1) US9692962B2 (ja)
JP (1) JP6504899B2 (ja)
CN (1) CN106067943B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7113447B2 (ja) * 2018-03-12 2022-08-05 東芝エネルギーシステムズ株式会社 医用画像処理装置、治療システム、および医用画像処理プログラム
US11057558B2 (en) * 2018-12-27 2021-07-06 Microsoft Technology Licensing, Llc Using change of scene to trigger automatic image capture
US11265478B2 (en) * 2019-12-20 2022-03-01 Canon Kabushiki Kaisha Tracking apparatus and control method thereof, image capturing apparatus, and storage medium
CN111935453A (zh) * 2020-07-27 2020-11-13 浙江大华技术股份有限公司 一种学习监督方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07226873A (ja) 1994-02-16 1995-08-22 Hitachi Ltd 自動追尾撮像装置
JP2005110160A (ja) * 2003-10-02 2005-04-21 Konica Minolta Holdings Inc 撮像装置
JP2008061184A (ja) * 2006-09-04 2008-03-13 Sony Corp 画像処理装置および方法、プログラム、並びに撮像装置
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP2010093362A (ja) 2008-10-03 2010-04-22 Nikon Corp 撮像装置および光学装置
JP6178987B2 (ja) * 2014-02-05 2017-08-16 パナソニックIpマネジメント株式会社 撮像装置
JP6128109B2 (ja) * 2014-12-12 2017-05-17 カシオ計算機株式会社 撮影装置、撮影方向の制御方法及びプログラム

Also Published As

Publication number Publication date
CN106067943A (zh) 2016-11-02
JP2016208230A (ja) 2016-12-08
US9692962B2 (en) 2017-06-27
CN106067943B (zh) 2020-01-21
US20160316137A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
US10277809B2 (en) Imaging device and imaging method
US7929042B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
JP6833461B2 (ja) 制御装置および制御方法、撮像装置
US10659691B2 (en) Control device and imaging apparatus
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
US7860386B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
US8068164B2 (en) Face recognition auto focus apparatus for a moving image
US20200120262A1 (en) Image processing device, image processing method, and program
JP6516544B2 (ja) 制御装置、光学機器、撮像装置および制御方法
JP6504899B2 (ja) 制御装置、光学機器、撮像装置および制御方法
JP6833483B2 (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
JP6613149B2 (ja) 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6204805B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
JP6702736B2 (ja) 撮像制御装置および撮像装置の制御方法、プログラム
US11871112B2 (en) Image stabilization apparatus and method and image capturing apparatus
JP5316085B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190326

R151 Written notification of patent or utility model registration

Ref document number: 6504899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees