JP5418010B2 - 撮像装置および追尾方法 - Google Patents
撮像装置および追尾方法 Download PDFInfo
- Publication number
- JP5418010B2 JP5418010B2 JP2009146241A JP2009146241A JP5418010B2 JP 5418010 B2 JP5418010 B2 JP 5418010B2 JP 2009146241 A JP2009146241 A JP 2009146241A JP 2009146241 A JP2009146241 A JP 2009146241A JP 5418010 B2 JP5418010 B2 JP 5418010B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- correlation calculation
- time
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
被写体からの光は、レンズ鏡筒2の撮影光学系3,5および絞り6を介してカメラ本体1へ入射される。ライブビュー切り換えスイッチ19がオフにされている場合、カメラ本体1に入射した被写体光は、レリーズ前はクイックリターンミラー(以下メインミラーと呼ぶ)7で上方の光学ファインダー部へ導かれて拡散スクリーン10に結像する。また、カメラ本体1に入射した被写体光の一部はサブミラー8で下方へ反射され、AFセンサー9にも入射する。AFセンサー9は、公知の瞳分割による位相差検出方式のAF(オートフォーカス)装置を構成する。
図3は、ライブビュー切り換えスイッチ19がオンされた場合の一眼レフ電子カメラの要部構成を説明する図である。ライブビュー表示は、撮影指示(レリーズ)前に撮像素子17によって所定の時間間隔(たとえば30フレーム/毎秒)で繰り返し撮像されるモニタ用画像をメインモニタ16に逐次再生表示させることをいう。図3に例示するように、メインミラー7がアップ時は被写体光束がファインダー部へ導かれないため、撮影者は接眼部13から被写体像を確認できない。そこで、電子カメラはメインモニタ16にモニタ用画像を表示させ、被写体像をメインモニタ16で観察できるようにする。
本実施形態は、以上説明した電子カメラを用いて連写撮影を行う場合の動作に特徴を有するので、以降は連写動作を中心に説明する。図5は、ライブビュー切り換えスイッチ19がオフされている場合の連写動作を説明するタイミングチャートである。
H(2)=F(2)+G(2) (1)
H(n)=F(n)+G(n) (2)
ただし、nは2以上の整数である。
メインミラー7およびサブミラー8のアップ駆動が開始する時刻T8からメインミラー7およびサブミラー8のダウン駆動が終了する時刻T14までの時間は、ファインダー部へ光束が導かれないためにファインダーの視野内が暗くなる。このような状態は、いわゆるブラックアウトと呼ばれる。ブラックアウト中は、第二撮像素子15による蓄積(画像取得)も行われない。このため、ブラックアウト中に主要被写体が画面の中で大きく移動する場合は、ブラックアウト終了後に上述した相関演算に時間がかかるおそれがある。具体的には、図7のP1とP2を取得する間にブラックアウトがあったとき、主要被写体が画面内で大きく動き、フレーム画像P2における領域TM1に相当する位置と、ブラックアウト後に主要被写体が存在する領域TM2の位置とが大きく異なる場合は、フレーム画像P2における領域T1に相当する位置から注目位置を徐々にずらしながら相関演算を行っていたのでは演算時間がかさんでしまう。
|ΔG(n)|=|G(n)−G(n−1)| (3)
ただし、nは3以上の整数である。図8(a)は、移動ベクトルG(n)の履歴を例示する図であり、図8(b)は、動きベクトルG(n)の変化量の絶対値|ΔG(n)|を例示する図である。
Σ|ΔG(n)|/Σt(n)≦β (4)
Σ|ΔG(n)|/Σt(n)>β (5)
ただし、Σ|ΔG(n)|は時刻T1から時刻T8までの動きベクトルG(n)の変化量の絶対値の和である。Σt(n)は、メモリ23に格納されている時間t(n)の履歴を用いて算出される時間の和である。βは所定の判定閾値である。
Hb=Fb+Gb (6)
ここで、Fbはブラックアウト中に継続して行ったカメラの姿勢変化情報Fの演算結果を用いる。
Hb=H(k)/t(k)×tb (7)
ただし、第二撮像素子15によるブラックアウト前の画像取得回数(蓄積回数)をkとし、ブラックアウト直前に求めた主要被写体の移動情報をH(k)とし、(k−1)枚目の第二撮像素子15による蓄積終了時刻からk枚目の第二撮像素子15による蓄積終了時刻までの時間をt(k)とし、ブラックアウト時間をtbとする。
相関演算部36は、式(8)により、ブラックアウト中の移動ベクトルをGbを算出する。相関演算部36は、ブラックアウト直前のフレーム画像における領域TM1の位置から上記移動ベクトルGbだけ離れた位置に主要被写体が存在するものと推定し、この推定位置から注目位置を徐々にずらしながら相関演算を行うことにより、ブラックアウト後最初のフレーム画像上で領域TM1と類似する領域TM2を求める。
図9は、ライブビュー切り換えスイッチ19がオンされている場合の連写動作を説明するタイミングチャートである。図9の時刻T31において、レリーズボタン20からの半押し操作信号がCPU100へ入力される。この時点においてメインミラー7およびサブミラー8はアップ位置(光路外へ退避)にあり、フォーカルプレーンシャッター18の先幕18a、後幕18bはともに開状態にあり、絞り6は開放状態にある。角速度センサ24は、CPU100からの指示に応じて検出動作を開始し、所定時間ごとに検出を行う。
ライブビュー表示用の蓄積を終了する時刻T38からライブビュー表示用の蓄積を再開する時刻T44までの時間を、ここではブラックアウトと呼ぶことにする。ブラックアウト中に主要被写体が画面の中で大きく移動する場合は、光学ファインダ使用時と同様に、上述した相関演算に時間がかかるおそれがある。
(1)画面内における追尾対象である主要被写体を含む領域TM1、2の位置を認識するための画像P1、P2を取得する第二撮像素子15(または第一撮像素子17)と、第二撮像素子15(または第一撮像素子17)が画像P1,P2の取得を中断する間(ブラックアウト中)に、画像内において主要被写体が移動した移動ベクトルG(n)を演算する相関演算部36と、第二撮像素子15(または第一撮像素子17)を備えるカメラの姿勢変化を検出する角速度センサ24からの検出信号に基づいて、カメラの姿勢変化の絶対量を姿勢変化情報F(n)として演算するカメラ移動量演算部33と、第二撮像素子15(または第一撮像素子17)が画像P1,P2を連続して取得する際には、該画像P1,P2から画面内における主要被写体を含む領域TM1,2の位置を認識する通常認識を行い、第二撮像素子15(または第一撮像素子17)が画像P1を取得後に、画像P2の取得を中断する際には、中断前に認識された画面内における主要被写体を含む領域TM1の位置と、同じく中断前の移動ベクトルG(n)と、中断中の姿勢変化情報Fbとを用いて、中断後に取得された画像P2から画面内における主要被写体を含む領域TM2の位置を推定する第1中断後認識を行うCPU100を備えるようにした。CPU100は、第1中断後認識では、中断後の画像P2において中断直前の画像P1における領域TM1に相当する位置から移動ベクトルGbだけ離れた位置に主要被写体が存在するものと推定し、この推定位置から注目位置を徐々にずらしながら相関演算を行うことにより、中断後の画像P2上で領域TM1と類似する領域TM2を求めるので、領域TM1の位置から注目位置を徐々にずらしながら相関演算を行う第2中断後認識に比べて、演算量を抑えることができる。演算量を抑えることは、演算時間の短縮に有効である。
一眼レフ電子カメラの場合を例に説明したが、いわゆるライブビュー機能を有するものであれば、一眼レフタイプ以外の電子カメラにも本発明を適用して構わない。
以上説明した実施形態では、あらかじめカメラ本体1内のCPU100の不揮発性メモリ内に格納されたプログラムによって図5(図9)に例示したタイミングによるカメラ制御を行う例を説明したが、カメラ制御を行うプログラムを図10に示すコンピュータ装置250を経由してカメラ本体1へ供給する構成にしてもよい。このようにコンピュータ装置250からカメラ本体1へプログラムを供給する場合には、コンピュータ装置250とカメラ本体1とを通信可能にしてプログラムを供給する。
2…レンズ鏡筒
3,5撮影光学系
6…絞り
7…メインミラー
11…ペンタプリズム
13…接眼部
15…測光センサ
16…メインモニタ
17…撮像素子
19…ライブビュー切り換えスイッチ
24…角速度センサ
33…カメラ移動量演算部
35…特徴抽出部
36…相関演算部
37…測光演算部
38…レンズ駆動量演算部
100…CPU
Claims (8)
- 画像情報を繰り返し取得する撮像部と、
追尾する被写体の情報が含まれた基準画像情報と、前記撮像部により取得された前記画像情報との相関演算を行い、追尾する被写体の位置に対応する第1被写体位置を演算する相関演算部と、
装置の姿勢に対応する姿勢情報を取得する姿勢情報取得部と、
前記相関演算部により演算された複数の前記第1被写体位置を用いて移動ベクトルを取得する移動ベクトル取得部と、
前記姿勢情報と前記移動ベクトルとを用いて、追尾する被写体の位置に対応する第2被写体位置を推定する推定部と、
前記第1被写体位置から相関演算をするように前記相関演算部を制御する第1制御と、前記第2被写体位置から相関演算をするように前記相関演算部を制御する第2制御とが可能な制御部と、を含むことを特徴とする撮像装置。 - 請求項1に記載された撮像装置であって、
撮影者が追尾する被写体を追えているか否かを判断する判断部を有し、
前記制御部は、前記判断部により前記撮影者が追尾する被写体を追えていると判断したとき前記第1制御を行い、前記判断部により前記撮影者が追尾する被写体を追えていないと判断したとき前記第2制御を行うことを特徴とする撮像装置。 - 請求項2に記載された撮像装置であって、
前記判断部は、前記被写体を追えているか否かの判断を、以下の式により判断することを特徴とする撮像装置。
Σ|ΔG(n)|/Σt(n)≦β (1)
Σ|ΔG(n)|/Σt(n)>β (2)
ただし、Σ|ΔG(n)|はシャッタ半押し開始時刻T1からシャッタ全押し開始時刻T8までの移動ベクトルG(n)の変化量の絶対値の和である。Σt(n)は、(n−1)回目の蓄積終了時刻からn回目の蓄積終了時刻までの時間t(n)の履歴を用いて算出される時間の和である。βは所定の判定閾値である。 - 請求項1乃至請求項3のいずれか1項に記載された撮像装置であって、
前記推定部は、前記追尾する被写体の位置に対応する第2被写体位置を以下の式により演算することを特徴とする撮像装置。
Gb=Hb−Fb=H(k)/t(k)×tb−Fb (3)
ただし、撮像素子によるブラックアウト前の画像取得回数(蓄積回数)をkとし、ブラックアウト直前に求めた被写体の移動情報をH(k)とし、(k−1)枚目の撮像素子による蓄積終了時刻からk枚目の撮像素子による蓄積終了時刻までの時間をt(k)とし、ブラックアウト時間をtbとする。 - 請求項1乃至請求項4のいずれか1項に記載の撮像装置において、
前記撮像部は、前記画像情報を取得する画像取得動作と、画面の被写体像を撮像する撮像動作とを択一的に行うことを特徴とする撮像装置。 - 請求項1乃至請求項5のいずれか一項に記載の撮像装置において、
前記撮像部により取得された前記画像情報を用いて観察用画像を表示する表示手段を備えることを特徴とする撮像装置。 - 請求項5に記載の撮像装置において、
前記撮像部は、前記画像情報を取得する第1撮像素子と、前記撮像動作を行う第2撮像素子とを備え、
被写体光束を第1撮像素子に導く状態と、前記被写体光束を第1撮像素子に導かない状態とを切り換え可能な切り換え手段を備えることを特徴とする撮像装置。 - 画像情報を繰り返し取得する画像情報取得処理と、
追尾する被写体の情報が含まれた基準画像情報と、前記画像情報取得処理により取得された画像情報との相関演算を行い、追尾する被写体の位置に対応する第1被写体位置を演算する相関演算処理と、
装置の姿勢に対応する姿勢情報を取得する姿勢情報取得処理と、
前記相関演算処理により演算された複数の前記第1被写体位置を用いて移動ベクトルを取得する移動ベクトル取得処理と、
前記姿勢情報と前記移動ベクトルとを用いて、追尾する被写体の位置に対応する第2被写体位置を推定する推定処理と、
前記第1被写体位置から相関演算をするように前記相関演算処理を制御する第1制御と、前記第2被写体位置から相関演算をするように前記相関演算処理を制御する第2制御とが可能な制御処理と、を行うことを特徴とする追尾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009146241A JP5418010B2 (ja) | 2009-06-19 | 2009-06-19 | 撮像装置および追尾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009146241A JP5418010B2 (ja) | 2009-06-19 | 2009-06-19 | 撮像装置および追尾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011004219A JP2011004219A (ja) | 2011-01-06 |
JP5418010B2 true JP5418010B2 (ja) | 2014-02-19 |
Family
ID=43561784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009146241A Active JP5418010B2 (ja) | 2009-06-19 | 2009-06-19 | 撮像装置および追尾方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5418010B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6244824B2 (ja) * | 2013-10-31 | 2017-12-13 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
JP2017173615A (ja) * | 2016-03-24 | 2017-09-28 | 株式会社ニコン | 焦点調節装置および撮像装置 |
JP7325266B2 (ja) | 2019-08-27 | 2023-08-14 | キヤノン株式会社 | 撮像制御装置、撮像装置、制御方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3544215B2 (ja) * | 1993-07-13 | 2004-07-21 | ソニー株式会社 | ビデオカメラシステム |
JP4478510B2 (ja) * | 2004-06-03 | 2010-06-09 | キヤノン株式会社 | カメラシステム、カメラ、及びカメラの制御方法 |
JP4894162B2 (ja) * | 2005-05-12 | 2012-03-14 | 株式会社ニコン | カメラ |
JP2008299797A (ja) * | 2007-06-04 | 2008-12-11 | Toshiba Corp | データベースシステム、データベースシステムにおけるデータベース検索方法及びデータベースシステムに用いられるコンピュータプログラム |
JP4552997B2 (ja) * | 2007-11-16 | 2010-09-29 | カシオ計算機株式会社 | 撮像装置及びプログラム |
-
2009
- 2009-06-19 JP JP2009146241A patent/JP5418010B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011004219A (ja) | 2011-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7469098B2 (en) | Optical apparatus | |
US9667856B2 (en) | Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same | |
US8243188B2 (en) | Imaging apparatus | |
JP5760188B2 (ja) | 撮像装置及びカメラ本体 | |
JP2018031877A (ja) | 撮像装置および焦点調節方法 | |
JP2017211487A (ja) | 撮像装置及び自動焦点調節方法 | |
JP6851854B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP5418010B2 (ja) | 撮像装置および追尾方法 | |
JP6140945B2 (ja) | 焦点調節装置及び撮像装置 | |
US10212349B2 (en) | Imaging apparatus and control method | |
JP5418180B2 (ja) | デジタルカメラ | |
JP2011257450A (ja) | 撮像システム | |
JP2010145495A (ja) | カメラシステム | |
JP5217942B2 (ja) | 焦点調節装置および撮像装置 | |
JP5062095B2 (ja) | 撮像装置 | |
JP6739248B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP6858065B2 (ja) | 撮像装置およびその制御方法 | |
JP6997544B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2017005495A (ja) | 撮像装置、その制御方法、及びプログラム | |
JP5446660B2 (ja) | 画像認識装置、および、撮像装置 | |
JP5069076B2 (ja) | 撮像装置および連続撮像方法 | |
JP2012063681A (ja) | 焦点検出装置およびカメラ | |
JP5245644B2 (ja) | 露出演算装置 | |
JP2010183353A (ja) | 撮影装置 | |
JP2010016762A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5418010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |