JP5929774B2 - 画像取得方法、装置、およびプログラム - Google Patents
画像取得方法、装置、およびプログラム Download PDFInfo
- Publication number
- JP5929774B2 JP5929774B2 JP2013023217A JP2013023217A JP5929774B2 JP 5929774 B2 JP5929774 B2 JP 5929774B2 JP 2013023217 A JP2013023217 A JP 2013023217A JP 2013023217 A JP2013023217 A JP 2013023217A JP 5929774 B2 JP5929774 B2 JP 5929774B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- target area
- coordinates
- control target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 230000000737 periodic effect Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
・たくさんの花が揺れている場合がある(多くの動体がある)、
・付近で葉っぱも揺れている場合もある、
・これらの揺れは独立している場合が多い、
等の難しい撮影条件になる場合が多い。つまり、画像中に多くの動体が存在する場合である。
他の態様の一例では、制御対象領域の周期性のある動作の度合いに基づいてシャッタ時間をさらに決定し、画像を取得するときに、その取得を決定したシャッタ時間でさらに行
う。
また、本発明によれば、決定された動く被写体領域に対して適切なシャッタ時間を自動的に設定することが可能となる。
図1は、本実施の形態に係る画像取得装置としての撮像装置1の外観を示す図であり、図1(a)は正面図、図1(b)は背面図である。
一方、符号化/復号化処理部11は、画像再生時に、画像記録部14から読み出された画像ファイルを復号化し、表示部6に表示する。
さらに、バスライン18には、プログラムメモリ15や撮影された画像を一時的に記憶するRAM16が接続されている。
プログラムメモリ15には、後述するフローチャートで示される画像取得処理を実行するためのプログラムが記憶される。
制御部17は次に、スルー画像を取得する毎に、上述の追従目標領域401毎に追従動作を行って、動き情報を検出する(以上、図3のステップS302)。追従目標領域401に対する追従動作の詳細は、図6〜図12の説明で後述する。
図5は、本実施形態における制御対象領域401(#A)の抽出原理の説明図である。いま、図4の画像において、複数の追従目標領域401のうち、花の領域上に設定された例えば1つの領域401(#A)に着目する。花が風に揺れて、画像中の花の領域の表示位置が、図5に示されるように、時間tの経過(実線の矢印の方向)と共に変化すると、追従目標領域401(#A)に対して追従動作を行うと、追従目標領域401(#A)は、図5の破線の矢印で示されるような軌跡で変化する。数秒程度の期間で観測すると、追従目標領域401(#A)のX座標値またはY座標値の軌跡は、画像の水平方向(X軸方向)または垂直方向(Y軸方向)に値が正弦波状に変化する1から5[Hz](ヘルツ)程度の周波数を有する周期性のある軌跡となる。図5の例では、追従目標領域401(#A)のX座標値の軌跡が、画像の水平方向にゆっくりと正弦波状に変化していることを示している。一方、図4の画像中の追従目標領域401(#B)などは、空などの背景領域に属するため、数秒程度の期間で観測してもその座標はほとんど変化しない。
そこで、制御部17は、ステップS303で抽出した動き周波数の値が1Hzから5Hzの間に入り、動き平均座標が画像の中央座標値から所定の範囲内にあり、かつ動き振幅が最大となる追従目標領域401を、制御対象領域401(#A)として選択する。
このようにして、本実施形態では、風に揺れる花のように周期性をもって揺れている被写体の領域を、入力されるスルー画像から制御対象領域401(#A)として自動的に抽出することが可能となる。
シャッタ時間SH=coef/動き振幅
ここで、「coef」は、図2の制御部17が出力するシャッタ制御値である。「動き振幅」は例えば正規化された値であり、定性的には、動き振幅が2倍になるとシャッタ時間SHは1/2に(シャッタ速度が2倍速く)設定される。
このようにして、本実施形態では、花の揺れる大きさに応じて、シャッタ時間(シャッタ速度)を自動的に設定することが可能となる。
まず、追従動作部13は、全ての探索点P[num]の初期座標を、追従目標領域Cjの中心に設定する。すなわち、現在選択されている追従目標領域Cjの中心の座標を(Fx,Fy)とすると、探索点P[num]の初期座標は、以下の式(2)のように表される。
図9に示されるように、評価対象画像のY色空間をSr1、U色空間をSr2、V色空間をSr3とすると、基準画素値B1、B2、B3は、以下の式(3)〜(5)のように表される。
よって、重みが大きいということは、評価対象画像の探索対象領域T[num]と、スルー画像Fiの追従目標領域Cjとが類似していることを意味する。
本実施形態では、sizeを2とし、各探索対象領域T[num]を構成する画素Qは25個としたので、重みPw[num]の最小値はゼロであり、最大値は25となる。
例えば、探索点P[23]は、重みPwが22であるため、0−21の整数に対応する
。探索点P[248]は、重みPwが22であるため、22−43の整数に対応する。
すなわち、現時点で算出されている各探索点P[num]のX座標値に、それぞれの重み値が乗算され、それらの総和が算出され、その総和値が全探索点P[num]の重み値の総和値で除算され、その除算結果値が追従座標Cj(i)のX座標値とされる。
同様に、現時点で算出されている各探索点P[num]のY座標値に、それぞれの重み値が乗算され、それらの総和が算出され、その総和値が全探索点P[num]の重み値の総和値で除算され、その除算結果値が追従座標Cj(i)のY座標値とされる。
このようにして得られる追従座標Cj(i)が、現在選択されている追従目標領域Cjに対応する現在入力しているスルー画像Fiでの追従結果である。
図4に示される複数の追従目標領域401のうち、初期状態として花の領域上にある追従目標領域401(#A)および初期状態として花が無い背景の追従目標領域401(#B)に着目して、例えば図13に示されるように連続する3フレームのスルー画像Fiが入力された場合を考える。
この場合には、花としての画像特徴量により、追従目標領域401(#A)の探索点の分布は、フレームの進行によってスルー画像Fi上で花の座標が変化しても、その変化に追従して花の領域上にまとまっている。このため、図7のステップS710で算出される追従目標領域401(#A)の分散Vは、小さい値となる。
これにより、各探索点の分布領域V(#A)(#1)、V(#A)(#2)、V(#A)(#3)から図7のステップS712で追従目標領域Cj=401(#A)に対応する各フレームの追従座標Cj(i)を算出することで、花の領域の動きを検出できるようになる。
この場合には、背景部分では画像特徴量は追従目標領域401(#B)の周囲もほとんど変化がないため、追従目標領域401(#B)の探索点の分布は、フレームの進行によってまとまりがなくなってゆく。このため、図7のステップS710で算出される追従目標領域401(#B)の分散Vは大きくなってゆき、やがて図7のステップS711の判定がNOとなる。この結果、図7のステップS713により、その追従目標領域401(#B)は、花の動きを検出するための処理から除外設定されることになる。
さらに、追従動作部13は、ステップS1402で選択した追従目標領域Cjが除外設定されているか否かを判定する(図14のステップS1403)。追従動作部13は、追従目標領域Cjが除外設定されておりステップS1403の判定がYESならば、ステップS1413に進んで、次の追従目標領域Cjに対する処理に移る。
このようにして、追従動作部13は、動き情報として追従座標Cj(i)が検出できた追従目標領域Cjに対してのみ、以下のステップS1404からS1412の動作を実行する。
この座標は、現在選択されている追従目標領域CjがNフレーム分のスルー画像Fi(0≦i≦N−1)中で動くときの、動きの中心座標になる。
このようにして、本実施形態では、風に揺れる花のように周期性をもって揺れている被写体の領域を、入力される数秒分のNフレームスルー画像Fi(0≦i≦N−1)から、制御対象領域401(#A)として自動的に抽出することが可能となる。
このようにして得られる追従座標が、制御対象領域401(#A)に対応する現在入力しているスルー画像での追従結果である。
これに対して、制御部17は、前述した図3のステップS307で、その追従座標を基準としてAF、AE動作を実行し、画像を取得する。
(付記1)
指示された測光開始タイミング以降、画像を順次撮像し、
前記順次取得した画像から周期性のある動作を行う被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
ことを特徴とする画像撮像方法。
(付記2)
前記制御対象領域の前記周期性のある動作の度合いに基づいてシャッタ時間をさらに決定し、
前記画像を取得するときに、該取得を前記決定したシャッタ時間でさらに行う、
ことを特徴とする付記1に記載の画像撮像方法。
(付記3)
前記制御対象領域を抽出する手順において、
前記画像上で追従目標領域を複数領域設定し、
前記画像を取得する毎に前記追従目標領域毎に追従動作を行って前記動き情報を検出し、
前記複数の追従目標領域のうち動き情報が検出できた追従目標領域毎に、動き平均座標、動き周波数、および動き振幅を検出し、
前記追従目標領域毎に検出した動き平均座標、動き周波数、および動き振幅に基づいて、前記追従目標領域の中から前記制御対象領域を決定する、
ことを特徴とする付記1または2のいずれかに記載の画像撮像方法。
(付記4)
前記動き振幅が大きいほど短くなるようにシャッタ時間を決定する、
ことを特徴とする付記3に記載の画像撮像方法。
(付記5)
前記画像を取得する毎に前記追従目標領域毎にまたは前記制御対象領域について追従動作を行う手順において、
前記取得した画像中の前記追従目標領域または制御対象領域において、該領域中の画像特徴量を記憶するとともに、所定数の探索点を生成する初期設定を実行し、
乱数を用いて、前記所定数の探索点の座標を更新し、
前記追従目標領域または制御対象領域の画像特徴量と前記画像における前記更新した各探索点の画像特徴量とを比較して該画像特徴量同士の各類似度を算出し、
該類似度が高いほど重みを大きくして前記更新した各探索点に対して重み付けを行い、
前記各探索点を該探索点の重み付けに応じて選別し、
前記選別した探索点の座標の分散を算出し、
該分散が所定の閾値に比較して小さい場合に、前記選別した探索点の座標の重みつき平均として前記追従目標領域または前記制御対象領域に対応する追従座標を算出する、
ことを特徴とする付記1ないし4のいずれかに記載の画像撮像方法。
(付記6)
指示された測光開始タイミング以降、画像を順次撮像する画像撮像部と、
前記順次取得した画像から周期性のある動作を行う被写体を制御対象領域として抽出する制御対象領域抽出部と、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出する制御対象領域追従部と、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定する焦点決定部と、
該決定した焦点で前記画像を取得する画像取得部と、
を備えることを特徴とする画像撮像装置。
(付記7)
指示された測光開始タイミング以降、画像を順次取得し、
前記順次取得した画像から周期性のある動作を行う被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
手順をコンピュータに実行させるためのプログラム。
2 撮像レンズ
3 シャッタボタン
4 ファンクションキー
5 カーソルキー
6 表示部
7 駆動制御部
8 撮像部
9 ユニット回路
10 画像処理部
11 符号化/復号化処理部
12 プレビューエンジン
13 追従動作部
14 画像記録部
15 プログラムメモリ
16 RAM
17 制御部
401、Cj 追従目標領域
401(#A) 制御対象領域
CAj 動き平均座標
Aj 動き振幅
Mj 動き周波数
Claims (7)
- 指示された測光開始タイミング以降、画像を順次撮像し、
前記順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
ことを特徴とする画像撮像方法。 - 前記制御対象領域の前記周期性のある動作の度合いに基づいてシャッタ時間をさらに決定し、
前記画像を取得するときに、該取得を前記決定したシャッタ時間でさらに行う、
ことを特徴とする請求項1に記載の画像撮像方法。 - 前記制御対象領域を抽出する手順において、
前記画像上で追従目標領域を複数領域設定し、
前記画像を取得する毎に前記追従目標領域毎に追従動作を行って動き情報を検出し、
前記複数の追従目標領域のうち前記動き情報が検出できた追従目標領域毎に、動き平均座標、動き周波数、および動き振幅を検出し、
前記追従目標領域毎に検出した周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を前記制御対象領域として決定する、
ことを特徴とする請求項1または2のいずれかに記載の画像撮像方法。 - 前記動き振幅が大きいほど短くなるようにシャッタ時間を決定する、
ことを特徴とする請求項3に記載の画像撮像方法。 - 前記画像を取得する毎に前記追従目標領域毎にまたは前記制御対象領域について追従動作を行う手順において、
前記取得した画像中の前記追従目標領域または制御対象領域において、該領域中の画像特徴量を記憶するとともに、所定数の探索点を生成する初期設定を実行し、
乱数を用いて、前記所定数の探索点の座標を更新し、
前記追従目標領域または制御対象領域の画像特徴量と前記画像における前記更新した各探索点の画像特徴量とを比較して該画像特徴量同士の各類似度を算出し、
該類似度が高いほど重みを大きくして前記更新した各探索点に対して重み付けを行い、
前記各探索点を該探索点の重み付けに応じて選別し、
前記選別した探索点の座標の分散を算出し、
該分散が所定の閾値に比較して小さい場合に、前記選別した探索点の座標の重みつき平均として前記追従目標領域または前記制御対象領域に対応する追従座標を算出する、
ことを特徴とする請求項3に記載の画像撮像方法。 - 指示された測光開始タイミング以降、画像を順次撮像する画像撮像部と、
前記順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出する制御対象領域抽出部と、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出する制御対象領域追従部と、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定する焦点決定部と、
該決定した焦点で前記画像を取得する画像取得部と、
を備えることを特徴とする画像撮像装置。 - 指示された測光開始タイミング以降、画像を順次取得し、
前記順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
手順をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023217A JP5929774B2 (ja) | 2013-02-08 | 2013-02-08 | 画像取得方法、装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023217A JP5929774B2 (ja) | 2013-02-08 | 2013-02-08 | 画像取得方法、装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014155040A JP2014155040A (ja) | 2014-08-25 |
JP5929774B2 true JP5929774B2 (ja) | 2016-06-08 |
Family
ID=51576510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013023217A Active JP5929774B2 (ja) | 2013-02-08 | 2013-02-08 | 画像取得方法、装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5929774B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017110260A1 (ja) | 2015-12-22 | 2017-06-29 | 富士フイルム株式会社 | 合焦制御装置、撮像装置、合焦制御方法、及び、合焦制御プログラム |
CN115103117B (zh) * | 2022-06-20 | 2024-03-26 | 四川新视创伟超高清科技有限公司 | 基于二维坐标投影的运动目标快速追踪方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08327917A (ja) * | 1995-06-01 | 1996-12-13 | Nikon Corp | 撮像装置 |
JP4398020B2 (ja) * | 1999-11-02 | 2010-01-13 | オリンパス株式会社 | 多点自動焦点カメラ |
JP4451892B2 (ja) * | 2007-03-19 | 2010-04-14 | 株式会社リコー | 映像再生装置、映像再生方法、及び映像再生プログラム |
JP4458173B2 (ja) * | 2008-03-19 | 2010-04-28 | カシオ計算機株式会社 | 画像記録方法、画像記録装置、およびプログラム |
JP2010204585A (ja) * | 2009-03-05 | 2010-09-16 | Canon Inc | 撮像装置及びその制御方法 |
JP5609270B2 (ja) * | 2010-05-28 | 2014-10-22 | ソニー株式会社 | 撮像装置、撮像システム、撮像装置の制御方法およびプログラム |
JP2012054810A (ja) * | 2010-09-02 | 2012-03-15 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム |
JP5800600B2 (ja) * | 2011-06-24 | 2015-10-28 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
-
2013
- 2013-02-08 JP JP2013023217A patent/JP5929774B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014155040A (ja) | 2014-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6288952B2 (ja) | 撮像装置およびその制御方法 | |
JP5848561B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US11659277B2 (en) | Imaging apparatus and imaging method | |
US10630891B2 (en) | Image processing apparatus, image processing method, and program | |
JP4780205B2 (ja) | 撮像装置、画角調節方法、及び、プログラム | |
JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP6223059B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP2009231967A (ja) | 画像記録方法、画像記録装置、およびプログラム | |
WO2017080348A2 (zh) | 一种基于场景的拍照装置、方法、计算机存储介质 | |
WO2016011872A1 (zh) | 图像拍摄方法、装置和计算机存储介质 | |
JP2017229033A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP6261205B2 (ja) | 画像処理装置 | |
JP5929774B2 (ja) | 画像取得方法、装置、およびプログラム | |
JP2013152643A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016208268A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2023033355A (ja) | 画像処理装置およびその制御方法 | |
JP5484129B2 (ja) | 撮像装置 | |
WO2017071560A1 (zh) | 图片处理方法及装置 | |
JP5915720B2 (ja) | 撮像装置 | |
JP2010141911A (ja) | 画像記録方法、画像記録装置、およびプログラム | |
JP2006039254A (ja) | カメラ | |
JP2014138378A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP7475846B2 (ja) | 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法 | |
KR101637637B1 (ko) | 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치 | |
WO2014054296A1 (ja) | 画像評価装置、撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5929774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |