JP6212991B2 - Image processing apparatus, imaging apparatus, and program - Google Patents
Image processing apparatus, imaging apparatus, and program Download PDFInfo
- Publication number
- JP6212991B2 JP6212991B2 JP2013137154A JP2013137154A JP6212991B2 JP 6212991 B2 JP6212991 B2 JP 6212991B2 JP 2013137154 A JP2013137154 A JP 2013137154A JP 2013137154 A JP2013137154 A JP 2013137154A JP 6212991 B2 JP6212991 B2 JP 6212991B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking target
- area
- unit
- image processing
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 60
- 238000003384 imaging method Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 53
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012423 maintenance Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 239000013589 supplement Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置、撮像装置およびプログラムに関する。 The present invention relates to an image processing device, an imaging device, and a program.
従来から、特定の被写体を追尾する技術が種々提案されている。一例として、特許文献1には、撮像装置の操作の履歴に基づいて、追尾対象を別の被写体を変更しようとする撮影意図を推定する装置が開示されている。 Conventionally, various techniques for tracking a specific subject have been proposed. As an example, Patent Document 1 discloses an apparatus that estimates a shooting intention to change another subject as a tracking target based on an operation history of the imaging apparatus.
従来の技術は、撮像装置の操作の履歴を用いて追尾対象を変更するか否かの判断を行う。そのため、例えば、パンニングやチルティングの途中の場合や、操作履歴が残されていない場合などでは、時系列の撮像画像の情報から適切な追尾対象を指定することがなお困難であった。 In the conventional technique, it is determined whether or not to change the tracking target using the operation history of the imaging apparatus. For this reason, for example, when panning or tilting is in progress or when an operation history is not left, it is still difficult to specify an appropriate tracking target from information of time-series captured images.
本発明の一例の画像処理装置は、取得部と、指定部と、被写体追尾部とを備える。取得部は、複数の撮像画像を取得する。指定部は、撮像画像上に設定された第1領域に含まれる被写体のうちから追尾対象を指定する。被写体追尾部は、追尾対象を複数の撮像画像から検出する。また、指定部は、追尾対象が第1領域の領域外に移動し、第1領域を内包する第2領域内の場合は追尾対象の指定を維持する。また、指定部は、第2領域の領域外に追尾対象が移動すると、第1領域に含まれる被写体のうちから新たな追尾対象を指定する。 An image processing apparatus according to an example of the present invention includes an acquisition unit, a designation unit, and a subject tracking unit. Acquisition unit acquires a captured image of a multiple. Specifying unit specifies one or we add tail target object included in the first area set on the captured image. Subject tracking unit may detect a tracking target plurality of captured images or al. The specification unit maintains the specification of the tracking target when the tracking target moves outside the first region and is within the second region including the first region . The designation unit designates a new tracking target from among the subjects included in the first area when the tracking target moves outside the second area .
本発明によれば、時系列の撮像画像の情報から適切な追尾対象を指定できる。 According to the present invention, it is possible to specify an appropriate tracking target from information of time-series captured images.
<一の実施形態の説明>
図1は、一の実施形態における、撮像装置の一例としての電子カメラの構成例を示す図である。一の実施形態の電子カメラは、撮影モードの一つとして被写体追尾モードを有している。なお、被写体追尾モードでは、時系列に取得される複数の画像から追尾対象の被写体を電子カメラが継続的に検出することができる。なお、上記の被写体追尾モードは、例えば、子供の撮影に適したキッズモードなどの一機能として電子カメラに実装されてもよい。
<Description of One Embodiment>
FIG. 1 is a diagram illustrating a configuration example of an electronic camera as an example of an imaging apparatus in one embodiment. The electronic camera of one embodiment has a subject tracking mode as one of the shooting modes. In the subject tracking mode, the electronic camera can continuously detect the subject to be tracked from a plurality of images acquired in time series. Note that the subject tracking mode described above may be implemented in an electronic camera as one function such as a kids mode suitable for photographing children.
一の実施形態の電子カメラ11は、撮影光学系12と、光学系駆動部13と、撮像部14と、焦点調節部15と、画像処理装置の一例としてのカメラマイコン16と、第1メモリ17および第2メモリ18と、表示部19と、メディアI/F20と、ユーザからの操作を受け付ける操作部21とを備える。ここで、光学系駆動部13、撮像部14、焦点調節部15、第1メモリ17および第2メモリ18、表示部19、メディアI/F20、操作部21は、それぞれカメラマイコン16に接続されている。
An electronic camera 11 according to an embodiment includes a photographing
撮影光学系12は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。撮像光学系に含まれるズームレンズやフォーカスレンズのレンズ位置は、光学系駆動部13によって光軸方向に調整される。
The photographing
なお、光学系駆動部13は、ズームレンズやフォーカスレンズのレンズ位置を検出するエンコーダ(不図示)を有している。そして、光学系駆動部13のエンコーダは、カメラマイコン16にレンズ位置の情報を出力する。これにより、カメラマイコン16は、ズームレンズの焦点距離の情報を取得できる。
The optical
撮像部14は、撮影光学系12を介して入射された光束による被写体の結像を撮像(撮影)するモジュールである。例えば、撮像部14は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やA/D変換処理などを施す信号処理回路とを含んでいる。
The
ここで、撮像部14は、操作部21からの撮像指示に応じて、不揮発性の記憶媒体(25)への記録を伴う記録用の静止画像を撮影する。このとき、撮像部14は、静止画像を連写撮影することもできる。また、撮像部14は、撮影待機時において所定の時間間隔ごとに観測用の画像(スルー画像)を撮影する。時系列に取得されたスルー画像のデータは、表示部19での動画表示(ライブビュー表示)やカメラマイコン16による各種の演算処理に使用される。なお、撮像部14で撮像された画像を、撮像画像と称することもある。
Here, the
焦点調節部15は、撮像部14の撮像範囲内に設定された焦点検出エリアの情報を用いて、フォーカスレンズの自動焦点調節(Auto Focus)を実行する。
The
例えば、焦点調節部15は、スルー画像を用いて公知のコントラスト検出によりAFを実行するものであってもよい。あるいは、焦点調節部15は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量からAFを実行するものであってもよい。位相差検出方式による場合、焦点調節部15は撮影光学系12から入射する光束の一部を用いて、撮像部14から独立して焦点検出を行うモジュール(例えば、一眼レフ形式で採用される焦点検出モジュール)であってもよい。あるいは、撮像部14の受光面に焦点検出用の受光素子を配置し、焦点調節部15が撮像面で位相差検出AFを行うようにしてもよい。
For example, the
カメラマイコン16は、電子カメラ11の動作を統括的に制御するプロセッサである。例えば、カメラマイコン16は、撮像部14での撮像画像の撮影制御、表示部19での撮像画像の表示制御、第1メモリ17およびメディアI/F20での撮像画像の記録制御を行う。また、一の実施形態でのカメラマイコン16は、画像処理部22、指定部23、被写体追尾部24を有している。
The
画像処理部22は、撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。
The
指定部23は、所定のアルゴリズムに従って、撮像画像に含まれる被写体のうちから追尾対象となる被写体を指定する。
The
被写体追尾部24は、指定部23によって指定された追尾対象を、時系列の撮像画像から継続的に検出する。
The
なお、図1に示すカメラマイコン16の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。例えば、画像処理部22、指定部23、被写体追尾部24は、ASIC(Application Specific Integrated Circuit)であってもよく、またはカメラマイコン16によって処理されるプログラムモジュールであってもよい。
Each functional block of the
第1メモリ17は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第1メモリ17は、SDRAM等の揮発性メモリで構成される。また、第1メモリ17には、被写体追尾処理で用いる各種の情報(追尾対象の特徴情報など)が記憶される。
The
第2メモリ18は、カメラマイコン16で実行するプログラムや、このプログラムで使用される各種データを記憶するメモリである。例えば、第2メモリ18は、フラッシュメモリ等の不揮発性メモリで構成される。
The
表示部19は、各種の画像を表示する表示デバイスであって、例えば、液晶モニタや有機ELモニタなどである。ここで、表示部19は、カメラマイコン16の制御により、スルー画像による動画表示(ライブビュー表示)を行う。また、表示部19は、カメラマイコン16の制御により、各種の撮影情報をスルー画像に重畳させて表示することもできる。
The
メディアI/F20は、不揮発性の記憶媒体25(ハードディスク、メモリカード等)を接続するためのコネクタを有している。そして、メディアI/F20は、コネクタに接続された記憶媒体25に対してデータ(記録用画像)の書き込み/読み込みを実行する。上記の記憶媒体25は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図1では記憶媒体25の一例としてメモリカードを図示する。
The media I / F 20 has a connector for connecting a nonvolatile storage medium 25 (hard disk, memory card, etc.). The media I / F 20 writes / reads data (recording image) to / from the
次に、図2の流れ図を参照しつつ、一の実施形態の電子カメラにおける被写体追尾モードの動作例を説明する。図2の処理は、被写体追尾モードで電子カメラを起動させたときに、カメラマイコン16がプログラムを実行することによって開始される。
Next, an operation example of the subject tracking mode in the electronic camera of one embodiment will be described with reference to the flowchart of FIG. The process of FIG. 2 is started when the
ステップ#101:カメラマイコン16は、撮像部14を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン16は、スルー画像を撮像部14から取得する。また、被写体追尾モードでのカメラマイコン16は、スルー画像を表示部19に動画表示させる。したがって、ユーザは、表示部19のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
Step # 101: The
ステップ#102:画像処理部22は、入力された撮像画像(スルー画像)に公知の被写体抽出処理を施す。
Step # 102: The
例えば、#102での画像処理部22は、輪郭抽出処理や、色情報等による2値化処理などで画像の領域分割を行うとともに、分割した領域を画像の特徴に基づいて統合することで画像から被写体を抽出する。また、画像処理部22は、公知の被写体検出(顔検出など)によって被写体を抽出してもよい。また、画像処理部22は、複数枚の撮像画像を用いて、フレーム間差分や動きベクトルのクラスタリングにより被写体を抽出してもよい。その他にも、被写体抽出処理には、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデルなどの種々の手法を適用できる。
For example, the
ステップ#103:指定部23は、抽出された被写体(#102)のうち、追尾対象となる被写体を1つ指定する。
Step # 103: The
ここで、#103において、指定部23は、撮像画像の撮像範囲内に設定された追尾対象の選択領域(第1領域とも称する)から追尾対象の被写体を指定する(図3参照)。上記の第1領域は、撮像画像上の基準点を中心として設定される。したがって、#103では、撮像範囲内の被写体のうち、基準点から所定範囲内に位置する被写体のうちから追尾対象の被写体が指定されることとなる。上記の基準点の位置は撮影の構図などに応じてユーザが撮像範囲内で適宜変更できるが、本明細書では撮像範囲の中央に基準点を設定する例を説明する。また、追尾対象に対してAFを可能とするため、第1領域は、撮像範囲内で焦点調節部15が焦点検出できる範囲よりも狭い範囲に設定されている。
Here, in # 103, the
また、#103において、指定部23は、第1領域内に複数の被写体が存在する場合、画像上で基準点との距離がより短い被写体を追尾対象に指定する。
In # 103, when there are a plurality of subjects in the first area, the
なお、追尾対象の被写体が指定された場合、被写体追尾部24は、被写体追尾の実行状態を示す表示(被写体追尾マーク)を表示部19のスルー画像に重畳表示させる。例えば、被写体追尾部24は、追尾対象を囲む矩形枠をスルー画像に重畳させる。これにより、ユーザは電子カメラ11がどの被写体を追尾しているかを表示部19で確認できる。
When a tracking target subject is specified, the
ステップ#104:指定部23は、#103で指定した追尾対象の画像の特徴量を示す特徴情報を第1メモリ17に記録する。なお、追尾対象の特徴情報は、例えば、エッジのコーナーや色成分のヒストグラム等であって、異なる撮像画像から追尾対象を検出するためのマッチング処理で使用される。
Step # 104: The
ステップ#105:焦点調節部15は、現在の追尾対象の位置に対応する焦点検出エリアの情報を用いて、フォーカスレンズの焦点調節を実行する。
Step # 105: The
ステップ#106:カメラマイコン16は、静止画像の撮像指示(例えば、レリーズ釦の全押し操作)を受け付けたか否かを判定する。上記要件を満たす場合(YES側)には#107に処理が移行する。一方、上記要件を満たさない場合(NO側)には#108に処理が移行する。
Step # 106: The
ステップ#107:カメラマイコン16は、記録用の静止画の撮像処理を実行する。撮像部14は、カメラマイコン16の指示に応じて、記録用の静止画を撮像する。記録用の静止画のデータは、画像処理部22で所定の処理が施された後に、カメラマイコン16の制御によって、メディアI/F20に接続された記憶媒体25に記録される。その後、カメラマイコン16は、図2の流れ図の処理を終了する。
Step # 107: The
ステップ#108:カメラマイコン16は、被写体追尾モードの終了指示(例えば、動作モードの切り替えや、電源オフ操作など)を受け付けたか否かを判定する。上記要件を満たす場合(YES側)には、カメラマイコン16は図2の流れ図の処理を終了する。一方、上記要件を満たさない場合(NO側)には#109に処理が移行する。
Step # 108: The
ステップ#109:カメラマイコン16は、時系列に取得されるスルー画像のうち、被写体追尾の処理を行う判定フレームが撮像されたか否かを判定する。上記要件を満たす場合(YES側)には、#110に処理が移行する。一方、上記要件を満たさない場合(NO側)には、#106に戻って、カメラマイコン16は上記動作を繰り返す。なお、スルー画像のうち被写体追尾の処理を行う間隔(判定フレームのフレームレート)は、ユーザの設定操作などに応じてカメラマイコン16が適宜調整できる。
Step # 109: The
ステップ#110:画像処理部22は、判定フレームに公知の被写体抽出処理を施す。#110の処理は#102と共通するため、重複説明は省略する。
Step # 110: The
ステップ#111:被写体追尾部24は、追尾対象の特徴情報(#104)と、判定フレームの被写体の特徴情報とを対比して被写体のマッチング処理を実行する。上記のマッチング処理により、被写体追尾部24は、判定フレームから追尾対象を継続的に検出する。
Step # 111: The
ステップ#112:指定部23は、判定フレームにおいて追尾対象が第1領域の領域外に移動しているか否かを判定する。
Step # 112: The designating
上記要件を満たす場合(YES側)には#113に処理が移行する。なお、#112のYES側の場合、後述のいずれかの維持条件を満たすときには現在の追尾対象の指定がそのまま維持され、維持条件をいずれも満たさないときには新たな追尾対象が指定される。 If the above requirement is satisfied (YES side), the process proceeds to # 113. On the YES side of # 112, the current tracking target designation is maintained as it is when any maintenance condition described later is satisfied, and a new tracking target is designated when none of the maintenance conditions is met.
一方、上記要件を満たさない場合(NO側)には#115に処理が移行する。なお、#112のNO側の場合には、現在の追尾対象の指定がそのまま維持される。 On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 115. In the case of the NO side of # 112, the current tracking target designation is maintained as it is.
ステップ#113:指定部23は、維持条件の1つとして、追尾対象が第1領域の領域外に移動した時点から所定時間が経過しているか否かを判定する。例えば、追尾対象が第1領域の領域外に移動して2〜3秒経過したときに、指定部23は、上記の所定時間が経過したと判定する。
Step # 113: As one of the maintenance conditions, the
上記要件を満たす場合(YES側)には#114に処理が移行する。なお、#113のYES側の場合、他の維持条件を満たすときには現在の追尾対象の指定がそのまま維持され、他の維持条件を満たさないときには新たな追尾対象が指定される。 If the above requirement is satisfied (YES side), the process proceeds to # 114. On the YES side of # 113, the current tracking target designation is maintained as it is when other maintenance conditions are satisfied, and a new tracking target is designated when other maintenance conditions are not satisfied.
一方、上記要件を満たさない場合(NO側)には#115に処理が移行する。なお、#113のNO側の場合には、現在の追尾対象の指定がそのまま維持される。 On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 115. In the case of #NO on # 113, the current tracking target designation is maintained as it is.
ステップ#114:指定部23は、維持条件の1つとして、撮像画像の撮像範囲内に設定された追尾対象の非変更領域(第2領域とも称する)に、追尾対象が位置するか否かを判定する。
Step # 114: As one of the maintenance conditions, the
ここで、一の実施形態での第2領域は、第1領域よりも広い矩形状に形成されている(図3参照)。第2領域は、撮像画像上の基準点を中心として第1領域と同心状に配置され、撮像画像の撮像範囲において第2領域が第1領域を内包する。上記の第2領域は、追尾対象の変更の必要性を判定するための領域であって、第1領域よりも広く設定されている。追尾対象が第2領域の領域外に位置する場合、指定部23は追尾対象を変更する。しかし、追尾対象が第2領域内に位置する場合、指定部23は追尾対象を変更しない。なお、追尾対象に対してAFを可能とするため、第2領域は、撮像範囲内で焦点調節部15が焦点検出できる範囲と同じ範囲か、または撮像範囲内で焦点調節部15が焦点検出できる範囲よりも狭い範囲に設定されている。
Here, the second region in one embodiment is formed in a rectangular shape wider than the first region (see FIG. 3). The second area is arranged concentrically with the first area around the reference point on the captured image, and the second area includes the first area in the imaging range of the captured image. Said 2nd area | region is an area | region for determining the necessity for the change of a tracking object, Comprising: It is set wider than a 1st area | region. When the tracking target is located outside the second region, the
#114の上記要件を満たす場合(YES側)には#115に処理が移行する。一方、上記要件を満たさない場合(NO側)には#116に処理が移行する。 If the above requirement of # 114 is satisfied (YES side), the process proceeds to # 115. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 116.
ステップ#115:被写体追尾部24は、マッチング処理で求めた追尾対象の位置に応じて、追尾対象を変更せずに、焦点検出エリアの位置と、表示部19の被写体追尾マークの位置とをそれぞれ更新する。
Step # 115: The
その後、カメラマイコン16は#105に戻って上記動作を繰り返す。#110、#111、#112、#115から#105へのループにより、追尾対象の動きに合わせて焦点検出エリアの位置が変化することで、被写体追尾AFが行われる。
Thereafter, the
ステップ#116:指定部23は、第1領域に含まれる被写体のうちから新たな追尾対象を1つ指定する。これにより、追尾対象の被写体が変更される。なお、#116での指定部23は、#103の処理と同様に、第1領域内に複数の被写体が存在する場合、基準点との距離がより短い被写体を追尾対象に指定する。
Step # 116: The designating
#116は、現在の追尾対象が第2領域の領域外に移動してからある程度の時間が経過したケースに相当する。すなわち、#116のケースでは、追尾対象の位置が基準点から大きく離れた状態が継続しており、追尾対象の設定が適切ではない可能性が高い。そのため、#116での指定部23は追尾対象を変更することで、ユーザの撮影意図に沿った被写体追尾AFが実現される。
# 116 corresponds to a case where a certain amount of time has elapsed since the current tracking target has moved out of the second region. That is, in the case of # 116, the state in which the position of the tracking target is far away from the reference point continues, and there is a high possibility that the setting of the tracking target is not appropriate. For this reason, the
なお、#116のケースにおいて第1領域内に他の被写体が存在しない場合、指定部23は、以下の(1)〜(4)のいずれかの処理を実行すればよい。
In the case of # 116, when there is no other subject in the first area, the
(1)指定部23は、追尾対象を変更せず、現在の追尾対象をそのまま維持する。
(1) The
(2)指定部23は、第1領域の領域外に位置する被写体のうち、画像上で基準点からの距離が最も短い被写体を新たな追尾対象として指定する。
(2) The
(3)指定部23は、「追尾対象の被写体なし」と判定する。
(3) The
(4)指定部23は、撮像範囲に含まれる被写体のうち、顕著度が最も高い被写体を新たな追尾対象として指定する。例えば、指定部23は、判定フレームの顕著性マップを生成し、被写体の顕著度を求めればよい。ここで、顕著性マップは、人の知識や経験に寄らない汎用的な注視点を算出する手法である。顕著性マップでは、原画像にガウシアンフィルタを階層的に施し、階層間の差を取ることで周辺領域と性質の異なる領域を「顕著性が高い(注意を引く)領域」として抽出する。一例として、指定部23は、輝度、色、方位の各特徴から求められるマップを平均し、最終的な顕著性マップを算出してもよい。
(4) The
ステップ#117:指定部23は、#116で新たに指定した追尾対象の画像の特徴量を示す特徴情報を第1メモリ17に記録する。#117の処理は#104と共通するため、重複説明は省略する。
Step # 117: The
ステップ#118:被写体追尾部24は、#116で指定した新たな追尾対象の位置に応じて、焦点検出エリアの位置と、表示部19の被写体追尾マークの位置とをそれぞれ設定する。
Step # 118: The
その後、カメラマイコン16は#105に戻って上記動作を繰り返す。#116〜#118から#105へのループにより、維持条件を満たさない追尾対象の代わりに、より基準点に近い被写体を新たな追尾対象として被写体追尾AFが行われる。以上で、図2の説明を終了する。
Thereafter, the
以下、一の実施形態の被写体追尾モードでの作用効果を説明する。 Hereinafter, functions and effects in the subject tracking mode of the embodiment will be described.
一の実施形態の電子カメラ11は、基準点を中心として設定された第1領域内の被写体から追尾対象を指定する(#103)とともに、時系列に取得されるスルー画像から追尾対象の位置を継続的に検出して被写体追尾AFを実行する(#105、#110、#111、#112、#115)。そして、一の実施形態の電子カメラ11は、追尾対象が第1領域の領域外に移動したときでも、(a)所定時間が経過していない場合、または(b)第2領域内に追尾対象が位置する場合、には追尾対象の指定をそのまま維持する(#113、#114)。また、一の実施形態の電子カメラ11は、現在の追尾対象が上記(a)および(b)の維持条件を満たさないときに、新たな追尾対象を指定する(#116)。 The electronic camera 11 of one embodiment designates the tracking target from the subject in the first area set around the reference point (# 103) and determines the position of the tracking target from the through image acquired in time series. Continuously detecting and subject tracking AF is executed (# 105, # 110, # 111, # 112, # 115). In the electronic camera 11 according to one embodiment, even when the tracking target moves outside the first region, (a) when a predetermined time has not elapsed, or (b) the tracking target is within the second region. If is located, the designation of the tracking target is maintained as it is (# 113, # 114). Further, the electronic camera 11 of one embodiment designates a new tracking target when the current tracking target does not satisfy the maintenance conditions (a) and (b) (# 116).
例えば、図4〜図7を参照しつつ、それぞれ画面左側から画面右側に移動する被写体A,Bをフレーミングする場合を考える。時刻Tにおいて、先行する被写体Aが第1領域内に移動すると、被写体Aが追尾対象として指定される(図4)。その後、時刻T+1、T+2と時間が経過するにつれて、被写体Bは基準点に接近し、被写体Aは基準点から遠ざかる。しかし、時刻T+1、T+2では被写体Aが第2領域内にあるため、被写体Bと基準点との距離が被写体Aと基準点との距離よりも短くなっても、被写体Aが追尾対象としてそのまま維持される(図5,図6)。そして、時刻T+nにおいて、被写体Aが第2領域の領域外に移動して所定時間が経過した場合には、ユーザが被写体Aに注目していないと推定できるので、第1領域内の被写体Bが新たに追尾対象として指定される(図7)。 For example, consider the case of framing the subjects A and B moving from the left side of the screen to the right side of the screen with reference to FIGS. When the preceding subject A moves into the first area at time T, the subject A is designated as a tracking target (FIG. 4). Thereafter, the subject B approaches the reference point and the subject A moves away from the reference point as time T + 1, T + 2 elapses. However, since subject A is in the second region at times T + 1 and T + 2, even if the distance between subject B and the reference point is shorter than the distance between subject A and the reference point, subject A remains as a tracking target. (FIGS. 5 and 6). Then, at time T + n, when the subject A moves out of the second region and a predetermined time has elapsed, it can be estimated that the user is not paying attention to the subject A. Therefore, the subject B in the first region It is newly designated as a tracking target (FIG. 7).
また、別例として、ユーザが被写体Aに注目して撮影をしている途中で一瞬の手ぶれが生じたときを考える。上記の別例において、被写体Aが第2領域内に位置していれば追尾対象は被写体Aのままである。また、上記の別例で被写体Aが第2領域の領域外に移動した場合でも、所定時間内は被写体Aが追尾対象として維持される。 As another example, let us consider a case in which a camera shake occurs for a moment while the user is shooting while paying attention to the subject A. In the above example, if the subject A is located in the second area, the tracking target remains the subject A. Further, even when the subject A moves outside the second region in the above example, the subject A is maintained as a tracking target within a predetermined time.
以上のように、一の実施形態の電子カメラ11では、追尾対象が指定されると基準点との位置関係に拘わらず、維持条件を満たす場合には追尾対象が維持される。そのため、ユーザが注目する可能性の高い追尾対象を安定して追尾することができる。 As described above, in the electronic camera 11 of one embodiment, when a tracking target is specified, the tracking target is maintained when the maintenance condition is satisfied, regardless of the positional relationship with the reference point. Therefore, it is possible to stably track a tracking target that is likely to be noticed by the user.
また、一の実施形態の電子カメラ11は、装置の操作履歴(例えばジャイロセンサの出力等)を用いずに、撮像画像の情報だけで適切に追尾対象を設定できる。そのため、多様な電子カメラへ容易に実装することができる。また、一の実施形態の電子カメラ11は、例えば競馬中継などにおいてパンニングの途中で追尾対象を変更してフォーカスを合わせるというユーザの要望にも対応できる。 In addition, the electronic camera 11 according to the embodiment can appropriately set a tracking target only with information of a captured image without using an operation history of the apparatus (for example, an output of a gyro sensor). Therefore, it can be easily mounted on various electronic cameras. Moreover, the electronic camera 11 of one embodiment can also respond to a user's request to change the tracking target during panning, for example, in horse racing relaying, etc. to adjust the focus.
<一の実施形態の変形例1>
例えば、追尾対象の被写体が他の被写体と交錯する場合などで、追尾対象の被写体が一時的にロストする場合がある。かかる場合には、新たな追尾対象をすぐに指定すると、ユーザの意図しない被写体が追尾される可能性が高くなる。そのため、指定部23は、第2領域内で追尾対象が検出されず、所定時間内に第2領域内で追尾対象を再検出できたときには、追尾対象の指定を維持することが好ましい。これにより、ユーザの撮影意図により近い被写体追尾を実現できる。
<Modification 1 of one embodiment>
For example, the tracking target subject may be temporarily lost when the tracking target subject intersects with another subject. In such a case, if a new tracking target is immediately specified, there is a high possibility that a subject unintended by the user will be tracked. Therefore, the
<一の実施形態の変形例2>
上記の#113の処理において、指定部23は、追尾対象が第2領域の領域外に移動した時点から所定時間が経過しているか否かを判定してもよい。かかる場合には、例えば被写体の急な移動や手ぶれなどで、追尾対象が一時的に第2領域の外側に移動した状況においても追尾対象の指定をそのまま維持することができる。
<Modification 2 of one embodiment>
In the processing of # 113 described above, the
<一の実施形態の変形例3>
ズームレンズの焦点距離が大きいほど、手ぶれしたときの撮像範囲内での被写体の移動量(ぶれ幅)は相対的に大きくなる。かかる影響を考慮して、指定部23は、撮影光学系12(ズームレンズ)の焦点距離に応じて、第1領域および第2領域のサイズを可変させてもよい。例えば、指定部23は、撮像時のズームレンズの焦点距離が長いほど、第1領域および第2領域の大きさを大きくする。これにより、ズームレンズの焦点距離の違いによる手ぶれの振る舞いの影響を抑制できる。
<Modification 3 of one embodiment>
As the focal length of the zoom lens increases, the amount of movement (blur width) of the subject within the imaging range when the camera shakes is relatively large. In consideration of such influence, the
また、指定部23は、撮影光学系12(ズームレンズ)の焦点距離に応じて、維持条件の所定時間(第1領域または第2領域の領域外に移動してからの経過時間)を可変させてもよい。例えば、指定部23は、撮像時のズームレンズの焦点距離が長いほど、維持条件の所定時間を長く設定する。これにより、ズームレンズの焦点距離の違いによる手ぶれの振る舞いの影響を抑制できる。
In addition, the
<他の実施形態の説明>
図8は、他の実施形態での画像処理装置の構成例を示す図である。他の実施形態での画像処理装置は、撮像装置で撮像された動画像を取り込んで、被写体追尾処理を実行するプログラムがインストールされたコンピュータである。なお、他の実施形態では、動画編集時に追尾対象にあわせて画像のトリミングを行う例を説明する。
<Description of other embodiments>
FIG. 8 is a diagram illustrating a configuration example of an image processing apparatus according to another embodiment. An image processing apparatus according to another embodiment is a computer in which a program for capturing a moving image captured by an imaging apparatus and executing subject tracking processing is installed. In another embodiment, an example will be described in which an image is trimmed in accordance with a tracking target when editing a moving image.
図8に示すコンピュータ31は、データ読込部32、記憶装置33、CPU34、メモリ35および入出力I/F36、バス37を有している。データ読込部32、記憶装置33、CPU34、メモリ35および入出力I/F36は、バス37を介して相互に接続されている。さらに、コンピュータ31には、入出力I/F36を介して、入力デバイス38(キーボード、ポインティングデバイスなど)とモニタ39とがそれぞれ接続されている。なお、入出力I/F36は、入力デバイス38からの各種入力を受け付けるとともに、モニタ39に対して表示用のデータを出力する。
A
データ読込部32は、処理対象の画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部32は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)である。
The
記憶装置33は、例えば、不揮発性の半導体メモリや、ハードディスクなどの記憶媒体である。この記憶装置33には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置33には、データ読込部32から読み込んだ画像のデータなどを記憶しておくこともできる。
The
CPU34は、コンピュータ31の各部を統括的に制御するプロセッサである。このCPU34は、プログラムの実行によって、一の実施形態のカメラマイコン16、画像処理部22、指定部23、被写体追尾部24として機能する。
The
メモリ35は、プログラムでの各種演算結果を一時的に記憶する。このメモリ35は、例えば揮発性のSDRAMである。
The
次に、図9の流れ図を参照しつつ、他の実施形態の画像処理装置の動作例を説明する。図9の処理は、プログラムの実行指示に応じて開始される。 Next, an operation example of an image processing apparatus according to another embodiment will be described with reference to the flowchart of FIG. The process of FIG. 9 is started in response to a program execution instruction.
ステップ#201:CPU34は、撮像装置で撮像された処理対象の動画像を、データ読込部32から取得する。#201で取得された動画像のデータは、CPU34の制御によって、記憶装置33またはメモリ35に記録される。なお、動画像のデータが予め記憶装置33に記憶されている場合には、CPU34は#201の処理を省略してもよい。
Step # 201: The
ステップ#202:CPU34は、最初に処理される動画像のフレームに公知の被写体抽出処理を施す。#202の処理は、#102の処理に対応するため重複説明は省略する。
Step # 202: The
ステップ#203:CPU34は、抽出された被写体(#202)のうち、追尾対象となる被写体を1つ指定する。#203の処理は、#103の処理に対応するため重複説明は省略する。
Step # 203: The
ステップ#204:CPU34は、#203で指定した追尾対象の画像の特徴量を示す特徴情報をメモリ35に記録する。#204の処理は、#104の処理に対応するため重複説明は省略する。
Step # 204: The
ステップ#205:CPU34は、追尾対象の位置を基準として画像をトリミングする。例えば、CPU34は、トリミングする画像の重心が追尾対象の位置と一致するように、画像を矩形に切り出す。
Step # 205: The
ステップ#206:CPU34は、動画像の編集を終了するか否かを判定する。例えば、CPU34は、動画像の最終フレームまでトリミングが終了したか、あるいは動画像の編集終了指示を受け付けたときに、動画像の編集を終了すると判定する。上記要件を満たす場合(YES側)には、CPU34は図9の流れ図の処理を終了する。一方、上記要件を満たさない場合(NO側)には#207に処理が移行する。
Step # 206: The
ステップ#207:CPU34は、処理対象となる次のフレームを読み込むとともに、読み込んだフレームに被写体抽出処理(#202)を施す。
Step # 207: The
ステップ#208:CPU34は、追尾対象の特徴情報(#204)と、処理対象のフレームの被写体の特徴情報とを対比して被写体のマッチング処理を実行する。上記のマッチング処理により、CPU34は、処理対象のフレームから追尾対象を継続的に検出する。
Step # 208: The
ステップ#209:CPU34は、処理対象のフレームにおいて追尾対象が第1領域の領域外に移動しているか否かを判定する。
Step # 209: The
上記要件を満たす場合(YES側)には#210に処理が移行する。一方、上記要件を満たさない場合(NO側)には#212に処理が移行する。 If the above requirement is satisfied (YES side), the process proceeds to # 210. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 212.
ステップ#210:CPU34は、維持条件の1つとして、追尾対象が第1領域の領域外に移動した時点から所定時間が経過しているか否かを判定する。
Step # 210: As one of the maintenance conditions, the
上記要件を満たす場合(YES側)には#211に処理が移行する。一方、上記要件を満たさない場合(NO側)には#212に処理が移行する。 If the above requirement is satisfied (YES side), the process proceeds to # 211. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 212.
ステップ#211:CPU34は、維持条件の1つとして、第2領域に追尾対象が位置するか否かを判定する。#211の判定は、#114に対応するため重複説明を省略する。
Step # 211: The
上記要件を満たす場合(YES側)には#212に処理が移行する。一方、上記要件を満たさない場合(NO側)には#213に処理が移行する。 If the above requirement is satisfied (YES side), the process proceeds to # 212. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 213.
ステップ#212:CPU34は、マッチング処理の結果に基づいて、追尾対象は変更せずに、追尾対象の位置を更新する。その後、CPU34は#205に戻って上記動作を繰り返す。#207、#208、#209、#212から#205へのループにより、追尾対象の動きに合わせて画像をトリミングする位置が変化することとなる。
Step # 212: The
ステップ#213:CPU34は、第1領域に含まれる被写体のうちから新たな追尾対象を1つ指定する。これにより、被写体追尾処理の追尾対象が変更される。#213の処理は、#116の処理に対応するため重複説明は省略する。
Step # 213: The
ステップ#214:CPU34は、#213で新たに指定した追尾対象の画像の特徴量を示す特徴情報をメモリ35に記録する。#214の処理は、#104と共通するため、重複説明は省略する。
Step # 214: The
ステップ#215:CPU34は、#214の指定により、新たな追尾対象の位置を登録する。その後、CPU34は#205に戻って上記動作を繰り返す。#213〜#215から#205へのループにより、維持条件を満たさない追尾対象の代わりに、より基準点に近い被写体を新たな追尾対象として画像のトリミングが行われる。以上で、図9の説明を終了する。
Step # 215: The
かかる他の実施形態の被写体追尾処理においても、上記の一の実施形態で説明した被写体追尾の処理とほぼ同様の作用効果を得ることができる。 In the subject tracking process of the other embodiment, it is possible to obtain substantially the same operation and effect as the subject tracking process described in the above-described one embodiment.
<実施形態の補足事項>
(補足1):上記実施形態では、第1領域および第2領域が矩形である場合を説明した。しかし、本発明において、第1領域および第2領域は、基準点を中心とする円形または楕円形などであってもよい。
<Supplementary items of the embodiment>
(Supplement 1): In the above embodiment, the case where the first area and the second area are rectangular has been described. However, in the present invention, the first region and the second region may be circular or elliptical with the reference point as the center.
(補足2):上記実施形態では、追尾対象の指定を維持する維持条件として、(a)所定時間が経過していない場合、または(b)第2領域内に追尾対象が位置する場合、の2つを併用する場合を説明した。しかし、いずれか一方の維持条件のみを適用するようにしてもよい。また、上記実施形態において、#113の処理と#114の処理、あるいは#210の処理と#211の処理の順序を入れ替えてもよい。この場合、#113あるいは#210の処理においては、追尾対象が第1領域、あるいは第2領域外に移動した時点から所定時間が経過しているか否かを判定することができる。 (Supplement 2): In the above embodiment, as the maintenance condition for maintaining the designation of the tracking target, (a) when a predetermined time has not elapsed, or (b) when the tracking target is located in the second region, The case where two are used together has been described. However, only one of the maintenance conditions may be applied. In the above-described embodiment, the order of the processes of # 113 and # 114, or the processes of # 210 and # 211 may be switched. In this case, in the process of # 113 or # 210, it can be determined whether or not a predetermined time has elapsed since the tracking target moved to the first area or the second area.
(補足3):上記の一の実施形態では、スルー画像を用いて被写体追尾処理を行う例を説明した。しかし、本発明の撮像装置は、動画撮影時において、記録用の動画像のデータを用いて被写体追尾処理を行うものでもよい。 (Supplement 3): In the above-described one embodiment, the example in which the subject tracking process is performed using the through image has been described. However, the imaging apparatus of the present invention may perform subject tracking processing using moving image data for recording during moving image shooting.
(補足4):上記の一の実施形態では、被写体追尾AFを行う電子カメラの例を説明した。しかし、本発明の撮像装置は、追尾対象の位置でスポットAE(自動露出)を行うものであってもよい。 (Supplement 4): In the above-described one embodiment, the example of the electronic camera that performs subject tracking AF has been described. However, the imaging apparatus of the present invention may perform spot AE (automatic exposure) at the position of the tracking target.
(補足5):一の実施形態では、レンズ一体型の電子カメラの構成例を説明したが、本発明はレンズ交換式の電子カメラにも適用することができる。また、本発明の撮像装置は、スマートフォンなどの携帯型電子機器に実装されるカメラモジュールであってもよい。 (Supplement 5): In one embodiment, the configuration example of the lens-integrated electronic camera has been described. However, the present invention can also be applied to a lens interchangeable electronic camera. Moreover, the camera module mounted in portable electronic devices, such as a smart phone, may be sufficient as the imaging device of this invention.
(補足6)上記の他の実施形態では、画像処理装置がパーソナルコンピュータである場合を説明した。しかし、本発明の画像処理装置は、例えば、フォトビューアーなどの電子機器であってもよい。 (Supplement 6) In the other embodiments described above, the case where the image processing apparatus is a personal computer has been described. However, the image processing apparatus of the present invention may be an electronic device such as a photo viewer, for example.
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.
11…電子カメラ、12…撮影光学系、13…光学系駆動部、14…撮像部、15…焦点調節部、16…カメラマイコン、17…第1メモリ、18…第2メモリ、19…表示部、20…メディアI/F、21…操作部、22…画像処理部、23…指定部、24…被写体追尾部、25…記憶媒体、31…コンピュータ、32…データ読込部、33…記憶装置、34…CPU、35…メモリ、36…入出力I/F、37…バス、38…入力デバイス、39…モニタ
DESCRIPTION OF SYMBOLS 11 ... Electronic camera, 12 ... Shooting optical system, 13 ... Optical system drive part, 14 ... Imaging part, 15 ... Focus adjustment part, 16 ... Camera microcomputer, 17 ... 1st memory, 18 ... 2nd memory, 19 ... Display part 20 ... media I / F, 21 ... operation unit, 22 ... image processing unit, 23 ... specifying unit, 24 ... subject tracking unit, 25 ... storage medium, 31 ... computer, 32 ... data reading unit, 33 ... storage device, 34 ... CPU, 35 ... memory, 36 ... input / output I / F, 37 ... bus, 38 ... input device, 39 ... monitor
Claims (9)
前記撮像画像上に設定された第1領域に含まれる被写体のうちから追尾対象を指定する指定部と
前記追尾対象を前記複数の撮像画像から検出する被写体追尾部と、を備え、
前記指定部は、前記追尾対象が前記第1領域の領域外に移動し、前記第1領域を内包する第2領域内の場合は前記追尾対象の指定を維持し、前記第2領域の領域外に前記追尾対象が移動すると、前記第1領域に含まれる被写体のうちから新たな追尾対象を指定する画像処理装置。 An acquisition unit that acquires a captured image of multiple,
And a subject tracking unit and the specified portion of the tracking target to detect et al or the plurality of captured images that specify et additionally tail target among the subjects contained in the first area set on the captured image,
The specification unit maintains the specification of the tracking target when the tracking target moves outside the area of the first area and is within the second area including the first area, and is outside the area of the second area. An image processing apparatus for designating a new tracking target from among subjects included in the first area when the tracking target is moved .
前記指定部は、前記撮像画像を撮像したときの光学系の焦点距離が長いほど、前記第1領域または前記第2領域の大きさを大きくする画像処理装置。 The image processing apparatus according to claim 1 .
The designation unit is an image processing device that increases the size of the first region or the second region as the focal length of the optical system when the captured image is captured is longer.
前記追尾対象の位置に対応する焦点検出エリアの情報を用いて、前記撮像画像を撮像する光学系の焦点調節を行う焦点調節部をさらに備え、
前記第1領域は、前記焦点調節部が焦点検出できる範囲よりも狭い範囲に設定され、
前記第2領域は、前記焦点調節部が焦点検出できる範囲と同じ範囲または前記焦点調節部が焦点検出できる範囲よりも狭い範囲に設定される画像処理装置。 The image processing apparatus according to claim 1 or 2 ,
Using a focus detection area information corresponding to the position of the tracking target, further comprising a focus adjustment unit that performs focus adjustment of an optical system that captures the captured image;
The first region is set to a range narrower than a range in which the focus adjustment unit can detect a focus,
The image processing apparatus in which the second region is set to a range that is the same as a range in which the focus adjustment unit can detect a focus or a range that is narrower than a range in which the focus adjustment unit can detect a focus.
前記指定部は、前記第2領域内で前記追尾対象が検出されず、所定時間内に前記第2領域内で前記追尾対象を再検出できたときには、前記追尾対象の指定を維持する画像処理装置。 The image processing apparatus according to any one of claims 1 to 3 ,
The designation unit maintains the designation of the tracking target when the tracking target is not detected in the second area and the tracking target can be re-detected in the second area within a predetermined time. .
前記指定部は、前記追尾対象が前記第1領域の領域外に移動した時点から所定時間が経過した後に、前記第1領域に含まれる被写体のうちから新たな追尾対象を指定する画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
The specifying unit is an image processing apparatus that specifies a new tracking target from among subjects included in the first area after a predetermined time has elapsed since the tracking target moved out of the first area.
前記指定部は、前記追尾対象が前記第2領域の領域外に移動した時点から所定時間が経過した後に、前記第1領域に含まれる被写体のうちから新たな追尾対象を指定する画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
The designation unit is an image processing apparatus that designates a new tracking target from among subjects included in the first area after a predetermined time has elapsed since the tracking target moved out of the second area.
前記指定部は、前記撮像画像を撮像したときの光学系の焦点距離が長いほど、前記所定時間を長く設定する画像処理装置。 The image processing apparatus according to claim 5 or 6 ,
The said designation | designated part is an image processing apparatus which sets the said predetermined time long, so that the focal distance of the optical system when the said captured image is imaged is long.
請求項1から請求項7のいずれか1項の画像処理装置と、を備える撮像装置。 An imaging unit that captures a captured image;
An imaging device and an image processing apparatus according to any one of claims 1 to 7.
前記撮像画像上に設定された第1領域に含まれる被写体のうちから追尾対象を指定する指定処理と
前記追尾対象を前記複数の撮像画像から検出する被写体追尾処理と、をコンピュータに実行させ、
前記指定処理では、前記追尾対象が前記第1領域の領域外に移動し、前記第1領域を内包する第2領域内の場合は前記追尾対象を維持し、前記第2領域の領域外に前記追尾対象が移動すると、前記第1領域に含まれる被写体のうちから新たな追尾対象を指定するプログラム。 A process of acquiring the captured image of multiple,
A subject tracking process, to the computer to do we specify processing to detect et al or the plurality of captured images the tracking target to specify the add tail object of the subject included in the first area set on the captured image Let it run
In the specifying process, the tracking target moves outside the area of the first area, and if the tracking target is within the second area including the first area, the tracking target is maintained, and the tracking target is outside the area of the second area. A program for designating a new tracking target from among subjects included in the first area when the tracking target moves .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013137154A JP6212991B2 (en) | 2013-06-28 | 2013-06-28 | Image processing apparatus, imaging apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013137154A JP6212991B2 (en) | 2013-06-28 | 2013-06-28 | Image processing apparatus, imaging apparatus, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017181491A Division JP2018007272A (en) | 2017-09-21 | 2017-09-21 | Image processing apparatus, imaging apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015012493A JP2015012493A (en) | 2015-01-19 |
JP6212991B2 true JP6212991B2 (en) | 2017-10-18 |
Family
ID=52305274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013137154A Active JP6212991B2 (en) | 2013-06-28 | 2013-06-28 | Image processing apparatus, imaging apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6212991B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11956530B2 (en) | 2020-04-17 | 2024-04-09 | Samsung Electronics Co., Ltd. | Electronic device comprising multi-camera, and photographing method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7044594B2 (en) * | 2018-03-09 | 2022-03-30 | Necプラットフォームズ株式会社 | Irradiation target determination device, lighting control system, method and program |
JP2020122906A (en) * | 2019-01-31 | 2020-08-13 | キヤノン株式会社 | Focus detection device, imaging apparatus, and focus detection method |
JP7271276B2 (en) * | 2019-04-09 | 2023-05-11 | キヤノン株式会社 | Display control device, display control method, and program |
JP2022022767A (en) | 2020-07-06 | 2022-02-07 | キヤノン株式会社 | Subject tracking device and subject tracking method, and imaging apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103261939B (en) * | 2010-12-09 | 2015-08-26 | 富士胶片株式会社 | Imaging device and main photography target recognition methods |
JP5836761B2 (en) * | 2011-11-04 | 2015-12-24 | キヤノン株式会社 | Focus adjustment apparatus and control method thereof |
-
2013
- 2013-06-28 JP JP2013137154A patent/JP6212991B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11956530B2 (en) | 2020-04-17 | 2024-04-09 | Samsung Electronics Co., Ltd. | Electronic device comprising multi-camera, and photographing method |
Also Published As
Publication number | Publication date |
---|---|
JP2015012493A (en) | 2015-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI419552B (en) | Imaging apparatus, subject tracking method and storage medium | |
US8988529B2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
US10659676B2 (en) | Method and apparatus for tracking a moving subject image based on reliability of the tracking state | |
JP4182117B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
US9160922B2 (en) | Subject detection device and control method for the same, imaging apparatus, and storage medium | |
JP6212991B2 (en) | Image processing apparatus, imaging apparatus, and program | |
US9380206B2 (en) | Image processing apparatus that combines images | |
US10516823B2 (en) | Camera with movement detection | |
JP5115210B2 (en) | Imaging device | |
JP2018050146A (en) | Search device, imaging device thereof, and search method | |
JP2018525853A (en) | Smart image sensor with integrated memory and processor | |
JP2016201662A (en) | Imaging apparatus and control method for the same | |
JP2009141475A (en) | Camera | |
JP2009111716A (en) | Imaging apparatus, program and template generating method | |
JP2018007272A (en) | Image processing apparatus, imaging apparatus, and program | |
JP5949559B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5217451B2 (en) | Imaging device | |
JP2008288797A (en) | Imaging apparatus | |
JP4807582B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
JP2011035634A (en) | Image processor and method | |
JP6330283B2 (en) | Subject tracking device, imaging device, and subject tracking program | |
JP6493746B2 (en) | Image tracking device and image tracking method | |
US20230342946A1 (en) | Image processing apparatus and image processing method | |
WO2022227040A1 (en) | Video stability augmentation method, imaging apparatus, handheld gimbal, movable platform and storage medium | |
JP5948779B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170323 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170323 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6212991 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |