JP5278483B2 - Imaging apparatus, imaging method, and imaging program - Google Patents
Imaging apparatus, imaging method, and imaging program Download PDFInfo
- Publication number
- JP5278483B2 JP5278483B2 JP2011094000A JP2011094000A JP5278483B2 JP 5278483 B2 JP5278483 B2 JP 5278483B2 JP 2011094000 A JP2011094000 A JP 2011094000A JP 2011094000 A JP2011094000 A JP 2011094000A JP 5278483 B2 JP5278483 B2 JP 5278483B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel area
- comparison
- pixel region
- comparison pixel
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像装置、撮像方法及び撮像プログラムに関し、たとえば、電子ファインダを備えたデジタルカメラ等に適用して好適な撮像装置、撮像方法及び撮像プログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and an imaging program. For example, the present invention relates to an imaging apparatus, an imaging method, and an imaging program that are suitable for application to a digital camera or the like equipped with an electronic viewfinder.
デジタルカメラの多くは、液晶ディスプレイなどの電子ファインダを備えている。かかるデジタルカメラにおいては、CCD等の撮像素子から周期的に出力されるフレーム画像(いわゆるスルー画像)が電子ファインダに写し出されるので、撮影者は、そのスルー画像を見ながら、構図を調節したりズーム倍率を調節したりできるようになっている。 Many digital cameras have an electronic viewfinder such as a liquid crystal display. In such a digital camera, a frame image (so-called through image) periodically output from an image sensor such as a CCD is displayed on an electronic viewfinder, so that a photographer can adjust the composition or zoom while viewing the through image. You can adjust the magnification.
一方、今日のデジタルカメラに搭載されている撮像素子の画素数は増加の一途を辿っており、機種によってはギガレベルの画素数を持つものも出現しているが、たとえば、パソコンのディスプレイで鑑賞するには、VGA(640×480画素)やXGA(1024×768画素)程度の画素数でも充分であることから、所望により、フルサイズ画像の画素を間引いて縮小したり、又は、フルサイズ画像の所望部分を切り出してトリミングしたりして、必要充分な画素数の画像(したがって、ファイルサイズの小さな画像)を生成し、その画像を半導体メモリ等の記憶要素に保存したり、パソコン等に出力したりできるようになっている。 On the other hand, the number of pixels of image sensors mounted on today's digital cameras has been increasing, and some models with giga-level pixels have appeared. Therefore, the number of pixels of about VGA (640 × 480 pixels) or XGA (1024 × 768 pixels) is sufficient, so if desired, the pixels of the full-size image can be reduced or reduced. Cut out and trim the desired part to generate an image with the necessary and sufficient number of pixels (and therefore an image with a small file size), save the image in a storage element such as a semiconductor memory, or output it to a personal computer You can also.
さて、上記のトリミングの方法としては、たとえば、電子ファインダ上のスルー画像に、トリミング用の参照枠(以下、トリミング枠;図2のトリミング枠25参照)を重畳表示し、そのトリミング枠内に被写体が入るようにカメラの向きを調節した後、シャッタボタンを全押しして、そのトリミング枠内の画像を半導体メモリ等の記憶要素に保存格納することが考えられる。
As the above trimming method, for example, a trimming reference frame (hereinafter referred to as a trimming frame; see the
しかしながら、かかるトリミング方法は、トリミング枠に被写体を入れる操作が必要であり、とりわけ、子供のように動き回る被写体に対しては使い勝手が悪いという不都合がある。その理由は、トリミング枠の大きさが電子ファインダの画面サイズに比べて数分の1程度に小さいからであり、この小さなトリミング枠に、動き回る被写体を入れ続けるのが相当困難であるからである。 However, such a trimming method requires an operation of placing a subject in a trimming frame, and is particularly inconvenient for a subject that moves around like a child. The reason is that the size of the trimming frame is about a fraction of the screen size of the electronic viewfinder, and it is quite difficult to keep moving subjects in this small trimming frame.
そこで、被写体の動きに合わせてトリミング枠を動かすこと、つまり、「追従トリミング撮影」が考えられる。このためには、たとえば、シャッタボタン半押し時に表示されるピント合わせ指標(いわゆる合焦マーク;図2の合焦マーク22参照)内の合焦部分(ピントが合った被写体の一部)が常にトリミング枠の中央に位置するように、電子ファインダ上のトリミング枠の位置を追従制御すればよい。
Therefore, moving the trimming frame in accordance with the movement of the subject, that is, “following trimming shooting” can be considered. For this purpose, for example, the in-focus portion (a part of the in-focus subject) in the focus index (so-called focus mark; see the
このことを実際の撮影状況で説明すると、撮影者は、まず、カメラの「追従トリミング撮影」の機能をオンにし、そのカメラを動き回る被写体に向けて構える。このとき、電子ファインダの中央には合焦マークが表示されている。次いで、シャッタボタンを半押しすると、合焦マークの周囲にトリミング枠が表示され、同時に、合焦マーク内の被写体の一部にピントが合うので、被写体が静止している場合には、そのままシャッタボタンを全押しすればよく、一方、被写体が動いている場合には、「追従トリミング撮影」の機能により、被写体の動きに追従して合焦マークとトリミング枠が一緒に移動するので、所望のタイミングでシャッタボタンを全押しすればよい。このように、被写体の静止/移動にかかわらず、いずれの場合にも、適切な構図のトリミング画像を得ることができる。 To explain this in the actual shooting situation, the photographer first turns on the “tracking trimming shooting” function of the camera and holds the camera toward the moving subject. At this time, an in-focus mark is displayed at the center of the electronic viewfinder. Next, when the shutter button is pressed halfway, a trimming frame is displayed around the focus mark, and at the same time, a part of the subject within the focus mark is focused. When the subject is moving, the focus tracking and trimming frame move together following the subject's movement using the “following trimming shooting” function. The shutter button may be fully pressed at the timing. In this way, a trimmed image with an appropriate composition can be obtained in any case regardless of whether the subject is stationary or moving.
ところで、上記の「追従トリミング撮影」の機能を実現するためには、スルー画像(撮像素子から周期的に出力されるフレーム画像)の注目画素領域(上記の合焦部分又はそれに相当する部分)を各フレーム画像にわたって自動追尾(自動追従)する必要がある。この自動追尾に適用可能な従来技術としては、たとえば、下記の特許文献1に記載されているような、テンプレートマッチング(ブロックマッチングともいう)を用いた技術がある。
By the way, in order to realize the function of the “following trimming photographing”, the target pixel region (the in-focus portion or the portion corresponding thereto) of the through image (the frame image periodically output from the image sensor) is obtained. It is necessary to perform automatic tracking (automatic tracking) over each frame image. As a conventional technique applicable to this automatic tracking, for example, there is a technique using template matching (also referred to as block matching) as described in
この技術では、前フレーム画像から切り出されたテンプレート(上記の注目画素領域に相当)に類似する小画像領域を現フレーム画像から探索すると共に、探索された小画像領域のうち最も類似度が高いものを追尾対象領域として特定し、この動作を、連続するフレーム画像間でテンプレートを逐次更新しながら繰り返していくというものである。なお、テンプレートは8×8画素程度のブロック(画素の集まり)であることから、テンプレートマッチングはブロックマッチングとも呼ばれる。 In this technique, a small image area similar to a template cut out from the previous frame image (corresponding to the above noted pixel area) is searched from the current frame image, and the highest similarity among the searched small image areas Is identified as a tracking target region, and this operation is repeated while sequentially updating the template between successive frame images. Since the template is a block (collection of pixels) of about 8 × 8 pixels, template matching is also called block matching.
この従来技術における小画像領域の探索の仕方は、テンプレートを1画素ずつずらしながら現フレーム画像に重ね合わせて、テンプレートと同じ大きさの小画像領域内の各画素ごとに、輝度値の差の絶対値を合計して一致の程度を表す結果スコアを求めるというものであり、この結果スコアは、一致度が高いほどスコア値が小さくなり、完全一致の場合は0となるようになっており、したがって、上記の従来技術では、スコア値が最小(0又は0に限りなく近い)の小画像領域を追尾するように動作するというものである。 In this conventional technique, the small image area is searched by superimposing the template on the current frame image while shifting the pixel one pixel at a time, and calculating the absolute value of the difference in luminance value for each pixel in the small image area having the same size as the template. The result score that represents the degree of matching is obtained by summing the values. The score of the result is smaller as the degree of matching is higher, and is 0 in the case of perfect matching. In the above-described conventional technique, the operation is performed so as to track the small image area having the minimum score value (0 or close to 0 as much as possible).
しかしながら、上記従来技術は、スコア値が最小の小画像領域を追尾するように動作するが、その追尾性能は充分でなく、しばしば間違った小画像領域を追尾してしまうという問題点がある。たとえば、撮影構図内に複数の動く被写体が存在しているとき、そのうちの一つの被写体(以下、真被写体)を追尾しようとする場合に、真被写体の追尾途中に他の被写体(以下、偽被写体)を間違って追尾してしまうことがある。これは、状況によって、「真被写体のスコア値>偽被写体のスコア値」の関係、つまり、偽被写体のスコア値が、真被写体のスコア値よりも小さくなってしまうことがあり得るからである。 However, the above-described conventional technique operates to track a small image area having the smallest score value, but the tracking performance is not sufficient, and there is a problem in that the wrong small image area is often tracked. For example, when there are multiple moving subjects in the shooting composition, when trying to track one of those subjects (hereinafter referred to as a true subject), another subject (hereinafter referred to as a false subject) is being tracked during the tracking of the true subject. ) May be tracked incorrectly. This is because the “true subject score value> fake subject score value” relationship, that is, the false subject score value may be smaller than the true subject score value depending on the situation.
そこで、本発明の目的は、ブロックマッチングによる被写体追従の追従精度を向上することにあり、詳しくは、似たような動きの領域が存在した場合であっても、当初に設定した真の領域を正確に追尾し続けることができる撮像装置、撮像方法及び撮像プログラムを提供することにある。 Therefore, an object of the present invention is to improve the tracking accuracy of subject tracking by block matching. Specifically, even if a similar motion region exists, the true region set at the beginning is determined. It is an object to provide an imaging apparatus, an imaging method, and an imaging program that can keep tracking accurately.
請求項1記載の発明は、順次取得されるフレーム画像に基づいたブロックマッチングにより被写体追従する被写体追従手段を備えた撮像装置であって、前記被写体追従手段は、所定のフレーム画像から第一注目画素領域および第二注目画素領域を抽出する注目画素領域抽出手段と、前記注目画素領域抽出手段により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を自動的に設定する探索範囲設定手段と、前記探索範囲設定手段により設定された探索範囲内から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、前記比較画素領域抽出手段により抽出された各比較画素領域と、前記注目画素領域抽出手段により抽出された第二注目画素領域との、画像内容の類似度を表す相関度を導出する相関度導出手段と、前記相関度導出手段により導出された相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、を備え、前記注目画素領域抽出手段は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第一注目画素領域として抽出するとともに、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第二注目画素領域として抽出することを特徴とする撮像装置である。
請求項2記載の発明は、順次取得されるフレーム画像に基づいたブロックマッチングにより被写体追従する被写体追従工程を含む撮像方法であって、前記被写体追従工程は、所定のフレーム画像から第一注目画素領域および第二注目画素領域を抽出する注目画素領域抽出工程と、前記注目画素領域抽出工程により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出する位置導出工程と、前記位置導出工程により導出された位置に基づいて、現フレーム画像における探索範囲を自動的に設定する探索範囲設定工程と、前記探索範囲設定工程により設定された探索範囲内から、順次、所定の比較画素領域を抽出する比較画素領域抽出工程と、前記比較画素領域抽出工程により抽出された各比較画素領域と、前記注目画素領域抽出工程により抽出された第二注目画素領域との、画像内容の類似度を表す相関度を導出する相関度導出工程と、前記相関度導出工程により導出された相関度に基づいて、前記比較画素領域抽出工程により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択工程と、を含み、前記注目画素領域抽出工程は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択工程により選択された比較画素領域を新たな第一注目画素領域として抽出するとともに、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択工程により選択された比較画素領域を新たな第二注目画素領域として抽出することを特徴とする撮像方法である。
請求項3記載の発明は、順次取得されるフレーム画像に基づいたブロックマッチングにより被写体追従する被写体追従手段をコンピュータに実現させるための撮像プログラムであって、前記被写体追従手段は、所定のフレーム画像から第一注目画素領域および第二注目画素領域を抽出する注目画素領域抽出手段と、前記注目画素領域抽出手段により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を自動的に設定する探索範囲設定手段と、前記探索範囲設定手段により設定された探索範囲内から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、前記比較画素領域抽出手段により抽出された各比較画素領域と、前記注目画素領域抽出手段により抽出された第二注目画素領域との、画像内容の類似度を表す相関度を導出する相関度導出手段と、前記相関度導出手段により導出された相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、を備え、前記注目画素領域抽出手段は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第一注目画素領域として抽出するとともに、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第二注目画素領域として抽出することを特徴とする撮像プログラムである。
The invention according to
The invention according to
The invention according to
本発明では、探索範囲において、比較画素領域の追尾を中央重点で行うことができるようになる。その結果、探索範囲の中央付近に位置する真の被写体のみを追尾でき、とりわけ、動きの少ない被写体の追尾性能を向上することができる。また、相関度の差分が少なく、明確な結果が得られない複数の追尾対象候補ブロックについても、探索範囲中央のブロックを優先して追尾することができるようになり、特徴の少ない被写体の追尾性能を向上することができる。 In the present invention, tracking of the comparison pixel region can be performed with a center weight in the search range. As a result, only a true subject located near the center of the search range can be tracked, and in particular, the tracking performance of a subject with little movement can be improved. In addition, even for multiple tracking target candidate blocks with little difference in correlation and for which clear results cannot be obtained, tracking in the center of the search range can be performed preferentially, and tracking performance of subjects with few features Can be improved.
以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等(以下「周知事項」)についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。 Embodiments of the present invention will be described below with reference to the drawings. It should be noted that the specific details or examples in the following description and the illustrations of numerical values, character strings, and other symbols are only for reference in order to clarify the idea of the present invention, and the present invention may be used in whole or in part. Obviously, the idea of the invention is not limited. In addition, a well-known technique, a well-known procedure, a well-known architecture, a well-known circuit configuration, and the like (hereinafter, “well-known matter”) are not described in detail, but this is also to simplify the description. Not all or part of the matter is intentionally excluded. Such well-known matters are known to those skilled in the art at the time of filing of the present invention, and are naturally included in the following description.
図1は、実施形態に係る撮像装置の構成図である。この図において、撮像装置1は、光学系2、撮像素子3、画像処理部4、画像バッファ5、制御部6、操作部7、電子ファインダ8、記憶部9及び電源部10などを備える。
FIG. 1 is a configuration diagram of an imaging apparatus according to the embodiment. In this figure, an
光学系2は、固定焦点レンズ又は可変焦点レンズ(いわゆるズームレンズ)で構成された光学レンズを含み、可変開口絞り機構を介して取り込まれた被写体の光学像を撮像素子3の受光面上に結像させる。
The
撮像素子3は、CCDやCMOSなどの半導体二次元イメージセンサであり、受光面上に結像した被写体像を光電変換する。この撮像素子3は、y軸方向(縦方向)とx軸方向(横方向)にマトリクス配列された多数の光電変換素子(画素ともいう)からなり、各画素の信号を1水平ラインごとに線順次で出力することにより、1フレームあたりyライン×x画素の画像信号を毎秒数十フレーム(一般的に毎秒30フレーム)の周期で出力する。
The
画像処理部4は、撮像素子3から出力された画像信号に対してガンマ補正等の画像処理を施し、現フレーム画像として画像バッファ5及び制御部6に出力する。
The
画像バッファ5は、画像処理部4から出力される現フレーム画像を1フレーム周期遅延させて前フレーム画像とし、その前フレーム画像を制御部6に出力する。
The
制御部6は、RAM6aやROM6b及びCPU6cなどからなるワンチップマイクロプロセッサであり、ROM6bに予め格納されている制御プログラムをRAM6aにロードしてCPU6cで実行することにより、撮像装置1の動作を統括制御する。
The
操作部7は、撮像装置1の操作に必要な各種ボタン類、たとえば、シャッタボタン7aやトリミング撮影ボタン7bなどを含み、それらのボタン操作に対応した信号を発生して制御部6に出力する。
The
電子ファインダ8は、数インチ程度の液晶ディスプレイパネル等からなる平面表示装置であり、この電子ファインダ8は、撮像装置1をデジタルカメラとして使用するときに構図調整のためのファインダとして用いられる。
The
記憶部9は、撮影済み画像を記憶保存するための記憶要素であり、たとえば、大容量の不揮発性半導体記憶装置や磁気記憶装置などから構成される。
The
電源部10は、一次電池や二次電池からなり、制御部6を含む撮像装置1の各部に所要の電源を供給する。
The
なお、以上説明した撮像装置1の構成はデジタルカメラのものであるが、これに限定されず、たとえば、カメラ付き携帯電話機やカメラ付き情報端末などのように、撮像機能を有する各種の携帯型電子機器であれば適用することができる。
Note that the configuration of the
図2は、撮像装置1の利用状態図である。この図において、(a)は通常の撮影(ノーマル撮影)状態を示し、(b)及び(c)はトリミング撮影状態を示している。また、(b)のトリミング撮影は被写体静止のときのものを示し、(c)のトリミング撮影は被写体移動のときのものを示している。
FIG. 2 is a usage state diagram of the
まず、ノーマル撮影を説明する。ここで、ノーマル撮影とは、静止した被写体を撮影する、たとえば、通常のポートレート撮影のことをいう。この場合、撮影者は、(a)に示すように、ファインダ画面21の中央に位置する合焦マーク22に被写体23を合わせてシャッターボタンを半押しし、被写体23にピントを合わせてから、シャッターボタンを全押しする。これにより、ファインダ画面21の全体に対応した画像24を撮影して、記憶部9に記録保存できる。
First, normal shooting will be described. Here, normal shooting refers to shooting a stationary subject, for example, normal portrait shooting. In this case, the photographer places the subject 23 on the
次に、トリミング撮影を説明する。本実施形態におけるトリミング撮影は、二つのケースに分けられる。一のケースは被写体が静止している場合であり、二のケースは被写体が動いてる(移動している)場合である。いずれのケースであっても、操作部7のトリミング撮影ボタン7bを押し下げ操作することにより、このトリミング撮影機能をオンにすることができる。撮影者は、これら二つのケースを意識して区別する必要はない。
Next, trimming photography will be described. Trimming photography in this embodiment is divided into two cases. One case is when the subject is stationary, and the second case is when the subject is moving (moving). In any case, the trimming photographing function can be turned on by depressing the
被写体静止のトリミング撮影の場合、撮影者は、(b)に示すように、ファインダ画面21の中央に位置する合焦マーク22に被写体23を合わせてシャッターボタンを半押しし、被写体23にピントを合わせてから、シャッターボタンを全押しする。操作自体はノーマル撮影と何ら変わらない。違いは、記憶部9に記録保存される画像26が、ファインダ画面21の全体ではなく、所定サイズのトリミング枠25に限られる点にある。すなわち、ファインダ画面21の一部を“トリミング”した画像26が記憶部9に記録保存される点にある。
In the case of the subject stationary trimming shooting, as shown in (b), the photographer places the subject 23 on the in-
かかるトリミング撮影において、もし、トリミング枠25が固定であったならば、とりわけ、子供のように動き回る被写体の場合、撮影方向を常に被写体に向け続けるのは相当困難であるし、カメラブレの心配もある。本実施形態の追随トリミング撮影機能(図2(c))は、こうした不都合を解消するためのものである。
In such trimming photography, if the trimming
すなわち、ファインダ画面21に映ってさえいれば、撮影方向を変えることなく、被写体23の動きに追従してトリミング枠25を自動的に移動させることができ、所望のタイミングでシャッターボタンを全押しするだけで、ファインダ画面21の一部を“トリミング”した画像27を記憶部9に記録保存できるようにしたものである。
That is, as long as it is displayed on the
図3は、本実施形態の追随トリミング撮影機能における被写体自動追尾の概念図である。なお、この概念図は、制御部6においてソフト的に実行される制御機能を模式化して示すものである。
FIG. 3 is a conceptual diagram of subject automatic tracking in the following trimming photographing function of the present embodiment. This conceptual diagram schematically shows a control function that is executed in software by the
この図において、参照フレーム画像12は、画像バッファ5から取り込まれた所定フレーム画像であり、この所定フレーム画像は、前記のトリミング撮影(図2(b)、(c))の開始時(すなわち、シャッターボタンの半押し直後)に画像バッファ5に取り込まれたフレーム画像のことである。参照フレーム画像12のほぼ中央には被写体13が映っており、この被写体13は、たとえば、動き回る子供である。
In this figure, a
一方、参照フレーム画像12の下方に描かれている複数のフレーム画像16、17、18・・・・は、上記の参照フレーム画像12の後に続いて画像処理部4から順次に出力されるフレーム画像であり、各々のフレーム画像16、17、18・・・・は、それぞれの出力時点における最新の現フレーム画像である。また、フレーム画像17が最新の現フレーム画像として出力されたときには、前記フレーム画像16が参照フレーム画像として、そして、フレーム画像18が最新の現フレーム画像として出力されたときには、前記フレーム画像17が参照フレーム画像として更新されるものとする。
On the other hand, a plurality of
フレーム画像16、17、18・・・・には、参照フレーム画像12の被写体13と同一の被写体19が映っており(ただし、図示の都合上、最上面のフレーム画像16のものしか示していない)、上記前提のとおり、参照フレーム画像12の被写体13は動き回る子供であるから、フレーム画像16、17、18・・・・の被写体19の位置は、その動きに伴い、それぞれ異なるものとなる。
In the
参照フレーム画像12は、注目画素領域抽出部6dに入力される。注目画素領域抽出部6dは、参照フレーム画像12に映っている被写体13の全体又はその一部を含む注目画素領域15を抽出する。この注目画素領域15は、たとえば、図2(b)、(c)における合焦マーク22内の画素領域、つまり、ピントのあった画素領域に相当する。
The
一方、比較画素領域抽出部6eは、新たに取得される現フレーム画像における詳細は後述の探索範囲から、注目画素領域15における被写体画像と比較される比較画素領域20を順次抽出する。
ここで、各比較画素領域20は、注目画素領域15と同じサイズの画素領域であり、例えば、フレーム画像において、比較画素領域毎にx軸方向またはy軸方向に順次1画素ずつシフトされて抽出される。
On the other hand, the comparison pixel
Here, each
注目画素領域抽出部6dで抽出された注目画素領域15における各画素値(輝度値)と、比較画素領域抽出部6eで抽出された各比較画素領域20の各画素値(輝度値)は、相関度導出部6fに入力される。そして、この相関度導出部6fで各比較画素領域毎に、注目画素領域15における被写体画像との相関度が導出され、相関度補正部6hに出力される。
Each pixel value (luminance value) in the
相関度補正部6hは、相関度導出部6fで導出された各相関度を所定の相関度補正マップ6gに従って補正し、補正後の相関度を比較画素領域選択部6iに出力する。比較画素領域選択部6iは、相関度補正部6hで補正された相関度に基づいて、注目画素領域15との相関度が最も高い比較画素領域20を選択し、その選択された比較画素領域20を追尾対象の被写体画像として決定し、また、その選択された比較画素領域20を追尾位置として決定する。
The correlation
前記注目画素領域抽出部6eは、更に新たな現フレーム画像が出力されると、新たに追尾対象となった被写体画像を次の新たな注目画素領域15の被写体画像とし、これと追尾位置とに基づいて、順次上述の処理を繰り返す。つまり、新たな現フレーム画像が取得される毎に、前記選択された比較画素領域に基づいて、追尾対象の被写体画像と、追尾位置とが更新される。
When a new current frame image is output, the pixel-of-
なお、トリミング枠25は、注目画素領域15の位置、つまり、追尾位置とトリミング枠25の位置との相対関係が常に一致するように更新される。
すなわち、注目画素領域に基づいて、新たに取得される現フレーム画像から前記注目画素領域と一致すると判断される比較画素領域20を追尾対象の比較画素領域として選択抽出し、これを新たな注目画素領域とすることで、新たな現フレーム画像が取得される毎に、トリミング枠25においても順次被写体を追尾している。
The trimming
That is, based on the target pixel region, the
ここで、前記注目画素領域と一致すると判断される比較画素領域20を選択抽出するために、比較画素領域抽出部6eが各比較画素領域を抽出することとなる探索範囲を予め設定しておくことが好ましい。
Here, in order to selectively extract the
以下、詳述する。
図4(a)は、本実施形態におけるブロックマッチングの模式図である。この図において、8×8画素のブロック29は、ブロックマッチングの対象エリアであり、注目画素領域15としてのブロック29に含まれる画素情報(輝度情報)を用いて、ブロックマッチングを行う。ここで、各々の画素は升目で表されており、この図においては、マッチング処理時間の短縮を図るために、たとえば、一つおきに配列された黒く塗りつぶした画素のみをブロックマッチング処理の対象画素とした場合を示している。つまり、8×8画素からなる注目画素領域のうち、16画素の画素情報に基づいてブロックマッチングを行う例を示している。なお、画素情報は、上記の輝度情報だけでなく、画素の位置情報も含む。この位置情報は、探索範囲の設定の際に利用される。
Details will be described below.
FIG. 4A is a schematic diagram of block matching in the present embodiment. In this figure, a
図4(b)は、本実施形態における探索範囲の模式図である。本実施形態では、ブロックマッチングにより、参照フレーム画像における注目画素領域15としての被写体画像が現フレーム画像のどの位置に移動したかを判定するが、1フレームの間に被写体が移動する距離は限られるとする前提の下、注目画素領域15に対応する被写体画像を探索する範囲を所定の探索範囲に限定することで、当該処理に費やす時間や、CPUへの負荷を軽減している。そして、探索範囲30は、このときに抽出されている注目画素領域15の中心位置(または追尾位置)と予め記憶されている画素数範囲に基づいて設定される。たとえば、探索範囲の中心位置が追尾位置(注目画素領域の位置)に対応する実質的な中心位置となるように設定される。そして、たとえば、フレームレートが30fpsの場合、種々の実験結果により、注目画素領域15の中心位置に対応する現フレーム画像の位置を中心として、各比較画素領域の中心が水平方向(x方向)に±12画素、垂直方向(y方向)に±8画素となるようなエリアを探索範囲とすれば、被写体が移動しても大抵の場合、被写体の追尾が可能となり、上述の前提を達成し得る。
FIG. 4B is a schematic diagram of a search range in the present embodiment. In this embodiment, it is determined by block matching which position in the current frame image the subject image as the
図5は、相関度補正マップ6gの模式図である。なお、この模式図は、図示の都合上、x軸とy軸が、図4(a)、(b)のx軸、y軸と逆になっている点に注意されたい。つまり、この相関度補正マップ6gの横軸は、図4(a)、(b)のy軸(縦方向)に相当し、縦軸は、図4(a)、(b)のx軸(横方向)に相当する。
FIG. 5 is a schematic diagram of the
模式図中の数値は相関度を補正するための補正係数としての「重み係数」であり、この例示における最小の重み係数は模式図中央とその周囲四つの「64」、最大の重み係数は模式図四隅の「255」である。そして、相関度補正マップ6gは、探索範囲から得られる各比較領域に対応するようにそれぞれの重み係数が予め設定されている。
The numerical value in the schematic diagram is a “weighting factor” as a correction factor for correcting the degree of correlation. In this example, the minimum weighting factor is “64” in the center of the schematic diagram and the surrounding four, and the maximum weighting factor is the model. It is “255” in the four corners of the figure. In the correlation
これらの重み係数は、図4(b)の探索範囲の座標位置をその実質的な中心座標とする各比較画素領域の相関度に適用する。たとえば、比較画素領域の実質的な中心座標が、図4(b)のx=0、y=0となっている比較画素領域の相関度に適用する重み係数は、模式図中央の「64」である。そして、図4(b)のx=0、y=0の座標位置が、注目画素領域15の中心座標位置に対応する現フレームの座標位置である。つまり、これは、参照フレーム画像における注目画素領域15としての被写体画像が現フレーム画像で移動していない場合(追尾位置が変化していない場合)に相当する座標位置である。
These weighting factors are applied to the degree of correlation of each comparison pixel region having the coordinate position of the search range in FIG. For example, the weighting coefficient applied to the correlation degree of the comparison pixel region in which the substantial center coordinates of the comparison pixel region are x = 0 and y = 0 in FIG. 4B is “64” in the center of the schematic diagram. It is. The coordinate position of x = 0 and y = 0 in FIG. 4B is the coordinate position of the current frame corresponding to the center coordinate position of the
図5の相関度補正マップ6gにおいて特筆すべき点は、注目画素領域15の中心位置に対応する現フレームの位置が近いほど、つまり、x及びyの絶対値が小さいほど、小さな重み係数、つまり、注目画素領域における被写体画像との相関度が高くなる重み係数が設定されていることにある。すなわち、注目画素領域15の中心位置に対応する現フレームの位置が近いほど注目画素領域15における被写体画像と比較画素領域における被写体画像との相関度が高くなる中央重点式の重み係数設定になっている点にある。
In the correlation
ところで、相関度導出部6fにおける相関度の導出は、公知の次式(1)に示す差分二乗和演算式に従って行われる。すなわち、小さな値が得られるときほど、注目画素領域における被写体画像と比較画素領域における被写体画像とが高い相関度を示すように導出される。
By the way, the derivation of the degree of correlation in the degree-of-
そして、相関度補正部6hは、上式(1)に従って導出された相関度に、図5の相関度補正マップ6gの重み係数を適用する。比較画素領域選択部6iは、重み係数を適用した相関度に基づいて各比較画素領域を比較し、注目画素領域の被写体画像との相関度が最も高くなる被写体画像を有する比較画素領域20を追尾対象として選択する。
Then, the correlation
以上のとおり、本実施形態の撮像装置1では、中央重点式の重み係数を使用するので、図4(b)の探索範囲において、比較画素領域20の追尾を中央優先した、つまり、注目画素領域に対応する座標位置を優先した(追尾位置の変化が少ない比較画素領域を優先した)被写体の追尾を行うことができる。その結果、探索範囲の中央付近に位置する真の被写体のみを追尾でき、とりわけ、動きの少ない被写体の追尾性能を向上することができる。また、相関度の差分が少なく明確な結果が得られない複数の追尾対象候補ブロックについても、探索範囲中央のブロックを優先して追尾することができるようになり、特徴の少ない被写体の追尾性能を向上することができる。
As described above, since the center-weighted weighting factor is used in the
ここで、図6は、比較画素領域の追尾模式図である。この図において、比較探索範囲28(図4の比較探索範囲30参照)には、注目画素領域15に対応する一の比較画素領域20aと、注目画素領域15に対応しない二の比較画素領域20bが存在しているものとする。一の比較画素領域20aは「真」の追尾対象であり、二の比較画素領域20bは「偽(虚像)」の追尾対象である。これら二つの比較画素領域20a、20bに含まれる被写体の色や明るさが似ている場合、冒頭で説明した従来技術にあっては、しばしば、「偽」の被写体(二の比較画素領域20b)を追尾してしまうことがあった。
Here, FIG. 6 is a tracking schematic diagram of the comparison pixel region. In this figure, the comparison search range 28 (see the
これは、単に、輝度値の差の絶対値を合計して一致の程度を表す結果スコアを求め、そのスコア値が最小(0又は0に限りなく近い)の小画像領域を追尾するように動作しているからであり、「真被写体のスコア値>偽被写体のスコア値」の関係、つまり、偽被写体のスコア値が、真被写体のスコア値よりも小さくなってしまうことがあり得るからである。 This simply operates by summing the absolute values of the luminance value differences to obtain a result score representing the degree of matching, and tracking a small image area with the smallest score value (nearly close to 0 or 0). This is because the relationship of “score value of true subject> score value of false subject”, that is, the score value of false subject may be smaller than the score value of true subject. .
これに対して、本実施形態においては、上記の結果スコアをそのまま用いることなく、当該スコア値に相当する相関度を導出して、その相関度を所定の相関度補正マップ6gに従って補正し、補正後の相関度を比較画素領域選択部6iに出力するようにしている。
On the other hand, in the present embodiment, the correlation score corresponding to the score value is derived without using the result score as it is, and the correlation score is corrected according to a predetermined correlation
なお、上述では、探索範囲から注目画素領域の被写体画像との相関度が最も高くなる被写体画像を有する比較画素領域を選択抽出する構成について説明したが、探索範囲から注目画素領域の被写体画像との相関度が高い上位数%(たとえば上位5%)分の数だけ比較画素領域を選び出し、その比較画素領域のうち、最も探索範囲の中央に近い比較画素領域を追尾対象の被写体画像および追尾位置として選択するようにしてもよい。より精度よく被写体を追尾することができるようになる。なお、この構成の場合、必ずしも上述した相関度の補正を実施する必要はなく、上述した相関度の補正を実施するか否かは、撮影シーンに応じて、適宜、設定すればよい。 In the above description, the configuration for selecting and extracting the comparison pixel region having the subject image having the highest degree of correlation with the subject image in the target pixel region from the search range has been described. The comparison pixel areas are selected by the number corresponding to the top few% (for example, the top 5%) having a high degree of correlation, and the comparison pixel area closest to the center of the search range is selected as the tracking target subject image and tracking position. You may make it select. The subject can be tracked with higher accuracy. In the case of this configuration, it is not always necessary to perform the above-described correlation degree correction, and whether or not to perform the above-described correlation degree correction may be appropriately set according to the shooting scene.
また、前記の図3の説明では、注目画素領域15の抽出を、トリミング撮影開始時点の参照フレーム画像12から行っているが、この参照フレーム画像12を任意時点の現フレーム画像と置き換えてもよい。
In the description of FIG. 3, the
また、上述では、新たな現フレーム画像が出力(取得)される毎に、この新たなフレーム画像から新たな注目画素領域を抽出し、この抽出した注目画素領域の位置(追尾位置)に基づいて探索範囲の位置を設定するとともに、この抽出した注目画素領域における被写体画像との相関度に基づいて所定の比較注目画素領域の選択を行う構成について説明したが、新たな現フレーム画像が出力(取得)される毎に、この新たな現フレーム画像から新たな注目画素領域を抽出し、この抽出した注目画素領域の位置(追尾位置)に基づいて探索範囲の位置は設定するが、相関度の導出対象となる注目画素領域としての被写体画像は、新たな現フレーム画像が所定回数(たとえば10フレーム分)だけ取得される毎に、更新される構成としてもよい。 Further, in the above description, each time a new current frame image is output (acquired), a new target pixel region is extracted from the new frame image, and based on the position (tracking position) of the extracted target pixel region. The configuration for setting the position of the search range and selecting a predetermined comparison target pixel region based on the degree of correlation with the subject image in the extracted target pixel region has been described, but a new current frame image is output (acquired) ), A new target pixel area is extracted from the new current frame image, and the position of the search range is set based on the position (tracking position) of the extracted target pixel area. The subject image as the target pixel region of interest may be updated each time a new current frame image is acquired a predetermined number of times (for example, 10 frames).
以下詳述する。
図7は、参照フレームと現フレームの関係図である。この図において、Fi、Fi+1、Fi+2、・・・・、Fi+10は、それぞれ画像処理部4から周期的に出力されるフレーム画像である。ここで、Fiをトリミング撮影開始時点の参照フレーム画像とすると、追尾対象の被写体画像はFiの注目画素領域15から抽出され、この注目画素領域15における被写体画像に対応する比較画素領域20がFi+1、Fi+2、・・・・、Fi+10から抽出され、この抽出された比較画素領域20がそれぞれの時点における追尾位置となる。
This will be described in detail below.
FIG. 7 is a relationship diagram between the reference frame and the current frame. In this figure, Fi, Fi + 1, Fi + 2,..., Fi + 10 are frame images periodically output from the
また、たとえば、Fiから10フレーム分後のFi+10において、Fiの注目画素領域15における被写体画像に対応する比較画素領域20が抽出されたときに、この比較画素領域20における被写体画像が、新たな注目画素領域15としての被写体画像(追尾対象の被写体画像)に更新される。このようにすると、被写体の時間的に位置変化に柔軟に対応することができ、たとえば、追尾対象をロストした(見失った)場合に再度被写体を捕捉して追尾し直すことができる。
Further, for example, when the
1 撮像装置
6 制御部(被写体追従手段)
6d 注目画素領域抽出部(注目画素領域抽出手段、第一注目画像領域抽出手段、第二注目画像領域抽出手段)
6e 比較画素領域抽出部(比較画素領域抽出手段、位置導出手段、第一比較画素領域選択手段、第二比較画素領域選択手段、探索範囲設定手段)
6f 相関度導出部(相関度導出手段)
6g 相関度補正マップ
6h 相関度補正部(相関度補正手段)
6i 比較画素領域選択部(比較画素領域選択手段)
15 注目画素領域
20 比較画素領域
1
6d attention pixel area extraction unit (target pixel area extraction means, first attention image area extraction means, second attention image area extraction means)
6e comparison pixel area extraction unit (comparison pixel area extraction means, position derivation means, first comparison pixel area selection means, second comparison pixel area selection means, search range setting means)
6f Correlation degree deriving section (correlation degree deriving means)
6g
6i comparison pixel area selection unit (comparison pixel area selection means)
15
Claims (3)
前記被写体追従手段は、
所定のフレーム画像から第一注目画素領域および第二注目画素領域を抽出する注目画素領域抽出手段と、
前記注目画素領域抽出手段により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、
前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を自動的に設定する探索範囲設定手段と、
前記探索範囲設定手段により設定された探索範囲内から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、
前記比較画素領域抽出手段により抽出された各比較画素領域と、前記注目画素領域抽出手段により抽出された第二注目画素領域との、画像内容の類似度を表す相関度を導出する相関度導出手段と、
前記相関度導出手段により導出された相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、を備え、
前記注目画素領域抽出手段は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第一注目画素領域として抽出するとともに、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第二注目画素領域として抽出することを特徴とする撮像装置。 An imaging apparatus comprising subject tracking means for tracking a subject by block matching based on sequentially acquired frame images,
The subject tracking means includes
Pixel-of-interest region extraction means for extracting a first pixel-of-interest region and a second pixel-of-interest region from a predetermined frame image;
Position deriving means for deriving the position of the first target pixel area extracted by the target pixel area extracting means with respect to the frame image;
Search range setting means for automatically setting a search range in the current frame image based on the position derived by the position deriving means;
Comparison pixel area extraction means for sequentially extracting a predetermined comparison pixel area from the search range set by the search range setting means;
And each comparative pixel area extracted by the comparison pixel region extracting means, the target of the second target pixel region extracted by the pixel region extraction means, correlation deriving means for deriving a correlation representing a degree of similarity of the image content When,
Comparison pixel area selection means for selecting a predetermined comparison pixel area from each comparison pixel area extracted by the comparison pixel area extraction means based on the correlation degree derived by the correlation degree derivation means,
The target pixel area extracting unit extracts the comparison pixel area selected by the comparison pixel area selection unit as a new first target pixel area each time a new current frame image is acquired, and a new current frame An imaging apparatus, wherein a comparison pixel area selected by the comparison pixel area selection unit is extracted as a new second target pixel area every time an image is acquired a predetermined number of times.
前記被写体追従工程は、
所定のフレーム画像から第一注目画素領域および第二注目画素領域を抽出する注目画素領域抽出工程と、
前記注目画素領域抽出工程により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出する位置導出工程と、
前記位置導出工程により導出された位置に基づいて、現フレーム画像における探索範囲を自動的に設定する探索範囲設定工程と、
前記探索範囲設定工程により設定された探索範囲内から、順次、所定の比較画素領域を抽出する比較画素領域抽出工程と、
前記比較画素領域抽出工程により抽出された各比較画素領域と、前記注目画素領域抽出工程により抽出された第二注目画素領域との、画像内容の類似度を表す相関度を導出する相関度導出工程と、
前記相関度導出工程により導出された相関度に基づいて、前記比較画素領域抽出工程により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択工程と、を含み、
前記注目画素領域抽出工程は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択工程により選択された比較画素領域を新たな第一注目画素領域として抽出するとともに、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択工程により選択された比較画素領域を新たな第二注目画素領域として抽出することを特徴とする撮像方法。 An imaging method including a subject tracking step of tracking a subject by block matching based on sequentially acquired frame images,
The subject tracking step includes
A target pixel region extraction step of extracting a first target pixel region and a second target pixel region from a predetermined frame image;
A position deriving step for deriving a position of the first target pixel region extracted by the target pixel region extraction step with respect to the frame image;
A search range setting step for automatically setting a search range in the current frame image based on the position derived by the position deriving step;
A comparison pixel region extraction step of sequentially extracting a predetermined comparison pixel region from within the search range set by the search range setting step;
And each comparative pixel area extracted by the comparison pixel region extraction step, the target of the second target pixel region extracted by the pixel area extracting step, correlation deriving step of deriving a correlation representing a degree of similarity of the image content When,
A comparison pixel region selection step of selecting a predetermined comparison pixel region from each comparison pixel region extracted by the comparison pixel region extraction step based on the correlation degree derived by the correlation degree derivation step,
The target pixel region extraction step extracts the comparison pixel region selected by the comparison pixel region selection step as a new first target pixel region each time a new current frame image is acquired, and a new current frame An imaging method comprising extracting a comparison pixel region selected by the comparison pixel region selection step as a new second target pixel region each time an image is acquired a predetermined number of times.
前記被写体追従手段は、
所定のフレーム画像から第一注目画素領域および第二注目画素領域を抽出する注目画素領域抽出手段と、
前記注目画素領域抽出手段により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、
前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を自動的に設定する探索範囲設定手段と、
前記探索範囲設定手段により設定された探索範囲内から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、
前記比較画素領域抽出手段により抽出された各比較画素領域と、前記注目画素領域抽出手段により抽出された第二注目画素領域との、画像内容の類似度を表す相関度を導出する相関度導出手段と、
前記相関度導出手段により導出された相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、を備え、
前記注目画素領域抽出手段は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第一注目画素領域として抽出するとともに、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第二注目画素領域として抽出することを特徴とする撮像プログラム。 An imaging program for causing a computer to implement subject tracking means for tracking a subject by block matching based on sequentially acquired frame images,
The subject tracking means includes
Pixel-of-interest region extraction means for extracting a first pixel-of-interest region and a second pixel-of-interest region from a predetermined frame image;
Position deriving means for deriving the position of the first target pixel area extracted by the target pixel area extracting means with respect to the frame image;
Search range setting means for automatically setting a search range in the current frame image based on the position derived by the position deriving means;
Comparison pixel area extraction means for sequentially extracting a predetermined comparison pixel area from the search range set by the search range setting means;
And each comparative pixel area extracted by the comparison pixel region extracting means, the target of the second target pixel region extracted by the pixel region extraction means, correlation deriving means for deriving a correlation representing a degree of similarity of the image content When,
Comparison pixel area selection means for selecting a predetermined comparison pixel area from each comparison pixel area extracted by the comparison pixel area extraction means based on the correlation degree derived by the correlation degree derivation means,
The target pixel area extracting unit extracts the comparison pixel area selected by the comparison pixel area selection unit as a new first target pixel area each time a new current frame image is acquired, and a new current frame An imaging program that extracts a comparison pixel area selected by the comparison pixel area selection unit as a new second target pixel area each time an image is acquired a predetermined number of times.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011094000A JP5278483B2 (en) | 2011-04-20 | 2011-04-20 | Imaging apparatus, imaging method, and imaging program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011094000A JP5278483B2 (en) | 2011-04-20 | 2011-04-20 | Imaging apparatus, imaging method, and imaging program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006201682A Division JP4807623B2 (en) | 2006-07-25 | 2006-07-25 | Imaging apparatus, imaging method, and imaging program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011193496A JP2011193496A (en) | 2011-09-29 |
JP5278483B2 true JP5278483B2 (en) | 2013-09-04 |
Family
ID=44797867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011094000A Active JP5278483B2 (en) | 2011-04-20 | 2011-04-20 | Imaging apparatus, imaging method, and imaging program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5278483B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013161134A1 (en) * | 2012-04-25 | 2013-10-31 | Necカシオモバイルコミュニケーションズ株式会社 | Electronic device, control method for same, and non-temporary computer-readable medium storing control program |
JP6806216B2 (en) * | 2019-10-16 | 2021-01-06 | リコーイメージング株式会社 | A device that has a shooting function, a method that this device executes, and a program that causes a computer to execute this method. |
JP7365862B2 (en) * | 2019-11-08 | 2023-10-20 | Kddi株式会社 | Object tracking device and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10123229A (en) * | 1996-10-21 | 1998-05-15 | Mitsubishi Electric Corp | Image tracking device |
JP3206563B2 (en) * | 1998-10-14 | 2001-09-10 | 日本電気株式会社 | Method and apparatus for updating tracking template |
JP4819380B2 (en) * | 2004-03-23 | 2011-11-24 | キヤノン株式会社 | Surveillance system, imaging setting device, control method, and program |
JP4290164B2 (en) * | 2006-01-31 | 2009-07-01 | キヤノン株式会社 | Display method for displaying display showing identification area together with image, program executed by computer apparatus, and imaging apparatus |
-
2011
- 2011-04-20 JP JP2011094000A patent/JP5278483B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011193496A (en) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100847614B1 (en) | Imaging apparatus and computer readable recording medium | |
JP4974812B2 (en) | Electronic camera | |
CN107850753B (en) | Detection apparatus, detection method, detection program, and imaging apparatus | |
JP2007306416A (en) | Method for displaying face detection frame, method for displaying character information, and imaging apparatus | |
JP2009225072A (en) | Imaging apparatus | |
KR101728042B1 (en) | Digital photographing apparatus and control method thereof | |
JP2013183306A (en) | Imaging apparatus, imaging method, and program | |
JP2011217103A (en) | Compound eye photographing method and apparatus | |
US10412321B2 (en) | Imaging apparatus and image synthesis method | |
JP2007129310A (en) | Imaging apparatus | |
JP6300076B2 (en) | Imaging apparatus, imaging method, and program | |
KR101797040B1 (en) | Digital photographing apparatus and control method thereof | |
KR100850466B1 (en) | Apparatus for photography and method for controlling auto focus thereof | |
JP4807623B2 (en) | Imaging apparatus, imaging method, and imaging program | |
JP5278483B2 (en) | Imaging apparatus, imaging method, and imaging program | |
JP4807582B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
JP6172973B2 (en) | Image processing device | |
JP6645711B2 (en) | Image processing apparatus, image processing method, and program | |
JP5800600B2 (en) | Imaging apparatus, imaging method, and program | |
JP2016063397A (en) | Imaging apparatus, image display method and program | |
JP2008211506A (en) | Image processing apparatus, imaging apparatus and its program | |
JP7030565B2 (en) | Image processing equipment, image processing methods and programs | |
JP2012049841A (en) | Imaging apparatus and program | |
JP5315019B2 (en) | Autofocus device, autofocus method, and imaging device | |
JP5641352B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130506 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5278483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |