JP7458723B2 - Image processing device, imaging device, control method, and program - Google Patents
Image processing device, imaging device, control method, and program Download PDFInfo
- Publication number
- JP7458723B2 JP7458723B2 JP2019158516A JP2019158516A JP7458723B2 JP 7458723 B2 JP7458723 B2 JP 7458723B2 JP 2019158516 A JP2019158516 A JP 2019158516A JP 2019158516 A JP2019158516 A JP 2019158516A JP 7458723 B2 JP7458723 B2 JP 7458723B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- trimming
- area
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 138
- 238000000034 method Methods 0.000 title claims description 72
- 238000003384 imaging method Methods 0.000 title claims description 48
- 238000009966 trimming Methods 0.000 claims description 92
- 238000011156 evaluation Methods 0.000 claims description 61
- 230000003287 optical effect Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 46
- 238000000605 extraction Methods 0.000 description 36
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、被写体追跡を実行可能な画像処理装置、撮像装置、制御方法、およびプログラムに関する。 The present invention relates to an image processing device, an imaging device, a control method, and a program capable of performing subject tracking.
被写体の動きに追従して連続的に合焦を実行する被写体追跡に関する技術が提案されている。特許文献1には、撮影画像に含まれる被写体である人物の顔を検出する技術において、顔検出時に撮影画像を拡大するか否かを切替可能な構成が開示されている。
Technology has been proposed for subject tracking that performs continuous focusing by following the movement of the subject.
近年の被写体追跡においては、より小さな被写体を追尾することが求められている。ところが、小さな被写体を精度良く追尾するために撮影画像の解像度を増大させると、処理すべきデータの容量も増大してしまう。結果として、被写体追跡のための計算負荷が増大するので、適時な被写体追跡が困難になると共に消費電力も増大するという課題がある。 In recent object tracking, it is required to track smaller objects. However, if the resolution of captured images is increased in order to accurately track a small subject, the amount of data to be processed also increases. As a result, the calculation load for tracking the subject increases, making it difficult to track the subject in a timely manner and increasing power consumption.
以上の事情に鑑み、本発明は、被写体追跡において適切なトリミングを実行可能な画像処理装置、撮像装置、制御方法、およびプログラムを提供することを目的とする。 In view of the above circumstances, an object of the present invention is to provide an image processing device, an imaging device, a control method, and a program that can perform appropriate trimming in tracking a subject.
上記目的を達成するために、本発明の画像処理装置は、被写体追跡を実行する画像処理装置であって、撮像素子から出力された画像に対応する色情報と距離情報を含む評価用画像とを用いて前記被写体追跡の対象である被写体領域を特定し、特定された前記被写体領域から抽出された特徴量を用いて前記被写体追跡を実行する追跡手段と、被写体を示す位置が指定されている場合、前記指定された位置を含むように前記評価用画像の領域を設定する設定手段と、被写体像を前記撮像素子に結像させる撮像光学系に関する光学情報に基づいてトリミングサイズを設定し、設定された前記トリミングサイズに従って前記評価用画像をトリミングするトリミング手段と、を備え、前記追跡手段は、トリミングされた前記評価用画像内の前記被写体領域から前記特徴量を抽出する、ことを特徴とする。 In order to achieve the above object, an image processing device of the present invention is an image processing device that executes subject tracking, and includes an evaluation image including color information and distance information corresponding to an image output from an image sensor. a tracking means for specifying a subject area that is a target of the subject tracking using a tracking device , and executing the subject tracking using feature amounts extracted from the specified subject area, and a position indicating the subject; , setting means for setting an area of the evaluation image to include the specified position, and setting a trimming size based on optical information regarding an imaging optical system for forming a subject image on the imaging device; and a trimming means for trimming the evaluation image according to the trimming size, and the tracking means extracts the feature amount from the subject area in the trimmed evaluation image.
本発明によれば、被写体追跡において適切なトリミングを実行することができる。 According to the present invention, appropriate trimming can be performed in subject tracking.
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正または変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するのに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。 The following describes in detail the embodiments of the present invention with reference to the accompanying drawings. Each embodiment described below is merely one example of a configuration that can realize the present invention. Each of the following embodiments can be modified or changed as appropriate depending on the configuration of the device to which the present invention is applied and various conditions. Furthermore, not all of the combinations of elements included in each of the following embodiments are necessarily essential to realize the present invention, and some of the elements can be omitted as appropriate. Therefore, the scope of the present invention is not limited to the configurations described in each of the following embodiments. Furthermore, a configuration that combines multiple configurations described in the embodiments can be adopted as long as they are not mutually contradictory.
以下の実施形態においては撮像装置としてデジタルカメラが例示されるが、本実施形態の構成は撮影機能を有さない電子機器(画像処理装置)に対しても適用可能である。例えば、そのような電子機器として、スマートフォンを含む携帯電話機、タブレット端末、ゲーム機、パーソナルコンピュータ、ナビゲーションシステム、家電製品、ロボットが非限定的に例示される。 In the following embodiments, a digital camera is exemplified as an imaging device, but the configuration of this embodiment is also applicable to electronic devices (image processing devices) that do not have a shooting function. Examples of such electronic devices include, but are not limited to, mobile phones including smartphones, tablet terminals, game consoles, personal computers, navigation systems, home appliances, and robots.
(撮像装置の構成)
図1は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ100の全体的な機能構成を示すブロック図である。
(Configuration of imaging device)
FIG. 1 is a block diagram showing the overall functional configuration of a
概略的には、デジタルカメラ100は、動画および静止画を撮影して記録することができる。図示の通り、デジタルカメラ100が有する要素は、バス160を介して互いに通信可能であるように接続されている。デジタルカメラ100の動作は、主制御部151によって統合的に制御される。
Generally speaking, the
デジタルカメラ100は、デジタルカメラ100から撮影した被写体までの距離に関する距離情報を取得することができる。以上の距離情報は、例えば、各画素値が、その画素値に対応する被写体までの距離を示す距離画像であってよい。本実施形態の距離情報は、視差画像に基づいて取得されるが、他の手法によって距離情報が取得されてよい。本実施形態の視差画像は、1つのマイクロレンズを共有する複数の光電変換素子の組を有する撮像素子141を用いて取得されるが、他の手法によって視差画像が取得されてよい。例えば、デジタルカメラ100がステレオカメラのような多眼カメラとして機能して視差画像を取得してもよいし、任意の手法によって取得され記憶されている視差画像のデータを読み込んでその視差画像を取得してもよい。
The
デジタルカメラ100は、指定された特定の被写体領域と類似する領域の探索を継続的に実行することによって被写体追跡機能を実現する追跡部(追跡手段)161を有する。追跡部161は、視差画像から生成した距離情報を用いて以上の被写体領域の探索を実行する。追跡部161の構成および動作の詳細については後述される。
The
撮影レンズ101(レンズユニット)は、固定1群レンズ102、ズームレンズ111、絞り103、固定3群レンズ121、フォーカスレンズ131、ズームモータ112、絞りモータ104、およびフォーカスモータ132を含む撮像光学系である。固定1群レンズ102、ズームレンズ111、絞り103、固定3群レンズ121、およびフォーカスレンズ131が、撮像光学系を主として構成する。なお、便宜上、レンズ102、111、121、131は、それぞれ1枚のレンズとして図示されているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ101は、デジタルカメラ100と一体的に構成されてもよく、デジタルカメラ100の本体に着脱可能な交換レンズとして構成されてもよい。
The photographing lens 101 (lens unit) is an imaging optical system including a fixed
絞り制御部105は、絞り103を駆動する絞りモータ104の動作を制御して絞り103の開口径を変更する。
The
ズーム制御部113は、ズームレンズ111を駆動するズームモータ112の動作を制御して撮影レンズ101の焦点距離(画角)を変更する。
The
フォーカス制御部133は、撮像素子141から得られる1対の焦点検出用信号(A像およびB像)の位相差に基づいて、撮影レンズ101(フォーカスレンズ131)のデフォーカス量およびデフォーカス方向を算出する。そして、フォーカス制御部133は、デフォーカス量およびデフォーカス方向をフォーカスモータ132の駆動量および駆動方向に変換する。以上の変換によって取得した駆動量および駆動方向に基づいて、フォーカス制御部133は、フォーカスモータ132の動作を制御してフォーカスレンズ131を駆動することにより、撮影レンズ101の焦点状態を制御する。このようにして、フォーカス制御部133は位相差検出方式の自動焦点検出(AF)を実施する。なお、フォーカス制御部133は、撮像素子141から得られる画像信号から得られるコントラスト評価値に基づくコントラスト検出方式のAFを実行してもよい。
The
撮影レンズ101によって撮像素子141の結像面に形成される被写体像は、撮像素子141に2次元的に配置された複数の画素がそれぞれ有する光電変換素子により電気信号(画像信号)に変換される。本実施形態では、撮像素子141に、水平方向にm行、垂直方向にn列(m,nは2以上の整数)の画素が行列状に配置されており、各画素には2つの光電変換素子(光電変換領域)が設けられている。撮像素子141からの信号読み出しは、主制御部151からの指示に従ってセンサ制御部143が制御する。
A subject image formed by the photographing
(撮像素子の画素配列)
図2を参照して、本実施形態に係る撮像素子141の画素配列について説明する。図2は、本実施形態に係る撮像素子141における画素200の配置例を模式的に示す図であり、水平方向(行方向)に4画素、垂直方向(列方向)に4画素の合計16画素からなる領域を代表的に示している。撮像素子141の各画素200には、1つのマイクロレンズ210と、マイクロレンズ210を介して受光する2つの光電変換素子201、202とが設けられている。図2の例では、水平方向に2つの光電変換素子201、202が配置されているため、各画素200は撮影レンズ101の瞳領域を水平方向に分割する機能を有する。なお、光電変換素子は、垂直方向に分割配置されてもよいし、光電変換素子の分割方向が異なる画素200が撮像素子141内に混在していてもよい。また、光電変換素子は、垂直および水平の両方向に分割されていてもよい。光電変換素子が、同一方向において3つ以上に分割されていてもよい。
(Pixel arrangement of the imaging element)
The pixel arrangement of the
撮像素子141には、水平方向2画素×垂直方向2画素の4画素を繰り返し単位とする原色ベイヤー配列のカラーフィルタが設けられている。カラーフィルタは、R(赤)およびG(緑)が水平方向に繰り返し配置される行と、GおよびB(青)が水平方向に繰り返し配置される行とが交互に配置された構成を有する。以下の説明では、赤フィルタが設けられた画素200Rを赤画素、G(緑)フィルタが設けられた画素200Gを緑画素、B(青)フィルタが設けられた画素200Bを青画素と呼ぶことがある。
The
以下の説明では、1つの画素200にそれぞれ含まれる第1の光電変換素子201をA画素、第2の光電変換素子202をB画素と呼び、A画素から読み出される画像信号をA信号、B画素から読み出される画像信号をB信号と呼ぶことがある。ある領域に含まれる複数の画素200から得られるA信号で構成される画像(A像)と、B信号で構成される画像(B像)とが、1組の視差画像を構成する。したがって、デジタルカメラ100は、1回の撮影によって2つの視差画像を生成することができる。また、画素ごとにA信号とB信号とを加算すると、瞳分割機能を持たない一般的な画素と同様の信号を得ることができる。以下の説明では、このA信号とB信号とを加算した加算信号をA+B信号と呼び、A+B信号から構成される画像を撮像画像と呼ぶことがある。
In the following description, the first photoelectric conversion element 201 included in one pixel 200 will be referred to as an A pixel, and the second photoelectric conversion element 202 will be referred to as a B pixel, and the image signal read from the A pixel will be referred to as an A signal and a B pixel. The image signal read from the B signal is sometimes called a B signal. An image made up of A signals (A image) obtained from a plurality of pixels 200 included in a certain area and an image made up of B signals (B image) constitute a set of parallax images. Therefore, the
以上のように、1つの画素200から、第1の光電変換素子201の出力(A信号)、第2の光電変換素子202の出力(B信号)、および第1の光電変換素子201と第2の光電変換素子202の加算出力(A+B信号)という3種類の信号を読み出せる。なお、A信号は、第1の光電変換素子201からの読出しに代えて、A+B信号からB信号を減ずることによっても求められる。B信号についても同様である。 As described above, from one pixel 200, the output of the first photoelectric conversion element 201 (signal A), the output of the second photoelectric conversion element 202 (signal B), and the output of the first photoelectric conversion element 201 and the second Three types of signals can be read out: the summed output (A+B signal) of the photoelectric conversion element 202. Note that instead of reading from the first photoelectric conversion element 201, the A signal can also be obtained by subtracting the B signal from the A+B signal. The same applies to the B signal.
図1に戻って、引き続き、デジタルカメラ100の全体的な構成について説明する。撮像素子141から読み出された画像信号は、信号処理部142に供給される。撮像手段としての信号処理部142は、ノイズ低減処理、A/D変換処理、自動利得制御処理などの信号処理を画像信号に対して適用し、適用後の画像信号をセンサ制御部143に出力する。センサ制御部143は、信号処理部142から受信した画像信号を揮発性の記憶媒体であるRAM(Random Access Memory)154に蓄積する。
Returning to FIG. 1, the overall configuration of the
画像処理部152は、RAM154に蓄積された画像データに対して所定の画像処理を適用(実行)する。画像処理部152が適用する画像処理には、ホワイトバランス調整処理、色補間(デモザイク)処理、ガンマ補正処理といった所謂現像処理の他、信号形式変換処理、スケーリング処理、被写体検出処理、被写体認識処理などの処理が非限定的に含まれる。また、画像処理部152は、自動露出制御(AE)に用いられる被写体輝度に関する情報を生成することができる。画像処理部152は、被写体検出処理や被写体認識処理の結果を他の画像処理(例えば、ホワイトバランス調整処理)に利用してもよい。なお、デジタルカメラ100がコントラスト検出方式のAFを行う場合、画像処理部152がAF評価値を生成してもよい。画像処理部152は、画像処理を適用した画像データ(視差画像、撮像画像)をRAM154に保存する。
The
加えて、画像処理部152は、トリミング手段として機能することができ、被写体検出時に用いる評価用画像のトリミングを実行する。トリミングの詳細については後述される。
In addition, the
主制御部151は、記憶部155等に記憶されたプログラムをRAM154に展開し実行することでデジタルカメラ100の各要素を統合的に制御して、デジタルカメラ100の各機能を実現する。主制御部151は、以上のプログラムを実行する1つ以上のCPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプログラマブルプロセッサを有する。
The
また、主制御部151は、被写体輝度の情報に基づいて露出条件(シャッタースピード、蓄積時間、絞り値、感度等)を自動的に決定するAE(Automatic Exposure)処理を実行する。被写体輝度の情報は、例えば、画像処理部152から取得することができる。主制御部151は、例えば、人物の顔など、特定被写体を含む領域を基準として露出条件を決定することもできる。主制御部151は、動画撮影時には絞り値を固定し、電子シャッタスピード(蓄積時間)とゲインの大きさとで露出を制御する。主制御部151は、決定した蓄積時間とゲインの大きさとをセンサ制御部143に通知する。センサ制御部143は、通知された露出条件に従った撮影が行われるように撮像素子141の動作を制御する。
The
本実施形態では、1回の撮影によって、1組(2枚)の視差画像と、撮像画像との計3つの画像が取得可能である。画像処理部152は、1回の撮影によって取得された各画像に対して画像処理を適用し、RAM154に書き込む。追跡部161は、1組の視差画像から被写体の距離情報を取得して、撮像画像を対象とした被写体追跡処理に利用する。被写体追跡に成功した場合、追跡部161は、撮像画像内の被写体領域の位置についての情報と、その位置の信頼度に関する情報を出力する。
In this embodiment, a total of three images can be obtained by one shooting session: a set of (two) parallax images and a captured image. The
被写体追跡の結果は、例えば、焦点検出領域の自動設定に用いることができる。結果として、特定の被写体領域に対する追跡AF機能を実現できる。また、焦点検出領域の輝度情報に基づいてAE処理を行ったり、焦点検出領域の画素値に基づいて画像処理(例えば、ガンマ補正処理やホワイトバランス調整処理など)を行ったりすることもできる。なお、主制御部151は、現在の被写体領域の位置を表す指標(例えば、領域を囲む矩形枠)を、表示部150に表示される表示画像に重畳的に表示させてもよい。
The results of subject tracking can be used, for example, to automatically set a focus detection area. As a result, a tracking AF function for a specific subject area can be realized. Furthermore, it is also possible to perform AE processing based on the luminance information of the focus detection area, and to perform image processing (eg, gamma correction processing, white balance adjustment processing, etc.) based on the pixel values of the focus detection area. Note that the
記憶部155は、主制御部151が実行するプログラム、プログラムの実行に必要な設定値、GUIデータ、ユーザ設定値などのデータを記憶する。操作部156の操作によって電源OFF状態から電源ON状態への移行がユーザから指示されると、記憶部155に格納されたプログラムがRAM154の一部に読み込まれ、主制御部151がプログラムを実行する。
The
表示部150は、RAM154に格納された画像データや露出条件、トリミング倍率等の設定情報を表示装置に表示させる要素である。表示装置として、例えば、液晶ディスプレイや有機ELディスプレイが用いられる。画像データを表示する際に、主制御部151は、表示部150による表示サイズに適合するように画像処理部152に画像データをスケーリングさせ、スケーリング後の画像データをRAM154内のビデオメモリ領域(VRAM領域)に書き込ませる。表示部150は、RAM154のVRAM領域に格納された表示用の画像データを読み出して表示装置に表示させる。
The
表示部150は、デジタルカメラ100による動画撮影時(撮影スタンバイ状態または動画記録状態)に、撮影された動画を表示装置に即時に表示することによって、表示装置を電子ビューファインダー(EVF)として機能させることができる。表示部150がEVFを実現している際に表示される動画像およびそのフレーム画像は、ライブビュー画像またはスルー画像と呼ばれる。表示部150は、デジタルカメラ100による静止画撮影時、直前に撮影された静止画を表示装置に一定時間に亘って表示することによって、ユーザが撮影結果を確認できるようにする。以上の動画および静止画の表示動作は、主制御部151が表示部150を制御することによって実現される。
The
操作部156は、ユーザがデジタルカメラ100に対して指示を入力するための要素であって、例えば、スイッチ、ボタン、キー、タッチパネル等を含む。操作部156に対して入力された指示はバス160を介して主制御部151に供給され、主制御部151は入力された指示に応じた動作を実現するために各要素を制御する。
The
記録媒体157は、画像データ等のデータを記録する記録媒体であって、例えば、デジタルカメラ100に着脱可能なメモリカードである。主制御部151は、RAM154に保存されている画像データを記録媒体157に記録するに際して、所定のデータを画像データに付する等の処理を実行して、JPEG等の記録形式に応じたデータファイルを生成する。以上のデータファイル生成において、主制御部151は、圧縮解凍部153に画像データを符号化させて情報量を圧縮してもよい。
The
バッテリ159は、電源管理部158により管理される電源であって、デジタルカメラ100の全体に電力を供給する。
The
(追跡部の構成および動作)
図3は、本実施形態に係る追跡部161の機能構成の例を示すブロック図である。追跡部161は、機能ブロックとして、照合部1610と、特徴抽出部1620と、距離マップ生成部1630とを有する。概略的には、追跡部161は、指定された位置から追跡を行う画像領域(被写体領域)を特定し、特定された被写体領域から特徴量を抽出する。追跡部161は、画像処理部152から供給される個々の撮像画像に対して、先に抽出した特徴量と類似度の高い領域を被写体領域として探索する。また、追跡部161は、1対の視差画像から距離情報(評価用画像)を取得し、被写体領域の特定に利用する。以下、追跡部161(照合部1610、距離マップ生成部1630、特徴抽出部1620)が実行する処理について詳細に説明する。
(Configuration and operation of tracking unit)
FIG. 3 is a block diagram showing an example of the functional configuration of the
(照合部)
照合部1610は、特徴抽出部1620から供給される被写体領域の特徴量を用いて、画像処理部152から供給される画像内の被写体領域を探索する。照合部1610は、任意の手法によって画像の特徴量による領域探索を実行できるが、例えば、テンプレートマッチングおよびヒストグラムマッチングの少なくとも一方が領域探索手法として用いられると好適である。テンプレートマッチングおよびヒストグラムマッチングについて、以下に説明する。
(Verification section)
The
テンプレートマッチングは、画素パターンをテンプレートとして設定し、設定されたテンプレートとの類似度が最も高い領域を画像内で探索する技術である。テンプレートと画像領域との類似度としては、対応画素間の差分絶対値和のような相関量を用いることができる。 Template matching is a technique that sets a pixel pattern as a template and searches within an image for an area that has the highest degree of similarity to the set template. As the degree of similarity between the template and the image region, a correlation amount such as the sum of absolute differences between corresponding pixels can be used.
図4は、本発明の実施形態におけるテンプレートマッチングの説明図である。図4(a)は、テンプレート301とその詳細構成302を模式的に例示する説明図である。テンプレートマッチングを行う場合、特徴抽出部1620は、テンプレートとして用いる画素パターンを特徴量として照合部1610に供給する。本例では、照合部1610が、水平画素数W、垂直画素数Hの大きさを有するテンプレート301に含まれる画素の輝度値を特徴量Tとして用いてパターンマッチングを行う。照合部1610は、必要に応じて画素データをRGB形式からYUV形式に変換してよい。パターンマッチングに用いるテンプレート301の特徴量T(i,j)は、テンプレート301内の座標を図4(a)に示すような座標系で表した場合、以下の式(1)で表現される。
T(i,j) = {T(0,0), T(1,0), ..., T(W-1,H-1)} (1)
FIG. 4 is an explanatory diagram of template matching in the embodiment of the present invention. FIG. 4A is an explanatory diagram schematically illustrating a
T(i,j) = {T(0,0), T(1,0), ..., T(W-1,H-1)} (1)
図4(b)は、被写体領域に含まれる探索領域303とその詳細構成305を模式的に例示する説明図である。探索領域303は、画像内でパターンマッチングを実行する対象となる範囲であって、画像の全体または一部であってよい。以下、探索領域303内の座標を、(x,y)のように表記する。比較領域304は、テンプレート301と同じ大きさ(水平画素数W、垂直画素数H)を有する領域であって、テンプレート301との類似度を算出する対象となる画像内の領域である。照合部1610は、比較領域304に含まれる画素の輝度値と、テンプレート301に含まれる輝度値とを比較して類似度を算出する。パターンマッチングに用いる比較領域304の特徴量S(i,j)は、比較領域304内の座標を図4(b)に示すような座標系で表した場合、以下の式(2)で表現される。
S(i,j) = {S(0,0), S(1,0), ..., S(W-1,H-1)} (2)
FIG. 4B is an explanatory diagram schematically illustrating a
S(i,j) = {S(0,0), S(1,0), ..., S(W-1,H-1)} (2)
照合部1610は、テンプレート301と比較領域304との類似性を表す評価値V(x,y)として、以下の式(3)に示す差分絶対値和(Sum of Absolute Difference, SAD)を算出する。2組のデータにおいて、差分絶対値和が低いほど類似度が高い。V(x,y)は、探索領域303内を移動する比較領域304の左上頂点座標(x,y)における評価値として扱われる。
The
照合部1610は、比較領域304を1画素ずつ移動させながら、探索領域303内の各位置において評価値V(x,y)を取得する。より具体的には、照合部1610は、比較領域304を、探索領域303の左上座標(0,0)から開始して右方向に1画素ずつ移動させながら評価値V(x,y)を取得する。比較領域304の右端が探索領域303の右端x=(X-1)-(W-1)に到達すると、照合部1610は、比較領域304を左端に戻すと共に下方向に1画素だけ移動させる。そして、照合部1610は、再び左端から開始して右方向に1画素ずつ比較領域304を移動させながら評価値V(x,y)を取得する。
The
評価値Vが小さいほど類似度が高いので、評価値V(x,y)が最小値を示す座標(x,y)が、テンプレート301と最も類似した画素パターンを有する探索領域303内の比較領域304の位置を示す。照合部1610は、評価値V(x,y)が最小値を示す位置の比較領域304を、探索領域303内に存在する被写体領域として検出する。なお、照合部1610は、以上の探索結果の信頼性が低い場合(例えば、評価値V(x,y)の最小値が所定の閾値を上回る場合)には、被写体領域が未検出であると判定してもよい。
Since the smaller the evaluation value V, the higher the similarity, the coordinates (x, y) where the evaluation value V (x, y) has the minimum value are the comparison areas in the
本例では、特徴量として輝度値を用いてパターンマッチングを実行しているが、複数の値(例えば、明度、色相、および彩度)を特徴量として用いてもよい。また、本例では、パターンマッチングにおける類似度の評価値として差分絶対値和を用いているが、他の評価値、例えば、正規化相互相関(Normalized Cross-Correlation, NCC)やZNCCを用いてもよい。 In this example, pattern matching is performed using luminance values as features, but multiple values (e.g., lightness, hue, and saturation) may be used as features. Also, in this example, the sum of absolute differences is used as an evaluation value of similarity in pattern matching, but other evaluation values, such as normalized cross-correlation (NCC) or ZNCC, may be used.
次いで、他のマッチング手法であるヒストグラムマッチングについて説明する。図5は、本発明の実施形態におけるヒストグラムマッチングの説明図である。 Next, another matching method, histogram matching, will be explained. FIG. 5 is an explanatory diagram of histogram matching in the embodiment of the present invention.
図5(a)は、基準領域401とそのヒストグラム402を模式的に例示する説明図である。ヒストグラムマッチングを行う場合、特徴抽出部1620は、基準領域401の輝度ヒストグラムを特徴量として照合部1610に供給する。本例の基準領域401のヒストグラムp(m)402は、階級の数を示すビン数がM(Mは2以上の整数)であって、以下の式(4)で表現される。なお、本実施形態において、ヒストグラムp(m)は正規化された正規化ヒストグラムである。
p(m) = {p(0), p(1), ..., p(M-1)} (4)
FIG. 5A is an explanatory diagram schematically illustrating a
p(m) = {p(0), p(1), ..., p(M-1)} (4)
図5(b)は、被写体領域に含まれる探索領域403とその特徴量(輝度ヒストグラム405)を模式的に例示する説明図である。図4の例では、探索領域303内を比較領域304が移動しながらパターンマッチングが実行されるが、図5の例では、探索領域403内を比較領域404が移動しながらヒストグラムマッチングが実行される。図4の例では、比較領域304に含まれる画素の輝度値とテンプレート301に含まれる輝度値とが比較される。図5の例では、照合部1610が、比較領域404の輝度ヒストグラムq(m)405と、基準領域401の輝度ヒストグラムp(m)402とを比較して類似度を算出する。他の動作については、図4の例と図5の例とで同様である。本例の比較領域404のヒストグラムq(m)405は、階級の数を示すビン数がM(Mは2以上の整数)であって、以下の式(5)で表現される。なお、本実施形態において、ヒストグラムq(m)は正規化された正規化ヒストグラムである。
q(m) = {q(0), q(1), ..., q(M-1)} (5)
FIG. 5B is an explanatory diagram schematically illustrating a
q(m) = {q(0), q(1), ..., q(M-1)} (5)
照合部1610は、基準領域401のヒストグラムp(m)と比較領域404のヒストグラムq(m)との類似性を表す評価値D(x,y)として、以下の式(6)に示すBhattacharyya係数を算出する。2つのヒストグラムにおいて、Bhattacharyya係数が高いほど類似度が高い。D(x,y)は、探索領域403内を移動する比較領域404の左上頂点座標(x,y)における評価値として扱われる。
The
照合部1610は、図4のテンプレートマッチングと同様に、比較領域404を1画素ずつ移動させながら、探索領域403内の各位置において評価値V(x,y)を取得する。
Similar to the template matching in FIG. 4, the
評価値Dが大きいほど類似度が高いので、評価値D(x,y)が最大値を示す座標(x,y)が、基準領域401と最も類似した画素パターンを有する探索領域403内の比較領域404の位置を示す。照合部1610は、評価値D(x,y)が最大値を示す位置の比較領域404を、探索領域403内に存在する被写体領域として検出する。
Since the larger the evaluation value D, the higher the degree of similarity, the coordinates (x, y) at which the evaluation value D (x, y) has the maximum value are compared within the
本例では、特徴量として輝度値を用いてヒストグラムマッチングを実行しているが、複数の値(例えば、明度、色相、および彩度)を特徴量として用いてもよい。また、本例では、ヒストグラムマッチングにおける類似度の評価値としてBhattacharyya係数を用いているが、他の評価値、例えば、ヒストグラムインタセクションを用いてもよい。 In this example, histogram matching is performed using luminance values as features, but multiple values (e.g., lightness, hue, and saturation) may be used as features. Also, in this example, the Bhattacharyya coefficient is used as an evaluation value of similarity in histogram matching, but other evaluation values, such as histogram intersection, may be used.
(距離マップ生成部)
距離マップ生成部1630は、1組の視差画像から被写体距離を算出して距離マップ(評価用画像)を生成する。距離マップは、複数の画素の各々における被写体距離を示す距離情報の一種であって、他に、デプスマップ、奥行き画像、距離画像と称されることのある情報である。なお、距離マップ生成部1630は、視差画像を用いずに、複数の画素の各々についてコントラスト評価値が極大となるフォーカスレンズ131の位置を求めることで被写体距離を算出して距離マップを生成してもよい。被写体距離の算出について、図6を参照して以下に説明する。
(Distance map generation part)
The distance
図6は、本発明の実施形態における被写体距離の取得手法に関する説明図である。図6において、まず、前述した1組の視差画像であるA像1151aとB像1151bとが取得されていると想定する。撮影レンズ101の焦点距離、および、フォーカスレンズ131と撮像素子141との距離情報を用いると、図6の実線に示されるように光束が屈折することを求めることができる。以上のように光束を求めた結果、ピントの合った被写体が位置1152aに位置していることを求めることができる。同様にして、1組の視差画像であるA像1151aとB像1151cとが取得されている場合には、ピントの合った被写体が位置1152bに位置していることを求めることができる。また、1組の視差画像であるA像1151aとB像1151dとが取得されている場合には、ピントの合った被写体が位置1152cに位置していることを求めることができる。上記したように、各画素において、その画素のA像と、そのA像に対応するB像との相対的な位置関係に基づいて、その画素の位置における被写体距離を求めることができる。
FIG. 6 is an explanatory diagram regarding the subject distance acquisition method according to the embodiment of the present invention. In FIG. 6, it is first assumed that the above-mentioned pair of parallax images, the
以上の原理に基づいて、距離マップ生成部1630が、各画素についての1組の視差画像(A像およびB像)から被写体距離を求めて距離マップを生成する。距離マップ生成部1630は、1組の視差画像であるA像1151aとB像1151dとが取得されている場合、AB像間の像ずれ量の半分に相当する中間点の画素1154から被写体位置1152cまでの距離1153を、画素1154の画素値として取得する。距離マップ生成部1630は、以上のような処理を各画素について実行することによって距離マップを生成して、特徴抽出部1620に供給する。距離マップ生成部1630は、画像全体に亘って距離マップを生成してもよいし、特徴量を抽出するために指定された部分領域のみに亘って距離マップを生成してもよい。なお、距離マップ生成部1630は、画素1154から被写体位置1152cまでの距離1153に代えて、距離1153に相当するデフォーカス量を画素1154の画素値として取得してもよい。
Based on the above principle, the distance
距離マップ生成部1630は、距離マップの生成対象領域を分割した微小領域ごとにデフォーカス量を算出して距離マップを生成してもよい。より具体的には、距離マップ生成部1630は、各微小領域に含まれる複数の画素からA像およびB像を生成し、AB像間の位相差(像ずれ量)を相関演算によって求めてデフォーカス量に変換する。以上のように距離マップを生成する場合、同じ微小領域に含まれる複数の画素は、それぞれ同じ被写体距離を示すこととなる。
The distance
(特徴抽出部)
特徴抽出部1620は、被写体領域を追跡(探索)するのに用いる特徴量を被写体領域から抽出する。テンプレートマッチングを用いて追跡が実行される場合、特徴抽出部1620は、テンプレートとして用いる画像領域(テンプレート画像)を特徴量として抽出する。また、ヒストグラムマッチングを用いて追跡が実行される場合、特徴抽出部1620は、基準領域に対応するヒストグラムを特徴量として抽出する。なお、特徴抽出部1620は、追跡手法に対応する任意の特徴量を抽出することができる。
(Feature extraction part)
The
一般に、被写体追跡を実行する場合、実行に先立って、追跡対象とすべき被写体の画像内での位置をユーザが指定する。本実施形態のデジタルカメラ100では、撮影スタンバイ状態において、表示部150が表示装置に表示させている画像内での対象被写体の位置を、ユーザが操作部156を操作して指定する。主制御部151は、ユーザが指定した指定位置の座標を取得して、特徴抽出部1620に供給する。以上の指定位置の座標は、例えば、タッチパネルとしての操作部156においてタップされた位置の座標や、操作部156の操作に従って画像上を移動するカーソルによって指定された位置の座標である。
Generally, when tracking a subject, a user specifies the position of the subject to be tracked in an image prior to tracking the subject. In the
図7を参照して、特徴量を抽出すべき被写体領域を特定する手法について説明する。概略的には、本実施形態の特徴抽出部1620は、色情報と距離情報とに基づいて被写体領域を特定する。
With reference to FIG. 7, a method for specifying a subject area from which feature amounts should be extracted will be described. Roughly speaking, the
図7(a)は、画像処理部152から入力される撮像画像の例を示す。図7(a)の撮像画像には、人物の顔501と背景502とが含まれている。指定位置503は、人物の顔501の範囲内の点の座標を示す値であって、例えば、操作部156を用いたユーザの操作によって指定される位置である。本例において、背景502の色情報と人物の顔501の色情報とが類似していると想定する。
FIG. 7A shows an example of a captured image input from the
特徴抽出部1620は、まず、指定位置503を含む指定領域(例えば、指定位置503を中心とする所定サイズの矩形領域)を仮被写体領域として設定し、仮被写体領域についての色ヒストグラムHinを生成する。加えて、特徴抽出部1620は、仮被写体領域の周辺領域において、仮被写体領域と同じ大きさを有する参照領域についての色ヒストグラムHoutを生成する。色ヒストグラムは、生成対象領域における色の頻度を表すグラフであって、本例の色ヒストグラムは、RGB色空間からHSV色空間に変換された生成対象領域の画素値のうち色相(Hue)の頻度を表すグラフである。なお、他の手法によって色ヒストグラムが取得されてもよい。
The
次いで、特徴抽出部1620は、以下の式(7)に従って情報量I(a)を取得する。
I(a) = -log2(Hin(a)/Hout(a)) (7)
Next, the
I(a) = -log 2 (H in (a)/H out (a)) (7)
ここで、式(7)中のaは、色ヒストグラムに含まれるビンの項番を示す整数である。情報量I(a)の絶対値は、仮被写体領域に含まれる画素の色頻度と参照領域に含まれる画素の色頻度との差が大きいほど大きい。特徴抽出部1620は、色ヒストグラムに含まれる全てのビンについて情報量I(a)を算出する。特徴抽出部1620は、参照領域の位置を変更しながら周辺領域の全体について色ヒストグラムHoutの生成および情報量I(a)の算出を実行する。なお、仮被写体領域自体については、特徴抽出部1620は、全てのビンの情報量I(a)を0とする。
Here, a in equation (7) is an integer indicating the item number of the bin included in the color histogram. The absolute value of the information amount I(a) increases as the difference between the color frequency of pixels included in the temporary subject area and the color frequency of pixels included in the reference area increases. The
特徴抽出部1620は、周辺領域の全体について算出した情報量I(a)の各々を、特定範囲(例えば、8ビット値(0~255)の範囲)内の値にマッピングする。以上のマッピングにおいて、特徴抽出部1620は、情報量I(a)の絶対値が小さいほどマッピング後の値(マッピング値)が大きくなるように処理を実行する。次いで、特徴抽出部1620は、周辺領域に含まれる各画素を、当該画素を含む参照領域の色ヒストグラムにおいて当該画素を含むビンHout(a)に対応する情報量I(a)のマッピング値を輝度値とする画素に置換する。特徴抽出部1620は、仮被写体領域に含まれる各画素を、情報量I(a)=0のマッピング値(本例では、255)を輝度値とする画素に置換する。
The
以上の処理によって、特徴抽出部1620が、色情報に基づく被写体マップ(色マップ)を生成する。図7(b)は、以上のように生成された色情報に基づく被写体マップ(色マップ)の例である。図7(b)の被写体マップは、画素の示す色が白に近い(値が大きい)ほど被写体に対応する画素である確からしさが高く、画素の示す色が黒に近いほど(値が小さい)ほど被写体に対応する画素である確からしさが低いことを示す。説明の簡単のため、図7(b)では被写体マップが2値画像として示されているが、実際の色情報に基づく被写体マップは多値で表現される多階調画像である。
Through the above processing, the
本例では、撮像画像の背景502の一部の色が人物の顔501の色と類似しているので、以上の色情報に基づく被写体マップ(色マップ)においては人物の顔501が背景502と十分に識別されていない。図7(c)に示される矩形領域504は、色情報に基づく被写体マップに基づいて特定された被写体領域を示している。以上の矩形領域504は、例えば、色マップにおいてマッピング後の画素値(マッピング値)が所定閾値以上である領域に基づいて設定される(更新される)。 In this example, since part of the color of the background 502 of the captured image is similar to the color of the person's face 501, the person's face 501 is similar to the background 502 in the subject map (color map) based on the above color information. Not sufficiently identified. A rectangular area 504 shown in FIG. 7C indicates a subject area specified based on a subject map based on color information. The above rectangular area 504 is set (updated) based on, for example, an area in the color map in which the pixel value after mapping (mapping value) is equal to or greater than a predetermined threshold value.
図7(c)に示すように、本例において、色情報に基づく被写体マップのみに従って設定された被写体領域(矩形領域504)は人物の顔501でない不要な領域を含んでいる。以上のような被写体領域から抽出した特徴量を用いて被写体領域を追跡しても、対象物である人物の顔501を精度よく追跡することは困難である。したがって、本実施形態では、色情報に基づく被写体マップ(色マップ)に加えて、距離マップ生成部1630が生成した距離マップも使用して被写体領域の特定精度を向上させる。
As shown in FIG. 7C, in this example, the subject area (rectangular area 504) set only according to the subject map based on color information includes an unnecessary area that is not the face 501 of the person. Even if the subject area is tracked using the feature amounts extracted from the subject area as described above, it is difficult to accurately track the person's face 501 as the target object. Therefore, in this embodiment, in addition to the subject map (color map) based on color information, the distance map generated by the distance
図7(d)は、図7(a)の撮像画像について距離マップ生成部1630が生成した距離マップ内の各被写体距離を、指定位置503に相当する被写体距離を基準として特徴抽出部1620が変換した後の距離マップを示す。図7(d)においては、基準となる被写体距離(指定位置503の被写体距離)との差が小さい被写体距離ほどより白く、差が大きい被写体距離ほどより黒く表示されるように変換されている。説明の簡単のため、図7(d)では距離マップが2値画像として示されているが、実際の変換後の距離マップは多値で表現される多階調画像である。
In FIG. 7D, the
特徴抽出部1620は、色情報に距離情報を加味した被写体マップを、例えば、色情報に基づく被写体マップ(色マップ)の画素値(図7(b))と距離マップの画素値(図7(d))とをそれぞれ乗算することによって生成する。図7(e)は、色情報に距離情報を加味した被写体マップ(すなわち、色情報と距離情報との双方に基づく被写体マップ)の例である。図7(e)に示すように、色情報および距離情報に基づく被写体マップでは、人物の顔501と背景502とが精度良く区別されている。図7(f)に示される矩形領域505は、色情報および距離情報に基づく被写体マップに基づいて特定された被写体領域を示している。以上の矩形領域505は、例えば、図7(e)の被写体マップにおける画素値が所定閾値以上である領域に基づいて設定され、より具体的には、画素値によって特定された対象物(本例では人物の顔501)の領域に外接するように設定される。
The
図7(f)に示すように、色情報および距離情報に基づく被写体マップに従って設定された被写体領域(矩形領域505)においては、人物の顔501以外の画素(背景502の画素)が矩形領域504と比較して少ない。したがって、以上のような被写体領域から抽出した特徴量を用いて被写体領域を追跡すると、対象物である人物の顔501を精度よく追跡することができる。 As shown in FIG. 7F, in the subject area (rectangular area 505) set according to the subject map based on color information and distance information, pixels other than the person's face 501 (pixels of the background 502) are located in the rectangular area 504. less compared to Therefore, if the subject area is tracked using the feature amounts extracted from the subject area as described above, the face 501 of the person, which is the target object, can be accurately tracked.
上記したように、指定位置を含む所定の範囲に関する色情報と距離情報との双方を参照することによって、被写体領域をより精度良く特定することができ、ひいては高精度の被写体追跡を実現するのに適した特徴量を抽出することができる。 As mentioned above, by referring to both the color information and distance information regarding a predetermined range including the specified position, it is possible to specify the object area with higher accuracy, which in turn makes it possible to realize highly accurate object tracking. Appropriate features can be extracted.
なお、ユーザによって追跡対象とすべき被写体の位置が指定された時点において、指定位置およびその近傍領域の有効な距離情報(参照するに足りる信頼性を有する距離情報)が取得されていないケースも想定される。例えば、距離マップの生成が特定領域(例えば、焦点検出領域)のみについて実行されており指定位置がその特定領域に含まれていないケースや、指定位置においてピントが合っておらず距離情報の信頼性が低いケース等が想定され得る。 Furthermore, it is assumed that at the time the user specifies the location of the subject to be tracked, valid distance information (distance information reliable enough to refer to) of the specified location and its surrounding area is not obtained. be done. For example, there may be cases where distance map generation is performed only for a specific area (for example, focus detection area) and the specified position is not included in that specific area, or cases where the specified position is out of focus and the reliability of the distance information is Cases can be envisaged in which the
以上のようなケースに対応するため、指定位置近傍(仮被写体領域)について参照するに足りる信頼性を有する距離情報が取得されている場合、特徴抽出部1620は、前述のように、色情報に加えて距離情報を参照して被写体領域を特定する。他方、指定位置近傍(仮被写体領域)について参照するに足りる信頼性を有する距離情報が取得されていない場合、特徴抽出部1620は、距離情報を参照せずに色情報に基づいて被写体領域を特定する。「参照するに足りる信頼性を有する距離情報」とは、例えば、仮被写体領域が合焦状態または合焦に近い状態(すなわち、デフォーカス量が所定閾値以下である状態)において取得された距離情報である。なお、他の条件に従って「参照するに足りる信頼性を有する距離情報」が取得されてもよい。
To deal with the above cases, when distance information with sufficient reliability for reference has been acquired for the vicinity of the specified position (provisional subject region), the
(フローチャート)
図8から図16を参照して、本発明の実施形態に係るデジタルカメラ100によって実行される撮像画像(動画)における被写体検出および被写体追跡の詳細な流れについて説明する。図8は、本実施形態のメイン処理(メインルーチン)を示すメインフローチャートである。図9から図11および図13から図15は、それぞれ、メイン処理または他のサブ処理(サブルーチン)に含まれるサブ処理を示すサブフローチャートである。
(flowchart)
A detailed flow of subject detection and subject tracking in a captured image (video) executed by the
図8を参照して、本実施形態の被写体検出および被写体追跡のメイン処理について説明する。以下のメイン処理は、典型的には主制御部151によって実行されるが、一部または全部の処理が画像処理部152によって実行されてもよい。
The main processing of subject detection and subject tracking in this embodiment will be described with reference to FIG. 8. The main processing described below is typically executed by the
ステップS801において、主制御部151は、ユーザによって焦点検出領域の位置指定が行われるか否かを判定する。ユーザが指定位置を指定しない場合(S801:NO)、主制御部151は、ステップS802をスキップして処理をステップS803に進める。他方、ユーザが指定位置を指定する場合、主制御部151は、処理をステップS802に進める。
In step S801, the
ユーザが指定位置を指定しない(検出対象の被写体を指定しない)場合、主制御部151は、所定の手法に従って自動的に対象被写体および焦点検出位置を特定してもよい。例えば、主制御部151は、瞳認識によって認識された瞳を含む人間の顔を対象被写体として特定してもよいし、連続する画像内で動いている物体を対象被写体として特定してもよい。以上の特定処理は、ステップS801でNOと判定された後から実行されてもよいし、後述するステップS803で焦点検出が指示されてから実行されてもよい。
If the user does not specify a specified position (does not specify a subject to be detected), the
ステップS802において、主制御部151は、ユーザによって指定された位置を焦点検出位置として設定する。ユーザによって指定された位置とは、例えば、ユーザがタッチパネルとしての操作部156においてタップされた位置の座標や、操作部156の操作に従って画像上を移動するカーソルによって指定された位置の座標である。
In step S802, the
ステップS803において、主制御部151は、焦点検出が指示されているか否かを判定する。ユーザは、例えば、操作部156のシャッターボタンの半押し操作や、操作部156のタッチパネルのタッチ操作によって、焦点検出を指示することができる。焦点検出が指示されている場合(S803:YES)、主制御部151は処理をステップS804に進める。他方、焦点検出が指示されていない場合(S803:NO)、主制御部151は本処理を終了する。
In step S803, the
ステップS804において、主制御部151は、画像処理部152やフォーカス制御部133等の要素を制御して、後述される焦点検出処理を実行する。
In step S804, the
ステップS805において、主制御部151は、追跡対象とすべき被写体が検出されているか否かを判定する。
In step S805, the
被写体が検出されていない場合(S805:NO)、主制御部151は、処理をステップS806に進め、後述される被写体検出処理を実行する。ステップS806の後、主制御部151は処理をステップS807に進める。
If a subject is not detected (S805: NO), the
被写体が検出されている場合(S805:YES)、主制御部151は、ステップS806をスキップして処理をステップS807に進め、後述される被写体追跡処理を実行する。
If a subject is detected (S805: YES), the
ステップS807の被写体追跡処理が終了すると、主制御部151は、処理をステップS803に戻し、焦点検出指示がなされている間に亘ってステップS803からステップS807までの処理を繰り返す。
When the subject tracking process in step S807 is completed, the
図9を参照して、本実施形態のサブ処理であるステップS804の焦点検出処理について説明する。 With reference to Figure 9, the focus detection process of step S804, which is a sub-process of this embodiment, will be described.
ステップS901において、フォーカス制御部133は、ステップS802でユーザが指定した位置(または、自動的に特定された位置)に対応する焦点検出領域におけるデフォーカス量を算出する。なお、ステップS801の判定がNOであった場合(位置指定がされない場合)、フォーカス制御部133は、複数の焦点検出領域について算出されたデフォーカス量に基づいて、1つまたは同一深度に相当する複数の焦点検出領域を特定する。
In step S901, the
ステップS902において、フォーカス制御部133は、ステップS901で算出したデフォーカス量に基づいてフォーカスレンズ131の駆動量を算出する。算出した駆動量に基づいて、フォーカス制御部133がフォーカスレンズ131を駆動することで、撮影レンズ101の焦点合わせを実行する。
In step S902, the
ステップS902が終了すると、本サブ処理がメイン処理に戻される。 When step S902 ends, this sub-processing returns to the main processing.
図10を参照して、本実施形態のサブ処理であるステップS806の被写体検出処理について説明する。 Referring to FIG. 10, the subject detection process of step S806, which is a sub-process of this embodiment, will be described.
ステップS1001において、主制御部151は、被写体検出に用いられる評価用画像に対するトリミング処理(第1トリミング処理)を実行するように画像処理部152(トリミング手段)を制御する。本処理の詳細については、図11および図12を参照して後述される。
In step S1001, the
ステップS1002において、主制御部151は、図13を参照して後述される被写体領域の特定処理を実行するように追跡部161を制御する。
In step S1002, the
ステップS1002が終了すると、本サブ処理がメイン処理に戻される。 When step S1002 ends, this sub-processing returns to the main processing.
図11および図12を参照して、本実施形態のサブ処理であるステップS1001の被写体検出時のトリミング処理(第1トリミング処理)について説明する。図11は以上のトリミング処理のフローチャートであり、図12は以上のトリミング処理におけるトリミング倍率(トリミングサイズ)と撮影倍率との関係を示すグラフである。以下のトリミング処理において、前述したように、画像処理部152はトリミング手段として動作する。
The trimming process (first trimming process) at the time of subject detection in step S1001, which is a sub-process of this embodiment, will be described with reference to Figures 11 and 12. Figure 11 is a flowchart of the above trimming process, and Figure 12 is a graph showing the relationship between the trimming magnification (trimming size) and the shooting magnification in the above trimming process. In the following trimming process, as described above, the
ステップS1101において、画像処理部152は、フォーカス制御部133を制御して撮影レンズ101に関するレンズ情報(光学情報)を取得する。以上のレンズ情報は、フォーカスレンズ131の位置に対応する距離、焦点距離、および焦点検出領域のデフォーカス量を含む。
In step S1101, the
ステップS1102において、画像処理部152は、撮像読出しモードに関するモード情報を取得する。デジタルカメラ100は、複数の撮像読出しモードのうちユーザによってまたは自動的に選択されている1つのモードに従って動作する。通常の撮像読出しモードでは、画像処理に用いられる撮像素子141の有効画素範囲と撮像画像の範囲とが一致する。他方、動画モードや静止画クロップモードでは、通常の撮像読出しモードと比較して撮像素子141の有効画素範囲がより狭くなる。画像処理部152は、取得したモード情報に基づいて、現在のモードにおいて取得される画像の通常画像に対する拡大率(クロップ倍率)を取得して、以降の撮影倍率の算出に用いる。
In step S1102, the
ステップS1103において、画像処理部152は撮影倍率を算出する。本例における撮影倍率は、撮影レンズ101を介した被写体像の大きさ(撮像面上における像の大きさ)を示す値である。画像処理部152は、ステップS1101にて取得したレンズ情報に含まれる焦点距離とフォーカスレンズ131の位置とに対応する距離比に基づいて撮影倍率を概算する。画像処理部152は、概算した撮影倍率をステップS1102にて取得したクロップ倍率によって除算することで、修正後の撮影倍率を取得する。なお、画像処理部152は、焦点検出領域においてデフォーカス量が発生している場合には、そのデフォーカス量に基づいて以上の撮影倍率を修正してもよい。
In step S1103, the
ステップS1104において、画像処理部152は、撮影倍率の逆数(1/撮影倍率)αが第1の閾値Th1(例えば、100)以上であるか否かを判定する。撮影倍率の逆数αが第1の閾値Th1以上である場合(S1104:YES)、画像処理部152は、処理をステップS1105に進める。他方、撮影倍率の逆数αが第1の閾値Th1未満である場合(S1104:NO)、画像処理部152は、処理をステップS1108に進める。
In step S1104, the
ステップS1105において、画像処理部152は、ユーザによって焦点検出領域の位置指定が行われたか否かを判定する。ユーザが指定位置を指定した場合(S1105:YES)、画像処理部152は処理をステップS1106に進める。他方、ユーザが指定位置を指定していなかった場合(S1105:NO)、画像処理部152は、ステップS1106,S1107をスキップして処理をステップS1108に進める。本ステップの処理分岐によって、焦点検出領域の位置指定がされた場合には評価用画像のトリミング処理(第1トリミング処理)が実行され、位置指定がされない場合にはトリミング処理が実行されない、という動作が実現される。なお、ステップS1105の判定に応じてトリミング倍率が変更されてもよい。
In step S1105, the
ステップS1106において、画像処理部152は、被写体検出に用いられる評価用画像に適用すべき第1トリミング倍率T1(トリミングサイズ)を算定する。第1トリミング倍率T1は、撮影倍率の逆数(1/撮影倍率)α、第1の閾値Th1、および第1の閾値Th1より大きい第2の閾値Th2におけるトリミング倍率Tmaxを用いた以下の式(8)に従って算定される。
T1 = α/Th1 (8)
In step S1106, the
T1 = α/Th1 (8)
ただし、算出された第1トリミング倍率T1は、T1>Tmaxである場合にT1=Tmaxに設定され、T1<1である場合にT1=1に設定される。図12は、撮影倍率の逆数(1/撮影倍率)αを横軸に、以上の式(8)に従って算定された第1トリミング倍率T1を縦軸に示すグラフである。 However, the calculated first trimming magnification T1 is set to T1=Tmax when T1>Tmax, and set to T1=1 when T1<1. FIG. 12 is a graph showing the reciprocal of the imaging magnification (1/imaging magnification) α on the horizontal axis and the first trimming magnification T1 calculated according to the above equation (8) on the vertical axis.
撮影倍率の逆数(1/撮影倍率)αが相対的に大きい場合、すなわち撮影倍率が相対的に小さい場合には、評価用画像において被写体が相対的に小さく撮像される。したがって、評価用画像をトリミングしてからリサイズ(後述)を実行することによって、評価用画像における被写体の解像度を増大させることができる。他方、撮影倍率の逆数(1/撮影倍率)αが相対的に小さい場合、すなわち撮影倍率が相対的に大きい場合には、評価用画像において被写体が相対的に大きく撮像される。したがって、評価用画像をトリミングせずとも(すなわち、第1トリミング倍率T1=1と設定しても)、評価用画像における被写体の解像度は十分であると理解できる。 When the reciprocal of the imaging magnification (1/imaging magnification) α is relatively large, that is, when the imaging magnification is relatively small, the subject is captured relatively small in the evaluation image. Therefore, by trimming the evaluation image and then performing resizing (described later), it is possible to increase the resolution of the subject in the evaluation image. On the other hand, when the reciprocal of the imaging magnification (1/imaging magnification) α is relatively small, that is, when the imaging magnification is relatively large, the subject is imaged relatively large in the evaluation image. Therefore, it can be understood that the resolution of the subject in the evaluation image is sufficient even without trimming the evaluation image (that is, even if the first trimming magnification T1 is set to 1).
ステップS1107において、画像処理部152は、ステップS1106にて算出した第1トリミング倍率T1を用いて評価用画像に対するトリミングを実行する。
In step S1107, the
ステップS1108において、画像処理部152は評価用画像のリサイズを実行して、本サブ処理を終了する。
In step S1108, the
図13を参照して、本実施形態のサブ処理であるステップS1002の被写体領域の特定処理について説明する。 Referring to FIG. 13, description will be given of the subject area identification process in step S1002, which is a sub-process of this embodiment.
ステップS1301において、追跡部161の特徴抽出部1620は、画像処理部152から入力される撮像画像を評価用画像として読み込む。
In step S1301, the
ステップS1302において、特徴抽出部1620は、焦点検出領域にて指定された指定位置に相当する被写体を含む評価用画像内の領域に基づいて、仮テンプレートを作成する。
In step S1302, the
ステップS1303において、特徴抽出部1620は、焦点検出領域にて指定された指定位置に相当する被写体を含む評価用画像内の領域の情報と、上記した被写体を含まない評価用画像内の領域の情報と、からそれぞれ特徴量を抽出する。
In step S1303, the
ステップS1304において、照合部1610は、ステップS1303にて抽出した特徴量に基づいて被写体領域を特定する。より具体的には、照合部1610は、特徴量の一致度が高い(例えば、所定閾値以上である)領域を被写体領域として特定して、特定した被写体領域の形状を整形する。被写体領域のサイズは任意に設定され得る。例えば、被写体領域の最小サイズが撮影倍率に応じて変更されてもよい。
In step S1304, the
ステップS1305において、照合部1610は、ステップS1304にて特定された被写体領域に基づいて被写体領域のテンプレートを作成して、本サブ処理を終了する。
In step S1305, the
図14を参照して、本実施形態のサブ処理であるステップS807の被写体追跡処理について説明する。 Referring to FIG. 14, the subject tracking process in step S807, which is a sub-process of this embodiment, will be described.
ステップS1401において、主制御部151は、被写体検出に用いられる被写体追跡時のトリミング処理(第2トリミング処理)を実行するように画像処理部152(トリミング手段)を制御する。本処理の詳細については、図15および図16を参照して後述される。
In step S1401, the
ステップS1402において、画像処理部152は、被写体検出時の撮影倍率(ステップS1103)の逆数αが第1の閾値Th1以上であるか否かを判定する。撮影倍率の逆数αが第1の閾値Th1以上である場合(S1402:YES)、画像処理部152は、処理をステップS1403に進める。他方、撮影倍率の逆数αが第1の閾値Th1未満である場合(S1402:NO)、画像処理部152は、処理をステップS1405に進める。
In step S1402, the
ステップS1403において、画像処理部152は、被写体追跡中の現在のフレームの撮影倍率の逆数βが第1の閾値Th1以下であるか否かを判定する。撮影倍率の逆数βが第1の閾値Th1以下である場合(S1403:YES)、画像処理部152は、処理をステップS1404に進める。他方、撮影倍率の逆数βが第1の閾値Th1を上回る場合(S1403:NO)、画像処理部152は、処理をステップS1405に進める。
In step S1403, the
ステップS1404において、前述した被写体検出処理(ステップS807、図10)が実行される。ここで被写体検出を再び実行するのは、被写体検出時の撮影倍率が低く(S1402:YES)かつ現在の撮影倍率が高い(S1403:YES)ので、検出時よりも現在の方が画像における被写体像が拡大していることが多いからである。 In step S1404, the subject detection process described above (step S807, FIG. 10) is executed. The reason subject detection is executed again here is that the shooting magnification at the time of subject detection was low (S1402: YES) and the current shooting magnification is high (S1403: YES), so the subject image in the current image is often larger than it was at the time of detection.
ステップS1405において、追跡部161の特徴抽出部1620は、前述のように、ユーザが追跡対象として指定した被写体の指定位置およびその近傍領域の有効な(すなわち、参照するに足りる信頼性を有する)距離情報が取得されているか否かを判定する。有効な距離情報が取得されていない場合(S1405:NO)、特徴抽出部1620は処理をステップS1406に進める一方、有効な距離情報が取得されている場合(S1405:YES)、特徴抽出部1620は処理をステップS1407に進める。
In step S1405, the
ステップS1406において、特徴抽出部1620は、図7を参照して前述したように、距離情報を参照せずに色情報のみに基づいて被写体領域を特定し、被写体領域の特徴量(例えば、テンプレート画像、ヒストグラム)を抽出する。
In step S1406, as described above with reference to FIG. 7, the
ステップS1407において、特徴抽出部1620は、図7を参照して前述したように、色情報と距離情報との双方に基づいて被写体領域を特定し、被写体領域の特徴量(例えば、テンプレート画像、ヒストグラム)を抽出する。
In step S1407, the
ステップS1408において、照合部1610は、図5を参照して前述したように、ステップS1406またはステップS1407にて抽出された特徴量を用いて、撮像画像の探索領域(追跡領域)に対してマッチング処理を実行する。以上のマッチング処理によって、照合部1610(追跡部161)は、特徴量の類似度が最も高い領域(被写体領域)を検出する。 In step S1408, as described above with reference to FIG. Execute. Through the above matching process, the matching unit 1610 (tracking unit 161) detects a region (subject region) with the highest degree of feature similarity.
ステップS1409において、照合部1610は、検出された被写体領域の形状を整形した後、整形後の被写体領域の位置および大きさに関する情報を主制御部151に供給する。なお、本ステップの被写体領域の形状の整形はスキップされてもよい。
In step S1409, the
図15および図16を参照して、本実施形態のサブ処理であるステップS1401の被写体追跡時のトリミング処理(第2トリミング処理)について説明する。図15は以上のトリミング処理のフローチャートであり、図16は以上のトリミング処理におけるトリミング倍率と被写体領域の水平サイズとの関係を示すグラフである。以下のトリミング処理において、前述したように、画像処理部152はトリミング手段として動作する。
The trimming process (second trimming process) during subject tracking in step S1401, which is a sub-process of this embodiment, will be described with reference to FIGS. 15 and 16. FIG. 15 is a flowchart of the above trimming process, and FIG. 16 is a graph showing the relationship between the trimming magnification and the horizontal size of the subject area in the above trimming process. In the following trimming process, as described above, the
ステップS1501において、画像処理部152は、被写体領域の水平方向および垂直方向のサイズ(例えば、画素数)を取得する。
In step S1501, the
ステップS1502において、画像処理部152は、被写体追跡に用いられる評価用画像に適用すべき第2トリミング倍率T2(トリミングサイズ)を算定する。第2トリミング倍率T2は、被写体領域の水平方向におけるサイズH(水平サイズ)、第3の閾値Th3、および上述した第2の閾値Th2におけるトリミング倍率Tmaxを用いた以下の式(9)に従って算定される。
T2 = Tmax×Th3/H (9)
In step S1502, the
T2 = Tmax×Th3/H (9)
ただし、算出された第2トリミング倍率T2は、T2>Tmaxである場合にT2=Tmaxに設定され、T2<1である場合にT2=1に設定される。図16は、被写体領域の水平サイズを横軸に、以上の式(9)に従って算定された第2トリミング倍率T2を縦軸に示すグラフである。 However, the calculated second trimming ratio T2 is set to T2=Tmax if T2>Tmax, and is set to T2=1 if T2<1. FIG. 16 is a graph showing the horizontal size of the subject area on the horizontal axis and the second trimming ratio T2 calculated according to the above formula (9) on the vertical axis.
ステップS1503において、画像処理部152は、ステップS1502にて算出した第2トリミング倍率T2を用いて評価用画像に対するトリミングを実行する。
In step S1503, the
ステップS1504において、画像処理部152は評価用画像のリサイズを実行して、本サブ処理を終了する。
In step S1504, the
上記したように、本実施形態の構成では、評価用画像を用いて被写体追跡の対象である被写体領域が特定され、特定された被写体領域から抽出された特徴量を用いて被写体追跡が実行される。以上の被写体追跡において、種々の条件(位置指定、撮影倍率等)に従ってトリミング倍率が変更され、トリミングされた評価用画像に基づいて被写体追跡が実行される。すなわち、被写体追跡において適切なトリミングが実行されるので、より精度の高い被写体追跡を実現することができる。 As described above, in the configuration of this embodiment, the subject area that is the subject of subject tracking is identified using the evaluation image, and the subject tracking is performed using the features extracted from the identified subject area. . In the above subject tracking, the trimming magnification is changed according to various conditions (position designation, imaging magnification, etc.), and subject tracking is executed based on the trimmed evaluation image. That is, since appropriate trimming is performed during subject tracking, more accurate subject tracking can be achieved.
(その他の実施形態)
以上の実施形態は多様に変形される。具体的な変形の態様を以下に例示する。以上の実施形態および以下の例示から任意に選択された2以上の態様は、相互に矛盾しない限り適宜に併合され得る。
Other Embodiments
The above embodiment can be modified in various ways. Specific modified aspects are exemplified below. Two or more aspects arbitrarily selected from the above embodiment and the following examples can be appropriately combined as long as they are not mutually contradictory.
上記した実施形態においては、種々の条件に従ってトリミングサイズの一種であるトリミング倍率が変更され、トリミングが実行される。しかしながら、上述した種々の条件に従って変更されるのは、トリミング倍率に限定されず、トリミングサイズに関する任意の設定が変更され得る。 In the embodiments described above, the trimming magnification, which is a type of trimming size, is changed according to various conditions, and trimming is performed. However, what is changed according to the various conditions described above is not limited to the trimming magnification, but any setting regarding the trimming size may be changed.
上記した実施形態においては、動画撮影における被写体検出および被写体追跡の処理について説明されている。しかしながら、上記した実施形態による構成を、連写やインターバル撮影等の時系列的に複数の画像を撮影する際または再生する際に適用してもよい。 In the above-described embodiments, subject detection and subject tracking processing in video shooting is described. However, the configuration according to the above-described embodiments may be applied when capturing or reproducing a plurality of images in time series, such as continuous shooting or interval shooting.
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述の実施の形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to the embodiments described above, and various modifications and changes can be made within the scope of the gist thereof. For example, the present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors of a computer in the system or device executes the program. This can also be achieved by reading and executing the process. The present invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
100 デジタルカメラ(撮像装置)
101 撮影レンズ
133 フォーカス制御部
141 撮像素子
151 主制御部
152 画像処理部(トリミング手段)
161 追跡部(追跡手段)
100 Digital camera (imaging device)
101
161 Tracking unit (tracking means)
Claims (13)
撮像素子から出力された画像に対応する色情報と距離情報を含む評価用画像とを用いて前記被写体追跡の対象である被写体領域を特定し、特定された前記被写体領域から抽出された特徴量を用いて前記被写体追跡を実行する追跡手段と、
被写体を示す位置が指定されている場合、前記指定された位置を含むように前記評価用画像の領域を設定する設定手段と、
被写体像を前記撮像素子に結像させる撮像光学系に関する光学情報に基づいてトリミングサイズを設定し、設定された前記トリミングサイズに従って前記評価用画像をトリミングするトリミング手段と、を備え、
前記追跡手段は、トリミングされた前記評価用画像内の前記被写体領域から前記特徴量を抽出する、ことを特徴とする画像処理装置。 An image processing device that performs object tracking,
a tracking means for identifying a subject region that is a target of the subject tracking using an evaluation image including color information and distance information corresponding to an image output from an imaging element , and for performing the subject tracking using a feature amount extracted from the identified subject region;
a setting means for setting an area of the evaluation image so as to include a position indicating a subject when the position is specified;
a trimming unit that sets a trimming size based on optical information related to an imaging optical system that forms an image of a subject on the imaging element, and trims the evaluation image in accordance with the set trimming size,
The image processing device according to claim 1, wherein the tracking means extracts the feature amount from the subject area in the cropped evaluation image.
請求項1から請求項10のいずれか1項に記載の画像処理装置とを備える、ことを特徴とする撮像装置。 an imaging optical system;
An imaging device comprising the image processing device according to any one of claims 1 to 10.
被写体を示す位置が指定されている場合、前記指定された位置を含むように前記評価用画像の領域を設定することと、
被写体像を前記撮像素子に結像させる撮像光学系に関する光学情報に基づいてトリミングサイズを設定することと、
設定された前記トリミングサイズに従って前記評価用画像をトリミングすることと、を備え、
前記評価用画像がトリミングされた場合、トリミングされた前記評価用画像内の前記被写体領域から前記特徴量が抽出される、ことを特徴とする制御方法。 A subject area to be tracked is identified using an evaluation image including color information and distance information corresponding to the image output from the image sensor , and feature quantities extracted from the identified subject area are used. performing the subject tracking using
If a position indicating the subject is specified, setting an area of the evaluation image to include the specified position;
setting a trimming size based on optical information regarding an imaging optical system that forms a subject image on the imaging device;
trimming the evaluation image according to the set trimming size;
A control method characterized in that, when the evaluation image is trimmed, the feature amount is extracted from the subject area in the trimmed evaluation image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019158516A JP7458723B2 (en) | 2019-08-30 | 2019-08-30 | Image processing device, imaging device, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019158516A JP7458723B2 (en) | 2019-08-30 | 2019-08-30 | Image processing device, imaging device, control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021040178A JP2021040178A (en) | 2021-03-11 |
JP7458723B2 true JP7458723B2 (en) | 2024-04-01 |
Family
ID=74847439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019158516A Active JP7458723B2 (en) | 2019-08-30 | 2019-08-30 | Image processing device, imaging device, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7458723B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013085089A (en) | 2011-10-07 | 2013-05-09 | Nikon Corp | Object tracking device and camera |
JP2017229061A (en) | 2016-06-21 | 2017-12-28 | キヤノン株式会社 | Image processing apparatus, control method for the same, and imaging apparatus |
JP2018007272A (en) | 2017-09-21 | 2018-01-11 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and program |
-
2019
- 2019-08-30 JP JP2019158516A patent/JP7458723B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013085089A (en) | 2011-10-07 | 2013-05-09 | Nikon Corp | Object tracking device and camera |
JP2017229061A (en) | 2016-06-21 | 2017-12-28 | キヤノン株式会社 | Image processing apparatus, control method for the same, and imaging apparatus |
JP2018007272A (en) | 2017-09-21 | 2018-01-11 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021040178A (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977940B (en) | Background blurring processing method, device and equipment | |
CN107087107B (en) | Image processing apparatus and method based on dual camera | |
JP6347675B2 (en) | Image processing apparatus, imaging apparatus, image processing method, imaging method, and program | |
US8351776B2 (en) | Auto-focus technique in an image capture device | |
JP7223079B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND IMAGING APPARATUS | |
US9485436B2 (en) | Image processing apparatus and image processing method | |
JP6223059B2 (en) | Imaging apparatus, control method thereof, and program | |
KR20120022512A (en) | Electronic camera, image processing apparatus, and image processing method | |
US20230386166A1 (en) | Image processing apparatus and electronic apparatus | |
JP2018182700A (en) | Image processing apparatus, control method of the same, program, and storage medium | |
JP2023033355A (en) | Image processing device and control method therefor | |
JP7458723B2 (en) | Image processing device, imaging device, control method, and program | |
JP2023165555A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
US10565712B2 (en) | Image processing apparatus and method for controlling the same | |
JP2017130106A (en) | Data processing apparatus, imaging apparatus and data processing method | |
JP6776532B2 (en) | Image processing equipment, imaging equipment, electronic devices and image processing programs | |
CN115086558B (en) | Focusing method, image pickup apparatus, terminal apparatus, and storage medium | |
JP2018152095A (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP7278737B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
JP2017182668A (en) | Data processor, imaging device, and data processing method | |
JP2023086270A (en) | Image processing device, image processing method, imaging apparatus, program, and recording medium | |
JP6318661B2 (en) | Subject detection device, imaging device, and image processing program | |
JP2015149570A (en) | Image processing apparatus, imaging apparatus and image processing program | |
JP2020108024A (en) | Image processing device and imaging apparatus | |
JP2018141991A (en) | Subject detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7458723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |