JP5016999B2 - Imaging apparatus, imaging method, and program - Google Patents
Imaging apparatus, imaging method, and program Download PDFInfo
- Publication number
- JP5016999B2 JP5016999B2 JP2007175461A JP2007175461A JP5016999B2 JP 5016999 B2 JP5016999 B2 JP 5016999B2 JP 2007175461 A JP2007175461 A JP 2007175461A JP 2007175461 A JP2007175461 A JP 2007175461A JP 5016999 B2 JP5016999 B2 JP 5016999B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- captured image
- person
- detected
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、人物の顔の検出及び認識を行う撮像装置、撮像方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and a program for detecting and recognizing a human face.
現在、動画像中の人物から特定の個人を認識する技術が知られている(特許文献1及び特許文献2参照)。特許文献1によれば、防犯カメラを駅の自動券売機に設置して被写体認識(特定の個人の認識)を行うことにより、セキュリティー上好ましくない人物の乗車を防ぐことができる。また、特許文献2によれば、ロボットなどに被写体認識機能を搭載することにより、エンターテイメント性の向上が図られている。 Currently, a technique for recognizing a specific individual from a person in a moving image is known (see Patent Document 1 and Patent Document 2). According to Patent Document 1, by installing a security camera in an automatic ticket vending machine at a station and performing subject recognition (recognition of a specific individual), it is possible to prevent passengers who are not desirable in terms of security. Further, according to Patent Document 2, an entertainment property is improved by mounting a subject recognition function on a robot or the like.
ところで、被写体認識を行うためには一般的に、予め登録されている多くの被写体(人物の顔)と、撮影された画像中に検出された被写体(人物の顔)との比較を行う必要がある。そのため、被写体認識を行うためには、比較的高い処理能力が必要である。従って、特許文献1及び特許文献2に開示されるように動画像においてリアルタイムに被写体認識を行うためには、防犯カメラなどの撮像装置は、豊富な演算リソースを備えている必要がある。
しかしながら、撮像装置に豊富な演算リソースを搭載すると、コストの上昇、消費電力の増大、撮像装置の大型化など、種々の問題が発生する。このような問題は、デジタルカメラなどの、小型化が望まれる撮像装置においては、特に重大である。仮に、限られた演算リソースしか備えない撮像装置に被写体認識を行わせると、画像の取得から認識処理の完了までに比較的長い時間を要する。従って、特定の個人をリアルタイムに追跡することができず、実用的ではない。 However, when abundant computing resources are installed in the imaging apparatus, various problems such as an increase in cost, an increase in power consumption, and an increase in the size of the imaging apparatus occur. Such a problem is particularly serious in an imaging apparatus such as a digital camera that is desired to be downsized. If subject recognition is performed by an imaging apparatus having only limited computing resources, it takes a relatively long time from image acquisition to completion of recognition processing. Therefore, a specific individual cannot be tracked in real time and is not practical.
本発明はこのような状況に鑑みてなされたものであり、撮像装置における処理負荷の上昇を抑制しつつ、被写体認識の処理を高速に実行可能にする技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique capable of executing subject recognition processing at high speed while suppressing an increase in processing load in an imaging apparatus.
上記課題を解決するために、第1の本発明は、被写体の光学像を撮像して撮像画像を取得する撮像手段と、撮像画像において人物の顔を検出する検出手段と、前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段と、第1撮像画像において検出された人物の顔それぞれに識別情報を付与する第1付与手段と、時間的に前後して取得された2つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第2付与手段と、前記第1撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第2撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第2付与手段による識別情報の付与を繰り返し行うことで、前記第2撮像画像より後に取得された第3撮像画像において検出された人物の顔のうち前記第1撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第1撮像画像において前記主認識手段が認識した個人として認識する補助認識手段と、を備えることを特徴とする撮像装置を提供する。 In order to solve the above-described problem, the first aspect of the present invention provides an imaging unit that captures an optical image of a subject to acquire a captured image, a detection unit that detects a human face in the captured image, and a person by the detection unit Main recognition means for recognizing an individual with respect to a person's face detected by the detection means, using feature information relating to characteristics of the individual's face acquired from the storage unit over a longer processing time than detection of A first providing means for providing identification information to each face of the person detected in the first captured image, and a person detected in the captured image acquired later in two captured images acquired before and after in time The difference between the face and the position of any of the faces of the persons to whom identification information has been assigned in the captured image obtained earlier is less than the threshold, and the difference in size is less than the threshold Small And a process of the main recognizing unit for the face of the person detected in the first captured image, and a second providing unit for adding the identification information given to the one of the faces to a person's face satisfying either of them. While the processing of the main recognition unit is performed on the face of the person detected in the second captured image acquired after completion, the second assigning unit is applied to the captured image acquired continuously in time. The identification information is repeatedly given by the same as the individual recognized by the main recognition unit in the first captured image among the faces of the person detected in the third captured image acquired after the second captured image. a face identification information is assigned, to provide an imaging apparatus characterized by comprising an auxiliary recognizing means for recognizing a personal said main recognition means recognized in the first captured image
また、第2の本発明は、撮像手段が、被写体の光学像を撮像して撮像画像を取得する撮像工程と、検出手段が、撮像画像において人物の顔を検出する検出工程と、主認識手段が、前記検出工程よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出工程で検出された人物の顔について個人を認識する主認識工程と、第1付与手段が、第1撮像画像において検出された人物の顔それぞれに識別情報を付与する第1付与工程と、第2付与手段が、時間的に前後して取得された2つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第2付与工程と、補助認識手段が、前記第1撮像画像において検出された人物の顔に対する前記主認識工程の完了後に取得された第2撮像画像において検出された人物の顔に対する前記主認識工程が行われている間は、時間的に連続して取得される撮像画像に対して前記第2付与手段による識別情報の付与を繰り返し行うことで、前記第2撮像画像より後に取得された第3撮像画像において検出された人物の顔のうち前記第1撮像画像において前記主認識工程により認識された個人と同一の識別情報が付与されている顔を、前記第1撮像画像において前記主認識工程により認識された個人として認識する補助認識工程と、を備えることを特徴とする撮像方法を提供する。 According to a second aspect of the present invention, the imaging means captures an optical image of a subject to acquire a captured image, the detection means detects a human face in the captured image, and a main recognition means. However, the main recognition step of recognizing an individual with respect to the face of the person detected in the detection step using feature information related to the characteristics of the individual face acquired from the storage unit over a longer processing time than the detection step When the first applying means comprises a first step of applying the identification information on each face of the person detected in the first image, the second application means, the two imaging obtained by temporally preceding In the image, the difference between the face of one of the faces of the person who has been given identification information in the captured image acquired earlier among the faces of the person detected in the captured image acquired later is equal to or less than the threshold value. And size A second providing step of adding identification information given to any one of the faces satisfying at least one of the difference being equal to or less than a threshold value, and an auxiliary recognition unit in the first captured image; While the main recognition process is being performed on the detected human face in the second captured image acquired after the completion of the main recognition process on the detected human face, it is acquired continuously in time. In the first captured image among the human faces detected in the third captured image acquired after the second captured image, the identification information is repeatedly applied to the captured image by the second providing unit. recognizing auxiliary recognize faces said main recognition personalization same identification information recognized by the process is given, as a person who is recognized by the main recognition process in the first image To provide an imaging method, characterized by comprising: a degree, the.
また、第3の本発明は、コンピュータを、被写体の光学像を撮像して撮像画像を取得する撮像手段、撮像画像において人物の顔を検出する検出手段、前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段、第1撮像画像において検出された人物の顔それぞれに識別情報を付与する第1付与手段、時間的に前後して取得された2つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第2付与手段、および、前記第1撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第2撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第2付与手段による識別情報の付与を繰り返し行うことで、前記第2撮像画像より後に取得された第3撮像画像において検出された人物の顔のうち前記第1撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第1撮像画像において前記主認識手段が認識した個人として認識する補助認識手段、として機能させるためのプログラムを提供する。 The third present invention, a computer, an imaging means for acquiring a captured image by capturing an optical image of an object, detecting means for detecting a human face in the captured image, the detection of the face of a person by the detecting means The main recognition means for recognizing the person's face detected by the detecting means using the feature information relating to the characteristics of the person's face acquired from the storage unit over a long processing time, detected in the first captured image First assigning means for assigning identification information to each of the human faces obtained, among the two picked-up images acquired before and after the time, of the human faces detected in the captured image acquired later, At least one of the difference between the face and the position of any face of the person to whom identification information is given in the acquired captured image is equal to or less than the threshold, and the difference in size is equal to or less than the threshold After the completion of the processing of the main recognition means for the second giving means for giving the identification information given to any of the faces to the face of the person satisfying the condition, and the face of the person detected in the first captured image While the process of the main recognition unit is performed on the face of the person detected in the acquired second captured image, the second providing unit identifies the captured images acquired continuously in time. By repeatedly giving information, the same identification as the individual recognized by the main recognition unit in the first captured image among the faces of persons detected in the third captured image acquired after the second captured image A program for causing a face to which information is given to function as auxiliary recognition means for recognizing an individual recognized by the main recognition means in the first captured image is provided.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the best mode for carrying out the invention.
以上の構成により、本発明によれば、撮像装置における処理負荷の上昇を抑制しつつ、被写体認識の処理を高速に実行することが可能となる。 With the above configuration, according to the present invention, it is possible to execute subject recognition processing at high speed while suppressing an increase in processing load in the imaging apparatus.
以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The individual embodiments described below will help to understand various concepts from the superordinate concept to the subordinate concept of the present invention.
なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.
[第1の実施形態]
<撮像装置の構成>
本発明の撮像装置をデジタルカメラに適用した実施形態について説明する。
[First Embodiment]
<Configuration of imaging device>
An embodiment in which an imaging apparatus of the present invention is applied to a digital camera will be described.
図1は、第1の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a functional configuration of the
101は、ズームレンズ、フォーカスレンズ、及び絞りを含む光学系であり、102はメカニカルシャッタであり、103は撮像素子であり、104は、アナログ信号処理を行うCDS回路である。105は、アナログ信号をデジタル信号に変換するA/D変換器であり、106は、撮像素子103、CDS回路104、及びA/D変換器105を動作させる信号を発生するタイミング信号発生回路である。
107は、光学系101、メカニカルシャッタ102、及び撮像素子103を駆動させる駆動回路であり、108は、撮影した画像データに必要な信号処理を施す信号処理回路である。信号処理回路108は、顔認識回路122及び顔検出回路126を備える。
顔検出回路126は、A/D変換器105が出力したデジタル信号(即ち、画像データ)が表す撮像画像において、人物の顔を検出する。顔認識回路122は、顔検出回路126が検出した人物の顔について、認識処理(個人を認識する処理)を行う。なお、顔検出処理に要する時間を短縮するために、顔検出回路126は、信号処理回路108により小さくリサイズされた画像データが表す撮像画像において人物の顔を検出してもよい。
The
なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。 A known face detection technique can be used for face detection in the present embodiment.
公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。 As a known face detection technique, a method based on learning using a neural network or the like, template matching is used to search a part having a characteristic shape of eyes, nose, mouth, etc. from an image, and if the degree of similarity is high, it is regarded as a face There are methods. In addition, many other methods have been proposed, such as a method that detects image feature amounts such as skin color and eye shape and uses statistical analysis. In general, a plurality of these methods are combined to improve the accuracy of face detection.
具体的な例としては特開2002−251380号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。 Specific examples include a face detection method using wavelet transform and image feature amount described in JP-A-2002-251380.
また、本実施形態における顔認識にも、公知の顔認識技術を利用できる。例えば、顔認識回路122は、ROM115などの記憶部から個人の顔の特徴に関する特徴情報を取得し、顔検出回路126が検出した人物の顔の特徴情報と比較することにより、顔認識処理を行うことができる。
A known face recognition technique can also be used for face recognition in the present embodiment. For example, the
109は、信号処理回路108によって信号処理された画像データや、顔認識回路122及び顔検出回路126による顔認識処理及び顔検出処理の結果などを記憶する画像メモリである。110は、デジタルカメラ100から取り外し可能なメモリカードなどの記録媒体であり、111は、信号処理回路108によって信号処理された画像データを記録媒体110に記録する記録回路である。
An
112は、画像データを表示する液晶ディスプレイなどの画像表示装置であり、113は、信号処理回路108によって信号処理された画像データを画像表示装置112に表示する表示回路である。114は、デジタルカメラ100全体を制御するシステム制御部である。115は、システム制御部114が実行するプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶する不揮発性メモリ(ROM)である。
116は、ROM115に記憶されたプログラム、制御データ、及び補正データを一時的に記憶し、システム制御部114がプログラムを実行する際にワークエリアとして使用する揮発性メモリ(RAM)である。117はストロボである。
A volatile memory (RAM) 116 temporarily stores the program, control data, and correction data stored in the
システム制御部114は、顔認識回路122の動作を制御する顔認識動作制御部123を備える。また、光学系101は、手ぶれ補正を行うIS(Image Stabilizer)レンズを備える。124は振動ジャイロなどを含む振れ検出部であり、デジタルカメラ100の振れを検出することができる。駆動回路107は、振れ検出部124から与えられる情報に基づいてISレンズを駆動することにより、手ぶれ補正を行う。
The
118は操作部であり、ユーザが撮影条件の設定や撮影モードなどの選択を行うために使用される。121はメインスイッチ(メインSW)であり、デジタルカメラ100に電源を投入するためのスイッチである。119はシャッターボタン(不図示)が半押しの状態になるとONとなるスイッチ(SW1)であり、SW1 119がONになると、システム制御部114は撮影のスタンバイ動作を行う。120はシャッターボタン(不図示)が全押しの状態になるとONになるスイッチ(SW2)である。SW2 120がONになると、システム制御部114は、A/D変換器105が出力する画像データを信号処理回路108などによる処理を経て記録媒体110に記録する、撮影動作を行う。
125はズームキーであり、ユーザが光学系101のズームを制御するために使用される。
A
以下、上述のように構成されたデジタルカメラ100を用いて、メカニカルシャッタ102を使用した撮影動作について説明する。撮影動作に先立ち、システム制御部114の動作開始時(例えば、デジタルカメラ100の電源投入時等)に、システム制御部114は、ROM115から必要なプログラム、制御データ、及び補正データをRAM116に転送して記憶させる。また、これらのプログラムやデータに加えて、システム制御部114は必要に応じて、追加のプログラムやデータをROM115からRAM116に転送して記憶させることもできる。また、システム制御部114が直接ROM115内のデータを読み出して使用してもよい。
Hereinafter, a photographing operation using the
まず、光学系101は、システム制御部114からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体の光学像を撮像素子103上に結像させる。次に、メカニカルシャッタ102は、システム制御部114からの制御信号により、露光時間が適切になるように、撮像素子103の動作に合わせて撮像素子103を遮光するように駆動される。この時、撮像素子103が電子シャッタ機能を有する場合は、メカニカルシャッタ102と併用して、露光時間を調整してもよい。
First, the
撮像素子103は、システム制御部114により制御されるタイミング信号発生回路106が発生する動作パルスを基にした駆動パルスにより駆動される。撮像素子103は、被写体の光学像を光電変換により電気信号に変換し、アナログ画像信号として出力する。撮像素子103から出力されたアナログ画像信号は、システム制御部114により制御されるタイミング信号発生回路106が発生する動作パルスにより、CDS回路104でクロック同期性ノイズが除去される。そして、A/D変換器105でデジタル画像信号(即ち、画像データ)に変換される。
The
次に、システム制御部114により制御される信号処理回路108は、画像データに対して、色変換処理、ホワイトバランス処理、ガンマ補正処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ109は、信号処理回路108で処理中の画像データを一時的に記憶したり、信号処理された画像データを記憶したり、顔認識処理の結果を一時的に記憶したりするために用いられる。
Next, the
信号処理回路108で信号処理された画像データや画像メモリ109に記憶されている画像データは、記録回路111において記録媒体110に適したデータ(例えば階層構造を持つファイルシステムのデータ)に変換されて記録媒体110に記録される。また、画像データは、信号処理回路108で解像度変換処理を施された後、表示回路113において画像表示装置112に適した信号(例えばNTSC又はPAL方式のアナログ信号等)に変換されて画像表示装置112に表示される。
The image data processed by the
ここで、システム制御部114は、制御信号を用いて、信号処理回路108に対し、A/D変換器105が出力した画像データに信号処理を施さずそのまま画像メモリ109や記録回路111に出力するように指示することもできる。また、信号処理回路108は、システム制御部114から要求があった場合に、信号処理の過程で生じた画像データの情報(例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報)をシステム制御部114に出力する。或いは、信号処理回路108は、これらの情報から抽出された情報をシステム制御部114に出力する。更に、記録回路111は、システム制御部114から要求があった場合に、記録媒体110の種類や空き容量等の情報をシステム制御部114に出力する。
Here, the
続いて、記録媒体110に記録されている画像データの再生動作について説明する。システム制御部114からの制御信号により、記録回路111は、記録媒体110から画像データを読み出す。画像データが圧縮されている場合には、システム制御部114からの制御信号により、信号処理回路108は、画像伸長処理を行い、画像メモリ109に記憶する。画像メモリ109に記憶されている画像データは、信号処理回路108で解像度変換処理を施された後、表示回路113において画像表示装置112に適した信号に変換され、画像表示装置112に表示される。
Next, the reproduction operation of image data recorded on the
<顔検出処理及び顔認識処理>
図2は、デジタルカメラ100を用いた撮影処理の流れを示すフローチャートである。本フローチャートの処理は、デジタルカメラ100に電源が投入されており、且つ、デジタルカメラ100が顔認識処理を行うように操作部118等を介して設定されている場合に実行される。また、図示しないが、図2のフローチャートの処理が実行されている間、光学系101からA/D変換器105、及び信号処理回路108は、継続的に被写体の光学像を撮像して画像データを生成する。以下の各ステップで使用される画像データは、このようにして生成された画像データである。
<Face detection processing and face recognition processing>
FIG. 2 is a flowchart showing a flow of photographing processing using the
S201で、顔検出回路126は、A/D変換器105が出力した画像データが表す撮像画像において人物の顔を検出する(顔検出処理)。顔検出回路126は、検出された顔の顔情報を画像メモリ109に一時的に保存する。顔情報は、撮像画像における、顔の位置及び大きさのうちの少なくとも一方を含む。なお、顔が1つも検出されなかった場合は、その旨を示す情報が画像メモリ109に保存される。
In S201, the
S202で、システム制御部114は、顔検出回路126が検出した人物の顔について個人を認識する処理(顔認識処理)を顔認識回路122が実行中であるか否かを判定する。この判定は、システム制御部114が顔認識動作制御部123に顔認識回路122の状態を問い合わせることにより行われる。
In step S <b> 202, the
顔認識回路122が顔認識処理を実行中であるということは、以前に開始した顔認識処理が未だ完了していないということを意味する。演算リソースが比較的限られている装置においては、顔認識処理は顔検出処理に比べて長い処理時間を要するので、顔検出処理が行われる度に顔認識処理を行うことはできない。そのため、S202における判定が必要となる。
The fact that the
S202において、顔認識回路122が顔認識処理を実行中であればS204に進み、そうでなければS203に進む。
In S202, if the
S203では、顔認識動作制御部123は、顔認識回路122にS201で検出された顔に対する顔認識処理を開始させる。顔認識処理では、例えば、S201にて検出された顔に、ROM115に予め登録された人物が含まれているか否かが判定される。また、S203では、顔検出回路126は、顔認識動作制御部123の制御に従い、S201で検出された顔(顔認識処理の対象の顔)それぞれに識別情報を付与する(第1付与手段)。ここで、識別情報は、個人を特定するものではないが、あるタイミングで検出された顔と他のタイミングで検出された顔とが同一であるか否かを示すものである。次いで、S204に進む。
In S203, the face recognition
S204では、顔検出回路126が、比較処理を行う。比較処理の詳細は図3を参照して後述するが、簡単に説明すると、顔検出回路126は、S201で検出された顔と、以前に検出された顔とを比較し、2つのタイミングで検出された顔が同一の人物であるか否かを判定する。
In S204, the
より具体的には、所定のタイミングで取得された第1撮像画像において顔検出処理が行われ、併せて顔認識処理が行われたものとする。そして、顔検出回路126は、第1撮像画像において検出された顔の中から、顔認識回路122の処理完了後に取得された第2撮像画像において検出された顔のいずれかと予め定められた第1の関係を満たす顔を検索する(第1検索手段)。顔検出回路126は、検索の結果発見された顔に対応する第2撮像画像中の顔を、第1撮像画像において顔認識回路122(主認識手段)がこの発見された顔について認識した個人として認識する(補助認識手段)。
More specifically, it is assumed that face detection processing is performed on the first captured image acquired at a predetermined timing, and face recognition processing is performed together. Then, the
即ち、第1撮像画像及び第2撮像画像において予め定められた第1の関係を満たす顔については、処理時間の長い顔認識回路122による顔認識処理を行わなくても、顔検出回路126が、以前の顔認識処理の結果に基づいて個人を認識することができる。
That is, the
S205で、システム制御部114は表示回路113を制御し、顔認識回路122で認識された個人、或いはS204における比較処理の結果として認識された個人に関する情報を、画像表示装置112に表示させる。個人に関する情報とは、例えば、特定の個人の名前などの情報であり、ROM115に、顔の特徴を示す特徴情報と共に格納されている。
In step S205, the
S206で、システム制御部114は、SW1 119がONであるか否かを判定する。ONであればS207に進み、そうでなければS201に戻る。
In step S206, the
S207で、システム制御部114は、駆動回路107や信号処理回路108などを用いて、AF処理やAE処理などの撮影のスタンバイ動作を行う。具体的には、信号処理回路108が、A/D変換器105が出力する画像データから被写体輝度を算出する。次いで、算出結果に基づいて、駆動回路107が、光学系101の絞りやメカニカルシャッタ102などを制御することにより、露光時間を調整する。また、信号処理回路108が、A/D変換器105が出力する画像データから被写体の焦点を検出し、検出結果に基づいて駆動回路107が光学系101のズームレンズを駆動する。
In step S207, the
ここで、顔認識処理や比較処理により認識された個人の情報に基づいてAF処理やAE処理が行われてもよい。例えば、撮影者の家族が被写体に含まれる場合、駆動回路107は、他の人物に優先して、家族に対する焦点や露出が適切になるように光学系101などを駆動する。従って、システム制御部114は、補助認識手段としての顔検出回路126が認識した個人に基づいて、撮像時(撮像画像の取得時)の撮影条件を設定することができる。
Here, AF processing and AE processing may be performed based on personal information recognized by face recognition processing or comparison processing. For example, when the photographer's family is included in the subject, the
S208で、システム制御部114は、SW2 120がONであるか否かを判定する。ONであればS210に進み、そうでなければS209に進む。
In step S208, the
S209では、システム制御部114は、SW1 119がONのままであるか否かを判定する。ONのままであればS208に戻り、ONでなければS201に戻る。
In step S209, the
S210では、システム制御部114は、撮影動作を行い、S209に戻る。
In S210, the
以上の各ステップで説明したように、顔検出処理、顔認識処理、及び比較処理が行われ、これらの各処理の結果に基づいて画像表示装置112に対する表示処理や、撮影動作などが行われる。
As described in the above steps, face detection processing, face recognition processing, and comparison processing are performed, and display processing for the
<比較処理の詳細>
次に、図3を参照して、図2のS204における比較処理の詳細な流れを説明する。本フローチャートでは、S201で顔検出回路126が顔検出処理を行ったタイミングを、時刻t=nとする。そして、顔検出回路126は、検出された顔を、前回のタイミング(t=n−k)で検出された顔と比較し、同一であるか否かを判定する。ここで、kは顔検出処理を行う間隔である。
<Details of the comparison process>
Next, a detailed flow of the comparison process in S204 of FIG. 2 will be described with reference to FIG. In this flowchart, the timing at which the
図4のタイミングチャートは、A.S201での顔検出処理、B.S203での顔認識処理、C.S204での比較処理の時間関係を表している。 The timing chart of FIG. B. Face detection processing in S201; Face recognition processing in S203, C.I. The time relationship of the comparison process in S204 is represented.
また、図5は、時刻t=n−k、及びt=nにおいて撮像画像中で検出された顔を示す図である。時刻t=n−kにおいて検出された3つの顔には、識別情報として、「A」、「B」、及び「C」が付与されている。 FIG. 5 is a diagram illustrating faces detected in the captured image at times t = n−k and t = n. “A”, “B”, and “C” are assigned as identification information to the three faces detected at time t = n−k.
まず、図3のS301で、顔検出回路126は、t=nで検出された顔のうち1つの顔Cnを選択する。
First, in S301 of FIG. 3, the
S302で、顔検出回路126は、t=n−kで検出された顔のうち1つの顔Cn−kを選択する。
In S302, the
S303で、顔検出回路126は、顔Cnの位置(顔の中心座標)と顔Cn−kの位置を比較する。顔Cnの位置が(xd,yd)、顔Cn−kの位置が(xa,ya)であったとする。その差分ΔX=|xd−xa|、ΔY=|yd−ya|がそれぞれ予め定められた閾値以下(ThX,ThY以下)であった場合(ΔX≦ThX、ΔY≦ThY)、S304へと進む。そうでなかった場合はS306へと進む。
In step S303, the
S304では、顔検出回路126は、顔Cnの大きさと顔Cn−kの大きさとを比較する。顔Cnの大きさがFdであり、顔Cn−kの大きさがFaであったとすると、その2つの差分(ΔF=|Fd−Fa|)が予め定められた閾値以下であった場合(ΔF≦ThF)、S305へ進む。そうでなかった場合はS306へ進む。
In S304, the
S305で、顔検出回路126は、顔Cnと顔Cn−kは、位置及び大きさが近いので、同一人物であると判断し、顔Cnに顔Cn−kと同一の識別情報を付与する(第2付与制御手段)。次いで、S308に進む。
In S305, the
一方、S306では、顔検出回路126は、顔Cnと顔Cn−kは別人であると判断し、S307に進む。
On the other hand, in S306, the
S307で、顔検出回路126は、t=n−kで検出された顔がすべて顔Cn−kとして選択されたか判断を行う。全て選択されていればS308へ進み、そうでない場合はS302へ進む。S305ではなくS307からS308へ進んだということは、t=n−kにおいて顔Cnと同一の人物と判断される顔が発見されなかったということを意味する。この場合、顔Cnには識別情報は付与されない。また、t=n−kにおいて識別情報が付与されていない顔については、比較対象の顔Cn−kとして選択しないように顔検出回路126を構成してもよい。
In step S307, the
S308で、顔検出回路126は、t=nで検出された顔がすべて顔Cnとして選択されたか否かを判定する。全て選択されていればS205へ進む。そうでない場合は、S301へ戻り、t=nで検出された他の顔について同様の処理を繰り返す。図5の例では、t−nで検出された3つの顔がCnとして選択され、それぞれt=n−kで検出された3つの顔と比較される。
In S308, the
これらの処理を所定のタイミング(時間間隔k)で繰り返すことにより、同一人物を時間間隔kで追尾することができる。 By repeating these processes at a predetermined timing (time interval k), the same person can be tracked at the time interval k.
これらの一連の流れを時系列に表したのが図4である。S201で得られた顔検出結果:F(n−k)を元に顔認識処理:A(n)が行われる。顔認識処理中も、時間間隔kで顔検出処理が行われる。また、比較処理も行われる。この比較処理によってF(n−k)で検出された顔と同一人物であると判定された顔については、A(n)の結果が得られるt=n+9kまで、前回の顔認識処理:A(n−9k)の結果が割り当てられる。 FIG. 4 shows a series of these flows in time series. Face recognition processing: A (n) is performed based on the face detection result: F (n−k) obtained in S201. Even during face recognition processing, face detection processing is performed at time interval k. A comparison process is also performed. For the face determined to be the same person as the face detected at F (n−k) by this comparison processing, the previous face recognition processing: A () until t = n + 9k at which the result of A (n) is obtained. n-9k) results are assigned.
これにより、顔認識回路122により顔認識中も、顔検出回路126による顔認識(補助認識)が行われ、検出された顔の個人が特定される。また、A(n)の結果が得られた後に検出された顔についても、A(n+9k)の処理中も、A(n)の結果に基づき、個人の認識が可能である。
Thereby, even during face recognition by the
以上の処理を整理して説明すると、以下のようになる。但し、本願発明の範囲は、以下の説明に限定される訳ではない。 The above process is summarized and described as follows. However, the scope of the present invention is not limited to the following description.
時間的に連続して取得された2つの撮像画像(例えば、時刻t=n−kに取得された撮像画像(先に取得された撮像画像)と、この次のタイミング(時刻t=n)に生成された撮像画像(後に取得された撮像画像))を考える。顔検出回路126は、先に取得された撮像画像において検出された人物の顔の中から、後に取得された撮像画像において検出された人物の顔のいずれかと予め定められた第2の関係を満たす人物の顔を検索する(第2検索手段)。顔検出回路126は、例えば、先に取得された撮像画像において検出された顔の中から、後に取得された撮像画像において検出された顔のいずれかの顔情報との差が閾値以下である顔情報を持つ顔を、予め定められた第2の関係を満たす顔として検索する。顔情報は、撮像画像における、顔の位置及び大きさのうちの少なくとも一方を含むことができる。
Two captured images acquired continuously in time (for example, a captured image acquired at time t = n−k (captured image acquired earlier)) and the next timing (time t = n) Consider a generated captured image (captured image acquired later)). The
顔検出回路126は、先に取得された撮像画像において発見された人物の顔に対応する、後に取得された撮像画像中の人物の顔に、この発見された人物の顔に付与されている識別情報を付与する(第2付与手段)。
The
顔検出回路126は、第1撮像画像において検出された人物の顔の中から、第1撮像画像に関する顔認識回路122の処理完了後に取得された第2撮像画像において検出された顔のいずれかと予め定められた第1の関係を満たす顔を検索する(第1検索手段)。顔検出回路126は、第1撮像画像において発見された顔に対応する、第2撮像画像中の顔を、第1撮像画像で顔認識回路122(主認識手段)がこの発見された顔について認識した個人として認識する(補助認識手段)。
The
ここで、予め定められた第1の関係を満たす顔は、次のように検索される。第1撮像画像の取得後、第2撮像画像に到るまで、時間的に連続して取得された2つの撮像画像について、上述の第2検索手段による検索と第2付与手段による付与とが繰り返される。その結果として第2撮像画像における顔に付与された識別情報と同一の識別情報が付与されている、第1撮像画像における顔が、予め定められた第1の関係を満たす顔である。 Here, the faces satisfying the predetermined first relationship are searched as follows. After the acquisition of the first captured image, until the second captured image is reached, the above-described search by the second search means and the provision by the second provision means are repeated for the two captured images obtained in succession in time. It is. As a result, the face in the first captured image to which the same identification information as the identification information given to the face in the second captured image is assigned is a face that satisfies a predetermined first relationship.
また、顔検出回路126は、先に取得された撮像画像、或いは後に取得された撮像画像において検出された顔の数が多いほど、上述の予め定められた閾値(ThF)を小さくしてもよい。多くの顔が密集しているほど閾値が小さくなるので、誤って他人の顔が同一人物の顔として検出される可能性が抑制される。
Further, the
また、図4の例では、顔認識回路122による顔認識処理が完了すると、次の顔認識処理が開始している。しかし、顔検出回路126が、検出された顔全てについて比較処理の結果として個人を認識できた場合、システム制御部114は、顔認識回路122による認識処理の実行を禁止してもよい。これにより、消費電力の節約が期待される。
In the example of FIG. 4, when the face recognition process by the
以上説明したように、本実施形態によれば、顔認識回路122による顔認識処理中に、顔検出回路126は、検出した顔が、顔認識回路122による前回の認識対象の顔と予め定められた第1の関係を満たすか否かを判定する。予め定められた第1の関係を満たす場合、顔検出回路126は、検出した顔を、顔認識回路122による前回の顔認識処理により認識された個人として認識する。
As described above, according to the present embodiment, during the face recognition processing by the
これにより、撮像装置における処理負荷の上昇を抑制しつつ、被写体認識の処理を高速に実行することが可能となる。即ち、デジタルカメラ100のような演算リソースの比較的限られた小型の装置においても、検出された顔の個人を実用的な頻度で認識することができるようになる。
Accordingly, it is possible to execute subject recognition processing at high speed while suppressing an increase in processing load in the imaging apparatus. In other words, even with a small apparatus with relatively limited computing resources such as the
[その他の実施形態]
上述した各実施形態の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施形態の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることもできる。
[Other Embodiments]
In order to realize the functions of the above-described embodiments, a recording medium in which a program code of software embodying each function is recorded may be provided to the system or apparatus. The functions of the above-described embodiments are realized by the computer (or CPU or MPU) of the system or apparatus reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiments, and the recording medium on which the program code is recorded constitutes the present invention. As a recording medium for supplying such a program code, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, or the like can be used. Alternatively, a CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like can be used.
また、上述した各実施形態の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含まれている。 The configuration for realizing the functions of the above-described embodiments is not limited to executing the program code read by the computer. Including the case where the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. It is.
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含むものである。 Further, the program code read from the recording medium may be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments may be realized by the processing. Is included.
Claims (7)
撮像画像において人物の顔を検出する検出手段と、
前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段と、
第1撮像画像において検出された人物の顔それぞれに識別情報を付与する第1付与手段と、
時間的に前後して取得された2つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第2付与手段と、
前記第1撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第2撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第2付与手段による識別情報の付与を繰り返し行うことで、前記第2撮像画像より後に取得された第3撮像画像において検出された人物の顔のうち前記第1撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第1撮像画像において前記主認識手段が認識した個人として認識する補助認識手段と、
を備えることを特徴する撮像装置。 Imaging means for capturing an optical image of a subject to obtain a captured image;
Detecting means for detecting a human face in the captured image;
An individual is recognized for the person's face detected by the detecting means using characteristic information relating to the characteristics of the person's face acquired from the storage unit over a longer processing time than the detection of the person's face by the detecting means. Main recognition means;
First assigning means for assigning identification information to each face of the person detected in the first captured image ;
Among the two captured images acquired before and after the time, whichever face of the person is given the identification information in the previously acquired captured image among the human faces detected in the captured image acquired later The identification information given to any one of the faces is given to a person's face that satisfies at least one of the difference between the face and the position being equal to or smaller than the threshold and the difference in size being equal to or smaller than the threshold. Second granting means,
While the process of the main recognition unit is being performed on the face of the person detected in the second captured image obtained after the completion of the process of the main recognition unit on the face of the person detected in the first captured image, By repeatedly applying the identification information by the second assigning unit to the captured images acquired continuously in time, the person detected in the third captured image acquired after the second captured image is displayed. Auxiliary recognition means for recognizing a face of the face to which the same identification information as the individual recognized by the main recognition means in the first captured image is given as an individual recognized by the main recognition means in the first captured image When,
An imaging apparatus comprising:
検出手段が、撮像画像において人物の顔を検出する検出工程と、
主認識手段が、前記検出工程よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出工程で検出された人物の顔について個人を認識する主認識工程と、
第1付与手段が、第1撮像画像において検出された人物の顔それぞれに識別情報を付与する第1付与工程と、
第2付与手段が、時間的に前後して取得された2つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第2付与工程と、
補助認識手段が、前記第1撮像画像において検出された人物の顔に対する前記主認識工程の完了後に取得された第2撮像画像において検出された人物の顔に対する前記主認識工程が行われている間は、時間的に連続して取得される撮像画像に対して前記第2付与手段による識別情報の付与を繰り返し行うことで、前記第2撮像画像より後に取得された第3撮像画像において検出された人物の顔のうち前記第1撮像画像において前記主認識工程により認識された個人と同一の識別情報が付与されている顔を、前記第1撮像画像において前記主認識工程により認識された個人として認識する補助認識工程と、
を備えることを特徴する撮像方法。 An imaging step in which the imaging means captures an optical image of a subject to acquire a captured image;
A detecting step in which the detecting means detects a human face in the captured image;
The main recognition means recognizes the person with respect to the face of the person detected in the detection step by using characteristic information regarding the characteristics of the face of the person acquired from the storage unit over a longer processing time than the detection step. The main recognition process;
A first assigning step in which first assigning means assigns identification information to each face of the person detected in the first captured image ;
In the two captured images acquired before and after the time, the second assigning unit is provided with identification information in the captured image acquired earlier among the faces of the person detected in the captured image acquired later. A face of a person who satisfies at least one of the difference between the face and the position of any one of the face of the person being equal to or smaller than the threshold and the difference of the size being equal to or smaller than the threshold is given to any of the faces. A second providing step for providing the identification information,
While the auxiliary recognition means is performing the main recognition process for the face of the person detected in the second captured image obtained after the completion of the main recognition process for the face of the person detected in the first captured image Is detected in the third captured image acquired after the second captured image by repeatedly applying the identification information by the second providing unit to the captured images acquired continuously in time. Recognize the face of the person's face to which the same identification information as that of the individual recognized by the main recognition step in the first captured image is given as the individual recognized by the main recognition step in the first captured image. An auxiliary recognition process to perform,
An imaging method comprising:
被写体の光学像を撮像して撮像画像を取得する撮像手段、
撮像画像において人物の顔を検出する検出手段、
前記検出手段による人物の顔の検出よりも長い処理時間をかけて、記憶部から取得した、個人の顔の特徴に関する特徴情報を用いて、前記検出手段が検出した人物の顔について個人を認識する主認識手段、
第1撮像画像において検出された人物の顔それぞれに識別情報を付与する第1付与手段、
時間的に前後して取得された2つの撮像画像において、後に取得された撮像画像において検出された人物の顔のうち、先に取得された撮像画像において識別情報を付与された人物の顔のいずれかの顔と位置の差分が閾値以下あること、および、大きさの差分が閾値以下であることの少なくともいずれかを満たす人物の顔に、前記いずれかの顔に付与されている識別情報を付与する第2付与手段、および、
前記第1撮像画像において検出された人物の顔に対する前記主認識手段の処理完了後に取得された第2撮像画像において検出された人物の顔に対する前記主認識手段の処理が行われている間は、時間的に連続して取得される撮像画像に対して前記第2付与手段による識別情報の付与を繰り返し行うことで、前記第2撮像画像より後に取得された第3撮像画像において検出された人物の顔のうち前記第1撮像画像において前記主認識手段が認識した個人と同一の識別情報が付与されている顔を、前記第1撮像画像において前記主認識手段が認識した個人として認識する補助認識手段、
として機能させるためのプログラム。 Computer
An imaging means for capturing an optical image of a subject to obtain a captured image;
Detecting means for detecting a human face in the captured image;
An individual is recognized for the person's face detected by the detecting means using characteristic information relating to the characteristics of the person's face acquired from the storage unit over a longer processing time than the detection of the person's face by the detecting means. Main recognition means,
First assigning means for assigning identification information to each face of the person detected in the first captured image ;
Among the two captured images acquired before and after the time, whichever face of the person is given the identification information in the previously acquired captured image among the human faces detected in the captured image acquired later The identification information given to any one of the faces is given to a person's face that satisfies at least one of the difference between the face and the position being equal to or smaller than the threshold and the difference in size being equal to or smaller than the threshold. Second granting means, and
While the process of the main recognition unit is being performed on the face of the person detected in the second captured image obtained after the completion of the process of the main recognition unit on the face of the person detected in the first captured image, By repeatedly applying the identification information by the second assigning unit to the captured images acquired continuously in time, the person detected in the third captured image acquired after the second captured image is displayed. Auxiliary recognition means for recognizing a face of the face to which the same identification information as the individual recognized by the main recognition means in the first captured image is given as an individual recognized by the main recognition means in the first captured image ,
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007175461A JP5016999B2 (en) | 2007-07-03 | 2007-07-03 | Imaging apparatus, imaging method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007175461A JP5016999B2 (en) | 2007-07-03 | 2007-07-03 | Imaging apparatus, imaging method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009017135A JP2009017135A (en) | 2009-01-22 |
JP2009017135A5 JP2009017135A5 (en) | 2010-08-12 |
JP5016999B2 true JP5016999B2 (en) | 2012-09-05 |
Family
ID=40357495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007175461A Active JP5016999B2 (en) | 2007-07-03 | 2007-07-03 | Imaging apparatus, imaging method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5016999B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5247569B2 (en) * | 2009-04-09 | 2013-07-24 | 富士フイルム株式会社 | Person tracking device, person tracking method and program |
JP5242491B2 (en) * | 2009-04-27 | 2013-07-24 | 富士フイルム株式会社 | Display control apparatus and operation control method thereof |
JP6370454B1 (en) * | 2017-09-01 | 2018-08-08 | ヤフー株式会社 | Estimation apparatus, estimation method, and estimation program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5032846B2 (en) * | 2004-08-31 | 2012-09-26 | パナソニック株式会社 | MONITORING DEVICE, MONITORING RECORDING DEVICE, AND METHOD THEREOF |
JP2006101186A (en) * | 2004-09-29 | 2006-04-13 | Nikon Corp | Camera |
JP2006330800A (en) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | Image synthesis system, image synthesis method, and program of the method |
JP4591215B2 (en) * | 2005-06-07 | 2010-12-01 | 株式会社日立製作所 | Facial image database creation method and apparatus |
JP4316541B2 (en) * | 2005-06-27 | 2009-08-19 | パナソニック株式会社 | Monitoring recording apparatus and monitoring recording method |
-
2007
- 2007-07-03 JP JP2007175461A patent/JP5016999B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009017135A (en) | 2009-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4254873B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and computer program | |
US8249313B2 (en) | Image recognition device for performing image recognition including object identification on each of input images | |
CN101753822B (en) | Imaging apparatus and image processing method used in imaging device | |
US9060158B2 (en) | Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium | |
JP6049448B2 (en) | Subject area tracking device, control method thereof, and program | |
JP5129683B2 (en) | Imaging apparatus and control method thereof | |
JP4884251B2 (en) | Imaging apparatus, method, and program | |
US8031228B2 (en) | Electronic camera and method which adjust the size or position of a feature search area of an imaging surface in response to panning or tilting of the imaging surface | |
JP4732299B2 (en) | Method for detecting specific subject image and digital camera | |
KR101537948B1 (en) | Photographing method and apparatus using pose estimation of face | |
US20100123816A1 (en) | Method and apparatus for generating a thumbnail of a moving picture | |
US20070052820A1 (en) | Imaging apparatus, control method for the imaging apparatus, and storage medium storing computer program which causes a computer to execute the control method for the imaging apparatus | |
KR20110032250A (en) | Method for auto focusing, medium for recording the method and apparatus applying the method | |
JP5125734B2 (en) | Imaging apparatus, image selection method, and image selection program | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
US7428012B2 (en) | Image processing method including generating face region information and a digital camera including face region identification unit | |
JP4492273B2 (en) | Imaging apparatus and program | |
US20140285649A1 (en) | Image acquisition apparatus that stops acquisition of images | |
JP5016999B2 (en) | Imaging apparatus, imaging method, and program | |
JP2009163422A (en) | Image processing device, image processing method and image processing program | |
JP4849330B2 (en) | Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program | |
JP2014225763A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP2015126255A (en) | Imaging apparatus, control method and program of imaging apparatus | |
JP2013157675A (en) | Imaging device, method for controlling the same, program, and storage medium | |
JP2011139123A (en) | Image processor and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120514 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120611 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5016999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |