JP5867425B2 - Imaging apparatus, imaging processing method, and program - Google Patents

Imaging apparatus, imaging processing method, and program Download PDF

Info

Publication number
JP5867425B2
JP5867425B2 JP2013039153A JP2013039153A JP5867425B2 JP 5867425 B2 JP5867425 B2 JP 5867425B2 JP 2013039153 A JP2013039153 A JP 2013039153A JP 2013039153 A JP2013039153 A JP 2013039153A JP 5867425 B2 JP5867425 B2 JP 5867425B2
Authority
JP
Japan
Prior art keywords
face
person
detection
motion
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013039153A
Other languages
Japanese (ja)
Other versions
JP2014168149A (en
Inventor
孝一 斉藤
孝一 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013039153A priority Critical patent/JP5867425B2/en
Publication of JP2014168149A publication Critical patent/JP2014168149A/en
Application granted granted Critical
Publication of JP5867425B2 publication Critical patent/JP5867425B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置の遠隔操作による撮影技術に関するものである。   The present invention relates to a photographing technique by remote control of an imaging apparatus.

従来、モーションシャッタと呼ばれる、撮影画面内(画角内)の特定位置において被写体(主として人物)の動作を検出すると撮影を実行する技術が知られている。この場合、画面の全領域で検出を行うと操作者以外の動きで誤検出することがあるため、検出領域を予め決めておくようにしている。しかしながら、従来のモーションシャッタは動作の検出位置を事前に登録しなければならず、主たる被写体(人物)が遠隔位置の場合には検出位置を変更ができないといった問題があった。これを解決可能とする技術として、例えば下記特許文献1には、人物の顔を認識し胸辺りと特定される画面内の位置で所定の動作が検出されると撮影を実行する技術が開示されている。係る技術によれば主たる被写体である人物の位置に連動して動作の検出位置を変更することができる。   2. Description of the Related Art Conventionally, a technique called a motion shutter is known that executes shooting when an operation of a subject (mainly a person) is detected at a specific position in a shooting screen (within an angle of view). In this case, if the detection is performed in the entire area of the screen, the detection area may be erroneously detected due to a motion other than the operator. However, the conventional motion shutter has to register the detection position of the operation in advance, and there is a problem that the detection position cannot be changed when the main subject (person) is a remote position. As a technique that can solve this problem, for example, Patent Document 1 below discloses a technique that performs photographing when a predetermined action is detected at a position in a screen that recognizes a person's face and is identified as around the chest. ing. According to such a technique, the motion detection position can be changed in conjunction with the position of the person who is the main subject.

特開2011−97502号公報JP 2011-97502 A

しかしながら、特許文献1の技術は、人物の位置に連動して動作の検出位置を変更するだけであり、遠隔操作による操作者に応じた撮影動作を行わせることはできないという問題があった。   However, the technique of Patent Document 1 has a problem in that only the operation detection position is changed in conjunction with the position of a person, and a shooting operation according to an operator by remote control cannot be performed.

本発明は、かかる従来の課題に鑑みてなされたものであり、遠隔操作による操作者に応じた撮影動作をより確実に実行できるようにすることを目的とする。   The present invention has been made in view of such conventional problems, and an object of the present invention is to make it possible to more reliably execute a photographing operation according to an operator by remote control.

前記課題を解決するため、本発明にあっては、特定の人物の顔と撮影動作内容とを関連付けて記憶する記憶手段と、撮像手段により撮像された被写体の画像から前記記憶手段に記憶された特定の人物の顔を検出する顔検出手段と、前記画像における所定の領域であって前記顔検出手段により検出された前記特定の顔の位置に応じた検出領域を対象として被写体の動作を検出する動作検出手段と、前記動作検出手段により前記特定の顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該特定の顔と関連付けられて前記記憶手段に記憶されている撮影動作内容に応じた撮影制御を実行する撮影制御手段とを備えたことを特徴とする。   In order to solve the above-described problem, in the present invention, a storage unit that stores a face of a specific person and the content of a shooting operation in association with each other, and an image of a subject captured by the imaging unit is stored in the storage unit. Face detection means for detecting a face of a specific person, and detecting a motion of a subject in a detection area corresponding to the position of the specific face detected by the face detection means in the predetermined area in the image When a motion of the subject is detected in the detection area according to the position of the specific face by the motion detection means and the motion detection means, the shooting operation associated with the specific face and stored in the storage means An imaging control unit that executes imaging control according to the content is provided.

前記課題を解決するため、本発明の撮像装置にあっては、特定の人物の顔と撮影動作内容とを関連付けて記憶する記憶手段と、撮像手段により撮像された被写体の画像から特定の人物の顔を検出する顔検出手段と、前記画像における所定の領域であって前記顔検出手段により検出された特定の人物の顔の位置に応じた検出領域を対象として被写体の動作を検出する動作検出手段と、動作検出手段により前記不特定の人物の顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であるか否かを判別する判別手段と、前記判別手段により前記不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であると判別された場合に、当該特定の人物の顔と関連付けられて前記記憶手段に記憶されている撮影動作内容に応じた撮影制御を実行する撮影制御手段と、を備えたことを特徴とする。
In order to solve the above-described problems, in the imaging apparatus of the present invention, a storage unit that associates and stores the face of a specific person and the content of the shooting operation, and an unspecified person from the subject image captured by the imaging unit a face detection means for detecting a face, before Symbol detecting the operation of the subject as a target detection area corresponding to the position of the face of unspecified person detected by the the face detecting means a predetermined area in the image a movement detecting means for, when the operation of the object is detected in the detection area corresponding to the position of the face of the unspecified persons by prior Symbol operation detecting means, storing the face of the person of the unspecified within the storage means Determining means for determining whether or not the face of the specified person is determined, and the determining means determines that the face of the unspecified person is the face of the specified person stored in the storage means. The specific Associated with the face of the object, characterized by comprising a photographing control means for executing a photographing control in accordance with the photographing operation contents stored in the storage means.

本発明の各実施形態に共通するデジタルカメラのブロック図である。It is a block diagram of the digital camera common to each embodiment of this invention. プログラム記憶部の記憶領域を示す概念図である。It is a conceptual diagram which shows the memory area of a program memory | storage part. 人物の顔と、各人物の顔に設定されている撮影動作内容を例示した図である。It is the figure which illustrated the operation | movement content set to the face of a person and each person's face. 第1の実施形態におけるモーション操作モードでの処理内容を示すフローチャートである。It is a flowchart which shows the processing content in the motion operation mode in 1st Embodiment. 第2の実施形態におけるモーション操作モードでの処理内容を示すフローチャートである。It is a flowchart which shows the processing content in the motion operation mode in 2nd Embodiment.

(実施形態1)
以下、本発明の実施形態について説明する。図1は、本発明の撮像装置としての機能を備えたデジタルカメラ1の電気的構成の概略を示したブロック図である。
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described. FIG. 1 is a block diagram showing an outline of an electrical configuration of a digital camera 1 having a function as an imaging apparatus of the present invention.

図1に示したように、デジタルカメラ1は、制御部2と、作業用メモリ3、撮像部4、表示部5、画像記憶部6、プログラム記憶部7、顔認識部8、音声入出力部9、ストロボ発光部10、操作部11の各部を備えている。   As shown in FIG. 1, the digital camera 1 includes a control unit 2, a working memory 3, an imaging unit 4, a display unit 5, an image storage unit 6, a program storage unit 7, a face recognition unit 8, and a voice input / output unit. 9, each unit includes a strobe light emitting unit 10 and an operation unit 11.

制御部2は、CPU(Central Processing Unit)、及びその周辺回路等や、RAM(Random Access memory)等の内部メモリ等から構成される。制御部2は、プログラム記憶部7に格納されているプログラムやデータに基づきデジタルカメラ1の各部を制御するとともに、後述するように画像データの圧縮、伸張処理も行う。   The control unit 2 includes a CPU (Central Processing Unit), its peripheral circuits, and an internal memory such as a RAM (Random Access Memory). The control unit 2 controls each unit of the digital camera 1 based on programs and data stored in the program storage unit 7 and also performs compression and expansion processing of image data as will be described later.

作業用メモリ3は、例えばDRAM(Dynamic Random Access Memory)から構成され、画像データ等の各種データを一時的に記憶する。   The work memory 3 is composed of, for example, a DRAM (Dynamic Random Access Memory), and temporarily stores various data such as image data.

撮像部4は、CCD(Charge Coupled Device)やCMOS(Complementary Meta1 0xide Semiconductor)型の撮像素子と、撮像素子から出力された撮像信号に対して所定のアナログ処理を行った後、デジタル信号に変換するAFE(Analog Front End)とから構成される。撮像部4は、デジタルカメラ1に撮影モードが設定されている間、所定のフレームレートで被写体を逐次撮像し、被写体の画像データ(撮像データ)を制御部2へ供給する。   The imaging unit 4 performs predetermined analog processing on a CCD (Charge Coupled Device) or CMOS (Complementary Meta10xide Semiconductor) type imaging device and an imaging signal output from the imaging device, and then converts the analog signal into a digital signal. It consists of AFE (Analog Front End). The imaging unit 4 sequentially captures a subject at a predetermined frame rate while the shooting mode is set in the digital camera 1, and supplies image data (imaging data) of the subject to the control unit 2.

制御部2へ供給された画像データは、制御部2において画素毎のRGBデータに変換され、さらに輝度(Y)成分及び色差(UV)成分からなるYUVデータに変換された後、表示部5へ供給され、表示部5においてライブビュー画像として表示される。   The image data supplied to the control unit 2 is converted into RGB data for each pixel in the control unit 2 and further converted into YUV data including a luminance (Y) component and a color difference (UV) component, and then to the display unit 5. Supplied and displayed on the display unit 5 as a live view image.

表示部5は、カラー液晶表示パネルと、制御部2から供給される画像データ等に応じてカラー液晶表示パネルを駆動する表示駆動回路とから構成される。   The display unit 5 includes a color liquid crystal display panel and a display driving circuit that drives the color liquid crystal display panel in accordance with image data supplied from the control unit 2.

また、YUVデータに変換された画像データは、静止画撮影時には、制御部2においてJPEG(Joint Photographic Expert Group)方式等で静止画データとして圧縮された後、静止画ファイルとして画像記憶部6に記憶される。   The image data converted into YUV data is compressed as still image data in the control unit 2 by the JPEG (Joint Photographic Expert Group) method or the like at the time of still image shooting, and then stored in the image storage unit 6 as a still image file. Is done.

さらに、YUVデータに変換された画像データは、動画撮影時には、制御部2においてMPEG(Motion Picture Experts Group)方式等で動画データとして逐次圧縮され、動画ファイルとして画像記憶部6に記憶される。   Furthermore, the image data converted into YUV data is sequentially compressed as moving image data in the control unit 2 by the MPEG (Motion Picture Experts Group) method or the like at the time of moving image shooting, and is stored in the image storage unit 6 as a moving image file.

画像記憶部6は、例えばデジタルカメラ1に内蔵されたフラッシュメモリや、デジタルカメラ1に着脱自在な各種のメモリカード、及びメモリカードへのデータの入出力を可能とするカードインターフェイスにより構成される。   The image storage unit 6 includes, for example, a flash memory built in the digital camera 1, various memory cards that can be attached to and detached from the digital camera 1, and a card interface that enables data input and output to the memory card.

画像記憶部6に静止画ファイルや動画ファイルとして記録された静止画データや動画データは、再生モードにおいて、必要に応じて制御部2に読み出されて伸張された後、表示部5において静止画像や動画像として再生(表示)される。   Still image data or moving image data recorded as a still image file or a moving image file in the image storage unit 6 is read and expanded by the control unit 2 as necessary in the reproduction mode, and then a still image is displayed on the display unit 5. Or as a moving image.

顔認識部8は、撮影モードにおいて所定のフレームレートで撮像部4により撮像される画像を対象として、二値化や輪郭抽出、パターンマッチング等による公知の画像認識処理を行うための画像処理回路、及び顔認識処理に使用される各種のパラメータが記憶されたメモリ等から構成される。   The face recognition unit 8 is an image processing circuit for performing known image recognition processing by binarization, contour extraction, pattern matching, and the like for an image captured by the imaging unit 4 at a predetermined frame rate in the shooting mode And a memory storing various parameters used for the face recognition processing.

顔認識部8における顔認識処理は個体識別を含む処理であり、画像内において特定の人物の顔を認識する処理である。より具体的には、画像内において任意の人物の顔を検出する処理、及び検出した顔がデジタルカメラ1に予め登録されている特定の人物の顔と一致するか否かを判定する処理である。   The face recognition process in the face recognition unit 8 is a process including individual identification, and is a process for recognizing the face of a specific person in an image. More specifically, it is a process of detecting the face of an arbitrary person in the image, and a process of determining whether or not the detected face matches the face of a specific person registered in advance in the digital camera 1. .

音声入出力部9は、主として周囲の音声を集音するためのマイク、マイクが出力する音声信号を増幅する入力アンプ、増幅後の音声信号をデジタル変換するA/D変換器と、制御部2から供給されるデジタルの音声信号をアナログ変換するD/A変換器、変換後の音声信号を増幅する出力アンプ、増幅後の音声信号を出力するスピーカとから構成される。   The audio input / output unit 9 includes a microphone mainly for collecting ambient audio, an input amplifier for amplifying an audio signal output from the microphone, an A / D converter for digitally converting the amplified audio signal, and the control unit 2. A D / A converter that converts a digital audio signal supplied from the analog signal, an output amplifier that amplifies the converted audio signal, and a speaker that outputs the amplified audio signal.

音声入出力部9が音声付きの静止画撮影時や音声付きの動画撮影時に制御部2へ供給した音声データは制御部2において符号化される。符号化された音声のデータは、音声付きの静止画撮影時には静止画ファイルと対応付けて画像記憶部6に記憶され、音声付きの動画撮影時には圧縮後の動画データに重畳され動画ファイルとして記録される。   The audio data supplied from the audio input / output unit 9 to the control unit 2 when shooting a still image with audio or moving image with audio is encoded by the control unit 2. The encoded audio data is stored in the image storage unit 6 in association with a still image file when shooting a still image with sound, and is recorded as a moving image file by being superimposed on the compressed moving image data when shooting a movie with sound. The

画像記憶部6に記憶された音声のデータは、再生モードにおいて、対応する静止画データや動画データと共に制御部2に読み出されて伸張され、音声入出力部9のスピーカから出力される。   The audio data stored in the image storage unit 6 is read out and expanded together with corresponding still image data and moving image data by the control unit 2 and output from the speaker of the audio input / output unit 9 in the reproduction mode.

ストロボ発光部10は、ストロボ光の発光源であるキセノン管等の発光管、及びレフレクタ、発光用コンデンサと、その充電回路、発光管の駆動回路、調光回路から構成され、制御部2からの命令に従い発光源を駆動し、被写体へストロボ光を照射する。   The strobe light emitting unit 10 includes a light emitting tube such as a xenon tube which is a light emission source of strobe light, a reflector, a light emitting capacitor, a charging circuit thereof, a driving circuit for the light emitting tube, and a dimming circuit. The light source is driven according to the command, and the subject is irradiated with strobe light.

操作部11は、電源キーやシャッターキー、及び基本の動作モードである撮影モードと再生モードとの切り替えに使用されるモード切替キー等の複数の操作キー、表示部5のカラー液晶表示パネルの表面に一体的に設けられた静電容量型等のタッチセンサ、及びその駆動回路(図示せず)とから構成される。操作部11は各操作キーの操作情報や、タッチセンサの検出結果(タッチ位置の情報)を制御部2に供給する。   The operation unit 11 includes a plurality of operation keys such as a power key, a shutter key, a mode switching key used for switching between a photographing mode and a reproduction mode, which are basic operation modes, and the surface of the color liquid crystal display panel of the display unit 5. And a capacitive type touch sensor and a drive circuit (not shown) thereof. The operation unit 11 supplies operation information of each operation key and a detection result (touch position information) of the touch sensor to the control unit 2.

プログラム記憶部7は、例えばフラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部7には、図2に示したプログラムデータ格納領域7a、設定データ格納領域7b、顔画像格納領域7cが確保されている。   The program storage unit 7 is composed of a nonvolatile memory such as a flash memory in which stored data can be rewritten as needed. The program storage unit 7 has a program data storage area 7a, a setting data storage area 7b, and a face image storage area 7c shown in FIG.

プログラムデータ格納領域7aには、制御部2にデジタルカメラ1全体を制御させるための各種のプログラムやデータが格納されている。各種のプログラムには、制御部2に後述する処理を行わせるためのプログラムが含まれる。   In the program data storage area 7a, various programs and data for allowing the control unit 2 to control the entire digital camera 1 are stored. The various programs include programs for causing the control unit 2 to perform processing described later.

設定データ格納領域7bには、デジタルカメラ1の動作を規定する各種の設定データであって、ユーザにより設定されたデータや、制御部2により自動的に設定されたデータが記憶されている。   In the setting data storage area 7b, various setting data for defining the operation of the digital camera 1, and data set by the user and data automatically set by the control unit 2 are stored.

顔画像格納領域7cには、ユーザにより登録された特定人物の顔部分の画像データが複数記憶されている(図3参照)。係る画像データは顔認識部8による前述した個体識別を含む顔認識処理で使用される。   In the face image storage area 7c, a plurality of pieces of image data of the face portion of the specific person registered by the user are stored (see FIG. 3). Such image data is used in the face recognition process including the individual identification described above by the face recognition unit 8.

なお、デジタルカメラ1には、動作モードとして上記画像データ(顔画像)を登録する顔登録モードが予め設けられている。顔登録モードでは、例えば任意の画像を表示部5に表示した状態でユーザが登録を指示すると、顔認識部8によって画像内の1又は複数の顔部分が検出し、それが登録候補としてユーザに明示された後、ユーザが画面上でいずれかの顔を指定(タッチ)すると、その顔を含む領域の画像データが切り出されて顔画像格納領域7cに記憶される。   The digital camera 1 is previously provided with a face registration mode for registering the image data (face image) as an operation mode. In the face registration mode, for example, when the user instructs registration in a state where an arbitrary image is displayed on the display unit 5, the face recognition unit 8 detects one or a plurality of face parts in the image, and these are detected as registration candidates for the user. When the user designates (touches) any face on the screen after the indication, the image data of the area including the face is cut out and stored in the face image storage area 7c.

また、設定データ格納領域7bには、ユーザにより設定されたデータとして、顔画像格納領域7cに登録されている人物の顔毎に設定されている撮影動作内容、すなわち撮影動作に関する動作内容が記憶されている。   In addition, the setting data storage area 7b stores, as data set by the user, the shooting operation contents set for each person's face registered in the face image storage area 7c, that is, the operation contents related to the shooting operation. ing.

この撮影動作内容(以下、単に動作内容という。)も、前記顔登録モードにおいて所定の操作を行うことにより、任意の人物の顔を登録したときや、任意の時点でユーザが必要に応じて設定することができる。なお、顔登録モードでは、設定されている動作内容の変更も可能である。   This shooting operation content (hereinafter simply referred to as operation content) is also set as required by the user when an arbitrary person's face is registered by performing a predetermined operation in the face registration mode or at any time. can do. In the face registration mode, the set operation content can be changed.

図3は、予め登録されている人物の顔と、各人物の顔に設定されている撮影動作内容(以下、単に動作内容という。)の一例を示した図である。この例では登録されている人物の顔が登録番号1から5までの5人分であり、設定されている動作内容が登録番号順に「静止画撮影」、「動画撮影開始」、「動画撮影停止」、「セルフタイマON」、「撮影しない」である。   FIG. 3 is a diagram showing an example of a person's face registered in advance and the shooting operation content (hereinafter simply referred to as operation content) set for each person's face. In this example, the registered person's faces are for 5 people from registration numbers 1 to 5, and the set operation contents are “still image shooting”, “start moving image shooting”, “stop moving image shooting” “Self-timer ON”, “Do not shoot”.

ここで、「静止画撮影」は通常の1回の静止画撮影動作であり、任意の人物の顔が新たに登録された時点では、その人物の顔には「静止画撮影」が初期設定される。また、「撮影しない」は、撮影動作を実行しない旨を示すものである。   Here, “still image shooting” is a normal one-time still image shooting operation. When a face of an arbitrary person is newly registered, “still image shooting” is initially set to the face of the person. The “Do not shoot” indicates that the shooting operation is not performed.

また、図3に例示した以外の動作内容としては、例えば「動画撮影中の静止画撮影」、「連写撮影」、「セルフタイマOFF」(セルフタイマ撮影の中止)、「ストロボを強制発光する静止画撮影」、「音声無し動画撮影開始」、「撮影後に撮影枚数を音声出力」である。   Further, as operation contents other than those illustrated in FIG. 3, for example, “still image shooting during moving image shooting”, “continuous shooting”, “self-timer OFF” (self-timer shooting stop), “forced flash emission” “Still image shooting”, “Voice recording start without sound”, “Voice output after shooting”.

そして、本実施形態のデジタルカメラ1には、撮影モードの下位モードとしてモーション操作モードが設けられている。モーション操作モードは、逐次撮像される被写体の画像において予め登録されている人物の顔を認識するとともに、認識した顔の近傍において被写体の動きが検出できたとき、認識した顔に設定されている前述した動作内容の撮影動作を行うモードである。   The digital camera 1 of this embodiment is provided with a motion operation mode as a lower mode of the shooting mode. The motion operation mode is set to the recognized face when the face of the person registered in advance in the image of the subject that is sequentially captured is recognized and the movement of the subject can be detected in the vicinity of the recognized face. In this mode, a shooting operation with the above-described operation content is performed.

また、モーション操作モードは、例えばユーザにより動画撮影が開始された後の動画撮影中や、セルフタイマのセットによる撮影操作が開始された後の撮影タイミングのカウントダウン中においても使用可能なモードである。   In addition, the motion operation mode is a mode that can be used, for example, during moving image shooting after the user starts moving image shooting, or during shooting time countdown after the shooting operation by the self-timer set is started.

以下、デジタルカメラ1の本発明に係る動作を図4に従い説明する。図4は、モーション操作モードが設定されているとき、制御部2がプログラム記憶部7(プログラムデータ格納領域7a)に記憶されているプログラムに従い実行する処理を示したフローチャートである。   The operation of the digital camera 1 according to the present invention will be described below with reference to FIG. FIG. 4 is a flowchart showing processing executed by the control unit 2 according to the program stored in the program storage unit 7 (program data storage area 7a) when the motion operation mode is set.

制御部2は、ユーザによるモーション操作モードの設定とともに動作を開始した後、モーション操作モードが解除されなければ(ステップS1:NO)、顔検出処理を行う(ステップS2)。   After starting the operation together with the setting of the motion operation mode by the user, if the motion operation mode is not canceled (step S1: NO), the control unit 2 performs face detection processing (step S2).

すなわちモーション操作モードが設定されている間には、撮像部4により所定のフレームレートで順次画像の取り込みが行われており、ステップS2の処理において制御部2は、顔認識部8に、撮像部4により取り込まれた被写体の画像を対象として任意の人物の顔部分を検出する顔検出処理を行わせる。   That is, while the motion operation mode is set, the image capturing unit 4 sequentially captures images at a predetermined frame rate. In the process of step S2, the control unit 2 sends the face recognizing unit 8 to the image capturing unit. Then, face detection processing for detecting the face portion of an arbitrary person is performed on the subject image captured in step 4.

制御部2は、画像内で任意の人物の顔が1又は複数検出できるまでは顔検出処理を続行し(ステップS3:NO)、人物の顔が検出できると(ステップS3:YES)、検出できた顔の位置に応じた検出領域を対象として被写体の動きを検出するモーション検出を行う(ステップS4)。   The control unit 2 continues the face detection process until one or more faces of any person can be detected in the image (step S3: NO), and can be detected if a person's face can be detected (step S3: YES). Motion detection is performed to detect the motion of the subject in the detection area corresponding to the face position (step S4).

モーション検出は、時間的に相前後して撮像された双方の画像を対象として、画像内における任意の被写体の動きの有無を検出する処理である。   Motion detection is processing for detecting the presence or absence of movement of an arbitrary subject in an image for both images taken in time.

また、本実施形態において顔の位置に応じた検出領域は、人物の顔の近傍の領域であって、例えば人物の顔を中心とし当該顔から上下左右に所定距離だけ離れた4点を通る矩形領域のうちで顔部分を除く領域(顔部分を含めてもよい)である。   In the present embodiment, the detection area corresponding to the position of the face is an area in the vicinity of the face of the person, for example, a rectangle passing through four points centered on the face of the person and separated from the face by a predetermined distance vertically and horizontally. It is an area (a face part may be included) excluding a face part in the area.

なお、ステップS4の処理に際して制御部2は、ステップS2の処理で複数の顔が検出できていた場合には、各々の顔にそれぞれ対応する複数の検出領域を対象として個別にモーション検出を行う。   In the process of step S4, if a plurality of faces can be detected in the process of step S2, the control unit 2 individually performs motion detection on a plurality of detection areas corresponding to the respective faces.

そして、制御部2は、1又は複数の検出領域のいずれにおいても被写体の動きが検出できなければ(ステップS5:NO)、そのままステップS1の処理へ戻り、ステップS4までの処理を繰り返す。   If the movement of the subject cannot be detected in any one or a plurality of detection regions (step S5: NO), the control unit 2 returns to the process of step S1 and repeats the processes up to step S4.

その後、1又は複数の検出領域のいずれかの領域において被写体の動きが検出できると(ステップS5:YES)、制御部2は、被写体の動きが検出できた検出領域に対応する顔、すなわち当該検出領域内の顔が登録されている顔であるか否かを確認する(ステップS6)。   Thereafter, when the movement of the subject can be detected in any one of the one or a plurality of detection areas (step S5: YES), the control unit 2 detects the face corresponding to the detection area in which the movement of the subject can be detected, that is, the detection. It is confirmed whether or not the face in the area is a registered face (step S6).

係る処理において制御部2は、顔認識部8に、上記検出領域内の顔部分の画像と、前述したプログラム記憶部7(顔画像格納領域7c)に記憶されている各々の顔部分の画像との間で特徴の比較を行い、双方の画像の顔が同一人物の顔であるか否かを判断する顔認識を行わせ、その結果を取得する。   In this processing, the control unit 2 causes the face recognition unit 8 to display the image of the face part in the detection area and the image of each face part stored in the program storage unit 7 (face image storage area 7c) described above. Are compared, and face recognition is performed to determine whether the faces of both images are the faces of the same person, and the result is obtained.

制御部2は、被写体の動きが検出できた検出領域に対応する顔が登録されていない場合(ステップS6:NO)、そのままステップS1の処理へ戻り、引き続き前述した処理を繰り返す。   When the face corresponding to the detection area where the movement of the subject can be detected is not registered (step S6: NO), the control unit 2 returns to the process of step S1 as it is and repeats the process described above.

一方、制御部2は、被写体の動きが検出できた検出領域に対応する顔が登録されていた場合(ステップS6:YES)、まず、登録されている顔に設定されている図3に例示した動作内容、つまり当該顔に設定されている撮影動作に関する内容を確認する(ステップS7)。   On the other hand, when the face corresponding to the detection area in which the movement of the subject can be detected is registered (step S6: YES), the control unit 2 first exemplified in FIG. 3 set to the registered face. The operation content, that is, the content related to the shooting operation set for the face is confirmed (step S7).

ここで、制御部2は、動作内容が「撮影しない」であった場合には(ステップS8:YES)、そのままステップS1の処理へ戻り、引き続き前述した処理を繰り返す。つまりステップS2の処理において、図3に例示した登録番号5の人物の顔が検出されており、当該人物の顔の近傍領域で被写体の動きが検出できたとしても、そのときには何もしない。   Here, when the operation content is “do not shoot” (step S8: YES), the control unit 2 directly returns to the process of step S1 and repeats the above-described process. That is, in the process of step S2, even if the face of the person with the registration number 5 illustrated in FIG. 3 is detected and the movement of the subject can be detected in the area near the face of the person, nothing is done at that time.

また、制御部2は、動作内容が他の内容であった場合には(ステップS8:NO)、引き続き、設定されている動作内容が現在有効な動作内容であるか否かをさらに確認する(ステップS9)。   In addition, when the operation content is other content (step S8: NO), the control unit 2 further confirms whether or not the set operation content is currently valid operation content ( Step S9).

ここで、有効な動作内容、及び有効でない動作内容は現在のデジタルカメラ1の動作状態によって異なり、図3に即して述べれば以下の通りである。   Here, the valid operation contents and the invalid operation contents vary depending on the current operation state of the digital camera 1, and are described as follows in accordance with FIG.

すなわち有効な動作内容とは、現在のデジタルカメラ1の動作状態と矛盾しない動作内容であり、例えば現在が通常の撮影待機状態であれば「静止画撮影」、「セルフタイマON」等であり、また、現在が動画撮影中であれば「動画撮影停止」等である。   That is, the effective operation content is an operation content that is consistent with the current operation state of the digital camera 1, for example, “still image shooting”, “self-timer ON”, etc. Further, if the current video recording is in progress, “video recording stop” or the like is performed.

一方、有効でない動作内容とは、現在のデジタルカメラ1の動作状態と矛盾する動作内容であり、例えば現在が通常の撮影待機状態であれば「動画撮影停止」等であり、現在が動画撮影中であれば「静止画撮影」、「セルフタイマON」等である。なお、現在のデジタルカメラ1の動作状態と矛盾しないが、同一内容である場合についても有効でない動作内容として扱う。   On the other hand, the operation content that is not valid is an operation content that contradicts the current operation state of the digital camera 1, for example, “movie shooting stop” if the current shooting standby state is normal, and the movie shooting is currently in progress. Then, “still image shooting”, “self-timer ON”, and the like. It should be noted that although it is not inconsistent with the current operation state of the digital camera 1, the same operation content is treated as invalid operation content.

そして、制御部2は、ステップS9の処理で確認した動作内容が、現在有効な動作内容でなければ(ステップS9:NO)、そのままステップS1の処理へ戻り、引き続き前述した処理を繰り返す。逆に、制御部2は、現在有効な動作内容であれば(ステップS9:YES)、その動作内容に応じた撮影制御を実施する(ステップS10)。   Then, if the operation content confirmed in step S9 is not currently valid operation content (step S9: NO), the control unit 2 returns to step S1 as it is and continues the above-described processing. Conversely, if the operation content is currently valid (step S9: YES), the control unit 2 performs shooting control according to the operation content (step S10).

したがって、例えばデジタルカメラ1が通常の撮影待機状態にある間に、図3に例示した登録番号1の人物の顔と、登録番号2の人物の顔とが検出されているときには、制御部2は次の撮影制御を実施する。すなわち制御部2は、登録番号1の人物が自己の顔の近傍(検出領域)で手を動かすと、それに応答して自動的に静止画撮影を実行し、登録番号2の人物が自己の顔の近傍(検出領域)で手を動かすと、それに応答して自動的に動画撮影を開始する。   Therefore, for example, when the digital camera 1 is in the normal shooting standby state, when the face of the person with the registration number 1 and the face of the person with the registration number 2 illustrated in FIG. The following shooting control is performed. That is, when the person with registration number 1 moves his hand in the vicinity (detection area) of his / her face, the control unit 2 automatically executes still image shooting in response to the movement of the person in the vicinity of his / her face. When the hand is moved in the vicinity (detection region) of the camera, in response to this, the moving image shooting is automatically started.

また、登録番号1、2の人物以外の人物(登録の有無は問わない)が、登録番号1の人物の顔の近傍(検出領域)で手を動かした場合についても制御部2は、それに応答して自動的に静止画撮影を実行し、同様に、登録番号2の人物の顔の近傍(検出領域)で手を動かした場合についても、それに応答して自動的に動画撮影を開始する。   In addition, when a person other than the person with the registration number 1 or 2 (regardless of registration) moves his / her hand near the face of the person with the registration number 1 (detection region), the control unit 2 responds accordingly. Then, still image shooting is automatically executed. Similarly, when a hand is moved in the vicinity (detection region) of the face of the person with the registration number 2, moving image shooting is automatically started in response thereto.

以後、制御部2は、ステップS1の処理へ戻り、上述した全ての処理を繰り返し、その間に、いずれかの時点でモーション操作モードが解除されたら(ステップS1:YES)、その時点でモーション操作モードによる処理を終了する。   Thereafter, the control unit 2 returns to the process of step S1, repeats all the processes described above, and during that time, if the motion operation mode is canceled at any time (step S1: YES), the motion operation mode at that time The process by is terminated.

以上説明したようにモーション操作モードにおいては、従来のように主たる被写体である人物の位置に連動して動作の検出位置が変更できるだけでなく、撮影対象となる人物の顔に所望とする動作内容を予め登録しておくことにより、撮影対象となる人物毎に、動作が検出されたことに応答して実行される撮影動作の内容を指定することができる。したがって、従来よりも遠隔操作による操作者に応じた撮影動作をより確実に実行することができる。   As described above, in the motion operation mode, not only the detection position of the operation can be changed in conjunction with the position of the person who is the main subject as in the prior art, but also the desired operation content can be applied to the face of the person to be photographed. By registering in advance, it is possible to specify the content of the shooting operation to be executed in response to the detection of the operation for each person to be imaged. Therefore, it is possible to more reliably execute a photographing operation according to the operator by remote control than in the past.

また、被写体に顔が登録されている人物(以下、登録人物という。)が複数含まれているとき、例えば家族写真の撮影時には、自己の顔の近傍で手を動かす等の方法により撮影動作の実施を指示する人物が異なれば、異なる内容の撮影動作を実施する。したがって、実際に撮影動作の実施を指示する段階で撮影動作の内容を適宜選択することができる。   Further, when a subject includes a plurality of persons whose faces are registered (hereinafter referred to as registered persons), for example, when taking a family photo, the shooting operation is performed by moving the hand in the vicinity of his / her face. If the person instructing the execution is different, a shooting operation with different contents is performed. Therefore, it is possible to appropriately select the content of the shooting operation at the stage of actually instructing the execution of the shooting operation.

また、被写体に登録人物が複数含まれている場合には、いずれかの顔に対応する検出領域で動作が検出されたとき、その位置が最も近い顔に設定されている内容の撮影動作が実施される。したがって、被写体に登録人物が複数含まれているときには、登録人物以外の他の人物であっても撮影動作の実施を指示することができ、その際においても、実際に撮影動作の実施を指示する段階で撮影動作の内容を選択することができる。   Also, if the subject contains multiple registered persons, when an action is detected in the detection area corresponding to one of the faces, the shooting operation for the content set to the closest face is performed. Is done. Therefore, when a subject includes a plurality of registered persons, even a person other than the registered person can instruct execution of the shooting operation, and even in that case, the execution of the shooting operation is actually instructed. The contents of the shooting operation can be selected in stages.

しかも、本実施形態においては、動作の検出領域が登録人物の顔の近傍の領域であるため、ユーザが意図しない被写体の動作に伴い誤って撮影動作が実行されるような事態が未然に防止できる。よって、精度の高いモーションシャッタ機能を実現することができる。   In addition, in the present embodiment, since the motion detection area is in the vicinity of the face of the registered person, it is possible to prevent a situation in which a photographing operation is erroneously performed in accordance with a motion of a subject that is not intended by the user. . Therefore, a highly accurate motion shutter function can be realized.

さらに、本実施形態においては、人物の顔に設定可能な動作内容には、撮影動作を実行しない旨を示す「撮影しない」が含まれている。つまり任意の登録人物の動き等に基づくモーションシャッタ機能を必要に応じて無効とすることができる。例えば幼児等の顔に動作内容として「撮影しない」を設定しておけば、家族写真の撮影時に幼児等が不意に動いてしまった場合における撮影動作の実施を無効とすることができる。これによっても、精度の高いモーションシャッタ機能を実現することができる。   Furthermore, in the present embodiment, the operation content that can be set for the face of a person includes “do not shoot” indicating that the shooting operation is not executed. That is, the motion shutter function based on the movement of an arbitrary registered person can be disabled as necessary. For example, if “do not shoot” is set as the action content on the face of an infant or the like, the execution of the shooting operation when the infant or the like moves unexpectedly when taking a family photo can be invalidated. This also realizes a highly accurate motion shutter function.

ここで、本実施形態においては、モーション操作モードが設定されている間、制御部2が、逐次取り込まれる被写体の画像において任意の人物の顔を検出すると、検出した1又は複数の顔に対応する画像内の検出領域を対象としてモーション検出を開始する構成とした。しかし、モーション検出を実施する時期、及び検出領域は以下のように変更することができる。   Here, in this embodiment, when the control unit 2 detects the face of an arbitrary person in the image of the subject that is sequentially captured while the motion operation mode is set, it corresponds to the detected one or more faces. Motion detection is started for a detection area in the image. However, the timing for performing motion detection and the detection area can be changed as follows.

すなわち順次取り込まれる被写体の画像において任意の人物の顔を検出したら、まず当該人物の顔が登録されている顔か否かを確認し、登録されていることが確認できた顔に対応する検出領域のみを対象としてモーション検出を行うようにしてもよい。   That is, when a face of an arbitrary person is detected in an image of a subject that is sequentially captured, it is first checked whether the face of the person is a registered face, and a detection area corresponding to the face that can be confirmed to be registered. Motion detection may be performed only on the target.

さらに、登録されていることが確認できた顔が複数の場合には、特定の人物の顔に対応する検出領域のみを対象としてモーション検出を行うようにしてもよい。特定の人物の顔としては、例えば予め登録してある顔に動作内容とは別に優先度を設定しておき、係る優先度が最大の顔とすることができる。   Furthermore, when there are a plurality of faces that have been confirmed to be registered, motion detection may be performed only on the detection area corresponding to the face of a specific person. As a face of a specific person, for example, a priority may be set for a face registered in advance separately from the operation content, and the face with the highest priority may be set.

その場合、モーション検出を行う検出領域を限定することにより、誤って撮影動作が実行されるような事態がより確実に未然に防止でき、より一層精度の高いモーションシャッタ機能を実現することができる。   In that case, by limiting the detection area in which motion detection is performed, a situation in which a photographing operation is erroneously performed can be prevented more reliably, and a motion shutter function with higher accuracy can be realized.

(実施形態2)
次に、本発明の第2の実施形態について説明する。本実施形態は、図1に示したデジタルカメラ1において、ユーザが人物の顔を登録するとき、又は登録後に、各顔(人物)に所望する優先度を設定できるようにしたものである。なお、各顔に設定された優先度に関する情報は、図3に例示した動作内容と同様、プログラム記憶部7(設定データ格納領域7b)に記憶されている。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. In this embodiment, in the digital camera 1 shown in FIG. 1, when a user registers a person's face or after registration, a desired priority can be set for each face (person). In addition, the information regarding the priority set for each face is stored in the program storage unit 7 (setting data storage area 7b), similarly to the operation content illustrated in FIG.

そして、本実施形態においては、モーション操作モードが設定されているとき、制御部2が、プログラム記憶部7(プログラムデータ格納領域7a)に格納されているプロクラムに従い第1の実施形態とは異なる後述する処理を実行する。但し、本実施形態のモーション操作モードは、家族写真等の集合写真の撮影のために設けられたものである。   In the present embodiment, when the motion operation mode is set, the control unit 2 is different from that in the first embodiment in accordance with the program stored in the program storage unit 7 (program data storage area 7a), which will be described later. Execute the process. However, the motion operation mode of the present embodiment is provided for taking a group photo such as a family photo.

図5は、本実施形態における制御部2の処理を示したフローチャートである。以下、説明すると、本実施形態においても制御部2は、ユーザによるモーション操作モードの設定とともに動作を開始した後、モーション操作モードが解除されなければ(ステップS101:NO)、顔検出処理を行う(ステップS102)。   FIG. 5 is a flowchart showing processing of the control unit 2 in the present embodiment. In the following, in the present embodiment as well, the control unit 2 performs the face detection process if the motion operation mode is not canceled after starting the operation together with the setting of the motion operation mode by the user (step S101: NO) ( Step S102).

そして、制御部2は、画像内で任意の人物の顔が複数検出できるまで顔検出処理を続行する(ステップS103:NO)。   Then, the control unit 2 continues the face detection process until a plurality of faces of an arbitrary person can be detected in the image (step S103: NO).

その後、制御部2は、複数の人物の顔が検出できると(ステップS103:YES)、検出できた顔の全てが登録されている顔であるか否かを確認する(ステップS104)。   Thereafter, when the faces of a plurality of persons can be detected (step S103: YES), the control unit 2 checks whether or not all the detected faces are registered faces (step S104).

係る処理において制御部2は、顔認識部8に、検出できた複数の顔について、前述したプログラム記憶部7の顔画像格納領域7cに記憶されている各々の顔部分の画像との間で、特徴が一致するか否かを認識させ、その認識結果を取得する。   In such processing, the control unit 2 causes the face recognition unit 8 to detect a plurality of detected faces between the face portion images stored in the face image storage area 7c of the program storage unit 7 described above. Whether the features match is recognized and the recognition result is acquired.

ここで、制御部2は、検出できた顔の全てが登録されている顔ではなかった場合、例えば検出した複数の顔の中に、登録されていない顔が1つでもが含まれている場合(ステップS104:NO)、ステップS102の処理へ戻り、顔検出処理を繰り返す。   Here, when all of the detected faces are not registered faces, the control unit 2 includes, for example, at least one face that is not registered among the detected faces. (Step S104: NO), the process returns to Step S102, and the face detection process is repeated.

また、制御部2は、検出した顔の全てが登録されている顔であった場合には(ステップS104:YES)、予め設定されている優先度が最大の顔の位置に応じた画像内における検出領域を対象としてモーション検出を行う(ステップS105)。   In addition, when all the detected faces are registered faces (step S104: YES), the control unit 2 in the image corresponding to the position of the face having the maximum priority set in advance. Motion detection is performed on the detection area (step S105).

なお、係るモーション検出で対象とする検出領域も、第1の実施形態と同様、人物の顔の近傍の領域であって、例えば人物の顔を中心とし当該顔から上下左右に所定距離だけ離れた4点を通る矩形領域のうちで顔部分を除く領域(顔部分を含めてもよい)である。   Note that the detection area targeted by such motion detection is also an area in the vicinity of the face of the person, as in the first embodiment, and is, for example, centered on the face of the person and separated from the face by a predetermined distance vertically and horizontally. It is an area (a face part may be included) excluding a face part among rectangular areas passing through four points.

ここで、制御部2は、上記の検出領域において被写体の動きが検出できなければ(ステップS106:NO)、いったんステップS1の処理へ戻り、前述した処理を繰り返す。   Here, if the movement of the subject cannot be detected in the detection area (step S106: NO), the control unit 2 once returns to the process of step S1 and repeats the above-described process.

一方、上記の検出領域において被写体の動きが検出できた場合(ステップS106:YES)、制御部2は、優先度が最大の顔に設定されている動作内容を確認した後(ステップS107)、確認した動作内容に応じた撮影制御を実施する(ステップS108)。   On the other hand, when the movement of the subject can be detected in the detection area (step S106: YES), the control unit 2 confirms the operation content set for the face with the highest priority (step S107), and then confirms it. The photographing control according to the operation content is performed (step S108).

なお、このときの撮影制御の詳細については第1の実施形態と同様であるため、具体的な説明は省略する。   Note that details of the imaging control at this time are the same as those in the first embodiment, and a specific description thereof will be omitted.

以後、制御部2は、ステップS101の処理へ戻り、上述した全ての処理を繰り返し、その間に、いずれかの時点でモーション操作モードが解除されたら(ステップS101:YES)、その時点でモーション操作モードによる処理を終了する。   Thereafter, the control unit 2 returns to the process of step S101, repeats all the processes described above, and during that time, if the motion operation mode is canceled at any time (step S101: YES), the motion operation mode at that time The process by is terminated.

以上説明したように本実施形態のモーション操作モードにおいても、第1の実施形態と同様、撮影対象となる人物の顔に所望とする動作内容を予め登録しておくことにより、撮影対象となる人物毎に、動作が検出されたことに応答して実行される撮影動作の内容を指定することができる。したがって、従来よりも遠隔操作による操作者に応じた撮影動作をより確実に実行することができる。   As described above, in the motion operation mode of the present embodiment as well, in the same way as in the first embodiment, by registering in advance the desired action content on the face of the person to be imaged, the person to be imaged Each time, it is possible to specify the content of the shooting operation to be executed in response to the detection of the operation. Therefore, it is possible to more reliably execute a photographing operation according to the operator by remote control than in the past.

特に本実施形態においては、逐次取り込まれる被写体の画像において検出した複数の顔の全てが登録されている場合にのみ撮影動作を実施する。したがって、例えば家族写真の撮影時に、画角内に家族以外の人物が含まれた状態で、誤って撮影動作が実行されるような事態が未然に防止できる。よって、集合写真の撮影時において精度の高いモーションシャッタ機能を実現することができる。   In particular, in the present embodiment, the photographing operation is performed only when all of a plurality of faces detected in the sequentially captured subject images are registered. Therefore, for example, when taking a family photo, it is possible to prevent a situation in which a shooting operation is erroneously performed in a state where a person other than the family is included in the angle of view. Therefore, it is possible to realize a highly accurate motion shutter function when taking a group photo.

また、本実施形態においては、複数の顔のうちで優先度が最大の顔に対応する検出領域のみを対象として被写体の動きを検出し、被写体の動きが検出できたら、優先度が最大の顔に設定されている動作内容の撮影動作を実施する。したがって、モーション検出を行う検出領域を限定することにより、誤って撮影動作が実行されるような事態がより確実に未然に防止でき、より一層精度の高いモーションシャッタ機能を実現することができる。   In the present embodiment, the movement of the subject is detected only in the detection region corresponding to the face with the highest priority among the plurality of faces, and if the movement of the subject is detected, the face with the highest priority is detected. The shooting operation with the operation content set to is performed. Therefore, by limiting the detection area in which motion detection is performed, a situation in which a shooting operation is erroneously performed can be prevented more reliably, and a motion shutter function with higher accuracy can be realized.

ここで、本実施形態においては、逐次取り込まれる被写体の画像において検出した複数の顔の全てが登録されている場合にのみ撮影動作を実施するようにしたが、以下のようにしてもよい。   Here, in the present embodiment, the photographing operation is performed only when all of the plurality of faces detected in the sequentially captured image of the subject are registered, but the following may be performed.

例えばモーション検出を行う検出領域を限定せずに、検出した複数の顔に対応する全ての検出領域とし、かつ全ての検出領域において被写体の動きが検出できたら、撮影動作を実施するようにしてもよい。その場合には、本実施形態に比べ、誤って撮影動作が実行されるような事態がさらに確実に未然に防止でき、さらに精度の高いモーションシャッタ機能を実現することができる。   For example, without limiting the detection area for performing motion detection, if all detection areas corresponding to a plurality of detected faces are detected and the movement of the subject can be detected in all the detection areas, the shooting operation may be performed. Good. In that case, it is possible to more reliably prevent a situation in which a photographing operation is erroneously executed as compared with the present embodiment, and to realize a more accurate motion shutter function.

なお、上述の実施形態では顔の位置に応じた検出領域は、人物の顔が複数であっても、人物の顔の近傍の領域であって、例えば人物の顔を中心とし当該顔から上下左右に所定距離だけ離れた4点を通る矩形領域のうちで顔部分を除く領域(顔部分を含めてもよい)とした。しかし、人物の顔が複数のときには、例えば画面内で複数の顔の位置の中央を通る線を境界として検出領域を分割するように設定してもよく、また、複数の顔が重なる場合は、人物の顔を中心とし当該顔から上下左右に所定距離だけ離れた4点を通る矩形領域が重なる部分を分割し、分割後の各領域を最も近いいずれかの顔の領域とするように設定してもよい。   In the above-described embodiment, even if there are a plurality of human faces, the detection area corresponding to the position of the face is an area in the vicinity of the human face. An area excluding a face part (or a face part may be included) in a rectangular area passing through four points separated by a predetermined distance. However, when there are a plurality of human faces, for example, the detection area may be set to be divided with a line passing through the center of the positions of the plurality of faces in the screen as a boundary. Divide the overlapping area of rectangular areas that pass through four points that are centered on the face of the person and away from the face by a predetermined distance vertically and horizontally, and set each divided area as the closest face area. May be.

また、上述の各実施形態では顔の検出を行ってから被写体の動きの検出を行っているが、その順番は逆であってもよい。   In each of the embodiments described above, the movement of the subject is detected after the face is detected, but the order may be reversed.

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
特定の人物の顔と撮影動作内容とを関連付けて記憶する記憶手段と、撮像手段により撮像された被写体の画像から前記記憶手段に記憶された特定の人物の顔を検出する顔検出手段と、前記画像における所定の領域であって前記顔検出手段により検出された前記特定の顔の位置に応じた検出領域を対象として被写体の動作を検出する動作検出手段と、前記動作検出手段により前記特定の顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該特定の顔と関連付けられて前記記憶手段に記憶されている撮影動作内容に応じた撮影制御を実行する撮影制御手段とを備えたことを特徴とする撮像装置。
[請求項2]
使用者に指定された人物の顔と撮影動作内容とを関連付けて前記記憶手段に登録する登録手段を更に備えることを特徴とする撮像装置。
[請求項3]
前記動作検出手段は、前記顔検出手段により前記記憶手段に記憶された特定の人物の顔が検出された場合に、前記特定の顔の位置に応じた検出領域を対象として被写体の動作を検出することを特徴とする請求項1又は2記載の撮像装置。
[請求項4]
前記動作検出手段は、前記顔検出手段により複数の顔が検出された場合に、検出された複数の前記特定の顔の位置に応じた検出領域を対象として被写体の動作を検出し、前記撮影制御手段は、前記動作検出手段により被写体の動作が検出された検出領域に対応する顔と関連付けて登録されている撮影動作内容に応じた撮影制御を実行することを特徴とする請求項1乃至3のいずれか一項記載の撮像装置。
[請求項5]
前記顔検出手段により複数の顔が検出された場合に、検出された顔の位置に応じて、複数の検出領域の境界を設定する設定手段を更に備えることを特徴とする請求項4記載の撮像装置。
[請求項6]
前記記憶手段に記憶されている人物の顔には予め優先度が設定され、前記動作検出手段は、前記画像から最も高い優先度が設定されている顔の位置に応じた検出領域のみを対象として被写体の動作を検出することを特徴とする請求項1記載の撮像装置。
[請求項7]
前記撮影制御手段は、前記顔検出手段により複数の顔が検出され、かつ検出された複数の顔の全てが登録されている顔である場合に、前記顔検出手段により検出された複数の顔のうちで特定の顔と関連付けて登録されている撮影動作内容に応じた撮影制御を実行することを特徴とする請求項1乃至6のいずれか一項記載の撮像装置。
[請求項8]
前記撮影制御手段は、さらに前記顔検出手段により検出された複数の顔の位置に応じた複数の検出領域の全てにおいて前記動作検出手段により被写体の動作が検出された場合に、前記顔検出手段により検出された複数の顔のうちで特定の顔と関連付けて登録されている撮影動作内容に応じた撮影制御を実行することを特徴とする請求項7記載の撮像装置。
[請求項9]
前記記憶手段に記憶されている人物の顔には予め優先度が設定され、前記特定の顔は最も高い優先度が設定されている顔であることを特徴とする請求項7又は8記載の撮像装置。
[請求項10]
前記記憶手段に記憶されている顔と関連付けられる前記制御内容には、撮影を実行しないとの制御内容が含まれることを特徴とする請求項1乃至9いずれか一項記載の撮像装置。
[請求項11]
使用者に指定された人物の顔と撮影動作内容とを関連付けて登録する工程と、撮像手段により撮像された被写体の画像から任意の人物の顔を検出する工程と、前記画像における所定の領域であって前記顔の位置に応じた検出領域を対象として被写体の動作を検出する工程と、前記画像から検出された顔が登録されている人物の顔であり、かつ前記動作検出手段により当該顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該顔と関連付けられて登録されている撮影動作内容に応じた撮影制御を実行する工程と含むことを特徴とする撮像処理方法。
[請求項12]
コンピュータに、使用者に指定された人物の顔と撮影動作内容とを関連付けて登録する処理と、撮像手段により撮像された被写体の画像から任意の人物の顔を検出するための処理と、前記画像における所定の領域であって前記画像から検出された顔の位置に応じた検出領域を対象として被写体の動作を検出するための処理と、前記画像から検出された前記顔が登録されている人物の顔であり、かつ当該顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該顔と関連付けられて登録されている撮影動作内容に応じた撮影制御を実行する処理とを実行させることを特徴とするプログラム。
As mentioned above, although several embodiment of this invention and its modification were demonstrated, if these are in the range in which the effect of this invention is acquired, it can change suitably, and embodiment after change is also a claim. It is included in the scope of the invention described in the scope of the invention and the invention equivalent to the invention.
The invention described in the scope of the claims of the present application will be appended below.
[Claim 1]
Storage means for storing the face of a specific person and the contents of the shooting operation in association with each other; face detection means for detecting the face of the specific person stored in the storage means from the image of the subject imaged by the imaging means; Motion detection means for detecting a motion of a subject in a predetermined area in an image corresponding to a position of the specific face detected by the face detection means; and the specific face by the motion detection means Shooting control means for executing shooting control in accordance with the shooting operation content associated with the specific face and stored in the storage means when the movement of the subject is detected in the detection area corresponding to the position of An image pickup apparatus comprising:
[Claim 2]
An imaging apparatus, further comprising: a registration unit that registers the face of the person designated by the user and the content of the shooting operation in the storage unit in association with each other.
[Claim 3]
The motion detection unit detects a motion of a subject in a detection region corresponding to the position of the specific face when the face detection unit detects the face of the specific person stored in the storage unit. The imaging apparatus according to claim 1 or 2, wherein
[Claim 4]
The motion detection means detects a motion of a subject in a detection region corresponding to the detected positions of the specific faces when a plurality of faces are detected by the face detection means, and the photographing control 4. The apparatus according to claim 1, wherein the means executes photographing control according to the photographing operation contents registered in association with the face corresponding to the detection area in which the motion of the subject is detected by the motion detecting means. The imaging device according to any one of claims.
[Claim 5]
5. The imaging according to claim 4, further comprising setting means for setting boundaries of a plurality of detection areas in accordance with the positions of the detected faces when a plurality of faces are detected by the face detection means. apparatus.
[Claim 6]
A priority is set in advance for the face of the person stored in the storage means, and the motion detection means targets only a detection area corresponding to the position of the face with the highest priority set from the image. The imaging apparatus according to claim 1, wherein the movement of the subject is detected.
[Claim 7]
The photographing control means detects a plurality of faces detected by the face detection means when a plurality of faces are detected by the face detection means and all of the detected plurality of faces are registered faces. The imaging apparatus according to any one of claims 1 to 6, wherein shooting control is executed in accordance with a shooting operation content registered in association with a specific face.
[Claim 8]
The photographing control means is further configured to detect the motion of the subject by the motion detection means in all of a plurality of detection areas corresponding to the positions of the plurality of faces detected by the face detection means. The imaging apparatus according to claim 7, wherein shooting control is performed according to the shooting operation content registered in association with a specific face among the plurality of detected faces.
[Claim 9]
9. The imaging according to claim 7, wherein a priority is set in advance for the face of the person stored in the storage means, and the specific face is a face set with the highest priority. apparatus.
[Claim 10]
The imaging apparatus according to claim 1, wherein the control content associated with the face stored in the storage unit includes a control content indicating that photographing is not executed.
[Claim 11]
A step of associating and registering a person's face designated by the user and the contents of the photographing operation, a step of detecting an arbitrary person's face from the image of the subject imaged by the imaging means, and a predetermined area in the image And detecting the motion of the subject in the detection area corresponding to the position of the face, and the face detected from the image is a registered human face, and the motion detection means And a step of performing shooting control according to the shooting operation content registered in association with the face when the motion of the subject is detected in the detection region corresponding to the position.
[Claim 12]
A process of associating and registering the face of the person designated by the user and the contents of the shooting operation in the computer; a process of detecting an arbitrary person's face from the image of the subject imaged by the imaging means; and the image Processing for detecting the motion of a subject in a predetermined area corresponding to the position of the face detected from the image, and the person registered with the face detected from the image When a motion of a subject is detected in a detection area corresponding to the face and the position of the face, a process of executing shooting control according to the shooting operation content registered in association with the face is executed. A program characterized by letting

1 デジタルカメラ
2 制御部
3 作業用メモリ
4 撮像部
5 表示部
6 画像記憶部
7 プログラム記憶部
7a プログラムデータ格納領域
7b 設定データ格納領域
7c 顔画像格納領域
8 顔認識部
9 音声入出力部
10 ストロボ発光部
11 操作部
DESCRIPTION OF SYMBOLS 1 Digital camera 2 Control part 3 Work memory 4 Imaging part 5 Display part 6 Image storage part 7 Program storage part 7a Program data storage area 7b Setting data storage area 7c Face image storage area 8 Face recognition part 9 Voice input / output part 10 Strobe Light emitting unit 11 Operation unit

Claims (3)

特定の人物の顔と撮影動作内容とを関連付けて記憶する記憶手段と、
撮像手段により撮像された被写体の画像から不特定の人物の顔を検出する顔検出手段と、
前記画像における所定の領域であって前記顔検出手段により検出された不特定の人物の顔の位置に応じた検出領域を対象として被写体の動作を検出する動作検出手段と、
前記動作検出手段により前記不特定の人物の顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であるか否かを判別する判別手段と、
前記判別手段により前記不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であると判別された場合に、当該特定の人物の顔と関連付けられて前記記憶手段に記憶されている撮影動作内容に応じた撮影制御を実行する撮影制御手段と、
を備えたことを特徴とする撮像装置。
Storage means for associating and storing a specific person's face and shooting operation content;
Face detection means for detecting the face of an unspecified person from the image of the subject imaged by the imaging means;
Motion detection means for detecting a motion of a subject in a predetermined area in the image and a detection area corresponding to the position of the face of an unspecified person detected by the face detection means;
When a motion of a subject is detected in a detection area corresponding to the position of the face of the unspecified person by the motion detection means, the face of the unspecified person is stored in the storage means. Discrimination means for discriminating whether or not it is a face;
When the determining means determines that the face of the unspecified person is the face of the specific person stored in the storage means, the face is stored in the storage means in association with the face of the specific person. Shooting control means for executing shooting control in accordance with the shooting operation content,
An imaging apparatus comprising:
撮像手段と、特定の人物の顔と撮影動作内容とを関連付けて記憶する記憶手段と、を備えた撮像装置における撮像処理方法であって、
前記撮像手段により撮像された被写体の画像から不特定の人物の顔を検出する顔検出処理と、
前記画像における所定の領域であって前記顔検出処理で検出された不特定の人物の顔の位置に応じた検出領域を対象として被写体の動作を検出する動作検出処理と、
前記動作検出処理で前記不特定の人物の顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であるか否かを判別する判別処理と、
前記判別処理で前記不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であると判別された場合に、当該特定の人物の顔と関連付けられて前記記憶手段に記憶されている撮影動作内容に応じた撮影制御を実行する撮影制御処理と、
を含むことを特徴とする撮像処理方法。
An imaging processing method in an imaging apparatus comprising: an imaging unit; and a storage unit that associates and stores a face of a specific person and shooting operation content,
Face detection processing for detecting the face of an unspecified person from the image of the subject imaged by the imaging means;
A motion detection process for detecting a motion of a subject in a predetermined region in the image and a detection region corresponding to the position of the face of an unspecified person detected in the face detection process;
When a motion of a subject is detected in a detection region corresponding to the position of the face of the unspecified person in the motion detection process, the face of the unspecified person is stored in the storage unit. A discrimination process for discriminating whether or not it is a face;
When it is determined in the determination process that the face of the unspecified person is the face of the specific person stored in the storage means, the face of the specific person is associated with the face of the specific person and stored in the storage means. A shooting control process for performing shooting control according to the shooting operation content,
An imaging processing method comprising:
撮像手段と、特定の人物の顔と撮影動作内容とを関連付けて記憶する記憶手段と、を備えた撮像装置を制御するコンピュータに、
前記撮像手段により撮像された被写体の画像から不特定の人物の顔を検出する顔検出機能と、
前記画像における所定の領域であって前記顔検出機能で検出された不特定の人物の顔の位置に応じた検出領域を対象として被写体の動作を検出する動作検出機能と、
前記動作検出機能で前記不特定の人物の顔の位置に応じた検出領域において被写体の動作が検出された場合に、当該不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であるか否かを判別する判別機能と、
前記判別機能で前記不特定の人物の顔が前記記憶手段に記憶されている特定の人物の顔であると判別された場合に、当該特定の人物の顔と関連付けられて前記記憶手段に記憶されている撮影動作内容に応じた撮影制御を実行する撮影制御機能と、
を実現させるためのプログラム。
A computer that controls an imaging apparatus including an imaging unit and a storage unit that stores a face of a specific person and shooting operation contents in association with each other;
A face detection function for detecting the face of an unspecified person from the image of the subject imaged by the imaging means;
A motion detection function for detecting a motion of a subject in a predetermined region in the image and a detection region corresponding to a position of an unspecified person's face detected by the face detection function;
When the motion detection function detects the motion of the subject in the detection area corresponding to the position of the face of the unspecified person, the face of the unspecified person is stored in the storage unit. A discrimination function for discriminating whether or not it is a face;
When the determination function determines that the face of the unspecified person is the face of the specific person stored in the storage means, the face is associated with the face of the specific person and stored in the storage means. A shooting control function for performing shooting control according to the shooting operation content being
A program to realize
JP2013039153A 2013-02-28 2013-02-28 Imaging apparatus, imaging processing method, and program Active JP5867425B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013039153A JP5867425B2 (en) 2013-02-28 2013-02-28 Imaging apparatus, imaging processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013039153A JP5867425B2 (en) 2013-02-28 2013-02-28 Imaging apparatus, imaging processing method, and program

Publications (2)

Publication Number Publication Date
JP2014168149A JP2014168149A (en) 2014-09-11
JP5867425B2 true JP5867425B2 (en) 2016-02-24

Family

ID=51617639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013039153A Active JP5867425B2 (en) 2013-02-28 2013-02-28 Imaging apparatus, imaging processing method, and program

Country Status (1)

Country Link
JP (1) JP5867425B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016143152A (en) * 2015-01-30 2016-08-08 富士通株式会社 Photographic device, information processing device, terminal device, search support system, photography control method, photography control program, information processing method, and program
JP6927540B1 (en) * 2020-09-04 2021-09-01 株式会社セルシス Information processing equipment, information processing system, information processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009117975A (en) * 2007-11-02 2009-05-28 Oki Electric Ind Co Ltd Image pickup apparatus and method
JP2011078009A (en) * 2009-10-01 2011-04-14 Olympus Corp Imaging device and program for imaging device
JP2013013063A (en) * 2011-06-03 2013-01-17 Panasonic Corp Imaging apparatus and imaging system

Also Published As

Publication number Publication date
JP2014168149A (en) 2014-09-11

Similar Documents

Publication Publication Date Title
JP5251215B2 (en) Digital camera
JP5293206B2 (en) Image search apparatus, image search method and program
US8339448B2 (en) Imaging apparatus
JP2008270896A (en) Imaging device and program thereof
US9143682B2 (en) Image capturing apparatus, method, and recording medium capable of continuously capturing object
JP2004185555A (en) Facial area extracting method and device
JP4127521B2 (en) Digital camera and control method thereof
JP5434038B2 (en) Imaging device
JP2008299784A (en) Object determination device and program therefor
JP5867425B2 (en) Imaging apparatus, imaging processing method, and program
JP2010161547A (en) Composition selecting device and program
JP5386880B2 (en) Imaging device, mobile phone terminal, imaging method, program, and recording medium
JP4181974B2 (en) Digital camera and image processing apparatus
JP4632417B2 (en) Imaging apparatus and control method thereof
JP4877186B2 (en) Image processing apparatus, image processing method, and program
JP2005223660A (en) Digital camera
JP4407301B2 (en) Digital camera
JP2006054636A (en) Imaging apparatus
JP2010171841A (en) Imaging apparatus
JP2007249526A (en) Imaging device, and face area extraction method
JP2005117532A (en) Digital camera
JP6128929B2 (en) Imaging apparatus, control method therefor, and program
JP2010239532A (en) Image capturing apparatus and method
JP2008263422A (en) Imaging apparatus and imaging method
JP2009147605A (en) Imaging apparatus, imaging method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151221

R150 Certificate of patent or registration of utility model

Ref document number: 5867425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150