JP5761323B2 - Imaging apparatus, imaging method, and program - Google Patents

Imaging apparatus, imaging method, and program Download PDF

Info

Publication number
JP5761323B2
JP5761323B2 JP2013259931A JP2013259931A JP5761323B2 JP 5761323 B2 JP5761323 B2 JP 5761323B2 JP 2013259931 A JP2013259931 A JP 2013259931A JP 2013259931 A JP2013259931 A JP 2013259931A JP 5761323 B2 JP5761323 B2 JP 5761323B2
Authority
JP
Japan
Prior art keywords
subject
frame image
recording
unit
continuous shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013259931A
Other languages
Japanese (ja)
Other versions
JP2014099869A (en
Inventor
孝一 斉藤
孝一 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013259931A priority Critical patent/JP5761323B2/en
Publication of JP2014099869A publication Critical patent/JP2014099869A/en
Application granted granted Critical
Publication of JP5761323B2 publication Critical patent/JP5761323B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。   The present invention relates to an imaging apparatus, an imaging method, and a program.

従来より、被写体の顔を認識する顔認識技術により、撮影した画像から被写体の顔を認識し、その顔の表情を画像合成により変えたり、認識した顔の位置から被写体間の距離を調整して集合写真を合成したりする技術や、特定の被写体に対してエッジ強調などの画像処理を施す技術などが知られている(例えば、特許文献1〜4参照)。   Conventionally, face recognition technology that recognizes the face of the subject recognizes the face of the subject from the captured image, changes the facial expression by image composition, and adjusts the distance between the subjects from the recognized face position. Techniques for synthesizing group photographs and techniques for performing image processing such as edge enhancement on a specific subject are known (see, for example, Patent Documents 1 to 4).

特開2008−198062号公報JP 2008-198062 A 特開2006−121661号公報JP 2006-121661 A 特開2002−199202号公報JP 2002-199202 A 特開2001−045355号公報JP 2001-045355 A

ところで、実際の撮影においては、フレーム内に複数の被写体がいたり、全く意図しない被写体がフレーム内に入ってきたりと、常に、所望する被写体だけをフレームに収めて撮影することは少なく、所望する撮影画像が得られないことがある。   By the way, in actual shooting, when there are a plurality of subjects in a frame or when an unintended subject enters the frame, it is rare to always shoot only the desired subject in the frame. An image may not be obtained.

しかしながら、上記従来技術では、被写体自体や、被写体の顔の表情などを、画像処理するだけであり、上述したような、フレーム内に複数の被写体がいる場合や、意図せずに他の被写体がフレーム内に入るという状況では、所望する撮影画像が得られないという問題があった。   However, the above-described conventional technique only performs image processing on the subject itself, the facial expression of the subject, and the like. When there are a plurality of subjects in the frame as described above, There is a problem that a desired photographed image cannot be obtained in a situation where the image enters the frame.

そこで本発明は、意図しない複数の被写体がいる状況であっても、所望する被写体をメインとした撮影画像を容易に作成することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。   Accordingly, an object of the present invention is to provide an imaging apparatus, an imaging method, and a program capable of easily creating a captured image mainly including a desired subject even in a situation where there are a plurality of unintended subjects. To do.

上記目的達成のため、本発明の撮像装置は、撮像手段と、前記撮像手段により撮像されたフレーム画像を記録する記録手段と、前記撮像手段により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段と、複数の被写体の各々に対して連写可否を設定する連写可否設定手段と、前記撮像手段により前記主被写体を連続して撮像している場合において、前記検出手段により前記連写不可に設定されている被写体が検出されたフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録手段に記録する記録制御手段とを備えることを特徴とする。 To achieve the above object, an imaging apparatus of the present invention includes an imaging unit, a recording unit that records a frame image captured by the imaging unit, a main subject and other subjects from the frame image captured by the imaging unit. Detection means for detecting the continuous shooting availability setting means for setting whether continuous shooting is possible for each of a plurality of subjects, and when the main subject is continuously imaged by the imaging means, the detection means Discard the frame image in which the subject set to the continuous shooting disabled is not recorded in the recording unit, or use another frame image to set the continuous shooting disabled in the frame image. And recording control means for recording in the recording means after removing the subject portion.

上記目的達成のため、本発明の撮像方法は、少なくとも、撮像部と記録部とを備える撮影装置による撮像方法であって、前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出処理と、複数の被写体の各々に対して連写可否を設定する連写可否設定処理と、前記撮像手段により前記主被写体を連続して撮像している場合において、前記検出処理により前記連写不可に設定されている被写体が検出されたフレーム画像を前記記録部に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録部に記録する記録制御処理とを含むことを特徴とする。 In order to achieve the above object, an imaging method of the present invention is an imaging method by an imaging device including at least an imaging unit and a recording unit, and a main subject and other subjects are extracted from a frame image captured by the imaging unit. A detection process for detecting, a continuous shooting availability setting process for setting whether or not continuous shooting is possible for each of a plurality of subjects, and when the main subject is continuously imaged by the imaging means, Discard the frame image in which the subject that is set not to be continuously shot is detected without recording it in the recording unit, or use the other frame image and set the frame image in the frame image to be disabled. And a recording control process for recording in the recording unit after removing a subject portion.

上記目的達成のため、本発明のプログラムは、少なくとも、撮像部と記録部とを備える撮影装置のコンピュータを、前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段、複数の被写体の各々に対して連写可否を設定する連写可否設定手段、前記撮像手段により前記主被写体を連続して撮像している場合において、前記検出手段により前記連写不可に設定されている被写体が検出されたフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録手段に記録する記録制御手段として機能させることを特徴とする。 In order to achieve the above object, a program according to the present invention includes a detection unit that detects a main subject and other subjects from a frame image captured by the imaging unit using a computer of an imaging apparatus including at least an imaging unit and a recording unit. Continuous shooting availability setting means for setting whether continuous shooting is enabled or disabled for each of a plurality of subjects, and when the main subject is continuously imaged by the imaging means, the continuous shooting is disabled by the detection means. The frame image in which the subject is detected is discarded without being recorded in the recording unit, or the portion of the subject in the frame image that is set to be non-continuous is removed using another frame image. It is made to function as a recording control means for recording in the recording means.

この発明によれば、意図しない複数の被写体がいる状況であっても、所望する被写体をメインとした撮影画像を容易に作成することができるという利点が得られる。   According to the present invention, even in a situation where there are a plurality of unintended subjects, it is possible to obtain an advantage that a captured image mainly having a desired subject can be easily created.

本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by 1st Embodiment of this invention. 本第1実施形態によるデジタルカメラにおいて登録された個人情報の一例を示す概念図である。It is a conceptual diagram which shows an example of the personal information registered in the digital camera by this 1st Embodiment. 本第1実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。It is a schematic diagram which shows an example of the screen at the time of setting personal information with the digital camera by this 1st Embodiment, or changing a setting content. 本第1実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。4 is a flowchart for explaining a photographing operation of the digital camera according to the first embodiment. 本第1実施形態による撮影動作を説明するための概念図である。It is a conceptual diagram for demonstrating the imaging operation by this 1st Embodiment. 本第2実施形態によるデジタルカメラにおいて登録された個人情報の一例を示す概念図である。It is a conceptual diagram which shows an example of the personal information registered in the digital camera by this 2nd Embodiment. 本第2実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。It is a schematic diagram which shows an example of the screen at the time of setting personal information with the digital camera by this 2nd Embodiment, or changing a setting content. 本第2実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating imaging | photography operation | movement of the digital camera by this 2nd Embodiment. 本第2実施形態による撮影動作を説明するための概念図である。It is a conceptual diagram for demonstrating the imaging operation by this 2nd Embodiment. 本第3実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating imaging | photography operation | movement of the digital camera by this 3rd Embodiment. 第3実施形態による撮影動作を説明するための概念図である。It is a conceptual diagram for demonstrating imaging | photography operation | movement by 3rd Embodiment. 優先度の高い被写体の前に他の被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、他の被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。FIG. 5 is a conceptual diagram for explaining a method of removing only a high-priority subject from a frame image by masking the other subject with a background image when another subject overlaps with a high-priority subject. is there. 本第4実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating imaging | photography operation | movement of the digital camera by this 4th Embodiment. 本第4実施形態により撮影されたフレーム画像の一例を示す模式図である。It is a schematic diagram which shows an example of the frame image image | photographed by this 4th Embodiment. 優先度の高い被写体の後に他の被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、他の被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。FIG. 11 is a conceptual diagram for explaining a method of leaving only a high-priority subject from a frame image and masking and removing the other subject with a background image when another subject overlaps after a high-priority subject. .

以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、入力装置1は、シャッターボタン、十字キー、機能選択ボタンなどの複数のボタンスイッチからなる。内部記憶装置2は、ROM、RAMなどからなり、所定のプログラムや、データなどを記憶する。カメラ装置3は、光学レンズ、撮像素子、ドライバなどからなり、撮像した映像を取り込む。表示装置4は、液晶表示器などからなり、撮影時のスルー画像や、撮影後の撮像画像、各種メニュー、撮影パラメータなどを表示する。
A. First embodiment A-1. Configuration of First Embodiment FIG. 1 is a block diagram showing a configuration of a digital camera according to a first embodiment of the present invention. In the figure, the input device 1 includes a plurality of button switches such as a shutter button, a cross key, and a function selection button. The internal storage device 2 includes a ROM, a RAM, and the like, and stores a predetermined program, data, and the like. The camera device 3 includes an optical lens, an image sensor, a driver, and the like, and captures captured images. The display device 4 includes a liquid crystal display and displays a through image at the time of shooting, a captured image after shooting, various menus, shooting parameters, and the like.

音声入出力装置5は、マイク、スピーカ、音声処理部などからなり、外部の音声をマイクから入力するとともに、音声データをDA変換してスピーカから出力する。外部記憶装置6は、SDスロットなどの外部記憶媒体を装着するためのインターフェースを備えており、外部記憶媒体との間でデータの授受を行う。外部記憶媒体には、撮像画像などが所定のフォーマットで保存される。なお、上述した個人情報や、案内文を該外部記録媒体に記憶するようにしてもよい。ストロボ発光装置7は、露出不足を補うための発光手段である。   The voice input / output device 5 includes a microphone, a speaker, a voice processing unit, and the like. The voice input / output device 5 inputs external voice from the microphone, DA-converts voice data, and outputs the voice data from the speaker. The external storage device 6 includes an interface for mounting an external storage medium such as an SD slot, and exchanges data with the external storage medium. The external storage medium stores captured images and the like in a predetermined format. Note that the above-described personal information and guidance text may be stored in the external recording medium. The strobe light emitting device 7 is a light emitting means for compensating for underexposure.

CPU8は、所定のプログラムを実行し、上述した各部の動作を制御する。特に、本第1実施形態では、顔認識のための顔特徴点データ、優先度などの個人情報の登録、顔特徴点データを用いたフレーム画像内の個人認識、該個人認識結果と優先度とに基づく被写体の撮影状態の識別(被写体同士の重なり程度)、該識別した撮影状態に応じた撮影動作の制御処理などを行う。   The CPU 8 executes a predetermined program and controls the operation of each unit described above. In particular, in the first embodiment, facial feature point data for face recognition, registration of personal information such as priority, personal recognition in a frame image using face feature point data, the personal recognition result and priority, Based on, identification of the shooting state of the subject (the degree of overlap between the subjects), control processing of the shooting operation according to the identified shooting state, and the like are performed.

撮影動作の制御処理とは、メイン被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメイン被写体と他の被写体との重なり具合を判定して、メイン被写体が他の被写体の背後に隠れてしまうフレーム画像を保存することなく破棄することで、連続撮影で得られる複数の画像の記録保存を制御する処理である。なお、被写体同士の重なりは、例えば、顔認識枠の重なりで判断しても、動体認識に基づいて認識された被写体の全体像で被写体の重なりを判断してもよい。また、メイン被写体とは、フレーム画像内で、予め設定した優先度が最も高い被写体を指し、フレーム画像内に含まれる被写体構成によって変わる可能性がある。   The shooting operation control process refers to the degree of overlap between the main subject and other subjects for each frame image obtained by continuous shooting when there are multiple subjects in addition to the main subject. This is a process for controlling the recording and storage of a plurality of images obtained by continuous shooting by discarding without saving the frame image in which the main subject is hidden behind other subjects. Note that the overlap between the subjects may be determined by, for example, the overlap of the face recognition frames, or the overlap of the subjects may be determined from the overall image of the subject recognized based on the moving object recognition. The main subject refers to a subject having the highest priority set in advance in the frame image, and may change depending on the subject configuration included in the frame image.

図2は、本第1実施形態によるデジタルカメラにおいて、個人情報が登録されている管理テーブルの一例を示す概念図である。本第1実施形態では、撮影した画像から個人を特定するための顔認識に用いる顔特徴点データや、その個人の優先度などを予め登録するようになっている。顔画象は、登録時、あるいは前もって撮影されたその被写体の顔画象であり、顔を特徴づける(個人識別可能とする)顔特徴点データの抽出に用いられるとともに、個人情報の登録時などに特定の被写体を指定する際のサムネイルとして用いられる。   FIG. 2 is a conceptual diagram showing an example of a management table in which personal information is registered in the digital camera according to the first embodiment. In the first embodiment, face feature point data used for face recognition for identifying an individual from a captured image, the priority of the individual, and the like are registered in advance. The face image is a face image of the subject photographed in advance, and is used for extraction of face feature point data that characterizes the face (makes individual identification possible) and at the time of registration of personal information. This is used as a thumbnail when a specific subject is designated.

顔特徴点データは、顔画象が登録された時点で抽出、登録され、撮影時の被写体を特定するために用いられる。優先度は、1<2<3<4<5の順となっており、優先度が高い被写体ほど優先してメイン被写体と認識される。なお、優先度は重複してもよい。また、当該装置登録されていない被写体の優先度は、最低レベル「1」、もしくはそれ以下として判断する。本第1実施形態では、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合のみ、そのフレーム画像を保存することなく破棄することで、少なくとも、優先度の高いメイン被写体が他の被写体に隠れることなく撮影されているフレーム画像だけを残すようにしている。   The face feature point data is extracted and registered when the face image is registered, and is used for specifying the subject at the time of shooting. The priorities are in the order of 1 <2 <3 <4 <5, and subjects with higher priorities are preferentially recognized as main subjects. Note that the priorities may overlap. Further, the priority of the subject not registered in the apparatus is determined as the lowest level “1” or lower. In the first embodiment, only when a low-priority subject overlaps before a higher-priority subject, the frame image is discarded without being saved, so that at least a high-priority main subject is present. Only the frame image taken without being hidden by other subjects is left.

図3は、本第1実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。ユーザが個人情報を設定すべく所定の操作を行うと、図3に示すような設定画面が表示される。ユーザは、該設定画面において、顔画象や、優先度などを設定する。   FIG. 3 is a schematic diagram illustrating an example of a screen when setting personal information or changing setting contents in the digital camera according to the first embodiment. When the user performs a predetermined operation to set personal information, a setting screen as shown in FIG. 3 is displayed. The user sets a face image, priority, and the like on the setting screen.

A−2.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。
図4は、本第1実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影(あるいは動画撮影)の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し(ステップS10)、シャッタキーがオフ操作されたか否かを判断し(ステップS12)、シャッタキーのオフ操作がなければ、撮影する(フレーム単位で取り込む)(ステップS14)。
A-2. Operation of First Embodiment Next, the operation of the first embodiment described above will be described.
FIG. 4 is a flowchart for explaining the photographing operation of the digital camera according to the first embodiment. It is assumed that the priority of each subject is set in advance by the user. When the shutter key is turned on by the user and the start of continuous shooting (or movie shooting) is instructed, shooting starts while recognizing and following the subject (step S10), and whether or not the shutter key is turned off. (Step S12), and if there is no shutter key OFF operation, shooting is performed (captured in units of frames) (step S14).

次に、フレーム画像から人物部分を検出し(顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し)、検出された各人物部分について顔特徴点解析を行い、図2の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度を特定し(ステップS16)、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体の前に、優先度の低い被写体が重なっているか否かを判断する(ステップS18)。そして、優先度が高い被写体の前に、優先度の低い被写体が重なっている場合には、そのフレーム画像を保存することなく、ステップS10に戻り、撮影を継続する。   Next, the person part is detected from the frame image (the outline part of the person is extracted based on the color of the face and clothes, its positional relationship and continuity, etc.), and facial feature point analysis is performed for each detected person part. 2 and refer to the various information stored in the management table of FIG. 2 to identify the priority for each person part detected in the frame image (step S16), and to determine the positional relationship of each person part and each Based on the priority of the person portion, it is determined whether or not a low priority subject overlaps a high priority subject (step S18). If a low-priority subject overlaps before a high-priority subject, the process returns to step S10 without saving the frame image, and shooting continues.

一方、優先度が高い被写体の前に、優先度の低い被写体が重なっていない場合には、そのままそのフレーム画像を保存し(ステップS20)、ステップS10に戻り、撮影を継続する。   On the other hand, if a low priority subject does not overlap before a high priority subject, the frame image is stored as it is (step S20), and the process returns to step S10 to continue shooting.

図5は、本第1実施形態による撮影動作を説明するための概念図である。図において、最上段が撮影されたフレームF1〜F7であり、左から右へ順に撮影されている。なお、フレーム画像の1つ1つがフレームに相当するが、図示の例では、説明を簡単にするため、主要なフレームのみを示している。撮影されたフレームには、被写体Aと被写体Bとが写っている。フレームF1〜F7において、被写体Bは、フレーム画像の左から右へ移動し、撮影等中で、被写体Aの前を通り過ぎている。なお、被写体Aの優先度>被写体Bの優先度となっているものとする。   FIG. 5 is a conceptual diagram for explaining the photographing operation according to the first embodiment. In the figure, the uppermost frames are taken frames F1 to F7, which are taken in order from left to right. Note that each frame image corresponds to a frame, but in the illustrated example, only the main frame is shown for the sake of simplicity. The subject A and the subject B are shown in the photographed frame. In the frames F1 to F7, the subject B moves from the left to the right of the frame image and passes in front of the subject A during shooting or the like. It is assumed that the priority of the subject A> the priority of the subject B.

このような撮影状況において、上述した一連の動作に従えば、まず、フレームF1、F2では、優先度の高い被写体Aの前に被写体Bは重なっていない。従って、フレームF1、F2はそのまま保存される。これに対して、フレームF3、F4、F5では、優先度の高い被写体Aの前に被写体Bが重なっている。従って、フレームF3、F4、F5は、保存されない。さらに、フレームF6、F7では、被写体Bは優先度の高い被写体Aの前を通り過ぎてしまう。従って、フレームF6、F7は、再び、保存される。この結果、図示の下段に示すように、フレームF1、F2、F6、F7、…からなるフレーム画像が保存されることになる。   In such a shooting situation, according to the series of operations described above, first, in the frames F1 and F2, the subject B does not overlap the subject A having a high priority. Therefore, the frames F1 and F2 are stored as they are. On the other hand, in the frames F3, F4, and F5, the subject B overlaps with the subject A having a high priority. Therefore, the frames F3, F4, and F5 are not saved. Further, in the frames F6 and F7, the subject B passes in front of the subject A having a high priority. Accordingly, the frames F6 and F7 are stored again. As a result, as shown in the lower part of the figure, a frame image composed of the frames F1, F2, F6, F7,.

上述した第1実施形態によれば、所望する被写体を優先し、優先度の低い被写体が重なっていた場合、優先度の低い被写体が撮影された画像を保存しないようにしたので、少なくとも優先度の高いメイン被写体が他の被写体に隠れることなく撮影することができるとともに、連写枚数の増加、記憶メモリの効率化を図ることができる。   According to the first embodiment described above, priority is given to a desired subject, and when a subject with a low priority overlaps, an image in which a subject with a low priority is taken is not saved. A high main subject can be photographed without being hidden by other subjects, the number of continuous shots can be increased, and the efficiency of the storage memory can be improved.

B.第2実施形態
次に、本発明の第2実施形態について説明する。
なお、デジタルカメラの構成は図1と同様であるので説明を省略する。本第2実施形態では、CPU8は、メインとなる被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメインとなる被写体と他の被写体との重なり具合を判定して、メインとなる被写体が他の被写体の背後に隠れてしまう場合、すなわち、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合、あるいは、フレーム画像内に連写撮影がNGに設定されている被写体が撮影されている場合に、そのフレーム画像を保存することなく破棄するようになっている。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
The configuration of the digital camera is the same as in FIG. In the second embodiment, when the continuous shooting is performed in a situation where there are a plurality of subjects in addition to the main subject, the CPU 8 determines the main subject and the other for each frame image obtained by the continuous shooting. When the main subject is hidden behind other subjects, that is, when a subject with low priority overlaps with a subject with higher priority, or When a subject for which continuous shooting is set to NG is photographed in the frame image, the frame image is discarded without being saved.

図6は、本第2実施形態によるデジタルカメラにおいて、個人情報が登録されている管理テーブルの一例を示す概念図である。本第2実施形態では、図2に示す構成に加えて、写時の撮影可否を示す連写NGフラグが登録可能になっている。連写NGフラグが「ON」で連写不可を示し、「OFF」で連写可であることを示す。すなわち、連写NGフラグが「ON」に設定されている被写体が撮影されている場合には、優先度に関係なく、そのフレーム画像を保存することなく破棄する。図示の例では、No.3の優先度「1」の被写体が連写NGフラグが「ON」となっており、その他の被写体は「OFF」に設定されている。すなわち、連写時に、No.3の被写体が撮影されている場合には、そのフレーム画像は破棄されることになる。   FIG. 6 is a conceptual diagram showing an example of a management table in which personal information is registered in the digital camera according to the second embodiment. In the second embodiment, in addition to the configuration shown in FIG. 2, a continuous shooting NG flag indicating whether or not shooting is possible can be registered. If the continuous shooting NG flag is “ON”, continuous shooting is not possible, and “OFF” indicates that continuous shooting is possible. That is, when a subject whose continuous shooting NG flag is set to “ON” is photographed, the frame image is discarded without being saved regardless of the priority. In the example shown in FIG. The subject with the priority “1” of 3 has the continuous shooting NG flag set to “ON”, and the other subjects are set to “OFF”. That is, during continuous shooting, no. When the third subject is photographed, the frame image is discarded.

図7は、本第2実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。ユーザが個人情報を設定すべく所定の操作を行うと、図7に示すような設定画面が表示される。ユーザは、該設定画面において、顔画象や、優先度、連写時の連写可否を示す連写NGフラグのON、OFFなどを設定する。   FIG. 7 is a schematic diagram showing an example of a screen when setting personal information or changing setting contents in the digital camera according to the second embodiment. When the user performs a predetermined operation to set personal information, a setting screen as shown in FIG. 7 is displayed. On the setting screen, the user sets a face image, priority, ON / OFF of a continuous shooting NG flag indicating whether continuous shooting is possible during continuous shooting, or the like.

B−2.第2実施形態の動作
次に、上述した第2実施形態の動作について説明する。
図8は、本第2実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影(あるいは動画撮影)の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し(ステップS30)、シャッタキーがオフ操作されたか否かを判断し(ステップS32)、シャッタキーのオフ操作がなければ、撮影する(フレーム単位で取り込む)(ステップS34)。
B-2. Operation of the Second Embodiment Next, the operation of the second embodiment described above will be described.
FIG. 8 is a flowchart for explaining the photographing operation of the digital camera according to the second embodiment. It is assumed that the priority of each subject is set in advance by the user. When the shutter key is turned on by the user and the start of continuous shooting (or movie shooting) is instructed, shooting starts while recognizing and following the subject (step S30), and whether or not the shutter key is turned off. Whether or not the shutter key is turned off is photographed (taken in frame units) (step S34).

次に、フレーム画像から人物部分を検出し(顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し)、検出された各人物部分について顔特徴点解析を行い、図6の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度や、連写NGフラグなどの設定状態を特定し(ステップS36)、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体の前に、優先度の低い被写体が重なっているか否かを判断する(ステップS38)。そして、優先度が高い被写体の前に、優先度の低い被写体が重なっている場合には、そのフレーム画像を保存することなく、ステップS30に戻り、撮影を継続する。   Next, the person part is detected from the frame image (the outline part of the person is extracted based on the color of the face and clothes, its positional relationship and continuity, etc.), and facial feature point analysis is performed for each detected person part. Referring to various information stored in the management table of FIG. 6, the priority for each person part detected in the frame image, the setting state of the continuous shooting NG flag, etc. are specified (step S36) and detected. Based on the positional relationship of each person part and the priority of each person part, it is determined whether or not a subject with a low priority overlaps a subject with a high priority (step S38). If a low-priority subject overlaps before a high-priority subject, the process returns to step S30 without saving the frame image, and shooting continues.

一方、優先度が高い被写体の前に、優先度の低い被写体が重なっていない場合には、連写NGフラグが「ON」に設定されている被写体が撮影されているか否かを判断する(ステップS40)。そして、連写NGフラグが「ON」に設定されている被写体が撮影されている場合には、そのフレーム画像を保存することなく、ステップS30に戻り、撮影を継続する。   On the other hand, if a subject with a low priority does not overlap with a subject with a high priority, it is determined whether or not a subject with a continuous shooting NG flag set to “ON” has been shot (step S1). S40). If a subject whose continuous shooting NG flag is set to “ON” has been shot, the process returns to step S30 without saving the frame image and continues shooting.

一方、連写NGフラグが「ON」に設定されている被写体が撮影されていない場合には、そのままそのフレーム画像を保存し(ステップS42)、ステップS30に戻り、撮影を継続する。   On the other hand, if the subject for which the continuous shooting NG flag is set to “ON” has not been shot, the frame image is stored as it is (step S42), and the process returns to step S30 to continue shooting.

図9は、本第2実施形態による撮影動作を説明するための概念図である。図において、最上段が撮影されたフレームF1〜F7であり、左から右へ順に撮影されている。なお、フレーム画像の1つ1つがフレームに相当するが、図示の例では、説明を簡単にするため、主要なフレームのみを示している。撮影されたフレームには、被写体A、被写体B、および被写体Cが写っている。フレームF1〜F7において、被写体Bは、フレーム画像の左から右へ移動し、撮影等中で、被写体Aの前を通り過ぎ、その後、被写体Cがフレーム画像の上から下へ移動している。なお、被写体Aの優先度>被写体Bの優先度となっており、被写体Cの連写NGフラグが「ON」になっているものとする。   FIG. 9 is a conceptual diagram for explaining a photographing operation according to the second embodiment. In the figure, the uppermost frames are taken frames F1 to F7, which are taken in order from left to right. Note that each frame image corresponds to a frame, but in the illustrated example, only the main frame is shown for the sake of simplicity. The photographed frame includes subject A, subject B, and subject C. In the frames F1 to F7, the subject B moves from the left to the right of the frame image, passes through the front of the subject A during shooting and the like, and then the subject C moves from the top to the bottom of the frame image. It is assumed that the priority of the subject A> the priority of the subject B, and the continuous shooting NG flag of the subject C is “ON”.

このような撮影状況において、上述した一連の動作に従えば、まず、フレームF1、F2では、優先度の高い被写体Aの前に被写体Bは重なっていない。従って、フレームF1、F2はそのまま保存される。これに対して、フレームF3、F4、F5では、優先度の高い被写体Aの前に被写体Bが重なっている。従って、フレームF3、F4、F5は、保存されない。さらに、フレームF6、F7では、被写体Bは優先度の高い被写体Aの前を通り過ぎ、重なっていないが、連写NGフラグが「ON」の被写体Cが撮影されている。従って、フレームF6、F7も、保存されずに破棄される。この結果、図示の下段に示すように、フレームF1、F2、…からなるフレーム画像が保存されることになる。   In such a shooting situation, according to the series of operations described above, first, in the frames F1 and F2, the subject B does not overlap the subject A having a high priority. Therefore, the frames F1 and F2 are stored as they are. On the other hand, in the frames F3, F4, and F5, the subject B overlaps with the subject A having a high priority. Therefore, the frames F3, F4, and F5 are not saved. Further, in the frames F6 and F7, the subject B passes in front of the subject A having a high priority and does not overlap, but the subject C whose continuous shooting NG flag is “ON” is photographed. Therefore, the frames F6 and F7 are also discarded without being saved. As a result, as shown in the lower part of the figure, a frame image composed of the frames F1, F2,.

上述した第2実施形態によれば、所望する被写体を優先し、優先度の低い被写体がより優先度の高い被写体に重なっていた場合、および連写撮影が不可の被写体が撮影されていた場合に、そのフレーム画像を保存しないようにしたので、少なくとも優先度の高いメイン被写体が他の被写体に隠れることなく撮影することができるとともに、連写枚数の増加、記憶メモリの効率化を図ることができる。   According to the second embodiment described above, when a desired subject is prioritized and a low-priority subject overlaps a higher-priority subject, and when a subject that cannot be continuously shot is shot. Since the frame image is not saved, at least the main subject with high priority can be taken without being hidden by other subjects, and the number of continuous shots can be increased and the efficiency of the storage memory can be improved. .

C.第3実施形態
次に、本発明の第3実施形態について説明する。
なお、デジタルカメラの構成は図1と同様であるので説明を省略する。また、個人情報が登録されている管理テーブルは、優先度のみを参照する図2に示す構成とする。本第3実施形態では、CPU8は、メインとなる被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメインとなる被写体と他の被写体との重なり具合を判定して、メインとなる被写体が他の被写体の背後に隠れてしまう場合、メインとなる被写体以外を背景画像によりマスキングして除去し、メインとなる被写体のみが撮影されたフレーム画像を生成する。すなわち、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合のみ、優先度が低い被写体がフレーム画像内より削除されるものである。
C. Third Embodiment Next, a third embodiment of the present invention will be described.
The configuration of the digital camera is the same as in FIG. In addition, the management table in which personal information is registered has a configuration shown in FIG. In the third embodiment, when the continuous shooting is performed in a situation where there are a plurality of subjects in addition to the main subject, the CPU 8 determines the main subject and the other for each frame image obtained by the continuous shooting. If the main subject is hidden behind other subjects by determining the degree of overlap with the other subject, masking other than the main subject is removed by masking with the background image, and only the main subject is shot. Frame image is generated. That is, only when a subject with a low priority overlaps a subject with a higher priority, the subject with a low priority is deleted from the frame image.

図10は、本第3実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影(あるいは動画撮影)の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し(ステップS50)、シャッタキーがオフ操作されたか否かを判断し(ステップS52)、シャッタキーのオフ操作がなければ、撮影する(所定のフレーム数をバッファリングして取り込む)(ステップS54)。   FIG. 10 is a flowchart for explaining the photographing operation of the digital camera according to the third embodiment. It is assumed that the priority of each subject is set in advance by the user. When the shutter key is turned on by the user and the start of continuous shooting (or video shooting) is instructed, shooting starts while recognizing and following the subject (step S50), and whether or not the shutter key is turned off. If there is no shutter key OFF operation, a picture is taken (a predetermined number of frames are buffered and taken in) (step S54).

次に、フレーム画像から人物部分を検出し(顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し)、検出された各人物部分について顔特徴点解析を行い、図2の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度の設定状態を特定し(ステップS56)、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体の前に、優先度の低い被写体が重なっているか否かを判断する(ステップS58)。そして、優先度が高い被写体の前に、優先度の低い被写体が重なっている場合には、優先度の高い被写体を残すように、他フレームを用いて優先度の高い被写体以外を削除する(ステップS60)。次に、該フレーム画像を保存し(ステップS62)、ステップS50に戻り、撮影を継続する。   Next, the person part is detected from the frame image (the outline part of the person is extracted based on the color of the face and clothes, its positional relationship and continuity, etc.), and facial feature point analysis is performed for each detected person part. 2, referring to various information stored in the management table of FIG. 2, the priority setting state for each person part detected in the frame image is specified (step S <b> 56), and the position of each person part detected is detected. Based on the relationship and the priority of each person part, it is determined whether or not a low priority subject overlaps a high priority subject (step S58). If a low-priority subject overlaps before a high-priority subject, other than the high-priority subject is deleted using another frame so as to leave the high-priority subject (step) S60). Next, the frame image is stored (step S62), and the process returns to step S50 to continue shooting.

一方、優先度が高い被写体の前に、優先度の低い被写体、あるいは他の被写体が重なっていない場合には、そのままそのフレーム画像を保存し(ステップS62)、ステップS50に戻り、撮影を継続する。   On the other hand, if a low priority subject or another subject does not overlap before a high priority subject, the frame image is stored as it is (step S62), and the process returns to step S50 to continue shooting. .

図11(a)〜(c)は、本第3実施形態による撮影動作を説明するための概念図である。図において、横方向に順に、元の連続フレーム画像、優先度がA>Bの場合に静止画としての画像処理、優先度がA>Bの場合に動画としての画像処理を示している。また、フレームF1〜F5は、上から下へ順に撮影されたフレームである。なお、フレーム画像の1つが1つのフレームに相当するが、図示の例では、説明を簡単にするため、主要なフレームのみを示している。   FIGS. 11A to 11C are conceptual diagrams for explaining the photographing operation according to the third embodiment. In the figure, in the horizontal direction, an original continuous frame image, image processing as a still image when the priority is A> B, and image processing as a moving image when the priority is A> B are shown. Frames F1 to F5 are frames that are photographed in order from top to bottom. Note that one of the frame images corresponds to one frame, but in the illustrated example, only the main frame is shown for the sake of simplicity.

まず、図11(a)に示す元の連続フレーム画像であるが、フレームF1〜F5において、被写体Aと被写体Bとが写っており、被写体Aがフレーム画像の上から下へ移動し、被写体Bがフレーム画像の左から右へ移動し、撮影等中のフレームF3、F4で、被写体Bが被写体Aの前を通り過ぎている。   First, in the original continuous frame image shown in FIG. 11A, the subject A and the subject B are captured in the frames F1 to F5, the subject A moves from the top to the bottom of the frame image, and the subject B Moves from the left to the right of the frame image, and subject B passes in front of subject A in frames F3 and F4 during shooting and the like.

このような撮影状況において、上述した一連の動作に従えば、図11(b)に示す静止画としての画像処理の場合には、被写体Bが被写体Aの前に重なったフレームF3、F4で、被写体Bを背景画像によりマスキングして除去し、優先度の高い被写体Aのみが撮影されたフレーム画像を生成する。この場合、該当フレームF3、F4で被写体Bが忽然と消えてしまうことになるが、静止画の場合には、それぞれ独立した画像であるので違和感が生じることはない。   In such a shooting situation, according to the series of operations described above, in the case of image processing as a still image shown in FIG. 11B, the frames B3 and F4 in which the subject B overlaps in front of the subject A The subject B is masked and removed by the background image, and a frame image in which only the subject A having a high priority is captured is generated. In this case, the subject B disappears suddenly in the corresponding frames F3 and F4. However, in the case of a still image, since it is an independent image, there is no sense of incongruity.

これに対して、図11(c)に示す動画としての画像処理の場合には、被写体Bが忽然と消えてしまうと違和感が生じるので、上述した画像処理とは異なる処理を施す。つまり、フレームF3、F4で、被写体Bが優先度の高い被写体Aの前に重なったことを検出すると、該当フレームF3、F4に加えて、その前のフレームF1、F2、及びその後のフレームF4、F5からも被写体Bを背景画像によりマスキングして除去し、優先度の高い被写体Aのみが撮影されたフレーム画像を生成する。これにより、動画撮影の場合であっても、違和感を生じることなく、メインとなる被写体Aのみが撮影された動画を生成することができる。   On the other hand, in the case of the image processing as a moving image shown in FIG. 11 (c), when the subject B disappears suddenly, a sense of incongruity occurs, and therefore processing different from the above-described image processing is performed. That is, when it is detected in the frames F3 and F4 that the subject B overlaps the subject A having a higher priority, in addition to the corresponding frames F3 and F4, the previous frames F1 and F2, and the subsequent frames F4, Also from F5, the subject B is masked and removed by the background image, and a frame image in which only the subject A having a high priority is captured is generated. Thereby, even in the case of moving image shooting, it is possible to generate a moving image in which only the main subject A is shot without causing a sense of incongruity.

図12は、優先度の高い被写体の前に優先度の低い被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、優先度の低い被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。図12の右側には、図11(a)と同じフレームF1〜F5までの元の連続フレーム画像を示している。ここでは、フレームF3を元に、被写体Bを除去する例について説明する。   FIG. 12 shows a method in which when a low-priority subject overlaps before a high-priority subject, only the high-priority subject remains from the frame image, and the low-priority subject is masked with a background image and removed. It is a conceptual diagram for demonstrating. The right side of FIG. 12 shows the original continuous frame images from the same frames F1 to F5 as in FIG. Here, an example in which the subject B is removed based on the frame F3 will be described.

フレームF3で被写体Bが被写体Aの前に重なったことが検出されると、まず、フレームF3から被写体B以外の画像IM1を生成する。次に、フレームF3の前後で、かつ、被写体Aが完全に写っている、いずれかのフレーム(この場合、フレームF2)から被写体Aの一部(フレームF3で被写体Bが重なった部分)からなる画像IM2を生成する。さらに、フレームF3の前後で、かつ、フレームF3の被写体Bの背後に隠れている背景が写っている、いずれかのフレーム(この場合、フレームF5)から、被写体Bの背後に隠れている背景画像からなる画像IM2を生成する。そして、上記画像IM1、IM2、及びIM3を合成し、被写体Aのみが写った画像を得る。   When it is detected that the subject B overlaps the subject A in the frame F3, first, an image IM1 other than the subject B is generated from the frame F3. Next, before and after the frame F3, the subject A is completely captured, and is composed of a part of the subject A (a portion where the subject B overlaps the frame F3) from any frame (in this case, the frame F2). An image IM2 is generated. Further, a background image hidden behind the subject B from any frame (in this case, the frame F5) in which the background hidden behind the subject B in the frame F3 is shown before and after the frame F3. An image IM2 consisting of Then, the images IM1, IM2, and IM3 are combined to obtain an image showing only the subject A.

上述した第3実施形態によれば、所望する被写体を優先し、優先度の高い被写体の前に優先度の低い被写体が重なっていた場合、優先度の低い被写体を削除するようにしたので、所望する被写体のみを容易に撮影することができる。   According to the third embodiment described above, priority is given to a desired subject, and when a subject with low priority overlaps with a subject with high priority, the subject with low priority is deleted. Only the subject to be photographed can be easily photographed.

なお、上述した第3実施形態においても、前述した第2実施形態のように、管理テーブルに連写NGフラグを設け(図6参照)、連写NGフラグが「ON」に設定されている被写体が撮影されている場合に、そのフレーム画像を破棄したり、その被写体を背景画像によりマスキングして除去するようにしてもよい。   In the third embodiment described above, as in the second embodiment described above, a continuous shooting NG flag is provided in the management table (see FIG. 6), and the subject for which the continuous shooting NG flag is set to “ON”. May be discarded, or the subject may be removed by masking the subject with a background image.

D.第4実施形態
次に、本発明の第4実施形態について説明する。
なお、デジタルカメラの構成は図1と同様であるので説明を省略する。また、個人情報が登録されている管理テーブルは、優先度のみを参照する図2に示す構成とする。本第4実施形態では、CPU8は、メインとなる被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメインとなる被写体と他の被写体との重なり具合を判定して、メインとなる優先度の高い被写体と他の被写体とが重なって撮影された場合、メインとなる被写体以外を背景画像によりマスキングして除去し、メインとなる被写体のみが撮影されたフレーム画像を生成する。すなわち、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合だけでなく、優先度が低い被写体がより優先度の高い被写体の後で重なった場合にも、優先度が低い被写体がフレーム画像内より削除されるものである。
D. Fourth Embodiment Next, a fourth embodiment of the present invention will be described.
The configuration of the digital camera is the same as in FIG. In addition, the management table in which personal information is registered has a configuration shown in FIG. In the fourth embodiment, when the continuous shooting is performed in a situation where there are a plurality of subjects in addition to the main subject, the CPU 8 determines the main subject and the other for each frame image obtained by the continuous shooting. If the main subject with high priority overlaps with another subject, the main subject will be removed by masking it with the background image. A frame image in which only the subject is photographed is generated. That is, not only when a low-priority subject overlaps before a higher-priority subject, but also when a low-priority subject overlaps after a higher-priority subject, the priority is low The subject is deleted from the frame image.

図13は、本第4実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影(あるいは動画撮影)の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し(ステップS70)、シャッタキーがオフ操作されたか否かを判断し(ステップS72)、シャッタキーのオフ操作がなければ、撮影する(所定のフレーム数をバッファリングして取り込む)(ステップS74)。   FIG. 13 is a flowchart for explaining the photographing operation of the digital camera according to the fourth embodiment. It is assumed that the priority of each subject is set in advance by the user. When the user turns on the shutter key and gives an instruction to start continuous shooting (or movie shooting), the camera starts shooting while recognizing and following the subject (step S70), and whether or not the shutter key is turned off. If there is no shutter key OFF operation, the image is taken (a predetermined number of frames are buffered and taken in) (step S74).

次に、フレーム画像から人物部分を検出し(顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し)、検出された各人物部分について顔特徴点解析を行い、図2の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度の設定状態を特定し(ステップS76)、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体が、優先度の低い被写体と重なって撮影されているか否かを判断する(ステップS78)。   Next, the person part is detected from the frame image (the outline part of the person is extracted based on the color of the face and clothes, its positional relationship and continuity, etc.), and facial feature point analysis is performed for each detected person part. 2 and refer to the various information stored in the management table of FIG. 2 to identify the priority setting state for each person part detected in the frame image (step S76), and the position of each person part detected. Based on the relationship and the priority of each person part, it is determined whether or not a subject with a high priority is photographed with a subject with a low priority (step S78).

なお、本第4実施形態では、必ずしも、優先度の高い被写体の前に、優先度の低い被写体が重なっていることを必須とせず、前後どちらでも構わない。そして、優先度が高い被写体と、優先度の低い被写体とが重なって撮影されている場合には、優先度の高い被写体を残すように、他フレームを用いて優先度の高い被写体以外を削除する(ステップS80)。次に、該フレーム画像を保存し(ステップS82)、ステップS70に戻り、撮影を継続する。   In the fourth embodiment, it is not always necessary that a subject with a low priority overlaps a subject with a high priority. Then, if a subject with a high priority and a subject with a low priority overlap and are photographed, other than the subject with a high priority is deleted using another frame so as to leave the subject with a high priority. (Step S80). Next, the frame image is stored (step S82), and the process returns to step S70 to continue shooting.

一方、優先度が高い被写体と優先度の低い被写体とが重なって撮影されていない場合には、そのままそのフレーム画像を保存し(ステップS82)、ステップS70に戻り、撮影を継続する。   On the other hand, when the high priority subject and the low priority subject are not photographed, the frame image is stored as it is (step S82), and the process returns to step S70 to continue photographing.

図14(a)、(b)は、本第4実施形態により撮影されたフレーム画像の一例を示す模式図である。図14(a)に示すように、本第4実施形態では、優先度が高い3人の被写体A1、A2、A3が、優先度が低い被写体Bの手前に撮影されている場合、図14(b)に示すように、背後にいる被写体Bを、他のフレーム画像の背景画像によりマスキングして除去し、メインとなる優先度の高い被写体A1、A2、A3のみが撮影されたフレーム画像を生成する。   FIGS. 14A and 14B are schematic diagrams illustrating an example of a frame image photographed according to the fourth embodiment. As shown in FIG. 14A, in the fourth embodiment, when three subjects A1, A2, and A3 with high priority are photographed in front of the subject B with low priority, FIG. As shown in b), the subject B behind is removed by masking with the background image of the other frame image, and a frame image in which only the main subjects A1, A2, and A3 with high priority are photographed is generated. To do.

本第4実施形態においても、上述した第3実施形態と同様に、静止画の連写の場合には、重なっているフレームでのみ、優先度の高い被写体A1、A2、A3だけが撮影されたフレーム画像を生成する。これに対して、動画としての画像処理の場合には、被写体Bが忽然と消えてしまうと違和感が生じるので、互いに重なったフレーム以外のフレーム画像についても被写体Bを背景画像によりマスキングして除去し、複数のフレーム画像で優先度の高い被写体A1、A2、A3だけが撮影された動画を生成する。これにより、動画撮影の場合であっても、違和感を生じることなく、メインとなる優先度の高い被写体のみが撮影されたフレーム画像を生成することができる。   Also in the fourth embodiment, as in the third embodiment described above, in the case of continuous shooting of still images, only the high-priority subjects A1, A2, and A3 were shot only in overlapping frames. Generate a frame image. On the other hand, in the case of image processing as a moving image, when the subject B disappears suddenly, a sense of incongruity occurs. Therefore, the subject B is also masked and removed from the frame image other than the overlapping frames by the background image, A moving image is generated in which only the high-priority subjects A1, A2, and A3 are captured in a plurality of frame images. Thereby, even in the case of moving image shooting, it is possible to generate a frame image in which only a main subject with a high priority is shot without causing a sense of incongruity.

図15は、優先度の高い被写体の後に他の被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、他の被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。図15の右側には、図11(a)と同じフレームF1〜F5までの元の連続フレーム画像を示している。ここでは、フレームF3を元に、被写体Aの背後にいる被写体Bを除去する例について説明する。   FIG. 15 is a diagram for explaining a method of removing only a high-priority subject from the frame image by masking the other subject with a background image when another subject overlaps after a high-priority subject. It is a conceptual diagram. The right side of FIG. 15 shows the original continuous frame images from the same frames F1 to F5 as in FIG. Here, an example in which the subject B behind the subject A is removed based on the frame F3 will be described.

フレームF3で被写体Aと被写体Bとが重なったことが検出されると、まず、フレームF3から被写体B以外の画像IM11を生成する。次に、フレームF3の前後で、かつ、被写体Bの背景(フレームF3で被写体Bの背後に隠れている背景)が完全に写っている、いずれかのフレーム(この場合、フレームF1)から被写体Bの背景からなる画像IM12を生成する。この場合、フレームF1からは、被写体Bの一部の背景画像しか得られなかったので、さらに、フレームF3の前後で、かつ、フレームF3の被写体Bの残りの背景が写っている、いずれかのフレーム(この場合、フレームF5)から、被写体Bの背景(フレームF3で被写体Bの背後に隠れている背景)からなる画像IM13を生成する。そして、上記画像IM11、IM12、及びIM13を合成することで、被写体Aのみが写った画像を得る。   When it is detected that the subject A and the subject B overlap each other in the frame F3, first, an image IM11 other than the subject B is generated from the frame F3. Next, the subject B from any frame (in this case, the frame F1) in which the background of the subject B (the background hidden behind the subject B in the frame F3) completely appears before and after the frame F3. An image IM12 composed of the background is generated. In this case, since only a part of the background image of the subject B was obtained from the frame F1, any one of the backgrounds of the subject B in the frame F3 before and after the frame F3 is reflected. An image IM13 composed of the background of the subject B (the background hidden behind the subject B in the frame F3) is generated from the frame (in this case, the frame F5). Then, by combining the images IM11, IM12, and IM13, an image showing only the subject A is obtained.

上述した第4実施形態によれば、所望する被写体を優先し、優先度の高い被写体と優先度の低い被写体とが重なっていた場合、優先度の低い被写体を削除するようにしたので、所望する被写体のみを容易に撮影することができる。   According to the fourth embodiment described above, priority is given to a desired subject, and when a subject with a high priority and a subject with a low priority overlap, the subject with a low priority is deleted. Only the subject can be easily photographed.

なお、上述した第4実施形態においても、前述した第2実施形態のように、管理テーブルに連写NGフラグを設け(図6参照)、連写NGフラグが「ON」に設定されている被写体が撮影されている場合に、そのフレーム画像を破棄したり、その被写体を背景画像によりマスキングして除去するようにしてもよい。   Note that in the fourth embodiment described above, as in the second embodiment described above, a continuous shooting NG flag is provided in the management table (see FIG. 6), and the subject for which the continuous shooting NG flag is set to “ON”. May be discarded, or the subject may be removed by masking the subject with a background image.

1 入力装置
2 内部記憶装置
3 カメラ装置
4 表示装置
5 音声入出力装置
6 外部記憶装置
7 ストロボ発光装置
1 Input Device 2 Internal Storage Device 3 Camera Device 4 Display Device 5 Audio Input / Output Device 6 External Storage Device 7 Strobe Light Emitting Device

Claims (7)

撮像手段と、
前記撮像手段により撮像されたフレーム画像を記録する記録手段と、
前記撮像手段により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段と、
複数の被写体の各々に対して連写可否を設定する連写可否設定手段と、
前記撮像手段により前記主被写体を連続して撮像している場合において、前記検出手段により前記連写不可に設定されている被写体が検出されたフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録手段に記録する記録制御手段と
を備えることを特徴とする撮像装置。
Imaging means;
Recording means for recording a frame image captured by the imaging means;
Detecting means for detecting a main subject and other subjects from the frame image imaged by the imaging means;
Continuous shooting availability setting means for setting whether continuous shooting is possible for each of a plurality of subjects;
Whether or not to discard the frame image in which the subject set to the continuous shooting disabled state is detected by the detection unit without recording it in the recording unit when the imaging unit continuously captures the main subject Or a recording control means for recording in the recording means after removing the subject portion set in the frame image so as not to be continuously shot using another frame image. .
前記検出手段により検出された主被写体と他の被写体とが重なっているか否かを判定する判定手段を更に備え、
前記記録制御手段は、前記撮像手段により撮像されたフレーム画像内に前記主被写体とその他の被写体の両方を含む場合において、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により前記他の被写体が連写不可に設定されている被写体であることが検出された場合に、そのフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録手段に記録することを特徴とする請求項1記載の撮像装置。
A determination unit for determining whether or not the main subject detected by the detection unit overlaps with another subject;
The recording control unit determines that the main subject and the other subject overlap each other when the frame image captured by the imaging unit includes both the main subject and the other subject. in addition to the case, wherein when said other object by the detection means has been detected to be a subject that has been set to disable continuous shooting, or discarded without recording the frame image in the recording means, or, 2. The image pickup apparatus according to claim 1, wherein a subject portion that is set so as not to be continuously shot in the frame image is removed using another frame image, and then recorded in the recording unit.
前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分、または前記連写不可に設定されている被写体部分を除去する除去手段であることを特徴とする請求項2記載の撮像装置。 In addition to the case where the determination unit determines that the main subject and another subject overlap each other, the recording control unit is configured to perform other operations when the detection unit detects a subject that is not set to continuous shooting. The image pickup apparatus according to claim 2 , wherein the image pickup apparatus is a removing unit that removes the other subject portion in the frame image or the subject portion that is set not to be continuously shot using the frame image. 前記除去手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定されたフレーム画像、および前記検出手段により連写不可に設定されている被写体が検出されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分、または前記連写不可に設定されている被写体部分も除去することを特徴とする請求項3記載の撮像装置。 In addition to the frame image in which the main subject and another subject are determined to be overlapped by the determination unit, and the frame image in which the subject set to be non-continuous shooting is detected by the detection unit, 4. The image pickup apparatus according to claim 3 , wherein the other subject portion in the frame images before and after the frame image or the subject portion set not to be continuously shot are also removed. 前記検出手段は、前記主被写体とその他の被写体に加えて、前記連写可否設定手段により設定された各被写体の連写可否に基づいて、フレーム画像内から連写不可に設定されている被写体を検出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置。In addition to the main subject and the other subjects, the detection means detects a subject that is set not to be continuously shot from within a frame image based on whether or not each subject is continuously shot. The imaging device according to claim 1, wherein the imaging device is detected. 少なくとも、撮像部と記録部とを備える撮影装置による撮像方法であって、
前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出処理と、
複数の被写体の各々に対して連写可否を設定する連写可否設定処理と、
前記撮像手段により前記主被写体を連続して撮像している場合において、前記検出処理により前記連写不可に設定されている被写体が検出されたフレーム画像を前記記録部に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録部に記録する記録制御処理と
を含むことを特徴とする撮像方法。
At least an imaging method by an imaging device including an imaging unit and a recording unit,
Detection processing for detecting a main subject and other subjects from the frame image captured by the imaging unit;
Continuous shooting availability setting processing for setting whether continuous shooting is possible for each of a plurality of subjects;
Whether or not to discard the frame image in which the subject set to the continuous shooting disabled state is detected by the detection process without being recorded in the recording unit when the main subject is continuously captured by the imaging unit Or a recording control process of recording in the recording unit after removing the subject portion set in the frame image so as not to be continuously shot using another frame image. .
少なくとも、撮像部と記録部とを備える撮影装置のコンピュータを、
前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段、
複数の被写体の各々に対して連写可否を設定する連写可否設定手段、
前記撮像手段により前記主被写体を連続して撮像している場合において、前記検出手段により前記連写不可に設定されている被写体が検出されたフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記連写不可に設定されている被写体部分を除去してから前記記録手段に記録する記録制御手段と
して機能させることを特徴とするプログラム。
At least a computer of an imaging device including an imaging unit and a recording unit,
Detection means for detecting a main subject and other subjects from the frame image captured by the imaging unit;
Continuous shooting enable / disable setting means for setting continuous shooting enable / disable for each of a plurality of subjects;
Whether or not to discard the frame image in which the subject set to the continuous shooting disabled state is detected by the detection unit without recording it in the recording unit when the imaging unit continuously captures the main subject Or, it is made to function as a recording control means for recording in the recording means after removing the subject portion set in the frame image to be non-continuous shooting using another frame image. program.
JP2013259931A 2013-12-17 2013-12-17 Imaging apparatus, imaging method, and program Expired - Fee Related JP5761323B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013259931A JP5761323B2 (en) 2013-12-17 2013-12-17 Imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013259931A JP5761323B2 (en) 2013-12-17 2013-12-17 Imaging apparatus, imaging method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009099578A Division JP5446035B2 (en) 2009-04-16 2009-04-16 Imaging apparatus, imaging method, and program

Publications (2)

Publication Number Publication Date
JP2014099869A JP2014099869A (en) 2014-05-29
JP5761323B2 true JP5761323B2 (en) 2015-08-12

Family

ID=50941490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013259931A Expired - Fee Related JP5761323B2 (en) 2013-12-17 2013-12-17 Imaging apparatus, imaging method, and program

Country Status (1)

Country Link
JP (1) JP5761323B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542224B2 (en) 2015-06-26 2020-01-21 Maxell, Ltd. Imaging device and image processing method
JP7362696B2 (en) * 2020-05-07 2023-10-17 マクセル株式会社 Imaging device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399040B2 (en) * 1998-06-17 2010-01-13 カシオ計算機株式会社 Moving object image offset method and imaging apparatus
JP2005020196A (en) * 2003-06-24 2005-01-20 Casio Comput Co Ltd Image photographing apparatus and image arrangement apparatus
JP2006140695A (en) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc Imaging apparatus
JP4983479B2 (en) * 2007-08-23 2012-07-25 株式会社ニコン Imaging device

Also Published As

Publication number Publication date
JP2014099869A (en) 2014-05-29

Similar Documents

Publication Publication Date Title
JP4640456B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method, and program
CN106375674B (en) Method and apparatus for finding and using video portions related to adjacent still images
JP2019212312A (en) Method, system, and device for selecting frame of video sequence
EP2741293A1 (en) Video processing apparatus and method
JP5169139B2 (en) Camera and image recording program
JP5713055B2 (en) Imaging apparatus, imaging method, and program
JP2005128156A (en) Focusing device and method
EP3062513B1 (en) Video apparatus and photography method thereof
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
JP2017063463A (en) Still image extraction device
US9992405B2 (en) Image capture control apparatus and control method of the same
JP5137622B2 (en) Imaging apparatus and control method thereof, image processing apparatus and control method thereof
JP5446035B2 (en) Imaging apparatus, imaging method, and program
JP2013134735A (en) Object recognition device and dictionary data registration method
JP2010081304A (en) Photographing apparatus, photographing guidance method and program
US20140285649A1 (en) Image acquisition apparatus that stops acquisition of images
US9767587B2 (en) Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information
JP5761323B2 (en) Imaging apparatus, imaging method, and program
JP2010178259A (en) Digital camera
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
JP5383308B2 (en) Image processing device
US20160057359A1 (en) Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image from images related to reference image
JP2008219451A (en) Imaging device and control method thereof
JP5374612B2 (en) Image data identification method, imaging apparatus, program, and storage medium
JP2010161644A (en) Electronic camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R150 Certificate of patent or registration of utility model

Ref document number: 5761323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees