JP5434104B2 - Electronic camera - Google Patents

Electronic camera Download PDF

Info

Publication number
JP5434104B2
JP5434104B2 JP2009019962A JP2009019962A JP5434104B2 JP 5434104 B2 JP5434104 B2 JP 5434104B2 JP 2009019962 A JP2009019962 A JP 2009019962A JP 2009019962 A JP2009019962 A JP 2009019962A JP 5434104 B2 JP5434104 B2 JP 5434104B2
Authority
JP
Japan
Prior art keywords
image
unit
electronic camera
face
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009019962A
Other languages
Japanese (ja)
Other versions
JP2010178158A (en
Inventor
慎矢 藤原
正永 中村
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2009019962A priority Critical patent/JP5434104B2/en
Publication of JP2010178158A publication Critical patent/JP2010178158A/en
Application granted granted Critical
Publication of JP5434104B2 publication Critical patent/JP5434104B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、顔検出機能を備える電子カメラに関する。 The present invention relates to an electronic camera having a face detection function.

従来より、人物の笑顔の度合いを判定する電子カメラが知られている(例えば、特許文献1参照)。 Conventionally, an electronic camera determines the degree of a person's smiling face has been known (e.g., see Patent Document 1).

しかしながら、特許文献1の電子カメラでは、被写体が笑顔であれば構図に関係なく、撮影がなされる場合がある。 However, in the electronic camera of Patent Document 1, regardless of the composition if the subject is smiling, sometimes shooting is made. そのため、被写体が笑顔であっても、好ましい構図で撮影されるとは限らないという点で改善の余地がある。 Therefore, even if the subject is smiling, there is room for improvement in that it does not necessarily be taken with the preferred composition.

そこで、本発明は、上記事情に鑑み、被写体が特定の表情であるときに好ましい構図で撮影を行わせる電子カメラを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an electronic camera to perform photographing at preferred composition when the subject is a specific expression.

一つの観点によれば、電子カメラは、被写体を撮像して画像データを生成する撮像部と、画像データに基づく画像を表示する表示部と、構図確認用に取得される動画像であるスルー画像に対して静止画撮影の構図を決定するための第1目印をスルー画像の特定位置に重畳表示させる第1目印表示制御部と、第1目印を前記特定位置から任意の位置に移動させるための移動先の位置を入力する操作部と、スルー画像から顔の領域を検出する顔検出部と、顔検出部の検出結果に基づいてスルー画像に対して顔の領域を示す第2目印を重畳表示させる第2目印表示制御部と、顔の特徴量を抽出する顔認識部と、特徴量に基づいて顔の表情を判定する表情判定部と、第1目印が表示される任意の位置と第2目印が表示される位置との距離が予め設定し According to one aspect, an electronic camera includes an imaging unit that generates image data by imaging a subject, and a display unit that displays an image based on the image data through image is a moving image that is acquired for composition confirmation a first mark display control unit for superimposing displayed on a specific position of the first mark through image to determine the composition of the still image capturing with respect to, for moving the first mark at an arbitrary position from the specific position superimposed display and operation unit for inputting a destination position, a face detection unit that detects a face area from the through image, the second mark indicating the area of the face with respect to the through image on the basis of the detection result of the face detection unit a second mark display control unit for, extracts a feature amount of the face face recognition unit and a determining facial expression determination unit facial expressions on the basis of the feature amount, any position and the second to the first mark is displayed distance between the position where a mark is displayed preset 閾値に達しているかを判定する位置判定部と、距離が閾値に達していることを位置判定部が判定し、かつ、第2目印に対応する顔の表情が特定の表情である場合に撮像部に静止画撮影を行わせる撮影制御部と、を備えるものである。 A position determination unit that determines whether the threshold has been met, the distance that determines the position determination unit has reached the threshold value, and the imaging unit when the facial expression of the face corresponding to the second mark is a specific expression those comprising a photographing control unit, the to perform still image shooting.

本発明の電子カメラによれば、被写体が特定の表情であるときに好ましい構図で撮影を行わせることができる。 According to the electronic camera of the present invention, it is possible to perform the imaging in the preferred composition when the subject is a specific expression.

第1実施形態の電子カメラ1の構成を示すブロック図 Block diagram showing a configuration of an electronic camera 1 of the first embodiment 電子カメラ1の正面図及び背面図 Front and rear views of an electronic camera 1 電子カメラ1の撮影動作を表すフローチャート Flowchart showing the photographing operation electronic camera 1 目印の設定を説明する図 Diagram for explaining the setting of the mark 顔の領域が検出された後、撮影が行われるまでの処理の概要を説明する図 After the area of ​​the face has been detected, the outline of processing up photographing is performed FIG 指の映り込みを説明する図 Diagram for explaining a reflection of finger 第1の変形例を説明する図 Diagram for explaining a first modification 第2の変形例を説明する図 Diagram for explaining a second modification 第2実施形態の電子カメラ1の構成を示すブロック図 Block diagram showing a configuration of an electronic camera 1 of the second embodiment 第2実施形態の電子カメラ1の撮影動作を表すフローチャート Flowchart showing the photographing operation electronic camera 1 of the second embodiment 第2実施形態の電子カメラ1における撮影動作の一例を説明する図 Diagram for explaining an example of photographing operations in the electronic camera 1 of the second embodiment 第2実施形態の電子カメラ1における撮影動作の一例を説明する図 Diagram for explaining an example of photographing operations in the electronic camera 1 of the second embodiment

(第1実施形態) (First Embodiment)
以下、図面に基づいて本発明の実施の形態を詳細に説明する。 Hereinafter, the embodiments of the present invention will be described in detail with reference to the accompanying drawings. なお、第1実施形態で説明する「笑顔・構図モード(スマイル・フレーミングモード)」は、予め設定した構図(好ましい構図)で被写体の顔が特定の表情(笑顔)であると、撮影のタイミングであると決定して電子カメラが撮影を行わせるモードである(詳細は後述する)。 Incidentally, described in the first embodiment "smile-composition mode (Smile framing mode)", when the face of the subject in the composition which is set in advance (preferably composition) are specific expression (smiling), at the timing of shooting was determined to be an electronic camera is a mode to perform the imaging (details will be described later).

図1は、第1実施形態の電子カメラ1の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of an electronic camera 1 of the first embodiment. 図1に示す通り電子カメラ1には、撮影レンズ10と、撮像部11と、画像処理部12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14と、操作部15と、レリーズ釦16と、タッチパネル17と、CPU(Central Processing Unit)18と、表示モニタ19と、記録インターフェース(記録I/F)20と、記録媒体21と、受光センサ22と、姿勢検出センサ23と、バス24とが備えられている。 The street electronic camera 1 shown in FIG. 1, an imaging lens 10, an imaging unit 11, an image processing unit 12, a RAM (Random Access Memory) 13, a ROM (Read Only Memory) 14, an operation unit 15, a release button 16, a touch panel 17, a CPU (Central Processing Unit) 18, a display monitor 19, a recording interface (recording I / F) 20, a recording medium 21, a light receiving sensor 22, the posture detecting sensor 23, and the bus 24 are provided. このうち画像処理部12、RAM13、ROM14、CPU18、表示モニタ19及び記録インターフェース(記録I/F)20は、バス24を介して互いに接続されている。 Among the image processing unit 12, RAM 13, ROM 14, CPU 18, display monitor 19 and a recording interface (recording I / F) 20 are connected to each other via a bus 24. また、操作部15、レリーズ釦16、タッチパネル17、受光センサ22及び姿勢検出センサ23はCPU18に接続されている。 The operation unit 15, a release button 16, the touch panel 17, the light receiving sensor 22 and the attitude detecting sensor 23 is connected to the CPU 18.

撮影レンズ10は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。 Photographing lens 10, a zoom lens, and a plurality of lens groups including a focus lens. なお、簡単のため、図1では、撮影レンズ10を1枚のレンズとして図示する。 For simplicity, FIG. 1 illustrates the photographing lens 10 as a single lens.

撮像部11は、レンズ駆動機構、絞り、シャッタ機構、撮像素子、タイミングジェネレータ及びAFE(アナログフロントエンド)等からなる。 Imaging unit 11, a lens driving mechanism, the diaphragm consists of a shutter mechanism, an imaging device, a timing generator and AFE (analog front end), and the like. この撮像部11は、撮影レンズ10が結像した被写体像を光電変換して画像データを生成する。 The imaging unit 11 includes an imaging lens 10 to generate image data by photoelectrically converting an object image formed. なお、撮像部11は、撮影時には、記録用の静止画像の画像データを出力する。 The imaging unit 11, at the time of shooting, and outputs the image data of a still image for recording. また、撮像部11は、撮影待機時には、所定時間経過毎に構図確認用の動画像であるスルー画像の画像データを出力する。 The imaging unit 11, at the time of photographing standby outputs image data of the through image is a moving image for composition confirmation every predetermined time.

撮像部11が出力する画像データは、RAM13に一時的に記録される。 Image data by the imaging unit 11 outputs is temporarily stored in RAM 13. このRAM13は、フレームメモリとしても機能する。 This RAM13 also functions as a frame memory.

画像処理部12は、RAM13に記録されている1フレーム分の画像データを読み出し、各種の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス処理等)を施す。 The image processing unit 12 reads the image data of one frame stored in the RAM 13, various types of image processing (gradation conversion processing, edge enhancement processing, white balance processing, etc.) performed.

ROM14は、電子カメラ1の制御を行うプログラム等を予め記憶している不揮発性のメモリである。 ROM14 is a nonvolatile memory that previously stores programs for controlling the electronic camera 1.

操作部15は、後述する各操作キー等の指示入力を受け付けてCPU18に処理の命令を出す。 Operation unit 15 issues a command for processing the CPU18 receives an instruction input such as the operation keys to be described later.

レリーズ釦16は、半押し操作(撮影前における自動露出(AE:Automatic Exposure)、自動焦点合わせ(AF:Auto Focus)等の動作開始)の指示入力と全押し操作(撮像動作開始)との指示入力とを受け付ける。 Release button 16 is half-pressed (automatic exposure before shooting (AE: Automatic Exposure number), automatic focusing (AF: Auto Focus) operation start such) instruction of the instruction input and full press operation (imaging operation start) It accepts an input. なお、笑顔・構図モード時には、半押し操作、これに続く全押し操作の指示入力を受け付けると、CPU18は、後述する表情判定部18の判定結果が笑顔であれば、撮影タイミングであると決定して撮影を行わせる設定に切り替える。 Note that the smile-composition mode, half-press operation, when receiving this subsequent instruction input full depression, CPU 18 may determine the result of the facial expression determination unit 18 to be described later if smiling, determined to be shooting timing switch to the setting to perform the shooting Te. なお、後述する撮影制御部18gが、「撮影タイミングであると決定して撮影を行わせる」制御を担っている。 Incidentally, the imaging control unit 18g described later, is responsible for controlling the "determined to be shooting timing to perform the shooting". 本実施形態では、この制御を「自動撮影」と称することがある。 In the present embodiment, the control may be referred to as "automatic photographing".

なお、笑顔・構図モード時には、半押し操作がなされても、自動焦点合わせ(AF)等の動作開始の指示入力は行われず、後述する撮影制御部18gの指示により自動焦点合わせ(AF)等が行われる。 Note that the smile-composition mode, even if the half-press operation has been performed, the instruction input of the operation start, such as automatic focusing (AF) is not performed, the automatic focusing according to an instruction of the imaging control unit 18g described later (AF) and the like It takes place.

表示モニタ19は、静止画像、スルー画像、電子カメラ1の操作メニュー等を表示する。 Display monitor 19 displays still images, through image, the operation menu of the electronic camera 1. さらに、表示モニタ19は、第1目印や第2目印をスルー画像上に表示する。 Furthermore, the display monitor 19 displays the first marker and the second marker on the through image. ここで、第1目印は、構図確認用の目印であって、以下、単に「目印」という。 Here, the first mark is a mark for composition confirmation, hereinafter simply referred to as a "landmark". 第2目印は、スルー画像内の顔の領域を示す目印であって、例えば、顔の領域の囲む検出枠である。 The second mark is a mark indicating a region of the face in the through image, for example, a detection frame surrounding the area of ​​the face. 以下、第2目印を、「検出枠」という。 Below, the second mark, referred to as a "detection frame". 表示モニタ19には、液晶のモニタ等を適宜選択して用いることができる。 On the display monitor 19 may be appropriately selected and used liquid crystal monitor or the like.

タッチパネル17は、タッチパネル表面に接触した指先等の位置を検出する。 The touch panel 17 detects the position of such finger in contact with the touch panel surface. そして、タッチパネル17は、検出した位置情報をCPU18に出力することで撮影者からの入力を受け付ける。 Then, the touch panel 17 receives an input from the photographer by outputting the detected position information to the CPU 18.

なお、タッチパネル17は、表示モニタ19と同等の大きさを有する透明なパネルで構成されており、表示モニタ19の表面全体に積層して配置される。 The touch panel 17 is composed of a transparent panel having a comparable size and the display monitor 19 is positioned stacked on the entire surface of the display monitor 19. また、本実施形態の例では、タッチパネル17は、静電気による電気信号を感知する静電容量式のパネルで構成されている。 In the example of this embodiment, the touch panel 17 is constituted by a panel of capacitive sensing an electrical signal due to static electricity. タッチパネル17の構成は、静電容量式に限られず、圧力による電圧の変化を検出する抵抗膜式のパネルを用いてもよい。 Configuration of the touch panel 17 is not limited to the electrostatic capacitance type may be used a panel of resistive film type for detecting a change in voltage due to pressure.

記録インターフェース(記録I/F)20には、記録媒体21を接続するためのコネクタが形成されている。 The recording interface (recording I / F) 20, a connector for connecting the recording medium 21 is formed. 記録インターフェース(記録I/F)20は、CPU18からの指示により、そのコネクタに接続された記録媒体21にアクセスして画像の記録処理を行う。 Recording interface (recording I / F) 20 is an instruction from the CPU 18, it performs a process of recording an image by accessing the recording medium 21 connected to the connector.

受光センサ22は、光を電気信号に変換する受光素子である。 Receiving sensor 22 is a light receiving element for converting light into an electric signal. この受光センサ22は、撮影者の指の映り込みを検出するために用いられる。 The light receiving sensor 22 is used to detect the reflection of the photographer's fingers. 姿勢検出センサ23は、電子カメラ1の光軸周りの回転位置(姿勢)を検出する姿勢センサである。 Posture detecting sensor 23 is a position sensor for detecting a rotational position about the optical axis of the electronic camera 1 (posture). この姿勢検出センサ23は、電子カメラ1のいわゆる縦位置、横位置を検出するために用いられる。 The posture detecting sensor 23, so-called vertical position of the electronic camera 1 is used to detect the lateral position. なお、電子カメラ1の姿勢検出の処理は、公知技術を用いることにより実現できる。 The processing of the posture detection of the electronic camera 1 can be realized by using known techniques.

CPU18は、電子カメラ1の制御を行うプロセッサである。 CPU18 is a processor for controlling the electronic camera 1. CPU18は、ROM14に予め格納されたシーケンスプログラムを実行することにより、電子カメラ1の各部の制御等を行う。 CPU18 executes the pre-stored sequence program in ROM 14, performs control of each part of the electronic camera 1. また、本実施形態のCPU18は、目印表示制御部18aと、顔検出部18bと、検出枠表示制御部18cと、位置判定部18dと、顔認識部18eと、表情判定部18fと、表情判定部18gと、報知部18hとしても機能する。 Further, CPU 18 of this embodiment, a mark display control unit 18a, a face detecting unit 18b, a detection frame display control unit 18c, and a position determining unit 18 d, and the face recognizing section 18e, and the facial expression determination unit 18f, the facial expression determination and part 18g, also functions as a notification unit 18h.

目印表示制御部18aは、笑顔・構図モード設定時に、構図確認用に取得される動画像であるスルー画像に対して、静止画撮影の構図を決定するための目印を特定位置に重畳表示させる。 Mark display control unit 18a, when the smile-composition mode is set, the through image is a moving image obtained for the composition confirmation, to superimpose a mark for determining the composition of the still image shooting at a specific position. この特定位置は、一例として、スルー画像の中央の位置である。 This particular position is, for example, a center position of the through image. 或いは、目印表示制御部18aは、操作部15又はタッチパネル17からの指示入力を受け付けることにより、その目印をスルー画像の指定された特定位置に配置させる。 Alternatively, the mark display control unit 18a, by accepting an instruction input from the operation unit 15 or the touch panel 17 to place the mark on the designated specific position of the through image. 或いは、目印表示制御部18aは、特定位置として、スルー画像の縦横を黄金比で各々分割して得られる黄金分割線の交点のうち、選択した交点上に目印を配置させる(詳細は後述する)。 Alternatively, the mark display control unit 18a, as a specific position, out of the horizontal and vertical intersection of golden division lines obtained by respectively dividing golden ratio of the through image, (will be described later in detail) to place the mark on the intersecting point selected .

顔検出部18bは、スルー画像から顔の領域を検出する。 The face detection unit 18b detects a face region from the through image. すなわち、顔検出部18bは、スルー画像の画像データから顔の領域を抽出し、その位置座標、サイズ(範囲)を検出する。 That is, the face detection unit 18b extracts a face region from the image data of the through image to detect its position coordinates, size (range). 位置座標のデータ、サイズ(範囲)のデータは、順次、RAM13に一時的に記録される。 Position coordinate data, data size (range) sequentially, is temporarily recorded in the RAM 13. なお、顔検出の処理は、公知技術を用いることにより実現できる。 The processing of the face detection can be realized by using known techniques.

検出枠表示制御部18cは、顔検出部の検出結果に基づいて、スルー画像に対して顔の領域を囲む検出枠を表示モニタ19に重畳表示させる。 Detection frame display control unit 18c based on the detection result of the face detection unit, superimposed to be displayed on the display monitor 19 a detection frame surrounding the area of ​​the face with respect to the through image. 検出枠の座標データは、順次、RAM13に一時的に記録される。 Coordinate data of the detected frame is sequentially temporarily recorded in the RAM 13. なお、表示モニタ19に重畳表示させるために目印や検出枠をスルー画像に合成する処理は、画像処理部12が担う。 The process of synthesizing a marker or detection frame on the through image to be superimposed on the display monitor 19, the image processing unit 12 is responsible.

位置判定部18dは、検出枠と目印との位置関係が予め定められた位置関係になったか否かを判定する(詳細は後述する)。 Position determining unit 18d determines whether or not the positional relationship between the mark and the detecting frame becomes a predetermined positional relationship (details will be described later).

顔認識部18eは、顔検出部18bが検出した顔の領域に対して特徴量抽出処理を行って顔の特徴量を抽出する。 Face recognition unit 18e performs feature extraction processing for extracting a feature amount of the face to a region of the face which the face detection unit 18b detects. すなわち、顔認識部18eは、顔の輪郭の形状、目の形状、口の形状等、人物の表情の特徴が表れる形状を顔の領域から抽出する。 That is, the face recognition unit 18e extracts the shape of the contour of the face, eye shape, the shape of the mouth or the like, a shape feature appears in facial expression of a person from the face region. この特徴量抽出処理は、公知技術により行うことができる。 The feature value extraction process may be carried out by known techniques. 表情判定部18fは、特徴量に基づいて、例えば口角(口の両脇)の上がり具合、目の大きさ等から顔の表情を判定する。 Expression determination unit 18f determines, on the basis of the feature quantity, for example up condition of the mouth corners (both sides of the mouth), the facial expressions from the eyes of the size and the like.

撮影制御部18gは、位置判定部18dの判定結果が、予め定められた位置関係になった場合、表情判定部18fの判定結果に応じて、撮影タイミングであると決定し、撮像部11内のタイミングジェネレータを介して、撮像素子及びA/D変換部の各々へ向けて駆動信号を送出し、静止画撮影を行わせる。 Imaging control unit 18g, the determination result of the position determination unit 18d is, when it becomes a predetermined positional relationship, in accordance with the determination result of the facial expression determination unit 18f, and determined to be shooting timing, in the image pickup unit 11 via the timing generator, toward each of the imaging device and a / D conversion unit sends a drive signal to perform the still image shooting.

報知部18hは、笑顔・構図モード設定時に、受光センサ22からの信号を検出して、検出した光量の信号レベルが、予め設定した光量の信号レベル以下であれば、一例として、表示モニタ19に警告表示を行わせる。 Notification unit 18h, at the time of setting smile-composition mode, and detecting a signal from the light receiving sensor 22, the signal level of the detected light quantity is equal to or less than the signal level of the light amount set in advance, as an example, the display monitor 19 to perform a warning display.

図2は、電子カメラ1の正面図及び背面図である。 Figure 2 is a front view and a rear view of the electronic camera 1. 本実施形態の電子カメラ1は、いわゆるコンパクト型(レンズ一体型)の電子カメラであり、薄型の筐体を採用している。 The electronic camera 1 of this embodiment is an electronic camera of the so-called compact (lens-integrated), employs a thin casing.

図2(a)は、電子カメラ1の正面図であり、撮影レンズ10に入射光を導く入射窓24と受光素子22に入射光を導く入射窓25とが備えられている。 2 (a) is a front view of the electronic camera 1, and the incident window 25 for guiding incident light is provided on the incident window 24 and the light receiving element 22 for guiding incident light to the imaging lens 10.

図2(b)は、電子カメラ1の背面図であり、表示モニタ19と、操作部15として、広角ズームキー15aと、望遠ズームキー15bと、電源ボタン15cと、モードスイッチ15dと、十字キー15eとが備えられている。 Figure 2 (b) is a rear view of the electronic camera 1, a display monitor 19, as the operation unit 15, a wide-angle zoom key 15a, and the telephoto zoom key 15b, a power button 15c, a mode switch 15d, the cross key 15e It is provided. また、この電子カメラ1の上面には、レリーズ釦16が備えられている。 On the upper surface of the electronic camera 1, a release button 16 is provided. なお、図2(b)において、表示モニタ19について、表示画面の上には透明のタッチパネル17(不図示)が配置されているものとする。 Incidentally, in FIG. 2 (b), the the display monitor 19, it is assumed that the transparent touch panel 17 (not shown) is disposed on the display screen.

広角ズームキー15aは、焦点距離を広角側に変更するための操作キーである。 Wide angle zoom key 15a is an operation key for changing the focal length at the wide angle side. 望遠ズームキー15bは、焦点距離を望遠側に変更するための操作キーである。 Telephoto zoom key 15b is an operation key for changing the focal length to the telephoto side. モードスイッチ15dは、撮影モード若しくは再生モードに切り替える操作キーである。 Mode switch 15d is an operation key to switch to the shooting mode or playback mode. 十字キー15eは、電子カメラ1の操作メニューの設定条件を選択若しくは実行する操作キーである。 Cross key 15e is an operation key for selecting or executing the set conditions of the operation menu of the electronic camera 1.

次に、第1実施形態における電子カメラ1の動作の一例を説明する。 Next, an example of operation of the electronic camera 1 in the first embodiment.

図3は、電子カメラ1の撮影動作を表すフローチャートである。 Figure 3 is a flowchart showing the photographing operation the electronic camera 1. 以下の説明では、笑顔・構図モードの機能をオンに設定した場合について説明する。 In the following description, a description will be given of a case set to turn on the function of the smile-composition mode. すなわち、電子カメラ1の電源がオンされた後、笑顔・構図モード開始の指示入力を操作部15を介して受け付けると、CPU18は、このフローチャートの処理を開始する。 That is, after the power of the electronic camera 1 is turned on, when receiving via the operation unit 15 an instruction input smile-composition mode start, CPU 18 starts the processing of this flowchart.

ステップS101:CPU18は、撮像部11内のタイミングジェネレータを介して撮像素子及びA/D変換器を駆動させることによりスルー画像の取得を開始する。 Step S101: CPU 18 starts the acquisition of the through image by driving the image sensor and the A / D converter via the timing generator in the imaging unit 11. このスルー画像は、表示モニタ19に表示される。 The through image is displayed on the display monitor 19. 続いて、目印表示制御部18aは、構図決定用の目印をスルー画像に重畳表示させる。 Then, the mark display control unit 18a causes superimposed display a mark for the composition determined through image.

図4は、目印の設定を説明する図である。 Figure 4 is a diagram for explaining setting of landmarks. 図4(a)に示すように、目印表示制御部18aは、一例として、目印Mをスルー画像の中央の位置(表示モニタ19の表示画面の中央の位置に相当)に表示させる。 As shown in FIG. 4 (a), the mark display control unit 18a, as an example, is displayed in the center position of the mark M through image (corresponding to the center position of the display screen of the display monitor 19). なお、目印Mの表示態様は、一例であって、これに限定されるものではない。 The display mode of landmark M is an example, but is not limited thereto.

ステップS102:CPU18は、目印Mの位置設定を行う。 Step S102: CPU 18 carries out positioning of the mark M. 具体的には、CPU18は、タッチパネル17を介して指の接触位置の座標を検出する。 Specifically, CPU 18 detects the coordinates of the contact position of the finger through the touch panel 17. CPU18の目印表示制御部18aは、図4(b)に示す通り、指の接触位置が移動するに伴い、目印Mの位置を移動させながら表示させる。 Mark display control unit 18a of the CPU18, as shown in FIG. 4 (b), with the contact position of the finger moves, and displays while moving the position of the mark M. そして、CPU18は、タッチパネル17を介して指の接触位置の移動が停止したことを検出すると、その時点における目印Mの位置を構図決定用の位置に設定する。 Then, CPU 18, upon movement of the contact position of the finger through the touch panel 17 detects that it has stopped, to set the position of the mark M at that time to the position for the composition determining. そして、構図決定用の位置の座標データは、一旦、RAM13に記録される。 Then, the coordinate data of the position for the composition determining is temporarily recorded in the RAM 13.

なお、説明の便宜上、図4(b)では、指の接触位置と目印Mの位置とは離れているが、指の接触位置と目印Mの位置とは、表示画面上で同じと考えてよく、撮影者は、目印Mを指でなぞるようにして動かすものとする。 For convenience of description, in FIG. 4 (b), but apart from the contact position of the finger and the position of the mark M, and the position of the mark M with the contact position of the finger, it may be considered to be the same on the display screen , photographer, it is assumed that the mark M move as tracing a finger. また、CPU18は、所定時間経過してもタッチパネル17を介して指の接触を検出しない場合、スルー画像の中央の位置をそのまま構図決定用の位置に設定する。 Further, CPU 18, if not even after the lapse of a predetermined time via the touch panel 17 detects the contact of a finger is set to the position for the intact composition determining the center position of the through image.

ステップS103:CPU18の顔検出部18bは、スルー画像の画像データに基づいて、スルー画像から顔の領域を検出する処理を行う。 Step S103: CPU 18 of the face detecting unit 18b, based on the image data of the through image, performs a process of detecting a face region from the through image. すなわち、顔検出部18bは、画像データから顔の領域の抽出を試みる。 That is, the face detection unit 18b attempts to extract the face region from the image data. なお、ステップS103の処理が繰り返される度に、スルー画像が顔検出部18bに順次読み出されて、顔の領域を検出する処理が行われることとなる。 Incidentally, every time the processing of step S103 is repeated, the through image is sequentially read the face detection unit 18b, so that the process of detecting the face area are performed.

ステップS104:顔検出部18bは、顔の領域を検出できた場合(ステップS104:Yes)、ステップS105に移行する。 Step S104: the face detecting unit 18b is, when it is detected that a face area (step S104: Yes), the process proceeds to step S105. 一方、顔の領域を検出できない場合(ステップS104:No)、ステップS103に戻る。 On the other hand, when it is not possible to detect the face region (Step S104: No), the flow returns to step S103. そして、顔検出部18bは、顔検出の対象となる次のスルー画像の画像データに基づいて、顔の領域を検出する処理を行う。 The face detecting unit 18b, based on the image data of the next through-image to be face detection, performs a process of detecting the face area.

図5は、顔の領域が検出された後、撮影が行われるまでの処理の概要を説明する図である。 5, after the region of the face is detected is a diagram for explaining the outline of processing up photographing is performed.

ステップS105:CPU18の検出枠表示制御部18cは、図5(a)に示す通り、顔検出部18bの検出結果に基づいて、人物Pの顔の領域を囲む検出枠Wをスルー画像に重畳表示させる。 Step S105: detection frame display control unit 18c of the CPU18, as shown in FIG. 5 (a), based on the detection result of the face detection unit 18b, superimpose detection frame W surrounding the area of ​​the face of the person P on the through image make. なお、ズーム操作等が行われた場合には、検出枠Wのサイズも顔の領域の拡大又は縮小に伴って、拡大又は縮小するものとする。 Incidentally, when the zoom operation or the like is performed, the size of the detection frame W is also in accordance with the enlargement or reduction of the area of ​​the face shall be enlarged or reduced.

ステップS106:CPU18は、全押し操作の指示入力の有無を検出する。 Step S106: CPU 18 detects the presence or absence of input of instructions fully pressed. 全押し操作の指示入力を受け付けた場合(ステップS106:Yes)、ステップS107に移行する。 When accepting an instruction input full press operation (step S106: Yes), the process proceeds to step S107. 一方、全押し操作の指示入力を受け付けない場合(ステップS106:No)、ステップS106の処理が繰り返される。 On the other hand, if not accept an instruction input of full press operation (step S106: No), the process of step S106 is repeated.

ステップS107:CPU18の位置判定部18dは、検出枠Wと目印Mとの位置関係を判定する。 Step S107: the position determination unit 18d of the CPU18 determines the positional relationship between the mark M and the detection frame W. ここでは、説明の便宜上、位置判定部18dは、表示画面上の座標系に対応付けて説明する。 Here, for convenience of explanation, the position determination unit 18d will be described in association with the coordinate system on the display screen.

CPU18は、RAM13に記録されている目印M(構図決定用の位置)の座標データと、検出枠Wの座標データを読み出し、検出枠W内の中心座標と目印Mの中心座標との距離を算出する。 CPU18 is calculated and coordinate data of the marker is recorded in the RAM 13 M (position for composition determination), reads the coordinate data of the detected frame is W, the distance between the center coordinates of the marker and center coordinates of the detection frame W M to. 位置判定部18dは、検出枠W内の中心座標と目印Mの中心座標の位置関係を判定する。 Position determining unit 18d determines the positional relationship between the center coordinates of the marker and center coordinates of the detection frame W M. 検出枠W内の中心座標と目印Mの中心座標との距離の値が予め設定した閾値に達した場合(ステップS107:Yes)、ステップS108に移行する。 If the value of the distance between the center coordinates of the marker and center coordinates of the detection frame W M has reached a predetermined threshold value (step S107: Yes), the process proceeds to step S108. 例えば、閾値の値が0に設定されると、位置判定部18dは、中心座標同士が一致(互いの距離の値が0になる)したか否かを判定する。 For example determines the value of the threshold value is set to 0, the position determination unit 18d, the center coordinate with each other match whether (the value of the distance from each other becomes 0). 図5(b)に、検出枠W内の中心座標と目印Mの中心座標が一致した場合の例を示す。 In FIG. 5 (b), it shows an example in which the center coordinates of the center coordinates a mark M in the detection frame W matches.

なお、図5(a)において、CPU18は、一例として、まず、検出枠Wの色を黄色の色で表示させる。 Incidentally, in FIG. 5 (a), CPU 18, as an example, first, the color of the detection frame W is displayed in the color yellow. CPU18は、検出枠W内の中心座標と目印Mの中心座標が一致した場合、図5(b)において、検出枠Wの色を緑色に表示させるようにしてもよい。 CPU18, when the center coordinates of the marker and center coordinates of the detection frame W M matches, in FIG. 5 (b), may be caused to display the color of the detection frame W to green. これにより、CPU18は、中心座標同士が一致したことを検出枠Wの色の変化で撮影者に報知する。 Thus, CPU 18 informs the photographer in color change of the detection frame W that center coordinates between matches.

一方、検出枠W内の中心座標と目印Mの中心座標との距離の値が予め設定した閾値に達しない場合(ステップS107:No)、ステップS107の処理が繰り返される。 On the other hand, when the value of the distance between the center coordinates of the marker and center coordinates of the detection frame W M does not reach the predetermined threshold value (step S107: No), the process of step S107 is repeated.

ステップS108:CPU18の顔認識部18eは、特徴量抽出処理によって、顔の輪郭の形状、目の形状、口の形状等、人物の表情の特徴が表れる形状を顔の領域から抽出する。 Step S108: CPU 18 of the face recognition unit 18e is the feature value extraction process to extract the shape of the contour of the face, eye shape, the shape of the mouth or the like, a shape feature appears in facial expression of a person from the face region.

ステップS109:CPU18の表情判定部18fは、特徴量に基づいて、口角の上がり具合、目の大きさ等から顔の表情を判定する。 Step S109: CPU 18 of the facial expression determination unit 18f determines, on the basis of the feature amount, corner of the mouth of up condition, the eyes of the size and the like facial expressions. 図5(c)に示す通り、判定結果が笑顔であった場合(ステップS109:Yes)、ステップS110に移行する。 As shown in FIG. 5 (c), if the judgment result is smiling (step S109: Yes), the process proceeds to step S110. 判定結果が笑顔でなかった場合(ステップS109:No)、ステップS107に戻る。 If the judgment result is not smiling (step S109: No), the flow returns to step S107.

ステップS110:CPU18の撮影制御部18gは、撮影タイミングであると決定し、AE、AF等の撮影準備処理の指示を出し、撮影条件の設定を行わせた後、撮像部11に静止画撮影の指示を出す。 Step S110: the imaging control unit 18g of the CPU18 determines that the photographing timing, AE, instructs photographing preparation processing of the AF, etc., after performing the setting of imaging conditions, a still image shooting imaging unit 11 It issues an instruction. 撮像部11が出力する画像データは、画像処理部12へ入力される。 Image data by the imaging unit 11 outputs is inputted to the image processing unit 12. 画像処理部12は、撮像部11が出力する画像データをRAM13に一旦記録させる。 The image processing unit 12 temporarily records the image data by the imaging unit 11 is output to the RAM 13. 画像処理部12は、画像データに対してホワイトバランス補正処理等の画像処理を行う。 The image processing unit 12 performs image processing such as white balance correction processing on the image data. CPU18は、画像処理後の画像データを圧縮処理して記録媒体21に保存する。 CPU18 compresses processed image data after the image processing is stored in the recording medium 21.

ステップS111:CPU18は、笑顔・構図モード終了の指示入力を操作部15を介して受け付けたか否かを判定する。 Step S 111: CPU 18 determines whether it has received through the operation unit 15 an instruction input smile-composition mode end. 笑顔・構図モード終了の指示入力を受け付けない場合(ステップS111:No)、ステップS101に戻る。 If you do not receive an instruction input of smile-composition mode ended (step S111: No), the flow returns to step S101. 笑顔・構図モード終了の指示入力を受け付けた場合(ステップS111:Yes)、この処理ルーチンは終了する。 When accepting an instruction input smile-composition mode ends (step S111: Yes), the processing routine is ended. なお、ステップS104、ステップS106、ステップS107及びステップS109の処理において、タイムアウトすると、CPU18は、笑顔・構図モードを解除する。 Incidentally, step S104, step S106, in the process of step S107 and step S109, when the timeout, CPU 18 releases the smile-composition mode.

以上より、第1実施形態の電子カメラ1によれば、検出枠W内の中心座標と目印Mの中心座標との距離の値が予め設定した閾値に達し、かつ、被写体が笑顔であると、撮影制御部18gは、撮像部11に静止画撮影を行わせる。 From the above, according to the electronic camera 1 of the first embodiment, the value of the distance between the center coordinates and the center coordinates of the marker M in the detection frame W reaches a threshold value set in advance, and, when the subject is smiling, imaging control unit 18g is to perform still image shooting imaging unit 11. したがって、電子カメラ1は、被写体が笑顔であって、好ましい構図であると判断されるとき(位置判定部18dの判定結果が、閾値に達した場合)に、撮影タイミングであると決定して撮影を行わせることができる。 Therefore, the electronic camera 1 is a subject smiles, when it is determined that the preferred composition (position judgment portion 18d of the determination result, if the threshold is reached), the determine that a photographing timing shooting it can be carried out.

なお、上述した説明では、撮影モードが、笑顔・構図モードである場合について、説明した。 It should be noted that, in the above description, the shooting mode is, for the case where a smile-composition mode, explained. 例えば、構図のみを優先して静止画撮影を行わせる撮影モード(構図優先モード)をさらに設けてもよい。 For example, only it may be provided further a photographing mode to perform still image shooting with priority (composition-priority mode) composition. この場合、ステップS108、ステップS109の処理は行われずに、撮影制御部18gは、撮像部11に静止画撮影を行わせる。 In this case, step S108, the processing in step S109 is not performed, the imaging control unit 18g is to perform still image shooting imaging unit 11. つまり、電子カメラ1は、表情判定をせず、好ましい構図であると判断されるときに、撮影タイミングであると決定して撮影を行わせることができる。 That is, the electronic camera 1, without expression determination, when it is determined that the preferred composition, it is possible to perform the decision for shooting with a shooting timing.

また、上述した説明では、特定の表情として、笑顔を選択したが、笑顔に限られず、笑顔以外の表情であってもよい。 Further, in the above description, as a specific facial expression, it has been selected to smile, not limited to smile, or may be a facial expression other than a smile. 撮影する構図によっては、笑顔以外の表情を選択した方が良い場合に有効となる。 By composition to be photographed is effective when it is better to select a facial expression other than smile.

また、本実施形態では、笑顔・構図モードが設定されている場合、図3に示すフローチャートとは独立に、スルー画像に撮影者の指が映っているか否かの検出を行ってもよい。 Further, in the present embodiment, if the smile-composition mode is set, independently of the flow chart shown in FIG. 3, it may be performed whether or not the detection photographer's finger through image is reflected.

図6は、指の映り込みを説明する図である。 FIG. 6 is a diagram to explain the glare of the finger. 図6(a)に示す通り、近年、薄型の筐体からなるコンパクト型の電子カメラにおいては、撮影者の電子カメラの持ち方によっては、撮影の際、指F等が入射窓24の一部を覆ってしまうことがある。 As shown in FIG. 6 (a), in recent years, in a compact electronic camera consisting of a thin housing, depending on how to hold the shooting of the electronic camera, when photographed, the finger F or the like is part of the incident window 24 may sometimes over the.

そこで、図1に示す報知部18hは、受光センサ22からの信号を検出して、検出した光量の信号レベルが、予め設定した光量の信号レベル以下であれば、指F等が入射窓24の一部を覆っている可能性があると判断し、一例として、図6(b)に示す通り、表示モニタ19に「画面内に指が映っている可能性があります!」等の警告表示を行わせる。 Therefore, the notification unit 18h shown in FIG. 1 detects a signal from the light receiving sensor 22, the signal level of the detected light quantity is equal to or less than the signal level of the light amount set in advance, the finger F or the like of the incident window 24 it is determined that there is a possibility that covers the part, as an example, as shown in FIG. 6 (b), "there is a possibility that the finger is reflected in the screen!" is displayed on the display monitor 19 a warning display such as to perform. この際、目印設定表示制御部18aも、目印Mの表示態様を変えても注意を喚起してもよい。 At this time, the mark setting display control unit 18a also be changed display form of mark M may be alerted.

こうすることで、撮影者は、撮影前であれば、指Fが入射窓24の一部を覆わないようにすることができる。 In this way, the photographer if it is before shooting, can be finger F so as not to cover a portion of the incident window 24. そして、好ましい構図で撮影が行える。 And, it can be carried out shooting in the preferred composition. なお、この警告は、撮影後であってもよい。 It should be noted that this warning may be an after shooting. 撮影後であれば、次回の撮影において、好ましい構図で撮影が行える。 As long as it is after the shooting, in the next shot, it can be performed shooting in the preferred composition.

次に、第1実施形態の第1の変形例について説明する。 Next, a description will be given of a first modification of the first embodiment.

従来より、撮影画面内の主要物をいわゆる黄金比にしたがって配置すると、撮影画面に安定感をもたらす構図となることが経験的に知られている。 Conventionally, when the key of the photographing screen is arranged according to a so-called golden ratio, to be a composition that provides a sense of stability to the shooting screen is known from experience. そこで、目印表示制御部18aが、目印Mを黄金比にしたがって配置するようにする。 Therefore, the mark display control unit 18a is, so that the mark M is arranged according to the golden ratio. すなわち、目印表示制御部18aは、表示モニタ19に表示されるスルー画像(表示画面のサイズに相当)の縦横を黄金比で各々分割して得られる黄金分割線の交点のうち、選択した交点上に目印Mを配置する。 That is, the mark display control unit 18a of the intersection of the golden section line obtained an aspect of the through image displayed on the display monitor 19 (corresponding to the size of the display screen) and each divided in the golden ratio, the intersections selected to place the mark M to. 以下、図7を参照しつつ、第1の変形例について具体的に説明する。 Hereinafter, with reference to FIG. 7, specifically described for the first modification.

図7は、第1の変形例を説明する図である。 Figure 7 is a diagram for explaining a first modification. 図7(a)において、スルー画像の横の寸法(表示画面の横の寸法に相当)が、a(1):b(1.618)の黄金比(ここでは、近似値として、1.618の値を採用する)で分割されている。 In FIG. 7 (a), the transverse dimensions of the through image (corresponding to the transverse dimension of the display screen), a (1): golden ratio b (1.618) (here, as an approximation, 1.618 is divided by the value adopting). また、スルー画像の縦の寸法(表示画面の縦の寸法に相当)が、c(1):d(1.618)の黄金比で分割されている。 The vertical dimension of the through-image (corresponding to the longitudinal dimension of the display screen), c (1): are divided in the golden ratio d (1.618). スルー画像中に示す点線Gが、黄金分割線である。 Dotted lines G shown in the through image, a golden division line. ここで、目印表示制御部18aは、黄金分割線の交点上に目印Mを配置する。 Here, the mark display control unit 18a arranges the landmark M on the intersection of the golden section line.

なお、図7(b)に示す通り、スルー画像の縦横を黄金比で各々分割する場合、スルー画像の横の寸法をa(1.618):b(1)や、スルー画像の縦の寸法をc(1.618):d(1)で黄金分割してもよい。 Incidentally, as shown in FIG. 7 (b), the case of each dividing an aspect of the through image at the golden ratio, the transverse dimension of the through-image a (1.618): b (1) and the vertical dimension of the through-image the c (1.618): may be the golden section with d (1). そのため、黄金分割線の交点は、図7(b)に示す通り、4点(A、B、C、D)生成することになる。 Therefore, the intersection of the golden section line, as shown in FIG. 7 (b), comprising four points (A, B, C, D) to be generated. この場合、目印表示制御部18aは、A点又はC点に目印Mを配置させるのが好ましい。 In this case, the mark display control unit 18a is preferably to place the mark M to the point A or the point C. そのため、一例として、目印表示制御部18aは、A点に目印Mをまず配置させる。 Therefore, as an example, the mark display control unit 18a causes the first place the marker M to the point A. この状態で、十字キー15eの操作を受け付けることにより、C点に目印Mを配置させてもよい。 In this state, by accepting an operation of the cross key 15e, it may be arranged to mark M to point C.

図7(c)は、目印Mと検出枠Wとの位置関係を示している。 FIG. 7 (c) shows the positional relationship between the mark M and the detection frame W. この場合、撮影制御部18gは、位置判定部18dの判定結果が、予め定められた位置関係になった場合、表情判定部18fの判定結果が笑顔であれば、撮像部11内に静止画撮影を行わせる。 In this case, the imaging control unit 18g, the determination result of the position determination unit 18d is, when it becomes a predetermined positional relationship, if the determination result is smile facial expression determination unit 18f, the still image shooting in the image pickup unit 11 the causes. 図7(c)は、予め定められた位置関係として、検出枠W内の中心座標と目印Mの中心座標が一致した場合を例示している。 FIG. 7 (c), as the position relation predetermined illustrates the case where the center coordinates of the marker and center coordinates of the detection frame W M matches. こうすることで、被写体が笑顔であって、撮影画面に安定感をもたらす構図が得られやすくなる。 In this way, a subject is smiling, composition which results in a stable sense of the shooting screen can be easily obtained.

次に、第1実施形態の第2の変形例について説明する。 Next, a description will be given of a second modification of the first embodiment.

第2の変形例では、撮影者が、電子カメラを横位置から縦位置に構えた場合、目印表示制御部18aは、電子カメラ1の縦位置を考慮して、目印Mを黄金比にしたがって配置させる。 In a second variant, arranged photographer, when held vertically position the electronic camera from the side position, the mark display control unit 18a, considering the vertical position of the electronic camera 1, the mark M in accordance with the golden ratio make. ここでは、図1に示す姿勢検出センサ23が、電子カメラ1の光軸周りの回転位置(姿勢)を検出する。 Here, the attitude detection sensor 23 shown in FIG. 1, detects the rotational position about the optical axis of the electronic camera 1 (posture).

図8は、第2の変形例を説明する図である。 Figure 8 is a diagram for explaining a second modification. 電子カメラ1が横位置(図2(b))の状態から縦位置(図8(a))の状態に構えられた場合、姿勢検出センサ23は、時計回りに90度回転されたことを検出する。 When the electronic camera 1 were poised from the state of the horizontal position (FIG. 2 (b)) to the state of the vertical position (FIG. 8 (a)), the posture detecting sensor 23, detects that it is rotated 90 degrees clockwise to. なお、電子カメラ1が横位置の状態から縦位置の状態に構えられた場合、図8(a)に示すように、地面に対して十字キー15eが表示モニタ19の下側にあるような位置関係になるとき、ここでは、時計回りと定義する。 In the case where the electronic camera 1 were poised from the state of the lateral position of the state of the vertical position, as shown in FIG. 8 (a), the position, such as the cross key 15e is on the lower side of the display monitor 19 to the ground when a relationship, which is herein defined as the clockwise direction. その逆を、反時計回りと定義する。 Vice versa, it is defined as counterclockwise.

この場合、目印表示制御部18aは、図7(b)に対応付けると、A点又はB点に目印Mを配置させるのが好ましい。 In this case, the mark display control unit 18a, when maps in FIG. 7 (b), preferable to place the mark M to the point A or point B. そのため、一例として、目印表示制御部18aは、A点に目印Mをまず配置させる。 Therefore, as an example, the mark display control unit 18a causes the first place the marker M to the point A.

一方、電子カメラ1が横位置(図2(b))の状態から縦位置(図8(b))の状態に構えられた場合、姿勢検出センサ23は、反時計回りに90度回転されたことを検出する。 On the other hand, when the electronic camera 1 were poised from the state of the horizontal position (FIG. 2 (b)) to the state of the vertical position (FIG. 8 (b)), the posture detecting sensor 23 has been rotated 90 degrees counter-clockwise it detected. この場合、目印表示制御部18aは、図7(b)に対応付けると、C点又はD点に目印Mを配置させるのが好ましい。 In this case, the mark display control unit 18a, when maps in FIG. 7 (b), preferable to place the mark M to the point C or point D. そのため、一例として、目印表示制御部18aは、最初A点に目印Mを配置させていた場合、D点に目印Mを配置させる。 Therefore, as an example, the mark display control unit 18a, when not allowed to place a mark M on the first point A, to arrange the marker M to the point D. こうすることで、縦位置撮影であっても、被写体が笑顔であって、撮影画面に安定感をもたらす構図が得られやすくなる。 By doing so, even vertical shooting, a subject is smiling, the composition results in a stable sense of the shooting screen can be easily obtained.
(第2実施形態) (Second Embodiment)
次に、本発明の第2実施形態について説明する。 Next, a description of a second embodiment of the present invention. 第2実施形態では、電子カメラ1が、動きのある複数の被写体を検出し、それらの被写体の中から選択された注目する被写体を追尾する。 In the second embodiment, the electronic camera 1 detects a plurality of moving subjects, tracking their subject of interest is selected from the subject. そして、電子カメラ1の顔検出部18bが、注目する被写体の顔の領域を検出し、第1実施形態と同様、被写体が笑顔であると、撮影制御部18gは、撮像部11内に静止画撮影を行わせる。 Then, the face detecting section 18b is the electronic camera 1 detects the face area of ​​the subject of interest, as in the first embodiment, when the subject is smiling, the imaging control unit 18g is a still image in the imaging unit 11 to perform the shooting. なお、本発明の第1実施形態と本発明の第2実施形態とでは、同じ要素については同じ符号を付して説明を省略する。 In a second embodiment of the first embodiment and the present invention of the present invention, the same elements will be omitted with denoted by the same reference numerals. 以下、電子カメラ1の構成で異なる点について、まず説明をする。 Hereinafter, different points in the electronic camera 1 configuration, first it is described.

図9は、第2実施形態の電子カメラ1の構成を示すブロック図である。 Figure 9 is a block diagram showing a configuration of an electronic camera 1 of the second embodiment. 図9では、CPU18は、動き検出部18i、被写体選択部18j、追尾部18kをさらに備える。 In Figure 9, CPU 18 further comprises a motion detection unit 18i, the object selection unit 18j, the tracking unit 18k.

動き検出部18iは、スルー画像の画像データの時間的変化に基づいて被写体の動きを検出する。 Motion detector 18i detects the motion of the subject based on the temporal change of the image data of the through image. すなわち、動き検出部18iは、所定のフレームレートで撮像部11から出力されるスルー画像のフレームを用いて被写体の動きを検出する。 That is, the motion detector 18i detects a motion of an object by using a frame of the through image output from the imaging unit 11 at a predetermined frame rate. 動き検出部18iは、公知のフレーム間差分により、順次、動きベクトルを算出していく。 Motion detecting unit 18i is the difference between the known frames, successively, it will calculate a motion vector. これにより、動き検出部18iは、被写体の動きを検出することができる。 Thus, the motion detection unit 18i can detect the motion of the subject. なお、動き検出部18iは、動き検出用の専用の回路等を用いて、被写体の動きを検出してもよい。 Incidentally, the motion detection unit 18i uses the circuit or the like dedicated for motion detection may detect the motion of the subject.

被写体選択部18jは、動き検出部18iで動きが検出された複数の被写体のうち、撮影者からの指示入力を受け付けて注目する被写体を選択する。 Subject selection unit 18j, from among the plurality of subjects motion is detected by the motion detection unit 18i, it selects the object of interest by accepting an instruction input from the photographer.

追尾部18kは、動き検出部18iの検出結果に基づいて、注目する被写体を追尾する。 Tracking unit 18k is tracking a subject based on the detection result of the motion detection unit 18i, attention. すなわち、追尾部18kは、被写体選択部18jで選択された被写体を、動き検出部18iの検出結果から現在の被写体の座標を取得することにより追尾する。 That is, the tracking unit 18k is tracked by the object selected by the object selection portion 18j, acquires the coordinates of the current object from the detection result of the motion detection section 18i.

次に、第2実施形態の電子カメラ1の撮影動作を説明する。 Next, the photographing operation electronic camera 1 of the second embodiment.

図10は、第2実施形態の電子カメラ1の撮影動作を表すフローチャートである。 Figure 10 is a flowchart showing the photographing operation electronic camera 1 of the second embodiment. 図11、図12は、第2実施形態の電子カメラ1における撮影動作の一例を説明する図である。 11, FIG. 12 is a view for explaining an example of photographing operations in the electronic camera 1 of the second embodiment. ここでは、遊園地にてメリーゴーランド100の馬に乗っている被写体を撮影する場面を想定している。 In this case, it is assumed the scene to shoot the subject you are riding in the amusement park on the horse of the merry-go-round 100. ここで、電子カメラ1の電源がオンされた後、被写体の追尾機能を追加した笑顔・構図モード開始の指示入力を操作部15を介して受け付けると、CPU18は、図10に示すフローチャートの処理を開始する。 Here, after the power of the electronic camera 1 is turned on, accepts an instruction input of the added smile-composition mode initiate tracking function of the object through the operation unit 15, CPU 18 performs the process of the flowchart shown in FIG. 10 Start.

ステップS201:CPU18は、スルー画像の取得を開始する。 Step S201: CPU 18 starts the acquisition of the through image. 目印表示制御部18aは、図11(a)に示すように、目印として、ライン状の目印Lをスルー画像に重畳表示させる。 Mark display control unit 18a, as shown in FIG. 11 (a), as a mark, is superimposed on the linear mark L on the through image. このライン状の目印Lは、タッチパネル17を介して、左右に移動させることもできる。 Mark L of the line-shaped through the touch panel 17 may be moved to the left and right.

ステップS202:CPU18の動き検出部18iは、スルー画像の取得を受けて、被写体の動きの検出を開始する。 Step S202: CPU 18 of the motion detection unit 18i receives the acquisition of the through image, it starts detecting the movement of the subject. 図11(b)に示すように、動き検出部18iは、被写体の動きを検出すると、CPU18は、追尾対象のマークをスルー画像に重畳表示させる。 As shown in FIG. 11 (b), the motion detection unit 18i, upon detecting a motion of the subject, CPU 18 causes the superimpose mark tracking target on the through image. 説明をわかりやすくするため、この例では、馬H1、H2、H3に対してそれぞれ追尾対象を表すマークT1、T2、T3が重畳表示される。 For clarity, in this example, mark T1, T2, T3 representing each tracking target horses H1, H2, H3 are superimposed. また、この例では、馬H1に被写体Pが乗っている。 In this example, the object P is on horseback H1. なお、ステップS202では、CPU18は、順次取得されたスルー画像に対して、追尾対象のマークをスルー画像に重畳表示させる。 In step S202, CPU 18, to the through image that is sequentially acquired, to superimpose mark tracking target on the through image.

ステップS203:CPU18は、撮影者が十字キー15eを操作することにより、笑顔・構図モード終了の指示入力を受け付けると(ステップS203:Yes)、図10に示すフローチャートの処理ルーチンは終了する。 Step S203: CPU 18, by the photographer operates the cross key 15e, when receiving an instruction input smile-composition mode end (step S203: Yes), the processing routine of the flow chart shown in FIG. 10 ends. 一方、CPU18は、笑顔・構図モード終了を受け付けないと(ステップS203:No)、ステップS204に移行する。 Meanwhile, CPU 18 is not accepted smile-composition mode ends (step S203: No), the process proceeds to step S204.

ステップS204:CPU18は、追尾対象の候補となる被写体が複数か否かを判定する。 Step S204: CPU 18 is subject to be the candidates of the tracking target determines plural or not. 追尾対象の被写体が複数の場合(ステップS204:Yes)、ステップS205に移行する。 If the tracking target object has a plurality of (step S204: Yes), the process proceeds to step S205. 追尾対象の被写体が単数の場合(ステップS204:No)、そのまま追尾対象の被写体となり、ステップS206に移行する。 If the tracking target object is singular (step S204: No), it becomes a tracking target object, the process proceeds to step S206. すなわち、被写体Pが、注目する被写体(顔検出の対象となる被写体)として追尾対象に選択される。 That is, the object P is selected in the tracking target as a subject of interest (object to be face detection).

ステップS205:CPU18の被写体選択部18jは、一例として、撮影者に対して追尾対象の被写体の選択を促す。 Step S205: the object selecting portion 18j of the CPU18, as an example, prompting the user to select the tracking target object with respect to the photographer. 続いて、CPU18は、タッチパネル17を介して指の接触位置の座標を検出する。 Then, CPU 18 detects the coordinates of the contact position of the finger through the touch panel 17. 例えば、スルー画像に重畳表示されているマークT1の部分の座標を検出すると、マークT1の被写体が、注目する被写体(顔検出の対象となる被写体)として追尾対象に選択される。 For example, when detecting the coordinates of the portion of the mark T1 being superimposed on the through image, the subject of the mark T1 is selected to tracking target as a subject of interest (object to be face detection). すると、CPU18は、マークT2、T3の重畳表示をやめさせる。 Then, CPU18 is, put a stop the superimposed display of the mark T2, T3. これにより、マークT2、T3の重畳表示は消える(図12(a))。 Thereby, the mark T2, superimposed display of T3 disappears (FIG. 12 (a)).

ステップS206:CPU18は、笑顔・構図モード設定時における全押し操作の指示入力の有無を判定する。 Step S206: CPU18 determines the presence or absence of the instruction input of the full-press operation in the smile-composition mode is set. 所定時間内に全押し操作の指示入力を受け付けない場合(ステップS206:No)、ステップS202の動き検出処理に戻り、再度、ステップS202の処理から開始される。 If that does not accept an instruction input of full depression within a predetermined time (Step S206: No), returns to the motion detection processing in step S202, it starts again from the process of step S202. この場合、既に、被写体の選択はなされているので、CPU18は、被写体選択の処理等(ステップS204、ステップS205)については行わず、再度ステップS206の処理が繰り返されることとする。 In this case, already since the selection of the subject have been made, CPU 18 is processing of the object selection (step S204, step S205) without performing for, and the processing is repeated in step S206 again.

一方、CPU18が、全押し操作の指示入力を受け付けた場合(ステップS206:Yes)、ステップS207に移行する。 Meanwhile, CPU 18 is, when accepting an instruction input full press operation (step S206: Yes), the process proceeds to step S207.

ステップS207:CPU18の顔検出部18bは、スルー画像の画像データに基づいて、スルー画像から顔の領域を継続的に検出する処理を行う。 Step S207: CPU 18 of the face detecting unit 18b, based on the image data of the through image is performed continuously detected to process the region of the face from the through image. このとき、CPU18の顔認識部18eは、特徴量抽出処理によって、人物の表情の特徴が表れる形状を顔の領域から抽出する。 At this time, the face recognition unit 18e of the CPU18 is the feature value extraction process to extract the shape which appears characteristic expression of a person from the face region. CPU18の検出枠表示制御部18cは、顔検出部18bの検出結果に基づいて、顔の領域を囲む検出枠Wをスルー画像に重畳表示させる(図12(a))。 Detection frame display control unit 18c of the CPU18 on the basis of the detection result of the face detection unit 18b, thereby superimpose detection frame W surrounding the area of ​​the face in the through image (FIG. 12 (a)). さらに、CPU18の追尾部18kは、スルー画像に含まれる被写体Pを、動き検出部18iの検出結果に基づいて追尾する。 Moreover, tracking unit 18k of the CPU18 is the subject P contained in the through image and tracking based on the detection result of the motion detection section 18i.

ステップS208:CPU18の位置判定部18dは、検出枠Wと目印Lとの位置関係を判定する。 Step S208: the position determination unit 18d of the CPU18 determines the positional relationship between the mark L and the detection frame W. この例では、簡単のため、位置判定部18dは、検出枠W内の中心座標と、その中心座標から仮想的に水平なラインを引いた場合、目印Lと交わる点までの距離の値を判定する。 In this example, for simplicity, the position determination unit 18d includes determining the center coordinates of the detection frame W, if minus the imaginary horizontal line from the center coordinates, the value of the distance to the point of intersection with the mark L to. すなわち、位置判定部18dは、目印Lと交わる点までの距離の値が予め定められた閾値に達したか否かを判定する。 That is, the position determination unit 18d determines whether the reached threshold value of the distance to the point intersecting the mark L is predetermined. ここでは、一例として、閾値の値を0に設定する。 Here, as an example, the threshold value is set to 0. すると、閾値に達するか否かの判定は、検出枠W内の中心座標が目印Lのライン線に達したか否かの判定となる。 Then, the determination of whether it reaches a threshold, the center coordinates of the detection frame W is judged whether or not reached in the line line of landmarks L. なお、検出枠の中心座標でなく、図12(b)に示す検出枠Wの右端がラインLに達したか否かを判定条件としてもよい。 Instead the center coordinates of the detection frame, whether the right end of the detection frame W shown in FIG. 12 (b) has reached the line L may be used as the determination condition.

したがって、位置判定部18dは、検出枠W内の中心座標が目印Lのライン線に達した場合(ステップS208:Yes)、ステップS209に移行する。 Accordingly, the position determination unit 18d, when the center coordinates of the detection frame W has reached the line line mark L (step S208: Yes), the process proceeds to step S209. 一方、検出枠W内の中心座標が目印Lのライン線に達していない場合(ステップS208:No)、ステップS202に戻る。 On the other hand, if the center coordinates of the detection frame W has not reached the line line mark L (step S208: No), the flow returns to step S202.

ステップS209:CPU18の表情判定部18fは、特徴量に基づいて、顔の表情が笑顔であるか否かを判定する。 Step S209: CPU 18 of the facial expression determination unit 18f, based on the feature amount, and determines whether the facial expression is a smile. 図12(b)に示す通り、判定結果が笑顔であった場合(ステップS209:Yes)、ステップS210に移行する。 As shown in FIG. 12 (b), if the judgment result is smiling (step S209: Yes), the process proceeds to step S210. 判定結果が笑顔でなかった場合(ステップS209:No)、ステップS202に戻る。 If the judgment result is not smiling (step S209: No), the flow returns to step S202.

ステップS210:CPU18の撮影制御部18gは、第1実施形態と同様にして、撮像部11に静止画撮影を行わせる。 Step S210: the imaging control unit 18g of the CPU18, as in the first embodiment, to perform still image shooting imaging unit 11. そして、CPU18は、画像処理後の画像データを圧縮処理して記録媒体21に保存する。 Then, CPU 18 compresses processed image data after the image processing is stored in the recording medium 21. そして、この処理ルーチンは、再び、ステップS202に戻る。 Then, the processing routine is again returned to step S202. さらに、ステップS203にて、笑顔・構図モードの終了を受け付けると(ステップS203:Yes)、図10に示すフローチャートの処理ルーチンは終了する。 Further, at step S203, when receiving the end of the smile-composition mode (step S203: Yes), the processing routine of the flow chart shown in FIG. 10 ends.

以上より、第2実施形態の電子カメラ1によれば、複数の被写体がモニタリングされた場合、注目する被写体が予め定められた所定位置(目印L1)に到達したときに、被写体の顔が笑顔であれば、撮影制御部18gは、撮像部11に静止画撮影を行わせる。 From the above, according to the electronic camera 1 of the second embodiment, when a plurality of subjects are monitored, when a subject of interest has reached a predetermined position a predetermined (mark L1), the face of the subject is smiling if, the imaging control unit 18g is to perform still image shooting imaging unit 11. したがって、第2実施形態の電子カメラ1は、複数の動く被写体のうち、選択した被写体の顔が特定の表情であって、好ましい構図であると判断されるときに、撮影タイミングであると決定して撮影を行わせることができる。 Therefore, the electronic camera 1 of the second embodiment, among the subjects plurality of moving, in the face of the selected object a specific expression, when it is determined that the preferred composition was determined to be a photographing timing it is possible to carry out the shooting Te.
<実施形態の補足事項> <Embodiment of the Supplement>
(1)上述した第1実施形態では、人物が1人である場合を例示したが、複数の顔が検出された場合には、第2実施形態と同様、撮影者による入力により、複数の人物のうち、1人を選択させるようにしてもよい。 (1) In the first embodiment described above, a case has been exemplified person who is one, if a plurality of faces are detected, as in the second embodiment, the input by the photographer, a plurality of persons of the, you may be allowed to select one.

(2)上述した第1実施形態及び第2実施形態では、被写体が笑顔である場合であって、検出枠と目印Mとの位置関係に応じて、撮影制御部18gが撮像部11に静止画撮影を行わせた。 (2) In the first embodiment and the second embodiment described above, in the case the subject is smiling, according to the positional relationship between the mark M and the detection frame, the imaging control unit 18g is a still image on the imaging unit 11 It was carried out the shooting. 例えば、被写体の特定のポーズ(ジェスチャー)を表す形状を抽出する公知技術を利用して、特定のポーズであるときに、撮影制御部18gが撮像部11に静止画撮影を行わせるようにしてもよい。 For example, using a known technique for extracting a shape representing the particular pose subject (gesture), when a certain pause, the imaging control unit 18g is also possible to carry out the still image shooting imaging unit 11 good. 或いは、特定の表情と特定のポーズを組み合わせてもよい。 Alternatively, it may be a combination of the particular pose a particular facial expression.

11・・・撮像部、18a・・・目印表示制御部、18b・・・顔検出部、18c・・・検出枠表示制御部、18e・・・顔認識部、18f・・・表情判定部、18g・・・撮影制御部、18i・・・動き検出部、18j・・・被写体選択部 11 ... imaging unit, 18a ... mark display control unit, 18b ... face detecting section, 18c ... detection frame display control unit, 18e ... face recognition unit, 18f ... expression determination unit, 18 g · · · photographing control unit, 18i · · · motion detector, 18j · · · object selector

特開2007−336124号公報 JP 2007-336124 JP

Claims (4)

  1. 被写体を撮像して画像データを生成する撮像部と、 An imaging unit that generates image data by imaging a subject,
    前記画像データに基づく画像を表示する表示部と、 A display unit for displaying an image based on the image data,
    構図確認用に取得される動画像であるスルー画像に対して、静止画撮影の構図を決定するための第1目印を前記スルー画像の特定位置に重畳表示させる第1目印表示制御部と、 The through image is a moving image obtained for composition confirmation, the first mark display control unit that superimposes display the first marker to determine the composition of the still image shooting at a specific position of the through image,
    前記第1目印を前記特定位置から任意の位置に移動させる先の位置の情報を入力する操作部と、 An operation unit for inputting information of a position to which the moving the first mark at an arbitrary position from the specific position,
    前記スルー画像から顔の領域を検出する顔検出部と、 A face detection unit that detects a face area from the through image,
    前記顔検出部の検出結果に基づいて、前記スルー画像に対して前記顔の領域を示す第2目印を重畳表示させる第2目印表示制御部と、 Based on the detection result of the face detection unit, a second mark display control unit that superimposes display a second mark indicating a region of the face with respect to the through-image,
    前記顔の特徴量を抽出する顔認識部と、 A face recognition unit for extracting a feature value of the face,
    前記特徴量に基づいて、前記顔の表情を判定する表情判定部と、 Based on the feature amount, and determines the facial expression determination unit an expression of the face,
    前記第1目印が表示される前記任意の位置と前記第2目印が表示される位置との距離が予め設定した閾値に達しているかを判定する位置判定部と、 And wherein the position determining unit determines whether said any position where the first mark is displayed second mark has reached the threshold distance is preset between the position to be displayed,
    前記距離が前記閾値に達していることを前記位置判定部が判定し、かつ、前記第2目印に対応する前記顔の表情が特定の表情である場合に 、前記撮像部に前記静止画撮影を行わせる撮影制御部と、 It determines that the position determination unit that the distance has reached the threshold value, and when the facial expression of the face corresponding to the second mark is a specific expression, the still image shooting on the imaging unit and the imaging control unit to perform,
    を備えることを特徴する電子カメラ。 Electronic camera comprising: a.
  2. 請求項1に記載の電子カメラにおいて、 An electronic camera according to claim 1,
    通常の撮影モードと第1モードとを選択する撮影モード選択用の操作部と、 An operation section for shooting mode selection for selecting a normal shooting mode and the first mode,
    前記通常の撮影モード時に、半押し操作に応じて自動露出と自動焦点合わせとを指示するための信号を出力し、前記半押し操作に続いて操作される全押し操作に応じて前記静止画撮影の動作を開始させるための信号を出力するレリーズ釦と、を備え、 Wherein the normal photographing mode, and outputs a signal for instructing the automatic exposure and automatic focus depending on the half-press operation, wherein the still image shooting according to the full press operation is subsequently operated to a half-press operation and a release button for outputting a signal for starting the operation,
    前記撮影制御部は、前記第1モードが選択されている場合、前記レリーズ釦の全押し操作を行った後に、前記距離が前記閾値に達していることを前記位置判定部が判定し、かつ、前記顔画像が特定の表情である場合に、前記静止画撮影を自動的に実行する The photographing control section, when the first mode is selected, after the full-press operation of the release button, it determines that the position determination unit that the distance has reached the threshold value, and, If the face image is a specific expression, automatically performs the still image shooting
    ことを特徴とする電子カメラ。 Electronic camera, characterized in that.
  3. 請求項1 又は2に記載の電子カメラにおいて、 An electronic camera according to claim 1 or 2,
    前記撮像部が順次生成する複数の画像データに基づいて、被写体の動きを検出する動き検出部と、 Based on the plurality of image data to which the imaging unit for sequentially generating a motion detector for detecting motion of an object,
    前記動き検出部で動きが検出された複数の被写体のうち、注目する被写体を選択する被写体選択部と、 Among a plurality of subjects movement is detected by the motion detecting unit, and the object selection unit for selecting a subject of interest,
    前記注目する被写体を追尾する追尾部と、を備え、 And a tracking unit for tracking a subject to be the target,
    前記第2目印表示制御部は、前記注目する被写体の顔の領域を示す第2目印を前記スルー画像に重畳表示させる The second mark display control unit superimposes display a second mark indicating a region of the face of the subject that the focus on the through image
    ことを特徴とする電子カメラ。 Electronic camera, characterized in that.
  4. 請求項1 から4のいずれか1項に記載の電子カメラにおいて、 An electronic camera according to claim 1, any one of 4,
    撮影者の指が映っているかを検出する検出手段と、 And detection means for detecting whether the finger of the photographer is reflected,
    前記検出手段が撮影者の指の映りを検出することに応答して、前記静止画撮影を行う前又は後で、外部に警告を表示する警告手段と、を備える Responsive to said detecting means detects the reflection of the photographer's finger, the front a still image shooting or later, comprises a warning means for displaying a warning to the outside, the
    ことを特徴とする電子カメラ。 Electronic camera, characterized in that.
JP2009019962A 2009-01-30 2009-01-30 Electronic camera Active JP5434104B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009019962A JP5434104B2 (en) 2009-01-30 2009-01-30 Electronic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009019962A JP5434104B2 (en) 2009-01-30 2009-01-30 Electronic camera

Publications (2)

Publication Number Publication Date
JP2010178158A JP2010178158A (en) 2010-08-12
JP5434104B2 true JP5434104B2 (en) 2014-03-05

Family

ID=42708644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009019962A Active JP5434104B2 (en) 2009-01-30 2009-01-30 Electronic camera

Country Status (1)

Country Link
JP (1) JP5434104B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306801A (en) * 2014-06-09 2016-02-03 中兴通讯股份有限公司 Shooting method and device and terminal
JP6534960B2 (en) * 2016-04-26 2019-06-26 日本電信電話株式会社 Photography support apparatus and photography support method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4135100B2 (en) * 2004-03-22 2008-08-20 富士フイルム株式会社 Imaging apparatus
JP4315148B2 (en) * 2005-11-25 2009-08-19 株式会社ニコン Electronic camera
JP4427515B2 (en) * 2006-01-27 2010-03-10 富士フイルム株式会社 Target image detecting display control apparatus and control method thereof
JP2008219451A (en) * 2007-03-05 2008-09-18 Fujifilm Corp Imaging device and control method thereof
US7664389B2 (en) * 2007-05-21 2010-02-16 Sony Ericsson Mobile Communications Ab System and method of photography using desirable feature recognition
JP2010141609A (en) * 2008-12-11 2010-06-24 Fujifilm Corp Imaging apparatus

Also Published As

Publication number Publication date
JP2010178158A (en) 2010-08-12

Similar Documents

Publication Publication Date Title
JP4930302B2 (en) Imaging device, its control method and program
JP4274233B2 (en) Capturing apparatus, an image processing apparatus, and a program for executing the image processing method and the method in these computers
JP4315148B2 (en) Electronic camera
CN102231801B (en) An electronic camera and an image processing apparatus
KR100847614B1 (en) Imaging apparatus and computer readable recording medium
JP4553346B2 (en) Focusing device and focusing method
KR101594295B1 (en) Recording apparatus and method for photographing
CN101378458B (en) Using a face recognition function digital photographing apparatus and method
US8659681B2 (en) Method and apparatus for controlling zoom using touch screen
RU2527482C2 (en) Image capturing device and control method thereof
JP5725793B2 (en) Imaging apparatus and control method thereof
JP2012199675A (en) Image processing apparatus, image processing method, and program
CN101521747B (en) Imaging apparatus provided with panning mode for taking panned image
JP2005318554A (en) Imaging device, control method thereof, program, and storage medium
KR20190039488A (en) Image capturing apparatus and method
JP2005348181A (en) Photography system, its control method and program for control
KR20090039631A (en) Composition determining apparatus, composition determining method, and program
KR101347644B1 (en) Image processing apparatus and control method thereof
CN101237529B (en) Imaging apparatus and imaging method
JP4912117B2 (en) Tracking function imaging apparatus
CN102761706B (en) An imaging apparatus and an imaging method
JP6214236B2 (en) The image processing apparatus, an imaging apparatus, an image processing method, and program
US8040419B2 (en) Image reproducing device capable of zooming in a region of an image, image reproducing method and recording medium for the same
JP4483930B2 (en) Imaging device, its control method and program
EP2120210A2 (en) Composition determination device, composition determination method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250