JP5355124B2 - Imaging apparatus and scene discrimination method thereof - Google Patents
Imaging apparatus and scene discrimination method thereof Download PDFInfo
- Publication number
- JP5355124B2 JP5355124B2 JP2009027308A JP2009027308A JP5355124B2 JP 5355124 B2 JP5355124 B2 JP 5355124B2 JP 2009027308 A JP2009027308 A JP 2009027308A JP 2009027308 A JP2009027308 A JP 2009027308A JP 5355124 B2 JP5355124 B2 JP 5355124B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- information
- subject
- determined
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像からシーンを判別する撮像装置及びそのシーン判別方法に関する。 The present invention relates to an imaging apparatus that discriminates a scene from an image and a scene discrimination method thereof.
近年、手動でカメラの撮影設定を行わなくても、自動で撮影シーンを判別することが可能なシーン判別機能を有する撮像装置が普及してきている。シーン判別機能とは、画面内の輝度情報や色情報によって、撮影するシーンが「夜景」、「夕景」、「逆光」など複数のシーンのうち、どのシーンであるかを判別するものである。 2. Description of the Related Art In recent years, imaging apparatuses having a scene discrimination function that can automatically discriminate a shooting scene without manually performing camera shooting settings have become widespread. The scene discriminating function discriminates a scene to be photographed from a plurality of scenes such as “night view”, “evening view”, “backlight”, etc. based on luminance information and color information in the screen.
従来、この判別方法として、特定のシーンに対応する輝度情報や色情報の画像内における配置の傾向を考慮し、かつそれらの位置や面積割合の変動も考慮してシーン判別を行う方法が知られている(特許文献1参照)。 Conventionally, as this discriminating method, there is known a method for discriminating scenes in consideration of the tendency of arrangement of luminance information and color information corresponding to a specific scene in an image, and taking into account their position and area ratio variation. (See Patent Document 1).
例えば、「夜景」と判別されると、撮影対象は、輝度が小さく、かつ、遠くに存在する静止物であると推定されることから、カメラは、フラッシュをたかずに、長秒露光で撮影し、かつ、ノイズを目立たなくするために撮影感度が低くなるように、設定される。つまり、「夜景」と判別されると、「夜景」と判別されなかった場合に比較して、仮に被写体の輝度が等しくとも、露光時間が長く、かつ、撮影感度が低く設定される。 For example, if it is determined that it is a “night scene”, the subject is estimated to be a stationary object with low brightness and a distant object, so the camera takes a long second exposure without flashing. In order to make the noise inconspicuous, the photographing sensitivity is set to be low. That is, when it is determined as “night scene”, the exposure time is set longer and the photographing sensitivity is set lower than when it is not determined as “night scene” even though the luminance of the subject is equal.
また、「夕景」と判別されると、撮影対象は、赤味が強く、かつ、遠くに存在することから、カメラは、フラッシュをたかずに撮影し、かつ、赤味が強調されるように画像処理を施すように、設定される。 Also, if it is determined that the scene is “Evening”, the subject to be photographed is strongly reddish and exists far away, so that the camera shoots without flashing and the redness is emphasized. It is set to perform image processing.
また、「逆光」と判別されると、カメラは、中央の暗部領域の重み付けを大きくして露出制御値を設定し、フラッシュをたいて撮影を行うように、設定される。 On the other hand, if it is determined as “backlight”, the camera is set to set the exposure control value by increasing the weight of the dark area in the center, and to take a picture with a flash.
このシーンの判別結果に沿ったカメラの設定は、静止画を記録メディアに記録する本撮影に限られるものではなく、その前の段階であるライブビューモードの段階でも適用される。ライブビューモードとは、被写体をリアルタイムで撮像した動画像をモニタに表示するモードである。ライブビューモードでは、シーン判別を定期的に繰り返し行い、シーン判別の結果が変更される度、カメラの設定をその判別結果に沿ったものに変更することが行われる。 The setting of the camera according to the scene discrimination result is not limited to the main shooting in which a still image is recorded on a recording medium, and is also applied to the stage of the live view mode, which is the previous stage. The live view mode is a mode in which a moving image obtained by capturing a subject in real time is displayed on a monitor. In the live view mode, scene discrimination is periodically repeated, and each time the scene discrimination result is changed, the camera setting is changed according to the discrimination result.
しかしながら、上記従来の撮像装置では、つぎのような問題があった。例えば、輝度情報や色情報だけで「夜景」のシーン判別を行うと、被写体やカメラの状況によっては好ましくない画像が撮影されてしまうことがあった。つまり、「夜景」と判別されると、撮像感度を低く設定し、シャッタスピードを長秒に設定するため、カメラがわずかに動いたり、被写体がわずかに動いたりしただけでも、撮影された画像がぶれてしまうことがあった。 However, the conventional imaging device has the following problems. For example, when the “night scene” scene determination is performed using only luminance information and color information, an undesired image may be captured depending on the subject and camera conditions. In other words, when it is determined as “night scene”, the imaging sensitivity is set low and the shutter speed is set to a long time, so even if the camera moves slightly or the subject moves slightly, I could be shaken.
従って、「夜景」を判別する際には、輝度情報や色情報だけでなく、被写体の動きやカメラ自体の動きも考慮することが考えられる。被写体が動いている場合や、カメラ自体が動いている場合には、撮影した画像がぶれることが予想されるため、輝度情報や色情報が「夜景」の条件を満たしていたとしても、カメラは「夜景」以外のシーンであると判別するようにすればよい。そうすることで、「夜景」と判別された場合に比較して、撮影感度が高く、露光時間が短く設定されるため、撮影した画像がぶれにくくなる。 Therefore, when determining “night scene”, it is conceivable to consider not only luminance information and color information but also movement of the subject and movement of the camera itself. If the subject is moving or the camera itself is moving, the captured image is expected to be blurred, so even if the luminance information and color information satisfy the “night scene” conditions, the camera What is necessary is just to discriminate | determine that it is scenes other than a "night view." By doing so, compared with the case where it is determined as “night scene”, since the photographing sensitivity is set high and the exposure time is set short, the photographed image is hardly blurred.
しかし、カメラと被写体のいずれにも動きが検出されず、かつ、被写体の輝度情報や色情報に基づいて「夜景」であると判別されたとしても、その後にカメラを操作すると、その操作によってカメラが動いてしまう。このため、「夜景」であると判別されたとしても、カメラを操作するたびに、カメラが動いていると判断され、「夜景」モードから外れてしまうという課題が新たに生じることがわかった。 However, even if no movement is detected in either the camera or the subject, and it is determined that it is a “night scene” based on the luminance information and color information of the subject, if the camera is subsequently operated, Will move. For this reason, even if it is determined that the scene is “night scene”, it has been found that every time the camera is operated, it is determined that the camera is moving, and a new problem arises that it is out of the “night scene” mode.
そこで、本発明は、適正に「夜景」シーンを判別することができる撮像装置及びそのシーン判別方法を提供しようとするものである。 Therefore, the present invention intends to provide an imaging apparatus capable of appropriately discriminating a “night scene” scene and a scene discrimination method thereof.
上記目的を達成するために、本発明の撮像装置は、画像を取得する撮像手段を備えた撮像装置であって、前記撮像装置の動き情報を検出する装置動き情報検出手段と、前記撮像手段によって取得された画像内の被写体の動き情報を検出する被写体動き情報検出手段と、前記撮像手段によって取得された画像内の輝度情報および色情報を取得する情報取得手段と、前記撮像手段によって取得された画像からシーンの判別を繰り返し行うシーン判別手段とを備え、前記シーン判別手段は、前記装置動き情報検出手段によって前記撮像装置の動きがないと検出され、前記被写体動き情報検出手段によって前記被写体の動きがないと検出され、かつ、前記輝度情報および色情報が予め定められた条件を満たした場合に、夜景であると判別し、前記夜景であると判別されている状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報を用いずに、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別し、前記夜景であると判別されていない状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別することを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an imaging unit that acquires an image, and includes an apparatus motion information detection unit that detects motion information of the imaging apparatus, and the imaging unit. Subject motion information detection means for detecting motion information of a subject in the acquired image, information acquisition means for acquiring luminance information and color information in the image acquired by the imaging means, and acquired by the imaging means Scene discriminating means for repeatedly discriminating a scene from an image, wherein the scene discriminating means is detected by the device motion information detecting means to be free of movement of the imaging device, and the subject motion information detecting means detects movement of the subject. is detected that there is no, and if the luminance information and the color information satisfies a predetermined condition, it is determined that the night scene, the night view When a new scene is discriminated in a state where it is discriminated, a new scene is created based on the motion information of the subject, the luminance information and the color information without using the motion information of the imaging device. There was determined whether or not the night scene, in a state that is not determined to the a night scene, if performing the determination of new scene, the motion information of the previous SL imaging apparatus, the movement information of the object, the intensity Based on the information and the color information, it is determined whether or not a new scene is the night view .
上記目的を達成するために、本発明の撮像装置のシーン判別方法は、画像を取得する撮像手段を備えた撮像装置のシーン判別方法であって、前記撮像装置の動き情報を検出する装置動き情報検出ステップと、前記撮像手段によって取得された画像内の被写体の動き情報を検出する被写体動き情報検出ステップと、前記撮像手段によって取得された画像内の輝度情報および色情報を取得する情報取得ステップと、前記撮像手段によって取得された画像からシーンの判別を繰り返し行うシーン判別ステップとを有し、前記シーン判別ステップでは、前記装置動き情報検出ステップによって前記撮像装置の動きがないと検出され、前記被写体動き情報検出ステップによって前記被写体の動きがないと検出され、かつ、前記輝度情報および色情報が予め定められた条件を満たした場合に、夜景であると判別し、前記夜景であると判別されている状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報を用いずに、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別し、前記夜景であると判別されていない状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別することを特徴とする。 In order to achieve the above object, a scene discrimination method for an imaging apparatus according to the present invention is a scene discrimination method for an imaging apparatus having an imaging means for acquiring an image, and apparatus motion information for detecting motion information of the imaging apparatus. A detection step, a subject motion information detection step for detecting motion information of a subject in the image acquired by the imaging means, and an information acquisition step for acquiring luminance information and color information in the image acquired by the imaging means; A scene discrimination step of repeatedly discriminating a scene from the image acquired by the imaging means, and in the scene discrimination step, the device motion information detection step detects that there is no movement of the imaging device, and the subject The motion information detection step detects that there is no motion of the subject, and the luminance information and color information are preliminarily determined. If it meets the conditions specified, it is determined that the night scene, the state that is determined to the a night scene, in the case of a new determination of the scene, without using motion information of the imaging device, wherein Based on the movement information of the subject, the luminance information, and the color information, it is determined whether or not the new scene is the night view , and a new scene is determined in a state where it is not determined that the night scene. if the motion information of the previous SL imaging apparatus which performs motion information of the object, on the basis of the luminance information and the color information, a new scene and discriminates whether or not the night scene.
本発明に係る撮像装置は、夜景であると判別されている状態で、新たにシーンの判別を行う場合、撮像装置の動き情報を用いずに、被写体の動き情報、輝度情報および色情報をもとに、新たなシーンが夜景であるか否かを判別する。これにより、ユーザの操作によって撮像装置が動いたことに起因して「夜景」シーンが解除されないようにすることができ、また、被写体にぶれが生じる可能性があるときに長秒露光を行わないようにすることができる。このように、適正に「夜景」シーンを判別することができる。従って、撮影するシーンが夜景の場合において、高精度なシーン判別および良好な画像の撮影が可能となる。
さらに、本発明に係る撮像装置によれば、撮像装置の動きがないと検出された後、被写体の動きがないと検出された場合、夜景と判別するので、夜景を撮影する条件、例えばノイズ低減のために撮影感度を下げ、シャッタスピードを下げる撮影条件の設定が可能となる。
また、本発明に係る撮像装置によれば、輝度情報および色情報が所定の条件を満たす場合、夜景と判別するので、シーンの判別を正確に行うことができる。
The image pickup apparatus according to the present invention has the motion information, luminance information, and color information of the subject without using the motion information of the image pickup apparatus when the scene is newly determined in the state where it is determined to be a night view. In addition, it is determined whether or not the new scene is a night view . Thus, due to the fact that moving the imaging device by the operation of the user can be prevented from being released "night scene" scene, also perform Nagabyo exposure when there is a possibility that the blur occurs in the subject Can not be. In this way, the “night scene” scene can be properly determined. Therefore, when the scene to be photographed is a night view, highly accurate scene discrimination and good image photographing can be performed.
Further, according to the imaging apparatus according to the present invention, after it is detected that there is no movement of the imaging device, when it is detected that there is no movement of the subject, so determined as night scene, conditions for photographing a night scene, for example, noise reduction Therefore, it is possible to set shooting conditions for reducing the shooting sensitivity and reducing the shutter speed.
Further, according to the imaging apparatus according to the present invention, when the luminance information and the color information satisfy predetermined conditions, it is determined as a night view , so that the scene can be accurately determined.
請求項2に係る撮像装置によれば、撮像装置の動き情報を検出した後、被写体の動き情報を取得するので、夜景シーンであるか否かの判別を適切な順序で行うことができる。 According to the imaging device of the second aspect, since the motion information of the subject is acquired after detecting the motion information of the imaging device, it is possible to determine whether the scene is a night scene in an appropriate order.
請求項3に係る撮像装置によれば、一度、夜景シーンと判別した場合、少しの画像情報の変化により、あるいは僅かの被写体の動きにより、夜景シーンでないと判別しないようにすることができる。これにより、安定した夜景シーンの撮影が可能となる。 According to the imaging apparatus of the third aspect , once a night scene is determined, it can be determined that it is not a night scene due to a slight change in image information or a slight movement of the subject. This makes it possible to shoot a stable night scene.
請求項4に係る撮像装置によれば、夜景であると判別されている状態では、被写体の動き情報の閾値は、撮像装置の動き情報の閾値に比べて大きく設定されているので、ユーザの操作によって撮像装置が少し動いても、被写体が動いていると誤判定されない。 According to the imaging device of the fourth aspect, in the state where the image is determined to be a night view , the threshold value of the motion information of the subject is set larger than the threshold value of the motion information of the imaging device. Thus, even if the imaging device moves a little, it is not erroneously determined that the subject is moving.
請求項5に係る撮像装置によれば、シーンの種類に応じて、撮影時の画像処理を行うので、撮影シーンが夜景であると判別された場合、コントラスト比が低いシーンでは、ガンマ補正により階調を細かく調整することで、コントラストの改善が可能となる。また、画面内のより暗い領域についても、暗部補正により改善する効果が期待できる。従って、撮像装置を用いた撮影時、夜景に適した画像処理を行うことが可能となる。 According to the imaging apparatus of the fifth aspect , since image processing at the time of shooting is performed according to the type of scene, when it is determined that the shooting scene is a night view, in a scene with a low contrast ratio, a gamma correction is performed. By finely adjusting the tone, the contrast can be improved. In addition, an effect that can be improved by dark part correction can be expected for a darker area in the screen. Therefore, it is possible to perform image processing suitable for a night scene at the time of shooting using the imaging device.
本発明の撮像装置及びそのシーン判別方法の実施の形態について図面を参照しながら説明する。本実施の形態では、前記撮像装置の一例として、デジタルカメラを用いた場合について説明する。 Embodiments of an imaging apparatus and a scene discrimination method thereof according to the present invention will be described with reference to the drawings. In this embodiment, a case where a digital camera is used as an example of the imaging device will be described.
図1は実施の形態におけるデジタルカメラの機能的構成を示すブロック図である。操作部101は、操作者がデジタルカメラ10に対して各種の指示を入力するために操作するスイッチやボタンなどで構成される。また、操作部101には、シャッタスイッチも含まれており、このシャッタスイッチが半押しである場合、信号SW1が操作部101から制御部102に対して通知される。一方、シャッタスイッチが全押しである場合、信号SW2が操作部101から制御部102に対して通知される。
FIG. 1 is a block diagram showing a functional configuration of a digital camera in the embodiment. The
制御部102は、操作部101からの指示に応じて、図1に示す各部を制御する。縦横位置検出部103は、撮像装置(デジタルカメラ10)の向きが縦撮影位置か横撮影位置かを検出する。CCD部104は、レンズ105、補正レンズ106および露出機構107を介して入射される光を受け、その光量に応じた電荷を出力する。
The
補正レンズ106は、装置動き検出部108によって検出された撮像装置の動きに対応して、制御部102によって計算されたレンズ位置補正量を、補正レンズ制御部109から受け、撮像装置の動きによる像のぶれを補正する。
The
A/D変換部110は、CCD部104から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等の信号処理を行い、デジタル画像信号として出力する。
The A /
画像処理部111は、A/D変換部110から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、画像処理部111は、A/D変換部110から受けたデジタル画像信号を、YUV画像信号に変換して出力する。
The
シーン判別部112は、画像処理部111から受けたデジタル画像信号および装置動き検出部108から受けた装置の動き情報をもとに、撮影するシーンが「夜景」、「逆光」、「夕景」など複数のシーンのうちどのシーンであるのかを判別する。例えば、この判別では、画像処理部111から受けたデジタル画像信号として、YUV画像信号が用いられる。
Based on the digital image signal received from the
装置動き検出部108(装置動き情報検出手段)は、例えば複数方向の角速度を検出するジャイロセンサを搭載しており、それぞれの方向における角速度の総和から、カメラ本体の動きを演算する。 The device motion detection unit 108 (device motion information detection means) is equipped with, for example, a gyro sensor that detects angular velocities in a plurality of directions, and calculates the motion of the camera body from the sum of the angular velocities in each direction.
シーン判別部112によって特定のシーンが判別された場合、制御部102は、そのシーンを撮影するために最適な撮影条件を設定する。つまり、制御部102は、撮影に最適なピント設定をAF処理部119に出力し、露出設定をAE処理部120に出力し、感度設定をCCD部104に出力する。
When the
また、画像処理部111は、そのシーンを撮影するために最適なガンマ補正や色補正などの画像処理を行う。AF処理部119は、被写体にピントを合わせるべくレンズ105を動作させる。また、AE処理部120は、画面が最適な露出になるように露出機構107を制御する。
Further, the
制御部102は、フラッシュが必要であると判断した場合、EF処理部113にフラッシュオンを指示する。EF処理部113は、フラッシュオンの指示を受けると、フラッシュ部114を制御する。フラッシュ部114は、この指示に従って発光する。
When determining that the flash is necessary, the
EVF表示部115は、小型液晶画面などで構成されており、画像処理部111による処理済みの画像データに従った画像を表示する。
The
フォーマット変換部116は、画像処理部111から出力されたデジタル画像信号(画像データ)のフォーマットをJPEGなどのフォーマットに変換し、画像記録部117に出力する。画像記録部117は、フォーマット変換部116から受けたフォーマット変換済みの画像データを、デジタルカメラ10内のメモリ(図示せず)や、デジタルカメラ10に挿入されている外部メモリ(図示せず)などに記録する処理を行う。
The
外部接続部118は、デジタルカメラ10をPC(パーソナルコンピュータ)やプリンタなどの外部装置に接続するためのインターフェースとして機能する。
The
つぎに、上記構成を有するデジタルカメラを用いて撮像を行う際のデジタルカメラの動作について説明する。 Next, the operation of the digital camera when performing imaging using the digital camera having the above configuration will be described.
まず、デジタルカメラ10の操作者が、操作部101に含まれる電源スイッチをオンにすると、制御部102は、これを検知し、デジタルカメラ10を構成する各部に電源を供給する。デジタルカメラ10を構成する各部に電源が供給されると、シャッタが開き、CCD部104で生成されたアナログ画像信号がA/D変換部110を介してデジタル画像信号として出力される。
First, when the operator of the
このデジタル画像信号は、画像処理部111によって随時処理され、EVF表示部115に、被写体のリアルタイムな動画として表示され、デジタルカメラ10はライブビューモードとして機能する。
This digital image signal is processed as needed by the
シーン判別部112は、装置動き検出部108から受けた装置の動き情報および画像処理部111から受けたデジタル画像信号をもとに、撮影するシーンが「夜景」、「逆光」、「夕景」など、複数のシーンのうちどのシーンであるのかを判別する。このシーン判別は、制御部102がシャッタスイッチから信号SW1の通知(即ち、シャッタスイッチの半押しの通知)を受けていない限り、繰り返し行われる。
Based on the device motion information received from the device
一方、制御部102は、信号SW1の通知をシャッタスイッチから受けると、この時点における画像を用いてAF、AE処理を行い、撮影に最適なピントおよび露出設定条件を取得する。
On the other hand, when the
そして、制御部102は、シャッタスイッチから信号SW2の通知(即ち、シャッタスイッチの全押しの通知)を受けていない限り、処理を信号SW1の通知を受ける前に戻し、上記処理を繰り返す。
Then, the
一方、制御部102は、信号SW2の通知をシャッタスイッチから受けると、フラッシュを発光するか否かの判断を行う。このフラッシュを発光するか否かについては、操作者が操作部101を用いて予め設定しておき、制御部102はその設定データを読み取ることで判断するようにしてもよいし、また、制御部102は周囲の暗さを検知して自動的に判断するようにしてもよい。
On the other hand, when receiving the notification of the signal SW2 from the shutter switch, the
この判断の結果、フラッシュの発光を行う場合、制御部102は、EF処理部113を制御し、フラッシュ部114にプリ発光を行わせ、発光量の算出、EF枠の重み付けなどの処理を行う。そして、制御部102は、プリ発光により計算された本発光量でフラッシュ部114を発光させ、画像撮影を行う。一方、フラッシュ非発光の場合、制御部102は、上記調光制御無しに、以下に示す本撮影の処理に移行する。
As a result of this determination, when performing flash emission, the
本撮影では、制御部102は、画像処理部111から出力されたデジタル画像信号(画像データ)のフォーマットをフォーマット変換部116でJPEGなどのフォーマットに変換し、画像記録部117に出力するように制御する。画像記録部117は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。
In the actual photographing, the
つぎに、シーン判別における夜景の判別方法について説明する。図2は夜景を判別する手順を示すフローチャートである。この処理プログラムは、制御部102内の記録媒体(図示せず)に格納されており、制御部102内のCPU(図示せず)によって、電源ON後に所定の周期ごとに繰り返し実行される。電源ON直後、シーンは判別されておらず、初期状態にある。本実施形態では、まず「夜景」シーンであるか否かを判別し、「夜景」でないと判別された場合、続いて他のシーンに当てはまるか否かを判別することが行われる。
Next, a night scene discrimination method in scene discrimination will be described. FIG. 2 is a flowchart showing a procedure for determining a night view. This processing program is stored in a recording medium (not shown) in the
まず、制御部102は、装置動き検出部108から撮像装置(デジタルカメラ10)の動き情報を取得する(ステップS1)。制御部102は、取得した動き情報から、デジタルカメラ10が止まっているか否かを判別する(ステップS2)。撮像装置の動き量が設定された閾値以下である場合、制御部102は、撮像装置が止まっていると判別する。
First, the
一方、撮像装置の動き量が設定された閾値より大きい場合、制御部102は、撮像装置が動いていると判別し、ステップS6の処理に進む。この閾値は、夜景モードと判定された場合に設定される標準的な露光時間に対し、画像がぶれないとされる動き量を実験的に求めることで、決定される。
On the other hand, when the amount of motion of the imaging device is larger than the set threshold, the
ステップS2で撮像装置が止まっていると判別された場合、制御部102は、撮影画面内の被写体の動き(画像内の被写体の動き情報)を検出する(ステップS3)。この被写体の動き検出では、例えば画面内を複数のブロックに分割し、ブロックごとの輝度や色情報の変化を検出し、画面内における被写体の動きベクトルを算出することが行われる。なお、ステップS3の処理は被写体動き情報検出手段の一例である。
When it is determined in step S2 that the imaging apparatus is stopped, the
被写体の動き検出の結果、制御部102は、被写体の動き量が設定された値(閾値)より大きいか否か、つまり、被写体が動いているか否かを判定する(ステップS4)。ここで、被写体の動き量が設定された値以下である場合、制御部102は、被写体が止まっていると判定し、ステップS8の処理に進む。一方、被写体の動き量が設定された値より大きい場合、制御部102は、被写体が動いていると判定し、ステップ5の処理に進む。この閾値は、夜景モードと判定された場合に設定される標準的な露光時間に対し、画像がぶれないとされる動き量を実験的に求めることで決定されるものであり、ステップS2における撮像装置の動き判定の閾値よりも大きな値に設定されている。
As a result of the subject motion detection, the
被写体が動いていると判定された場合、制御部102は、撮像装置は止まっているが、被写体は動いていると判定し(ステップS5)、撮像装置あるいは被写体の動きにより像がぶれる可能性があるので、「夜景」シーンでないと判別する(ステップS6)。
When it is determined that the subject is moving, the
制御部102は、「夜景」シーンでないと判別した後、他のシーン判別の処理を行い(ステップS7)、本シーン判別処理を終了する。なお、他のシーン、例えば「夕景」、「逆光」、「ポートレート」などのシーン判別については、その説明を省略する。
After determining that the scene is not a “night scene” scene, the
一方、ステップS4で被写体が止まっていると判定された場合、制御部102は、撮像装置が止まっており、かつ被写体が止まっていると判定する(ステップS8)。さらに、ステップS8において、制御部102は、夜景を撮影する条件の設定が可能であると判定する。すなわち、仮に被写体の輝度が等しい場合であっても、他のシーンに比較して、ノイズ低減のために撮影感度を下げ、シャッタスピードを下げて露光時間を長くするという撮影条件が設定可能となる。
On the other hand, when it is determined in step S4 that the subject is stopped, the
制御部102は、画面の輝度および色情報から「夜景」シーンであるか否かを判別する(ステップS9)。すなわち、制御部102は、画面内のBv値および全体輝度を算出し、これらが夜景判別条件を満たすか否かを判定する。これらが夜景判別条件を満たすと判定された場合、続いて、制御部102は、夜景判別のために画面内を、縦横位置検出部103からの情報に従って画面の上から垂直方向に一定比率のところまで、夜景検出エリアに設定する。そして、制御部102は、この夜景検出エリアを複数のブロックに分割する。続いて、制御部102は、各ブロックの輝度情報および色情報を取得する(情報取得手段)。
The
このように、制御部102は、画面内のBv値、全体輝度、夜景検出エリア内での輝度情報および夜景検出エリア内での色情報を算出する。そして、夜景検出エリア内での色情報および輝度情報が夜景におけるそれらと合致するブロック割合が、あらかじめ設定された複数の夜景と判別される条件に合致した場合、制御部102は、シーンが「夜景」であると判別する(ステップS10)。一方、「夜景」でないと判別された場合、制御部102は、ステップS6の処理に進み、前述した処理を行う。
As described above, the
制御部102は、一度、夜景シーンと判別した場合、少しの画像情報の変化により夜景シーンでないと判別しないように、画面内のBv値および全体輝度の閾値と、夜景検出エリア内での色情報および輝度情報が合致するブロック割合を変更する(ステップS11)。
Once the
具体的に、制御部102は、画面内のBv値および全体輝度の閾値を明るい側に変更し、画面が少し明るくなっても夜景シーンであると判別するようにし、また、夜景と判別されるブロック割合が少なくなっても夜景シーンであると判別するようにする。このように、一旦、夜景シーンであると判別されると、制御部102は、次のシーン判別において、夜景シーンでないと判別しにくくなる。
Specifically, the
さらに、制御部102は、被写体の動き条件を変更する(ステップS12)。制御部102は、僅かの被写体の動きによって、夜景シーンでないと判別しないように、被写体の動き量が設定された値(閾値)、つまり画像がぶれないとされる動き量を、ステップS4で用いられる閾値より大きな値にする。なお、制御部102は、ステップS11、S12の処理のどちらか一方だけを実行するような構成であってもよい。
Further, the
この後、制御部102は、信号SW1がONであるか否か、つまり、信号SW1の通知をシャッタスイッチから受け取ったか否かを判別する(ステップS13)。制御部102は、信号SW1の通知をシャッタスイッチから受け取った場合、ステップS14の処理に進む。
Thereafter, the
一方、制御部102は、信号SW1の通知をシャッタスイッチから受け取らなかった場合、ステップS3の処理に戻り、再びシーン判別をやり直すことになる。ただし、シーン判別をやり直すといっても、制御部102は、ステップS1の処理に戻るのではなく、ステップS3の処理に戻り、被写体の動きを検出する処理から再開する。このことは本実施形態の特徴である。
On the other hand, when the notification of the signal SW1 is not received from the shutter switch, the
つまり、一度、「夜景」シーンとして判別された状態で、再度、シーン判別を行う場合、制御部102は、「夜景」と判別されている間、シーン判別の際に撮影装置の動き情報を取得せず、被写体の動き情報のみを取得する。これは、一度、「夜景」シーンであると判別された場合、おそらく次のシーン判別のタイミングにおいても、被写体は「夜景」シーンの条件を満たす確率が高いと予想される。
That is, when the scene determination is performed again in a state where the scene is once determined as the “night scene”, the
しかし、「夜景」シーンの判別後、撮像装置の動き情報を取得してしまうと、ユーザが露出補正やフラッシュの強制発光の設定、あるいはAF領域の選択などのためにボタンを操作することによって、撮像装置自体に動きが生じるおそれがある。制御部102は、このような撮影装置の動き情報を参照してしまうと、ユーザの操作によって「夜景」シーンでないと判別してしまうことになる。
However, if the movement information of the imaging device is acquired after the “night scene” scene is determined, the user operates the button for setting the exposure correction, forced flash emission, or selecting the AF area, etc. There is a possibility that the imaging apparatus itself moves. If the
そこで、本実施形態では、「夜景」シーンであると判別されると、その後に別シーンであると判別されない限り、制御部102は、撮像装置の動き情報を取得せず、動き情報としては被写体の動き情報のみを取得し、シーン判別を行うようにしている。
Therefore, in this embodiment, when it is determined that the scene is a “night scene”, the
ここで、前述したように、被写体の動き情報の閾値は、撮像装置の動き情報の閾値よりも大きく設定されているので、ユーザの操作によって撮像装置が少し動いたぐらいでは、被写体が動いていると、誤判定されないようになっている。 Here, as described above, the threshold value of the motion information of the subject is set to be larger than the threshold value of the motion information of the imaging device. Therefore, the subject moves as long as the imaging device moves slightly by the user's operation. And so that it is not erroneously determined.
なお、「夜景」シーンと判別されていない場合、制御部102は、被写体の動き情報の閾値と撮像装置の動き情報の閾値を同程度の値に設定してもよい。また、制御部102は、「夜景」シーンであると判別されている間だけ、操作部101のスイッチやボタンの操作によって生じる、撮像装置の動きに伴う像の動きを被写体の動きと判定してもよい。また、制御部102は、「夜景」シーンであると判別されている間だけ、微小な被写体の動きで夜景シーンでないと判定しないように、被写体の動き情報の閾値を変更するようにしてもよい。
When the scene is not determined to be a “night scene” scene, the
一方、ステップS13で、信号SW1の通知をシャッタスイッチから受け取った場合、制御部102は、この時点における画像を用いてAF、AE処理を行い、撮影に最適なピントおよび露出設定条件を取得する(ステップS14)。また、撮像装置も被写体も動かない夜景シーンと判別されているので、制御部102は、撮影感度を低感度に変更してノイズを低減できる撮影条件等、夜景向けの撮影条件を設定する。
On the other hand, when the notification of the signal SW1 is received from the shutter switch in step S13, the
制御部102は、信号SW2がONであるか否か、つまり、信号SW2の通知をシャッタスイッチから受けとったか否かを判別する(ステップS15)。信号SW2の通知をシャッタスイッチから受けとっていない場合、制御部102は、信号SW1を受け取る前のステップS13の処理に戻り、上記処理を繰り返す。
The
一方、信号SW2の通知をシャッタスイッチから受けとると、制御部102は、撮影動作を行う(ステップS16)。撮影が行われた後、制御部102は、ステップS3の処理に戻り、被写体の動きを検出する。
On the other hand, when the notification of the signal SW2 is received from the shutter switch, the
このように、本実施形態では、夜景を判別する方法について説明したが、それぞれの判別条件に用いられる閾値は、撮影時の状況により決定されてもよい。 As described above, in this embodiment, the method for discriminating the night view has been described. However, the threshold value used for each discrimination condition may be determined according to the situation at the time of shooting.
つぎに、夜景シーン判別時の画像処理の方法について説明する。この画像処理は画像処理部111を用いて行われる。
Next, an image processing method for determining a night scene will be described. This image processing is performed using the
本実施形態では、夜景シーンの判別によって、ガンマ補正および画面内の暗部の補正のうち、1つ以上が設定される。撮影シーンが「夜景」であると判別された場合、コントラスト比が低いシーンでは、ガンマ補正により階調を細かく調整することで、コントラストの改善が可能となる。また、画面内のより暗い領域についても、暗部補正により改善する効果が期待できる。このような画像処理により、撮像装置を用いた撮影時、夜景に適した画像処理を行うことが可能となる。なお、撮影時の画像処理は、他のシーン、例えば「夕景」、「逆光」、「ポートレート」などにおいても同様、シーンの種類に応じて行われる。例えば、「夕景」シーンの場合、赤味を強調する画像処理が行われる。 In the present embodiment, one or more of gamma correction and dark portion correction in the screen are set by determining the night scene. When it is determined that the shooting scene is a “night scene”, in a scene with a low contrast ratio, the contrast can be improved by finely adjusting the gradation by gamma correction. In addition, an effect that can be improved by dark part correction can be expected for a darker area in the screen. By such image processing, it is possible to perform image processing suitable for a night scene at the time of shooting using the imaging device. Note that image processing at the time of shooting is performed according to the type of scene in other scenes such as “evening scene”, “backlight”, and “portrait” as well. For example, in the case of an “evening scene” scene, image processing for enhancing redness is performed.
以上説明したように、本実施形態の撮像装置は、被写体にぶれが生じる可能性があるときに長秒露光を行わないように、輝度情報と色情報に加え、撮像装置の動き情報と被写体の動き情報も参照し、撮影シーンが「夜景」であるか否かを判定する。 As described above, the imaging apparatus according to the present embodiment does not perform long-second exposure when there is a possibility of blurring in the subject, in addition to the luminance information and color information, the motion information of the imaging device and the subject's The motion information is also referred to and it is determined whether or not the shooting scene is a “night view”.
そして、ユーザの操作によって撮像装置が動いたことに起因して「夜景」シーンのモードが解除されないようにするため、撮像装置は、「夜景」シーンと判定されている間、撮像装置の動き情報を参照しないようにする。これにより、従来よりも精度良く「夜景」シーンを判別することができる。 Then, in order to prevent the “night scene” scene mode from being canceled due to the movement of the imaging apparatus by the user's operation, the imaging apparatus performs motion information of the imaging apparatus while it is determined as the “night scene” scene. Do not refer to. Thereby, the “night scene” scene can be discriminated with higher accuracy than in the past.
総括すると、本実施形態の撮像装置は、「夜景」シーンであると判別されている状態で、新たにシーンの判別を行う場合、撮像装置の動き情報を用いずに、被写体の動き情報、輝度情報および色情報をもとに、新たなシーンが特定のシーンであるか否かを判別する。これにより、ユーザの操作によって撮像装置が動いたことに起因して「夜景」シーンが解除されないようにすることができ、また、被写体にぶれが生じる可能性があるときに長秒露光を行わないようにすることができる。このように、適正に「夜景」シーンを判別することができる。従って、撮影するシーンが夜景の場合において、高精度なシーン判別および良好な画像の撮影が可能となる。 In summary, in the case where the imaging apparatus according to the present embodiment is newly determined to be a scene at the time when it is determined to be a “night scene” scene, the motion information and luminance of the subject are used without using the motion information of the imaging apparatus. Based on the information and the color information, it is determined whether or not the new scene is a specific scene. As a result, the “night scene” scene can be prevented from being canceled due to the movement of the imaging device by the user's operation, and long-time exposure is not performed when there is a possibility that the subject will be blurred. Can be. In this way, the “night scene” scene can be properly determined. Therefore, when the scene to be photographed is a night view, highly accurate scene discrimination and good image photographing can be performed.
また、撮像装置の動き情報を検出した後、被写体の動き情報を取得するので、夜景シーンであるか否かの判別を適切な順序で行うことができる。また、撮像装置の動きがないと検出された後、被写体の動きがないと検出された場合、夜景シーンと判別するので、夜景を撮影する条件、例えばノイズ低減のために撮影感度を下げ、シャッタスピードを下げる撮影条件の設定が可能となる。 In addition, since the motion information of the subject is acquired after detecting the motion information of the imaging device, it is possible to determine whether the scene is a night scene in an appropriate order. In addition, if it is detected that there is no movement of the subject after it is detected that there is no movement of the imaging device, it is determined as a night scene, so the shooting sensitivity is reduced to reduce the shooting conditions for noise reduction, for example, noise reduction. It is possible to set shooting conditions that reduce the speed.
また、輝度情報および色情報が所定の条件を満たす場合、夜景シーンと判別するので、シーンの判別を正確に行うことができる。また、一度、夜景シーンと判別した場合、少しの画像情報の変化により、あるいは僅かの被写体の動きにより、夜景シーンでないと判別しないようにすることができる。これにより、安定した夜景シーンの撮影が可能となる。 In addition, when the luminance information and the color information satisfy predetermined conditions, it is determined that the scene is a night scene, so that the scene can be accurately determined. Also, once a night scene is determined, it can be determined that the scene is not a night scene due to a slight change in image information or a slight movement of the subject. This makes it possible to shoot a stable night scene.
また、夜景シーンであると判別されている状態では、被写体の動き情報の閾値は、撮像装置の動き情報の閾値に比べて大きく設定されているので、ユーザの操作によって撮像装置が少し動いても、被写体が動いていると誤判定されない。 In addition, in the state where it is determined that the scene is a night scene, the threshold value of the motion information of the subject is set to be larger than the threshold value of the motion information of the imaging device, so even if the imaging device moves slightly due to the user's operation. It is not erroneously determined that the subject is moving.
また、シーンの種類に応じて、撮影時の画像処理を行うので、撮影シーンが夜景であると判別された場合、コントラスト比が低いシーンでは、ガンマ補正により階調を細かく調整することで、コントラストの改善が可能となる。また、画面内のより暗い領域についても、暗部補正により改善する効果が期待できる。従って、撮像装置を用いた撮影時、夜景に適した画像処理を行うことが可能となる。このように、夜景シーンの判別を高精度に行うことができる。 Also, since image processing is performed according to the type of scene, if it is determined that the shooting scene is a night scene, in a scene with a low contrast ratio, the gradation can be finely adjusted by gamma correction to adjust the contrast. Can be improved. In addition, an effect that can be improved by dark part correction can be expected for a darker area in the screen. Therefore, it is possible to perform image processing suitable for a night scene at the time of shooting using the imaging device. In this way, night scenes can be determined with high accuracy.
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。 The present invention is not limited to the configuration of the above-described embodiment, and any configuration can be used as long as the functions shown in the claims or the functions of the configuration of the present embodiment can be achieved. Is also applicable.
例えば、上記実施形態では、コンパクトタイプのデジタルカメラを例に説明したが、本発明は、デジタルビデオカメラ、デジタルSLR(一眼レフカメラ)等にも適用可能である。 For example, in the above-described embodiment, a compact digital camera has been described as an example, but the present invention can also be applied to a digital video camera, a digital SLR (single-lens reflex camera), and the like.
10 デジタルカメラ
101 操作部
102 制御部
104 CCD部
108 装置動き検出部
111 画像処理部
112 シーン判別部
DESCRIPTION OF
Claims (6)
前記撮像装置の動き情報を検出する装置動き情報検出手段と、
前記撮像手段によって取得された画像内の被写体の動き情報を検出する被写体動き情報検出手段と、
前記撮像手段によって取得された画像内の輝度情報および色情報を取得する情報取得手段と、
前記撮像手段によって取得された画像からシーンの判別を繰り返し行うシーン判別手段とを備え、
前記シーン判別手段は、前記装置動き情報検出手段によって前記撮像装置の動きがないと検出され、前記被写体動き情報検出手段によって前記被写体の動きがないと検出され、かつ、前記輝度情報および色情報が予め定められた条件を満たした場合に、夜景であると判別し、
前記夜景であると判別されている状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報を用いずに、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別し、
前記夜景であると判別されていない状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別することを特徴とする撮像装置。 An imaging apparatus having an imaging means for acquiring an image,
Device motion information detecting means for detecting motion information of the imaging device;
Subject motion information detection means for detecting motion information of a subject in the image acquired by the imaging means;
Information acquisition means for acquiring luminance information and color information in the image acquired by the imaging means;
Scene discrimination means for repeatedly discriminating a scene from an image acquired by the imaging means,
The scene determination means is detected by the apparatus motion information detection means to be free of movement of the imaging device, the subject movement information detection means is detected to be free of movement of the subject, and the luminance information and color information are When a predetermined condition is satisfied, it is determined to be a night view ,
When the scene is newly determined in the state where it is determined to be the night view , without using the motion information of the imaging device, based on the motion information of the subject, the luminance information, and the color information, Determine whether the new scene is the night view ,
When no is determined the a night scene, if performing the determination of the new scene, the motion information of the previous SL imaging apparatus, the movement information of the object, on the basis of the luminance information and the color information, a new An imaging apparatus for determining whether or not a scene is the night view .
前記撮像装置の動き情報を検出する装置動き情報検出ステップと、
前記撮像手段によって取得された画像内の被写体の動き情報を検出する被写体動き情報検出ステップと、
前記撮像手段によって取得された画像内の輝度情報および色情報を取得する情報取得ステップと、
前記撮像手段によって取得された画像からシーンの判別を繰り返し行うシーン判別ステップとを有し、
前記シーン判別ステップでは、前記装置動き情報検出ステップによって前記撮像装置の動きがないと検出され、前記被写体動き情報検出ステップによって前記被写体の動きがないと検出され、かつ、前記輝度情報および色情報が予め定められた条件を満たした場合に、夜景であると判別し、
前記夜景であると判別されている状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報を用いずに、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別し、
前記夜景であると判別されていない状態で、新たにシーンの判別を行う場合、前記撮像装置の動き情報、前記被写体の動き情報、前記輝度情報および前記色情報をもとに、新たなシーンが前記夜景であるか否かを判別することを特徴とする撮像装置のシーン判別方法。 A scene determination method for an imaging apparatus including an imaging means for acquiring an image,
A device motion information detecting step for detecting motion information of the imaging device;
Subject motion information detection step for detecting subject motion information in the image acquired by the imaging means;
An information acquisition step of acquiring luminance information and color information in the image acquired by the imaging means;
A scene discrimination step of repeatedly discriminating the scene from the image acquired by the imaging means,
In the scene determination step, it is detected that there is no movement of the imaging device by the apparatus movement information detection step, it is detected that there is no movement of the subject by the subject movement information detection step, and the luminance information and color information are When a predetermined condition is satisfied, it is determined to be a night view ,
When the scene is newly determined in the state where it is determined to be the night view , without using the motion information of the imaging device, based on the motion information of the subject, the luminance information, and the color information, Determine whether the new scene is the night view ,
When no is determined the a night scene, if performing the determination of the new scene, the motion information of the previous SL imaging apparatus, the movement information of the object, on the basis of the luminance information and the color information, a new A scene discrimination method for an image pickup apparatus, comprising: discriminating whether or not a scene is the night view .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009027308A JP5355124B2 (en) | 2009-02-09 | 2009-02-09 | Imaging apparatus and scene discrimination method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009027308A JP5355124B2 (en) | 2009-02-09 | 2009-02-09 | Imaging apparatus and scene discrimination method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010183493A JP2010183493A (en) | 2010-08-19 |
JP2010183493A5 JP2010183493A5 (en) | 2012-03-22 |
JP5355124B2 true JP5355124B2 (en) | 2013-11-27 |
Family
ID=42764643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009027308A Expired - Fee Related JP5355124B2 (en) | 2009-02-09 | 2009-02-09 | Imaging apparatus and scene discrimination method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5355124B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5349671B1 (en) * | 2012-04-27 | 2013-11-20 | 株式会社東芝 | Image processing apparatus, image display apparatus and method |
KR20210111554A (en) * | 2020-03-03 | 2021-09-13 | 삼성전자주식회사 | Image sensor module and electronic device including image sensor module |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4611069B2 (en) * | 2004-03-24 | 2011-01-12 | 富士フイルム株式会社 | Device for selecting an image of a specific scene, program, and recording medium recording the program |
US8294813B2 (en) * | 2007-07-23 | 2012-10-23 | Panasonic Corporation | Imaging device with a scene discriminator |
-
2009
- 2009-02-09 JP JP2009027308A patent/JP5355124B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010183493A (en) | 2010-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8488006B2 (en) | Imaging apparatus capable of detecting motion amount of an object and control method thereof | |
US7706674B2 (en) | Device and method for controlling flash | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
JP4615458B2 (en) | Exposure control method and imaging apparatus | |
JP4542058B2 (en) | Imaging apparatus and imaging method | |
JP2017108309A (en) | Imaging apparatus and imaging method | |
JP4831175B2 (en) | Imaging apparatus and imaging method | |
JP2010093679A (en) | Imaging apparatus, and imaging control method | |
JP4775172B2 (en) | Electronic camera | |
JP2003244520A (en) | Photographing device | |
JP2010287919A (en) | Imaging device | |
JP6758950B2 (en) | Imaging device, its control method and program | |
JP5316923B2 (en) | Imaging apparatus and program thereof | |
JP5355124B2 (en) | Imaging apparatus and scene discrimination method thereof | |
JP2010011153A (en) | Imaging apparatus, imaging method and program | |
JP2009033386A (en) | Photographing device and method | |
JP4879840B2 (en) | Digital camera and control method thereof | |
JP2007028546A (en) | Imaging apparatus | |
JP6335497B2 (en) | Imaging device, control method thereof, and control program | |
JP4789776B2 (en) | Imaging apparatus and imaging method | |
KR20100112788A (en) | Method of controlling activation between shaking correction and electronical strobo, method of photographing, and digital camera module | |
JP2008209760A (en) | Photographing method and photographing device | |
US9525815B2 (en) | Imaging apparatus, method for controlling the same, and recording medium to control light emission | |
JP5406546B2 (en) | Imaging apparatus and control method thereof | |
JP2010271507A (en) | Imaging device, exposure adjustment method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130827 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5355124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |