JP5398860B2 - Image processing apparatus, image processing apparatus control method, program, and storage medium - Google Patents
Image processing apparatus, image processing apparatus control method, program, and storage medium Download PDFInfo
- Publication number
- JP5398860B2 JP5398860B2 JP2012048169A JP2012048169A JP5398860B2 JP 5398860 B2 JP5398860 B2 JP 5398860B2 JP 2012048169 A JP2012048169 A JP 2012048169A JP 2012048169 A JP2012048169 A JP 2012048169A JP 5398860 B2 JP5398860 B2 JP 5398860B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- processing apparatus
- image processing
- image signal
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体に関し、特に、鮮やかな被写体を含むシーンに対して画像処理を行うために用いて好適な技術に関する。 The present invention relates to an image processing apparatus, a control method for the image processing apparatus, a program, and a storage medium , and more particularly, to a technique suitable for performing image processing on a scene including a vivid subject.
従来、画像のシーンや被写体の種類を判別し、判別したシーンの被写体の種類に応じた画像処理を行う画像処理装置が知られている。例えば、特許文献1には、入力された画像が、鮮やかな被写体を含むシーン(以下、鮮やかなシーン)であるか否かを判別し、鮮やかなシーンの画像については高解像度で出力する画像出力装置が開示されている。 2. Description of the Related Art Conventionally, there has been known an image processing apparatus that discriminates image scenes and subject types and performs image processing in accordance with the discriminated subject types. For example, in Patent Document 1, it is determined whether or not an input image is a scene including a vivid subject (hereinafter, a vivid scene), and an image output for outputting a vivid scene image at high resolution is disclosed. An apparatus is disclosed.
前述の特許文献1に開示された技術によれば、彩度の高い画素が所定数よりも多いか否かによって鮮やかなシーンであるか否かを判別している。ここで、鮮やかなシーンとしては、背景が鮮やかなシーンと、主となる被写体(主被写体)が鮮やかなシーンとがありうる。このうち、背景が鮮やかなシーンでは、例えば人物など背景以外の主被写体の有無によって、彩度の高い画素の分布が異なり、例えば、人物が入るとその分、背景における彩度の高い画素の量が低下してしまう。そのため、特許文献1に記載の画像出力装置では、背景が鮮やかなシーンで主被写体が入った画像の場合は鮮やかなシーンと判別することが難しく、適切に判別して高解像度で出力することができないという問題点がある。 According to the technique disclosed in Patent Document 1 described above, whether or not the scene is vivid is determined based on whether or not the number of highly saturated pixels is greater than a predetermined number. Here, as a vivid scene, there can be a scene where the background is vivid and a scene where the main subject (main subject) is vivid. Among these, in a scene with a bright background, the distribution of highly saturated pixels varies depending on the presence of a main subject other than the background, such as a person.For example, when a person enters, the amount of highly saturated pixels in the background Will fall. For this reason, in the image output apparatus described in Patent Document 1, it is difficult to distinguish a scene with a bright background in which the main subject is included, so that it is difficult to distinguish the scene as a vivid scene. There is a problem that it is not possible.
本発明は前述の問題点に鑑み、入力された画像に主被写体が含まれているか否かに関わらず、鮮やかなシーンを含む画像に対して適切な画像処理を施すことができるようにすることを目的としている。 In view of the above-described problems, the present invention enables appropriate image processing to be performed on an image including a vivid scene regardless of whether or not the input image includes a main subject. It is an object.
本発明の画像処理装置は、入力された画像信号から評価値を算出する算出手段と、前記入力された画像信号の被写体の領域を検出する検出手段と、前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、前記判別手段による判別結果を出力する出力手段と、を備え、前記判別手段は、前記検出手段によって検出される被写体の領域以外の領域の評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする。 The image processing apparatus of the present invention includes: a calculating means for calculating an image signal or al Review value is entered, a detecting means for detecting a region of a subject of the input image signal, based on the evaluation value, the input comprising a determination unit which image signal is discriminated whether or not determine specific condition is satisfied, and output means for outputting a discrimination result by said discriminating means, and said discriminating means is detected by said detecting means There line the determination based on the evaluation value of the region other than the region of the subject that, the larger the percentage of the total image area of the subject detected by the detecting means and relieving the discrimination condition .
本発明によれば、入力された画像に主被写体が含まれるか否かに関わらず、鮮やかなシーンを判別することができる。これにより、どのような鮮やかなシーンを含む画像に対しても適切な画像処理を施すことができる。 According to the present invention, it is possible to determine a vivid scene regardless of whether or not the main subject is included in the input image. Thus, appropriate image processing can be performed on an image including any vivid scene.
(第1の実施形態)
以下、図1〜図8を参照しながら本発明の第1の実施形態に係る撮像装置について説明する。
図1は、本実施形態において、撮影した画像のシーンを検出する機能を備え、シーンに応じた画像補正処理を行う撮像装置100の構成例を示すブロック図である。
図1において、レンズ101は被写体の光束を結像するためのものであり、撮像素子103は、レンズ101及びアイリス102を介して入射した光を光電変換するためのものである。AGCアンプ104は、撮像素子103から出力された信号を適正レベルに増幅するためのものである。
(First embodiment)
The imaging apparatus according to the first embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram illustrating a configuration example of an
In FIG. 1, a
輝度・色信号生成部105は、撮像素子103において生成された信号を輝度信号(Y)及び色信号(R0,G0,B0)に変換するためのものである。ホワイトバランス増幅部106は、輝度・色信号生成部105から出力される色信号(R0,G0,B0)をホワイトバランスゲインに従って増幅し、増幅色信号(R,G,B)を生成するためのものである。色差信号生成部107は、色差信号(R−Y,B−Y)を生成するためのものである。色差信号補正部108は、色差信号に対してゲインをかけるなどの補正を行うためのものであり、エンコーダ109は、入力された画像信号を標準テレビ信号等に変換するためのものである。
The luminance / color
信号分割部110は、輝度信号(Y)、及び色差信号(R−Y,B−Y)を所定の小ブロックに分割するためのものである。彩度算出部111は、色差信号(R−Y,B−Y)から彩度(Chroma)を算出するためのものであり、カメラ制御部112は、撮像システム全体を制御するためのものである。シーン判別部113は、入力された撮影画像のシーンを判別するためのものであり、顔検出部114は、撮影画像から人物の顔を検出するためのものである。
The signal dividing
次に、図1の撮像装置100による処理動作について説明する。レンズ101に入射した光は撮像素子103により光電変換され、AGCアンプ104により適正レベルに増幅され、輝度・色信号生成部105に出力される。輝度・色信号生成部105は、撮像素子103において結像した画像信号から輝度信号(Y)及び色信号(R0,G0,B0)を生成し、このうちの色信号(R0,G0,B0)をホワイトバランス増幅部106に出力する。
Next, the processing operation by the
ホワイトバランス増幅部106は、カメラ制御部112によって算出されたホワイトバランスゲインに基づいて色信号(R0,G0,B0)を増幅し、増幅した色信号(R,G,B)を色差信号生成部107に出力する。色差信号生成部107は、増幅した色信号(R,G,B)から色差信号(R−Y,B−Y)を生成し、色差信号補正部108及び信号分割部110に出力する。色差信号補正部108は画像処理手段として機能し、色差信号(R−Y,B−Y)に対して、カメラ制御部112によって算出された色差ゲインG(Gは1以上)をかけて補正する。すなわち、補正後の色差信号{(R−Y)',(B−Y)'}はそれぞれ、
(R−Y)'=G×(R−Y)、
(B−Y)'=G×(B−Y)、
となる。そして、補正後の色差信号{(R−Y)',(B−Y)'}をエンコーダ109に出力する。なお、色差ゲインGの強度に関しては後述する。エンコーダ109は、輝度信号(Y)及び補正後の色差信号(R−Y)',(B−Y)'からNTSC等の標準テレビジョン信号を生成し、外部に出力する。
The white
(R−Y) ′ = G × (R−Y),
(B−Y) ′ = G × (B−Y),
It becomes. Then, the corrected color difference signals {(R−Y) ′, (B−Y) ′} are output to the
以上が、撮像時の基本的な処理であるが、さらにカメラ制御部112は、画像信号の特性に応じて色差信号補正部108において用いるパラメータを適応的に制御し、色差信号補正部108において画像信号を補正する。以下、画像信号の特性の解析処理について説明する。
The above is the basic processing at the time of imaging. Further, the
信号分割部110は、図2に示すようなブロック(8×8ブロック)に画像信号を分割し、ブロック毎の輝度信号(Y)、色差信号(R−Y,B−Y)の平均値を算出して、彩度算出部111にその結果を出力する。彩度算出部111は、色差信号(R−Y,B−Y)から各ブロックの彩度(Chroma)を算出する。彩度(Chroma)は以下の数1に示す式に基づき算出する。
The signal dividing
そして、彩度算出部111は、算出した各ブロックの彩度(Chroma)の情報をシーン判別部113へ出力する。一方、顔検出部114は、輝度・色信号生成部105から出力された輝度信号(Y)に基づき、撮影画像から主被写体である人物の顔を検出し、顔の検出結果をシーン判別部113へ出力する。ここで、人物の顔を検出した場合は、顔の位置情報もシーン判別部113へ出力する。なお、人物の顔の認識手段に関しては、輝度信号のパターンマッチングを行う方法など、従来から様々な手法が提案されており、それらのどのような方法を用いてもかまわない。
Then, the
シーン判別部113は、彩度算出部111から出力されたブロック毎の彩度(Chroma)と、顔検出部114から出力された顔検出結果とに基づき、撮影したシーンがより彩度に重みを付すべき画像(鮮やかなシーン)であるか否かを判別する。以下、図3を参照しながらシーン判別部113の処理の流れについて説明する。
The
図3は、シーン判別部113による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
まず、図3のステップS301において、顔検出部114において顔が検出されたか否かをチェックする。このチェックの結果、顔が検出された場合はステップS302へ進み、顔が検出されていない場合はステップS307へ進む。
FIG. 3 is a flowchart illustrating an example of a vivid scene discrimination processing procedure by the
First, in step S301 in FIG. 3, it is checked whether or not a face is detected by the
そして、ステップS302においては、顔領域を除外した領域から平均彩度を算出する。この処理について図4を参照しながら説明する。図4(a)は、顔領域を含む撮影画像の一例を示す図である。図4(a)に示すように、顔を含んだ撮影画像の場合は、顔を含む顔領域を除外して平均彩度を算出する。ステップS302においては、図4(b)に示すような顔領域401を除外したブロックの平均彩度を算出する。
In step S302, the average saturation is calculated from the area excluding the face area. This process will be described with reference to FIG. FIG. 4A is a diagram illustrating an example of a captured image including a face area. As shown in FIG. 4A, in the case of a captured image including a face, the average saturation is calculated by excluding the face area including the face. In step S302, the average saturation of the block excluding the
次に、ステップS303において、顔領域(例えば、図4(b)に示す顔領域401)を除外したブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、顔領域を除外した全ブロック数(図4の例では、52個のブロック)に対する所定の閾値以上の彩度であるブロック数の割合(高彩度ブロック割合)を算出する。そして、ステップS304において、過去の鮮やか判別結果を参照し、過去に鮮やかシーンと判別しているか否かをチェックする。シーン判別部113は、所定時間前(例えば2秒前など)の鮮やかなシーンであるか否かの判別結果を記憶しており、ステップS304では記憶している過去の判別結果に基づいて判別を行う。このチェックの結果、過去に鮮やかシーンと判別している場合はステップS305へ進み、過去に鮮やかシーンと判別していない場合はステップS306に進む。
Next, in step S303, the number of blocks having a saturation equal to or higher than a predetermined threshold is calculated from the blocks excluding the face area (for example, the
ステップS305、S306においては、鮮やかなシーンであるか否かを判別するパラメータの1つである、ステップS303で算出した高彩度ブロック割合の閾値Atを決定する。 In steps S305 and S306, the threshold value At of the high saturation block ratio calculated in step S303, which is one of the parameters for determining whether or not the scene is vivid, is determined.
図5は、平均彩度及び高彩度ブロック割合に対する鮮やかなシーンの判別基準の一例を示す図である。
図5(a)に示すように、ステップS302で算出した平均彩度が平均彩度閾値Ctよりも高く、かつ、ステップS303で算出した高彩度ブロック割合が、閾値Atよりも大きい場合は、後述するステップS310において鮮やかなシーンであると判別する。ステップS305、S306ではこの閾値Atを決定する。
FIG. 5 is a diagram illustrating an example of a bright scene discrimination criterion with respect to the average saturation and the high saturation block ratio.
As shown in FIG. 5A, the case where the average saturation calculated in step S302 is higher than the average saturation threshold Ct and the high saturation block ratio calculated in step S303 is larger than the threshold At will be described later. In step S310, it is determined that the scene is vivid. In steps S305 and S306, this threshold value At is determined.
ステップS305においては、高彩度ブロック割合の閾値Atを基準値At(Base)よりも下げ、判別基準を緩和する。この様子を図5(b)に示す。このようにすることにより、過去に鮮やかと判別されている場合は、顔で鮮やかな被写体が隠れた場合でも鮮やかなシーンと判別しやすくする。これに対して、ステップS306においては、高彩度ブロック割合の閾値Atを基準値At(Base)よりも上げ、判別基準を厳格にする。すなわち、過去に鮮やかなシーンであると判別されている場合には、鮮やかなシーンであると判別されていない場合に比べて判別基準を緩和する。
この様子を図5(c)に示す。このようにすることにより、顔以外の領域に少量の鮮やかな被写体が入っただけで鮮やかなシーンと判別してしまうことを防ぐことができる。
In step S305, the threshold value At of the high saturation block ratio is lowered below the reference value At (Base), and the discrimination criterion is relaxed. This state is shown in FIG. In this way, when it is determined that the subject is vivid in the past, it is easy to discriminate it as a vivid scene even if a bright subject is hidden behind the face. On the other hand, in step S306, the threshold value At of the high saturation block ratio is raised above the reference value At (Base), and the discrimination criterion is made strict. That is, when it is determined that the scene is bright in the past, the determination criterion is relaxed compared to the case where it is not determined that the scene is bright.
This state is shown in FIG. By doing so, it is possible to prevent the scene from being determined to be a vivid scene when only a small amount of a vivid subject enters an area other than the face.
一方、ステップS301のチェックの結果、顔が検出されていない場合は、ステップS307において、全ブロック(8×8ブロック)の平均彩度を算出する。次に、ステップS308において、全ブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、全ブロック数(図4の例では、64個のブロック)に対する所定の閾値以上の彩度であるブロック数の割合(高彩度ブロック割合)を算出する。次に、ステップS309において、ステップS305、S306と同様に、鮮やかなシーンであるか否かを判別するパラメータの一つである高彩度ブロック割合の閾値Atを決定する。本ステップでは、顔が検出されていないため、図5(a)に示す基準値At(Base)を高彩度ブロック割合の閾値Atに設定する。 On the other hand, if no face is detected as a result of the check in step S301, the average saturation of all blocks (8 × 8 blocks) is calculated in step S307. Next, in step S308, the number of blocks having a saturation equal to or greater than a predetermined threshold is calculated from all blocks. Then, the ratio of the number of blocks having a saturation equal to or higher than a predetermined threshold to the total number of blocks (64 blocks in the example of FIG. 4) (high saturation block ratio) is calculated. Next, in step S309, as in steps S305 and S306, a threshold value At of the high saturation block ratio, which is one of the parameters for determining whether or not the scene is vivid, is determined. In this step, since no face is detected, the reference value At (Base) shown in FIG. 5A is set as the threshold value At of the high saturation block ratio.
そして、ステップS310においては、前述の通り、図5に示した鮮やかなシーンの判別基準に従って鮮やかなシーンか否かを判別する。すなわち、ステップS302(もしくはS307)で算出した平均彩度が平均彩度閾値Ctより高く、かつステップS303(もしくはS308)で算出した高彩度ブロック割合が、閾値Atよりも大きいときに鮮やかなシーンであると判別する。 In step S310, as described above, it is determined whether or not the scene is vivid according to the criteria for determining the bright scene shown in FIG. That is, the scene is vivid when the average saturation calculated in step S302 (or S307) is higher than the average saturation threshold Ct and the high saturation block ratio calculated in step S303 (or S308) is larger than the threshold At. Is determined.
以上の処理手順によりシーン判別部113で判別した鮮やかなシーンであるか否かの情報は、カメラ制御部112へ出力される。カメラ制御部112は、シーン判別部113において判別された鮮やかなシーンであるか否かの情報に基づいて、色差信号補正部108において用いるパラメータを制御する。
Information on whether or not the scene is a vivid scene determined by the
本実施形態では、前述したようにカメラ制御部112が色差信号補正部108において用いる色差ゲインGを制御する。色差ゲインGとしてはG1、G2というパラメータがあり、G1>G2≧1という関係である。ここで、鮮やかなシーンと判別した場合は色差ゲインGをG1に設定し、鮮やかなシーンではないと判別した場合は色差ゲインGをG2に設定する。すなわち、鮮やかなシーンと判別した場合は、色差信号に対するゲインをより高くすることにより、より彩度を強調した画像に補正する。
In the present embodiment, as described above, the
以上、説明したように、本実施形態によれば、鮮やかなシーンか否かを判別し、その判別結果に応じて画像処理を制御する。具体的には、人物の顔を検出し、鮮やかであるか否かのシーン判別に対して、検出した顔の領域が与える影響を制限するような制御を行うようにした。これにより、入力された撮影画像に人物が入っているか否かに関わらず、鮮やかなシーンを適切に判別することができ、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。 As described above, according to the present embodiment, it is determined whether or not the scene is vivid, and image processing is controlled according to the determination result. Specifically, a human face is detected, and control is performed so as to limit the influence of the detected face area on scene determination as to whether the face is vivid or not. This makes it possible to properly discriminate vivid scenes regardless of whether or not a person is included in the input captured image, and enhance saturation even for images containing any vivid scene. Image processing can be performed.
なお、本実施形態では、人物の顔を検出する場合を例に説明したが、人物の顔に限定するものではない。例えば、動物や、植物などどのようなものを検出してもよい。また、本実施形態では、鮮やかなシーンであるか否かを判別するために、彩度の平均値などの情報を、顔領域を除外して算出する例について説明した。一方、鮮やかなシーンの判別に対して、顔領域の影響が少なくなるのであればどのような処理を行ってもよい。例えば、顔領域に相当するブロック(例えば、図4(b)に示す顔領域401)に対して重み付けをし、彩度の平均値を算出する際に顔領域の影響が少なくなるような制御を行ってもよい。
In the present embodiment, a case where a human face is detected has been described as an example, but the present invention is not limited to a human face. For example, any object such as an animal or a plant may be detected. Further, in the present embodiment, an example has been described in which information such as the average value of saturation is calculated by excluding the face area in order to determine whether or not the scene is vivid. On the other hand, any process may be performed as long as the influence of the face area is small for discrimination of a vivid scene. For example, a block corresponding to the face area (for example, the
また、本実施形態では、高彩度ブロック割合の閾値を顔の検出結果に応じて変更したが、鮮やかなシーンを判別するためのパラメータであればどのようなパラメータを顔の検出によって制御してもよい。また、鮮やかなシーンを判別するためのパラメータを高彩度ブロック割合及び平均彩度の2つに限定するものではなく、人間の知覚に倣って鮮やかなシーンだと判別されるために設定された条件であれば、どのような条件やパラメータ、判別基準を用いてもよい。 In the present embodiment, the threshold value of the high saturation block ratio is changed according to the face detection result. However, any parameter for discriminating a vivid scene may be controlled by detecting the face. . In addition, the parameters for discriminating a vivid scene are not limited to the high chroma block ratio and the average chroma, but the conditions set for discriminating that the scene is vivid according to human perception. Any conditions, parameters, and discrimination criteria may be used.
また、本実施形態では、色差信号補正部108において用いる色差ゲインGを、鮮やかなシーンと鮮やかなシーンでない場合との2値で用意しているが、これに限らない。主被写体として人物が検出された場合、人物が検出されていない場合と同じように色差ゲインを設定し、彩度を強調すると、人物の肌色が不自然な色に見えてしまう場合がある。そこで、人物が検出された場合には、検出されていない場合に比べて彩度への重みを小さくし、鮮やかさを強調する補正の程度を抑えるようにしてもよい。すなわち、人物が検出されたときの色差ゲインGをG3とすると、G1>G3>G2の関係が成り立つように、G3を設定するとよい。
In the present embodiment, the color difference gain G used in the color difference
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばG1<G2≦1のようにゲインを設定してやるとよい。上記のように人物が検出された場合の色差ゲインGをG3とするならば、当然G1<G3<G2である。 In the present embodiment, the processing for increasing the saturation and enhancing the vividness of the image data determined to be a vivid scene has been described. However, the present invention is not limited to this, and conversely for the vivid scene. It can also be applied to processing that reduces saturation and suppresses vividness. In this case, for example, the gain may be set such that G1 <G2 ≦ 1. If the color difference gain G when a person is detected as described above is G3, then naturally G1 <G3 <G2.
また、本実施形態では、鮮やかなシーンであるか否かの判別結果を基に設定された色差ゲインGを、画像データ全体に一律にかけているが、これに限らない。画像データ中の彩度の高いブロック(あるいは画素)に限定して、それ以外のブロックに比べて高い色差ゲインGをかけるなどしてもよい。 In the present embodiment, the color difference gain G set based on the determination result of whether or not the scene is vivid is uniformly applied to the entire image data. However, the present invention is not limited to this. It may be limited to blocks (or pixels) with high saturation in the image data, and a high color difference gain G may be applied compared to other blocks.
さらに、本実施形態では、数1に示した式により色差信号(R−Y,B−Y)から彩度(chroma)を算出したが、彩度の算出方法をこれに限定するものではない。例えば、L*a*b*空間などの他の空間に一度変換してからL*a*b*空間で彩度を算出してもよい。また、本実施形態では、信号分割部110により8×8ブロックに画像信号を分割する例について説明したが、どのような分割数であってもよい。
Furthermore, in the present embodiment, the saturation (chroma) is calculated from the color difference signals (R−Y, B−Y) by the equation shown in Equation 1, but the method for calculating the saturation is not limited thereto. For example, the saturation may be calculated in the L * a * b * space after being once converted into another space such as the L * a * b * space. In this embodiment, the example in which the image signal is divided into 8 × 8 blocks by the
また、本実施形態では、鮮やかなシーンであるか否かについて2値で判別したが、鮮やか度合い等のように多値で算出してもよい。この場合、平均彩度が高いほど、また、高彩度ブロック割合が多いほど鮮やか度合いが高くなるようにする。 In the present embodiment, whether or not a scene is vivid is determined by binary, but may be calculated by multiple values such as the degree of vividness. In this case, the higher the average saturation and the higher the saturation block ratio, the higher the vividness.
図6は、鮮やか度と高彩度ブロック割合との関係の一例を示す図である。
図6において、601は顔が検出されていないときの基準特性である。一方、顔が検出されると、基準特性601を変化させる。例えば、602は、顔が検出され、過去に鮮やかと判別されていた場合の特性である。この場合は、図3のステップS305において、基準特性601よりも鮮やか度が高くなる特性602となる。これに対して、603は、顔が検出され、過去に鮮やかと判別されていない場合の特性である。この場合は、図3のステップS306において、基準特性601よりも鮮やか度が低くなる特性603となる。
FIG. 6 is a diagram illustrating an example of the relationship between the vividness and the high saturation block ratio.
In FIG. 6,
以上のように制御することにより、鮮やかなシーンの判別結果を2値ではなく、多値(鮮やか度)で表現した場合でも、顔の有無により鮮やかの判別のしやすさを制御できるようになり、鮮やかなシーンをより適切に判別することができる。 By controlling as described above, even when the discrimination result of a vivid scene is expressed not in binary but in multiple values (vividness), it becomes possible to control the ease of discrimination of vividness depending on the presence or absence of a face. Thus, a vivid scene can be discriminated more appropriately.
さらに、画像中に顔が占める面積割合に応じて、鮮やかなシーンを判別するためのパラメータを制御してもよい。例えば、本実施形態では、顔検出した場合に、高彩度ブロック割合の閾値Atを過去の判別結果に応じて一律に決定するものとして説明したが、画像中に占める顔の割合に応じて閾値Atを動的に決定するようにしてもよい。これについて図7を参照しながら説明する。 Furthermore, parameters for discriminating vivid scenes may be controlled according to the area ratio of the face in the image. For example, in the present embodiment, when the face is detected, the threshold value At of the high saturation block ratio is uniformly determined according to the past determination result. However, the threshold value At is set according to the ratio of the face in the image. It may be determined dynamically. This will be described with reference to FIG.
図7(a)は、過去に鮮やかと判別されている場合の鮮やかなシーンを判別するための高彩度ブロック割合の閾値Atの一例を示す図である。
図7(a)において、At(min)は、基準値At(Base)の最大変動量(閾値の下限値)を示す。図7に示す例では、画像中における顔の占める割合に基づき、下限値At(min)と基準値At(Base)との間の値を最終的な鮮やかシーン判別の閾値Atとして決定する。
FIG. 7A is a diagram illustrating an example of the threshold value At of the high saturation block ratio for determining a vivid scene when it has been determined to be vivid in the past.
In FIG. 7A, At (min) indicates the maximum fluctuation amount (lower threshold value) of the reference value At (Base). In the example illustrated in FIG. 7, a value between the lower limit value At (min) and the reference value At (Base) is determined as a final bright scene determination threshold value At based on the ratio of the face in the image.
図7(b)は、画像中における顔の占める割合と鮮やかなシーンと判別する閾値Atとの関係の一例を示す図である。
図7(b)に示すように、例えば、画像中における顔の占める割合がFrの場合、最終的な高彩度ブロック割合の閾値AtはAt(Fr)に決定される。例えば、図8(a)に示すように画像中における顔の占める割合が小さい場合は、顔が検出されていても、鮮やかなシーンを判別する際に顔の影響度は低い。一方、図8(b)に示すように、画像中における顔の占める割合が大きい場合は、顔の検出結果によって鮮やかなシーンを判別する際に顔の影響度は高い。そこで、画像に対して顔が占める面積割合が高くなるほど、鮮やかなシーンを判別するための閾値Atを基準値At(Base)から大きく変更するようにしてもよい。
FIG. 7B is a diagram illustrating an example of the relationship between the ratio of the face in the image and the threshold value At for determining a vivid scene.
As shown in FIG. 7B, for example, when the ratio of the face in the image is Fr, the threshold value At of the final high saturation block ratio is determined to be At (Fr). For example, as shown in FIG. 8A, when the ratio of the face in the image is small, even when the face is detected, the influence degree of the face is low when determining a vivid scene. On the other hand, as shown in FIG. 8B, when the proportion of the face in the image is large, the influence degree of the face is high when determining a vivid scene based on the face detection result. Therefore, the threshold value At for determining a vivid scene may be largely changed from the reference value At (Base) as the area ratio of the face to the image increases.
また、本実施形態では、シーン判別部113によるシーン判別結果を、その判別に用いた画像データに対して反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム(画像データ)に対する判別結果に応じた画像処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた画像処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。また、このとき、過去の判別結果として用いる判別結果は、判別対象のフレームの直前のフレームの判別結果でも良いし、直前までの複数フレームから得られる判別結果であってもよい。
In this embodiment, the scene discrimination result by the
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すPCなどの情報処理装置において、撮影された画像データ(フレーム)に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すPCなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。 The situation that is specifically assumed is a situation in which processing is performed on captured image data (frames) in an imaging apparatus capable of capturing a still image or an information processing apparatus such as a PC that performs image processing on image data. is there. In addition, in an information processing apparatus such as an imaging apparatus capable of live view display or moving image shooting or a PC that performs image processing on a moving image, the above-described processing over a plurality of frames is assumed.
また、本実施形態では、シーン判別部113によって出力された判別結果を用いて画像データに対して彩度の補正をかけているが、判別結果の利用法としてはこれに限らない。例えば、判別結果を不図示の表示手段に表示させ、ユーザに知らしめたり、画像データを保存する際に、判別結果に対応した情報をヘッダなどに付帯して、保存後に画像データの撮影されたシーンが特定できるようにしたりもできる。また、補正1つをとってみても、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。
In this embodiment, the saturation correction is applied to the image data using the determination result output by the
(第2の実施形態)
以下、図9〜図11を参照しながら、本発明の第2の実施形態に係る撮像装置について説明する。本実施形態では、顔が検出されたことにより隠れてしまった彩度などの評価値を、過去に検出した評価値で置き換えるようにしている。
(Second Embodiment)
Hereinafter, an imaging apparatus according to the second embodiment of the present invention will be described with reference to FIGS. 9 to 11. In the present embodiment, evaluation values such as saturation that are hidden by detecting a face are replaced with evaluation values detected in the past.
図9は、本実施形態に係る撮像装置900の構成例を示すブロック図である。なお、図9において、図1と同じ符号のものは同じブロックであるため説明を省略する。本実施例では、図1の構成に対して、評価値メモリ901、及び動き量検出部902をさらに備えている。
FIG. 9 is a block diagram illustrating a configuration example of the
次に、図9に示した撮像装置900の処理の流れについて説明する。画像を撮影し、エンコーダ109から画像信号を出力するまでの流れは第1の実施形態と同様である。また、シーン判別部113において鮮やかなシーンであるか否かを判別し、その結果に応じてカメラ制御部112が色差信号補正部108において用いるパラメータを制御する点も第1の実施形態と同様であるため、詳細な説明は省略する。以下、第1の実施形態と異なる点について説明する。
Next, a processing flow of the
信号分割部110は第1の実施形態と同様に、ブロック毎の輝度信号(Y)、色差信号(R−Y,B−Y)の平均値を算出し、評価値として彩度算出部111に出力する。彩度算出部111は、第1の実施形態と同様に色差信号(R−Y,B−Y)からブロック毎の彩度(Chroma)を算出し、算出した彩度(Chroma)の情報を評価値メモリ901、及びシーン判別部113に出力する。
Similarly to the first embodiment, the
評価値メモリ901は記憶手段として機能し、過去のものを含めて彩度算出部111から出力された全ブロックの彩度(Chroma)の情報を記憶する。ここで、評価値メモリ901に彩度の情報を記憶する処理は、所定時間の間隔で行われるものとする。ただし、顔検出部114において顔が検出されている場合は彩度の情報を記憶しないようにする。動き量検出部902は、レンズ101のズームや防振情報から動き量を算出、算出した動き量の情報をシーン判別部113に出力する。
The
シーン判別部113は、彩度算出部111において算出された彩度の情報、評価値メモリ901に記憶された彩度の情報、顔検出部114による顔検出結果、及び動き量検出部902から出力された動き量の情報に基づき鮮やかなシーンであるか否かを判別する。
The
以下、図10を参照しながらシーン判別部113による処理の流れについて説明する。
図10は、シーン判別部113による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。なお、図10において、図3と同符号の処理は、第1の実施形態で説明したものと同様のため、説明を省略する。
Hereinafter, the flow of processing by the
FIG. 10 is a flowchart illustrating an example of a vivid scene discrimination processing procedure by the
ステップS1001においては、動き量検出部902から出力される動き量の情報に基づいて、画像全体として動いているか否かを判別する。すなわち、動き量検出部902から出力される動き量が所定値以上であるか否かを判別する。この判別の結果、動き量が所定値以上であり、画像全体で動いている場合は、ステップS302へ進む。なお、ステップS302以降の処理は第1の実施形態と同様である。
In step S <b> 1001, it is determined whether the image as a whole is moving based on the movement amount information output from the movement
一方、ステップS1001の判別の結果、動き量が所定値よりも小さく、画像全体で動いていない場合はステップS1002に進む。そして、ステップS1002において、検出された顔領域の彩度を、評価値メモリ901に記憶されている彩度に置き換える。この処理ついて、図11を参照しながら説明する。
On the other hand, if the result of determination in step S1001 is that the amount of motion is smaller than the predetermined value and the entire image is not moving, the process proceeds to step S1002. In step S1002, the saturation of the detected face area is replaced with the saturation stored in the
図11(a)は、顔を含まない撮影画像を示している。前述したように顔を含まない場合の過去の彩度の情報は評価値メモリ901に記憶されている。図11(b)は、図11(a)に示す撮影画像の、評価値メモリ901に記憶されている彩度の分布を示す図である。図11(b)においては、各ブロックにおいて暗い色で表示したブロックほど彩度が高いことを示している。図11(c)は、図11(a)のシーン(撮影画像)に対して人物の顔が入ったシーンの一例を示す図である。図11(d)は、図11(c)に示すシーンの顔領域1101を示している。
FIG. 11A shows a captured image that does not include a face. As described above, past saturation information when no face is included is stored in the
ステップS1002においては、例えば、この顔領域1101に含まれるブロックの彩度を、図11(b)に示す評価値メモリ901に記憶された顔領域に対応する彩度1102に置き換える。ステップS1002において顔領域の評価値を置き換えることにより顔の影響をなくすことができる。したがって、以下の処理では顔がない場合と同様に扱うことができるため、ステップS307に進む。ステップS307以降の処理は第1の実施形態で説明した処理と同様のため説明は省略する。
In step S1002, for example, the saturation of the block included in the
以上のように本実施形態によれば、顔を検出した場合に、顔領域の評価値を過去の顔が検出されていない場合の評価値に置き換えるようにした。このように評価値を置き換えることにより、人物の顔で背景の被写体が隠れてしまった場合でも鮮やかなシーンであるかどうかを適切に判別することができる。これにより、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。 As described above, according to the present embodiment, when a face is detected, the evaluation value of the face area is replaced with the evaluation value when a past face is not detected. By replacing the evaluation value in this way, it is possible to appropriately determine whether or not the scene is vivid even when the background subject is hidden behind the person's face. As a result, image processing with higher saturation can be applied to an image including any vivid scene.
なお、本実施形態では、顔領域の評価値を過去の顔がないときの評価値に置き換える例について説明したが、動き量に応じた比率で2つの評価値を混合するようにしてもよい。また、本実施形態では、評価値として彩度を例に説明したが、顔が入った場合に置き換える評価値は、鮮やかなシーンを判別するために用いる評価値であればどのようなパラメータであってもよい。さらに、本実施形態では、動き量検出部902は、レンズ101など光学系の情報に基づいて動き量を算出したが、動き量を算出できるのであればどのように算出してもよい。例えば、光学系の情報以外に、画像信号を用いて動き量を算出してもよい。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
In this embodiment, the example in which the evaluation value of the face area is replaced with the evaluation value when there is no past face has been described, but the two evaluation values may be mixed at a ratio according to the amount of motion. In this embodiment, the saturation value is described as an example of the evaluation value. However, the evaluation value to be replaced when a face enters is any parameter as long as it is an evaluation value used for distinguishing a vivid scene. May be. Further, in the present embodiment, the motion
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
108 色差信号補正部、111 彩度算出部、112 カメラ制御部、113 シーン判別部、114 顔検出部 108 color difference signal correction unit, 111 saturation calculation unit, 112 camera control unit, 113 scene discrimination unit, 114 face detection unit
Claims (18)
前記入力された画像信号の被写体の領域を検出する検出手段と、
前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、を備え、
前記判別手段は、前記検出手段によって検出される被写体の領域以外の領域の評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置。 A calculating means for calculating an input image signal or al Review value,
Detecting means for detecting a region of a subject of the input image signal;
A determining means on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
Output means for outputting a discrimination result by the discrimination means,
Said discriminating means, have rows the determination based on the evaluation value of the region other than the region of the subject detected by said detecting means, the greater the percentage of the total image area of the subject detected by the detecting means, An image processing apparatus that relaxes the determination condition .
前記入力された画像信号の被写体の領域を検出する検出手段と、
前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、を備え、
前記算出手段は、前記検出手段によって検出される被写体の領域の評価値に、当該被写体の領域以外の領域の評価値に比べて小さい重みをつけ、
前記判別手段は、前記重みを付けられた評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置。 A calculating means for calculating an input image signal or al Review value,
Detecting means for detecting a region of a subject of the input image signal;
A determining means on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
Output means for outputting a discrimination result by the discrimination means,
The calculation means assigns a smaller weight to the evaluation value of the area of the subject detected by the detection means than the evaluation value of the area other than the area of the subject,
Said discriminating means, have rows the determination based on the evaluation values labeled the weight, the greater the percentage of the total image area of the subject detected by the detecting means, to mitigate the discrimination condition A featured image processing apparatus.
前記入力された画像信号の被写体の領域を検出する検出手段と、
前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、を備え、
前記判別手段は、前記検出手段によって検出される被写体の領域の影響が少なくなるように重みづけされた評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置。 A calculating means for calculating an input image signal or al Review value,
Detecting means for detecting a region of a subject of the input image signal;
Based on the evaluation value, and a determination means for the input image signal is discriminated whether or not determine another condition is satisfied,
Said determining means, said had row the determination based on the evaluation value that is weighted so is less affected areas of the subject detected by the detecting means, the entire image area of the subject detected by the detecting means The image processing apparatus is characterized in that the determination condition is relaxed as the proportion of the image becomes larger .
前記判別手段は、前記検出手段によって検出される被写体の領域の評価値を、前記記憶手段に記憶されている評価値に置き換えて前記判別を行うことを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。 Storage means for storing past evaluation values calculated by the calculation means;
12. The determination unit according to claim 1, wherein the determination unit performs the determination by replacing an evaluation value of a subject area detected by the detection unit with an evaluation value stored in the storage unit. The image processing apparatus according to item 1.
前記判別手段は、前記動き量検出手段により検出された動き量が所定値よりも小さい場合に前記記憶手段に記憶されている評価値に置き換えて前記判別を行うことを特徴とする請求項12に記載の画像処理装置。 A motion amount detecting means for detecting a motion amount of the input image;
13. The determination unit according to claim 12, wherein when the amount of motion detected by the motion amount detection unit is smaller than a predetermined value, the determination unit replaces the evaluation value stored in the storage unit with the evaluation value. The image processing apparatus described.
検出手段が、前記入力された画像信号の被写体の領域を検出する検出ステップと、
判別手段が、前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別ステップと、
前記判別ステップによる判別結果を出力する出力ステップと、を備え、
前記判別ステップは、前記検出手段によって検出される被写体の領域以外の領域の評価値に基づいて前記判別を行い、前記検出ステップにより検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置の制御方法。 Calculating means, a calculating step of calculating an image signal or al Review value input,
A detecting step for detecting a region of a subject of the input image signal;
Determining means, a determining step on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
An output step for outputting a determination result obtained by the determination step;
The determination step may have rows the determination based on the evaluation value of the region other than the region of the subject detected by said detecting means, the greater the percentage of the total image area of the subject detected by the detecting step, A control method for an image processing apparatus, wherein the discrimination condition is relaxed .
検出手段が、前記入力された画像信号の被写体の領域を検出する検出ステップと、
判別手段が、前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別ステップと、
前記判別ステップによる判別結果を出力する出力ステップと、を備え、
前記判別ステップは、前記検出手段によって検出される被写体の領域の評価値に、当該被写体の領域以外の領域の評価値に比べて小さい重みをつけ、
前記判別ステップでは、前記重みを付けられた評価値に基づいて前記判別を行い、前記検出ステップにより検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置の制御方法。 Calculating means, a calculating step of calculating an image signal or al Review value input,
A detecting step for detecting a region of a subject of the input image signal;
Determining means, a determining step on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
An output step for outputting a determination result obtained by the determination step;
The determination step assigns a smaller weight to the evaluation value of the area of the subject detected by the detection means than the evaluation value of the area other than the area of the subject,
Wherein in the determination step, the weight had row the determination based on the evaluation values labeled, as percentage of total image area of the subject detected by the detecting step is larger, to mitigate the discrimination condition A control method for an image processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012048169A JP5398860B2 (en) | 2012-03-05 | 2012-03-05 | Image processing apparatus, image processing apparatus control method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012048169A JP5398860B2 (en) | 2012-03-05 | 2012-03-05 | Image processing apparatus, image processing apparatus control method, program, and storage medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009295511A Division JP4948591B2 (en) | 2009-12-25 | 2009-12-25 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012142980A JP2012142980A (en) | 2012-07-26 |
JP5398860B2 true JP5398860B2 (en) | 2014-01-29 |
Family
ID=46678725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012048169A Active JP5398860B2 (en) | 2012-03-05 | 2012-03-05 | Image processing apparatus, image processing apparatus control method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5398860B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689014B (en) * | 2019-10-14 | 2022-02-11 | 腾讯科技(深圳)有限公司 | Method and device for detecting region of interest, electronic equipment and readable storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3034542B2 (en) * | 1990-01-17 | 2000-04-17 | 株式会社日立製作所 | White balance control device |
JP4189328B2 (en) * | 2004-01-16 | 2008-12-03 | セイコーエプソン株式会社 | Image processing apparatus, image display apparatus, image processing method, and image processing program |
JP4680639B2 (en) * | 2005-03-16 | 2011-05-11 | 富士フイルム株式会社 | Image processing apparatus and processing method thereof |
JP5166860B2 (en) * | 2007-12-28 | 2013-03-21 | キヤノン株式会社 | Image processing apparatus and method, and imaging apparatus |
-
2012
- 2012-03-05 JP JP2012048169A patent/JP5398860B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012142980A (en) | 2012-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4958969B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP4948591B2 (en) | Image processing apparatus, image processing method, and program | |
JP6218389B2 (en) | Image processing apparatus and image processing method | |
JP2009159496A (en) | White balance control device, imaging apparatus using the same, and white balance control method | |
CN105960658B (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory storage medium that can be processed by computer | |
JP5814799B2 (en) | Image processing apparatus and image processing method | |
JP2015032966A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP6702752B2 (en) | Image processing device, imaging device, control method, and program | |
US8743236B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP6677222B2 (en) | Detection device, image processing device, detection method, and image processing method | |
JP6080531B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP6060498B2 (en) | Correction device | |
JP2015192338A (en) | Image processing device and image processing program | |
JP5706705B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
JP2021153229A (en) | Information processing apparatus, imaging apparatus, method, program, and storage medium | |
JP5398860B2 (en) | Image processing apparatus, image processing apparatus control method, program, and storage medium | |
JP5693647B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP2007312099A (en) | Image-taking device | |
JP5264695B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP5539428B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP2018196069A (en) | Imaging apparatus | |
JP5367140B2 (en) | White balance control device, imaging device using the same, and white balance control method | |
JP2011223129A (en) | Electronic camera | |
JP2016170626A (en) | Image processor, image processing method, and image processing program | |
JP2010021915A (en) | Digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131022 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5398860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |