JP6378496B2 - Image processing apparatus, control method, and recording medium - Google Patents
Image processing apparatus, control method, and recording medium Download PDFInfo
- Publication number
- JP6378496B2 JP6378496B2 JP2014035994A JP2014035994A JP6378496B2 JP 6378496 B2 JP6378496 B2 JP 6378496B2 JP 2014035994 A JP2014035994 A JP 2014035994A JP 2014035994 A JP2014035994 A JP 2014035994A JP 6378496 B2 JP6378496 B2 JP 6378496B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image
- noise
- pixel
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 93
- 238000000034 method Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 4
- 210000000746 body region Anatomy 0.000 claims description 2
- 238000011946 reduction process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、画像処理装置、制御方法及び記録媒体に関し、特に画像に含まれるノイズを低減する技術に関する。 The present invention relates to an image processing apparatus, a control method, and a recording medium, and more particularly to a technique for reducing noise included in an image.
デジタルカメラ等の撮像装置で撮影して得られた画像には、撮影条件によってはノイズが含まれることがある。ノイズは現像過程によるゲイン処理等によって増幅された場合に目立ちうるため、画像にはノイズを低減するためのノイズリダクション処理(NR処理)が適用される。NR処理は、ノイズと判定された画素をその周囲の画素を用いて補正するため、画像の全体に対して該処理を適用した場合に、その適用レベルによっては画像がボケたような状態になりうる。特に、画像内の被写体像のエッジにこのような処理がなされると、画像の解像感を低下させる要因にもなる。 An image obtained by photographing with an imaging device such as a digital camera may contain noise depending on photographing conditions. Since noise becomes conspicuous when amplified by a gain process or the like in the development process, noise reduction processing (NR processing) for reducing noise is applied to the image. Since NR processing corrects pixels that are determined to be noise using surrounding pixels, when the processing is applied to the entire image, the image may be blurred depending on the application level. sell. In particular, when such processing is performed on the edge of the subject image in the image, it may cause a decrease in the resolution of the image.
従って、画像に対してNR処理を適用する際には、適用する画素がエッジ部であるか、それ以外の所謂平坦部であるかによって、それぞれ処理を異ならせる行うものがある(特許文献1及び2)。
Therefore, when applying NR processing to an image, there is a method in which processing is different depending on whether the pixel to be applied is an edge portion or a so-called flat portion other than that (
一方で、近年の撮像装置の中には、高感度撮影に対応可能な撮像素子が採用されるものもある。高感度撮影は現像過程による信号増幅率がより高いため、画像内に発生したランダムノイズが被写体像の信号レベルよりも高くなることがある。このようなランダムノイズは、エッジ部であるか否かの判断においてエッジ部と判別されることがあり、特許文献1及び2のようなNR処理を行った場合に好適な補正結果が得られない可能性があった。
On the other hand, some recent imaging apparatuses employ an imaging element that can handle high-sensitivity imaging. Since high-sensitivity shooting has a higher signal amplification factor in the development process, random noise generated in the image may be higher than the signal level of the subject image. Such random noise may be identified as an edge portion in determining whether or not it is an edge portion, and a suitable correction result cannot be obtained when NR processing as in
本発明は、上述の問題点に鑑みてなされたものであり、ノイズが含まれる画像おいて、含まれるエッジを好適に検出する画像処理装置、制御方法及び記録媒体を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image processing apparatus, a control method, and a recording medium that suitably detect an included edge in an image including noise. .
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、所定の時間内に撮影された複数の入力画像を取得する取得手段と、取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、特定手段により特定されたノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、を有し、特定手段は、複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、ノイズがエッジとして検出されている画素として特定することを特徴とする。 In order to achieve the above object, an image processing apparatus of the present invention is characterized by having the following configuration. Specifically, the image processing apparatus acquires an edge of a subject image in each image from an acquisition unit that acquires a plurality of input images captured within a predetermined time, and a plurality of input images acquired by the acquisition unit. The first generation unit that generates the emphasized edge image, the correction unit that corrects the positional deviation of the subject image between the plurality of edge images generated by the first generation unit, and the positional deviation is corrected by the correction unit. In a plurality of edge images, noise is detected from a plurality of edge images based on information on a pixel in which noise is detected as an edge, and information on a pixel in which the noise specified by the specifying means is detected as an edge. possess a second generating means for generating a reduced output edge image, a specific means, the upper of the plurality of edge images, the absolute value of the difference between the pixel values of the image to threshold Pixels that, noise and identifies a pixel that is detected as an edge.
このような構成により本発明によれば、ノイズが含まれる画像おいて、含まれるエッジを好適に検出することが可能となる。 With such a configuration, according to the present invention, it is possible to suitably detect an included edge in an image including noise.
[実施形態1]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、画像処理装置の一例として、画像から被写体像のエッジ部を検出したエッジ画像を生成可能なPC等の装置に、本発明を適用した例を説明する。しかし、本発明は、画像から被写体像のエッジ部を検出することが可能な任意の機器に適用可能である。また、本明細書において、「エッジ部」とは、空間周波数が高く、周波数領域における振幅の起伏が急峻となっている領域を指し、「平坦部」とは、周波数領域における振幅の起伏がなだらかな領域を指すものとする。
[Embodiment 1]
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In an embodiment described below, an example in which the present invention is applied to an apparatus such as a PC that can generate an edge image obtained by detecting an edge portion of a subject image from an image will be described as an example of an image processing apparatus. However, the present invention can be applied to any device that can detect an edge portion of a subject image from an image. In this specification, the “edge portion” refers to a region where the spatial frequency is high and the amplitude undulation in the frequency domain is steep, and the “flat portion” refers to a gradual amplitude undulation in the frequency domain. It shall refer to an area.
《画像処理装置100の構成》
図1は、本発明の実施形態に係る画像処理装置100の、エッジ画像生成に係る機能構成を示すブロック図である。本実施形態では画像処理装置100には、同一の被写体を同一の撮影条件で連続撮影して得られた2つの画像を用いて、ランダムノイズを低減し、好適にエッジ部を示すエッジ画像を生成する例について説明する。しかし、本発明の実施において処理対象となる複数の画像はこれに限られるものでなく、同一の被写体を所定の時間内に撮影して得られた複数の画像であってもよい。また、以下に示す画像処理装置100の構成は、各々が入力された画像を順次処理する回路として構成されてもよいし、不図示の制御部により、記録媒体に記録された所定の動作プログラムに基づいてその動作が制御されるものであってもよい。
<< Configuration of
FIG. 1 is a block diagram illustrating a functional configuration related to edge image generation in the
処理対象となる第1の入力画像及び第2の入力画像は各々、第1のエッジ画像生成部101または第2のエッジ画像生成部102に入力される。第1のエッジ画像生成部101及び第2のエッジ画像生成部102は、入力された画像に対して所定のフィルタを適用することによりエッジ画像を生成する。例えば第1のエッジ画像生成部101及び第2のエッジ画像生成部102は、図2(a)に示すような詳細構成を有していればよい。
The first input image and the second input image to be processed are input to the first edge
図2(a)では、入力された画像には水平Sobelフィルタ201及び垂直Sobelフィルタ203が適用され、水平方向及び垂直方向の各々についてエッジ成分を強調した画像に変換される。水平Sobelフィルタ201及び垂直Sobelフィルタ203で適用されるフィルタは、それぞれ図2(b)、(c)に示すようなフィルタであってよい。このように水平方向及び垂直方向の各々についてエッジが強調された画像は、絶対値フィルタ202または絶対値フィルタ204に入力されて絶対値化がなされたのち、加算器205において加算され、第1のエッジ画像または第2のエッジ画像として出力される。
In FIG. 2A, a
位置合わせ部103は、第1のエッジ画像生成部101及び第2のエッジ画像生成部102から出力された第1のエッジ画像及び第2のエッジ画像において、被写体像の位置合わせする処理を行う。処理対象である第1の入力画像と第2の入力画像とは、連続して撮影されてはいるが、その間に撮影者の手振れ等によって、とらえている被写体像が2次元に移動している可能性があるため、位置合わせ部103においてその位置ずれを補正する。具体的には位置合わせ部103は、例えば第1のエッジ画像と第2のエッジ画像のユークリッド距離を算出することで位置ずれ量を取得し、第1のエッジ画像と被写体像が一致するように第2のエッジ画像を変更して出力する。また位置合わせ部103は、第1のエッジ画像についてはそのまま出力する。本実施形態では、位置合わせ部103は第1のエッジ画像を基準に第2のエッジ画像の位置合わせを行うものとして説明するが、本発明の実施はこれに限られるものではない。位置合わせ部103は、第1のエッジ画像を第2のエッジ画像に合わせる、あるいは両画像をずれの中間位置に合わせるとしてもよい。
The
エッジ合成部104は、位置ずれが解消された第1のエッジ画像及び第2のエッジ画像を合成し、ランダムノイズを低減した出力エッジ画像を生成する。
The
〈出力エッジ画像の生成〉
ここで、エッジ合成部104において生成される出力エッジ画像の生成方法及び原理について以下に詳細を説明する。
<Generation of output edge image>
Here, the generation method and principle of the output edge image generated in the
エッジ合成部104は、まず入力された第1のエッジ画像及び位置合わせ後の第2のエッジ画像から差分画像を生成する。差分画像の生成においては画像間の違いが判ればよいため、差分画像の各画素の画素値dは、絶対値を用いて
d=|e1−e2|
とする。ここで、e1及びe2はそれぞれ第1のエッジ画像、第2のエッジ画像の同一画素位置の画素値(同一被写体像に係る画素値)である。
The
And Here, e1 and e2 are pixel values (pixel values related to the same subject image) at the same pixel position in the first edge image and the second edge image, respectively.
上述したように、第1の入力画像及び第2の入力画像のS/N比が低いような場合、画像内に発生したランダムノイズはエッジ画像化後にはエッジとして残存しうる。しかしながら、被写体像において本来エッジである部分については常にエッジとして現れる一方で、ランダムノイズの誤認識によりエッジとして残存した部分は、必ずしも常にエッジとしては現れない。つまり、ランダムノイズは常に同じ位置に同じ信号レベルで発生するとは限らない。従って、本実施形態ではエッジ合成部104においてエッジ画像間の差分をとることにより、ランダムノイズがエッジとして誤認識された箇所を推定する。即ち、本来的にエッジである部分はエッジ画像間の差分をとった場合には差分が0に近くなり、ランダムノイズである部分はエッジ画像間の差分をとった場合には差分が0とはならず、ノイズに応じた値を示すことになる。故に、本実施形態ではエッジ合成部104は、差分絶対値と閾値との大小比較により、各画素がエッジであるか否かを判断する。
As described above, when the S / N ratio of the first input image and the second input image is low, random noise generated in the image can remain as an edge after edge imaging. However, while the portion that is originally an edge in the subject image always appears as an edge, the portion that remains as an edge due to erroneous recognition of random noise does not always appear as an edge. That is, random noise does not always occur at the same position and at the same signal level. Therefore, in this embodiment, the
なお、本実施形態のように2種類の入力画像が同一の撮影条件にて撮影されたものとすれば、このような現象が現れるが、2種類の入力画像は異なる撮影条件であってもよい。この場合、撮影条件に応じて信号レベルが上下するため、撮影条件に応じて正規化した後に、差分絶対値を算出するようにすればよい。即ち、画像処理装置100に入力される複数の画像は同一の撮影条件により撮影されたものであることが好ましいが、本発明の実施においてこれは必須の要件ではない。
Note that if two types of input images are taken under the same shooting conditions as in the present embodiment, such a phenomenon appears, but the two types of input images may have different shooting conditions. . In this case, since the signal level rises and falls according to the shooting conditions, the difference absolute value may be calculated after normalization according to the shooting conditions. That is, the plurality of images input to the
エッジ合成部104は、得られた差分画像の画素値と閾値Tとを比較し、各画素がランダムノイズを誤認識したことにより現れたエッジであるか否かを判断する。具体的にはエッジ合成部104は、画素値が閾値T以下である差分画像の画素については、第1のエッジ画像及び第2のエッジ画像の同じ画素位置の画素が、本来的なエッジ部あるいは正しく認識された平坦部を示すと判断する。またエッジ合成部104は、画素値が閾値Tを上回る差分画像の画素については、第1のエッジ画像及び第2のエッジ画像の同じ画素位置の画素はランダムノイズを誤認識したことにより現れたエッジ、即ち本来的には平坦部であったものと判断する。ここで閾値Tは、第1の入力画像あるいは第2の入力画像の撮影条件のうち、ISO感度や画素に対応するエリア(撮影環境)における輝度の大きさによって決定されるものとする。例えば輝度が高いエリアでは信号レベルが高いノイズが発生しうるため、Tはそれに伴い大きく設定される。
The
本実施形態ではエッジ合成部104は、本来的なエッジ部あるいは正しく認識された平坦部であると判断した画素については第1のエッジ画像からの画素を出力エッジ画像の同画素位置の画素に割り当てる。またエッジ合成部104は、ランダムノイズを誤認識したことにより現れたエッジであると判断した画素については第1のエッジ画像及び第2のエッジ画像を加重平均することにより出力エッジ画像の同画素位置の画素を生成する。加重平均の重みは閾値Tを用いて線型的に決定されてよく、両方のケースを総合すると第2のエッジ画像の画素に対して割り当てられる加重wは
w=d−T (d>T)
w=0 (d≦T)
として表すことができる。つまり、出力エッジ画像の各画素eは、第1のエッジ画像及び第2のエッジ画像の加重が図3(a)及び(b)のようになるため、
e={e1・(T−w)+e2・w}/T
として算出することができる。
In this embodiment, the
w = 0 (d ≦ T)
Can be expressed as That is, each pixel e of the output edge image has the weights of the first edge image and the second edge image as shown in FIGS. 3A and 3B.
e = {e1 · (T−w) + e2 · w} / T
Can be calculated as
即ち、本実施形態の画像処理装置100において生成される出力エッジ画像は、同一被写体について生成した複数のエッジ画像間における差分が閾値以下の画素についてはランダムノイズがないと判断し、1つのエッジ画像の画素のみを用いる。また、同一被写体について生成した複数のエッジ画像間における差分が閾値を上回る画素についてはランダムノイズが発生していると判断し、複数のエッジ画像の画素を加重平均することにより、ノイズの影響を低減した画素を生成する。このようにすることで、ランダムノイズを低減し、好適に本来的なエッジ部を識別可能なエッジ画像を得ることができる。なお、ノイズであると判断した画素については、複数のエッジ画像の画素値を加重平均する代わりに、複数のエッジ画像のうち最も小さい画素値を選択するようにしてもよい。
That is, the output edge image generated in the
また、本実施形態では2つの入力画像から1つの出力エッジ画像を生成する方法について説明したが、本発明の実施において入力画像の数はこれに限られるものでないことは容易に理解されよう。即ち、本発明で生成される出力エッジ画像は、複数のエッジ画像間においてノイズであると判断した画素については複数のエッジ画像の画素値を加重平均し、ノイズではないと判断した画素についてはいずれか1つのエッジ画像の画素値を用いればよいものである。従って、3以上の入力画像についても、同様に本発明が適用であることは言うまでもない。 In this embodiment, a method for generating one output edge image from two input images has been described. However, it will be easily understood that the number of input images is not limited to this in the implementation of the present invention. That is, the output edge image generated by the present invention is a weighted average of pixel values of a plurality of edge images for pixels determined to be noise between the plurality of edge images, and any pixel determined to be not noise. The pixel value of one edge image may be used. Therefore, it goes without saying that the present invention is similarly applied to three or more input images.
以上説明したように、本実施形態の画像処理装置は、ノイズが含まれる画像おいて、含まれるエッジを好適に検出することができる。具体的には画像処理装置は、所定の時間内に撮影された複数の入力画像を取得し、取得した複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する。また、生成した複数のエッジ画像間における被写体像の位置ずれを補正し、ノイズがエッジとして検出されている画素を特定する。そして画像処理装置は、ノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する。 As described above, the image processing apparatus according to the present embodiment can preferably detect included edges in an image including noise. Specifically, the image processing apparatus acquires a plurality of input images photographed within a predetermined time, and generates an edge image in which the edge of the subject image in each image is emphasized from the acquired plurality of input images. . Further, the positional deviation of the subject image between the plurality of generated edge images is corrected, and the pixel in which noise is detected as an edge is specified. Then, the image processing apparatus generates an output edge image with reduced noise from a plurality of edge images based on information on pixels in which noise is detected as an edge.
[実施形態2]
上述した実施形態では、ノイズの影響を低減したエッジ画像を生成する方法について説明したが、本実施形態では同様のエッジ画像を生成しつつ、エッジ部及び平坦部の各々を適切にノイズ低減した画像を生成する方法について説明する。
[Embodiment 2]
In the above-described embodiment, the method of generating an edge image with reduced influence of noise has been described. However, in the present embodiment, an image in which noise is appropriately reduced in each of the edge portion and the flat portion while generating a similar edge image. A method of generating the will be described.
《画像処理装置100の機能構成》
図4は、本発明の実施形態に係る画像処理装置100の、エッジ部及び平坦部の各々について異なるノイズリダクション(NR)処理を行った画像の生成に係る機能構成を示すブロック図である。本実施形態では、実施形態1と同様に、同一の被写体を同一の撮影条件で連続撮影して得られた2つの画像を用いて、入力した画像におけるランダムノイズを低減した画像を生成する例について説明する。以下の機能構成の説明において、実施形態1と同様の処理を行うブロックについては同一の参照番号を付して説明を省略し、本実施形態に固有の構成についてのみ説明するものとする。
<< Functional Configuration of
FIG. 4 is a block diagram illustrating a functional configuration related to generation of an image obtained by performing different noise reduction (NR) processing on each of the edge portion and the flat portion of the
処理対象となる第1の入力画像は、エッジNR処理部401、第1の平坦NR処理部402、第1のエッジ画像生成部101、位置合わせ部404及び動体検出部405に入力される。また処理対象となる第2の入力画像は、位置合わせ部404、第2のエッジ画像生成部102、第2の平坦NR処理部403に入力される。
The first input image to be processed is input to the edge
エッジNR処理部401は、第1の入力画像のエッジを識別し、該エッジの種類に応じたNR処理を実行し、エッジ部NR画像を生成する。本実施形態ではエッジNR処理部401は、図5に示される構成を有するものとして説明するが、エッジの種類に応じて入力画像のエッジ部のノイズ低減を行う既存の手法のいずれを用いてもよい。
The edge
エッジ方向検出部501は、第1の入力画像の全画素がエッジを示すものと仮定し、各画素についてエッジ方向を検出する。具体的にはエッジ方向検出部501は、着目画素を中心とする5×5画素の領域を参照し、図6に示されるようなエッジ方向検出用の方向テンプレートのいずれに該当するかを判定し、着目画素についてのエッジ方向を検出結果として出力する。エッジ方向の検出においてエッジ方向検出部501は、参照している5×5画素から方向テンプレートにおいて直線を構成する画素(図6の各パターンにおいてハッチングされる画素)の画素値を抽出する。そして、抽出した5画素と着目画素について画素値の差の絶対値の総和(SAD値)を算出する。エッジ方向検出部501は、方向テンプレートの全てについてSAD値を算出し、12方向のうちSAD値が最少となる方向を着目画素のエッジ方向として出力する。
The edge
適応NR処理部502は、エッジ方向検出部501におけるエッジ方向の検出結果に基づき、第1の入力画像に対してエッジ方向に応じたNR処理を実行する。具体的には適応NR処理部502は、着目画素に対して、図7に示されるようなエッジ方向に対応する7画素(ハッチングで示される画素)のうち、着目画素との画素値の差の絶対値が所定値以下となる画素を用いて画素値の平均値を算出する。そして適応NR処理部502は、平均値をNR処理後の着目画素の画素値として決定する。このようにして適応NR処理部502は、第1の入力画像の全画素についてエッジ方向に適応したNR処理が適用されたエッジ部NR画像を生成し、出力する。
The adaptive
第1の平坦NR処理部402及び第2の平坦NR処理部403は、入力された画像に対してエッジ方向を考慮しないNR処理、即ちエッジNR処理部401で行われるNR処理とは異なる処理を実行する。本実施形態では第1の平坦NR処理部402及び第2の平坦NR処理部403は、第1の入力画像または第2の入力画像の全画素について、図8に示されるような着目画素を中心とする7×7画素を参照する。そして、7×7画素のうち、着目画素の画素値の差の絶対値が所定値以下となる画素を用いて画素値の平均値を算出し、NR処理後の着目画素の画素値として決定する。このようにすることで、第1の平坦NR処理部402及び第2の平坦NR処理部403は、エッジ等の周囲画素との画素値の差が生じうる画像を除いた平坦部に対して、平滑化を適用した第1の平坦部NR画像あるいは第2の平坦部NR画像を出力する。
The first flat
位置合わせ部404は、入力された第1の入力画像と第2の入力画像において、被写体像の位置合わせをする処理を行い、画像間の手振れの影響を補正する。具体的には位置合わせ部404は、実施形態1の位置合わせ部103と同様に画像間のユークリッド距離から位置ずれ量を取得し、第1の入力画像と被写体像が一致するように第2の入力画像を射影変換等により変更して出力する。また位置合わせ部404は、取得した位置ずれ量を用いて第2のエッジ画像及び第2の平坦部NR画像を変更し、出力する。また位置合わせ部404は、第1の入力画像についてはそのまま出力する。
The
動体検出部405は、位置ずれが解消された第1の入力画像と第2の入力画像から、画像間において動きのあった被写体に対応する領域を検出する。具体的には動体検出部405は、第1の入力画像と第2の入力画像とを画素ごとに画素値の差分を算出し、該差分が所定値以上となる画素とその周辺画素とを動体領域として特定する。動体検出部405は、検出した動体領域情報を出力する。
The moving
エッジ加工部406は、実施形態1と同様にエッジ合成部104で生成された出力エッジ画像に対して、さらにエッジを太く、かつなだらかにするための加工処理を行う。該加工処理は、まず図9(a)に示すように最大値フィルタ901において、例えば着目画素を中心とする5×5画素のうちの最大の画素値を着目画素に割り当てる処理を適用する。その後、ローパスフィルタ902において図9(b)に示されるようなローパスフィルタを適用し、正規化した値を生成することにより行われる。
As in the first embodiment, the
このようにエッジNR処理部401、第1の平坦NR処理部402、第2の平坦NR処理部403、位置合わせ部404、動体検出部405及びエッジ加工部406において生成された画像等は、画像合成部407に入力され、ノイズ低減画像の生成に用いられる。本実施形態の画像合成部407は、図10に示されるような詳細構成を有する。
As described above, the image generated by the edge
平坦画像生成部1001は、入力された第1の平坦部NR画像、第2の平坦部NR画像、及び動体領域情報から、ランダムノイズの影響を低減した平坦部NR画像(平滑化画像)を生成する。具体的には平坦画像生成部1001は、動体領域情報に基づき、動体が検出された領域については所謂二重像の発生を防ぐため第1の平坦部NR画像のみから抽出した画素を平坦部NR画像の画素として使用する。また動体が検出されなかった領域については、第1の平坦部NR画像と第2の平坦部NR画像の画素値の平均値を平坦部NR画像の画素として割り当てる。このようにすることで、平坦画像生成部1001は、第1の平坦NR処理部402あるいは第2の平坦NR処理部403の平滑化処理において残存したランダムノイズに係る画素について、ノイズの影響を低減する。
The flat
そしてNR画像生成部1002は、加工後の出力エッジ画像に基づいて、エッジ部NR画像と平坦部NR画像とを合成し、ノイズ低減画像を生成する。具体的にはNR画像生成部1002は、加工後の出力エッジ画像において画素値がエッジ部を示す値域に分類される画素については、エッジ部NR画像から対応する画素を抽出してノイズ低減画像の画素とする。また加工後の出力エッジ画像において画素値が平坦部を示す値域に分類される画素については、平坦部NR画像から対応する画素を抽出してノイズ低減画像の画素とする。また加工後の出力エッジ画像において画素値がエッジ部を示す値域と平坦部を示す値域との中間の値域に分類される画素については、該画素値に応じてエッジ部NR画像と平坦部NR画像とを加重平均することにより得られた画素値を割り当てる。このようにすることで、NR画像生成部1002は、実施形態1の手法により得られた出力エッジ画像を参照し、エッジ部、平坦部、そしてランダムノイズによる影響が現れた部分の各々について好適にノイズを低減した画像を生成することができる。
Then, the NR
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (12)
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、
前記第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、を有し、
前記特定手段は、前記複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、前記ノイズがエッジとして検出されている画素として特定する
ことを特徴とする画像処理装置。 Obtaining means for obtaining a plurality of input images photographed within a predetermined time;
First generation means for generating an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired by the acquisition means;
Correction means for correcting a positional deviation of a subject image between a plurality of edge images generated by the first generation means;
In a plurality of edge images whose positional deviation has been corrected by the correcting unit, a specifying unit that specifies a pixel in which noise is detected as an edge;
Wherein said noise specified by the specifying means based on the information of the pixel is detected as an edge, from said plurality of edge images, possess a second generating means for generating an output edge image with reduced noise, ,
The specifying means specifies a pixel in which an absolute value of a pixel value difference between images exceeds a threshold among the plurality of edge images as a pixel in which the noise is detected as an edge. An image processing apparatus.
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、
前記第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、を有し、
前記第2の生成手段は、前記ノイズがエッジとして検出されている画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像の画素値を加重平均することにより画素値を求める
ことを特徴とする画像処理装置。 Obtaining means for obtaining a plurality of input images photographed within a predetermined time;
First generation means for generating an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired by the acquisition means;
Correction means for correcting a positional deviation of a subject image between a plurality of edge images generated by the first generation means;
In a plurality of edge images whose positional deviation has been corrected by the correcting unit, a specifying unit that specifies a pixel in which noise is detected as an edge;
Second generation means for generating an output edge image in which noise is reduced from the plurality of edge images based on information on a pixel in which the noise specified by the specifying means is detected as an edge. ,
The second generation means obtains a pixel value by performing a weighted average of pixel values of the plurality of edge images for the pixel of the output edge image having the same pixel position as the pixel where the noise is detected as an edge. images processor you and obtains.
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、
前記第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、を有し、
前記第2の生成手段は、前記ノイズがエッジとして検出されていない画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像のうちのいずれか1つのエッジ画像の画素値を用いる
ことを特徴とする画像処理装置。 Obtaining means for obtaining a plurality of input images photographed within a predetermined time;
First generation means for generating an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired by the acquisition means;
Correction means for correcting a positional deviation of a subject image between a plurality of edge images generated by the first generation means;
In a plurality of edge images whose positional deviation has been corrected by the correcting unit, a specifying unit that specifies a pixel in which noise is detected as an edge;
Second generation means for generating an output edge image in which noise is reduced from the plurality of edge images based on information on a pixel in which the noise specified by the specifying means is detected as an edge. ,
The second generation means, for a pixel of the output edge image having the same pixel position as a pixel for which the noise is not detected as an edge, a pixel value of any one of the plurality of edge images images processor characterized by using the.
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、
前記第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、
前記複数の入力画像のうちの1つの入力画像に対して、エッジ方向に応じたノイズを低減する第1のノイズ低減手段と、
前記複数の入力画像の各々に対して、エッジとして検出された画素を除いた画素のノイズを低減する前記第1のノイズ低減手段とは異なる第2のノイズ低減手段と、
前記第1のノイズ低減手段によりノイズが低減された前記1つの入力画像と、前記第2のノイズ低減手段によりノイズが低減された前記複数の入力画像とを、前記出力エッジ画像に基づいて合成し、前記1つの入力画像のノイズを低減したノイズ低減画像を生成する第3の生成手段と、を有する
ことを特徴とする画像処理装置。 Obtaining means for obtaining a plurality of input images photographed within a predetermined time;
First generation means for generating an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired by the acquisition means;
Correction means for correcting a positional deviation of a subject image between a plurality of edge images generated by the first generation means;
In a plurality of edge images whose positional deviation has been corrected by the correcting unit, a specifying unit that specifies a pixel in which noise is detected as an edge;
Second generation means for generating an output edge image with reduced noise from the plurality of edge images, based on information of pixels in which the noise specified by the specifying means is detected as an edge;
First noise reduction means for reducing noise according to an edge direction with respect to one input image of the plurality of input images;
Second noise reduction means different from the first noise reduction means for reducing noise of pixels excluding pixels detected as edges for each of the plurality of input images;
The one input image whose noise is reduced by the first noise reduction means and the plurality of input images whose noise is reduced by the second noise reduction means are synthesized based on the output edge image. , wherein one of the third generation means and, images processor you characterized in that have a generating a reduced noise reduced image noise of an input image.
前記出力エッジ画像においてエッジとして認識される画素については前記ノイズが低減された1つの入力画像の画素を前記ノイズ低減画像の画素として用い、
前記出力エッジ画像においてエッジとして認識されない画素については、前記平滑化画像の画素、あるいは前記ノイズが低減された1つの入力画像と前記平滑化画像とを用いて得られた画素値を有する画素を前記ノイズ低減画像の画素として用いる
ことを特徴とする請求項5に記載の画像処理装置。 The third generation means includes
For pixels recognized as edges in the output edge image, the pixels of one input image with reduced noise are used as pixels of the noise reduced image,
For pixels that are not recognized as edges in the output edge image, pixels of the smoothed image or pixels having a pixel value obtained by using one input image with the noise reduced and the smoothed image are The image processing apparatus according to claim 5 , wherein the image processing apparatus is used as a pixel of a noise reduced image.
前記第3の生成手段は、前記平滑化画像を生成する際に、前記検出手段により検出された動体領域については、前記ノイズが低減された1つの入力画像のうちの1つの画像の画素を、前記平滑化画像の画素として用いる
ことを特徴とする請求項5または6に記載の画像処理装置。 For the plurality of input images, further comprising detection means for detecting a moving body region in which movement of a subject occurs between the images,
When the third generation unit generates the smoothed image, for the moving object region detected by the detection unit, the pixel of one image of one input image in which the noise is reduced, the image processing apparatus according to claim 5 or 6, characterized by using as a pixel of the smoothed image.
前記画像処理装置の第1の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成工程と、
前記画像処理装置の補正手段が、前記第1の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、
前記画像処理装置の第2の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成工程と、を有し、
前記特定工程において前記特定手段は、前記複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、前記ノイズがエッジとして検出されている画素として特定する
ことを特徴とする画像処理装置の制御方法。 An acquisition step in which an acquisition unit of the image processing apparatus acquires a plurality of input images taken within a predetermined time;
A first generation step in which a first generation unit of the image processing apparatus generates an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired in the acquisition step;
A correcting step in which the correcting means of the image processing device corrects the positional deviation of the subject image between the plurality of edge images generated in the first generating step;
A specifying step of specifying a pixel in which noise is detected as an edge in the plurality of edge images in which the positional deviation is corrected in the correction step;
A second generation unit of the image processing device generates an output edge image in which noise is reduced from the plurality of edge images based on information on a pixel in which the noise specified in the specifying step is detected as an edge. a second generation step of generating, the possess,
In the specifying step, the specifying unit specifies a pixel in which an absolute value of a pixel value difference between images exceeds a threshold among the plurality of edge images as a pixel in which the noise is detected as an edge. A control method of the image processing apparatus.
前記画像処理装置の第1の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成工程と、 A first generation step in which a first generation unit of the image processing apparatus generates an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired in the acquisition step;
前記画像処理装置の補正手段が、前記第1の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、 A correcting step in which the correcting means of the image processing device corrects the positional deviation of the subject image between the plurality of edge images generated in the first generating step;
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、 A specifying step of specifying a pixel in which noise is detected as an edge in the plurality of edge images in which the positional deviation is corrected in the correction step;
前記画像処理装置の第2の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成工程と、を有し、 A second generation unit of the image processing device generates an output edge image in which noise is reduced from the plurality of edge images based on information on a pixel in which the noise specified in the specifying step is detected as an edge. A second generating step to generate,
前記第2の生成工程において前記第2の生成手段は、前記ノイズがエッジとして検出されている画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像の画素値を加重平均することにより画素値を求める In the second generation step, the second generation means weights the pixel values of the plurality of edge images for the pixels of the output edge image having the same pixel position as the pixel where the noise is detected as an edge. Find pixel values by averaging
ことを特徴とする画像処理装置の制御方法。And a control method for the image processing apparatus.
前記画像処理装置の第1の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成工程と、 A first generation step in which a first generation unit of the image processing apparatus generates an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired in the acquisition step;
前記画像処理装置の補正手段が、前記第1の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、 A correcting step in which the correcting means of the image processing device corrects the positional deviation of the subject image between the plurality of edge images generated in the first generating step;
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、 A specifying step of specifying a pixel in which noise is detected as an edge in the plurality of edge images in which the positional deviation is corrected in the correction step;
前記画像処理装置の第2の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成工程と、を有し、 A second generation unit of the image processing device generates an output edge image in which noise is reduced from the plurality of edge images based on information on a pixel in which the noise specified in the specifying step is detected as an edge. A second generating step to generate,
前記第2の生成工程において前記第2の生成手段は、前記ノイズがエッジとして検出されていない画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像のうちのいずれか1つのエッジ画像の画素値を用いる In the second generation step, the second generation unit may select one of the plurality of edge images for a pixel of the output edge image having the same pixel position as a pixel in which the noise is not detected as an edge. Use pixel value of one edge image
ことを特徴とする画像処理装置の制御方法。And a control method for the image processing apparatus.
前記画像処理装置の第1の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成工程と、 A first generation step in which a first generation unit of the image processing apparatus generates an edge image in which an edge of a subject image in each image is emphasized from a plurality of input images acquired in the acquisition step;
前記画像処理装置の補正手段が、前記第1の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、 A correcting step in which the correcting means of the image processing device corrects the positional deviation of the subject image between the plurality of edge images generated in the first generating step;
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、 A specifying step of specifying a pixel in which noise is detected as an edge in the plurality of edge images in which the positional deviation is corrected in the correction step;
前記画像処理装置の第2の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成工程と、 A second generation unit of the image processing device generates an output edge image in which noise is reduced from the plurality of edge images based on information on a pixel in which the noise specified in the specifying step is detected as an edge. A second generating step to generate;
前記画像処理装置の第1のノイズ低減手段が、前記複数の入力画像のうちの1つの入力画像に対して、エッジ方向に応じたノイズを低減する第1のノイズ低減工程と、 A first noise reduction step in which a first noise reduction unit of the image processing device reduces noise according to an edge direction with respect to one input image of the plurality of input images;
前記画像処理装置の第2のノイズ低減手段が、前記複数の入力画像の各々に対して、エッジとして検出された画素を除いた画素のノイズを低減する前記第1のノイズ低減工程とは異なる第2のノイズ低減工程と、 The second noise reduction means of the image processing apparatus is different from the first noise reduction step in which the noise of pixels excluding the pixels detected as edges is reduced for each of the plurality of input images. 2 noise reduction processes;
前記画像処理装置の第3の生成手段が、前記第1のノイズ低減工程においてノイズが低減された前記1つの入力画像と、前記第2のノイズ低減工程においてノイズが低減された前記複数の入力画像とを、前記出力エッジ画像に基づいて合成し、前記1つの入力画像のノイズを低減したノイズ低減画像を生成する第3の生成工程と、を有する The third generation unit of the image processing apparatus includes the one input image in which noise is reduced in the first noise reduction step, and the plurality of input images in which noise is reduced in the second noise reduction step. And a third generation step of generating a noise-reduced image in which noise of the one input image is reduced, based on the output edge image
ことを特徴とする画像処理装置の制御方法。And a control method for the image processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014035994A JP6378496B2 (en) | 2014-02-26 | 2014-02-26 | Image processing apparatus, control method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014035994A JP6378496B2 (en) | 2014-02-26 | 2014-02-26 | Image processing apparatus, control method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015162759A JP2015162759A (en) | 2015-09-07 |
JP6378496B2 true JP6378496B2 (en) | 2018-08-22 |
Family
ID=54185599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014035994A Expired - Fee Related JP6378496B2 (en) | 2014-02-26 | 2014-02-26 | Image processing apparatus, control method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6378496B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102366232B1 (en) | 2017-08-30 | 2022-02-23 | 삼성전자 주식회사 | Display apparatus and the control method thereof |
KR102596414B1 (en) * | 2021-03-09 | 2023-10-31 | 엘아이지넥스원 주식회사 | Apparatus and method for detecting defect pixel based on multi-band images |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008109369A (en) * | 2006-10-25 | 2008-05-08 | Olympus Imaging Corp | Imaging apparatus and image processing method |
JP2008271024A (en) * | 2007-04-18 | 2008-11-06 | Fujifilm Corp | Image processing apparatus and method and program |
JP4893758B2 (en) * | 2009-01-23 | 2012-03-07 | ソニー株式会社 | Image processing apparatus, image processing method, and imaging apparatus |
JP2012186593A (en) * | 2011-03-04 | 2012-09-27 | Sony Corp | Image processing system, image processing method, and program |
JP5814610B2 (en) * | 2011-05-06 | 2015-11-17 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
-
2014
- 2014-02-26 JP JP2014035994A patent/JP6378496B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015162759A (en) | 2015-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8508605B2 (en) | Method and apparatus for image stabilization | |
KR101086424B1 (en) | Apparatus and method for processing digital image | |
US9508153B2 (en) | Distance measurement apparatus, imaging apparatus, distance measurement method, and program | |
US20170316558A1 (en) | Image processing apparatus, image processing method and storage medium | |
JP6711396B2 (en) | Image processing device, imaging device, image processing method, and program | |
JP6577703B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
US9007483B2 (en) | Image synthesis device and computer program for image synthesis for synthesizing a plurality of images of different exposure times | |
JP6254938B2 (en) | Image noise removing apparatus and image noise removing method | |
JP2018041380A (en) | Image processing apparatus, image processing method, and program | |
JP2010187348A (en) | Apparatus, method and program for image processing | |
JP6552325B2 (en) | Imaging device, control method of imaging device, and program | |
US9489721B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6378496B2 (en) | Image processing apparatus, control method, and recording medium | |
US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
JP6282133B2 (en) | Imaging device, control method thereof, and control program | |
US20230274398A1 (en) | Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium | |
JP6576179B2 (en) | Image processing apparatus, image processing method, and program | |
JP2018160024A (en) | Image processing device, image processing method and program | |
US20210073960A1 (en) | Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium | |
JP7009252B2 (en) | Image processing equipment, image processing methods and programs | |
JP7039215B2 (en) | Image processing equipment, image processing methods, and programs | |
JP6579934B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
JP6637242B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
JP6074198B2 (en) | Image processing apparatus and image processing method | |
JP2018072942A (en) | Image processing apparatus, image processing method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180727 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6378496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |