JP4790247B2 - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP4790247B2
JP4790247B2 JP2004316823A JP2004316823A JP4790247B2 JP 4790247 B2 JP4790247 B2 JP 4790247B2 JP 2004316823 A JP2004316823 A JP 2004316823A JP 2004316823 A JP2004316823 A JP 2004316823A JP 4790247 B2 JP4790247 B2 JP 4790247B2
Authority
JP
Japan
Prior art keywords
image
deformed
region
coordinates
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004316823A
Other languages
Japanese (ja)
Other versions
JP2006127292A (en
Inventor
正臣 佐竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2004316823A priority Critical patent/JP4790247B2/en
Publication of JP2006127292A publication Critical patent/JP2006127292A/en
Application granted granted Critical
Publication of JP4790247B2 publication Critical patent/JP4790247B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

本発明は、ノイズの影響を抑えて画像変形を行うことができる画像処理装置およびその方法に関する。   The present invention relates to an image processing apparatus and method that can perform image deformation while suppressing the influence of noise.

携帯電話が普及し、家族や友人との連絡やコミュニケーションに頻繁に使われるようになった。携帯電話は通話以外に、電子メールのやり取りをしたり、インターネットにアクセスして画像やゲームなどをダウンロードして利用したりするなど、データ通信を用いた各種サービスにも利用されている。
また、カメラを搭載した携帯電話も増え、携帯電話を用いて人の顔や風景を撮影してＪＰＥＧ(Joint Photographic Experts Group)ファイルとして保存し、ＪＰＥＧファイルを電子メールに添付してやり取りをすることが行われている。
さらに単に顔や風景を撮るだけではなく、撮影した画像にフレームを付けるフレーム処理や、カラー画像をモノクロにするモノクロ処理などのイフェクト処理を行ってからＪＰＥＧファイルとして保存している。 Mobile phones have become widespread and are frequently used for communication and communication with family and friends. In addition to telephone calls, mobile phones are also used for various services using data communication, such as exchanging e-mails and accessing the Internet to download images and games.
In addition, the number of mobile phones equipped with cameras is increasing. Using mobile phones, people's faces and landscapes can be photographed and saved as JPEG (Joint Photographic Experts Group) files, and exchanged by attaching JPEG files to e-mails. Has been done.
Furthermore, the image is stored as a JPEG file after effect processing such as frame processing for adding a frame to a photographed image and monochrome processing for converting a color image into monochrome, as well as photographing a face and landscape.

画像のイフェクト処理として、２枚の画像のマッチングを取って、一方の画像を他方の画像に変形させるモーフィングという技術がある。モーフィングは２枚の画像の中間画像を生成したり、２枚の画像の間を連続的に変化する中間画像によって動画を生成するために使われる。
モーフィングに使われる技術として、アフィン変換という幾何学変換がある。一般的なアフィン変換では、まず原画像の変形する領域と変形画像の変形する領域とを三角形に区切り、それら三角形を対応付ける。この三角形のことをメッシュと呼ぶ。変形前のメッシュと変形後のメッシュの頂点（３点ずつ合計６点）の座標（位置）がすでにわかっているとする。このとき、原画像上の座標と変形画像上の座標との間に成り立つ連立１次方程式を解き、変形画像上の座標に対応する原画像上の座標を求める。 As an image effect process, there is a technique called morphing in which two images are matched and one image is transformed into the other image. Morphing is used to generate an intermediate image of two images or to generate a moving image with an intermediate image that continuously changes between the two images.
As a technique used for morphing, there is a geometric transformation called affine transformation. In general affine transformation, first, a region to be deformed in an original image and a region to be deformed in a deformed image are divided into triangles, and these triangles are associated with each other. This triangle is called a mesh. Assume that the coordinates (positions) of the vertices of the mesh before deformation and the mesh after deformation (three points in total, six points in total) are already known. At this time, simultaneous linear equations established between the coordinates on the original image and the coordinates on the deformed image are solved to obtain the coordinates on the original image corresponding to the coordinates on the deformed image.

このようにアフィン変換を用いた画像変形方法では、変形画像上の座標をアフィン変換することで原画像上の座標を求め、その画素データを取得することで、原画像を変形させた変形画像を生成することができる。
画像のデコードブロック毎にＤＣＴ(Discrete Cosine Transform) を行う手順を有する圧縮方法で圧縮された圧縮画像データ、例えばＪＰＥＧで圧縮率の高い画像であると、モスキートノイズと呼ばれるノイズが発生する。
これは原画像上で急激な色の変化がある場所、例えば人物と背景の境界線など、高周波成分が多い場所で発生するノイズで、蚊の大群がエッジにまとわりついているように見えることからこう呼ばれている。
このモスキートノイズにおいて原画像上のメッシュより変形画像上のメッシュが大きい場合、モスキートノイズが拡大されてしまい、画質を落とす原因となっている。
また、原画像が画像のブロック毎にＤＣＴを行う手順を有する圧縮方法で圧縮された圧縮画像データであり圧縮率の高い画像であると、ＤＣＴ特有のブロックノイズが発生する。ブロックとは、ＤＣＴを行う際の画像の領域（例えば、ＪＰＥＧでは８×８画素）である。 In this way, in the image deformation method using affine transformation, coordinates on the original image are obtained by affine transformation of coordinates on the deformed image, and pixel data is obtained to obtain a deformed image obtained by deforming the original image. Can be generated.
If the compressed image data is compressed by a compression method having a procedure of performing DCT (Discrete Cosine Transform) for each decoded block of an image, for example, an image having a high compression rate by JPEG, noise called mosquito noise is generated.
This is noise that occurs in places where there is a sudden color change on the original image, for example, the border between the person and the background, where there are many high-frequency components, and it seems that large groups of mosquitoes are clinging to the edges. being called.
When the mesh on the deformed image is larger than the mesh on the original image in the mosquito noise, the mosquito noise is enlarged, which causes the image quality to deteriorate.
Further, if the original image is compressed image data compressed by a compression method having a procedure for performing DCT for each block of the image and is an image having a high compression rate, block noise peculiar to DCT occurs. A block is a region of an image when DCT is performed (for example, 8 × 8 pixels in JPEG).

画像のデコードブロック毎にＤＣＴを行う手順を有する圧縮方法で高圧縮された圧縮画像データは、高周波成分が切り捨てられるため、圧縮率が高ければ高いほど、デコードしたときにブロック内の画素の色が圧縮前のブロックの平均的な色に近くなる。このため、隣り合うデコードブロック同士の間に急激な色の変化が見られ、デコードブロックの境界線が現れてしまう。これがブロックノイズである。このようなブロックノイズが発生している画像に対して、アフィン変換を用いて画像を変形すると、このブロックノイズが変形画像にも引き継がれてしまうため、画質を落とす原因となっている。特に原画像上のメッシュが変形画像上のメッシュよりも小さな場合、ブロックノイズが拡大されてしまい、画質を落とす原因となっている。 ノイズを取り除く方法として、あらかじめ原画像の全ての画素に対してぼかし処理などのフィルタリング処理を行っているものがある。   The compressed image data that has been highly compressed by a compression method having a procedure for performing DCT for each decoded block of the image has high frequency components cut off. Therefore, the higher the compression ratio, the more the color of the pixels in the block when decoded. Close to the average color of the block before compression. For this reason, a sudden color change is seen between adjacent decode blocks, and a boundary line of the decode block appears. This is block noise. If an image having such block noise is generated using affine transformation, the image is deteriorated because the block noise is inherited by the deformed image. In particular, when the mesh on the original image is smaller than the mesh on the deformed image, the block noise is enlarged, which causes the image quality to deteriorate. As a method of removing noise, there is a method in which filtering processing such as blurring processing is performed on all pixels of the original image in advance.

なお、ＤＣＴ変換手法を用いた圧縮画像データを携帯電話機が用いることは下記特許文献が開示している。
特開２０００−３３３１４７号公報 The following patent document discloses that a cellular phone uses compressed image data using a DCT conversion technique.
JP 2000-333147 A

携帯電話機では、一般的に画像を伝送するサイズを小さくするため、またはメモリの節約のためにＪＰＥＧ圧縮方法などを使用し、かつ圧縮率を高くすることでファイルサイズを小さくしている。このため携帯電話機では、モスキートノイズやブロックノイズが発生しやすい。従来の画像変形装置ではモスキートノイズやブロックノイズが発生した画像を変形すると、変形後の変形画像にモスキートノイズやブロックノイズが引きずられ、それらノイズをより強調してしまう問題がある。
また、上記課題に関して、変形前に原画像の全ての画素に対してフィルタリング処理を行う従来の変形画像表示装置は、演算時間が掛かる問題がある。逆変換処理の結果、原画像の同一画素を複数回参照する場合（例えば、原画像のメッシュの幅又は高さが変形画像のメッシュの幅又は高さより小さな場合）で、かつその中にブロックノイズやモスキートノイズが含まれていた場合、ブロックノイズやモスキートノイズが拡大されてしまう。
しかし原画像のメッシュの幅又は高さが変形画像のメッシュの幅又は高さより大きな場合は、変形画像で原画像の同じ座標点が存在することがないためにノイズの影響が少ない。従来の画像変形処理ではこれらの特徴を考慮しないですべての画素に対してフィルタリング処理するため、効率が悪い。特に携帯電話では、ＣＰＵやメモリに制限があるため、なるべく演算量やメモリを抑えたい。
また、従来方法ではあらかじめ原画像をフィルタリング処理するときにフィルタリング用の記憶領域も必要となる。 In mobile phones, the file size is generally reduced by using a JPEG compression method or the like in order to reduce the size of image transmission or to save memory, and by increasing the compression rate. For this reason, mosquito noise and block noise are likely to occur in mobile phones. In the conventional image transformation device, when an image in which mosquito noise or block noise is generated is deformed, there is a problem that mosquito noise or block noise is dragged into the deformed image after deformation, and the noise is further emphasized.
Further, regarding the above problem, the conventional modified image display device that performs the filtering process on all the pixels of the original image before the deformation has a problem that it takes a calculation time. When the same pixel of the original image is referred to a plurality of times as a result of the inverse transformation process (for example, when the width or height of the mesh of the original image is smaller than the width or height of the mesh of the deformed image), and block noise is included therein If mosquito noise is included, block noise and mosquito noise are enlarged.
However, when the width or height of the mesh of the original image is larger than the width or height of the mesh of the deformed image, the same coordinate point of the original image does not exist in the deformed image, so that the influence of noise is small. In the conventional image transformation process, since all the pixels are filtered without considering these features, the efficiency is low. Especially in mobile phones, the CPU and memory are limited, so we want to reduce the amount of computation and memory as much as possible.
In the conventional method, a storage area for filtering is also required when filtering the original image in advance.

本発明は上述した従来技術の問題点を解決するために、画像変形に伴いノイズが強調されることを抑制し、高画質な変形画像を得られる画像処理装置および画像処理方法を提供することを目的とする。
また、本発明は、画像変形時に画質向上のための画像処理を行う場合に、メモリの記憶容量、並びに演算量を削減できる画像処理装置および画像処理方法を提供することを目的とする。 In order to solve the above-described problems of the prior art, the present invention provides an image processing apparatus and an image processing method capable of suppressing noise enhancement associated with image deformation and obtaining a high-quality deformed image. Objective.
It is another object of the present invention to provide an image processing apparatus and an image processing method capable of reducing the storage capacity of a memory and the amount of calculation when performing image processing for improving image quality during image deformation.

上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明の画像処理装置は、画像を変形させて変形画像を生成する画像処理装置であって、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較する比較手段と、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める第１の手段と、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行う第２の手段と、を備え、前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第２の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第１の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
In order to solve the above-described problems of the prior art and achieve the above-described object, an image processing apparatus according to a first aspect of the present invention is an image processing apparatus that generates a deformed image by deforming an image. and the target region, and comparing means for comparing the magnitude of the transformation target area of the deformed image corresponding to the region of the deformation object, the Kiga image before corresponding to the coordinates of the region of the deformation object of the deformed image A first means for determining the coordinates of the region to be deformed ; and coordinates of the region to be deformed corresponding to the coordinates of the region to be deformed of the deformed image; And a second means for performing filtering to remove noise, and when the comparison means determines that the deformation target area of the image is smaller than the corresponding deformation target area of the deformation image, The second means is the front Corresponding to the coordinates of the transformation target area of the deformed image seeking the coordinates of the transformation target area of the image, it performs filter processing for removing noise for the pixel of transformation target area of the image, by the comparison means When it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the first means is configured to store the image corresponding to the coordinates of the region to be deformed of the deformed image. Find the coordinates of the area to be deformed .

好適には、第１の発明の画像処理装置は、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段をさらに備え、前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記第１の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記比較手段が前記比較を行い、該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第２の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第１の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
Preferably, the image processing apparatus according to the first aspect of the present invention further comprises noise determination means for determining whether or not a noise level existing in a region to be deformed of the image exceeds a predetermined reference value, and the noise determination When the means determines that the noise level present in the region to be deformed of the image does not exceed a predetermined reference value, the first means has the image corresponding to the coordinates of the region to be deformed of the deformed image. The coordinates of the region to be deformed are obtained, and when the noise determining unit determines that the noise level existing in the region to be deformed of the image exceeds a predetermined reference value, the comparing unit performs the comparison, and the comparison Accordingly, the transformation target area of the image is determined to be less than the transformation target area of the corresponding deformed image, the second means, corresponding to the coordinates of the transformation target area of the deformed image the Obtains the coordinates of the transformation target area of the image, performs filter processing for removing noise for the pixel of transformation target area of the image, the deformed image by said comparison transformation target area of the image corresponding If it is determined that the area is larger than the area to be deformed, the first means obtains coordinates of the area to be deformed of the image corresponding to the coordinates of the area to be deformed of the deformed image.

第２の発明の画像処理方法は、画像を変形させて変形画像を生成する画像処理装置の画像処理方法であって、前記画像処理装置が、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
An image processing method according to a second aspect of the present invention is an image processing method of an image processing device that generates a deformed image by deforming an image, wherein the image processing device includes a region to be deformed of the image and the deformation target. When the size of the deformation target area of the deformation image corresponding to the area is compared and it is determined that the deformation target area of the image is smaller than the corresponding deformation target area of the deformation image, the deformation target of the deformation image The coordinates of the area to be deformed corresponding to the coordinates of the area of the image are obtained, the filter processing for removing noise is performed on the pixels of the area to be deformed of the image, and the area to be deformed of the image corresponds to If it is determined that the area is larger than the area to be deformed of the deformed image, the coordinates of the area to be deformed of the image corresponding to the coordinates of the area to be deformed of the deformed image are obtained.

第３の発明の画像処理方法は、画像を変形させて変形画像を生成する画像処理装置の画像処理方法であって、前記画像処理装置が、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断し、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の画像を求め、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。

An image processing method according to a third aspect of the present invention is an image processing method for an image processing apparatus that generates a deformed image by deforming an image, wherein the image processing apparatus has a noise level present in a region to be deformed of the image. It is determined whether or not a predetermined reference value is exceeded, and if it is determined that the noise level present in the deformation target area of the image does not exceed the predetermined reference value, the coordinates of the deformation target area of the deformed image are When the image of the corresponding area to be deformed of the image is obtained and it is determined that the noise level existing in the area to be deformed of the image exceeds a predetermined reference value, the area to be deformed of the image and the deformation comparing the magnitude of the transformation target area of the deformed image corresponding to the region of interest, in the comparison, if it is determined that transformation target area of the image is smaller than the deformation target region of the corresponding deformed image, Obtains the coordinates of the transformation target area of the image corresponding to the coordinates of the transformation target area of the serial deformed image, it performs filter processing for removing noise for the pixel of transformation target area of the image, in the comparison When it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image are obtained.

本発明によれば、画像変形に伴いノイズが強調されることを抑制し、高画質な変形画像を得られる画像処理装置および画像処理方法を提供することができる。
また、本発明によれば、画像変形時に画質向上のための画像処理を行う場合に、メモリの記憶容量、並びに演算量を削減できる画像処理装置および画像処理方法を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of suppressing noise from being enhanced with image deformation and obtaining a high-quality deformed image.
In addition, according to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of reducing the storage capacity of memory and the amount of calculation when performing image processing for improving image quality during image deformation.

以下、本発明の実施形態に係わる画像処理装置について説明する。
＜第１実施形態＞
以下、本発明の第１実施形態を説明する。
図１は、本発明の第１実施形態の画像処理装置１の構成図である。
図１に示すように、画像処理装置１は、例えば、メッシュ座標生成部１０、ノイズ判定部１１、領域比較部１３および逆変換部１５を有する。
なお、本実施形態では、メッシュ座標生成部１０を逆変換部１５とは別に設けた場合を例示するが、メッシュ座標生成部１０を逆変換部１５の機能の一部として実現してもよい。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
<First Embodiment>
Hereinafter, a first embodiment of the present invention will be described.
FIG. 1 is a configuration diagram of an image processing apparatus 1 according to the first embodiment of the present invention.
As illustrated in FIG. 1, the image processing apparatus 1 includes, for example, a mesh coordinate generation unit 10, a noise determination unit 11, a region comparison unit 13, and an inverse conversion unit 15.
In the present embodiment, the case where the mesh coordinate generation unit 10 is provided separately from the inverse conversion unit 15 is illustrated, but the mesh coordinate generation unit 10 may be realized as a part of the function of the inverse conversion unit 15.

メッシュ座標生成部１０は、入力操作などに応じて、原画像データＯＲＧ内の各メッシュについて、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）との対応関係を決定する。
具体的には、メッシュ座標生成部１０は、例えば、原画像データＯＲＧ内の各メッシュの３頂点の座標と、それに対応した変形画像データＴＲＮ内のメッシュの３頂点とを生成し、それぞれの頂点をアフィン逆変換を基にした下記式（１），（２）に代入して６つの連立１次方程式を規定する。
下記式（１），（２）において、原画像データＯＲＧのメッシュの頂点の座標を座標Ｍ０（Ｍ０ｘ，Ｍ０ｙ）とし、変形画像データＴＲＮのメッシュの頂点の座標を座標Ｍ１（Ｍ１ｘ，Ｍ１ｙ）とする。 The mesh coordinate generation unit 10 determines the correspondence between each mesh in the original image data ORG and the mesh after the deformation (mesh in the deformed image data TRN) according to an input operation or the like.
Specifically, the mesh coordinate generation unit 10 generates, for example, the coordinates of the three vertices of each mesh in the original image data ORG and the corresponding three vertices of the mesh in the deformed image data TRN. Is substituted into the following formulas (1) and (2) based on inverse affine transformation to define six simultaneous linear equations.
In the following formulas (1) and (2), the coordinates of the mesh vertices of the original image data ORG are the coordinates M0 (M0x, M0y), and the coordinates of the mesh vertices of the deformed image data TRN are the coordinates M1 (M1x, M1y). To do.

（数１）
Ｍ０ｘ＝ａＭ１ｘ＊ｂＭ１ｙ＋ｃ …（１） (Equation 1)
M0x = aM1x * bM1y + c (1)

（数２）
Ｍ０ｙ＝ｄＭ１ｘ＊ｅＭ１ｙ＋ｆ …（２） (Equation 2)
M0y = dM1x * eM1y + f (2)

そして、メッシュ座標生成部１０は、上記６つの連立１次方程式を解いて上記式（１），（２）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを生成する。
以降、これにより、上記式（１），（２）を基に、原画像データＯＲＧ内の各メッシュ内の座標と、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）内の座標との対応関係が規定される。 The mesh coordinate generation unit 10 solves the six simultaneous linear equations to generate the coefficients a, b, c, d, e, and f of the above equations (1) and (2).
Thereafter, based on the above formulas (1) and (2), the coordinates in each mesh in the original image data ORG and the coordinates in the deformed mesh (mesh in the deformed image data TRN) Correspondence is defined.

ノイズ判定部１１は、メッシュ座標生成部１０から指定された原画像データＯＲＧ内のメッシュ（本発明の第１のメッシュ）に存在するノイズレベルと、第１の基準値および第２の基準値（第１の基準値＞第２の基準値）との間の大小関係を判断し、その判断の結果を示すノイズ判定信号Ｓ１１を生成し、これを逆変換部１５に出力する。
具体的には、ノイズ判定部１１は、指定された原画像データＯＲＧ内のメッシュに存在するノイズレベルが第１の基準値より大きい場合に「大」を示し、第２の基準値より大きく第１の基準値以下の場合に「中」を示し、第２の基準値以下の場合に「小」を示すノイズ判定信号Ｓ１１を生成する。
このとき、メッシュ座標生成部１０は、変形画像データＴＲＮの画素データの生成対象となるメッシュに対応した原画像データＯＲＧのメッシュを指定している。 The noise determination unit 11 includes a noise level existing in a mesh (first mesh of the present invention) in the original image data ORG designated by the mesh coordinate generation unit 10, a first reference value, and a second reference value ( The magnitude relationship between the first reference value> the second reference value) is determined, and a noise determination signal S11 indicating the result of the determination is generated and output to the inverse conversion unit 15.
Specifically, the noise determination unit 11 indicates “large” when the noise level existing in the mesh in the designated original image data ORG is larger than the first reference value, and is larger than the second reference value. A noise determination signal S11 is generated that indicates “medium” when it is equal to or smaller than the reference value of 1, and indicates “small” when equal to or smaller than the second reference value.
At this time, the mesh coordinate generation unit 10 designates the mesh of the original image data ORG corresponding to the mesh that is the generation target of the pixel data of the deformed image data TRN.

領域比較部１３は、メッシュ座標生成部１０から指定された原画像データＯＲＧの上記指定されたメッシュと、変形画像データＴＲＮ内の対応したメッシュとの大きさを比較する。
具体的には、領域比較部１３は、原画像データＯＲＧ内の上記指定されたメッシュの３頂点の座標と、変形画像データＴＲＮ内の対応したメッシュの３頂点の座標とを基に、原画像データＯＲＧ内の上記指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいか否かを判断し、その判断の結果を示す大きさ判断信号Ｓ１３を逆変換部１５に出力する。 The region comparison unit 13 compares the size of the specified mesh of the original image data ORG specified from the mesh coordinate generation unit 10 with the corresponding mesh in the deformed image data TRN.
Specifically, the region comparison unit 13 uses the original image based on the coordinates of the three vertices of the specified mesh in the original image data ORG and the coordinates of the three vertices of the corresponding mesh in the deformed image data TRN. It is determined whether the width or height of the designated mesh in the data ORG is smaller than the corresponding mesh in the deformed image data TRN, and a magnitude determination signal S13 indicating the result of the determination is sent to the inverse conversion unit 15. Output.

図１に示すように、逆変換部１５は、例えば、選択部２１、単純逆変換部２３および画像補間逆変換部２５を有する。
選択部２１は、ノイズ判定部１１からのノイズ判定信号Ｓ１１と、領域比較部１３からの大きさ判断信号Ｓ１３とを基に、ノイズ判定信号Ｓ１１が「大」を示す場合、あるいは、ノイズ判定信号Ｓ１１が「中」を示し且つ原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいという条件を満たすか否かを判断する。
選択部２１は、上記条件を満たすと判断すると、画像補間逆変換部２５を選択し、上記条件を満たさないと判断すると単純逆変換部２３を選択する。 As illustrated in FIG. 1, the inverse transform unit 15 includes, for example, a selection unit 21, a simple inverse transform unit 23, and an image interpolation inverse transform unit 25.
Based on the noise determination signal S11 from the noise determination unit 11 and the magnitude determination signal S13 from the region comparison unit 13, the selection unit 21 indicates that the noise determination signal S11 indicates “large” or the noise determination signal It is determined whether or not the condition that S11 indicates “medium” and the width or height of the designated mesh in the original image data ORG is smaller than the corresponding mesh in the deformed image data TRN is satisfied.
If the selection unit 21 determines that the above condition is satisfied, the selection unit 21 selects the image interpolation inverse conversion unit 25. If the selection unit 21 determines that the above condition is not satisfied, the selection unit 21 selects the simple inverse conversion unit 23.

図２は、図１に示す単純逆変換部２３の処理を説明するためのフローチャートである。
単純逆変換部２３は、変形画像データＴＲＮのメッシュ内の座標データに対応した原画像データＯＲＧのメッシュ内の座標データを上記式（１），（２）を用いて計算する（ステップＳＴ１）。
次に、画像処理装置１は、ステップＳＴ１で計算した原画像データＯＲＧの座標データに対応した画素データを原画像データＯＲＧから取得して記憶する（ステップＳＴ２）。 FIG. 2 is a flowchart for explaining the processing of the simple inverse transform unit 23 shown in FIG.
The simple inverse transform unit 23 calculates the coordinate data in the mesh of the original image data ORG corresponding to the coordinate data in the mesh of the deformed image data TRN using the above formulas (1) and (2) (step ST1).
Next, the image processing apparatus 1 acquires and stores pixel data corresponding to the coordinate data of the original image data ORG calculated in step ST1 from the original image data ORG (step ST2).

図３は、図１に示す画像補間逆変換部２５の処理を説明するためのフローチャートである。
画像補間逆変換部２５は、変形画像データＴＲＮのメッシュ内の座標データに対応した原画像データＯＲＧのメッシュ内の座標データを上記式（１），（２）を用いて計算する（ステップＳＴ１１）。
次に、画像補間逆変換部２５は、例えば、ステップＳＴ１１で計算した原画像データＯＲＧの座標データ、並びにその近傍の座標データに対応した画素データを原画像データＯＲＧから取得して、これら複数の画素データをフィルタ処理して新たな画素データを生成する（ステップＳＴ１２）。
当該フィルタ処理は、例えば、ぼかし処理、メディアンフィルタ処理、バイリニア補間処理、あるいはバイキュービック補間処理である。
次に、画像処理装置１は、変形画像データＴＲＮの対応する画素データとして、ステップＳＴ１２で生成した新たな画素データを記憶する（ステップＳＴ１３）。 FIG. 3 is a flowchart for explaining the processing of the image interpolation inverse conversion unit 25 shown in FIG.
The image interpolation inverse conversion unit 25 calculates the coordinate data in the mesh of the original image data ORG corresponding to the coordinate data in the mesh of the deformed image data TRN using the above formulas (1) and (2) (step ST11). .
Next, the image interpolation inverse conversion unit 25 acquires, for example, the pixel data corresponding to the coordinate data of the original image data ORG calculated in step ST11 and the coordinate data in the vicinity thereof from the original image data ORG, and the plurality of these The pixel data is filtered to generate new pixel data (step ST12).
The filter processing is, for example, blur processing, median filter processing, bilinear interpolation processing, or bicubic interpolation processing.
Next, the image processing apparatus 1 stores the new pixel data generated in step ST12 as the pixel data corresponding to the deformed image data TRN (step ST13).

単純逆変換部２３および画像補間逆変換部２５は、図２および図３の処理を各メッシュ内の全ての座標データについて行う。なお、原画像データＯＲＧおよび変形画像データＴＲＮ内の全てのメッシュについて、単純逆変換部２３あるいは画像補間逆変換部２５の処理が行われる。
なお、単純逆変換部２３による新たな画素データの処理量（演算量）は、画像補間逆変換部２５による新たな画素データの処理量より小さい。 The simple inverse transform unit 23 and the image interpolation inverse transform unit 25 perform the processes of FIGS. 2 and 3 for all coordinate data in each mesh. Note that the simple inverse transform unit 23 or the image interpolation inverse transform unit 25 performs the process on all the meshes in the original image data ORG and the modified image data TRN.
Note that the processing amount (calculation amount) of new pixel data by the simple inverse conversion unit 23 is smaller than the processing amount of new pixel data by the image interpolation inverse conversion unit 25.

以下、図１に示す画像処理装置１の全体動作例を説明する。
図４は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ２１：
メッシュ座標生成部１０は、入力操作などに応じて、原画像データＯＲＧ内の選択したメッシュについて、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）との対応関係、すなわち、アフィン逆変換を基にした上記式（１），（２）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを生成する。
メッシュ座標生成部１０は、以後、上記式（１），（２）を基に原画像データＯＲＧのメッシュ内の座標データを指定する。
ステップＳＴ２２：
ノイズ判定部１１は、メッシュ座標生成部１０から指定された原画像データＯＲＧ内のメッシュに存在するノイズレベルと、第１の基準値および第２の基準値（第１の基準値＞第２の基準値）との間の大小関係を判断し、その判断の結果を示すノイズ判定信号Ｓ１１を生成し、これを逆変換部１５に出力する。 Hereinafter, an example of the overall operation of the image processing apparatus 1 shown in FIG. 1 will be described.
FIG. 4 is a flowchart for explaining an overall operation example of the image processing apparatus 1 shown in FIG.
Step ST21:
The mesh coordinate generation unit 10 performs a correspondence relationship with the mesh after deformation (mesh in the deformed image data TRN) for the selected mesh in the original image data ORG in accordance with an input operation or the like, that is, affine inverse transform. The coefficients a, b, c, d, e, and f of the above formulas (1) and (2) based on the above are generated.
Thereafter, the mesh coordinate generation unit 10 designates the coordinate data in the mesh of the original image data ORG based on the above formulas (1) and (2).
Step ST22:
The noise determination unit 11 includes the noise level existing in the mesh in the original image data ORG designated by the mesh coordinate generation unit 10, the first reference value, and the second reference value (first reference value> second A noise determination signal S11 indicating a result of the determination is generated and output to the inverse conversion unit 15.

ステップＳＴ２３：
画像処理装置１は、ステップＳＴ２２でノイズ判定信号Ｓ１１が「大」を示す場合にステップＳＴ２４に進み、「中」を示す場合にステップＳＴ２６に進み、「小」を示す場合にステップＳＴ２８に進む。 Step ST23:
The image processing apparatus 1 proceeds to step ST24 when the noise determination signal S11 indicates “large” in step ST22, proceeds to step ST26 when it indicates “medium”, and proceeds to step ST28 when it indicates “small”.

ステップＳＴ２４：
逆変換部１５の選択部２１は、画像補間逆変換部２５を選択する。
画像補間逆変換部２５は、図３を用いて説明したように、原画像データＯＲＧ内の指定された座標データ、並びにその周囲の座標データに対応した画素データをフィルタ処理して新たな画素データを生成し、記憶する。そして、処理中のメッシュ内の全ての座標に対して当該処理を行う。 Step ST24:
The selection unit 21 of the inverse conversion unit 15 selects the image interpolation inverse conversion unit 25.
As described with reference to FIG. 3, the image interpolation inverse conversion unit 25 filters the pixel data corresponding to the designated coordinate data in the original image data ORG and the surrounding coordinate data, and creates new pixel data. Is generated and stored. And the said process is performed with respect to all the coordinates in the mesh in process.

ステップＳＴ２６：
領域比較部１３は、メッシュ座標生成部１０から指定された原画像データＯＲＧの上記指定されたメッシュと、変形画像データＴＲＮ内の対応したメッシュとの大きさを比較する。
ステップＳＴ２７：
逆変換部１５の選択部２１は、ステップＳＴ２６で原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいと判断するとステップＳＴ２４に進み、そうでない場合にはステップＳＴ２８に進む。 Step ST26:
The region comparison unit 13 compares the size of the specified mesh of the original image data ORG specified from the mesh coordinate generation unit 10 with the corresponding mesh in the deformed image data TRN.
Step ST27:
If the selection unit 21 of the inverse transform unit 15 determines in step ST26 that the width or height of the designated mesh in the original image data ORG is smaller than the corresponding mesh in the deformed image data TRN, the process proceeds to step ST24. In that case, the process proceeds to step ST28.

ステップＳＴ２８：
逆変換部１５の選択部２１は、単純逆変換部２３を選択する。
単純逆変換部２３は、図２を用いて説明したように、原画像データＯＲＧ内の指定された座標データに対応する画素データを、変形画像データＴＲＮ内の対応する座標データの画素データとして記憶する。そして、単純逆変換部２３は、処理中のメッシュ内の全ての座標に対して、当該処理を行う。
ステップＳＴ３０：
画像処理装置１は、変形画像データＴＲＮ内の全てのメッシュについてステップＳＴ２１〜ＳＴ２８の処理を終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合はステップＳＴ１に戻る。 Step ST28:
The selection unit 21 of the inverse transform unit 15 selects the simple inverse transform unit 23.
As described with reference to FIG. 2, the simple inverse transform unit 23 stores the pixel data corresponding to the designated coordinate data in the original image data ORG as the pixel data of the corresponding coordinate data in the deformed image data TRN. To do. The simple inverse transform unit 23 performs the process on all coordinates in the mesh being processed.
Step ST30:
The image processing apparatus 1 determines whether or not the processes of steps ST21 to ST28 have been completed for all the meshes in the deformed image data TRN. If it is determined that the processes have been completed, the process ends. If not, the process returns to step ST1. .

以上説明したように、画像処理装置１では、ノイズ判定部１１において原画像データＯＲＧのメッシュのノイズレベルが「大」と判断された場合、あるいは、ノイズ判定部１１において原画像データＯＲＧのメッシュのノイズレベルが「中」と判断され且つ原画像データＯＲＧのメッシュが変形画像データＴＲＮのメッシュより小さいと判断された場合場合に図３を用いて説明した画素補間逆変換処理を行い、それ以外の場合に図２を用いて説明した単純逆変換処理を行なう。
そのため、画像処理装置１によれば、原画像データＯＲＧに存在する大きなモスキートノイズが強調されることを抑制でき、高画質な変形画像データＴＲＮを生成できる。
例えば、従来の手法では、図５に示すように、家の画像を拡大する場合に、原画像データＯＲＧが図５（Ａ）に示すように低圧縮画像である場合にはモスキートノイズはそれ程強調されないが、図５（Ｂ）に示すように、原画像データＯＲＧが高圧縮画像である場合にはモスキートノイズが強調される。
画像処理装置１によれば、図５（Ｂ）に示す場合でも、モスキートノイズの強調を抑制できる。
また、画像処理装置１では、上述した条件を満たす場合に、画素補間逆変換処理を行い、それ以外の場合に単純逆変換処理を行なうため、常に画素補間逆変換処理を行う場合に比べて、メモリの記憶容量および演算量を削減できる。
画像処理装置１は、携帯電話機などのように、メモリの記憶容量が比較的小さく、演算処理能力が低く、しかも高い画像圧縮率を用いるシステムに用いると特に効果的である。 As described above, in the image processing apparatus 1, when the noise determination unit 11 determines that the noise level of the mesh of the original image data ORG is “high”, or the noise determination unit 11 determines the mesh of the original image data ORG. When the noise level is determined to be “medium” and the mesh of the original image data ORG is determined to be smaller than the mesh of the deformed image data TRN, the pixel interpolation inverse transform process described with reference to FIG. 3 is performed. In this case, the simple inverse transformation process described with reference to FIG. 2 is performed.
Therefore, according to the image processing apparatus 1, it is possible to suppress emphasis on large mosquito noise existing in the original image data ORG, and it is possible to generate high-quality deformed image data TRN.
For example, in the conventional method, as shown in FIG. 5, when a house image is enlarged, if the original image data ORG is a low-compression image as shown in FIG. However, as shown in FIG. 5B, mosquito noise is emphasized when the original image data ORG is a high-compression image.
According to the image processing apparatus 1, enhancement of mosquito noise can be suppressed even in the case shown in FIG.
In addition, in the image processing apparatus 1, when the above-described conditions are satisfied, the pixel interpolation reverse conversion process is performed, and in other cases, the simple reverse conversion process is performed. Therefore, compared to the case where the pixel interpolation reverse conversion process is always performed, Memory storage capacity and calculation amount can be reduced.
The image processing apparatus 1 is particularly effective when used in a system such as a mobile phone having a relatively small memory storage capacity, a low arithmetic processing capability, and a high image compression rate.

＜第２実施形態＞
以下、本発明の第２実施形態を説明する。
図６は、本発明の第２実施形態の画像処理装置４１の構成図である。
図６に示すように、画像処理装置４１は、例えば、メッシュ座標生成部１０、ノイズ判定部１１、領域比較部１３、逆変換部４５、デコーダ５０およびブロック境界検出部５５を有する。
なお、本実施形態では、メッシュ座標生成部１０を逆変換部４５とは別に設けた場合を例示するが、メッシュ座標生成部１０を逆変換部４５の機能の一部として実現してもよい。 Second Embodiment
Hereinafter, a second embodiment of the present invention will be described.
FIG. 6 is a configuration diagram of the image processing apparatus 41 according to the second embodiment of the present invention.
As illustrated in FIG. 6, the image processing apparatus 41 includes, for example, a mesh coordinate generation unit 10, a noise determination unit 11, a region comparison unit 13, an inverse conversion unit 45, a decoder 50, and a block boundary detection unit 55.
In the present embodiment, the case where the mesh coordinate generation unit 10 is provided separately from the inverse conversion unit 45 is illustrated, but the mesh coordinate generation unit 10 may be realized as a part of the function of the inverse conversion unit 45.

図６において、図１と同じ符号を付した構成要素は、第１実施形態で説明したものと同じである。
以下、図６に示すデコーダ５０、ブロック境界検出部５５および選択部５３について説明する。
デコーダ５０は、例えば、８ｘ８画素などの所定のデコードブロックを単位として逆ＤＣＴ処理などのデコード処理を原画像データＯＲＧ０に対して行って原画像データＯＲＧを生成し、これをノイズ判定部１１、逆変換部４５およびブロック境界検出部５５に出力する。
ブロック境界検出部５５は、例えば、メッシュ座標生成部１０によって指定された原画像データＯＲＧのメッシュ内の座標データが、上記デコードブロックの境界上、あるいは、当該境界から所定の距離内の座標を示すという条件を満たすか否かを検出し、その検出結果を示す検出信号Ｓ５５を逆変換部４５に出力する。
選択部５３は、ノイズ判定部１１からのノイズ判定信号Ｓ１１と、領域比較部１３からの大きさ判断信号Ｓ１３と、ブロック境界検出部５５からの検出信号Ｓ５５とを基に、ノイズ判定信号Ｓ１１が「大」を示し且つ検出信号Ｓ５５が上記条件を満たすことを示す場合、あるいは、ノイズ判定信号Ｓ１１が「中」を示し、原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さく、且つ検出信号Ｓ５５が上記条件を満たすことを示す場合に、画像補間逆変換部２５を選択し、それ以外の場合に単純逆変換部２３を選択する。 In FIG. 6, the constituent elements having the same reference numerals as those in FIG. 1 are the same as those described in the first embodiment.
Hereinafter, the decoder 50, the block boundary detection unit 55, and the selection unit 53 illustrated in FIG. 6 will be described.
For example, the decoder 50 performs a decoding process such as an inverse DCT process on the original image data ORG0 in units of a predetermined decoding block such as 8 × 8 pixels to generate the original image data ORG. The data is output to the conversion unit 45 and the block boundary detection unit 55.
For example, the block boundary detection unit 55 indicates that the coordinate data in the mesh of the original image data ORG designated by the mesh coordinate generation unit 10 indicates coordinates on the boundary of the decoded block or within a predetermined distance from the boundary. Is detected, and a detection signal S55 indicating the detection result is output to the inverse conversion unit 45.
The selection unit 53 generates the noise determination signal S11 based on the noise determination signal S11 from the noise determination unit 11, the magnitude determination signal S13 from the region comparison unit 13, and the detection signal S55 from the block boundary detection unit 55. When “large” is indicated and the detection signal S55 indicates that the above condition is satisfied, or when the noise determination signal S11 indicates “medium” and the width or height of the designated mesh in the original image data ORG is the deformed image When it is smaller than the corresponding mesh in the data TRN and the detection signal S55 indicates that the above condition is satisfied, the image interpolation inverse conversion unit 25 is selected, and otherwise, the simple inverse conversion unit 23 is selected.

以下、図６に示す画像処理装置４１の全体動作例を説明する。
図７は、図６に示す画像処理装置４１の全体動作例を説明するためのフローチャートである。
ステップＳＴ４１：
メッシュ座標生成部１０は、入力操作などに応じて、原画像データＯＲＧ内の選択したメッシュについて、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）との対応関係、すなわち、アフィン逆変換を基にした上記式（１），（２）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを生成する。
メッシュ座標生成部１０は、以後、上記式（１），（２）を基に原画像データＯＲＧのメッシュ内の座標を指定する。
ステップＳＴ４２：
ノイズ判定部１１は、メッシュ座標生成部１０から指定された原画像データＯＲＧ内のメッシュに存在するノイズレベルと、第１の基準値および第２の基準値（第１の基準値＞第２の基準値）との間の大小関係を判断し、その判断の結果を示すノイズ判定信号Ｓ１１を生成し、これを逆変換部４５に出力する。 Hereinafter, an example of the overall operation of the image processing apparatus 41 shown in FIG. 6 will be described.
FIG. 7 is a flowchart for explaining an example of the overall operation of the image processing apparatus 41 shown in FIG.
Step ST41:
The mesh coordinate generation unit 10 performs a correspondence relationship with the mesh after deformation (mesh in the deformed image data TRN) for the selected mesh in the original image data ORG in accordance with an input operation or the like, that is, affine inverse transform. The coefficients a, b, c, d, e, and f of the above formulas (1) and (2) based on the above are generated.
Thereafter, the mesh coordinate generation unit 10 designates coordinates in the mesh of the original image data ORG based on the above formulas (1) and (2).
Step ST42:
The noise determination unit 11 includes the noise level existing in the mesh in the original image data ORG designated by the mesh coordinate generation unit 10, the first reference value, and the second reference value (first reference value> second And a noise determination signal S11 indicating the result of the determination is generated and output to the inverse conversion unit 45.

ステップＳＴ４３：
画像処理装置４は、ステップＳＴ４２でノイズ判定信号Ｓ１１が「大」を示す場合にステップＳＴ４４に進み、「中」を示す場合にステップＳＴ４８に進み、「小」を示す場合にステップＳＴ５０に進む。 Step ST43:
The image processing apparatus 4 proceeds to step ST44 when the noise determination signal S11 indicates “large” in step ST42, proceeds to step ST48 when it indicates “medium”, and proceeds to step ST50 when it indicates “small”.

ステップＳＴ４４：
選択部５３は、ブロック境界検出部５５からの検出信号Ｓ５５が上記条件を満たすことを示す場合、すなわち、メッシュ座標生成部１０によって指定された原画像データＯＲＧのメッシュ内の座標データが、上記デコードブロックの境界上、あるいは、当該境界から所定の距離内の座標を示すという条件を満たすことを示す場合にステップＳＴ４５に進み、そうでない場合にステップＳＴ４６に進む。
ステップＳＴ４５：
画像補間逆変換部２５は、図３を用いて説明したように、原画像データＯＲＧ内の指定された座標データ、並びにその周囲の座標データに対応した画素データをフィルタ処理して新たな画素データを生成して記憶する。
ステップＳＴ４６：
単純逆変換部２３は、図２を用いて説明したように、原画像データＯＲＧ内の指定された座標データに対応する画素データを、変形画像データＴＲＮのメッシュ内の対応座標データの画素データとして記憶する。
画像補間逆変換部２５は、上記ステップＳＴ４５，ＳＴ４６の処理を、変形画像データＴＲＮの処理中のメッシュ内の全ての座標に対して行う。 Step ST44:
When the detection signal S55 from the block boundary detection unit 55 indicates that the above condition is satisfied, the selection unit 53 indicates that the coordinate data in the mesh of the original image data ORG designated by the mesh coordinate generation unit 10 is decoded. The process proceeds to step ST45 when it indicates that the condition of showing coordinates on a block boundary or within a predetermined distance from the boundary is satisfied, and the process proceeds to step ST46 otherwise.
Step ST45:
As described with reference to FIG. 3, the image interpolation inverse conversion unit 25 filters the pixel data corresponding to the designated coordinate data in the original image data ORG and the surrounding coordinate data, and creates new pixel data. Is generated and stored.
Step ST46:
As described with reference to FIG. 2, the simple inverse transform unit 23 uses the pixel data corresponding to the designated coordinate data in the original image data ORG as the pixel data of the corresponding coordinate data in the mesh of the deformed image data TRN. Remember.
The image interpolation inverse conversion unit 25 performs the processes of steps ST45 and ST46 on all coordinates in the mesh being processed of the deformed image data TRN.

ステップＳＴ４５，４６：
画像処理装置４１は、変形画像データＴＲＮの処理中のメッシュ内の全ての座標に対して行う。 Steps ST45 and 46:
The image processing device 41 performs the processing on all coordinates in the mesh being processed of the deformed image data TRN.

ステップＳＴ４８：
領域比較部１３は、メッシュ座標生成部１０から指定された原画像データＯＲＧの上記指定されたメッシュと、変形画像データＴＲＮ内の対応したメッシュとの大きさを比較する。
ステップＳＴ４９：
選択部５３は、ステップＳＴ４８で原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいと判断するとステップＳＴ４４に進み、そうでない場合にはステップＳＴ５０に進む。 Step ST48:
The region comparison unit 13 compares the size of the specified mesh of the original image data ORG specified from the mesh coordinate generation unit 10 with the corresponding mesh in the deformed image data TRN.
Step ST49:
If the selection unit 53 determines in step ST48 that the width or height of the designated mesh in the original image data ORG is smaller than the corresponding mesh in the deformed image data TRN, the selection unit 53 proceeds to step ST44. Proceed to

ステップＳＴ５０：
単純逆変換部２３は、図２を用いて説明したように、原画像データＯＲＧ内の指定された座標データに対応する画素データを、変形画像データＴＲＮのメッシュ内の対応座標データの画素データとして記憶する。
画像処理装置４１は、変形画像データＴＲＮの処理中のメッシュ内の全ての座標に対して当該処理を行う。
ステップＳＴ５２：
画像処理装置４１は、変形画像データＴＲＮ内の全てのメッシュに画素データの生成あるいは取得を終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合はステップＳＴ４１に戻る。 Step ST50:
As described with reference to FIG. 2, the simple inverse transform unit 23 uses the pixel data corresponding to the designated coordinate data in the original image data ORG as the pixel data of the corresponding coordinate data in the mesh of the deformed image data TRN. Remember.
The image processing device 41 performs the process on all coordinates in the mesh being processed of the deformed image data TRN.
Step ST52:
The image processing device 41 determines whether or not the generation or acquisition of pixel data has been completed for all meshes in the deformed image data TRN. If it is determined that the processing has ended, the processing ends. If not, the processing returns to step ST41. .

以上説明したように、画像処理装置４１では、選択部５３においてノイズ判定信号Ｓ１１が「大」を示し且つ検出信号Ｓ５５が前述した条件を満たすことを示す場合、あるいは、ノイズ判定信号Ｓ１１が「中」を示し、原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さく、且つ検出信号Ｓ５５が前述した条件を満たすことを示す場合に画像補間逆変換部２５を選択し、それ以外の場合に単純逆変換部２３を選択する。
そのため、画像処理装置１によれば、原画像データＯＲＧに存在するブロックノイズが強調されることを抑制でき、高画質な変形画像データＴＲＮを生成できる。
例えば、図８に示すように、メッシュＡ，Ｂ，Ｃに対して縦横２倍にする画像変形処理を行う場合に、従来手法では、変形画像データＴＲＮ内のメッシュＤ，Ｅ，Ｆが生成される。ここで、メッシュＤ，Ｅ，Ｆは、縦横が２倍になっているため、原画像データＯＲＧ内の１画素が４画素に拡大される。原画像データＯＲＧのデコードブロックにノイズが存在すると、メッシュＤ，Ｅ，Ｆではそのノイズがそのまま拡大され、図８に示すように、デコードブロックの境界が鮮明に現れる。
一方、本実施形態の画像処理装置４１によれば、図８に示すように、デコードブロックのノイズがぼかされ、デコードブロックの境界が従来手法の場合に比べて目立たなくなる。
また、画像処理装置４１では、上述したように選択的に画素補間逆変換処理を行い、それ以外の場合に単純逆変換処理を行なうため、常に画素補間逆変換処理を行う場合に比べて、メモリの記憶容量および演算量を削減できる。
画像処理装置４１は、携帯電話機などのように、メモリの記憶容量が比較的小さく、演算処理能力が低く、しかも高い画像圧縮率を用いるシステムに用いると特に効果的である。 As described above, in the image processing device 41, when the noise determination signal S11 indicates “large” and the detection signal S55 satisfies the above-described condition in the selection unit 53, or the noise determination signal S11 indicates “medium”. , Indicating that the width or height of the designated mesh in the original image data ORG is smaller than the corresponding mesh in the deformed image data TRN and that the detection signal S55 satisfies the above-described condition, The conversion unit 25 is selected, and the simple inverse conversion unit 23 is selected in other cases.
Therefore, according to the image processing apparatus 1, it is possible to suppress enhancement of block noise existing in the original image data ORG, and it is possible to generate high-quality deformed image data TRN.
For example, as shown in FIG. 8, when performing image deformation processing for doubling the vertical and horizontal directions for meshes A, B, and C, meshes D, E, and F in the deformed image data TRN are generated in the conventional method. The Here, since the meshes D, E, and F are doubled vertically and horizontally, one pixel in the original image data ORG is enlarged to four pixels. If noise exists in the decoding block of the original image data ORG, the noise is expanded as it is in the meshes D, E, and F, and the boundary of the decoding block appears clearly as shown in FIG.
On the other hand, according to the image processing apparatus 41 of the present embodiment, as shown in FIG. 8, the noise of the decoding block is blurred, and the boundary of the decoding block becomes inconspicuous compared to the conventional method.
Further, in the image processing device 41, the pixel interpolation reverse conversion process is selectively performed as described above, and the simple reverse conversion process is performed in other cases, so that the memory is compared with the case where the pixel interpolation reverse conversion process is always performed. Storage capacity and computation amount can be reduced.
The image processing apparatus 41 is particularly effective when used in a system such as a mobile phone having a relatively small memory storage capacity, low arithmetic processing capability, and a high image compression rate.

本発明は上述した実施形態には限定されない。
例えば、上述した第１実施形態の画像処理装置１において、ステップＳＴ２３でノイズレベルと単数の所定の基準値との大小関係のみを判断し、ノイズレベルが所定の基準値を越えた場合に画素補間逆変換処理を選択し、そうでない場合に単純逆変換処理を選択してもよい。
また、上述した第２実施形態の画像処理装置４１において、ノイズレベルが第２の基準値を越えていれば、全てステップＳＴ４８に進むようにしてもよい。
また、上述した実施形態では、本発明の単位ブロックとして三角形のメッシュを例示したが、本発明は、三角形以外の形状の単位ブロックを用いてもよい。 The present invention is not limited to the embodiment described above.
For example, in the image processing apparatus 1 according to the first embodiment described above, only the magnitude relationship between the noise level and the single predetermined reference value is determined in step ST23, and pixel interpolation is performed when the noise level exceeds the predetermined reference value. Inverse transformation processing may be selected, and if not so, simple inverse transformation processing may be selected.
Further, in the image processing apparatus 41 according to the second embodiment described above, if the noise level exceeds the second reference value, all may proceed to step ST48.
In the embodiment described above, a triangular mesh is exemplified as the unit block of the present invention. However, the present invention may use a unit block having a shape other than the triangle.

本発明は、画像処理システムに適用可能である。   The present invention is applicable to an image processing system.

図１は、本発明の第１実施形態の画像処理装置の構成図である。FIG. 1 is a configuration diagram of an image processing apparatus according to the first embodiment of the present invention. 図２は、図１に示す単純逆変換部の処理を説明するためのフローチャートである。FIG. 2 is a flowchart for explaining processing of the simple inverse transform unit shown in FIG. 図３は、図１に示す画像補間逆変換部の処理を説明するためのフローチャートである。FIG. 3 is a flowchart for explaining the processing of the image interpolation inverse conversion unit shown in FIG. 図４は、図１に示す画像処理装置の全体動作例を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining an overall operation example of the image processing apparatus shown in FIG. 図５は、図１に示す画像処理装置の効果を説明するための図である。FIG. 5 is a diagram for explaining the effect of the image processing apparatus shown in FIG. 図６は、本発明の第２実施形態の画像処理装置の構成図である。FIG. 6 is a configuration diagram of an image processing apparatus according to the second embodiment of the present invention. 図７は、図６に示す画像処理装置の全体動作例を説明するためのフローチャートである。FIG. 7 is a flowchart for explaining an example of the overall operation of the image processing apparatus shown in FIG. 図８は、図６に示す画像処理装置の効果を説明するための図である。FIG. 8 is a diagram for explaining the effect of the image processing apparatus shown in FIG.

符号の説明Explanation of symbols

１…画像処理装置、１０…メッシュ座標生成部、１１…ノイズ判定部、１３…領域比較部、１５…逆変換部、２１…選択部、２３…単純逆変換部、２５…画像補間逆変換部、５０…デコーダ、５３…選択部、５５…ブロック境界検出部   DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 10 ... Mesh coordinate production | generation part, 11 ... Noise determination part, 13 ... Area | region comparison part, 15 ... Inverse conversion part, 21 ... Selection part, 23 ... Simple reverse conversion part, 25 ... Image interpolation reverse conversion part , 50 ... Decoder, 53 ... Selection section, 55 ... Block boundary detection section

Claims (4)

画像を変形させて変形画像を生成する画像処理装置であって、
前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較する比較手段と、
前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める第１の手段と、
前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行う第２の手段と、
を備え、
前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第２の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第１の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする画像処理装置。 An image processing device that generates a deformed image by deforming an image,
Comparison means for comparing the size of the region to be deformed of the image and the region to be deformed of the deformed image corresponding to the region to be deformed;
First means for determining the coordinates of the transformation target area before outs image corresponding to the coordinates of the transformation target area of the deformed image,
Second means for obtaining the coordinates of the deformation target area of the image corresponding to the coordinates of the deformation target area of the deformed image and performing filter processing for removing noise on the pixels of the deformation target area of the image When,
With
When the comparing means determines that the area to be deformed of the image is smaller than the corresponding area to be deformed of the deformed image, the second means corresponds to the coordinates of the area to be deformed of the deformed image. Obtaining the coordinates of the region to be deformed of the image, performing a filtering process to remove noise on the pixels of the region to be deformed of the image ,
When the comparison means determines that the area to be deformed of the image is larger than the corresponding area to be deformed of the deformed image, the first means corresponds to the coordinates of the area to be deformed of the deformed image. An image processing apparatus that obtains coordinates of a region to be deformed of the image. 前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段
をさらに備え、
前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記第１の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、
前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記比較手段が前記比較を行い、
該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第２の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第１の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする請求項１に記載の画像処理装置。 Noise determining means for determining whether or not a noise level present in the region to be deformed of the image exceeds a predetermined reference value;
When the noise determining means determines that the noise level existing in the deformation target area of the image does not exceed a predetermined reference value, the first means corresponds to the coordinates of the deformation target area of the deformed image. Find the coordinates of the region to be deformed of the image,
When the noise determination means determines that the noise level present in the region to be deformed of the image exceeds a predetermined reference value, the comparison means performs the comparison,
When it is determined by the comparison that the region to be deformed of the image is smaller than the region to be deformed of the corresponding deformed image, the second means corresponds to the coordinates of the region to be deformed of the deformed image. Obtain the coordinates of the region to be deformed of the image, perform a filtering process to remove noise on the pixels of the region to be deformed of the image ,
If it is determined by the comparison that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the first means corresponds to the coordinates of the region to be deformed of the deformed image. The image processing apparatus according to claim 1, wherein coordinates of a region to be deformed of the image are obtained . 画像を変形させて変形画像を生成する画像処理装置の画像処理方法であって、
前記画像処理装置が、
前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、
前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for generating a deformed image by deforming an image,
The image processing apparatus is
Comparing the deformation target area of the image with the deformation target area of the deformation image corresponding to the deformation target area;
If it is determined that the region to be deformed of the image is smaller than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image are obtained, Perform filter processing to remove noise on the pixels in the area to be transformed ,
If it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image are obtained. An image processing method of an image processing apparatus. 画像を変形させて変形画像を生成する画像処理装置の画像処理方法であって、
前記画像処理装置が、
前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断し、
前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の画像を求め、
前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、
該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for generating a deformed image by deforming an image,
The image processing apparatus is
Determining whether the noise level present in the region to be deformed of the image exceeds a predetermined reference value;
When it is determined that the noise level present in the region to be deformed of the image does not exceed a predetermined reference value, an image of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image is obtained,
When it is determined that the noise level existing in the deformation target area of the image exceeds a predetermined reference value, the deformation target area of the image and the deformation target area of the deformation image corresponding to the deformation target area Compare the size with
In this comparison, if it is determined that the region to be deformed of the image is smaller than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed corresponding to the coordinates of the region to be deformed of the deformed image And performing a filtering process to remove noise on the pixels in the region to be deformed of the image ,
In this comparison, if it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed corresponding to the coordinates of the region to be deformed of the deformed image the image processing method of an image processing apparatus and obtains the.
JP2004316823A 2004-10-29 2004-10-29 Image processing apparatus and method Expired - Fee Related JP4790247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004316823A JP4790247B2 (en) 2004-10-29 2004-10-29 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004316823A JP4790247B2 (en) 2004-10-29 2004-10-29 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2006127292A JP2006127292A (en) 2006-05-18
JP4790247B2 true JP4790247B2 (en) 2011-10-12

Family

ID=36721966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004316823A Expired - Fee Related JP4790247B2 (en) 2004-10-29 2004-10-29 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP4790247B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123105B2 (en) 2011-10-26 2015-09-01 Mitsubishi Electric Corporation Image processing device, image processing method, image capturing device, computer program, and recording medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3288811B2 (en) * 1993-07-26 2002-06-04 日本無線株式会社 Post-processing filter control method and post-processing filter control circuit in video codec
JPH0837664A (en) * 1994-07-26 1996-02-06 Toshiba Corp Moving picture encoding/decoding device
JPH10327315A (en) * 1997-05-26 1998-12-08 Fuji Xerox Co Ltd Image processing unit
JP4031584B2 (en) * 1998-12-11 2008-01-09 株式会社メガチップス Image adjustment device
JP2000184185A (en) * 1998-12-15 2000-06-30 Canon Inc Device and method for converting resolution and computer-readable storing device
JP2000187679A (en) * 1998-12-22 2000-07-04 Dainippon Screen Mfg Co Ltd Package design simulation method and its device and recording medium recording package design simulation program
JP3736291B2 (en) * 2000-05-31 2006-01-18 松下電器産業株式会社 Image signal decoding apparatus and method
CN1260978C (en) * 2001-05-10 2006-06-21 松下电器产业株式会社 Image processing apparatus
JP2003008907A (en) * 2001-06-19 2003-01-10 Fuji Xerox Co Ltd Image processor
JP2004304561A (en) * 2003-03-31 2004-10-28 Dainippon Screen Mfg Co Ltd Apparatus and method for image processing using compression image data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123105B2 (en) 2011-10-26 2015-09-01 Mitsubishi Electric Corporation Image processing device, image processing method, image capturing device, computer program, and recording medium

Also Published As

Publication number Publication date
JP2006127292A (en) 2006-05-18

Similar Documents

Publication Publication Date Title
JP4455364B2 (en) Resolution conversion method and apparatus
Rukundo et al. Nearest neighbor value interpolation
JP4431362B2 (en) Method and system for removing artifacts in compressed images
JP3882651B2 (en) Image processing apparatus and program
JPH07231450A (en) Filter device and method for reducing artifact in moving video picture signal system
TW201120805A (en) Forward and backward resizing method
US9462220B2 (en) Auto-regressive edge-directed interpolation with backward projection constraint
Liang et al. Improved non-local iterative back-projection method for image super-resolution
CN111325692A (en) Image quality enhancement method and device, electronic equipment and readable storage medium
Jakhetiya et al. Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework
US7848597B2 (en) Data processing
Vo et al. Selective data pruning-based compression using high-order edge-directed interpolation
JP4790247B2 (en) Image processing apparatus and method
JP2001223888A (en) Picture processing method, picture processor and recording medium
RU2310911C1 (en) Method for interpolation of images
KR102027886B1 (en) Image Resizing apparatus for Large Displays and method thereof
KR101006810B1 (en) High quality image acquisition method using example-based super resolution skill
Chan et al. An adaptive interpolation using spatial varying filter
Gan Low complexity image/video super resolution using edge and nonlocal self-similarity constraint
JP2004288046A (en) Image processing method, device and program
JP2002259960A (en) Image processing device and image processing method
KR101332030B1 (en) Method of magnifying image and computer readable medium storing the program thereof
KR101650897B1 (en) Window size zooming method and the apparatus for lower resolution contents
JP3750164B2 (en) Image processing method and image processing apparatus
JP4288210B2 (en) Image processing apparatus, display apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees