WO2011027401A1 - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法 Download PDF

Info

Publication number
WO2011027401A1
WO2011027401A1 PCT/JP2009/004376 JP2009004376W WO2011027401A1 WO 2011027401 A1 WO2011027401 A1 WO 2011027401A1 JP 2009004376 W JP2009004376 W JP 2009004376W WO 2011027401 A1 WO2011027401 A1 WO 2011027401A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
pixel value
pixels
enlarged image
Prior art date
Application number
PCT/JP2009/004376
Other languages
English (en)
French (fr)
Inventor
齊藤佳奈子
金子敏充
井田孝
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to US13/394,283 priority Critical patent/US20120163720A1/en
Priority to PCT/JP2009/004376 priority patent/WO2011027401A1/ja
Priority to JP2011529699A priority patent/JP5337250B2/ja
Publication of WO2011027401A1 publication Critical patent/WO2011027401A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Definitions

  • the present invention relates to an image processing technique for enlarging an image.
  • Non-Patent Document 1 when an enlarged image is generated by enlarging an original image (hereinafter referred to as “reference image”), it can be perceived that the texture (pattern) in the reference image is naturally continuous.
  • a method for generating an enlarged image is disclosed. In this method, a value from 0 to 255 is randomly assigned to the initial pixel value of the enlarged image, and pixel values are newly assigned in order from the upper left pixel. An area that is most similar to the pixel value distribution of the pixels to which the pixel value has been assigned is searched from the reference image in the vicinity area of the target pixel to which the pixel value is assigned. The pixel value of the searched corresponding pixel is assigned as the pixel value of the target pixel.
  • Non-Patent Document 1 has a problem that the composition of patterns and edges cannot be maintained when applied to a reference image including a plurality of types of textures and edges.
  • the present invention has been made to solve the above-described problems, and an image processing apparatus capable of generating an enlarged image having a composition such as a texture, edge range, position, or arrangement from a reference image, and the image processing apparatus It aims to provide a method.
  • the present invention provides a pixel value of the pixel position of the reference image at a position relative to the pixel position of the reference image with respect to a plurality of initial pixels of the sample enlarged image obtained by enlarging the reference image at an arbitrary magnification.
  • One or a plurality of targets among a setting unit to be set, a pixel to which no pixel value is assigned in the sample enlarged image, and a pixel in which the pixel value set by the setting unit among the initial pixels is not updated A selection unit that selects a pixel, a pixel value distribution of a region including a set of pixels to which a pixel value is assigned in a peripheral region of the target pixel, and a similar region position of a similar pixel value distribution from the reference image
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating the operation of the image processing apparatus according to the first exemplary embodiment. The figure explaining the selection method of a template area
  • FIG. 4 is a block diagram illustrating an image processing apparatus according to a second embodiment. 9 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
  • FIG. 10 is a block diagram illustrating an image processing apparatus according to a fifth embodiment. 10 is a flowchart showing the operation of the image processing apparatus according to the fifth embodiment.
  • the image processing apparatus of this embodiment is mounted on an image display apparatus such as a television, a video camera, or the like.
  • the image processing apparatus 1 enlarges the reference image 105 to generate an enlarged image 110 that maintains a composition such as a texture, edge range, position, or arrangement in the reference image.
  • FIG. 1 is a block diagram showing the image processing apparatus 1.
  • the image processing apparatus 1 includes a setting unit 101, a selection unit 102, a search unit 103, and an allocation unit 104.
  • the setting unit 101 enlarges the reference image 105 at an arbitrary enlargement factor k and generates a sample enlarged image.
  • the sample enlarged image has the same pixel size as that of the reference image 105 and the number of pixels is increased by the enlargement factor k.
  • a pixel value is not set for each pixel of the sample enlarged image. It is still undecided.
  • the enlargement ratio is determined from the enlarged image 110 to be finally output.
  • the pixel values of the reference image 105 are set, that is, assigned as the initial pixel values for the pixel values of some of the generated sample enlarged images (hereinafter referred to as “initial pixels”).
  • the pixel position of the set enlarged sample image is a pixel at a position relatively corresponding to the pixel position of the reference image 105.
  • the pixel value is, for example, a luminance value.
  • the selection unit 102 selects a pixel to be assigned a pixel value (hereinafter referred to as “target pixel”) from pixels other than the initial pixel, which are pixels in the sample enlarged image.
  • the search unit 103 searches the reference image 105 for a region (hereinafter referred to as “similar region position”) whose pixel value distribution is similar to the peripheral region of the target pixel selected by the selection unit 102.
  • the assigning unit 104 assigns the pixel value of the pixel at the similar region position of the reference image 105 searched by the search unit 103 to the pixel value of the target pixel of the sample enlarged image.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 1.
  • step S201 the setting unit 101 reads the reference image 105, generates a sample enlarged image from the reference image 105 based on the enlargement factor k, and proceeds to step S202.
  • the reference image 105 is an image including one or more types of textures. An edge may be included.
  • step S202 the setting unit 101 sets the pixel value of the reference image 105 as an initial pixel value for the initial pixel that is a part of the sample enlarged image, and the process proceeds to step S203.
  • the sample enlarged image in which the initial pixel value is set for the initial pixel is referred to as an “initial enlarged image 106”.
  • the initial pixels in the initial enlarged image 106 are set at regular intervals of one row and one column or more. Note that if the interval width is too large, it becomes difficult to maintain the continuity of the edges. Therefore, the interval width is desirably about 1 row 1 column or 2 rows 2 columns.
  • the initial pixel (x , Y) is set to the pixel value of the pixel (x / kx, y / ky) of the reference image 105. That is, the initial pixel value is set to the initial pixel at the pixel position (pixel coordinate value) of the sample enlarged image relatively corresponding to the pixel position (pixel coordinate value) of the reference image 105.
  • step S203 the selection unit 102 selects the target pixel coordinate 107 that is the coordinate value of the target pixel from the pixels of the sample enlarged image, and the process proceeds to step S204.
  • the target pixel one pixel is selected from pixels other than the initial pixel of the initial enlarged image 106.
  • the order of selection may be arbitrary.
  • the search unit 103 uses the peripheral region of the target pixel coordinate 107 as a template region, searches the reference image 105 for a region similar to the pixel value distribution of the template region, and sets the search result as the similar region position 108.
  • the process proceeds to S205.
  • the template region size is, for example, 5 ⁇ 5 [pixel]
  • the neighborhood region size is, for example, 5 ⁇ 5 [pixel]) of a rectangular size NxN [pixel] with the target pixel coordinate 107 as the center.
  • Update updated image means both the initial pixel set (allocated) by the setting unit 101 and the allocated pixel to which the allocation unit 104 has assigned a pixel value.
  • FIG. 3 shows a template region when initial pixel values are assigned to initial pixels for each row and one column, and target pixel coordinates 107 are selected in order from the upper left pixel to the lower right pixel of the image.
  • the error between the peripheral area and the pixel value in the template area is calculated, and the pixel with the smallest error is selected.
  • the central pixel of the selected region is the similar region position 108 described above.
  • step S205 the assigning unit 104 assigns the pixel value of the pixel at the similar region position 108 of the reference image 105 to the pixel value of the target pixel coordinate 107 of the sample enlarged image, and the process proceeds to step S206.
  • An enlarged image in which the pixel values of all the pixels of the sample enlarged image are not assigned is referred to as an “update enlarged image 109”.
  • step S206 the selection unit 102 determines whether or not all the pixel values of the updated enlarged image 109 are assigned. If not, the process returns to step S203 (in the case of No in FIG. 2). When the pixel value assignment of all the pixels has been completed, the process proceeds to step S207 (in the case of Yes in FIG. 2).
  • step S207 the selection unit 102 outputs the updated enlarged image 109 in which pixel values are assigned to all the pixels as the enlarged image 110.
  • This embodiment is different from the image processing apparatus according to the first embodiment in that the setting unit 101 uses the pixel value of an image obtained by enlarging the reference image instead of the pixel value of the pixel of the reference image for the initial enlarged image.
  • FIG. 4 is a block diagram showing the image processing device 1.
  • an image enlargement unit 401 is added in addition to the setting unit 101, the selection unit 102, the search unit 103, and the assignment unit 104.
  • FIG. 5 is a flowchart showing the operation of the image processing apparatus 4.
  • step S501 the reference image 105 is input to the image enlargement unit 401.
  • the image enlargement unit 401 enlarges the reference image 105 to the same size as the sample enlarged image with the enlargement ratio k, and the process proceeds to step S502.
  • the enlarged reference image 105 is referred to as a “reference enlarged image 402”.
  • any image enlargement method other than the present invention can be used.
  • a method of enlarging an image by interpolating pixel values such as nearest neighbor interpolation (nearest neighbor method), linear interpolation method, or cubic convolution method can be adopted. It is desirable to use a method that can be generated.
  • step S502 the setting unit 101 sets the pixel value of the pixel of the reference enlarged image 402 as the initial pixel value in the initial pixel of the sample enlarged image, and the process proceeds to step S203.
  • the sample enlarged image in which the initial pixel value is set in the initial pixel in step S502 is referred to as “initial enlarged image 403” as in the first embodiment.
  • the initial pixels in the initial enlarged image 403 are set at regular intervals of one row and one column or more. If the interval width is too large, it will be difficult to maintain the continuity of the edges. Therefore, the interval width is desirably about 1 row 1 column or 2 rows 2 columns.
  • the setting unit 101 sets the initial pixel value of the initial pixel (x, y) of the initial enlarged image 403 as the pixel value of the pixel (x, y) of the reference enlarged image 402. That is, with respect to the sample enlarged image and the reference enlarged image, the pixel value of the pixel at the relatively same position is set as the initial pixel value.
  • steps S203 to S207 the units 102 to 104 of the image processing apparatus 4 perform the same operation as in the first embodiment to generate the enlarged image 110.
  • the image processing apparatus is different from the first embodiment in that the setting unit 101 randomly selects the initial pixels in the sample enlarged image at regular intervals in step S202.
  • step S204 when the search unit 103 searches for a similar region position, a template region is prepared in a neighborhood region of size NxN [pixel] (for example, 5 ⁇ 5 [pixel]), and thus each pixel is set as the center.
  • NxN [pixel] for example, 5 ⁇ 5 [pixel]
  • One or more initial pixels need to be set within a range of N ⁇ N [pixel].
  • the pixel value of the initial pixel becomes inconspicuous in the output enlarged image 110, and the enlarged image can be generated with high accuracy.
  • step S203 when the selection unit 102 selects a target pixel from the sample enlarged image, the selection unit 102 selects a plurality of adjacent pixel sets instead of selecting only one pixel.
  • this is different from the first embodiment.
  • the selection unit 102 selects about 2 to 3 pixels.
  • the search unit 103 also selects a similar region position 108 in step S204, and the assignment unit 104 assigns pixel values in step S205.
  • pixel values are assigned to a plurality of pixels in a single process.
  • the processing speed can be increased.
  • This embodiment is different from the first embodiment in that a reduced image obtained by further reducing the texture component image extracted from the input image 603 is used as the reference image 105 input to the image processing apparatus 1.
  • FIG. 6 is a block diagram showing the configuration of the image processing device 6.
  • a component extraction unit 601, an image reduction unit 602, and a synthesis unit 606 are added to the setting unit 101, the selection unit 102, the search unit 103, and the assignment unit 104.
  • FIG. 7 is a flowchart showing the operation of the image processing apparatus 6.
  • step S701 the image processing apparatus 6 reads the grayscale input image 603, and proceeds to step S702.
  • step S702 the component extraction unit 601 extracts the texture component image 604 including only the texture component and the other component image 605 from the input grayscale input image 603, and proceeds to step S703.
  • a means for extracting the texture component for example, a skeleton / texture separation method, a Center / Surround Retinex method, or an ⁇ -filter may be used.
  • step S703 the image reduction unit 602 reduces the input texture component image 604 to generate a reduced image, outputs this reduced image as the reference image 105, and proceeds to step S201.
  • the reduction ratio can be arbitrarily selected. For example, the fineness of the texture desired to be generated in the reduced image is compared with the fineness of the texture in the texture component image 604, and the reduction ratio is selected so as to be the fineness of the texture desired to be generated. In order to prevent aliasing from occurring in the reduced image, it is desirable to apply a low-pass filter as preprocessing.
  • steps S201 to S207 the units 101 to 104 of the image processing apparatus 6 perform the same operation as in the first embodiment.
  • step S208 the synthesizing unit 606 synthesizes the component image 605 composed of components other than the texture component with the enlarged image 110 generated in step S207, and outputs a synthesized image.
  • the texture component change pattern in the input image can be made finer, and the texture of the input image can be improved.
  • This embodiment is different from the first embodiment in that the enlarged image after pixel value assignment to all the pixels is completed as an initial enlarged image, and the processing from step S203 in the first embodiment is executed again.
  • the enlarged image 110 generated by the image processing apparatus 1 of the first embodiment is further processed once again. Specifically, it is as follows.
  • the image processing apparatus generates the enlarged image 110 in the first process. This process is the same as in the first embodiment.
  • the image processing apparatus performs a second process using the enlarged image 110.
  • This second processing is performed as follows.
  • the selection unit 102 again selects the initial pixel in the enlarged image 110 generated in the first process as the target pixel. That is, in this selection, the pixel value of the initial pixel is set in the first process, and thereafter, the pixel whose pixel value of the initial pixel has not been updated is selected as the target pixel.
  • the search unit 103 searches for similar region positions using the assigned pixels to which the pixel values have been assigned in the first process for the target image.
  • the assigning unit 104 reassigns the pixel value of the pixel at the similar region position of the searched reference image 105 to the initial pixel in which the initial pixel value of the enlarged image 110 is set.
  • the pixel values of all the pixels of the enlarged image 110 can be assigned by the search process of the similar region position, and the enlarged image can be generated with high accuracy.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

設定部は、基準画像の画素位置と相対的な位置にあるサンプル拡大画像の画素に対して、前記基準画像の前記画素位置の画素値を初期画素値として設定する。選択部は、前記サンプル拡大画像の中で前記初期画素値が設定された前記画素含む、画素値が設定済みの画素以外の画素の中から、対象画素を選択する。探索部は、対象画素の周辺領域内における設定済みの画素の集合からなる画素値分布と類似する類似領域位置を、前記基準画像から探索すると、前記基準画像における前記類似領域位置の画素の画素値を、前記サンプル拡大画像における前記対象画素の画素値に割り当てる割り当て部とを有する。

Description

画像処理装置及びその方法
　本発明は、画像を拡大するときの画像処理技術に関する。
　非特許文献１には、元の画像（以下、「基準画像」と呼ぶ）を拡大して拡大画像を生成するときに、基準画像中のテクスチャ（模様）が自然に連続していると知覚できる拡大画像を生成する方法が開示されている。この方法は、拡大画像の初期画素値に０から２５５までの値をランダムに割り当てた後、左上画素から順に画素値を新たに割り当てている。画素値を割り当てる対象画素の近傍領域中で、画素値が割り当て済みの画素の画素値分布と最も類似した領域を、基準画像から探索する。探索された対応画素の画素値を対象画素の画素値として割り当てる。
Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis using Tree-structured Vector Quantization," Proc. SIGGRAPH 2000, pp.479-488, 2000.
　しかし、非特許文献１の方法では、複数種類のテクスチャやエッジを含む基準画像に適用すると、模様やエッジの構図を保つことができないという問題点がある。
　そこで本発明は、上記問題点を解決するためになされたものであって、基準画像からテクスチャやエッジの範囲、位置、又は、配置等の構図を保った拡大画像を生成できる画像処理装置及びその方法を提供することを目的とする。
　本発明は、基準画像を任意の拡大率で拡大したサンプル拡大画像の複数の初期画素に対して、前記基準画像の画素位置と相対的な位置にある前記基準画像の前記画素位置の画素値を設定する設定部と、前記サンプル拡大画像の中で画素値が割り当てられていない画素、及び前記初期画素のうち前記設定部が設定した画素値が更新されていない画素のうち、一又は複数の対象画素を選択する選択部と、前記対象画素の周辺領域内で、画素値が割り当てられた画素の集合からなる領域の画素値分布と、類似する画素値分布の類似領域位置を、前記基準画像から探索する探索部と、前記サンプル拡大画像における前記対象画素の画素値に、前記基準画像における前記類似領域位置の画素の画素値を割り当てる割り当て部と、を有することを特徴とする画像処理装置である。
　本発明によれば、基準画像から、テクスチャやエッジの範囲、位置、又は、配置等の構図を保った拡大画像を生成することができる。
実施例１の画像処理装置を示すブロック図。 実施例１の画像処理装置の動作を示すフローチャート。 テンプレート領域の選択法を説明する図。 実施例２の画像処理装置を示すブロック図。 実施例２の画像処理装置の動作を示すフローチャート。 実施例５の画像処理装置を示すブロック図。 実施例５の画像処理装置の動作を示すフローチャート。
　以下、本発明に係る一実施例の画像処理装置について、図面を用いて説明する。なお、各実施例において互いに同じ構成については、共通の符号を付して、重複説明は省略する。本実施例の画像処理装置は、テレビなどの画像表示装置、ビデオカメラなどに搭載される。
　本実施例の画像処理装置１は、基準画像１０５を拡大して、基準画像におけるテクスチャやエッジの範囲、位置、又は、配置等の構図を保った拡大画像１１０を生成する。
（１）画像処理装置の構成　
　図１は、画像処理装置１を示すブロック図である。　
　画像処理装置１は、設定部１０１、選択部１０２、探索部１０３、割り当て部１０４を有する。
　設定部１０１は、例えば、グレイスケールの画像である基準画像１０５が入力されると、その基準画像１０５を任意の拡大率ｋで拡大してサンプル拡大画像を生成する。このサンプル拡大画像は、基準画像１０５と画素のサイズが同じで、かつ、画素数が前記拡大率ｋによって増加したものあり、また、サンプル拡大画像の各画素には、画素値が設定されておらず、未定の状態である。なお、拡大率は、最終的に出力したい拡大画像１１０から決まるものである。そして、この生成したサンプル拡大画像の一部の画素（以下、「初期画素」と呼ぶ）の画素値について、基準画像１０５の画素値を初期画素値として設定、すなわち、割り当てる。その設定されるサンプル拡大画像の画素位置は、基準画像１０５の画素位置と相対的に対応する位置にある画素とする。ここで、画素値とは、例えば、輝度値である。
　選択部１０２は、サンプル拡大画像の中の画素であって、初期画素以外の画素から、画素値を割り当てる対象の画素（以下、「対象画素」と呼ぶ）を選択する。　
　探索部１０３は、選択部１０２で選択した対象画素の周辺領域と画素値分布が類似する領域（以下、「類似領域位置」と呼ぶ）を基準画像１０５から探索する。　
　割り当て部１０４は、探索部１０３で探索した、基準画像１０５の類似領域位置の画素の画素値を、サンプル拡大画像の対象画素の画素値に割り当てる。　
（２）画像処理装置１の動作　
　図２は、画像処理装置１の動作を示すフローチャートである。　
　ステップＳ２０１では、設定部１０１が、基準画像１０５を読み込み、拡大率ｋに基づいて、基準画像１０５からサンプル拡大画像を生成して、ステップＳ２０２に進む。基準画像１０５とは、１種類以上のテクスチャを含む画像である。なお、エッジを含んでいてもよい。
　ステップＳ２０２では、設定部１０１が、サンプル拡大画像の一部の画素である初期画素に基準画像１０５の画素値を初期画素値として設定して、ステップＳ２０３に進む。ステップＳ２０２において、初期画素に初期画素値が設定されたサンプル拡大画像を「初期拡大画像１０６」と呼ぶ。初期拡大画像１０６における初期画素は、１行１列以上の一定間隔毎とする。なお、間隔幅が大きすぎるとエッジの連続性を維持することが困難になるため、間隔幅は１行１列、又は、２行２列程度であることが望ましい。基準画像１０５と初期拡大画像１０６の横幅の比が１：ｋｘ、縦幅の比が１：ｋｙであった場合（但し、ｋは前記拡大率である）、初期拡大画像１０６の初期画素（ｘ，ｙ）に設定された初期画素値は、基準画像１０５の画素（ｘ／ｋｘ，ｙ／ｋｙ）の画素値とする。すなわち、基準画像１０５の画素位置（画素座標値）に相対的に対応したサンプル拡大画像の画素位置（画素座標値）の初期画素に初期画素値を設定する。
　ステップＳ２０３では、選択部１０２が、サンプル拡大画像の画素から対象画素の座標値である対象画素座標１０７を選択し、ステップＳ２０４に進む。対象画素は、初期拡大画像１０６の初期画素以外の画素の中から１画素を選択する。選択の順序は任意でよい。
　ステップＳ２０４では、探索部１０３が、対象画素座標１０７の周辺領域をテンプレート領域とし、テンプレート領域の画素値分布と類似する領域を基準画像１０５から探索し、その探索結果を類似領域位置１０８として、ステップＳ２０５に進む。図３に示すように、テンプレート領域（サイズは、例えば５ｘ５［ｐｉｘｅｌ］である）は、対象画素座標１０７を中心とした矩形のサイズＮｘＮ［ｐｉｘｅｌ］の近傍領域（サイズは、例えば５ｘ５［ｐｉｘｅｌ］である）内で、既に画素値が設定済みの画素の集合とする。ここで、画素値が設定済みの画素とは、１回目の処理における初期拡大画像１０６では、初期画素値が設定された初期画素のみであり、２回目以降の処理のサンプル拡大画像（後から説明する更新拡大画像）では、設定部１０１が設定した（割り当てた）初期画素及び割り当て部１０４が画素値を割り当てた割り当て済み画素の両方を意味する。図３は、１行１列毎の初期画素に初期画素値を割り当て、画像の左上画素から右下画素へと順に対象画素座標１０７を選択していった場合のテンプレート領域を示す。基準画像１０５の全ての画素において、その周辺領域とテンプレート領域内の画素値との誤差を算出し、誤差が最小となる画素を選択する。選択した領域の中心画素が、上記した類似領域位置１０８である。２つの領域の画素値の誤差を算出する際には、画素毎の差の二乗和を算出してもよいし、画素毎の差の絶対値和を算出してもよい。
　ステップＳ２０５では、割り当て部１０４が、基準画像１０５の類似領域位置１０８の画素の画素値を、サンプル拡大画像の対象画素座標１０７の画素値に割り当てて、ステップＳ２０６に進む。サンプル拡大画像の全画素の画素値が割り当てられていない状態の拡大画像を「更新拡大画像１０９」と呼ぶ。　
　ステップＳ２０６では、選択部１０２が、更新拡大画像１０９の画素値が全て割り当てられているか否かを判定し、割り当てられていない場合にはステップＳ２０３へ戻る（図２中のＮｏの場合）。全画素の画素値割り当てが完了している場合にはステップＳ２０７へ進む（図２中のＹｅｓの場合）。
　ステップＳ２０７では、選択部１０２が、全画素に画素値が割り当てられた更新拡大画像１０９を、拡大画像１１０として出力する。
（３）効果　
　本実施例によれば、サンプル拡大画像における初期画素の初期画素値に、基準画像の画素値を設定することで、類似領域位置を探索する際に異なるテクスチャ領域から類似領域位置を選択することを防ぐことができる。これにより、複数のテクスチャやエッジの混在する基準画像に対しても、基準画像におけるテクスチャやエッジの範囲、位置、又は、配置等の構図を保ったまま拡大した拡大画像を生成できる。
　本実施例では、設定部１０１において、初期拡大画像に、基準画像の画素の画素値ではなく、基準画像を拡大した画像の画素値を用いる点が、実施例１の画像処理装置とは異なる。
（１）画像処理装置４の構成
　図４は、画像処理装置１を示すブロック図である。
　本実施例の画像処理装置４は、設定部１０１、選択部１０２、探索部１０３、割り当て部１０４に加えて、画像拡大部４０１が追加される。
（２）画像処理装置４の動作
　画像処理装置４の動作について図５を用いて説明する。図５は、画像処理装置４の動作を示すフローチャートである。
　ステップＳ５０１では、画像拡大部４０１に基準画像１０５が入力する。画像拡大部４０１が、サンプル拡大画像と同じサイズへ拡大率ｋで基準画像１０５を拡大し、ステップＳ５０２に進む。拡大後の基準画像１０５を「基準拡大画像４０２」と呼ぶ。画像拡大方法としては、本発明以外の任意の画像拡大方法を用いることが可能である。例えば、最近傍補間法（ニアレストネイバー法）、線形補間法、又は、キュービックコンボリューション法など、画素値を補間して画像を拡大する方法を採用することができるが、できるだけぼけの少ない画像を生成できる方法を用いることが望ましい。
　ステップＳ５０２では、設定部１０１が、サンプル拡大画像の初期画素に基準拡大画像４０２の画素の画素値を初期画素値として設定し、ステップＳ２０３に進む。ステップＳ５０２で初期画素に初期画素値の設定されたサンプル拡大画像を、実施例１と同様に「初期拡大画像４０３」と呼ぶ。初期拡大画像４０３における初期画素は１行１列以上の一定間隔毎とする。間隔幅が大きすぎるとエッジの連続性を維持することが困難になるため、間隔幅は１行１列、又は、２行２列程度であることが望ましい。そして、設定部１０１が、初期拡大画像４０３の初期画素（ｘ，ｙ）の初期画素値を、基準拡大画像４０２の画素（ｘ，ｙ）の画素値と設定する。すなわち、サンプル拡大画像と基準拡大画像に関して、相対的に同じ位置の画素の画素値を初期画素値として設定する。
　ステップＳ２０３～Ｓ２０７では、画像処理装置４の各部１０２～１０４が、実施例１と同じ動作を行って、拡大画像１１０を生成する。
（３）効果
　本実施例によれば、設定される初期画素値の元となる基準拡大画像と、設定先のサンプル拡大画像とで、１対１の画素対応が可能となる。
　本実施例の画像処理装置は、ステップＳ２０２において、設定部１０１が、サンプル拡大画像における初期画素を一定間隔毎でなく、ランダムに選択する点が、実施例１とは異なる。
　設定部１０１が、サンプル拡大画像からランダムに選択する際の初期画素の画素数は、サンプル拡大画像の全画素の４分の１程度の画素を選択することが望ましい。また、ステップＳ２０４において、探索部１０３が類似領域位置の探索の際に、サイズＮｘＮ［ｐｉｘｅｌ］（例えば、５ｘ５［ｐｉｘｅｌ］）の近傍領域内でテンプレート領域を用意するため、各画素を中心としたＮｘＮ［ｐｉｘｅｌ］の範囲内に１つ以上の初期画素が設定されている必要がある。
　本実施例によれば、出力される拡大画像１１０において初期画素の画素値が目立たなくなり、高い精度で拡大画像を生成できる。
　本実施例の画像処理装置は、ステップＳ２０３において、選択部１０２が、サンプル拡大画像から対象画素を選択する際に、１画素のみを選択するのではなく、隣接する複数の画素集合を選択する点が、実施例１とは異なる。
　選択部１０２が、選択する画素数は２画素から３画素程度であることが望ましい。ステップＳ２０３において選択部１０２が、複数の画素を選択した場合には、ステップＳ２０４において探索部１０３が、選択する類似領域位置１０８も複数の画素となり、ステップＳ２０５において割り当て部１０４が画素値を割り当てる際にも、１回の処理で複数の画素へ画素値を割り当てることになる。
　本実施例によれば、１回の処理で複数の画素値の割り当てが可能になるため、処理の高速化を図ることができる。
　本実施例では、画像処理装置１に入力する基準画像１０５として、入力画像６０３から抽出したテクスチャ成分画像をさらに縮小した縮小画像を用いる点が、実施例１と異なる。
（１）画像処理装置６の構成
図６は、画像処理装置６の構成を表すブロック図である。　
　画像処理装置６は、設定部１０１、選択部１０２、探索部１０３、割り当て部１０４に加えて、成分抽出部６０１、画像縮小部６０２、合成部６０６が追加される。
（２）画像処理装置６の動作
　次に、画像処理装置６の動作について図７を用いて説明する。図７は、画像処理装置６の動作を示すフローチャートである。
　ステップＳ７０１では、画像処理装置６がグレイスケールの入力画像６０３を読み込み、ステップＳ７０２に進む。
　ステップＳ７０２では、成分抽出部６０１が、入力したグレイスケールの入力画像６０３からテクスチャ成分のみのテクスチャ成分画像６０４と、それ以外の成分画像６０５を抽出してステップＳ７０３に進む。テクスチャ成分を抽出する手段としては、例えば、骨格／テクスチャ分離法、Center/Surround Retinex法、又は、ε－フィルタ等を用いればよい。
　ステップＳ７０３では、画像縮小部６０２が、入力したテクスチャ成分画像６０４を縮小して縮小画像を生成して、この縮小画像を基準画像１０５として出力し、ステップＳ２０１に進む。縮小率は任意に選択することが可能である。例えば、縮小画像中で生成したいテクスチャの細かさと、テクスチャ成分画像６０４中のテクスチャの細かさを比較し、生成したいテクスチャの細かさになるように縮小率を選択する。縮小画像に折り返し歪みが発生するのを防ぐため、低域通過フィルタを前処理として適用することが望ましい。
　ステップＳ２０１～Ｓ２０７では、画像処理装置６の各部１０１～１０４が、実施例１と同じ動作を行う。
　ステップＳ２０８では、合成部６０６が、ステップＳ２０７で生成した拡大画像１１０に、テクスチャー成分以外の成分からなる成分画像６０５を合成して、合成画像を出力する。
（３）効果
　本実施例によれば、入力画像中のテクスチャ成分の変化パターンを細かくすることが可能となり、入力画像の質感を向上できる。
　本発明の実施例６の画像処理装置について説明する。
　本実施例では、全ての画素に対して画素値の割り当てが完了した後の拡大画像を初期拡大画像とし、実施例１のステップＳ２０３からの処理を再度実行する点が、実施例１と異なる。
　すなわち、本実施例では、実施例１の画像処理装置１で生成した拡大画像１１０を、さらにもう一度処理するものである。具体的には、次の通りである。
　画像処理装置が、１回目の処理で拡大画像１１０を生成する。この処理は、実施例１と同様である。
　次に、画像処理装置が、この拡大画像１１０を用いて２回目の処理を行う。この２回目の処理は、次のように行う。選択部１０２が、１回目の処理で生成した拡大画像１１０における初期画素を対象画素として改めて選択する。すなわち、この選択では、１回目の処理において初期画素の画素値が設定され、それ以降、この初期画素の画素値が更新されていない画素を対象画素として選択する。探索部１０３は、この対象画像に関して、１回目の処理で画素値を割り当てた割り当て済み画素を用いて類似領域位置の探索を行う。割り当て部１０４は、探索した基準画像１０５の類似領域位置にある画素の画素値を、拡大画像１１０の初期画素値が設定された初期画素に再び割り当てる。
　本実施例によれば、拡大画像１１０の全画素の画素値を類似領域位置の探索処理により割り当てることが可能となり、高い精度での拡大画像を生成できる。
　本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
　　１　　画像処理装置
１０１　　設定部
１０２　　選択部
１０３　　探索部
１０４　　割り当て部

Claims (6)

  1. 　基準画像を任意の拡大率で拡大したサンプル拡大画像の複数の初期画素に対して、前記基準画像の画素位置と相対的な位置にある前記基準画像の前記画素位置の画素値を設定する設定部と、
    　前記サンプル拡大画像の中で画素値が割り当てられていない画素、及び前記初期画素のうち前記設定部が設定した画素値が更新されていない画素のうち、一又は複数の対象画素を選択する選択部と、
    　前記対象画素の周辺領域内で、画素値が割り当てられた画素の集合からなる領域の画素値分布と、類似する画素値分布の類似領域位置を、前記基準画像から探索する探索部と、
    　前記サンプル拡大画像における前記対象画素の画素値に、前記基準画像における前記類似領域位置の画素の画素値を割り当てる割り当て部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記基準画像から前記サンプル拡大画像と同じサイズの基準拡大画像を生成する拡大部をさらに有し、
    　前記設定部は、前記基準画像に代えて、前記基準拡大画像の画素位置と相対的な位置にある前記サンプル拡大画像の画素に、前記基準拡大画像の前記画素位置の画素値を、設定する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記設定部は、前記サンプル拡大画像内で１行１列以上の一定間隔毎に前記初期画素を設定する、
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記設定部は、前記サンプル拡大画像内のランダムな位置に前記初期画素を設定する、
    　ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記設定部は、入力画像からテクスチャ成分を分離した画像を縮小した縮小画像を、前記基準画像として用いる、
    　ことを特徴とする請求項１に記載の画像処理装置。
  6. 　基準画像を任意の拡大率で拡大したサンプル拡大画像の複数の初期画素に対して、前記基準画像の画素位置と相対的な位置にある前記基準画像の前記画素位置の画素値を設定する設定ステップと、
    　前記サンプル拡大画像の中で画素値が割り当てられていない画素、及び前記初期画素のうち前記設定ステップにおいて設定した画素値が更新されていない画素のうち、一又は複数の対象画素を選択する選択ステップと、
    　前記対象画素の周辺領域内で、画素値が割り当てられた画素の集合からなる領域の画素値分布と、類似する画素値分布の類似領域位置を、前記基準画像から探索する探索ステップと、
    　前記サンプル拡大画像における前記対象画素の画素値に、前記基準画像における前記類似領域位置の画素の画素値を割り当てる割り当てステップと、
    　有することを特徴とする画像処理方法。
PCT/JP2009/004376 2009-09-04 2009-09-04 画像処理装置及びその方法 WO2011027401A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/394,283 US20120163720A1 (en) 2009-09-04 2009-09-04 Image processing apparatus and method thereof
PCT/JP2009/004376 WO2011027401A1 (ja) 2009-09-04 2009-09-04 画像処理装置及びその方法
JP2011529699A JP5337250B2 (ja) 2009-09-04 2009-09-04 画像処理装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/004376 WO2011027401A1 (ja) 2009-09-04 2009-09-04 画像処理装置及びその方法

Publications (1)

Publication Number Publication Date
WO2011027401A1 true WO2011027401A1 (ja) 2011-03-10

Family

ID=43648963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004376 WO2011027401A1 (ja) 2009-09-04 2009-09-04 画像処理装置及びその方法

Country Status (3)

Country Link
US (1) US20120163720A1 (ja)
JP (1) JP5337250B2 (ja)
WO (1) WO2011027401A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650631B2 (en) * 2017-07-28 2020-05-12 Hand Held Products, Inc. Systems and methods for processing a distorted image
JP7071088B2 (ja) * 2017-10-24 2022-05-18 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法、及びプログラム
JP2024029314A (ja) * 2022-08-22 2024-03-06 セイコーエプソン株式会社 画像処理装置、印刷システム、及び、画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152495A (ja) * 2000-11-15 2002-05-24 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2007087218A (ja) * 2005-09-22 2007-04-05 Toshiba Corp 画像処理装置
JP2008167041A (ja) * 2006-12-27 2008-07-17 Canon Inc 画像処理装置及び画像処理方法
JP2008263465A (ja) * 2007-04-13 2008-10-30 Fuji Xerox Co Ltd 画像処理システム及び画像処理プログラム
JP2009026032A (ja) * 2007-07-19 2009-02-05 Victor Co Of Japan Ltd 解像度変換装置及び解像度変換方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US20040008269A1 (en) * 2001-11-30 2004-01-15 Assaf Zomet System and method for providing multi-sensor super-resolution
US7929774B2 (en) * 2006-06-28 2011-04-19 Intel Corporation Method of inferential analysis of low resolution images
JP4445953B2 (ja) * 2006-10-23 2010-04-07 日本電信電話株式会社 スタンプによる画像補正方法および装置
JP4893489B2 (ja) * 2007-06-15 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
EP2291822A1 (en) * 2008-05-21 2011-03-09 Koninklijke Philips Electronics N.V. Image resolution enhancement
CA2748234A1 (en) * 2008-12-25 2010-07-01 Medic Vision - Imaging Solutions Ltd. Denoising medical images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152495A (ja) * 2000-11-15 2002-05-24 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2007087218A (ja) * 2005-09-22 2007-04-05 Toshiba Corp 画像処理装置
JP2008167041A (ja) * 2006-12-27 2008-07-17 Canon Inc 画像処理装置及び画像処理方法
JP2008263465A (ja) * 2007-04-13 2008-10-30 Fuji Xerox Co Ltd 画像処理システム及び画像処理プログラム
JP2009026032A (ja) * 2007-07-19 2009-02-05 Victor Co Of Japan Ltd 解像度変換装置及び解像度変換方法

Also Published As

Publication number Publication date
US20120163720A1 (en) 2012-06-28
JPWO2011027401A1 (ja) 2013-01-31
JP5337250B2 (ja) 2013-11-06

Similar Documents

Publication Publication Date Title
JP2022078281A (ja) 非正規直交グリッドへのテクスチャマッピングのためのグラデーションの調整
EP2218056A1 (en) Content aware resizing of images and videos
JP2010211300A (ja) 画像処理装置および方法
JP2011076296A (ja) 合成画像形成方法及び画像形成装置
JP5337250B2 (ja) 画像処理装置及びその方法
US7327904B2 (en) Pattern classification and filter design for increasing image resolution
KR20150046810A (ko) 영상 처리 방법 및 장치
JPS62139081A (ja) 合成画像形成方法
JP6840506B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2010108205A (ja) 超解像画像作成方法
JP6056511B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
WO2010051719A1 (zh) 一种视频图像 4/3 倍放大方法
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JPH1153534A (ja) 画像の修復方法及び装置
JP2009157449A (ja) 画像処理システム、画像処理方法および画像処理用プログラム
CN104517273A (zh) 一种图像超分辨率处理方法及装置
WO2021161513A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
CN108389208B (zh) 一种基于语义分割的图像智能适配显示方法
TWI453695B (zh) 影像處理方法及應用其之電路
JP2010171624A (ja) 輪郭補正回路及び補間画素生成回路
EP3992901A1 (en) Image correction device
JP5085762B2 (ja) 画像処理装置および画像処理方法
US20110242417A1 (en) Image processing apparatus
JP2005115011A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよびこのプログラムを記録した記録媒体
JP5085589B2 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09848932

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011529699

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13394283

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09848932

Country of ref document: EP

Kind code of ref document: A1