JPWO2006033257A1 - Image conversion method, image conversion apparatus, server client system, portable device, and program - Google Patents

Image conversion method, image conversion apparatus, server client system, portable device, and program Download PDF

Info

Publication number
JPWO2006033257A1
JPWO2006033257A1 JP2006536346A JP2006536346A JPWO2006033257A1 JP WO2006033257 A1 JPWO2006033257 A1 JP WO2006033257A1 JP 2006536346 A JP2006536346 A JP 2006536346A JP 2006536346 A JP2006536346 A JP 2006536346A JP WO2006033257 A1 JPWO2006033257 A1 JP WO2006033257A1
Authority
JP
Japan
Prior art keywords
image
parameter
image feature
parameter value
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006536346A
Other languages
Japanese (ja)
Inventor
本村　秀人
秀人 本村
克洋 金森
克洋 金森
菰淵　寛仁
寛仁 菰淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006033257A1 publication Critical patent/JPWO2006033257A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像特徴解析部（１０１）は入力画像（ＩＩＮ）について画像特徴解析を行い、画像特徴ベクトル（ＩＩＮＦＶ）を出力する。パラメータ出力部（１０）は複数の画像特徴ベクトルと、これらにそれぞれ対応する照明方程式の複数のパラメータ値とを格納しており、画像特徴ベクトル（ＩＩＮＦＶ）に対応する原パラメータ値（ＩＩＮＬＥＰ）を出力する。パラメータ操作設定部（１０６）は指示された画像変換に応じてパラメータ操作内容を定め、パラメータ操作部（１０４）は原パラメータ値（ＩＩＮＬＥＰ）をパラメータ操作設定部（１０６）の指示に従って操作し、新パラメータ値（ＩＯＵＴＬＥＰ）を得る。画像生成部（１０７）は新パラメータ値（ＩＯＵＴＬＥＰ）を基にして、出力画像（ＩＯＵＴ）を生成する。The image feature analysis unit (101) performs image feature analysis on the input image (IIN) and outputs an image feature vector (IINFV). The parameter output unit (10) stores a plurality of image feature vectors and a plurality of parameter values of an illumination equation corresponding to each of the image feature vectors, and outputs an original parameter value (IINLEP) corresponding to the image feature vector (IINFV). To do. The parameter operation setting unit (106) determines the parameter operation contents according to the instructed image conversion, and the parameter operation unit (104) operates the original parameter value (INNLEP) according to the instruction of the parameter operation setting unit (106) to A parameter value (IOUTLEP) is obtained. The image generation unit (107) generates an output image (IOUT) based on the new parameter value (IOUTLEP).

Description

本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。  The present invention relates to an image processing technique, and more particularly to a technique for realizing image conversion such as image enlargement, illumination conversion, and viewpoint conversion.

画像機器とネットワークのデジタル化により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。  With the digitization of image devices and networks, different types of image devices can be easily connected to each other, and the degree of freedom of image exchange is increasing. For example, users can freely select images shot with a digital still camera, output them to a printer, publish them on a network, or view them on a home TV without any restrictions on system differences. An environment that can handle images has been improved.

一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす変換装置）が必要になる。例えばＡ４用紙（２９７ｍｍ×２１０ｍｍ）に６００ｄｐｉの解像度で印刷する場合、７１２８画素×５０４０ラインのデータが必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビとＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。  On the other hand, in order to realize such an environment, the system side is required to support various image formats, and advanced image format conversion is required. For example, in order to cope with frequent image size conversion, an up converter (a conversion device that increases the number of pixels and lines) and a down converter (a conversion device that reduces the number of pixels and lines) are required. For example, when printing on A4 paper (297 mm × 210 mm) at a resolution of 600 dpi, data of 7128 pixels × 5040 lines is required, but since the resolution of many digital still cameras is lower than this, an up-converter is required. An image published on the network needs to be converted to a corresponding image size every time an output device is determined. With regard to home television, since digital terrestrial services have been started, conventional standard television and HD (High Definition) television are mixed, and therefore image size conversion is frequently performed.

画像を拡大するためには、取得時には存在しなかった画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、バイキュービック法などの内挿を用いる方法が、一般的である（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。  In order to enlarge an image, it is necessary to newly create image data that did not exist at the time of acquisition, and various methods have already been proposed. For example, a method using interpolation such as a bilinear method or a bicubic method is common (Non-Patent Document 1). However, when interpolation is used, only intermediate values of sampling data can be generated, so that sharpness such as edges tends to deteriorate and the image tends to be blurred. Therefore, a technique is disclosed in which an interpolated image is used as an initial enlarged image, and then an edge portion is extracted to emphasize only the edge (Patent Document 1, Non-Patent Document 2). However, it is difficult to separate the edge portion from the noise, and noise is also emphasized along with the enhancement of the edge portion, and the image quality tends to be deteriorated.

そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大を実現できる。  Therefore, there is a learning method as a method for enlarging an image while suppressing image quality deterioration. That is, a high-resolution image corresponding to the enlarged image is taken in advance by a high-definition camera or the like, and a low-resolution image is created from the high-resolution image. A low-resolution image is usually generated by a method of sub-sampling through a low-pass filter. Many pairs of such low resolution images and high resolution images are prepared, and the relationship is learned as an image enlargement method. Therefore, in the learning method, the above-described enhancement processing does not exist, and therefore it is possible to realize image enlargement with relatively little image quality degradation.

学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている（非特許文献４）。  As an example of the learning method, for example, a technique is disclosed in which learning is performed by a statistical method assuming that the relationship between luminance values with adjacent pixels is determined by a Markov process (Non-Patent Document 3). Further, a technique is disclosed in which a feature vector is obtained for each pixel in a conversion pair from low resolution to high resolution, and an enlarged image is generated from the degree of coincidence with the feature vector of the input pixel and the consistency with the periphery (non- Patent Document 4).

また学習方式は、画像拡大だけでなく、例えば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。
米国特許第５，７１７，７８９号（図５） 荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐｐ．１４４−１４５ 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．２２４９−２２５８，１９９８年１０月 Ｆｒｅｅｍａｎら、「Ｌｅａｒｎｉｎｇ Ｌｏｗ−Ｌｅｖｅｌ Ｖｉｓｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ４０（１），ｐｐ．２５−４７，２０００年 Ｈｅｒｔｚｍａｎｎら、「Ｉｍａｇｅ Ａｎａｌｏｇｉｅｓ」、ＳＩＧＧＲＡＰＨ ２００１ 予稿集，ｐｐ．３２７−３４０，２００１年 Ｍａｌｉｋら、「Ｒｅｐｒｅｓｅｎｔｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｚｉｎｇ ｔｈｅ Ｖｉｓｕａｌ Ａｐｐｅａｒａｎｃｅ ｏｆ Ｍａｔｅｒｉａｌｓ ｕｓｉｎｇ Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｘｔｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ４３（１），ｐｐ．２９−４４，２００１年 The learning method is used not only for image enlargement but also for conversion of the illumination direction, for example (Non-Patent Document 5). In Non-Patent Document 5, illumination is applied to a plurality of objects having different textures (such as irregularities and patterns on the surface of the object) from a plurality of different directions, learning data is created, and the illumination direction is converted while maintaining a texture. Technology is disclosed.
US Pat. No. 5,717,789 (FIG. 5) Shinya Araya, “Meiden 3D Computer Graphics”, Kyoritsu Shuppan, September 25, 2003, pp. 144-145 Nakashizuka et al., “Higher image resolution in multi-scale luminance gradient plane”, IEICE Transactions D-II Vol. J81-D-II No. 10 pp. 2249-2258, October 1998 Freeman et al., “Learning Low-Level Vision”, International Journal of Computer Vision 40 (1), pp. 25-47, 2000 Hertzmann et al., “Image Analogies”, SIGGRAPH 2001 Proceedings, pp. 327-340, 2001 Malik et al., “Representing and Recognizing the Visual Appealance of Materials using Three-dimensional Textons”, International Journal of Computer 1 (43). 29-44, 2001

ところが、従来の技術では、次のような問題があった。  However, the conventional technique has the following problems.

上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなく、照明方向の変換などその他の画像変換でも、同様の問題が生じる。  In the learning method as described above, since the enlarged image is selected from the image group used for learning, there is a problem that the enlargement method depends on the learning data. Similar problems occur not only in image enlargement but also in other image conversions such as conversion of the illumination direction.

また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数がかかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像から作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。  In addition, since it is necessary to prepare a large number of low-resolution images and high-resolution images, there is a problem that it takes too much man-hours for preprocessing for learning. Furthermore, since the image data at the time of learning needs to be created from the actually captured image, there is a possibility that the image data is naturally biased, which is not preferable for performing image conversion with a high degree of freedom.

前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。  In view of the above problems, an object of the present invention is to increase the degree of freedom of image conversion in the image conversion using the learning method as compared with the related art.

本発明では、第１の画像について画像特徴解析を行い、この第１の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第２の画像を生成する。  In the present invention, image feature analysis is performed on the first image, and the relationship between the image feature and the illumination equation parameter is referred to from the image feature of the first image, and the value of the illumination equation parameter corresponding to this is calculated. Get as the original parameter value. Further, the operation content of the illumination equation parameter is determined according to the instructed image conversion. Then, the original parameter value is manipulated according to this parameter manipulation content to obtain a new parameter value. Then, a second image after image conversion is generated based on the new parameter value.

この発明によると、第１の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新パラメータ値から、第２の画像が生成される。すなわち、画像変換が、照明方程式のパラメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなく、従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であったが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。  According to the present invention, the value of the illumination equation parameter corresponding to the image feature of the first image is acquired as the original parameter value, and by operating the original parameter value according to the operation content corresponding to the instructed image conversion, New parameter values are obtained. Then, a second image is generated from this new parameter value. That is, since image conversion is realized by parameter conversion of the illumination equation, it is not restricted by the image data at the time of learning, and image conversion with a higher degree of freedom than before is possible. For example, in the case of image enlargement, the surface normal vector representing the shape information of the object among the parameters of the illumination equation may be densified. In this case, an arbitrary enlargement magnification can be set. In the case of conversion of the illumination direction, the illumination vector representing the illumination direction may be changed. In addition, conversion of the viewpoint direction and the like can be easily realized by manipulating the illumination equation parameters. In the prior art, learning images are required for the types of image conversion. On the other hand, the present invention performs image conversion by the parameter operation of the illumination equation, so that the number of learning images can be suppressed.

また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値から学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ましい。  In the present invention, in the preprocessing for learning the relationship between the image feature and the illumination equation parameter, the value of the illumination equation parameter is set, a learning image is generated from the set parameter value, and the image feature analysis is performed on the learning image. It is preferable to store the obtained image features in a database in association with the original parameter values.

これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。  Thereby, in the pre-processing, the learning image can be generated by the computer using the illumination equation, so that shooting using the real object is not required for generating the learning image. Therefore, the processing is simplified and various learning images can be easily prepared.

本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。  According to the present invention, since image conversion is realized by parameter conversion of the illumination equation, image conversion with a high degree of freedom is possible. In addition, the number of learning images can be reduced. Furthermore, various learning images can be easily prepared in the preprocessing.

図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。FIG. 1 is a block diagram showing an image conversion apparatus according to the first embodiment of the present invention. 図２は照明方程式の幾何条件と光学条件を説明するための図である。FIG. 2 is a diagram for explaining the geometric conditions and optical conditions of the illumination equation. 図３は本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。FIG. 3 is a flowchart showing an image conversion method according to the first embodiment of the present invention. 図４はウェーブレット変換を用いた画像特徴解析を表す図である。FIG. 4 is a diagram illustrating image feature analysis using wavelet transform. 図５は画像変換を行うためのパラメータ操作の一例を示す図である。FIG. 5 is a diagram illustrating an example of a parameter operation for performing image conversion. 図６は画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。FIG. 6 is a diagram illustrating a method of learning the relationship between image features and illumination equation parameters. 図７は照明方程式の幾何条件と光学条件を説明するための図である。FIG. 7 is a diagram for explaining the geometric conditions and optical conditions of the illumination equation. 図８は画像特徴に応じたパラメータ取得の他の方法を示す図である。FIG. 8 is a diagram illustrating another method for acquiring parameters according to image characteristics. 図９は本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。FIG. 9 is a first configuration example for realizing the present invention, and shows a configuration using a personal computer. 図１０は本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。FIG. 10 shows a second configuration example for realizing the present invention, and shows a configuration using a server client system. 図１１は本発明を実現する第３の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。FIG. 11 shows a third configuration example for realizing the present invention, which shows a configuration using a camera-equipped mobile phone and a television.

符号の説明Explanation of symbols

１０ パラメータ出力部
３３ サーバー
３４ クライアント
４１ カメラ付携帯電話（携帯機器）
４５ カメラ
１０１ 画像特徴解析部
１０２ 画像特徴ベクトルデータベース
１０３ 照明方程式パラメータデータベース
１０４ パラメータ操作部
１０５ 画像変換指示部
１０６ パラメータ操作設定部
１０７ 画像生成部
ＩＩＮ 入力画像（第１の画像）
ＩＩＮＦＶ 入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ 入力画像特徴ベクトル番号
ＩＩＮＬＥＰ 原パラメータ値
ＩＣＩＳ 画像変換指示信号
ＬＥＰＳ パラメータ操作指示信号
ＩＯＵＴＬＥＰ 新パラメータ値
ＩＯＵＴ 出力画像（第２の画像）
ＬＥＰ１ 第１のパラメータ値
ＩＬ 学習画像10 Parameter output unit 33 Server 34 Client 41 Mobile phone with camera (mobile device)
45 Camera 101 Image feature analysis unit 102 Image feature vector database 103 Illumination equation parameter database 104 Parameter operation unit 105 Image conversion instruction unit 106 Parameter operation setting unit 107 Image generation unit IIN Input image (first image)
IINFV input image feature vector (first image feature vector)
IINFVN Input image feature vector number IINLEP Original parameter value ICIS Image conversion instruction signal LEPS Parameter operation instruction signal IOUTLEP New parameter value IOUT Output image (second image)
LEP1 first parameter value IL learning image

本発明の第１態様では、第１の画像を第２の画像に変換する方法として、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第２のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして前記第２の画像を生成する第５のステップとを備えたものを提供する。  In the first aspect of the present invention, as a method for converting the first image into the second image, the first step of performing image feature analysis on the first image, and the relationship between the image feature and the illumination equation parameter are obtained. Referring to the second step of acquiring the corresponding illumination equation parameter value as the original parameter value from the image feature of the first image obtained in the first step, and according to the instructed image conversion. A third step of determining the operation content of the illumination equation parameter, a fourth step of operating the original parameter value according to the operation content determined in the third step to obtain a new parameter value, and the new parameter value And a fifth step of generating the second image on the basis thereof.

本発明の第２態様では、前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第１態様の画像変換方法を提供する。  According to a second aspect of the present invention, there is provided the image conversion method according to the first aspect, wherein the image feature analysis in the first step is performed using spatial frequency analysis.

本発明の第３態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第１のパラメータ値を設定するステップと、前記第１のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、得られた画像特徴を前記第１のパラメータ値と対応付けてデータベースに保存する第１態様の画像変換方法を提供する。  According to a third aspect of the present invention, there is provided a preprocessing for learning a relationship between an image feature and an illumination equation parameter, and the preprocessing includes setting a first parameter value as a value of the illumination equation parameter; Generating a learning image from the parameter value of the image, and performing an image feature analysis substantially equivalent to the first step on the learning image, and obtaining the obtained image feature as the first parameter value The image conversion method of the 1st aspect which matches and preserve | saves in a database is provided.

本発明の第４態様では、前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される第３態様の画像変換方法を提供する。  According to a fourth aspect of the present invention, there is provided the image conversion method according to the third aspect, wherein the first parameter value is set assuming an illumination equation parameter when the first image is taken.

本発明の第５態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第１態様の画像変換方法を提供する。  According to a fifth aspect of the present invention, there is provided the image conversion method according to the first aspect, wherein the illumination equation represents the luminance in the viewing direction by the sum of a diffuse reflection component, a specular reflection component, and an ambient light component.

本発明の第６態様では、前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む第１態様の画像変換方法を提供する。  In the sixth aspect of the present invention, the illumination equation parameter includes a surface normal vector, an illumination vector, a ratio of a diffuse reflection component and a specular reflection component, a reflectance of a diffuse reflection component, and a reflectance of a specular reflection component. An image conversion method according to a first aspect including at least one is provided.

本発明の第７態様では、前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を定めるものである第１態様の画像変換方法を提供する。  In the seventh aspect of the present invention, the third step includes a surface normal vector, an illumination vector, a diffuse reflection component, and a specular reflection component as operation contents of the illumination equation parameter when the instructed image conversion is image enlargement. An image conversion method according to a first aspect is provided that defines at least one densification among the ratio, the diffuse reflection component reflectance, and the specular reflection component reflectance.

本発明の第８態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第２のステップは、前記複数の画像特徴ベクトルの中から前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである第１態様の画像変換方法を提供する。  In an eighth aspect of the present invention, the relationship between the image feature and the illumination equation parameter is represented by a plurality of image feature vectors and a plurality of parameter values respectively associated with the image feature vectors. Selecting a predetermined number of image feature vectors similar to the first image feature vector representing the image features of the first image from the plurality of image feature vectors; and the predetermined number of image feature vectors For each of the first image feature vectors, a parameter value corresponding to each of the predetermined number of image feature vectors is weighted and added according to the distance obtained for the image feature vectors, and the original And a step of calculating a parameter value. A first aspect of the image conversion method is provided.

本発明の第９態様では、入力画像について画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部から出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。  In a ninth aspect of the present invention, an image feature analysis is performed on an input image, and an image feature analysis unit that outputs a first image feature vector representing the image feature of the input image, a plurality of image feature vectors, and an illumination equation , A plurality of parameter values respectively corresponding to the image feature vectors, a parameter output unit for receiving the first image feature vectors and outputting corresponding original parameter values; A parameter operation setting unit that determines the operation content of the illumination equation parameter according to image conversion, and the original parameter value output from the parameter output unit is operated according to the operation content determined by the parameter operation setting unit, and a new parameter value A parameter operation unit that obtains output and generates an output image based on the new parameter value output from the parameter operation unit To provide an image conversion apparatus and a that image generation unit.

本発明の第１０態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第９態様の画像変換装置を提供する。  In a tenth aspect of the present invention, the parameter output unit includes an image feature vector database that stores the plurality of image feature vectors, and an illumination equation parameter database that stores the plurality of parameter values. An image conversion apparatus according to an aspect is provided.

本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９態様の画像特徴解析部、パラメータ出力部、パラメータ操作設定部およびパラメータ操作部を有するサーバと、第９態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。  In an eleventh aspect of the present invention, as a server client system that performs image conversion, a server having an image feature analysis unit, a parameter output unit, a parameter operation setting unit, and a parameter operation unit according to the ninth aspect, and an image generation unit according to the ninth aspect And the client provides the server with instructions for the contents of image conversion.

本発明の第１２態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。  In a twelfth aspect of the present invention, a camera, an image feature analysis unit that performs image feature analysis on an image captured by the camera, and outputs a first image feature vector representing the image feature, and a plurality of image feature vectors And an image feature vector database for specifying an image feature vector similar to the first image feature vector and outputting the number, and transmitting the number output from the image feature vector database Provide portable devices.

本発明の第１３態様では、コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるものを提供する。  In a thirteenth aspect of the present invention, as a program for causing a computer to execute a method for converting a first image into a second image, a first step of performing image feature analysis on the first image; A second relationship is obtained by referring to the relationship between the feature and the illumination equation parameter, and acquiring the value of the illumination equation parameter corresponding to the original image from the image feature of the first image obtained in the first step. A step of determining the operation content of the illumination equation parameter according to the step and the instructed image conversion, operating the original parameter value according to the operation content determined in the third step, and setting a new parameter value And a fourth step of generating the second image on the basis of the new parameter value. To provide a shall.

以下、本発明の実施の形態について、図面を参照して説明する。  Embodiments of the present invention will be described below with reference to the drawings.

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、入力画像特徴ベクトルＩＩＮＦＶを生成する。画像特徴ベクトルデータベース１０２は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース１０３は所定の照明方程式の、画像特徴ベクトルデータベース１０２に格納された各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３は、入力画像特徴ベクトルＩＩＮＦＶに対応する照明方程式パラメータの値を、原パラメータ値ＩＩＮＬＥＰとして出力する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。(First embodiment)
FIG. 1 is a block diagram showing an image conversion apparatus according to the first embodiment of the present invention. In FIG. 1, an image feature analysis unit 101 performs image feature analysis on an input image IIN, and generates an input image feature vector IINFV. The image feature vector database 102 stores a plurality of image feature vectors, and the illumination equation parameter database 103 includes a plurality of image feature vectors associated with each image feature vector stored in the image feature vector database 102 of a predetermined illumination equation. Stores parameter values. That is, a relationship between image features and illumination equation parameters is prepared. Then, the image feature vector database 102 and the illumination equation parameter database 103 output the value of the illumination equation parameter corresponding to the input image feature vector IINFV as the original parameter value IINLEP. The image feature vector database 102 and the illumination equation parameter database 103 constitute a parameter output unit 10.

画像変換指示部１０５は例えば外部から指示された画像変換の内容を、画像変換指示信号ＩＣＩＳとして出力する。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号ＬＥＰＳとして出力する。パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳによって指示された操作内容に従って、原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。画像生成部１０７は新パラメータ値ＩＯＵＴＬＥＰを用いて照明方程式を演算し、出力画像ＩＯＵＴを生成する。  For example, the image conversion instruction unit 105 outputs the content of image conversion instructed from the outside as an image conversion instruction signal ICIS. The parameter operation setting unit 106 determines the operation content of the illumination equation parameter according to the image conversion instructed by the image conversion instruction signal ICIS, and outputs this as the parameter operation instruction signal LEPS. The parameter operation unit 104 operates the original parameter value IINLEP according to the operation content instructed by the parameter operation instruction signal LEPS, and generates a new parameter value IOUTLEP. The image generation unit 107 calculates an illumination equation using the new parameter value IOUTLEP, and generates an output image IOUT.

すなわち、第１の画像としての入力画像ＩＩＮが、照明方程式のパラメータ変換によって、第２の画像としての出力画像ＩＯＵＴに画像変換される。  That is, the input image IIN as the first image is converted into the output image IOUT as the second image by the parameter conversion of the illumination equation.

ここでは、図２のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。

Figure 2006033257
Here, assuming the geometric condition and optical condition as shown in FIG. 2, the following illumination equation is used.
Figure 2006033257

ここで、Ｉｖは視点方向（視点ベクトルＶ）の輝度、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは照明方向を表わす照明ベクトル、ｄωは照明の立体角、ρｄは拡散反射成分の反射率、ρｓは鏡面反射成分の反射率、ｋｄとｋｓは拡散反射成分と鏡面反射成分の割合を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。注目点Ｐに放射照度

Figure 2006033257
で照明から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓの割合で、それぞれ入射光を反射する。Here, Iv is the luminance in the viewpoint direction (viewpoint vector V), Ia is the ambient light luminance, ρa is the ambient light reflectance, Ii is the illumination luminance, vector N is the surface normal vector, and vector L is the illumination direction. The illumination vector to be represented, dω is the solid angle of illumination, ρd is the reflectance of the diffuse reflection component, ρs is the reflectance of the specular reflection component, kd and ks are the ratio of the diffuse reflection component and the specular reflection component, and kd + ks = 1 have. Ambient light is light that enters the current target point P on the object surface SF from the periphery by multiple reflection or the like, and hits a bias component of the luminance Iv in the viewpoint direction (vector V). Irradiance at attention point P
Figure 2006033257
 Then, light is incident from the illumination, and the incident light is reflected at the ratio of the diffuse reflection component to kdρd and the specular reflection component to ksρs.

図１の照明方程式パラメータデータベース１０３では、パラメータとして、表面法線ベクトルＮ、照明ベクトルＬ、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓ、環境光輝度Ｉａ、および環境光反射率ρａの７種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなく、任意の照明方程式やパラメータが適用可能である。  In the illumination equation parameter database 103 of FIG. 1, the surface normal vector N, illumination vector L, diffuse reflection component ratio kd, diffuse reflection component reflectance ρd, specular reflection component reflectance ρs, ambient light luminance Ia, and environment Seven types of light reflectance ρa are set. The definition of the illumination equation and the types of parameters according to the present invention are not limited to those shown here, and any illumination equation or parameter can be applied.

図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。  FIG. 3 is a flowchart showing the operation of the image conversion apparatus of FIG. 1, that is, the image conversion method according to the present embodiment. Note that the image conversion method according to the present embodiment can be realized by causing a computer to execute a program for realizing the method.

まず、前処理Ｓ００において、画像特徴と照明方程式パラメータとの関係を学習する。この前処理Ｓ００の詳細については後述する。ここでは、予め学習により、図１に示すような画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が得られているものとする。  First, in pre-processing S00, the relationship between image features and illumination equation parameters is learned. Details of the preprocessing S00 will be described later. Here, it is assumed that an image feature vector database 102 and an illumination equation parameter database 103 as shown in FIG.

ステップＳ１において、第１の画像としての入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ここでの画像特徴解析は、例えば図４に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図４の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。  In step S1, the image feature analysis unit 101 performs image feature analysis on the input image IIN as the first image. The image feature analysis here is performed using spatial frequency analysis such as wavelet transform as shown in FIG. At this time, the image feature is represented by a multi-resolution expression. In the example of FIG. 4, wavelet transform outputs HL, LH, HH, and LL are obtained for each of n scalings, and these are bundled for each layer, whereby a (3n + 1) -dimensional vector is used as the first image feature vector. It is obtained as an input image feature vector IINFV. Since the image feature vector IINFV is required for each pixel, the LL image is set to have the same size in each scale. Of course, the image feature analysis and expression method of the present invention is not limited to this, and any method can be applied.

次にステップＳ２において、予め学習により求めた画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３を参照し、ステップＳ１で得た入力画像特徴ベクトルＩＩＮＦＶから、これに対応する照明方程式パラメータの値を原パラメータ値ＩＩＮＬＥＰとして取得する。ここでは、まず画像特徴ベクトルデータベース１０２が、格納しているｑ個の画像特徴ベクトルの中から、入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。そして照明方程式パラメータデータベース１０３が、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応するパラメータ値を読み出し、原パラメータ値ＩＩＮＬＥＰとして出力する。  Next, in step S2, the image feature vector database 102 and the illumination equation parameter database 103 obtained by learning in advance are referred to, and the value of the illumination equation parameter corresponding to the input image feature vector IINFV obtained in step S1 is the original parameter. Obtained as the value INLEP. Here, first, the image feature vector database 102 selects an image feature vector closest to the input image feature vector IINFV from the q image feature vectors stored therein, and the number of the selected image feature vector is input to the input image. Output as feature vector number IINFVN. The illumination equation parameter database 103 receives the input image feature vector number IINFVN, reads a parameter value corresponding to the input image feature vector number IINFVN, and outputs it as an original parameter value IINLEP.

次にステップＳ３において、パラメータ操作設定部１０６が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップＳ４において、パラメータ操作部１０４が、ステップＳ２で得られた原パラメータ値ＩＩＮＬＥＰを、ステップＳ３で定めた操作内容に従って操作し、新パラメータ値ＩＯＵＴＬＥＰを得る。  Next, in step S3, the parameter operation setting unit 106 determines the operation content of the illumination equation parameter in accordance with the instructed image conversion. In step S4, the parameter operation unit 104 operates the original parameter value IINLEP obtained in step S2 in accordance with the operation content determined in step S3, thereby obtaining a new parameter value IOUTLEP.

図５はパラメータ操作の一例を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。  FIG. 5 is a diagram showing an example of the parameter operation, in which the original parameter value IINLEP and the new parameter value IOUTLEP are written for each pixel for one line. The seven parameters described above are defined for each pixel, and three of the ambient light luminance Ia, ambient light reflectance ρa, and illumination vector L are common to each pixel. Since the diffuse reflection component ratio kd, the diffuse reflection component reflectance ρd, and the specular reflection component reflectance ρs depend on the material of the object, a suffix indicating the type of material is attached. As for the surface normal vector N of the original parameter value IINLEP, the first subscript indicates the type of material, and the second subscript indicates the difference in pixels within the same material.

いま、画像変換指示信号ＩＣＩＳによって、「拡大率２倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「拡大率２倍の画像拡大」という画像変換を「表面法線ベクトルＮの２倍高密化」というパラメータ操作に変換し、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。  Now, it is assumed that image conversion “image enlargement with double enlargement ratio” is instructed by the image conversion instruction signal ICIS. At this time, the parameter operation setting unit 106 converts the image conversion “image enlargement with a magnification ratio of 2” into a parameter operation “double density of the surface normal vector N”, and outputs the parameter operation instruction signal LEPS as a parameter operation instruction signal LEPS. 104.

パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、表面法線ベクトルＮを２倍に高密化する。すなわち、原パラメータ値ＩＩＮＬＥＰの画素数Ｕが、新パラメータ値ＩＯＵＴＬＥＰでは画素数が２ｕになる。新パラメータ値ＩＯＵＴＬＥＰの表面法線ベクトルＮでは、高密化後の画素の違いを表わすため、第３の添字を加えている。このとき、材質の境界（例えば原パラメータ値ＩＩＮＬＥＰにおける画素２と画素３の間）はエッジ部となる可能性が高いので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値ＩＯＵＴＬＥＰの画素４と画素５を、それぞれ原パラメータ値ＩＩＮＬＥＰの画素２と画素３に一致させる。すなわち、境界条件の保持のために、
Ｎ１，２＝Ｎ１，２，２ かつ Ｎ２，１＝Ｎ２，１，１
とする。なお、図５では、画像拡大を表面法線ベクトルＮの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなく、例えば、拡散反射成分比率ｋｄを高密化したり、表面法線ベクトルＮと拡散反射成分比率ｋｄを併せて高密化するなど、任意のパラメータ操作が可能である。The parameter operation unit 104 doubles the surface normal vector N in accordance with the parameter operation instruction signal LEPS. That is, the number of pixels U of the original parameter value IINLEP is 2u in the new parameter value IOUTLEP. In the surface normal vector N of the new parameter value IOUTLEP, a third subscript is added to represent the difference in pixels after densification. At this time, since the boundary of the material (for example, between the pixel 2 and the pixel 3 in the original parameter value IINLEP) is likely to be an edge portion, it is desirable to maintain this boundary condition even after densification. Specifically, the pixel 4 and the pixel 5 having the new parameter value IOUTLEP are made to coincide with the pixel 2 and the pixel 3 having the original parameter value IINLEP, respectively. That is, to maintain the boundary conditions,
N 1,2 = N 1,2,2 and N 2,1 = N 2,1,1
And In FIG. 5, the image enlargement has been described by increasing the density of the surface normal vector N. However, this is merely an example, and the present invention does not limit the illumination equation parameter to be operated and the operation method thereof. Arbitrary parameter operations such as increasing the density of the diffuse reflection component ratio kd or increasing the density of the surface normal vector N and the diffuse reflection component ratio kd are possible.

そして、ステップＳ５において、画像生成部１０７が、ステップＳ４で得られた新パラメータ値ＩＯＵＴＬＥＰを基にして、第２の画像としての出力画像ＩＯＵＴを生成する。  In step S5, the image generation unit 107 generates an output image IOUT as a second image based on the new parameter value IOUTLEP obtained in step S4.

ここで、前処理Ｓ００の詳細について、図６を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴ベクトルと照明方程式パラメータとの関連付けを行う。  Here, details of the pre-processing S00 will be described with reference to FIG. Here, an image created from an illumination equation is used for learning an image feature vector, thereby associating the image feature vector with the illumination equation parameter.

具体的には、まず、照明方程式パラメータの値として、第１のパラメータ値ＬＥＰ１（番号１）を設定する。そしてこの第１のパラメータ値ＬＥＰ１を用いて、（数１）の演算を実行し、学習画像ＩＬを生成する。そして生成された学習画像ＩＬについて、上述のステップＳ１と実質的に同等の画像特徴解析を行い、画像特徴ベクトルＩＬＦＶを得る。この画像特徴ベクトルＩＬＦＶを、画像特徴ベクトルデータベース１０２の番号１に格納する。これにより、画像特徴ベクトルＩＬＦＶと第１のパラメータ値ＬＥＰ１とが対応付けられてデータベース１０２，１０３に保存される。このような処理を繰り返し実行することによって、図１に示すような、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が生成される。なお、図６では、画像生成部１０７が画像生成を行い、画像特徴解析部１０１が画像特徴解析を行っているが、前処理Ｓ００において他の手段によって画像生成や画像特徴解析を行うようにしてもよい。  Specifically, first, the first parameter value LEP1 (number 1) is set as the value of the illumination equation parameter. Then, using the first parameter value LEP1, the calculation of (Equation 1) is executed to generate a learning image IL. The generated learning image IL is subjected to image feature analysis substantially equivalent to step S1 described above to obtain an image feature vector ILFV. This image feature vector ILFV is stored in number 1 of the image feature vector database 102. Thus, the image feature vector ILFV and the first parameter value LEP1 are associated with each other and stored in the databases 102 and 103. By repeatedly executing such processing, an image feature vector database 102 and an illumination equation parameter database 103 as shown in FIG. 1 are generated. In FIG. 6, the image generation unit 107 performs image generation and the image feature analysis unit 101 performs image feature analysis. However, in the pre-processing S00, image generation and image feature analysis are performed by other means. Also good.

以上のように本実施形態によると、入力画像ＩＩＮの画像特徴ベクトルＩＩＮＦＶから、入力画像ＩＩＮにふさわしい照明方程式のパラメータＩＩＮＬＥＰが選定される。そして、このパラメータＩＩＮＬＥＰを操作することによって、様々な出力画像ＩＯＵＴを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。  As described above, according to the present embodiment, the parameter IINLEP of the illumination equation suitable for the input image IIN is selected from the image feature vector IINFV of the input image IIN. Then, by manipulating the parameter IINLEP, various output images IOUT can be generated. Therefore, it is not limited to the image data at the time of learning, and image conversion with a high degree of freedom is possible.

また、照明方程式のパラメータＩＩＮＬＥＰを操作して画像変換を行うため、いたずらに多くの学習画像を準備する必要がなく、したがって、学習画像数を抑えることができる。また、前処理において、学習画像ＩＬは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像ＩＬの画像特徴ＩＬＦＶが入力画像ＩＩＮの画像特徴ＩＩＮＦＶに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像ＩＬを生成する際に、入力画像ＩＩＮが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像ＩＩＮの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明ベクトルＬは入力画像ＩＩＮが撮影された際のデータを利用する。  Further, since image conversion is performed by operating the illumination equation parameter IINLEP, it is not necessary to prepare a large number of learning images. Therefore, the number of learning images can be reduced. Further, in the preprocessing, the learning image IL can be generated by a computer using an illumination equation, so that shooting using a real object is not required for generating a learning image. Therefore, the processing is simplified and various learning images can be easily prepared. Note that, as the image feature ILFV of the learning image IL is closer to the image feature IINFV of the input image IIN, an appropriate illumination equation parameter can be acquired. Therefore, when generating the learning image IL, it is desirable to set the illumination equation parameters assuming the conditions when the input image IIN is taken. For example, if the shooting location of the input image IIN can be limited and, as a result, the illumination position can be limited, the illumination vector L uses data when the input image IIN is shot.

なお、本実施形態では、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなく、他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトルＬを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率ｋｄを変更すればよい。  In this embodiment, image enlargement has been described as an example of image conversion. However, the present invention is not limited to this, and parameter operations can be similarly performed for other image conversions. For example, when it is desired to change the illumination direction, the illumination vector L may be changed. When it is desired to change the ratio between the diffuse reflection component and the specular reflection component, the diffuse reflection component ratio kd may be changed.

また、鏡面反射成分反射率ρｓは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば（数２）で与えられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを導入すれば、照明方程式パラメータに視線ベクトルＶ、粗さ係数ｍ、フレネル係数Ｆλを加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。

Figure 2006033257
Further, since the specular reflection component reflectance ρs is defined by the bidirectional reflectance, it changes according to the line-of-sight direction. Therefore, for example, if the Cook-Torrance model given by (Equation 2) is introduced, the line-of-sight vector V, the roughness coefficient m, and the Fresnel coefficient Fλ can be added to the illumination equation parameters. As a result, image conversion such as a change in viewpoint direction and a change in surface roughness becomes possible.
Figure 2006033257

ここで、図７に示すように、ベクトルＨは視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。  Here, as shown in FIG. 7, the vector H is an intermediate vector between the viewpoint vector V and the illumination vector L, and β represents the angle between the intermediate vector H and the surface normal vector N. m is a coefficient representing the roughness of the surface of the object. When m is small, a portion having a small angle β, that is, a strong reflection near the surface normal vector N, and when m is large, a portion having a large angle β, that is, a surface normal. The reflection distribution also spreads in a portion away from the vector N. G is a geometric attenuation factor, and represents the influence of light shielding due to unevenness of the object surface. n is a refractive index.

このように、本発明では、照明方程式は任意に定義可能であり、（数１）や（数２）に限定されるものではない。  Thus, in the present invention, the illumination equation can be arbitrarily defined and is not limited to (Equation 1) or (Equation 2).

また、本実施形態では、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値ＩＩＮＬＥＰとして取得するものとしたが、原パラメータ値ＩＩＮＬＥＰの取得方法はこれに限られるものではない。例えば図８に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトルＩＩＮＦＶと類似する所定数（図８では３個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトルＩＩＮＦＶとの距離をそれぞれ求め、この距離に応じた重み付け係数ＩＩＮＦＶＷＦを定める。そして、選択した３個の画像特徴ベクトルにそれぞれ対応するパラメータ値を、重み付け係数ＩＩＮＦＶＷＦを用いて重み付け加算し、その結果を原パラメータ値ＩＩＮＬＥＰとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとってもかまわない。  In the present embodiment, the illumination equation parameter corresponding to the image feature vector closest to the image feature vector IINFV is acquired as the original parameter value IINLEP. However, the acquisition method of the original parameter value IINLEP is not limited to this. Absent. For example, as shown in FIG. That is, first, a predetermined number (three in FIG. 8) of image feature vectors similar to the input image feature vector IINFV are selected. For each selected image feature vector, a distance from the input image feature vector IINFV is obtained, and a weighting coefficient IINFVWF corresponding to this distance is determined. Then, the parameter values respectively corresponding to the three selected image feature vectors are weighted and added using the weighting coefficient IINFVWF, and the result is output as the original parameter value IINLEP. Instead of weighted addition, the parameter values corresponding to the selected predetermined number of image feature vectors may be simply averaged.

なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなく、任意の手段によって準備してかまわない。  Note that the relationship between the image feature and the illumination equation parameter is not necessarily learned in advance, and may be prepared by any means.

以下、本発明を実現する構成例を例示する。  Hereinafter, configuration examples for realizing the present invention will be exemplified.

（第１の構成例）
図９は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ２１の解像度はディスプレイ２２の解像度よりも低く、ディスプレイ２２の表示能力を最大限に生かすために、メインメモリ２３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ２１で取り込まれた低解像度画像は画像メモリ２４に記録される。外部記録装置２５には予め画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３とが準備されており、メインメモリ２３の画像変換プログラムから参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３の内容や作成方法等は、第１の実施形態で説明したとおりである。メインメモリ２３の画像変換プログラムは、メモリバス２６を介して画像メモリ２４の低解像度画像を読み込み、これをディスプレイ２２の解像度に合わせて高解像度画像に変換し、再びメモリバス２６経由でビデオメモリ２７に転送する。ビデオメモリ２７に転送された高解像度画像はディスプレイ２２において観察できる。(First configuration example)
FIG. 9 is a diagram showing a first configuration example, which is an example of a configuration for performing image conversion according to the present invention using a personal computer. The resolution of the camera 21 is lower than the resolution of the display 22, and an enlarged image is created by an image conversion program loaded in the main memory 23 in order to make full use of the display capability of the display 22. The low resolution image captured by the camera 21 is recorded in the image memory 24. An image feature vector database 102 and an illumination equation parameter database 103 are prepared in advance in the external recording device 25 and can be referred to from an image conversion program in the main memory 23. The operation of the image conversion program, the contents of the image feature vector database 102 and the illumination equation parameter database 103, the creation method, and the like are as described in the first embodiment. The image conversion program in the main memory 23 reads a low-resolution image in the image memory 24 via the memory bus 26, converts it into a high-resolution image in accordance with the resolution of the display 22, and again converts the video memory 27 via the memory bus 26. Forward to. The high resolution image transferred to the video memory 27 can be observed on the display 22.

なお、本発明は図９の構成に拘束されるものではなく、様々な構成をとることができる。例えば、画像特徴ベクトルデータベース１０２や照明方程式パラメータデータベース１０３を別のパーソナルコンピュータに接続された外部記憶装置からネットワーク２８を介して取得してもかまわない。また低解像度画像は、ネットワーク２８を介して取得してもかまわない。  In addition, this invention is not restrained by the structure of FIG. 9, and can take various structures. For example, the image feature vector database 102 and the illumination equation parameter database 103 may be acquired from an external storage device connected to another personal computer via the network 28. The low resolution image may be acquired via the network 28.

（第２の構成例）
図１０は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ３１の解像度はディスプレイ３２の解像度よりも低く、ディスプレイ３２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー３３では、第１の実施形態と同様に、画像特徴解析部１０１、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が、入力画像ＩＩＮから原パラメータ値ＩＩＮＬＥＰを算出する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。一方、クライアント３４の画像変換指示部１０５から、画像変換の指示（本例では画像拡大）が画像変換指示信号ＩＣＩＳとしてサーバー３３のパラメータ操作設定部１０６に渡される。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによる画像変換の内容を照明方程式パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に出力する。パラメータ操作部１０４は原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。(Second configuration example)
FIG. 10 is a diagram showing a second configuration example, which is an example of a configuration for performing image conversion according to the present invention using a server client system. The resolution of the camera 31 is lower than the resolution of the display 32, and image conversion is executed in the server client system in order to make full use of the display capability of the display 32. In the server 33, as in the first embodiment, the image feature analysis unit 101, the image feature vector database 102, and the illumination equation parameter database 103 calculate the original parameter value IINLEP from the input image IIN. The image feature vector database 102 and the illumination equation parameter database 103 constitute a parameter output unit 10. On the other hand, an image conversion instruction (image enlargement in this example) is passed from the image conversion instruction unit 105 of the client 34 to the parameter operation setting unit 106 of the server 33 as an image conversion instruction signal ICIS. The parameter operation setting unit 106 replaces the content of the image conversion by the image conversion instruction signal ICIS with the operation content of the illumination equation parameter and outputs it to the parameter operation unit 104 as the parameter operation instruction signal LEPS. The parameter operation unit 104 operates the original parameter value IINLEP to generate a new parameter value IOUTLEP.

このような動作によって、サーバー３３はクライアント３４からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク３５を介してクライアント３４に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３４では、画像生成部１０７が拡大画像を生成し、ディスプレイ３２に供給する。  With this operation, the server 33 can provide the client 34 with the new parameter value IOUTLEP in accordance with the image conversion instruction from the client 34 via the network 35. In the client 34 that has received the new parameter value IOUTLEP, the image generation unit 107 generates an enlarged image and supplies it to the display 32.

なお、本発明は図１０の構成に拘束されるものではなく、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３３に属するかクライアント３４に属するか、またはそれ以外に属するかなど）は、任意である。  Note that the present invention is not limited to the configuration shown in FIG. 10, and is a combination of image devices and positions on the system of each means (whether they belong to the server 33, the client 34, or the like) Is optional.

（第３の構成例）
図１１は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話４１はネットワーク４２またはメモリカード４３を介してテレビ４４に画像データを送ることができる。カメラ付携帯電話４１のカメラ４５の解像度はテレビ４４の解像度よりも低く、テレビ４４の表示能力を最大限に生かすために、テレビ４４の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。(Third configuration example)
FIG. 11 is a diagram showing a third configuration example, which is an example of a configuration for performing image processing according to the present invention using a camera-equipped mobile phone and a television. The camera-equipped mobile phone 41 as a portable device can send image data to the television 44 via the network 42 or the memory card 43. The resolution of the camera 45 of the camera-equipped mobile phone 41 is lower than the resolution of the television 44, and in order to make the best use of the display capability of the television 44, the image is converted by the image conversion apparatus according to the present invention installed in the internal circuit of the television 44. Perform magnification.

利用料金の面を考えると、カメラ付携帯電話４１からテレビ４４へ送るデータ量は、小さいほど利用者から歓迎される。そこで、ネットワーク４２で送信するデータは、入力画像特徴ベクトル番号ＩＩＮＦＶＮとするのが望ましい。また、ネットワーク４２における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たない入力画像特徴ベクトル番号ＩＩＮＦＶＮを送ることが望ましい。すなわち、カメラ付き携帯電話４１が画像特徴ベクトルデータベース１０２を持ち、テレビ４４が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図１１では、カメラ付携帯電話４１が、カメラ４５と、カメラ４５によって撮影された画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルＩＩＮＦＶを出力する画像特徴解析部１０１と、格納している複数の画像特徴ベクトルの中から第１の画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルを特定し、その番号ＩＩＮＦＶＮを出力する画像特徴ベクトルデータベース１０２とを備えている構成を示している。  Considering the usage fee, the smaller the amount of data sent from the camera-equipped mobile phone 41 to the television 44, the more welcomed by the user. Therefore, it is desirable that the data transmitted through the network 42 is the input image feature vector number IINFVN. Also, in order to minimize the damage of eavesdropping on the network 42, it is desirable to send the input image feature vector number IINFVN, which has no particular meaning to the number itself. That is, the camera-equipped mobile phone 41 has the image feature vector database 102 and the television 44 has the illumination equation parameter database, and the desired image conversion can be realized only when both of them are together. As a result, the usage fee can be kept low, and damage from eavesdropping can be minimized. In FIG. 11, the camera-equipped mobile phone 41 stores the camera 45, the image feature analysis unit 101 that performs the image feature analysis on the image IIN photographed by the camera 45, and outputs the first image feature vector IINFV. The image feature vector database 102 which identifies the image feature vector similar to the 1st image feature vector IINFV from the several image feature vector which exists and outputs the number IINFVN is shown.

なお、本発明は図１１の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話４１はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。  In addition, this invention is not restrained by the structure of FIG. 11, and can take various structures. For example, the camera-equipped mobile phone 41 may be a digital still camera or a video movie camera.

以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。  As described above, the present invention can be executed on a wide variety of video equipment such as personal computers, server client systems, camera-equipped mobile phones, digital still cameras, video movie cameras, and televisions, which are widely used. , Operation and management are not necessary. It should be noted that the device connection form and the internal configuration of the device are not constrained, such as mounting on dedicated hardware or a combination of software and hardware.

本発明では、拡大縮小、照明変換、視点変換、拡散／鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。  In the present invention, various image conversions such as enlargement / reduction, illumination conversion, viewpoint conversion, and diffusion / specular reflection component ratio change can be freely performed. Can be used in the field of video entertainment recorded as. In the field of culture and art, it can be used to provide a highly flexible digital archive system that is not limited by the subject or shooting location.

本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。   The present invention relates to an image processing technique, and more particularly to a technique for realizing image conversion such as image enlargement, illumination conversion, and viewpoint conversion.

画像機器とネットワークのデジタル化により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。   With the digitization of image devices and networks, different types of image devices can be easily connected to each other, and the degree of freedom of image exchange is increasing. For example, users can freely select images shot with a digital still camera, output them to a printer, publish them on a network, or view them on a home TV without any restrictions on system differences. An environment that can handle images has been improved.

一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす変換装置）が必要になる。例えばＡ４用紙（２９７ｍｍ×２１０ｍｍ）に６００ｄｐｉの解像度で印刷する場合、７１２８画素×５０４０ラインのデータが必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビとＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。   On the other hand, in order to realize such an environment, the system side is required to support various image formats, and advanced image format conversion is required. For example, in order to cope with frequent image size conversion, an up converter (a conversion device that increases the number of pixels and lines) and a down converter (a conversion device that reduces the number of pixels and lines) are required. For example, when printing on A4 paper (297 mm × 210 mm) at a resolution of 600 dpi, data of 7128 pixels × 5040 lines is required, but since the resolution of many digital still cameras is lower than this, an up-converter is required. An image published on the network needs to be converted to a corresponding image size every time an output device is determined. With regard to home television, since digital terrestrial services have been started, conventional standard television and HD (High Definition) television are mixed, and therefore image size conversion is frequently performed.

画像を拡大するためには、取得時には存在しなかった画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、バイキュービック法などの内挿を用いる方法が、一般的である（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。   In order to enlarge an image, it is necessary to newly create image data that did not exist at the time of acquisition, and various methods have already been proposed. For example, a method using interpolation such as a bilinear method or a bicubic method is common (Non-Patent Document 1). However, when interpolation is used, only intermediate values of sampling data can be generated, so that sharpness such as edges tends to deteriorate and the image tends to be blurred. Therefore, a technique is disclosed in which an interpolated image is used as an initial enlarged image, and then an edge portion is extracted to emphasize only the edge (Patent Document 1, Non-Patent Document 2). However, it is difficult to separate the edge portion from the noise, and noise is also emphasized along with the enhancement of the edge portion, and the image quality tends to be deteriorated.

そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大を実現できる。   Therefore, there is a learning method as a method for enlarging an image while suppressing image quality deterioration. That is, a high-resolution image corresponding to the enlarged image is taken in advance by a high-definition camera or the like, and a low-resolution image is created from the high-resolution image. A low-resolution image is usually generated by a method of sub-sampling through a low-pass filter. Many pairs of such low resolution images and high resolution images are prepared, and the relationship is learned as an image enlargement method. Therefore, in the learning method, the above-described enhancement processing does not exist, and therefore it is possible to realize image enlargement with relatively little image quality degradation.

学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている（非特許文献４）。   As an example of the learning method, for example, a technique is disclosed in which learning is performed by a statistical method assuming that the relationship between luminance values with adjacent pixels is determined by a Markov process (Non-Patent Document 3). Further, a technique is disclosed in which a feature vector is obtained for each pixel in a conversion pair from low resolution to high resolution, and an enlarged image is generated from the degree of coincidence with the feature vector of the input pixel and the consistency with the periphery (non- Patent Document 4).

また学習方式は、画像拡大だけでなく、例えば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。
米国特許第５，７１７，７８９号（図５） 荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐｐ．１４４−１４５ 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．２２４９−２２５８，１９９８年１０月 Ｆｒｅｅｍａｎら、「Ｌｅａｒｎｉｎｇ Ｌｏｗ−Ｌｅｖｅｌ Ｖｉｓｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ４０（１），ｐｐ．２５−４７，２０００年 Ｈｅｒｔｚｍａｎｎら、「Ｉｍａｇｅ Ａｎａｌｏｇｉｅｓ」、 ＳＩＧＧＲＡＰＨ ２００１ 予稿集，ｐｐ．３２７−３４０，２００１年 Ｍａｌｉｋら、「Ｒｅｐｒｅｓｅｎｔｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｚｉｎｇ ｔｈｅ Ｖｉｓｕａｌ Ａｐｐｅａｒａｎｃｅ ｏｆ Ｍａｔｅｒｉａｌｓ ｕｓｉｎｇ Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｘｔｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ４３（１），ｐｐ．２９−４４，２００１年 The learning method is used not only for image enlargement but also for conversion of the illumination direction, for example (Non-Patent Document 5). In Non-Patent Document 5, illumination is applied to a plurality of objects having different textures (such as irregularities and patterns on the surface of the object) from a plurality of different directions, learning data is created, and the illumination direction is converted while maintaining a texture. Technology is disclosed.
US Pat. No. 5,717,789 (FIG. 5) Shinya Araya, “Meiden 3D Computer Graphics”, Kyoritsu Shuppan, September 25, 2003, pp. 144-145 Nakashizuka et al., “Higher image resolution in multi-scale luminance gradient plane”, IEICE Transactions D-II Vol. J81-D-II No. 10 pp. 2249-2258, October 1998 Freeman et al., “Learning Low-Level Vision”, International Journal of Computer Vision 40 (1), pp. 25-47, 2000 Hertzmann et al., “Image Analogies”, SIGGRAPH 2001 Proceedings, pp. 327-340, 2001 Malik et al., “Representing and Recognizing the Visual Appealance of Materials using Three-dimensional Textons”, International Journal of Computer 1 (43). 29-44, 2001

ところが、従来の技術では、次のような問題があった。   However, the conventional technique has the following problems.

上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなく、照明方向の変換などその他の画像変換でも、同様の問題が生じる。   In the learning method as described above, since the enlarged image is selected from the image group used for learning, there is a problem that the enlargement method depends on the learning data. Similar problems occur not only in image enlargement but also in other image conversions such as conversion of the illumination direction.

また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数がかかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像から作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。   In addition, since it is necessary to prepare a large number of low-resolution images and high-resolution images, there is a problem that it takes too much man-hours for preprocessing for learning. Furthermore, since the image data at the time of learning needs to be created from the actually captured image, there is a possibility that the image data is naturally biased, which is not preferable for performing image conversion with a high degree of freedom.

前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。   In view of the above problems, an object of the present invention is to increase the degree of freedom of image conversion in the image conversion using the learning method as compared with the related art.

本発明では、第１の画像について画像特徴解析を行い、この第１の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第２の画像を生成する。   In the present invention, image feature analysis is performed on the first image, and the relationship between the image feature and the illumination equation parameter is referred to from the image feature of the first image, and the value of the illumination equation parameter corresponding to this is calculated. Get as the original parameter value. Further, the operation content of the illumination equation parameter is determined according to the instructed image conversion. Then, the original parameter value is manipulated according to this parameter manipulation content to obtain a new parameter value. Then, a second image after image conversion is generated based on the new parameter value.

この発明によると、第１の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新パラメータ値から、第２の画像が生成される。すなわち、画像変換が、照明方程式のパラメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなく、従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であったが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。   According to the present invention, the value of the illumination equation parameter corresponding to the image feature of the first image is acquired as the original parameter value, and by operating the original parameter value according to the operation content corresponding to the instructed image conversion, New parameter values are obtained. Then, a second image is generated from this new parameter value. That is, since image conversion is realized by parameter conversion of the illumination equation, it is not restricted by the image data at the time of learning, and image conversion with a higher degree of freedom than before is possible. For example, in the case of image enlargement, the surface normal vector representing the shape information of the object among the parameters of the illumination equation may be densified. In this case, an arbitrary enlargement magnification can be set. In the case of conversion of the illumination direction, the illumination vector representing the illumination direction may be changed. In addition, conversion of the viewpoint direction and the like can be easily realized by manipulating the illumination equation parameters. In the prior art, learning images are required for the types of image conversion. On the other hand, the present invention performs image conversion by the parameter operation of the illumination equation, so that the number of learning images can be suppressed.

また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値から学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ましい。   In the present invention, in the preprocessing for learning the relationship between the image feature and the illumination equation parameter, the value of the illumination equation parameter is set, a learning image is generated from the set parameter value, and the image feature analysis is performed on the learning image. It is preferable to store the obtained image features in a database in association with the original parameter values.

これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。   Thereby, in the pre-processing, the learning image can be generated by the computer using the illumination equation, so that shooting using the real object is not required for generating the learning image. Therefore, the processing is simplified and various learning images can be easily prepared.

本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。   According to the present invention, since image conversion is realized by parameter conversion of the illumination equation, image conversion with a high degree of freedom is possible. In addition, the number of learning images can be reduced. Furthermore, various learning images can be easily prepared in the preprocessing.

本発明の第１態様では、第１の画像を第２の画像に変換する方法として、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第２のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして前記第２の画像を生成する第５のステップとを備えたものを提供する。   In the first aspect of the present invention, as a method for converting the first image into the second image, the first step of performing image feature analysis on the first image, and the relationship between the image feature and the illumination equation parameter are obtained. Referring to the second step of acquiring the corresponding illumination equation parameter value as the original parameter value from the image feature of the first image obtained in the first step, and according to the instructed image conversion. A third step of determining the operation content of the illumination equation parameter, a fourth step of operating the original parameter value according to the operation content determined in the third step to obtain a new parameter value, and the new parameter value And a fifth step of generating the second image on the basis thereof.

本発明の第２態様では、前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第１態様の画像変換方法を提供する。   According to a second aspect of the present invention, there is provided the image conversion method according to the first aspect, wherein the image feature analysis in the first step is performed using spatial frequency analysis.

本発明の第３態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第１のパラメータ値を設定するステップと、前記第１のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、得られた画像特徴を前記第１のパラメータ値と対応付けてデータベースに保存する第１態様の画像変換方法を提供する。   According to a third aspect of the present invention, there is provided a preprocessing for learning a relationship between an image feature and an illumination equation parameter, and the preprocessing includes setting a first parameter value as a value of the illumination equation parameter; Generating a learning image from the parameter value of the image, and performing an image feature analysis substantially equivalent to the first step on the learning image, and obtaining the obtained image feature as the first parameter value The image conversion method of the 1st aspect which matches and preserve | saves in a database is provided.

本発明の第４態様では、前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される第３態様の画像変換方法を提供する。   According to a fourth aspect of the present invention, there is provided the image conversion method according to the third aspect, wherein the first parameter value is set assuming an illumination equation parameter when the first image is taken.

本発明の第５態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第１態様の画像変換方法を提供する。   According to a fifth aspect of the present invention, there is provided the image conversion method according to the first aspect, wherein the illumination equation represents the luminance in the viewing direction by the sum of a diffuse reflection component, a specular reflection component, and an ambient light component.

本発明の第６態様では、前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む第１態様の画像変換方法を提供する。   In the sixth aspect of the present invention, the illumination equation parameter includes a surface normal vector, an illumination vector, a ratio of a diffuse reflection component and a specular reflection component, a reflectance of a diffuse reflection component, and a reflectance of a specular reflection component. An image conversion method according to a first aspect including at least one is provided.

本発明の第７態様では、前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を定めるものである第１態様の画像変換方法を提供する。   In the seventh aspect of the present invention, the third step includes a surface normal vector, an illumination vector, a diffuse reflection component, and a specular reflection component as operation contents of the illumination equation parameter when the instructed image conversion is image enlargement. An image conversion method according to a first aspect is provided that defines at least one densification among the ratio, the diffuse reflection component reflectance, and the specular reflection component reflectance.

本発明の第８態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第２のステップは、前記複数の画像特徴ベクトルの中から前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである第１態様の画像変換方法を提供する。   In an eighth aspect of the present invention, the relationship between the image feature and the illumination equation parameter is represented by a plurality of image feature vectors and a plurality of parameter values respectively associated with the image feature vectors. Selecting a predetermined number of image feature vectors similar to the first image feature vector representing the image features of the first image from the plurality of image feature vectors; and the predetermined number of image feature vectors For each of the first image feature vectors, a parameter value corresponding to each of the predetermined number of image feature vectors is weighted and added according to the distance obtained for the image feature vectors, and the original And a step of calculating a parameter value. A first aspect of the image conversion method is provided.

本発明の第９態様では、入力画像について画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部から出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。   In a ninth aspect of the present invention, an image feature analysis is performed on an input image, and an image feature analysis unit that outputs a first image feature vector representing the image feature of the input image, a plurality of image feature vectors, and an illumination equation , A plurality of parameter values respectively corresponding to the image feature vectors, a parameter output unit for receiving the first image feature vectors and outputting corresponding original parameter values; A parameter operation setting unit that determines the operation content of the illumination equation parameter according to image conversion, and the original parameter value output from the parameter output unit is operated according to the operation content determined by the parameter operation setting unit, and a new parameter value A parameter operation unit that obtains output and generates an output image based on the new parameter value output from the parameter operation unit To provide an image conversion apparatus and a that image generation unit.

本発明の第１０態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第９態様の画像変換装置を提供する。   In a tenth aspect of the present invention, the parameter output unit includes an image feature vector database that stores the plurality of image feature vectors, and an illumination equation parameter database that stores the plurality of parameter values. An image conversion apparatus according to an aspect is provided.

本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９態様の画像特徴解析部、パラメータ出力部、パラメータ操作設定部およびパラメータ操作部を有するサーバと、第９態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。   In an eleventh aspect of the present invention, as a server client system that performs image conversion, a server having an image feature analysis unit, a parameter output unit, a parameter operation setting unit, and a parameter operation unit according to the ninth aspect, and an image generation unit according to the ninth aspect And the client provides the server with instructions for the contents of image conversion.

本発明の第１２態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。   In a twelfth aspect of the present invention, a camera, an image feature analysis unit that performs image feature analysis on an image captured by the camera, and outputs a first image feature vector representing the image feature, and a plurality of image feature vectors And an image feature vector database for specifying an image feature vector similar to the first image feature vector and outputting the number, and transmitting the number output from the image feature vector database Provide portable devices.

本発明の第１３態様では、コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるものを提供する。   In a thirteenth aspect of the present invention, as a program for causing a computer to execute a method for converting a first image into a second image, a first step of performing image feature analysis on the first image; A second relationship is obtained by referring to the relationship between the feature and the illumination equation parameter, and acquiring the value of the illumination equation parameter corresponding to the original image from the image feature of the first image obtained in the first step. A step of determining the operation content of the illumination equation parameter according to the step and the instructed image conversion, operating the original parameter value according to the operation content determined in the third step, and setting a new parameter value And a fourth step of generating the second image on the basis of the new parameter value. To provide a shall.

以下、本発明の実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、入力画像特徴ベクトルＩＩＮＦＶを生成する。画像特徴ベクトルデータベース１０２は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース１０３は所定の照明方程式の、画像特徴ベクトルデータベース１０２に格納された各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３は、入力画像特徴ベクトルＩＩＮＦＶに対応する照明方程式パラメータの値を、原パラメータ値ＩＩＮＬＥＰとして出力する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。 (First embodiment)
FIG. 1 is a block diagram showing an image conversion apparatus according to the first embodiment of the present invention. In FIG. 1, an image feature analysis unit 101 performs image feature analysis on an input image IIN, and generates an input image feature vector IINFV. The image feature vector database 102 stores a plurality of image feature vectors, and the illumination equation parameter database 103 includes a plurality of image feature vectors associated with each image feature vector stored in the image feature vector database 102 of a predetermined illumination equation. Stores parameter values. That is, a relationship between image features and illumination equation parameters is prepared. Then, the image feature vector database 102 and the illumination equation parameter database 103 output the value of the illumination equation parameter corresponding to the input image feature vector IINFV as the original parameter value IINLEP. The image feature vector database 102 and the illumination equation parameter database 103 constitute a parameter output unit 10.

画像変換指示部１０５は例えば外部から指示された画像変換の内容を、画像変換指示信号ＩＣＩＳとして出力する。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号ＬＥＰＳとして出力する。パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳによって指示された操作内容に従って、原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。画像生成部１０７は新パラメータ値ＩＯＵＴＬＥＰを用いて照明方程式を演算し、出力画像ＩＯＵＴを生成する。   For example, the image conversion instruction unit 105 outputs the content of image conversion instructed from the outside as an image conversion instruction signal ICIS. The parameter operation setting unit 106 determines the operation content of the illumination equation parameter according to the image conversion instructed by the image conversion instruction signal ICIS, and outputs this as the parameter operation instruction signal LEPS. The parameter operation unit 104 operates the original parameter value IINLEP according to the operation content instructed by the parameter operation instruction signal LEPS, and generates a new parameter value IOUTLEP. The image generation unit 107 calculates an illumination equation using the new parameter value IOUTLEP, and generates an output image IOUT.

すなわち、第１の画像としての入力画像ＩＩＮが、照明方程式のパラメータ変換によって、第２の画像としての出力画像ＩＯＵＴに画像変換される。   That is, the input image IIN as the first image is converted into the output image IOUT as the second image by the parameter conversion of the illumination equation.

ここでは、図２のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。

Figure 2006033257
Here, assuming the geometric condition and optical condition as shown in FIG. 2, the following illumination equation is used.
Figure 2006033257

ここで、Ｉｖは視点方向（視点ベクトルＶ）の輝度、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは照明方向を表わす照明ベクトル、ｄωは照明の立体角、ρｄは拡散反射成分の反射率、ρｓは鏡面反射成分の反射率、ｋｄとｋｓは拡散反射成分と鏡面反射成分の割合を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。注目点Ｐに放射照度

Figure 2006033257
で照明から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓの割合で、それぞれ入射光を反射する。 Here, Iv is the luminance in the viewpoint direction (viewpoint vector V), Ia is the ambient light luminance, ρa is the ambient light reflectance, Ii is the illumination luminance, vector N is the surface normal vector, and vector L is the illumination direction. The illumination vector to be represented, dω is the solid angle of illumination, ρd is the reflectance of the diffuse reflection component, ρs is the reflectance of the specular reflection component, kd and ks are the ratio of the diffuse reflection component and the specular reflection component, and kd + ks = 1 have. Ambient light is light that enters the current target point P on the object surface SF from the periphery by multiple reflection or the like, and hits a bias component of the luminance Iv in the viewpoint direction (vector V). Irradiance at attention point P
Figure 2006033257
 Then, light is incident from the illumination, and the incident light is reflected at the ratio of the diffuse reflection component to kdρd and the specular reflection component to ksρs.

図１の照明方程式パラメータデータベース１０３では、パラメータとして、表面法線ベクトルＮ、照明ベクトルＬ、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓ、環境光輝度Ｉａ、および環境光反射率ρａの７種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなく、任意の照明方程式やパラメータが適用可能である。   In the illumination equation parameter database 103 of FIG. 1, the surface normal vector N, illumination vector L, diffuse reflection component ratio kd, diffuse reflection component reflectance ρd, specular reflection component reflectance ρs, ambient light luminance Ia, and environment Seven types of light reflectance ρa are set. The definition of the illumination equation and the types of parameters according to the present invention are not limited to those shown here, and any illumination equation or parameter can be applied.

図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。   FIG. 3 is a flowchart showing the operation of the image conversion apparatus of FIG. 1, that is, the image conversion method according to the present embodiment. Note that the image conversion method according to the present embodiment can be realized by causing a computer to execute a program for realizing the method.

まず、前処理Ｓ００において、画像特徴と照明方程式パラメータとの関係を学習する。この前処理Ｓ００の詳細については後述する。ここでは、予め学習により、図１に示すような画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が得られているものとする。   First, in pre-processing S00, the relationship between image features and illumination equation parameters is learned. Details of the preprocessing S00 will be described later. Here, it is assumed that an image feature vector database 102 and an illumination equation parameter database 103 as shown in FIG.

ステップＳ１において、第１の画像としての入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ここでの画像特徴解析は、例えば図４に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図４の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。   In step S1, the image feature analysis unit 101 performs image feature analysis on the input image IIN as the first image. The image feature analysis here is performed using spatial frequency analysis such as wavelet transform as shown in FIG. At this time, the image feature is represented by a multi-resolution expression. In the example of FIG. 4, wavelet transform outputs HL, LH, HH, and LL are obtained for each of n scalings, and these are bundled for each layer, whereby a (3n + 1) -dimensional vector is used as the first image feature vector. It is obtained as an input image feature vector IINFV. Since the image feature vector IINFV is required for each pixel, the LL image is set to have the same size in each scale. Of course, the image feature analysis and expression method of the present invention is not limited to this, and any method can be applied.

次にステップＳ２において、予め学習により求めた画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３を参照し、ステップＳ１で得た入力画像特徴ベクトルＩＩＮＦＶから、これに対応する照明方程式パラメータの値を原パラメータ値ＩＩＮＬＥＰとして取得する。ここでは、まず画像特徴ベクトルデータベース１０２が、格納しているｑ個の画像特徴ベクトルの中から、入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。そして照明方程式パラメータデータベース１０３が、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応するパラメータ値を読み出し、原パラメータ値ＩＩＮＬＥＰとして出力する。   Next, in step S2, the image feature vector database 102 and the illumination equation parameter database 103 obtained by learning in advance are referred to, and the value of the illumination equation parameter corresponding to the input image feature vector IINFV obtained in step S1 is the original parameter. Obtained as the value INLEP. Here, first, the image feature vector database 102 selects an image feature vector closest to the input image feature vector IINFV from the q image feature vectors stored therein, and the number of the selected image feature vector is input to the input image. Output as feature vector number IINFVN. The illumination equation parameter database 103 receives the input image feature vector number IINFVN, reads a parameter value corresponding to the input image feature vector number IINFVN, and outputs it as an original parameter value IINLEP.

次にステップＳ３において、パラメータ操作設定部１０６が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップＳ４において、パラメータ操作部１０４が、ステップＳ２で得られた原パラメータ値ＩＩＮＬＥＰを、ステップＳ３で定めた操作内容に従って操作し、新パラメータ値ＩＯＵＴＬＥＰを得る。   Next, in step S3, the parameter operation setting unit 106 determines the operation content of the illumination equation parameter in accordance with the instructed image conversion. In step S4, the parameter operation unit 104 operates the original parameter value IINLEP obtained in step S2 in accordance with the operation content determined in step S3, thereby obtaining a new parameter value IOUTLEP.

図５はパラメータ操作の一例を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。   FIG. 5 is a diagram showing an example of the parameter operation, in which the original parameter value IINLEP and the new parameter value IOUTLEP are written for each pixel for one line. The seven parameters described above are defined for each pixel, and three of the ambient light luminance Ia, ambient light reflectance ρa, and illumination vector L are common to each pixel. Since the diffuse reflection component ratio kd, the diffuse reflection component reflectance ρd, and the specular reflection component reflectance ρs depend on the material of the object, a suffix indicating the type of material is attached. As for the surface normal vector N of the original parameter value IINLEP, the first subscript indicates the type of material, and the second subscript indicates the difference in pixels within the same material.

いま、画像変換指示信号ＩＣＩＳによって、「拡大率２倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「拡大率２倍の画像拡大」という画像変換を「表面法線ベクトルＮの２倍高密化」というパラメータ操作に変換し、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。   Now, it is assumed that image conversion “image enlargement with double enlargement ratio” is instructed by the image conversion instruction signal ICIS. At this time, the parameter operation setting unit 106 converts the image conversion “image enlargement with a magnification ratio of 2” into a parameter operation “double density of the surface normal vector N”, and outputs the parameter operation instruction signal LEPS as a parameter operation instruction signal LEPS. 104.

パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、表面法線ベクトルＮを２倍に高密化する。すなわち、原パラメータ値ＩＩＮＬＥＰの画素数ｕが、新パラメータ値ＩＯＵＴＬＥＰでは画素数が２ｕになる。新パラメータ値ＩＯＵＴＬＥＰの表面法線ベクトルＮでは、高密化後の画素の違いを表わすため、第３の添字を加えている。このとき、材質の境界（例えば原パラメータ値ＩＩＮＬＥＰにおける画素２と画素３の間）はエッジ部となる可能性が高いので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値ＩＯＵＴＬＥＰの画素４と画素５を、それぞれ原パラメータ値ＩＩＮＬＥＰの画素２と画素３に一致させる。すなわち、境界条件の保持のために、
Ｎ１，２＝Ｎ１，２，２ かつ Ｎ２，１＝Ｎ２，１，１
とする。なお、図５では、画像拡大を表面法線ベクトルＮの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなく、例えば、拡散反射成分比率ｋｄを高密化したり、表面法線ベクトルＮと拡散反射成分比率ｋｄを併せて高密化するなど、任意のパラメータ操作が可能である。 The parameter operation unit 104 doubles the surface normal vector N in accordance with the parameter operation instruction signal LEPS. That is, the number of pixels u of the original parameter value IINLEP is 2u, and the number of pixels of the new parameter value IOUTLEP is 2u. In the surface normal vector N of the new parameter value IOUTLEP, a third subscript is added to represent the difference in pixels after densification. At this time, since the boundary of the material (for example, between the pixel 2 and the pixel 3 in the original parameter value IINLEP) is likely to be an edge portion, it is desirable to maintain this boundary condition even after densification. Specifically, the pixel 4 and the pixel 5 having the new parameter value IOUTLEP are made to coincide with the pixel 2 and the pixel 3 having the original parameter value IINLEP, respectively. That is, to maintain the boundary conditions,
N 1,2 = N 1,2,2 and N 2,1 = N 2,1,1
And In FIG. 5, the image enlargement has been described by increasing the density of the surface normal vector N. However, this is merely an example, and the present invention does not limit the illumination equation parameter to be operated and the operation method thereof. Arbitrary parameter operations such as increasing the density of the diffuse reflection component ratio kd or increasing the density of the surface normal vector N and the diffuse reflection component ratio kd are possible.

そして、ステップＳ５において、画像生成部１０７が、ステップＳ４で得られた新パラメータ値ＩＯＵＴＬＥＰを基にして、第２の画像としての出力画像ＩＯＵＴを生成する。   In step S5, the image generation unit 107 generates an output image IOUT as a second image based on the new parameter value IOUTLEP obtained in step S4.

ここで、前処理Ｓ００の詳細について、図６を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴ベクトルと照明方程式パラメータとの関連付けを行う。   Here, details of the pre-processing S00 will be described with reference to FIG. Here, an image created from an illumination equation is used for learning an image feature vector, thereby associating the image feature vector with the illumination equation parameter.

具体的には、まず、照明方程式パラメータの値として、第１のパラメータ値ＬＥＰ１（番号１）を設定する。そしてこの第１のパラメータ値ＬＥＰ１を用いて、（数１）の演算を実行し、学習画像ＩＬを生成する。そして生成された学習画像ＩＬについて、上述のステップＳ１と実質的に同等の画像特徴解析を行い、画像特徴ベクトルＩＬＦＶを得る。この画像特徴ベクトルＩＬＦＶを、画像特徴ベクトルデータベース１０２の番号１に格納する。これにより、画像特徴ベクトルＩＬＦＶと第１のパラメータ値ＬＥＰ１とが対応付けられてデータベース１０２，１０３に保存される。このような処理を繰り返し実行することによって、図１に示すような、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が生成される。なお、図６では、画像生成部１０７が画像生成を行い、画像特徴解析部１０１が画像特徴解析を行っているが、前処理Ｓ００において他の手段によって画像生成や画像特徴解析を行うようにしてもよい。   Specifically, first, the first parameter value LEP1 (number 1) is set as the value of the illumination equation parameter. Then, using the first parameter value LEP1, the calculation of (Equation 1) is executed to generate a learning image IL. The generated learning image IL is subjected to image feature analysis substantially equivalent to step S1 described above to obtain an image feature vector ILFV. This image feature vector ILFV is stored in number 1 of the image feature vector database 102. Thus, the image feature vector ILFV and the first parameter value LEP1 are associated with each other and stored in the databases 102 and 103. By repeatedly executing such processing, an image feature vector database 102 and an illumination equation parameter database 103 as shown in FIG. 1 are generated. In FIG. 6, the image generation unit 107 performs image generation and the image feature analysis unit 101 performs image feature analysis. However, in the pre-processing S00, image generation and image feature analysis are performed by other means. Also good.

以上のように本実施形態によると、入力画像ＩＩＮの画像特徴ベクトルＩＩＮＦＶから、入力画像ＩＩＮにふさわしい照明方程式のパラメータＩＩＮＬＥＰが選定される。そして、このパラメータＩＩＮＬＥＰを操作することによって、様々な出力画像ＩＯＵＴを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。   As described above, according to the present embodiment, the parameter IINLEP of the illumination equation suitable for the input image IIN is selected from the image feature vector IINFV of the input image IIN. Then, by manipulating the parameter IINLEP, various output images IOUT can be generated. Therefore, it is not limited to the image data at the time of learning, and image conversion with a high degree of freedom is possible.

また、照明方程式のパラメータＩＩＮＬＥＰを操作して画像変換を行うため、いたずらに多くの学習画像を準備する必要がなく、したがって、学習画像数を抑えることができる。また、前処理において、学習画像ＩＬは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像ＩＬの画像特徴ＩＬＦＶが入力画像ＩＩＮの画像特徴ＩＩＮＦＶに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像ＩＬを生成する際に、入力画像ＩＩＮが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像ＩＩＮの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明ベクトルＬは入力画像ＩＩＮが撮影された際のデータを利用する。   Further, since image conversion is performed by operating the illumination equation parameter IINLEP, it is not necessary to prepare a large number of learning images. Therefore, the number of learning images can be reduced. Further, in the preprocessing, the learning image IL can be generated by a computer using an illumination equation, so that shooting using a real object is not required for generating a learning image. Therefore, the processing is simplified and various learning images can be easily prepared. Note that, as the image feature ILFV of the learning image IL is closer to the image feature IINFV of the input image IIN, an appropriate illumination equation parameter can be acquired. Therefore, when generating the learning image IL, it is desirable to set the illumination equation parameters assuming the conditions when the input image IIN is taken. For example, if the shooting location of the input image IIN can be limited and, as a result, the illumination position can be limited, the illumination vector L uses data when the input image IIN is shot.

なお、本実施形態では、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなく、他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトルＬを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率ｋｄを変更すればよい。   In this embodiment, image enlargement has been described as an example of image conversion. However, the present invention is not limited to this, and parameter operations can be similarly performed for other image conversions. For example, when it is desired to change the illumination direction, the illumination vector L may be changed. When it is desired to change the ratio between the diffuse reflection component and the specular reflection component, the diffuse reflection component ratio kd may be changed.

また、鏡面反射成分反射率ρｓは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば（数２）で与えられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを導入すれば、照明方程式パラメータに視線ベクトルＶ、粗さ係数ｍ、フレネル係数Ｆλ を加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。

Figure 2006033257
Further, since the specular reflection component reflectance ρs is defined by the bidirectional reflectance, it changes according to the line-of-sight direction. Therefore, if introduced Cook-Torrance model given by example equation (2), illumination equation parameters viewing vector V, roughness coefficient m, can be added to the Fresnel coefficients F lambda. As a result, image conversion such as a change in viewpoint direction and a change in surface roughness becomes possible.
Figure 2006033257

ここで、図７に示すように、ベクトルＨは視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。   Here, as shown in FIG. 7, the vector H is an intermediate vector between the viewpoint vector V and the illumination vector L, and β represents the angle between the intermediate vector H and the surface normal vector N. m is a coefficient representing the roughness of the surface of the object. When m is small, a portion having a small angle β, that is, a strong reflection near the surface normal vector N, and when m is large, a portion having a large angle β, that is, a surface normal. The reflection distribution also spreads in a portion away from the vector N. G is a geometric attenuation factor, and represents the influence of light shielding due to unevenness of the object surface. n is a refractive index.

このように、本発明では、照明方程式は任意に定義可能であり、（数１）や（数２）に限定されるものではない。   Thus, in the present invention, the illumination equation can be arbitrarily defined and is not limited to (Equation 1) or (Equation 2).

また、本実施形態では、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値ＩＩＮＬＥＰとして取得するものとしたが、原パラメータ値ＩＩＮＬＥＰの取得方法はこれに限られるものではない。例えば図８に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトルＩＩＮＦＶと類似する所定数（図８では３個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトルＩＩＮＦＶとの距離をそれぞれ求め、この距離に応じた重み付け係数ＩＩＮＦＶＷＦを定める。そして、選択した３個の画像特徴ベクトルにそれぞれ対応するパラメータ値を、重み付け係数ＩＩＮＦＶＷＦを用いて重み付け加算し、その結果を原パラメータ値ＩＩＮＬＥＰとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとってもかまわない。   In the present embodiment, the illumination equation parameter corresponding to the image feature vector closest to the image feature vector IINFV is acquired as the original parameter value IINLEP. However, the acquisition method of the original parameter value IINLEP is not limited to this. Absent. For example, as shown in FIG. That is, first, a predetermined number (three in FIG. 8) of image feature vectors similar to the input image feature vector IINFV are selected. For each selected image feature vector, a distance from the input image feature vector IINFV is obtained, and a weighting coefficient IINFVWF corresponding to this distance is determined. Then, the parameter values respectively corresponding to the three selected image feature vectors are weighted and added using the weighting coefficient IINFVWF, and the result is output as the original parameter value IINLEP. Instead of weighted addition, the parameter values corresponding to the selected predetermined number of image feature vectors may be simply averaged.

なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなく、任意の手段によって準備してかまわない。   Note that the relationship between the image feature and the illumination equation parameter is not necessarily learned in advance, and may be prepared by any means.

以下、本発明を実現する構成例を例示する。   Hereinafter, configuration examples for realizing the present invention will be exemplified.

（第１の構成例）
図９は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ２１の解像度はディスプレイ２２の解像度よりも低く、ディスプレイ２２の表示能力を最大限に生かすために、メインメモリ２３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ２１で取り込まれた低解像度画像は画像メモリ２４に記録される。外部記録装置２５には予め画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３とが準備されており、メインメモリ２３の画像変換プログラムから参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３の内容や作成方法等は、第１の実施形態で説明したとおりである。メインメモリ２３の画像変換プログラムは、メモリバス２６を介して画像メモリ２４の低解像度画像を読み込み、これをディスプレイ２２の解像度に合わせて高解像度画像に変換し、再びメモリバス２６経由でビデオメモリ２７に転送する。ビデオメモリ２７に転送された高解像度画像はディスプレイ２２において観察できる。 (First configuration example)
FIG. 9 is a diagram showing a first configuration example, which is an example of a configuration for performing image conversion according to the present invention using a personal computer. The resolution of the camera 21 is lower than the resolution of the display 22, and an enlarged image is created by an image conversion program loaded in the main memory 23 in order to make full use of the display capability of the display 22. The low resolution image captured by the camera 21 is recorded in the image memory 24. An image feature vector database 102 and an illumination equation parameter database 103 are prepared in advance in the external recording device 25 and can be referred to from an image conversion program in the main memory 23. The operation of the image conversion program, the contents of the image feature vector database 102 and the illumination equation parameter database 103, the creation method, and the like are as described in the first embodiment. The image conversion program in the main memory 23 reads a low-resolution image in the image memory 24 via the memory bus 26, converts it into a high-resolution image in accordance with the resolution of the display 22, and again converts the video memory 27 via the memory bus 26. Forward to. The high resolution image transferred to the video memory 27 can be observed on the display 22.

なお、本発明は図９の構成に拘束されるものではなく、様々な構成をとることができる。例えば、画像特徴ベクトルデータベース１０２や照明方程式パラメータデータベース１０３を別のパーソナルコンピュータに接続された外部記憶装置からネットワーク２８を介して取得してもかまわない。また低解像度画像は、ネットワーク２８を介して取得してもかまわない。   In addition, this invention is not restrained by the structure of FIG. 9, and can take various structures. For example, the image feature vector database 102 and the illumination equation parameter database 103 may be acquired from an external storage device connected to another personal computer via the network 28. The low resolution image may be acquired via the network 28.

（第２の構成例）
図１０は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ３１の解像度はディスプレイ３２の解像度よりも低く、ディスプレイ３２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー３３では、第１の実施形態と同様に、画像特徴解析部１０１、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が、入力画像ＩＩＮから原パラメータ値ＩＩＮＬＥＰを算出する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。一方、クライアント３４の画像変換指示部１０５から、画像変換の指示（本例では画像拡大）が画像変換指示信号ＩＣＩＳとしてサーバー３３のパラメータ操作設定部１０６に渡される。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによる画像変換の内容を照明方程式パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に出力する。パラメータ操作部１０４は原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。 (Second configuration example)
FIG. 10 is a diagram showing a second configuration example, which is an example of a configuration for performing image conversion according to the present invention using a server client system. The resolution of the camera 31 is lower than the resolution of the display 32, and image conversion is executed in the server client system in order to make full use of the display capability of the display 32. In the server 33, as in the first embodiment, the image feature analysis unit 101, the image feature vector database 102, and the illumination equation parameter database 103 calculate the original parameter value IINLEP from the input image IIN. The image feature vector database 102 and the illumination equation parameter database 103 constitute a parameter output unit 10. On the other hand, an image conversion instruction (image enlargement in this example) is passed from the image conversion instruction unit 105 of the client 34 to the parameter operation setting unit 106 of the server 33 as an image conversion instruction signal ICIS. The parameter operation setting unit 106 replaces the content of the image conversion by the image conversion instruction signal ICIS with the operation content of the illumination equation parameter and outputs it to the parameter operation unit 104 as the parameter operation instruction signal LEPS. The parameter operation unit 104 operates the original parameter value IINLEP to generate a new parameter value IOUTLEP.

このような動作によって、サーバー３３はクライアント３４からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク３５を介してクライアント３４に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３４では、画像生成部１０７が拡大画像を生成し、ディスプレイ３２に供給する。   With this operation, the server 33 can provide the client 34 with the new parameter value IOUTLEP in accordance with the image conversion instruction from the client 34 via the network 35. In the client 34 that has received the new parameter value IOUTLEP, the image generation unit 107 generates an enlarged image and supplies it to the display 32.

なお、本発明は図１０の構成に拘束されるものではなく、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３３に属するかクライアント３４に属するか、またはそれ以外に属するかなど）は、任意である。   Note that the present invention is not limited to the configuration shown in FIG. 10, and is a combination of image devices and positions on the system of each means (whether they belong to the server 33, the client 34, or the like) Is optional.

（第３の構成例）
図１１は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話４１はネットワーク４２またはメモリカード４３を介してテレビ４４に画像データを送ることができる。カメラ付携帯電話４１のカメラ４５の解像度はテレビ４４の解像度よりも低く、テレビ４４の表示能力を最大限に生かすために、テレビ４４の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。 (Third configuration example)
FIG. 11 is a diagram showing a third configuration example, which is an example of a configuration for performing image processing according to the present invention using a camera-equipped mobile phone and a television. The camera-equipped mobile phone 41 as a portable device can send image data to the television 44 via the network 42 or the memory card 43. The resolution of the camera 45 of the camera-equipped mobile phone 41 is lower than the resolution of the television 44, and in order to make the best use of the display capability of the television 44, the image is converted by the image conversion apparatus according to the present invention installed in the internal circuit of the television 44. Perform magnification.

利用料金の面を考えると、カメラ付携帯電話４１からテレビ４４へ送るデータ量は、小さいほど利用者から歓迎される。そこで、ネットワーク４２で送信するデータは、入力画像特徴ベクトル番号ＩＩＮＦＶＮとするのが望ましい。また、ネットワーク４２における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たない入力画像特徴ベクトル番号ＩＩＮＦＶＮを送ることが望ましい。すなわち、カメラ付き携帯電話４１が画像特徴ベクトルデータベース１０２を持ち、テレビ４４が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図１１では、カメラ付携帯電話４１が、カメラ４５と、カメラ４５によって撮影された画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルＩＩＮＦＶを出力する画像特徴解析部１０１と、格納している複数の画像特徴ベクトルの中から第１の画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルを特定し、その番号ＩＩＮＦＶＮを出力する画像特徴ベクトルデータベース１０２とを備えている構成を示している。   Considering the usage fee, the smaller the amount of data sent from the camera-equipped mobile phone 41 to the television 44, the more welcomed by the user. Therefore, it is desirable that the data transmitted through the network 42 is the input image feature vector number IINFVN. Also, in order to minimize the damage of eavesdropping on the network 42, it is desirable to send the input image feature vector number IINFVN, which has no particular meaning to the number itself. That is, the camera-equipped mobile phone 41 has the image feature vector database 102 and the television 44 has the illumination equation parameter database, and the desired image conversion can be realized only when both of them are together. As a result, the usage fee can be kept low, and damage from eavesdropping can be minimized. In FIG. 11, the camera-equipped mobile phone 41 stores the camera 45, the image feature analysis unit 101 that performs the image feature analysis on the image IIN photographed by the camera 45, and outputs the first image feature vector IINFV. The image feature vector database 102 which identifies the image feature vector similar to the 1st image feature vector IINFV from the several image feature vector which exists and outputs the number IINFVN is shown.

なお、本発明は図１１の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話４１はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。   In addition, this invention is not restrained by the structure of FIG. 11, and can take various structures. For example, the camera-equipped mobile phone 41 may be a digital still camera or a video movie camera.

以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。   As described above, the present invention can be executed on a wide variety of video devices such as personal computers, server client systems, camera-equipped mobile phones, digital still cameras, video movie cameras, and televisions, which are widely used. , Operation and management are not necessary. It should be noted that the device connection form and the internal configuration of the device are not constrained, such as mounting on dedicated hardware or a combination of software and hardware.

本発明では、拡大縮小、照明変換、視点変換、拡散／鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。   In the present invention, various image conversions such as enlargement / reduction, illumination conversion, viewpoint conversion, and diffusion / specular reflection component ratio change can be freely performed. Can be used in the field of video entertainment recorded as. In the field of culture and art, it can be used to provide a highly flexible digital archive system that is not limited by the subject or shooting location.

本発明の第１の実施形態に係る画像変換装置を示すブロック図である。1 is a block diagram illustrating an image conversion apparatus according to a first embodiment of the present invention. 照明方程式の幾何条件と光学条件を説明するための図である。It is a figure for demonstrating the geometric condition and optical condition of an illumination equation. 本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。It is a flowchart which shows the image conversion method which concerns on the 1st Embodiment of this invention. ウェーブレット変換を用いた画像特徴解析を表す図である。It is a figure showing the image feature analysis using a wavelet transform. 画像変換を行うためのパラメータ操作の一例を示す図である。It is a figure which shows an example of parameter operation for performing image conversion. 画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。It is a figure which shows the method of learning the relationship between an image feature and an illumination equation parameter. 照明方程式の幾何条件と光学条件を説明するための図である。It is a figure for demonstrating the geometric condition and optical condition of an illumination equation. 画像特徴に応じたパラメータ取得の他の方法を示す図である。It is a figure which shows the other method of parameter acquisition according to an image characteristic. 本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。It is a 1st example of composition which realizes the present invention, and is a figure showing composition using a personal computer. 本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。It is a 2nd structural example which implement | achieves this invention, and is a figure which shows the structure using a server client system. 本発明を実現する第３の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。It is a 3rd structural example which implement | achieves this invention, and is a figure which shows the structure using a mobile phone with a camera and a television.

符号の説明Explanation of symbols

１０ パラメータ出力部
３３ サーバー
３４ クライアント
４１ カメラ付携帯電話（携帯機器）
４５ カメラ
１０１ 画像特徴解析部
１０２ 画像特徴ベクトルデータベース
１０３ 照明方程式パラメータデータベース
１０４ パラメータ操作部
１０５ 画像変換指示部
１０６ パラメータ操作設定部
１０７ 画像生成部
ＩＩＮ 入力画像（第１の画像）
ＩＩＮＦＶ 入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ 入力画像特徴ベクトル番号
ＩＩＮＬＥＰ 原パラメータ値
ＩＣＩＳ 画像変換指示信号
ＬＥＰＳ パラメータ操作指示信号
ＩＯＵＴＬＥＰ 新パラメータ値
ＩＯＵＴ 出力画像（第２の画像）
ＬＥＰ１ 第１のパラメータ値
ＩＬ 学習画像 10 Parameter output unit 33 Server 34 Client 41 Mobile phone with camera (mobile device)
45 Camera 101 Image feature analysis unit 102 Image feature vector database 103 Illumination equation parameter database 104 Parameter operation unit 105 Image conversion instruction unit 106 Parameter operation setting unit 107 Image generation unit IIN Input image (first image)
IINFV input image feature vector (first image feature vector)
IINFVN Input image feature vector number IINLEP Original parameter value ICIS Image conversion instruction signal LEPS Parameter operation instruction signal IOUTLEP New parameter value IOUT Output image (second image)
LEP1 first parameter value IL learning image

Claims (13)

第１の画像を第２の画像に変換する方法であって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを備えた
ことを特徴とする画像変換方法。A method for converting a first image into a second image, comprising:
A first step of performing image feature analysis on the first image;
A second reference is made to the relationship between the image feature and the illumination equation parameter, and the value of the illumination equation parameter corresponding to the image feature of the first image obtained in the first step is acquired as the original parameter value. And the steps
A third step of determining the operation content of the illumination equation parameter according to the instructed image conversion;
Operating the original parameter value according to the operation content defined in the third step to obtain a new parameter value;
An image conversion method comprising: a fifth step of generating the second image based on the new parameter value. 請求項１において、
前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである
ことを特徴とする画像変換方法。In claim 1,
The image conversion method according to claim 1, wherein the image feature analysis in the first step is performed using spatial frequency analysis. 請求項１において、
画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、
前記前処理は、
照明方程式パラメータの値として第１のパラメータ値を設定するステップと、
前記第１のパラメータ値から、学習画像を生成するステップと、
前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、
得られた画像特徴を前記第１のパラメータ値と対応付けて、データベースに保存する
ことを特徴とする画像変換方法。In claim 1,
With preprocessing to learn the relationship between image features and lighting equation parameters,
The pretreatment includes
Setting a first parameter value as the value of the illumination equation parameter;
Generating a learning image from the first parameter value;
Performing the image feature analysis substantially equivalent to the first step for the learning image,
An image conversion method, wherein the obtained image feature is stored in a database in association with the first parameter value. 請求項３において、
前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される
ことを特徴とする画像変換方法。In claim 3,
The image conversion method according to claim 1, wherein the first parameter value is set assuming an illumination equation parameter when the first image is captured. 請求項１において、
前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである
ことを特徴とする画像変換方法。In claim 1,
The image conversion method according to claim 1, wherein the illumination equation represents the luminance in the viewing direction by the sum of a diffuse reflection component, a specular reflection component, and an ambient light component. 請求項１において、
前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む
ことを特徴とする画像変換方法。In claim 1,
The illumination equation parameter includes at least one of a surface normal vector, an illumination vector, a ratio between a diffuse reflection component and a specular reflection component, a reflectance of a diffuse reflection component, and a reflectance of a specular reflection component. Image conversion method. 請求項１において、
前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を、定めるものである
ことを特徴とする画像変換方法。In claim 1,
In the third step, when the instructed image conversion is image enlargement, the operation equation of the illumination equation parameter includes the surface normal vector, the illumination vector, the ratio between the diffuse reflection component and the specular reflection component, and the diffuse reflection component An image conversion method characterized in that at least one densification is determined among the reflectance and the reflectance of the specular reflection component. 請求項１において、
画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており、
前記第２のステップは、
前記複数の画像特徴ベクトルの中から、前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、
前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離を、それぞれ求めるステップと、
前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである
ことを特徴とする画像変換方法。In claim 1,
The relationship between the image feature and the illumination equation parameter is represented by a plurality of image feature vectors and a plurality of parameter values respectively associated with each image feature vector,
The second step includes
Selecting a predetermined number of image feature vectors similar to the first image feature vector representing the image features of the first image from the plurality of image feature vectors;
Obtaining a distance from the first image feature vector for each of the predetermined number of image feature vectors;
And calculating the original parameter value by weighting and adding parameter values respectively corresponding to the predetermined number of image feature vectors according to the distance obtained for the image feature vectors. Image conversion method. 入力画像について、画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、
前記パラメータ出力部から出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、
前記パラメータ操作部から出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備えた
ことを特徴とする画像変換装置。An image feature analysis unit for performing an image feature analysis on the input image and outputting a first image feature vector representing the image feature of the input image;
A plurality of image feature vectors and a plurality of parameter values corresponding to the respective image feature vectors of the illumination equation are stored, and the original parameter values corresponding to the first image feature vectors are received. A parameter output section to output,
In accordance with the instructed image conversion, a parameter operation setting unit that determines the operation content of the illumination equation parameter,
A parameter operation unit that operates the original parameter value output from the parameter output unit according to the operation content determined by the parameter operation setting unit, and obtains a new parameter value;
An image conversion apparatus comprising: an image generation unit configured to generate an output image based on a new parameter value output from the parameter operation unit. 請求項９において、
前記パラメータ出力部は、
前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、
前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである
ことを特徴とする画像変換装置。In claim 9,
The parameter output unit includes:
An image feature vector database storing the plurality of image feature vectors;
An image conversion apparatus comprising: an illumination equation parameter database storing the plurality of parameter values. 画像変換を行うサーバークライアントシステムであって、
請求項９の画像特徴解析部、パラメータ出力部、パラメータ操作設定部、およびパラメータ操作部を有するサーバと、
請求項９の画像生成部を有するクライアントとを備え、
前記クライアントは、前記サーバに、画像変換の内容を指示する
ことを特徴とするサーバークライアントシステム。A server client system that performs image conversion,
A server having an image feature analysis unit, a parameter output unit, a parameter operation setting unit, and a parameter operation unit according to claim 9;
A client having the image generation unit of claim 9,
The server client system characterized in that the client instructs the server of the contents of image conversion. カメラと、
前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、
前記画像特徴ベクトルデータベースから出力された番号を、送信する
ことを特徴とする携帯機器。A camera,
An image feature analysis unit that performs an image feature analysis on an image captured by the camera and outputs a first image feature vector representing the image feature;
A plurality of image feature vectors are stored together with numbers, an image feature vector database that identifies image feature vectors similar to the first image feature vector and outputs the numbers, and
A portable device that transmits a number output from the image feature vector database. コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを
コンピュータに実行させるプログラム。A program for causing a computer to execute a method of converting a first image into a second image.
A first step of performing image feature analysis on the first image;
A second reference is made to the relationship between the image feature and the illumination equation parameter, and the value of the illumination equation parameter corresponding to the image feature of the first image obtained in the first step is acquired as the original parameter value. And the steps
A third step of determining the operation content of the illumination equation parameter according to the instructed image conversion;
Operating the original parameter value according to the operation content defined in the third step to obtain a new parameter value;
A program for causing a computer to execute a fifth step of generating the second image based on the new parameter value.
JP2006536346A 2004-09-24 2005-09-12 Image conversion method, image conversion apparatus, server client system, portable device, and program Pending JPWO2006033257A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004276998 2004-09-24
JP2004276998 2004-09-24
PCT/JP2005/016764 WO2006033257A1 (en) 2004-09-24 2005-09-12 Image conversion method, image conversion device, server client system, mobile device, and program

Publications (1)

Publication Number Publication Date
JPWO2006033257A1 true JPWO2006033257A1 (en) 2008-05-15

Family

ID=36090020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006536346A Pending JPWO2006033257A1 (en) 2004-09-24 2005-09-12 Image conversion method, image conversion apparatus, server client system, portable device, and program

Country Status (2)

Country Link
JP (1) JPWO2006033257A1 (en)
WO (1) WO2006033257A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356546B (en) * 2006-05-29 2011-10-12 松下电器产业株式会社 Image high-resolution upgrading device, image high-resolution upgrading method image high-resolution upgrading system
JP4139853B2 (en) * 2006-08-31 2008-08-27 松下電器産業株式会社 Image processing apparatus, image processing method, and image processing program
WO2010012289A1 (en) 2008-07-30 2010-02-04 Panasonic Corporation Image generation device and method for super-resolution of 3d textures
JP4976578B1 (en) 2011-09-16 2012-07-18 楽天株式会社 Image search apparatus and program
JP5577372B2 (en) 2012-03-29 2014-08-20 楽天株式会社 Image search apparatus, image search method, program, and computer-readable storage medium
JP5577371B2 (en) 2012-03-29 2014-08-20 楽天株式会社 Image search apparatus, image search method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2639323B2 (en) * 1993-11-29 1997-08-13 日本電気株式会社 Image magnifier
JP3841482B2 (en) * 1996-06-18 2006-11-01 松下電器産業株式会社 Face image recognition device
JPH11328422A (en) * 1998-03-13 1999-11-30 Matsushita Electric Ind Co Ltd Image identifying device
JP2002170112A (en) * 2000-12-04 2002-06-14 Minolta Co Ltd Computer readable recording medium recording resolution conversion program, and resolution conversion apparatus and method
JP2002290607A (en) * 2001-03-27 2002-10-04 Sanyo Electric Co Ltd Communication terminal device, communication method, and network system

Also Published As

Publication number Publication date
WO2006033257A1 (en) 2006-03-30

Similar Documents

Publication Publication Date Title
US7340098B2 (en) Method and apparatus for image conversion
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
CN110136066B (en) Video-oriented super-resolution method, device, equipment and storage medium
Kopf et al. Capturing and viewing gigapixel images
US7379618B2 (en) Image conversion method, texture mapping method, image conversion device, server-client system, and image conversion program
US7809155B2 (en) Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
JP4139853B2 (en) Image processing apparatus, image processing method, and image processing program
US7542047B2 (en) Multi-dimensional texture drawing apparatus, compressing apparatus, drawing system, drawing method, and drawing program
CN109618090A (en) To the method and system of the image distortion correction by using wide-angle lens captured image
US7486837B2 (en) Method, device, and program for image conversion, method, device and program for texture mapping, and server-client system
JP3921496B1 (en) Image conversion method and image conversion apparatus
KR102493492B1 (en) Method and Device for Fast Adaptation through Meta-learning of Super Resolution Model
CN111669564B (en) Image reconstruction method, system, device and computer readable storage medium
US6985638B1 (en) Efficient perspective transformation of partial images in composing a single image
JP2022002376A (en) Image processing apparatus, image processing method, and program
CN101060642B (en) Method and apparatus for generating 3d on screen display
Hung et al. Image interpolation using convolutional neural networks with deep recursive residual learning
JPWO2006033257A1 (en) Image conversion method, image conversion apparatus, server client system, portable device, and program
EP2856237A1 (en) Information processor, information processing method, program, and image display device
Ciolino et al. Training set effect on super resolution for automated target recognition
JP4686200B2 (en) Image conversion method and apparatus
JP3981454B2 (en) Non-uniform resolution image data generation apparatus and method, and image processing apparatus using non-uniform resolution image data
CN114463174A (en) Method for super-resolution of images of any scale based on meta-learning and structure preservation
KR20210098398A (en) Method and apparatus for upscaling image
Powell et al. Delivering images for mars rover science planning