WO2006033257A1

WO2006033257A1 - 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム

Info

Publication number: WO2006033257A1
Application number: PCT/JP2005/016764
Authority: WO
Inventors: Hideto Motomura; Katsuhiro Kanamori; Hiroyoshi Komobuchi
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-09-24
Filing date: 2005-09-12
Publication date: 2006-03-30
Also published as: JPWO2006033257A1

Abstract

　画像特徴解析部（１０１）は入力画像（ＩＩＮ）について画像特徴解析を行い、画像特徴ベクトル（ＩＩＮＦＶ）を出力する。パラメータ出力部（１０）は複数の画像特徴ベクトルと、これらにそれぞれ対応する照明方程式の複数のパラメータ値とを格納しており、画像特徴ベクトル（ＩＩＮＦＶ）に対応する原パラメータ値（ＩＩＮＬＥＰ）を出力する。パラメータ操作設定部（１０６）は指示された画像変換に応じてパラメータ操作内容を定め、パラメータ操作部（１０４）は原パラメータ値（ＩＩＮＬＥＰ）をパラメータ操作設定部（１０６）の指示に従って操作し、新パラメータ値（ＩＯＵＴＬＥＰ）を得る。画像生成部（１０７）は新パラメータ値（ＩＯＵＴＬＥＰ）を基にして、出力画像（ＩＯＵＴ）を生成する。

Description

明細書

画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム

技術分野

[0001] 本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。

背景技術

[0002] 画像機器とネットワークのデジタルィ匕により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。

[0003] 一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ (画素数、ライン数を増やす変換装置)やダウンコンバータ (画素数、ライン数を減らす変換装置 )が必要になる。例えば A4用紙（297mm X 210mm)に 600dpiの解像度で印刷する場合、 7128画素 X 5040ラインのデータが必要になる力多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビと HD (High Definition)テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。

[0004] 画像を拡大するためには、取得時には存在しな力た画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、ノィキュービック法などの内挿を用いる方法が、一般的である (非特許文献 1)。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている (特許文献 1、非特許文献 2)。しかし、エッジ部とノイズの切り分けが難しぐエッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。

[0005] そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少なヽ画像拡大を実現できる。

[0006] 学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている (非特許文献 3)。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている (非特許文献 4)。

[0007] また学習方式は、画像拡大だけでなぐ例えば照明方向の変換などにも活用されている（非特許文献 5)。非特許文献 5では、テクスチャ (物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。

特許文献 1 :米国特許第 5, 717, 789号 (図 5)

非特許文献 1 :荒屋真ニ著，「明解 3次元コンピュータグラフィックス」，共立出版， 2 003年 9月 25日， pp. 144- 145

非特許文献 2 :中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 D—Π Vol. J81 -D-II No. 10 pp. 2249— 2258 , 1998年 10月

非特干文献 3 : Freemanら、「Learnmg Low— Level VisionJ、 International J ournal of Computer Vision 40 (1) , pp. 25—47, 2000年非特許文献 4:Hertzmannら、「Image Analogies] , SIGGRAPH 2001 予稿集， pp. 327- 340, 2001年

非特許文献 5 : Malikら、「Representing and Recognizing the Visual Appe arance of Materials using Three― dimensional TextonsJ、 Interna tion al Journal of Computer Vision 43 (1) , pp. 29—44, 2001年

発明の開示

発明が解決しょうとする課題

[0008] ところが、従来の技術では、次のような問題があった。

[0009] 上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなぐ照明方向の変換などその他の画像変換でも、同様の問題が生じる。

[0010] また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数力かかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像力作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。

[0011] 前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。

課題を解決するための手段

[0012] 本発明では、第 1の画像について画像特徴解析を行い、この第 1の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第 2の画像を生成する。

[0013] この発明によると、第 1の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新ノメータ値から、第 2の画像が生成される。すなわち、画像変換が、照明方程式のノメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなぐ従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であつたが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。

[0014] また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値力も学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ま、。

[0015] これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。

発明の効果

[0016] 本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。

図面の簡単な説明

[0017] [図 1]図 1は本発明の第 1の実施形態に係る画像変換装置を示すブロック図である。

[図 2]図 2は照明方程式の幾何条件と光学条件を説明するための図である。

[図 3]図 3は本発明の第 1の実施形態に係る画像変換方法を示すフローチャートである。

[図 4]図 4はウェーブレット変換を用いた画像特徴解析を表す図である。

[図 5]図 5は画像変換を行うためのパラメータ操作の一例を示す図である。圆 6]図 6は画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。

圆 7]図 7は照明方程式の幾何条件と光学条件を説明するための図である。

[図 8]図 8は画像特徴に応じたパラメータ取得の他の方法を示す図である。

圆 9]図 9は本発明を実現する第 1の構成例であり、パーソナルコンピュータを用いた構成を示す図である。

圆 10]図 10は本発明を実現する第 2の構成例であり、サーバークライアントシステムを用いた構成を示す図である。

[図 11]図 11は本発明を実現する第 3の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。

符号の説明

10 パラメータ出力部

33 サーバー

34 クライアント

41 カメラ付携帯電話 (携帯機器）

45 カメラ

101 画像特徴解析部

102 画像特徴ベクトルデータベース

103 照明方程式パラメータデータベース

104 パラメータ操作部

105 画像変換指示部

106 パラメータ操作設定部

107 画像生成部

ΠΝ 入力画像 (第 1の画像）

IINFV 入力画像特徴ベクトル (第 1の画像特徴ベクトル）

IINFVN 入力画像特徴ベクトル番号

IINLEP 原パラメータ値

ICIS 画像変換指示信号 LEPS パラメータ操作指示信号

IOUTLEP 新パラメータ値

IOUT 出力画像 (第 2の画像）

LEP1 第 1のパラメータ値

IL 学習画像

発明を実施するための最良の形態

[0019] 本発明の第 1態様では、第 1の画像を第 2の画像に変換する方法として、前記第 1 の画像にっ、て画像特徴解析を行う第 1のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第 1のステップにお、て得た前記第 1の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第 2 のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第 3のステップと、前記原パラメータ値を前記第 3のステップにお、て定めた操作内容に従って操作し、新パラメータ値を得る第 4のステップと、前記新パラメータ値を基にして前記第 2の画像を生成する第 5のステップとを備えたものを提供する。

[0020] 本発明の第 2態様では、前記第 1のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第 1態様の画像変換方法を提供する。

[0021] 本発明の第 3態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第 1のパラメータ値を設定するステップと、前記第 1のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第 1のステップと実質的に同等の画像特徴解析を行うステツプとを備え、得られた画像特徴を前記第 1のパラメータ値と対応付けてデータべースに保存する第 1態様の画像変換方法を提供する。

[0022] 本発明の第 4態様では、前記第 1のパラメータ値は、前記第 1の画像が撮影された際の照明方程式パラメータを想定して設定される第 3態様の画像変換方法を提供する。

[0023] 本発明の第 5態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第 1態様の画像変換方法を提供する。 [0024] 本発明の第 6態様では、前記照明方程式パラメータは、表面法線ベクトル、照明べタトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも 1つを含む第 1態様の画像変換方法を提供する。

[0025] 本発明の第 7態様では、前記第 3のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも 1つの高密化を定めるものである第 1態様の画像変換方法を提供する。

[0026] 本発明の第 8態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第 2のステップは、前記複数の画像特徴ベクトルの中から前記第 1の画像の画像特徴を表す第 1の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第 1の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである第 1態様の画像変換方法を提供する。

[0027] 本発明の第 9態様では、入力画像につ!ヽて画像特徴解析を行!ヽ、前記入力画像の画像特徴を表す第 1の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第 1の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部カゝら出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。 [0028] 本発明の第 10態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第 9態様の画像変換装置を提供する。

[0029] 本発明の第 11態様では、画像変換を行うサーバークライアントシステムとして、第 9 態様の画像特徴解析部、パラメータ出力部、ノメータ操作設定部およびパラメータ操作部を有するサーバと、第 9態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。

[0030] 本発明の第 12態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行ヽ、その画像特徴を表す第 1の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第 1の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴べタトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。

[0031] 本発明の第 13態様では、コンピュータに、第 1の画像を第 2の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第 1の画像について画像特徴解析を行う第 1のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第 1のステップにおいて得た前記第 1の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第 2のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第 3のステップと、前記原パラメータ値を、前記第 3のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第 4のステップと、前記新パラメータ値を基にして、前記第 2の画像を生成する第 5のステップとをコンピュータに実行させるものを提供する。

[0032] 以下、本発明の実施の形態について、図面を参照して説明する。

[0033] (第 1の実施形態）

図 1は本発明の第 1の実施形態に係る画像変換装置を示すブロック図である。図 1 において、画像特徴解析部 101は入力画像 ΠΝについて画像特徴解析を行い、入力画像特徴べクトル IINFVを生成する。画像特徴べクトルデータベース 102は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース 103は所定の照明方程式の、画像特徴ベクトルデータベース 102に格納された各画像特徴べクトルとそれぞれ対応付けられた複数のノメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース 102および照明方程式パラメータデータベース 103は、入力画像特徴ベクトル IINFVに対応する照明方程式パラメータの値を、原パラメータ値 IINLEPとして出力する。画像特徴ベクトルデータベース 102および照明方程式パラメータデータベース 103によって、パラメータ出力部 10が構成されている。

[0034] 画像変換指示部 105は例えば外部力も指示された画像変換の内容を、画像変換指示信号 ICISとして出力する。パラメータ操作設定部 106は画像変換指示信号 ICI Sによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号 LEPSとして出力する。パラメータ操作部 104はパラメータ操作指示信号 LEPSによって指示された操作内容に従って、原パラメータ値 ΠΝ LEPを操作し、新パラメータ値 IOUTLEPを生成する。画像生成部 107は新パラメータ値 IOUTLEPを用いて照明方程式を演算し、出力画像 IOUTを生成する。

[0035] すなわち、第 1の画像としての入力画像 ΠΝが、照明方程式のパラメータ変換によつて、第 2の画像としての出力画像 IOUTに画像変換される。

[0036] ここでは、図 2のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。

[数 1] = Α + ( · L) do^k + k_sPs )

[0037] ここで、 Ivは視点方向（視点ベクトル V)の輝度、 laは環境光の輝度、 aは環境光の反射率、 Iiは照明の輝度、ベクトル Nは表面法線ベクトル、ベクトル Lは照明方向を表わす照明ベクトル、 d coは照明の立体角、 p dは拡散反射成分の反射率、は鏡面反射成分の反射率、 kdと ksは拡散反射成分と鏡面反射成分の割合を表わし、 kd + ks= lの関係を持つ。環境光とは、物体表面 SF上の現在の注目点 Pに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトル V)の輝度 Ivのバイァス成分に当たる。注目点 Pに放射照度

[数 1A]

I ·ΐ (ίω で照明から光が入射し、拡散反射成分が kd p d、鏡面反射成分が ks p sの割合で、それぞれ入射光を反射する。

[0038] 図 1の照明方程式パラメータデータベース 103では、ノラメータとして、表面法線べタトル N、照明ベクトル L、拡散反射成分比率 kd、拡散反射成分反射率 p d、鏡面反射成分反射率 p s、環境光輝度 Ia、および環境光反射率 p aの 7種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなぐ任意の照明方程式やパラメータが適用可能である。

[0039] 図 3は図 1の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。

[0040] まず、前処理 SOOにおいて、画像特徴と照明方程式パラメータとの関係を学習する。この前処理 SOOの詳細については後述する。ここでは、予め学習により、図 1に示すような画像特徴ベクトルデータベース 102および照明方程式パラメータデータべ一ス 103が得られているものとする。

[0041] ステップ S1において、第 1の画像としての入力画像 ΠΝについて、画像特徴解析部 101が画像特徴解析を行う。ここでの画像特徴解析は、例えば図 4に示すようなゥェ一ブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図 4の例では、 n回のスケーリングそれぞれにおいてゥエーブレット変換の出力 HL、 LH、 HH、 LLを求め、これらを階層ごとに束ねることによつて、（3n+ l)次元ベクトルを、第 1の画像特徴ベクトルとしての入力画像特徴ベクトル IINFVとして求めている。なお、画像特徴ベクトル IINFVは画素ごとに必要になるため、各スケールにおいて LL画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなぐ任意の方法を適用することができる。 [0042] 次にステップ S2において、予め学習により求めた画像特徴ベクトルデータベース 1 02および照明方程式パラメータデータベース 103を参照し、ステップ S1で得た入力画像特徴ベクトル IINFVから、これに対応する照明方程式パラメータの値を原パラメータ値 IINLEPとして取得する。ここでは、まず画像特徴ベクトルデータベース 102が、格納している q個の画像特徴ベクトルの中から、入力画像特徴ベクトル IINFVに最も近、画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号 IINFVNとして出力する。そして照明方程式パラメータデータベース 103力入力画像特徴ベクトル番号 IINFVNを受けて、これに対応するパラメータ値を読み出し、原パラメータ値 IINLEPとして出力する。

[0043] 次にステップ S3において、パラメータ操作設定部 106が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップ S4において、パラメータ操作部 104力ステップ S2で得られた原パラメータ値 IINLEPを、ステップ S 3で定めた操作内容に従って操作し、新パラメータ値 IOUTLEPを得る。

[0044] 図 5はパラメータ操作の一例を示す図であり、原パラメータ値 IINLEPと新パラメ一タ値 IOUTLEPを 1ライン分、画素ごとに書き並べている。各画素には上述した 7個のパラメータが定められており、環境光輝度 Ia、環境光反射率 p aおよび照明ベクトル L の 3つは各画素で共通である。拡散反射成分比率 kd、拡散反射成分反射率 p dおよび鏡面反射成分反射率 p sは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値 IINLEPの表面法線ベクトル Nについても、第 1 の添字は材質の種類を示し、第 2の添字は同一材質内での画素の違いを示している

[0045] いま、画像変換指示信号 ICISによって、「拡大率 2倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部 106は、「拡大率 2倍の画像拡大」とヽぅ画像変換を「表面法線ベクトル Nの 2倍高密ィ匕」 t ヽぅパラメータ操作に変換し、ノメータ操作指示信号 LEPSとしてパラメータ操作部 104に与える。

[0046] ノラメータ操作部 104はパラメータ操作指示信号 LEPSに従って、表面法線べタトル Nを 2倍に高密化する。すなわち、原パラメータ値 IINLEPの画素数 u力新パラメータ値 IOUTLEPでは画素数が 2uになる。新パラメータ値 IOUTLEPの表面法線ベクトル Nでは、高密化後の画素の違いを表わすため、第 3の添字をカ卩えている。このとき、材質の境界 (例えば原パラメータ値 IINLEPにおける画素 2と画素 3の間）はエッジ部となる可能性が高、ので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値 IOUTLEPの画素 4と画素 5を、それぞれ原パラメ一タ値 IINLEPの画素 2と画素 3に一致させる。すなわち、境界条件の保持のために、 N =N かつ N =N

1,2 1,2,2 2,1 2,1,1

とする。なお、図 5では、画像拡大を表面法線ベクトル Nの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなぐ例えば、拡散反射成分比率 kdを高密化したり、表面法線ベクトル N と拡散反射成分比率 kdを併せて高密化するなど、任意のパラメータ操作が可能である。

[0047] そして、ステップ S5にお、て、画像生成部 107が、ステップ S4で得られた新パラメータ値 IOUTLEPを基にして、第 2の画像としての出力画像 IOUTを生成する。

[0048] ここで、前処理 SOOの詳細について、図 6を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴べクトルと照明方程式パラメータとの関連付けを行う。

[0049] 具体的には、まず、照明方程式パラメータの値として、第 1のパラメータ値 LEP1 (番号 1)を設定する。そしてこの第 1のパラメータ値 LEP1を用いて、（数 1)の演算を実行し、学習画像 ILを生成する。そして生成された学習画像 ILについて、上述のステツプ S1と実質的に同等の画像特徴解析を行い、画像特徴ベクトル ILFVを得る。この画像特徴ベクトル ILFVを、画像特徴ベクトルデータベース 102の番号 1に格納する。これにより、画像特徴ベクトル ILFVと第 1のパラメータ値 LEP1とが対応付けられてデータベース 102, 103に保存される。このような処理を繰り返し実行することによつて、図 1に示すような、画像特徴ベクトルデータベース 102および照明方程式パラメータデータベース 103が生成される。なお、図 6では、画像生成部 107が画像生成を行い、画像特徴解析部 101が画像特徴解析を行っているが、前処理 SOOにおいて他の手段によって画像生成や画像特徴解析を行うようにしてもょ、。

[0050] 以上のように本実施形態によると、入力画像 ΠΝの画像特徴ベクトル IINFVから、入力画像 ΠΝにふさわしい照明方程式のパラメータ IINLEPが選定される。そして、このパラメータ IINLEPを操作することによって、様々な出力画像 IOUTを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。

[0051] また、照明方程式のパラメータ IINLEPを操作して画像変換を行うため、、たずらに多くの学習画像を準備する必要がなぐしたがって、学習画像数を抑えることができる。また、前処理において、学習画像 ILは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像 ILの画像特徴 ILFVが入力画像 ΠΝの画像特徴 IINFVに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像 ILを生成する際に、入力画像 ΠΝが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像 ΠΝの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明べ外ル Lは入力画像 ΠΝが撮影された際のデータを利用する。

[0052] なお、本実施形態では、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなぐ他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトル Lを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率 kdを変更すればょヽ。

[0053] また、鏡面反射成分反射率 p sは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば (数 2)で与えられる Cook— Torranceモデルを導入すれば、照明方程式パラメータに視線ベクトル V、粗さ係数 m、フレネル係数 F を加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。

[数 2] π [N - V) {N - L)

¹ -[ /™P

,， . [, 2{~Ν -Ή) ίΝ - ν) 2(N - H) (N - L]

G = mm< 1， — ^ -~— 、—— ^L, — ^ ~— 、 ¹

(V - H )

g² = n² + c² - I

L H)

[0054] ここで、図 7に示すように、ベクトル Hは視点ベクトル Vと照明ベクトル Lの中間べタトルであり、 βは中間ベクトル Ηと表面法線ベクトル Νとの角度を表す。 mは物体表面の粗さを表わす係数であり、 mが小さいときは角度 |8が小さい部分すなわち表面法線ベクトル N付近に強い反射を示し、 mが大きいときは角度 |8が大きい部分すなわち表面法線ベクトル Nから離れた部分にも反射分布が広がる。 Gは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。 nは屈折率である。

[0055] このように、本発明では、照明方程式は任意に定義可能であり、（数 1)や (数 2)に限定されるものではない。

[0056] また、本実施形態では、画像特徴ベクトル IINFVに最も近ヽ画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値 IINLEPとして取得するものとしたが、原パラメータ値 IINLEPの取得方法はこれに限られるものではない。例えば図 8に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトル IINFVと類似する所定数（図 8では 3個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトル IINFVとの距離をそれぞれ求め、この距離に応じた重み付け係数 IINFVWFを定める。そして、選択した 3個の画像特徴べタトルにそれぞれ対応するパラメータ値を、重み付け係数 IINFVWFを用いて重み付け加算し、その結果を原パラメータ値 IINLEPとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとつても力まわない。

[0057] なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなぐ任意の手段によって準備してかまわない。 [0058] 以下、本発明を実現する構成例を例示する。

[0059] (第 1の構成例）

図 9は第 1の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ 21の解像度はディスプレイ 22の解像度よりも低ぐディスプレイ 22の表示能力を最大限に生かすために、メインメモリ 23に口ードされた画像変換プログラムによって拡大画像を作成する。カメラ 21で取り込まれた低解像度画像は画像メモリ 24に記録される。外部記録装置 25には予め画像特徴ベクトルデータベース 102と照明方程式パラメータデータベース 103とが準備されており、メインメモリ 23の画像変換プログラムカゝら参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース 102と照明方程式パラメータデータべース 103の内容や作成方法等は、第 1の実施形態で説明したとおりである。メインメモリ 23の画像変換プログラムは、メモリバス 26を介して画像メモリ 24の低解像度画像を読み込み、これをディスプレイ 22の解像度に合わせて高解像度画像に変換し、再びメモリバス 26経由でビデオメモリ 27に転送する。ビデオメモリ 27に転送された高解像度画像はディスプレイ 22において観察できる。

[0060] なお、本発明は図 9の構成に拘束されるものではなぐ様々な構成をとることができる。例えば、画像特徴ベクトルデータベース 102や照明方程式パラメータデータべ一ス 103を別のパーソナルコンピュータに接続された外部記憶装置力もネットワーク 28 を介して取得しても力まわない。また低解像度画像は、ネットワーク 28を介して取得してもかまわない。

[0061] (第 2の構成例）

図 10は第 2の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ 31の解像度はディスプレイ 32の解像度よりも低ぐディスプレイ 32の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー 33では、第 1の実施形態と同様に、画像特徴解析部 101、画像特徴ベクトルデータベース 102および照明方程式パラメータデータベース 103が、入力画像 ΠΝ力も原パラメータ値 IINLEPを算出する。画像特徴ベクトルデータベース 102および照明方程式パラメータデータべース 103によって、ノラメータ出力部 10が構成されている。一方、クライアント 34の画像変換指示部 105から、画像変換の指示 (本例では画像拡大)が画像変換指示信号 ICISとしてサーバー 33のパラメータ操作設定部 106に渡される。ノラメータ操作設定部 106は画像変換指示信号 ICISによる画像変換の内容を照明方程式パラメ一タの操作内容に置き換え、パラメータ操作指示信号 LEPSとしてパラメータ操作部 10 4に出力する。パラメータ操作部 104は原パラメータ値 IINLEPを操作し、新パラメ一タ値 IOUTLEPを生成する。

[0062] このような動作によって、サーバー 33はクライアント 34からの画像変換指示に従つた新パラメータ値 IOUTLEPを、ネットワーク 35を介してクライアント 34に提供できる。新パラメータ値 IOUTLEPを受け取ったクライアント 34では、画像生成部 107が拡大画像を生成し、ディスプレイ 32に供給する。

[0063] なお、本発明は図 10の構成に拘束されるものではなぐ画像機器の組み合わせや、各手段のシステム上の位置 (サーバー 33に属する力クライアント 34に属する力、またはそれ以外に属するかなど）は、任意である。

[0064] (第 3の構成例）

図 11は第 3の構成例を示す図であり、カメラ付携帯電話とテレビを用、て本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話 41はネットワーク 42またはメモリカード 43を介してテレビ 44に画像データを送ることができる。カメラ付携帯電話 41のカメラ 45の解像度はテレビ 44の解像度よりも低ぐテレビ 44 の表示能力を最大限に生かすために、テレビ 44の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。

[0065] 利用料金の面を考えると、カメラ付携帯電話 41からテレビ 44へ送るデータ量は、小さいほど利用者力も歓迎される。そこで、ネットワーク 42で送信するデータは、入力画像特徴ベクトル番号 IINFVNとするのが望ましい。また、ネットワーク 42における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たな、入力画像特徴ベクトル番号 IINFVNを送ることが望ましい。すなわち、カメラ付き携帯電話 41が画像特徴ベクトルデータベース 102を持ち、テレビ 44が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図 11では、カメラ付携帯電話 41が、カメラ 45と、カメラ 45によって撮影された画像 ΠΝにつ、て画像特徴解析を行、、第 1の画像特徴べタトル IINFVを出力する画像特徴解析部 101と、格納して!/ヽる複数の画像特徴べタトルの中力ゝら第 1の画像特徴ベクトル IINFVと類似する画像特徴ベクトルを特定し、その番号 IINFVNを出力する画像特徴ベクトルデータベース 102とを備えている構成を示している。

[0066] なお、本発明は図 11の構成に拘束されるものではなぐ様々な構成を取ることができる。例えば、カメラ付携帯電話 41はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。

[0067] 以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではな、。

産業上の利用可能性

[0068] 本発明では、拡大縮小、照明変換、視点変換、拡散 Z鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。

Claims

請求の範囲

[1] 第 1の画像を第 2の画像に変換する方法であって、

前記第 1の画像について、画像特徴解析を行う第 1のステップと、

画像特徴と照明方程式パラメータとの関係を参照し、前記第 1のステップにおいて得た前記第 1の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第 2のステップと、

指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第 3のステツプと、

前記原パラメータ値を、前記第 3のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第 4のステップと、

前記新パラメータ値を基にして、前記第 2の画像を生成する第 5のステップとを備えた

ことを特徴とする画像変換方法。

[2] 請求項 1において、

前記第 1のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである

ことを特徴とする画像変換方法。

[3] 請求項 1において、

画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、

前記前処理は、

照明方程式パラメータの値として第 1のパラメータ値を設定するステップと、前記第 1のパラメータ値から、学習画像を生成するステップと、

前記学習画像について、前記第 1のステップと実質的に同等の画像特徴解析を行うステップとを備え、

得られた画像特徴を前記第 1のパラメータ値と対応付けて、データベースに保存する

ことを特徴とする画像変換方法。

[4] 請求項 3において、前記第 1のパラメータ値は、前記第 1の画像が撮影された際の照明方程式パラメ一タを想定して設定される

ことを特徴とする画像変換方法。

[5] 請求項 1において、

前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである

ことを特徴とする画像変換方法。

[6] 請求項 1において、

前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも 1つを含む

ことを特徴とする画像変換方法。

[7] 請求項 1において、

前記第 3のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも 1つの高密化を、定めるものである

ことを特徴とする画像変換方法。

[8] 請求項 1において、

画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており前記第 2のステップは、

前記複数の画像特徴ベクトルの中から、前記第 1の画像の画像特徴を表す第 1の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、前記所定数の画像特徴ベクトルにつヽて、前記第 1の画像特徴ベクトルとの距離を、それぞれ求めるステップと、

前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルにつ、て求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである

ことを特徴とする画像変換方法。

[9] 入力画像につ!、て、画像特徴解析を行ヽ、前記入力画像の画像特徴を表す第 1 の画像特徴ベクトルを出力する画像特徴解析部と、

複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第 1の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、

指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメ一タ操作設定部と、

前記パラメータ出力部力出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメ一タ操作部と、

前記パラメータ操作部カゝら出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備えた

ことを特徴とする画像変換装置。

[10] 請求項 9において、

前記パラメータ出力部は、

前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである

ことを特徴とする画像変換装置。

[11] 画像変換を行うサーバークライアントシステムであって、

請求項 9の画像特徴解析部、パラメータ出力部、パラメータ操作設定部、およびパラメータ操作部を有するサーバと、

請求項 9の画像生成部を有するクライアントとを備え、

前記クライアントは、前記サーバに、画像変換の内容を指示する

ことを特徴とするサーバークライアントシステム。

[12] カメラと、

前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第 1の画像特徴ベクトルを出力する画像特徴解析部と、

複数の画像特徴ベクトルを番号とともに格納しており、前記第 1の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、

前記画像特徴ベクトルデータベースから出力された番号を、送信する

ことを特徴とする携帯機器。

[13] コンピュータに、第 1の画像を第 2の画像に変換する方法をコンピュータに実行させるプログラムであって、

前記新パラメータ値を基にして、前記第 2の画像を生成する第 5のステップとをコンピュータに実行させるプログラム。