JPWO2007139067A1 - 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム - Google Patents

Abstract

アルベド推定部（２０６）は、光源情報推定部（２０３）によって推定された光源情報、および形状情報取得部（２０４）によって得られた被写体の形状情報を用いて、画像撮像部（２０１）によって撮像された原画像から、被写体のアルベド画像を作成する。アルベド高解像度化部（２０７）は、アルベドＤＢ（２０８）から取得した変換規則に従ってアルベド画像を高解像度化する。画像高解像度化部（２１７）は、高解像度化されたアルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する。

Description

本発明は、画像処理技術に関するものであり、特に、画像の高解像度化を行う技術に関する。

カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理の重要度が高まっている。このような画像処理の１つとして、デジタルズームとして知られている画像の高解像度化がある。画像の高解像度化は、撮像した画像を任意に拡大処理するために用いられ、画像撮像後の編集処理において重要である。

画像の高解像度化を行うために、様々な方法が提案されている。例えば、一般的な手法として、バイリニア法（線形補間処理）やバイキュービック法などの内挿を用いる方法がある（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、２ｘ２倍以上の拡大画像を合成する場合、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する方法が提案されている（特許文献１、非特許文献２）。しかしこの方法の場合、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともにノイズも強調されてしまい、画質劣化を招く傾向がある。

そこで、画質劣化を抑えつつ画像拡大を行う方法として、データベースを利用する方式が提案されている。すなわち、まず高解像度画像を高精細カメラ等によって予め撮影し、また、撮影した高解像度画像と同じ被写体、同じ環境での低解像度画像を取得する。低解像度画像の取得は例えば、別カメラで撮影する、ズームレンズを利用して高解像度画像を撮影しそのズーム値を変更する、高精細画像をローパスフィルタを通してサブサンプリングする、などの手法によって行えばよい。そして、このような低解像度画像と高解像度画像との組を多数準備し、その関係を画像拡大方法としてデータベースに学習する。このデータベースを利用して、画像の高解像度化を実現する。

このデータベースを利用する方式では、上述したような強調処理を必要としないため、比較的画質劣化の少ない画像拡大が実現できる。このような処理として例えば、画像をブロック化し、ブロック化された画像を学習する方法が知られている（例えば、特許文献２）。
米国特許５，７１７，７８９号（図５） 特許第３２７８８８１号公報 荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４６，２００３年９月２５日 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．２２４９−２２５８，１９９８年１０月

ところが、データベースを利用した画像の高解像度化では、次のような問題がある。すなわち、データベースを学習した時と、画像撮像時とで、光源環境が異なっている場合、高解像度化後の画像の画質が必ずしも保証されず、画質劣化を招く可能性がある。

前記の問題に鑑み、本発明は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の画像が入力された場合であっても、画質の劣化を招くことなく、高解像度化を実現可能にすることを課題とする。

本発明では、アルベド画像または擬似アルベド画像を利用して、データベースを利用した画像の高解像度化を実現する。アルベドとは、反射率のことをいい、アルベド画像とは、光の鏡面反射や陰影などの光学現象によらない、被写体固有の反射率特性を表現した画像のことをいう。また、擬似アルベド画像とは、アルベド画像を、例えば鏡面反射画像の最大輝度値などの所定値によって正規化した画像のことをいう。

被写体のアルベド画像または擬似アルベド画像は、撮像した原画像から、光源情報と被写体の形状情報とを用いて、作成することができる。また、アルベド画像または擬似アルベド画像について、高解像度化のための変換規則を蓄積しているデータベースを予め準備しておき、このデータベースを利用して、被写体のアルベド画像または擬似アルベド画像の高解像度化を行う。そして、高解像度化されたアルベド画像または擬似アルベド画像から、光源情報と被写体の形状情報とを用いて、原画像を高解像度化した高解像度画像を作成する。

本発明によると、データベースを利用した画像の高解像度化において、被写体のアルベド画像または擬似アルベド画像を利用して高解像度化を行う。アルベド画像または擬似アルベド画像は、被写体固有の反射率特性を表現するものであり、光源環境に関連する成分を含まないため、データベースの学習時と撮像時とで光源環境が異なっている場合でも、高解像度化において画質の劣化は生じない。したがって、本発明によると、データベース作成時には想定していないような光源環境下の画像が入力された場合であっても、画像の高解像度化を適切に実現することができる。

図１は本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。 図２は本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。 図３は本発明の第１の実施形態に係る画像高解像度化方法の処理の流れを示したフローチャートである。 図４は本発明の第１および第２の実施形態に係る画像高解像度化装置が搭載されたカメラの構成例である。 図５は画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。 図６は本発明の第１の実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。 図７は直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 図８は偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。 図９は画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。 図１０はカメラと、偏光フィルタと回転装置とが搭載された交換レンズの構成例である。 図１１はカメラと、偏光フィルタと回転装置とが搭載された交換レンズの模式図である。 図１２は鏡面球を利用した光源推定方法を説明するための模式図である。 図１３は照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。 図１４は反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。 図１５は自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 図１６は擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。 図１７はテキストンに基づく高解像度化処理の概念を示す模式図である。 図１８は線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。 図１９はテキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。 図２０はテキストンに基づく高解像度化処理における学習処理を説明するための模式図である。 図２１は２次元離散定常ウェーブレット変換の処理を示す図である。 図２２は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。 図２３はテキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。 図２４はテキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。 図２５は２次元離散定常逆ウェーブレット変換の処理を示す図である。 図２６は拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。 図２７は本発明の第１の実施形態における鏡面反射画像のパラメータ推定処理の流れを示す図である。 図２８は入射照度を表す式の各パラメータを説明するための概念図である。 図２９はシンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。 図３０はシンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。 図３１は極座標表現を説明するための模式図である。 図３２は学習処理を行った被写体の画像である。 図３３は８ｘ８倍画像高解像度化を実施した図である。 図３４は８ｘ８倍画像高解像度化を実施した図である。 図３５は本発明の第１の実施形態における拡散反射画像のパラメータ推定処理の流れを示す図である。 図３６は他の光源情報推定処理に係る光源推定装置の構成を示すブロック図である。 図３７は他の光源情報推定処理に係る光源推定装置が搭載された携帯電話の構成を示す模式図である。 図３８はカメラ付き携帯電話が折り畳まれた状態を示す図である。 図３９は撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。 図４０はメモリに保持された情報の一部を示した模式図である。 図４１はロール・ピッチ・ヨー角表現を説明するための模式図である。 図４２は光源画素の抽出処理を説明するための模式図である。 図４３はカメラ座標系と画像座標系との関係を説明するための模式図である。 図４４は撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。 図４５は錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。 図４６は錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。 図４７は図４６のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。 図４８は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。 図４９は錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。 図５０は本発明の第２の実施形態に係る画像高解像度化装置の構成を示すブロック図である。 図５１は本発明の第２の実施形態における画像高解像度化判別部およびアルベド高解像度化部の処理の流れを示したフローチャートである。 図５２は本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。

符号の説明

２０１ 画像撮像部
２０２ 拡散反射・鏡面反射分離部
２０３ 光源情報推定部
２０４ 形状情報取得部
２０６ アルベド推定部
２０７ アルベド高解像度化部
２０８ アルベドデータベース
２１７ 画像高解像度化部
２２３ 画像高解像度化判断部
５０１ 通信端末
５０２ サーバ

本発明の第１態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。

本発明の第２態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する前記第１態様の画像高解像度化装置を提供する。

本発明の第３態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第１態様の画像高解像度化装置を提供する。

本発明の第４態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである前記第１態様の画像高解像度化装置を提供する。

本発明の第５態様では、前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う前記第１態様の画像高解像度化装置を提供する。

本発明の第６態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。

本発明の第７態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する前記第６態様の画像高解像度化装置を提供する。

本発明の第８態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第６態様の画像高解像度化装置を提供する。

本発明の第９態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである前記第６態様の画像高解像度化装置を提供する。

本発明の第１０態様では、前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う前記第６態様の画像高解像度化装置を提供する。

本発明の第１１態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像高解像度化部は、前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う前記第１または第６態様の画像高解像度化装置を提供する。

本発明の第１２態様では、前記画像高解像化部は、前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う前記第１１態様の画像高解像度化装置を提供する。

本発明の第１３態様では、画像高解像度化方法として、被写体を撮像した原画像を取得する第１のステップと、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えたものを提供する。

本発明の第１４態様では、画像高解像度化プログラムとして、コンピュータに、被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップとを実行させるものを提供する。

本発明の第１５態様では、通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムとして、前記通信端末は、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、前記サーバは、前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えているものを提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１および図２は本実施形態に係る画像高解像度化装置の構成を示している。また、図３は本実施形態に係る画像高解像度化方法の処理の流れを示すフローチャートである。さらに、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示している。

図１に示す画像高解像度化装置は、撮像装置によって被写体の撮像を行う画像撮像部２０１と、被写体に照射する光源に関する光源情報を推定する光源情報推定部２０３と、被写体の形状情報を取得する形状情報取得部２０４と、光源情報および形状情報を用いて、前記画像撮像部２０１によって撮像された原画像から被写体のアルベド画像を作成するアルベド推定部２０６と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベース（ＤＢ）２０８と、アルベドＤＢ２０８から変換規則を取得し、この変換規則に従って、アルベド推定部２０６によって作成されたアルベド画像を高解像度化するアルベド高解像度化部２０７と、アルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する画像高解像度化部２１７を備えている。

光源情報推定部２０３が推定する光源情報は、光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む。被写体情報推定部２０４は、被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する。

図２に示す画像高解像度化装置は、図１の構成を基本にしたものであり、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うものである。さらに、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしている。

すなわち、図１の構成に加えて、画像撮像部２０１によって撮影された原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部２０２と、分離後の画像から影領域の推定を行う影除去部２０５とをさらに備えている。アルベド推定部２２１は、画像撮像部２０１によって撮影された原画像に代えて、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像から、光源情報および形状情報を用いて、アルベド画像を作成する。

また、画像高解像度化部２１７は、アルベド高解像度化部２０７によって得られた高解像度アルベド画像を用いて、高解像度拡散反射画像を作成する拡散反射画像高解像度化部２０９と、形状情報取得部２０４によって取得された形状情報と拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、被写体を表現するパラメータを推定するパラメータ推定部２１０と、形状情報取得部２０４によって取得された形状情報を高密度化する形状情報高密度化部２１１と、低密度形状情報を高密度形状情報に変換する変換規則を蓄積している法線データベース（ＤＢ）２１２を利用して、パラメータ推定部２１０によって求められたパラメータを高密度化するパラメータ高密度化部２１３と、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用し、高解像度鏡面反射画像を合成する鏡面反射画像高解像度化部２１４と、影領域を生成する影生成部２１５と、レンダリング部２１６とを備えている。

以下、図２の構成に基づいて、各構成要素における処理について説明する。なお、図２の構成では、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしているが、本発明において、影領域の除去および付加は必ずしも行う必要はない。また、図２の構成では、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにしているが、本発明において、拡散反射画像と鏡面反射画像との分離は必ずしも行う必要はない。例えば、原画像がほぼ拡散反射成分のみからなると考えられる場合には、拡散反射画像と鏡面反射画像との分離は必要でなく、原画像についてアルベド画像を利用した高解像度化を行えばよい。この場合、装置の構成は図１のようになる。

画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する（ステップＳ４０１）。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とを同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、画像撮像部２０１は後述するように、偏光フィルタを利用して撮像を行うことが望ましい。これにより、被写体の偏光状態を取得することができ、拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって取得された偏光状態を用いて、分離を行うことができる。

拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された原画像を、拡散反射画像と鏡面反射画像とに分離する（ステップＳ４０２）。ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射のように、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することによって取得することができる。

図５（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図５（ｂ）（ｃ）は、図５（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。

前述のように、２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分の和として以下の式で表現される。

ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉ_ａは環境光成分、Ｉ_ｄは拡散反射成分、Ｉ_ｓは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。

環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。

この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）。
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健，“光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，ｖｏｌ．４４，ｎｏ．ＳＩＧ５（ＣＶＩＭ６），ｐｐ．１１−２１，２００３」）。
などがある。

ここでは、偏光フィルタを利用する方法を用いる。図６は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図６に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。

ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６の回転角ψに対して、図７のように変化する。ここで、反射光の拡散成分をＩ_ｄ、鏡面反射成分をＩ_ｓとすると、反射光輝度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎは以下の式で表現される。

つまり、反射光の拡散成分Ｉ_ｄ、鏡面反射成分Ｉ_ｓは、以下の式から求まる。

図８はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、ｓｉｎ関数のフィッテングを利用する。この処理を説明する。

図７に示した、偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、ｓｉｎ関数で近似できる。

ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より

つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。

ところで、（式１５）は以下のように展開できる。

ただし、

つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分を分離することができる。

ただし、Ｉ_ｉは、偏光フィルタ角ψ_ｉ時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。

以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。

このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図９はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図９の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。

また、このような偏光フィルタと回転装置は、カメラ自体が持つのではなく、着脱可能な構成にしても構わない。例えば、一眼レフカメラの交換レンズに、偏光フィルタと回転装置を搭載する。図１０はこのような画像高解像度化装置が搭載されたカメラと交換レンズの構成例を示している。カメラ１１０１は、直線偏光フィルタ１０１６の回転を指示する信号を交換レンズ１１０２に送信するための信号送信装置１０４５を有する。交換レンズ１１０２は、直線偏光フィルタ１０１６と、信号送信装置１０４５から送信された信号を受信する信号受信装置１０４６と、直線偏光フィルタ１０１６の回転を指示する信号を信号受信装置１０４６が受信したとき、直線偏光フィルタ１０１６を回転させるモータ１０４４とを有する。

図１１はこのような画像高解像度化装置が搭載されたカメラと交換レンズの模式図である。カメラ１１０１には電気信号を送信する接点１１０３が設けられており、交換レンズ１１０２には電気信号を受信する接点１１０４が設けられている。カメラ１１０１と交換レンズ１１０２とがマウント１１０５によって結合されたとき、両接点１１０３，１１０４が接触する。これにより、カメラ１１０１から交換レンズ１１０２に信号を送信することが可能になり、カメラ１１０１から直線偏光フィルタ１０１６の回転を指示する信号を送信して、モータ１０４４によって直線偏光フィルタ１０１６を回転させることができる。

また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。

もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。

光源情報推定部２０３は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ４０３）。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部２０１によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，″光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感″，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２−１９０，ｐｐ．７−１２，２００３」）。この処理について詳述する。

光源情報推定部２０３は、図１２に示した鏡面とみなせる球３００１を利用して行う。鏡面球３００１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球３００１を画像撮像部２０１によって撮像する。このとき、鏡面球３００１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。

もちろん、光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用し、画像処理分野で広く知られているステレオ処理を利用すればよい。また、光源までの距離が既知の場合には、前述の方法で光源方向を推定することによって、光源の位置を推定することができる。

もちろん、このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。

形状情報取得部２０４は、被写体の形状情報として、被写体の表面の法線情報、または被写体の３次元位置情報を取得する（ステップＳ４０４）。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。

もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，″偏光レイトレーシング法による透明物体の表面形状の推定手法″，電子情報通信学会論文誌，ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４３２−１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。

照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ．Ｈａｙａｋａｗａ，”Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，ｖｏｌ．１１，ｐｐ．３０７９−８９，１９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度

ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。

光源方向が異なる拡散反射画像を以下のように輝度行列Ｉ_ｄで表現する。

ただし、ｉ_{ｄｆ（ｐ）}は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。

ただし、ρ_ｐは画素ｐの反射率（アルベド）、ｎ_ｐは画素ｐの法線方向ベクトル、ｔ_ｆは光源ｆの入射照度、Ｌ_ｆは光源ｆの方向ベクトルを示している。

（式２４）、（式２５）より以下の式が導かれる。

ただし、

ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。

ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。

ただし、

であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は（Ｆ−３）×（Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、Ｖ”は信号成分であるＵ’、Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。

すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。

ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、

（式２７）、（式３０）と（式３２）より、

さらに、

とおくと、（式３３）は以下のようになる。

ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。

また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。

さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。

以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度

ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。

また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。

図１３はこの処理を説明するための模式図である。図１３において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。

まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係Ｌａ、Ｌｂは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが正（Ｌｖ＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが求まる。

また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。

また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図１４を用いて説明する。

図１４において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図１５に示したように、周期πのｓｉｎ関数となる。

ここで、この反射光強度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎを計測する偏光フィルタの角度ψ_ｍａｘ、ψ_ｍｉｎを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψ_ｍａｘは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψ_ｍｉｎは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。

また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すなわち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψ_ｍａｘまたはψ_ｍｉｎを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。

○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψ_ｍｉｎ（またはψ_ｍａｘの垂直方向）を含む平面。

ここで、ψ_ｍａｘまたはψ_ｍｉｎは、前述のｓｉｎ関数のフィッテング処理を行うことで推定する。

また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。

もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。

また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。

以上のように、照度差ステレオ法と偏光特性を利用した方法では、被写体表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。

以上の処理により、形状情報取得部２０４は被写体の形状情報として、被写体表面の法線情報または被写体の３次元位置情報を取得する。

影除去部２０５は、画像中の影領域を推定し、影除去処理を行う（ステップＳ４０５）。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。

また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや、光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。

次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。すなわち、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行う。まず、拡散反射画像の高解像度化について説明する。

＜拡散反射画像の高解像度化＞
アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定し、被写体のアルベド画像を作成する（ステップＳ４０６）。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。

この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。

ただし、θ_ｉは被写体の法線方向ベクトルと光源方向ベクトルのなす角を示す。ここで、光源情報推定部２０３および形状情報取得部２０４により、角度θ_ｉは既知である。また、後述するように、光源の入射照度ｔ_ｆも推定可能なため、被写体のアルベドｒ_ｐを（式３６）から求める。

この際、ｃｏｓθ_ｉが０以下の値を持つ場合、すなわちａｔｔａｃｈｅｄ ｓｈａｄｏｗである場合、（式３６）から、アルベドｒ_ｐがマイナスになる、あるいは０で除算を行うことにより意味を持たなくなる。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。

もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒ_ｐ’を求め、これを利用しても構わない。

ここで、ｉ_{ｓｆ＿ｍａｘ}は鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}をメモリに保持しておく。図１６はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}が保持されている。

鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}はこの正反射画素の輝度値となる。

反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉ_{ｄｆ（ｐ）}をθ_ｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}で正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。

また、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}によって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。

次に、こうして求めたアルベド画像の高解像度化について説明する。

アルベド高解像度化部２０７は、アルベド推定部２０６が作成したアルベド画像を、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８を利用して、高解像度化する（ステップＳ４０７）。この処理について詳述する。

前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。ここでの高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。

図１７はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像（ＬＲ画像、画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。

次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像（ＨＲ画像）が完成する。

この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。

図１８は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。

以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像度画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像はＲＧＢカラー画像とするが、カラー画像はＲＧＢから輝度色差（ＹＣｒＣＢ）に変換して、独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でよく、カラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので、各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。

（学習時）
図１９は学習処理の流れを説明するＰＡＤ図であり、図２０は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図１９および図２０を交互に用いて説明を行なう。

まず、Ｓ３１１〜Ｓ３１３において、低解像度画像（ＬＲ画像）、高解像度画像（ＨＲ画像）、および低解像度画像の拡大画像（ｅｘＬＲ画像）を入力する。これらの画像は、ＨＲ画像から全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図２０において、ＨＲ画像（画素数１２８×１２８）と、ＬＲ画像（画素数３２×３２）と、ＬＲ画像から画素数だけＨＲ画像と合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。ＬＲ画像は、画像撮像部２０１によって撮像される原画像と解像度が同一のアルベド画像であり、ＨＲ画像は、画像撮像部２０１によって撮像される原画像よりも解像度が高いアルベド画像である。

Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣｍａｘ個にまでクラスタリングする。ここではＫ−ｍｅａｎｓ法を用いて、例えばＣｍａｘ＝５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。

Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。

Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するｅｘＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。

ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図２０で説明する。図２０では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃｉ＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。

次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。

Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。

Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。

次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。

最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則として、アルベドＤＢ２０８に蓄積する。

図２１は２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。

ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図２１のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像（ＬＬ成分）２）行方向にＦ・列方向にＧ：ｃＤｈ画像（ＬＨ成分）３）行方向にＧ・列方向にＦ：ｃＤｖ画像（ＨＬ成分）４）行方向にＧ・列方向にＧ：ｃＤｄ画像（ＨＨ成分）。

図２２は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、

の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。

なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。

もちろん、アルベド推定部２０６において、アルベド画像ではなく擬似アルベド画像を推定している場合、上述の学習処理は擬似アルベド画像を利用して行う。前述のように擬似アルベドは光源に影響されない拡散成分画像であるため、光源変動に影響されない変換規則を作成することが可能である。また、学習時において、擬似アルベド作成で正規化に利用した所定値、例えば鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を保持する必要はない。

（高解像度化処理の実行時）
図２３は実行時の処理の流れを示すＰＡＤ図であり、図２４は実行時の処理の画素セルとの関係を示す図である。

まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図１９のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。

次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。

Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図２４で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃｍａｘ個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ｃｉ）を得る。これは図２４において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。

次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図２４において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。

Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。

Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図２４のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。

Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、

を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。

次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。

Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。

逆ＳＷＴ（ＩＳＷＴ）変換は、図２５で示す信号フローで実現できる。図２１とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。

以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。

このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図２３のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ｃｉ）を得るようにすればよい。

また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。

また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。

また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。

さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。

＜鏡面反射画像の高解像度化＞
次に、鏡面反射画像の高解像度化について説明する。ここでは、推定したパラメータの高密化処理と、形状情報の高密化処理とを利用する。

パラメータ推定部２１０は、形状情報収得部２０４によって取得された被写体の表面の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する（Ｓ４０８）。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。

Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。

ここで、Ｅ_ｉは入射照度、ρ_ｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す。また、Ｆ_λはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎ_λは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉ_ｊは入射光の放射輝度である。また、ｋ_ｓは鏡面反射成分の係数である。

さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。

ただし、

ここで、ρ_ｄは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋ_ｄは以下の関係式を満たす係数である。

Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図２６はこの定数Ｓｒを説明するための模式図である。図２６において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓ_ｒは、（式４８）で表される。

以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。

以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉ_ａ
○拡散反射成分Ｉ_ｄ
○鏡面反射成分Ｉ_ｓ
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さｄｐｘ，ｄｐｙ
○撮像装置１００１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅ_ｉ
○鏡面反射成分の係数ｋ_ｓ
○被写体表面の粗さｍ
○被写体の屈折率η_λ
ここで、拡散反射成分の係数ｋ_ｄ、および拡散反射成分の反射率（アルベド）ρ_ｄも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。

図２７はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。

まず、光源情報を使用して、入射照度Ｅ_ｉを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。

ここで、Ｉ_ｉは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ_１は撮像装置１００１と光源１００７との距離、Ｒ_２は光源１００７と観察点Ｏとの距離、θ_１は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ_２は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図２８参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ_２に比べ十分に大きいと考えられる場合、距離Ｒ_２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ_１／Ｒ_２）は定数となり、実際に計測する必要はなくなる。

次に、シンプレックス法を利用して、未知パラメータｍ、η_λ、ｋ_ｓを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，ｐｐ．９０−９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘ_ｉで表し、新しいベクトルを次のように定める。

ただし、

はそれぞれ関数ｆ（ｘ_ｉ）を最大、最小にするｘ_ｉを示している。

さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：

２．拡張：

３．収縮：

ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。

シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、η_λ、ｋ_ｓ、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩ_ｓを利用した。

ただし、ｉ_{ｓ（ｉ，ｊ）}’，ｉ_{ｓ（ｉ，ｊ）}はそれぞれ、計算された鏡面反射画像の推定値Ｉ_ｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像Ｉ_ｓの画素（ｉ，ｊ）の輝度値、Ｍ_{ｓ（ｉ，ｊ）}は、画素（ｉ，ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。

この処理について詳しく説明する。図２９はこの処理の流れを説明するためのフローチャートである。

まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。

次に、乱数を利用し、推定パラメータの候補パラメータｍ’、η_λ’、ｋ_ｓ’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。

次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値Ｉ_ｓ’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値Ｉ_ｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩ_ｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔＩ_ｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、η_λ、ｋ_ｓとして候補パラメータｍ’、η_λ’、ｋ_ｓ’を選択し、処理を終了する。一方、ΔＩ_ｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。

候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、ｎが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。

一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。

次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。

これらの値は、被写体より求めることができる。例えば、屈折率η_λであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率η_λは１．５〜１．７とすればよい。

変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。

ここで、ステップＳ３６８の変形処理について詳述する。図３０はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、η_λ’、ｋ_ｓ’をベクトル表現し、これをパラメータｘとする。すなわち、

まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータｘ_ｒを計算し、（式５６）によってｘ_ｒでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｒ）を計算する（ステップＳ３８１）。次に、こうして求められたΔＩ_ｓ（ｘ_ｒ）と、２番目に評価関数が悪かったΔＩ_ｓ（ｘ_ｓ）を比較する（ステップＳ３８２）。ここでΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｓ）より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔＩ_ｓ（ｘ_ｒ）と現在、最も評価値のよいΔＩ_ｓ（ｘ_ｌ）を比較する（ステップＳ３８３）。ここで、ΔＩ_ｓ（ｘ_ｒ）のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったｘ_ｈをｘ_ｒへ変更し（ステップＳ３８４）、処理を終了する。

一方、ΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｌ）より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータｘ_ｅと、ｘ_ｅでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｅ）を計算する（ステップＳ３８５）。次に、こうして求められたΔＩ_ｓ（ｘ_ｅ）と、鏡像操作によるΔＩ_ｓ（ｘ_ｒ）を比較する（ステップＳ３８６）。ここでΔＩ_ｓ（ｘ_ｅ）がΔＩ_ｓ（ｘ_ｒ）より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったｘ_ｈをｘ_ｅへ変更し（ステップＳ３８７）、処理を終了する。

一方、ΔＩ_ｓ（ｘ_ｅ）がΔＩ_ｓ（ｘ_ｒ）より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったｘ_ｈをｘ_ｒへ変更し（ステップＳ３８７）、処理を終了する。

また、ステップＳ３８２において、ΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｓ）より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔＩ_ｓ（ｘ_ｒ）と現在、最も評価値の悪いΔＩ_ｓ（ｘ_ｈ）を比較する（ステップＳ３８８）。ここでΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｈ）より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったｘ_ｈをｘ_ｒへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータｘ_ｃと、ｘ_ｃでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｃ）を計算する（ステップＳ３９０）。一方、ΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｈ）より大きかった場合（ステップＳ３８８でＮｏ）、ｘ_ｈを変更することなく、収縮操作を行ったパラメータｘ_ｃと、ｘ_ｃでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｃ）を計算する（ステップＳ３９０）。

次に、こうして求められたΔＩ_ｓ（ｘ_ｃ）と、最も評価値の悪いΔＩ_ｓ（ｘ_ｈ）を比較する（ステップＳ３９１）。ここでΔＩ_ｓ（ｘ_ｃ）がΔＩ_ｓ（ｘ_ｈ）より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったｘ_ｈをｘ_ｃへ変更し（ステップＳ３９２）、処理を終了する。

一方、ΔＩ_ｓ（ｘ_ｃ）がΔＩ_ｓ（ｘ_ｈ）より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータｘ_ｉ（ｉ＝１，２，３，４）を以下の式により変更し、処理を終了する。

以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、η_λ、ｋ_ｓを推定する。

以上の処理により、すべての未知パラメータを推定することができる。

なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（例えば、「Ｋ．Ｉｋｅｕｃｈｉ ａｎｄ Ｋ．Ｓａｔｏ，“Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１１３９−１１５３，１９９１」）であっても構わない。

また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。

また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルし、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。

形状情報高密化部２１１は、形状情報取得部２０４で取得した被写体の形状情報を高密度化する（ステップＳ４０９）。これは、以下のように実現される。

まず、形状情報取得部２０４によって取得した表面の形状情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天弘樹，池内克史，“実物体の仮想化のための３次元幾何モデルのテクスチャリング手法”，ＣＶＩＭ−１４９−３４，ｐｐ．３０１−３１６，２００５」）を行うことで実現できる。

この際、法線ベクトルｎ_ｐは極座標で表現し、その値をθ_ｐ、φ_ｐとする（図３１参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の形状情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。

また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。

また、パラメータ推定部２１０において、撮像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。

さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する（ステップＳ４１０）。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。

また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率η_λは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率η_λは単純補間により高密度化を行い、拡散反射成分の係数ｋ_ｄ、鏡面反射成分の係数ｋ_ｓ、さらには拡散反射成分の反射率（アルベド）ρ_ｄに関しては学習を利用した高密度化処理を行うようにしてもかまわない。

鏡面反射画像高解像度化部２１４は、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータとを利用し、高解像度鏡面反射画像を合成する（ステップＳ４１１）。高解像度鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成される。

ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅ_ｉのみ推定された値に係数１（例えば、１＝２）を乗算するようにしても構わない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。

拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度拡散反射画像を合成する（ステップＳ４１２）。この処理を説明する。

前述のように、アルベド画像は、拡散成分画像を光源方向ベクトルと被写体の法線方向ベクトルの内積で除算したものである。このため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度拡散反射画像を合成する。光源情報推定部２０３によって複数の光源が推定された場合、それぞれの光源に対して高解像度拡散反射画像をそれぞれ合成し、その画像を足し合わせることによって、一枚の高解像度拡散画像を合成する。

また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}は、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。

以上の処理により、高解像度化された拡散反射画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。

影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度鏡面反射画像に重畳する、影画像を合成する（ステップＳ４１３）。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。

ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え（ａｐｐｅａｒａｎｃｅ）から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「Ｋ．Ｎｉｓｈｉｎｏ ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ，″Ｔｈｅ Ｗｏｒｌｄ ｉｎ ａｎ Ｅｙｅ″，ｉｎ Ｐｒｏｃ．ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ＣＶＰＲ’０４，ｖｏｌ．Ｉ，ｐｐ４４４−４５１，Ｊｕｌ．，２００４．」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。

被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の形状情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の形状情報を算出する。さらに、形状情報高密度化部２１１で推定された高密度形状情報を利用して被写体の形状情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行う。

レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、原画像を高解像度化した高解像度画像を作成する（ステップＳ４１４）。

図３２〜３４は本実施例における擬似アルベドを利用した画像高解像度化方法によって、画像を８ｘ８倍に高解像度化した結果を示している。図３２は学習に用いた画像を示している。被写体としてお面を用いた。このような学習データを利用して、図３３（ａ）の画像の高解像度化を行った。この画像は、図３２の学習データと同じ被写体ではあるが、光源の位置が異なっている。

比較用に、アルベド高解像度化部２０７で利用したテキストンに基づく高解像度化を、アルベド画像ではなく、画像撮像部２０１が撮影した画像そのものに対して高解像度化処理を行った。その結果を図３３（ｂ）に示す。また、図３３（ｃ）は本実施例における擬似アルベドを利用した画像高解像度化の結果である。また、図３４（ａ）（ｂ）は、図３３（ｂ）（ｃ）の向かって右側上部に示した矩形領域内を拡大したものである。これらの結果より、本実施例の画像高解像度化方法は画質劣化を招くことなく画像を８ｘ８倍に高解像度化できることがわかる。

また、被写体の向かって右側上部の遮蔽エッジに着目すると、図３４（ａ）では、エッジがばたついていることが分かる。これは、学習時と高解像度化処理時との光源環境が異なるため、背景と学習した被写体との区別がつかず、画質が劣化していると考えられる。一方、本実施例の画像高解像度化方法では、形状情報を利用しているため、遮蔽エッジが自然に表現されている。すなわち、アルベド画像または擬似アルベド画像と被写体の形状情報とを利用することにより、適切な遮蔽エッジを表現することが可能となり、より適切な画像の高解像度化を実現することができる。

また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。

この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。

○拡散反射成分の係数ｋ_ｄ
○拡散反射成分の反射率（アルベド）ρ_ｄ
そこで、これらのパラメータを推定する。図３５は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図２７で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。

まず、（式４９）と鏡面反射画像のパラメータ推定で求まったｋ_ｓを利用して、次式よりｋ_ｄを推定する（ステップＳ３５３）。

さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρ_ｄを次式より推定する（ステップＳ３５４）。

以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。

また、上記説明では、光源情報推定部２０３は、鏡面球を利用して光源情報を求めたが、画像から直接推定するようにしても構わない。この処理を詳述する。

（光源情報推定処理）
図３６は本処理に係る光源推定装置の構成を示すブロック図である。図３６において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。

また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。

なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。

図３７は本処理に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図３７において、図３６と共通の構成要素には図３６と同一の符号を付している。なお、図３７のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。

図３８は図３７のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３８において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。

以下、本処理に係る光源推定装置の各構成要素の動作について、説明する。

撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。

光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。

このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。

光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本処理に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。

このため、本処理では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３８のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。

図３９は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。

なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。

また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。

第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図４０はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。

撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒｌｉｇｈｔで表現される。

撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒｌｉｇｈｔのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図４１に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。

また、Ｒｘ（α）、Ｒｙ（β）、Ｒｚ（γ）はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。

また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。

このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元”，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。

第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒｎｏｗを、現在の姿勢行列と呼ぶ。

光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。

まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図４２はこの処理を説明するための模式図である。図４２では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。

こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘｆ，ｙｆ）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘｆ，ｙｆ）との関係は、次式で求められる。

ただし、（Ｃｘ，Ｃｙ）は画素中心位置、ｓはスケールファクタ、（ｄｘ，ｄｙ）は撮像素子１画素のサイズ［ｍｍ］、Ｎｃｘはｘ方向の撮像素子数、Ｎｆｘはｘ方向の有効画素数、κ１、κ２はレンズの歪みを示す歪みパラメータである。

また、図４３に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘｆ，ｙｆ）との関係は、次式で求められる。

ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。

通常、Ｎｃｘ、Ｎｆｘは撮像素子が特定できれば既知であり、また、（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、κ１、κ２、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Ｒｏｇｅｒ Ｙ．Ｔｓａｉ，“Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ Ｂｅａｃｈ，ＦＬ，１９８６，ｐｐ．３６４−３７４）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。

そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃｘ，Ｃｙ）、ｓ、（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。

以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕｌｉｇｈｔ，ｖｌｉｇｈｔ）とすると、光源方向Ｌｌｉｇｈｔは以下の式で表現できる。

ところで、Ｌｌｉｇｈｔは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌｎｏｗで表現しなおす。これは、以下の式で表現できる。

以上の処理を行うことにより、光源方向ベクトルＬｎｏｗを推定する。このようにして、光源の方向が推定される。

さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。

図４４はこの処理を説明するための模式図である。図４４において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。

時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ１、Ｐ１、Ｌ１とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ２、Ｌ２とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐｌｉｇｈｔは次式を満たす。

ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐｌｉｇｈｔは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。

まず、以下の関数ｆ（ｍ，ｓ）を考える。

ここで、ｍ，ｓは以下の関係式を満たす。

つまり、

よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐｌｉｇｈｔが求まる。このようにして、光源の位置が推定される。

なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ１（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。

異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（Ｈ．Ｃ．Ｌｏｎｇｕｅｔ−Ｈｉｇｇｉｎｓ，“Ａ ｃｏｍｐｕｔｅｒ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ａ ｓｃｅｎｅ ｆｒｏｍ ｔｗｏ ｐｒｏｊｅｃｔｉｏｎｓ”，Ｎａｔｕｒｅ，ｖｏｌ．２９３，ｐｐ．１３３−１３５，１９８１）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、Ｃａｒｌｏ Ｔｏｍａｓｉ ａｎｄ Ｔａｋｅｏ Ｋａｎａｄｅ，“Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ”，Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＣＭＵ−ＣＳ−９１−１３２，Ａｐｒｉｌ １９９１）。

さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって、画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎，土田 勝，山口雅浩，羽石秀昭，大山永昭，“マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”，電子情報通信学会技術研究報告ＰＲＭＵ２００５−１３８，ｐｐ．７−１２，２００６」）。

また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。

以上のように本処理の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定することができる。

なお、上述の処理では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。

ここでは、錘とタッチセンサを利用する方法について説明する。図４５は錘とタッチセンサの構成を示す図である。図４５（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図４５（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ１、θ２だけ傾いたとき、錘１００３に当接するように設置されている。

図４６は図４５の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図４６のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図４７（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図４７（ｂ））。

図４８は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ１以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ２以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、−θ２＜θ＜θ１であり、光軸方向はほぼ水平と推定できる。

このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。

なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図４９はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図４９（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図４９（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。

また、上述の処理では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。

撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。

あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。

遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。

また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。

以上のように本実施形態によると、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えながら、画像の高解像度化を行うことができる。

（第２の実施形態）
図５０は本実施形態に係る画像高解像度化装置の構成を示している。図５０において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。また、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示しており、第１の実施形態と同じである。

第１の実施形態との違いは、画像高解像度化判断部２２３を設けた点である。画像高解像度化判断部２２３は、アルベド推定部２２１によって作成されたアルベド画像について、アルベドＤＢ２０８に蓄積された変換規則に従った高解像度化を行った場合の、信頼性を評価する。アルベド高解像度化部２０７は、画像高解像度化判断部２２３によって信頼性が低いと評価されたとき、アルベドＤＢ２０８に蓄積された変換規則を用いないで、アルベド画像の高解像度化を行う。すなわち、アルベドＤＢ２０８を用いたときの高解像度アルベド画像の信頼性が低い場合は、アルベド高解像度化処理を切り替える。

図５１は本実施形態における画像高解像度化判断部２２３およびアルベド高解像度化部２０７の処理の流れを示すフローチャートである。画像高解像度化判断部２２３は、アルベド推定部２２１が作成したアルベド画像が、アルベドＤＢ２０８作成時の学習データに類似しているか否かを判断する（ステップＳ４５１）。ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内の最短距離のテキストンベクトルとの距離を用いて行えばよい。もし、テキストンの距離が閾値Ｔｈ＿ＴＸより小さい場合（ステップＳ４５１でＹｅｓ）、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する（ステップＳ４５２）。一方、テキストンの距離が閾値Ｔｈ＿ＴＸより大きかった場合（ステップＳ４５１でＮｏ）、アルベドＤＢ２０８が保持している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化処理を行う（ステップＳ４５３）。このような閾値Ｔｈ＿ＴＸは、実験的に決定すればよく、例えば、入力画像が各色２５６階調カラー画像であった場合、０．０１とすればよい。

もちろん、十分類似した学習データが存在しない場合の処理方法は、線形補間処理に限られるものではなく、例えば、バイキュービック法やスプライン補間などを利用しても構わない。

また、ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内における最短距離のテキストンベクトルとの距離を利用する方法に限られるものではなく、例えば、輝度ヒストグラムを比較するようにしても構わない。この場合、クラスタＣと学習された変換行列ＣＭａｔに加え、学習に使用したアルベド画像もアルベドＤＢ２０８に蓄積しておく。前記のテキストン間の距離を利用する方法では、画素ごとにアルベド高解像度化処理を切り替えるのに対し、この手法では、画像ごとにアルベド高解像度化処理を切り替える。

また、画像高解像度化判断部２２３は、アルベド高解像度化部２０７によって作成される高解像度アルベド画像の信頼性を評価するために、アルベド画像を利用するのではなく、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を利用しても構わない。この場合、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を低解像度化した画像と、アルベド推定部２２１が作成したアルベド画像との類似度を評価すればよい。ここでの低解像度化は、高解像度アルベド画像をローパスフィルタを通してサブサンプリングすることによって行えばよい。

これら２つのアルベド画像は、高解像度化が高精度に行われている場合は同じ画像となり、高解像度化に失敗している場合は異なった画像となる。そこで、これら２つのアルベド画像の類似度が十分に高い場合、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する。一方、これら２つのアルベド画像の類似度が十分に高くない場合、アルベドＤＢ２０８が蓄積している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化を行う。

以上のように本実施形態によると、学習データに類似していない被写体に対しては、アルベドＤＢに蓄積された変換規則を利用せず、例えば単純な線形補間処理を利用することによって、画質の劣化を抑えた画像高解像度化処理を行うことができる。

（第３の実施形態）
図５２は本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。図５２では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。

図５２では、例えばカメラ付き携帯電話によって構成される通信端末５０１に、図１に示した各構成要素のうち画像撮像部２０１、光源情報推定部２０３および形状情報取得部２０４が設けられている。そして、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７は、通信端末５０１から離れてネットワークを介して接続された外部の装置であるサーバ５０２に設けられている。すなわち、本実施形態では、通信端末５０１側では、全ての処理を行うのではなく、画像撮像と光源情報および形状情報の取得のみを行い、画像高解像度化処理はサーバ５０２側で実行する。

通信端末５０１では、第１の実施形態で述べたように、画像撮像部２０１によって原画像が撮像され、光源情報推定部２０３によって光源情報が推定され、形状情報取得部２０４によって被写体の形状情報が取得される。これら原画像、光源情報および形状情報は、情報送信部２２４によって送信される。

サーバ５０２では、情報受信部２２５が、通信端末５０１からネットワークを介して送信される情報、すなわち原画像、光源情報および形状情報を受信する。受信された原画像、光源情報および形状情報はアルベド推定部２０６に与えられる。アルベド推定部２０６は、第１の実施形態で述べたように、光源情報および形状情報を用いて、原画像から被写体のアルベド画像を作成する。アルベド高解像度化部２０７は、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８から変換規則を取得し、アルベド画像を高解像度化する。画像高解像度化部２１７はアルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する。

このように、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７をサーバ５０２に設けて、画像高解像度化処理を実行させることによって、通信端末５０１側の計算負荷を軽くすることが可能になる。

なお、上述の第２および第３の実施形態において、第１の実施形態で説明したのと同様に、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにすることも、もちろん可能である。

なお、上述の各実施形態に係る画像高解像度化方法は、コンピュータに、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行させることによって、実現することが可能である。

本発明に係る画像高解像度化装置は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えた画像高解像度化処理が実現できるため、例えば、デジタルカメラのデジタルズーム処理を行うのに有用である。

本発明は、画像処理技術に関するものであり、特に、画像の高解像度化を行う技術に関する。

カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理の重要度が高まっている。このような画像処理の１つとして、デジタルズームとして知られている画像の高解像度化がある。画像の高解像度化は、撮像した画像を任意に拡大処理するために用いられ、画像撮像後の編集処理において重要である。

画像の高解像度化を行うために、様々な方法が提案されている。例えば、一般的な手法として、バイリニア法（線形補間処理）やバイキュービック法などの内挿を用いる方法がある（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、２ｘ２倍以上の拡大画像を合成する場合、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する方法が提案されている（特許文献１、非特許文献２）。しかしこの方法の場合、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともにノイズも強調されてしまい、画質劣化を招く傾向がある。

そこで、画質劣化を抑えつつ画像拡大を行う方法として、データベースを利用する方式が提案されている。すなわち、まず高解像度画像を高精細カメラ等によって予め撮影し、また、撮影した高解像度画像と同じ被写体、同じ環境での低解像度画像を取得する。低解像度画像の取得は例えば、別カメラで撮影する、ズームレンズを利用して高解像度画像を撮影しそのズーム値を変更する、高精細画像をローパスフィルタを通してサブサンプリングする、などの手法によって行えばよい。そして、このような低解像度画像と高解像度画像との組を多数準備し、その関係を画像拡大方法としてデータベースに学習する。このデータベースを利用して、画像の高解像度化を実現する。

このデータベースを利用する方式では、上述したような強調処理を必要としないため、比較的画質劣化の少ない画像拡大が実現できる。このような処理として例えば、画像をブロック化し、ブロック化された画像を学習する方法が知られている（例えば、特許文献２）。
米国特許５，７１７，７８９号(図５) 特許第３２７８８８１号公報 荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４６，２００３年９月２５日 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．２２４９−２２５８，１９９８年１０月

ところが、データベースを利用した画像の高解像度化では、次のような問題がある。すなわち、データベースを学習した時と、画像撮像時とで、光源環境が異なっている場合、高解像度化後の画像の画質が必ずしも保証されず、画質劣化を招く可能性がある。

前記の問題に鑑み、本発明は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の画像が入力された場合であっても、画質の劣化を招くことなく、高解像度化を実現可能にすることを課題とする。

本発明では、アルベド画像または擬似アルベド画像を利用して、データベースを利用した画像の高解像度化を実現する。アルベドとは、反射率のことをいい、アルベド画像とは、光の鏡面反射や陰影などの光学現象によらない、被写体固有の反射率特性を表現した画像のことをいう。また、擬似アルベド画像とは、アルベド画像を、例えば鏡面反射画像の最大輝度値などの所定値によって正規化した画像のことをいう。

被写体のアルベド画像または擬似アルベド画像は、撮像した原画像から、光源情報と被写体の形状情報とを用いて、作成することができる。また、アルベド画像または擬似アルベド画像について、高解像度化のための変換規則を蓄積しているデータベースを予め準備しておき、このデータベースを利用して、被写体のアルベド画像または擬似アルベド画像の高解像度化を行う。そして、高解像度化されたアルベド画像または擬似アルベド画像から、光源情報と被写体の形状情報とを用いて、原画像を高解像度化した高解像度画像を作成する。

本発明によると、データベースを利用した画像の高解像度化において、被写体のアルベド画像または擬似アルベド画像を利用して高解像度化を行う。アルベド画像または擬似アルベド画像は、被写体固有の反射率特性を表現するものであり、光源環境に関連する成分を含まないため、データベースの学習時と撮像時とで光源環境が異なっている場合でも、高解像度化において画質の劣化は生じない。したがって、本発明によると、データベース作成時には想定していないような光源環境下の画像が入力された場合であっても、画像の高解像度化を適切に実現することができる。

本発明の第１態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。

本発明の第２態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する前記第１態様の画像高解像度化装置を提供する。

本発明の第３態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第１態様の画像高解像度化装置を提供する。

本発明の第４態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである前記第１態様の画像高解像度化装置を提供する。

本発明の第５態様では、前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う前記第１態様の画像高解像度化装置を提供する。

本発明の第６態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。

本発明の第７態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する前記第６態様の画像高解像度化装置を提供する。

本発明の第８態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第６態様の画像高解像度化装置を提供する。

本発明の第９態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである前記第６態様の画像高解像度化装置を提供する。

本発明の第１０態様では、前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う前記第６態様の画像高解像度化装置を提供する。

本発明の第１１態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像高解像度化部は、前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う前記第１または第６態様の画像高解像度化装置を提供する。

本発明の第１２態様では、前記画像高解像化部は、前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う前記第１１態様の画像高解像度化装置を提供する。

本発明の第１３態様では、画像高解像度化方法として、被写体を撮像した原画像を取得する第１のステップと、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えたものを提供する。

本発明の第１４態様では、画像高解像度化プログラムとして、コンピュータに、被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップとを実行させるものを提供する。

本発明の第１５態様では、通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムとして、前記通信端末は、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、前記サーバは、前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えているものを提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１および図２は本実施形態に係る画像高解像度化装置の構成を示している。また、図３は本実施形態に係る画像高解像度化方法の処理の流れを示すフローチャートである。さらに、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示している。

図１に示す画像高解像度化装置は、撮像装置によって被写体の撮像を行う画像撮像部２０１と、被写体に照射する光源に関する光源情報を推定する光源情報推定部２０３と、被写体の形状情報を取得する形状情報取得部２０４と、光源情報および形状情報を用いて、前記画像撮像部２０１によって撮像された原画像から被写体のアルベド画像を作成するアルベド推定部２０６と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベース（ＤＢ）２０８と、アルベドＤＢ２０８から変換規則を取得し、この変換規則に従って、アルベド推定部２０６によって作成されたアルベド画像を高解像度化するアルベド高解像度化部２０７と、アルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する画像高解像度化部２１７を備えている。

光源情報推定部２０３が推定する光源情報は、光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む。被写体情報推定部２０４は、被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する。

図２に示す画像高解像度化装置は、図１の構成を基本にしたものであり、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うものである。さらに、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしている。

すなわち、図１の構成に加えて、画像撮像部２０１によって撮影された原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部２０２と、分離後の画像から影領域の推定を行う影除去部２０５とをさらに備えている。アルベド推定部２２１は、画像撮像部２０１によって撮影された原画像に代えて、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像から、光源情報および形状情報を用いて、アルベド画像を作成する。

また、画像高解像度化部２１７は、アルベド高解像度化部２０７によって得られた高解像度アルベド画像を用いて、高解像度拡散反射画像を作成する拡散反射画像高解像度化部２０９と、形状情報取得部２０４によって取得された形状情報と拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、被写体を表現するパラメータを推定するパラメータ推定部２１０と、形状情報取得部２０４によって取得された形状情報を高密度化する形状情報高密度化部２１１と、低密度形状情報を高密度形状情報に変換する変換規則を蓄積している法線データベース（ＤＢ）２１２を利用して、パラメータ推定部２１０によって求められたパラメータを高密度化するパラメータ高密度化部２１３と、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用し、高解像度鏡面反射画像を合成する鏡面反射画像高解像度化部２１４と、影領域を生成する影生成部２１５と、レンダリング部２１６とを備えている。

以下、図２の構成に基づいて、各構成要素における処理について説明する。なお、図２の構成では、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしているが、本発明において、影領域の除去および付加は必ずしも行う必要はない。また、図２の構成では、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにしているが、本発明において、拡散反射画像と鏡面反射画像との分離は必ずしも行う必要はない。例えば、原画像がほぼ拡散反射成分のみからなると考えられる場合には、拡散反射画像と鏡面反射画像との分離は必要でなく、原画像についてアルベド画像を利用した高解像度化を行えばよい。この場合、装置の構成は図１のようになる。

画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する（ステップＳ４０１）。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とを同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、画像撮像部２０１は後述するように、偏光フィルタを利用して撮像を行うことが望ましい。これにより、被写体の偏光状態を取得することができ、拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって取得された偏光状態を用いて、分離を行うことができる。

拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された原画像を、拡散反射画像と鏡面反射画像とに分離する（ステップＳ４０２）。ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射のように、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することによって取得することができる。

図５（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図５（ｂ）（ｃ）は、図５（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。

前述のように、２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分の和として以下の式で表現される。

ここで、Ｉは撮像装置が撮像した被写体の輝度値、I_aは環境光成分、I_dは拡散反射成分、I_sは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。

環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。

この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）。
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健， “光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，vol.44，no. SIG5 (CVIM6) ，pp.11-21，2003」）。
などがある。

ここでは、偏光フィルタを利用する方法を用いる。図６は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図６に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。

ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６の回転角ψに対して、図７のように変化する。ここで、反射光の拡散成分をＩ_ｄ、鏡面反射成分をＩ_sとすると、反射光輝度の最大値Ｉ_maxと最小値Ｉ_minは以下の式で表現される。

つまり、反射光の拡散成分Ｉ_ｄ、鏡面反射成分Ｉ_sは、以下の式から求まる。

図８はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、sin関数のフィッテングを利用する。この処理を説明する。

図７に示した、偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、sin関数で近似できる。

ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より

つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。

ところで、（式１５）は以下のように展開できる。

ただし、

つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分を分離することができる。

ただし、I_iは、偏光フィルタ角ψ_i時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。

以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。

このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図９はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図９の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。

また、このような偏光フィルタと回転装置は、カメラ自体が持つのではなく、着脱可能な構成にしても構わない。例えば、一眼レフカメラの交換レンズに、偏光フィルタと回転装置を搭載する。図１０はこのような画像高解像度化装置が搭載されたカメラと交換レンズの構成例を示している。カメラ１１０１は、直線偏光フィルタ１０１６の回転を指示する信号を交換レンズ１１０２に送信するための信号送信装置１０４５を有する。交換レンズ１１０２は、直線偏光フィルタ１０１６と、信号送信装置１０４５から送信された信号を受信する信号受信装置１０４６と、直線偏光フィルタ１０１６の回転を指示する信号を信号受信装置１０４６が受信したとき、直線偏光フィルタ１０１６を回転させるモータ１０４４とを有する。

図１１はこのような画像高解像度化装置が搭載されたカメラと交換レンズの模式図である。カメラ１１０１には電気信号を送信する接点１１０３が設けられており、交換レンズ１１０２には電気信号を受信する接点１１０４が設けられている。カメラ１１０１と交換レンズ１１０２とがマウント１１０５によって結合されたとき、両接点１１０３，１１０４が接触する。これにより、カメラ１１０１から交換レンズ１１０２に信号を送信することが可能になり、カメラ１１０１から直線偏光フィルタ１０１６の回転を指示する信号を送信して、モータ１０４４によって直線偏光フィルタ１０１６を回転させることができる。

また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。

もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。

光源情報推定部２０３は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ４０３）。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部２０１によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，PRMU2002-190，pp. 7-12，2003」）。この処理について詳述する。

光源情報推定部２０３は、図１２に示した鏡面とみなせる球３００１を利用して行う。鏡面球３００１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球３００１を画像撮像部２０１によって撮像する。このとき、鏡面球３００１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。

もちろん、光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用し、画像処理分野で広く知られているステレオ処理を利用すればよい。また、光源までの距離が既知の場合には、前述の方法で光源方向を推定することによって、光源の位置を推定することができる。

もちろん、このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。

形状情報取得部２０４は、被写体の形状情報として、被写体の表面の法線情報、または被写体の３次元位置情報を取得する（ステップＳ４０４）。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。

もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，vol. J88-D-II， No.8，pp. 1432-1439，2005」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。

照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, ”Photometric Stereo under a light source with arbitrary motion”, Journal of the Optical Society of America A, vol.11, pp.3079-89, 1994」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度

ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。

光源方向が異なる拡散反射画像を以下のように輝度行列I_dで表現する。

ただし、ｉ_{ｄｆ（ｐ）}は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。

ただし、ρ_pは画素ｐの反射率（アルベド）、n_pは画素ｐの法線方向ベクトル、t_fは光源ｆの入射照度、L_fは光源ｆの方向ベクトルを示している。

（式２４）、（式２５）より以下の式が導かれる。

ただし、

ここで、Rは表面反射行列、Nは表面法線行列、Lは光源方向行列、Tは光源強度行列、Sは表面行列、Mは光源行列と呼ぶ。

ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。

ただし、

であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３)×(Ｆ−３)行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。

すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。

ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点k1〜k6の反射率が等しいとすると、

（式２７）、（式３０）と（式３２）より、

さらに、

とおくと、（式３３）は以下のようになる。

ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。

また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。

さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。

以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度

ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。

また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。

図１３はこの処理を説明するための模式図である。図１３において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。

まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係La、Lbは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Lvが正（Lv＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Lvが求まる。

また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。

また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図１４を用いて説明する。

図１４において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図１５に示したように、周期πのsin関数となる。

ここで、この反射光強度の最大値Ｉ_maxと最小値Ｉ_minを計測する偏光フィルタの角度ψ_max、ψ_minを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψ_maxは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψ_minは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。

また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値I_maxと最小値I_minの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すなわち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψ_maxまたはψ_minを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。

○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψ_min（またはψ_maxの垂直方向）を含む平面。

ここで、ψ_maxまたはψ_minは、前述のsin関数のフィッテング処理を行うことで推定する。

また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。

もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。

また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。

以上のように、照度差ステレオ法と偏光特性を利用した方法では、被写体表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。

以上の処理により、形状情報取得部２０４は被写体の形状情報として、被写体表面の法線情報または被写体の３次元位置情報を取得する。

影除去部２０５は、画像中の影領域を推定し、影除去処理を行う（ステップＳ４０５）。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。

また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや、光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。

次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。すなわち、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行う。まず、拡散反射画像の高解像度化について説明する。

＜拡散反射画像の高解像度化＞
アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定し、被写体のアルベド画像を作成する（ステップＳ４０６）。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。

この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。

ただし、θ_ｉは被写体の法線方向ベクトルと光源方向ベクトルのなす角を示す。ここで、光源情報推定部２０３および形状情報取得部２０４により、角度θ_ｉは既知である。また、後述するように、光源の入射照度ｔ_ｆも推定可能なため、被写体のアルベドｒ_pを（式３６）から求める。

この際、cosθ_ｉが０以下の値を持つ場合、すなわちattached shadowである場合、（式３６）から、アルベドｒ_pがマイナスになる、あるいは０で除算を行うことにより意味を持たなくなる。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。

もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒ_ｐ’を求め、これを利用しても構わない。

ここで、ｉ_{ｓｆ＿ｍａｘ}は鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}をメモリに保持しておく。図１６はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}が保持されている。

鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}はこの正反射画素の輝度値となる。

反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉ_{ｄｆ（ｐ）}をθ_ｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}で正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。

また、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}によって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。

次に、こうして求めたアルベド画像の高解像度化について説明する。

アルベド高解像度化部２０７は、アルベド推定部２０６が作成したアルベド画像を、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８を利用して、高解像度化する（ステップＳ４０７）。この処理について詳述する。

前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。ここでの高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。

図１７はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像（ＬＲ画像、画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。

次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像（ＨＲ画像）が完成する。

この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。

図１８は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。

以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像度画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像はＲＧＢカラー画像とするが、カラー画像はＲＧＢから輝度色差（ＹＣｒＣＢ）に変換して、独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でよく、カラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので、各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。

（学習時）
図１９は学習処理の流れを説明するＰＡＤ図であり、図２０は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図１９および図２０を交互に用いて説明を行なう。

まず、Ｓ３１１〜Ｓ３１３において、低解像度画像（ＬＲ画像）、高解像度画像（ＨＲ画像）、および低解像度画像の拡大画像（ｅｘＬＲ画像）を入力する。これらの画像は、ＨＲ画像から全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図２０において、ＨＲ画像(画素数１２８×１２８)と、ＬＲ画像（画素数３２×３２）と、ＬＲ画像から画素数だけＨＲ画像と合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。ＬＲ画像は、画像撮像部２０１によって撮像される原画像と解像度が同一のアルベド画像であり、ＨＲ画像は、画像撮像部２０１によって撮像される原画像よりも解像度が高いアルベド画像である。

Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣmax個にまでクラスタリングする。ここではK-means法を用いて、例えばCmax=５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。

Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。

Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するexＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。

ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図２０で説明する。図２０では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃi＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。

次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。

Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。

Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。

次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。

最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則として、アルベドＤＢ２０８に蓄積する。

図２１は２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。

ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図２１のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像(ＬＬ成分) ２）行方向にＦ・列方向にＧ：ｃＤｈ画像(ＬＨ成分) ３）行方向にＧ・列方向にＦ：ｃＤｖ画像(ＨＬ成分) ４）行方向にＧ・列方向にＧ：ｃＤｄ画像(ＨＨ成分)。

図２２は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、

の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。

なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。

もちろん、アルベド推定部２０６において、アルベド画像ではなく擬似アルベド画像を推定している場合、上述の学習処理は擬似アルベド画像を利用して行う。前述のように擬似アルベドは光源に影響されない拡散成分画像であるため、光源変動に影響されない変換規則を作成することが可能である。また、学習時において、擬似アルベド作成で正規化に利用した所定値、例えば鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を保持する必要はない。

（高解像度化処理の実行時）
図２３は実行時の処理の流れを示すＰＡＤ図であり、図２４は実行時の処理の画素セルとの関係を示す図である。

まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図１９のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。

次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。

Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図２４で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃmax個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ci）を得る。これは図２４において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。

次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図２４において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。

Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。

Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図２４のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。

Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、

を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。

次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。

Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。

逆ＳＷＴ（ＩＳＷＴ）変換は、図２５で示す信号フローで実現できる。図２１とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。

以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。

このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図２３のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ci）を得るようにすればよい。

また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。

また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。

また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。

さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。

＜鏡面反射画像の高解像度化＞
次に、鏡面反射画像の高解像度化について説明する。ここでは、推定したパラメータの高密化処理と、形状情報の高密化処理とを利用する。

パラメータ推定部２１０は、形状情報取得部２０４によって取得された被写体の表面の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する（Ｓ４０８）。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。

Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。

ここで、Ｅ_iは入射照度、ρ_s,λは波長λにおける鏡面反射成分の双方向反射率、nは被写体の法線方向ベクトル、Vは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルnの角度を表す。また、Ｆ_λはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎ_λは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉ_jは入射光の放射輝度である。また、ｋ_sは鏡面反射成分の係数である。

さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。

ただし、

ここで、ρ_ｄは拡散反射成分の反射率（アルベド）、dpx、dpyは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋ_dは以下の関係式を満たす係数である。

Ｓrは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図２６はこの定数Ｓrを説明するための模式図である。図２６において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓ_rは、（式４８）で表される。

以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。

以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分I_a
○拡散反射成分I_d
○鏡面反射成分I_s
○被写体の法線方向ベクトルn
○光源方向ベクトルL
○視線ベクトルV
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルnの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さdpx, dpy
○撮像装置１００１と観察点Ｏとの距離r
（推定すべきパラメータ）
○入射照度E_i
○鏡面反射成分の係数k_s
○被写体表面の粗さm
○被写体の屈折率η_λ
ここで、拡散反射成分の係数k_d、および拡散反射成分の反射率（アルベド）ρ_dも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。

図２７はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。

まず、光源情報を使用して、入射照度Ｅ_iを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。

ここで、Ｉ_iは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ₁は撮像装置１００１と光源１００７との距離、Ｒ₂は光源１００７と観察点Ｏとの距離、θ₁は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ₂は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図２８参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ_２に比べ十分に大きいと考えられる場合、距離Ｒ_２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ_１／Ｒ_２）は定数となり、実際に計測する必要はなくなる。

次に、シンプレックス法を利用して、未知パラメータｍ、η_λ、ｋ_sを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，pp.90-92，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルx_iで表し、新しいベクトルを次のように定める。

ただし、

はそれぞれ関数ｆ(x_i)を最大、最小にするx_iを示している。

さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：

２．拡張：

３．収縮：

ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。

シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてm、η_λ、k_s、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔI_ｓを利用した。

ただし、i_s(i,j)’, i_s(i,j)はそれぞれ、計算された鏡面反射画像の推定値I_s’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像I_sの画素(i,j)の輝度値、Ｍ_s(i,j)は、画素(i,j)が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。

この処理について詳しく説明する。図２９はこの処理の流れを説明するためのフローチャートである。

まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。

次に、乱数を利用し、推定パラメータの候補パラメータm’、η_λ’、k_s’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。

次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値I_s’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値I_s’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔI_ｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔI_ｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータm、η_λ、k_sとして候補パラメータm’、η_λ’、k_s’を選択し、処理を終了する。一方、ΔI_ｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。

候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、nが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。

一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。

次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。

これらの値は、被写体より求めることができる。例えば、屈折率η_λであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率η_λは１．５〜１．７とすればよい。

変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。

ここで、ステップＳ３６８の変形処理について詳述する。図３０はこの処理の流れを示したフローチャートである。ここでは、候補パラメータm’、η_λ’、k_s’をベクトル表現し、これをパラメータxとする。すなわち、

まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータx_rを計算し、（式５６）によってx_rでの鏡面反射成分画像との差ΔI_ｓ(x_r)を計算する（ステップＳ３８１）。次に、こうして求められたΔI_ｓ(x_r)と、２番目に評価関数が悪かったΔI_ｓ(x_s)を比較する（ステップＳ３８２）。ここでΔI_ｓ(x_r)がΔI_ｓ(x_s)より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔI_ｓ(x_r)と現在、最も評価値のよいΔI_ｓ(x_l)を比較する（ステップＳ３８３）。ここで、ΔI_ｓ(x_r)のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったx_hをx_rへ変更し（ステップＳ３８４）、処理を終了する。

一方、ΔI_ｓ(x_r)がΔI_ｓ(x_l)より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータx_eと、x_eでの鏡面反射成分画像との差ΔI_ｓ(x_e)を計算する（ステップＳ３８５）。次に、こうして求められたΔI_ｓ(x_e)と、鏡像操作によるΔI_ｓ(x_r)を比較する（ステップＳ３８６）。ここでΔI_ｓ(x_e)がΔI_ｓ(x_r)より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったx_hをx_eへ変更し（ステップＳ３８７）、処理を終了する。

一方、ΔI_ｓ(x_e)がΔI_ｓ(x_r)より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったx_hをx_rへ変更し（ステップＳ３８７）、処理を終了する。

また、ステップＳ３８２において、ΔI_ｓ(x_r)がΔI_ｓ(x_s)より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔI_ｓ(x_r)と現在、最も評価値の悪いΔI_ｓ(x_h)を比較する（ステップＳ３８８）。ここでΔI_ｓ(x_r)がΔI_ｓ(x_h)より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったx_hをx_rへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータx_cと、x_cでの鏡面反射成分画像との差ΔI_ｓ(x_c)を計算する（ステップＳ３９０）。一方、ΔI_ｓ(x_r)がΔI_ｓ(x_h)より大きかった場合（ステップＳ３８８でＮｏ）、x_hを変更することなく、収縮操作を行ったパラメータx_cと、x_cでの鏡面反射成分画像との差ΔI_ｓ(x_c)を計算する（ステップＳ３９０）。

次に、こうして求められたΔI_ｓ(x_c)と、最も評価値の悪いΔI_ｓ(x_h)を比較する（ステップＳ３９１）。ここでΔI_ｓ(x_c)がΔI_ｓ(x_h)より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったx_hをx_cへ変更し（ステップＳ３９２）、処理を終了する。

一方、ΔI_ｓ(x_c)がΔI_ｓ(x_h)より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータx_i(i=1,2,3,4)を以下の式により変更し、処理を終了する。

以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるm、η_λ、k_sを推定する。

以上の処理により、すべての未知パラメータを推定することができる。

なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Torrance-Sparrowモデル（例えば、「K. Ikeuchi and K. Sato, “Determining reflectance properties of an object using range and brightness images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.11, pp.1139-1153, 1991」）であっても構わない。

また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。

また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルnや光源方向ベクトルL、または視線ベクトルVといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。

形状情報高密化部２１１は、形状情報取得部２０４で取得した被写体の形状情報を高密度化する（ステップＳ４０９）。これは、以下のように実現される。

まず、形状情報取得部２０４によって取得した表面の形状情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天 弘樹, 池内 克史, “実物体の仮想化のための3次元幾何モデルのテクスチャリング手法”, CVIM-149-34, pp.301-316, 2005」）を行うことで実現できる。

この際、法線ベクトルｎ_ｐは極座標で表現し、その値をθ_ｐ、φ_ｐとする（図３１参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の形状情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。

また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。

また、パラメータ推定部２１０において、撮像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。

さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する（ステップＳ４１０）。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。

また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率η_λは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率η_λは単純補間により高密度化を行い、拡散反射成分の係数k_d、鏡面反射成分の係数k_s、さらには拡散反射成分の反射率（アルベド）ρ_dに関しては学習を利用した高密度化処理を行うようにしてもかまわない。

鏡面反射画像高解像度化部２１４は、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータとを利用し、高解像度鏡面反射画像を合成する（ステップＳ４１１）。高解像度鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成される。

ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅ_ｉのみ推定された値に係数ｌ（例えば、ｌ＝２）を乗算するようにしても構わない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。

拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度拡散反射画像を合成する（ステップＳ４１２）。この処理を説明する。

前述のように、アルベド画像は、拡散成分画像を光源方向ベクトルと被写体の法線方向ベクトルの内積で除算したものである。このため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度拡散反射画像を合成する。光源情報推定部２０３によって複数の光源が推定された場合、それぞれの光源に対して高解像度拡散反射画像をそれぞれ合成し、その画像を足し合わせることによって、一枚の高解像度拡散画像を合成する。

また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}は、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。

以上の処理により、高解像度化された拡散反射画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。

影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度鏡面反射画像に重畳する、影画像を合成する（ステップＳ４１３）。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。

ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え(appearance)から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「K.Nishino and S.K.Nayar, "The World in an Eye", in Proc. of Computer Vision and Pattern Recognition CVPR '04, vol.I, pp444-451, Jul., 2004.」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。

被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の形状情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の形状情報を算出する。さらに、形状情報高密度化部２１１で推定された高密度形状情報を利用して被写体の形状情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行う。

レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、原画像を高解像度化した高解像度画像を作成する（ステップＳ４１４）。

図３２〜３４は本実施例における擬似アルベドを利用した画像高解像度化方法によって、画像を８ｘ８倍に高解像度化した結果を示している。図３２は学習に用いた画像を示している。被写体としてお面を用いた。このような学習データを利用して、図３３（ａ）の画像の高解像度化を行った。この画像は、図３２の学習データと同じ被写体ではあるが、光源の位置が異なっている。

比較用に、アルベド高解像度化部２０７で利用したテキストンに基づく高解像度化を、アルベド画像ではなく、画像撮像部２０１が撮影した画像そのものに対して高解像度化処理を行った。その結果を図３３（ｂ）に示す。また、図３３（ｃ）は本実施例における擬似アルベドを利用した画像高解像度化の結果である。また、図３４（ａ）（ｂ）は、図３３（ｂ）（ｃ）の向かって右側上部に示した矩形領域内を拡大したものである。これらの結果より、本実施例の画像高解像度化方法は画質劣化を招くことなく画像を８ｘ８倍に高解像度化できることがわかる。

また、被写体の向かって右側上部の遮蔽エッジに着目すると、図３４（ａ）では、エッジがばたついていることが分かる。これは、学習時と高解像度化処理時との光源環境が異なるため、背景と学習した被写体との区別がつかず、画質が劣化していると考えられる。一方、本実施例の画像高解像度化方法では、形状情報を利用しているため、遮蔽エッジが自然に表現されている。すなわち、アルベド画像または擬似アルベド画像と被写体の形状情報とを利用することにより、適切な遮蔽エッジを表現することが可能となり、より適切な画像の高解像度化を実現することができる。

また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。

この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。
○拡散反射成分の係数k_d
○拡散反射成分の反射率（アルベド）ρ_d
そこで、これらのパラメータを推定する。図３５は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図２７で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。

まず、（式４９）と鏡面反射画像のパラメータ推定で求まったk_sを利用して、次式よりk_dを推定する（ステップＳ３５３）。

さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρ_ｄを次式より推定する（ステップＳ３５４）。

以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。

また、上記説明では、光源情報推定部２０３は、鏡面球を利用して光源情報を求めたが、画像から直接推定するようにしても構わない。この処理を詳述する。

（光源情報推定処理）
図３６は本処理に係る光源推定装置の構成を示すブロック図である。図３６において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。

また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。

なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。

図３７は本処理に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図３７において、図３６と共通の構成要素には図３６と同一の符号を付している。なお、図３７のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。

図３８は図３７のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３８において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。

以下、本処理に係る光源推定装置の各構成要素の動作について、説明する。

撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。

光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。

このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。

光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本処理に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。

このため、本処理では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３８のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。

図３９は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。

なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。

また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。

第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図４０はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。

撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒlightで表現される。

撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒlightのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図４１に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。

また、Ｒx(α)、Ｒy(β)、Ｒz(γ)はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。

また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。

このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元” ，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。

第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒnowを、現在の姿勢行列と呼ぶ。

光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。

まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図４２はこの処理を説明するための模式図である。図４２では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。

こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘf，ｙf）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘf，ｙf）との関係は、次式で求められる。

ただし、（Ｃx，Ｃy）は画素中心位置、ｓはスケールファクタ、（dx，dy）は撮像素子１画素のサイズ[mm]、Ｎcxはｘ方向の撮像素子数、Ｎfxはｘ方向の有効画素数、κ1、κ2はレンズの歪みを示す歪みパラメータである。

また、図４３に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘf，ｙf）との関係は、次式で求められる。

ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃx，Ｃy），ｓ，（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。

通常、Ｎcx、Ｎfxは撮像素子が特定できれば既知であり、また、（Ｃx，Ｃy），ｓ，（dx，dy）、κ1、κ2、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Roger Y.Tsai, “An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pp. 364-374）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。

そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃx，Ｃｙ）、ｓ、（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。

以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕlight，ｖlight）とすると、光源方向Ｌlightは以下の式で表現できる。

ところで、Ｌlightは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌnowで表現しなおす。これは、以下の式で表現できる。

以上の処理を行うことにより、光源方向ベクトルＬnowを推定する。このようにして、光源の方向が推定される。

さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。

図４４はこの処理を説明するための模式図である。図４４において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。

時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ1、Ｐ1、Ｌ1とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ2、Ｌ2とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐlightは次式を満たす。

ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐlightは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。

まず、以下の関数ｆ（ｍ，ｓ）を考える。

ここで、ｍ，ｓは以下の関係式を満たす。

つまり、

よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐlightが求まる。このようにして、光源の位置が推定される。

なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ1（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。

異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（H. C. Longuet-Higgins, “A computer algorithm for reconstructing a scene from two projections”, Nature, vol.293, pp.133-135, 1981）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、 Carlo Tomasi and Takeo Kanade, “Detection and Tracking of Point Features”, Carnegie Mellon University Technical Report, CMU-CS-91-132, April 1991）。

さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって、画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎, 土田 勝, 山口雅浩, 羽石秀昭, 大山永昭, “マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”, 電子情報通信学会技術研究報告PRMU2005-138, pp.7-12, 2006」）。

また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。

以上のように本処理の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定することができる。

なお、上述の処理では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。

ここでは、錘とタッチセンサを利用する方法について説明する。図４５は錘とタッチセンサの構成を示す図である。図４５（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図４５（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ1、θ2だけ傾いたとき、錘１００３に当接するように設置されている。

図４６は図４５の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図４６のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図４７（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図４７（ｂ））。

図４８は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ1以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ2以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、-θ2＜θ＜θ1であり、光軸方向はほぼ水平と推定できる。

このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。

なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図４９はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図４９（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図４９（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。

また、上述の処理では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。

撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。

あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。

遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。

また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。

以上のように本実施形態によると、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えながら、画像の高解像度化を行うことができる。

（第２の実施形態）
図５０は本実施形態に係る画像高解像度化装置の構成を示している。図５０において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。また、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示しており、第１の実施形態と同じである。

第１の実施形態との違いは、画像高解像度化判断部２２３を設けた点である。画像高解像度化判断部２２３は、アルベド推定部２２１によって作成されたアルベド画像について、アルベドＤＢ２０８に蓄積された変換規則に従った高解像度化を行った場合の、信頼性を評価する。アルベド高解像度化部２０７は、画像高解像度化判断部２２３によって信頼性が低いと評価されたとき、アルベドＤＢ２０８に蓄積された変換規則を用いないで、アルベド画像の高解像度化を行う。すなわち、アルベドＤＢ２０８を用いたときの高解像度アルベド画像の信頼性が低い場合は、アルベド高解像度化処理を切り替える。

図５１は本実施形態における画像高解像度化判断部２２３およびアルベド高解像度化部２０７の処理の流れを示すフローチャートである。画像高解像度化判断部２２３は、アルベド推定部２２１が作成したアルベド画像が、アルベドＤＢ２０８作成時の学習データに類似しているか否かを判断する（ステップＳ４５１）。ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内の最短距離のテキストンベクトルとの距離を用いて行えばよい。もし、テキストンの距離が閾値Th_TXより小さい場合（ステップＳ４５１でＹｅｓ）、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する（ステップＳ４５２）。一方、テキストンの距離が閾値Th_TXより大きかった場合（ステップＳ４５１でＮｏ）、アルベドＤＢ２０８が保持している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化処理を行う（ステップＳ４５３）。このような閾値Th_TXは、実験的に決定すればよく、例えば、入力画像が各色２５６階調カラー画像であった場合、０．０１とすればよい。

もちろん、十分類似した学習データが存在しない場合の処理方法は、線形補間処理に限られるものではなく、例えば、バイキュービック法やスプライン補間などを利用しても構わない。

また、ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内における最短距離のテキストンベクトルとの距離を利用する方法に限られるものではなく、例えば、輝度ヒストグラムを比較するようにしても構わない。この場合、クラスタＣと学習された変換行列ＣＭａｔに加え、学習に使用したアルベド画像もアルベドＤＢ２０８に蓄積しておく。前記のテキストン間の距離を利用する方法では、画素ごとにアルベド高解像度化処理を切り替えるのに対し、この手法では、画像ごとにアルベド高解像度化処理を切り替える。

また、画像高解像度化判断部２２３は、アルベド高解像度化部２０７によって作成される高解像度アルベド画像の信頼性を評価するために、アルベド画像を利用するのではなく、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を利用しても構わない。この場合、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を低解像度化した画像と、アルベド推定部２２１が作成したアルベド画像との類似度を評価すればよい。ここでの低解像度化は、高解像度アルベド画像をローパスフィルタを通してサブサンプリングすることによって行えばよい。

これら２つのアルベド画像は、高解像度化が高精度に行われている場合は同じ画像となり、高解像度化に失敗している場合は異なった画像となる。そこで、これら２つのアルベド画像の類似度が十分に高い場合、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する。一方、これら２つのアルベド画像の類似度が十分に高くない場合、アルベドＤＢ２０８が蓄積している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化を行う。

以上のように本実施形態によると、学習データに類似していない被写体に対しては、アルベドＤＢに蓄積された変換規則を利用せず、例えば単純な線形補間処理を利用することによって、画質の劣化を抑えた画像高解像度化処理を行うことができる。

（第３の実施形態）
図５２は本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。図５２では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。

図５２では、例えばカメラ付き携帯電話によって構成される通信端末５０１に、図１に示した各構成要素のうち画像撮像部２０１、光源情報推定部２０３および形状情報取得部２０４が設けられている。そして、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７は、通信端末５０１から離れてネットワークを介して接続された外部の装置であるサーバ５０２に設けられている。すなわち、本実施形態では、通信端末５０１側では、全ての処理を行うのではなく、画像撮像と光源情報および形状情報の取得のみを行い、画像高解像度化処理はサーバ５０２側で実行する。

通信端末５０１では、第１の実施形態で述べたように、画像撮像部２０１によって原画像が撮像され、光源情報推定部２０３によって光源情報が推定され、形状情報取得部２０４によって被写体の形状情報が取得される。これら原画像、光源情報および形状情報は、情報送信部２２４によって送信される。

サーバ５０２では、情報受信部２２５が、通信端末５０１からネットワークを介して送信される情報、すなわち原画像、光源情報および形状情報を受信する。受信された原画像、光源情報および形状情報はアルベド推定部２０６に与えられる。アルベド推定部２０６は、第１の実施形態で述べたように、光源情報および形状情報を用いて、原画像から被写体のアルベド画像を作成する。アルベド高解像度化部２０７は、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８から変換規則を取得し、アルベド画像を高解像度化する。画像高解像度化部２１７はアルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する。

このように、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７をサーバ５０２に設けて、画像高解像度化処理を実行させることによって、通信端末５０１側の計算負荷を軽くすることが可能になる。

なお、上述の第２および第３の実施形態において、第１の実施形態で説明したのと同様に、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにすることも、もちろん可能である。

なお、上述の各実施形態に係る画像高解像度化方法は、コンピュータに、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行させることによって、実現することが可能である。

本発明に係る画像高解像度化装置は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えた画像高解像度化処理が実現できるため、例えば、デジタルカメラのデジタルズーム処理を行うのに有用である。

本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。 本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。 本発明の第１の実施形態に係る画像高解像度化方法の処理の流れを示したフローチャートである。 本発明の第１および第２の実施形態に係る画像高解像度化装置が搭載されたカメラの構成例である。 画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。 本発明の第１の実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。 直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。 画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。 カメラと、偏光フィルタと回転装置とが搭載された交換レンズの構成例である。 カメラと、偏光フィルタと回転装置とが搭載された交換レンズの模式図である。 鏡面球を利用した光源推定方法を説明するための模式図である。 照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。 反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。 自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。 テキストンに基づく高解像度化処理の概念を示す模式図である。 線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。 テキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。 テキストンに基づく高解像度化処理における学習処理を説明するための模式図である。 ２次元離散定常ウェーブレット変換の処理を示す図である。 ２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。 テキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。 テキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。 ２次元離散定常逆ウェーブレット変換の処理を示す図である。 拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓrを説明するための模式図である。 本発明の第１の実施形態における鏡面反射画像のパラメータ推定処理の流れを示す図である。 入射照度を表す式の各パラメータを説明するための概念図である。 シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。 シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。 極座標表現を説明するための模式図である。 学習処理を行った被写体の画像である。 ８ｘ８倍画像高解像度化を実施した図である。 ８ｘ８倍画像高解像度化を実施した図である。 本発明の第１の実施形態における拡散反射画像のパラメータ推定処理の流れを示す図である。 他の光源情報推定処理に係る光源推定装置の構成を示すブロック図である。 他の光源情報推定処理に係る光源推定装置が搭載された携帯電話の構成を示す模式図である。 カメラ付き携帯電話が折り畳まれた状態を示す図である。 撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。 メモリに保持された情報の一部を示した模式図である。 ロール・ピッチ・ヨー角表現を説明するための模式図である。 光源画素の抽出処理を説明するための模式図である。 カメラ座標系と画像座標系との関係を説明するための模式図である。 撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。 錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。 錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。 図４６のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。 光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。 錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。 本発明の第２の実施形態に係る画像高解像度化装置の構成を示すブロック図である。 本発明の第２の実施形態における画像高解像度化判別部およびアルベド高解像度化部の処理の流れを示したフローチャートである。 本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。

符号の説明

２０１ 画像撮像部
２０２ 拡散反射・鏡面反射分離部
２０３ 光源情報推定部
２０４ 形状情報取得部
２０６ アルベド推定部
２０７ アルベド高解像度化部
２０８ アルベドデータベース
２１７ 画像高解像度化部
２２３ 画像高解像度化判断部
５０１ 通信端末
５０２ サーバ

Claims (15)

1. 撮像装置によって被写体の撮像を行う画像撮像部と、
   前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、
   前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
   前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、
   低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
   前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、
   前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えた
   ことを特徴とする画像高解像度化装置。
2. 請求項１記載の画像高解像度化装置において、
   前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
   前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する
   ことを特徴とする画像高解像度化装置。
3. 請求項１記載の画像高解像度化装置において、
   前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
   前記画像撮像部は、前記被写体の偏光状態を取得するものであり、
   前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う
   ことを特徴とする画像高解像度化装置。
4. 請求項１記載の画像高解像度化装置において、
   前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである
   ことを特徴とする画像高解像度化装置。
5. 請求項１記載の画像高解像度化装置において、
   前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、
   前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う
   ことを特徴とする画像高解像度化装置。
6. 撮像装置によって被写体の撮像を行う画像撮像部と、
   前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
   前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
   前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、
   低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
   前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、
   前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えた
   ことを特徴とする画像高解像度化装置。
7. 請求項６記載の画像高解像度化装置において、
   前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
   前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する
   ことを特徴とする画像高解像度化装置。
8. 請求項６記載の画像高解像度化装置において、
   前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
   前記画像撮像部は、前記被写体の偏光状態を取得するものであり、
   前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う
   ことを特徴とする画像高解像度化装置。
9. 請求項６記載の画像高解像度化装置において、
   前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである
   ことを特徴とする画像高解像度化装置。
10. 請求項６記載の画像高解像度化装置において、
    前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、
    前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う
    ことを特徴とする画像高解像度化装置。
11. 請求項１または６記載の画像高解像度化装置において、
    前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
    前記画像高解像度化部は、
    前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、
    前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う
    ことを特徴とする画像高解像度化装置。
12. 請求項１１記載の画像高解像度化装置において、
    前記画像高解像化部は、
    前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う
    ことを特徴とする画像高解像度化装置。
13. 被写体を撮像した原画像を取得する第１のステップと、
    前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、
    前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、
    前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、
    低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、
    前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えた
    ことを特徴とする画像高解像度化方法。
14. コンピュータに、
    被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、
    低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、
    前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップと
    を実行させるための画像高解像度化プログラム。
15. 通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムであって、
    前記通信端末は、
    撮像装置によって被写体の撮像を行う画像撮像部と、
    前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、
    前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、
    前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、
    前記サーバは、
    前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、
    前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、
    低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
    前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、
    前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えている
    ことを特徴とする画像高解像度化システム。

Images