JP6723127B2 - 画像処理装置、画像処理方法、３ｄプリントシステム、プログラム、記憶媒体 - Google Patents

Description

本発明は、物体の３次元形状を取得する装置に関し、特に複数の視点からの情報を利用して被写体の質感情報を取得する画像処理装置に関する。

近年３Ｄプリンタ（三次元造形装置）の技術の発展に伴い、３Ｄ情報を取得可能なカメラ（いわゆる３Ｄスキャナ）についても、多くの技術、製品が提案されている。また、３Ｄプリンタにおいては、より現実に近いものを造型するために、質感情報と総称される物体の形状、色よりも広い情報（例えば不透明度、反射特性など）を表現可能な製品も提案されている。

特許文献１では、多視点情報を取得可能な３Ｄスキャナを利用して不透明度を取得する装置が提案されている。特許文献２では、多視点像から質感情報を取得可能な撮像システムが提案されている。

特開２００４−２５２９３５号公報 特開２０１４−３９１２６号公報

しかしながら、上述の特許文献に開示された従来技術では以下の課題がある。特許文献１に開示された発明では、不透明度以外の質感情報を得ることは困難である。また、特許文献２に開示された発明では、多数の視差像を時間を隔てて取得するので、装置が大規模になることや、移動する被写体には適用できないという課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、簡易な構成で物体の質感情報を取得可能な画像処理装置を提供することである。

本発明に係わる画像処理装置は、複数の視点の画像を取得可能な第１の取得手段と、前記第１の取得手段により取得された複数の視点の画像に基づいて被写体の形状の情報を取得する第２の取得手段と、前記第１の取得手段により取得された複数の視点の画像から得られる被写体の反射光の分布に基づいて、被写体の質感の情報を取得する第３の取得手段と、前記第１乃至第３の取得手段により取得された、被写体の形状の情報と、被写体の質感の情報と、前記複数の視点の画像とを含むファイルを生成する生成手段と、を備えることを特徴とする。

本発明によれば、簡易な構成で物体の質感情報を取得可能な画像処理装置を提供することが可能となる。

本発明の一実施形態に係わるカメラシステムの構成を示す図。 一実施形態のカメラシステムの撮影光学系の要部を説明する図。 一実施形態のカメラシステムの動作を説明するフローチャート。 物体上での光の反射と撮像装置での反射光の取得状態を説明する図。 複数の視差像を取得する様子を模式的に示した図。 一実施形態における画像取得、距離算出、セグメンテーションを説明する図。 反射特性のテンプレートマッチングを説明する図。 ３Ｄプリンタにおける造形方法を説明する図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の画像処理装置の一実施形態であるカメラシステムの構成を示す図であり、図１（ａ）は中央断面図、図１（ｂ）は電気的構成を示すブロック図である。なお、本実施形態のカメラシステムは、被写体の３次元形状の情報を取得することが可能であるため、３Ｄスキャナと呼ぶこともできる。

図１（ａ）において、カメラシステム１００は、カメラ本体１と、カメラ本体１に着脱自在に装着されるレンズユニット２を備えて構成されている。カメラ本体１は、撮像素子６、クイックリターンミラー１４、表示部９、レンズユニット２との電気接点１１、慣性センサ１５を備えている。また、レンズユニット２は、光軸４に沿って複数のレンズからなる撮影光学系３が配置されて構成されている。レンズユニット２は、レンズユニット２の全体を制御するレンズシステム制御回路１２を備えている。本実施形態では、撮像素子６はＲＧＢのカラーフィルタを用いてマイクロレンズ単位でベイヤ配列で構成されたＣＭＯＳセンサであるとする。しかし、撮像素子６の構成としてはこれに限らない。

図１（ｂ）において、カメラ本体１は、電気的ブロックとして、カメラシステム制御回路５、画像処理部７、メモリ部８、操作検出部１０、表示部９を備えている。また、レンズユニット２は、電気的ブロックとして、レンズシステム制御回路１２、レンズ駆動部１３を備えている。

カメラ本体１とレンズユニット２とからなるカメラシステム１００は、大きく分けて、撮像部、画像処理部、記録再生部、制御部で構成される。撮像部は、撮影光学系３ 、撮像素子６を含み、画像処理部は、画像処理部７を含む。また、記録再生部は、メモリ部８、表示部９を含み、制御部は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３を含む。カメラシステム制御回路５は、カメラ本体１およびレンズユニット２から得られる信号に基づいて、システム全体の制御を統括する。レンズ駆動部１３は、フォーカスレンズ３１、ブレ補正レンズ、絞りなどを駆動する。

撮像部は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像させる。撮像素子６の表面にはマイクロレンズが格子状に配置されており、マイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡの機能や配置の詳細については図２を用いて後述する。後述するように、撮像素子６の信号からピント評価量および適切な露光量が得られるので、これらの信号に基づいて撮影光学系３が調整される。これにより、適切な光量の物体光を撮像素子６に露光させるとともに、撮像素子６の近傍に被写体像を結像させることができる。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。色補間処理部は、この画像処理部７に備えられており、撮像素子６から得られたベイヤ配列の信号に色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は後述する機能として、信号の並べ替えを行い視点の異なる像を生成する、視点の異なる像から深さ情報に相当する被写体の距離を算出する、セグメントに分割する、質感情報を取得するという機能を有しており、物体情報取得手段として動作する。

メモリ部８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ部８は、記録を行うとともに、表示部９に出力する画像を生成し、保存する。さらに、メモリ部８は、予め定められた方法を用いて静止画、動画、音声などの圧縮を行う。

カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。外部操作に応答して撮像部、画像処理部、記録再生部をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。さらに表示部９による画像の表示を制御する。

次に、撮影光学系３の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号に基づいて焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部１３を介してブレ補正レンズを制御する。

また、カメラ本体１は慣性センサ１５を備えており、カメラ本体１の位置、姿勢を計測することが可能である。これにより、例えば、連続して撮影した画像の相対的な視点の違いを計測することが可能である。

図２は、本実施形態における撮影光学系の要部を説明する図である。本実施形態では、光線の位置に加えて光線の入射角度の情報（視差の異なる像ともいえる）を取得することができる。本実施形態では、光線の入射角度の情報の取得のために撮影光学系３の結像面近傍にマイクロレンズアレイ（以下ＭＬＡ）２０を配置するとともに、ＭＬＡ２０を構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡ２０の対応を示す模式図である。図２（ｃ）はＭＬＡ２０によってＭＬＡ２０下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）はカメラシステム１００の横からと、正面からＭＬＡ２０を見た状態を示しており、カメラシステム１００の正面から見るとＭＬＡ２０のレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）を用いて説明する。

図２（ｂ）は図２（ａ）のカメラ正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは太い円２１で示した。図２（ｂ）から明らかなように、１つのマイクロレンズ２１に対して複数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズ２１に対して設けられている。すなわち、各マイクロレンズ２１の大きさは１つの画素の大きさの５倍×５倍の大きさである。

図２（ｃ）の下方に示した図は撮像素子６を、１つのマイクロレンズの光軸を含み撮像素子６の長手方向が図の横方向になるように切断した図である。図２（ｃ）の２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅは撮像素子６の画素（１つの光電変換部）を示している。一方、図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示した撮像素子の図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。また、図２（ｃ）においては説明を分かりやすくするために、１次元の投影および信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅは図２（ｂ）の画素２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、ＭＬＡ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２０ａと領域３０ａが、画素２０ｂと領域３０ｂが、画素２０ｃと領域３０ｃが、画素２０ｄと領域３０ｄが、画素２０ｅと領域３０ｅがそれぞれ対応している。すなわち画素２０ａには撮影光学系３の射出瞳面上の領域３０ａを通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。 瞳領域３０ａを通過した光束のみを捉えている画素２０ａと同じ対応関係にある画素のみを複数のマイクロレンズ２１について集めた画像と、瞳領域３０ａとは異なる瞳領域（たとえば３０ｅ）を通過した光束のみを捉えている画素（たとえば２０ｅ）と同じ対応関係にある画素のみを複数のマイクロレンズ２１について集めた画像を考えると視点の異なる像となっている。画素２０ａと同じ対応関係にある画素のみ集めた画像は瞳領域３０ａから見たような画像となっており、画素２０ｅと同じ対応関係にある画素のみ集めた画像は瞳領域３０ｅから見たような画像となっている。すなわち一度の露光を行い、信号を適切に並べると、同じタイミングで露光された複数の視点の異なる像（複数の視点画像群）を得ることができる。

次に、本実施形態の質感情報を取得可能な３Ｄスキャナとして機能するカメラシステム１００の動作について図３乃至図８を用いて説明する。

図３は本実施形態のカメラシステム１００の動作を説明するフローチャートである。図３（ａ）はカメラシステム１００でのデータ取得の動作を説明するフローチャートである。図３（ｂ）は形状および色の取得の動作を説明するフローチャートである。図３（ｃ）は質感取得の動作を説明するフローチャートである。図３（ｄ）はデータ出力（３Ｄプリンタでの造形）の動作を説明するフローチャートである。

図３（ａ）は、カメラシステム１００を用いて物体の形状、色および質感を取得するときの動作の要部を示している。まず、ステップＳ１０１において本実施形態の動作が開始される。カメラシステム１００においては、像の取得を指示するレリーズボタンを押下することにより動作が開始される。

ステップＳ１０２において、データを出力する３Ｄプリンタに関する情報を取得する。これは予めユーザーによって設定されたデータ１０３を取得すればよい。また、カメラシステム１００あるいはカメラシステム１００と接続状態にあるパーソナルコンピュータ（ＰＣ）１０５と、接続状態にある３Ｄプリンタの情報を取得することで取得してもよい。３Ｄプリンタには多くの種類があり、プリンタによって表現可能な情報の次元が異なる。ここでいう次元とは、例えば、形状のみの３次元、ＲＧＢの色を加えた次元、さらには質感と呼ばれる反射特性や不透明度を含めた次元を指している。最も基礎的な３Ｄプリンタは、形状のみを表現可能である。このような３Ｄプリンタに出力する場合は、形状のみを取得できれば良い。一方で、質感と呼ばれる反射特性を表現可能な３Ｄプリンタにおいては、より多くの情報（情報の詳細については後述する）を取得する必要がある。取得すべき情報を判断して指定するための情報をステップＳ１０２で取得する。

３Ｄプリンタに関する情報としては、具体的には例えばプリンタＩＤや対応可能なファイル形式、質感情報タイプ、プリント方法などが考えられる。これらの３Ｄプリンタに関する情報は予めメモリに記憶されていてもよいし、ステップＳ１０２にてカメラシステム制御部５より不図示の通信インターフェースを介して３Ｄプリンタに３Ｄプリンタに関する情報の送信要求を送ることに応じて、３Ｄプリンタ側から受信して取得してもよい。

ステップＳ１０４において、画像を取得する。図２を用いて説明した光学系を有しているので、本実施形態におけるカメラシステム１００においては、１度の露光で複数の視点の画像を得ることが出来る。そのため、ステップＳ１０４では１度の露光のみでデータを取得しても良いし、複数回の露光を行い複数の画像を取得することで、さらに視点を増やし高精細に、かつ精度よく反射特性を求めても良い。複数回の露光を利用する別の例としてはダイナミックレンジの拡張を行う場合がある。すなわち、データ１０３の３Ｄプリンタに関する情報のうち、表現できる階調がカメラシステム１００の値よりも大きいときは、複数回の撮影を行いダイナミックレンジの拡張を行うこともできる。複数回の露光を行う場合の設定に関しては後述する。

ステップＳ１０５において、形状および色を取得するためのサブルーチンを呼び出す。サブルーチンの詳細については後述する。ステップＳ１０６において、ステップＳ１０２で選択された３Ｄプリンタが質感情報を表現可能か否かを判断する。表現可能である場合はステップＳ１０７に進みそうでない場合はステップＳ１０８に進む。

ステップＳ１０７において、質感を取得するためのサブルーチンを呼び出す。サブルーチンの詳細については後述する。ステップＳ１０８において、データを保存する。ここでは、ユーザによって、あるいはカメラシステム１００またはＰＣ１０５と接続状態にある３Ｄプリンタとして予め定められたフォーマットに従ってデータを記録する。本実施形態では、記録するデータの種類やフォーマットも出力先やユーザの設定に応じて設定可能であるとする。例えば、３Ｄプリンタの出力（印刷）に最低限必要な形状（ボクセル）の情報、メタデータを１ファイルで記録する形式や、質感情報を表現可能なプリンタに対応するために、取得した質感情報を同一ファイルに記録する形式である。メタデータには、設定された出力先の３Ｄプリンタに関する情報と、撮像日時、撮像機器の情報や用いた画像処理やパラメータ、サムネイル画像用の現像された画像、そのほか画像ファイルのメタデータとして公知の情報が記録される。質感情報はメタデータに代表値を格納してもよいし、領域ごとに形状データと同様の形式で例えば形状データ全体の後ろに並べてもよい。また、形状、質感情報に加えて元の２次元画像データを未現像（ＲＡＷ画像、ＲＡＷデータ））の状態で記録してもよいし、現像後の画像データで同一ファイルに記録してもよい。複数の視点画像に対応するＲＡＷ画像を記録する形式の場合、ＤＣＦ形式で画像データ部分に複数の視点画像を並べ、メタデータの部分に形状情報を格納しておく形式でもよい。形状情報は３Ｄプリンタに関する情報に基づいてボクセル形式からＳＴＬ形式等３Ｄプリンタが対応する形式に変換し、変換後の形状情報を格納するとよい。また、２次元画像データを、関連づけて別ファイルとして記録しておいてもよい。ステップＳ１０９において、データ取得の動作を終了する。

次に図３（ｂ）を用いて、形状および色の取得を行うためのサブルーチンについて説明する。ステップＳ２０１は、メインルーチンから呼ばれたときの開始点である。ステップＳ２０２において、複数の視点からの像を生成する。図２で説明したように本実施形態の撮像素子６で得られた信号は、信号を適切に並べると同じタイミングで露光された複数の視点の異なる像を得ることが出来る。ステップＳ２０２においては、この並べ替えを行い複数の視点からの像を生成する。この時の像の相対的な視点の位置関係は図２の光学系の設定によって定まる。さらには複数回の露光によって画像を得た場合は、それぞれの信号の並べ替えを行い複数の視点の異なる像を得るとともに、慣性センサ１５の信号に基づいて、像の相対的な視点の位置関係の情報を生成する。

ステップＳ２０３において、対応点の探索を行う。複数の視点から見た像の中から同一の物体に対応する点を探索する。視野枠と呼ばれる注目する領域を設定して、いわゆる位相差ＡＦの原理に基づいて探索すればよい。この方法については後述する。別の方法としては、一方の画像中の適当な領域をテンプレートとして他方の画像で同じ部分を探索する方法、さらに別の方法としては特徴点を抽出して対応する特徴点を探索する方法などが考えられる。

ステップＳ２０４において、光学系の情報を取得する。視点間の相対的な距離および現在のピント情報を利用して、被写体までの距離を計測する。図２を用いて説明した光学系においては、撮影光学系３によってマイクロレンズ２０の主点と共役になっている被写体（いわゆるピントが合っている被写体）は、同じ物体から出た光束が、通過した瞳領域によらず同じマイクロレンズに入射する。一方で、ピントが合っていない被写体は同じ物体から出た光束が、通過した瞳領域によって異なるマイクロレンズに入射する。この時のずれ量はピントのずれ量に対応しているのでこれを利用して被写体までの距離を算出する。この方法の詳細については後述する。

ステップＳ２０５において、画像における所定の横幅、所定の縦幅、所定の奥行き方向の距離からなるボクセルを生成する。このように複数の視点画像からボクセルによる３次元の形状情報を生成する手法は周知であり、特開２０１５−９５０００号公報にもあるようなＳＦＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法などを用いることができる。ステップＳ２０４で距離を求めたことにより、撮影した画像（Ｘ，Ｙの位置に関する２次元の位置情報と色に関する情報）について奥行（Ｚ）の情報を得ることが出来る。これにより、立体的な画素であるボクセルを生成する。本実施形態では、ボクセルの値として色の情報を与えるが、出力対象の３Ｄプリンタでは色情報についても必ずしも必要ではなく、上述した３Ｄプリンタに関する情報に基づいて省略してもよい。ステップＳ２０６でメインルーチンに戻る。

次に図３（ｃ）を用いて、質感情報の取得を行うサブルーチンについて説明する。ステップＳ３０１は、メインルーチンから呼ばれたときの開始点である。ステップＳ３０２において、セグメンテーションを施し画像を複数の領域に分割する。セグメンテーションの例は図６を用いて後述する。セグメンテーションを行わない場合はボクセル毎に以下の処理を行う。以下に説明するステップＳ３０３からステップＳ３０６の処理はステップＳ３０２で分割された領域ごとに行われる。

ステップＳ３０３において、ステップＳ３０２で分割された領域ごとに反射特性を求める。ここでいう反射特性とは質感情報の一つであり、物体のＢＲＤＦ（Bidirectional Reflectance Distribution Function）などが相当する。ＢＲＤＦは光が物体に入射した場合に、任意の方向にどれだけの光が反射されるかを示した関数である。図４を用いて後述するように拡散成分と正反射成分にモデル化できる。ＢＲＤＦの詳細な取得方法は図４などを用いて後述する。

ステップＳ３０４において、質感情報をテンプレートマッチングする。予めメモリ上に設けられた質感データベース３０５のパターンと最も整合するものを選択し、その領域の質感情報とする。ステップＳ３０６において、保存用の反射特性のデータを生成する。ステップＳ３０４で得た情報と領域またはボクセル毎に対応させて保存する。別の方法としてファイルのメタデータに主被写体の特性を記録するようにしても良い。この方法を用いると、データを大幅に圧縮しながら簡単な質感提示デバイスに活用することが出来る。質感データベース３０５には、カメラ本体１を利用するユーザーが高い頻度で撮影する被写体の質感特性（例としては後述する人物の顔等）を登録しておけば良い。また、カメラシステム制御部５、画像処理部７により公知のテンプレートマッチングなどによる被写体検出技術により画像中に特定の被写体が検出されていた場合、その情報を補助情報として質感情報の選択に用いることができる。例えば、対象となるセグメントあるいはボクセルが人物の顔が検出されていた領域であった場合、マッチングの対象とするパターンを人物向けのものに絞ったり、特定のパターンに重みをつけて選択されやすくすることが考えられる。ステップＳ３０７でメインルーチンに戻る。

図３（ａ）〜図３（ｃ）で説明した動作によって、必要に応じて（出力プリンタの特性に合わせて）質感情報を取得し、データを格納することが出来る。

図３（ｄ）は、３Ｄプリンタを用いて造形を行うときの動作を示すフローチャートである。ステップＳ４０１は、動作の開始である。ステップＳ４０２において、カメラシステム１００により取得されたデータを読み出す。ステップＳ４０３において、出力モードを選択する。データ取得時の動作でも説明したが、質感と呼ばれる反射特性を表現可能な３Ｄプリンタも提案されており、ここではどのような設定でプリントするかを設定する。サポート材と呼ばれる造型の補助材を備えた３Ｄプリンタがあり、そのような製品ではサポート材と接触した面はマット（つや消し）面となりそうでない面はグロッシー（光沢）面となる。最終製品として同一の形状を造形する場合であっても、サポート材の配置によってマット面、グロッシー面を制御することが出来る。これに関しては後述する。ステップＳ４０３においては、使用目的、造形時間、コスト等を勘案してユーザーの意図に沿った造形の指示がなされる。

ステップＳ４０４において、質感を表現するか否かを判断する。質感を表現する場合はステップＳ４０５に進みそうでない場合はステップＳ４０６に進む。ステップＳ４０４の別の選択方法としては、カメラ本体の種別に応じて切り替えても良い。すなわち質感情報を取得可能なカメラ本体で取得されたデータである場合は、質感を表現するステップＳ４０５に進みそうでない場合はステップＳ４０６に進むようにしても良い。

ステップＳ４０５において、質感に忠実に造形を行う。前述したサポート材の有無によって出力された面の質感を制御するような３Ｄプリンタにおいては、積層方向やサポート材を使用する個所を最適化して、可能な限り質感に忠実に造形を行う。ステップＳ４０６においては、質感にかかわらず造形が行われ、造形時間、コスト等に最適化された方法で造形がなされる。ステップＳ４０７において、データの出力である造形動作を終了する。図３（ｄ）に説明した動作によって、必要に応じて（ユーザーの意図に合わせて）質感情報を出力し、適切な造形物が得られる。

次に、図４を用いて反射光の状態について説明する。図４（ａ）は被写体がランバート面の場合の拡散反射光の状態を示す図である。図４（ｂ）は鏡面反射光の状態を示す図である。図４（ｃ）は拡散反射光および鏡面反射光を含む光線をカメラシステム１００でとらえる様子を模式的に示す図である。図４（ｄ）は平行光が物体に当たっている状態をカメラシステム１００でとらえる様子と、その時の信号の状態を示す図である。

図４（ａ）において、５０は物体を、５１は光線を、５２は拡散反射光を、それぞれ示している。また、図４（ｂ）において、５３は鏡面反射光を、６１は光線５１の正反射方向をそれぞれ示している。以下に説明する反射モデルはいわゆる２色性反射モデルに基づいている（「ディジタル画像処理」 CG-ARTS協会 P.281などを参照）。

まず拡散反射を考える。拡散反射光は多くの場合完全に乱反射するような反射でモデル化され、ランバート反射と呼ばれる。このような反射をする面はランバート面と呼ばれる。図４（ａ）はランバート面でモデル化された反射特性を示しており、各方向への反射が均一な様子を分かりやすく示すために反射光の強度の包絡線を５２で示した。拡散反射光は見る方向によって輝度が変化しない。これを式で記載すると次のようになる。

Ｌｄ（λ）＝Ｉｅ（λ）Ｋｄ（λ）ｃｏｓθ …（１）
ただしＬｄ（λ）は拡散反射光の輝度、Ｉｅ（λ）は光源の輝度、Ｋｄ（λ）は拡散反射特性、θは入射角、λは波長である。

次に鏡面反射を考える。鏡面反射光は多くのモデルが提案されている。ここではＣＧなどで多く利用されているフォンモデルを示すが他のモデルを用いても良い。図４（ｂ）はフォン反射モデルでモデル化された反射特性を示しており、光線５１の正反射方向６１に強いピークを持ち、角度が変わると急に減衰する。観察する方向によって反射光が変化する様子を分かりやすく示すために反射光の強度の包絡線を５３で示した。これを式で記載すると次のようになる。

Ｌｓ（λ）＝Ｉｅ（λ）（ｃｏｓφ）ⁿ …（２）
ただしＬｓ（λ）は鏡面反射光の輝度、φは正反射方向と観察方向のなす角、ｎは物体の特性によって決まる定数である。

上記の鏡面反射光と拡散反射光を合成したものを観察するので、任意の視点ｐから観察する場合は次の式のように記述される。

Ｌ（λ）＝Ｌｄ（λ）＋Ｌｓ（λ）
＝Ｉｅ（λ）Ｋｄ（λ）ｃｏｓθ＋Ｉｅ（λ）（ｃｏｓφp）ⁿ …（３）
ただし、Ｌ（λ）は拡散反射光と鏡面反射光を合わせた反射光の輝度、φpは正反射方向と視点ｐとのなす角である。

次に図４（ｃ）を用いて、本実施形態のカメラシステム１００がとらえている光線の状態について説明する。図４（ｃ）において３は撮影光学系を、４は撮影光軸を、６は撮像素子を、３０ａ，３０ｅは図２（ｃ）と対応する撮影光学系３の特定の瞳領域をそれぞれ示している。また、５４は拡散反射光と鏡面反射光を加えた反射光を、φａは瞳領域３０ａと正反射方向６１がなす角を、φｅは瞳領域３０ｅと正反射方向６１がなす角をそれぞれ示している。

カメラシステム１００は、図４（ｃ）に示すように拡散反射光と鏡面反射光が合成された複雑な輝度分布５４を観察している。この時、瞳領域３０ｅを通過する光束は正反射方向６１となす角が小さく、瞳領域３０ａを通過する光束は正反射方向６１となす角が大きい。すなわち、式（３）によれば、瞳領域３０ａと瞳領域３０ｅを通過する光束を比較した場合に、拡散反射光は同じ量含まれているが、鏡面反射光は強度が異なる。一方で、本実施形態のカメラシステム１００は瞳の通過領域を分別して光束を取得可能な構成となっている。

図４（ｄ）を用いて実際の撮影状況についてさらに詳しく説明する。図４（ｄ）において５０ａ，５０ｂ，５０ｃ，５０ｄは物体５０上の点を、６ａ，６ｂ，６ｃ，６ｄは撮像素子６上の物体５０上の点５０ａ，５０ｂ，５０ｃ，５０ｄのそれぞれに対応する点をそれぞれ示している。また、５１ａ，５１ｂ，５１ｃ，５１ｄは点５０ａ，５０ｂ，５０ｃ，５０ｄに入射する光線を、６１ａ，６１ｂ，６１ｃ，６１ｄは光線５１ａ，５１ｂ，５１ｃ，５１ｄの正反射方向を示す線をそれぞれ示している。さらに、１５２ａ，１５２ｅは瞳領域３０ａ、３０ｅを通過した信号の輝度を、１５３は瞳領域３０ａを通過した点５０ｃ上の輝度を、１５４は瞳領域３０ｅを通過した点５０ｃ上の輝度を、１５５は拡散反射光のレベルをそれぞれ示している。

図４（ｄ）は平行光が物体５０にあたって、その反射光を撮像している様子を示している。図４（ｃ）の説明では省略したが、撮像素子６上には物体の様々な個所の反射光が結像している。例えば図４（ｄ）においては物体５０上の点５０ａ，５０ｂ，５０ｃ，５０ｄはそれぞれ撮像素子上の点６ａ，６ｂ，６ｃ，６ｄに対応している。図４（ｄ）の例では説明を分かりやすくするために撮影光学系３のピントは物体５０に合っているように記載した。すなわち瞳通過領域によらず物体側の点は撮像素子上の同じ位置に結像している。一方で、撮影光学系３のピントが物体５０に合っていない場合は瞳通過領域によって結像する位置がずれる。

このような状況で得られる信号は図４（ｄ）の下段のような信号になる。瞳領域３０ａを通過した信号は１５２ａ、瞳領域３０ｅを通過した信号は１５２ｅとして示した。ここで物体の拡散反射光レベル１５５は式（１）、式（３）のＬｄ（λ）に対応している。

図４（ｄ）の例では物体上の点５０ｃ→瞳領域３０ａを通過した場合の信号を１５３、物体上の点５０ｃ→瞳領域３０ｅを通過した場合の信号を１５４として示した。信号１５３，１５４に注目すると、鏡面反射光の影響で像の一致度が低下している。図５を用いて後述するように、図４（ｄ）には不図示の物体の輪郭などで信号１５２ａと１５２ｅの位置合わせがなされる。

図４を用いて説明した視点に対する輝度の特性がＢＲＤＦの近似値として利用される。同一物体からの輝度のピーク値を１として正規化し、視点の変化（反射角度の変化）に対する変化を見ればよい。ここから式（３）の拡散反射成分と鏡面反射成分の比率および鏡面反射成分の光沢感を示すｎを決定する。さらに簡単な例としてテンプレートマッチングする方法があるが、それについては図７を用いて後述する。

図５を用いて、図３（ｂ）の対応点探索ステップＳ２０３の具体的な動作について説明する。図５（ａ）は複数の視差像を取得する様子を模式的に示した図である。矢印７９は光源からの光線を、８０は被写体を、矢印８１，８２，８３は各視差像の視点からの方向をそれぞれ示している。８４，８５，８６はそれぞれ８１，８２，８３で示す方向から見たときの被写体を、８４ａ，８５ａ，８６ａは、それぞれ被写体像８４，８５，８６上の鏡面反射成分の位置を示している。

図５（ｂ）は位置合わせを行った後の状態を模式的に示す図であり、８４（８５および８６は重なっている）は図５（ａ）の被写体像を示している。また、８４ａ，８５ａ，８６ａは図５（ａ）と同じ鏡面反射成分の位置を、８１ａ，８２ａ，８３ａは視点８１，８２，８３からの像を位置合わせしたことを模式的に示す枠をそれぞれ示している。８７は位置合わせのために用いる部分領域を模式的に示す枠を示している。

図５（ｃ）は図５（ｂ）の状態での枠８７内の輝度分布を模式的に示した図である。図５（ｃ）の横軸は図５（ｂ）の横方向の位置を、縦軸は輝度を示している。図５（ｃ）において９１，９２，９３はそれぞれ被写体８４，８５，８６の輝度を示すグラフ、９４は背景の輝度レベル、９５は被写体８０の拡散反射レベル、９６は拡散反射と鏡面反射を合わせた輝度レベルをそれぞれ示している。

図５（ａ）では３つの視点から被写体８０を撮影している様子を示している。ここでは複数の視点から撮影することを模式的に示しており３視点ということには特別な意味はない。図２を用いて説明したように、本実施形態の光学系においては通常のカメラと同じ露光動作を行うことで同時に露光された複数の視差像を得ることができる。また図２の例では５視点の画像が得られるように示されている。さらに本実施形態のカメラシステム１００においては時間を隔てて多数回の露光を行い、さらに多くの視差の異なる像を得ることもできる。

図５（ａ）に示すように複数の視点８１，８２，８３から撮影するとそれぞれの視差像には同一の被写体８０が異なる位置８４，８５，８６に結像する。位相差を利用したオートフォーカスの原理や三角測量の原理として知られているように、視点の異なる像の相対的な位置は、視点間の距離と被写体の距離によって決まる。本実施形態に示すカメラシステム１００においては、光学系の構成及び、図１に示した慣性センサ１５の信号によって複数の視点の異なる像の相対的な位置関係を把握することが出来る。図５（ａ）では横方向にずれて結像している様子を示した。

被写体像を適当な大きさで切り出し、被写体像が一致するように位置合わせを行うと図５（ｂ）のような像が得られる。すなわち被写体像８４，８５，８６が重なり、反対に像の取得範囲を示す枠８１ａ，８２ａ，８３ａがずれた状態である。被写体の位置合わせに用いた枠を８７で模式的に示した。枠８７内の輝度分布は図５（ｃ）に示すようになっている。ここで図５（ｃ）は１次元的な広がりを持つように図示しているが、これはエピポーラ拘束と関連している。図５（ａ）の説明で横方向にずれて結像していると記載したが、これは視差が横方向にのみ生じているような視差像を用いていることを意味している。図２の例に対応させると瞳領域３０ａ，３０ｃ，３０ｅに対応した視差像を利用すればｘ方向にのみ視差を持ちこの例のようになる。この場合は縦方向には被写体像のずれは生じないので、視差方向に直交する方向（図５では縦方向）の信号を加算して画像を１次元的な広がりを持つように扱うことができる。このようにすることで計算量を削減するとともに信号のＳ／Ｎ比を向上させて位置合わせを行うことが可能となる。

図５（ｃ）に示す被写体８４，８５，８６の信号９１，９２，９３は鏡面反射を強く含む領域８４ａ，８５ａ，８６ａでは像の一致度が低い。なお、ここでいう一致度とは、２つの像を位置合わせしたのちの差分絶対値の和を指しており、図５では２つの像を比較した時に重ならない部分の大きさのことを指している。一方で、その周辺部や被写体８０のエッジでは非常に良く一致している。

鏡面反射による影響が支配的ではない場合、図５（ｃ）に示すように被写体８４，８５，８６は被写体エッジを利用して位置合わせがなされる。被写体の位置合わせに用いる枠８７の大きさを適切に設定すれば、鏡面反射成分に引きずられて位置合わせ精度が低下することを避けることができる。

図５を用いて説明した対応点探索によれば鏡面反射成分の影響を低減させて被写体の同一点に対応する画素を検知することが出来る。同様の意味であるが、視差方向の同一物体に対応する像のずれ量を検知することが出来る。

図６を用いて、画像取得、距離変換、セグメンテーションについて説明する。図６（ａ）は画像取得において時間を隔てて複数回の露光を行う場合の取得方法を説明する図である。図６（ｂ）は距離変換を具体的に説明する図である。図６（ｃ）はセグメンテーションを模式的に示した図である。

図６（ａ）は図３（ａ）のステップＳ１０４の画像取得を説明する図であり、特に時間を隔てて複数回の露光を行う場合を説明する図である。図６（ａ）の番号は図４（ｃ）の番号に準じており、同じものに同じ番号を付した。図４（ｃ）と異なるのは、移動しながら複数枚の画像を取得するので、カメラシステム１００に設けられた撮影光学系３および撮像素子６が複数描かれている点である。移動して露光するごとに’を付した。すなわち撮影光学系３に着目すると３→３’→３’’の順に露光される。

図６（ａ）では時間的に隣接する２つの画像において、少なくとも１つの視点が重なるように取得する様子が描かれている。すなわち、撮影光学系が３の位置にあった時の一番端の光束３０ａと次の時間である撮影光学系が３’の位置にあるときの反対の端の光束３０ｅ’が重なり合うようになっている。同様に光束３０ａ’と光束３０ｅ’’も重なり合っている。撮影光学系の条件から取り込める光束の幅（３０ａと３０ｅの幅）は分かっているので、図１に示した慣性センサ１５の信号を参照しながらこの幅を超える前に次の露光がされるように制御すればよい。図６（ａ）のようにして画像を取得することで光線を必要十分に稠密に取得することが出来る。

図６（ｂ）は図３（ｂ）のステップＳ２０４の距離変換を説明する図である。図６（ｂ）において３，４，６は図１と同様にそれぞれ撮影光学系、光軸、撮像素子を、７０，７１は物体の存在する位置を、７０ａ，７１ａはそれぞれ撮影光学系３によって物体７０，７１と共役となっている位置を示している。ここで、撮影光学系３の主点から物体７０，７１、共役点７０ａ，７１ａのそれぞれまでの距離を、Ｓ０，Ｓ１，Ｓ０’，Ｓ１’とする。また、ステップＳ２０３で対応点探索を行ったときに用いた像の視差方向の距離をＨ、検出された像面での像のずれ量をΔとする。

図５を用いて、図３（ｂ）のステップＳ２０３に対応する対応点探索について説明した。この情報と撮影光学系の情報を用いて、物体までの距離を算出する。まず、レンズユニット２と通信することにより撮影光学系の情報（撮像素子６と共役になっている物体面の距離など）を得る。結像公式によると以下の式が成り立つ。

１／Ｓ０’＝１／Ｓ０＋１／ｆ …（４）
１／Ｓ１’＝１／Ｓ１＋１／ｆ …（５）
ここで三角形の相似関係から
Ｓ１’：Ｓ０’＝Ｈ：（Ｈ−Δ） …（６）
このうち前述したピント状態からＳ０，Ｓ０’は既知である。またf，Ｈ，Δも既知なので、式（４）および式（６）からＳ１’を既知の値を用いて表現すると、
Ｓ１’＝ＨｆＳ０’／｛（Ｈ−Δ）ｆ−ＨＳ０’｝ …（７）
となる。さらに式（５）を用いれば、被写体までの距離を求めることが出来る。これにより被写体までの距離を算出することが出来る。

図６（ｃ）および図６（ｄ）は図３（ｃ）のステップＳ３０２のセグメンテーションを説明する図である。図６（ｃ）において、７２は撮影された画像を、７３は被写体を、７４は顔検知の検知枠をそれぞれ示している。図６（ｄ）において７５はセグメンテーション後の画像を、７６，７７，７８、７９はそれぞれ分割された領域を示している。

図６（ｃ）および図６（ｄ）に示した例では、説明を分かりやすくするために被写体７３のみが画面内に存在し、背景は平坦な状況を仮定している。図６（ｃ）に示した例では人間の顔を検知している。図６（ｄ）では被写体の距離や色の情報などを利用して画像を複数の領域に分割する。セグメンテーションはグラフカットとして画像処理ではよく知られており、そのいずれかの技術を活用すればよい。図６（ｄ）では髪の毛の領域７６、顔の肌の領域７７、服の領域７８、背景の領域７９の４つに分割される。顔検知に対応した領域７７は人の肌である可能性が非常に高いので、反射特性の検出（図３（ｃ）のステップＳ３０３）や質感のテンプレートマッチング（図３（ｃ）のステップＳ３０４）を省略して人の肌の特性を付与してもよい。

図７は図３（ｃ）のステップＳ３０４のテンプレートマッチングに関する動作を説明する図である。図７（ａ）、図７（ｂ）、図７（ｃ）は反射特性の例を示したグラフであり、いずれも縦軸は正規化した光量（同一物体からの輝度のピーク値を１として正規化した光量）を、横軸は正反射光と視点がなす角を示している。ただし本実施形態のカメラシステム１００においては、照明光の方向が未知なので、同一物体からの輝度がピークとなる位置を０としてそこからの相対的な位置を横軸にとる。例えば図５（ｃ）の例であれば、８４ａ，８５ａ，８６ａの位置をそれぞれ０として相対的な角度としてプロットする。

図７（ａ）はマット面の反射特性を、図７（ｂ）は鏡面に近い状態の面の反射特性を、図７（ｃ）は図７（ａ）と図７（ｂ）の中間の特性を持つ面の反射特性をそれぞれ示している。本実施形態のカメラシステム１００は、多く存在する物体の反射特性をデータベースとして予めメモリ上に備えている。

本実施形態のカメラシステム１００を用いると、図４および図５を用いて説明したように、図４（ｄ）または図５（ｃ）のような反射特性を得ることが出来る。この特性と図７に示したデータベースを比較し、最も類似するものをその領域の質感情報とすればよい。式（１）から式（３）を見ても明らかなように、特に正反射光と視点がなす角度が０度近傍が変化が大きい。このあたりの情報が得られていれば、その他の個所は推測して類似するものを当てはめればよい。図７のデータベースが多くの物体をカバーしていれば、データを圧縮しながら通常撮影する多くの物体の質感を表現することが出来る。

次に、図８を用いて本実施形態のカメラシステム１００を用いた３Ｄプリントシステムについて説明する。図８（ａ）は３Ｄプリントシステムの構成を説明する図である。図８（ｂ）は造形する物体の斜視図を、図８（ｃ）、図８（ｄ）、図８（ｅ）はそれぞれ３Ｄプリンタの造形状態を説明する図を示している。図８（ａ）において、１０５はパーソナルコンピュータ（ＰＣ）を、１１０は３Ｄプリンタをそれぞれ示している。図８（ｂ）から図８（ｄ）において１２０は造形する物体を、１２０ａ，１２０ｂは物体１２０上の面を、１２１は造形を行う際のサポート材をそれぞれ示している。図８（ａ）に示すように、カメラシステム１００で取得された情報はＰＣ１０５を介して３Ｄプリンタ１１０に送られる。ＰＣ１０５ではフォーマットの変換やユーザーによる造形時の指示がなされる。

また、図３のステップＳ１０２において３Ｄプリンタに関する情報を外部から取得する場合、カメラシステム１００はＰＣ１０５あるいはＰＣ１０５を介して３Ｄプリンタ１１０にプリンタの種別を示すプリンタＩＤやスペック情報の送信要求を出す。ＰＣ１０５は送信要求を受けて、メモリに記憶された、あるいは３Ｄプリンタ１１０より受信した３Ｄプリンタに関する情報を通信インターフェースを介してカメラシステム１００に送信する。

図８（ｂ）に示す物体であるボタンの情報を取得して３Ｄプリンタ１１０で造形する場面を考える。物体１２０上の表面を１２０ａ、裏面を１２０ｂとする。図８（ｃ）〜図８（ｅ）は造形状態を説明するための断面図を示している。図８（ｃ）ではサポート材を表面１２０ａの上に積層しないように形成している。図８（ｄ）ではサポート材を全面に接触するように形成している。図８（ｅ）では図８（ｃ），図８（ｄ）とは物体の造形方向を反対にしたうえで、物体の裏面１２０ｂの上にはサポート材が積層しないように形成している。

このようにすると、図８（ｄ）では全面がマット面に、図８（ｃ）では表面１２０ａがグロッシー面にその他の面がマット面に、図８（ｅ）では裏面１２０ｂがグロッシー面にその他の面がマット面になる。すなわち造形する方向やサポート材の積層状態を変化させることで一定の質感を表現することが可能である。図８を用いた説明においてはサポート材を利用して質感を表現する方法について説明したが、サポート材以外の方法（例えば造形に用いる樹脂種を変える、造形中の塗料を変更する）などを用いてもよい。

ユーザーによって質感を優先して造形するように指示があった場合（図３（ｄ）のステップＳ４０５）は、カメラシステム１００で得た情報を参照して、物体１２０の表面が光沢感がある場合は図８（ｃ）のような造形方法を選択すればよい。図８で説明した方法によれば、任意性（自由度）がある造形方法を利用して、質感を表現することが可能となる。

以上に説明したように上記の実施形態によれば、簡易な構成で物体の質感情報を取得可能なカメラシステムやカメラシステムを含めたプリントシステムを提供することができる。

上述した実施形態では、ステップＳ１０４にて取得される画像は図１および図２に示す撮像光学系３および撮像素子６から取得されるもので説明したが、これに限らない。情報としては被写体からの光の強度と角度の情報（いわゆるライトフィールドデータ）を取得できるものであればよく、例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部とみなす構成でもよい。また、図２の撮像素子６と異なり、物体平面と撮像素子６が共役の関係にあるように、マイクロレンズアレイ上で撮像光学系３からの光束を結像させ、その結像面に撮像素子６を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮像光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮像光学系３の光路中に挿入する方法も利用できる。さらに、必ずしも上記のような撮像部によって１度の露光で得られる必要はなく、従来からの撮像部を用いて被写界深度やピント位置を複数箇所に振って撮像することで得られる複数の画像を用いても、本発明は達成される。この場合、例えば特開２０１４−１５５００８号公報のように、得られた複数の画像から図２の撮像素子６から得られるライトフィールドデータの状態に変換して利用することも可能である。さらに別の取得方法としては、カメラを移動させながら取得する方法もある。すなわち図６（ａ）に示す６，６’，６’’のそれぞれの位置で複数の画像を取得しても良い。これらの画像からライトフィールドデータの状態に変換して利用することも可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ本体、２：レンズユニット、３：撮影光学系、４：光軸、６：撮像素子、１００：カメラシステム

Claims (24)

1. 複数の視点の画像を取得可能な第１の取得手段と、
   前記第１の取得手段により取得された複数の視点の画像に基づいて被写体の形状の情報を取得する第２の取得手段と、
   前記第１の取得手段により取得された複数の視点の画像から得られる被写体の反射光の分布に基づいて、被写体の質感の情報を取得する第３の取得手段と、
   前記第１乃至第３の取得手段により取得された、被写体の形状の情報と、被写体の質感の情報と、前記複数の視点の画像とを含むファイルを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第２の取得手段は、被写体の色の情報をさらに取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記ファイルはメタデータを含み、該メタデータはサムネイル画像を含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ファイルはメタデータを含み、該メタデータは３Ｄプリンタに関する情報を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ファイルは、前記複数の視点の画像をＲＡＷデータとして含むとともに、前記被写体の形状の情報と、前記被写体の質感の情報を、メタデータとして含むことを特徴とする請求項１に記載の画像処理装置。
6. 前記生成手段により生成されたファイルを記録する記録手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記記録手段は、被写体の形状の情報と、被写体の質感の情報とを、前記複数の視点の画像における所定の横幅、所定の縦幅、所定の奥行き方向の距離からなる１つのボクセルごとに記録することを特徴とする請求項６に記載の画像処理装置。
8. 前記記録手段は、前記質感の情報として、予め設定されたパターンとの整合が高い情報を選択して記録することを特徴とする請求項６に記載の画像処理装置。
9. 前記記録手段は、前記質感の情報のうち主たる被写体に対応する情報を前記ファイルのメタデータとして記録することを特徴とする請求項６に記載の画像処理装置。
10. 前記第３の取得手段により、被写体の質感の情報を取得するか否かを指定する指定手段をさらに備えることを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
11. 前記指定手段は、前記記録手段により記録された情報に基づいて３Ｄプリントを行うプリンタの特性に基づいて、被写体の質感の情報を取得するか否かを指定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記質感の情報とは、被写体の反射特性の情報であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記質感の情報とは、被写体のＢＲＤＦ（Bidirectional Reflectance Distribution Function）であることを特徴とする請求項１２に記載の画像処理装置。
14. 前記複数の視点の画像を撮像する撮像手段をさらに備え、前記複数の視点の画像を、前記撮像手段を移動させながら取得することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記撮像手段を移動させながら前記複数の視点の画像を取得する場合に、時間的に隣接する２つの画像が少なくとも１つの視点が重なるように画像を取得することを特徴とする請求項１４に記載の画像処理装置。
16. 前記複数の視点の画像に存在する顔を検知する顔検知手段をさらに備え、該顔検知手段により顔であると判断された領域については、予め定められた質感の情報を付与することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記第３の取得手段は、被写体からの反射光の反射の方向と反射の強度とに基づいて被写体の質感の情報を取得することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 請求項１乃至１７のいずれか１項に記載の画像処理装置と、
    前記画像処理装置により得られた情報に基づいてプリントを行う３Ｄプリンタと、
    を備えることを特徴とする３Ｄプリントシステム。
19. 前記第１の取得手段が画像の取得に先だって、３Ｄプリンタに関する情報を取得することを特徴とする請求項１８に記載の３Ｄプリントシステム。
20. 前記３Ｄプリンタが前記第１の取得手段からの要求に応じて、３Ｄプリンタに関する情報を送信することを特徴とする請求項１９に記載の３Ｄプリントシステム。
21. 前記３Ｄプリンタが前記第１の取得手段の種別に応じて、プリント方法を特定してプリントを行うことを特徴とする請求項１８乃至２０のいずれか１項に記載の３Ｄプリントシステム。
22. 複数の視点の画像を取得する第１の取得工程と、
    前記第１の取得工程により取得された複数の視点の画像に基づいて被写体の形状の情報を取得する第２の取得工程と、
    前記第１の取得工程により取得された複数の視点の画像から得られる被写体の反射光の分布に基づいて、被写体の質感の情報を取得する第３の取得工程と、
    前記第１乃至第３の取得工程により取得された、被写体の形状の情報と、被写体の質感の情報と、前記複数の視点の画像とを含むファイルを生成する生成工程と、
    を有することを特徴とする画像処理方法。
23. 請求項２２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
24. 請求項２２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images