JP6100086B2

JP6100086B2 - 画像処理装置および画像処理方法

Info

Publication number: JP6100086B2
Application number: JP2013103330A
Authority: JP
Inventors: 佐野　利行; 利行佐野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-15
Filing date: 2013-05-15
Publication date: 2017-03-22
Anticipated expiration: 2033-05-15
Also published as: JP2014224718A

Description

本発明は、物体の質感再現技術に関する。

近年、カメラなどの製品のデザイン段階において、モックアップを作成する代わりに、モニタ上でデザインを確認する際にコンピュータグラフィックス（以下、ＣＧ）が利用されている。そして、製品の仕上がりを確認するために、光沢感などの質感をＣＧにおいて実物に忠実に再現することが求められている。

実物の質感に忠実な再現方法として、入射光／出射光の角度変化に伴う物体の変角特性を表すＢＲＤＦや、物体の位置ごとのＢＲＤＦの分布であるＢＴＦを実際に測定し、測定値を用いて物体の質感を再現する手法がある。なお、ＢＲＤＦは、ＢｉｄｉｒｅｃｔｉｏｎａｌＲｅｆｌｅｃｔａｎｃｅＤｉｓｔｒｉｂｕｔｉｏｎＦｕｎｃｔｉｏｎ、ＢＴＦは、ＢｉｄｉｒｅｃｔｉｏｎａｌＴｅｘｔｕｒｅＦｕｎｃｔｉｏｎの略語である。

物体の光沢特性によって、物体に周囲が写り込んだ像の鮮鋭性が変化する。また、写り込みの鮮鋭性が高い場合、人間は写り込む像を観察するのに対し、写り込みの鮮鋭性が低い場合、物体表面を観察する傾向がある。

一方、物体の変角特性は測定器からピント面までの距離であるフォーカス位置により特性が異なる。このため、物体の変角特性の測定値を単純にＣＧに利用しても、人間が感じる質感と一致しない場合がある。そこで、特許文献１では、誇張パラメータを設定し、設定した誇張パラメータを変角特性の測定値に乗じることにより、人間が物体を観察した場合の質感を再現している。

特開２００８−２４３０４６号公報

しかしながら、特許文献１の手法は、人間の観察時の特性が測定に関連付けられていないため、事前に誇張パラメータを設定する必要がある。また、単純な乗算により変角特性データを生成しているため、生成される変角特性データは必ずしも実際の特性を反映しているとは限らず、質感を忠実に再現できない場合がある。
そこで、本発明は、物体の質感を忠実に再現することを目的とする。

本発明に係る画像処理装置は、物体の光沢特性を示す光沢特性データを入力する入力部と、前記入力部で入力された光沢特性データと基準光沢値とに基づき、フォーカス位置を設定する設定部と、前記フォーカス位置に基づき、複数の角度および複数のフォーカス位置により測定された物体の変角特性データを取得する取得部とを有する。

本発明は、物体の質感を忠実に再現することができる。

実施例１の画像処理装置の構成を示すブロック図。実施例１の画像処理装置の画像処理装置が行う処理の原理を示す図。実施例１の画像処理装置における処理を示すフローチャート。変角特性の取得方法を示す概念図。変角特性データの一例を示す図。実施例１におけるフォーカス位置設定処理のフローチャート。光沢特性の高い物体、光沢特性の低い物体の変角特性の相違を示す図。実施例２における画像処理装置の構成を示すブロック図。実施例２における画像処理装置の処理を示すフローチャート。実施例２における変角特性取得処理のフローチャート。実施例２における光量算出処理のフローチャート。レンダリングを実施するための幾何条件の一例を示した図。実施例３における変角特性取得処理のフローチャート。

以下、本発明の実施例に係る画像処理を図面を参照して詳細に説明する。なお、同一の構成については、同じ符号を付して説明する。

本実施例に係る画像処理装置の構成について、図１のブロック図を参照して説明する。素材特性入力部１１は、質感を再現する対象物体（以降、物体とも呼ぶ）の光沢特性データを入力する。フォーカス位置設定部１２は、素材特性入力部１１で入力された光沢特性データに基づき、物体の変角特性測定時の測定器からピント面までの距離であるフォーカス位置を設定する。変角特性測定部１３は、フォーカス位置設定部１２で設定されたフォーカス位置に基づき、物体の変角特性を測定する。変角特性出力部１４は、変角特性測定部１３で測定された測定データを変角特性保持部１５へ出力する。変角特性保持部１５は、変角特性出力部１４から出力された測定データを保持する。画像処理装置は、図示しない中央処理装置（ＣＰＵ）が装置全体の制御を行い、読み出し専用記憶装置（ＲＯＭ）や、計算処理時にＣＰＵが一時的な読み書きを行う記憶装置（ＲＡＭ）などを含む。

＜実施例１における情報処理装置が実行する処理＞
本実施例における画像処理装置が実行する処理の原理について説明する。人間は光沢特性の高い物体（例えば、鏡）を観察する場合、物体に写り込む像に注目する。従って、例えば屋内で物体を観察した場合、物体に写り込む照明が観察される。一方、光沢特性の低い物体（例えば、表面の艶消し加工を施したソリッド塗板）を観察する場合、物体表面のテクスチャに注目する。従って、例えば屋内で物体を観察した場合、物体の表面の細かいテクスチャやキズが観察される。

図２は、同一の物体に対し、仰角４５度の方向から平行光を照射した際の、試料面にフォーカス位置を設定した場合と写り込む照明像にフォーカス位置を設定した場合とにおける変角特性の測定データを示している。

図２（ａ）は２つの変角特性の反射強度の相対的な関係を示した図である。図２（ａ）において、実線２０１は試料面にフォーカス位置を設定した（以降、試料面フォーカスとも呼ぶ）変角特性の測定値であり、波線２０２は照明像にフォーカス位置を設定した（以降、照明像フォーカスとも呼ぶ）変角特性の測定値である。なお、実線２０１及び波線２０２は、波線２０２の反射強度の最大値が１になるように正規化している。図２（ａ）が示すように、試料面フォーカスの測定データは、反射強度のレンジが１００：１であるのに対し、照明像フォーカスの反射強度はレンジが３００：１であり２つの測定データのレンジは大きく異なる。

図２（ｂ）は２つの変角特性の形状の相対的な関係を比較した図である。実線２０３は、試料面にフォーカス位置を設定した設定した変角特性データ、波線２０４は、照明像にフォーカス位置を設定した変角特性データであり、それぞれの反射強度が１になるように正規化した図である。図２（ｂ）が示すように、両データの半値幅（正反射から反射強度が半分になったときの角度）の差は約０．３度と異なることがわかる。

従って、物体の質感を忠実に再現するためには、物体の光沢特性に応じて、適切なフォーカス位置で測定した変角特性を用いることが重要である。本実施例における画像処理装置は、物体の光沢特性に応じて観察時のフォーカス位置が適切な変角特性を用いる。

以下、実施例１における画像処理装置が実行する処理について、図３のフローチャートを用いて説明する。

ステップＳ３０１では、素材特性入力部１１からユーザにより再現したいと指示された対象物体の光沢特性データを入力する。なお、本実施例では対象の物体の光沢特性データとして、物体について事前に所定の複数角度、フォーカス位置で測定し、図示しないメモリに保持された複数の変角特性データの中からユーザ指示により選択されたものを入力するものとして説明する。

ステップＳ３０２では、フォーカス位置設定部１２は、素材特性入力部１１で入力された光沢特性データに基づいてフォーカス位置Ｄを設定する。ステップＳ３０２の処理の詳細については後述する。

ステップＳ３０３では、変角特性測定部１３は、フォーカス位置設定部１２で設定されたフォーカス位置Ｄに基づいて物体の変角特性を測定する。図４は変角特性測定部１３が実行する変角特性測定方法の概念を示した図である。図４において、光源４０１は、対象物体４０３に照射するための平行光源である。例えば、白色ハロゲンランプのほかレーザ光などを用いることができる。受光器４０２は、対象物体４０３の中心位置を中心に角度を変化させることが可能である。受光器４０２は光源４０１から照射され、対象物体４０３に反射された反射光量を取得する。ここでは、受光器４０２を撮像装置として説明するが、必ずしも撮像装置である必要はなく、受光素子を平面上に有するものであればよい。像４０４は試料に写り込む照明像である。

像４０４が示すように、対象物体４０３に写り込む照明像は、対象物体面に対して対称な位置にあると見なすことができる。従って、光源４０１に対して受光器４０２が、例えば正反射方向に設置されている場合、像４０４は受光器４０２と正対させたときの距離Ｄ_Ｌ離れた位置にあると見なすことができる。

また、位置４０５はフォーカス位置設定部１２が設定した位置である。すなわち図４が示すように、受光器４０２は、受光器から試料面の方向にＤだけ離れた位置４０５にピントが合うように撮影を行う。

上記のような構成において、変角特性測定部１３は、物体に対して入射角（θ_ｉｎ， φ_ｉｎ）、と、受光角（θ_ｏｕｔ， φ_ｏｕｔ）を変化させながら撮影を行う。なお、上記では撮影を行うことで物体の変角特性を取得した。一方、予め複数の角度および複数のフォーカス位置により測定された物体の変角特性を示す複数の変角特性データを図示しないメモリに保持しておき、その中からステップＳ３０２で設定されたフォーカス位置Ｄに対応する変角特性データを取得してもよい。

ステップＳ３０４では、変角特性出力部１４は、ステップＳ３０３で変角特性測定部１３が撮影した撮影データの各画像に対して、共通する画素位置の画素値を、撮影画像ごとにまとめることで、変角特性データへ変換し、変角特性保持部１５へ出力する。図５は変角特性保持部１５が保持する変角特性データの一例を示す図である。図５が示すように、測定時のフォーカス位置の情報に加えて、位置（ｘ，ｙ）ごとに入射角（θ_ｉｎ， φ_ｉｎ）、受光角（θ_ｏｕｔ， φ_ｏｕｔ）毎の反射率データが格納される。

＜ステップＳ３０２の処理の詳細＞
以下では、ステップＳ３０２のフォーカス位置設定方法について、図６のフローチャートを用いて説明する。

ステップＳ６０１では、ステップＳ３０１で入力された光沢特性データから、式１を満たす角度θを算出する。

なお、式（１）においてＩｍａｘは反射強度の最大値であり、θは反射強度が半値となる角度である半値幅に相当する。

図７は光沢特性の異なる２つの素材の変角特性を表した図である。実線７０１は光沢特性の高い物体の変角特性を、波線７０２は光沢特性の低い物体の変角特性を表している。図７が示すように光沢特性の高い物体の半値幅は約０．５度と低い値を示すが、光沢特性の低い物体の半値幅は約５．０度と高い値を示す。従って、本ステップでは、物体の光沢特性を示す光沢値として変角特性の半値幅θを用いる。

ステップＳ６０２では、ステップＳ６０１で算出した半値幅θと、基準となる高光沢な試料、及び低光沢な試料の光沢値（基準光沢値）との比率を用いて、以下の式（２）によりフォーカス位置Ｄを算出する。なお、式（２）において、θ_Ｈは基準となる高光沢な試料の変角特性の半値幅であり、例えば、黒色研磨ガラス（ＢＫ７）の半値幅である。θ_Ｌは基準となる低光沢な試料の変角特性の半値幅であり、例えば、エナメル（バインダ）に顔料粒子（金属酸化物など）を分散させたソリッド塗板などの半値幅である。θ_Ｈ、θ_Ｌは、図示しないメモリに予め保持する。また、図４に記載のように、Ｄ_Ｈは受光器４０２から対象物体４０３までの距離であり、Ｄ_Ｌは受光器と正対した場合の受光器から光源までの距離（すなわち、受光器４０２と照明像４０４の距離）である。

本実施例によれば、物体観察時の人間の特性を考慮し、物体の光沢特性に適切な変角特性データを取得することが可能になる。

実施例１では、物体の光沢特性に応じた変角特性の測定方法について説明した。本実施例では、測定した変角特性データを用いて物体の質感を再現する方法について実施例１と異なる点を中心に簡潔に説明する。

実施例２における画像処理装置の構成について図８のブロック図を参照して説明する。図８において、変角特性保持部８１は、物体の変角特性を複数のフォーカス位置で測定した変角特性データを保持する。素材特性入力部８２は、質感を再現する対象である物体の光沢特性データを入力する。変角特性取得部８３は、素材特性入力部８２で入力された素材特性データに基づいて、変角特性保持部８１の変角特性データから、再現する物体の変角特性データを取得する。レンダリング部８６は、変角特性取得部８３で取得された変角特性データ、及び、環境情報保持部８４に保持されている環境光情報と、３Ｄ形状保持部８５に保持されている物体の三次元形状データを用いて、ＣＧ画像を生成する。画像出力部８７は、レンダリング部８６で算出されたＣＧ画像をディスプレイなどの外部出力機器へ出力する。

以下、実施例２における画像処理装置が実行する処理について、図９のフローチャートを用いて説明する。

ステップＳ９０１は実施例１におけるステップＳ３０１と同様であるため、説明を省略する。

ステップＳ９０２では、変角特性取得部８３は、ステップＳ９０１で入力された光沢特性データに基づいて、物体の変角特性データを取得する。なお、ステップＳ９０２の詳細は後述する。

ステップＳ９０３では、ステップＳ９０２で取得された物体の変角特性データ及び、環境情報保持部８４に保持されている環境光情報、３Ｄ形状保持部８５に保持されている再現物体の三次元形状データを基に、物体に反射する光量を算出しＣＧ画像を生成する。なお、ステップＳ９０３の詳細は後述する。

ステップＳ９０４では、画像出力部８７は、ステップＳ９０２で算出されたＣＧ画像をディスプレイなどの外部出力機器へ出力する。

＜ステップＳ９０２の詳細＞
以下では、実施例２における変角特性取得方法について、図１０のフローチャートを用いて説明する。

ステップＳ１００１、ステップＳ１００２は、実施例１におけるステップＳ６０１、Ｓ６０２と同様である。

ステップＳ１００３では、ステップＳ１００２で算出したフォーカス位置Ｄで測定した物体の変角特性データを変角特性保持部８１から取得する。

＜ステップＳ９０３の詳細＞
以下では、実施例２におけるステップＳ９０３の光量算出処理について、図１１のフローチャートを用いて説明する。

Ｓ１１０１では、環境情報保持部８４に記憶されている照明データを読み込む。

Ｓ１１０２では、３Ｄ形状保持部８５に記憶されている物体の３Ｄ形状データを読み込む。

Ｓ１１０３では、レンダリングを実施するための仮想カメラ、仮想スクリーン、物体位置、および照明位置の幾何条件を設定する。図１２（ａ）はレンダリングを実施するための幾何条件の一例を示した図である。

Ｓ１１０４では、仮想スクリーン上における注目画素を初期値（例えば、Ｘ＝０，Ｙ＝０の画素）に設定する。

Ｓ１１０５では、仮想カメラと、仮想スクリーン上の注目画素とを結ぶ直線を、視線ベクトルとして設定し、視線ベクトルと対象物体との交点（ｘｃ、ｙｃ、ｚｃ）を算出する。

Ｓ１１０６では、Ｓ１１０５にて算出した交点における、対象物体の法線ベクトルＮを算出する。

Ｓ１１０７では、Ｓ１１０５にて算出した交点と、照明とを結ぶ照明ベクトルＮを算出する。

Ｓ１１０８では、Ｓ１１０５にて算出した交点における、対象物体の変角特性データを設定する。具体的にはステップＳ１１０５で算出した交点に対応した位置（ｘ、ｙ）の変角特性であるＢＴＦ（ｘ、ｙ、φ）を設定する。

Ｓ１１０９では、Ｓ１１０８にて算出した変角特性データ、および、視線ベクトル、法線ベクトル、照明ベクトルを用い、注目画素の輝度値を算出する。

Ｓ１１１０では、仮想スクリーン上のすべての画素について、輝度算出処理を行ったか否かを判断し、終了していれば、Ｓ１１１２に進み、終了していなければ、Ｓ１１１１に進む。

Ｓ１１１１では、注目画素を、仮想スクリーン上の未処理画素に変更し、Ｓ１１０５に戻る。

Ｓ１１１２では、Ｓ１１０９にて算出した輝度データに基づきＣＧ画像を描画する。

なお、図１２（ｂ）はステップＳ１１０５からステップＳ１１０８における視線ベクトル、法線ベクトル、照明ベクトルとの関係を表している。

本実施例によれば、物体の光沢特性に適した変角特性データを用いることにより、物体観察時の質感を忠実に再現することが可能となる。

実施例２では、変角特性取得部において、フォーカス位置の変角特性の測定値は予め測定されているものとして説明を行った。しかしながら、変角特性保持部には必ずしも所望のフォーカス位置で測定した測定データが保持されているとは限らない。そこで、本実施例では、変角特性取得部において、所望のフォーカス位置の測定値を保持しない場合であっても任意のフォーカス位置の変角特性を推定する。そして、推定した変角特性データを用いて忠実に質感を再現する場合について実施例１及び実施例２と異なる点を中心に簡潔に説明する。

＜実施例３における変角特性取得方法に関する処理の詳細＞
以下では、実施例３における変角特性取得処理について、図１３のフローチャートを用いて説明する。

ステップＳ１３０１及びステップＳ１３０２は、ステップＳ１００１及びステップＳ１００２と同様である。

ステップＳ１３０３では、以下の式（３）を満たすフォーカス位置Ｄ_Ｎ及びＤ_Ｎ＋１を取得する。なお、式（３）において、Ｄ_ＮはＤよりも小さい値でかつＤに最も近いフォーカス位置であり、Ｄ_Ｎ＋１とは、Ｄよりも大きくかつＤに最も近いフォーカス位置である。ただし、Ｄ_Ｎ及びＤ_Ｎ＋１は測定に用いたフォーカス位置である。

ステップＳ１１０４では、ステップＳ１１０３で取得したＤ_Ｎ及びＤ_Ｎ＋１に対応する変角特性データを変角特性保持部から取得し、以下の式（４）により、フォーカス位置Ｄに対応した変角特性データを生成する。

なお、式（４）において、ＢＴＦ_Ｎ及びＢＴＦ_Ｎ＋１はそれぞれフォーカス位置Ｄの変角特性データ、フォーカス位置Ｄ_Ｎ＋１の変角特性データである。

本実施例によれば、事前に所望のフォーカス位置による変角特性を測定しない場合であっても、任意のフォーカス位置の変角特性データを推定することにより、物体の質感を再現することが可能となる。

〔他の実施例〕
実施例３では、所望の測定値を測定していない場合に変角特性データを推定する方法について説明したが、必ずしも推定する必要はない。例えば、フォーカス位置Ｄに最も近いフォーカス位置の変角特性データを変角特性保持部から選択してもよい。

上記実施例では、物体の素材特性として簡易的に測定した変角特性データを入力し半値幅を算出したが、光沢特性に相当するデータであればこれに限らない。例えば、算出されるデータは、半値幅の変わりに物体の変角特性の反射強度の最大値であってもよい。この場合、光沢特性が高い物体であれば大きい値となり、光沢特性が低い物体であれば小さい値となるため、上記最大値を用いることが可能である。

また、入力されるデータは物体の表面粗さのデータであってもよい。この場合、表面粗さの分散値が算出可能であり、分散値が大きいほど低光沢となり、分散値が小さいほど高光沢となるため、粗さのデータを用いることが可能である。

また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。

Claims

物体の光沢特性を示す光沢特性データを入力する入力部と、
前記入力部で入力された光沢特性データと基準光沢値とに基づき、フォーカス位置を設定する設定部と、
前記フォーカス位置に基づき、複数の角度および複数のフォーカス位置により測定された物体の変角特性データを取得する取得部と
を有することを特徴とする画像処理装置。
前記取得部は、前記フォーカス位置に基づき、複数の角度および複数のフォーカス位置により測定された物体の変角特性を測定し、前記フォーカス位置は、該測定時の受光器とピント面との距離であることを特徴とする請求項１に記載の画像処理装置。
前記光沢特性は、変角特性データの反射強度、半値幅、または、表面粗さの分散値の少なくともいずれか１つを含むことを特徴とする請求項１または請求項２に記載の画像処理装置。
前記設定部で設定されるフォーカス位置は、受光器と試料面までの距離、及び、受光器と光源を正対させた時の距離と、物体の素材特性から算出される反射強度、半値幅、または、表面粗さの分散値のいずれか１つの値との比から算出されることを特徴とする請求項１または請求項２に記載の画像処理装置。
物体の画素ごとの変角特性を用いてＣＧ画像を生成する生成部を有し、
前記生成部は、前記取得部により取得した変角特性データから前記ＣＧ画像を生成することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
前記取得部は、前記複数のフォーカス位置で取得した変角特性データを用いて任意のフォーカス位置の変角特性を推定することを特徴とする請求項１乃至請求項５の何れか一項に記載の画像処理装置。
コンピュータを、請求項１乃至請求項６の何れか一項に記載された画像処理装置の各部として機能させることを特徴とするプログラム。
入力部が、物体の光沢特性を示す光沢特性データを入力する入力ステップと、
設定部が、前記入力部で入力された光沢特性データと基準光沢値とに基づき、フォーカス位置を設定する設定ステップと、
取得部が、前記フォーカス位置に基づき、複数の角度および複数のフォーカス位置により測定された物体の変角特性データを取得する取得ステップと
を有することを特徴とする画像処理方法。