JPWO2015163169A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、実物がそこにあるような質感をより再現することができるようにする画像処理装置および方法に関する。動作環境情報解析部は、画像の表示中に行われる、画像に対するユーザの動作環境情報を取得し、解析する。動作環境情報解析部は、解析した動作環境情報を、動作環境パラメータとして、特性制御部に供給する。特性制御部は、視環境パラメータや動作環境パラメータに応じて、画像合成部に質感制御を行わせ、質感制御を最適化する。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、実物がそこにあるような質感をより再現することができるようにした画像処理装置および方法に関する。

映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。

なお、特許文献１においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。

国際公開第２０１０／０８７１６２号

しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。

本開示は、このような状況に鑑みてなされたものであり、実物がそこにあるような質感をより再現することができるものである。

本開示の一側面の画像処理装置は、画像の表示中に行われるユーザの動作に関するユーザ動作情報を取得するユーザ動作情報取得部と、前記ユーザ動作情報取得部により取得されたユーザ動作情報に応じて、前記画像における被写体の質感を制御する質感制御部とを備える。

前記ユーザ動作情報は、表示される画像に対して入力されるユーザの操作情報である。

前記ユーザ動作情報は、表示される画像に対するユーザの視線情報である。

前記ユーザ動作情報は、前記画像が表示されるディスプレイをユーザが動かした傾き情報である。

前記ユーザ動作情報は、表示される画像を視聴するユーザの視聴に関する視聴情報である。

前記質感制御部は、前記画像における被写体の反射特性の強弱を調整することができる。

前記質感制御部は、前記画像における被写体の視点位置を変化させることができる。

前記質感制御部は、前記画像における被写体の形状を変化させることができる。

前記質感制御部による制御の内容に応じて、表示される画像を視聴する視聴環境を調整するための情報である付加情報を生成する付加情報生成部をさらに備えることができる。

前記付加情報は、視聴環境光を調整するための情報である。

画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部をさらに備え、前記質感制御部は、前記物理特性パラメータ取得部により取得された物理特性パラメータに応じて、前記画像における被写体の質感を制御することができる。

前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報である。

前記物理特性パラメータは、前記被写体の材質を示す情報である。

前記物理特性パラメータは、前記被写体の形状を示す情報である。

前記物理特性パラメータは、前記被写体の照明に関する情報である。

本開示の一側面の画像処理方法は、画像処理装置が、画像の表示中に行われるユーザの動作に関するユーザ動作情報が取得し、取得されたユーザ動作情報に応じて、前記画像における被写体の質感を制御する。

本開示の一側面においては、画像の表示中に行われるユーザの動作に関するユーザ動作情報が取得される。そして、取得されたに応じて、前記画像における被写体の質感が制御される。

本開示の一側面によれば、画像を処理することができる。特に、実物がそこにあるような質感をより再現することができる。なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術のコンセプトを説明する図である。 本技術の質感制御方法について説明する図である。 画像処理装置の主な構成例を示すブロック図である。 画像処理装置の他の構成例を示すブロック図である。 事前知識データベースの情報の例を示す図である。 本技術の実施例１を説明する図である。 本技術の実施例２を説明する図である。 本技術の実施例３を説明する図である。 本技術の実施例４を説明する図である。 本技術の実施例５を説明する図である。 本技術の実施例６を説明する図である。 本技術の実施例７を説明する図である。 実施例をまとめた表を示す図である。 図３の画像処理装置の画像処理を説明するフローチャートである。 計測・推定・統合処理について説明するフローチャートである。 視環境情報に基づく処理について説明するフローチャートである。 材質に基づく反射特性調整処理について説明するフローチャートである。 視線情報に基づく処理について説明するフローチャートである。 操作情報に基づく処理について説明するフローチャートである。 図４の画像処理装置の画像処理を説明するフローチャートである。 テクスチャ復元処理を説明するフローチャートである。 フィードバック処理を説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本技術の概要
２．構成例
３．実施例
４．処理例
５．コンピュータの構成例

＜１．本技術の概要＞
［本技術のコンセプト]
図１を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。

実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material imformation)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光（照明: lighting）、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。

これらの物理的情報は、カメラのセンサに入るので、画像（2DImage）から抽出される情報（画像統計量、拡散／鏡面反射成分、撮影時の照明情報）を基に、被写体の特性情報（被写体の領域情報や認識情報）として推定し、取得することができる。

なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト（被写体）ベースの処理である。

したがって、本技術においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体（の表面）の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。

さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報（知覚:hyperacuity）にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。

このように、本技術においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質（物理的要因）に対して生じる人間の心理的感覚（心理的要因）のことである。

すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。

したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。

さらに、本技術においては、質感制御の際、画像の表示中に行われるユーザの操作情報や視線情報、視聴情報などが取得解析され、その質感制御に用いられる。これにより、画像において、被写体の質感がよりリアルに再現される。例えば、被写体の触感など見た目以外の感覚を与えることができる。

また、本技術においては、さらに、質感制御に用いられた情報が、ユーザの視環境や操作環境にフィードバックされて、結果、質感がより制御される。これにより、さらに、リアルな映像表現が可能となる。

なお、画像の表示中に行われるユーザの操作情報や視線情報、視聴情報は、画像の表示中に行われるユーザの動作に関する動作情報であるので、以下、まとめて、ユーザ動作情報とも称する。

［本技術の質感制御方法]
次に、図２を参照して、本技術の質感制御方法について説明する。

まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック１に入力される。計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。

取得された被写体の物理特性パラメータは、実世界モデリングブロック２において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック３に入力される。

質感制御ブロック３においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量（テクスチャ）に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック３においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更（制御）される。

また、質感制御ブロック３においては、画像の表示中に行われるユーザの動作に関するユーザ動作情報（例えば、操作情報や視線情報、視聴情報）が取得解析され、その質感制御に用いられる。さらに、質感制御に用いられた情報が、視環境や動作環境にフィードバックが反映されて、結果、質感制御ブロック３においては、質感がより制御される。

レンダリング・レタッチブロック４においては、質感が制御された結果（変更されたパラメータ）に応じて、画像を再構成するために、画像が再合成（レンダリング）され、画質が微調整された結果の画像が出力される。

以上の処理により、本技術によれば、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。

また、本技術によれば、ユーザ動作情報（ユーザのインタラクション）に応じて、画質や表示方法が変化されるので、被写体の触感など見た目以外の感覚も提供することができる。

さらに本技術によれば、質感制御の情報（内容）が付加情報として視環境やユーザが動作を行う際の動作環境にフィードバックが行われる。これにより、よりリアルな映像表現が可能となる。

＜２．構成例＞
［画像処理装置の構成例］
図３は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。

図３に示される画像処理装置１１は、上述したように、実世界の被写体が撮影されて入力された画像における被写体に関する物理特性パラメータが取得され、ユーザ（視聴者）の動作情報が取得される。そして、物理特性パラメータや動作情報に応じて、画像における被写体の質感が制御され、被写体の質感が制御された画像を出力する。

画像処理装置１１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、画像合成部２７、および動作環境情報解析部２８を含むように構成されている。

撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、図２の計測・推測ブロック１に対応している。特性情報統合部２４は、図２の実世界モデリングブロック２に対応している。特性制御部２６は、図２の質感制御ブロック３に対応している。画像合成部２７は、レンダリング・レタッチブロック４に対応している。

撮影環境情報取得部２１は、被写体の画像を撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。

撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、特性情報統合部２４に供給する。

被写体特性解析部２３は、撮影環境情報取得部２１からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部２４に供給する。被写体特性解析部２３においては、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、画像から推定することで取得することができる。

特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部２６に供給する。

視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境情報を、視環境パラメータとして、特性制御部２６に供給する。

特性制御部２６は、制御パラメータとして、特性情報統合部２４からの被写体に関する物理特性パラメータと、視環境情報解析部２５からの視環境パラメータと、動作環境情報解析部２８からの動作環境パラメータとを用いる。具体的には、例えば、特性制御部２６は、特性情報統合部２４からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部２６は、決定した処理内容の情報を、画像合成部２７に供給し、画像合成部２７に質感制御を行わせる。さらに、特性制御部２６は、視環境パラメータや動作環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。

画像合成部２７は、特性制御部２６の制御のもと、撮影環境情報取得部２１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。

動作環境情報解析部２８は、画像の表示中に行われる、画像に対するユーザの動作環境情報を取得し、解析する。

なお、動作環境情報としては、視聴者の視線情報、タッチパネルやマウスなどの操作部を用いた操作情報、およびディスプレイに付与されるセンサ情報、およびユーザの視聴時間情報があげられる。視聴者の視線情報の例としては、注視領域の位置や大きさの情報、瞬き回数の情報などがある。操作情報の例としては、タッチ位置、ポインタ位置、フリックの大きさ、ジェスチャ認識による腕の動かし方などの情報がある。センサ情報としては、ディスプレイの傾きや動かしたときの速度などの情報がある。

動作環境情報解析部２８は、解析した動作環境情報を、動作環境パラメータとして、特性制御部２６に供給する。

なお、制御パラメータは、撮影環境情報解析部２２からの撮影時情報と被写体特性解析部２３からの画像推定情報とが統合された被写体に関する物理特性パラメータ、および視環境情報解析部２５からの視環境パラメータとで構成されている。

被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。

視環境パラメータは、視環境光情報を含むように構成されている。

［画像処理装置の他の構成例］
図４は、本開示を適用した画像処理装置の他の実施の形態の構成を表している。図４の例においては、被写体の特性として、被写体の材質情報も取得され、取得された材質情報を質感制御に用いる画像処理装置の構成が示されている。また、図４の例においては、質感制御として、テクスチャ復元も行われる。この例においては、異なる素材は、固有の反射特性を持つことを利用する。

図４に示される画像処理装置５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、画像合成部２７、および操作環境情報解析部２８を備える点が、図３の画像処理装置１１と共通している。

画像処理装置５１は、事前知識データベース６１と付加情報生成部６２とが追加された点とが、図３の画像処理装置１１と異なっている。

すなわち、撮影環境情報解析部２２は、解析した撮影時情報（被写体の材質情報含む）を、特性情報統合部２４に供給する。被写体特性解析部２３は、解析した被写体の特性（画像推定情報）を、特性情報統合部２４に供給する。

特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部２６に供給する。また、特性情報統合部２４は、特性制御部２６の制御のもと、被写体の材質（肌、金属、布など）に対応したテクスチャ画像を事前知識データベース６１から読み出し、読み出したテクスチャ画像を、特性制御部２６に供給する。

特性制御部２６は、特性情報統合部２４からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部２６は、物理特性パラメータとして、例えば、被写体の材質の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定する。そして、特性制御部２６は、決定した質感制御を、画像合成部２７に行わせる。

特性制御部２６は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部２６は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

また、特性制御部２６は、特性情報統合部２４に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行うという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

事前知識データベース６１は、被写体の材質、宝石や金属部分、水、革などの材質情報、大きさ、硬さ、テクスチャ画像などを保持している。例えば、事前知識データベース６１は、被写体の材質が画像から認識され、それをキーとして参照される。

なお、図４の例において、特性制御部２６から画像合成部２７への質感制御の情報は、付加情報生成部６２にも供給される。

付加情報生成部６２は、特性制御部２６からの質感制御の情報や、事前知識データベース６１からのテクスチャ画像等に基づいて、質感制御の情報を、視環境や動作環境にフィードバックするため、視環境や動作環境を制御するための付加情報を生成する。付加情報生成部６２は、視環境を構成する照明器具や、動作環境を構成する、視線情報を検出する検出部、操作部やGUI、センサなどに生成した付加情報を提供（フィードバック）する。

図５は、事前知識データベース６１に保持される情報の例を示す図である。

例えば、図中左上の画像には、化粧瓶とパール（宝石）が写っている。化粧瓶の蓋は、材質が金属であり、硬い、軽いという情報で事前知識データベース６１に保持されている。宝石は、材質が宝石であり、硬い、広いという情報で事前知識データベース６１に保持されている。例えば、図中右の画像には、懐中時計と皮の手袋が写っている。懐中時計は、材質が金属であり、硬い、軽いという情報で、手袋は、材質が皮であり、柔らかい、軽いという情報で事前知識データベース６１に保持されている。例えば、左下の画像には、仏像が写っている。仏像は、材質が金属であり、硬い、重いという情報で事前知識データベース６１に保持されている。

＜３．実施例＞
まず、図６を参照して、実施例１として、タッチパネルにおけるフリックの方向に応じて視点生成位置を変更する例について説明する。

例えば、ユーザは、矢印Ａに示されるように、タッチパネルに表示される仏像の位置をフリックする。このとき、動作環境情報解析部２８は、タッチパネルにおけるフリックをユーザ動作情報として取得し、取得したフリックの情報を、動作環境パラメータとして特性制御部２６に供給する。

一方、被写体特性解析部２３において、入力画像から被写体の材質が金属であることが特性解析され、それが特性情報統合部２４に供給される。特性情報統合部２４においては、金属（仏像）がキーとして事前知識データベース６１が検索されて、重いという情報がヒットし、被写体の材質が金属（仏像）で重いという情報が特性制御部２６に供給される。

特性制御部２６において、以上の特性解析の結果、図６に示される仏像のように、材質が金属など重い被写体の場合、視点位置の変化量を小さくすることで、重さを表現するという質感制御が行われる。また、特性制御部２６は、生成する視点位置と、その視点位置に応じて鏡面反射成分の制御量（例えば、強調度）を変更する。これにより、仏像は、視点位置を変えながら、回転するがその回転速度によって、仏像の重量感と材質感がよりリアルに再現される。

なお、そのとき、フリックした速さの変化量などに応じて、重いものや硬いものほど、画像を変化させる速度を遅くすることも可能である。

次に、図７を参照して、実施例２として、視線検出による注目領域やタッチポジションによる指定領域のみに対して鏡面反射成分を強調する例について説明する。

例えば、ユーザは、視聴中のディスプレイにおいて、画像中左下の野菜（パプリカ）をタッチすることで、領域Ｐが指定される。このとき、動作環境情報解析部２８は、この領域Ｐをユーザ動作情報として取得し、取得した領域Ｐの情報を、動作環境パラメータとして特性制御部２６に供給する。

特性制御部２６は、この領域Ｐのみ、鏡面反射成分を強調させるように質感を制御する。これにより、この指定領域のみ、鏡面反射が強調される。これにより、野菜の質感がよりリアルに再現される。

なお、図７の例においては、指定領域の例について説明したが、視線の向きを検出することで、その視線検出による注目領域のみ、鏡面反射成分を強調させるように質感を制御することも可能である。

次に、図８を参照して、実施例３として、視線検出による注目領域やタッチポジションによる指定領域のみに対して形状を変化させる例について説明する。

例えば、ユーザは、画像中左下の野菜（パプリカ）をタッチすることで、領域Ｑが指定される。このとき、動作環境情報解析部２８は、この領域Ｑをユーザ動作情報として取得し、取得した領域Ｑの情報を、動作環境パラメータとして特性制御部２６に供給する。

特性制御部２６は、この領域Ｑのみ、形状を変化させる（簡易的に凹ませたような加工を施す）ように質感を制御する。これにより、疑似的に触感が再現される。

すなわち、被写体特性解析部２３において、入力画像から被写体の材質が、例えば、金属であることが特性解析され、それが特性情報統合部２４に供給される。特性情報統合部２４においては、金属がキーとして事前知識データベース６１が検索されて、硬いという情報がヒットし、被写体の材質が金属で硬いという情報が特性制御部２６に供給される。

そして、特性制御部２６は、上述した特性解析の結果、材質が金属など硬い被写体の場合、形状の変化量を小さくすることで、硬さを表現するように、質感を制御する。なお、絵以上は元に戻っても、戻らなくてもよい。例えば、砂浜の形状を変化させた後、その形状は戻らなくてもよいし、液体の場合、変化させた後、戻るようにしてもよい。

また、例えば、ディスプレイの傾きの変化量などに応じて、重いものや硬いものほど、画像を変化させる速度を遅くすることも可能である。

なお、図８の例においても、指定領域の例について説明したが、視線の向きを検出することで、その視線検出による注目領域のみ、鏡面反射成分を強調させるように質感を制御することも可能である。

次に、図９を参照して、実施例４として、ユーザが表示デバイスを動かした傾きに応じて、鏡面反射成分の強調度を変更する例について説明する。

例えば、ユーザは、表示デバイスであるタブレットや多機能携帯電話機などを動かす。このとき、動作環境情報解析部２８は、表示デバイスに付与されるセンサなどから、その表示デバイスの傾き情報を取得し、取得した傾き情報を、動作環境パラメータとして特性制御部２６に供給する。

特性制御部２６は、例えば、領域Ｒに示されるように、傾きに応じて、鏡面反射成分の強調度を変更させるように、質感を制御する。これにより、静止画像であっても動画像のように、キラキラしているようにみせることができるなど、質感や触感をよりリアルに再現することができる。

なお、傾きに応じて、例えば、プリンなどの形状を変化させるようにしてもよい。また、この例は、ヘッドトラッキング付きヘッドマウントディスプレイにも適用することが可能である。

次に、図１０を参照して、実施例５として、ユーザがまぶしいと感じたら、まぶしくないように鏡面反射成分を抑制する例について説明する。

例えば、ユーザが画像を視聴しているとき、動作環境情報解析部２８は、視線検出部などにより検出されたユーザ（視聴者）の瞬きを取得し、取得した瞬きの回数などを動作環境パラメータとして特性制御部２６に供給する。

特性制御部２６は、瞬き回数の変化量に応じてまぶしいと感じているかどうかを判定し、その判定結果を用い、まぶしいと感じていると判定した場合、まぶしくないように、鏡面反射成分を抑制するように質感を制御する。例えば、図１０においては、図中左側の鏡面反射成分が大きすぎたため、図中右側に示されるように、鏡面反射成分：0.X倍の画像として、質感が制御されている。

なお、まぶしさの判定には、瞬き回数以外にも、黒目の大きさの変化量なども検出し、それを利用することも可能である。

また、図１０の例においては、図４に示される画像処理装置５１の場合には、鏡面反射成分を抑制するという質感制御の内容が、付加情報生成部６２に供給される。付加情報生成部６２は、質感制御の内容から、付加情報を生成して、視環境を調整する照明などにフィードバックし、視環境を構成する照明などにおいて、環境光を調整し、まぶしさを軽減するようにすることも可能である。

次に、図１１を参照して、実施例６として、ユーザの視聴時間を監視し、長時間視聴時に徐々に鏡面反射成分の強調を抑える例について説明する。

例えば、特性制御部２６は、視線検出部などからの情報に基づき、ユーザの視聴時間を監視し、所定の時間αを超えたか判定し、時間αを超えた場合、鏡面反射成分の強調ゲインを徐々に下げていく。同時に、特性制御部２６は、所定の時間β（β＞α）を超えたか判定し、時間βを超えた場合、鏡面反射成分の減衰を停止させる。

以上のようにすることで、人間の視覚特性として、時間とともに明るさに順応していくため、効果を損なうことなく、消費電力節約や眩しさを低減することが可能である。

なお、図１１の例においても、図４に示される画像処理装置５１の場合には、鏡面反射成分を抑制するという質感制御の内容が、付加情報生成部６２に供給される。付加情報生成部６２は、質感制御の内容から、付加情報を生成して、視環境を調整する照明などにフィードバックし、視環境を構成する照明などにおいて、環境光を調整し、まぶしさを軽減するようにすることも可能である。

最後に、図１２を参照して、実施例７として、上述した他の実施例に加えて、より効果を出すために、環境光を調整する例について説明する。なお、これは、図４の画像処理装置５１により実行される。

図１２の例においては、画像中の光源の方向や色に応じて、視環境を構成する環境光を調整する。例えば、画像から、画像中の光源の方向や色を抽出し、抽出された情報を分析して、画像中の光源の方向や色に応じて、ディスプレイ周辺に複数の制御可能な照明を配置し、付加情報を生成することで、それぞれの光の色や強さを制御することが可能である。

なお、このとき、画像は（修正されてもよいが）、修正されないので、特性制御部２６により、付加情報生成部６２に制御の内容が供給される。付加情報生成部６２においては、制御の内容に基づいて、付加情報を生成し、視環境にいる複数の制御可能な照明に送信され、画像中の光源の方向や色が調整され、結果的に、画像の再現性がアップする。

図１３は、上述した実施例１乃至７をまとめた表である。

上から順に説明する。図６を参照して上述した実施例１については、ユーザ動作情報として、タッチパネルなどにフリックがなされ、そのフリックに応じて視点位置や鏡面反射についての画像制御がなされる。これにより、特に、重量感や材質感が向上する。

図７を参照して上述した実施例２については、ユーザ動作情報として、タッチパネルなどに位置の指定がなされ、または、視線の向きが検出されて、その位置や視線の向きに応じて鏡面反射についての画像制御がなされる。これにより、特に、質感が向上する。

図８を参照して上述した実施例３については、ユーザ動作情報として、タッチパネルなどに位置の指定がなされ、または、視線の向きが検出されて、その位置や視線の向きに応じて形状変化についての画像制御がなされる。これにより、特に、触感が向上する。

図９を参照して上述した実施例４については、ユーザ動作情報として、画像を表示中のディスプレイの傾きが検出されて、その傾きに応じて鏡面反射成分および形状変化の少なくとも１についての画像制御がなされる。これにより、特に、質感または触感が向上する。

図１０を参照して上述した実施例５については、ユーザ動作情報として、視線検出部などでユーザの瞬きが検出されて、その瞬きの回数に応じて、鏡面反射成分についての画像制御がなされる。また、フィードバックとして、視環境などの調整が行われる。これにより、自然感が向上する。また、低電力化にもつながる。

図１１を参照して上述した実施例６については、ユーザ動作情報として、視線検出部などでディスプレイを見ているユーザの視聴時間が検出されて、その視聴時間に応じて、鏡面反射成分についての画像制御がなされる。また、フィードバックとして、視環境などの調整が行われる。これにより、自然感が向上する。

図１２を参照して上述した実施例７については、画像中の光源推定により光源の色や位置が検出されて、その色や位置に応じて、視環境などの調整が行われる。これにより、質感が向上する。

＜４．処理例＞
［画像処理の例］
次に、図１４のフローチャートを参照して、図３の画像処理装置１１の画像処理について説明する。

ステップＳ１１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ１２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理の詳細は、図１５を参照して後述される。ステップＳ１２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部２６に供給される。

ステップＳ１３において、視環境情報解析部２５および特性制御部２６は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理の詳細は、図１６を参照して後述される。ステップＳ１３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ１４において、特性制御部２６は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図１７を参照して後述される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ１４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ１５において、動作環境情報解析部２８および特性制御部２６は、ユーザ動作情報に含まれる視線情報に基づく処理を行う。この視線情報に基づく処理は、図１８を参照して後述される。ステップＳ１５の処理により、視線情報に基づく質感制御の処理内容が決定される。

ステップＳ１６において、動作環境情報解析部２８および特性制御部２６は、ユーザ動作情報に含まれる操作情報に基づく処理を行う。この操作情報に基づく処理は、図１８を参照して後述される。ステップＳ１６の処理により、操作情報に基づく質感制御の処理内容が決定される。

ステップＳ１７において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１４の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、視線情報に基づく調整、操作情報に基づく調整により、被写体の画像の質感が制御される。

以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、ＣＧ（コンピュータグラフィックス）のように、被写体を実際に見たときの状況を映像で再現することができる。

以上により、本技術においては、被写体に関する物理特性パラメータ（形状、反射特性、照明など）を計測、測定し、それらの特性を制御することで、映像品質を向上させることができる。

さらに、ユーザ動作情報（ユーザ操作や視線情報など）に応じて、実物がそこにあるような質感をより再現することができる。例えば、触感など、見た目以外の感覚も提供することができる。

次に、図１５のフローチャートを参照して、図１４のステップＳ１２の計測・推定・統合処理について説明する。

ステップＳ３１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部２４に供給する。

ステップＳ３２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性と材質を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性と材質を解析し、解析した被写体の反射特性と材質を、特性情報統合部２４に供給する。

ステップＳ３３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部２４に供給する。

ステップＳ３４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部２４に供給する。

ステップＳ３５において、特性情報統合部２４は、計測された撮影環境光の情報と推定された撮影環境光の情報とを統合する。特性情報統合部２４は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部２６に供給する。

ステップＳ３６において、特性制御部２６は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。

ステップＳ３７において、被写体特性解析部２３は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部２４に供給する。

ステップＳ３８において、特性情報統合部２４は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを統合する。特性情報統合部２４は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部２６に供給する。

ステップＳ３９において、特性情報統合部２４は、計測された被写体の材質の情報と推定された被写体の材質の情報とを統合する。特性情報統合部２４は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部２６に供給する。

ステップＳ４０において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部２４に供給する。

ステップＳ４１において、特性情報統合部３１１は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、統合する。特性情報統合部３１１は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部３１２に供給する。

以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状に加えて、さらに、被写体の材質などが計測され、また、それらが入力画像から推定され、それらの情報が信頼性に基づいて統合される。このようにして統合された物理特性パラメータが質感制御に用いられるので、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。

次に、図１６のフローチャートを参照して、図１４のステップＳ１３の視環境情報に基づく処理について説明する。

ステップＳ６１において、視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部２６に供給する。

特性制御部２６には、被写体特性解析部２３から撮影時の画像の絶対輝度情報も推定され、特性制御部２６に供給されている。ステップＳ６２において、特性制御部２６は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップＳ６２において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、特性制御部２６は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップＳ６３において、視環境光が明るいと判定された場合、処理は、ステップＳ６４に進む。この場合、暗く見える可能性があるので、ステップＳ６４において、特性制御部１１１は、画像合成部２７を制御し、質感制御として、コントラスト調整値を高めに設定させる。

ステップＳ６３において、視環境光が暗いと判定された場合、ステップＳ６４はスキップされ、処理は、ステップＳ６７に進む。

ステップＳ６２において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップＳ６５に進む。ステップＳ６５において、特性制御部２６は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。

ステップＳ６５において、視環境光が暗いと判定された場合、処理は、ステップＳ６６に進む。ステップＳ６６において、特性制御部２６は、画像合成部２７を制御し、質感制御として、コントラスト調整値を低めに設定させる。

ステップＳ６５において、視環境光が明るいと判定された場合、ステップＳ６６はスキップされ、処理は、ステップＳ６７に進む。

ステップＳ６７において、特性制御部２６は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ６７において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップＳ６７において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ６２に戻り、それ以降の処理が繰り返される。

以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図１７のフローチャートを参照して、図１４のステップＳ１４における材質に基づく反射特性調整処理について説明する。

ステップＳ８１において、特性制御部２６は、特性情報統合部２４からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ８１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ８２に進む。

ステップＳ８２において、特性制御部２６は、質感制御として、鏡面反射成分を強調させるように決定する。ステップＳ８１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ８３に進む。

特性制御部２６は、ステップＳ８３において、拡散反射成分が大きいか否かを判定する。ステップＳ８３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ８４に進む。ステップＳ８４において、特性制御部２６は、質感制御として、拡散反射成分を低減させるように決定する。

ステップＳ８３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ８５に進む。

ステップＳ８５において、特性制御部２６は、特性情報統合部２４により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップＳ８５において、鏡面反射が強い材質であると判定された場合、処理は、ステップＳ８６に進む。ステップＳ８６において、特性制御部２６は、質感制御として、鏡面反射成分を強調させるように決定する。

ステップＳ８５において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップＳ８７に進む。ステップＳ８７において、特性制御部２６は、質感制御として、鏡面反射成分を低減させるように決定する。

ステップＳ８８において、特性制御部２６は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ８８において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ８８において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。

以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図１８のフローチャートを参照して、図１４のステップＳ１５の視線情報に基づく処理について説明する。

ステップＳ１０１において、動作環境情報解析部２８は、動作環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。動作環境情報解析部２８は、解析した動作環境の情報を、動作環境パラメータとして、特性制御部２６に供給する。

ステップＳ１０２において、特性制御部２６は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップＳ１０２において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップＳ１０３に進む。

ステップＳ１０３において、特性制御部２６は、画像合成部２７を制御し、質感制御として、例えば、これまでの処理（すなわち、視環境情報、材質に基づく処理など）の画質調整値を弱めに再設定させる。

ステップＳ１０２において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップＳ１０３はスキップされ、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、特性制御部２６は、全画素について処理が終了したか否かを判定する。

ステップＳ１０４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１０４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１０２に戻り、それ以降の処理が繰り返される。

以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図１９のフローチャートを参照して、図１４のステップＳ１６の操作情報に基づく処理について説明する。

ステップＳ１２１において、動作環境情報解析部２８は、動作環境の情報として、例えば、ユーザの操作情報（フリックなど）を取得し、解析する。動作環境情報解析部２８は、解析した動作環境の情報を、動作環境パラメータとして、特性制御部２６に供給する。

ステップＳ１２２において、特性制御部２６は、対象画素が、ユーザの触れた領域であるか否かを判定する。ステップＳ１２２において、ユーザの触れた領域であると判定された場合、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、特性制御部２６は、画像合成部２７を制御し、質感制御として、これまでの処理（すなわち、視環境情報、反射特性、視線情報に基づく処理）の画質調整値を強めに再設定させる。

ステップＳ１２２において、対象画素が、ユーザの触れた領域でないと判定された場合、ステップＳ１２３はスキップされ、処理は、ステップＳ１２４に進む。

ステップＳ１２４において、特性制御部２６は、全画素について処理が終了したか否かを判定する。

ステップＳ１２４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１２４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１２２に戻り、それ以降の処理が繰り返される。

以上のように、動作環境のうち、ユーザの操作情報に応じて、画像の反射特性の調整が行われる。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がより一層行われる。すなわち、実物がそこにあるような質感をより再現することができる。

また、以上のように、ユーザの操作、表示デバイスとのインタラクションに応じて、上述したような制御を行うことにより、被写体の触感など見た目以外の高次の感覚などを提供することができる。

感覚が強調されるので、小画面で表示時であってもよりリアルな感覚を表現できる。

なお、この処理は、操作情報の代わりに、視線情報として、ユーザの視線領域であるかを判定することでも実行可能である。すなわち、視線検出による注目領域やタッチポジションによる指定領域のみに対して処理を行うことができるので、部分的に鏡面反射成分を強調したりすることができる。逆に、眩しい映像だと感じたら、眩しくないように鏡面反射成分を抑制することができる。

さらに、長時間視聴時に徐々に鏡面反射成分を抑制して、低消費電力化を実現することができる。

［画像処理の他の例]
次に、図２０のフローチャートを参照して、図４の画像処理装置５１の画像処理について説明する。なお、図２０においては、フィードバック処理がなされる例が示されている。

ステップＳ１５１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ１５２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図１５を参照して上述した処理と基本的に同様であり、その説明は繰り返しになるので省略される。ステップＳ１５２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部２６に供給される。

ステップＳ１５３において、視環境情報解析部２５および特性制御部２６は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１６を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ１５４において、特性制御部２６は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図１７を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ１５４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ１５５において、特性制御部２６は、特性情報統合部２４に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行う。このテクスチャ復元処理は、図２１を参照して後述される。ステップＳ１５５の処理により、テクスチャ復元による質感制御の処理内容が決定される。なお、この処理は、事前知識データベース６１を参照して行われる処理の１つであり、ここでは、例えば、図６や図８を参照して上述した事前知識データベース６１を参照して行われる処理を行うことできる。

ステップＳ１５６において、動作環境情報解析部２８および特性制御部２６は、ユーザ動作情報に含まれる操作情報に基づく処理を行う。この操作情報に基づく処理は、図１８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５６の処理により、操作情報に基づく質感制御の処理内容が決定される。

ステップＳ１５７において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図２０の例の場合、計測または測定された視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、材質に応じたテクスチャ復元、操作情報に基づく処理により、被写体の画像の質感が制御される。このとき、質感制御の処理内容は、特性制御部２６から付加情報生成部６２に供給される。

ステップＳ１５８において、付加情報生成部６２は、視環境または操作環境へのフィードバック処理を行う。このフィードバック処理については、図２２を参照して後述される。ステップＳ１５８の処理により、被写体の画像の質感制御の内容に基づいて、視環境や操作環境へのフィードバックがなされる。これにより、画質の再現力のアップを図ることができたり、あるいは、低電力化を図ることができる。

次に、図２１のフローチャートを参照して、図２０のステップＳ１５５におけるテクスチャ復元処理を説明する。

特性制御部２６は、ステップＳ１７１において、特性情報統合部２４を制御し、事前知識データベース６１から、被写体の材質に対応するテクスチャ画像（パッチデータ）を取得させる。

ステップＳ１７２において、特性制御部２６は、フィルタバンクを用いて、入力画像とテクスチャ画像をそれぞれサブバンド分割させるように画像合成部２７を制御する。

ステップＳ１７３において、特性制御部２６は、サブバンド毎に、入力画像の周波数成分のヒストグラムと、テクスチャ画像の周波数成分のヒストグラムとが一致する調整を行うように画像合成部２７を制御する。すなわち、特性制御部２６は、画像合成部２７を制御し、サブバンド毎に、入力画像とテクスチャ画像とで、ヒストグラムイコライゼーションを行わせる。

以上のように、テクスチャを復元するという、質感制御を行うことにより、被写体の質感が向上されるので、よりリアリティのある画像とすることができる。

次に、図２２のフローチャートを参照して、図２０のステップＳ１５８のフィードバック処理について説明する。

ステップＳ１９１において、付加情報生成部６２は、特性制御部２６からの質感制御の処理内容にもとづいて、視環境や動作環境にフィードバックするための付加情報を生成する。

ステップＳ１９２において、付加情報生成部６２は、視環境を構成する照明器具や、動作環境を構成する、視線情報を検出する検出部、操作部やGUI、センサなどに生成した付加情報を提供（フィードバック）する。

以上のように、ユーザの操作、表示デバイスとのインタラクションに応じて、上述したような制御を行うことにより、被写体の触感など見た目以外の高次の感覚などを提供することができる。また、視環境や動作環境にフィードバックすることで、これ以前の効果を強調することができる。

ユーザに視聴情報に応じて、好みを反映することができる。

視環境（環境光や表示デバイス）に対して、照明光を画像に最適化できる。

さらに、例えば、図６や図８を参照して上述したように、操作環境（ユーザからのインタラクション）に対して、フォースフィードバックを行うこともできるので、被写体の重量感、凹凸感を表現できる。

以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、ＣＧ（コンピュータグラフィックス）のように、被写体を実際に見たときの状況を映像で再現することができる。

以上により、本技術においては、実物がそこになるような質感をよりリアルに再現することができる。特に、動作環境（ユーザからのインタラクション）に応じて、画質や表示方法が変化されるので、被写体の触感など見た目以外の感覚も与えることができる。

また、ユーザの視聴情報に応じて、好みを反映することができる。

＜５．コンピュータの構成例＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 画像の表示中に行われるユーザの動作に関するユーザ動作情報を取得するユーザ動作情報取得部と、
前記ユーザ動作情報取得部により取得されたユーザ動作情報に応じて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
（２） 前記ユーザ動作情報は、表示される画像に対して入力されるユーザの操作情報である
前記（１）に記載の画像処理装置。
（３） 前記ユーザ動作情報は、表示される画像に対するユーザの視線情報である
前記（１）または（２）に記載の画像処理装置。
（４） 前記ユーザ動作情報は、前記画像が表示されるディスプレイをユーザが動かした傾き情報である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記ユーザ動作情報は、表示される画像を視聴するユーザの視聴に関する視聴情報である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記質感制御部は、前記画像における被写体の反射特性の強弱を調整する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記質感制御部は、前記画像における被写体の視点位置を変化させる
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記質感制御部は、前記画像における被写体の形状を変化させる
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記質感制御部による制御の内容に応じて、表示される画像を視聴する視聴環境を調整するための情報である付加情報を生成する付加情報生成部を
さらに備える前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記付加情報は、視聴環境光を調整するための情報である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部
をさらに備え、
前記質感制御部は、前記物理特性パラメータ取得部により取得された物理特性パラメータに応じて、前記画像における被写体の質感を制御する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報である
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記物理特性パラメータは、前記被写体の材質を示す情報である
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記物理特性パラメータは、前記被写体の形状を示す情報である
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記物理特性パラメータは、前記被写体の照明に関する情報である
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 画像処理装置が、
画像の表示中に行われるユーザの動作に関するユーザ動作情報を取得し、
取得されたユーザ動作情報に応じて、前記画像における被写体の質感を制御する
画像処理方法。

１ 計測・推測ブロック， ２ 実世界モデリングブロック， ３ 質感制御ブロック， ４ レンダリング・レタッチブロック， １１ 画像処理装置，２１ 撮影環境情報取得部， ２２ 撮影環境情報解析部， ２３ 被写体特性解析部， ２４ 特性情報統合部， ２５ 視環境情報解析部， ２６ 特性制御部， ２７ 画像合成部， ２８ 動作環境情報解釈部 ５１ 画像処理装置， ６１ 事前知識データベース， ６２ 付加情報生成部

Claims (16)

1. 画像の表示中に行われるユーザの動作に関するユーザ動作情報を取得するユーザ動作情報取得部と、
   前記ユーザ動作情報取得部により取得されたユーザ動作情報に応じて、前記画像における被写体の質感を制御する質感制御部と
   を備える画像処理装置。
2. 前記ユーザ動作情報は、表示される画像に対して入力されるユーザの操作情報である
   請求項１に記載の画像処理装置。
3. 前記ユーザ動作情報は、表示される画像に対するユーザの視線情報である
   請求項１に記載の画像処理装置。
4. 前記ユーザ動作情報は、前記画像が表示されるディスプレイをユーザが動かした傾き情報である
   請求項１に記載の画像処理装置。
5. 前記ユーザ動作情報は、表示される画像を視聴するユーザの視聴に関する視聴情報である
   請求項１に記載の画像処理装置。
6. 前記質感制御部は、前記画像における被写体の反射特性の強弱を調整する
   請求項１に記載の画像処理装置。
7. 前記質感制御部は、前記画像における被写体の視点位置を変化させる
   請求項１に記載の画像処理装置。
8. 前記質感制御部は、前記画像における被写体の形状を変化させる
   請求項１に記載の画像処理装置。
9. 前記質感制御部による制御の内容に応じて、表示される画像を視聴する視聴環境を調整するための情報である付加情報を生成する付加情報生成部を
   さらに備える請求項１に記載の画像処理装置。
10. 前記付加情報は、視聴環境光を調整するための情報である
    請求項９に記載の画像処理装置。
11. 画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部
    をさらに備え、
    前記質感制御部は、前記物理特性パラメータ取得部により取得された物理特性パラメータに応じて、前記画像における被写体の質感を制御する
    請求項１に記載の画像処理装置。
12. 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報である
    請求項１１に記載の画像処理装置。
13. 前記物理特性パラメータは、前記被写体の材質を示す情報である
    請求項１１に記載の画像処理装置。
14. 前記物理特性パラメータは、前記被写体の形状を示す情報である
    請求項１１に記載の画像処理装置。
15. 前記物理特性パラメータは、前記被写体の照明に関する情報である
    請求項１１に記載の画像処理装置。
16. 画像処理装置が、
    画像の表示中に行われるユーザの動作に関するユーザ動作情報を取得し、
    取得されたユーザ動作情報に応じて、前記画像における被写体の質感を制御する
    画像処理方法。

Images