JPWO2016181804A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、実物がそこにあるような質感をより再現することができるようにする画像処理装置および方法に関する。特性制御部は、特性情報統合部からの物理特性パラメータおよびデバイス情報解析部からのデバイス情報に基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部は、決定した処理内容の情報を、画像合成部および付加情報生成部に供給し、画像合成部および付加情報生成部に質感制御を行わせる。すなわち、画像処理装置においては、一方のデバイスの画像出力に加えて、他方のデバイスからの画像以外の出力で、よりリアルな映像表現が可能となる。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、実物がそこにあるような質感をより再現することができるようにした画像処理装置および方法に関する。

映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。

なお、特許文献１においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。

国際公開第２０１０／０８７１６２号

しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。

本開示は、このような状況に鑑みてなされたものであり、実物がそこにあるような質感をより再現することができるものである。

本開示の一側面の画像処理装置は、画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と、前記質感制御部により質感が制御された被写体についての複数の情報をそれぞれ出力する複数の出力部とを備える。

前記複数の出力部の機能情報を取得する機能情報取得部をさらに備え、前記質感制御部は、物理特性パラメータと前記機能情報取得部により取得された機能情報とを用いて、前記画像における被写体の質感を制御することができる。

前記複数の出力部は、前記被写体についての画像を出力する同種の表示部で構成される。

前記複数の出力部は、前記被写体についての画像を同じ画素位置で出力する。

前記複数の出力部は、前記被写体についての画像を出力する少なくとも１の表示部と、前記被写体についての前記画像以外の情報を出力する出力部とで構成される。

前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、前記出力部は、前記被写体の反射特性について出力することができる。

一方の出力部は、前記被写体の反射特性の鏡面反射成分を出力し、他方の出力部は、前記被写体の反射特性の拡散反射成分を出力することができる。

前記一方の出力部は、前記被写体の反射特性の鏡面反射成分を前面に出力し、前記他方の出力部は、前記被写体の反射特性の拡散反射成分を背面に出力することができる。

前記一方の出力部は、ピーク輝度が高いデバイスであり、前記他方の出力部は、ピーク輝度が低いデバイスであることができる。

前記物理特性パラメータは、前記被写体の波長であり、前記出力部は、前記被写体の波長について出力することができる。

一方の出力部は、電子ペーパであり、前記被写体の波長の物体色を出力し、他方の出力部は、LCD(liquid crystal display)であり、前記被写体の波長の光源色を出力することができる。

前記物理特性パラメータは、前記被写体の周波数成分であり、前記出力部は、前記被写体の周波数成分について出力することができる。

前記物理特性パラメータは、前記被写体の周波数成分であり、前記出力部は、前記被写体の周波数成分のテクスチャについて出力することができる。

一方の出力部は、触覚ディスプレイであり、前記被写体の周波数成分のテクスチャを出力し、他方の出力部は、LCD(liquid crystal display)であり、前記被写体の周波数成分のストラクチャを出力することができる。

前記物理特性パラメータは、前記被写体の深度または奥行きであり、前記出力部は、前記被写体の深度または奥行きについて出力することができる。

前記物理特性パラメータは、前記被写体の時間方向の情報であり、前記出力部は、前記被写体の時間方向における動体と静物について出力することができる。

本開示の一側面の画像処理方法は、画像処理装置が、画像の被写体に関する物理特性パラメータを取得し、取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御し、質感が制御された被写体についての複数の情報を複数の表示部にそれぞれ出力する。

本開示の一側面においては、画像の被写体に関する物理特性パラメータが取得され、取得された物理特性パラメータを用いて、前記画像における被写体の質感が制御される。そして、質感が制御された被写体についての複数の情報が複数の表示部にそれぞれ出力される。

本開示の一側面によれば、画像を処理することができる。特に、実物がそこにあるような質感をより再現することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術のコンセプトを説明する図である。 本技術の質感制御方法について説明する図である。 画像処理装置の主な構成例を示すブロック図である。 画像処理装置の他の構成例を示すブロック図である。 ディスプレイシステムの例を示す図である。 本技術の処理の例を説明する図である。 本技術の処理の他の例を説明する図である。 本技術の画像処理装置の画像処理を説明するフローチャートである。 計測・推定・統合処理について説明するフローチャートである。 視環境情報に基づく処理について説明するフローチャートである。 被写体の材質に基づく反射特性調整処理について説明するフローチャートである。 視線情報に基づく処理について説明するフローチャートである。 操作情報に基づく反射特性調整処理について説明するフローチャートである。 デバイス情報に基づく出力制御処理について説明するフローチャートである。 デバイス情報に基づく出力制御処理について説明するフローチャートである。 デバイス情報に基づく出力制御処理について説明するフローチャートである。 デバイス情報に基づく出力制御処理について説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本技術の概要
２．構成例
３．実施例
４．処理例
５．コンピュータの構成例

＜１．本技術の概要＞
[本技術のコンセプト]
図１を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。

実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material information)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光（照明: lighting）、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。

これらの物理的情報は、カメラのセンサに入るので、画像（2DImage）から抽出される情報（画像統計量、拡散／鏡面反射成分、撮影時の照明情報）を基に、被写体の特性情報（被写体の領域情報や認識情報）として推定し、取得することができる。

なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト（被写体）ベースの処理である。

したがって、本技術においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体（の表面）の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。

さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報（知覚:hyperacuity）にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。

このように、本技術においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質（物理的要因）に対して生じる人間の心理的感覚（心理的要因）のことである。

すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。

したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。

さらに、本技術においては、画像出力だけでなく、さまざまな出力デバイスに対応し、出力デバイスの情報を解析して、質感制御が、出力画像だけでなく、出力画像に関する付加情報にも行われる。

これにより、被写体の特性情報を解析した結果を画像以外の情報として出力することができるので、よりリアルな映像表現が可能となる。

また、本技術においては、複数の出力デバイスに対応し、出力デバイスの情報を解析して、質感制御が、特徴の異なる複数の出力画像にも行われる。

これにより、ライトフィールドディスプレイやDFD (Depth-fused Display)のようなハイブリッドディスプレイなど、様々なディスプレイに対応することができるので、よりリアルな映像表現が可能となる。

なお、この出力画像、付加情報を出力デバイスに入力することで、付加情報をデバイス制御として用いることが可能となる。

また、画像の表示中に行われるユーザの操作情報や視線情報、視聴情報は、画像の表示中に行われるユーザの動作に関する動作情報であるので、以下、まとめて、ユーザ動作情報とも称する。

[本技術の質感制御方法]
次に、図２を参照して、本技術の質感制御方法について説明する。

まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック１に入力される。計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。

取得された被写体の物理特性パラメータは、実世界モデリングブロック２において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック３に入力される。

質感制御ブロック３においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量（テクスチャ）に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック３においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更（制御）される。

また、質感制御ブロック３においては、画像の表示中に行われるユーザの動作に関するユーザ動作情報（例えば、操作情報や視線情報、視聴情報）が取得解析され、その質感制御に用いられる。さらに、画像出力以外の出力デバイスや特徴の異なる複数の画像出力デバイスの情報が解析され、質感制御に用いられる。

レンダリング・レタッチブロック４においては、質感が制御された結果（変更されたパラメータ）に応じて、画像を再構成するために、画像が再合成（レンダリング）され、画質が微調整された結果の画像が１または複数（画像出力デバイス数に応じて）出力される。また、質感制御に応じて、画像に関連する、画像以外の情報である付加情報が生成され、生成された付加情報に応じて、画像出力以外の出力デバイスに出力される。

以上の処理により、本技術によれば、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。

また、本技術によれば、ユーザ動作情報（ユーザのインタラクション）に応じて、画質や表示方法が変化されるので、被写体の触感など見た目以外の感覚も提供することができる。

さらに本技術によれば、画像出力だけでなく、さまざまな出力デバイスに対応し、出力デバイスの情報が解析され、質感制御が、出力画像だけでなく、出力画像に関する付加情報にも行われる。また、本技術によれば、１つの画像出力だけでなく特徴の異なる複数の画像出力に対しても、質感制御が行われる。これにより、よりリアルな映像表現が可能となる。

＜２．装置の構成例＞
［画像処理装置の構成例］
図３は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。

図３に示される画像処理装置１１は、上述したように、実世界の被写体が撮影されて入力された画像における被写体に関する物理特性パラメータを取得し、ユーザ（視聴者）の動作情報を取得する。また、画像処理装置１１は、画像出力だけでなく、さまざまな出力デバイスを備え、その出力デバイスの情報も解析し、物理特性パラメータや動作情報、それらの出力デバイスの解析結果に応じて、画像における被写体の質感を制御し、被写体の質感が制御された画像や画像に関連する付加情報を出力する。

画像処理装置１１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、画像合成部２７、および動作環境情報解析部２８を含むように構成されている。さらに、画像処理装置１１は、事前知識データベース２９、付加情報生成部３０、デバイス３１−１、デバイス３１−２、およびデバイス情報解析部３３を含むように構成されている。

撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、図２の計測・推測ブロック１に対応している。特性情報統合部２４は、図２の実世界モデリングブロック２に対応している。特性制御部２６は、図２の質感制御ブロック３に対応している。画像合成部２７は、レンダリング・レタッチブロック４に対応している。

撮影環境情報取得部２１は、被写体の画像を撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。

撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、特性情報統合部２４に供給する。

被写体特性解析部２３は、撮影環境情報取得部２１からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部２４に供給する。被写体特性解析部２３においては、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、画像から推定することで取得することができる。

特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部２６および事前知識データベース２９に供給する。

視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境情報を、視環境パラメータとして、特性制御部２６に供給する。

特性制御部２６は、制御パラメータとして、特性情報統合部２４からの被写体に関する物理特性パラメータと、視環境情報解析部２５からの視環境パラメータと、動作環境情報解析部２８からの動作環境パラメータと、デバイス情報解析部３３からのデバイス情報を用いる。具体的には、例えば、特性制御部２６は、物理特性パラメータおよびデバイス情報に基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部２６は、決定した処理内容の情報を、画像合成部２７および付加情報生成部３０に供給し、画像合成部２７および付加情報生成部３０に質感制御を行わせる。また、特性制御部２６は、視環境パラメータや動作環境パラメータおよびデバイス情報に応じて、画像合成部２７およびに質感制御を行わせ、質感制御を最適化する。すなわち、画像処理装置１１においては、デバイス３１−１の画像出力に加えて、デバイス３１−２からの画像以外の付加的な出力で、よりリアルな映像表現が可能となる。

画像合成部２７は、特性制御部２６の制御のもと、撮影環境情報取得部２１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像としてデバイス３１−１に出力する。

動作環境情報解析部２８は、画像の表示中に行われる、画像に対するユーザの動作環境情報を取得し、解析する。

なお、動作環境情報としては、視聴者の視線情報、タッチパネルやマウスなどの操作部を用いた操作情報、およびディスプレイに付与されるセンサ情報、およびユーザの視聴時間情報があげられる。視聴者の視線情報の例としては、注視領域の位置や大きさの情報、瞬き回数の情報などがある。操作情報の例としては、タッチ位置、ポインタ位置、フリックの大きさ、ジェスチャ認識による腕の動かし方などの情報がある。センサ情報としては、ディスプレイの傾きや動かしたときの速度などの情報がある。

動作環境情報解析部２８は、解析した動作環境情報を、動作環境パラメータとして、特性制御部２６に供給する。

事前知識データベース２９は、被写体の、宝石や金属部分、水、革などの材質情報、大きさ、硬さなど画像以外の情報を保持している。例えば、事前知識データベース２９では、特性情報統合部２４から供給される被写体に関する物理特性パラメータに基づいて、机、宝石、金属などが検索されて、検索された机、宝石、金属の触感、音情報などが付加情報生成部３０に供給される。すなわち、この事前知識データベース２９の情報は、付加情報を生成する際に、デバイス情報解析部３３においてデバイスの情報が取得されなかった場合や、デバイスの情報が解析されなかった場合などに用いられる。

付加情報生成部３０は、決定した処理内容の情報（質感制御）に基づいて、画像の被写体の、例えば、音や振動、触覚などの付加的な情報であり、デバイス３１−２を制御するための付加情報を生成し、生成した付加情報を、デバイス３１−２に供給する。すなわち、付加情報生成部３０は、被写体の特性情報を解析した結果を、画像以外の付加情報として出力する。例えば、付加情報としては、被写体の質感を表現する音や触覚情報であったり、鏡面反射成分の情報であったり、ガンマ特性情報や色情報などがあげられる。

デバイス３１−１は、例えば、LCD(liquid crystal display)などで構成され、画像合成部２７からの出力画像を表示する。また、デバイス３１−１は、例えば、自己がLCDであり、画像を表示するなどのデバイスとしての機能や性能の情報を、デバイス情報解析部３３に供給する。

デバイス３１−２は、画像以外の、画像の被写体に関しての音、振動、触覚など付加的な情報である付加情報を出力するデバイスで構成される。例えば、デバイス３１−２は、音を出力するスピーカや、デバイス３１−１に積層され、ユーザのタッチ操作の際に空気や振動、温度などを出力することで、ユーザに触感、触覚を与えるデバイスで構成される。

デバイス情報解析部３３は、デバイス３１−１およびデバイス３１−２からのデバイスの性能や機能の情報を取得、解析し、解析したデバイスの情報を、特性制御部２６に供給する。

なお、制御パラメータは、撮影環境情報解析部２２からの撮影時情報と被写体特性解析部２３からの画像推定情報とが統合された被写体に関する物理特性パラメータ、および視環境情報解析部２５からの視環境パラメータとで構成されている。

被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。

視環境パラメータは、視環境光情報を含むように構成されている。

［画像処理装置の他の構成例］
図４は、本開示を適用した画像処理装置の他の実施の形態の構成を表している。図４の例においては、画像処理装置５１は、１つの画像出力だけでなく、特徴の異なる複数の画像出力に対しても、画像における被写体の質感を制御し、被写体の質感が制御された画像を出力する。したがって、入力画像としては、１画像に限らず、多視点画像が入力されてもよい。

図４に示される画像処理装置５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、およびデバイス情報解析部３３を備える点が、図３の画像処理装置１１と共通している。

画像処理装置５１は、事前知識データベース２９と付加情報生成部３０が除かれた点と、画像合成部２７−１乃至２７−２、デバイス３１−１乃至３１−２が、画像合成部２７−１乃至２７−Ｎ、デバイス３１−１乃至３１−Ｎ（Ｎ＞１）に変更された点が、図３の画像処理装置１１と異なっている。

すなわち、デバイス３１−１乃至３１−Ｎは、例えば、図５のＡに示されるDFD(Depth-fused Display：多層ディスプレイ)、図５のＢに示される複数プロジェクタ、または図５のＣに示されるライトフィールドディスプレイやのようなハイブリッドディスプレイなどのディスプレイシステムを構成する各ディスプレイ（または画素）で構成される。なお、デバイス３１−１乃至３１−Ｎは、それぞれ、同種のデバイスである場合もあるし、異なる種類のデバイスである場合もある。

多層ディスプレイは、図５のＡに示されるように、前面と後面にディスプレイを有し、奥行き方向の融合としては、前面と後面に重なり合う配置の物体を表示することで、３Ｄ像を知覚することができるものである。また、連続的な奥行き表現としては、前面においては、輝度比を、暗くから明るくまで3段階で変化させた物体を表示し、後面においては、輝度比を、明るくから暗くまで3段階で変化させた物体を全面に重ねて表示することで、前面において明るい輝度の物体を手前に知覚し、前面において暗い輝度の物体を奥に知覚することができるものである。

複数プロジェクタは、図５のＢに示されるように、１つの表示面に、複数のプロジェクタが光を投影し、それをカメラなどでセンシングし、センシングした情報を、解析＆信号処理して、各プロジェクタにフィードバックし、映像を調整するものである。

ライトフィールドとは、空間に存在する光線すべてを扱う方法で、光線が進む方向までも考慮されている。通常のカメラは2次元平面上での光線強度を得るが、ライトフィールドに対応しているカメラは、ある位置において、どの方向に光線が飛んで行ったかまでも4次元（原理的には5次元）で記録することができる。ライトフィールドディスプレイは、この「光線の方向」を制御（再現して実現）することが可能なディスプレイである。

例えば、ライトフィールドディスプレイの場合、ライトフィールドディスプレイを構成する各ディスプレイ（または画素）においては、輝度情報に加えて、光線情報がそれぞれ異なっている。例えば、DFDの場合、DFDを構成する各ディスプレイにおいては、輝度情報に加えて、奥行き情報がそれぞれ異なっている。

したがって、特性制御部２６は、特性情報統合部２４からの物理特性パラメータと、デバイス情報解析部３３からの各デバイス３１−１乃至３１−Ｎからの情報（例えば、位置情報、奥行き情報、光線情報）などに基づいて、ディスプレイシステムとして質感を制御するための、各ディスプレイの処理内容を決定する。そして、特性制御部２６は、決定した質感制御を、画像合成部２７−１乃至２７−Ｎに行わせる。

画像合成部２７−１乃至２７−Ｎは、特性制御部２６の制御のもと、撮影環境情報取得部２１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として、それぞれ対応するデバイス３１−１乃至３１−Ｎに出力する。

デバイス３１−１乃至３１−Ｎは、例えば、図５を参照して上述した例を代表して、DFD(Depth-fused Display)のようなハイブリッドディスプレイなどのディスプレイシステムを構成する各ディスプレイで構成される。デバイス３１−１乃至３１−Ｎは、対応する画像合成部２７−１乃至２７−Ｎからの出力画像を表示する。また、デバイス３１は、例えば、各自の機能や性能情報、位置情報、光線情報、方向情報、奥行き情報などの個々のデバイス情報を、デバイス情報解析部３３に供給する。

デバイス情報解析部３３は、デバイス３１−１乃至３１−Ｎからのデバイス情報を解析し、特性制御部２６に供給する。

＜３．実施例＞
次に、図６を参照して、画像処理装置５１における処理例について説明する。図６の例においては、処理例として、出力対象、出力対象から出力される複数の情報出力、それに対応する効果が示されている。

例えば、出力対象（デバイス３１−１乃至３１−Ｎ）が、多層ディスプレイの場合、複数の情報出力としては、手前側の被写体の画像と奥側の被写体の画像に分けることができ、その効果としては、立体感の強調を得ることが可能である。また、複数の情報出力として、拡散反射成分と鏡面反射成分とで出力するように分けることができ、その効果としては、ダイナミックレンジを活かした光沢感を向上させることができる。また、複数の情報出力として、物体側と光源色とにわけることができ、その効果としては、変化しない物体色を電子ペーパで表示し、差分をLCD表示することで、低消費電力化を図ることができる。

出力対象が、マルチプロジェクタの場合、複数の情報出力として、拡散反射成分と鏡面反射成分に分けることができ、その効果として、ダイナミックレンジを活かした光沢感の向上を図ることができる。

出力対象がLCDやOLED(有機エレクトロルミネッセンス)の場合、複数の情報出力として、拡散反射成分と鏡面反射成分に分けることができ、その効果として、鏡面反射成分抑制により視認性を保ちつつ、低消費電力化・焼き付き防止を行うことができる。

出力対象が触覚ディスプレイの場合、複数の情報出力として、ストラクチャ成分とテクスチャ成分とに分けることができ、その効果として、テクスチャ成分を利用した触覚の再現を行うことができる。

出力対象が、映像＋音声の場合、複数の情報出力として、映像と材質に応じた音声とに分けることができ、その効果として、被写体に対応する音声を出力することができる。複数の情報出力として、輝度情報と色情報（波長）に分けることができ、また、フォーカスがあっている、あっていないに分けることができ、高周波成分と低周波成分に分けることができる。

また、図７は、他の処理例について説明する図である。図７の例においては、処理例として、利用する被写体の特性、複数デバイス（デバイス３１−１乃至３１−Ｎ）の種類（同種の場合と異種の場合）およびそれらの画素の位置（同位置か画素ずらしか）と、その効果が示されている。

被写体の特性として、波長のうち、輝度・色を、同位置の複数のプロジェクタ（すなわち、同種）で使用することで、色再現性向上の効果が得られる。

被写体の特性として、波長のうち、光源色・物体色を、同位置の複数のプロジェクタ（すなわち、同種）で使用することで、色再現性向上の効果が得られる。また、被写体の特性として、波長のうち、光源色・物体色を利用し、物体色を電子ペーパ、光源色をLCDに同位置で表示することで、低消費電力化の効果が得られる。なお、この処理例の詳細は、処理例ｅ3として、図１６を参照して後述される。

被写体の特性として、周波数成分を、周波数成分毎に、同位置の複数のプロジェクタ（同種）で使用することで、色再現向上の効果が得られる。被写体の特性として、周波数成分を、周波数成分毎に、画素ずらしの複数のプロジェクタ（同種）で使用することで、解像度向上の効果が得られる。

被写体の特性として、周波数成分毎に、低周波を、解像度の低いデバイスで、高周波を、解像度の高いデバイスで、同位置または画素ずらしで使用することで、解像感向上の効果が得られる。

被写体の特性として、周波数成分のうち、テクスチャ、ストラクチャ（形状）を利用し、同種で同位置のLCDやOLEDにおいてテクスチャを全面に表示することで、立体感強調の効果が得られる。また、被写体の特性として、周波数成分のうち、テクスチャ、ストラクチャ（形状）を利用し、テクスチャを、触覚ディスプレイで、ストラクチャを、LCDやOLEDで、同位置で使用することで、触覚を再現することができる。なお、この処理例の詳細は、処理例ｅ2として、図１５を参照して後述される。

被写体の特性として、周波数成分のうち、フォーカスを利用し、同位置において、フォーカスの合っていない部分を背面に、フォーカスの合っている部分を前面に用いることで、立体感強調の効果が得られる。

被写体の特性として、周波数成分のうち、フォーカスを利用し、同位置において、フォーカスの合っていない部分を解像度の低いデバイスに、フォーカスの合っている部分を解像度の高いデバイスに用いることで、解像感向上の効果が得られる。

被写体の特性として、周波数成分のうち、露出を利用し、同種同位置において、露出の異なる映像を統合することで、ダイナミックレンジ向上の効果が得られる。

被写体の特性として、反射成分のうち、鏡面反射・拡散反射を同位置の複数のプロジェクタ（同種）で使用することで、鏡面反射強調により光沢感向上の効果が得られる。なお、この処理例の詳細は、処理例ｅ1として、図１４を参照して後述される。

被写体の特性として、反射成分のうち、鏡面反射を前面に、拡散反射を背面に同位置で表示することで、光沢感向上および立体感強調の効果が得られる。

被写体の特性として、反射成分のうち、鏡面反射・拡散反射を利用し、同位置のLCDにやOLEDにおいて、鏡面反射抑制することで、低消費電力および焼き付き防止の効果が得られる。

被写体の特性として、反射成分のうち、鏡面反射・拡散反射を利用し、同位置のHMD（ヘッドマウントディスプレイ）のL,Rにおいて、鏡面反射強調の程度および視差を変えて表示することで、光沢感向上の効果が得られる。

被写体の特性として、反射成分のうち、鏡面反射をピーク輝度が高いデバイスに、拡散反射をピーク輝度が低いデバイスに同位置で表示することで、ダイナミックレンジ向上の効果が得られる。なお、この処理例の詳細は、処理例ｅ4として、図１７を参照して後述される。

被写体の特性として、反射成分のうち、相互反射を利用し、透明ディスプレイに、相互反射、LCDにそれ以外を同位置で表示することで、透明感向上の効果が得られる。

被写体の特性として、深度・奥行きのうち、深度毎に、同種で同位置のLCDやOLEDにおいて手前ほど前面に表示することで、立体感強調の効果が得られる。

被写体の特性として、深度・奥行きのうち、深度毎に、背景部分を解像度の低いデバイスに、前景部分を解像度の高いデバイスに、同位置で表示することで、解像感向上の効果が得られる。

被写体の特性として、深度・奥行きのうち、注目被写体を利用し、同種で同位置のLCDやOLEDにおいて注目被写体を前面に表示することで、立体感強調の効果が得られる。

被写体の特性として、深度・奥行きのうち、注目被写体を利用し、注目被写体を前面のモバイルディスプレイに、背景を大画面ディスプレイに同位置で表示することで、立体感強調の効果が得られる。

被写体の特性として、時間方向の動体、静物を利用し、静物を電子ペーパに、動体をLCDに、同位置に表示することで、低消費電力化の効果が得られる。

被写体の特性として、その他、音声情報、味覚情報、嗅覚情報、意味（テキスト）を利用し、映像をディスプレイに、被写体に関連する音声をスピーカに、視覚の補助を出力するデバイスに、同位置に表示することで、よりリアルな映像表現を行うことができる。

＜４．処理例＞
［画像処理の例］
次に、図８のフローチャートを参照して、図４の画像処理装置５１の画像処理について説明する。

ステップＳ１１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ１２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理の詳細は、図９を参照して後述される。ステップＳ１２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部２６に供給される。

ステップＳ１３において、視環境情報解析部２５および特性制御部２６は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理の詳細は、図１０を参照して後述される。ステップＳ１３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ１４において、特性制御部２６は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図１１を参照して後述される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ１４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ１５において、動作環境情報解析部２８および特性制御部２６は、ユーザ動作情報に含まれる視線情報に基づく処理を行う。この視線情報に基づく処理は、図１２を参照して後述される。ステップＳ１５の処理により、視線情報に基づく質感制御の処理内容が決定される。

ステップＳ１６において、動作環境情報解析部２８および特性制御部２６は、ユーザ動作情報に含まれる操作情報に基づく処理を行う。この操作情報に基づく処理は、図１３を参照して後述される。ステップＳ１６の処理により、操作情報に基づく質感制御の処理内容が決定される。

ステップＳ１７において、特性制御部２６およびデバイス情報解析部３３は、デバイス情報に基づく出力制御処理を行う。このデバイス情報に基づく出力制御処理は、図１４乃至図１７を参照して後述される。

ステップＳ１７の出力制御により、デバイス情報に応じて質感が制御され、質感が制御された被写体の画像が、デバイス３１−１乃至３１−Ｎ（Ｎ＞１）に出力される。なお、図３の画像処理装置１１の場合には、ステップＳ１７の出力制御により、質感が制御された被写体の画像が、デバイス３１−１から出力され、画像に関する付加情報がデバイス３１−２から出力される。

以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、ＣＧ（コンピュータグラフィックス）のように、被写体を実際に見たときの状況を映像で再現することができる。

以上により、本技術においては、被写体に関する物理特性パラメータ（形状、反射特性、照明など）を計測、測定し、それらの特性を制御することで、映像品質を向上させることができる。

また、デバイス情報に応じて、複数の画像や画像に関連する情報を出力することができるので、実物がそこにあるような質感をより再現することができる。例えば、DFDの表示などで、奥行き感などを提供することができたり、または、触感など、見た目以外の感覚も提供することができる。

次に、図９のフローチャートを参照して、図８のステップＳ１２の計測・推定・統合処理について説明する。

ステップＳ３１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部２４に供給する。

ステップＳ３２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性と材質を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性と材質を解析し、解析した被写体の反射特性と材質を、特性情報統合部２４に供給する。

ステップＳ３３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部２４に供給する。

ステップＳ３４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部２４に供給する。

ステップＳ３５において、特性情報統合部２４は、計測された撮影環境光の情報と推定された撮影環境光の情報とを統合する。特性情報統合部２４は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部２６に供給する。

ステップＳ３６において、特性制御部２６は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。

ステップＳ３７において、被写体特性解析部２３は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部２４に供給する。

ステップＳ３８において、特性情報統合部２４は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを統合する。特性情報統合部２４は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部２６に供給する。

ステップＳ３９において、特性情報統合部２４は、計測された被写体の材質の情報と推定された被写体の材質の情報とを統合する。特性情報統合部２４は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部２６に供給する。

ステップＳ４０において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部２４に供給する。

ステップＳ４１において、特性情報統合部２４は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、統合する。特性情報統合部２４は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部２６に供給する。

以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状に加えて、さらに、被写体の材質などが計測され、また、それらが入力画像から推定され、それらの情報が信頼性に基づいて統合される。このようにして統合された物理特性パラメータが質感制御に用いられるので、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。

次に、図１０のフローチャートを参照して、図８のステップＳ１３の視環境情報に基づく処理について説明する。

ステップＳ６１において、視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部２６に供給する。

特性制御部２６には、被写体特性解析部２３から撮影時の画像の絶対輝度情報も推定され、特性制御部２６に供給されている。ステップＳ６２において、特性制御部２６は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップＳ６２において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、特性制御部２６は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップＳ６３において、視環境光が明るいと判定された場合、処理は、ステップＳ６４に進む。この場合、暗く見える可能性があるので、ステップＳ６４において、特性制御部２６は、画像合成部２７を制御し、質感制御として、コントラスト調整値を高めに設定させる。

ステップＳ６３において、視環境光が暗いと判定された場合、ステップＳ６４はスキップされ、処理は、ステップＳ６７に進む。

ステップＳ６２において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップＳ６５に進む。ステップＳ６５において、特性制御部２６は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。

ステップＳ６５において、視環境光が暗いと判定された場合、処理は、ステップＳ６６に進む。ステップＳ６６において、特性制御部２６は、画像合成部２７を制御し、質感制御として、コントラスト調整値を低めに設定させる。

ステップＳ６５において、視環境光が明るいと判定された場合、ステップＳ６６はスキップされ、処理は、ステップＳ６７に進む。

ステップＳ６７において、特性制御部２６は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ６７において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップＳ６７において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ６２に戻り、それ以降の処理が繰り返される。

以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図１１のフローチャートを参照して、図８のステップＳ１４における材質に基づく反射特性調整処理について説明する。

ステップＳ８１において、特性制御部２６は、特性情報統合部２４からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ８１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ８２に進む。

ステップＳ８２において、特性制御部２６は、質感制御として、鏡面反射成分を強調させるように決定する。ステップＳ８１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ８３に進む。

特性制御部２６は、ステップＳ８３において、拡散反射成分が大きいか否かを判定する。ステップＳ８３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ８４に進む。ステップＳ８４において、特性制御部２６は、質感制御として、拡散反射成分を低減させるように決定する。

ステップＳ８３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ８５に進む。

ステップＳ８５において、特性制御部２６は、特性情報統合部２４により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップＳ８５において、鏡面反射が強い材質であると判定された場合、処理は、ステップＳ８６に進む。ステップＳ８６において、特性制御部２６は、質感制御として、鏡面反射成分を強調させるように決定する。

ステップＳ８５において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップＳ８７に進む。ステップＳ８７において、特性制御部２６は、質感制御として、鏡面反射成分を低減させるように決定する。

ステップＳ８８において、特性制御部２６は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ８８において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ８８において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。

以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図１２のフローチャートを参照して、図８のステップＳ１５の視線情報に基づく処理について説明する。

ステップＳ１０１において、動作環境情報解析部２８は、動作環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。動作環境情報解析部２８は、解析した動作環境の情報を、動作環境パラメータとして、特性制御部２６に供給する。

ステップＳ１０２において、特性制御部２６は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップＳ１０２において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップＳ１０３に進む。

ステップＳ１０３において、特性制御部２６は、画像合成部２７を制御し、質感制御として、例えば、これまでの処理（すなわち、視環境情報、材質に基づく処理など）の画質調整値を弱めに再設定させる。

ステップＳ１０２において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップＳ１０３はスキップされ、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、特性制御部２６は、全画素について処理が終了したか否かを判定する。

ステップＳ１０４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１０４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１０２に戻り、それ以降の処理が繰り返される。

以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図１３のフローチャートを参照して、図８のステップＳ１６の操作情報に基づく処理について説明する。

ステップＳ１２１において、動作環境情報解析部２８は、動作環境の情報として、例えば、ユーザの操作情報（フリックなど）を取得し、解析する。動作環境情報解析部２８は、解析した動作環境の情報を、動作環境パラメータとして、特性制御部２６に供給する。

ステップＳ１２２において、特性制御部２６は、対象画素が、ユーザの触れた領域であるか否かを判定する。ステップＳ１２２において、ユーザの触れた領域であると判定された場合、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、特性制御部２６は、画像合成部２７を制御し、質感制御として、これまでの処理（すなわち、視環境情報、反射特性、視線情報に基づく処理）の画質調整値を強めに再設定させる。

ステップＳ１２２において、対象画素が、ユーザの触れた領域でないと判定された場合、ステップＳ１２３はスキップされ、処理は、ステップＳ１２４に進む。

ステップＳ１２４において、特性制御部２６は、全画素について処理が終了したか否かを判定する。

ステップＳ１２４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１２４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１２２に戻り、それ以降の処理が繰り返される。

以上のように、動作環境のうち、ユーザの操作情報に応じて、画像の反射特性の調整が行われる。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がより一層行われる。すなわち、実物がそこにあるような質感をより再現することができる。

また、以上のように、ユーザの操作、表示デバイスとのインタラクションに応じて、上述したような制御を行うことにより、被写体の触感など見た目以外の高次の感覚などを提供することができる。

感覚が強調されるので、小画面で表示時であってもよりリアルな感覚を表現できる。

なお、この処理は、操作情報の代わりに、視線情報として、ユーザの視線領域であるかを判定することでも実行可能である。すなわち、視線検出による注目領域やタッチポジションによる指定領域のみに対して処理を行うことができるので、部分的に鏡面反射成分を強調したりすることができる。逆に、眩しい映像だと感じたら、眩しくないように鏡面反射成分を抑制することができる。

さらに、長時間視聴時に徐々に鏡面反射成分を抑制して、低消費電力化を実現することができる。

次に、図１４のフローチャートを参照して、図８のステップＳ１７のデバイス情報に基づく出力制御処理について説明する。なお、図１４の例は、図７を参照して上述した処理例e1について説明するものであり、図４の画像処理装置５１により行われる処理である。

ステップＳ１４１において、デバイス情報解析部３３は、デバイス３１−１乃至３１−Ｎからデバイス情報を取得し、取得したデバイス情報を、特性制御部２６に供給する。

ステップＳ１４２において、特性制御部２６は、デバイス情報解析部３３からのデバイス情報に基づいて、マルチプロジェクタであるか否かを判定する。ステップＳ１４２において、マルチプロジェクタであると判定された場合、処理は、ステップＳ１４３に進む。

特性制御部２６は、ステップＳ１４３において、図８のステップＳ１４において決定された処理内容、すなわち、鏡面反射成分制御結果と拡散反射成分制御結果を分離して、各プロジェクタ（デバイス３１−１乃至３１−Ｎ）に出力させる。すなわち、特性制御部２６は、各デバイス３１−１乃至３１−Ｎに出力させるために、各デバイス３１−１乃至３１−Ｎに対応する画像合成部２７−１乃至２７−Ｎに、鏡面反射成分制御結果と拡散反射成分制御結果が分離された処理内容を出力する。これに応じて、画像合成部２７−１乃至２７−Ｎは、決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−１乃至３１−Ｎに出力させる。

一方、ステップＳ１４２において、マルチプロジェクタではないと判定された場合、処理は、ステップＳ１４４に進む。すなわち、マルチプロジェクタではないので、画像合成部２７−１およびデバイス３１−１のみが出力対象である。

したがって、ステップＳ１４４において、画像合成部２７−１は、図８のステップＳ１３乃至Ｓ１６により決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−１に出力させる。

以上のように、マルチプロジェクタを出力デバイスとして備える場合、被写体の特性として、反射成分のうち、鏡面反射・拡散反射を同位置の複数のプロジェクタで使用するようにしたので、鏡面反射強調により光沢感向上の効果が得られる。

次に、図１５のフローチャートを参照して、図８のステップＳ１７のデバイス情報に基づく出力制御処理の他の例について説明する。なお、図１５の例は、図７を参照して上述した処理例e2について説明するものであり、図３の画像処理装置１１により行われる処理である。

ステップＳ１６１において、デバイス情報解析部３３は、デバイス３１−１および３１−２からデバイス情報を取得し、取得したデバイス情報を、特性制御部２６に供給する。

ステップＳ１６２において、特性制御部２６は、デバイス情報解析部３３からのデバイス情報に基づいて、ハイブリッドディスプレイ（触感ディスプレイ＋LCD）であるか否かを判定する。例えば、デバイス３１−１がLCDディスプレイであり、デバイス３１−２が、触感ディスプレイである場合、ステップＳ１６２において、ハイブリッドディスプレイであると判定され、処理は、ステップＳ１６３に進む。

特性制御部２６は、ステップＳ１６３において、特性情報統合部２４からの物理特性パラメータのうち、被写体の形状情報から、テクスチャ成分とストラクチャ成分を推定する。

ステップＳ１６４において、特性制御部２６は、ステップＳ１６３により推定されたテクスチャ成分を、触感ディスプレイ（デバイス３１−２）に出力させる。すなわち、触感ディスプレイ（デバイス３１−２）に出力させるために、特性制御部２６は、付加情報生成部３０にテクスチャ成分が示された処理内容を出力する。これに対応して、付加情報生成部３０は、テクスチャ成分の触感を出させるための付加情報を生成し、生成した付加情報をデバイス３１−２に出力する。これにより、触感ディスプレイであるデバイス３１−２は、テクスチャ成分の触感に対応する出力を行うことができる。

なお、付加情報を生成する際に、テクスチャ成分の触感に関する情報が少ない場合、事前知識データベース２９より情報を得るようにしてもよい。

ステップＳ１６５において、特性制御部２６は、ステップＳ１６３により推定されたストラクチャ成分を、LCDディスプレイ（デバイス３１−１）に出力させる。すなわち、LCDディスプレイ（デバイス３１−１）に出力させるために、特性制御部２６は、画像合成部２７にストラクチャ成分が示された処理内容を出力する。これに対応して、画像合成部２７は、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。これにより、LCDディスプレイであるデバイス３１−１は、ストラクチャ成分に対応する出力を行うことができる。

一方、ステップＳ１６２において、ハイブリッドディスプレイではないと判定された場合、処理は、ステップＳ１６６に進む。すなわち、ハイブリッドディスプレイではないので、画像合成部２７およびデバイス３１−１のみが出力対象である。

したがって、ステップＳ１６６において、画像合成部２７は、図８のステップＳ１３乃至Ｓ１６により決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−１に出力させる。

以上のように、触感ディスプレイとLCDからなるハイブリッドディスプレイを出力デバイスとして備える場合、被写体の特性として、反射成分のうち、鏡面反射・拡散反射を同位置の複数のプロジェクタで使用するようにしたので、鏡面反射強調により光沢感向上の効果が得られる。

次に、図１６のフローチャートを参照して、図８のステップＳ１７のデバイス情報に基づく出力制御処理の他の例について説明する。なお、図１５の例は、図７を参照して上述した処理例e3について説明するものであり、図４の画像処理装置１１により行われる処理である。

ステップＳ１８１において、デバイス情報解析部３３は、デバイス３１−１および３１−２からデバイス情報を取得し、取得したデバイス情報を、特性制御部２６に供給する。

ステップＳ１８２において、特性制御部２６は、デバイス情報解析部３３からのデバイス情報に基づいて、ハイブリッドディスプレイ（電子ペーパ＋LCD）であるか否かを判定する。例えば、デバイス３１−１がLCDディスプレイであり、デバイス３１−２が電子ペーパである場合、ステップＳ１８２において、ハイブリッドディスプレイであると判定され、処理は、ステップＳ１８３に進む。

特性制御部２６は、ステップＳ１８３において、特性情報統合部２４からの物理特性パラメータのうち、被写体の、撮影環境光、反射特性、形状情報から、物体色成分／光源色成分を推定する。

ステップＳ１８４において、特性制御部２６は、ステップＳ１８３により推定された物体色成分を、電子ペーパ（デバイス３１−２）に出力させる。すなわち、電子ペーパ（デバイス３１−２）に出力させるために、特性制御部２６は、付加情報生成部３０に物体色成分が示された処理内容を出力する。これに対応して、付加情報生成部３０は、物体色成分を出力させるための付加情報を生成し、生成した付加情報をデバイス３１−２に出力する。これにより、電子ペーパであるデバイス３１−２は、物体色成分を出力することができる。

なお、付加情報を生成する際に、物体色成分に関する情報が少ない場合、事前知識データベース２９より情報を得るようにしてもよい。

ステップＳ１８５において、特性制御部２６は、ステップＳ１８３により推定された光源色成分を、LCDディスプレイ（デバイス３１−１）に出力させる。すなわち、LCDディスプレイ（デバイス３１−１）に出力させるために、特性制御部２６は、画像合成部２７にストラクチャ成分が示された処理内容を出力する。これに対応して、画像合成部２７は、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。これにより、LCDディスプレイであるデバイス３１−１は、ストラクチャ成分に対応する出力を行うことができる。

一方、ステップＳ１８２において、ハイブリッドディスプレイではないと判定された場合、処理は、ステップＳ１８６に進む。すなわち、ハイブリッドディスプレイではないので、画像合成部２７およびデバイス３１−１のみが出力対象である。

したがって、ステップＳ１８６において、画像合成部２７は、図８のステップＳ１３乃至Ｓ１６により決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−１に出力させる。

以上のように、電子ペーパとLCDからなるハイブリッドディスプレイを出力デバイスとして備える場合、被写体の特性として、波長のうち、光源色・物体色を利用し、物体色を電子ペーパ、光源色をLCDに同位置で表示するようにしたので、低消費電力化の効果を得ることができる。

次に、図１７のフローチャートを参照して、図８のステップＳ１７のデバイス情報に基づく出力制御処理について説明する。なお、図１４の例は、図７を参照して上述した処理例e4について説明するものであり、図４の画像処理装置５１により行われる処理である。

ステップＳ２０１において、デバイス情報解析部３３は、デバイス３１−１乃至３１−Ｎからデバイス情報を取得し、取得したデバイス情報を、特性制御部２６に供給する。

ステップＳ２０２において、特性制御部２６は、デバイス情報解析部３３からのデバイス情報に基づいて、異種マルチプロジェクタであるか否かを判定する。ステップＳ２０２において、異種マルチプロジェクタであると判定された場合、処理は、ステップＳ２０３に進む。

特性制御部２６は、ステップＳ２０３において、図８のステップＳ１４において決定された処理内容のうち、鏡面反射成分制御結果を、ピーク輝度が高いプロジェクタ（デバイス３１−１）に出力させる。すなわち、特性制御部２６は、デバイス３１−１に出力させるために、デバイス３１−１に対応する画像合成部２７−１に、鏡面反射成分制御結果が示される処理内容を出力する。これに応じて、画像合成部２７−１は、決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−１に出力させる。

また、特性制御部２６は、ステップＳ２０４において、図８のステップＳ１４において決定された処理内容のうち、拡散反射成分制御結果を、ピーク輝度が低いプロジェクタ（デバイス３１−２）に出力させる。すなわち、特性制御部２６は、デバイス３１−２に出力させるために、デバイス３１−２に対応する画像合成部２７−２に、拡散反射成分制御結果が示される処理内容を出力する。これに応じて、画像合成部２７−２は、決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−２に出力させる。

一方、ステップＳ２０２において、異種マルチプロジェクタではないと判定された場合、処理は、ステップＳ２０５に進む。すなわち、異種マルチプロジェクタではないので、画像合成部２７−１およびデバイス３１−１のみが出力対象である。

したがって、ステップＳ２０５において、画像合成部２７−１は、図８のステップＳ１３乃至Ｓ１６により決定された質感制御の処理内容に基づいて、入力画像を再合成し、再合成した画像を、対応する各デバイス３１−１に出力させる。

以上のように、異種マルチプロジェクタを出力デバイスとして備える場合、被写体の特性として、反射成分のうち、鏡面反射をピーク輝度が高いデバイスに、拡散反射をピーク輝度が低いデバイスに同位置で表示するようにしたので、ダイナミックレンジ向上の効果が得られる。

なお、処理の詳細は、省略されるが、図６および図７の他の処理の場合にも、図６および図７に示される処理を行うことにより、図６および図７に示される効果を得ることができる。

以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、ＣＧ（コンピュータグラフィックス）のように、被写体を実際に見たときの状況を映像で再現することができる。

以上により、本技術においては、実物がそこになるような質感をよりリアルに再現することができる。特に、動作環境（ユーザからのインタラクション）に応じて、画質や表示方法が変化されるので、被写体の触感など見た目以外の感覚も与えることができる。

また、出力デバイスの性能、機能情報を取得し、取得した出力デバイスの性能や機能に応じて最適な画像を再合成するようにしたので、出力デバイスに最適な情報を出力することができる。これにより、見ただけでは得られない効果を強めたり、高次の感覚を表現することができる。結果、よりリアルな映像表現が可能となる。

触感センサ情報も出力することで、ユーザのタッチ操作で触感を与えることができる。被写体の音声情報も出力することで、ユーザのタッチ操作などで、見た目以外の感覚を与えることができる。また、被写体の特性情報を解析した結果を画像以外の情報として出力できる。例えば、質感を表現する音や触覚情報、鏡面反射成分などの情報、ガンマ特性情報や色情報などである。

さらに、特徴の異なる複数の画像を出力するようにしたので、よりリアルな映像表現が可能となる。ライトフィールドディスプレイへの出力が可能となり、視点に応じた視点の生成が可能となる。DFDのような多層ディスプレイへ反射特性の強弱に応じて画像を出力することで、より立体感ある表現が可能となる。

反射特性の強弱に応じて画像を出力することで、従来のディスプレイとHDRディスプレイの互換性をとることができる。画像を拡散反射成分、鏡面反射成分として分離して出力することで、デバイス連携を行うことができる。

さらには、OLEDやLCDで鏡面反射成分を突きあげ制御や、多機能携帯電話機の低消費電力化や焼き付き防止、プロジェクタ２台用いて、鏡面反射成分、拡散反射成分のそれｚれを表示して、スクリーンで合成などを行うことが可能である。

なお、本発明は、画像処理装置、テレビジョン装置、プロジェクタなどや、それらを含む映像システムなどに適用することが可能である。

＜５．コンピュータの構成例＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と、
前記質感制御部により質感が制御された被写体についての複数の情報をそれぞれ出力する複数の出力部と
を備える画像処理装置。
（２） 前記複数の出力部の機能情報を取得する機能情報取得部を
さらに備え、
前記質感制御部は、物理特性パラメータと前記機能情報取得部により取得された機能情報とを用いて、前記画像における被写体の質感を制御する
前記（１）に記載の画像処理装置。
（３） 前記複数の出力部は、前記被写体についての画像を出力する同種の表示部で構成される
前記（１）または（２）に記載の画像処理装置。
（４） 前記複数の出力部は、前記被写体についての画像を同じ画素位置で出力する
前記（３）に記載の画像処理装置。
（５） 前記複数の出力部は、
前記被写体についての画像を出力する少なくとも１の表示部と、
前記被写体についての前記画像以外の情報を出力する出力部とで構成される
前記（１）または（２）に記載の画像処理装置。
（６） 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記出力部は、前記被写体の反射特性について出力する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 一方の出力部は、前記被写体の反射特性の鏡面反射成分を出力し、
他方の出力部は、前記被写体の反射特性の拡散反射成分を出力する
前記（６）に記載の画像処理装置。
（８） 前記一方の出力部は、前記被写体の反射特性の鏡面反射成分を前面に出力し、
前記他方の出力部は、前記被写体の反射特性の拡散反射成分を背面に出力する
前記（７）に記載の画像処理装置。
（９） 前記一方の出力部は、ピーク輝度が高いデバイスであり、
前記他方の出力部は、ピーク輝度が低いデバイスである
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記物理特性パラメータは、前記被写体の波長であり、
前記出力部は、前記被写体の波長について出力する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 一方の出力部は、電子ペーパであり、前記被写体の波長の物体色を出力し、
他方の出力部は、LCD(liquid crystal display)であり、前記被写体の波長の光源色を出力する
前記（１０）に記載の画像処理装置。
（１２） 前記物理特性パラメータは、前記被写体の周波数成分であり、
前記出力部は、前記被写体の周波数成分について出力する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記物理特性パラメータは、前記被写体の周波数成分であり、
前記出力部は、前記被写体の周波数成分のテクスチャについて出力する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 一方の出力部は、触覚ディスプレイであり、前記被写体の周波数成分のテクスチャを出力し、
他方の出力部は、LCD(liquid crystal display)であり、前記被写体の周波数成分のストラクチャを出力する
前記（１３）に記載の画像処理装置。
（１５） 前記物理特性パラメータは、前記被写体の深度または奥行きであり、
前記出力部は、前記被写体の深度または奥行きについて出力する
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記物理特性パラメータは、前記被写体の時間方向の情報であり、
前記出力部は、前記被写体の時間方向における動体と静物について出力する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御し、
質感が制御された被写体についての複数の情報を複数の表示部にそれぞれ出力する
画像処理方法。

１ 計測・推測ブロック， ２ 実世界モデリングブロック， ３ 質感制御ブロック， ４ レンダリング・レタッチブロック， １１ 画像処理装置，２１ 撮影環境情報取得部， ２２ 撮影環境情報解析部， ２３ 被写体特性解析部， ２４ 特性情報統合部， ２５ 視環境情報解析部， ２６ 特性制御部， ２７−１乃至２７−Ｎ 画像合成部， ２８ 動作環境情報解釈部， ２９ 事前知識データベース， ３０ 付加情報生成部， ３１−１乃至３１−Ｎ デバイス， ３３ デバイス情報解析部， ５１ 画像処理装置

Claims (17)

1. 画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
   前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と、
   前記質感制御部により質感が制御された被写体についての複数の情報をそれぞれ出力する複数の出力部と
   を備える画像処理装置。
2. 前記複数の出力部の機能情報を取得する機能情報取得部を
   さらに備え、
   前記質感制御部は、物理特性パラメータと前記機能情報取得部により取得された機能情報とを用いて、前記画像における被写体の質感を制御する
   請求項１に記載の画像処理装置。
3. 前記複数の出力部は、前記被写体についての画像を出力する同種の表示部で構成される
   請求項１に記載の画像処理装置。
4. 前記複数の出力部は、前記被写体についての画像を同じ画素位置で出力する
   請求項３に記載の画像処理装置。
5. 前記複数の出力部は、
   前記被写体についての画像を出力する少なくとも１の表示部と、
   前記被写体についての前記画像以外の情報を出力する出力部とで構成される
   請求項１に記載の画像処理装置。
6. 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
   前記出力部は、前記被写体の反射特性について出力する
   請求項１に記載の画像処理装置。
7. 一方の出力部は、前記被写体の反射特性の鏡面反射成分を出力し、
   他方の出力部は、前記被写体の反射特性の拡散反射成分を出力する
   請求項６に記載の画像処理装置。
8. 前記一方の出力部は、前記被写体の反射特性の鏡面反射成分を前面に出力し、
   前記他方の出力部は、前記被写体の反射特性の拡散反射成分を背面に出力する
   請求項７に記載の画像処理装置。
9. 前記一方の出力部は、ピーク輝度が高いデバイスであり、
   前記他方の出力部は、ピーク輝度が低いデバイスである
   請求項７に記載の画像処理装置。
10. 前記物理特性パラメータは、前記被写体の波長であり、
    前記出力部は、前記被写体の波長について出力する
    請求項１に記載の画像処理装置。
11. 一方の出力部は、電子ペーパであり、前記被写体の波長の物体色を出力し、
    他方の出力部は、LCD(liquid crystal display)であり、前記被写体の波長の光源色を出力する
    請求項１０に記載の画像処理装置。
12. 前記物理特性パラメータは、前記被写体の周波数成分であり、
    前記出力部は、前記被写体の周波数成分について出力する
    請求項１に記載の画像処理装置。
13. 前記物理特性パラメータは、前記被写体の周波数成分であり、
    前記出力部は、前記被写体の周波数成分のテクスチャについて出力する
    請求項１２に記載の画像処理装置。
14. 一方の出力部は、触覚ディスプレイであり、前記被写体の周波数成分のテクスチャを出力し、
    他方の出力部は、LCD(liquid crystal display)であり、前記被写体の周波数成分のストラクチャを出力する
    請求項１３に記載の画像処理装置。
15. 前記物理特性パラメータは、前記被写体の深度または奥行きであり、
    前記出力部は、前記被写体の深度または奥行きについて出力する
    請求項１に記載の画像処理装置。
16. 前記物理特性パラメータは、前記被写体の時間方向の情報であり、
    前記出力部は、前記被写体の時間方向における動体と静物について出力する
    請求項１に記載の画像処理装置。
17. 画像処理装置が、
    画像の被写体に関する物理特性パラメータを取得し、
    取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御し、
    質感が制御された被写体についての複数の情報を複数の表示部にそれぞれ出力する
    画像処理方法。

Images