JP6330310B2 - 画像生成方法および画像生成装置ならびにプログラム - Google Patents

Description

本発明は、観察対象物の厚み感や起毛感などの質感を提示する際に用いて好適な画像生成方法および画像生成装置ならびにプログラムに関するものである。

近年、電子デバイス技術や情報処理技術の発展により、画像入力デバイス、画像処理システム、画像出力デバイスなどの高精細化や高機能化が進み、実物に近いリアルな画像の提示が可能となっている。また、コンピュータの性能向上とコンピュータグラフィックス技術の発展に伴い、コンピュータグラフィックスを用いた印刷物や映像コンテンツの制作が盛んになっている。一方、実世界での物体の見えは、物体の反射率や屈折率や透過率などの光学的特性、照明の位置や強度や色などの照明条件、観察する位置や方向、周囲の他の物体からの間接反射光など、多くの物理条件によって影響される。

コンピュータグラフィックス（以下、「ＣＧ」と記す）技術を用いて物体の見えをリアルに再現するためには、前述の物理条件と見えとの関係を示す物理モデルが用いられる。初期のコンピュータグラフィックスでは、コンピュータの演算能力の低さから、簡略化された単純な物理モデルが使用されていたが、コンピュータの演算能力の向上や高品質ＣＧへのニーズの高まりから、物理現象を正確に再現できる複雑な物理モデルが用いられるようになってきた。

また、観察者の両眼に、ヒトの左右眼の位置が離れているために生じる見掛けの位置ずれである両眼視差を反映させた左右眼それぞれの画像を生成して左右眼独立に提示することで、立体感を持った映像を提示することのできる立体映像技術がある。布地や毛皮などのような厚みや立体構造を持った素材で作られた観察対象物の立体映像をＣＧで生成する場合には、観察対象物の表面素材の厚みや立体構造などの微細な物理的特徴によって生じる両眼視差がもたらす厚み感や起毛感などの質感表現も求められる。

しかしながら、観察対象物の表面素材の微細な物理的特徴までを反映させた画像の生成には多大な演算処理負荷が生じることに加え、それら物理的特徴をモデル化し、制作者が所望する質感表現が得られるように反射率や各部の寸法などのパラメータを調整するためには多大な作業負荷が生じる。

この分野の従来の技術として、例えば、［特許文献１］に記載の発明がある。しかし、この文献には本発明の一背景技術であるところのパラメータ操作による質感の制御につながる記述は一切無い。また、本発明の一適用分野である立体視環境を想定していない。他にも［非特許文献１］に開示された研究があり、これには多眼立体視環境での質感再現性の向上についての確認実験の結果が述べられている。しかし、これは本発明の一適用分野である質感を操作するための方法に言及するものではない。

なお、本発明の背景技術を開示する他の文献として［特許文献２］および［特許文献３］がある。

特開２０１２−１６０９２２号公報 特開２０１０−２１３０５４号公報 特開２０１０−２３９１７７号公報

VGA解像度72指向性ディスプレイによる質感表現 映像情報メディア学会誌 Vol．61、No．12 (2007/12) (通号 711) pp．1795〜1802 （著者：大力孟司、畑田豊彦、高木康博）

しかしながら、ゲームやバーチャルリアリティなどのようなＣＧ映像の生成を実時間で行う用途では、処理時間に多大な影響を与える演算負荷の低減が強く求められる。そのため、過度に複雑な物理モデルは採用できず、処理方式の簡略化が必要となる問題があった。また、複雑な物理モデルでは、その挙動を定義するための多くのパラメータを決定する必要があり、制作時の負荷も増大する問題があった。

本発明は、前記問題点に鑑みなされたものであり、簡易に質感表現を可能ならしめる画像生成方法および装置ならびにプログラムを提供することを目的とする。この目的の一具体例としては、コンピュータの演算負荷を増大させるような複雑な物理モデルを、又は操作者によるパラメータ設定の煩雑度を増大させてしまうような複雑な物理モデル、を用いることなく、簡易な操作や処理によって厚み感や起毛感などの質感表現を可能ならしめる画像生成方法および画像生成装置ならびにプログラムを提供することがあげられる。

前記課題を解決するための手段として、請求項１に記載の発明は、両眼視差を用いた観察対象物体の立体画像を生成する場合において、原画像を所定の微小領域に分割し、分割された微小領域ごとの視差量を操作することにより、知覚される該観察対象物体の質感を制御し、複数の前記微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさが設定されたものであることを特徴とする画像生成方法である。

ここで質感とは、物体表面の見えから観察者によって知覚される厚み感、起毛感、透明感、などの観察対象物体の材質的特徴を言う。

ここで、観察対象物体表面のパターンとは、物体表面の反射率分布や構造などによって生じる、物体表面に観察される幾何学的パターンをいう。
観察対象物体表面のパターンとの相関が小さい微小領域とは、観察対象物体表面のパターンと幾何学的に対応付けられない、例えば、任意数の格子状やランダムノイズ状の分割によって定義された領域を言う。

また請求項２に記載の発明は、前記微小領域の大きさが、提示される視差画像上に存在する当該微小領域の存在を観察者に知覚させない程度に小さなものであることを特徴とする請求項１に記載の画像生成方法である。
微小領域の形状の視認性は、観察対象物体の表示サイズや観察距離に加え、観察対象物体表面のパターンの形状やコントラストなどのパラメータに影響されるため、微小領域の大きさはこれらの要因を加味して決定してもよい。

また請求項３に記載の発明は、前項微小領域の大きさが、観察対象物体の表示サイズや観察距離を含む当該微小領域の視認性に影響を及ぼすパラメータに基づいて自動的に調節されることを特徴とする請求項２に記載の画像生成方法である。
前記パラメータには、観察対象物体の表示サイズや観察距離のほか、観察対象物体表面のパターンの形状やコントラストなど、提示される視差画像に含まれる当該微小領域の視認性に影響を及ぼす要因を含んでもよい。

また、本発明の画像生成装置は、両眼視差を用いた観察対象物体の立体画像を生成する画像生成装置であって、原画像を所定の微小領域に分割し、その分割した微小領域ごとに視差量を変化させた左眼用画像データを生成する左眼用画像データ生成部と、前記分割した微小領域ごとに視差量を変化させた右眼用画像データを生成する右眼用画像データ生成部とを備え、複数の前記微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさが設定されたものであることを特徴とする。

また、本発明のプログラムは、両眼視差を用いた観察対象物体の立体画像を生成するためのプログラムであって、複数の微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさを設定し、原画像を所定の前記微小領域に分割し、その分割した微小領域ごとに視差量を変化させた左眼用画像データを生成する左眼用画像データ生成段階と、前記分割した微小領域ごとに視差量を変化させた右眼用画像データを生成する右眼用画像データ生成段階とをコンピュータに実行させるプログラムである。

本発明によれば、例えば、画像を生成する際に、コンピュータの演算負荷と、操作者によるパラメータ設定の煩雑度を増大させる複雑な物理モデルを用いることなく、簡易な操作と処理による厚み感や起毛感などの幅広い質感表現が可能となる。

本発明の実施形態により生成された画像を表示する、観察対象物体の両眼視差画像の提示が可能な視差画像提示装置の一例を示す概念図。 図１の視差画像提示装置１で観察者が知覚しうる単一の仮想的ディスプレイの様子を示す概念図。 左眼と右眼それぞれに提示される画像の平行移動により、観察対象物体までの距離感が減少される様子を示す概念図。 左眼と右眼それぞれに提示される画像の（図３の場合とは異なる）平行移動により、観察対象物体までの距離感が増大される様子を示す概念図。 質感操作方法を説明するための概念図。 視差マップによる起伏表現を示す図。 図１の両眼視差画像の提示装置（１）を用いる場合の、本発明の実施形態による質感操作の（概略）手順を示すチャート。 本発明の実施形態で用いる画像処理装置の一例を示す機能ブロック図。 本発明の実施形態で読み込む原画像データの一例（布地表面）を示す説明図。 微小領域の分割パターンと、各微小領域に割り当てられた視差量を画素の値として示した視差マップの例を示す図。 視差マップの画素値と距離感と左右画像の移動量との関係を示すグラフ。 視差マップの中心部の拡大図の説明図。 原画像データの中心部の画素値を示すグラフの説明図。 原画像データの図１３に示す部分を、図１２に示す視差マップに基づいて変形し、左目用画像を生成する様子を示す概念図。 原画像データの図１３に示す部分を、図１２に示す視差マップに基づいて変形し、右目用画像を生成する様子を示す概念図。

以下、図面を用いて本発明を詳細に説明する。

図１は、本発明の実施形態を用いて生成された画像を表示するための、観察対象物体の両眼視差画像の提示が可能な視差画像提示装置（１）の一例である。

左眼用ディスプレイ（１０）と右眼用ディスプレイ（１１）に表示された画像は、複数の融像用ミラー（１２）に反射し、観察者の両眼（１３）および（１４）でそれぞれ独立に観察される。双方のディスプレイに同一の画像を表示した場合には、ディスプレイとミラーの適切な配置によって、観察者には図２に示すように単一の仮想的ディスプレイ（２０）が正面に存在するかのような知覚をもたらす。
また、ディスプレイとミラーの配置を変更することで視差角が変化し、画像までの距離感が変化する。また、ディスプレイとミラーの配置を変更することなく、双方のディスプレイに表示されている画像に対して、それぞれに異なる量の平行移動を加えることによっても視差角が変化し距離感が変化する。

図３に示すように、左眼（１３）に提示される画像（３０）を右に、右眼（１４）に提示される画像（３１）を左に平行移動すると、視差角（３２）が増大し、観察対象物体（すなわち仮想的ディスプレイ（３３））までの距離感は減少される。この仮想的ディスプレイ（３３）は、図２に示した仮想的ディスプレイ（２０）に対応するものである。

一方、図４に示すように、左眼（１３）に提示される画像（４０）を左に、右眼（１４）に提示される画像（４１）を右に平行移動すると、視差角（４２）が減少し、観察対象物体（すなわち仮想的ディスプレイ（４３））までの距離感は増大される。この仮想的ディスプレイ（４３）は、図２に示した仮想的ディスプレイ（２０）に対応するものである。
同様にして、画像の部分ごとに異なる平行移動量を与えることで、当該部分ごとに異なる距離感を与え、奥行きを持った画像、すなわち立体画像を提示することができる。

図５に、本発明の実施形態による質感操作方法の概念図を示す。ここで質感とは、物体表面の見えから観察者によって知覚される厚み感、起毛感、透明感、などの観察対象物体の材質的特徴を言う。
例えば、布地表面（５０）には、繊維や織目に起因する微小な起伏があり、立体視環境ではその起伏が両眼視差として知覚されるために、起毛感や体積感などの質感が強調されると考えられる。
微小な起伏はその形状や正確な高さ変化までは観察者に知覚されず、２次元の原画像に、実物被写体とは異なる起伏を与えた立体映像でも、類似した質感が表現されることが、試作実験の結果確認された。
本発明の実施形態では、布地表面の微小で複雑な起伏を、単純化された複数の微小凹凸（５１）で表現することで起毛感や体積感などの質感を表現する。単純化された微小凹凸（５１）とは、繊維や織目に起因する微小で複雑な起伏の高低や位置関係を正確に再現した凹凸ではなく、繊維や織目に起因する質感を、微小領域の簡単化した高低の差（すなわち奥行き差）や位置関係で表すための凹凸を意味する。ここで簡単化とは、例えば、起伏の高低を高い場合と低い場合との２段階で表したり、高くする領域と低くする領域とを一定のパターンや関数に従って設定したりというように、複数の微小凹凸（５１）を比較的簡易な処理や操作で設定することを意味する。

図５に示した微小凹凸（５１）の高さを、画像の明暗に対応付けると、図６に示すマップ画像（６０）によって、表面の微小凹凸を表わすことができる。
この例では、マップ画像の明るい領域（すなわち画素値が比較的大きい領域）（６０ａ）は、高さが高い（視点に近い）領域を、マップ画像の暗い領域（すなわち画素値が比較的小さい領域）（６０ｂ）は、高さが低い（視点から遠い）領域を示す。
また、このマップ画像の明暗は、微小凹凸を視差画像で表現する場合の視差量（すなわち図３および図４を参照して説明した視差量）に対応付けられるため、以下同マップを視差マップと記述する。
所望の微小凹凸を表す視差マップを生成あるいは選択し、この視差マップに基づいた画像操作により視差画像を生成する手順を例として、本発明の一実施形態について図７から図１５の図面等を参照して詳細に説明する。

なお、同等の効果をもたらす微小凹凸を持つ視差画像を生成するには、視差マップを用いる以外にも、関数を用いて画像を変形操作するなどの方法があり、本発明は、視差マップを用いる方法に限定されるものではない。

図８には、本発明の画像生成方法の一実施形態で用いる（あるいは本発明の画像生成装置の一実施形態としての）画像処理装置の構成例が機能ブロック図で示されている。
画像処理装置（８０）は、原画像をもとに厚み感や起毛感などの質感が操作された視差画像を生成し、視差画像提示装置（１）に表示可能な映像信号を出力する。画像処理装置（８０）は、外部記憶部（８１）と、記憶部（８２）と、操作部（８３）と、演算部（８４）と、画像出力部（８５）とを備える。
外部記憶部（８１）には、原画像データが格納される。
記憶部（８２）には、処理対象となる原画像データと、処理プログラムと、処理結果である視差画像と、処理過程で生成あるいは使用される中間データが記憶される。
操作部（８３）は、操作者の操作に関する情報を受け、その情報を演算部（８４）に送る。
演算部（８４）は、処理プログラムに基づき、画像処理装置（８０）全体の制御と演算処理とを行う。
画像出力部（８５）は、フレームバッファ（８６）に書き込まれた画像データを、映像信号に変換して出力する。

以下、図１に示した両眼視差画像の提示装置（１）と、図８に示した画像処理装置（８０）を用いる場合について、本発明の実施形態による質感操作の手順を図７に基づいて示す。
（ステップＳ１）操作者が操作部（８３）を操作することによって、外部記憶部（８１）から所望の原画像データが演算部（８４）を介して記憶部（８２）に読み込まれる。以下では一例として原画像データが布地表面を撮影した画像データである場合について説明する。布地表面の原画像データの例を図９に示す。
原画像データは実写画像に限らず、コンピュータグラフィックなどの手法を用いて合成されたものでも良い。

（ステップＳ２）次に、操作者は、微小領域への分割パターンの設定を行う。ここでは操作者はまず例えば予め外部記憶部（８１）等に記憶されている１または複数種類の形状パターンを有する視差マップの種類のうちの１つを選択する。次に、操作者は、選択した視差マップの各微小領域への分割パターンの設定を行う。図１０に示す視差マップ（１００）が表すような、図９に示した原画像に対して格子状の領域分割を行う場合を例にとると、操作者は操作部（８３）を操作し、視差マップに起因する格子パターンの存在が、生成される視差画像の観察者に知覚されない程度に各微小領域（１００ａ）および（１００ｂ）が小さくなるよう分割数を設定する。

また、その際には、設定された分割数に基づいて各微小領域の大きさを設定した視差マップ（１００）が形成するパターンと、原画像のパターン（すなわち観察対象物体表面のパターン）との相関が小さくなるように、各微小領域の形状や大きさが設定されることが望ましい場合がある。２つのパターンの相関が大きくなると画像の変形処理によって得られる質感に不自然な偏りが生じることがあるからある。ここで、観察対象物体表面のパターンとは、物体表面の反射率分布や構造などによって生じる、物体表面に観察される幾何学的パターンをいう。また、観察対象物体表面のパターンとの相関が小さい微小領域とは、観察対象物体表面のパターンと幾何学的に対応付けられない（あるいは対応付けの度合いが小さい）、例えば、任意数の格子状やランダムノイズ状の分割によって定義された領域を言う。操作者は、例えば、視差マップを拡大した画像と原画像を拡大した画像とを見比べることで、相関が小さくなるように、視差マップの種類を選択したり、分割数を選択したりすることができる。ただし、相関の判断は操作者の主観によるものに限らず、例えば、原画像のパターン（すなわち複数の画素の画素値の値）と視差マップのパターン（すなわち複数の画素の画素値の値）とから統計的処理によって相関度を求め、一定のしきい値を基準に視差マップの種類や分割数を演算部８４が自動的に選択したり、あるいは、適切な設定値の候補を操作者に対して演算部８４が自動的に提示するようにしたりしてもよい。

なお、図１０に示した視差マップ（１００）は、図６に示した格子状の視差マップ６０に対して三角関数を用いた変形処理を加えることで生成したものである。また、図１０に示した視差マップ（１００）では、隣り合う２種類の微小領域（１００ａ）および（１００ｂ）に対しては各微小領域に対しては単一の画素値が設定される。この例では、微小領域（１００ａ）の画素値は大きく、微小領域（１００ｂ）の画素値は小さく設定される。

観察対象物体の表示サイズが小さい場合には、操作者は分割数を減らして微小領域の大きさを観察対象物体に対して相対的に大きくしてもよい。
観察対象物体の表示サイズが大きい場合には、操作者は分割数を増やして微小領域の大きさを観察対象物体に対して相対的に小さくしてもよい。
あるいは、観察対象物体の表示サイズから自動的に最適分割数を与える演算式を組み込むなどの方法を用いてもよい。

同様に、ディスプレイ（１０）および（１１）の大きさや観視距離などの観視条件によっても微小領域の視認性が変動する場合がある。
ディスプレイのサイズが小さい場合、あるいは、観視距離が遠い場合には、操作者は分割数を減らして微小領域の大きさを大きくしてもよい。
ディスプレイのサイズが大きい場合、あるいは、観視距離が近い場合には、操作者は分割数を増やして微小領域の大きさを小さくしてもよい。
あるいは、ディスプレイのサイズや観視距離から自動的に最適分割数を与える演算式を組み込むなどの方法を用いてもよい。

ここで微小領域の設定についてまとめると次のようになる。すなわち、微小領域の大きさは、提示される視差画像上に存在する微小領域の存在を観察者に知覚させない程度に小さなものであることが望ましい。微小領域の形状の視認性は、観察対象物体の表示サイズや観察距離に加え、観察対象物体表面のパターンの形状やコントラストなどのパラメータに影響される。そのため、微小領域の大きさはこれらの要因を加味して決定してもよい。
また、微小領域の大きさは、観察対象物体の表示サイズや観察距離を含む微小領域の視認性に影響を及ぼすパラメータに基づいて自動的に調節されることが可能である。また、パラメータには、観察対象物体の表示サイズや観察距離のほか、観察対象物体表面のパターンの形状やコントラストなど、提示される視差画像に含まれる当該微小領域の視認性に影響を及ぼす要因を含んでもよい。

（ステップＳ３）さらに、厚み感や起毛感などの質感を表現するために、分割された微小領域の一方を手前に、他方を遠くに知覚させるよう、操作者は操作部（８３）を操作し、例えば図１１に示す関係に従って、所望の視差量となるよう、視差マップのそれぞれの領域に与える画素値を設定する操作を行う。
図１０に示す視差マップ（１００）は微小領域ごとに２種類の画素値の何れかを設定する場合を例としているが、３種類以上の画素値や連続的に変化する画素値を与えてもよい。

（ステップＳ４）演算部（８４）は、操作者が設定した分割数と画素値から、設定された分割数と画素値とを有する図１０に示す視差マップ（１００）を生成し、記憶部（８２）に格納する。

図１２に、視差マップ（１００）の中心部分（１２１）の値の変化を拡大図（１２２）で示す。

図１３に、原画像（９０）の、図１２に示した視差マップの中心部分（１２１）に対応する部分（１３１）の画素値（１３３）の変化をグラフ（１３２）で示す。

（ステップＳ５）（左眼用画像データ生成部）次に、演算部（８４）は、記憶部（８２）に格納された原画像と視差マップ（１００）から、図１１に示す関係を用いて、原画像の変形操作を行い、左目画像を生成する。
図３に示したように、左眼に提示される画像では右に画素を平行移動することで距離感は減少される（すなわち近づく）。一方、図４に示すように、左に画素を平行移動することで距離感は増大される（すなわち遠ざかる）。図１１は、視差マップの画素値と、左眼画像の画素の平行移動量１１０および右眼画像の画素の平行移動量１１１との関係を表している。距離感と画素の移動量との関係は、左眼画像と右眼画像とで逆転している。

図１４は、演算部（８４）の処理で、左眼用画像が生成される様子を、図１２および図１３に示した視差マップ（１００）と原画像（９０）の中心部分の拡大図を用いて説明したものである。図１４において、原画像（１４６）が原画像（９０）の一部であり、視差マップ（１４２）が視差マップ（１００）中の原画像（１４６）に対応する一部分である。本例では、図１１に示す関係から、原画像（１４６）上で、視差マップ（１４２）の画素値が小さい部分（１４２ｂ）に対応する領域（１４０）の距離感を増大し、視差マップ（１４２）の画素値が大きい部分（１４２ａ）に対応する領域（１４１）の距離感を減少することが求められている。そのため、視差マップの画素値が大きい領域に対応する原画像領域（１４１）を切り出し右に移動して前景画像（１４３）とし、残りの原画像領域は左に移動し背景画像（１４４）とする。両者を重ね合わせることにより、視差マップに対応する視差量分布を持つ左眼用画像（１４５）が生成される。
生成された左眼用画像（１４５）は、記憶部（８２）に格納される。

（ステップＳ６）（右眼用画像データ生成部）同様に、演算部（８４）は、記憶部（８２）に格納された原画像（９０）と視差マップ（１００）から、図１１に示す関係を用いて、原画像の変形操作を行い、右目画像を生成する。
図３に示したように、右眼に提示される画像では左に画素を平行移動することで距離感は減少される。一方、図４に示すように、右に画素を平行移動することで距離感は増大される。
図１５は、演算部（８４）の処理で、右眼用画像が生成される様子を、図１２および図１３に示した視差マップ（１００）と原画像（９０）の中心付近の画素値を用いて説明したものである。図１５において、原画像（１５６）が原画像（９０）の一部であり、視差マップ（１５２）が視差マップ（１００）中の原画像（１５６）に対応する一部分である。本例では、原画像（１５６）上で、視差マップ（１５２）の画素値が小さい部分（１５２ｂ）に対応する領域（１５０）の距離感を増大し、視差マップの画素値が大きい部分（１５２ａ）に対応する領域（１５１）の距離感を減少することが求められている。そのため、左眼用画像とは逆に、視差マップの画素値が大きい領域に対応する原画像領域（１５１）を切り出して左に移動して前景画像とし、残りの原画像領域は右に移動し背景画像（１５４）とする。両者を重ね合わせることにより、視差マップに対応する視差量分布を持つ右眼用画像（１５５）が生成される。
生成された右眼用画像（１５５）は、記憶部（８２）に格納される。

図１４および図１５に示した本例では、領域ごとに異なる２種類の視差が設定されている場合を例として、前景画像と背景画像の移動と重ね合わせにより視差画像の生成を行う方法を示している。ただし、本実施形態における視差画像の生成手順はこの方法に限定されるものではなく、例えば、視差マップの画素値に従って原画像の対応する画素を移動して画像を変形する方法を用いることもできる。
また、３種類以上の視差や連続的に変化する視差を用いてもよい。

（ステップＳ７）次に、演算部（８４）は、生成された左眼用画像（１４５）および右眼用画像（１５５）を画像出力部（８５）のフレームバッファに書込む。

（ステップＳ８）画像出力部（８５）では、フレームバッファ上の左眼用および右眼用の画像データが映像信号に変換されて、図１に示した視差画像提示装置（１）に送られ、左眼用ディスプレイ（１０）および右眼用ディスプレイ（１１）に表示される。
ディスプレイに表示される観察対象物体画像の微小領域には二種類の異なる視差が与えられているため、視差画像提示装置（１）に立体画像として表示された観察対象物表面には厚みを持った体積感のある面が知覚される。
また、観察対象物体画像の微小領域は、当該領域の存在を観察者に知覚させない程度に小さなものであるため、本来観察対象物体表面に観察されるべきパターンの再現には影響を与えない。

（ステップＳ９）操作者は、表示された画像を確認し、所望の質感が得られた場合には作業を完了する。
所望の質感が得られなかった場合には、微小領域への分割条件と、分割された各微小領域の視差量の設定に戻り操作を繰り返す。

以上、図１に示した視差画像提示装置（１）を用いる場合について、本発明による質感操作の手順を示したが、運動視差の提示が可能な提示装置や３視点以上の多視点視差画像の提示が可能な環境を用いる場合についても同様の手順による質感操作を行うことができる。
運動視差の提示が可能な提示装置や３視点以上の多視点画像の提示が可能な提示装置を用いる場合においては、視差量を多段階あるいは連続的に変化させた視差画像を必要とするため、左右眼を想定して求めた視差量から補間するなどの方法により、任意の視点位置に対応した視差画像を得ることができる。

微小領域への分割条件や分割された各微小領域への視差量などの設定は、所望の質感に対応して予め定義された数値や計算式を用いて行うこととしてもよい。
これにより、操作者の作業負荷が軽減される。

本発明の効果は、すでに述べたように、両眼視差を用いた観察対象物体の立体画像を生成する場合において、原画像を所定の微小領域に分割し、分割された微小領域ごとの視差量を操作することにより、知覚される該観察対象物体の質感を制御するため、所望の質感を容易に得ることができる。
すなわち、本発明の効果は、実施形態において説明した厚み感と起毛感の表現に限定されるものではなく、観察対象物体の両眼視差の提示が可能な視差画像提示装置において、原画像を観察対象物体表面のパターンとは相関しない微小領域に分割し、微小領域ごとの視差量を操作することにより生成可能な質感の表現に広く適用できる。

なお、本発明の実施の形態は、コンピュータとそのコンピュータが実行するプログラムとの組み合わせによって少なくとも一部の構成要素を構成することができ、その場合のプログラムの一部又は全部はコンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。

１・・・視差画像提示装置
１０・・・左眼用ディスプレイ
１１・・・右眼用ディスプレイ
１２・・・融像用ミラー
２０・・・仮想的ディスプレイ
２１・・・視差角
３０・・・左眼に提示される画像
３１・・・右眼に提示される画像
３２・・・視差角
３３・・・仮想的ディスプレイ
４０・・・左眼に提示される画像
４１・・・右眼に提示される画像
４２・・・視差角
４３・・・仮想的ディスプレイ
５０・・・原画像
５１・・・微小凹凸
６０・・・視差マップ
８０・・・画像処理装置
８１・・・外部記憶部
８２・・・記憶部
８３・・・操作部
８４・・・演算部
８５・・・画像出力部
８６・・・フレームバッファ
９０・・・原画像
１００・・・視差マップ
１００ａ、１００ｂ・・・微小領域
１１０・・・視差マップの画素値と距離感と左眼画像の移動量の関係
１１１・・・視差マップの画素値と距離感と右眼画像の移動量の関係
１２１・・・視差マップの中心部分
１２２・・・視差マップの中心部分の拡大図
１３１・・・原画像の中心部分
１３２・・・原画像の中心部分の画素値の変化
１４０・・・視差マップの画素値が大きい部分に対応する原画像領域
１４１・・・視差マップの画素値が小さい部分に対応する原画像領域
１４２・・・視差マップ
１４３・・・前景画像
１４４・・・背景画像
１４５・・・左眼用画像
１４６・・・原画像（の一部）
１５０・・・視差マップの画素値が大きい部分に対応する原画像領域
１５１・・・視差マップの画素値が小さい部分に対応する原画像領域
１５２・・・視差マップ
１５３・・・前景画像
１５４・・・背景画像
１５５・・・右眼用画像
１５６・・・原画像（の一部）

Claims (5)

1. 両眼視差を用いた観察対象物体の立体画像を生成する場合において、原画像を所定の微小領域に分割し、分割された微小領域ごとの視差量を操作することにより、知覚される該観察対象物体の質感を制御し、
   複数の前記微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさが設定されたものである
   ことを特徴とする画像生成方法。
2. 前記微小領域の大きさが、提示される視差画像上に存在する当該微小領域の存在を観察者に知覚させない程度に小さなものであること、
   を特徴とする請求項１に記載の画像生成方法。
3. 前項微小領域の大きさが、観察対象物体の表示サイズや観察距離を含む当該微小領域の視認性に影響を及ぼすパラメータに基づいて自動的に調節されること、
   を特徴とする請求項２に記載の画像生成方法。
4. 両眼視差を用いた観察対象物体の立体画像を生成する画像生成装置であって、
   原画像を所定の微小領域に分割し、その分割した微小領域ごとに視差量を変化させた左眼用画像データを生成する左眼用画像データ生成部と、
   前記分割した微小領域ごとに視差量を変化させた右眼用画像データを生成する右眼用画像データ生成部と
   を備え、
   複数の前記微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさが設定されたものである
   ことを特徴とする画像生成装置。
5. 両眼視差を用いた観察対象物体の立体画像を生成するためのプログラムであって、
   複数の微小領域が形成するパターンと前記観察対象物体表面のパターンとの相関が小さくなるように、各前記微小領域の形状や大きさを設定し、原画像を所定の前記微小領域に分割し、その分割した微小領域ごとに視差量を変化させた左眼用画像データを生成する左眼用画像データ生成段階と、
   前記分割した微小領域ごとに視差量を変化させた右眼用画像データを生成する右眼用画像データ生成段階と
   をコンピュータに実行させるプログラム。