JP5428409B2 - 画像生成方法 - Google Patents

Description

本発明は、観察対象物の質感を提示するための画像生成方法に関するものである。

近年、電子デバイス技術や情報処理技術の発展により、画像入力デバイス、画像処理システム、画像出力デバイスなどの高精細化や高機能化が進み、実物に近いリアルな画像の提示が可能となっている。
コンピュータの性能向上とコンピュータグラフィックス技術の発展に伴い、コンピュータグラフィックスを用いた印刷物や映像コンテンツの制作が盛んになっているが、実世界での物体の見えは、物体の反射率や屈折率や透過率などの光学的特性、照明の位置や強度や色などの照明条件、観察する位置や方向、周囲の他の物体からの間接反射光など、多くの物理条件によって影響される。

コンピュータグラフィックス技術を用いて物体の見えをリアルに再現するためには、前述の物理条件と見えとの関係を示す物理モデルが用いられる．初期のコンピュータグラフィックスでは、コンピュータの演算能力の低さから、簡略化された単純な物理モデルが使用されていたが、コンピュータの演算能力の向上や高品質ＣＧへのニーズの高まりから、物理現象を正確に再現できる複雑な物理モデルが用いられるようになってきた。

この分野の従来の技術として、例えば、［特許文献１］に記載の発明がある。しかし、これは本発明に関わる空間周波数毎の視差操作による質感の制御につながる記述は一切無く、また本発明とは違い、本発明がターゲットとする立体視環境を想定していない。他にも［非特許文献１］に開示された研究があり、これには多眼立体視環境での質感再現性の向上についての確認実験の結果が述べられている。しかし、これは本発明とは違い、帯域分割や視差量の操作と質感の関係に言及するものではない。

特開２０００−８８５５８号公報

VGA解像度72指向性ディスプレイによる質感表現 映像情報メディア学会誌 Vol.61、No.12 (2007/12) (通号711) pp.1795〜1802 （著者：大力孟司、畑田豊彦、高木康博）

しかしながら従来は、ゲームやバーチャルリアリティなどのようなＣＧ映像の生成を実時間で行う用途では、処理時間に多大な影響を与える演算負荷の低減が強く求められるため、過度に複雑な物理モデルは採用できず、処理方式の簡略化が必要となる問題があった。また、複雑な物理モデルでは、その挙動を定義するための多くのパラメータを決定する必要があり、制作時の負荷も増大する問題があった。

本発明は、前記従来の技術の問題点に鑑みなされたものであり、コンピュータの演算負荷を増大させるような複雑な物理モデルを、又は利用者によるパラメータ設定の煩雑度を増大させてしまうような複雑な物理モデル、を用いることなく、簡易な操作と処理によって高度な質感表現を可能ならしめる画像生成方法を提供することを目的とする。

前記課題を解決するための手段として、請求項１に記載の発明は、観察対象物体の両眼視差画像を提示する画像提示環境において、前記観察対象物体の原画像データを得る画像入力手段と、前記原画像データを用いて周波数帯域の分割条件を設定する周波数帯域分割条件設定手段と、前記原画像データを用いて前記分割周波数帯域ごとに水平移動画素量を設定する水平移動画素量設定手段と、前記周波数帯域分割条件設定手段に基づいて、前記原画像データの周波数帯域分割を行う周波数帯域分割手段と、左眼用ディスプレイに表示する画像は、前記周波数帯域分割手段で分割した周波数帯域ごとに、前記水平移動画素量設定手段に基づいて高周波成分に対応する画素を右に、低周波数成分に対応する画素を左に平行移動させて視差量を操作する左眼用画像変形処理手段と、右眼用ディスプレイに表示する画像は、前記周波数帯域分割手段で分割した周波数帯域ごとに、前記水平移動画素量設定手段に基づいて高周波成分に対応する画素を左に、低周波数成分に対応する画素を右に平行移動させて視差量を操作する右眼用画像変形処理手段と、前記左眼用画像変形処理手段で得られた左眼用画像を左眼用ディスプレイに、前記右眼用画像変形処理手段で得られた右眼用画像を右眼用ディスプレイに表示する手段を備え、観察者に視認される立体画像に質感を表現することを特徴とする画像生成方法である。

ここで質感とは、布地や木材の肌理、金属の光沢感、大理石の透明感、などの、物体の見えから観察者によって知覚される物体の光学的特徴を言う。

また請求項２に記載の発明は、前記観察対象物体の原画像データを複数の空間周波数帯域に分割して用いることを特徴とする請求項１に記載の画像生成方法である。

また請求項３に記載の発明は、前記観察対象物体の原画像データを複数の空間周波数帯域ごとに合成して用いることを特徴とする請求項１に記載の画像生成方法である。

そして請求項４に記載の発明は、観察視点の移動に伴う観察対象物体の運動視差画像を提示する画像表示環境において、前記観察対象物体の観察視点の移動に伴う観察対象物体の原画像データ得る画像入力手段と、前記観察対象物体の原画像データを得る画像入力手段と、前記原画像データを用いて周波数帯域の分割条件を設定する周波数帯域分割条件設定手段と、前記原画像データを用いて前記分割周波数帯域ごとに水平移動画素量を設定する水平移動画素量設定手段と、前記周波数帯域分割条件設定手段に基づいて、前記原画像データの周波数帯域分割を行う周波数帯域分割手段と、前記周波数帯域分割手段で分割した周波数帯域ごとに、前記水平移動画素量設定手段に基づいて高周波成分に対応する画素を前記観察視点の移動と逆方向に、低周波数成分に対応する画素を前記観察視点の移動と同一方向に平行移動させる画像変形処理手段と、前記画像変形処理手段で得られた画像をディスプレイに表示する手段を備え、観察者に視認される立体画像に質感を表現することを特徴とする画像生成方法である。

ここで質感とは、（前記請求項１の場合と同様）布地や木材の肌理、金属の光沢感、大理石の透明感、などの、物体の見えから観察者によって知覚される物体の光学的特徴を言う。

また請求項５に記載の発明は、前記観察対象物体の原画像データを複数の空間周波数帯域に分割して用いることを特徴とする請求項４に記載の画像生成方法である。

また請求項６に記載の発明は、前記観察対象物体の原画像データを複数の空間周波数帯域ごとに合成して用いることを特徴とする請求項４に記載の画像生成方法である。

以上説明したように、本発明によれば、コンピュータの演算負荷と、利用者によるパラメータ設定の煩雑度を増大させる複雑な物理モデルを用いることなく、簡易な操作と処理によって高度な質感表現が可能となる。

本発明により生成された画像を表示する、観察対象物体の両眼視差画像の提示が可能な画像提示環境の一例を示す概念図。 図１の環境で観察者が知覚しうる単一の仮想的ディスプレイの様子を示す概念図。 左眼と右眼それぞれに提示される画像の平行移動により、観察対象物体までの距離感が減少される様子を示す概念図。 左眼と右眼それぞれに提示される画像の（図３の場合とは異なる）平行移動により、観察対象物体までの距離感が増大される様子を示す概念図。 本発明により生成された画像を表示する、観察対象物体の運動視差画像の提示が可能な画像提示環境の一例を示す概念図。 視点の移動と画像の移動によって、観察対象物体までの距離感が増大される様子を示す概念図。 視点の移動と画像の（図６の場合とは異なる）移動によって、観察対象物体までの距離感が減少される様子を示す概念図。 図１の両眼視差画像の提示環境を用いる場合の、本発明による質感操作の（概略）手順を示すチャート。 本発明で読み込む原画像データの一例（大理石表面） 図９の原画像データを２つの空間周波数帯域に分割した例の低周波帯域の成分画像。 図９の原画像データを２つの空間周波数帯域に分割した例の高周波帯域の成分画像。 図１０、図１１に示す成文画像それぞれを、表１に示す水平移動量に基づいて水平移動する様子を示す概念図。 帯域合成を行う様子を示す概念図。

以下、図面を用いて本発明を詳細に説明する。

図１は、本発明を用いて生成された画像を表示するための、観察対象物体の両眼視差画像の提示が可能な画像提示環境の一例である。

左眼用ディスプレイ（１）と右眼用ディスプレイ（２）に表示された画像は、融像用ミラー（３）に反射し、観察者の両眼でそれぞれ観察される．双方のディスプレイに同一の画像を表示した場合には、ディスプレイとミラーの適切な配置によって、観察者には図２に示すように単一の仮想的ディスプレイ（４）が正面に存在するかのような知覚をもたらす。
また、ディスプレイとミラーの配置を変更することで視差角が変化し、画像までの距離感が変化する．また、ディスプレイとミラーの配置を変更することなく、双方のディスプレイに表示されている画像に対して、それぞれに異なる量の平行移動を加えることによっても視差角が変化し距離感が変化する。

図３に示すように、左眼に提示される画像（６）を右に、右眼に提示される画像（７）を左に平行移動すると、視差角（８）が増大し、観察対象物体までの距離感は減少される。

一方、図４に示すように、左眼に提示される画像（９）を左に、右眼に提示される画像（１０）を右に平行移動すると、視差角（１１）が減少し、観察対象物体までの距離感は増大される。
同様にして、画像の部分ごとに異なる平行移動量を与えることで、当該部分ごとに異なる距離感を与え、奥行きを持った画像、すなわち立体画像を提示することができる。

図５は、本発明を用いて生成された画像を表示するための、観察対象物体の運動視差画像の提示が可能な画像提示環境の一例である。
観察者は、ディスプレイ（１２）に表示された画像を、覗き穴が開けられた接眼部（１３）を介して観察する．接眼部は、レール（１４）上に取り付けられ、自由に平行移動が可能である。の位置はレールに取り付けられた位置センサー（１５）によって読み取られる。
接眼部を移動させながらディスプレイを観察する場合において、ディスプレイ上に表示される画像が静止している場合、運動視差によって得られる画像までの距離感は視点からディスプレイまでの距離に等しくなる．接眼部の動きに合わせて、画面上に表示される画像を平行移動させることで、運動視差量が変化し画像までの距離感が変化する。

図６に示すように、視点の移動と同一方向に、視点の動きに追従するように画像を移動させた場合には、運動視差が小さくなり、運動視差によって得られる観察対象物体までの距離感が増大する。

一方、図７に示すように、視点の移動と逆方向、画像を移動させた場合には、運動視差が増大し、運動視差によって得られる観察対象物体までの距離感が減少される。
同様にして、画像の部分ごとに異なる平行移動量を与えることで、当該部分ごとに異なる距離感を与え、奥行きを持った画像、すなわち立体画像を提示することができる。

以下、図１に示した両眼視差画像の提示環境を用いる場合について、本発明による質感操作の手順を図８に基づいて示す。
まず、原画像データを読み込む。大理石表面の原画像データの例を図９に示す。
原画像データは実写画像に限らず、コンピュータグラフィックなどの手法を用いて合成されたものでも良い。

次に、分割する帯域数や空間周波数などの帯域分割条件の設定、分割された各周波数帯域ごとの水平移動量の設定を行う．例えば、大理石の半透明感を表現するために、高周波成分を手前に、低周波成分を遠くに知覚させる場合、高周波成分については、視差角を大きく、低周波成分については視差角を小さく設定する。
利用者は，画像の特徴や所望の質感表現を考慮し，例えば表１に示す形で処理条件を設定する。

表１の例では、空間周波数の単位を画像の１ラインあたりの振動数を用いて記述し、水平移動量を左右対称に同量ずつ逆方向に移動する場合の原画像上での移動画素数（近距離側の知覚を与える場合を負）として記述しているが、この表記法に限定されるものではない。
また、画像の表示にあたり、拡大縮小操作や変形操作などを伴う場合においては、その結果として、質感が異なって知覚される場合がある。この場合には、拡大縮小操作や変形操作の条件毎に利用者が水平移動量を設定する、あるいは、拡大縮小操作や変形操作に伴う最適水平移動量を与える演算式を組み込むなどの方法を用いてもよい。

同様に、ディスプレイのサイズ、解像度、視距離などの観視条件によっても質感が異なって知覚される場合がある．この場合にも観視条件毎に利用者が水平移動量を設定する、あるいは、観視条件に適した最適水平移動量を与える演算式を組み込むなどの方法を用いてもよい。
本例では帯域数を３としているが、画像の特徴や所望の質感表現によって、利用者は任意の帯域数を選択する。

次に、原画像に対して表１に示した帯域分割条件に基づく帯域分割を行い、空間周波数帯域の異なる複数の成分画像に分割する。
周波数帯域分割の方式としては、フーリエ変換やウエーブレット変換、周波数フィルタなど様々な方式が考えられるが、本発明においては帯域分割の方式は限定しない。

図１０および図１１に、図９に示した原画像データを２つの空間周波数帯域に分割した例を示す。
図１０はガウシアンフィルタにより高周波成分を除去した低周波帯域の成分画像である。図１１は、原画像から低周波成分を除去した高周波帯域の成分画像である。
次に、表１に示した水平移動量に基づいて図１２に示すように成分画像の水平移動を行う。左眼用画像に対して右眼用画像の水平移動は逆方向となる。

次に、図１３に示す帯域合成を行う。本例で用いた帯域分割では、分割された各成分画像の単純加算により合成が可能であるが、一般には使用した帯域分割手法に対応した逆変換を与える帯域合成処理を用いる。

次に、左右画像それぞれをディスプレイに表示する。
利用者は、表示された画像を確認し、所望の質感が得られた場合には作業を完了する。
所望の質感が得られなかった場合には、帯域分割条件と水平移動量の設定に戻り操作を繰り返す。

以上、図１に示した両眼視差画像の提示環境を用いる場合について、本発明による質感操作の手順を示したが、運動視差の提示が可能な環境や３視点以上の視差画像の提示が可能な環境を用いる場合についても同様の手順による質感操作を行うことができる。
ただし、両眼視差画像の提示が可能な環境を用いる場合においては、視点数は２点であり、視点間の距離は一般に人の瞳孔間隔として与えられるが、運動視差の提示が可能な環境や３視点以上の視差画像の提示が可能な環境においては、視点間の距離が多段階あるいは連続的に変化するため、視差量を段階的にあるいは連続的に変化させた多数の視差画像を必要とする。この場合には、両眼視を想定して利用者が設定した水平移動量に対して、視点間距離に対応した適切な係数を乗じるなどの方法により、視点位置に対応した視差画像を得ることができる。

本実施例では、実写画像を帯域分割して用いる場合について述べたが、ＣＧ技術などを用いて画像を合成する場合においては、始めから複数の周波数帯域に分割した成分画像を生成して用いてもよい。この場合、帯域分割処理が省略される。
また、符号化処理が施された画像など、既に帯域分割された原画像を用いる場合も同様である。
さらに、周波数成分によって異なる視差量を与えることが可能な画像処理手法であれば、たとえば、周波数によって異なる位相特性を持たせたFIRフィルタなどのように明示的な周波数帯域の分割や合成を伴わない方式も含めて、如何なる画像処理手法を用いてもよい。
帯域分割条件、周波数帯域ごとの水平移動量、などの条件設定は、所望の質感に対応して予め定義された数値や計算式を用いて行うこととしてもよい。これにより、利用者の作業負荷が軽減される。

１・・・左眼用ディスプレイ
２・・・右眼用ディスプレイ
３・・・融像用ミラー
４・・・仮想的ディスプレイ
５・・・視差角
６・・・左眼に提示される画像
７・・・右眼に提示される画像
８・・・視差角
９・・・左眼に提示される画像
１０・・・右眼に提示される画像
１１・・・視差角
１２・・・ディスプレイ
１３・・・接眼部
１４・・・レール
１５・・・位置センサー

Claims (6)

1. 観察対象物体の両眼視差画像を提示する画像提示環境において、
   前記観察対象物体の原画像データを得る画像入力手段と、
   前記原画像データを用いて周波数帯域の分割条件を設定する周波数帯域分割条件設定手段と、
   前記原画像データを用いて前記分割周波数帯域ごとに水平移動画素量を設定する水平移動画素量設定手段と、
   前記周波数帯域分割条件設定手段に基づいて、前記原画像データの周波数帯域分割を行う周波数帯域分割手段と、
   左眼用ディスプレイに表示する画像は、前記周波数帯域分割手段で分割した周波数帯域ごとに、前記水平移動画素量設定手段に基づいて高周波成分に対応する画素を右に、低周波数成分に対応する画素を左に平行移動させて視差量を操作する左眼用画像変形処理手段と、
   右眼用ディスプレイに表示する画像は、前記周波数帯域分割手段で分割した周波数帯域ごとに、前記水平移動画素量設定手段に基づいて高周波成分に対応する画素を左に、低周波数成分に対応する画素を右に平行移動させて視差量を操作する右眼用画像変形処理手段と、
   前記左眼用画像変形処理手段で得られた左眼用画像を左眼用ディスプレイに、前記右眼用画像変形処理手段で得られた右眼用画像を右眼用ディスプレイに表示する手段を備え、
   観察者に視認される立体画像に質感を表現することを特徴とする画像生成方法。
2. 前記観察対象物体の原画像データを複数の空間周波数帯域に分割して用いることを特徴とする請求項１に記載の画像生成方法。
3. 前記観察対象物体の原画像データを複数の空間周波数帯域ごとに合成して用いることを特徴とする請求項１に記載の画像生成方法。
4. 観察視点の移動に伴う観察対象物体の運動視差画像を提示する画像表示環境において、
   前記観察対象物体の観察視点の移動に伴う観察対象物体の原画像データ得る画像入力手段と、
   前記観察対象物体の原画像データを得る画像入力手段と、
   前記原画像データを用いて周波数帯域の分割条件を設定する周波数帯域分割条件設定手段と、
   前記原画像データを用いて前記分割周波数帯域ごとに水平移動画素量を設定する水平移動画素量設定手段と、
   前記周波数帯域分割条件設定手段に基づいて、前記原画像データの周波数帯域分割を行う周波数帯域分割手段と、
   前記周波数帯域分割手段で分割した周波数帯域ごとに、前記水平移動画素量設定手段に基づいて高周波成分に対応する画素を前記観察視点の移動と逆方向に、低周波数成分に対応する画素を前記観察視点の移動と同一方向に平行移動させる画像変形処理手段と、
   前記画像変形処理手段で得られた画像をディスプレイに表示する手段を備え、
   観察者に視認される立体画像に質感を表現することを特徴とする画像生成方法。
5. 前記観察対象物体の原画像データを複数の空間周波数帯域に分割して用いることを特徴とする請求項４に記載の画像生成方法。
6. 前記観察対象物体の原画像データを複数の空間周波数帯域ごとに合成して用いることを特徴とする請求項４に記載の画像生成方法。