JP6844210B2

JP6844210B2 - 視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラム

Info

Publication number: JP6844210B2
Application number: JP2016223469A
Authority: JP
Inventors: 次郎中島
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2016-11-16
Filing date: 2016-11-16
Publication date: 2021-03-17
Anticipated expiration: 2036-11-16
Also published as: JP2018082318A

Description

本発明は、両眼視差画像を生成することで立体画像をヘッドマウントディスプレイへ掲示する方法に関するもので、特には、観察者の視覚特性に基づいた視覚的顕著性マップを生成する視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムに関する。

近年、コンピュータグラフィックス（以下、ＣＧと示す）による映像コンテンツの提示方法の１つとして、左右の眼に独立して両眼視差画像を生成し提示することで立体感を持った映像を提示する立体映像技術が用いられている。ここで、両眼視差画像は、人間の左右の眼が離間していることにより生じる、見えの位置ずれを反映させた画像である。
上述した立体映像技術において、観察者が映像として映しだされた世界に入り込んで没頭する感覚である没入感を、より強く得られるように、例えば、ＨＭＤ（Head Mounted Display；ヘッドマウントディスプレイ）が用いられている。このＨＭＤは、観察者の左右の眼を覆うレンズに対して、上述した両眼視差画像を提示することにより、広い視野に対応した映像を観察者に対して観察させる装置である。

しかし、ＨＭＤにおけるＣＧで作成した映像コンテンツの提示においては、没入感を維持するために、リアルタイムな立体画像としての映像の提示が必要でとなる。
また、一方、ＨＭＤにおける左右の眼を覆うレンズの各々に対して、それぞれ異なる２つ分の両眼視差画像を生成するため、この両眼視差画像の生成の処理を行なう画像生成時間が増加するといった問題が生じている。

このため、ＨＭＤに視線検出装置を搭載することにより、ＣＧで作成した映像コンテンツを提示する際に、観察者の視線検出を行い、映像コンテンツ上の注視している領域を推定している。そして、推定された注視領域を高解像度とし、注視領域以外の周辺部などを低解像度で画像生成を行う手法（Foveated Renderingと呼ばれる手法）が提案されている（例えば、非特許文献１を参照」）。

人間の眼は、中心窩と呼ばれる網膜の奥にある窪みにより、中心視野の狭い領域において詳細に画像を検出することができる。一方、中心視野となる注視領域の周辺部の視野領域は、色や動きに反応することができるが、詳細に画像を検出する精度が中心視野に比較して低くなる特徴がある。
したがって、提供する映像コンテンツにおける画像を、注視領域を高解像度として、注視領域以外の周辺部などを低解像度とすることにより、観察者の没入感に影響を与えずに、映像コンテンツの画像の生成速度を向上させることが可能となる。

また、注視領域の推定のために、上記非特許文献１と異なり、視線検出装置を用いずに、映像コンテンツの画像に対する観察者の視覚的顕著性を算出する手法もある。この場合、算出された視覚的顕著性の数値に基づき、視覚的顕著性の数値が高い領域を高解像度とし、視覚的顕著性の数値が低い領域を低解像度として、画像生成の際に、画像の領域ごとの精度を変化させる（例えば、非特許文献２を参照）。これにより、非特許文献１と同様に、映像コンテンツにおける画像の生成速度を向上させることができる。

Perceptually-Based Foveated Virtual Reality, ACM SIGGRAPH 2016 Emerging Technologies, Article 17, 2016 A GPU based saliency map for high-fidelity selective rendering, Proceedings of the 4th International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa, pp. 21-29, 2006

しかしながら、上述した非特許文献１においては、観察者の注視領域推定を行なうための視線検出装置をＨＭＤへと装着する必要があり、視線検出装置を装着するための費用が増加してしまう。

また、ＨＭＤにおけるＣＧにより生成した映像コンテンツの提示においては、両眼を覆うことで広い視野に対応したレンズを使用している。このため、通常のモニターによる提示よりも、ＨＭＤにおいては、中心視野と周辺視野といった視覚特性による注視領域への影響が観察者に対して大きくなる。さらに、観察者の頭部が自由に回転可能であるため、頭部を回転する際の観察者の眼における眼球の移動も考慮する必要がある。
したがって、ＨＭＤにおいては、観察者の上述した視覚特性や頭部の回転を考慮して、観察者の画像における各領域の視覚的顕著性の数値を算出する必要がある。非特許文献２における視覚的顕著性の算出方法では、算出された視覚的顕著性の数値の精度が不十分となり、画像の解像度を調整するための判定が十分に行えないという課題がある。

本発明は、このような状況に鑑みてなされたものであり、ＨＭＤに対して視線検出装置を装着することなく、かつ観察者の視覚特性や頭部の回転を考慮し、映像コンテンツの両眼視差画像の解像度を調整する視覚的顕著性マップを生成することができる視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムを提供することを目的とする。

上述した課題を解決するために、本発明の視覚的顕著性マップ生成装置は、立体画像を観察者の頭部に装着されたヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を、人間の視覚特性における中心視野領域及び周辺視野領域の各々に対応して設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置であり、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出部と、前記頭部の静止状態における前記視覚特性の静的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が高くなるように設定された静的重み付け係数分布マップと、前記視覚特性の動的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が低くなるように設定された動的重み付け係数分布マップとの各々を生成し、前記頭部が回転した場合、前記中心視野領域それぞれの中心位置を前記頭部の前記回転の方向にずらす重み付け係数分布作成部と、前記静的特徴マップの特徴量に、前記静的重み付け係数分布マップの重み付け係数を乗算した静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量に、前記動的重み付け係数分布マップの重み付け係数を乗算した動的特徴別顕著性マップを生成する特徴別顕著性マップ生成部と、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成部とを備えることを特徴とする。

本発明の視覚的顕著性マップ生成装置は、前記特徴別顕著性マップ生成部が、前記静的特徴マップの画素の特徴量に対し、前記静的重み付け係数分布マップの重み付け係数を乗算し、前記動的特徴マップの画素の特徴量に対し、前記動的重み付け係数分布マップの重み付け係数を乗算して、静的特徴別顕著性マップ、動的特別徴顕著性マップを生成することを特徴とする。

本発明の視覚的顕著性マップ生成装置は、３次元立体データから前記両眼視差画像に対応し、より低分解能の低分解能画像を生成する低解像度画像生成部をさらに備え、前記特徴抽出部が、前記低分解能画像から前記静的特徴マップ及び前記動的特徴マップを抽出することを特徴とする。

本発明の視覚的顕著性マップ生成装置は、前記重み付け係数分布作成部が、前記ヘッドマウントディスプレイの回転動作に応じて、前記静的重み付け係数分布マップ及び動的重み付け係数分布マップの各々の重み付け係数の分布の形状を生成することを特徴とする。

本発明の視覚的顕著性マップ生成装置は、前記静的特徴が少なくとも輝度特徴、色彩特徴、方向特徴を含み、前記動的特徴が少なくとも点滅特徴、運動特徴を含んでいることを特徴とする。

本発明の視覚的顕著性マップ生成装置は、前記静的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に低く設定され、前記動的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に高く設定されていることを特徴とする。

本発明の視覚的顕著性マップ生成方法は、立体画像を観察者の頭部に装着されたヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を、人間の視覚特性における中心視野領域及び周辺視野領域の各々に対応して設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成方法であり、特徴抽出部が、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出過程と、重み付け係数分布作成部が、前記頭部の静止状態における前記視覚特性の静的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が高くなるように設定された静的重み付け係数分布マップと、前記視覚特性の動的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が低くなるように設定された動的重み付け係数分布マップとの各々を生成し、前記頭部が回転した場合、前記中心視野領域それぞれの中心位置を前記頭部の前記回転の方向にずらす重み付け係数分布作成過程と、特徴別顕著性マップ生成部が、前記静的特徴マップの特徴量に、前記静的重み付け係数分布マップの重み付け係数を乗算した静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量に、前記動的重み付け係数分布マップの重み付け係数を乗算した動的特徴別顕著性マップを生成する特徴別顕著性マップ生成過程と、視覚的顕著性マップ生成部が、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成過程とを含むことを特徴とする。

本発明のプログラムは、立体画像を観察者の頭部に装着されたヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を、人間の視覚特性における中心視野領域及び周辺視野領域の各々に対応して設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置の機能をコンピュータに実行させるプログラムであり、前記コンピュータを、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出手段、前記頭部の静止状態における前記視覚特性の静的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が高くなるように設定された静的重み付け係数分布マップと、前記視覚特性の動的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が低くなるように設定された動的重み付け係数分布マップとの各々を生成し、前記頭部が回転した場合、前記中心視野領域それぞれの中心位置を前記頭部の前記回転の方向にずらす重み付け係数分布作成手段、前記静的特徴マップの特徴量に、前記静的重み付け係数分布マップの重み付け係数を乗算した静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量に、前記動的重み付け係数分布マップの重み付け係数を乗算した動的特徴別顕著性マップを生成する特徴別顕著性マップ生成手段、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成手段として機能させるためのプログラムである。

以上説明したように、本発明によれば、ＨＭＤに対して視線検出装置を装着することなく、かつ観察者の視覚特性や頭部の回転を考慮し、映像コンテンツの両眼視差画像の解像度を調整する視覚的顕著性マップを生成することができる視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムを提供することができる。

本発明の一実施形態である視覚的顕著性マップ生成装置を用いた両眼視差画像生成システムの概略構成を示すブロック図である。ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の動的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。本実施形態の視覚的顕著性マップ生成装置１による視覚的顕著性マップを生成する処理の動作例を示すフローチャートである。重み付け係数分布記憶部１７に記憶されている重み付けテーブルの構成を示す図である。

以下、本発明の視覚的顕著性マップ生成装置の実施形態について図面を用いて説明する。図１は、本発明の一実施形態である視覚的顕著性マップ生成装置を用いた両眼視差画像生成システムの概略構成を示すブロック図である。両眼視差画像生成システム１００は、視覚的顕著性マップ生成装置１と、操作部１０１と、両眼視差画像生成部１０２及び画像記憶部１０３の各々を備えている。

視覚的顕著性マップ生成装置１は、両眼視差画像生成部１０２が３次元空間における３次元画像（立体画像）データから両眼視差画像を生成する際に用いる視覚的顕著性マップを生成する。
操作部１０１は、観察者により入力される操作情報に対応して、映像コンテンツの選択などを行なう。
両眼視差画像生成部１０２は、操作情報に対応した映像コンテンツを生成するため、３次元画像データを画像記憶部１０３から読み出す。そして、両眼視差画像生成部１０２は、視覚的顕著性マップ生成装置１から供給される視覚的顕著性マップに対応し、解像度が領域毎に設定された両眼視差画像を３次元画像データから、３次元空間における頭部の姿勢や位置に対応した視点（観察者の視点）に応じて生成する。
画像記憶部１０３は、映像コンテンツとしての両眼視差画像を生成するための複数の３次元画像データが予め書き込まれて記憶されている。

ＨＭＤ２００は、頭部情報取得部２１０と、表示部２２０との各々を備えている。頭部情報取得部２１０は、ＨＭＤ２００の回転情報、すなわちＨＭＤ２００を装着している観察者の頭部の回転の動き状態を示す情報（回転速度、回転方向などの）としての回転情報を検出する。そして、頭部情報取得部２１０は、検出した回転情報を視覚的顕著性マップ生成装置１に対して出力する。表示部２２０は、両眼視差画像生成システム１００から供給される両眼視差画像を、左右各々の表示画面に表示する。

また、視覚的顕著性マップ生成装置１は、低解像度画像生成部１１、特徴抽出部１２、重み付け係数分布作成部１３、重み付け特徴マップ生成部１４、特徴別顕著性マップ生成部１５、視覚的顕著性マップ生成部１６及び重み付け係数分布記憶部１７の各々を備えている。
低解像度画像生成部１１は、画像記憶部１０３における３次元画像データを参照し、上記視点に対応した両眼視差画像を求める３次元画像データから、実際に作成する両眼視差画像より低解像度の低解像度画像を生成する。本実施形態においては、ガウシアンピラミッドを生成するため、同一の両眼視差画像に対応した７解像度分（σ∈｛２，３，４，５，６，７，８｝）の低解像度画像を生成する。ここで、σ＝０の画像は、両眼視差画像に対応している。σ＝ｎ（ｎ≠０）の低解像度画像は、σ＝ｎ−１の画像においてガウシアンフィルタによるぼかし処理と縦横それぞれの画素において一つ置きにサンプリングとを行なった画像である。例えば、σ＝２は、縦横それぞれの解像度が１／４となり、画像全体としては１／１６のデータ量となっている。本実施形態においては、３次元画像データからσ＝２の低解像度画像を生成し、ぼかし処理とダウンサンプリングとによりσ∈｛３，４，５，６，７，８｝の低解像度画像を生成する。

特徴抽出部１２は、低解像度画像生成部１１の生成した各解像度の低解像度画像の各々から、それぞれ静的特徴及び動的特徴を抽出する。ここで、静的特徴とは、輝度特徴、色彩特徴（Ｌａｂ色空間におけるａ：赤色−緑色、ｂ：青色−黄色）、方向特徴（上下左右の領域におけるエッジの位置）である。輝度特徴が１種類、色彩特徴が２種類、方向特徴が４種類であるため、静的特徴は７種類の特徴を有している。また、動的特徴とは、点滅特徴（点滅を示す画像）、運動特徴（上下左右の領域における変化）である。点滅特徴が１種類であり、運動特徴が４種類であるため、動的特徴は、５種類の特徴を示している。

また、特徴抽出部１２は、それぞれの解像度の組合わせ毎に、上述した特徴を抽出して特徴別のガウシアンピラミッド（特徴別ガウシアンピラミッド）を生成する。そして、特徴抽出部１２は、静的特徴及び動的特徴の特徴別ガウシアンピラミッドに基づき、解像度の組合わせが６種類であり、特徴が静的特徴及び動的特徴を合わせて１２種類である、全体で７２種類の特徴マップを生成する。ここで、解像度の組合わせとは、組み合わせる解像度をｃとｓとした場合、ｃ＝｛２，３，４｝と、ｓ＝ｃ＋δ（δ＝｛３，４｝）との低解像度画像の６種類の組合わせである。

上述した低解像度画像生成部１１及び特徴抽出部１２の各々による低解像度画像からの特徴抽出において、静的特徴の抽出については、文献１（A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998）の方法に基づいている。また、静的特徴に対して動的特徴の抽出については、文献２（Realistic Avatar Eye and Head Animation Using a Neurobiological Model of Visual Attention, In: Proc. SPIE 48th Annual International Symposium on Optical Science and Technology, Vol. 5200, pp. 64-78, 2003）の方法に基づいている。

重み付け係数分布作成部１３は、人間の視覚特性及びＨＭＤ２００の回転情報に応じた特徴マップ重み付け係数分布マップの生成を行なう。ここで、視覚特性は、人間の眼における錐体細胞と桿体細胞との分布の違いから、中心視野領域と周辺視野領域とで反応しやすい特徴が異なる特性である。例えば、中心視野領域においては輝度特徴、色彩特徴、方向特徴といった静的特徴に強く反応し、周辺視野領域においては運動特徴や点滅特徴といった動的特徴に強く反応するという特性を有している。

図２は、ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。図２において、静的重み付け係数分布マップ５００が左眼用であり、静的重み付け係数分布マップ６００が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。上述したように、中心視野領域５０１、６０１が周辺視野領域５０２、５０３、６０２、６０３に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなる。本実施形態においては、静的重み付け係数分布マップ５００及び静的重み付け係数分布マップ６００の各々が中心に対して円上の分布として形成されているが、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなるように設定されていれば、分布はどのような形状でも良い。

また、観察者の頭部が静止状態であれば、文献３（周辺視野特性を考慮した顕著性マップの作成，情報処理学会第78回全国大会，2016年）に示されているように、コントラスト感度特性（Contrast Sensitivity Function：ＣＳＦ）と皮質拡大係数（Cortical Magnification Factor：ＣＭＦ）とに基づいて、重み付け係数を計算する。また、観察者の頭部が静止状態である際の動的特徴の特徴マップには、図２に示すような画像中心部に向かうほど円形に特徴マップの値を減少させる重み付け係数となる静的重み付け係数分布マップ６００を使用する。

図３は、ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。図３において、動的重み付け係数分布マップ５５０が左眼用であり、動的重み付け係数分布マップ６５０が右眼用である。図２の場合と同様に、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。上述したように、中心視野領域５５１、６５１が周辺視野領域５５２、５５３、６５２、６５３に比較して重み付け係数が低く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が高くなる。本実施形態においては、動的重み付け係数分布マップ５５０及び静的重み付け係数分布マップ６５０の各々が中心に対して円上の分布として形成されているが、図２と同様に、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなるように設定されていれば、分布はどのような形状でも良い。

図４は、ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。図４において、静的重み付け係数分布マップ５２０が左眼用であり、静的重み付け係数分布マップ６２０が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。図２の場合と同様に、中心視野領域５２１、６２１が周辺視野領域５２２、５２３、６２２、６２３に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなる。本実施形態においては、観察者が頭部を回転させる際の回転角速度に応じて、重み付け係数の分布の形状を変化させている。図４の場合、観察者が頭部を右方向に回転させている、すなわちＨＭＤ２００が右方向に回転している状態を示している。

頭部回転の特性としては、ＨＭＤ２００の装着時は、頭部を自由に回転可能であるという点と、基本的に頭部と眼球とは協調して動くという点から、観察者の頭部の動き（回転）が少ない場合には、ＨＭＤ２００の方向（レンズ中心に対応する）と視線方向（中心視野領域）とはほぼ一致している特性とする（図２の場合）。一方、観察者の頭部の動きが大きい場合には、ＨＭＤ２００の動きの方向（レンズ中心からＨＭＤの加速度に応じて移動した位置に対応する）に視線方向（中心視野領域）がずれるという特性とする（図４の場合には右側）。したがって、回転角速度の大きさ（回転状態）によって、観察者の視点が頭部の動く方向（図４の場合には右側）にずれているため、重み付け係数分布作成部１３は、図４に示すように回転角速度に対応した静的重み付け係数分布マップを準備するか、その都度、所定の演算式により静的重み付け係数分布マップを算出して求める。

図５は、ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。図５において、動的重み付け係数分布マップ５７０が左眼用であり、動的重み付け係数分布マップ６７０が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。図４の場合と同様に、中心視野領域５７１、６７１が周辺視野領域５７２、５７３、６７２、６７３に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が高くなる。本実施形態においては、図４の場合と同様に、観察者が頭部を回転させる際の回転角速度に応じて、重み付け係数の分布の形状を変化させている。図５の場合、観察者が頭部を右方向に回転させている、すなわちＨＭＤ２００が右方向に回転している状態を示している。

上述したように、観察者の頭部が回転している際の特徴マップには、図５および図６に示すような頭部の角速度に基づいて円形の重み付け係数の分布をずらした重み付け係数分布マップを算出する。例えば、観察者の頭部回転におけるロール軸とヨー軸の角速度を、画像上の向きと大きさに対応付けることで、円形の分布の中心位置をずらすように移動させる。

図１に戻り、重み付け特徴マップ生成部１４は、静的特徴の特徴マップに対し、静的重み付け係数分布マップを加重し、静的特徴の特徴マップの特徴量を調整して静的特徴の重み付け特徴マップを作成する。また、重み付け特徴マップ生成部１４は、動的特徴の特徴マップに対し、動的重み付け係数分布マップを加重し、動的特徴の特徴マップの特徴量を調整して動的特徴の重み付け特徴マップを作成する。重み付け特徴マップ生成部１４は、例えば、特徴マップの各画素の特徴量に対して、この画素の領域に対応する重み付け係数を乗算し、ガウシアンピラミッドに対応させて、すなわち、（ｃ，ｓ）＝（２，５）、（２，６）、（３，６）、（３，７）、（４，７）、（４，８）の組合わせに対応して、静的及び動的の各々の重み付け特徴マップを作成する。

特徴別顕著性マップ生成部１５は、特徴（静的特徴及び動的特徴）毎に、それぞれガウシアンピラミッドにおける各階層、すなわち（ｃ，ｓ）＝（２，５）、（２，６）、（３，６）、（３，７）、（４，７）、（４，８）の組合わせに対応した重み付け特徴マップを合成する。ここで、特徴マップは、解像度が大きい方に合わせて算出して生成するため、ガウシアンピラミッドとしては、σ＝｛２，３，４｝における階層と対応している。このとき、特徴別顕著性マップ生成部１５は、各解像度の重み付け特徴マップを両眼視差画像の縦横に合わせた解像度の画素数に拡張し、かつ文献１及び文献２に示されているように、正規化を行なった後に、それぞれの画素毎の対応する重み付けされた特徴量を積算することで、特徴別顕著性マップを生成する。ここで、正規化とは、例えば、両眼視差画像の縦横に合わせた解像度の画素数に拡張した重み付け特徴マップにおいて、特徴量が均一な場合に特徴量を所定の数値に平滑化し、一方、特徴量が他の領域に比較して高い領域がある場合、その領域の特徴量を所定の割合で高くするなどの処理である。

視覚的顕著性マップ生成部１６は、特徴別顕著性マップ生成部１５の生成した特徴（静的特徴及び動的特徴）毎の特徴別顕著性マップを合成し、視覚的顕著性マップを生成する。このとき、視覚的顕著性マップ生成部１６は、すでに述べた特徴別顕著性マップ生成部１５による特徴別顕著性マップの生成の場合と同様に、各特徴の特徴別顕著性マップの正規化を行なった後に、それぞれの画素毎の対応する特徴量を積算することで、視覚的顕著性マップを生成する。

図６は、本実施形態の視覚的顕著性マップ生成装置１による視覚的顕著性マップを生成する処理の動作例を示すフローチャートである。以下、図１及び図６を用いて、視覚的顕著性マップ生成装置１による視覚的顕著性マップを生成する処理の説明を行なう。
ステップＳ１：
低解像度画像生成部１１は、操作部１０１から供給される観察者の選択した映像コンテンツの動画像に対応する３次元画像データを画像記憶部１０３から読み込む。
そして、低解像度画像生成部１１は、読み出した３次元画像データから、観察者の視点方向に対応した画像として、σ＝２の低解像度画像を生成し、ぼかし処理とダウンサンプリングとにより、σ＝３からσ＝８までの計７種類の解像度の低解像度画像の各々を生成する。

ステップＳ２：
特徴抽出部１２は、低解像度画像生成部１１が生成した低解像度画像の各々から、画像の静的特徴及び動的特徴、すなわち１２種類の特徴別のガウシアンピラミッドを生成する。

ステップＳ３：
そして、特徴抽出部１２は、生成した特徴別ガウシアンピラミッドから、それぞれの特徴の特徴マップを、解像度の組合わせに対応させて生成する。

ステップＳ４：
重み付け係数分布作成部１３は、ＨＭＤ２００の頭部情報取得部２１０から、ＨＭＤ２００の回転状態（すなわち、観察者の頭部の回転状態）を示す回転情報を読み込む。
そして、重み付け係数分布作成部１３は、重み付け係数分布記憶部１７の重み付けテーブルから、上記回転状態に応じた動的及び静的の各々の重み付け係数分布マップを読み出す。

図７は、重み付け係数分布記憶部１７に記憶されている重み付けテーブルの構成を示す図である。図７（ａ）は、静的特徴に対する重み付け係数分布マップの重み付けテーブルである。この図７（ａ）の重み付けテーブルには、レコード毎に、回転状態に対応した輝度特徴、色彩特徴（ａ：赤色−青色）、色彩特徴（ｂ：青色−黄色）、方向特徴（上）、方向特徴（下）、方向特徴（左）、方向特徴（右）の各々の重み付け係数分布マップが設定されている。
また、図７（ｂ）は、動的特徴に対する重み付け係数分布マップの重み付けテーブルである。この図７（ｂ）の重み付けテーブルには、レコード毎に、回転状態に対応した点滅特徴、運動特徴（上）、運動特徴（下）、運動特徴（左）、運動特徴（右）の各々の重み付け係数分布マップが設定されている。

本実施形態においては、重み付け係数分布作成部１３の行なう重み付け係数分布マップの作成を、重み付けテーブルの参照を例として説明したが、所定の関係式により、それぞれの特徴に対応した重み付け係数分布マップを生成する構成としても良い。また、静的特徴の各々と動的特徴の各々とに対して重み付け係数分布マップを設ける構成としたが、性的特徴と動的特徴との各々に対応して一個ずつの重み付け係数分布マップを設ける構成としても良い。

ステップＳ５：
重み付け特徴マップ生成部１４は、静的特徴の特徴マップの各々に対して、それぞれの特徴に対応する重み付け係数分布マップを加重して（図２から図５の各々）、静的特徴の各々の重み付け特徴マップを生成する。同様に、重み付け特徴マップ生成部１４は、動的特徴の特徴マップの各々に対して、それぞれの特徴に対応する重み付け係数分布マップを加重して、動的特徴の各々の重み付け特徴マップを生成する。

ステップＳ６：
特徴別顕著性マップ生成部１５は、静的特徴及び動的特徴における特徴毎に、それぞれの重み付け特徴マップを正規化し、正規化した重み付け特徴マップを合成し、特徴別顕著性マップを生成する。

ステップＳ７：
視覚的顕著性マップ生成部１６は、静的特徴及び動的特徴における特徴毎の特徴別顕著性マップを正規化し、正規化した特徴別顕著性マップを合成し、視覚的顕著性マップを生成する。

そして、視覚的顕著性マップ生成装置１は、両眼視差画像生成部１０２が映像コンテンツの動画像として、３次元画像データをレンダリングして両眼視差画像を生成する際に、画像の各領域の解像度を調整するために用いる視覚的顕著性マップを生成する。
そして、両眼視差画像生成部１０２は、両眼視差画像をレンダリングする際、この両眼視差画像に対応して生成された視覚的顕著性マップに示された視覚的顕著性の数値の分布に応じて、領域毎に解像度の異なる両眼視差画像を生成する。
また、解像度を調整するのではなく、視覚的顕著性マップに対応させて、両眼視差画像の各領域のレンダリングにおいて、光の反射などの表現の品質を調整する構成としても良い。すなわち、視覚的顕著性の低い領域は、視覚的顕著性の高い領域に比較して、レンダリングの品質を低下させ、レンダリングのパフォーマンスを向上（レンダリング時間の短縮）させる。

上述したように、本実施形態においては、静的特徴及び動的特徴の各々に対して、人間の眼の視覚特性に対応した重み付け係数を用い、この重み付け係数の分布を観察者の頭部の回転状態により変更するため、人間の視覚特性に対応し、かつ観察者の視線方向に対応した視覚的顕著性を示す視覚的顕著性マップを容易に作成することができる。
これにより、本実施形態においては、上述した視覚的顕著性マップを用いることにより、ＨＭＤに対して供給する両眼視差画像を、ＨＭＤに対して視線検出装置を設けず、観察者の視線方向に精度良く対応した解像度（視覚的顕著性の低い領域が視覚的顕著性の高い領域に比較して解像度を低く生成した）の領域からなる両眼視差画像を、レンダリング時間を短縮することで、リアルタイムにＨＭＤに対して供給することができる。

なお、本発明における図１の視覚的顕著性マップ生成装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視覚的顕著性マップを生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせを含む。

観察者が頭部を自由に回転させ、観察者の視点を移動させることが出来るリアルタイム３次元映像は、医療分野やエンターテイメント業界でインタラクティブな映像コンテンツを提示する際に大いに需要がある。
このような背景の中、より没入感を観察者に与えるためには、リアルタイムに高精細な立体画像を提示する必要がある。本発明により、視線検出装置を使用せずに、ヒトの視覚特性に基づいて必要性の少ない画像生成のコストを削減することが可能であり、リアルタイム性の確保に貢献できる。

１…視覚的顕著性マップ生成装置
１１…低解像度画像生成部
１２…特徴抽出部
１３…重み付け係数分布作成部
１４…重み付け特徴マップ生成部
１５…特徴別顕著性マップ生成部
１６…視覚的顕著性マップ生成部
１７…重み付け係数分布記憶部
１００…両眼視差画像生成システム
１０１…操作部
１０２…両眼視差画像生成部
１０３…画像記憶部
２００…ＨＭＤ
２１０…頭部情報取得部
２２０…表示部

Claims

立体画像を観察者の頭部に装着されたヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を、人間の視覚特性における中心視野領域及び周辺視野領域の各々に対応して設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置であり、
３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出部と、
前記頭部の静止状態における前記視覚特性の静的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が高くなるように設定された静的重み付け係数分布マップと、前記視覚特性の動的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が低くなるように設定された動的重み付け係数分布マップとの各々を生成し、前記頭部が回転した場合、前記中心視野領域それぞれの中心位置を前記頭部の前記回転の方向にずらす重み付け係数分布作成部と、
前記静的特徴マップの特徴量に、前記静的重み付け係数分布マップの重み付け係数を乗算した静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量に、前記動的重み付け係数分布マップの重み付け係数を乗算した動的特徴別顕著性マップを生成する特徴別顕著性マップ生成部と、
前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成部と
を備えることを特徴とする視覚的顕著性マップ生成装置。
前記特徴別顕著性マップ生成部が、前記静的特徴マップの画素の特徴量に対し、前記静的重み付け係数分布マップの重み付け係数を乗算し、前記動的特徴マップの画素の特徴量に対し、前記動的重み付け係数分布マップの重み付け係数を乗算して、静的特徴別顕著性マップ、動的特徴別顕著性マップを生成する
ことを特徴とする請求項１に記載の視覚的顕著性マップ生成装置。
３次元立体データから前記両眼視差画像に対応し、より低分解能の低分解能画像を生成する低解像度画像生成部をさらに備え、
前記特徴抽出部が、前記低分解能画像から前記静的特徴マップ及び前記動的特徴マップを抽出する
ことを特徴とする請求項１または請求項２に記載の視覚的顕著性マップ生成装置。
前記重み付け係数分布作成部が、前記ヘッドマウントディスプレイの回転動作に応じて、前記静的重み付け係数分布マップ及び前記動的重み付け係数分布マップの各々の重み付け係数の分布の形状を生成する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の視覚的顕著性マップ生成装置。
前記静的特徴が少なくとも輝度特徴、色彩特徴、方向特徴を含み、前記動的特徴が少なくとも点滅特徴、運動特徴を含んでいる
ことを特徴とする請求項１から請求項４のいずれか一項に記載の視覚的顕著性マップ生成装置。
前記静的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に低く設定され、前記動的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に高く設定されている
ことを特徴とする請求項１から請求項５のいずれか一項に記載の視覚的顕著性マップ生成装置。
立体画像を観察者の頭部に装着されたヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を、人間の視覚特性における中心視野領域及び周辺視野領域の各々に対応して設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成方法であり、
特徴抽出部が、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出過程と、
重み付け係数分布作成部が、前記頭部の静止状態における前記視覚特性の静的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が高くなるように設定された静的重み付け係数分布マップと、前記視覚特性の動的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が低くなるように設定された動的重み付け係数分布マップとの各々を生成し、前記頭部が回転した場合、前記中心視野領域それぞれの中心位置を前記頭部の前記回転の方向にずらす重み付け係数分布作成過程と、
特徴別顕著性マップ生成部が、前記静的特徴マップの特徴量に、前記静的重み付け係数分布マップの重み付け係数を乗算した静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量に、前記動的重み付け係数分布マップの重み付け係数を乗算した動的特徴別顕著性マップを生成する特徴別顕著性マップ生成過程と、
視覚的顕著性マップ生成部が、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成過程と
を含むことを特徴とする視覚的顕著性マップ生成方法。
立体画像を観察者の頭部に装着されたヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を、人間の視覚特性における中心視野領域及び周辺視野領域の各々に対応して設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置の機能をコンピュータに実行させるプログラムであり、
前記コンピュータを、
３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出手段、
前記頭部の静止状態における前記視覚特性の静的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が高くなるように設定された静的重み付け係数分布マップと、前記視覚特性の動的特徴に対応して前記中心視野領域が、前記周辺視野領域よりも重み付け係数が低くなるように設定された動的重み付け係数分布マップとの各々を生成し、前記頭部が回転した場合、前記中心視野領域それぞれの中心位置を前記頭部の前記回転の方向にずらす重み付け係数分布作成手段、
前記静的特徴マップの特徴量に、前記静的重み付け係数分布マップの重み付け係数を乗算した静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量に、前記動的重み付け係数分布マップの重み付け係数を乗算した動的特徴別顕著性マップを生成する特徴別顕著性マップ生成手段、
前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成手段
として機能させるためのプログラム。