JPH1083460A - 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体 - Google Patents

立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体

Info

Publication number
JPH1083460A
JPH1083460A JP9171798A JP17179897A JPH1083460A JP H1083460 A JPH1083460 A JP H1083460A JP 9171798 A JP9171798 A JP 9171798A JP 17179897 A JP17179897 A JP 17179897A JP H1083460 A JPH1083460 A JP H1083460A
Authority
JP
Japan
Prior art keywords
model
stereoscopic
image
range
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9171798A
Other languages
English (en)
Other versions
JP3504111B2 (ja
Inventor
Kenichi Kameyama
研一 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP17179897A priority Critical patent/JP3504111B2/ja
Publication of JPH1083460A publication Critical patent/JPH1083460A/ja
Application granted granted Critical
Publication of JP3504111B2 publication Critical patent/JP3504111B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【解決課題】 使用者が感じる立体視画像に対する違和
感および眼の疲れを低減することのできる立体視システ
ムを提供する。 【解決手段】 モデルに対し観察者が注視する可能性の
高い範囲を決定する注視範囲決定手段13と、前記モデ
ルのデータを変更することによって、前記注視範囲決定
手段13により決定された注視範囲が立体視容易領域内
に入るように前記モデルをディスプレイ面と直交する方
向に移動するモデル移動手段14と、このモデル移動手
段14によって変更されたモデルのデータを変更するこ
とによって、前記モデル移動手段14により移動された
モデルの大きさを移動距離に対応して拡大縮小するモデ
ル拡大縮小手段15と、前記モデル移動手段14により
移動されるとともに前記モデル拡大縮小手段15により
大きさが変更された後のモデルのデータに基づいて、表
示される画像データを作成する画像データ作成手段20
とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は両眼立体視システム
に係り、とりわけディスプレイに表示される場面の変化
に合わせて自動的に立体視条件を変化させることにより
ユーザーの疲労を低減させることができる立体視システ
ム及び立体視方法に関するものである。
【0002】
【従来の技術】従来から、ディスプレイ面、すなわち2
次元の面上に、所定のずれ量(両眼視差)を与えた左眼
用の画像と右眼用の画像とを表示し、これら両画像を融
合させることにより立体視を行う両眼立体視システムが
知られている。このような両眼立体視システムにおいて
は、調節と輻輳の矛盾という本質的な問題がある。すな
わち、実際に画像が表示されているのはディスプレイ面
上であるため、眼のピント(調節位置)は常時ディスプ
レイ面に合っているが、輻輳眼球運動により定まる注視
点の位置は、ディスプレイ面上に表示される左眼用画像
と右眼用画像のずれ量により定まるため、ディスプレイ
面上に位置しない場合がほとんどである。
【0003】このように調節と輻輳の矛盾がある場合に
おいて、矛盾の量が小さい場合は、人間は左眼用画像と
右眼用画像を融合させる能力をもっており、立体視を行
うことができる。しかし、矛盾の量が大きくなってくる
と、人間は左眼用画像と右眼用画像を融合させることが
できなくなるか、融合させることができた場合でも眼の
疲労が大きくなり、立体視を行うことが不可能または困
難となってくる。
【0004】このため、従来、システムのユーザがトラ
イアンドエラーにより見やすいように立体視条件を調整
する必要があった。また、静止画像の場合にはこの作業
は比較的容易であるが、動画の場合には、撮影対象によ
って視聴者の注視点の位置が変化するため、場面によっ
て立体視条件を設定し直さなければならならず、非常に
面倒な作業を強いられることになる。従って動画の場合
には、再生中の立体視条件の変更は行われていないとい
うのが実状である。
【0005】また、このような立体視システムのディス
プレイには、文字情報、メニュー、ボタン等のグラフィ
ックユーザーインターフェースアイテムが表示される場
合が多い。しかしながら、このグラフィックユーザーイ
ンターフェースアイテムについては、立体視表示画像の
立体視処理に合わせた処理がなされていないためユーザ
は、画面に違和感を感じることが多い。
【0006】一方、近年、DVD等の普及によって、シ
ステムのユーザが自分の見たい角度から画像を眺められ
る機能を備えたシステムが実現されている。このような
画像表示システムについても、より効果的な立体視効果
を持たせるためのシステムが望まれているが、このため
にも、前記のような問題点を解決することが強く望まれ
ている。
【0007】
【発明が解決しようとする課題】本発明は、このような
ことを考慮してなされたものであり、場面の変化に合わ
せて立体視条件を自動的に決定する機能を実現すること
により、システムのユーザに繁雑な操作を要求せず、か
つ使用者の眼に疲労感を与えない立体視システム及び立
体視方法を提供することを目的とする。
【0008】また、本発明の別の目的は、モデルと同時
に表示されるグラフィックユーザーインターフェースア
イテムについてもモデルに対して違和感のないように表
示することができる機能を実現し、使用者の疲労感を与
えない立体視システム及び立体視方法を提供することに
ある。
【0009】さらなる別の目的は、場面に合わせて立体
視条件を変更させるための情報の生成方法、及びその生
成方法により作成された情報を前記右眼画像情報と左眼
用画像情報とと共に格納したDVD等の記録媒体を提供
し、さらには、この記録媒体の製造装置及び再生装置を
提供することにある。
【0010】
【課題を解決するための手段】以上のような目的を達成
するため、請求項1記載の発明は、ディスプレイに、モ
デルを、互いに異なる2つの視点から見てなる一対の右
眼用・左眼用画像を用いて、立体視可能に表示するため
の立体視システムにおいて、モデルに対し観察者が注視
する可能性の高い範囲を決定する注視範囲決定手段と、
前記モデルのデータを変更することによって、前記注視
範囲決定手段により決定された注視範囲が立体視容易領
域内に入るように前記モデルをディスプレイ面と直交す
る方向に移動するモデル移動手段と、このモデル移動手
段によって変更されたモデルのデータを変更することに
よって、前記モデル移動手段により移動されたモデルの
大きさを移動距離に対応して拡大縮小するモデル拡大縮
小手段と、前記モデル移動手段により移動されるととも
に前記モデル拡大縮小手段により大きさが変更された後
のモデルのデータに基づいて、前記ディスプレイ上に表
示される画像データを作成する画像データ作成手段とを
備えるものである。
【0011】請求項1記載の発明によれば、注視範囲決
定手段により注視範囲が推定され、この注視範囲が立体
視容易領域内に入るようにモデルが奥行き方向に移動さ
れる。次いで、モデル拡大縮小手段によりモデルの大き
さが移動距離に対応して変化させられる。このようにし
て改変されたモデルのデータは画像データ作成手段に送
られ、画像データ作成手段はディスプレイ上に表示され
る画像データを作成する。
【0012】請求項1記載の立体視システムは、前記モ
デル移動手段により移動されたモデルのうちの少なくと
もその要部が立体視容易領域内に入るように視点から見
た奥行き方向の縮尺を設定する奥行き距離縮小手段を更
に備えることが好ましい。
【0013】請求項1記載の立体視システムは、実際に
表示された画像に対する視線および注視範囲を検出する
視線・注視範囲検出手段を更に備え、前記モデル移動手
段は、前記視線・注視範囲検出手段により検出された注
視範囲に基づいて前記モデルをディスプレイと直交する
方向に移動することが好ましい。
【0014】請求項1記載の立体視システムの前記モデ
ル移動手段は、視点から見たモデルの配置条件が変化
し、この変化に合わせてモデルを移動する場合、前記配
置条件の変化が生じた時点から所定時間内、前記モデル
の注視範囲の移動量を輻輳角に換算してほぼ1度以上に
なることを防止する手段を有することが好ましい。
【0015】請求項5記載の発明は、ディスプレイに、
モデルを、互いに異なる2つの視点から見た一対の画像
を用いて立体視可能に表示する立体視システムにおい
て、モデルに対し観察者が注視する可能性の高い部分を
決定する注視範囲決定手段と、前記注視範囲決定手段の
出力に基づいて、モデルのデータの前記一対の左、右眼
用画像上への透視変換方法を決定する透視変換決定手段
と、前記透視変換決定手段により決定された透視変換方
法に基づいて前記ディスプレイ上に表示される画像デー
タを作成する画像データ作成手段とを備えるものであ
る。
【0016】このような構成によれば、請求項1の発明
のように実際にモデルを移動及び拡大・縮小することな
く、透視変換の手法により立体視容易な画像データを生
成することができる。
【0017】請求項5記載の立体視システムの前記透視
変換決定手段は、前記注視範囲決定手段により決定され
た前記注視範囲像の前記一対の画像中での基準位置から
のずれが視野角にして2度以内になるような透視変換方
法を決定することが好ましい。
【0018】請求項5記載の立体視システムは、視点か
ら見たモデルの配置条件が変化した場合、前記透視変換
作成手段により作成された透視変換方法を用いて前記画
像データ作成手段により作成された画像のずれの変化量
が輻輳角に換算してほぼ1度以上とすることを防止する
機能を更に有することが好ましい。
【0019】請求項1、5記載の立体視システムは、前
記注視範囲決定手段は、観察者の視点から見た前記モデ
ルの配置条件、色調、明度、彩度、大きさ、複雑さ、移
動速度のうちの全部または一部を考慮して、両眼の注視
範囲を推定する手段を有することが好ましい。
【0020】請求項1、5記載の立体視システムは、視
野外に存在するモデルのデータを除外する視野外データ
除外手段を更に備えることが好ましい。
【0021】請求項7記載の立体視システムは、実際に
表示された画像に対する視線および注視範囲を検出する
視線・注視範囲検出手段を更に備え、前記視野外データ
除外手段は、前記視線・注視範囲検出手段により検出さ
れた視線に基づいて視野を算出し、視野外に存在するデ
ータを除外することが好ましい。
【0022】請求項1、5記載の立体視システムは、表
示されるモデルの色調を、視点より奥行き方向に遠ざか
るに従って背景色の色調に近づける色調変更手段を更に
備えることが好ましい。
【0023】請求項1、5記載の立体視システムの前記
画像データ作成手段は、ディスプレイ上に表示されるグ
ラフィックユーザーインターフェースアイテムの立体視
条件を定める機能を更に有していることが好ましい。
【0024】請求項1、5記載の立体視システムは、前
記モデルがディスプレイ画面端部に位置する場合、左右
画像の縁部をぼかすぼかし手段を有していることが好ま
しい。
【0025】請求項1、5記載の立体視システムは、さ
らに、立体視条件を変化させ立体視効果を弱めることで
眼の疲れを軽減する手段を有していることが好ましい。
【0026】請求項13記載の発明は、ディスプレイ
に、互いに異なる2つの視点から見た一対の画像を立体
視可能に表示する立体視システムにおいて、観察者が注
視する可能性の高い画像部分を決定する注視範囲決定手
段と、前記注視範囲決定手段の出力に基づいて、この注
視範囲が立体視容易な領域になるような画像変換方法を
決定する画像変換決定手段と、この画像変換決定手段の
出力に基づいて前記ディスプレイ上に表示される画像デ
ータを作成する画像データ作成手段とを備えるものであ
る。
【0027】このような構成によれば、実写画像を立体
視する場合にも適用でき、この実写画像について立体視
容易な画像データを生成することができる。
【0028】請求項13記載の立体視システムの前記注
視範囲決定手段は、画素または画像領域の画面中での位
置、色調、明度、彩度、大きさ、複雑さ、動きのうちの
全部または一部を考慮することにより、観察者が注視す
る可能性の高い画像部分を少なくとも一つ以上推定する
機能を有することが好ましい。
【0029】請求項13記載の立体視システムの前記画
像変換決定手段は、前記注視部決定手段により決定され
た注視範囲内の基準点の左右画像間でのずれが、視野角
にして2度以内になるように変換方法を決定することが
好ましい。
【0030】請求項13記載の立体視システムの前記注
視範囲決定手段は、実際に表示された画像に対する視線
および注視範囲を検出する視線・注視範囲検出手段によ
り構成されることが好ましい。
【0031】請求項13記載の立体視システムは、表示
される画像の明度、色調を、前記注視部分以外の部分で
視認性が低くなるように変更する手段を有することが好
ましい。
【0032】請求項13記載の立体視システムは、前記
一対の画像の各画素または画像領域の左右像間でのずれ
量が、所定時間内に輻輳角に換算してほぼ1度以上変化
することを防止する手段を有することが好ましい。
【0033】請求項13記載の立体視システムの前記画
像データ作成手段は、ディスプレイ上に表示されるグラ
フィックユーザインタフェースアイテムの立体視条件を
定める機能を更に有していることが好ましい。
【0034】請求項14記載の発明は、ディスプレイ
に、モデルを互いに異なる2つの視点から見た一対の画
像を立体視可能に表示する立体視方法において、モデル
に対し観察者が注視する可能性の高い範囲を決定する注
視範囲決定ステップと、前記モデルのデータを変更する
ことによって、前記注視範囲決定手段により決定された
注視範囲が立体視容易領域内に入るように前記モデルを
ディスプレイ面と直交する方向に移動するモデル移動ス
テップと、このモデル移動手段によって変更されたモデ
ルのデータを変更することによって、前記モデル移動手
段により移動されたモデルの大きさを移動距離に対応し
て拡大縮小するモデル拡大縮小ステップと、前記モデル
移動手段により移動されるとともに前記モデル拡大縮小
手段により大きさが変更された後のモデルのデータに基
づいて、前記ディスプレイ上に表示される画像データを
作成する画像データ作成ステップとを備えるものであ
る。
【0035】請求項14記載の発明によれば、注視範囲
決定ステップにより注視範囲が推定され、この注視範囲
が立体視容易領域内に入るようにモデルが奥行き方向に
移動される。次いで、モデル拡大縮小ステップによりモ
デルの大きさが移動距離に対応して変化させられる。こ
のようにして改変されたモデルのデータは画像データ作
成ステップに送られ、画像データ作成ステップでは、デ
ィスプレイ上に表示される画像データを作成する。
【0036】請求項14記載の立体視方法は、前記モデ
ル移動ステップにより移動されたモデルのうちの少なく
ともその要部が立体視容易領域内に入るように視点から
見た奥行き距離の縮尺を設定する奥行き距離縮小ステッ
プを更に備えることが好ましい。
【0037】請求項14記載の立体視方法は、実際に表
示された画像に対する視線および注視範囲を検出する視
線・注視範囲検出ステップを更に備え、前記モデル移動
ステップは、前記視線・注視範囲検出ステップにより検
出された注視範囲に基づいて前記モデルをディスプレイ
と直交する方向に移動することが好ましい。
【0038】請求項14記載の立体視方法の前記モデル
移動ステップは、視点から見たモデルの3次元空間内へ
の配置条件が変化し、この変化に合わせてモデルを移動
する場合、前記配置条件の変化が生じた時点から所定時
間内、前記モデルの注視範囲の移動量を輻輳角に換算し
てほぼ1度以上になることを防止するステップを有する
ことが好ましい。
【0039】請求項18記載の発明は、ディスプレイ
に、モデルを、互いに異なる2つの視点から見た一対の
画像を用いて立体視可能に表示する立体視方法におい
て、モデルに対し観察者が注視する可能性の高い部分を
決定する注視範囲決定ステップと、前記注視範囲決定ス
テップの出力に基づいて、モデルのデータの前記一対の
左、右眼用画像上への透視変換方法を決定する透視変換
決定ステップと、前記透視変換決定ステップにより決定
された透視変換方法に基づいて前記ディスプレイ上に表
示される画像データを作成する画像データ作成ステップ
とを備えるものである。
【0040】このような構成によれば、請求項12の発
明のように実際にモデルを移動及び拡大・縮小すること
なく、透視変換の手法により立体視容易な画像データを
生成することができる。
【0041】請求項18記載の立体視方法の前記透視変
換決定ステップは、前記注視範囲決定ステップにより決
定された前記注視範囲像の前記一対の画像中での基準位
置からのずれが視野角にして2度以内になるような透視
変換方法を決定することが好ましい。
【0042】請求項18記載の立体視方法は、視点から
見たモデルの配置条件が変化した場合、前記透視変換作
成ステップにより作成された透視変換方法を用いて前記
画像データ作成ステップにより作成された画像のずれの
変化量が輻輳角に換算してほぼ1度以上とすることを防
止するステップを有することが好ましい。
【0043】請求項14、18記載の立体視方法の前記
注視範囲決定ステップは、観察者の視点から見た前記モ
デルの配置条件、色調、明度、彩度、大きさ、複雑さ、
移動速度のうちの全部または一部を考慮して、両眼の注
視範囲を推定するステップを有することが好ましい。
【0044】請求項14、18記載の立体視方法は、視
野外に存在するモデルのデータを除外する視野外データ
除外ステップを更に備えることが好ましい。この場合、
実際に表示された画像に対する視線および注視範囲を検
出する視線・注視範囲検出ステップを更に備え、前記視
野外データ除外ステップは、前記視線・注視範囲検出ス
テップにより検出された視線に基づいて視野を算出し、
視野外に存在するデータを除外することが好ましい。
【0045】請求項14、18記載の立体視方法は、表
示されるモデルの色調を、視点より奥行き方向に遠ざか
るに従って背景色の色調に近づける色調変更ステップを
更に備えることが好ましい。
【0046】請求項14、18記載の立体視方法は、前
記画像データ作成ステップは、ディスプレイ上に表示さ
れるグラフィックユーザーインターフェースアイテムの
立体視条件を定めるステップを有することが好ましい。
【0047】請求項26に記載の発明は、ディスプレイ
に、互いに異なる2つの視点から見た一対の画像を立体
視可能に表示する立体視方法は、観察者が注視する可能
性の高い画像部分を決定する注視範囲決定ステップと、
前記注視範囲決定ステップの出力に基づいて、この注視
範囲が立体視容易な領域になるような画像変換方法を決
定する画像変換決定ステップと、この画像変換決定ステ
ップの出力に基づいて前記ディスプレイ上に表示される
画像データを作成する画像データ作成ステップとを備え
るものである。
【0048】このような構成によれば、実写画像を立体
視する場合にも適用でき、この実写画像について立体視
容易な画像データを生成することができる。
【0049】請求項26に記載の方法の前記注視範囲決
定ステップは、画素または画像領域の画面中での位置、
色調、明度、彩度、大きさ、複雑さ、動きのうちの全部
または一部を考慮することにより、観察者が注視する可
能性の高い画像部分を少なくとも一つ以上推定すること
が好ましい。
【0050】請求項26記載の方法の前記画像変換決定
ステップは、前記注視部決定ステップにより決定された
注視範囲内の基準点の左右画像間でのずれが、視野角に
して2度以内になるように変換方法を決定することが好
ましい。
【0051】請求項26記載の前記注視範囲決定ステッ
プは、実際に表示された画像に対する視線および注視範
囲を検出する視線・注視範囲検出ステップにより構成さ
れることが好ましい。
【0052】請求項26記載の方法は、表示される画像
の明度、色調を、前記注視部分以外の部分で視認性が低
くなるように変更するステップを有することが好まし
い。
【0053】請求項26記載の方法は、前記一対の画像
の各画素または画像領域の左右像間でのずれ量が、所定
時間内に輻輳角に換算してほぼ1度以上変化することを
防止するステップを有することが好ましい。
【0054】請求項26記載の方法の前記画像データ作
成ステップは、ディスプレイ上に表示されるグラフィッ
クユーザインタフェースアイテムの立体視条件を定める
ステップを更に有していることが好ましい。
【0055】請求項27記載の発明は、コンピュータシ
ステムに、ディスプレイ上に、モデルを互いに異なる2
つの視点から見た一対の画像を立体視可能に表示させる
コンピュータプログラムを格納する記憶媒体において、
前記コンピュータシステムに、観察者が注視する可能性
の高い範囲を決定する指令を与える注視範囲決定指令手
段と、コンピュータシステムに、前記モデルのデータを
変更することによって、前記注視範囲決定指令手段によ
り決定された注視範囲が立体視容易領域内に入るように
前記モデルをディスプレイ面と直交する方向に移動させ
る指令を与えるモデル移動指令手段と、コンピュータシ
ステムに、このモデル移動手段によって変更されたモデ
ルのデータを変更することによって、前記モデル移動手
段により移動されたモデルの大きさを移動距離に対応し
て変化させる指令を与えるモデル拡大縮小指令手段と、
コンピュータシステムに、前記モデル移動手段により移
動されるとともに前記モデル拡大縮小手段により大きさ
が変更された後のモデルのデータに基づいて、前記ディ
スプレイ上に表示される画像データを作成する指令を与
える画像データ作成指令手段とを備えるものである。
【0056】請求項27記載の発明によれば、まず、注
視範囲が決定され、この注視範囲が立体視容易領域内に
入るようにモデルが奥行き方向に移動される。次いで、
モデル拡大縮小手段によりモデルの大きさが移動距離に
対応して変化させられる。このようにして改変されたモ
デルのデータは画像データ作成指令に基づき、ディスプ
レイ上に表示される画像データを生成するのに使用され
る。
【0057】請求項27記載の記憶媒体は、前記コンピ
ュータシステムに、前記モデル移動指令手段の指令に基
づいて移動されたモデルのうちの少なくともその要部が
立体視容易領域内に入るように視点から見た奥行き方向
の縮尺を設定する指令を与える奥行き距離縮小指令手段
を更に備えることが好ましい。
【0058】請求項27記載の記憶媒体は、コンピュー
タシステムに、実際に表示された画像に対する視線およ
び注視範囲を検出する指令を与える視線・注視範囲検出
指令手段を更に備え、前記モデル移動指令手段は、前記
コンピュータシステムに、前記視線・注視範囲検出指令
手段の指令に基づいて検出された注視範囲に基づいて前
記モデルをディスプレイと直交する方向に移動する指令
を与えることが好ましい。
【0059】請求項27記載の記憶媒体は、前記モデル
移動指令手段は、前記コンピュータシステムに、視点か
ら見たモデルの3次元空間内への配置条件が変化し、こ
の変化に合わせてモデルを移動する場合、前記配置条件
の変化が生じた時点から所定時間内、前記モデルの注視
範囲の移動量を輻輳角に換算してほぼ1度以上になるこ
とを防止する指令を与える手段を有することが好まし
い。
【0060】請求項31記載の発明は、コンピュータシ
ステムに、ディスプレイ上に、モデルを、互いに異なる
2つの視点から見た一対の画像を用いて立体視可能に表
示させるコンピュータプログラムを格納する記憶媒体に
おいて、コンピュータシステムに、モデルに対し観察者
が注視する可能性の高い部分を決定する指令を与える注
視範囲決定指令手段と、コンピュータシステムに、前記
注視範囲決定指令に基づく出力に基づいて、モデルのデ
ータの前記一対の左、右眼用画像上への透視変換方法を
決定する指令を与える透視変換決定指令手段と、コンピ
ュータシステムに、前記透視変換決定指令に基づいて決
定された透視変換方法に基づいて前記ディスプレイ上に
表示される画像データを作成する指令を与える画像デー
タ作成指令手段とを備えるものである。
【0061】このような構成によれば、請求項23の発
明のように実際にモデルを移動及び拡大・縮小すること
なく、透視変換の手法により立体視容易な画像データを
生成することができる。
【0062】請求項31記載の記憶媒体において、前記
透視変換決定指令手段は、前記コンピュータシステム
に、前記注視範囲決定手段により決定された前記注視範
囲像の前記一対の画像中での基準位置からのずれが視野
角にして2度以内になるような透視変換方法を決定する
指令を与える手段を有することが好ましい。
【0063】請求項31の記憶媒体は、コンピュータシ
ステムに、視点から見たモデルの配置条件が変化した場
合、前記透視変換作成手段により作成された透視変換方
法を用いて前記画像データ作成手段により作成された画
像のずれの変化量が輻輳角に換算してほぼ1度以上とす
ることを防止する指令を与える指令手段を更に有するこ
とが好ましい。
【0064】請求項27、31記載の記憶媒体は、前記
注視範囲決定指令手段は、コンピュータシステムに、観
察者の視点から見た前記モデルの配置条件、色調、明
度、彩度、大きさ、複雑さ、移動速度のうちの全部また
は一部を考慮して、両眼の注視範囲を推定させる指令を
与える手段を有することが好ましい。
【0065】請求項27、31記載の記憶媒体は、コン
ピュータシステムに、視野外に存在するモデルのデータ
を除外する指令を与える視野外データ除外指令手段を更
に備えることが好ましい。この場合、記憶媒体は、前記
コンピュータシステムに、実際に表示された画像に対す
る視線および注視範囲を検出する指令を与える視線・注
視範囲検出指令手段を更に備え、前記視野外データ除外
指令手段は、前記コンピュータシステムに、前記視線・
注視範囲検出指令手段の指令に基づいて検出された視線
に基づいて視野を算出し、視野外に存在するデータを除
外する指令を与えることが好ましい。
【0066】請求項27、31記載の記憶媒体は、前記
コンピュータシステムに、表示されるモデルの色調を、
視点より奥行き方向に遠ざかるに従って背景色の色調に
近づける指令を与える色調変更指令手段を更に備えるこ
とが好ましい。
【0067】請求項27、31記載の記憶媒体は、前記
画像データ作成指令手段は、前記コンピュータシステム
に、ディスプレイ上に表示されるグラフィックユーザー
インターフェースアイテムの立体視条件を定める指令を
与える手段を有していることが好ましい。
【0068】請求項39記載の発明は、コンピュータシ
ステムに、ディスプレイ上に、互いに異なる2つの視点
から見た一対の画像を立体視可能に表示させるコンピュ
ータプログラムを格納する記憶媒体において、前記コン
ピュータシステムに、観察者が注視する可能性の高い画
像部分を決定する指令を与える注視範囲決定指令手段
と、コンピュータシステムに、前記注視範囲決定指令に
基づく出力に基づいて、この注視範囲が立体視容易な領
域になるような画像変換方法を決定する指令を与える画
像変換決定指令手段と、コンピュータシステムに、この
画像変換決定手段の出力に基づいて前記ディスプレイ上
に表示される画像データを作成する指令を与える画像デ
ータ作成指令手段とを備えるものである。
【0069】このような構成によれば、実写画像を立体
視する場合にも適用でき、この実写画像について立体視
容易な画像データを生成することができる。
【0070】請求項39の記憶媒体において、前記注視
範囲決定指令手段は、コンピュータシステムに、画素ま
たは画像領域の画面中での位置、色調、明度、彩度、大
きさ、複雑さ、動きのうちの全部または一部を考慮する
ことにより、観察者が注視する可能性の高い画像部分を
少なくとも一つ以上推定させる指令を与える指令手段を
有することが好ましい。
【0071】請求項39の記憶媒体において、前記画像
変換決定指令手段は、コンピュータシステムに、前記注
視部決定指令により決定された注視範囲内の基準点の左
右画像間でのずれが、視野角にして2度以内になるよう
に変換方法を決定する指令を与える手段を有することが
好ましい。
【0072】請求項39の記憶媒体において、前記注視
範囲決定指令手段は、コンピュータシステムに、実際に
表示された画像に対する視線および注視範囲を検出する
指令を与える視線・注視範囲検出指令手段により構成さ
れることが好ましい、請求項39記載の記憶媒体は、前
記コンピュータシステムに、表示される画像の明度、色
調を、前記注視部分以外の部分で視認性が低くなるよう
に変更する指令を与える手段を有することが好ましい。
【0073】請求項39記載の記憶媒体は、前記コンピ
ュータシステムに、前記一対の画像の各画素または画像
領域の左右像間でのずれ量が、所定時間内に輻輳角に換
算してほぼ1度以上変化することを防止する指令を与え
る手段を有することが好ましい。
【0074】請求項39記載の記憶媒体において、前記
画像データ作成指令手段は、ディスプレイ上に表示され
るグラフィックユーザインタフェースアイテムの立体視
条件を定める指令を与える手段を更に有していることが
好ましい。
【0075】請求項40記載の発明は、画像データを記
憶した記憶媒体であって、前記左眼用と右眼用の画像を
ディスプレイに表示し、これらの画像を左眼および右眼
で独立して眺めることで、立体視を行わせるシステムに
適用される記憶媒体において、前記記憶媒体には、場面
毎に、その画像中の注視範囲を立体視容易領域に位置さ
せるための画像変換方法を格納する格納部を有すること
を特徴とするものである。
【0076】このような構成によれば、前記立体視シス
テム(記憶媒体再生装置)に適用することで、立体視容
易な画像データを提供できる記憶媒体を得ることができ
る。
【0077】請求項40記載の記憶媒体において、前記
画像変換方法は、視点を中心とし注視範囲を立体視容易
領域に位置させるための画像拡大率、奥行き距離、及び
視点からディスプレイ画面までの距離の各データを含む
ことが好ましい。
【0078】請求項41の発明は、請求項40記載の記
憶媒体を製造する記憶媒体製造システムであって、画像
データのうち観察者が注視する可能性の高い画像部分を
決定する注視範囲決定手段と、前記注視範囲決定手段の
出力に基づいて、この注視範囲が立体視容易な領域にな
るような画像変換方法を決定する画像変換決定手段と、
この画像変換方法を前記画像データと共に前記記憶媒体
に記載する手段とを有することを特徴とするものであ
る。
【0079】このような構成によれば、立体視情報が格
納された記憶媒体を製造することができる。
【0080】請求項41のシステムの前記注視範囲決定
手段は、画素または画像領域の画面中での位置、色調、
明度、彩度、大きさ、複雑さ、動きのうちの全部または
一部を考慮することにより、観察者が注視する可能性の
高い画像部分を少なくとも一つ以上推定する機能を有す
ることが好ましい。
【0081】請求項41のシステムの前記画像変換決定
手段は、前記注視部決定手段により決定された注視範囲
内の基準点の左右画像間でのずれが、視野角にして2度
以内になるように変換方法を決定することが好ましい。
【0082】請求項41のシステムの前記注視範囲決定
手段は、実際に表示された画像に対する視線および注視
範囲を検出する視線・注視範囲検出手段により構成され
ることが好ましい。
【0083】請求項41のシステムは、表示される画像
の明度、色調を、前記注視部分以外の部分で視認性が低
くなるように変更する手段を有することが好ましい。
【0084】請求項41のシステムは、ディスプレイ上
に表示されるグラフィックユーザインタフェースアイテ
ムの立体視条件を定める手段を更に有していることが好
ましい。
【0085】請求項42記載の発明は、請求項40記載
の記憶媒体を用いて、ディスプレイ上に表示する画像デ
ータを生成する立体視システムにおいて、記憶媒体に格
納された画像データを、この記憶媒体に格納された前記
画像データ変換方法に基づいて処理し、ディスプレイ上
に表示する一対の左眼用・右眼用画像を生成する手段を
有するものである。
【0086】このような構成によれば、立体視情報が格
納された記憶媒体を再生し、立体視容易な画像を作成す
ることができる。
【0087】
【発明の実施の形態】以下、本発明の実施形態を説明す
るが、その前に、立体視の原理について説明する。
【0088】図10は、視点中心(左眼と右眼を結ぶ線
分の中点をいう。以下本明細書において同じ。)からデ
ィスプレイ面までの距離と視点中心からの距離で表現さ
れる立体視可能領域および立体視容易領域との関係を表
したグラフである(出典;OplusE(雑誌名)に掲
載の畑田豊彦による生理工学15「3次元ディスプレ
イ」より)。
【0089】ここで視点中心からディスプレイ面までの
距離は、視点中心から両眼のピントがあっている位置ま
での距離を示していることになる。また、立体視可能
(容易)領域の広さは、輻輳角の変動許容範囲を示して
いることになる。図10より分かるように、視点中心か
らディスプレイ面までの距離が小さくなるほど、立体視
可能(容易)領域は狭くなっている。
【0090】ここで両眼立体視システムを三次元形状を
表示制作するCADシステムに適用した場合を考える。
この場合、システムのユーザの視点中心とディスプレイ
面との距離が60cmであるとすると、立体視可能領域
は視線中心からの奥行き距離がAn 2(cm)からAf
2(cm)までの領域となる。さらに眼の疲れが少ない
状態で立体視が可能となる領域、すなわち立体視容易領
域は、視線中心からの奥行き距離がAn1(cm)からA
f1(cm)までの領域に限定される。
【0091】しかしながら、上記モデル(表示対象)が
必ずしもAn1からAf1の間に位置しているとは限らな
い。従ってこの場合は、モデルの全てが立体像が見やす
い領域に入るように立体視条件を変化させる必要があ
る。
【0092】一方、3 次元の位置データを持たない通常
の画像(写真やビデオ画像のような実写画像)の場合
は、立体像が見やすいとされる領域は右眼用画像と左眼
用画像のずれの臨界値として表わせる。この値は、文献
(The CrystalEyes Handbook:L.Lipton, StereoGraphi
cs Corp. 1991)によれば視角にして1.5 度程度であ
る。また、少し大きめに見積もっても2度を超えること
はない。像を表示面より奥に知覚させる場合、最大の像
のずれは両眼間隔と同じなので、視点中心とディスプレ
イ面との距離が1 m以上なら、全ての領域が立体視容易
領域となる。しかし、画面より手前側に知覚させようと
する場合には、像がある程度以上画面から突出するとこ
の条件が満たされなくなる。従って、前記のような立体
モデルの場合と同様に、立体像を見やすくするには右眼
用と左眼用画像のずれを適宜変化させ、そのずれ量が常
に臨界値以下になるように立体視条件を変化させる必要
がある。
【0093】しかし、従来の立体視システムは、表示像
の変化に合わせて立体視条件を求め制御するような手段
が備わっていない。このため、予めカメラマンが撮影時
に見やすさを考慮して画像を作成しなければならず、ユ
ーザ自身がインタラクティブに表示を変えることはでき
ない。
【0094】この発明は、場面に対する注視範囲情報に
基づいて立体視条件を制御し、観察者が見やすい立体視
画像を生成する機能を有するものである。
【0095】以下、図面を参照して本発明の実施の形態
について説明する。
【0096】第1の実施の形態 まず、第1の実施の形態について説明する。図1〜図1
5は本発明の第1の実施の形態を示す図である。
【0097】まず、図1を参照し、本発明による立体視
システムの概要について説明する。なお、以下、立体視
システムが時分割式の立体視システムである場合につい
て説明する。
【0098】図1は、ディスプレイ1(通常のCRTで
良い)上に左眼用画像7aと右眼用画像7bが同時に表
示されている状態を示すものである。左眼用画像7a
は、左眼用背景8aとこの背景上に映し出された左眼用
像9aとからなる。また、右眼用画像7bは、右眼用背
景8bとこの背景上に映し出された左眼用像8bとから
なる。
【0099】実際には、この左眼用画像7aと右眼用画
像7bは、高速で交互に映し出されるから、観察者にと
っては、1つの画面7,1つの背景8及び1つの画像9
が立体的に表示されたものとして認識されることにな
る。
【0100】すなわち、このディスプレイ1には、画像
信号を出力する演算装置5が接続されている。この演算
装置5はディスプレイ1に表示される像9の立体視条件
を算出し、その立体視条件に基づいて、左眼用画像デー
タと右眼用画像データとを作成または処理し、前記左眼
用画像7a及び右眼用画像7bとして所定の周期で交互
にディスプレイ1に送るようになっている。
【0101】なお、この演算装置5には、ディスプレイ
1のディスプレイ面1aに表示される画像の回転、移
動、座標指定等の処理を指令するための入力手段6、例
えばキーボード6a、マウス6b、ダイヤル6c等が接
続されている。
【0102】また、この立体視システムは液晶シャッタ
メガネ2を有している。この液晶シャッタメガネ2は、
演算装置5により生成される左眼用画像7aと右眼用画
像7bの切換え周期に同期して、一方の眼への光の入力
を遮断するようになっている。すなわち、人間の左眼3
aは液晶シャッタメガネ2の左眼用レンズ2aを通して
ディスプレイ1に表示される画像7のうち左眼用画像7
aのみを見るようになっており、また右眼3bは液晶シ
ャッタメガネ2の右眼用レンズ2aを通してディスプレ
イ1に表示される画像7のうち右眼用画像7bのみを見
るようになっている。
【0103】従って、適切な立体視条件が設定されてい
れば、使用者は左眼用像9aと右眼用像9bとが融合し
た立体像を知覚することができるようになっている。ま
た、左眼3aと右眼3bを結ぶ線分の中点(以下、視点
中心という。)と、ディスプレイ面1aの中心1bとの
距離Zaは使用者個々の好み(画面を見る位置)により
変化するが、以下本明細中ではこの距離Zaは一定であ
る前提のもとに説明を行う。
【0104】以下、図2を参照し、この立体視システム
の構成の一例について詳述する。
【0105】図2に示すように、立体視システムは、シ
ステムの制御を行う制御手段10を有する。
【0106】この制御手段10は、入力手段6から入力
される指令を受けとり、システムに与える命令を作成す
る機能を有するものである。
【0107】この制御手段10には、3次元空間内に存
在するモデルの形状、大きさ、配置状態等の情報を記録
する記録手段11が接続されており、この記録手段11
から前記のようなモデル情報を受け取るようになってい
る。
【0108】この制御手段10には、ディスプレイ1に
表示される文字情報、メニュー、ボタン等のグラフィッ
クユーザーインターフェースアイテムに関するデータを
管理するGUIデータ管理手段21が接続されており、
このデータ管理手段21から前記の情報を受け取るよう
になっている。
【0109】また、このシステムは、立体視条件を算出
する立体視条件算出部を有する。この立体視条件算出部
は、視野外に存在するモデルのデータを除外する視野外
データ除外手段12と、モデルのデータに基づいて両眼
の注視範囲(注視点を含む範囲)を推定する注視範囲推
定手段13と、モデルを奥行き方向に移動する処理を行
うモデル移動手段14と、モデルの拡大縮小処理を行う
モデル拡大縮小手段15と、左眼用画像および右眼用画
像を作成する基準となる奥行き縮小距離を設定する奥行
き距離縮小手段16と、表示される画像に空気透視の効
果を与えるためにモデルの色調を変更する色調変更手段
17と、3次元空間の座標系に配置されたモデルを立体
視システムの座標系に適宜配置する処理を行う座標系変
換手段18と、眼の疲れに応じて左眼用画像と右眼用画
像のずれ量を調節するための画像ずれ量調節手段22
と、画面の縁部をぼかし処理する画面縁部処理手段23
とを備えている。
【0110】これら視野外データ除外手段12、注視範
囲推定手段13、モデル移動手段14、モデル拡大縮小
手段15、奥行き距離縮小手段16、色調変更手段1
7、座標系変換手段18、画面ずれ量調節手段22及び
画面縁部処理手段23は、それぞれモデルデータ管理手
段19に接続されている。このモデルデータ管理手段1
9は、前記制御手段10からの指令に基づき、上記各手
段12〜18から受け取ったデータを図に20で示す画
像データ作成手段に送出するようになっている。
【0111】この画像データ作成手段20は、モデルデ
ータ管理手段19から受けとったモデルのデータに基づ
いてディスプレイ1に表示される左眼用画像7aのデー
タと右眼用画像7bのデータとを作成し、その信号をデ
ィスプレイ1に送出する。
【0112】なお、これらの手段10〜21は、立体視
システムに設けられた前記演算装置5(図1)により構
成される。なお、コンピュータシステムに、前記各手段
10〜21を実行する手順を記載したコンピュータプロ
グラムをインストールすることによって実現されるもの
であっても良い。
【0113】次に、本実施の形態の作用について説明す
る。
【0114】作用を具体的に説明する前に、図3を参照
し、本明細書中で用いられる立体視システムの座標系に
ついて説明する。図3に示すように、立体視システムの
座標系は、左眼3aと右眼3bとの中点Oを原点とする
XYZ座標系により表わされる。
【0115】この座標系において、X軸は左眼3aと右
眼3bを結ぶ直線と一致しディスプレイ1のディスプレ
イ面1aと平行に延びている。ここで左眼3a方向を正
方向とする。
【0116】Z軸は原点Oとディスプレイ面1aの中心
1bとを結ぶ直線と一致する。ここで原点Oから中心1
bへ向かう方向を正方向とする。なお、このZ軸は視線
中心と一致する。
【0117】Y軸は、原点Oを通りXZ平面に対して垂
直方向に延びている。ここで、上方向が正方向となって
いる。また、左眼3aと右眼3bとを結ぶ線分の長さを
眼間距離といい、左眼3aと右眼3bとを結ぶ線分の中
点、すなわち原点Oを視点中心という。
【0118】以下、本実施形態の作用について図4、図
5に示すフローチャートにより説明する。
【0119】図4に示すように、立体視システムが立ち
上げられた後、まず、入力手段6により制御手段10に
初期値が入力される(ステップS100)。ここで初期
値とは、左眼用画像7aおよび右眼用画像7bのずれ量
を後で決定する際にその決定の基礎となる眼間距離の初
期設定値や、3次元空間の座標系上に配置されたモデル
を立体視システムの座標系上にどの様に配置するかを示
すデータ、視点中心Oとディスプレイ面1aの中心1b
との距離Za(=60cm)等で、通常、記録手段11
に記憶されている。なお、初期値としての眼間距離は人
間の実際の眼間距離に等しい値、例えば6cmに設定さ
れる。
【0120】初期値の入力が終了すると、次に、制御手
段10は、記録手段11から3次元空間の座標系に対応
するモデルのデータを読み込み(ステップS101)、
前記初期値とともにモデルデータ管理手段19に送る。
なお、ここでモデルのデータとは、モデルの寸法形状、
モデルの3次元空間の座標系への配置状態、およびモデ
ルの色調(色相、明度、および彩度の全てを含む。本明
細書中において同じ。)等のデータである。
【0121】次に、モデルデータ管理手段19は、初期
値およびモデルのデータを座標系変換手段18に送り、
座標系変換手段18はこれら初期値およびモデルのデー
タに基づいて、図6に示すようにモデルを立体視システ
ムの座標系に配置する(ステップS102)。
【0122】次に、キーボード6a,マウス6b、ダイ
ヤル6c等からなる入力手段6により、制御手段10を
介してモデルデータ管理手段19にデータが入力され、
立体視システムの座標系上に配置されたモデルの表示位
置、姿勢(モデルの向いている方向を意味する。)等の
調節が行われる(ステップS104)。
【0123】次に、モデルデータ管理手段19は、立体
視システムの座標系に配置されたモデルのデータを、視
野外データ除外手段12に送り、この視野外データ除外
手段12は図7(a)に示すようにモデルのデータのう
ち視野外に存在するモデル(図7(a)の破線参照)の
データを削除する(SステップS105)。ステップS
105により変更されたモデル(図7(a)の実線参
照)のデータはモデルデータ管理手段19に戻されモデ
ルのデータが書き換えられる。
【0124】次に、モデルデータ管理手段19は、モデ
ルのデータを注視範囲推定手段13に送る。注視範囲推
定手段13は、モデルデータ管理手段19から受けとっ
たモデルの3次元空間内への配置条件と前述した初期値
とに基づいて立体視システムの座標系に配置されたモデ
ルに対する使用者の両眼の奥行き方向の注視範囲を推定
する(ステップS106)。この注視点の推定は、この
実施形態においては、例えば、以下の説明する2つの手
法のうちのいずれかの手法により行われる。
【0125】まず、第1の手法について説明する。ま
ず、図8に示すように、モデルに含まれる各要素Ei
(i=1〜N)をそれぞれ包絡する包絡直方体Ri(i
=1〜N)が設定される。
【0126】次に、各包絡直方体Riを1単位として各
包絡直方体Riに包絡される要素Eiの代表点の加重W
iを求める。加重を求めるにあたって、まず各包絡直方
体Riの頂点の数が算出される。なお、各包絡直方体R
iが有する頂点数は通常8であるが、図8に示すように
視野の境界部に存在する包絡直方体R1については、視
野内に存在する頂点(図8において黒丸で示す頂点)の
数のみを計算し、これをもって包絡直方体R1の頂点の
数とする。
【0127】次に、各包絡直方体Riに包絡される要素
Eiの複雑さを表現する係数が算出される。この係数
は、各要素がコンピュータ上の形状モデルの場合は、各
包絡直方体Riに包絡された要素Eiに含まれる辺や面
の個数に基づいて算出され、イメージの場合は、空間周
波数に基づいて算出される。この係数は包絡直方体Ri
の頂点数に掛けられ、これにより包絡直方体ごとの加重
Wiが算出される。
【0128】次に、各包絡直方体Riの代表点の座標
(xi,yi,zi)が求められる。また、代表点の座
標(xi,yi,zi)のうちZ座標Ziをもって要素
の視点からの奥行き距離Ziと定義する。なお、要素E
iの代表点の座標は、各包絡直方体Riに包絡される要
素Eiの重心の座標とする。
【0129】次に、各包絡直方体Riの代表点と視線中
心(立体視システム座標系のZ軸)との距離diが計算
される。
【0130】次に、上記のようにして求めた各包絡直方
体Riの代表点の加重Wi、各包絡直方体Riの代表点
の視点中心からの距離Zi、各包絡直方体Riの代表点
と視線中心(Z軸)との距離diを用いて数式1により
注視点の奥行き座標Zdが算出される。
【0131】
【数1】
【0132】式1において、Nは包絡直方体の個数、Z
iはi番眼の包絡直方体の代表点の奥行き座標,Wiは
i番眼の包絡直方体の加重,diはi番眼の包絡直方体
の代表点の視線中心からの距離である。
【0133】また、代表点の奥行き座標の標準偏差σは
数式2により算出される。
【0134】
【数2】
【0135】これより、注視範囲は、基準点の奥行き座
標Zd、標準偏差σ、Ziの最小値Zi0 、Ziの最大
値Zi1 を用いて、数式3のように算出される。
【0136】
【数3】
【0137】なお、ここでmax(a、b)は、a、b
のうち大なる方を返す関数であり、min(a、b)
は、小なる方を返す関数である。
【0138】また、式3において、aは実数の係数であ
り、どの数字を当てはめてもよいが、通常は0から2の
値を取る。
【0139】次に、第2の手法について説明する。図9
に示すように、まず各包絡直方体Riを代表点Tijを
基準に包絡直方体Ri中にボロノイ多面体を作成する。
ボロノイ多面体とは、与えられた複数個(n個)の点を
基準に空間を以下のような領域に分けるためのものであ
る(点Tij(j=1〜n)の領域をVi(Tij)と
した場合。) Vi(Tij)= {T|d(Ti,Tij)<d(Ti、Tik )}(k=1n) k≠j 但し、Tiは包絡直方体Ri内の点、d(Ti,Ti
j)は点TijからTiまでの距離を表す。
【0140】すなわち、包絡直方体Ri内で、領域Vi
(Tij)に含まれる点Tiは他のどの代表点よりTi
jに近いことになる。
【0141】次に、分割された各領域Vi(Tij)に
包絡される要素Eiの複雑さを表現する係数が算出され
る。この係数は、各要素がコンピュータ上の形状モデル
の場合は、各領域Vi(Tij)に包絡された要素Ei
に含まれる辺や面の個数に基づいて算出され、イメージ
の場合は、空間周波数に基づいて算出される。この係数
が各領域の加重Wijとなる。
【0142】次に、代表点Tijの座標(xij,yi
j,zij)のうちZ座標Zijをもって各代表点の視
点中心Oからの奥行き距離Zijと定義する。
【0143】次に、各代表点と視線中心(立体視システ
ム座標系のZ軸)との距離dijが計算される。
【0144】次に、上記のようにして各包絡直方体Ri
ごとに求められた各代表点Tijの加重Wijと、各代
表点Tijの視点中心Oからの奥行き距離Zijと、各
代表点Tjと視線中心(Z軸)との距離dijとを用い
て、以下に示す数式4により注視点の奥行き座標Zdが
算出される。
【0145】
【数4】
【0146】数式4においてNは包絡直方体の個数、Z
ijは包絡直方体Riのj番眼の領域の代表点の奥行き
座標、Wijは包絡直方体Riのj番眼の領域の加重、
dijは包絡直方体Riのj番眼の領域の視線中心から
の距離、iはi番眼の包絡直方体Riである。
【0147】また、代表点の奥行き座標の標準偏差σは
数式5により算出される。
【0148】
【数5】
【0149】これより、注視範囲は、基準点の奥行き座
標Zd、標準偏差σ、Ziの最小値Zi0 、Ziの最大
値Zi1 を用いて、数式6のように算出される。
【0150】
【数6】
【0151】なお、式6において、aは実数の係数であ
り、どの数字を当てはめてもよいが、通常は0から2の
値を取る。
【0152】なお、前記数式では加重Wと代表点の視線
中心からの距離dを掛けているが、 a×W+b×d (但し、a,bは係数) のような式を用いても良い。
【0153】また、第1の方法、第2の方法共,Riは
モデルの各要素Ei(i=1〜N)を包絡する直方体と
したが、各要素のうちの一部、例えば視点から見た場合
の可視面を包絡する直方体としてもよい。
【0154】以下では、一例としてa=0、すなわち、
注視範囲の基準点(以下「注視点P」という)をベース
にモデルを動かす方法について説明する。
【0155】上述の第1の手法または第2の手法により
求められた注視範囲の奥行き座標(Z座標)Zdは、モ
デルデータ管理手段19に送られ記憶される。
【0156】次に、モデルデータ管理手段19は、モデ
ル移動手段14にモデルのデータおよび注視範囲の奥行
き座標Zdのデータを引き渡す。次いで、モデル移動手
段14は今回表示される画像、すなわち現在上記処理の
対象となっている画像が、新規画像か、変更画像かを判
断する(ステップS107)。
【0157】ここで変更画像とは、直前までにディスプ
レイ面1a上に表示されていた画像を単に回転させた
り、姿勢を変えたり(ステップS104参照)した画
像、すなわち直前の画像と連続性を有する画像をいう。
新規画像とは、それ以外の画像をいう。
【0158】画像が新規画像の場合、モデル移動手段1
4は、注視範囲推定手段13により算出された注視範囲
の奥行き座標Zdに基づいて、図7(b)、(c)に示
すように、注視点Pが図9に示す立体視容易領域内に入
るようにモデル全体を奥行き方向(Z軸方向)に平行移
動する(ステップS110)。本実施形態においては、
視点中心Oからディスプレイ面1aの中心までの距離が
60cmであるから、注視点は図10のグラフの横軸に
示す視点中心Oからの奥行き距離がAn1(cm)からA
f1(cm)の範囲に位置させればよい。
【0159】画像が変更画像の場合、モデル移動手段1
4は、そのままステップS110の処理を行ったと仮定
した場合の注視点位置が、現在処理対象となっている画
像の直前の画像の注視点位置に対して、輻輳角に換算し
て1度以上移動するか否かを判断し(ステップS10
8)、1度以下の場合は、上記と同様にしてステップS
110の処理を行う。ここで判定基準を1度以下とした
のは、輻輳角に換算して1度以上注視点位置が移動した
場合、眼に対する負担が大きくなりすぎるからである。
なお、眼に対する負担を感じるか否かについては個人差
があるため、判定基準を1度以下の値、例えば0.5度
としてもよい。
【0160】一方、モデル移動手段14は、そのままス
テップS110の処理を行ったと仮定した場合の注視点
位置が、直前に表示されている画像の注視点位置に対し
て、輻輳角に換算して1度以上移動する場合は、モデル
の移動量に所定の制限を加える。すなわちこの場合、モ
デル移動手段14は、移動後の注視点位置が直前の画像
の注視点位置に対して、輻輳角に換算して1度以上移動
しないように制限しつつ、注視点位置がなるべく立体視
容易領域に近付くようにモデル全体を奥行き方向(Z軸
に沿って)に平行移動する(ステップS109)。この
ようにして移動されたモデルの位置データ(注視点の移
動量の制限がされた場合はその旨も)は、モデルデータ
管理手段19に送られ記憶される。
【0161】次に、モデルデータ管理手段19はモデル
拡大縮小手段15にモデルの移動距離のデータを送る。
このデータを受けとったモデル拡大縮小手段15は、モ
デルの大きさを移動距離に対応して変化させる(ステッ
プS111)。例えば、注視点Pをディスプレイ面1a
に一致させるのであれば、(移動前のモデルの大き
さ):(移動後のモデルの大きさ)=(移動前の注視点
PのZ座標Zd):(移動後の注視点のZ座標)なる関
係が成立するように、視点中心からの注視点の距離に比
例するようにモデルの大きさを変更する。これにより、
移動前後でのモデルの見た目の大きさ(使用者の網膜に
写る像の大きさ)が同じになるため、使用者はモデルの
奥行き距離の変化に気付かない。このようにすれば、モ
デルを順次回転させてモデルを異なる角度から見ようと
する場合等において、画面の書き替え時にモデルがいき
なり近付いたり遠ざかったりするような違和感を使用者
に感じさせることがないため、使用者の眼の疲労を低減
する上で有効である。以上のようにして変更されたモデ
ルの大きさのデータは、モデルデータ管理手段19に送
られ記憶される。
【0162】なお、ここではモデルの見た目の大きさが
変わらないように比例係数を設定したがこれに必ずしも
忠実である必要はない。
【0163】次に、モデルデータ管理手段19は、モデ
ルの位置データおよびモデルの大きさのデータを奥行き
距離縮小手段16に送る。ここでは、眼間距離を変える
ことにより、知覚上の奥行き距離を縮小する。データを
受けとった奥行き距離縮小手段16は、初期値として設
定された眼間距離に基づいて、図11に示すグラフより
モデル全体が立体視容易領域内に入っているか否かを判
断する(ステップS112)。
【0164】モデルの一部が立体視容易領域の外にある
場合、奥行き距離縮小手段16は、初期値として設定さ
れた眼間距離を小さくするように補正する(ステップS
113)。眼間距離をD0からD1に縮小することによ
り、図12(a)、(b)に示すように、ディスプレイ
面1aに表示される左眼用像と右眼用像とのずれ量がd
0からd1に縮小される。立体視が容易は否かは左眼用
像と右眼用像とのずれ量が所定範囲内にあるか否かによ
り決定されるため、眼間距離を適宜小さくすることによ
りモデル全体を立体視容易領域内に収めることが可能と
なる。
【0165】また図11は、視点中心からディスプレイ
面1aまでの距離を一定とした場合の、眼間距離の補正
基準を示すグラフであり、縦軸を眼間距離、横軸をモデ
ルの視点中心Oからの奥行き距離としている。以下、こ
のグラフの作成方法について説明する。
【0166】まず、図10に基づいて、視点中心Oから
ディスプレイ面1aまでの奥行き距離(本実施形態にお
いて60cm)に対応する立体視容易領域の両端の視点
中心Oからの距離An1(cm)、Af1(cm)を求め
る。これにより初期値として設定される本来の眼間距離
D0の場合の立体視容易領域の両端の視点中心Oからの
奥行き距離が求められる。これにより図11における点
L,Mが決定される。
【0167】次に、図13(a)に基づいて、立体視容
易領域の手前側端にモデルの要素Eが位置していると仮
定して、眼間距離D0と要素Eの視点中心Oからの距離
An1に基づいて、要素Eがディスプレイ面1aに表示さ
れる場合の左眼用像ILと右眼用像IRの位置を求め、
左眼用像IRと右眼用像ILのずれ量d0を算出する。
このずれ量d0が、立体視容易領域の手前外側に位置す
る要素を表示する像IL,IRについての最大許容ずれ
量となる。
【0168】次に、図13(a)に示すように、眼間距
離D0の場合に立体視容易領域の手前側外部であって視
点中心Oからの奥行き距離がAnの位置に位置するモデ
ルの要素E′を考える。次いで、左眼用像IL、右眼用
像IRからそれぞれ要素E′を通る直線を作成し、これ
ら直線のX軸との交点をそれぞれ求める。これら交点間
の距離Dが、視点中心Oからの奥行き距離がAnの位置
に位置するモデルの要素E′に対して容易に立体視が行
える眼間距離Dの最大値となる。
【0169】ただし、モデル要素E′が視点中心に極め
て近い場合、例えば視点中心Oからの奥行き距離が視点
中心Oから画面までの距離Aiの1/10以下のとき
は、眼間距離が極端に小さくなるためにほとんど視差が
つかず立体感が得られない。そこで、モデル要素E′の
奥行き距離が視点中心OからAiの1/10以下の場
合、眼間距離はモデル要素E′が視点中心OからAiの
1/10の位置にある場合と同じにする。モデルが視点
中心に極端に近い場合は、モデルの見かけ上の大きさが
大きくなるために、視野からはみ出す部分が増え、全体
としての形状認識が困難となる。したがって、上で定め
た最大許容ずれ量を越えた画像が表示されても気になら
ない。
【0170】このようにして視点中心Oからの奥行き距
離Anを変化させて、変化した距離Anに対応する眼間
距離Dの最大値を求め、図11のグラフに(距離An、
距離Anに対応する眼間距離D)をプロットしてゆくこ
とにより、図11のグラフにおける曲線KLを定めるこ
とができる。この曲線KLにより、立体視容易領域の手
前側に位置する要素の立体視が容易にできる眼間距離を
定めることができる。
【0171】また、図13(b)により、上記手法と同
様にして、立体視容易領域の奥外側に位置する要素の立
体視を容易にするための眼間距離の補正基準を示す曲線
MNを定めることができる。
【0172】以上のようにして求められた図11のグラ
フに基づいて、奥行き距離縮小手段16は、初期値とし
て設定された眼間距離を小さくするように補正する。例
えば、図11のグラフに示すように、注視点Pを中心と
してモデルの各要素が矢印Fで示す範囲に分布している
とする。この場合、矢印Fで示す範囲の最も手前側に位
置する要素の視点中心Oからの奥行き距離がAnの時
は、曲線KLに従って眼間距離をDにすればモデルの全
要素に対して立体視を容易に行えるようにすることがで
きる。
【0173】なお、モデルを構成する各要素の分布をみ
て、例えば1つの要素のみが他の要素の位置よりずっと
奥に位置しているような場合には、必ずしも全ての要素
を立体視容易領域に入るようにしなくてもよい。すなわ
ち少なくともモデルの要部が立体視容易領域内に入るよ
うにしてもよい。
【0174】以上、モデルの一部が立体視容易領域の外
にある場合について説明したが、ステップS111終了
時点でモデル全体が立体視容易領域内に入っている場合
は、奥行き距離縮小手段16は眼間距離を初期値のまま
維持する。
【0175】以上のようにして設定された眼間距離は、
モデルデータ管理手段19に送られ記憶される。
【0176】また、注視点Pではなく注視範囲全体を基
礎として処理を行う場合には、モデルの最も手前側の要
素の代わりに注視範囲の手前の位置、モデルの最も奥の
要素の代わりに注視範囲の奥の位置を基準にすることに
より、前記と同様の方法でモデルの移動、拡大、眼間距
離の変更を行うことができる。
【0177】次に、モデルデータ管理手段19は、モデ
ルの位置データ、モデルの大きさのデータ、および眼間
距離のデータを色調変更手段17に送る。色調変更手段
17は、これらデータに基づいて、表示される画像に対
して空気透視の効果が必要か否かを判断する(ステップ
S114)。
【0178】空気透視の効果が必要な場合とは、例え
ば、注視点から奥の方にモデルの要素が多い場合であ
る。このような場合、奥の方の要素は奥行き座標(Z座
標)が互いに異なる場合でも、実際にディスプレイ1上
に表示される場合には両眼像のずれ量があまり変わらな
いため、画像を見る人間が各要素間の奥行きの差を認識
しづらいからである。
【0179】また、空気透視の効果が必要な場合の他の
例として、奥行き距離縮小手段16により設定された眼
間距離が小さい場合がある。その理由は、眼間距離が小
さく設定された場合、眼間距離が大きく設定された場合
に比べて、ディスプレイ1上に表示される左眼用像と右
眼用像とのずれ量が小さくなるため、画像を見る人間が
各要素間の奥行きの差を認識しづらいからである。
【0180】空気透視の効果が必要と判断された場合、
色調変更手段17は、モデルの色調を視点中心Oからの
奥行き距離が大きくなるにつれて、すなわちモデルの要
素EのZ座標が大きくなるにつれて背景色に近付けるよ
うに修正する(ステップS115)。空気透視の効果が
必要ないと判断された場合、色調変更手段17は、モデ
ルの色調を現状のまま維持する。
【0181】なお、空気透視の効果は常に付与するよう
にしてもよいし、常に付与しないようにしてもよい。
【0182】以上のようにして変更(または維持)され
たモデルの色調は、モデルデータ管理手段19に送られ
記憶される。
【0183】以上の説明したように、ステップS115
までの処理が終了すると、モデルデータ管理手段19に
は、ディスプレイ1上に表示すべきモデルの立体視シス
テムの座標系における位置と、モデルの大きさ(形状も
含む)および色調と、ディスプレイ1上に表示すべきモ
デルの像(左眼用像および右眼用像)の表示位置の計算
の基礎となる眼間距離とが保持されることになる。
【0184】次に、モデルデータ管理手段19は上記デ
ータを画像データ作成手段20に送る。また、制御手段
10は、GUIデータ管理手段21からディスプレイ1
に表示すべきグラフィックユーザーインターフェースア
イテムに関するデータを読み込み画像データ作成手段2
0に引き渡す。画像データ作成手段20は、グラフィッ
クユーザーインターフェースアイテムを、立体視システ
ムの座標系においてモデル移動手段14により移動され
た後の注視点と同じZ座標を有するXY平面と平行な平
面上またはこの平面近傍に配置する(ステップS11
6)。
【0185】画像データ作成手段20は、上記データに
基づいてディスプレイ面1a上におけるモデルの各要素
に対して、左眼用像および右眼用像としての表示位置お
よび表示寸法を決定するとともに、ディスプレイ1上に
表示すべきグラフィックユーザーインターフェースアイ
テムの立体視システムの座標系における位置を決定する
(ステップS117)。
【0186】以下、図14(a)、(b)により、画像
データ作成手段20の作用を具体的に説明する。まず、
図14(a)に示すように、モデルを構成する要素E1
が立体視システムの座標系においてディスプレイ面1a
より手前側にある場合について説明する。
【0187】まず、左眼3aと要素E1の中心CE1を通
る直線L1(図14(a)一点鎖線参照)が設定され
る。次いで、直線LL とディスプレイ面1aとの交点C
L1が求められ、この交点CL1がディスプレイ面1a上に
表示される要素E1の左眼用像IL1の中心位置(表示位
置)として決定される。次いで、左眼3aと要素E1と
の間の距離と左眼3aと交点CR1との間の距離の比と、
要素E1の大きさと左眼用像IL1の大きさとの比が等し
くなるように、左眼用像IL1の大きさが決定され、この
決定に基づいて左眼用の画像データが作成される。ま
た、右眼用像IR1についても同様の手法で、その中心位
置CR1および大きさが決定され、この決定に基づいて右
眼用の画像データが作成される。
【0188】なお、図14(b)は、モデルを構成する
要素E2が立体視システムの座標系においてディスプレ
イ面1aより奥側にある場合を示しており、この場合
も、図14(a)により説明したのと同様の手法によ
り、左眼用画像および右眼用画像の中心位置および大き
さが決定される。
【0189】また、画像データ作成手段20は、グラフ
ィックユーザーインターフェースアイテムについても、
上記と同様の処理を行い、左眼用像および右眼用像の表
示位置および大きさを決定する。
【0190】また、要素E1と要素E2とが同時に表示
され、かつ前述したステップS115において、色調変
更手段17によりモデルの色調が視点中心からの奥行き
距離が大きくなるにつれて背景色に近付けるように修正
されている場合、画像データ作成手段20は、要素E2
に対応する左眼用像IL2および右眼用像IR2の色調を、
要素E1に対応する左眼用像IL1および右眼用像IR1の
色調より背景色に近付けた画像データを作成する。
【0191】また、要素E1と要素E2とが同時に表示
され、かつ要素E1および要素E2にそれぞれ対応する
左眼用および/または右眼用像が互いに重なりあう場
合、画像データ作成手段20は、手前側にある要素E1
の画像データを優先的に採用し、奥側にある要素E2に
対応する画像データのうち手前側にある要素E1に対応
する画像と重なる部分の画像データを削除する。
【0192】次に、画像データ作成手段20は左眼用画
像データおよび右眼用画像データをディスプレイ1に送
り、ディスプレイ1はディスプレイ面1a上に、当該画
像データに基づいて画像を表示する(ステップS11
8)。
【0193】次に、制御手段10は、引き続き立体視シ
ステムを使用するか否かを問い合わせる(ステップS1
03)。ここで、例えば、使用者がモデルの向きを変え
て表示させたい場合、ステップS104の操作が行わ
れ、その後ステップS105以降の操作が行われる。
【0194】以上説明したように、本実施形態によれ
ば、モデルを表す画像を自動的に最適な立体視条件でデ
ィスプレイに表示することができる。このため、使用者
が感じる画像に対する違和感および眼の疲れを低減する
ことができる。
【0195】なお、この実施形態の立体視システムで
は、使用者の眼の疲れをさらに低減するため、以下のよ
うな手法をとる。すなわち、両眼融合式の立体視システ
ムは、通常の2次元表示を行うシステムと比較すると、
やはり観察者の眼に一定の負担を与えるということがあ
る。このため、このシステムでは、このような観察者の
負担を一層和らげるため、図1に示すように、左眼用画
像と右眼用画像のずれ量を調整するずれ量調整手段22
を有する。
【0196】このずれ量調整手段22は、画像表示時間
を監視し、表示開始から一定時間経過したならば、ずれ
量調整指令を、前記モデルデータ管理手段19を介して
前記画像データ作成手段20に発する。
【0197】立体視の効果は左眼用画像と右眼用画像の
ずれ量(図14(a)におけるCL1、CR1間の距離)に
左右され、このずれ量が小さくなるほど立体視の効果は
小さくなる。一方、このずれ量が大きくなると立体視効
果は大きくなるが、大きくなりすぎると人は左眼と右眼
用の画像を融合させること、すなわち立体視が不可能と
なる。
【0198】この実施形態では、前記データ作成手段2
0は、前記指令に基づき、図14(a)におけるCL1、
CR1間の距離、図14(b)におけるCL2、CR2間の距
離を臨界ずれ量として、図20(a)、(b)に示すよ
うに、ずれ量を変化させる。
【0199】すなわち、図20(a)に示すように、表
示開始から所定の時間t1(例えば20分)を経過する
までは、上記ずれ量は臨界ずれ量であるが、前記時間t
1を過ぎると、前記ずれ量調整手段22からの指令に基
づき、前記データ作成手段20は、前記ずれ量を所定の
周期で緩やかに変化させ立体感を弱めるようにする。
【0200】このような処理を行うことにより、立体感
の強い画像を長時間見続けることが防止されるので、観
察者の眼の疲労を低減することができる。
【0201】なお、図20(b)に示すような処理を行
うようにしても良い。この例では、画像表示開始時に
は、ずれ量を臨界値よりも小さくしておき、立体感を弱
めておく。そして、時間の経過に伴って臨界値に近づけ
る。
【0202】すなわち、立体視は、人間が左眼用画像と
右眼用画像を融合させることにより実現されるものであ
るが、見始めはこれになれていないため、うまく融合を
行えなかったり眼に係る負担が大きいということが考え
られる。しかし、この図20(b)に示す処理を行え
ば、このような問題点は解消される。
【0203】一方、本実施形態においては、立体視条件
を定めるにあたって、立体視システムの座標系上でモデ
ル全体を移動(ステップS109および110参照)し
た後、この移動のみではモデル全体が立体視容易領域に
入らない場合に、これを補うために眼間距離を補正(ス
テップS115参照)することにより奥行き距離を縮小
するようにしている。このため、単純に奥行き方向の空
間を縮小する場合より十分な立体感をもって立体視を行
うことができる。
【0204】以下、眼間距離の補正を優先的に行うよう
にした場合に発生する問題点について図15(a)〜
(c)および図16(a)、(b)を参照して説明す
る。
【0205】図15(a)に示すように、立体視システ
ムの座標系にモデルの各要素E1,E2,E3が配置さ
れているとする。ここで眼間距離が初期値D0である場
合、ディスプレイ面1aには、要素E1,E2,E3に
それぞれ対応する左眼用画像IL1〜IL3および右眼用画
像IR1〜IR3が表示される。ここで図15(b)に示す
ように、眼間距離を初期値D0からDに縮小したとす
る。するとディスプレイ面1aには、要素E1,E2,
E3にそれぞれ対応する左眼用画像IL1′〜IL3′およ
び右眼用画像IR1′〜IR3′が表示される。眼間距離を
変化させる方法によれば、眼間距離を変化させる前の左
眼用画像IL1〜IL3および右眼用画像IR1〜IR3と、眼
間距離を変化させた後の左眼用画像IL1′〜IL3′およ
び右眼用画像IR1′〜IR3′との大きさが変化しないと
いう利点はある。
【0206】ところが、眼間距離の補正は、あくまで画
像処理上行われているにすぎず、ディスプレイ面1aを
眺める使用者の実際の眼間距離が変化しているわけでは
ない。このため図15(c)に示すように、ディスプレ
イ面1aを眺める使用者には要素E1,E2,E3が、
それぞれE1′,E2′,E3′の位置にあるように知
覚されることになる。すなわちこの場合、使用者は、要
素E1,E2,E3の奥行き方向の幅を著しく圧縮され
た状態で知覚することになってしまう。
【0207】本実施形態は、モデル全体の移動を優先的
に行うことにより、上記問題を解決している。すなわ
ち、本実施形態においては眼間距離の補正を行う前に、
図16(b)に示すように要素E1,E2,E3を立体
視システムの座標系上で奥行き方向に移動する。このよ
うにすれば、図16(a)、(b)に示すように、使用
者が知覚する要素E1,E2,E3の位置関係は変化し
ない。ただし、モデル全体の移動を行うとディスプレイ
面1a上に表示される左眼用画像および右眼用画像の大
きさが変化するため、この大きさの変化を補正するた
め、モデルを構成する各要素の移動距離に対応させて各
要素の大きさを補正している(ステップS111参
照)。本実施形態においては、モデルを立体視容易領域
に収めるためにモデル全体の移動のみで不十分な部分に
ついてのみ眼間距離の補正を行い対処している。従っ
て、モデルの各要素の奥行き感の減少は最小限に抑えら
れる。
【0208】また、このような両眼融合式立体視システ
ムでは、モデルが画面の縁部に位置する場合には、この
モデルを画面より手前に表示しようとする際、このモデ
ルのある右眼用画像、左眼用画像のどちらか一方にしか
表示されないことが考えられる。このような場合、ユー
ザは、本来画面の手前にあるべきモデルの像が、この像
よりも後ろにあるべき画面に隠されたと知覚するため、
前後関係が矛盾してしまう。このため、正しい立体視が
不可能になるということが考えられる。
【0209】その解決策としては、第1に、全ての表示
対象(モデル)を画面より奥に設定する、第2に、画面
縁部を明確に意識させないようにする、の2つの方法が
考えられる。しかし、第1の方法では像の表示面からの
飛び出しが小さいために迫力の乏しい画像となる(立体
感を得られにくくシステムの商品価値が小さくなる)。
このため、この実施形態のシステムでは、図1に示す画
面縁部処理部23により第2の方法を実行する。
【0210】この画面縁部処理部23は、前記モデルデ
ータ管理手段19からモデルの位置データ、モデルの大
きさのデータ、及び眼間距離のデータを受け取る。この
画面縁部処理部23は、これらのデータから、モデルが
画面縁部に位置するかを検知し、画面縁部ぼかし処理を
行うかを決定する。また、左右の画像の縁部のぼかし処
理を行う範囲を決定する。
【0211】そして、これらの決定に基づいて、この画
面縁部処理部23は、前記決定された画面縁部につい
て、モデルの明度を縁部に近づくに従って暗くする、あ
るいは、モデルの色調を縁部に近づくに従って背景色に
近づける。
【0212】このデータは、前記モデルデータ管理手段
19を通して他のデータと共に画像データ作成手段20
に送られ、ステップS118で処理される。
【0213】このような処理により、ユーザは、画面縁
部について何となく見えなくなると感じ、面前記のよう
な矛盾がある場合でも、これを意識させることを有効に
防止できる。
【0214】第2の実施の形態 次に、第2の実施の形態について説明する。図17〜図
19は本発明の第2の実施の形態を示す図である。図1
7に示すように、この第2の実施の形態は、第1の実施
の形態の注視範囲推定手段の代わりに視線・注視範囲検
出手段30が設けられ、これに伴い、立体視条件算出フ
ローが変更されている点が異なるのみで、他は第1の実
施の形態と略同一である。従って第2の実施の形態にお
いて第1の実施の形態と同一部分については同一符号を
付し、詳細な説明は省略する。
【0215】図17に示すように、立体視システムは、
表示された画像に対する実際の視線および注視点を検出
する視線・注視範囲検出手段30が設けられている。こ
の視線・注視範囲検出手段30は、例えば、竹井機器工
業製の両眼視線解析装置からなる。視線・注視範囲検出
手段30は、モデルデータ管理手段19に接続されてお
り、ディスプレイ面1aのいずれの部位に使用者の視線
が位置しているかのデータをリアルタイムでモデルデー
タ管理手段19に伝えるようになっている。なお、視線
・注視範囲検出手段30として、竹井機器工業製の両眼
視線解析装置と同様の機能を有する他の公知の両眼視線
解析装置を使用してもよい。
【0216】次に、このような構成からなる本実施形態
の作用について、図18,19を参照して説明する。
【0217】図18に示すように、第1の実施の形態と
同様に、ステップS100〜104の処理操作が行われ
る。
【0218】次に、モデルデータ管理手段19は、視線
・注視点検出位置30から使用者の視線および注視点位
置のデータを受取り(ステップS200)、検出した視
線方向から使用者が画面を見ているか否かを判断する
(ステップS201)。使用者がディスプレイ面1aを
見ていない場合は、ディスプレイ1aの中央1bを注視
点位置とする(ステップS202)。一方、使用者がデ
ィスプレイ面1aを見ている場合、使用者の視線が最も
長く留まっている位置を注視点位置とする(ステップS
203)。
【0219】なお、この場合、奥行き方向の注視範囲
は、例えば、注視点の奥行き位置の標準偏差から決定す
ることができる。
【0220】次に、第1の実施の形態と同様に、ステッ
プS110〜115の処理操作が行われ、これによりモ
デルデータ管理手段19は、立体視を行うのに最適な立
体視システムの座標系におけるモデルの形状、大きさ、
配置状態および色調等のデータを得る。これらのデータ
は、画像データ作成手段20に送られ、このデータに基
づいて画像データ作成手段20は左眼用画像データおよ
び右眼用画像データを作成する(ステップS117)。
ディスプレイ1は左眼用画像データおよび右眼用画像デ
ータに基づいてディスプレイ面1aに画像を表示する
(ステップS118)。
【0221】次に、制御手段10は、引き続き立体視シ
ステムを使用するか否かを問い合わせる(ステップS1
03)。引き続き使用する場合はステップS104から
始まる上記操作が繰り返される。
【0222】以上説明したように、本実施形態によれ
ば、視線・注視範囲検出手段30により使用者の実際の
視線および注視点が検出されるようになっているため、
注視範囲の決定をより正確に行うことができる。このた
め、より適正な立体視条件を算出することができる。
【0223】なお、以上説明した第1および第2の実施
の形態において、モデル移動手段14および奥行き方向
縮小手段16は注視範囲またはモデル全体が図10にお
ける立体視容易領域に入れるように作用しているが、こ
れに限定されるものではなく、注視範囲またはモデル全
体を立体視可能領域に入れるように作用するようにして
もよい。
【0224】第3の実施の形態 次に第3の実施の形態について説明する。
【0225】図21及び図22,図23は、第3の実施
形態を示す図である。
【0226】第1、第2の実施形態では、モデルを移動
し拡大あるいは縮小することにより、このモデルに対す
る注視範囲を立体視可能領域に位置させ、立体視を容易
なものとしていたが、この実施形態では、図21に示す
透視変換決定手段32で決定され透視変換記憶手段33
に記憶された透視変換方法に基づき同様の処理を行う。
【0227】以下、図22,図23を参照してこのシス
テムにおける処理を説明する。なお、前記第1の実施形
態と同様の処理については同一符号を付してその詳しい
説明は省略する。
【0228】前記第1、第2の実施形態では、画像を作
成するのにモデルの位置の変更、拡大および眼間距離の
変更というプロセスをとったが、これは見方を変えれば
3次元モデルを2次元の画像上に投影するときの透視変
換方法としてまとめることができる。
【0229】すなわち、透視変換では、眼間距離を2
e、視点中心を点O(0,0,0)、視点から画面まで
の距離をDとすると、3 次元空間中の点P(xp,y
p,zp)は、左眼画像では: (D・xp/Zp+e・(D/zp−1),D・yp/
zp) 右眼画像では: (D・xp/Zp−e・(D/zp−1),D・yp/
zp) に投影されることになる。
【0230】従って、この透視変換の方法を用いれば、
第1の実施形態のように実際に三次元モデルを移動さ
せ、拡大・縮小といった処理を行わなくても、以下のよ
うに、同様の処理が行える。
【0231】すなわち、このシステムでは、まず図22
のステップS301で前述と同様の方法で注視範囲を求
めた後、ステップS302において、モデルの元の位置
とこのモデルを前記注視範囲内に移動させるための移動
距離とから視点を中心とした空間拡大率m(透視変換方
法)を決定する。
【0232】モデルの位置する空間全体をこの空間拡大
率mで拡大あるいは縮小すると、モデルの大きさがm倍
されると共に、このモデル内の点Pは、以下の点P’に
移動する。
【0233】点P’(m・xp,m・yp,m・zp) ついで、ステップS303において、透視変換後のモデ
ル内の各点が立体視容易領域に入っているかを判断す
る。すなわち、視点に一番近い代表点Nの移動後の点
N’及び、視点に一番遠い代表点Mの移動後の点M’を
算出し、これらが立体視容易領域に入るかを判断する。
【0234】入らない場合には、ステップS304にお
いて、図11に示したのと同様の考え方に基づいて眼間
距離を調整し、全ての点が立体視容易領域内に位置する
ように補正を行う。すなわち、眼間距離の縮小率をtと
すると、結局、前記3 次元空間中の点Pは左眼画像で
は: (D・xp/Zp+e・t・(D/(m・zp)−
1),D・yp/zp) 右眼画像では: (D・xp/Zp−e・t・(D/(m・zp)−
1),D・yp/zp) に投影される。
【0235】従って、視点中心を基準とするモデル拡大
率m、本来の眼間距離2e、視点から画面までの距離
D、および図11より求まる眼間距離縮小率tより、透
視変換方法を規定することができる(S305)。
【0236】この実施形態では、これらのデータ(透視
変換方法)を透視変換記憶手段33に保存し、画像デー
タ作成手段20で、画像データ作成時に利用する(S1
16〜S118)。このことで、前記第1、第2の実施
形態と同様に立体視容易な画像データを作成することが
できる。
【0237】なお、この例では、前記透視変換方法を透
視変換記憶手段33に格納するようにしていたが、DV
D等の記憶媒体に、画像データと共に予め本実施形態の
システムで求めた場面毎の透視変換方法を格納しておい
ても良い。
【0238】すなわち、記憶媒体に、加工前の画像デー
タ(実写画像)と共に、視点からのモデルの位置と各場
面に応じたモデル拡大率m、眼間距離縮小率t等を保存
しておけば、再生時には、前記立体視容易条件算出部を
経由しなくとも前記画像データ作成手段20で立体視容
易な画像を作成することができる。
【0239】第4の実施の形態 次に、この発明の第4の実施の形態について説明する。
【0240】図24及び図25,26は、この第4の実
施の形態を示す図である。なお、これらの図中、第1の
実施形態と同一の構成要素には同一符号を付してその詳
しい説明は省略する。
【0241】前記第1〜第3の実施の形態では、形状、
大きさ、配置位置等の情報で与えられた三次元モデルを
立体視容易に表示するシステムであったが、この第4の
実施の形態は、映画や写真のような実写画像で与えられ
たものを立体視容易に表示するシステムに関するもので
ある。
【0242】このような場合、立体視が容易であるかど
うかは、注視範囲の左右画像中での位置関係によって決
定されることになる。このため、この実施形態のシステ
ムは、図24に示すように、画像データを立体視容易な
画像データに変換するための変換方法を演算・決定する
画像変換決定手段34と、決定された画像変換決定方法
に基づいて変換画像データを求める画像演算手段35と
を有する。
【0243】以下、このシステムにおける処理を図2
5,26を参照して説明する。なお、前述したように、
前記第1の実施形態と同様のステップについては同一符
号を付してその説明は省略する。
【0244】このシステムには、例えば右眼用カメラで
撮った画像と左眼用カメラで撮った画像のような2つ視
差画像が与えられる。このデータは、注視範囲決定手段
13に送られ、この注視範囲決定手段13は、まずどち
らかの画像を使って注視範囲を決定する(ステップS4
01)。
【0245】注視範囲の決定には、例えば、色調で重み
づけされた画素の重心位置および重心位置からの距離の
標準偏差σを求め、重心から半径2σ以内を注視範囲と
する方法をとる。すなわち、各画素の座標を(xi,y
i)とすれば、重心位置(xG ,yG )及び標準偏差σ
は、以下の数式7,8で表される。
【0246】
【数7】
【0247】
【数8】
【0248】また、これとは異なる方法として、例え
ば、両画像間の対応画像領域を検出し、その画像領域の
対応関係から3 次元座標を求め、前記第1〜第3の実施
形態のモデルの場合と同様に奥行き方向の注視範囲を求
めてもよい。
【0249】なお、画像領域の対応個所を探すには、両
方の画像でエッジを強調し、相関が高いものを求めるの
が一般的である(例えば文献:山口他、「信頼性の高い
対応を優先した多段階ステレオ法」,電子情報通信学会
論文誌D−II,Vol.J74−D −II,No.7など)。
【0250】次にステップS402において、前記決定
された注視範囲内の背景以外の部分の対応点で、左右の
画像間でずれが最も大きいものを以下の2つの条件で検
索する。
【0251】すなわち、まず、画面上左側に座標原点を
とった場合に、1つの点(対応点)の左眼用画像での水
平方向(X方向)の座標をXl、右眼用画像での座標を
Xrとする。そして、第1の条件として、Xl>Xrと
なる点Sを探し出す。
【0252】この点Sでは、左眼用画像での座標が右眼
用画像での座標よりも大きくなっている。すなわち、こ
の点Sは図14(a)に示すE1のように画面手前側に
認識される点となる。そして、点Sは、このような点の
うち、左右像間で最もずれ量が大きい点であるから、注
視範囲内で最も手前に認識される点となる。
【0253】次に、第2の条件として、Xr>Xlとな
る点Tを探し出す。この点Tは、図14(b)にE2で
示されるように、注視範囲内で最も奥に認識される点と
なる。そして、この点Tは、このような点のうち、左右
像間で最もずれ量が大きい点であるから、注視範囲内で
最も奥に認識される点となる。
【0254】ここで、前記点Sの左眼用画像内での位置
を(Xpl,Yp)、右側の画像内での位置を(Xp
r,Yp)とし、この点の左右像間のずれ量Xpl−X
prをdXpとする。また、点Tの左側の画像内での位
置を(Xql,Yq)、右側の画像内での位置を(Xq
r,Yq)とし、この点の左右像間のずれ量Xqr−X
qlをdXqとする。
【0255】以下では一例として、dXp>dXqとな
る場合、すなわち点Sのずれ量が点Tのずれ量よりも大
きい場合を考える(d Xq>dXpの場合もほぼ同様に
なる)。そして、この点Sが立体視容易範囲に入ってい
るかを判断する。この実施形態では、この判断を、ステ
ップS403で、視角を用いて行う。
【0256】すなわち、この場合、注視範囲内における
画像の最大のずれは、点Sのずれに相当するdXpとな
るので、これが視角にして2度以上のずれであるかを判
断する。前述したように、左右像のずれが視角にして2
度以上となった場合には、立体視の容易性が失われるか
らである。
【0257】このステップS403において、視角に換
算したずれ量が2度以内の場合は特に画像データを変更
する必要はない。従って、そのときの視角ずれ量を「設
定値」とする。しかし、2度以上となるような場合に
は、ステップS404において、設定値を2度丁度とす
る。
【0258】一方、この場合、ずれの変化量についても
考慮する必要がある。すなわち、前述したように、ずれ
の変化量が輻輳角に換算して1度以上となると立体視が
困難になるからである。
【0259】したがって、ステップS405において、
ずれの変化量が1度以上の場合は、変化が1度以内にな
るよう設定値を定める。すなわち、この場合は、視角の
設定値は、2度丁度ではなく、変化を1度に押さえた値
とする(ステップS406)。
【0260】なお、前記視角(設定値)は、視点からデ
ィスプレイ面までの距離Dによって決定される。
【0261】すなわち、例えば、視角が2度の場合、画
面上での概略距離(L)は、 L=2×D×tan(π/180) =π×D/90 =0.035×D となる。
【0262】次に、ステップS407において、この設
定値を用いて空間拡大率mを決定する。ここで、空間拡
大率mは、眼間距離に相当する値を2eとし、視野角度
設定値を2度とした場合、以下のように定義される。
【0263】m=(dxp+2×e)/(L+2×e) また、前記画像をこの空間拡大率で拡大あるいは縮小し
た場合、注視範囲全体が立体視容易範囲に入っていない
場合がある。この場合には、ステップS408におい
て、前記点Sのずれ量dXqを用いて、水平方向縮小率
t を求める。
【0264】すなわち、この水平方向縮小率tは、(d
xq+2×e)/m−2×e≦0.035Dの場合に
は、 t=1.0 (dxq+2×e)/m−2×e>0.035Dの場合
には、 t=0.035×m×D/(dxq+2×e−2×e×
m) となる。
【0265】このようにして、空間拡大率及び水平方向
縮小率tが求められたならば、ステップS409におい
て、画像演算方法が決定される。
【0266】すなわち、この実施形態の画像演算方法に
よれば、対応する左右画像上の任意の点A(xal,
y)、(xar,y)は、それぞれ以下の位置に変換さ
れる。
【0267】左画像:(Xal+Xar)/2+e×t
×((Xal−Xar+2×e)/(2×m×e)−
1) 右画像:(Xal+Xar)/2−e×t ×((Xal
−Xar+2×e)/(2×m×e)−1) 前記画像演算手段35は、場面毎に画像データを変換
し、前記画像データ作成手段20は、この画像変換に基
づいて立体視画像を生成する。従って、このようなシス
テムによれば、実写画像についても、前記第1〜第3の
実施形態と同様に、立体視容易な画像データを生成する
ことができる。
【0268】なお、この例では、場面毎に前記画像演算
手段35で画像変換を行っていたが、予めこの手法によ
り変換した画像データ又は算出した立体視条件と元の画
像データをDVD等の記憶媒体に記憶しておけば、再生
時には、前記立体視容易条件算出部を経由しなくとも前
記画像データ作成手段20で立体視容易な画像を作成す
ることができる。
【0269】なお、この実施形態のシステムは、2台の
カメラで異なる視点から適当に撮った視像に基づき見や
すい立体画像を生成したい場合に有効である。
【0270】また、このシステムは、動きのある像か
ら、時間差を作って立体視するシステムにも適用可能で
ある。さらに、本発明は立体視システムが時分割式以外
の両眼立体視システムに適用することも可能である。
【0271】
【発明の効果】以上説明したように、本発明によれば、
3次元空間に配置されたモデルあるいは実写画像を、場
面の変化に応じた最適な立体視条件でディスプレイに表
示することができる。このため、使用者が感じる立体視
画像に対する違和感および眼の疲れを低減することがで
きる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示す図であって、
立体視システムの概要を示す図。
【図2】本発明の第1の実施の形態を示す図であって、
立体視システムの構成を示す図。
【図3】立体視システムの座標系を示す図。
【図4】第1の実施の形態における立体視条件算出プロ
セスを示すフローチャート。
【図5】第1の実施の形態における立体視条件算出プロ
セスを示すフローチャート。
【図6】座標系変換手段の作用を示す図。
【図7】立体視条件算出部の処理操作の流れを示す図。
【図8】注視点の推定方法を示す図。
【図9】注視点の推定方法を示す図。
【図10】ディスプレイ面の視点中心から距離と立体視
容易(可能)領域との関係を示すグラフ。
【図11】眼間距離の補正方法を示すグラフ。
【図12】眼間距離を補正した場合のディスプレイ面上
における像のずれ量の変化を示す図。
【図13】図11のグラフの作成方法を示す図。
【図14】画像データ作成手段の作用を示す図。
【図15】眼間距離補正を行った場合の作用を示す図。
【図16】モデル全体を移動した場合の作用を示す図。
【図17】本発明の第2の実施の形態を示す図であっ
て、立体視システムの構成を示す図。
【図18】第2の実施の形態における立体視条件算出プ
ロセスを示すフローチャート。
【図19】第2の実施の形態における立体視条件算出プ
ロセスを示すフローチャート。
【図20】前記第1、第2の実施形態において、時間の
経過に応じて立体視容易条件を緩和させるプロセスを示
すグラフ。
【図21】本発明の第3の実施の形態を示す図であっ
て、立体視システムの構成を示す図。
【図22】第3の実施の形態における立体視条件算出プ
ロセスを示すフローチャート。
【図23】第3の実施の形態における立体視条件算出プ
ロセスを示すフローチャート。
【図24】本発明の第4の実施の形態を示す図であっ
て、立体視システムの構成を示す図。
【図25】第4の実施の形態における立体視条件算出プ
ロセスを示すフローチャート。
【図26】第4の実施の形態における立体視条件算出プ
ロセスを示すフローチャート。
【符号の説明】
1…ディスプレイ 12…視野外データ除外手段 13…注視範囲決定手段 14…モデル移動手段 15…モデル拡大縮小手段 16…眼間距離設定手段 17…画像データ作成手段 30…視点・注視点検出手段 32…透視変換決定手段 34…画像変換決定手段

Claims (42)

    【特許請求の範囲】
  1. 【請求項1】 ディスプレイに、モデルを、互いに異な
    る2つの視点から見てなる一対の右眼用・左眼用画像を
    用いて、立体視可能に表示するための立体視システムに
    おいて、 モデルに対し観察者が注視する可能性の高い範囲を決定
    する注視範囲決定手段と、 前記モデルのデータを変更することによって、前記注視
    範囲決定手段により決定された注視範囲が立体視容易領
    域内に入るように前記モデルをディスプレイ面と直交す
    る方向に移動するモデル移動手段と、 このモデル移動手段によって変更されたモデルのデータ
    を変更することによって、前記モデル移動手段により移
    動されたモデルの大きさを移動距離に対応して拡大縮小
    するモデル拡大縮小手段と、 前記モデル移動手段により移動されるとともに前記モデ
    ル拡大縮小手段により大きさが変更された後のモデルの
    データに基づいて、前記ディスプレイ上に表示される画
    像データを作成する画像データ作成手段と、 を備えることを特徴とする立体視システム。
  2. 【請求項2】 請求項1記載の立体視システムにおい
    て、 前記モデル移動手段により移動されたモデルのうちの少
    なくともその要部が立体視容易領域内に入るように視点
    から見た奥行き方向の縮尺を設定する奥行き距離縮小手
    段を更に備えることを特徴とする立体視システム。
  3. 【請求項3】 請求項1記載の立体視システムにおい
    て、 実際に表示された画像に対する視線および注視範囲を検
    出する視線・注視範囲検出手段を更に備え、 前記モデル移動手段は、前記視線・注視範囲検出手段に
    より検出された注視範囲に基づいて前記モデルをディス
    プレイと直交する方向に移動することを特徴とする立体
    視システム。
  4. 【請求項4】 請求項1記載の立体視システムにおい
    て、 前記モデル移動手段は、 視点から見たモデルの配置条件が変化し、この変化に合
    わせてモデルを移動する場合、前記配置条件の変化が生
    じた時点から所定時間内、前記モデルの注視範囲の移動
    量を輻輳角に換算してほぼ1度以上になることを防止す
    る手段を有することを特徴とする立体視システム。
  5. 【請求項5】 ディスプレイに、モデルを、互いに異な
    る2つの視点から見た一対の画像を用いて立体視可能に
    表示する立体視システムにおいて、 モデルに対し観察者が注視する可能性の高い部分を決定
    する注視範囲決定手段と、 前記注視範囲決定手段の出力に基づいて、モデルのデー
    タの前記一対の左、右眼用画像上への透視変換方法を決
    定する透視変換決定手段と、 前記透視変換決定手段により決定された透視変換方法に
    基づいて前記ディスプレイ上に表示される画像データを
    作成する画像データ作成手段とを備えることを特徴とす
    る立体視システム。
  6. 【請求項6】 請求項1、5記載の立体視システムにお
    いて、 前記注視範囲決定手段は、観察者の視点から見た前記モ
    デルの配置条件、色調、明度、彩度、大きさ、複雑さ、
    移動速度のうちの全部または一部を考慮して、両眼の注
    視範囲を推定する手段を有することを特徴とする立体視
    システム。
  7. 【請求項7】 請求項1、5記載の立体視システムにお
    いて、 視野外に存在するモデルのデータを除外する視野外デー
    タ除外手段を更に備えることを特徴とする立体視システ
    ム。
  8. 【請求項8】 請求項7記載の立体視システムにおい
    て、 実際に表示された画像に対する視線および注視範囲を検
    出する視線・注視範囲検出手段を更に備え、 前記視野外データ除外手段は、前記視線・注視範囲検出
    手段により検出された視線に基づいて視野を算出し、視
    野外に存在するデータを除外することを特徴とする立体
    視システム。
  9. 【請求項9】 請求項1、5記載の立体視システムにお
    いて、 表示されるモデルの色調を、視点より奥行き方向に遠ざ
    かるに従って背景色の色調に近づける色調変更手段を更
    に備えることを特徴とする立体視システム。
  10. 【請求項10】 請求項1、5記載の立体視システムに
    おいて、 前記画像データ作成手段は、ディスプレイ上に表示され
    るグラフィックユーザーインターフェースアイテムの立
    体視条件を定める機能を更に有していることを特徴とす
    る立体視システム。
  11. 【請求項11】 請求項1、5記載の立体視システムに
    おいて、 前記モデルがディスプレイ画面端部に位置する場合、左
    右画像の縁部をぼかすぼかし手段を有することを特徴と
    する立体視システム。
  12. 【請求項12】 請求項1、5記載の立体視システムに
    おいて、 さらに、 立体視条件を変化させ立体視効果を弱めることで眼の疲
    れを軽減する手段を有することを特徴とする立体視シス
    テム。
  13. 【請求項13】 ディスプレイに、互いに異なる2つの
    視点から見た一対の画像を立体視可能に表示する立体視
    システムにおいて、 観察者が注視する可能性の高い画像部分を決定する注視
    範囲決定手段と、 前記注視範囲決定手段の出力に基づいて、この注視範囲
    が立体視容易な領域になるような画像変換方法を決定す
    る画像変換決定手段と、 この画像変換決定手段の出力に基づいて前記ディスプレ
    イ上に表示される画像データを作成する画像データ作成
    手段とを備えることを特徴とする立体視システム。
  14. 【請求項14】 ディスプレイに、モデルを互いに異な
    る2つの視点から見た一対の画像を立体視可能に表示す
    る立体視方法において、 モデルに対し観察者が注視する可能性の高い範囲を決定
    する注視範囲決定ステップと、 前記モデルのデータを変更することによって、前記注視
    範囲決定手段により決定された注視範囲が立体視容易領
    域内に入るように前記モデルをディスプレイ面と直交す
    る方向に移動するモデル移動ステップと、 このモデル移動手段によって変更されたモデルのデータ
    を変更することによって、前記モデル移動手段により移
    動されたモデルの大きさを移動距離に対応して拡大縮小
    するモデル拡大縮小ステップと、 前記モデル移動手段により移動されるとともに前記モデ
    ル拡大縮小手段により大きさが変更された後のモデルの
    データに基づいて、前記ディスプレイ上に表示される画
    像データを作成する画像データ作成ステップと、 を備えることを特徴とする立体視方法。
  15. 【請求項15】 請求項14記載の立体視方法におい
    て、 前記モデル移動ステップにより移動されたモデルのうち
    の少なくともその要部が立体視容易領域内に入るように
    視点から見た奥行き距離の縮尺を設定する奥行き距離縮
    小ステップを更に備えることを特徴とする立体視方法。
  16. 【請求項16】 請求項14記載の立体視方法におい
    て、 実際に表示された画像に対する視線および注視範囲を検
    出する視線・注視範囲検出ステップを更に備え、 前記モデル移動ステップは、前記視線・注視範囲検出ス
    テップにより検出された注視範囲に基づいて前記モデル
    をディスプレイと直交する方向に移動することを特徴と
    する立体視方法。
  17. 【請求項17】 請求項14記載の立体視方法におい
    て、 前記モデル移動ステップは、 視点から見たモデルの3次元空間内への配置条件が変化
    し、この変化に合わせてモデルを移動する場合、前記配
    置条件の変化が生じた時点から所定時間内、前記モデル
    の注視範囲の移動量を輻輳角に換算してほぼ1度以上に
    なることを防止するステップを有することを特徴とする
    立体視方法。
  18. 【請求項18】 ディスプレイに、モデルを、互いに異
    なる2つの視点から見た一対の画像を用いて立体視可能
    に表示する立体視方法において、以下のステップを有す
    る:モデルに対し観察者が注視する可能性の高い部分を
    決定する注視範囲決定ステップと、 前記注視範囲決定ステップの出力に基づいて、モデルの
    データの前記一対の左、右眼用画像上への透視変換方法
    を決定する透視変換決定ステップと、 前記透視変換決定ステップにより決定された透視変換方
    法に基づいて前記ディスプレイ上に表示される画像デー
    タを作成する画像データ作成ステップとを備えることを
    特徴とする立体視方法。
  19. 【請求項19】 請求項14、18記載の立体視方法に
    おいて、 前記注視範囲決定ステップは、観察者の視点から見た前
    記モデルの配置条件、色調、明度、彩度、大きさ、複雑
    さ、移動速度のうちの全部または一部を考慮して、両眼
    の注視範囲を推定するステップを有することを特徴とす
    る立体視方法。
  20. 【請求項20】 請求項14、18記載の立体視方法に
    おいて、 視野外に存在するモデルのデータを除外する視野外デー
    タ除外ステップを更に備えることを特徴とする立体視方
    法。
  21. 【請求項21】 請求項20記載の立体視方法におい
    て、 実際に表示された画像に対する視線および注視範囲を検
    出する視線・注視範囲検出ステップを更に備え、 前記視野外データ除外ステップは、前記視線・注視範囲
    検出ステップにより検出された視線に基づいて視野を算
    出し、視野外に存在するデータを除外することを特徴と
    する立体視方法。
  22. 【請求項22】 請求項14、18記載の立体視方法に
    おいて、 表示されるモデルの色調を、視点より奥行き方向に遠ざ
    かるに従って背景色の色調に近づける色調変更ステップ
    を更に備えることを特徴とする立体視方法。
  23. 【請求項23】 請求項14、18記載の立体視方法に
    おいて、 前記画像データ作成ステップは、ディスプレイ上に表示
    されるグラフィックユーザーインターフェースアイテム
    の立体視条件を定めるステップを有することを特徴とす
    る立体視方法。
  24. 【請求項24】 請求項14、18記載の立体視システ
    ムにおいて、 前記モデルがディスプレイ画面端部に位置する場合、左
    右画像の縁部をぼかすぼかしステップを有することを特
    徴とする立体視方法。
  25. 【請求項25】 請求項14、18記載の立体視システ
    ムにおいて、 さらに、 立体視条件を変化させ立体視効果を弱めることで眼の疲
    れを軽減するステップを有することを特徴とする立体視
    方法。
  26. 【請求項26】 ディスプレイに、互いに異なる2つの
    視点から見た一対の画像を立体視可能に表示する立体視
    方法において、 観察者が注視する可能性の高い画像部分を決定する注視
    範囲決定ステップと、 前記注視範囲決定ステップの出力に基づいて、この注視
    範囲が立体視容易な領域になるような画像変換方法を決
    定する画像変換決定ステップと、 この画像変換決定ステップの出力に基づいて前記ディス
    プレイ上に表示される画像データを作成する画像データ
    作成ステップとを備えることを特徴とする立体視方法。
  27. 【請求項27】 コンピュータシステムに、ディスプレ
    イ上に、モデルを互いに異なる2つの視点から見た一対
    の画像を立体視可能に表示させるコンピュータプログラ
    ムを格納する記憶媒体において、 前記コンピュータシステムに、観察者が注視する可能性
    の高い範囲を決定する指令を与える注視範囲決定指令手
    段と、 コンピュータシステムに、前記モデルのデータを変更す
    ることによって、前記注視範囲決定指令手段により決定
    された注視範囲が立体視容易領域内に入るように前記モ
    デルをディスプレイ面と直交する方向に移動させる指令
    を与えるモデル移動指令手段と、 コンピュータシステムに、このモデル移動手段によって
    変更されたモデルのデータを変更することによって、前
    記モデル移動手段により移動されたモデルの大きさを移
    動距離に対応して変化させる指令を与えるモデル拡大縮
    小指令手段と、 コンピュータシステムに、前記モデル移動手段により移
    動されるとともに前記モデル拡大縮小手段により大きさ
    が変更された後のモデルのデータに基づいて、前記ディ
    スプレイ上に表示される画像データを作成する指令を与
    える画像データ作成指令手段と、 を備えることを特徴とする記憶媒体。
  28. 【請求項28】 請求項27記載の記憶媒体において、 前記コンピュータシステムに、前記モデル移動指令手段
    の指令に基づいて移動されたモデルのうちの少なくとも
    その要部が立体視容易領域内に入るように視点から見た
    奥行き方向の縮尺を設定する指令を与える奥行き距離縮
    小指令手段を更に備えることを特徴とする記憶媒体。
  29. 【請求項29】 請求項27記載の記憶媒体において、 コンピュータシステムに、実際に表示された画像に対す
    る視線および注視範囲を検出する指令を与える視線・注
    視範囲検出指令手段を更に備え、 前記モデル移動指令手段は、前記コンピュータシステム
    に、前記視線・注視範囲検出指令手段の指令に基づいて
    検出された注視範囲に基づいて前記モデルをディスプレ
    イと直交する方向に移動する指令を与えることを特徴と
    する記憶媒体。
  30. 【請求項30】 請求項27記載の記憶媒体において、 前記モデル移動指令手段は、 前記コンピュータシステムに、視点から見たモデルの3
    次元空間内への配置条件が変化し、この変化に合わせて
    モデルを移動する場合、前記配置条件の変化が生じた時
    点から所定時間内、前記モデルの注視範囲の移動量を輻
    輳角に換算してほぼ1度以上になることを防止する指令
    を与える手段を有することを特徴とする記憶媒体。
  31. 【請求項31】 コンピュータシステムに、ディスプレ
    イ上に、モデルを、互いに異なる2つの視点から見た一
    対の画像を用いて立体視可能に表示させるコンピュータ
    プログラムを格納する記憶媒体において、 コンピュータシステムに、モデルに対し観察者が注視す
    る可能性の高い部分を決定する指令を与える注視範囲決
    定指令手段と、 コンピュータシステムに、前記注視範囲決定指令に基づ
    く出力に基づいて、モデルのデータの前記一対の左、右
    眼用画像上への透視変換方法を決定する指令を与える透
    視変換決定指令手段と、 コンピュータシステムに、前記透視変換決定指令に基づ
    いて決定された透視変換方法に基づいて前記ディスプレ
    イ上に表示される画像データを作成する指令を与える画
    像データ作成指令手段とを備えることを特徴とする記憶
    媒体。
  32. 【請求項32】 請求項27、31記載の記憶媒体にお
    いて、 前記注視範囲決定指令手段は、コンピュータシステム
    に、観察者の視点から見た前記モデルの配置条件、色
    調、明度、彩度、大きさ、複雑さ、移動速度のうちの全
    部または一部を考慮して、両眼の注視範囲を推定させる
    指令を与える手段を有することを特徴とする記憶媒体。
  33. 【請求項33】 請求項27、31記載の記憶媒体にお
    いて、 コンピュータシステムに、視野外に存在するモデルのデ
    ータを除外する指令を与える視野外データ除外指令手段
    を更に備えることを特徴とする記憶媒体。
  34. 【請求項34】 請求項27、31記載の記憶媒体にお
    いて、 前記コンピュータシステムに、実際に表示された画像に
    対する視線および注視範囲を検出する指令を与える視線
    ・注視範囲検出指令手段を更に備え、 前記視野外データ除外指令手段は、前記コンピュータシ
    ステムに、前記視線・注視範囲検出指令手段の指令に基
    づいて検出された視線に基づいて視野を算出し、視野外
    に存在するデータを除外する指令を与えることを特徴と
    する記憶媒体。
  35. 【請求項35】 請求項27、31記載の記憶媒体にお
    いて、 前記コンピュータシステムに、表示されるモデルの色調
    を、視点より奥行き方向に遠ざかるに従って背景色の色
    調に近づける指令を与える色調変更指令手段を更に備え
    ることを特徴とする記憶媒体。
  36. 【請求項36】 請求項27、31記載の記憶媒体にお
    いて、 前記画像データ作成指令手段は、前記コンピュータシス
    テムに、ディスプレイ上に表示されるグラフィックユー
    ザーインターフェースアイテムの立体視条件を定める指
    令を与える手段を有していることを特徴とする記憶媒
    体。
  37. 【請求項37】 請求項27、31記載の記憶媒体にお
    いて、 前記コンピュータシステムに、前記モデルがディスプレ
    イ画面端部に位置する場合左右画像の縁部をぼかす処理
    を行わせる指令手段を有することを特徴とする記憶媒
    体。
  38. 【請求項38】 請求項27、31記載の記憶媒体にお
    いて、 さらに、前記コンピュータシステムに、立体視条件を変
    化させ立体視効果を弱めることで眼の疲れを軽減させる
    処理を行わせる指令手段を有することを特徴とする記憶
    媒体。
  39. 【請求項39】 コンピュータシステムに、ディスプレ
    イ上に、互いに異なる2つの視点から見た一対の画像を
    立体視可能に表示させるコンピュータプログラムを格納
    する記憶媒体において、 前記コンピュータシステムに、観察者が注視する可能性
    の高い画像部分を決定する指令を与える注視範囲決定指
    令手段と、 コンピュータシステムに、前記注視範囲決定指令に基づ
    く出力に基づいて、この注視範囲が立体視容易な領域に
    なるような画像変換方法を決定する指令を与える画像変
    換決定指令手段と、 コンピュータシステムに、この画像変換決定手段の出力
    に基づいて前記ディスプレイ上に表示される画像データ
    を作成する指令を与える画像データ作成指令手段とを備
    えることを特徴とする記憶媒体。
  40. 【請求項40】 画像データを記憶した記憶媒体であっ
    て、 前記左眼用と右眼用の画像をディスプレイに表示し、こ
    れらの画像を左眼および右眼で独立して眺めることで、
    立体視を行わせるシステムに適用される記憶媒体におい
    て、 前記記憶媒体には、 場面毎に、その画像中の注視範囲を立体視容易領域に位
    置させるための画像変換方法を格納する格納部を有する
    ことを特徴とする記憶媒体。
  41. 【請求項41】 請求項40記載の記憶媒体を製造する
    記憶媒体製造システムであって、 画像データのうち、観察者が注視する可能性の高い画像
    部分を決定する注視範囲決定手段と、 前記注視範囲決定手段の出力に基づいて、この注視範囲
    が立体視容易な領域になるような画像変換方法を決定す
    る画像変換決定手段と、 この画像変換方法を前記画像データと共に前記記憶媒体
    に記載する手段とを有することを特徴とする記憶媒体製
    造装置。
  42. 【請求項42】 請求項40記載の記憶媒体を用いて、
    ディスプレイ上に表示する画像データを生成する立体視
    システムにおいて、 記憶媒体に格納された画像データを、この記憶媒体に格
    納された前記画像データ変換方法に基づいて処理し、デ
    ィスプレイ上に表示する一対の左眼用・右眼用画像を生
    成する手段を有することを特徴とする立体視システム。
JP17179897A 1996-06-27 1997-06-27 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体 Expired - Fee Related JP3504111B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17179897A JP3504111B2 (ja) 1996-06-27 1997-06-27 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-167999 1996-06-27
JP16799996 1996-06-27
JP17179897A JP3504111B2 (ja) 1996-06-27 1997-06-27 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体

Publications (2)

Publication Number Publication Date
JPH1083460A true JPH1083460A (ja) 1998-03-31
JP3504111B2 JP3504111B2 (ja) 2004-03-08

Family

ID=26491866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17179897A Expired - Fee Related JP3504111B2 (ja) 1996-06-27 1997-06-27 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体

Country Status (1)

Country Link
JP (1) JP3504111B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100380994B1 (ko) * 2000-12-26 2003-04-26 한국전자통신연구원 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법
JP2004165710A (ja) * 2002-09-27 2004-06-10 Sharp Corp 立体画像表示装置、立体画像記録方法及び立体画像伝送方法
JP2004207773A (ja) * 2002-09-27 2004-07-22 Sharp Corp 立体画像表示装置、立体画像記録装置および立体画像記録方法
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005006801A (ja) * 2003-06-18 2005-01-13 Sophia Co Ltd 遊技機
JP2005514710A (ja) * 2002-01-07 2005-05-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルをスケーリングする方法およびスケーリングユニット並びに表示装置
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
JP2007515012A (ja) * 2003-12-19 2007-06-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルを縮尺変更する方法及び縮尺変更ユニット
JP2007528049A (ja) * 2003-07-11 2007-10-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルをスケーリングする方法及びスケーリングユニット
JP2007289735A (ja) * 2007-08-01 2007-11-08 Sophia Co Ltd 遊技機
JP2008245293A (ja) * 2002-09-27 2008-10-09 Sharp Corp 立体画像表示方法及び立体画像伝送方法
US7486817B2 (en) 2004-03-02 2009-02-03 Kabushiki Kaisha Toshiba Apparatus for and method of generating image, and computer program product
JP2010057619A (ja) * 2008-09-02 2010-03-18 Olympus Medical Systems Corp 立体画像撮影表示システム
US7720308B2 (en) 2002-09-27 2010-05-18 Sharp Kabushiki Kaisha 3-D image display unit, 3-D image recording device and 3-D image recording method
JP2011107482A (ja) * 2009-11-18 2011-06-02 Funai Electric Co Ltd 映像表示装置
KR20120006742A (ko) * 2010-07-13 2012-01-19 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
WO2012035734A1 (ja) * 2010-09-14 2012-03-22 パナソニック株式会社 立体映像視聴用眼鏡及びその制御方法
JP2012085106A (ja) * 2010-10-12 2012-04-26 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2013069413A1 (ja) * 2011-11-10 2013-05-16 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2014183502A (ja) * 2013-03-21 2014-09-29 Geo Technical Laboratory Co Ltd 立体視画像データ生成装置
JP2016109710A (ja) * 2014-12-02 2016-06-20 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9807361B2 (en) 2012-10-09 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method
JP6347375B1 (ja) * 2017-03-07 2018-06-27 株式会社コナミデジタルエンタテインメント 表示制御装置、及びプログラム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100380994B1 (ko) * 2000-12-26 2003-04-26 한국전자통신연구원 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법
JP2005514710A (ja) * 2002-01-07 2005-05-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルをスケーリングする方法およびスケーリングユニット並びに表示装置
KR100918007B1 (ko) * 2002-01-07 2009-09-18 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 3차원 모델의 스케일링 방법, 스케일링 유닛 및 화상디스플레이 장치
JP2008245293A (ja) * 2002-09-27 2008-10-09 Sharp Corp 立体画像表示方法及び立体画像伝送方法
JP2004165710A (ja) * 2002-09-27 2004-06-10 Sharp Corp 立体画像表示装置、立体画像記録方法及び立体画像伝送方法
JP2004207773A (ja) * 2002-09-27 2004-07-22 Sharp Corp 立体画像表示装置、立体画像記録装置および立体画像記録方法
US7720308B2 (en) 2002-09-27 2010-05-18 Sharp Kabushiki Kaisha 3-D image display unit, 3-D image recording device and 3-D image recording method
JP2008263607A (ja) * 2002-09-27 2008-10-30 Sharp Corp 立体画像表示装置、立体画像表示方法及び立体画像伝送方法
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005006801A (ja) * 2003-06-18 2005-01-13 Sophia Co Ltd 遊技機
JP2007528049A (ja) * 2003-07-11 2007-10-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルをスケーリングする方法及びスケーリングユニット
JP4722055B2 (ja) * 2003-12-19 2011-07-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルを縮尺変更する方法及び縮尺変更ユニット
JP2007515012A (ja) * 2003-12-19 2007-06-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルを縮尺変更する方法及び縮尺変更ユニット
US7486817B2 (en) 2004-03-02 2009-02-03 Kabushiki Kaisha Toshiba Apparatus for and method of generating image, and computer program product
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
JP2007289735A (ja) * 2007-08-01 2007-11-08 Sophia Co Ltd 遊技機
JP2010057619A (ja) * 2008-09-02 2010-03-18 Olympus Medical Systems Corp 立体画像撮影表示システム
JP2011107482A (ja) * 2009-11-18 2011-06-02 Funai Electric Co Ltd 映像表示装置
KR20120006742A (ko) * 2010-07-13 2012-01-19 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
WO2012035734A1 (ja) * 2010-09-14 2012-03-22 パナソニック株式会社 立体映像視聴用眼鏡及びその制御方法
US9575327B2 (en) 2010-09-14 2017-02-21 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic image viewing eyewear and method for controlling the viewing of stereoscopic images based on a detected distance between a display device and the eyewear
JP2012085106A (ja) * 2010-10-12 2012-04-26 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2013069413A1 (ja) * 2011-11-10 2013-05-16 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2013105183A (ja) * 2011-11-10 2013-05-30 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9807361B2 (en) 2012-10-09 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method
JP2014183502A (ja) * 2013-03-21 2014-09-29 Geo Technical Laboratory Co Ltd 立体視画像データ生成装置
JP2016109710A (ja) * 2014-12-02 2016-06-20 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6347375B1 (ja) * 2017-03-07 2018-06-27 株式会社コナミデジタルエンタテインメント 表示制御装置、及びプログラム
JP2018147309A (ja) * 2017-03-07 2018-09-20 株式会社コナミデジタルエンタテインメント 表示制御装置、及びプログラム

Also Published As

Publication number Publication date
JP3504111B2 (ja) 2004-03-08

Similar Documents

Publication Publication Date Title
JP3504111B2 (ja) 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
EP0817123B1 (en) Stereoscopic display system and method
US11361513B2 (en) Head-mounted display with pass-through imaging
JP3579162B2 (ja) 立体cg画像生成装置
US6417880B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
JP3619063B2 (ja) 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US8953023B2 (en) Stereoscopic depth mapping
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
KR100456952B1 (ko) 입체 컴퓨터 그래픽스 동화상 발생 장치
US20060146046A1 (en) Eye tracking system and method
TW201019708A (en) A method of processing parallax information comprised in a signal
WO2005060271A1 (en) Method and apparatus for generating a stereoscopic image
WO2006062325A1 (en) Apparatus for correcting image distortion of stereo-camera and method thereof
KR20120030005A (ko) 화상 처리 장치 및 방법과 입체 화상 표시 장치
US11956415B2 (en) Head mounted display apparatus
JP2003348621A (ja) 二視点カメラの設定手段
JPH1074269A (ja) 立体cg動画像生成装置
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
US8773429B2 (en) Method and system of virtual touch in a steroscopic 3D space
KR102113285B1 (ko) 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
JPH03236698A (ja) 両眼立体視の画像生成装置
KR19980026635A (ko) 3차원 시차 그리기 장치 및 방법
KR20170142896A (ko) 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치
JPH09233499A (ja) 立体画像生成装置
JP2003348622A (ja) 立体映像表示方法及び記憶媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081219

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091219

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101219

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees