JP4216276B2 - 主観的映像生成方法、主観的映像生成プログラム、主観的映像生成用記録媒体、および主観的透視投影システム - Google Patents

Description

本発明は、３次元空間中のオブジェクトを個人にあった心象となるように２次元表示画面に表示させることを可能にした主観的映像生成方法、主観的映像生成プログラム、主観的映像生成用記録媒体、および主観的透視投影システムに関する。

近年、高度なデジタル情報処理技術を基盤とした質の高い映像の生成が一般家庭でも可能になってきているが、それと同時に、映像の品質の一つとして「人の心理的要因に基づく主観」を尺度とした映像の品質評価に関する検討も進められている。既に検討されている人の心理的要因に基づく尺度には「臨場感」または「迫力感」などがあるが、映像の「臨場感」や「迫力感」に影響すると思われる要因の一つとして、三次元空間内における対象の大きさの映像化方式を挙げることができる。

これまでのデジタル情報処理技術の世界では、三次元空間内における対象の大きさは、すべてユークリッド幾何学（幾何光学）を基礎とした単点透視投影法によって決定されるものとして捉えられてきた。ところが、人間が知覚する世界では、対象の大きさは、幾何光学的な単点透視投影図またはカメラで撮影された映像や写真から受ける印象とは明らかに異なることがある。例えば、水平線上の月と天頂の月は、写真でとれば同じであるのに見えの大きさに関しては水平線上の月の方が天頂の月よりも明らかに大きく見える。このような人間の知覚特性を考慮しないで、従来の幾何学的な単点透視図法に基づく三次元空間の映像化方式を採用する限り、それらの映像から、あたかもその場にいるような臨場感や迫力感を人が十分に感じることを期待することは難しい。

そこで、人が自然な両眼視の状態で知覚する知覚像に基づく映像の生成方法を新たに提案する必要があると考えられる。少なくとも、その映像は網膜に投影された実世界の複写像ではなく、人が外界を認識したときの知覚像に基準をおいたものである必要がある。このことから、上述のような基準に従った映像には、これまでの物理的変換方式によって生成された映像で得られなかった新たな効果が期待できると考えられる。今後、人の知覚像に基準をおき、既存の物理変換手法にとらわれない映像の生成方法は、次世代映像情報システムの高度ヒューマンインターフェイス構築のための基礎理論および技術の一つとして重要な役割を果たすものと思われる。

一方、近年においては、動画像符号化方式の基準として、２次元画像を生成する機能を情報の復号化側の機能とし、符号化側はそのために必要となる例えば３次元オブジェクトとオブジェクト同士の関係に関する記述等の３次元情報を復号化側に提供することにより情報の復号化側が主体的に３次元空間の情報を２次元図形として生成する、すなわち切り出すことを可能にしたいわゆるＭＰＥＧ−４，７等が提案されている。すなわちこれは、復号化側に３次元空間に関するすべての情報がインタラクティブに提供されること、さらに３次元空間の構成、仮想視点の設定条件、視点からの画角等を送信側から許可された範囲内で符号化側と独立に設定することが可能となったことを意味するものである。

具体的にはＭＰＥＧ−４では、符号化の対象（シーン）を複数のオブジェクトとそれらで構成されたシーン記述とに分解し、それぞれ適正な符号化を行ない、さらにそれらを多重化して蓄積・伝達等を行なう方式である。この方式によればその復号化は先ず多重化された情報を適切に分離し、さらにそれぞれを別々の方式で復号化した後に、合成（コンポジション）することで１つのシーンを復元する。これによりオーディオ・ビジュアル・シーンを復元する際にシーン記述を修正、操作することでこれまでになかった自由なシーンが合成されることが可能となった。例えばメディアオブジェクトをシーン内のどこにでも設定することが可能であり、またメディアオブジェクトの幾何学的な外観や音感を変えることも可能であり、さらにシーンを見たり聞いたりする場所を変更すること、すなわち仮想的な視点をどこでも設定することも可能である。

このように従来では、３次元空間のどこをいつ見るかについては高度な柔軟性が確保できるものの、その客観が３次元空間から主観的に受け取る心象と同等の感性的な反応を引き出す２次元図形をいかにして生成するか例えば個人の主観を考慮できる高度な臨場感等の検討が未だなされていないのが実情である。

具体的に心理・生理学的観点からすれば、人間が自然な状態で対象から受ける心象を視覚的自然認識系によるものとしているが、同じ対象でも受ける心象は写真像のように２次元画像に変換する例えば２Ｄ変換機能、幾何学的平面画像変換、感覚的空間像機能、知覚的形状機能等から構成されたいわゆる古典的透視投影術による心象とは全く異なることが知られている。

すなわち、人間は両眼立体視による生理・物理的情報を手がかりとして心理的な判断を加えて空間を認識しており、認識された空間は必ずしも写真的真実に基づくＣＧ表現と一致しないのである。例えば、遠隔地から複数の人が同じＶＲＭＬベースのシーン記述で表示された３次元ＣＡＤ図面による家屋・室内空間等の建築設計等の３Ｄデータ画像をリアルタイムで共有しながら共同で作業を行なういわゆるリモート協調作業の場合においても、作業者毎に自然立体視を行なったときの主観的な心象がそれぞれ異なるため、作業者全体に共通した評価判断、すなわち見方の統一性による個人差の無い設計が得られなくなるのである。

このため、従来の古典的透視投影変換のみでは、観察者に対して心地よい違和感の少ない３次元空間の単点透視投影図が作成できないという問題点が発生するのである。基本的にはこれは両眼立体視と主観的な空間の２次元画像との関係において主観的な心象に近い表現が違和感を一番少なく感じるという経験事実に基づくものである。そこで、従来のようなクライアントのみの個別なアプリケーション問題にとどまらず、今後におけるクライアントであってもサーバないしはサーバとのインタラクションを利用しての画像表示上の処理が行なわれることが想定されるのに鑑み、ユーザの多様な個性に対応できる高度なヒューマン・インターフェースに関する基礎技術が検討されることが将来においては必須不可欠となりつつある。

すなわち、２０世紀中期に提案された映像の生成手法（下記非特許文献１参照）は、基本的に人間の手で作製することが前提となっていたため、あえて全ての対象が同様な恒常度にしたがう手法を採用したことが考えられる。ところが現在では、一般家庭にまで普及している高性能な情報処理能力と高度な情報処理技術、例えばデジタルテレビなどの情報家電によって、複雑な手順や高度な計算、あるいは大規模なデータ検索などは、映像生成の制約とはならなくなってきている。このような環境が整った現代において初めて、「対象は視点に対して幾何光学的な大きさとは異なる大きさの特性を持つ」ことを前提した新たな映像の生成理論および技術が必要となってきている。

Perspective Using Curved Projection Rays and Its Computer Application(１９７５年、Reggini.H.C.著)

本発明は、前述のような従来存した諸事情に鑑み創出されたもので、人が自然な両眼視の状態で知覚する知覚像に基づいた主観的映像生成方法、主観的映像生成プログラム、または主観的映像生成用記録媒体を提供するとともに、例えば映像のＭＰＥＧ−４，７等で送られてきた３次元情報に係わるシーンを復元して２Ｄ表示する際に、個人の現実の見え方とほぼ同じような像を造る、すなわち両眼立体視による個人の主観的な心象に近い心象を喚起する何らかの前処理を体系的に実現することで個人毎の見え方に近づけることを可能とすること、換言すれば、人間の対象観察機能を近似的に線形システムと考え、古典的透視投影術を適応する以前に適切な線形変換を行なうことにより、最終的に得られる心象を視覚的自然認識系による心象に近似させることを可能にした主観的透視投影システムを提供することを目的とする。

人の知覚像に基づいた映像を生成するためには、人の主観的な知覚像を精神物理心理学的手法に基づいて定量化し、その測定値、すなわち測度に基づく空間を新たに構築しなくてはならない。そこで本願発明者らは、いわゆる移調法をもとにして様々な視距離におかれた対象の見えの大きさを測定するとともに、様々な視距離にある球の見えの大きさから視距離（視線の方向の奥行き）に対する見えの大きさ（主観的大きさ）を主観的大きさ関数としてモデル化することにより本願発明にかかる主観的映像生成方法および主観的映像生成プログラムを得た。

すなわち、本願発明にかかる主観的映像生成方法および主観的映像生成プログラムは、ユークリッド幾何学を基礎とした単点透視投影法により得た複数の頂点座標（ｘ，ｙ，ｚ）を有する３次元情報からなる元画像データを、左右両眼に対応した観察情報からなる２種類の２次元映像（ｘ，ｙ，０）により構成し、それら左右両眼に対応した２種類の元画像データ（ｘ，ｙ，０）の各々を、個人の心理的／物理的特性を考慮して視点からの視距離（ｚ）を１ｍから５ｍまで変化させたときの前記視距離（ｚ）に対する相対的な見えの大きさ（ｘ，ｙ）を定量化して得た主観的大きさ関数ζ（ｚ）に基づいてそれぞれ修正し、その視距離（ｚ）に対する相対的な見えの大きさ（ｘ，ｙ）を前記主観的大きさ関数ζ（ｚ）により修正して得た両映像（ζ（ｚ）ｘ，ζ（ｚ）ｙ）を、左右両眼に対応して分離した立体映像として提示する方法であって、前記視点からの視距離ｚ、直線性の範囲ａ、人の見えの大きさに対する恒常性の程度を表す恒常係数Ｓｃに対して、前記主観的大きさ関数ζ（ｚ）が、人間の主観的な空間認識過程を空間の心理的変形として前記元画像データ（ｘ，ｙ，０）を外挿により補間する次の関係式または近似式を含むものである。
ζ（ｚ）＝［ａ・ｌｎ｛１＋（Ｓｃ／ａ）・ｚ｝＋１］ ^−１

また本願発明では、個人の心理的／物理的特性を考慮した線形変換手段（３，４）による前処理を行なった後、既存の古典的透視投影手段２による２次元透視投影変換を行なうものであって、線形変換手段（３，４）は、人間の主観的な空間認識過程を空間の心理的変形とした知覚変換手段４によるものとした。線形変換手段（３，４）は、人間の主観的な空間認識過程を空間の心理的変形による知覚変換手段４と、生理・物理的要因による視覚変換手段３とによるものとした。２次元変換機能、幾何学的平面画像変換、感覚的空間像機能、知覚的形状機能等それぞれから構築された古典的透視投影手段２と、この古典的透視投影手段２の前に設置され、個人の心理的特性を考慮した前処理を施すための知覚変換手段４とから構成されているものである。２次元変換機能、幾何学的平面画像変換、感覚的空間像機能、知覚的形状機能等それぞれから構築された古典的透視投影手段２と、この古典的透視投影手段２の前に設置され、個人の物理的特性を考慮した前処理を施すための視覚変換手段３と、この視覚変換手段３の前に設置され、個人の心理的特性を考慮した前処理を施すための知覚変換手段４とから構成されているものである。視覚変換手段３は、観察者の視覚特性に従った解像度に基づいて空間を再構成するものである。知覚変換手段４は、心理的知覚現象に従った空間のデフォルメを実現する線形変換となっていて、この知覚変換手段４によって像空間を歪めるすなわちデフォルメさせるものである。古典的透視投影手段２は、仮想的な３次元空間の対象を２次元平面に写し取る平面幾何投影法（プロジェクション）として、３次元空間を１つの消点をもった２次元画像で表現する単点透視投影法を採用しているものである。視覚変換手段３に取り入れられる変換パラメータは、各個人の視野角の計測値、周辺視の傾向値であり、それぞれをテーブルに記録しておき、分離されて送られてくる多重３次元情報のそれぞれを別々の方式で復号化した後に、合成（コンポジション）することで１つのシーンを復元して２次元表示する際に、この補間テーブルに記録された変換パラメータを視覚変換手段３に補間データとして入力することで、各個人に対応したキャリブレーションが実行されるものである。知覚変換手段４に取り入れられる変換パラメータは、予め単純なオブジェクトの見え方の測定実験によって個人毎の知覚情報として統計学的に計測して得られたφ（ｘ，ｉ，ｊ）、φ（ｙ，ｉ，ｊ）、φ（ｚ，ｉ，ｊ）なる変形率（拡大・縮小率）データであり、これを補間に関わるデータとしてアプリケーションソフトウェアと共に記録媒体等に蓄積・保存しておき、送られてきた多重化された３次元情報を適切に分離し、さらにそれぞれを別々の方式で復号化した後に、合成（コンポジション）することで１つのシーンを復元して２次元表示する際に、この記録媒体に記録された変換パラメータを知覚変換手段４に補間データとして入力することで、各個人に対応したキャリブレーションが実行されるものである。知覚変換手段４に取り入れられる変換パラメータは、古典的透視投影手段２の単点透視投影法による画面のオブジェクト単位毎に異なる補間データを構成するものとしてある。

以上のように構成された本発明にかかる主観的映像生成方法、主観的映像生成プログラム、主観的映像生成用記録媒体によれば、物理的法則にしたがった画像よりも、異なる奥行きを有する対象の映像に関して、主観的大きさ関数によって修正を加えた映像の方が、修正しなかった映像よりも観察者の感じ方（印象）により近くなり、物理的法則にしたがった画像よりも人間の知覚特性にしたがってその大きさを修正した画像が観察者にとって、より自然な印象を与える（誘起する）ことが確かめられた。

また、本発明にかかる主観的透視投影システムにおいては、知覚変換手段４が古典的透視投影手段２によって表示される２次元の像空間を歪めるすなわちデフォルメさせる。例えば、送られてきた３次元情報に係わるオーディオ・ビジュアル・シーンを復元して２Ｄ表示する際に、個人毎の知覚変換パラメータを付与した知覚変換を行なった後に、個人毎の視覚変換パラメータを付与した視覚変換を行なってから、既存の古典的透視投影変換を施して２次元画像を生成することにより、従来よりも、より自然な印象を誘起する、言い換えれば個人にあった高心象となる主観的透視投影像を生成させる。

本発明は、以上のように構成されているために、特殊な技能をもたないユーザーでも主観的大きさ関数を用いて視点に対する奥行きを修正してから映像を制作することができ、より自然な奥行き感を観察者に対して誘起する映像の生成が可能となり、これからの情報社会における基幹技術としてデジタル情報家電システムなどに適用することによって快適なヒューマンインターフェイスを実現する原動力となり、これまでのデジタル機器に違和感を抱いてきた多くのユーザに快適な情報環境を提供することによって、本来の意味で人が情報システムを快適に使用することができる環境を構築することが可能となる。

また、例えばＭＰＥＧ−４，７等で送られてきた３次元情報に係わるシーンを復元して左右両眼に対応した観察情報からなる２種類の２次元映像を２Ｄ表示する際に、個人の現実の見え方と同じになるような像を造る、すなわち両眼立体視による個人の主観的な心象に近い心象を喚起する何らかの前処理を体系的に実現することで個人毎の見え方に近づけることを可能とすること、換言すれば、人間の対象観察機能を近似的に線形システムと考え、既存の古典的透視投影術を適応する以前に適切な線形変換を行なうことにより、最終的に得られる心象を視覚的自然認識系による心象に近似させることを可能にした主観的透視投影システムを提供することができる。

特に知覚変換手段は、古典的透視投影手段によって表示される２次元の像空間を歪めるすなわちデフォルメさせるものであって、送られてきた３次元情報に係わるオーディオ・ビジュアル・シーンを復元して２Ｄ表示する際に、個人毎の知覚変換パラメータを付与した知覚変換を行なった後に、必要に応じて個人毎の視覚変換パラメータを付与した視覚変換を行なってから、既存の古典的透視投影変換を施して２次元画像を生成することにより、個人にあった高心象となる主観的透視投影像を生成させることができる。

また、例えば遠隔地から複数の人が同じＶＲＭＬベースなどのシーン記述で表示された３次元ＣＡＤ図面による家屋・室内空間等の建築設計等の３Ｄデータ画像をリアルタイムで共有しながら共同で作業を行なういわゆるリモート協調作業の場合において、作業者毎に自然立体視を行なったときの主観的な心象がそれぞれ異なる場合でも、作業者全体に共通した評価判断、すなわち見方の統一性による個人差の無い設計が得られる。

以下、本発明の実施形態を図面に基づいて詳細に説明する。
図１において示される符号１，１は、それぞれ本発明にかかる主観的映像生成方法を用いた主観的透視投影システムを構築するための主観的透視投影手段であり、例えばＭＰＥＧ−４，７等で送られてきた３次元情報に係わるオーディオ・ビジュアル・シーンなどの元画像データ（ｏｂｊ．）から、左右両眼に対応した観察情報からなる２種類の２次元映像を切り出して構成した後、それら左右両眼に対応した２種類の元画像データの各々を、前記主観的透視投影手段１，１の各々によって、個人の心理的／物理的特性を考慮した主観的大きさ関数を用いてそれぞれ修正し、その修正して得た両映像を、左右両眼に対応して分離した立体映像（心象）として提示する構成になされている。

最終的に、左右両眼に対応して分離した立体映像（心象）を提示する際における実際の方式としては種々のものが考えられるが、例えば、左右両眼に対応した各映像（心象）における光特性に差を持たせるようにした眼鏡方式、指向性のある特殊な表示面を用いて特定の位置から観察することにより分離観察を可能とする表示面方式、あるいは左右両眼に対応した各映像（心象）毎に独立した光学系を覗き込むようにしたビューア方式などを採用することが可能である。

ここで、前記主観的透視投影手段１，１の各々は、既存の２次元変換機能２ａ、幾何学的平面画像機能２ｂ、感覚的空間像機能２ｃ、知覚的形状機能２ｄ等それぞれから構築された古典的透視投影手段２と、この古典的透視投影手段２の前に設置され、個人の物理的特性を考慮した前処理を施すための視覚変換手段３と、この視覚変換手段３の前に設置され、個人の心理的特性を考慮した前処理を施すための知覚変換手段４とから構成されている。

この視覚変換手段３と知覚変換手段４は、例えばＭＰＥＧ−４，７等で送られてきた３次元情報に係わるオーディオ・ビジュアル・シーンを復元して２次元表示する際に、個人毎に異なる前処理として個人毎の知覚変換パラメータを付与した知覚変換を行なった後に、個人毎の視覚変換パラメータを付与した視覚変換、または知覚変換と視覚変換のコンボリューション（たたみ込み）を行なってから、従来の古典的透視投影変換を施して２次元画像を生成することにより、個人にあった高心象となる主観的透視投影像が得られるものとしてある。すなわち、ＭＰＥＧ−４，７で送られてきた３次元データの組み立ての際に、視覚変換と知覚変換との個人に依存するそれぞれの変換パラメータを取り込むことで個人にあった表示とするものである。

視覚変換手段３は、観察者が眼球を移動させながら不均一な解像度で空間を見ていることに起因するボケ（視覚特性に従った解像度）に基づいて空間を再構成するためのものである。なお、本実施の形態においてこの視覚変換手段３を使用せずに知覚変換手段４のみを採用しても良い。

ここで、上述した知覚変換手段４は、基本的には、「視距離に対して人間が持つ大きさの恒常性」および「同一のものでも奥にあるものが大きく見える」という心理的知覚現象に従った空間のデフォルメを実現するためのプログラムまたはハード構成から形成された線形変換機能を有するものとなっており、当該知覚変換手段４によって像空間を歪めるすなわちデフォルメさせるものである。こうすることによって個人の現実の見え方に近いものとなるような像を造る、すなわち両眼立体視による個人の主観的な心象に近い心象を得ることが可能となるのである（図２参照）。

このとき、上述した知覚変換手段４がプログラムとして構成される場合には、独立した主観的映像生成プログラムとして形成することも可能であり、そのプログラムを記録したコンピュータ読み取り可能な主観的映像生成用記録媒体として取り扱うことができるものである。

以下、上述した心理的知覚現象ごとに、観察者の主観的な空間認識過程によって誘起される空間の心理的変形について説明する。

まず、「視距離に対して人間が持つ大きさの恒常性」に関して説明すると、視点に対して類似した二次元形態をもつ視対象の見えの大きさの特性には差がないが、人間の持つ大きさの恒常性の程度を係数とする視距離に対する「見えの大きさの関数」は、内挿または外挿により補間する関係式または近似式となることが判明した。そして、このような「見えの大きさの関数」にしたがって対象の大きさを修正することで、従来の映像よりも、より人の感覚像に近い映像の生成が可能となる。

より具体的に説明すると、後述する各実験を通して本願発明者らは、視距離（ｚ）に対する相対的な見えの大きさが、例えば次の関数モデル式のような内挿または外挿により補間する主観的大きさ関数（Subjective size function）を用いることにより近似されることを発明した。
ζ(z)＝［ａ・ｌｎ｛１＋（Ｓc／ａ）・ｚ｝＋１］^−１

この主観的大きさ関数（Subjective size function）は、視距離に対して標準刺激を基準１００とした相対的な見えの大きさの関数であるが、式中の「ａ」は直線性の範囲を決定するものであり、「Ｓc」は人の見えの大きさに対する恒常性の程度を表す恒常度係数(apparent size constancy coefficient)である。上述した関数モデル式では、距離ｚが小さいときは一次関数の性質が強くなるが、それは対数関数の級数展開からも明らかである。

次に、上述した関数モデル式を導く根拠となった実験およびその結果を説明する。
まず、観察対象が存在する視野内に、測定対象以外に標準刺激として視対象を置き、その標準刺激との相対的な差の量（比率）として測定対象の主観的大きさを定量化する。同様の測定を連続３回繰り返し、後半の２回の測定値の平均値を、その被験者の測定値とする。これは、予備実験の段階で同一被験者に同様の測定を４回繰り返したところ、初めの１回とその後の３回の測定値が大きく異なる被験者がいたことと、後半の３回の測定値はほぼ同様の値が得られるといった経験的知見に基づいている。以上の測定法を相対的な見えの大きさの測定法「ＲＡＳ」とする。

視点から一定の距離にある対象の見えの大きさが、網膜上の大きさ（視覚）によって決定されるのであれば、同じ物体は視点からの距離が２倍になると、その大きさは１／２になるはずである。ところが、人間には恒常性があるために、その大きさは半分にはならない。このような知見をもとに本願発明者らは、視覚刺激を円盤としてさまざまな視距離における平面の相対的な見えの大きさを定量化した。

まず、直径５．０ｃｍの円盤を刺激に用いて、視点からの距離を１ｍから５ｍまで変化させたときの見えの大きさを定量化することを目的として、正常な視力を持つ２１歳から３０歳までの大学院生４人を被験者として、次のような実験を行った（以下、主観的観察実験１という。）。

図３に示されているように、被験者１１から１ｍ、台(Object Platform)１２の表面から高さ２２ｃｍのところに、中間色（灰色）に塗装された直径５．０ｃｍの円盤１３を標準刺激として置き、それを参照円盤とした。さらに、８ｃｍの間隔で置かれた参照円盤１３と同じ大きさの円盤（ターゲット円盤）１３を試行毎に１ｍから５ｍまで１ｍ間隔でランダムに観察距離を選んで配置した。次に、円盤１３の相対的な見えの大きさを、図４に示されているような映像を用いて定量化した。ここで、相対的な見えの大きさの調整は、図４に示されたような映像システムの向かって左側にある縁の大きさを被験者自ら行うこととした。ただし、その具体的な調整値（数値）は被験者には分からない。また、このときの測定法の詳細はＲＡＳにしたがった。

全ての被験者１１による相対的な見えの大きさの測定結果の平均値Ｒs(Relative Apparent Size)は、図５に示されているように標準刺激である参照円盤１３の大きさ（図５中では縦軸の１００）と写真像の大きさとの間にあった。また、ｔ検定の結果、基準点である１ｍを除いて全ての測定点で見えの大きさは、その写真像の大きさとは有意に異なっていた。ここで、測定結果を最小二乗法によって直線近似したところ、視距離(z)における相対的な見えの大きさ(Rs)は、Ｒs(z)＝−１０．７５ｚ＋１０７．４１、決定係数Ｒ^２＝０．９７となった。一方、相対関数で近似した場合には、Ｒs(z)＝−２７．１４ln(z)＋１０１．４１、決定係数Ｒ^２＝０．９９となった。以上の結果は、従来からさなれている報告（１９３２年、Individual Difference in Phenomenal Regression、Thouless著）にある人の知覚特性とも矛盾しない。一方、視距離５ｍまでの測定結果は、直線で近似しても対数関数を用いて近似しても十分な近似が得られることが明らかになった。

さらに、上述したように視点から一定の距離にある対象の見えの大きさは、その距離が２倍になっても人間には恒常性があるために対象の見えの大きさは半分とはならない。また、その大きさの程度も対象により様々に異なる可能性がある。そこで、対象の差異による見えの大きさに関する特性（恒常性の程度）について、次のような実験を行った（以下、主観的観察実験２という。）。

視点から一定の距離にスクリーンを設置し、そのスクリーンに、同じ形状の大きさの異なる対象のシルエットを投影し、その物理的な大きさに対する見えの大きさを計量し、ベキ関数(Power function)として整理すると、線分は正方形よりも測定されたベキが大きく知覚の傾向に差があることが報告されている（１９９４年、新感覚・知覚心理ハンドブック、大山他著）。このことから、視点に対して異なる形態を有する対象は、その網膜像の見掛けの形にしたがって見えの大きさが判断されると仮定すれば、様々な視距離に対してそれぞれ異なる特性を持つことが予想される。ここで、線分のベキは１．０、一方で、正方形のベキは０．７と報告されている。

そこで本願発明者らは、視覚刺激を円盤から球に替えて、様々な視距離における球の相対的な見えの大きさを、前述した主観的観察実験１と同様の方法で定量化した。さらに、その測定結果から、視対象の差異（円盤と球）による見えの大きさに関する特性の差を検討した。具体的には、球（ターゲット球）を刺激に用いて、視点から距離１ｍから５ｍまで変化させたときの見えの大きさを定量化することを目的として、正常な視力を持つ２１歳から３０歳までの大学院生１１人を被験者として、次のような主観的観察実験２を行った。

図６に示されているように、被験者２１から１ｍ、台(Object Platform)２２の表面から高さ２２ｃｍのところに、中間色（灰色）に塗装された直径５．６ｃｍの球２３を標準刺激として置き、それを参照円盤とした。さらに、８ｃｍの間隔で置かれた同じ大きさの球（ターゲット球）２３を各試行毎に１ｍから５ｍまで１ｍ間隔でランダムに観察距離を選んで配置し、それぞれの球の相対的な見えの大きさを、前述したＲＡＳにしたがって定量化した。

図７に示されているように、全ての被験者２１による相対的な見えの大きさの測定結果の平均値Ｒs(Relative Apparent Size)は、標準刺激である参照球２３の大きさ（図中では縦軸の１００）と写真像の大きさとの間にあった。また、前述した主観的観察実験１の結果と同様に、視距離に対する相対的な見えの大きさ(Rs)は、ｔ検定の結果、基準点となる１ｍ以外の全ての測定点で、見えの大きさはその写真像の大きさとは有意に異なっていた。ここで、測定結果を最小二乗法によって直線近似した場合、視距離(z)における相対的な見えの大きさ(Rs)は、Ｒs(z)＝−１１．６０ｚ＋１０７．８６、決定係数Ｒ^２＝０．９８となった。一方、相対関数で近似した場合には、Ｒs(z)＝−２９．９８ln(z)＋１００．８０、決定係数Ｒ^２＝０．９９となった。

なお、円盤を用いたときの視距離と見えの大きさとの特性と、球を用いた場合の特性は、傾きの差（両側検定、ｔ＝０．６３，ｄｆ＝７１，P＞０．０５）の検定結果、有意な差は認められなかった。以上の結果は、視対象の差異にしたがって人の見えの大きさに関する恒常度に差が生じるとした仮定を支持しないものである。

以上のことから、人は自然な状態において両眼で空間を観察すると、基準点以外の測定点の全てで写真像とは異なる大きさで対象を感じている（知覚している）ことが明らかになった。さらに、円盤を用いたときの特性と球を用いたときの特性との間には有意さがなかったことから、少なくとも限定的な空間では視点から観察される二次元的な形態が近似している対象であれば共通の特性を持つとみなして良い。

従来では、対象の幾何光学的な大きさ（写真像）と、人の特性である見かけの大きさ（見えの大きさ）との差異を考慮せずに映像を作製しているが、上述したように、人間の主観的な空間認識過程を空間の心理的変形として前記元画像データを補間する関係式または近似式を含む主観的大きさ関数を有する本発明にかかる主観的映像生成方法を実行する知覚変換手段４を採用することによって、三次元形態の視点に対する大きさを見えの大きさに修正してから映像化を行うことで、人によってより違和感の少ない映像の生成が可能となる。そのような映像は、その品質をこれまでにない新たな尺度にしたがって向上させることができる。このときの補間は、上述した実施形態のような関数を用いた近似式に限定されることはなく、実データに基づいて作製されたテーブル式等のように、あらゆる内挿または外挿により補間する方法が含まれる。

これまで、三次元コンピュータグラフィックス（ＣＧ）における対象の大きさは、物理的な法則に基づく単点透視投影法に従って決定していたが、前述した主観的観察実験１および２からも明らかなように、その大きさは写真像の大きさとは有意に異なる。そこで、本発明にかかる主観的大きさ関数を用いて、対象の視点に対する大きさを主観的な大きさに補間・修正してから作製した映像が、従来の映像よりも、より観察者の知覚像（見かけの大きさ）に近いことを検証した（以下、主観的観察実験３という。）。

正常な視力を持つ２０歳から２３歳までの大学生１０名を被験者として、図８に示されているように、前述した主観的観察実験１および２と同じ中間色に塗装された直径５．６ｃｍの球３３を台（Object Platform）から高さ２２ｃｍの位置に３個配置した。そして、これら三個の球の大きさの関係を観察者が十分な観察時間を使って観察し、自らの印象を記憶にとどめた後に、映像１（無修正映像：real image）をＡ４大に拡大した図と同様の映像２（見えの大きさを修正した映像：transformed image）を一度に観察する。次に、自分が実際の三つの球から得られた印象に近いと感じる映像を一つ選択させた。

なお、上述した映像１は、視野角を６０°としたときの写真像と同等のＣＧ映像であり、映像２は、同じ視野角で球のそれぞれの大きさを主観的大きさ関数（前述した主観的大きさ関数において、ａ＝１０，Ｓc＝０．１７）にしたがって修正を施した画像である。

そして、同様な比較を図９および図１０のような配置における映像に関して行った。なお、図８の三つの球３３は、それぞれ２０ｃｍ間隔で視点から１ｍ、２ｍ、３ｍの距離にある。同様に図９では視点から１ｍ、２ｍ、４ｍの距離にあり、さらに図１０では視点から１ｍ、４ｍ、５ｍの距離にある。その結果、次の表１に見られるように、１０名のうちの少なくとも８名が、異なる奥行きをもつ球の映像に関して主観的大きさ関数によって修正を加えた映像の方が修正しなかった映像よりも、より観察者の感じ（印象）に近いと回答した。なお、表１の回答を３条件を込みにしてχ^２検定したところ、１％水準で有意になった（χ^２＝１６．１，ｄｆ＝１，Ｐ＜０．０１）。

以上の結果から、少なくとも限定的な空間では、物理法則にしたがって画像よりも人間の知覚特性にしたがってその大きさを修正した画像が、観察者にとってより自然な印象を与える（誘起する）ことが判明した。ただし、図８〜 図１０の配置における球の見えの大きさを主観的大きさ関数にしたがって修正すると、球と球との間の見かけの間隔が異なった映像となる。無修正の画像をより自然だと判断した被験者の内省報告によれば、この間隔の差が違和感を生じさせる大きな原因になっていた。

現在でも、このような人の主観にしたがった映像の修正は、アニメーション等の分野で制作者個人の固有の技能として行われてきたものであるが、本発明を採用することによって今後は、特殊な技能をもたないユーザでも主観的大きさ関数を用いて視点に対する奥行きを修正してから映像を制作することによって、より自然な奥行き間を観察者に対して誘起させる映像の生成が可能となる。このことは、本発明の目的である次世代の情報社会環境における映像情報を介して人が情報システムを快適に使用することに寄与するものである。特に、ドライブ・シュミュレータのような両眼自然視における高い臨場感が要求される映像の生成や、高品質なアニメーションの制作のための重要な情報処理技術の一つとなるものである。

次に、観察者（原点）の注視点近傍について、主観的な空間認識過程によって誘起される空間の心理的変形考察する。まず、観察者（原点）の注視点近傍での主観的な空間認識過程によって誘起される空間の心理的変形の性質として次の３条件を導入する。第１は、変形作用の対称性：注視点から視点に対して奥行き方向では大きく見える。逆に手前のものは相対的に小さく見える。第２は、変形範囲の局所性：視点から十分離れているオブジェクトの大きさには影響がない。第３は、変形作用の方向性：視点に対して奥行き方向（ｚ軸方向）に従った変形が支配的なため、それ以外の方向でのオブジェクトの大きさの変化は小さい。

図１に示されている視覚変換手段３、知覚変換手段４それぞれに取り入れられる変換パラメータは、予め測定実験によって個人毎のデータを統計学的に計測してからこれらデータを補間に関わるデータとしてアプリケーションソフトウェアと共に例えばＣＤ−ＲＯＭ等の記録媒体等に蓄積・保存しておく。例えば、個人の知覚情報は単純なオブジェクトの見え方の測定実験値を後述するφ（ｘ，ｉ）、φ（ｙ，ｉ）、φ（ｚ，ｉ）なる変形率（拡大・縮小率）として例えば第１のテーブルに記録し、また視覚情報は視野角の計測値を例えば第２のテーブルに、また周辺視の傾向値を第３のテーブルにそれぞれ記録しておく。なお本実施形態は、視距離の作用（ｉ）を定量化して対象の大きさを決定するものであって、知覚変換等による対象どうしの相互作用（ｊ）、つまり比例関係、反比例関係、選択的関係などを複合的に含む複数の対象に対する作用は、視距離の作用に比して影響は少ないと考えられるために本実施形態では考慮しないものとしている。

そして、ＭＰＥＧ−４，７のような符号化方式でオブジェクトごとに送られてきた多重化された３次元情報を適切に分離し、さらにそれぞれを別々の方式で復号化した後に、合成（コンポジション）することで１つのシーンを復元して例えばＣＧによって２次元表示する際に、この記録媒体を介して視覚変換手段３、知覚変換手段４それぞれに補間データを入力することで、各個人の測定実験結果に基づくキャリブレーションが実行されるのである。このとき後述するように単点透視投影法による画面のオブジェクト単位毎にこれら補間データが全て異なるものとしてある。

本実施の形態の古典的透視投影手段２においては、仮想的な３次元空間の対象を２次元平面に写し取る平面幾何投影法（プロジェクション）の１つとして、３次元空間を１つの消点をもった２次元画像で表現する単点透視投影法を採用している。一般に透視投影法には単点透視投影法、２点透視投影法、３点透視投影法があり、これらの透視投影法では、透視中心から距離が大きくなるにつれて平行線が集束し、物体の大きさは小さくなって消点となる。そのため、物体を構成する線分の縮尺も一様ではなく透視中心からの物体の方向と距離の関数となる。

この単点透視投影法は、先ず対象に対する視点（人間では単眼に相当）を固定し、そこから対象を構成する複数の頂点との間にできる直線を、対象と視点との間の画面で写し取ることに相当する。尚、通常、画面は視軸と基面とに対して垂直に設定する。以上の条件で所定の２次元投影面への透視投影の変換行列（アフィン変換）は、正射影と透視変換とを連結させることによって得られる。すなわち、画面に投影される対象の頂点座標［ｘ，ｙ，ｚ］は図３（ａ）に示すものとなる。このとき、２次元座標の画面上の新たなローカル座標系［ｘ’ｙ’ｚ’］は、ワールド座標系では、ｘ’＝ｘ／（ｚｒ＋１）、ｙ’＝ｙ／（ｚｒ＋１）、ｚ’＝０（ただし、ｚｒ＋１≠０）となる。このとき、ｒは個人の視野角（周辺視の傾向）のもつ定数である。

この透視変換以前に知覚変換手段４によって知覚変換を行なうのであり、これを変換行列で表わすと図１１（ｂ）に示すようになる。すなわち、ｘ’＝ｘφ（ｘ，ｉ）／｛ｚｒφ（ｚ，ｉ）＋１｝、ｙ’＝ｙφ（ｙ，ｉ）／｛ｚｒφ（ｚ，ｉ）＋１｝、ｚ’＝０、（ただし、ｚｒφ（ｚ，ｉ）＋１≠０）となる。ここで、φ（ｘ，ｉ）、φ（ｙ，ｉ）、φ（ｚ，ｉ）は変形率（拡大・縮小率）を示す変換パラメータであり、それぞれ０よりも大きい実数値をとる。また、φ（ｘ，ｉ）の指標ｘはｘ軸方向の変形倍率、指標ｉはｉ番目のオブジェクトを指し、一般にオブジェクト毎に変形倍率が異なるものとしている。さらに、ｘ軸方向、ｙ軸方向、ｚ軸方向それぞれの変形倍率は等しい（φ（ｘ，ｉ）＝φ（ｙ，ｉ）＝φ（ｚ，ｉ））ものとしても良く、あるいはインテリアの関係上、それぞれの変形倍率は全て異なる（φ（ｘ，ｉ）≠φ（ｙ，ｉ）≠φ（ｚ，ｉ））ものとしても良い。

次に、２つの球体を使った単純なオブジェクトの見え方の測定方法による個人の知覚情報にかかる変換パラメータであるφ（ｘ，ｉ）、φ（ｙ，ｉ）、φ（ｚ，ｉ）の測定実験（イ）について図１２および図１３に基づいて説明する。すなわち、プリミティブなオブジェクトである球体２個を両眼立体視した時に誘導される心象（見えの大きさ、見えの距離）を定量的に測定するために、デッサン等の教育を受けたことのない健常な大学生（１８〜２２歳）１０人を被験者として、図１２（ａ）に示すように、顎台で視線を固定し、６０ｃｍ離れた視線の高さにある２つの径５０ｍｍφの球体を両眼で観察する。観察する球体は木目等のテクスチャ効果をなくすため、灰色に塗装してある。

次に、合計１０通りの位置関係（図１３（ａ）参照）に置かれた球体の主観的な大きさ（見えの大きさ）と主観的な位置関係（見えの距離）を被験者から向かって右の球体の大きさと位置を基準とした相対量として報告させた。このとき、主観的な球体の大きさと位置関係は図１２（ｂ）、図１２（ｃ）に示すように、見えの大きさ測定用アプリケーションソフトウェア（被験者は向かって左側の球体の大きさを調整する）と、見えの距離測定用アプリケーションソフトウェア（被験者は向かって左側の球体の位置を調整する）を被験者自身が操作し、それぞれの主観量と一致するように調整することで定量化した。尚、被験者が図形（ソフトウェア）を主観的に一致させる操作中は、ディスプレイ上のテキストボックスには、何も表示されない。また、これらの主観量の測定順序は被験者に因らず図１３（ａ）に示すような測定位置の番号順に行なった。

次に、２つの球体を使った単純なオブジェクトの見え方の測定結果について説明する。図１３（ｂ）に示すように、基準となる球体のそばで幾何光学的像がもつ量すなわち写真値は、主観的な球体の大きさが最大で約１３％程度の異なった感じ方すなわち空間知覚をしていることが分かった。さらに、その定性的な傾向として、その差異は基準となる球体との奥行き方向の距離に反比例する傾向が認められた。

次に、デッサン等の立体を平面に写し取る訓練を受けた集団の、前記した２つの球体を使った単純なオブジェクトの見え方の測定実験（イ）と同じプリミティブなオブジェクトから誘導される心象（見えの大きさ、見えの距離）を定量的に測定する測定実験（ロ）を行ない、前記した測定実験（イ）と比較した。すなわち、同一のデッサン等の教育を受けた健常な大学生（２０〜２３歳）８人を被験者として、図１２（ａ）に示すような測定実験（イ）の場合と同様な手順で実験を行なった。その結果、図１３（ｃ）に示すように、被験者は主観的にも写真量と明確な有意差のない大きさと距離を知覚していることが分かった。したがって、同じ３次元空間を両眼立体視しても、被験者によって主観的な感じ方に差異があることが推察できる。このことは経験によってその見え方が修正される可能性を示唆している。尚、測定された対象の大きさは、前記測定実験（イ）の場合と本測定実験（ロ）の場合との結果には有意な差が認められた。

以上のように２つの球体を使った単純なオブジェクトの個人の見え方の測定実験値をφ（ｘ，ｉ）、φ（ｙ，ｉ）、φ（ｚ，ｉ）なる変形率（拡大・縮小率）データファイルとして例えば補間に関わるデータとしてアプリケーションソフトウェアと共に記録媒体等に蓄積・保存しておき、ＭＰＥＧ−４，７で分離した状態で送られてきた３次元情報それぞれを別々の方式で復号化した後に、合成（コンポジション）することで１つのシーンを復元して２次元表示する際に、この記録媒体に記録されている変形率（拡大・縮小率）データファイルを知覚変換手段４に補間データとして入力することで、各個人の測定実験結果に基づくキャリブレーションが実行される。なお、このようなアプリケーションソフトウェアは、所定のプログラミング処理に基づいてφ（ｘ，ｉ）、φ（ｙ，ｉ）、φ（ｚ，ｉ）なる変形率（拡大・縮小率）データを各個人の心象に対応してバリアブルに入力可能なアプリケーションに対応できるものとしても良い。

以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変形可能であるというのはいうまでもない。

例えば上述した実施形態では、視距離の作用を定量化して対象の大きさを決定しているが、知覚変換等による対象どうしの相互作用、つまり比例関係、反比例関係、選択的関係などを複合的に含む複数の対象に対する作用を考慮して対象の大きさを決定することも可能である。

以上述べた本発明は、アクシカメラ始めとして、人間の知覚に従った映像を取得、再生、記録、生成する多種多様な映像生成装置に対して広く適用することが可能である。

本発明の１実施の形態におけるシステムの概略を示す構成ブロック図である。 同じくシステム機能の動作を示すフローチャートである。 オブジェクトである円盤２個を両眼立体視した時に誘導される心象（見えの大きさ、見えの距離）を定量的に測定するための測定実験方法を説明するものであって、実験環境を示す斜視図と円盤との配置関係図である。 相対的な見えの大きさの調整を行うための映像システムの一例を模式的に表した正面説明図である。 円盤の相対的な見えの大きさを測定した結果を表した線図である。 オブジェクトである球２個を両眼立体視した時に誘導される心象（見えの大きさ、見えの距離）を定量的に測定するための測定実験方法を説明するものであって、実験環境を示す斜視図と円盤との配置関係図である。 球の相対的な見えの大きさを測定した結果を表した線図である。 本発明にかかる主観的大きさ関数を用いて修正した映像が観察者の知覚像（見かけの大きさ）に近いことを検証するためのオブジェクトである球の配置の一例を表した平面説明図である。 本発明にかかる主観的大きさ関数を用いて修正した映像が観察者の知覚像（見かけの大きさ）に近いことを検証するためのオブジェクトである球の配置の他の例を表した平面説明図である。 本発明にかかる主観的大きさ関数を用いて修正した映像が観察者の知覚像（見かけの大きさ）に近いことを検証するためのオブジェクトである球の配置のさらに他の例を表した平面説明図である。 （ａ）は、画面に投影される対象の頂点座標と、２次元座標の画面上の新たなローカル座標系をワールド座標系で示した座標との変換関係を数式形式で示した図であり、（ｂ）は、透視変換以前に知覚変換を行なうための変換行列を施した状態を数式形式で示した図である。 オブジェクトである球体２個を両眼立体視した時に誘導される心象（見えの大きさ、見えの距離）を定量的に測定するための測定実験方法を説明するものであり、（ａ）は実験環境を示す斜視図と球体の配置関係図、（ｂ）は見えの大きさ測定用のアプリケーションによる表示状態、（ｃ）は見えの距離測定用のアプリケーションによる表示状態である。 （ａ）は測定環境と測定位置を示す観察状態の図、（ｂ）は測定実験（イ）の測定結果を示す観察状態の図、（ｃ）は測定実験（ロ）の測定結果を示す観察状態の図である。

符号の説明

１ 主観的透視投影手段
２ 古典的透視投影手段
２ａ ２Ｄ変換機能
２ｂ 幾何学的平面画像機能
２ｃ 感覚的空間像機能
２ｄ 知覚的形状機能
３ 視覚変換手段
４ 知覚変換手段

Claims (6)

1. ユークリッド幾何学を基礎とした単点透視投影法により得た複数の頂点座標（ｘ，ｙ，ｚ）を有する３次元情報からなる元画像データを、左右両眼に対応した観察情報からなる２種類の２次元映像（ｘ，ｙ，０）により構成し、
   それら左右両眼に対応した２種類の元画像データ（ｘ，ｙ，０）の各々を、個人の心理的／物理的特性を考慮して視点からの視距離（ｚ）を１ｍから５ｍまで変化させたときの前記視距離（ｚ）に対する相対的な見えの大きさ（ｘ，ｙ）を定量化して得た主観的大きさ関数ζ（ｚ）に基づいてそれぞれ修正し、
   その視距離（ｚ）に対する相対的な見えの大きさ（ｘ，ｙ）を前記主観的大きさ関数ζ（ｚ）により修正して得た両映像（ζ（ｚ）ｘ，ζ（ｚ）ｙ）を、左右両眼に対応して分離した立体映像として提示する方法であって、
   前記視点からの視距離ｚ、直線性の範囲ａ、人の見えの大きさに対する恒常性の程度を表す恒常係数Ｓｃに対して、前記主観的大きさ関数ζ（ｚ）が、人間の主観的な空間認識過程を空間の心理的変形として前記元画像データ（ｘ，ｙ，０）を外挿により補間する次の関係式または近似式を含むことを特徴とする主観的映像生成方法。
   ζ（ｚ）＝［ａ・ｌｎ｛１＋（Ｓｃ／ａ）・ｚ｝＋１］ ^−１
2. ユークリッド幾何学を基礎とした単点透視投影法により得た複数の頂点座標（ｘ，ｙ，ｚ）を有する３次元情報からなる元画像データを、左右両眼に対応した観察情報からなる２種類の２次元映像（ｘ，ｙ，０）により構成し、
   それら左右両眼に対応した２種類の元画像データ（ｘ，ｙ，０）の各々を、個人の心理的／物理的特性を考慮して視点からの視距離（ｚ）を１ｍから５ｍまで変化させたときの前記視距離（ｚ）に対する相対的な見えの大きさ（ｘ，ｙ）を定量化して得た主観的大きさ関数ζ（ｚ）に基づいてそれぞれ修正し、
   その視距離（ｚ）に対する相対的な見えの大きさ（ｘ，ｙ）を前記主観的大きさ関数ζ（ｚ）により修正して得た両映像（ζ（ｚ）ｘ，ζ（ｚ）ｙ）を、左右両眼に対応して分離した立体映像として提示するようにコンピュータを実行させるプログラムであって、
   前記視点からの視距離ｚ、直線性の範囲ａ、人の見えの大きさに対する恒常性の程度を表す恒常係数Ｓｃに対して、前記主観的大きさ関数ζ（ｚ）が、人間の主観的な空間認識過程を空間の心理的変形として前記元画像データ（ｘ，ｙ，０）を外挿により補間する次の関係式または近似式を含むことを特徴とする主観的映像生成プログラム。
   ζ（ｚ）＝［ａ・ｌｎ｛１＋（Ｓｃ／ａ）・ｚ｝＋１］ ^−１
3. 請求項２記載の主観的映像生成プログラムを記録したコンピュータ読み取り可能な主観的映像生成用記録媒体。
4. 請求項１記載の主観的映像生成方法または請求項２記載の主観的映像生成プログラムを実行する線形変換手段による前処理と、既存の古典的透視投影手段による２次元透視投影変換と、を行なうように構成されていることを特徴とする主観的透視投影システム。
5. 前記線形変換手段は、人間の主観的な空間認識過程を空間の心理的変形とした知覚変換手段を含むことを特徴とする請求項４記載の主観的透視投影システム。
6. 前記線形変換手段は、人間の主観的な空間認識過程を空間の心理的変形による知覚変換手段と、生理／物理的要因による視覚変換手段と、を含むことを特徴とする請求項４記載の主観的透視投影システム。

Images