JP5429896B2 - 立体動画による潜在的眼精疲労を測定するシステムおよび方法 - Google Patents

Description

本開示は、一般に、コンピュータ・グラフィックス処理および表示システムに関し、より詳しくは、立体動画などの３次元（３Ｄ）プレゼンテーションを見ている観客が感じる潜在的眼精疲労を測定するシステムおよび方法に関する。

立体画像化は、１つのシーンをわずかに異なる視点から撮影した少なくとも２つの画像を視覚的に結合して、３次元の奥行きがあるような錯覚を生じさせるプロセスである。この技術は、人間の両目が互いに少し離れて位置しているために、それぞれの見るシーンが完全には一致していないという事実に依拠している。視聴者のそれぞれの目に異なる視点からの画像を見せることにより、目が錯覚を起こして奥行きを感じる。通常、異なる２つの視点を設けた場合には、コンポーネント画像は、それぞれ「左」画像および「右」画像と呼ばれ、これらはそれぞれ、参照画像および相補画像として知られている。ただし、当業者なら、３つ以上の視点を結合して立体画像を形成することもできることが分かるであろう。

３Ｄポストプロダクション、ＶＦＸワークフロー、および３Ｄディスプレイの用途において、左目視点画像および右目視点画像からなる立体画像から奥行きマップ（Ｄｅｐｔｈ Ｍａｐ）を推測して立体動画を作成することは、重要なプロセスの１つである。例えば、最近商品化された自動立体３Ｄディスプレイは、イメージ・プラス・デプス・マップ（ｉｍａｇｅ−ｐｌｕｓ−ｄｅｐｔｈ−ｍａｐ）の入力フォーマットを必要とするため、このディスプレイは、複数の視角に対応するために異なる３Ｄ像を生成することができる。

コンピュータ・ビジョン研究の分野では、立体画像対から奥行きマップを推定するプロセスは、ステレオ・マッチングと呼ばれている。これは、左目視点画像と右目視点画像とにおける対応点を見つけるために、画素マッチングまたはブロック・マッチングが使用されるためである。同じシーンの同じ点に対応するそれらの画像内の２つの画素間の相対距離から、奥行き値が推測される。

ディジタル画像のステレオ・マッチングは、３次元（３Ｄ）の奥行き情報を得るために、多くのコンピュータ・ビジョン用途において広く使用されている（例えば、コンピュータ援用ドラフト（ＣＡＤ）用の高速オブジェクト・モデリングおよびプロトタイピング、ヒューマン・コンピュータ・インタラクション（ＨＣＩ）用のオブジェクト・セグメンテーションおよび検出、ビデオ圧縮、視覚監視など）。ステレオ・マッチングでは、１つのシーンの画像を、当該シーン中の異なる位置に異なる向きで配置した２つ以上のカメラから取得する。これらのディジタル画像は各カメラからほぼ同時に取得され、空間内の３Ｄ点に対応する各画像中の各点のマッチングが行われる。一般に、異なる画像からの各点のマッチングは、それらの画像の一部分をサーチし、１つの画像中の点を別の画像中の点と相関させる制約（エピポーラ制約など）を用いて行われる。その後、マッチングした画像および奥行きマップを利用して、立体３Ｄ動画を作成することができる。

現在の立体３Ｄ動画の主な問題の１つは、動画をある程度の時間見た後に、観客が眼精疲労を感じることがあることである。従って、監督は、３Ｄ映画を製作するときに、観客が感じる眼精疲労が極力小さくなるようにするには、どのようにシーンを撮影したり、フィルムを編集したりすればよいか考慮しなければならない。これが、３Ｄ動画の製作が、従来の２Ｄ動画の製作に比べてはるかに困難で、時間がかかる理由の１つである。

３Ｄ動画を製作する際の課題は、監督または編集者が、観客が感じる潜在的な眼精疲労を視覚的に推定することが極めて困難であることである。この問題の要因はいくつかある。第１に、眼精疲労は動画を見るプロセスの中で生じる蓄積的な効果であるので、監督または編集者は、眼精疲労を感じるようになるだけの長い時間、３Ｄ動画を見なければならない。眼精疲労は、通常は、少数のセグメントによって引き起こされることはない。第２に、眼精疲労は、２つのセグメントの間の急激な奥行きの変化によって引き起こされる可能性もある。編集者が、編集中に複数のセグメントを連結するときに、急激な奥行きの変化によって引き起こされる潜在的な眼精疲労を測定することは困難である。編集者が、異なるセグメント同士を連結して、奥行きの変化によって引き起こされる潜在的な眼精疲労を「感じる」ためには、時間のかかる試行錯誤のプロセスを用いる必要がある。

従って、立体動画などの３Ｄプレゼンテーションを見ている間に感じる潜在的な眼精疲労を測定することができる技術が必要とされている。さらに、３Ｄ動画を編集するプロセス中に潜在的な眼精疲労を測定することができる自動のシステムおよび方法も必要とされている。

立体動画などの３Ｄプレゼンテーションを見ている間に観客が感じる潜在的眼精疲労を測定するシステムおよび方法を提供する。本開示のシステムおよび方法は、３Ｄプレゼンテーションを見ている間の両目の収束点と焦点との間の距離が、焦点を合わせた物体の奥行きと密接に関係しており、奥行きは、その物体の画素のディスパリティと関係があることを考慮している。本開示の眼精疲労測定システムおよび方法は、３Ｄプレゼンテーションの立体画像のディスパリティ（または奥行き）およびディスパリティの遷移を測定することに基づいている。本開示の技術は、監督および編集者が、快適な３Ｄ映画を効率的に製作するのに有用である。

本開示の一態様によれば、３次元（３Ｄ）プレゼンテーションを見ている間の潜在的眼精疲労を測定する方法が提供される。この方法は、第１のセグメントから第１の画像および第２の画像を取得するステップと、第１の画像中の少なくとも１つの点の、第２の画像中の少なくとも１つの対応する点に対するディスパリティを推定するステップと、第１および第２の画像のシーケンスのディスパリティ遷移を推定するステップと、上記ディスパリティと、第１および第２の画像のシーケンスの上記ディスパリティ遷移とに基づいて、３Ｄプレゼンテーションを見ている間の潜在的眼精疲労を求めるステップとを含んでいる。

他の態様では、ディスパリティ遷移を推定するステップは、以前のセグメントの最後のフレームのディスパリティを推定するステップと、第１のセグメントの最初のフレームのディスパリティを推定するステップと、以前のセグメントの最後のフレームのディスパリティと第１のセグメントの最初のフレームのディスパリティとの間の差を求めるステップとを含む。

一態様では、ディスパリティ遷移を推定するステップは、第１のセグメントの複数のフレームの各フレーム内のディスパリティを推定するステップと、第１のセグメントの複数のフレームの各々のディスパリティの間の差を求めるステップとを含む。

更なる態様では、潜在的眼精疲労を求めるステップは、第１および第２の画像のシーケンスの各フレームの瞬間眼精疲労関数を求めるステップをさらに含む。

さらに他の態様では、潜在的眼精疲労を求めるステップは、第１および第２の画像のシーケンスの各フレームに関する瞬間眼精疲労関数に減衰因子を適用するステップをさらに含む。

他の態様では、潜在的眼精疲労を求めるステップは、第１および第２の画像のシーケンスの各フレームに関する減衰済みの瞬間眼精疲労関数を所定の期間にわたって蓄積するステップをさらに含む。

更なる態様では、潜在的眼精疲労を求めるステップは、蓄積した眼精疲労関数を第１および第２の画像のシーケンスにわたって飽和させるステップをさらに含む。

他の態様では、この方法は、潜在的眼精疲労が許容可能であるかどうかを判定するステップと、潜在的眼精疲労が許容可能でない場合に、第１および第２の画像のディスパリティを補正するステップとをさらに含む。

本開示の他の態様によれば、３次元（３Ｄ）プレゼンテーションを見ている間の潜在的眼精疲労を測定するシステムが提供される。このシステムは、セグメントから第１の画像および第２の画像を取得する手段と、第１の画像中の少なくとも１つの点の、第２の画像中の少なくとも１つの対応する点に対するディスパリティを推定するディスパリティ推定器と、第１および第２の画像のシーケンスのディスパリティ遷移を推定するディスパリティ遷移推定器と、上記ディスパリティと、第１および第２の画像のシーケンスの上記ディスパリティ遷移とに基づいて、３Ｄプレゼンテーションを見ている間に感じる潜在的眼精疲労を求める眼精疲労推定器とを備える。

本開示のさらに他の態様によれば、３次元（３Ｄ）プレゼンテーションを見ている間に感じる潜在的眼精疲労を測定する方法ステップを実行するために機械が実行可能な命令のプログラムを実装する、上記機械によって読み取り可能なプログラム記憶装置が提供される。この方法は、第１のセグメントから第１の画像および第２の画像を取得するステップと、第１の画像中の少なくとも１つの点の、第２の画像中の少なくとも１つの対応する点に対するディスパリティを推定するステップと、第１および第２の画像のシーケンスのディスパリティ遷移を推定するステップと、上記ディスパリティと、第１および第２の画像のシーケンスの上記ディスパリティ遷移とに基づいて、３Ｄプレゼンテーションを見ている間に感じる潜在的眼精疲労を求めるステップとを含む。

本開示の上記その他の特徴、特色および利点について以下に述べるが、以下に述べていないものについても、以下の好ましい実施形態の詳細な説明を添付の図面と関連付けて読むことで明らかになるであろう。

全ての図面を通じて、同じ参照番号は同じ構成要素を指すものとする。

３次元（３Ｄ）プレゼンテーションを見ている間の、視聴者または一人の観客の収束点及び焦点を示す図である。 ３Ｄプレゼンテーションを示すために利用される画面より手前に収束点があるときの、収束距離、知覚奥行き、ディスパリティ、および収束角の関係を示す図である。 画面の後方に収束点があるときの、収束距離、知覚奥行き、ディスパリティ、および収束角の関係を示す図である。 本開示の一態様による、３次元（３Ｄ）プレゼンテーションを見ている間に感じる眼精疲労を測定するシステムを示す例示的な図である。 本開示の一態様による、３次元（３Ｄ）プレゼンテーションを見ている間に感じる眼精疲労を測定する例示的な方法を示す流れ図である。 眼精疲労感の飽和をモデル化するために使用されるシグモイド関数を示す図である。 本開示の一態様による、経時的な眼精疲労測定方程式を示す図である。 本開示の一態様による、瞬間眼精疲労関数および総合眼精疲労測定を示す図である。

図面は、本開示の概念を例示するためのものであり、必ずしも本開示を説明する唯一の可能な構成を示すものではないことを理解されたい。

図面に示す要素は、ハードウェア、ソフトウェア、またはそれらの組合せといった様々な形態で実装することができることを理解されたい。これらの要素は、プロセッサと、メモリと、入出力インタフェースとを備えることができる１つまたは複数の適当にプログラムされた汎用装置において、ハードウェアとソフトウェアとの組合せとして実装されることが好ましい。

本明細書では、本開示の原理を説明する。従って、本明細書に明示的には記述または図示していなくても、本開示の原理を実施し、本開示の趣旨および範囲内に含まれる様々な構成を、当業者なら考案することができることを理解されたい。

本明細書に記載する全ての例および条件に関する表現は、本開示の原理と、当技術分野をさらに進歩させるために発明者が与える概念とを読者が理解するのを助けるという教育的な目的を有するものであり、これらの具体的に列挙した例および条件に限定されないものと解釈されたい。

さらに、本開示の原理、特徴および実施形態ならびに本開示の具体的な実施例について本明細書で述べる全ての記述は、その構造的な均等物と機能的な均等物との両方を含むことを意図している。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物、すなわち、構造に関わらず、同じ機能を実行する将来開発される任意の要素も含まれることを意図している。

従って、例えば、当業者なら、本明細書に示すブロック図が本開示の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示される場合もされない場合もあるコンピュータまたはプロセッサによって実行される様々なプロセスを表すことも理解されたい。

図面に示す様々な要素の機能は、専用のハードウェアを使用して、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用して、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実施することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル・シグナル・プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）を黙示的に含むことがある。

従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理との相互作用によっても、あるいは手作業でも実施することができ、実施する者（ｉｍｐｌｅｍｅｎｔｅｒ）が、コンテクストから適宜判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、例えば、ａ）当該機能を実行する回路素子の組合せや、ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含め、当該機能を実行する任意の態様を含むものとする。特許請求の範囲によって定義される本開示は、記載した様々な手段が実施する機能を、特許請求の範囲が要求する手法で組み合わせることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

通常、立体動画は、左目ピクチャ・シーケンスおよび右目ピクチャ・シーケンスからなる。映画の用途では、通常は、３Ｄプレゼンテーションを見るために観客が３Ｄ眼鏡（例えば偏光眼鏡またはシャッター眼鏡）を着用しなければならない。眼鏡を用いない表示の場合には、３Ｄ表示の仕組みは違うが、３Ｄ知覚の原理は同じである。すなわち、３Ｄシステムは、左目には左目画像を見せ、右目には右目画像のみを見せる。人間の脳は、これら２つの画像を組み合わせて、３Ｄのシーンを正しく知覚することができる。しかし、このシステムは、以下に述べる２つの理由から、目の筋肉を疲労させ、眼精疲労を引き起こす可能性がある。

１．両目の収束点と焦点とは異なる。人が本物の３Ｄのシーンを見るときには、両目の焦点は、収束点とほぼ同じである。しかし、３Ｄ映画を見るときには、両目の焦点１０は、常に画面１２上になければならないのに対し、図１に示すように正しい３Ｄシーンを知覚するためには、両目の収束点１４は、画面１２より手前または後方になければならない。この不一致が、目の筋肉を緊張させ、それにより眼精疲労を引き起こす主な要因である。

２．３Ｄ動画中のオブジェクトの奥行きの変化。物体の奥行きが変化すると、人の目は、焦点は画面上に維持したまま、正しい３Ｄ効果を知覚するために収束点を調節しなければならない。奥行きの変化が頻繁且つ急激である場合には、目は収束点を頻繁に変化させなければならず、その結果として目の筋肉が疲弊することになる。

従って、要約すれば、眼精疲労は、１）両目の収束点と焦点との間の距離（すなわち、図１に示す収束距離１６）、２）収束点１４の変化、の主に２つの要因によって引き起こされる。従って、眼精疲労を測定するためには、上記の２つの要因を考慮する必要がある。

本開示は、例えば立体動画などの３Ｄプレゼンテーションを見ている間に観客が感じる潜在的眼精疲労を測定するシステムおよび方法を提供する。本開示の眼精疲労測定システムおよび方法は、ディスパリティ（または奥行き）とディスパリティの遷移とを測定することに基づいている。この解決策は、監督および編集者が、良好且つ快適な３Ｄ映画を効率的に製作することに有用である。

本開示のシステムおよび方法は、視聴者の両目の収束点と焦点との間の距離が、３Ｄプレゼンテーション内で焦点を合わせた物体の奥行きと密接に関係しており、その奥行きは、その物体の画素のディスパリティと関係があることを考慮している。図２は、３Ｄプレゼンテーションを見ることに関連する変数の関係を示している。収束距離（Ｃｄ）１６、知覚奥行き（Ｄｐ）１８、観客距離（Ａｄ）２０、収束角（Ｃａ）２２、両目間距離（Ｅｄ）２４、ディスパリティ（Ｄｓ）２６とすると、以下のような関係があることが分かる。

１．Ｃｄ、ＤｐおよびＡｄの関係：Ａｄ＝Ｃｄ＋Ｄｐ
２．Ｃｄ、Ｄｓ、ＡｄおよびＥｄの関係：Ｃｄ（１／Ｄｓ＋１／Ｅｄ）＝Ａｄ／Ｅｄ
３．Ｃａ、Ｅｄ、ＡｄおよびＣｄの関係：Ｃａ＝２ａｔａｎ（Ｅｄ／（２（Ａｄ−Ｃｄ）））

これらの関係は、負のディスパリティおよび負の収束距離が認められる限り、図３に示すように収束点が画面の後方にあるときでも成立する。特定の観客について、両目間距離（Ｅｄ）２４および観客距離（Ａｄ）２０は、プレゼンテーションの間一定であるが、収束距離（Ｃｄ）１６、知覚奥行き（Ｄｐ）１８、収束角（Ｃａ）２２およびディスパリティ（Ｄｓ）２６は、動画内で変動する。これらの関係に基づき、収束点の計算を、奥行きまたはディスパリティの推定に簡略化することができる。これにより、推定アルゴリズムが簡単になる。ディスパリティ推定アルゴリズムは多数存在するので、眼精疲労推定に従来のディスパリティ測定を利用することができる。

次に図４を参照すると、本開示の一実施形態による例示的なシステムの構成要素が示されている。例えばカメラで撮影したオリジナルのフィルムのネガなどのフィルム・プリント１０４をスキャンして、例えばＣｉｎｅｏｎフォーマットまたはＳＭＰＴＥ ＤＰＸのファイルなどのディジタル・フォーマットにするために、スキャン装置１０３を備えることができる。スキャン装置１０３は、例えば、テレシネ、または、例えばビデオ出力を備えたＡｒｒｉ ＬｏｃＰｒｏ（商標）などの、フィルムからビデオ出力を生成する任意の装置を有していてもよい。あるいは、ポスト・プロダクション・プロセスで得られたファイルまたはディジタル・シネマ１０６（例えば既にコンピュータで読み取り可能な形態になっているファイル）を、直接使用することもできる。コンピュータで読み取り可能なファイルのソースとしては、ＡＶＩＤ（商標）エディタ、ＤＰＸファイル、Ｄ５テープなどを挙げることができる。

スキャン済みのフィルム・プリントは、例えばコンピュータなどの後処理（ポスト・プロセッシング）装置１０２に入力される。コンピュータは、１つまたは複数の中央処理装置（ＣＰＵ）などのハードウェア、ランダム・アクセス・メモリ（ＲＡＭ）および／または読取専用メモリ（ＲＯＭ）などのメモリ１１０、ならびにキーボード、カーソル制御装置（例えばマウスやジョイスティックなど）および表示装置などの１つまたは複数の入出力（Ｉ／Ｏ）ユーザ・インタフェース１１２を有する、既知の様々なコンピュータ・プラットフォームのうちの任意のものに実装される。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも含む。本明細書で述べる様々なプロセスおよび機能は、オペレーティング・システムを介して実行されるマイクロ命令コードの一部またはソフトウェア・アプリケーション・プログラムの一部（あるいはそれらの組合せ）とすることができる。一実施形態では、ソフトウェア・アプリケーション・プログラムは、プログラム記憶装置に明確に実装され、後処理装置１０２などの任意の適切な機械にアップロードして実行することができる。さらに、パラレル・ポート、シリアル・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）など、様々なインタフェースおよびバス構造によって、その他の様々な周辺機器をコンピュータ・プラットフォームに接続することができる。その他の周辺機器としては、追加の記憶装置１２４およびプリンタ１２８が挙げられる。プリンタ１２８は、フィルム１２６の改訂版、例えば以下に述べる技術の結果として３Ｄモデル化されたオブジェクトを用いて１つまたは複数のシーンが変更または置換されたフィルムの立体版をプリントするために利用することができる。

あるいは、既にコンピュータで読み取り可能な形態になっているファイル／フィルム・プリント１０６（例えば外部ハード・ドライブ１２４に記憶することができるディジタル・シネマなど）を、コンピュータ１０２に直接入力することもできる。本明細書で使用する「フィルム」という用語は、なお、フィルム・プリントおよびディジタル・シネマの両方を指すことに留意されたい。

ソフトウェア・プログラムは、メモリ１１０に記憶された、３Ｄプレゼンテーションを見ている間に観客または視聴者が感じる潜在的眼精疲労を測定する眼精疲労測定および軽減モジュール１１４を含む。

眼精疲労測定および軽減モジュール１１４は、第１の画像中の少なくとも１つの点の、第２の画像中の少なくとも１つの対応する点に対するディスパリティを推定し（第１の画像と第２の画像とで立体画像対を生じる）、第１の画像中の上記の少なくとも１つの点それぞれについて、第２の画像中の上記の少なくとも１つの対応する点に対して推定されたディスパリティからディスパリティ・マップを生成するように構成されたディスパリティ推定器１１６を含む。ディスパリティ推定器１１８は、第１の画像中の画素と第２の画像中の画素とのマッチングを行うように構成された画素マッチング・コスト関数１３２と、ディスパリティ推定に平滑性の制約を加える平滑性コスト関数１３４とを含む。ディスパリティ推定器１１８は、推定されたディスパリティを最小化する確率伝播アルゴリズムまたは関数１３６と、確率伝播関数１３６の速度を上げるために決定性マッチング関数を第１の画像および第２の画像に適用した結果を用いて確率伝播関数１３６を初期化する動的プログラミング・アルゴリズムまたは関数１３８とをさらに含む。確率伝播および動的プログラミングは、ディスパリティを求めるための２つの例示的な方法に過ぎず、ディスパリティ推定器１１６は、その他のディスパリティ推定方法およびアルゴリズムを利用することもできることを理解されたい。

ディスパリティ遷移推定器１１８は、立体画像のディスパリティの遷移または変化を求めるために備えられている。眼精疲労推定器１２０は、ディスパリティ推定器１１８から得られるディスパリティ・マップと、ディスパリティ遷移推定器１２０から得られる関連する画像のディスパリティ遷移とに基づいて潜在的眼精疲労を推定するために備えられている。

眼精疲労測定および軽減モジュール１１４は、第１の画像と第２の画像との間のディスパリティを調節して潜在的眼精疲労を軽減するディスパリティ補正器１２２をさらに含む。ディスパリティ・マップのディスパリティ値を反転することによってディスパリティ・マップを奥行きマップに変換する奥行きマップ生成器１２３も備えられている。一実施形態では、奥行きマップ生成器１２３は、以下に述べるように、潜在的眼精疲労を軽減するためにディスパリティ補正器１２２と協働する。

図５は、本開示の一態様による少なくとも２つの２次元（２Ｄ）画像の潜在的眼精疲労を測定する例示的な方法を示す流れ図である。最初に、後処理装置１０２が、左目像および右目像を有する立体画像対などの、少なくとも２つの２次元（２Ｄ）画像を取得する（ステップ２０２）。後処理装置１０２は、これらの少なくとも２つの２Ｄ画像を、コンピュータで読み取り可能なフォーマットのディジタル・マスタ画像ファイルを得ることによって取得することもできる。ディジタル・カメラを用いて動画像の経時的なシーケンスを取り込むことによって、ディジタル・ビデオ・ファイルを取得することもできる。あるいは、従来のフィルム型カメラによってビデオ・シーケンスを取り込むこともできる。この場合には、スキャン装置１０３によってフィルムをスキャンする。

フィルムをスキャンする場合でも、既にディジタル・フォーマットになっている場合でも、フィルムのディジタル・ファイルは、例えばフレーム番号やフィルムの先頭からの時間など、フレームの位置に関する指標または情報を含むことになることを理解されたい。ディジタル画像ファイルの各フレームは、例えばＩ_１、Ｉ_２、…Ｉ_ｎなど、１つの画像を含むことになる。

立体画像は、同じ設定の２つのカメラで撮影することができる。これらのカメラを、同じ焦点距離、同じ焦点高さ、および平行な焦点面を有するように較正するか、あるいは、画像が平行な焦点面を有する２つのカメラで撮影したものであるかのように、既知のカメラ・パラメータに基づいて、それらの画像を歪ませなければならない。この歪ませるプロセスは、カメラの較正およびカメラの調整を含む。較正および調整プロセスでは、立体画像のエピポーラ線を、エピポーラ線が正確にそれらの画像の水平走査線になるように調節する。対応する点の発見はエピポーラ線に沿って行われるので、調整プロセスによって、対応サーチは走査線のみに沿ったサーチに簡略化され、これにより、計算コストが大幅に削減される。対応する点は、同じシーンの点に対応する画像中の画素である。

次に、ステップ２０４で、ディスパリティ推定器１１６によって、例えばフレームなどのシーン中のあらゆる点について、ディスパリティ・マップが推定される。全てのシーン点についてのディスパリティが、左目画像と右目画像中の一致する点の相対距離として計算され、すなわち、右目画像と左目画像の中で、同じシーン点に対応する画素が見つけられ。例えば、左目画像中のある点の水平座標がｘであり、右目画像中のそれに対応する点の水平座標がｘ’である場合には、ディスパリティｄ＝ｘ’−ｘとなる。

ディスパリティ推定の一実施形態では、最初に、画像の立体対が取得される。画素マッチング・コスト関数１３２の計算および平滑性コスト関数１３４の計算を含めて、ディスパリティ・コスト関数が計算される。動的プログラミング関数１３８などの、低コストのステレオ・マッチング最適化を実行して、２つの画像のステレオ・マッチングの初期決定性結果を得る。次いで、低コスト最適化の結果を使用して、確率伝播関数１３６を初期化して確率伝播関数の速度を上げ、ディスパリティ・コスト関数を最小化する。当技術分野ではその他のディスパリティ推定方法も既知であり、本開示のシステムおよび方法では、それらを利用してもよいことを理解されたい。

ステップ２０６で、ディスパリティ遷移が求められる。基本的には２種類のディスパリティ遷移が存在する。すなわち、急激である可能性もあるフィルム・セグメント（例えばシーンやショットなど）間のディスパリティ遷移と、大抵は連続的であるフィルム・セグメント（例えばシーンやショットなど）内のディスパリティ遷移である。

セグメント間のディスパリティ遷移は、通常は不連続であり、急激である。従って、このディスパリティ遷移を測定するためには、直前のセグメントの最後のフレームと現在のセグメントの最初のフレームとのディスパリティ・マップが最初に推定される。換言すれば、ｉ番目のセグメントの終端におけるディスパリティ・マップをＤ_ｉとし、（ｉ＋１）番目のセグメントの先頭におけるディスパリティ・マップをＤ_ｉ＋１とすれば、ディスパリティの差は、
δＤ＝Ｄ_ｉ＋１−Ｄ_ｉ （１）
となる。奥行きの変化の大きさを測定するためには、ディスパリティの差の絶対値が使用される。
｜δＤ｜＝｜Ｄ_ｉ＋１−Ｄ_ｉ｜ （２）
全体のディスパリティ変化を得るためには、以下の最大ディスパリティ遷移を使用するか、

あるいは、以下の平均ディスパリティ遷移を使用する。

ここで、ＷおよびＨは、ディスパリティ・マップの幅および高さである。

セグメント内のピクチャについては、ディスパリティ遷移は大抵は連続的であるが、短時間内に大きなディスパリティ遷移が起こると、観客の眼精疲労の一因になる。セグメント間のディスパリティ変化と同様に、ディスパリティの差、すなわちδＤ＝Ｄ_ｉ＋１−Ｄ_ｉを測定値として使用することができる。ただし、この測定は、セグメントの境界だけで行うのではなく、フレームごとに実行することになる。ここで、複数のフレームにまたがる画素の平均ディスパリティ値ではなく、１つのフレーム内の画素の平均ディスパリティ値が求められ、次いで、連続する各フレーム間の差が計算される。

眼精疲労は、大きなディスパリティおよび／またはディスパリティ変化によって引き起こされる。従って、ステップ２０８では、ディスパリティ・マップおよびディスパリティ遷移に基づいて眼精疲労が推定される。本開示のシステムおよび方法は、非常に粗い眼精疲労モデルを用いている。このシステムおよび方法では、全てのフレームで眼精疲労をディスパリティおよびディスパリティ変化と関係付ける関数が存在するものと仮定し、また、眼精疲労感はフレームをまたいで蓄積するが、時間とともに指数関数的に減衰すると仮定する。

最初に、ディスパリティによって引き起こされる眼精疲労を、平均のディスパリティ

およびディスパリティ遷移

と関係付ける「瞬間眼精疲労関数」

が存在するものと仮定する。次いで、ｉ番目のフレーム後にディスパリティがゼロに保持される場合には、眼精疲労測定値を、以下の数式で表されるように、減衰モデルとして表すことができる。

ここで、

は、眼精疲労に対するディスパリティの瞬間的な影響をモデル化する関数である。λは、減衰因子である。このモデルでは、画面上のディスパリティがなくなれば（すなわち収束点が焦点になれば）、眼精疲労は急速に解消されると仮定している。なお、セグメント間でディスパリティの急激な変化がある可能性もあるので、関数

は、セグメント内のフレームごとに、及びセグメント間で異なっていてもよく、これが、それらを上記で別々に扱った理由であることに留意されたい。関数

の簡単な例としては、以下に示すような、

と

との線形結合が挙げられる。

ここで、ａおよびｂは、重み付け係数であり、セグメント内のディスパリティ遷移ごとに、及びセグメント間で異なる。ａおよびｂの値は、経験的に決定することができる。

ディスパリティがフレームをまたいで変化し続けているときには、眼精疲労感は、時間とともに蓄積していくことになる。しかし、眼精疲労が永遠に悪化し続けることはないので、経時的な眼精疲労感のフラットアウト効果（ｆｌａｔ−ｏｕｔ ｅｆｆｅｃｔ）をモデル化するために関数を利用することができる。眼精疲労感の飽和をモデル化するシグモイド関数は、以下の通りである。
Ｓ（ＥＳ）＝１／（１＋ｅｘｐ（−ＥＳ）） （７）
この関数の形状を、図６に示す。

これらの要素を前提として、フレームｉにおける総合的な眼精疲労の測定は、以下のように再帰的に定義することができる。

ここで、ＥＳ_ｉ（ｔ_ｉ）はｉ番目のフレームにおける眼精疲労の測定結果であり、ｔ_ｉはｉ番目のフレームの時間であり、λは減衰速度を制御する定数である。この測定の計算は、経時的なシミュレーションによって行うことができる。

図７は、経時的な眼精疲労測定方程式を示す図である。ｉ−ｔ番目のフレームにおける眼精疲労が求められ、ｅｘｐ（−λ ｔ）の減衰因子が眼精疲労測定値に適用される。次いで、その結果が、ｉ番目のフレームの瞬間眼精疲労関数に結合される。結合した結果にシグモイド関数が適用されて、ｉ番目のフレームにおける眼精疲労が求められる。

図８を参照すると、瞬間眼精疲労関数および総合眼精疲労測定が示されている。例えばフレーム１、２などの各フレームにおける曲線は、当該フレームの瞬間眼精疲労関数であり、測定点をまたぐ曲線は、瞬間眼精疲労関数の累積である。図５を再び参照すると、ステップ２１０で、視聴者が感じる総合的な眼精疲労が許容可能であるかどうかを判定する。一実施形態では、眼精疲労が高すぎるか否かをグラフに従って判定するために、総合眼精疲労測定値を、例えば監督や編集者などのオペレータに対してグラフとして視覚化される。他の実施形態では、補正が必要かどうかを判定するために、総合眼精疲労測定値を所定のしきい値と比較することもできる。例えば、総合眼精疲労測定値を表す曲線が生成され、次いで、その曲線上の各点の値が所定のしきい値と比較される。この実施形態では、所定のしきい値は、シーンおよび映画の種々のタイプごとに異なることになる。

眼精疲労が高すぎると判定された場合には、ステップ２１２で、眼精疲労を軽減するために、立体画像上でディスパリティの補正またはグレーディング（ｇｒａｄｉｎｇ）が実行される。グレーディングは、フレーム間でディスパリティを平滑化するプロセスである。フレーム間でディスパリティを平滑化することにより、ディスパリティの急激な変化を緩和することができ、従って、眼精疲労を軽減することができる。ディスパリティを軽減する例示的な方法は、収束調節（ｃｏｎｖｅｒｇｅｎｃｅ ａｄｊｕｓｔｍｅｎｔ）と呼ばれ、これは、右目画像を左または右にシフトして収束点を調節することによって行われる。右目画像を左または右にシフトすることにより、画素のディスパリティが人工的に減少または増加し、全体の奥行きを減少または増大させることができる。

画像シフトの問題は、３Ｄシーンの幾何形状と無関係な同じ量だけ、全ての画素の奥行きを増大させることである。しかしながら、正確な奥行きマップを入手できれば、あるシーンの新たな像を新たな仮想カメラ位置と合成して、ディスパリティを軽減することができる。この実施形態では、奥行きマップ生成器１２３によって、数式ｚ＝Ｂｆ／ｄを用いて、上記で求めた各シーン点に関するディスパリティ値ｄが、当該シーン点からカメラまでの距離である奥行き値ｚに変換される。ここで、Ｂは、ベースラインとも呼ばれる２つのカメラの間の距離であり、ｆは、カメラの焦点距離である。例えば左目画像である、少なくとも１つの画像の各々の奥行き値は、奥行きマップに記憶されている。新たな像を合成するために奥行きマップの奥行き値が相応に変更される一方で、画像のディスパリティが低減する。例えば、新たな像を生成するためには、最初に、奥行き値が変更され、次いで、新たな左または右（あるいはその両方）の画像が再レンダリングされる。再レンダリング・プロセスでは、左（または右）の画像および奥行きマップを使用して、新たな右（または左）の画像を作成する。奥行き値は画素の３Ｄ情報であり、従って、レイ・トレーシング（ｒａｙ−ｔｒａｃｉｎｇ）などの、３Ｄ点を新たな像内の２Ｄ画素にレンダリングする技術を使用することができる。新たな像は、ディスパリティまたはディスパリティ遷移が小さくなっており、従って、視聴者または観客に与える眼精疲労を軽減する。

次に図４を参照すると、対応する画像および関連する奥行きマップは、例えば記憶装置１２４に記憶され、そこから取り出して３Ｄ再生することができる。さらに、動画またはビデオ・クリップの全ての補正済み画像を、関連する奥行きマップとともに、当該動画またはクリップの立体版を表す単一のディジタル・ファイル１３０内に記憶することができる。ディジタル・ファイル１３０は、後に取り出して、例えばオリジナル・フィルムの立体版をプリントするために、記憶装置１２４に記憶しておくこともできる。

本明細書では、本開示の教示を組み込んだ実施形態を図示し、詳細に説明したが、当業者なら、これらの教示を依然として組み込んでいる多数の他の様々な実施形態を容易に考案することができる。３Ｄプレゼンテーションを見ている間に感じる潜在的眼精疲労を測定するシステムおよび方法の好ましい実施形態について述べたが（これらは限定的なものではなく、例示を目的としたものである）、当業者なら、上記の教示に照らして様々な変更および改変を行うことができることに留意されたい。従って、添付の特許請求の範囲に概説する本開示の範囲内に含まれる様々な変更を、上記に開示した本開示の具体的な実施形態において行うことができることを理解されたい。

Claims (14)

1. ３次元（３Ｄ）プレゼンテーションを見ている間の潜在的眼精疲労を測定する方法であって、
   画像のシーケンスにおける第１の画像および第２の画像を取得するステップであって、各画像は左目像と右目像とを含んでいる、該ステップと、
   前記第１の画像及び第２の画像の前記左目像中の少なくとも１つの点の、前記第１の画像及び前記第２の画像の前記右目像中の少なくとも１つの対応する点に対するディスパリティを推定するステップと、
   第１および第２の画像の前記シーケンスのディスパリティ遷移を推定するステップと、
   前記ディスパリティと、前記第１および第２の画像の前記シーケンスの前記ディスパリティ遷移とに基づいて、前記３Ｄプレゼンテーションを見ている間の潜在的眼精疲労を求めるステップとを含む、前記方法。
2. 前記ディスパリティ遷移を推定する前記ステップが、
   以前のセグメントの最後のフレームのディスパリティを推定するステップと、
   第１のセグメントの最初のフレームのディスパリティを推定するステップと、
   前記以前のセグメントの前記最後のフレームの前記ディスパリティと前記第１のセグメントの前記最初のフレームの前記ディスパリティとの間の差を求めるステップと、をさらに含む、請求項１に記載の方法。
3. 前記ディスパリティ遷移を推定するステップが、
   第１のセグメントの複数のフレームの各フレーム内のディスパリティを推定するステップと、
   前記第１のセグメントの前記複数のフレームの各々の前記ディスパリティの間の差を求めるステップと、をさらに含む、請求項１に記載の方法。
4. 潜在的眼精疲労を求める前記ステップが、
   第１および第２の画像のシーケンスの各フレームに関する瞬間眼精疲労関数を求めるステップと、
   第１および第２の画像の前記シーケンスの各フレームに関する前記瞬間眼精疲労関数に減衰因子を適用するステップと、
   第１および第２の画像の前記シーケンスの各フレームに関する減衰済みの瞬間眼精疲労関数を所定の期間にわたって蓄積するステップと、
   前記蓄積した眼精疲労関数を第１および第２の画像の前記シーケンスにわたって飽和させるステップと、
   をさらに含む、請求項１に記載の方法。
5. 前記潜在的眼精疲労が許容可能であるかどうかを判定するステップと、
   前記潜在的眼精疲労が許容可能でない場合に、前記第１および第２の画像のディスパリティを補正するステップと、をさらに含む、請求項１に記載の方法。
6. 前記補正するステップが、前記第１および第２の画像の少なくとも１つをシフトして、前記第１および第２の画像に関連する視聴者の目の収束点を調節するステップをさらに含む、請求項５に記載の方法。
7. 前記補正するステップが、ディスパリティが低減された第１のセグメントの新たな像を合成するステップをさらに含む、請求項５に記載の方法。
8. ３次元（３Ｄ）プレゼンテーションを見ている間の潜在的眼精疲労を測定するシステムであって、
   画像のシーケンスにおける第１の画像および第２の画像を取得する手段であって、各画像は左目像と右目像とを含んでいる、該手段と、
   前記第１の画像及び第２の画像の前記左目像中の少なくとも１つの点の、前記第１の画像及び前記第２の画像の前記右目像中の少なくとも１つの対応する点に対するディスパリティを推定するディスパリティ推定器と、
   第１および第２の画像の前記シーケンスのディスパリティ遷移を推定するディスパリティ遷移推定器と、
   前記ディスパリティと、前記第１および第２の画像の前記シーケンスの前記ディスパリティ遷移とに基づいて、前記３Ｄプレゼンテーションを見ている間の潜在的眼精疲労を求める眼精疲労推定器とを備える、前記システム。
9. 前記ディスパリティ遷移推定器が、以前のセグメントの最後のフレームのディスパリティを推定し、第１のセグメントの最初のフレームのディスパリティを推定し、前記以前のセグメントの前記最後のフレームの前記ディスパリティと前記第１のセグメントの前記最初のフレームの前記ディスパリティとの間の差を求めるように動作する、請求項８に記載のシステム。
10. 前記ディスパリティ遷移推定器が、前記セグメントの複数のフレームの各フレーム内のディスパリティを推定し、第１のセグメントの前記複数のフレームのそれぞれの前記ディスパリティの間の差を求めるように動作する、請求項８に記載のシステム。
11. 前記眼精疲労推定器が、第１および第２の画像のシーケンスの各フレームに関する瞬間眼精疲労関数を求め、第１および第２の画像の前記シーケンスの各フレームに関する前記瞬間眼精疲労関数に減衰因子を適用し、第１および第２の画像の前記シーケンスの各フレームに関する減衰済みの瞬間眼精疲労関数を所定の期間にわたって蓄積し、かつ第１および第２の画像の前記シーケンスの各フレームに関する前記瞬間眼精疲労関数に減衰因子を適用するように動作する、請求項８に記載のシステム。
12. 前記眼精疲労推定器が前記潜在的眼精疲労が許容可能でないと判定した場合に、前記第１および第２の画像のディスパリティを補正するように動作するディスパリティ補正器をさらに備える、請求項８に記載のシステム。
13. 前記ディスパリティ補正器が、前記第１および第２の画像の少なくとも１つをシフトして、前記第１および第２の画像に関連する視聴者の目の収束点を調節するように動作する、請求項１２に記載のシステム。
14. 前記ディスパリティ補正器が、ディスパリティが低減された第１のセグメントの新たな像を合成するように動作する、請求項１２に記載のシステム。
    

Images