JP4827881B2 - 映像ファイル処理方法及び映像送受信再生システム - Google Patents

Description

この発明は、映像ファイル処理方法及び映像送受信再生システムに関する。

立体視技術としては、従来よりパララックスバリアを用いる眼鏡無し立体視方法、偏光眼鏡や液晶シャッタ眼鏡などを用いる眼鏡有り立体視方法などが知られている。また、立体視させる映像についても、実写の映像だけでなく、コンピュータグラフィックスを用い、仮想空間上に配置したオブジェクトを平面に投影して描画処理する３Ｄ描画による映像がある。更には、前記描画処理を二視点において行なうことで、右眼映像と左眼映像を作成することができる。また、２次元映像信号から抽出された奥行き情報と２次元映像信号とに基づいて立体映像を生成する立体映像受信装置及び立体映像システムが提案されている（特許文献１参照）。２次元映像と奥行き情報とからなる映像ファイルを作成すれば、このファイルを開いたときに、立体映像を生成することができる。また、二つの映像を１チャンネルの映像として放送し、受信機側で立体視が行なえる方法が提案されている（特許文献２参照）。二つの映像からなる映像ファイルを作成すれば、このファイルを開いたときに、立体映像を生成することができる。

特開２０００−７８６１１号公報 特開平１０−１７４０６４号公報 特開平０７−２９８３０７号公報 特開平２０００−１３４６４２号公報 特開平２００２−２５２８３３号公報

ところで、このような映像ファイルにおいて、これを開いたときに作成者の意図が反映されて映像表示されることが望まれる。

この発明は、上記の事情に鑑み、映像ファイルを開いたときに作成者の意図を反映した映像表示を行なうことができる映像ファイル処理方法及び映像送受信再生システムを提供することを目的とする。描画処理の処理負担を軽減できる映像処理方法を提供する。

この発明の映像ファイル処理方法は、上記の課題を解決するために、映像を立体視表示するための立体視情報を有する映像ファイルに基づいて映像を生成する映像ファイル処理方法であって、前記映像ファイルが開かれた際に立体視映像とするのか平面視映像とするのかを示す制御情報が当該映像ファイルに記録されているかどうかを検出し、検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とする。

上記の構成であれば、映像ファイルの作成者は、例えば、初期映像を平面視映像とし、視聴者の操作で立体視映像を表示させたい意図で映像ファイルを作成する場合には、ファイルが開かれた際に表示する映像を平面視映像とすることを示す制御情報をファイルに書き込んでおけばよく、このファイルを受け取った側の装置が上記映像ファイル処理方法を実行することで、ファイルが開かれた際の初期映像を平面視映像として表示することができる。

また、この発明の映像ファイル処理方法は、映像を立体視表示するための立体視情報を有する動画映像ファイルに基づいて映像を生成する映像ファイル処理方法であって、フレームごと又はシーンの切り替わりごとに立体視映像とするのか平面視映像とするのかを示す制御情報が前記動画映像ファイルに記録されているかどうかを検出し、検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とする。

上記の構成であれば、映像ファイルの作成者は、例えば、動きの激しい映像を平面視映像として表示させたい意図で映像ファイルを作成する場合には、動きの激しい映像のフレームごとやシーンの切り替わりごとに映像を平面視映像とすることを示す制御情報をファイルに書き込んでおけばよく、このファイルを受け取った側の装置が上記映像ファイル処理方法を実行することで、動きの激しい映像の箇所では映像を平面視映像として表示することができる。

また、この発明の映像送受信再生システムは、映像を立体視表示するための立体視情報を有する映像ファイルを送信する送信部と、前記映像ファイルを受信する受信部と、当該受信部が受信した前記映像ファイルを再生する再生部と、を有する映像送受信再生システムであって、前記送信部は、前記映像ファイルとして、当該映像ファイルが再生されるときに立体視映像とするのか平面視映像とするのかを示す制御情報が付加された映像ファイルを送信し、前記再生部は、前記制御情報が前記映像ファイルに記録されているかどうかを検出し、検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とすることを特徴とする。

また、この発明の映像送受信再生システムは、映像を立体視表示するための立体視情報を有する映像ファイルを送信する送信部と、前記映像ファイルを受信する受信部と、当該受信部が受信した前記映像ファイルを再生する再生部と、を有する映像送受信再生システムであって、前記送信部は、前記動画映像ファイルとして、フレームごと又はシーンの切り替わりごとに立体視映像とするのか平面視映像とするのかを示す制御情報が付加された動画映像ファイルを送信し、前記再生部は、前記制御情報が前記映像ファイルに記録されているかどうかを検出し、検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とする。

以上説明したように、この発明によれば、映像ファイルを開いたときに作成者の意図を反映した映像表示を行なうことができる。また、描画処理速度を向上できるという効果を奏する。

以下、この発明の映像ファイル処理方法を図１乃至図３に基づいて説明していく。

まず、図１に基づいてこの発明の実施形態の映像ファイル処理方法について説明していく。なお、この図においては、インターネット２上のサーバなどとして構成される送信側装置１と、ネット接続環境を備えたパーソナルコンピュータや携帯電話等の受信側装置３とからなるシステムとして説明する。

送信側装置１の図示しない記録媒体には、動画又は静止画の映像ファイル（例えば、２次元映像と奥行き情報、或いは、左眼用映像と右眼用映像から成る二眼立体視映像等）が存在している。この映像ファイルが、ＭＰＥＧのファイルであれば、それを示す識別子が付与され、また、モーションＪＰＥＧのファイルであれば、それを示す識別子が付与される。また、ＨＴＭＬファイルのなかの映像ファイルとすることもできる。

受信側装置３は、例えば画面手前位置に液晶バリアを備えることにより、平面視映像の表示及び立体視映像の表示の両方が行なえるようになっている。立体視映像が、例えば、右眼映像と左眼映像とを交互に縦ストライプ状に配置したものであれば、図示しない制御部（ＣＰＵ）の制御により、液晶バリアにおいて、縦ストライプ状の遮光領域が形成される。また、画面上の一部領域（ファイル再生のウィンドウ部分、或いは、ＨＴＭＬファイルのなかの一部映像部分）において立体視映像を表示することとなるのであれば、前記制御部により、前記ウィンドウや一部映像部分の表示座標及び大きさに基づいて前記縦ストライプ状の遮光領域の大きさ及び形成位置が制御される。また、受信側装置３は、ＭＰＥＧプレーヤソフトウェアやブラウザソフトウェア等を搭載しており、映像ファイルを開いて画面に映像を表示することができる。なお、右眼映像と左眼映像とを交互に縦ストライプ状に配置した立体視映像に限らず、例えば、右眼映像と左眼映像とを斜め配置した立体視映像としてもよく（特許第３０９６６１３号公報参照）、この場合には、液晶バリアにおいて斜めバリアを形成する。

受信側装置３は、映像ファイルに基づいて画面に映像を表示するとき、図２のフローチャートに示す処理を実行する。なお、このフローチャートでは動画映像ファイルに対する処理を示しているが、静止画ファイルでも同様の処理を行なえばよい。受信側装置３の制御部は、まず、映像ファイルに制御情報が存在しているかどうかを検出する（ステップＳ１）。ここで、制御情報には、下記に示す第１制御情報と第２制御情報と第３制御情報とがあるものとする。なお、制御情報は映像ファイルのヘッダ部などに格納しておけばよく、映像ファイルを受信した受信側装置３で当該ファイルを開くときに前記制御情報が認識できるのであれば、どのような付加の仕方でもよい。

第１制御情報：ファイルが開かれた際に表示する映像を立体視映像とするのか平面視映像とするのかを示す。
第２制御情報：フレームごと又はシーンの切り替わりごとに立体視映像とするのか平面視映像とするのかを示す。
第３制御情報：立体視映像又は平面視映像とする表示維持時間を示す。

映像ファイルに制御情報が存在しないときには（ステップＳ１でＮＯ）、通常のファイル再生処理を実行する（ステップＳ２３）。一方、映像ファイルに制御情報が存在しており（ステップＳ１でＹＥＳ）、この制御情報が、第１制御情報である場合、この第１制御情報に基づいて初期映像を立体視映像とするのか平面視映像とするのかを判断する（ステップＳ２）。立体視映像の場合には立体映像表示処理を実行し（ステップＳ３）、平面視映像の場合には平面映像表示処理を実行する（ステップＳ６）。そして、立体視映像の場合にはユーザによって平面指示がなされたかどうかを判断し（ステップＳ４）、平面視映像の場合にはユーザによって立体指示がなされたかどうかを判断する（ステップＳ７）。なお、例えばＭＰＥＧプレーヤの操作ボタンとして「立体」「平面」のボタンを設けておく場合には、ユーザはマウス操作等で前記ボタンを操作して平面指示や立体指示を行なうことができる。

ユーザによって平面指示がなされた場合には平面表示処理を行ない（ステップＳ６）、ユーザによって立体指示がなされた場合には立体表示処理を行なう（ステップＳ３）。通常、平面映像表示の状態から立体映像表示に切り替わる方が見る者の印象度は高くなる。ユーザによって平面指示がなされない場合や立体指示がなされない場合には全フレームの再生が終了したかどうかを判断する（ステップＳ５，ステップＳ８）。全フレームが終了していなければ、ステップＳ３又はステップＳ６に進む。一方、終了したならば、最終状態情報（平面表示であったか或いは立体表示であったか）を取得し（ステップＳ９）、ファイルに記録する（ステップＳ１０）。このように、最終状態情報をファイルに格納することで、映像ファイルの管理（次にファイルを開くときの設定）が行い易くなる。なお、映像表示時における状態情報を保持すれば、立体視映像としてファイルの再生映像表示を行なっているのか或いは平面視映像としてファイルの再生映像表示を行なっているのかの管理も行なえ、複数の画像を表示し、且つ平面と立体の表示が混在する場合、表示状態を管理するのに役立つ。同じウィンドウ内に複数の画像がある場合は特に便利である。状態情報をまとめて別ファイルで管理してもよいが、個々のファイルに格納しておくと、前述のように、ファイルを開く時に前回の最終状態を知ることができ、ファイルに元々与えられていた制御情報よりも状態情報を優先するといった処理が可能となる。

映像ファイルに制御情報が存在しており（ステップＳ１でＹＥＳ）、この制御情報が、第２制御情報である場合、この第２制御情報に基づいて立体視映像とするのか平面視映像とするのかを判断する（ステップＳ１１）。立体視映像の場合には立体映像表示処理を実行し（ステップＳ１２）、平面視映像の場合には平面映像表示処理を実行する（ステップＳ１３）。そして、全フレームの再生が終了したかどうかを判断する（ステップＳ１４）。全フレームが終了していなければ、ステップＳ１１に進む。第２制御情報は、前述したように、フレームごと又はシーンの切り替わりごとに立体視映像とするのか平面視映像とするのかを示す情報である。映像ファイルの作成者は、例えば、動きの激しい映像を平面視映像として表示させたい意図で映像ファイルを作成する場合には、動きの激しい映像のフレームごとやシーンの切り替わりごとに映像を平面視映像とすることを示す第２制御情報をファイルに書き込んでおけばよく、このファイルを受け取った受信装置３が上記処理を実行することで、動きの激しい映像の箇所では映像を平面視映像として表示することができる。なお、フレームごとに第２制御情報を付加する場合は、各フレームのヘッダなどに第２制御情報を付加しておければよい。また、シーンの切り替わりごとに第２制御情報を付加する場合は、シーン切り替わのフレームのヘッダなどに第２制御情報を付加しておけばよい。このような映像ファイルの作成においては、例えば、フレーム間の映像の近似度（類似度）を算出し、近似度が所定基準値（閾値）より上である場合にはシーン同一と判断し、近似度が所定基準値（閾値）より下である場合にはシーンが切り替わったと判断する方法などを採用できる。また、例えば、図示しない映像編集装置上で人が映像を見ながらシーンの切り替わりを検出して立体指示ボタン又は平面指示ボタンを操作し、この操作に基づいて映像編集装置が前記制御情報を付加することとしてもよい。

映像ファイルに制御情報が存在しており（ステップＳ１でＹＥＳ）、この制御情報が、第３制御情報である場合、この第３制御情報で示される時間に基づいた処理を実行すべくタイマーをスタートさせると共に（ステップＳ１５）、立体視映像とするのか平面視映像とするのかを判断する（ステップＳ１６）。立体視映像の場合には立体映像表示処理を実行し（ステップＳ１７）、平面視映像の場合には平面映像表示処理を実行する（ステップＳ２０）。そして、第３制御情報で示される時間が経過したかどうかを判断する（ステップＳ１８，Ｓ２１）。立体視映像の表示状態で指定時間となれば（ステップＳ１８でＹＥＳ）、平面視映像表示処理を実行し（ステップＳ２０）、平面視映像の表示状態で指定時間となれば（ステップＳ２１でＹＥＳ）、立体視映像表示処理を実行する（ステップＳ１７）。立体視映像の表示状態で全フレーム終了でなければ（ステップＳ１９でＮＯ）、ステップＳ１７に進み、平面視映像の表示状態で全フレーム終了でなければ（ステップＳ２２でＮＯ）、ステップＳ２０に進む。第３制御情報は、前述したように、立体視映像又は平面視映像とする表示維持時間を示す情報である。映像ファイルの作成者は、例えば、ファイルを開いた当初の３秒間だけ映像を平面視映像とし、その後は立体視映像を表示させたい意図で映像ファイルを作成する場合には、ファイルが開かれてから３秒間だけ映像を平面視映像とすることを示す第３制御情報をファイルに書き込んでおけばよく、このファイルを受け取った側の装置が上記映像ファイル処理方法を実行することで、ファイルが開かれた際の当初の３秒間だけ映像を平面視映像として表示することができる。また、所定時間間隔で平面視映像と立体視映像とを繰り返して表示させるといったことも可能となる。例えば、ネットショッピングのＨＴＭＬ画面上で商品の映像が所定時間間隔で平面視映像と立体視映像とを繰り返すと、閲覧者の目を引きやすい。なお、スクロール操作によって立体視映像させる商品の映像位置がシフトしていく場合には、当該商品の映像位置に対応して液晶バリアにおけるストライプ形成領域もシフトしていく。また、立体視映像と平面視映像の繰り返しに同期して、液晶バリアにおけるストライプ領域のＯＮ／ＯＦＦが実行される。

また、例えば、ＭＰＥＧプレーヤでの映像ファイル再生において、停止操作を行なうことで、任意のフレームの表示状態とさせることができる。この表示状態で操作ボタンとして「立体」のボタンが操作された場合、前記表示中のフレームに対して「立体」という制御情報を対応付けることができる。すなわち、そのフレームのヘッダに上記制御情報を記録する。ＭＰＥＧプレーヤは、「立体」という制御情報が付されたフレーム以降の映像表示では立体映像表示を行なう。このような処理により、ユーザ側で所望の部分を立体視することを設定した映像ファイルの作成（編集）が可能となる。

図３はコンピュータグラフィックス処理により、仮想座標空間上にオブジェクトＡ，Ｂ，Ｃが配置されている様子を示した説明図である。各オブジェクトはポリゴン画像の集合体である。この仮想空間を映像表示する場合には、視線方向Ｄ１から見た状態に対応させて平面に前記オブジェクトを投影させる描画処理を実行し、この描画処理により得た２次元画像を画面表示することになる。また、この仮想空間を立体視する場合には、更に、視線方向Ｄ２から見た状態に対応させて平面に前記オブジェクトを投影させる描画処理を実行し、この描画処理により得た２次元画像を右眼映像とし、前記視線方向Ｄ１に基づく２次元映像を左眼映像として、立体映像表示を行なえばよいことになる。例えば、ゲーム装置として構成されいている映像表示装置は、ゲーム操作部（ジョイスティック等）からの指令に基づいて表示すべき空間に配置されるべきオブジェクトを記憶部（ＣＤ−ＲＯＭやＲＯＭカセット等）から読み出し、描画処理部にて描画処理を実行し、映像信号生成部にて映像信号を生成することになる。

前記オブジェクトＡ，Ｂ，Ｃには、当該オブジェクトを立体視映像とするのか平面視映像とするのかを示す制御情報が対応付けられている。映像表示装置は記憶部から読み出したオブジェクトに付加されている制御情報に基づいて立体視映像とするのか平面視映像とするのかを判断する。ここで、オブジェクトＡ，Ｂには立体視映像とする制御情報が付加されており、オブジェクトＣには平面視映像とする制御情報が付加されているものとする。映像表示装置は、上記仮想空間を立体視させる場合、まず、視線方向Ｄ１から見た状態に対応させて２次元平面に前記オブジェクトＡ，Ｂ，Ｃを投影させる描画処理を実行する。そして、視線方向Ｄ２から見た状態に対応させて２次元平面に前記オブジェクトＡ，Ｂを投影させる描画処理を実行する。視線方向Ｄ２から見た映像におけるオブジェクトＣについては、視線方向Ｄ１の処理により得られたオブジェクトＣの画像を単に数画素分水平移動させたものを用いればよい。例えば、ゲームソフトの作成者側において、背景のような平面的に表示されても問題のないオブジェクトや遠くに位置して表示されることになるオブジェクトに対し、平面視映像とする制御情報を付加することになる。これにより、描画処理速度が向上する。

映像表示装置は記憶部から読み出したオブジェクトに制御情報が付加されていない場合でも、オブジェクトのＺ値情報（奥行き情報）を取得し、Ｚ値情報が所定の閾値（Ｚ値）よりも奥側か手前側かによって、当該オブジェクトを立体視映像とするのか平面視映像とするのかを決定することができる。すなわち、映像表示装置は、上記仮想空間を立体視させる場合、まず、視線方向Ｄ１から見た状態に対応させて２次元平面に前記オブジェクトＡ，Ｂ，Ｃを投影させる描画処理を実行する。そして、視線方向Ｄ２から見た状態に対応させて２次元平面に前記オブジェクトＡ，ＢＣを投影させるときには、各々のＺ値情報に基づき、Ｚ値情報が所定の閾値よりも手前側であるオブジェクトついてだけ描画処理を実行する。視線方向Ｄ２の描画処理で処理対象外とされたオブジェクトについては、視線方向Ｄ１の処理により得られたオブジェクトの画像を単に数画素分水平移動させたものを用いればよい。また、上記処理において、各オブジェクトに対し、各オブジェクトが立体視映像として処理されているか或いは平面視映像として処理されているのかを示す状態情報を保持するようにしてもよい。画面手前位置から画面奥方向に飛行していくようなオブジェクトについては、途中までは立体視映像として処理され、それ以降は平面視映像として処理されることになり、状態情報は変化する。

なお、上記描画処理において、視線方向Ｄ１からの描画でオブジェクトＣが他のオブジェクトによって全部又は一部隠れることになり、視線方向Ｄ２からの描画では前記隠れる部分が描かれるべきものとなる場合がある。そこで、以下の処理を行なうようにしてもよい。

他の描画処理（その１）
（１）平面視映像又はＺ値情報が所定の閾値よりも奥側の映像（以下、平面視映像等という）となるオブジェクトだけをまず描画する。この描画によって当該オブジェクトの全体描画データが得られる（隠れている部分が無い）。この描画の視線方向はＤ１でもよいし、Ｄ２でもよい。また、Ｄ１とＤ２の真ん中に視線方向を設定してもよい。
（２）平面視映像等以外となるオブジェクトについて、視線方向Ｄ１及び視線方向Ｄ２の描画処理を行ない、二つの映像を得る。
（３）各映像に前記平面視映像等となるオブジェクトの描画データを合成する。この描画データは平面視映像等以外となるオブジェクトの後ろに配置される。また、二つの映像において、平面視映像等となるオブジェクトの配置位置はずれたものとなる。すなわち、水平ずらしで視差を付けたものとなる。

他の描画処理（その２）
（１）平面視映像等となるオブジェクトだけをまず描画する（上記と同様）。
（２）この描画結果を平らな背景画像として配置し、その前に平面視映像等以外となるオブジェクトを配置する。
（３）この状態で視線方向Ｄ１及び視線方向Ｄ２の描画処理を行なう。

いずれの描画処理においても、平面視映像等以外となるオブジェクトについては視点位置が異なる二つの方向からの描画処理を実行し、平面視映像等となるオブジェクトについては一つの方向からの描画処理を実行する。

図４は「ずらし量」の算出例を示した説明図である。平面視映像等のオブジェクトの代表的な距離をＬとし、視線方向Ｄ１の画角が望む範囲（全体映像の水平画素数）をＷとし、視線方向Ｄ１と視線方向Ｄ２の光軸間距離をＰとして表している。平面視映像等のオブジェクトの描画画像の水平画素数をＮとすると、ずらしの比率はＰ／Ｗとなり、ずらし量（画素数）は、Ｎ×Ｐ／Ｗとなる。

この発明の実施形態の映像ファイル処理方法が利用されるシステムを示した説明図である。 この発明の実施形態の映像ファイル処理方法を示すフローチャートである。 仮想空間上のオブジェクトを示した説明図である。 ずらし量の算出例を示した説明図である。

符号の説明

１送信側装置
２インターネット
３受信側装置

Claims (4)

1. 映像を立体視表示するための立体視情報を有する映像ファイルに基づいて映像を生成する映像ファイル処理方法であって、
   前記映像ファイルに予め付加されている、前記映像ファイルが開かれた際に立体視映像とするのか平面視映像とするのかを示す制御情報が当該映像ファイルに記録されているかどうかを検出し、
   検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とする映像ファイル処理方法。
2. 請求項１記載の映像ファイル処理方法において、
   フレームごと又はシーンの切り替わりごとに立体視映像とするのか平面視映像とするのかを示す制御情報が前記動画映像ファイルに記録されているかどうかを検出し、
   検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とする映像ファイル処理方法。
3. 映像を立体視表示するための立体視情報を有する映像ファイルを送信する送信部と、前記映像ファイルを受信する受信部と、当該受信部が受信した前記映像ファイルを再生する再生部と、を有する映像送受信再生システムであって、
   前記送信部は、前記映像ファイルとして、当該映像ファイルが再生されるときに立体視映像とするのか平面視映像とするのかを示す制御情報が付加された映像ファイルを送信し、
   前記再生部は、
   前記制御情報が前記映像ファイルに記録されているかどうかを検出し、
   検出された制御情報が平面視映像とすることを示している場合には平面視映像を生成することを特徴とする映像送受信再生システム。
4. 請求項３記載の映像送受信再生システムで利用可能な再生装置であって、
   前記制御情報が前記映像ファイルに記録されているかどうかを検出し、検出された制御情報が平面視映像とすることを示している場合には平面視映像を表示する再生部を有することを特徴とする再生装置。

Images