JP4188968B2

JP4188968B2 - 立体視用映像提供方法及び立体映像表示装置

Info

Publication number: JP4188968B2
Application number: JP2005504792A
Authority: JP
Inventors: 賢史竹本; 五郎濱岸; 敏男野村
Original assignee: Sharp Corp; Sanyo Electric Co Ltd
Current assignee: Sharp Corp; Sanyo Electric Co Ltd
Priority date: 2003-01-20
Filing date: 2004-01-19
Publication date: 2008-12-03
Anticipated expiration: 2024-01-19
Also published as: EP1587329B1; KR20050092122A; EP1587329A4; CN1739303A; CN100551083C; US20060050383A1; WO2004071102A1; EP1587329A1; KR100905371B1; JPWO2004071102A1; US7403201B2

Description

この発明は、立体視用映像提供方法及び立体映像表示装置に関する。

従来技術としては、２次元映像信号から抽出した奥行き情報と２次元映像信号とに基づいて立体映像を生成する立体映像受信装置及び立体映像システムが提案されている（特開２０００−７８６１１号公報参照）。
上記従来技術によれば、前記奥行き情報によって実写の２次元映像等から視差情報を持たせた立体視用映像を生成することができる。しかしながら、上記従来技術では、多様な立体映像表示を可能にしたり、送信する情報量を少なくすることについては実現されていない。

この発明は、上記の事情に鑑み、多様な立体映像表示を可能にしたり、送信する情報量を少なくすることができる立体視用映像提供方法及び立体映像表示装置を提供することを目的とする。
この発明の立体視用映像提供方法は、上記の課題を解決するために、２次元映像をデータとして提供する際に前記２次元映像のデータを立体視用映像に変換するのに役立つ奥行き情報とこの奥行き情報のスケール情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
上記の構成であれば、スケール情報が前記２次元映像の付属情報として当該２次元映像のデータと共に提供されるので、広狭様々な奥行きを持つ立体視用映像を被提供側において作成させることが可能となる。
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に前記２次元映像のデータを立体視用映像に変換するのに役立つ奥行き情報とこの奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせるための定義情報を付属情報として当該２次元映像のデータと共に提供することを特徴とする。
上記の構成であれば、奥行き上の任意の位置に所望の分解能を設定するといったことが可能となり、多様な立体映像表示を可能にできる。前記定義情報は、関数群から任意の関数を指定する情報としてもよい。そして、前記奥行き情報の値のなかでどの値が画像表示面位置となるかを示す情報を前記付属情報に含ませることとしてもよい。或いは、前記定義情報は、奥行き情報の値に対して視差量が予め設定されているテーブル群から任意のテーブルを指定する情報としてもよい。また、前記非等間隔の大間隔となる領域を観察者から遠い位置に形成し、小間隔となる領域を観察者に近い位置に形成するように前記定義情報を設定してもよい。また、前記非等間隔の大間隔となる領域を画像表示面位置から遠い位置に形成し、小間隔となる領域を画像表示面位置に近い位置に形成するように前記定義情報を設定してもよい。
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像の画面領域によって異なるビット数で表された奥行き情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
上記の構成であれば、２次元映像の画面全体に渡って一律のビット数を設定する場合に比べ、提供する奥行き情報量を削減しつつ被提供側での良質な立体視用映像の生成を可能にすることができる。前記２次元映像の中央側に比べて周辺側では前記奥行き情報のビット数を少なくすることとしてもよい。また、画面のどの領域では何ビットで奥行き情報が表されているかを示す情報を付属情報として当該２次元映像のデータと共に提供することとしてもよい。また、各画素ごとに何ビットで奥行き情報が表されているかを示す情報を付属情報として当該２次元映像のデータと共に提供することとしてもよい。
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像の複数画素につき共通の値の奥行き情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
上記の構成であれば、２次元映像の全画素について個々の奥行き情報を設定する場合に比べ、提供する奥行き情報量を削減しつつ被提供側での良質な立体視用映像の生成を可能にすることができる。前記２次元映像の中央側に比べて周辺側では前記共通の値の奥行き情報が与えられる画素数を多くしてもよい。
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像中の各オブジェクトについて与えられた第１の奥行き情報と各オブジェクトを構成する画素について与えられた第２の奥行き情報とを前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
上記の構成であれば、２次元映像中の各オブジェクトについての奥行きを第１の奥行き情報にて与え、各オブジェクトを構成する画素の奥行きを第２の奥行き情報にて与えることができるので、２次元映像の全画素について個々の奥行き情報を設定する場合に比べ、提供する奥行き情報量を削減しつつ被提供側での良質な立体視用映像の生成を可能にすることができる。
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像中の各オブジェクトについて与えられた奥行き情報と各オブジェクトの形状情報とを前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
上記の構成であれば、２次元映像中の各オブジェクトについての奥行きを奥行き情報にて与え、更にその形状情報を与えることで被提供側で保有する形状ごとの奥行き値テーブルを利用して各オブジェクトを構成する画素の奥行きが得られることになり、２次元映像の全画素について個々の奥行き情報を設定する場合に比べ、提供する奥行き情報量を削減しつつ被提供側での良質な立体視用映像の生成を可能にすることができる。
これらの立体視用映像提供方法において、情報の提供を、放送、通信、記録媒体への記録のいずれかにより行なうこととしてもよい。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報からスケール情報及び奥行き情報を取得する手段と、前記スケール情報と前記奥行き情報とによって視差量を生成する手段と、前記視差量に基づいて立体視用映像を生成する手段と、を備えたことを特徴とする。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から奥行き情報及び関数指定情報を取得する手段と、前記奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせる複数の関数を記憶する手段と、前記関数指定情報に基づいて関数を選択する手段と、選択した関数と前記奥行き情報とによって視差量を生成する手段と、前記視差量に基づいて立体視用映像を生成する手段と、を備えたことを特徴とする。
上記構成において、画像表示面位置を示す情報にて基準視差量を与える奥行き値を判定するように構成されていてもよい。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から奥行き情報及びテーブル指定情報を取得する手段と、前記奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせる複数のテーブルを記憶する手段と、前記テーブル指定情報に基づいてテーブルを選択する手段と、選択したテーブルと前記奥行き情報とによって視差量を生成する手段と、前記視差量に基づいて立体視用映像を生成する手段と、を備えたことを特徴とする。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から前記２次元映像の画面領域によって異なるビット数で表された奥行き情報を取得した場合に、前記２次元映像の画面領域で異なるビット数で表された奥行き情報を画面領域の各画素に適用して立体視用映像を生成する手段を備えたことを特徴とする。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から前記２次元映像の画素数よりも少ない数の奥行き情報を取得した場合に、前記２次元映像の複数画素につき共通の値の前記奥行き情報を適用して立体視用映像を生成する手段を備えたことを特徴とする。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から前記２次元映像中の各オブジェクトについて与えられた第１の奥行き情報と各オブジェクトを構成する画素について与えられた第２の奥行き情報とを取得する手段と、前記第１の奥行き情報に前記第２の奥行き情報を加味して各画素の奥行き情報を生成する手段と、前記各画素の奥行き情報に基づいて立体視用映像を生成する手段と、を備えたことを特徴とする。
また、この発明の立体映像表示装置は、取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から前記２次元映像中の各オブジェクトについて与えられた奥行き情報と各オブジェクトの形状情報とを取得する手段と、各形状を構成する画素群の各画素に奥行き情報を対応付けたテーブルを記憶する手段と、前記形状情報に基づいて前記テーブルを選択する手段と、前記各オブジェクトについて与えられた奥行き情報に前記テーブルから得られた奥行き情報を加味して各画素の奥行き情報を生成する手段と、前記各画素の奥行き情報に基づいて立体視用映像を生成する手段と、を備えたことを特徴とする。

図１（ａ）（ｂ）（ｃ）はこの発明の実施形態の立体視用映像提供方法及び立体映像表示装置を示した説明図である。図２は２次元映像及びこれに付随するデプスマップを示した説明図である。図３（ａ）（ｂ）は分解能と表現範囲の関係を示した説明図である。図４（ａ）（ｂ）は奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせることを示した説明図である。図５（ａ）（ｂ）は奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせることを示した説明図である。図６（ａ）（ｂ）は奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせることを示した説明図である。図７は奥行き情報を映像の周辺側では３ビットとし、中央の５０％×５０％の領域は６ビットとすることを示した説明図である。図８は奥行き情報を映像上の位置で異ならせる他の例を示した説明図である。図９（ａ）は２次元映像の複数画素につき共通の値の奥行き情報を与えることを示した説明図であり、同図（ｂ）は当該奥行き情報の送信形態を示した説明図である。
図１０（ａ）（ｂ）（ｃ）（ｄ）は奥行き情報の与え方の他の例を示した説明図である。図１１は図１０における具体例を示した説明図である。図１２は図１０における他の具体例を示した説明図である。

以下、この発明の立体視用映像提供方法及び立体映像表示装置を図１乃至図１２に基づいて説明していく。
図１に基づいて２次元映像とデプスマップ（奥行き情報）とによる立体映像の生成について説明していく。なお、この図においては、放送局やインターネット上のサーバなどとして構成される送信側装置１と、放送受信装置やネット接続環境を備えたパーソナルコンピュータや携帯電話などの受信側装置２とからなるシステムとして説明する。
同図（ａ）は原画像である２次元映像１００を示している。送信側装置１では２次元映像１００に対して画像分析を行い、同図（ｂ）に示すように、背景映像１０１、山の映像１０２、木の映像１０３、人の映像１０４を抽出する。これら抽出された映像がオブジェクト（例えば、エッジ情報）として扱われる。また、画素単位で奥行き値を与え、デプスマップを生成する。なお、オブジェクト単位で奥行き値を与えることもできる。奥行き値は自動的（推定的）に与えるようにしてもよいし、手作業的に与えることとしてもよい。
このように、送信側装置１では、映像を提供（送信，放送）する際に、デプスマップを前記映像の付属情報として送信する。更に、この実施形態では、その他の付属情報も送信する。その他の付属情報については後で詳述する。ディジタル放送の場合、映像データと各種の付属情報を一つのトランスポートストリームに多重して放送することができる。コンピュータネットワークを用いた配信においても、映像データと各種の付属情報とを多重して送信することができる。
ところで、２次元映像とデプスマップとによって立体視用の映像を生成する場合、デプスマップを一種の２次元映像と考えることができるので、図２に示すように、２次元映像とデプスマップの２枚の映像を提供すればよい。従って、２眼式立体視においてＬ画像とＲ画像の２枚を提供するのと同様の考え方を適用することができる。ただし、２眼式立体視用の映像や多視点用の映像では各視点映像間でフォーマットが異なることがないのに対し、２次元映像とデプスマップとによって立体視用の映像を作成する場合、デプスマップはモノクロ画像でよく各画素に数ビットを割り当てた画像とすることができる。従って、デプスマップの１画素（２次元映像の各画素に対応する奥行き情報）を何ビットで表現するかを予め規定しておくか、或いは、送信側装置１から１画素のビット数を示す情報を受信装置２に提供することになる。また、デプスマップをモノクロ画像として表現する場合、より白ければ近距離相当値を表すのか、より黒ければ近距離相当値を表すのかを区別することとなるが、これについても予め規定しておいてもよいし、送信側からそのことを示す情報を送信することとしてもよい。
［他の付属情報］
▲１▼送信側装置１は、２次元映像をデータとして提供する際に前記デプスマップとこのデプスマップの値のスケール情報を前記２次元映像の付属情報として当該２次元映像のデータと共に送信する。デプスマップの１画素当りのビット数が決まったとして、さらに分解能と絶対的な距離相当値との関係を表すのが望ましい。図３は１画素の奥行き値を３ビットで表す場合を例示したものである（実際には３ビットということはありえないだろうが説明の便宜上、３ビットとしている）。１画素当り３ビットを割り当てる場合、８レベルのデプスを表現できることになるが、１つの刻みが絶対的な距離のどれだけに相当するかを示すためにスケール情報を送信することとする。図３（ａ）では、分解能を１００ｍｍとしており、０から８００ｍｍの広い範囲をカバーすることができる。また、図３（ｂ）では、分解能を１０ｍｍとしており、０から８０ｍｍの狭い範囲をカバーすることができる。従って、スケール情報を送信することにより、広狭様々な奥行きを持つ立体視用映像を受信側装置２において作成させることが可能となる。
▲２▼送信側装置１は、２次元映像をデータとして提供する際に前記デプスマップとこのデプスマップの値により示される距離相当値を当該デプスマップの値の等差に対して非等間隔とさせるための定義情報を付属情報として当該２次元映像のデータと共に送信する。前述の図３では等間隔に奥行き（デプス）を表現する場合を示したが、必ずしも等間隔である必要はない。奥行きの分解能については、例えば手前は細かい方がよいが遠くは粗くてもよいと考ることもできるため、１画素当りのビット数が限られている場合、非等間隔で表現した方が効率がよいというケースも考えられる。図４（ａ）では手前側の分解能を細かくするｌｏｇ型表現を示している。図５を用いて更に詳述する。図５では、Ｍを最大デプス値（ここでは７（１１１））とし、デプス値Ａを１からＭの正数とし、Ｂ＝（Ｍ−Ａ）／２とし、デプス値ＡとＡ−１との間の視差間隔を２のＢ乗とすることを定義している。そして、図５（ａ）では管面位置を（０１０）とし、図５（ｂ）では管面位置を（１００）としている。このような関数を用いる場合、管面位置に関係なく手前側（観察者側）の分解能が細かくなる。
一方、図４（ｂ）に示す例では、管面（画像表示面位置）に近いほどデプスの分解能を細かくし、管面から離れるに従ってデプスの分解能を粗くしている。図６を用いて更に詳述する。図６では、最大視差（正）と最小視差（負）の差を２２とし、視差間隔が”１，１，２，２，４，４，８，８”の数値の列を順に用いることが規定されることとする。そして、図６（ａ）では管面位置を０１０とし、図６（ｂ）では管面位置を０１１としている。このようにすることで、管面位置付近における奥行きを細かく設定できることになる。
上述のような非等間隔表現とする場合、一つの非等間隔表現を固定的に送受信間で決めておく手法を採用できるが、幾つもの非等間隔表現を送信側で自在に指定できることとするのがよい。例えば、２ビットの指定情報を送信するとし、受信側では４つの関数（前述した数値列の規定を含む）を用意しておくことで、４種類の非等間隔表現を実現できることになる。また、管面位置についても、一つの管面位置を固定的に送受信間で決めておく手法（例えば、０１０を固定的に管面位置とする等）を採用できるが、任意の管面位置を送信側で指定できることとするのがよい。この場合、０１０を管面位置とするのであれば、管面位置情報として０１０を送信すればよい。
上述したような関数による非等間隔表現に限らず、テーブルを受信側が持つこととしてもよい。勿論、このようなテーブルを受信側で複数用意しておき、送信側から送られてくるテーブル指定情報によってテーブルを選択することとてもよい。
▲３▼送信側装置１は、２次元映像をデータとして提供する際に、前記２次元映像の画面領域によって異なるビット数で表されたデプスマップを前記２次元映像の付属情報として当該２次元映像のデータと共に送信することもできる。この場合においては、２次元映像の中央側に比べて周辺側では前記奥行き情報のビット数を少なくするのがよい。例えば、図７に示すように、周辺は３ビットとし、中央の５０％×５０％の領域は６ビットとする。一つの領域分割パターンを固定的に送受信間で決めておく手法を採用できるが、複数の領域分割パターンを用意しておき、任意のパターンを送信側で指定できることとしてもよい。或いは、各画素の最初に何ビットの情報であるかを記述することとしてもよい。例えば、０を３ビット、１を６ビットと定義すれば、画像情報は、画素１（００００），画素２（００００），画素３（１００００００）…のように記述できる。
なお、上記の領域分割例では２分割としたが、これに限らず、図８に示しているように、３ビット領域、４ビット領域、及び６ビット領域の３領域に分割してもよく、また、映像内容（オブジェクト配置状態）やシーンに応じて（時間軸上において）分割領域パターンを異ならせていくこととしてもよい。また、図８に示すような人物画像の場合、人物の顔・胴などの構造は一意的に定義可能であるため、それに対応したデプスマップテーブルを用意しておき、撮像対象が人物であるときにはそれに対応したデプスマップテーブルを選択（オペレータによる選択或いは、撮像対象を自動判定することによる選択）することで、図８の分割領域パターンが自動選択される構成とすることができる。
▲４▼送信側装置１は、２次元映像をデータとして提供する際に、前記２次元映像の複数画素につき共通の値のデプスマップを前記２次元映像の付属情報として当該２次元映像のデータと共に送信する。デプスマップの解像度を２次元映像と等しくすることを基本としてもよいが、これに限らず、異なるようにすることも可能である。例えば、２次元映像の２×２画素に対してデプスマップの１画素を割り当てる（デプスマップの解像度は２Ｄ画像の１／４となる）。また、２次元映像の中央側に比べて周辺側では前記共通の値の奥行き情報が与えられる画素数を多くすることとしてもよい。例えば、図９（ａ）に示すように、周辺は３×３ピクセルで共通の奥行き情報を与え、中央の５０％×５０％の領域は２×２ピクセルで共通の奥行き情報を与える。一つの領域分割パターンを固定的に送受信間で決めておく手法を採用できるが、複数の領域分割パターンを用意しておき、任意のパターンを送信側で指定できることとしてもよい。デプスマップ（モノクロ画像）の送信においては、図９（ｂ）に示すように、４領域に分割し（領域Ｖは前記中央の５０％×５０％の領域に相当する）、各領域単位で順に送信することとする。
▲５▼送信側装置１は、２次元映像をデータとして提供する際に、前記２次元映像中の各オブジェクトについて与えられた第１のデプスマップと各オブジェクトを構成する画素について与えられた第２のデプスマップとを前記２次元映像の付属情報として当該２次元映像のデータと共に送信する。すなわち、一旦大きくデプスマップでオブジェクトを表現し、各々のオブジェクト毎に更にデプスマップ情報を細分化して割り当てる。図１０はかかる方法の概念を示した説明図である。図１０（ａ）に示す撮像状態を上側から見たときの被写体（オブジェクト）の奥行き状態を同図（ｂ）に示している。この同図（ｂ）の奥行き状態は映像として存在しているわけではなく、撮影時や編集時などにおいて情報として与えることを示している。すなわち、同図（ｃ）に示すように、奥行き状態を大まかなレイヤに分割し、そのレイヤ上に位置する各オブジェクトに対してレイヤ情報（第１のデプスマップ）を与える。そして、個々のオブジェクトの画素に対して第２のデプスマップ情報を割り当てる。図１１は映像送信の具体例を示している。この図１１の画像番号１は原画像として送信されるものであり、これに画像番号２の映像（第１のデプスマップ）が付随する。更に、個々のオブジェクトの第２のデプスマップ情報である映像（画像番号３，画像番号４，画像番号５）が付随する。すなわち、画像番号１から画像番号５の映像が送信側から送信され、受信側ではこれらの５つの映像を用いて一つの映像を合成する。また、この例では、各オブジェクトの第２のデプスマップ情報を同じビット数とするのではなく、人は８ビット、木は４ビットのごとく異ならせることとしている。
▲６▼送信側装置１は、２次元映像をデータとして提供する際に、前記２次元映像中の各オブジェクトについて与えられたデプスマップと各オブジェクトの形状情報とを前記２次元映像の付属情報として当該２次元映像のデータと共に送信する。図１２はかかる映像送信の具体例を示している。この図１２の画像番号１は原画像として送信されるものであり、これに画像番号２のモノクロ映像（デプスマップ）が付随する。更に、個々のオブジェクトの構成要素の形状情報等が付随する。この形状情報等は、例えば、オブジェクト番号（例えば、人、木のどれであるかを示す情報）、構成要素番号（例えば、人の頭部、胴体、脚等の構成要素を示す情報）、形状情報（前記構成要素が球であるか、円柱であるか、円錐であるか等を示す情報）、構成要素間の配置情報（例えば、木において三角錐球の下に円柱が位置するといった情報）などから成る。形状を特定できない山については、モノクロ映像（デプスマップ）として送信する。受信側ではこれらの情報を用いて一つの映像を合成する。
［受信側装置］
図１（ｃ）に示したように、受信側装置２は、映像データ、デプスマップ、他の付属情報を受信する。これらデータがマルチプレクスされているのであればデマルチプレクス（ＤＥＭＵＸ）処理を行なう。映像データに対するデコード処理は、基本的には例えばＭＰＥＧに基づいた処理などが採用される。そして、受信側装置２では、映像データ及びデプスマップ等に基づいて視差を与えた右眼映像１０５Ｒ及び左眼映像１０５Ｌを生成する。従って、受信側装置２には、データを受信するための受信部２１（モデム、チューナ等）、デマルチプレクサ２２（ＤＥＭＵＸ）、デコード部２３、２次元映像のデータ及びデプスマップ等に基づいて視差映像を生成する映像生成部２４、モニタ２５などが備えられる。
受信側装置２は、例えばモニタ手前位置に液晶バリアを備えることにより、平面視映像の表示及び立体視映像の表示の両方が行なえるようになっている。立体視映像が、例えば、右眼映像と左眼映像とを交互に縦ストライプ状に配置したものであれば、ＣＰＵ２６の制御により、液晶バリアにおいて、縦ストライプ状の遮光領域が形成される。なお、右眼映像と左眼映像とを交互に縦ストライプ状に配置した立体視映像に限らず、例えば、右眼映像と左眼映像とを斜め配置配置した立体視映像としてもよく（特許第３０９６６１３号公報参照）、この場合には、液晶バリアにおいて斜めバリアを形成する。
受信側装置２のＣＰＵ２６は、前述した他の付属情報をデマルチプレクサ２２から受け取り、当該付属情報に基づいた映像表示制御処理を実行する。以下、この映像表示制御処理について説明する。
受信側装置２のＣＰＵ２６は、付属情報としてスケール情報を取得すると、このスケール情報とデプスマップとによって視差量（画素ずらし量）を決定する。すなわち、或る画素についてＡという値のデプス値が設定されていたとしても、スケール情報がＢである場合とＣである場合とでは（Ｂ≠Ｃ）、視差映像における画素ずらし量が異なってくることになる。ＣＰＵ２６は視差量情報を映像生成部２４に与え、映像生成部２４が視差量情報に基づいて視差映像を生成する。
受信側装置２のＣＰＵ２６は、付属情報として関数指定情報を取得すると、この関数指定情報に基づいて関数を選択する。メモリ２７にはデプスマップの値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせる複数の関数（定義）が記憶されている。ＣＰＵ２６は、選択した関数と受信したデプス値とに基づいて視差量（画素ずらし量）を算出する。ここで、図５（ａ）を用いて具体的に説明する。受信側装置２は、Ｂ＝（Ｍ−Ａ）／２の演算及び２のＢ乗の演算によって、デプス値ＡとＡ−１との間の視差間隔を得る。なお、視差間隔自体はデプス値を表すビット数によって決定できるため、視差間隔自体はビット数に対応付けて前記メモリ２７に格納しておいて、これを読み出すこととしてもよい。管面位置は０１０のデプス値とされている箇所である。受信したデプス値が１０１であるときには、１０１は０１０より三刻み分大きいので、４＋２＋２の演算によって視差量８を得ることになる。ＣＰＵ２６は視差量情報を映像生成部２４に与え、映像生成部２４が視差量情報に基づいて視差映像を生成する。
受信側装置２のＣＰＵ２６は、付属情報としてテーブル指定情報を取得すると、このテーブル指定情報に基づいてテーブルを選択する。メモリ２７にはデプス値と視差量とを対応付けた複数のテーブルが記憶されている。テーブルの内容は前記図５（ａ）を例にすると、０００＝−１２、００１＝−４、０１０＝０、…のごとく定めたテーブルとなる。ＣＰＵ２６は例えば受信したデプス値をアドレスとして前記テーブルに与えて当該テーブルから視差量情報を読み出し、この視差量情報を映像生成部２４に与え、映像生成部２４が視差量情報に基づいて視差映像を生成する。
受信側装置２は、図５（ａ）（ｂ）に示した設定に従うときには、非等間隔の大間隔となる領域を観察者から遠い位置に形成し、小間隔となる領域を観察者に近い位置に形成することに相当した視差映像を生成することになる。また、受信側装置２は、図５（ａ）（ｂ）に示した設定に従うときには、非等間隔の大間隔となる領域を画像表示面位置から遠い位置に形成し、小間隔となる領域を画像表示面位置に近い位置に形成することに相当した視差映像を生成することになる。
受信側装置２は、２次元映像の画面領域によって異なるビット数で表されたデプスマップを取得した場合に、前記２次元映像の画面領域で異なるビット数で表されたデプスマップを各画素に適用して立体視用映像を生成する。例えば、図７に示すように、周辺は３ビットとし、中央の５０％×５０％の領域は６ビットとするパターンを選択していることを示す情報を送信側から受けた場合、この情報により特定されるパターンからＣＰＵ２６が各デプス値のビット数を判断する。また、各デプス値（画素）の最初に何ビットの情報であるかが記述されている場合には、その記述によって各デプス値のビット数を判断することができる。
受信側装置２は、２次元映像の画素数よりも少ない数の奥行き情報を取得した場合に、前記２次元映像の複数画素につき共通の値の前記奥行き情報を適用して立体視用映像を生成する。例えば、図９（ａ）に示したように、周辺は３×３ピクセルで共通の奥行き情報を与え、中央の５０％×５０％の領域は２×２ピクセルで共通の奥行き情報を与えるパターンを選択していることを示す情報を送信側から受けた場合、この情報により特定されるパターンから、どの画素がグループ化されて共通の奥行き情報が与えられているかをＣＰＵ２６が判断する。そして、例えば、２次元映像における第１行の左から３画素分、第２行の左から３画素分、第３行の左から３画素分の合計９画素分に対する視差映像生成処理が映像生成部２４において行なわれるときには、ＣＰＵ２６から与えられた共通の（一つの）視差量が利用されることになる。
受信側装置２は、２次元映像中の各オブジェクトについて与えられた第１の奥行き情報と各オブジェクトを構成する画素について与えられた第２の奥行き情報とを取得し、第１の奥行き情報に前記第２の奥行き情報を加味して各画素の奥行き情報を生成し、前記各画素の奥行き情報に基づいて立体視用映像を生成する。例えば、図１１に示したように、受信側装置２は、送信側から送信された画像番号１から画像番号５の映像を受信し、ＣＰＵ２６は、画像番号２による各オブジェクトの２ビットのデプスマップと、画像番号３から画像番号５による各オブジェクトの構成画素のデプスマップとにより、各画素の視差量情報を生成する。ＣＰＵ２６は視差量情報を映像生成部２４に与え、映像生成部２４が視差量情報に基づいて視差映像を生成する。
受信側装置２は、そのメモリ２７において、各形状（球、円柱、三角錐等）を構成する画素群の各画素に奥行き情報を対応付けたデプステーブルを記憶している。そして、付属情報として各オブジェクトの形状情報を取得したときには、その形状に対応したデプステーブルを選択して奥行き情報を読み出す。この奥行き情報（モノクロ映像）に対していわゆる画素補完や画素間引き処理に相当する処理を行なうことで、オブジェクトの大きさにデプスマップを対応させることができる。ＣＰＵ２６は、各オブジェクトについて与えられた奥行き情報に前記テーブルから得られた奥行き情報を加味して各画素の視差量情報生成する。ＣＰＵ２６は視差量情報を映像生成部２４に与え、映像生成部２４が視差量情報に基づいて視差映像を生成する。
以上説明したように、この発明によれば、多様な立体映像表示が可能になる。また、提供する情報量を削減できるという効果を奏する。

Claims

２次元映像をデータとして提供する際に前記２次元映像のデータを立体視用映像に変換するのに役立つ奥行き情報とこの奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせるための定義情報であって関数群から任意の関数を指定する情報である定義情報を付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
請求項１に記載の立体視用映像提供方法において、前記奥行き情報の値のなかでどの値が画像表示面位置となるかを示す情報を付属情報に含ませることを特徴とする立体視用映像提供方法。
２次元映像をデータとして提供する際に前記２次元映像のデータを立体視用映像に変換するのに役立つ奥行き情報とこの奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせるための定義情報であって奥行き情報の値に対して視差量が予め設定されているテーブル群から任意のテーブルを指定する情報である定義情報を付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
請求項１乃至請求項３のいずれかに記載の立体視用映像提供方法において、前記非等間隔の大間隔となる領域を観察者から遠い位置に形成し、小間隔となる領域を観察者に近い位置に形成するように前記定義情報を設定することを特徴とする立体視用映像提供方法。
２次元映像をデータとして提供する際に前記２次元映像のデータを立体視用映像に変換するのに役立つ奥行き情報とこの奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせるための定義情報であってを前記非等間隔の大間隔となる領域を画像表示面位置から遠い位置に形成し、小間隔となる領域を画像表示面位置に近い位置に形成するように設定された定義情報を付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
請求項１乃至請求項３のいずれかに記載の立体視用映像提供方法において、前記非等間隔の大間隔となる領域を画像表示面位置から遠い位置に形成し、小間隔となる領域を画像表示面位置に近い位置に形成するように前記定義情報を設定することを特徴とする立体視用映像提供方法。
２次元映像をデータとして提供する際に、前記２次元映像の画面領域によって異なるビット数で表された奥行き情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することとし、前記２次元映像の中央側に比べて周辺側では前記奥行き情報のビット数を少なくすることを特徴とする立体視用映像提供方法。
２次元映像をデータとして提供する際に、前記２次元映像の画面領域によって異なるビット数で表された奥行き情報であって画面のどの領域では何ビットで奥行き情報が表されているかを示す情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
請求項７に記載の立体視用映像提供方法において、画面のどの領域では何ビットで奥行き情報が表されているかを示す情報を付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
２次元映像をデータとして提供する際に、前記２次元映像の画面領域によって異なるビット数で表された奥行き情報であって各画素ごとに何ビットで奥行き情報が表されているかを示す情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
請求項７に記載の立体視用映像提供方法において、各画素ごとに何ビットで奥行き情報が表されているかを示す情報を付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
２次元映像をデータとして提供する際に、前記２次元映像の複数画素につき共通の値の奥行き情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することとし、前記２次元映像の中央側に比べて周辺側では前記共通の値の奥行き情報が与えられる画素数を多くすることを特徴とする立体視用映像提供方法。
請求項１乃至請求項１２のいずれかに記載の立体視用映像提供方法において、情報の提供を、放送、通信、記録媒体への記録のいずれかにより行なうことを特徴とする立体視用映像提供方法。
取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から奥行き情報及び関数指定情報を取得する手段と、前記奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせる複数の関数を記憶する手段と、前記関数指定情報に基づいて関数を選択する手段と、選択した関数と前記奥行き情報とによって視差量を生成する手段と、前記視差量に基づいて立体視用映像を生成する手段と、を備えたことを特徴とする立体映像表示装置。
請求項１４に記載の立体映像表示装置において、画像表示面位置を示す情報にて基準視差量を与える奥行き値を判定するように構成されたことを特徴とする立体映像表示装置。
取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から奥行き情報及びテーブル指定情報を取得する手段と、前記奥行き情報の値により示される距離相当値を当該奥行き情報の値の等差に対して非等間隔とさせる複数のテーブルを記憶する手段と、前記テーブル指定情報に基づいてテーブルを選択する手段と、選択したテーブルと前記奥行き情報とによって視差量を生成する手段と、前記視差量を利用して立体視用映像を生成する手段と、を備えたことを特徴とする立体映像表示装置。
取得した２次元映像データ及びその付属情報を利用して立体視用映像を生成する立体映像表示装置において、前記付属情報から前記２次元映像の画面領域によって異なるビット数で表された奥行き情報であって前記２次元映像の中央側に比べて周辺側ではビット数が少なくされた奥行き情報を取得した場合に、前記２次元映像の画面領域で異なるビット数で表された奥行き情報であって前記２次元映像の中央側に比べて周辺側ではビット数が少なくされた奥行き情報を画面領域の各画素に適用して立体視用映像を生成する生成手段と、を備えたことを特徴とする立体映像表示装置。
請求項１７に記載の立体映像表示装置において、前記生成手段は、前記付属情報から画面のどの領域では何ビットで奥行き情報が表されているかを示す情報を取得した場合には、当該情報を画面領域の各画素に適用して立体視用映像を生成することを特徴とする立体映像表示装置。
請求項１７に記載の立体映像表示装置において、前記生成手段は、前記付属情報から各画素ごとに何ビットで奥行き情報が表されているかを示す情報を取得した場合には、当該情報を画面領域の各画素に適用して立体視用映像を生成することを特徴とする立体映像表示装置。