JP5705250B2 - ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 - Google Patents

ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 Download PDF

Info

Publication number
JP5705250B2
JP5705250B2 JP2013045653A JP2013045653A JP5705250B2 JP 5705250 B2 JP5705250 B2 JP 5705250B2 JP 2013045653 A JP2013045653 A JP 2013045653A JP 2013045653 A JP2013045653 A JP 2013045653A JP 5705250 B2 JP5705250 B2 JP 5705250B2
Authority
JP
Japan
Prior art keywords
video data
information
video
format
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013045653A
Other languages
English (en)
Other versions
JP2013118701A (ja
Inventor
容 台 金
容 台 金
載 承 金
載 承 金
大 式 金
大 式 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013118701A publication Critical patent/JP2013118701A/ja
Application granted granted Critical
Publication of JP5705250B2 publication Critical patent/JP5705250B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ステレオスコピック映像データストリームを生成する方法及び装置、前記ステレオスコピック映像データストリームを復号化する方法及び装置に係り、特に部分的に３次元データ区間及び２次元データ区間を含むステレオスコピック映像に対するデータ区間別の３次元／２次元映像についての情報を表すパラメータが記録されたステレオスコピック映像データストリームを生成する方法及び装置、かかるパラメータが記録されたステレオスコピック映像データストリームを復号化して映像を復元する方法及び装置に関する。
現在、ステレオスコピック映像の伝送に対する色々な方法が提案されてきた。ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２ ＭＶＰ（Ｍｕｌｉｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｐｒｏｆｉｌｅ）を始めとして、ＭＰＥＧ−４ ＭＡＣ（Ｍｕｌｔｉｐｌｅ Ａｕｘｉｌｉａｒｙ Ｃｏｍｐｏｎｅｎｔ）を利用した深さマップ伝送方法、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）／Ｈ．２６４のＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）など多くの標準技術が開発された。現在、ＭＡＦ（ＭｕｌｔｉｍｅｄｉａＡｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）でステレオスコピック映像についてのファイルフォーマットに対する標準を採択するための作業が進められている。
図１は、ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の一例を示す。
ステレオスコピック映像データストリームは、複数個の基礎ストリームを有する。ステレオスコピック映像データストリーム１００のｍｄａｔボックスに、二つの基礎ストリーム１１０，１２０が記録されている。第１基礎ストリーム１１０は、第１表示時間区間に左視点映像１ １１２、第２表示時間区間に単一視点映像１１４、第３表示時間区間に左視点映像２ １１６が記録されている。第２基礎ストリーム１２０は、第１表示時間区間に右視点映像１ １２２、第３表示時間区間に右視点映像２ １２６が記録されている。
図１のステレオスコピック映像データストリーム１００は、一つの基礎ストリーム１１０にのみ２次元映像、すなわち単一視点映像データ１１４が記録され、他の基礎ストリーム１２０には、ステレオ映像データのみが記録される。
図２は、ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の他の例を示す。
図２のステレオスコピック映像データストリーム２００は、二つの基礎ストリーム２１０，２２０が記録されており、基礎ストリームは、いずれもステレオ映像２１２，２１６，２２２，２２６及び単一視点映像２１４，２２４のデータが記録されている。しかし、二つの基礎ストリーム２１０，２２０それぞれに同じ表示時間情報（Ｃｏｍｐｏｓｉｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：ＣＴＳ）を有する単一視点映像２１４，２２４が記録されれば、再生装置は、どの基礎ストリームの単一視点映像を再生せねばならないか分からない。
図３は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ ＳｔａｎｄａｒｄｉｚａｔｉｏｎＯｒｇａｎｉｚａｔｉｏｎ）基盤のメディアファイルフォーマットの基準的な構造を示す。
ＩＳＯ基盤のメディアファイルフォーマットは、‘ｆｔｙｐ’ボックス、‘ｍｏｏｖ’ボックス、‘ｍｄａｔ’ボックスを含む。
‘ｆｔｙｐ’ボックスには、ファイルタイプ及び互換フォーマットについての内容が含まれる。互換タイプによって、該デコーダが映像データを正常的に再生できる。
‘ｍｏｏｖ’ボックスのそれぞれのデータは、‘ａｔｏｍ’というオブジェクト基盤の構造体で構成されており、フレーム率、ビット率、映像サイズなどのコンテンツ情報、早送り（ＦＦ）／巻き戻し（ＲＥＷ）などの再生機能を支援するための‘ｓｙｎｃ’情報、及びファイルを再生するためのあらゆる情報が含まれる。
‘ｍｄａｔ’ボックスは、それぞれのトラックによって実際のストリームデータを含み、ビデオ及びオーディオデータがそれぞれのフレーム単位で保存される。
本発明が解決しようとする課題は、ステレオスコピック映像データストリームの複数個の基礎ストリームに同じ表示時間情報の単一視点映像が記録された場合、自動に再生する単一視点映像が選択されるように、ステレオスコピック映像に対するパラメータを含むステレオスコピック映像データストリームを生成する方法及び装置を提供するところにある。
本発明が解決しようとする他の課題は、受信端で前記ステレオスコピック映像に対するパラメータを利用して、同じ表示時間情報を有する単一視点映像のうち自動的に再生する単一視点映像を選択して復号化する方法及び装置を提供するところにある。
前記課題を解決するために、本発明の一実施形態によるステレオスコピック映像データストリームの生成方法は、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報を含む混合映像を構成する方法についてのステレオ映像フォーマット情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録するステップと、前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報である配置順序情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録するステップと、前記ステレオスコピック映像についての混合映像のデータを前記ステレオスコピック映像データストリームのペイロード領域に記録するステップと、を含む。
一実施形態において、前記ステレオスコピック映像データストリームは、データ区間別に区分され、前記ステレオ映像フォーマット情報及び前記配置順序情報は、少なくとも一つのデータ区間別に決定される。
一実施形態の前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含む。
一実施形態において、前記混合映像のデータが主ストリーム及び副ストリームに記録される場合、前記配置順序情報は、前記主データストリームに前記混合映像の基準視点映像情報及び付加視点映像情報のうち一つの視点映像情報が配置され、前記副データストリームに前記混合映像の基準視点映像情報及び付加視点映像情報のうち残りの視点映像情報が配置されるか否かを表す情報である。
一実施形態の前記ステレオスコピック映像データストリームは、ＩＳＯ基盤のメディアファイルフォーマットである。
一実施形態において、前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記ｍｅｔａボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、前記ｔｒａｋボックスの下位レベルボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つに記録される。
前記他の課題を解決するために、ステレオスコピック映像データストリームの復号化方法は、前記ステレオスコピック映像データストリームの映像データ区間のうち、モノスコピック映像データ区間を決定するステップと、前記モノスコピック映像データ区間のそれぞれの表示時間情報を抽出するステップと、前記モノスコピック映像データ区間の抽出された表示時間情報の同じ衝突映像データ区間がある場合、前記衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出するステップと、を含む。
一実施形態のステレオスコピック映像データストリームは、前記主ストリーム及び少なくとも一つの副ストリームを含む。
一実施形態の前記モノスコピック映像データ区間の決定ステップは、前記ステレオスコピック映像データストリームから、前記ステレオスコピック映像データストリームの少なくとも一つの映像データ区間についてのステレオ映像フォーマット情報を抽出するステップと、前記抽出されたステレオ映像フォーマット情報を利用して、前記映像データ区間のうちモノスコピック映像データ区間を決定するステップと、を含み、前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像に構成される方法による映像フォーマットについての情報を表す。
一実施形態の前記モノスコピック映像データの抽出ステップは、前記ステレオスコピック映像データストリームから、前記衝突映像データ区間についてのそれぞれの配置順序情報を抽出するステップと、前記抽出された配置順序情報を利用して、前記主ストリーム及び前記副ストリームのうち、前記主ストリームとして決定された映像データ区間からモノスコピック映像データを抽出するステップと、を含み、前記配置順序情報は、少なくとも一つのデータ区間に対する前記混合映像で、前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報を表す。
一実施形態の前記モノスコピック映像データ区間の決定ステップは、前記ステレオスコピック映像データストリームから、前記ステレオスコピック映像データストリームの少なくとも一つの映像データ区間についてのステレオ映像フォーマット情報及び配置順序情報を抽出するステップと、前記抽出されたステレオ映像フォーマット情報及び抽出された配置順序情報によって、前記映像データ区間のうち、前記主ストリームの少なくとも一つのモノスコピック映像データ区間を決定するステップと、を含み、前記モノスコピック映像データ抽出ステップは、前記決定された主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出するステップを含み、前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像に構成される方法による映像フォーマットについての情報であり、前記配置順序情報は、少なくとも一つのデータ区間に対する前記混合映像で、前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報を表す。
一実施形態の前記モノスコピック映像データの抽出ステップは、前記再生ストリームから抽出された映像データを復元して再生するステップを含む。
一実施形態のステレオスコピック映像データストリームの復号化方法は、前記ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、前記主ストリーム及び副ストリームのうち、優先的に再生される優先再生ストリームを決定するステップをさらに含む。
一実施形態の前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含む。
一実施形態の前記ステレオスコピック映像データストリームは、ＩＳＯ基盤のメディアファイルフォーマットである。
一実施形態において、前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記ｍｅｔａボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、前記ｔｒａｋボックスの下位レベルボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つから抽出される。
前記課題を解決するために、本発明の一実施形態によるステレオスコピック映像データストリームを生成する装置は、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報を含む混合映像を構成する方法についてのステレオ映像フォーマット情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録するステレオ映像フォーマット情報記録部と、前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報である配置順序情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録する配置順序情報記録部と、前記ステレオスコピック映像に対する混合映像のデータを前記ステレオスコピック映像データストリームのペイロード領域に記録する映像データ記録部と、を備える。
前記他の課題を解決するために、本発明の一実施形態によるステレオスコピック映像データストリームを復号化する装置は、前記ステレオスコピック映像データストリームの映像データ区間のうち、モノスコピック映像データ区間を決定するモノスコピック映像データ区間決定部と、前記モノスコピック映像データ区間のそれぞれの表示時間情報を抽出する表示時間情報抽出部と、前記モノスコピック映像データ区間の抽出された表示時間情報の同じ衝突映像データ区間がある場合、前記衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出する衝突モノスコピック映像データ抽出部と、を備える。
本発明は、本発明の一実施形態によるステレオスコピック映像データストリームの生成方法を具現するためのプログラムが収録されたコンピュータで読み取り可能な記録媒体を含む。
また、本発明は、本発明の一実施形態によるステレオスコピック映像データストリームの復号化方法を具現するためのプログラムが収録されたコンピュータで読み取り可能な記録媒体を含む。
本発明のステレオスコピック映像データストリームの生成方法及び装置は、ステレオスコピック映像データストリームの複数個の基礎ストリームに同じ表示時間情報の単一視点映像が記録された場合、自動的に再生される単一視点映像を選択して復号化できるように、ステレオスコピック映像の混合映像フォーマットについての情報、混合映像でそれぞれの視点映像が配置された順序情報を含むステレオスコピック映像データストリームを生成できる。
また、受信端で前記ステレオスコピック映像に対する混合映像フォーマットについての情報、及び混合映像上でそれぞれ視点映像が配置された順序情報を利用して、単一視点映像の表示時間に衝突が発生する場合にも自動に再生する単一視点映像が選択されて復号化される。
したがって、本発明によるステレオスコピック映像データストリームの復号化方法及び装置によれば、多様な再生装置でステレオスコピック映像が正しい視点で再生され、立体感が極大化される。また、ステレオスコピック映像の２次元映像及び３次元映像が部分的に再生されるので、長時間３次元映像を視聴することによって発生する疲労感を低め、効果的な立体感を伝達できる。
本発明は、３次元映像のうち最も簡単な形態のステレオスコピック映像のフォーマットに関する技術であり、３次元映像の活用分野は、現在使われているあらゆる２次元符復号化機器を含むので、本発明の技術は、ステレオスコピックデジタルＴＶ（ＰＤＰ、ＬＣＤ、ＤＬＰ方式）、ステレオスコピックＰＣモニター、ステレオスコピックカムコーダ、ステレオスコピックＢＤプレーヤーなどに活用される。
ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の一例を示す図である。 ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の他の例を示す図である。 ＩＳＯ基盤のメディアファイルフォーマットの基準的な構造を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリーム生成装置のブロック図である。 本発明の一実施形態による混合映像構成情報記録部を備えるステレオスコピック映像データストリーム生成装置のブロック図である。 本発明の一実施形態によるステレオスコピック映像データストリーム復号化装置のブロック図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のための３次元再生区間情報のシンタックスの一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報のシンタックスの一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われるステレオ映像構成フォーマットの一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われる基準視点映像及び付加視点映像の配置方法の一実施形態を示す図である。 本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つの基礎ストリームのモノスコピックデータ区間の衝突が発生しない場合を示す図である。 図７Ａのステレオスコピック映像データストリームの二つの基礎ストリームの表示区間情報テーブルを示す図である。 本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つの基礎ストリームのモノスコピックデータ区間の衝突が発生する場合を示す図である。 図８Ａのステレオスコピック映像データストリームの二つの基礎ストリームの表示区間情報テーブルを示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報に使われるスケーリング関数の一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報のシンタックスの一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報のシンタックスの一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報に使われるカメラパラメータ情報のシンタックスの一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成のための視差情報のシンタックスの一実施形態を示す図である。 本発明の望ましい実施形態によるステレオスコピック映像データストリームのヘッダ領域の一実施形態を示す図である。 本発明の一実施形態によるステレオスコピック映像データストリームの生成方法のフローチャートである。 本発明の一実施形態によるステレオスコピック映像データストリームの生成方法のうち、混合映像構成情報の記録ステップのみを示すフローチャートである。 本発明の一実施形態によるステレオスコピック映像データストリームの復号化方法のフローチャートである。
図４Ａ及び図４Ｂを参照して、本発明の一実施形態によるステレオスコピック映像データストリーム生成装置を説明する。
図４Ａは、本発明の一実施形態によるステレオスコピック映像データストリーム生成装置のブロック図である。
ステレオスコピック映像データストリーム生成装置４００は、３次元再生区間情報記録部４１０、混合映像構成情報記録部４２０、カメラ情報記録部４３０、視差情報記録部４５０、スケーリング情報記録部４４０及び映像記録部４７０を備える。
３次元再生区間情報記録部４１０は、ステレオスコピック映像データストリームのペイロード領域に記録された映像データのうち、３次元で再生されるステレオスコピック映像データについての３次元再生区間情報を映像データストリームのヘッダ領域に記録して、映像記録部４７０に出力する。
混合映像構成情報記録部４２０は、基準視点映像及び付加視点映像の情報を含む混合映像を構成する方法情報をヘッダ領域に記録して、映像記録部４７０に出力する。
カメラ情報記録部４３０は、ステレオスコピック映像を獲得したカメラについてのカメラ情報をヘッダ領域に記録して、映像記録部４７０に出力する。
スケーリング情報記録部４４０は、基準視点映像及び付加視点映像の情報を含む混合映像に構成される時に使われるスケーリング方法情報をヘッダ領域に記録して、映像記録部４７０に出力する。
視差情報記録部４５０は、ステレオスコピック映像の基準視点映像と付加視点映像との視差情報をヘッダ領域に記録して、映像記録部４７０に出力する。
３次元再生区間情報記録部４１０、混合映像構成情報記録部４２０、カメラ情報記録部４３０、スケーリング情報記録部４４０及び視差情報記録部４５０でヘッダ情報がステレオスコピック映像データストリームのヘッダ領域にいずれも保存された後、映像記録部４７０に出力される。
映像記録部４７０は、映像データを映像データストリームのペイロード領域に記録して、ステレオスコピック映像データストリームを出力する。
したがって、本発明の一実施形態によるステレオスコピック映像データストリーム生成装置４００により生成されたステレオスコピック映像データストリームは、ペイロード領域に映像データを保存し、ヘッダ領域に３次元再生区間情報、混合映像構成情報、カメラ情報、スケーリング情報、視差情報のうち少なくとも一つのヘッダ情報を保存する。
図４Ｂは、本発明の一実施形態による混合映像構成情報記録部を備えるステレオスコピック映像データストリーム生成装置のブロック図である。
本実施形態によるステレオスコピック映像データストリーム生成装置４０５は、混合映像構成情報記録部４２０及び映像データ記録部４７０を備え、混合映像構成情報記録部４２０は、ステレオ映像フォーマット情報記録部４２２及び配置順序情報記録部４２４を備える。
ステレオ映像フォーマット情報記録部４２２は、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像に構成される方法による映像フォーマットについての情報であるステレオ映像フォーマット情報をステレオスコピック映像データストリームのヘッダ領域に記録し、配置順序情報記録部４２４に出力する。
配置順序情報記録部４２４は、ステレオスコピック映像の混合映像で、基準視点映像情報及び付加視点映像情報が配置される順序についての情報である配置順序情報をステレオスコピック映像データストリームのヘッダ領域に記録し、映像データ記録部４７０に出力する。
ステレオスコピック映像データストリームは、データ区間に区分され、ステレオ映像フォーマット情報及び配置順序情報は、少なくとも一つのデータ区間別に設定される。したがって、あらゆるデータ区間に対してステレオフォーマット情報または配置順序情報が統一されることもあり、複数個のデータ区間別にステレオフォーマット情報または配置順序情報が変わることもある。
一実施形態の混合映像のデータがステレオスコピック映像データストリームの主基礎ストリーム及び副基礎ストリームに記録される場合、配置順序情報は、主基礎ストリームに混合映像の基準視点映像情報及び付加視点映像情報のうちどちらの視点映像情報が配置されるかについての情報を表す。すなわち、配置順序情報により、（ｉ）主基礎ストリームに基準視点映像情報が配置され、副基礎ストリームに付加視点映像情報が配置される場合、または（ｉｉ）主基礎ストリームに付加視点映像情報が配置され、副基礎ストリームに基準視点映像情報が配置される場合が表現される。
映像データ記録部４７０は、混合映像データをステレオスコピック映像データストリームのペイロード領域に記録して、ステレオスコピック映像データストリームを出力する。
一実施形態の映像データ記録部４７０は、ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、ステレオ映像フォーマット情報及び配置順序情報をｍｅｔａボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、ｔｒａｋボックスの下位レベルボックス、及びｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つに記録する。
図５は、本発明の一実施形態によるステレオスコピック映像データストリーム復号化装置のブロック図である。
ステレオスコピック映像データストリーム復号化装置５００は、モノスコピック映像データ区間決定部５１０、再生ストリーム表示時間情報（Ｃｏｍｐｏｓｉｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：ＣＴＳ）抽出部５２０、及び衝突モノスコピック映像データ抽出部５３０を備える。
モノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームを受信され、ステレオスコピック映像データストリームの映像データ区間のうちモノスコピック映像データ区間を決定して、再生ストリームＣＴＳ抽出部５２０に出力する。
一実施形態のモノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームから、ステレオスコピック映像データストリームの少なくとも一つのデータ区間についてのステレオ映像フォーマット情報を抽出し、抽出されたステレオ映像フォーマット情報を利用して、映像データ区間のうちモノスコピック映像データ区間を決定する。すなわち、映像データ区間のステレオ映像フォーマットがモノスコピック映像フォーマットである映像データ区間が検出される。
再生ストリームＣＴＳ抽出部５２０は、モノスコピック映像データ区間のそれぞれのＣＴＳを抽出して、衝突モノスコピック映像データ抽出部５３０に出力する。
ＣＴＳは、ステレオスコピック映像データストリームの映像データが復元されて再生されるとき、該データ区間の映像データが再生される時間情報を表し、ＣＴ（Ｃｏｍｐｏｓｉｔｉｏｎ Ｔｉｍｅ）は、その時間を表す。ステレオ映像の場合、他のストリーム上の映像データのＣＴＳが同一であれば、ステレオ映像再生方式に基づいて同一時間帯にそれぞれの映像データをいずれも表示できる。しかし、モノスコピック映像の場合、一つのストリーム上の映像データのみが表示されねばならず、同じＣＴＳを有する映像データが存在する場合に衝突が発生する。
衝突モノスコピック映像データ抽出部５３０は、モノスコピック映像データ区間のうち、ＣＴＳ抽出部５２０から抽出されたＣＴＳの同じ衝突映像データ区間がある場合、衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出する。
一実施形態のモノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームから、ステレオスコピック映像データストリームの少なくとも一つのデータ区間についての配置順序情報を抽出する。モノスコピック映像データ抽出部５３０は、抽出された配置順序情報を利用して、主ストリーム及び副ストリームのうち、主ストリームとして決定された映像データ区間からモノスコピック映像データを抽出する。
ここで、ステレオスコピック映像データストリーム復号化装置５００でのステレオ映像フォーマット情報及び配置順序情報は、ステレオスコピック映像データストリーム生成装置４０５でのステレオ映像フォーマット情報及び配置順序情報と同一である。
他の実施形態のモノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームから、映像データ区間についてのステレオ映像フォーマット情報及び配置順序情報を抽出し、ステレオ映像フォーマット情報及び配置順序情報によって、映像データ区間のうち、主ストリームの少なくとも一つのモノスコピック映像データ区間を決定する。このとき、衝突モノスコピック映像データ抽出部５３０は、決定された主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出する。
衝突モノスコピック映像データ抽出部５３０の他の実施形態は、優先再生ストリームから抽出された映像データを復元して再生する。
ステレオスコピック映像データストリーム復号化装置５００は、ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、主ストリーム及び副ストリームのうち、優先的に再生される優先再生ストリームを決定する優先再生ストリーム決定部をさらに備える。再生ストリームユーザーから優先再生ストリーム選択信号を入力される優先再生ストリーム選択部が付加され、衝突モノスコピック映像データ抽出部５３０は、ステレオ映像フォーマット情報及び配置順序情報と関係なく入力された優先再生ストリーム選択信号により決定された優先再生ストリームから映像データを抽出することもできる。
本発明の一実施形態では、モノスコピック映像の再生時間に衝突が発生する場合、主ストリーム上の映像データが優先的に再生されるが、再生ストリーム選択信号によって所定の副ストリーム上の映像データが優先的に再生されることもある。
ステレオスコピック映像データストリーム復号化装置５００に受信されたステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、ステレオ映像フォーマット情報及び配置順序情報は、ｍｅｔａボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、ｔｒａｋボックスの下位レベルボックス、及びｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つから抽出される。
以下、ステレオスコピック映像データストリームから色々なヘッダ情報を抽出して映像を復元する復号化方法を説明する。
ステレオスコピック映像データストリーム復号化装置は、ステレオスコピック映像データストリームを受信される受信部、受信されたステレオスコピック映像データストリームからパラメータ情報を抽出するパラメータ抽出部、及び抽出されたパラメータ情報を利用して映像データを復元する映像復元部を備える。
復号化装置がＭＰＥＧ−４またはＨ．２６４規格の基盤である場合、映像復元部は、可変長さ符号復号器モジュール、動き補償／予測モジュール、周波数逆変換モジュール、逆量子化モジュール及びデブロッキングモジュールを含む。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像データストリームのペイロード領域に記録された映像データのうち、３次元で再生されるデータ区間についての３次元再生区間情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームからステレオ映像フォーマット情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラについてのカメラ情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像の基準視点映像と付加視点映像との視差情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、混合映像での基準視点映像及び付加視点映像のスケーリング方法についてのスケーリング方法情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから３次元再生区間の個数情報を抽出できる。
また、ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから３次元再生区間の範囲情報を抽出できる。３次元再生区間の範囲情報は、ペイロード領域に記録された３次元再生区間の開始フレームのインデックスを表す開始インデックス情報、及び３次元再生区間の最後フレームのインデックスを表す終了インデックス情報を含む。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラの種類についてのカメラ種類情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラについてのカメラパラメータ情報を伝送するか否かを表すカメラパラメータ伝送情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラについてのカメラパラメータ情報を抽出できる。また、ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、カメラパラメータ情報を伝送するか否かを表すカメラパラメータ伝送情報を抽出し、カメラパラメータ情報は、カメラパラメータ伝送情報によってステレオスコピック映像データストリームから抽出される。
カメラパラメータから、カメラパラメータ係数の個数情報、基準視点カメラ及び付加視点カメラのうちそれぞれのカメラの回転情報、平行移動情報、映像中心情報、焦点長情報及び縦横比情報のうち少なくとも一つが抽出される。
カメラパラメータから、基準視点カメラの回転情報及び付加視点カメラの回転情報のうち少なくとも一つが抽出される。
カメラパラメータから、基準視点カメラの平行移動情報及び付加視点カメラの平行移動情報のうち少なくとも一つが抽出される。
また、カメラパラメータから、基準視点カメラの焦点長情報及び付加視点カメラの焦点長情報のうち少なくとも一つが抽出される。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像の基準視点映像及び付加視点映像上の所定の客体についての代表変移ベクトルの視差情報を抽出できる。
代表変移ベクトルの視差情報から、複数個の代表変移ベクトルのうち最小変移ベクトル値及び最大変移ベクトル値のうち少なくともいずれか一つが抽出される。代表変移ベクトルの視差情報から、背景及び前景の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つが抽出される。
代表変移ベクトルの視差情報から、それぞれの客体の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つが抽出される。
また、代表変移ベクトルの視差情報から、変移マップ／深さマップの表現可能な代表ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つが抽出される。
代表変移ベクトルの視差情報から、代表変移ベクトルの個数情報及び代表変移ベクトル値情報が抽出される。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、基準視点映像及び付加視点映像についての全域変移ベクトルの視差情報を抽出できる。
全域変移ベクトルの視差情報から、ペイロード領域に記録されたフレームのうち全域変移ベクトル値の変化がある領域の個数情報、全域変移ベクトル値の変化があるフレームのインデックスを表す全域変移開始インデックス情報、及び全域変移ベクトル値情報が抽出される。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから基準視点映像及び付加視点映像上の所定の客体についての視差情報を抽出でき、視差情報は、複数個の変移ベクトルのうち最小変移ベクトル値及び最大変移ベクトル値のうち少なくともいずれか一つを表す。
視差情報は、背景及び前景の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つであることもある。視差情報は、それぞれの客体の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つであることもある。視差情報は、変移マップ／深さマップの表現可能な代表ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つで表現されることもある。視差情報から、代表変移ベクトルの個数情報及び代表変移ベクトル値情報が抽出されることもある。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、混合映像から配置順序情報を抽出できる。
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、ステレオ映像フォーマット情報及び配置順序情報をｍｅｔａボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、ｔｒａｋボックスの下位レベルボックス、及びｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つから抽出できる。
図６Ａないし図９Ｂを参照して、本発明のステレオスコピック映像データストリーム生成装置により生成されたステレオスコピック映像データストリームのヘッダ情報について詳細に説明する。
図６Ａは、本発明の一実施形態によるステレオスコピック映像データストリーム生成のための３次元再生区間情報のシンタックスの一実施形態を示す。
３Ｄ＿Ｐｅｒｉｏｄは、３次元再生区間情報を表す。本発明の一実施形態は、３次元再生区間情報を３２ビット（ｕ（３２））で表す。３次元再生区間情報３Ｄ＿Ｐｅｒｉｏｄは、３次元再生区間の個数情報ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄ、開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎを含む。
ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄは、３次元再生区間の個数情報、すなわちユーザーが３次元で見られる映像データ区間の数を表す。
ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎは、開始インデックス情報であって、映像データストリームのペイロード領域での３次元再生区間の開始フレームが位置する映像データストリームのペイロード領域での位置インデックスを表す。本発明の一実施形態は、３次元再生区間情報を３２ビット（ｕ（３２））で表す。
ｅｎｄ＿ｐｏｓｉｔｉｏｎは、終了インデックス情報であって、３次元再生区間の最後のフレームが位置する映像データストリームのペイロード領域での位置インデックスを表す。本発明の一実施形態は、３次元再生区間情報を３２ビット（ｕ（３２））で表す。
３次元再生区間ごとに開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎが必要であるので、ｉが整数であるとき、０≦ｉ＜ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄ範囲で開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ［ｉ］及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎ［ｉ］が決定されねばならない。
一実施形態において、３次元再生区間が一つの基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ：ＥＳ）で構成された場合、開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎは、一つのＥＳに対するインデックスを表す。
他の実施形態において、３次元再生区間が複数個のＥＳで構成された場合、開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎは、複数個のＥＳのうち主ＥＳに対するインデックスを表す。
図６Ｂは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報のシンタックスの一実施形態を示す。本発明の一実施形態は、複数個の視点映像のうち基準視点映像及び付加視点映像を左側視点及び右側視点として選択する。
混合映像構成情報ｓｔｅｒｅｏＦｏｒｍａｔ＿ｐａｒａｍｓは、ステレオスコピック映像の混合映像フォーマット種類Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅ、基準視点映像及び付加視点映像の配置順序ＬＲ＿ｆｉｒｓｔ、幅比率ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏ、高比率ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏ、スケーリング方法ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄ及びスケーリング関数ｓｃａｌｉｎｇ＿ｆｕｎｃを含む。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅは、ステレオスコピック映像の混合映像フォーマット種類であって、複数個の視点の２次元映像を利用して混合映像を構成する方法によるフォーマット種類を表す。ステレオスコピック映像の混合映像フォーマットは、図６Ｃを参照して詳細に説明する。一実施形態は、混合映像フォーマット種類Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅを８ビット（ｕ（８））で表す。
図６Ｃは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われる混合映像構成フォーマットの一実施形態を示す。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが０である場合、垂直方向ラインインターリーブドフォーマットを表す。垂直方向ラインインターリーブドフォーマットの一実施形態は、基準視点映像及び付加視点映像の垂直方向のラインを交互に混合映像のラインに配置して混合映像を構成する。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１である場合、水平方向ラインインターリーブドフォーマットを表す。水平方向ラインインターリーブドフォーマットの一実施形態は、基準視点映像及び付加視点映像の水平方向のラインを交互に混合映像のラインに配置して混合映像を構成する。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが２である場合、トップダウンフォーマットを表す。トップダウンフォーマットは、例えば、混合映像の上端及び下端にそれぞれ解像度が縦方向に半分に縮少した基準視点映像及び付加視点映像が配置されて、一枚の混合映像を構成する。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが３である場合、サイドバイサイドフォーマットを表す。サイドバイサイドフォーマットは、例えば、混合映像の左側領域及び右側領域にそれぞれ解像度が横方向に半分に縮少した基準視点映像及び付加視点映像が配置されて、一枚の混合映像を構成する。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが４である場合、フィールドシーケンシャルフォーマットを表す。フィールドシーケンシャルフォーマットは、例えば、基準視点映像フィールド及び付加視点映像フィールドが交互に再生部に表示することによって、混合映像を構成する方式による映像フォーマットである。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが５である場合、フレームシーケンシャルフォーマットを表す。フレームシーケンシャルフォーマットは、例えば、基準視点映像フレーム及び付加視点映像フレームが交互に再生部に表示することによって、混合映像を構成する方式による映像フォーマットである。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが６である場合、ブロックインターリーブドフォーマットを表す。ブロックインターリーブドフォーマットは、例えば、基準視点映像及び付加視点映像がブロック単位で交互に混合映像のブロックに配置されることによって、混合映像を構成する。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが７である場合、変位マップを表す。このフォーマットによれば、基準視点映像と変位マップとを利用して混合映像を構成する方式による映像フォーマットである。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが８である場合、深さマップを表す。このフォーマットによれば、基準視点映像と深さマップとを利用して混合映像が生成される。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが９である場合、変位及び動きマップを表す。このフォーマットによれば、基準視点映像と変位及び動きマップとを利用して混合映像が生成される。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１０である場合、単一視点映像のうち左視点映像形式を表す。このフォーマットによれば、左時点映像一つの単視点映像が使われる。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１１である場合、単一視点映像のうち右視点映像形式を表す。このフォーマットによれば、右視点映像一つの単視点映像が使われる。
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１２ないし２５５である場合、ユーザー指定フォーマットを表す。したがって、混合映像を構成するために、ユーザーが指定する映像フォーマットが利用される。
ＬＲ＿ｆｉｒｓｔは、基準視点映像及び付加視点映像の配置順序情報に対するパラメータであって、例えば、左右映像の配置方法についての情報を表す。図６Ｄを参照して、左右映像の配置方法情報を詳細に説明する。本発明の一実施形態は、ＬＲ＿ｆｉｒｓｔを一つのビット（ｕ（１））で表す。
図６Ｄは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われる基準視点映像及び付加視点映像の配置方法の一実施形態を示す。
ＬＲ＿ｆｉｒｓｔが０である場合、左側映像が基準視点映像であり、左側映像の映像データが垂直方向ラインインターリーブドフォーマットでの奇数番目のライン、水平方向ラインインターリーブドフォーマットでの奇数番目のライン、トップダウンフォーマットでの上端、サイドバイサイドフォーマットでの左側領域、フィールドシーケンシャルフォーマットでの奇数番目のフィールド、フレームシーケンシャルフォーマットでの奇数番目のフレーム、及びブロックインターリーブドフォーマットでの奇数番目のブロックに配置される。二つのＥＳで構成されたステレオスコピック映像データストリームの場合、ＬＲ＿ｆｉｒｓｔが０であれば、左側映像がメインメディア、すなわち主ＥＳのデータとして決定され、右側映像がサブメディア、すなわち副ＥＳのデータとして決定される。同様に、右側映像は、付加視点映像となり、前述した各混合映像フォーマットで左側映像の配置領域の逆領域に配置される。
ＬＲ＿ｆｉｒｓｔが１である場合、右側映像が基準視点映像であり、右側映像及び左側映像の配置が前述したＬＲ＿ｆｉｒｓｔが０である場合と逆になる。
ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏは、基準視点映像及び付加視点映像の幅比率に対するパラメータであって、混合映像フォーマットがサイドバイサイドフォーマットまたはトップダウンフォーマットである場合、基準視点及び付加視点映像の幅の比率を調節するパラメータである。本発明の一実施形態は、ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏを３２ビット（ｕ（３２））で表す。ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏは、数式１のように計算される。
（数１）
ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏ＝ｗｉｄｔｈｂａｓｅ／ｗｉｄｔｈａｄｄｉｔｉｏｎａｌ
ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏは、基準視点映像及び付加視点映像の高比率に対するパラメータであって、混合映像フォーマットがサイドバイサイドフォーマットまたはトップダウンフォーマットである場合、基準視点及び付加視点映像の高さの比率を調節するパラメータである。本発明の一実施形態は、ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏを３２ビット（ｕ（３２））で表す。ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏは、数式２のように計算される。
（数２）
ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏ＝ｈｅｉｇｈｔｂａｓｅ／ｈｅｉｇｈｔａｄｄｉｔｉｏｎａｌ
ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄは、スケーリング方法パラメータであって、ＥＳが一つである場合、左右映像を組み合わせる時に発生するスケーリング過程でのスケーリング方法を表す。スケーリング方法を伝送して始めて、復号化端で左右映像を正確に復元できる。このパラメータにより定義されるスケーリング方法は、図９Ａを参照して説明する。一実施形態のスケーリング方法パラメータｓｃａｌｉｎｇ＿ｍｅｔｈｏｄは、８ビット（ｕ（８））で表す。
図７Ａは、本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つのＥＳのモノスコピックデータ区間の衝突が発生しない場合を示す。
図７Ｂは、図７Ａのステレオスコピック映像データストリームの二つのＥＳの表示区間情報テーブルを示す。
図７Ａ及び図７Ｂでは、主ＥＳとして第１ＥＳ ７３０が、副ＥＳとして第２ＥＳ７４０が使われる。
ステレオスコピック映像データストリーム７００は、‘ｍｏｏｖ’ボックス７１０にそれぞれのトラックが指す映像データストリームについてのそれぞれのパラメータ情報を含む。‘ｍｄａｔ’ボックス７２０は、映像データが記録された第１ＥＳ ７３０及び第２ＥＳ ７４０が記録されている。すなわち、‘ｍｏｏｖ’ボックスには、トラック１が指す第１ＥＳ ７３０に記録された映像データについてのステレオ映像フォーマット情報７１２及び配置順序情報７１４、トラック２が指す第２ＥＳ ７４０に記録された映像データについてのステレオ映像フォーマット情報７１６及び配置順序情報７１８を含む。
第１ＥＳ ７３０は、第１データ区間７３２、第２データ区間７３４及び第３データ区間７３６を含み、第２ＥＳ ７４０は、第１データ区間７４２、第２データ区間７４４及び第３データ区間７４６を含む。データ区間の上側番号は、フレーム番号を表し、下側番号は、ＣＴＳを表す。
ＩＳＯ基盤のメディアファイルフォーマットでは、‘ｃｔｔｓ’というＣＴＳを保存するボックスが存在する。ＣＴは、該当フレームがいつ再生されるかを表す。‘ｃｔｔｓ’ボックスのＣＴＳを利用して、別途のプロセスなしにデコーダがそれぞれフレームを所望の時間に再生できる。
それぞれの第１データ区間７３２，７４２は、フレーム番号１から３００までの映像データを、それぞれの第２データ区間７３４，７４４は、フレーム番号３０１から５００までの映像データを、それぞれの第３データ区間７３６，７４６は、フレーム番号５０１から８００までの映像データを含む。
図７Ａ及び図７Ｂに示すように、現在のデータ区間であるデータ区間７３４及びデータ区間７４４は、ＣＴＳが重ならない。すなわち、データ区間７３４のＣＴＳは、３０１０から５０００までを表し、データ区間７４４のＣＴＳは、５００１から７０００までを表すので、ＣＴＳが重ならない。したがって、かかる場合は、ステレオスコピック映像データストリーム復号化装置５００のモノスコピック映像データ区間決定部５１０及び衝突モノスコピック映像データ抽出部５３０が再生するデータ区間を決定する必要がない。
図８Ａは、本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つのＥＳのモノスコピックデータ区間の衝突が発生する場合を示す。
図８Ｂは、図８Ａのステレオスコピック映像データストリームの二つのＥＳの表示区間情報テーブルを示す。
図８Ａ及び図８Ｂでは、主ＥＳとして第１ＥＳ ８３０が、副ＥＳとして第２ＥＳ８４０が使われる。
ステレオスコピック映像データストリーム８００は、‘ｍｏｏｖ’ボックス８１０には、トラック１が指す‘ｍｄａｔ’ボックス８２０の第１ＥＳ ８３０に記録された映像データについてのステレオ映像フォーマット情報８１２及び配置順序情報８１４、トラック２が指す‘ｍｄａｔ’ボックス８２０の第２ＥＳ ８４０に記録された映像データについてのステレオ映像フォーマット情報８１６及び配置順序情報８１８を含む。
図８Ａ及び図８Ｂに示すように、現在のデータ区間である第１ＥＳ ８３０の第２データ区間８３４及び第２ＥＳ ８４０の第２データ区間８４４のＣＴＳが同一であるので、データ区間８３４，８４４がモノスコピック映像データ区間であれば、両データ区間８３４，８４４の再生時にどのデータ区間を再生せねばならないか決定されずに衝突の恐れがある。
したがって、ステレオスコピック映像データストリーム復号化装置５００のモノスコピック映像データ区間決定部５１０は、ＥＳ ８３０，８４０のデータ区間のうちモノスコピック映像データ区間を検索する。モノスコピック映像データ区間決定部５１０は、モノスコピック映像データ区間を検索するために、‘ｍｏｏｖ’ボックスのステレオ映像フォーマット情報８１２，８１６を利用する。
また、衝突が起こる場合、ＥＳ ８３０，８４０のうちどちらのＥＳを再生せねばならないかを決定するために、衝突モノスコピック映像データ抽出部５３０は、‘ｍｏｏｖ’ボックスの配置順序情報８１４，８１８を利用する。
同様に、モノスコピック映像データ区間のうち前記優先再生ストリームの映像データ区間を決定するために、衝突モノスコピック映像データ抽出部５３０は、‘ｍｏｏｖ’ボックスのステレオ映像フォーマット情報８１２，８１６及び配置順序情報８１４，８１８をいずれも利用する。
例えば、図８Ａに示すように、現在のデータ区間が第２データ区間８３４，８４４であるとき、第１ＥＳ ８３０のステレオ映像フォーマット情報８１２が‘１０’であるので、図６Ｃの定義によれば、第１ＥＳの第２データ区間８３４には、単一左視点映像が記録されている。また、配置順序情報８１４は‘０’であるので、図６Ｄの定義によれば、左視点映像が第１ＥＳ、すなわち主ＥＳとなる。
また、第２ＥＳ ８４０のステレオ映像フォーマット情報８１６が‘１１’であるので、図６Ｃの定義によれば、第２ＥＳの第２データ区間８４４には、単一右視点映像が記録されている。また、配置順序情報８１８は‘０’であるので、図６Ｄの定義によれば、右視点映像が副ＥＳとなる。
優先再生ストリーム決定部は、ＣＴＳ上に衝突が発生する場合、主ＥＳ（メインメディア）及び副ＥＳ（サブメディア）のうちどちらのストリームを再生するかを決定する。例えば、優先再生ストリーム決定部により主ＥＳ（メインメディア）を再生すると決定されれば、データ区間８３４とデータ区間８４４との衝突時に第１ＥＳ（主ＥＳ）のデータ区間８３４が再生（オン）される。したがって、ＣＴが３０１０から５０００までは、データ区間８３４の映像データが優先して再生される。
前述したように、優先再生ストリーム決定部は、ステレオ映像フォーマット情報８１２，８１６及び配置順序情報８１４，８１８と関係なく、ユーザーの入力によって所望のデータストリームを決定できる。例えば、ユーザーが無条件モノスコピック映像データ区間でＣＴＳの衝突が発生する場合、第２ＥＳのデータを再生するように優先再生ストリーム選択信号を入力したとすれば、衝突モノスコピック映像データ抽出部５３０は、衝突発生時に第２ＥＳのモノスコピック映像データを抽出する。
図９Ａは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄに使われるスケーリング関数の一実施形態を示す。
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが０である場合、ステレオスコピック映像は、サンプリング方式でスケーリングされたことを表す。サンプリング方式は、単視点映像から所定の周期の画素が抽出されてスケーリングされる方式である。
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが１である場合、ステレオスコピック映像は、線形方式でスケーリングされたことを表す。線形方式は、単視点映像で少なくとも一つ以上の画素値を利用した線形式を通じて計算された画素値で混合映像の画素を構成する。
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが２である場合、ステレオスコピック映像は、キュービックコンボリューション方式でスケーリングされたことを表す。キュービックコンボリューション方式は、現在の画素を取り囲んでいる１６個の周囲画素に対する距離を考慮して演算された平均値を利用して混合映像の画素を構成する。
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが３ないし２５５である場合、ステレオスコピック映像は、ユーザーが設定したスケーリング関数でスケーリングされたことを表す。
図９Ｂは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄのシンタックスの一実施形態を示す。
ｓｃａｌｉｎｇ＿ｆｕｎｃは、スケーリング方法パラメータｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが３以上である場合、ユーザーにより設定されるスケーリング関数である。本発明の一実施形態は、スケーリング関数を設定するために横方向、縦方向の２次元スケーリング関数係数が必要である。
ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の横方向係数の個数を表す。一実施形態は、ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆを８ビットで表す。
ｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の横方向係数値を表す。係数値は、ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆの数ほど必要であるので、ｉが整数であるとき、０≦ｉ＜ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆの範囲でｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］が設定されねばならない。一実施形態は、ｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］を３２ビットで表す。
ｙｈｏｒ［ｉ］がスケーリングされた映像の横方向画素値、ｘｈｏｒ［ｉ］が原映像の横方向画素値、ｈｈｏｒ［ｉ］は、ユーザーが設定したスケーリング関数の横方向係数値を表すとき、ｙｈｏｒ［ｉ］、ｘｈｏｒ［ｉ］及びｈｈｏｒ［ｉ］の関係式は、次の通りである。
ｙｈｏｒ［ｉ］＝ｘｈｏｒ［ｉ］＊ｈｈｏｒ［ｉ］
ここで、＊は、コンボリューション演算記号を表す。
ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の縦方向係数の個数を表す。一実施形態は、ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆを８ビットで表す。
ｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の縦方向係数値を表す。係数値は、ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆほど必要であるので、ｉが整数であるとき、０≦ｉ＜ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆの範囲でｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］が設定されねばならない。一実施形態は、ｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］を３２ビットで表す。
ｙｖｅｒ［ｉ］がスケーリングされた映像の縦方向画素値、ｘｖｅｒ［ｉ］が原映像の縦方向画素値、ｈｖｅｒ［ｉ］は、ユーザーが設定したスケーリング関数の縦方向係数値を表すとき、ｙｖｅｒ［ｉ］、ｘｖｅｒ［ｉ］及びｈｖｅｒ［ｉ］の関係式は、次の通りである。
ｙｖｅｒ［ｉ］＝ｘｖｅｒ［ｉ］＊ｈｖｅｒ［ｉ］
同様に、ここで、＊は、コンボリューション演算記号を表す。
図９Ｃは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報のシンタックスの一実施形態を示す。
ｃａｍｅｒａ＿ｄｉｓｔａｎｃｅは、ステレオスコピックカメラ間の間隔を表す。一実施形態のｃａｍｅｒａ＿ｄｉｓｔａｎｃｅは、３２ビットで表示される。
ｖｉｅｗ＿ｔｙｐｅは、ステレオスコピック映像がクロスドアイ視点またはパラレルアイ視点などの視点種類を表す。一実施形態のｖｉｅｗ＿ｔｙｐｅは、８ビットで表示される。
Ｖｉｅｗ＿ｄｉｓｔａｎｃｅ＿ｖｓ＿ｄｅｐｔｈは、視距離対有効深さの比率を表す。一実施形態において、Ｖｉｅｗ＿ｄｉｓｔａｎｃｅ＿ｖｓ＿ｄｅｐｔｈは、３２ビットで表示される。
ｃａｍｅｒａ＿ｔｙｐｅは、ステレオスコピック映像を獲得する時に使われたカメラタイプを表すカメラ種類パラメータである。一実施形態のｃａｍｅｒａ＿ｔｙｐｅは、８ビットで表示される。
ｉｓ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、カメラパラメータ伝送如何情報に関するパラメータであって、０でない場合、基準視点及び付加視点カメラのパラメータＣａｍｅｒａ＿ｐａｒａｍｓを伝送する。一実施形態のｉｓ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、１ビットで表示される。
ｉｓ＿ｐａｒａｌｌｅｌ＿ｉｎｆｏは、視差情報Ｐａｒａｌｌａｘ＿ｉｎｆｏ伝送如何を表す。０でない場合、視差情報を伝送する。一実施形態のｉｓ＿ｐａｒａｌｌａｘ＿ｉｎｆｏは、１ビットで表示される。
図９Ｄは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報に使われるカメラパラメータ情報のシンタックスの一実施形態を示す。本実施形態は、基準視点及び付加視点の例示として左側視点及び右側視点を利用した。
カメラパラメータ情報Ｃａｍｅｒａ＿ｐａｒａｍｓは、カメラパラメータ係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓ、左側及び右側カメラのパラメータＬｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓ，Ｒｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓを含む。
ｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、カメラパラメータ係数の個数であって、一実施形態のｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、８ビットで表示される。
Ｌｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、左側カメラのパラメータを表す。Ｌｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、左側視点カメラの回転情報、平行移動情報、映像中心、焦点距離、縦横比などの固有性質に関するパラメータが含まれる。一実施形態のＬｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、３２ビットで表示される。
Ｒｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、右側カメラのパラメータを表す。Ｒｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、右側視点カメラの回転情報、平行移動情報、映像中心、焦点距離、縦横比などの固有性質に関するパラメータが含まれる。一実施形態のＲｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、３２ビットで表示される。
図９Ｅは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための視差情報Ｐａｒａｌｌｅｘ＿ｉｎｆｏのシンタックスの一実施形態を示す。
視差情報Ｐａｒａｌｌｅｘ＿ｉｎｆｏは、ステレオスコピック映像の全体に対して発生した変移を意味する全域変移、及びステレオスコピック映像の所定の客体に対して発生した代表変移ベクトルについての視差情報を含む。代表変移ベクトルの対象となるベクトルは、複数個の変移ベクトルのうち、最小値のベクトル値を有する変移ベクトル及び最大値のベクトル値を有する変移ベクトルがある。また、代表変移の対象となる所定の客体は、背景、前景及び個別的なそれぞれの客体を含む。
視差情報Ｐａｒａｌｌｅｘ＿ｉｎｆｏは、全域変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ、全域変移開始インデックス情報ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ、全域変移ベクトル値ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ、代表変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ及び全域変移ベクトル値ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙを含む。
ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、ペイロード領域に記録されたフレームのうち全域変移情報が変わった回数を表す。一実施形態のｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、３２ビットで表示される。
ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘは、全域ベクトルが発生したフレームのうち全域変移が発生し始めたフレームのインデックスを表す。一実施形態のｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘは、３２ビットで表示される。
ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、全域変移のベクトル値を表す。一実施形態のｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、１６ビットで表示される。
ｉは整数であり、０≦ｉ＜ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙの範囲を有するとき、ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ［ｉ］とｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ［ｉ＋１］番目のフレームとの間の全域変移は、ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ［ｉ］の値を有する。
ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、代表変移の個数情報を表す。一実施形態のｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、８ビットで表示される。
ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、代表変移のベクトル値を表す。一実施形態のｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、１６ビットで表示される。
ｉは整数であり、０≦ｉ＜ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙの範囲を有するとき、ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ［ｉ］は、代表変移値を有する。これに該当する情報は、変移ベクトルの最小値、最大値、代表客体の変移ベクトル情報、変移／深さベクトルマップが表現できる最大最小値を表す。
図１０は、本発明の望ましい実施形態によるステレオスコピック映像データストリームのヘッダ領域の一実施形態を示す。
本発明の一実施形態によるステレオスコピック映像データストリーム生成装置４００，４０５により生成されたステレオスコピック映像データストリームのヘッダ領域には、３次元再生情報領域１０１０、混合映像構成情報領域１０３０及びカメラ情報領域１０５０を備える。
３次元再生情報領域３Ｄ＿ｐｅｒｉｏｄ １０１０は、３次元再生区間の個数情報ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄ １０１１、開始インデックスｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ １０１２及び終了インデックスｅｎｄ＿ｐｏｓｉｔｉｏｎ １０１３を含む。
混合映像構成情報領域Ｓｔｅｒｅｏｓｃｏｐｉｃ ｆｏｒｍａｔ １０３０は、ステレオスコピック映像のフォーマット種類Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅ １０３１、基準視点映像及び付加視点映像の配置順序情報ＬＲ＿ｆｉｒｓｔ １０３２、基準視点映像及び付加視点映像の幅比率に対するパラメータＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏ １０３３、基準視点映像及び付加視点映像の高比率に対するパラメータＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏ １０３４、スケーリング方法ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄ １０３５、スケーリング関数の横方向係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆ １０３６、スケーリング関数の横方向係数値ｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］ １０３７、スケーリング関数の縦方向係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆ［ｉ］ １０３８、スケーリング関数の縦方向係数値ｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］ １０３９を含む。
カメラ情報領域Ｓｔｅｒｅｏｓｃｏｐｉｃ ｃａｍｅｒａ １０５０は、ステレオスコピックカメラ間の間隔ｃａｍｅｒａ＿ｄｉｓｔａｎｃｅ １０５１、ステレオスコピック映像の視点種類ｖｉｅｗ＿ｔｙｐｅ １０５２、視距離対有効深さの比率Ｖｉｅｗ＿ｄｉｓｔａｎｃｅ＿ｖｓ＿ｄｅｐｔｈ １０５３、ステレオスコピック映像獲得時に使われたカメラタイプｃａｍｅｒａ＿ｔｙｐｅ １０５４、カメラパラメータ伝送情報ｉｓ＿ｃａｍｅｒａ＿ｐａｒａｍｓ １０５５、カメラパラメータ係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓ １０５６、左側カメラのパラメータＬｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓ １０５７及び右側カメラのパラメータＲｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓ １０５８を含む。
また、カメラ情報領域Ｓｔｅｒｅｏｓｃｏｐｉｃ ｃａｍｅｒａ １０５０は、視差情報伝送情報ｉｓ＿ｐａｒａｌｌｅｌ＿ｉｎｆｏ １０５９、全域変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ １０６０、全域変移開始インデックス情報ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ［ｉ］ １０６１、全域変移ベクトル値ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ［ｉ］ １０６２、代表変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ １０６３及び代表変移ベクトル値ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ［ｉ］ １０６４を含む。
図１１Ａは、本発明の望ましい実施形態によるステレオスコピック映像データストリームの生成方法のフローチャートである。
ステップ１１１０で、映像データストリームのペイロード領域に記録される映像データのうち、３次元で再生されるステレオスコピック映像データについての３次元再生区間情報が映像データストリームのヘッダ領域に記録される。
ステップ１１２０で、基準視点映像及び付加視点映像を利用して混合映像を構成する方法についての混合映像構成情報がヘッダ領域に記録される。
ステップ１１３０で、ステレオスコピック映像を獲得したカメラについてのカメラ情報がヘッダ領域に記録される。
ステップ１１４０で、情報基準視点映像及び付加視点映像の情報を含む混合映像に構成される時に使われるスケーリング方法情報がヘッダ領域に記録される。
ステップ１１５０で、ステレオスコピック映像の基準視点映像と付加視点映像との視差情報がヘッダ領域に記録される。
ステップ１１７０で、混合映像データが映像データストリームのペイロード領域に記録される。
図１１Ｂは、本発明の一実施形態によるステレオスコピック映像データストリームの生成方法のうち、混合映像構成情報の記録ステップのみを示すフローチャートである。
ステップ１１２２で、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報を含む混合映像を構成する方法についてのステレオ映像フォーマット情報がステレオスコピック映像データストリームのヘッダ領域に記録される。
ステップ１１２４で、混合映像で基準視点映像情報及び付加視点映像情報が配置される順序についての情報である配置順序情報がステレオスコピック映像データストリームのヘッダ領域に記録される。
ステップ１１７０で、ステレオスコピック映像に対する混合映像のデータがステレオスコピック映像データストリームのペイロード領域に記録される。
図１２は、本発明の一実施形態によるステレオスコピック映像データストリームの復号化方法のフローチャートである。ステップ１２１０で、ステレオスコピック映像データストリームの映像データ区間のうち、モノスコピック映像データ区間が決定される。ステレオスコピック映像データストリームは、主ストリーム及び少なくとも一つの副ストリームを含む。主ストリーム及び副ストリームのうちそれぞれのストリーム上の映像データ区間のうち、モノスコピック映像データ区間が決定される。モノスコピック映像フォーマットであるか否かは、映像データ区間のステレオ映像フォーマット情報から確認される。
ステップ１２２０で、モノスコピック映像データ区間のそれぞれのＣＴＳが抽出される。
ステップ１２３０で、モノスコピック映像データ区間の抽出されたＣＴＳの同じ衝突映像データ区間がある場合、衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データが抽出される。現在の映像データ区間が主ストリームの映像データ区間であるか否かは、映像データ区間の配置順序情報から確認される。抽出されたモノスコピック映像データは、モノスコピック映像に復元されて再生される。
一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的な読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録媒体を含む。
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
本発明は、映像関連の技術分野に適用可能である。
５００ ステレオスコピック映像データストリーム復号化装置
５１０ モノスコピック映像データ区間決定部
５２０ 再生ストリームＣＴＳ抽出部
５３０ 衝突モノスコピック映像データ抽出部

Claims (19)

  1. 複数の副ストリームを含むステレオスコピック映像データストリームを復号化する方法において、
    前記複数の副ストリームのうち、他のストリームから複数のモノスコピック映像データ区間の表示時間情報(composition time stamp,CTS)を抽出するステップと、
    前記複数のモノスコピック映像データ区間のうち、同じ表示時間情報を有する映像データ区間が存在する場合、前記他のストリームのうちいずれのストリームが基準視点映像を含む主ストリームであるかを決定するステップと、
    前記決定された主ストリームの少なくとも一つ以上のモノスコピック映像データ区間から抽出されたモノスコピック映像データを再生するステップと、
    を含み、
    前記ステレオスコピック映像データストリームは、前記主ストリーム及び少なくとも一つ以上の副ストリームを備え、前記主ストリーム及び前記少なくとも一つ以上の副ストリームのそれぞれは、少なくとも一つ以上のステレオスコピック映像データ区間及び前記少なくとも一つ以上のモノスコピック映像データ区間を含むことを特徴とするステレオスコピック映像データストリームの復号化方法。
  2. 前記複数のモノスコピック映像データ区間の表示時間情報を抽出するステップは、
    前記ステレオスコピック映像データストリームから少なくとも一つ以上の映像データ区間についてのステレオ映像フォーマット情報を抽出するステップと、
    前記抽出されたステレオ映像フォーマット情報に基づき、少なくとも一つ以上の映像データ区間のうち少なくとも一つ以上のモノスコピック映像データ区間を決定するステップと、
    を含み、
    前記ステレオ映像フォーマット情報は、ステレオスコピックイメージの基準視点映像及び付加視点映像についての情報を利用して混合された映像を生成する方法による映像フォーマットと係わることを特徴とする請求項１に記載のステレオスコピック映像データストリームの復号化方法。
  3. 前記モノスコピック映像データを再生するステップは、
    前記ステレオスコピック映像データストリームから同じ表示時間情報を有する前記映像データ区間のそれぞれについての配置順序情報を抽出するステップと、
    前記配置順序情報に基づき、前記主ストリーム及び前記副ストリームのうち一つの映像データ区間からモノスコピック映像データを抽出するステップと、
    を含み、
    前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項２に記載のステレオスコピック映像データストリームの復号化方法。
  4. 前記複数のモノスコピック映像データ区間を決定するステップは、
    前記ステレオスコピック映像データストリームから前記ステレオ映像フォーマット情報及び少なくとも一つ以上の映像データ区間についての配置順序情報を抽出するステップと、
    前記ステレオ映像フォーマット情報及び前記配置順序情報に基づき、前記主ストリームの少なくとも一つ以上のモノスコピック映像データ区間を決定するステップと、
    前記モノスコピック映像データを再生するステップは、前記決定された主ストリームのモノスコピック映像データ区間から前記モノスコピック映像データを抽出するステップを含み、
    前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像で構成される方法による映像フォーマットについての情報であり、
    前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項２に記載のステレオスコピック映像データストリームの復号化方法。
  5. 前記ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームを決定するステップをさらに含むことを特徴とする請求項１に記載のステレオスコピック映像データストリームの復号化方法。
  6. 前記モノスコピック映像データを再生するステップは、
    前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームで決定されたストリームから抽出された映像データを再構成及び再生するステップをさらに含むことを特徴とする請求項５に記載のステレオスコピック映像データストリームの復号化方法。
  7. 前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含むことを特徴とする請求項２に記載のステレオスコピック映像データストリームの復号化方法。
  8. 前記ステレオスコピック映像データストリームは、ＩＳＯ(International Standardization Organization)基盤のメディアファイルフォーマットであることを特徴とする請求項１に記載のステレオスコピック映像データストリームの復号化方法。
  9. 前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットはmoovボックス、mdatボックス及びmetaボックスを含み、
    前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記metaボックスの下位レベルボックス、前記moovボックスの下位レベル ボックス、前記moov ボックスの下位レベルであるtrakボックスの下位レベルボックス、前記trakボックスの下位レベルボックス及び前記trakボックスの下位レベルであるmetaボックスの下位レベルボックスのうち少なくともいずれか一つから抽出されることを特徴とする請求項４に記載のステレオスコピック映像データストリームの復号化方法。
  10. 複数の副ストリームを含むステレオスコピック映像データストリームを復号化する装置において、
    前記複数の副ストリームのうち他のストリームから複数のモノスコピック映像データ区間の表示時間情報(composition time stamp,CTS)を抽出する表示時間情報抽出部と、
    前記複数のモノスコピック映像データ区間のうち、同じ表示時間情報を有する映像データ区間が存在する場合、前記他のストリームのうちいずれのストリームが基準視点映像を含む主ストリームであるかを決定する衝突モノスコピック映像データ決定部と、
    前記決定された主ストリームの少なくとも一つ以上のモノスコピック映像データ区間から抽出されたモノスコピック映像データを再生する再生部と、
    を備え、
    前記ステレオスコピック映像データストリームは、前記主ストリーム及び少なくとも一つ以上の副ストリームを含み、前記主ストリーム及び前記少なくとも一つ以上の副ストリームそれぞれは少なくとも一つ以上のステレオスコピック映像データ区間及び前記少なくとも一つ以上のモノスコピック映像データ区間を含むことを特徴とするステレオスコピック映像データストリーム復号化装置。
  11. 前記ステレオスコピック映像データストリームから少なくとも一つ以上の映像データ区間についてのステレオ映像フォーマット情報を抽出し、前記抽出されたステレオ映像フォーマット情報に基づき、少なくとも一つ以上の映像データ区間のうち少なくとも一つ以上のモノスコピック映像データ区間を決定するモノスコピック映像データ区間決定部をさらに備え、
    前記ステレオ映像フォーマット情報は、ステレオスコピックイメージの基準視点映像及び付加視点映像についての情報を利用して混合された映像を生成する方法によるイメージフォーマットと係わることを特徴とする請求項１０に記載のステレオスコピック映像データストリーム復号化装置。
  12. 前記再生部は、
    前記ステレオスコピック映像データストリームから同じ表示時間情報を有する前記映像データ区間それぞれについての配置順序情報を抽出し、前記配置順序情報に基づき、前記主ストリーム及び前記副ストリームのうち一つの映像データ区間からモノスコピック映像データを抽出し、
    前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項１１に記載のステレオスコピック映像データストリーム復号化装置。
  13. 前記モノスコピック映像データ区間決定部は、前記ステレオスコピック映像データストリームから前記ステレオ映像フォーマット情報及び少なくとも一つ以上の映像データ区間についての配置順序情報を抽出し、前記ステレオ映像フォーマット情報及び前記配置順序情報に基づき、前記主ストリームの少なくとも一つ以上のモノスコピック映像データ区間を決定し、
    前記再生部は、前記決定された主ストリームのモノスコピック映像データ区間から前記モノスコピック映像データを抽出し、
    前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像で構成される方法による映像フォーマットについての情報であり、
    前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項１１に記載のステレオスコピック映像データストリーム復号化装置。
  14. 前記ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームを決定する再生ストリーム決定部をさらに備えることを特徴とする請求項１０に記載のステレオスコピック映像データストリーム復号化装置。
  15. 前記再生部は、前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームで決定されたストリームから抽出された映像データを再構成及び再生することを特徴とする請求項１４に記載のステレオスコピック映像データストリーム復号化装置。
  16. 前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含むことを特徴とする請求項１１に記載のステレオスコピック映像データストリーム復号化装置。
  17. 前記ステレオスコピック映像データストリームは、ＩＳＯ基盤のメディアファイルフォーマットであることを特徴とする請求項１０に記載のステレオスコピック映像データストリーム復号化装置。
  18. 前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットはmoovボックス、mdatボックス及びmetaボックスを含み、
    前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記metaボックスの下位レベルボックス、前記moovボックスの下位レベルボックス、前記moovボックスの下位レベルであるtrakボックスの下位レベルボックス、前記trakボックスの下位レベルボックス及び前記trakボックスの下位レベルであるmetaボックスの下位レベルボックスのうち少なくともいずれか一つから抽出されることを特徴とする請求項１３に記載のステレオスコピック映像データストリーム復号化装置。
  19. 請求項１ないし９のうちいずれか一つに記載のステレオスコピック映像データストリームの復号化方法を具現するためのプログラムが収録されたコンピュータで読み取り可能な記録媒体。
JP2013045653A 2008-01-31 2013-03-07 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 Expired - Fee Related JP5705250B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080010320A KR101506217B1 (ko) 2008-01-31 2008-01-31 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR10-2008-0010320 2008-01-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008175831A Division JP5221227B2 (ja) 2008-01-31 2008-07-04 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置

Publications (2)

Publication Number Publication Date
JP2013118701A JP2013118701A (ja) 2013-06-13
JP5705250B2 true JP5705250B2 (ja) 2015-04-22

Family

ID=40931259

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008175831A Expired - Fee Related JP5221227B2 (ja) 2008-01-31 2008-07-04 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
JP2013045653A Expired - Fee Related JP5705250B2 (ja) 2008-01-31 2013-03-07 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008175831A Expired - Fee Related JP5221227B2 (ja) 2008-01-31 2008-07-04 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置

Country Status (3)

Country Link
US (1) US8259162B2 (ja)
JP (2) JP5221227B2 (ja)
KR (1) KR101506217B1 (ja)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
JP4546246B2 (ja) 2002-10-05 2010-09-15 デジタル ファウンテン， インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
CN103124182B (zh) 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
EP2512135B1 (en) 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
EP2203836A4 (en) 2007-09-12 2014-11-05 Digital Fountain Inc GENERATING AND COMMUNICATING SOURCE IDENTIFICATION INFORMATION TO ENABLE RELIABLE COMMUNICATIONS
EP2229784B1 (de) * 2007-12-27 2019-02-27 psHolix AG Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
WO2010025655A1 (zh) * 2008-09-02 2010-03-11 华为终端有限公司 3d视频通信方法、发送设备、系统及图像重构方法和系统
KR20110074823A (ko) * 2008-09-30 2011-07-04 파나소닉 주식회사 3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치
US20110234775A1 (en) * 2008-10-20 2011-09-29 Macnaughton Boyd DLP Link System With Multiple Projectors and Integrated Server
US10742953B2 (en) * 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
US9036714B2 (en) 2009-01-26 2015-05-19 Thomson Licensing Frame packing for video coding
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
PL2433429T3 (pl) * 2009-05-18 2019-03-29 Koninklijke Philips N.V. Punkty wejścia trójwymiarowego odtwarzania 3d ze zmienioną prędkością
TWI411870B (zh) * 2009-07-21 2013-10-11 Teco Elec & Machinery Co Ltd 立體影像產生方法及系統
KR101347744B1 (ko) * 2009-08-19 2014-01-03 서울시립대학교 산학협력단 영상 처리 장치 및 방법
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
JP5375489B2 (ja) 2009-09-29 2013-12-25 ソニー株式会社 画像信号処理装置、画像信号処理方法、プログラム、および画像信号処理システム
US8953019B2 (en) * 2009-10-20 2015-02-10 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US10095953B2 (en) 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
WO2011078883A1 (en) * 2009-12-24 2011-06-30 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
US9848182B2 (en) 2009-12-24 2017-12-19 Magi International Llc Method and apparatus for photographing and projecting moving images in three dimensions
TWI404405B (zh) * 2009-12-25 2013-08-01 Mstar Semiconductor Inc 具有螢幕顯示功能之影像處理裝置及影像處理方法
WO2011094019A1 (en) * 2010-01-29 2011-08-04 Thomson Licensing Block-based interleaving
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5494152B2 (ja) * 2010-04-08 2014-05-14 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
KR20110115087A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
JP6088968B2 (ja) * 2010-06-09 2017-03-01 サムスン エレクトロニクス カンパニー リミテッド フラグメント基盤のマルチメディアストリーミングサービス提供方法とその装置、並びにフラグメント基盤のマルチメディアストリーミングサービス受信方法とその装置
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN105847781B (zh) * 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
CN102959963A (zh) * 2010-09-20 2013-03-06 联发科技（新加坡）私人有限公司 执行关于3d视频流的播放管理的方法以及相关视频播放系统
JP5697938B2 (ja) * 2010-10-19 2015-04-08 シャープ株式会社 送信機、受信機、通信システム、表示制御方法、およびプログラム
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
EP2648407A4 (en) * 2010-12-02 2014-07-30 Korea Electronics Telecomm METHOD AND DEVICE FOR TRANSMITTING STEREOSCOPIC VIDEO CONTENT
KR20120088100A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 디스플레이 컨트롤러 및 디스플레이 시스템
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US8643699B2 (en) 2011-04-26 2014-02-04 Mediatek Inc. Method for processing video input by detecting if picture of one view is correctly paired with another picture of another view for specific presentation time and related processing apparatus thereof
GB2490886B (en) 2011-05-13 2017-07-05 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
WO2012176684A1 (ja) * 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US20140240472A1 (en) * 2011-10-11 2014-08-28 Panasonic Corporation 3d subtitle process device and 3d subtitle process method
JP2013085157A (ja) * 2011-10-12 2013-05-09 Toshiba Corp 画像処理装置、画像処理方法および画像処理システム
JP4984192B2 (ja) * 2012-02-01 2012-07-25 ソニー株式会社 記録方法
JP4984193B2 (ja) * 2012-02-01 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
GB201202754D0 (en) * 2012-02-17 2012-04-04 Qatar Foundation Multicasting multiview 3D videos
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
JP6214233B2 (ja) 2013-06-21 2017-10-18 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム。
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
WO2018009799A1 (en) 2016-07-08 2018-01-11 Magi International Llc Portable motion picture theater
KR20190136417A (ko) * 2018-05-30 2019-12-10 삼성전자주식회사 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
US20200092539A1 (en) 2018-09-17 2020-03-19 Magi International, LLC Method and apparatus for projecting 2d and 3d motion pictures at high frame rates

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581638A (en) * 1993-07-26 1996-12-03 E-Systems, Inc. Method for autonomous image registration
JPH0984057A (ja) * 1995-09-20 1997-03-28 Sanyo Electric Co Ltd 立体映像装置
EP2259584B1 (en) * 1996-12-04 2013-10-16 Panasonic Corporation Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JPH11168711A (ja) * 1997-12-03 1999-06-22 Toshiba Corp テレビジョン送信装置および受信装置
JP2000134642A (ja) 1998-10-21 2000-05-12 Toshiba Corp 立体モードと平面モードを持つ立体映像再生装置とその方法
JP4145122B2 (ja) * 2002-09-27 2008-09-03 シャープ株式会社 立体画像表示装置
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005094168A (ja) 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2006129463A (ja) * 2005-09-26 2006-05-18 Kazunari Era 立体視化パラメータ記憶媒体
KR100871740B1 (ko) * 2006-08-31 2008-12-05 한국정보통신대학교 산학협력단 멀티미디어 방송 콘텐츠용 통합 파일 포맷 구조를 가진 데이터를 기록한 기록 매체, 멀티미디어 방송 콘텐츠 서비스 시스템 및 그 방법
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
EP2757788B1 (en) * 2007-06-19 2020-03-11 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
MX2010004275A (es) * 2007-10-19 2010-07-29 Samsung Electronics Co Ltd Metodo para grabar datos de imagenes tridimensionales.
KR101419979B1 (ko) * 2008-01-29 2014-07-16 톰슨 라이센싱 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
CN102017640B (zh) * 2008-05-01 2012-11-28 松下电器产业株式会社 再现装置、集成电路与再现方法
EP2605244B1 (en) * 2008-09-17 2015-11-04 Panasonic Intellectual Property Management Co., Ltd. Recording medium and playback device
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
AU2009332433A1 (en) * 2008-12-26 2010-07-01 Panasonic Corporation Recording medium, reproduction device, and integrated circuit
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2010143441A1 (ja) * 2009-06-11 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体

Also Published As

Publication number Publication date
US8259162B2 (en) 2012-09-04
US20090195640A1 (en) 2009-08-06
JP2013118701A (ja) 2013-06-13
JP2009182953A (ja) 2009-08-13
KR20090084259A (ko) 2009-08-05
KR101506217B1 (ko) 2015-03-26
JP5221227B2 (ja) 2013-06-26

Similar Documents

Publication Publication Date Title
JP5705250B2 (ja) ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
KR101427663B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
EP2433429B1 (en) Entry points for 3d trickplay
JP2005094168A (ja) ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP2011223482A (ja) 画像処理装置、画像処理方法、およびプログラム
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150224

R150 Certificate of patent or registration of utility model

Ref document number: 5705250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees