JP5575566B2 - 放送データ受信方法およびその装置 - Google Patents

放送データ受信方法およびその装置 Download PDF

Info

Publication number
JP5575566B2
JP5575566B2 JP2010155175A JP2010155175A JP5575566B2 JP 5575566 B2 JP5575566 B2 JP 5575566B2 JP 2010155175 A JP2010155175 A JP 2010155175A JP 2010155175 A JP2010155175 A JP 2010155175A JP 5575566 B2 JP5575566 B2 JP 5575566B2
Authority
JP
Japan
Prior art keywords
video
stereoscopic
stream
information
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010155175A
Other languages
English (en)
Other versions
JP2011019224A5 (ja
JP2011019224A (ja
Inventor
グク−ジン ユン
ヒョン イ
ボン−ホ イ
グァン−スン イ
ナム−ホ ホ
グァン−ヒ ジョン
ジン−ウン キム
ス−イン イ
フンシク パク
ギュヒョン キム
ガン−フン パク
ドク−ヨン ソ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2011019224A publication Critical patent/JP2011019224A/ja
Publication of JP2011019224A5 publication Critical patent/JP2011019224A5/ja
Application granted granted Critical
Publication of JP5575566B2 publication Critical patent/JP5575566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、デジタル放送システムの放送データ受信方法およびその装置に関する。
図１は、従来のデジタル放送システムで２Ｄ映像を送信する送信機の構成を示すブロック図である。図１を参照すれば、ビデオエンコーダ１２は入力される２Ｄビデオ信号を符号化してビデオ基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ：ＥＳ）を生成し、オーディオエンコーダ１４は入力されるオーディオ信号を符号化してオーディオ基礎ストリーム（ＥＳ）を生成する。このように生成されたビデオ基礎ストリーム（ＥＳ）およびオーディオ基礎ストリーム（ＥＳ）はシステムエンコーダおよび多重化処理部１６に入力される。システムエンコーダおよび多重化処理部１６は、セクション発生器１８、ＰＥＳパケット化器２０（Ｐａｃｋｅｔｉｚｅｒ）、ＴＳ多重化器２２（Ｍｕｌｔｉｐｌｅｘｅｒ）およびチャネルエンコーダ２４を備える。
セクション発生器１８は、放送プログラムに対する基本情報を含むＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）セクションを生成する。ＰＥＳパケット化器２０は、ビデオエンコーダ１２とオーディオエンコーダ１４で各々生成した基礎ストリームＥＳの入力を受けてＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット化し、このパケット化器２０はＩＳＯ／ＩＥＣ １３８１８−１ ｓｙｓｔｅｍｓ標準に従う。ＴＳ多重化器２２は、ＰＥＳパケットおよびＰＳＩセクションをＭＰＥＧ−２伝送ストリーム（ＴＳ）（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）に多重化する。その次に、伝送ストリーム（ＴＳ）は、チャネルエンコーダ２４によってチャネルエンコードされた後、伝送される。
２Ｄ映像と異なり、ステレオスコピック映像（ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｄｅｏ）は構成方法に応じて１つの基礎ストリーム（ＥＳ）で構成されたシングルストリームモードと２つの基礎ストリームで構成されたデュアルストリームモードに分けることができる。図２を参照すれば、ステレオスコピック映像は（ａ）ないし（ｄ）のように１つの基礎ストリーム（ＥＳ）で構成されることもあり、（ｅ）のように２つの基礎ストリーム（ＥＳ）で構成されることもある。
最近になってステレオスコピック映像サービスが、論点とされるに伴い、シングルストリームモードおよびデュアルストリームモードの２種類モードを共に支援しつつユーザ端末にステレオスコピック映像サービスを提供することが要求される。
したがって、本発明は前述した問題を解決するためのデジタル放送システムの放送データ受信方法およびその装置に関する。
本発明の目的は、先に言及した目的に制限されず、言及されていない本発明の他の目的および長所は下記の説明によって理解することができ、本発明の実施形態によって分明に理解されるだろう。また、本発明の目的および長所は、特許請求の範囲に示した手段およびその組合せによって実現されうることを容易に知ることができるものである。
このような目的を達成するための本発明の一実施形態によるデジタル放送システムの放送データ受信方法は、３次元ビデオサービスを提供する放送データ受信方法であって、放送信号を受信するステップと、前記放送信号からシグナリング情報及びビデオシーケンスを逆多重化するステップと、前記シグナリング情報に応じて前記逆多重化したビデオシーケンスを復号するステップとを含み、前記シグナリング情報は、前記ビデオシーケンスによるビデオサービスがデュアルストリームによる左映像及び右映像を含むステレオスコピックビデオサービスであることを表す情報、及び前記ステレオスコピックサービスを記述する情報を含み、前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、ステレオスコピックビデオシーケンスが基本映像（base view）のビデオストリームであるか、または付加映像（additional view）のビデオストリームであるかを表し、前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、前記基本映像のビデオストリームが左映像ストリームであるか否かを表す情報をさらに含む。
また、本発明の一実施形態によるデジタル放送システムの放送データ受信装置は、３次元ビデオサービスを提供する放送データ受信装置であって、放送信号を受信する受信部と、前記放送信号からシグナリング情報及びビデオシーケンスを逆多重化する逆多重化部と、前記シグナリング情報に応じて前記逆多重化したビデオシーケンスを復号する復号部とを備え、前記シグナリング情報は、前記ビデオシーケンスによるビデオサービスがデュアルストリームによる左映像及び右映像を含むステレオスコピックビデオサービスであることを表す情報及び前記ステレオスコピックサービスを記述する情報を含み、前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、ステレオスコピックビデオシーケンスが基本映像（base view）のビデオストリームであるか、または付加映像（additional view）のビデオストリームであるかを表し、前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、前記基本映像のビデオストリームが左映像ストリームであるか否かを表す情報をさらに含む。
本発明によれば、ステレオスコピックビデオの構成方法によるステレオスコピックビデオサービスを提供することができる。すなわち、ステレオスコピックビデオがシングルストリームモードおよびデュアルストリームモードで構成された場合、すべてを支援するステレオスコピックビデオサービスを提供することができ、ステレオスコピックビデオサービスの幅広い活用が期待される。
従来のデジタル放送システムでの２Ｄ送信機の構成を示すブロック図である。 ステレオスコピックビデオの構成方法を説明するための図である。 ステレオスコピックビデオの構成方法を説明するための図である。 ステレオスコピックビデオの構成方法を説明するための図である。 ステレオスコピックビデオの構成方法を説明するための図である。 ステレオスコピックビデオの構成方法を説明するための図である。 本発明の一実施形態によるステレオスコピックビデオ送信方法を示すフローチャートである。 本発明の一実施形態によるステレオスコピックビデオ受信方法を示すフローチャートである。 本発明の一実施形態によるステレオスコピックサービス記述子を示す図である。 本発明の一実施形態によるステレオスコピックオブジェクト記述子を示す図である。 本発明の一実施形態によるデュアルストリームモード時の記述子の一実施形態を示す図である。 本発明の他の実施形態によるステレオスコピックビデオ受信方法を示すフローチャートである。 本発明の一実施形態によるステレオスコピックビデオ受信方法を説明する図である。 本発明の一実施形態によるステレオスコピックビデオ送信装置の構成を示すブロック図である。 本発明の一実施形態によるステレオスコピックビデオ受信装置の構成を示すブロック図である。
前述した目的、特徴および長所は添付された図面を参照して詳細に後述され、これに伴い本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるであろう。本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にぼかしうると判断される場合には詳細な説明を省略する。以下、添付された図面を参照して本発明による好ましい実施例を詳細に説明する。図において同一の参照符号は同一または類似の構成要素を示すものとして使用される。
図２Ａないし図２Ｅを参照してステレオスコピックビデオの構成方法を説明する。ステレオスコピックビデオ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｄｅｏ）は、構成方法に応じて１つの符号化ストリームで構成されたシングルストリームモードと２つの符号化ストリームで構成されたデュアルストリームモードに分けることができる。符号化ストリームは、ビデオまたはオーディオなど一種類のデータを符号化したストリームをいい、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）での基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ：ＥＳ）でありうる。
シングルストリームモードは、図２Ａないし図２Ｄに示したように左右の映像が画面分割（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）、垂直インタリーブ走査（Ｖｅｒｔｉｃａｌ ｌｉｎｅ ｉｎｔｅｒｌｅａｖｅｄ）、水平インタリーブ走査（Ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ ｉｎｔｅｒｌｅａｖｅｄ）、順次フレーム（Ｆｒａｍｅ ｓｅｑｕｅｎｔｉａｌ）等のような構成方法（ｃｏｍｐｏｓｉｔｉｏｎ ｔｙｐｅ）によって１フレーム内に合成された映像で、１つの符号化ストリームで構成される映像を意味する。デュアルストリームモードは、図２の（ｅ）のように左右の映像が各々符号化されたり、または相互参照という方法によって符号化された２つの符号化ストリームで構成される映像を意味する。
本願発明において、基準映像は、従来の２Ｄ端末が互換認識して再生する映像または３Ｄ再生時にユーザの命令等により２Ｄ再生モードに転換される時、再生する映像をいい、付加映像は、基準映像の視点と異なる視点の映像をいう。例えば、基準映像が左視点映像（左映像）ならば、付加映像は右視点映像（右映像）となり、基準映像が右視点映像（右映像）ならば、付加映像は左視点映像（左映像）となりうる。
図３を参照して本発明の一実施形態によるステレオスコピックビデオ送信方法を説明する。まず、ステレオスコピックビデオ送信装置は、所定の構成方法に応じてステレオスコピックビデオを生成する（Ｓ３０１）。ここで、構成方法は、左右の映像を利用してステレオスコピックビデオを１つまたは２つの符号化ストリームで構成する方法をいう。例えば、前述したように、図２Ａないし図２Ｄの構成方法によってステレオスコピックビデオを１つの符号化ストリームで構成することもでき、図２Ｅの構成方法によってステレオスコピックビデオを２つの符号化ストリームで構成することができる。
次に、ステレオスコピックビデオ送信装置は、Ｓ３０１ステップで生成したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報を生成する（Ｓ３０３）。構成方法によるステレオスコピックビデオに対する付加情報は、シングルストリームモードの場合には左右の映像の位置情報（１つの符号化ストリーム内で左右の映像がどこに位置するのかに対する情報）を含み、デュアルストリームモードの場合には基準映像および付加映像を識別する情報(伝送しようとするステレオスコピックビデオの基準映像が左映像なのか前記右映像に対する情報)、左右の映像を識別する情報（各符号化ストリームが左映像なのか前記右映像なのかに対する情報）および各符号化ストリーム間の相関関係を表す情報(各符号化ストリームが基準映像なのか付加映像なのかに対する情報、および基準映像の符号化ストリームと付加映像の符号化ストリームが１つの対（ｐａｉｒ）であることを表す情報)を含むことができる。
この時、受信側に伝送するためにＳ３０３ステップで生成する情報は前述した全ての情報を含む必要はない。言いかえれば、Ｓ３０１ステップで生成したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報のうち、一部は送信側と受信側間に予め定義して使用したり、別途の規約で定義したところに従い使用することができる。このような送信側と受信側間の事前に定義された情報および別途の規約に定義された情報は、送信側から受信側に伝送される必要がない。例えば、デュアルストリームモード時に左映像(または右映像)を基準映像とする情報が送信側と受信側間に予め定義されていたり、別途の規約に予め定義されている場合には、基準映像および付加映像の識別のための情報はＳ３０３ステップで生成して伝達する必要はない。Ｓ３０３ステップで生成する情報に対しては後に詳述する。
次に、ステレオスコピックビデオ送信装置は、Ｓ３０１ステップで生成したステレオスコピックビデオ、およびＳ３０３ステップで生成した情報を端末に伝送する（Ｓ３０５）。一実施形態として、Ｓ３０１ステップで生成した１つまたは２つの符号化ストリームは、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット化された後、Ｓ３０３ステップで生成した情報とともに多重化されて伝送ストリームＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）の形態で伝送されうる。もちろん、伝送ストリームはチャネルエンコードを経て伝送されうる。この時、デュアルストリームモードの場合、２つの符号化ストリームは同一チャネルによって伝送することができ、各々別個のチャネルによって伝送することもできる。例えば、後者の場合には基準映像の符号化ストリーム（以下「基準映像ストリーム」という）は、第１チャネルによって伝送し、付加映像の符号化ストリーム（以下「符号映像ストリーム」という）は、第２チャネルによって伝送することができる。
図５および図６の一実施形態を参照してＳ３０３ステップで生成する情報について説明する。一実施形態によれば、Ｓ３０３ステップで生成した情報を表すための新たな記述子（ｄｅｓｃｒｉｐｔｏｒ）を定義することができる。図５では本発明の一実施形態によるステレオスコピックビデオ識別、ステレオスコピックビデオの構成方法および構成方法による付加情報のうち一部を含む記述子をステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）と定義した。
図５を具体的にみれば、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇは、該当記述子がステレオスコピックサービス記述子であることを表す識別子であって、ｕｓｅｒ ｐｒｉｖａｔｅで定義されたｔａｇ ｖａｌｕｅのうちの一つとして定めて使用できる。ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、該当記述子の長さを表すもので、該当記述子の全体長さを表すこともでき、直後にくるフィールド（ｆｉｅｌｄ）の全体長さを表すこともできる。
ｓｔｅｒｅｏＭｏｎｏ＿ｓｅｒｖｉｃｅ＿ｆｌａｇは、端末に伝送しようとするビデオサービスがステレオスコピックビデオサービスなのか否かを表すもので、例えば１の値を有する場合、ステレオスコピックビデオサービスであることを表すことができる。他の実施形態としては、ステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）が存在すれば、端末に伝送しようとするビデオサービスがステレオスコピックビデオサービスであることを表すものとみることができる。したがって、この場合にはｓｔｅｒｅｏＭｏｎｏ＿ｓｅｒｖｉｃｅ＿ｆｌａｇを別途に定義する必要がない。
ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅは、ステレオスコピックビデオの構成方法を表すもので、例えば、表１のように定義することができる。表１ではｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅが１（２進法で００１）ないし４（２進法で１００）である場合、シングルストリームモードに該当し、ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅが５（２進法で１０１）である場合、デュアルストリームモードに該当する。
Figure 0005575566
ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔは、ステレオスコピックビデオの構成方法に応じて左右の映像の位置情報または基準映像／付加映像を識別する情報を表す。シングルストリームモードの場合には左映像および右映像の位置を表し、デュアルストリームモードの場合には基準映像が左映像なのか右映像なのかを表すことができる。一実施形態で、表２のように定義することができる。
Figure 0005575566
図６は、本発明の一実施形態に応じて、デュアルストリームモードの場合に左右の映像の識別のための情報および各符号化ストリーム間の相関関係情報を含む記述子をステレオスコピックオブジェクト記述子Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒとして定義した。ステレオスコピックオブジェクト記述子は、デュアルストリームモードの各符号化ストリームに対して生成する。
図６を具体的にみれば、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇは、該当記述子がステレオスコピックオブジェクト記述子であることを表す識別子であって、ｕｓｅｒ ｐｒｉｖａｔｅで定義されたｔａｇ ｖａｌｕｅのうち、一つに定めて使用できる。ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、該当記述子の長さを表すもので、該当記述子の全体長さを表すこともでき、直後にくるフィールド（ｆｉｅｌｄ）らの全体長さを表すこともできる。
ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｉｎｄｅｘは、該当符号化ストリームが左映像なのか右映像なのかを識別する。デュアルストリームモードの場合、ステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）内に含まれたｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ値によって左右の映像のうち、どちらが基準映像なのかを知ることができるが、２つの符号化ストリームのうち、どの符号化ストリームが左映像なのか右映像なのかを識別することができない。したがって、ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｉｎｄｅｘによってこれを識別することができる。
ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、左右の映像の独立または従属を識別する。例えば、ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇが１である場合は、該当符号化ストリームが従属ストリームであることを表し、０である場合は、独立ストリームであることを表す。ここで、従属ストリームは、独立ストリームに対して付加ストリームであることを意味し、独立ストリームは、従来端末で再生する「基準映像ストリーム」を意味する。他の実施形態では、ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを定義しないこともできる。ステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）内に含まれたｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔによって左右の映像のうち、どちらが基準映像なのかを知り、ステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）内に含まれたｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｉｎｄｅｘによって２つの符号化ストリームのうち、どの符号化ストリームが左映像なのか右映像なのかを識別することによって、２つの符号化ストリームのうち、どの符号化ストリームが基準映像ストリームなのかを知ることもできる。
Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤは、従属ストリームが参照する独立ストリームの識別子を表す。すなわち、Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤは、「付加映像ストリーム」において基準映像ストリームを参照するための基準映像ストリームの識別子をいう。Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤは、デュアルストリームモードで２つの符号化ストリームが１つの対であることを表す情報であって、多様に変形されて使用されうる。例えば、Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤは、基準映像ストリームのパケットＩＤでありうるし、基準映像ストリームを含む伝送ストリームのＩＤ（ＴＳ＿ＰＩＤ）でありうるし、基準映像ストリームが伝送されるチャネルのＩＤ（Ｃｈａｎｎｅｌ＿ＩＤ）でもありうる。したがって、これによって基準映像と付加映像に対して関連性を提供する。これは、ステレオスコピックビデオは２つの符号化ストリームで構成されたとしても端末では１つの３次元映像として再構成され表現されなければならないため、端末が２つの符号化ストリームをステレオスコピックビデオ再生のための１つのオブジェクトとして認識できるようにするためである。言いかえれば、受信側はＥｌｅｍｅｎｔａｒｙ＿ＰＩＤ値を利用して２つの符号化ストリームをマッチングすることによってステレオスコピックビデオを再生することができるようになる。
他の実施形態によれば、Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤは、独立ストリームが参照する従属ストリームの識別子として具現することができる。したがって、この場合付加映像ストリームの識別子（Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ）は、付加映像ストリームのパケットＩＤでありうるし、付加映像ストリームを含む伝送ストリームのＩＤ（ＴＳ＿ＰＩＤ）でありうるし、付加映像ストリームが伝送されるチャネルのＩＤ（Ｃｈａｎｎｅｌ＿ＩＤ）でもありうる。
図７は、本発明の一実施形態によるステレオスコピックビデオが左右独立した映像の２つの符号化ストリームで構成される時、ＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）のＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）内で前述した記述子の一実施形態を説明するための図である。
図７を参照すれば、左映像をＭＰＥＧ−２ Ｖｉｄｅｏコーデックで符号化して生成した符号化ストリームのパケットＩＤ（ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ：ＥＳ＿ＰＩＤ）は１０１であり、右映像をＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）コーデックで符号化して生成した符号化ストリームのパケットＩＤは１０２である。
ステレオスコピックサービス記述子「Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）は、ＰＭＴ内のＰｒｏｇｒａｍ＿ｉｎｆｏ＿ｌｅｎｇｔｈの直後の記述子ｄｅｓｃｒｉｐｔｏｒに含むことができる（図８参照）。
各フィールドを説明すれば、「ｓｔｅｒｅｏＭｏｎｏ＿ｓｅｒｖｉｃｅ＿ｆｌａｇ＝１」は、ステレオスコピック放送であることを表し、「ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ＝５」は、ステレオスコピックビデオの構成方法が左右の映像が独立した２つの符号化ストリームで構成されることを表す。「ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ＝１」は左映像が基準映像であることを表す。
「ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ＝５」であるため、デュアルストリームモードに該当する。したがって、左右の映像符号化ストリーム各々に対する情報を表す部分にステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）を含める。例えば、ステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）は、各符号化ストリームの特性を表現するｅｌｅｍｅｎｔａｒｙ＿ＰＩＤの直後の記述子内に位置することができる（図９参照）。シングルストリームモードの場合には、すなわち、ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅが１ないし４である場合には（表１参照）、ステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）を生成する必要がない。
左映像符号化ストリームは、ＭＰＥＧ−２ Ｖｉｄｅｏコーデックを使用するため「ｓｔｒｅａｍ＿ｔｙｐｅ＝０ｘ０２」であることを設定し、「ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ＝１０１」であることを設定する。左映像符号化ストリームに対するステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）をみれば、「ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｉｎｄｅｘ＝１」と設定し、該当符号化ストリームが左映像であることを表す。これで、ステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）の「ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ」フィールド値とステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）の「ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｉｎｄｅｘ」フィールド値によってｅｌｅｍｅｎｔａｒｙ＿ＰＩＤが１０１である符号化ストリームが左映像および基準映像に該当することを識別することができる。図７の一実施形態ではまた、左映像が基準映像であるため「ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ＝０」と設定して独立ストリームであることを表すことができる。前述したように、本発明において独立ストリームは、該当符号化ストリームが従来の端末で再生する基準映像ということを表し、該当独立ストリームと関連した従属ストリームが存在しているということを意味する。
右映像符号化ストリームは、ＡＶＣコーデックを使用するため「ｓｔｒｅａｍ＿ｔｙｐｅ＝０ｘ１Ｂ」であることを設定し、「ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ＝１０２」であることを設定する。右映像符号化ストリームに対するステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）をみれば、「ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｉｎｄｅｘ＝０」と設定して該当符号化ストリームが右映像であることを表す。この時、右映像は付加映像であるため「ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ＝１」と設定して該当符号化ストリームが従属ストリームであることを表し、「Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ＝１０１」と設定して独立ストリームのｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ値を表す。これで、ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤが１０１である符号化ストリームとｅｌｅｍｅｎｔａｒｙ＿ＰＩＤが１０２である符号化ストリームが基準映像ストリームと付加映像ストリームという相関関係があることを表す。他の実施形態では、前述したように、基準映像ストリーム（図７では左映像符号化ストリーム）に対したステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）内に付加映像ストリームの識別子「Ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ＝１０２」と設定することもできる。本発明で従属ストリームは、それ自体で従来のコーデックで再生可能なものであり、可能でないこともある。そのため、従属ストリームは、３次元再生のために付加的に要求される付加データとしてみることができる。
デュアルストリームモードの場合、左右の映像はサービス形態に応じて同一のコーデック（例：左映像：ＭＰＥＧ−２ ｖｉｄｅｏ、右映像：ＭＰＥＧ−２ ｖｉｄｅｏ）を使用することもでき、図７の一実施形態のように各々他のコーデックを使用することもできる。これは従来のデジタル放送と互換性を提供できるようにし、専用３Ｄ放送の場合は多様な商用コーデックを利用して符号化することができるようにする。
Ｓ３０３ステップで生成した情報は、図５および図６のような形態の組合せで使用されうるだけでなく、情報各々が独立的に使用されうるなど多様な形態の組合せで使用されうる。ここで多様な形態の組合せを有する情報は前述した記述子（ステレオスコピックサービス記述子、ステレオスコピックオブジェクト記述子）以外に新たに定義した記述子内に含まれ使用されることもできる。もちろん、前述したように、前述した記述子（ステレオスコピックサービス記述子、ステレオスコピックオブジェクト記述子）内に定義した各フィールドのうち、一部は送信側と受信側間に予め定義されたり、別途の規約に予め定義して使用することもできる。
前述した記述子（ステレオスコピックサービス記述子、ステレオスコピックオブジェクト記述子）を含み、本発明の一実施形態に応じて新たに定義した記述子は、図７で説明した実施形態の他に、他の位置で使用されることができる。例えば、本発明により新たに定義した記述子は、ＰＳＩのＰＭＴ、ＰＳＩＰ（Ｐｒｏｇｒａｍ ａｎｄ Ｓｙｓｔｅｍ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）のＶＣＴ（Ｖｉｒｔｕａｌ Ｃｈａｎｎｅｌ Ｔａｂｌｅ）およびＰＳＩＰのＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）等のテーブルのうち、何れか１つ以上に含まれて伝送されることができる。
図４を参照して本発明の一実施形態によるステレオスコピックビデオ受信方法を説明する。まず、ステレオスコピックビデオ受信装置は、ステレオスコピックビデオ、受信したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報を受信する（Ｓ４０１）。前述したように、デュアルストリームモードの場合、２つの符号化ストリームは同一チャネルによって受信されうるし、各々部個のチャネルによって受信されうる。また、前述したように、受信下ビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオに対した付加情報のうち、一部だけが伝送された場合には伝送された一部情報のみを受信する。Ｓ４０１ステップで受信した情報に対しては先に詳細に説明したので、ここでは省略する。
次に、ステレオスコピックビデオ受信装置は、ステレオスコピックビデオの構成方法に応じてステレオスコピックビデオに対する付加情報を利用してステレオスコピックビデオを獲得する（Ｓ４０３）。シングルストリームモードの場合には受信された情報を利用して左右の映像がどこに位置するのかを知るようになる。デュアルストリームモードの場合には受信された情報を利用して受信されたステレオスコピックビデオの基準映像が左映像なのか右映像なのか、各符号化ストリームが左映像なのか右映像なのかおよび各符号化ストリーム間の相関関係を知るようになる。これによって、ステレオスコピックビデオ受信装置は、再生可能なステレオスコピックビデオを獲得することができるようになる。ここで前述したように、送信側と受信側間に予め定義されていたり、別途の規約に予め定義された情報が利用されうる。
次に、ステレオスコピックビデオ受信装置は、獲得したステレオスコピックビデオを再生する（Ｓ４０５）。
図８および図９の一実施形態を参照してＳ４０３ステップおよびＳ４０５ステップについて説明する。図８は、本発明の一実施形態によるステレオスコピックビデオを受信して逆多重化およびデコードによってステレオスコピックビデオを獲得し再生する方法を示したフローチャートであり、図９は、本発明の一実施形態によるデュアルストリームモードのステレオスコピックビデオを受信して逆多重化およびデコードによってステレオスコピックビデオを獲得し再生する方法を説明する図である。
ステレオスコピックビデオ受信装置は、Ｓ３０５ステップで一実施形態として説明したように送信装置で多重化され伝送される伝送ストリーム（ＴＳ）を受信してＴＳパケットを抽出する（Ｓ８０１）。まず伝送ストリーム（ＴＳ）内でＰＩＤが０×００００であるＰＡＴを解析してプログラムと、そのプログラムのＰＭＴのＰＩＤを探し出す（Ｓ８０３）。図９を参照すれば、ＰＭＴのＰＩＤ（Ｐｒｏｇｒａｍ＿ｍａｐ＿ＰＩＤ）は０×０１００であることを知ることができる。
次に、ＰＩＤが０×０１００であるＰＭＴを解析して種類別符号化ストリーム（ＥＳ）のｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ（ＥＳ＿ＰＩＤ）、ストリームタイプ（ｓｔｒｅａｍ＿ｔｙｐｅ）および各種記述子（ｄｅｓｃｒｉｐｔｏｒ）を抽出する（Ｓ８０５）。ＰＭＴ内の記述子は、二種類のループ（ｌｏｏｐ）で構成されるがＰＭＴ内のｐｒｏｇｒａｍ＿ｉｎｆｏ＿ｌｅｎｇｔｈパラメータの直後の上位レベルループに記述される記述子（ｄｅｓｃｒｉｐｔｏｒ）は、プログラムの全体的な情報を記述し、下位レベルループに記述される記述子は各符号化ストリーム（ＥＳ）に対する情報を記述する。
図９を参照すれば、本発明の一実施形態によるステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）は、ＰＭＴ内の上位レベルループ（１ｓｔ＿ｄｅｓｃｒｉｐｔｏｒ＿ｌｏｏｐ）に記述されることができ、これによって現在サービスされる放送が２次元なのか３次元なのかを識別することができ、ステレオスコピックビデオの構成方法とその構成方法に応じて左右の映像の位置、または基準映像および付加映像を識別することができる。また、本発明の一実施形態によるステレオスコピックオブジェクト記述子（ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）は、ＰＭＴ内の下位レベルループ（２ｎｄ＿ｄｅｓｃｒｉｐｔｏｒ＿ｌｏｏｐ）に記述されることができ、これに基づきデュアルストリームモード時、ステレオスコピックビデオの左右の映像を識別して各符号化ストリームの相関関係を識別することができる。図９に示されたステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）およびステレオスコピックオブジェクト記述子（ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）内の各フィールド値は図７で説明したとおりである。
Ｓ８０５ステップで抽出した記述子のうちステレオスコピックサービス記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｓｅｒｖｉｃｅ＿ｄｅｓｃｒｉｐｔｏｒ）のｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅによってステレオスコピックビデオの構成方法を判断する（Ｓ８０７）。
判断の結果、ステレオスコピックビデオがシングルストリームモードの場合（例：ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅが１ないし４である場合）には、Ｓ８０５ステップで抽出した情報を利用して種類別ＴＳパケットを分離し（Ｓ８０９）、これから種類別ＥＳを抽出する（Ｓ８１１）。例えば、シングルストリームモードのステレオスコピックビデオＥＳおよびオーディオＥＳを獲得することができる。
判断の結果、ステレオスコピックビデオがデュアルストリームモードの場合（例：ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅが５である場合）には、ステレオスコピックオブジェクト記述子（ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）によってステレオスコピックビデオの左右の映像および各符号化ストリームの相関関係を識別することができる（Ｓ８１３）。したがって、Ｓ８０５ステップおよびＳ８１３ステップで抽出した情報を利用して種類別ＴＳパケットを分離し（Ｓ８１５）、これから種類別ＥＳを抽出する（Ｓ８１７）。例えば、デュアルストリームモードの左映像ビデオＥＳと右映像ビデオＥＳ、およびオーディオＥＳを獲得することができる。
そして、ステレオスコピックビデオ受信装置は、Ｓ８１１ステップまたはＳ８１７ステップで獲得したビデオＥＳおよび／またはオーディオＥＳを再生する（Ｓ８１９）。すなわち、ビデオＥＳおよび／またはオーディオＥＳをデコードしてビデオ信号および／またはオーディオ信号を出力する。
図１０を参照して本発明の一実施形態によるステレオスコピックビデオ送信装置を説明する。ステレオスコピックビデオ送信装置は、ステレオスコピックビデオ生成部１０００、情報生成部１０１０および伝送部１０２０を備えることができる。
ステレオスコピックビデオ生成部１０００は、所定の構成方法に応じてステレオスコピックビデオを生成し、これに対する詳細な説明は、図３のＳ３０１ステップで説明したとおりである。
変形例としては、ステレオスコピックビデオ生成部１０００は、ステレオスコピックビデオエンコーダ１０３０およびＰＥＳパケット化部１０４０を備えることができる。
ステレオスコピックビデオエンコーダ１０３０は、ステレオスコピックビデオ構成方法に応じて１つの符号化ストリームまたは２つの符号化ストリームを出力する。この時、ステレオスコピックビデオエンコーダ１０３０は、従来の商用エンコーダを組合せて使用することもでき、専用のエンコーダを使用することもできる。一実施形態として、ステレオスコピックビデオエンコーダ１０３０は、合成された映像ビデオエンコーダ１００２を備えることによってステレオスコピックビデオを１つの符号化ストリームで出力することもでき、左映像ビデオエンコーダ１００４および右映像ビデオエンコーダ１００６を備えることによってステレオスコピックビデオを２つの符号化ストリームで出力することもできる。もちろん、ステレオスコピックビデオエンコーダ１０３０は、合成された映像ビデオエンコーダ１００２、左映像ビデオエンコーダ１００４および右映像ビデオエンコーダ１００６をすべて備え、左右の映像の構成およびコーデックに応じて１つの符号化ストリームまたは２つの符号化ストリームを出力することもできる。
ＰＥＳパケット化部１０４０は、ステレオスコピックビデオエンコーダ１０３０および／またはオーディオエンコーダ１００８で各々生成した符号化ストリームＥＳの入力を受けてＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット化し、このＰＥＳパケット化部１０４０は、ＩＳＯ／ＩＥＣ１３８１８−１ｓｙｓｔｅｍｓ標準に従うことができる。ＰＥＳパケット化部１０４０は、ＰＥＳパケット化時、デュアルストリームモードの場合には同期化のために左・右ビデオのＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）またはＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）に同一のタイムスタンプを挿入する。もちろん、ビデオ（デュアルストリームモード時には左・右ビデオ）およびオーディオもやはり同期化のために同一のシステムクロックに基づいてＤＴＳまたはＰＴＳなどのタイムスタンプを挿入することができる。
情報生成部１０１０は、ステレオスコピックビデオ生成部１０００で生成したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報を生成し、これに対する詳細な説明は図３のＳ３０３ステップで説明したとおりである。また、情報生成部１０１０で生成した情報は、ＰＳＩ内に挿入された場合、セクション（ｓｅｃｔｉｏｎ）形式のデータ（ＰＳＩセクションなど）で出力される。
伝送部１０２０は、生成されたステレオスコピックビデオおよび情報生成部１０１０で生成された情報を端末に伝送し、これに対する詳細な説明は図３のＳ３０５ステップで説明したとおりである。
変形例としては、伝送部１０２０は、ＴＳ多重化部１０５０およびチャネルエンコーダ１０６０を備えることができる。ＴＳ多重化部１０５０は、ＰＥＳパケットおよび情報生成部１０１０で生成された情報（例：ＰＳＩセクション）をＭＰＥＧ−２伝送ストリーム（ＴＳ）で（に？）多重化する。次に、伝送ストリーム（ＴＳ）は、チャネルエンコーダ１０６０によってチャネルエンコードされた後、伝送される。
図１１を参照して本発明の一実施形態によるステレオスコピックビデオ受信装置を説明する。ステレオスコピックビデオ受信装置は、受信部１１００、情報解析部１１１０および再生部１１２０を備えることができる。
受信部１１００は、ステレオスコピックビデオ、受信したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報を受信し、これに対する詳細な説明は図４のＳ４０１ステップで説明したとおりである。
変形例では、受信部１１００は、チャネルデコーダ１１３０およびＴＳ逆多重化部１１４０を備えることができる。受信されたＴＳストリームは、チャネルデコーダ１１３０でチャネルデコードされた後、ＴＳ逆多重化部１１４０によってＰＳＩ情報およびＰＥＳストリームに分離される。ＰＳＩ情報は、ＰＳＩ内に含まれたプログラムに関する情報であって、受信したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報などを含むことができる。
情報解析部１１１０は、受信したビデオがステレオスコピックであることを表す情報、ステレオスコピックビデオの構成方法に対する情報、および構成方法によるステレオスコピックビデオに対する付加情報を解析する。この情報に対する意味および解析は前述したため、ここでは省略する。
再生部１１２０は、情報解析部１１１０で解析した情報に応じて獲得したステレオスコピックビデオを再生する。デュアルストリームモード時に送信装置で、あらかじめ左右の映像に各々同一のＤＴＳまたはＰＴＳなどのタイムスタンプを挿入しており、ステレオスコピックオブジェクト記述子（Ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｏｂｊｅｃｔ＿ｄｅｓｃｒｉｐｔｏｒ）によって左右の映像を識別することができるため、適切なバッファリングによって左右の映像を同期化させなければならない。もちろん、ビデオ（デュアルストリームモード時には左・右ビデオ）およびオーディオもやはり挿入されたタイムスタンプに基づいて同期化させなければならない。
変形例では、再生部１１２０は、ＰＥＳ逆パケット化部１１５０、ステレオスコピックビデオデコーダ１１６０およびシーン構成部１１７０を備えることができる。
ＰＥＳ逆パケット化部１１５０は、ＴＳ逆多重化部１１４０から種類別ＰＥＳパケットの入力を受けて逆パケット化し、種類別符号化ストリーム（ＥＳ）を出力する。ＰＥＳ逆パケット化部１１５０から出力された１つまたは２つのビデオ符号化ストリームは、ステレオスコピックビデオデコーダ１１６０でデコードされ、シーン構成部１１７０でステレオスコピックビデオとして再生する。ステレオスコピックビデオデコーダ１１６０は、前述したステレオスコピックビデオエンコーダ１０３０と同様に、合成された映像ビデオデコーダ１１６２を備えることもでき、左映像ビデオデコーダ１１６４および右映像ビデオデコーダ１１６６を備えることもでき、合成された映像ビデオデコーダ１１６２、左映像ビデオデコーダ１１６４および右映像ビデオデコーダ１１６６をすべて備えることもできる。この時、オーディオストリームがある場合には逆多重化、逆パケット化およびデコードを経てステレオスコピックビデオとともにシーン構成部１１７０で再生することができる。
前述したような本発明の方法はプログラムで具現され、コンピュータで読み取り可能な形態で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に保存されることができる。このような過程は本発明が属する技術分野で通常の知識を有する者が容易に実施することができるため、これ以上詳細に説明しない。
以上で説明した本発明は、本発明が属する技術分野で通常の知識を有する者にあって本発明の技術的思想に外れない範囲内で色々な置換、変形および変更が可能なため、前述した実施形態および添付された図によって限定されるものではない。
１０００ ステレオスコピックビデオ生成部
１００２ 合成された映像ビデオエンコーダ
１００４ 左映像ビデオエンコーダ
１００６ 右映像ビデオエンコーダ
１００８ オーディオエンコーダ
１０１０ 情報生成部
１０２０ 伝送部
１０３０ ステレオスコピックビデオエンコーダ
１０４０ ＰＥＳパケット化部
１０５０ ＴＳ多重化部
１０６０ チャネルエンコーダ

Claims (6)

  1. ３次元ビデオサービスを提供する放送データ受信方法であって、
    放送信号を受信するステップと、
    前記放送信号からシグナリング情報及びビデオシーケンスを逆多重化するステップと、
    前記シグナリング情報に応じて前記逆多重化したビデオシーケンスを復号するステップとを含み、
    前記シグナリング情報は、前記ビデオシーケンスによるビデオサービスがデュアルストリームによる左映像及び右映像を含むステレオスコピックビデオサービスであることを表す情報、及び前記ステレオスコピックサービスを記述する情報を含み、
    前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、ステレオスコピックビデオシーケンスが基本映像（base view）のビデオストリームであるか、または付加映像（additional view）のビデオストリームであるかを表し、
    前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、前記基本映像のビデオストリームが左映像ストリームであるか否かを表す情報をさらに含むことを特徴とする放送データ受信方法。
  2. 前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、ステレオスコピックビデオシーケンスは、ＭＰＥＧ−２ビデオ形式またはＡＶＣビデオ形式により、それぞれ独立的にコーディングされたビデオシーケンスであることを特徴とする請求項１に記載の放送データ受信方法。
  3. 前記シグナリング情報は、ＰＳＩ（Program Specific Information）のＰＭＴ（Program Map Table）、ＰＳＩＰ（Program and System Information Protocol）のＶＣＴ（Virtual Channel Table）、及びＥＩＴ（Event Information Table）のうち、いずれか１つであることを特徴とする請求項１に記載の放送データ受信方法。
  4. ３次元ビデオサービスを提供する放送データ受信装置であって、
    放送信号を受信する受信部と、
    前記放送信号からシグナリング情報及びビデオシーケンスを逆多重化する逆多重化部と、
    前記シグナリング情報に応じて前記逆多重化したビデオシーケンスを復号する復号部とを備え、
    前記シグナリング情報は、前記ビデオシーケンスによるビデオサービスがデュアルストリームによる左映像及び右映像を含むステレオスコピックビデオサービスであることを表す情報及び前記ステレオスコピックサービスを記述する情報を含み、
    前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、ステレオスコピックビデオシーケンスが基本映像（base view）のビデオストリームであるか、または付加映像（additional view）のビデオストリームであるかを表し、
    前記シグナリング情報は、前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、前記基本映像のビデオストリームが左映像ストリームであるか否かを表す情報をさらに含むことを特徴とする放送データ受信装置。
  5. 前記ビデオサービスが前記ステレオスコピックビデオサービスである場合、ステレオスコピックビデオシーケンスは、ＭＰＥＧ−２ビデオ形式またはＡＶＣビデオ形式により、それぞれ独立的にコーディングされたビデオシーケンスである請求項４に記載の放送データ受信装置。
  6. 前記シグナリング情報は、ＰＳＩ（Program Specific Information）のＰＭＴ（Program Map Table）、ＰＳＩＰ（Program and System Information Protocol）のＶＣＴ（Virtual Channel Table）、及びＥＩＴ（Event Information Table）のうち、いずれか１つであることを特徴とする請求項４に記載の放送データ受信装置。
JP2010155175A 2009-07-07 2010-07-07 放送データ受信方法およびその装置 Active JP5575566B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0061562 2009-07-07
KR20090061562 2009-07-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013096579A Division JP5575949B2 (ja) 2009-07-07 2013-05-01 放送データ送信方法およびその装置

Publications (3)

Publication Number Publication Date
JP2011019224A JP2011019224A (ja) 2011-01-27
JP2011019224A5 JP2011019224A5 (ja) 2013-06-20
JP5575566B2 true JP5575566B2 (ja) 2014-08-20

Family

ID=43428457

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010155175A Active JP5575566B2 (ja) 2009-07-07 2010-07-07 放送データ受信方法およびその装置
JP2013096579A Active JP5575949B2 (ja) 2009-07-07 2013-05-01 放送データ送信方法およびその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013096579A Active JP5575949B2 (ja) 2009-07-07 2013-05-01 放送データ送信方法およびその装置

Country Status (3)

Country Link
US (1) US20110010739A1 (ja)
JP (2) JP5575566B2 (ja)
KR (2) KR101372376B1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
WO2012011525A1 (ja) * 2010-07-21 2012-01-26 株式会社プランネット・アソシエイツ 三次元ビデオストリームへの映像変換方法
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
KR20120058702A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
JP5906462B2 (ja) * 2011-02-16 2016-04-20 パナソニックＩｐマネジメント株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
BR112013020852A2 (pt) * 2011-02-17 2016-10-18 Panasonic Corp dispositivo de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de reprodução de vídeo, método de reprodução de vídeo, e programa de reprodução de vídeo
US20120219069A1 (en) * 2011-02-28 2012-08-30 Chong Soon Lim Methods and apparatuses for encoding and decoding images of a plurality of views using multiview video coding standard and mpeg-2 video standard
KR101878218B1 (ko) * 2011-03-10 2018-07-16 한국전자통신연구원 Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법
KR20120103510A (ko) * 2011-03-10 2012-09-19 한국전자통신연구원 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
WO2012124300A1 (ja) * 2011-03-11 2012-09-20 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
JPWO2012169204A1 (ja) * 2011-06-08 2015-02-23 パナソニック株式会社 送信装置、受信装置、送信方法及び受信方法
US20140160238A1 (en) * 2011-07-29 2014-06-12 University-Industry Cooperation Group Of Kyung Hee University Transmission apparatus and method, and reception apparatus and method for providing 3d service using the content and additional image seperately transmitted with the reference image transmitted in real time
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
CN102984548B (zh) * 2011-09-05 2014-12-31 中国移动通信集团公司 3d立体视频编码传输方法及装置
BR112014011618A2 (pt) * 2011-11-14 2017-05-02 Motorola Mobility Llc associação de vistas de estereoscópicas de mvc para exibição de olho esquerdo ou direito para 3dtv
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
EP2725804A4 (en) * 2012-04-24 2015-02-25 Sony Corp IMAGE DATA TRANSMISSION DEVICE, IMAGE DATA TRANSMISSION METHOD, IMAGE DATA RECEIVING DEVICE, AND IMAGE DATA RECEIVING METHOD
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
US9537779B2 (en) * 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
US9942622B2 (en) 2014-01-24 2018-04-10 Hiperwall, Inc. Methods and systems for synchronizing media stream presentations
KR102204830B1 (ko) * 2014-05-20 2021-01-19 한국전자통신연구원 비-실시간 서비스 기반 지상파 3차원 방송 제공 방법 및 장치
CN105323595B (zh) * 2015-10-28 2018-09-25 北京小鸟看看科技有限公司 基于网络的视频类型识别方法、客户端及服务器
GB2567624B (en) * 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR100925270B1 (ko) * 2006-12-04 2009-11-05 한국전자통신연구원 채널연동 방식을 이용한 통합형 부가 방송서비스 송/수신장치 및 그 방법
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
WO2010113454A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 記録媒体、再生装置、及び集積回路

Also Published As

Publication number Publication date
US20110010739A1 (en) 2011-01-13
JP2013179664A (ja) 2013-09-09
JP2011019224A (ja) 2011-01-27
KR101372376B1 (ko) 2014-03-14
KR20130038892A (ko) 2013-04-18
JP5575949B2 (ja) 2014-08-20
KR20110004323A (ko) 2011-01-13

Similar Documents

Publication Publication Date Title
JP5575566B2 (ja) 放送データ受信方法およびその装置
KR100585966B1 (ko) 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101472332B1 (ko) 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
JP5543504B2 (ja) デジタル放送基盤の三次元静止映像サービス方法及び装置
JP5137345B2 (ja) ローカル３次元ビデオを具現するためのエンコーディング／デコーディング方法及び装置
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
KR20090060530A (ko) Ｄｍｂ 방송 시스템에서 고품질 미디어 데이터 처리 방법및 장치
WO2012081874A2 (ko) 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
WO2013011696A1 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
US8928733B2 (en) Method for service compatibility-type transmitting in digital broadcast
JP6635036B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20150057149A (ko) 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
KR20110068821A (ko) 송, 수신 장치 및 송, 수신 방법
KR101191498B1 (ko) 실시간 방송과 비실시간 부가 방송 데이터의 연동을 통한 입체영상 방송서비스를 위한 동기 신호 생성 방법 및 시스템
JP7306527B2 (ja) 復号装置
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR20130046404A (ko) 디지털 단말에서의 ２ｄ 모드 재생을 위한 송신 장치, 디지털 단말에서의 ２ｄ 모드 재생 장치 및 그 방법들
KR20140053938A (ko) 신호 송신 방법
KR20140080701A (ko) 자막 데이터를 이용한 3dtv 동기 보정 방법 및 그 장치

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130424

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140702

R150 Certificate of patent or registration of utility model

Ref document number: 5575566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250