JP5091143B2 - 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置 - Google Patents

多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置 Download PDF

Info

Publication number
JP5091143B2
JP5091143B2 JP2008534444A JP2008534444A JP5091143B2 JP 5091143 B2 JP5091143 B2 JP 5091143B2 JP 2008534444 A JP2008534444 A JP 2008534444A JP 2008534444 A JP2008534444 A JP 2008534444A JP 5091143 B2 JP5091143 B2 JP 5091143B2
Authority
JP
Japan
Prior art keywords
basic setting
video
video group
camera system
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008534444A
Other languages
English (en)
Other versions
JP2009512270A (ja
Inventor
チョン−イル ソ
ドン−ギュ シム
ウク−ジュン キム
キュ−フェン キム
ギョン−オク カン
ジン−ウ ホン
スン−ジュン オ
ヨン−リョル イ
チャン−ボン アン
シ−ネ パク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009512270A publication Critical patent/JP2009512270A/ja
Application granted granted Critical
Publication of JP5091143B2 publication Critical patent/JP5091143B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、多重カメラシステムに関し、多視点ビデオストリームの符号化／復号化装置において自由な基本設定ビューを処理することができる方法及び装置に関する。
多重カメラシステムとは、同じ対象に対して複数の視点からビデオデータを獲得し、同一時間で複数の映像を処理するシステムである。このような多重カメラシステムは、人間に、より現実に近い映像を提供するだけでなく、立体感を提供するため、多くの分野で応用されている。
同一時間で複数個出力される多視点ビデオストリームの符号化／復号化装置は、各々のカメラから生成されるビデオストリームを個別に圧縮して送信した後、解凍する方法を採用する。この方法は、従来のＭＰＥＧ−１／２／４やＨ．２６１／２６３／２６４によって容易に実現可能であるが、同じ物体を複数台のカメラで撮影することによるカメラ間の重複性を除去できないという短所がある。
最近では、カメラ間の重複性を利用して多視点ビデオストリームを効果的に圧縮する方法が提案されている。しかし、この方法は、周辺のカメラの映像を参照するため、従来のモノビデオ再生装置又はステレオビデオ再生装置では制限的な出力しかできないという短所がある。
モノビデオ再生装置では、１つのビデオを基本ビデオとして設定する場合、１台のカメラから生成されるビデオストリームのみを最初から最後まで出力しなければならないという制限がある。また、ステレオビデオ再生装置では、２台のカメラから生成されたビデオストリームのみが固定されて出力されるという制限がある。そして、自由視点ビデオ再生装置においても、映像信号の圧縮時における時間に応じた基本設定ビューの決定方法はまだ提案されていない状態である。
そこで、上記のような従来技術の問題を解決するための本発明の目的は、多視点ビデオストリームの圧縮時において基本設定ビューを時間に応じて変更可能にし、コンテンツ著作者が所望する基本設定ビュー及び視点を、モノビデオ、ステレオビデオ、及び自由視点ビデオ再生装置に適合するように設定することができる方法及びこれを行うための装置を提供することにある。
また、本発明の他の目的は、視聴者の観察方向及び位置を時間に応じて送信することにより、ユーザが任意の視点を選択できるだけでなく、コンテンツ制作者が所望する任意の基本設定ビューを提供することができる自由視点ビデオ装置及び方法を提供することにある。
本発明は、多視点映像信号を受信し、予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報を反映して符号化するエンコーダと、前記予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部とを備える多重カメラシステムの符号化装置を開示する。
また、本発明は、他の視点の映像信号を参照せずに符号化された基本設定映像グループを順次受信する受信手段と、前記受信した映像信号を復号化するデコーダと、前記復号化された映像信号をディスプレイするディスプレイ部とを備える多重カメラシステムの復号化装置を開示する。
更に、本発明は、多視点映像信号を受信し、予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するエンコーダと、前記予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力する多重化部とを備える多重カメラシステムの符号化装置を開示する。
また、本発明は、他の視点の映像信号を参照せずに符号化された基本設定映像グループ及び同一時間区間の前記基本設定映像グループを参照する基本設定ステレオ映像グループを順次受信する受信手段と、前記受信した映像信号を復号化するデコーダと、前記復号化された映像信号を用いてステレオ映像信号をディスプレイするディスプレイ部とを備える多重カメラシステムの復号化装置を開示する。
前記基本設定映像グループは、他の視点の映像信号を参照せずに符号化され、予め設定された時間区間毎に他の視点に変更されることを特徴とする。また、基本設定映像グループは、符号化装置で予め定義されてもよく、復号化装置でユーザの入力を受けて符号化装置に送信することによって定義されてもよい。
前記基本設定ステレオ映像グループは、同一時間区間の基本設定映像グループを参照して符号化されることを特徴とする。
更に、本発明は、多視点映像信号を受信して符号化するエンコーダと、予め設定されているか又はユーザから送られた情報によって設定された基本設定ビューエンコーダと、前記符号化された多視点映像信号及び基本設定ビュー情報を多重化して出力する多重化部と、前記基本設定ビュー情報に基づいて映像信号をディスプレイする自由視点ビデオ再生装置とを備える多重カメラシステムを開示する。ここで、前記基本設定ビューは、予め設定されているか又はユーザから送られた情報によって設定され、時間区間毎に他の視点に変更されることを特徴とする。
本発明の実施形態によれば、多視点ビデオストリームを提供する多重カメラシステムにおいて、コンテンツ著作者又はユーザが所望する基本設定ビュー及び視点を、モノビデオ、ステレオビデオ、及び自由視点ビデオ再生装置に適合するように設定することができる特徴がある。
また、本発明は、従来のモノビデオ再生装置においても、多視点ビデオストリームの中から基本設定映像グループのみを復号化することにより、映像再現が可能になるという長所がある。ステレオビデオ再生装置の場合も、基本設定映像グループ及び基本設定ステレオ映像グループの対のみを容易に送信／復号化できるという長所がある。また、自由視点ビデオ装置の場合、コンテンツ著作者が所望する視点を自由に選択できるという長所がある。
更に、本発明によれば、時間に応じて基本設定ビューを変更することにより、自由な（ｈｏｐｐｉｎｇ）ビュー機能を提供するだけでなく、ビデオの圧縮効率を上げることができる。多重カメラシステムにおいて時間毎に適した基本カメラ（ｂａｓｅ ｃａｍｅｒａ）を設定することにより、参照映像の圧縮時においても圧縮効率を上げることができる。
上述した目的、特徴及び長所は、添付された図面に関する以下の詳細な説明を通じてより明確になるはずであり、それにより、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施することができる。また、本発明の説明において、本発明に係る公知技術に対する具体的な説明が本発明の要旨を不明瞭にするおそれがあると判断された場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明の好ましい実施形態を詳細に説明する。
以下の内容は、単に本発明の原理を例示する。そのため、当業者は、たとえ本明細書に明確に説明又は図示されていないとしても、本発明の原理を実現し、本発明の概念及び範囲に属する様々な装置を発明することができる。また、本明細書に挙げられた全ての条件付の用語及び実施形態は原則的に、本発明の概念を理解させるためのみを意図されたものであって、これらの実施形態及び状態に限定するものではないことに留意しなければならない。
更に、本発明の原理、観点及び実施形態のみならず、特定の実施形態が挙げられた全ての詳細な説明は、これら事項の構造的及び機能的等価物を含むように意図されたものとして理解されなければならない。なお、これらの等価物は、現在公知となっている等価物のみならず、将来開発される等価物、すなわち、構造とは無関係に同じ機能を果たすように発明された全ての素子を含むものとして理解されなければならない。
図１は、本発明の実施形態に係る多重ビデオストリームの圧縮方法を説明するための図である。同図に示すように、本実施形態では、５台のカメラ１０１〜１０５から生成されるビデオストリームの圧縮方法を示している。ここで、ビデオストリームは、各々のカメラから生成される映像信号又は映像グループ（ＧｏＰ）を意味する。
同図を参照すると、本実施形態では、５台のカメラ１０１〜１０５から生成されるビデオストリームに対して予め設定された時間区間毎に１つの基本設定ビュー（Ｄｅｆａｕｌｔ Ｖｉｅｗ）が決定される。
基本設定ビューは、実施形態に従って、コンテンツ提供者が任意に決定するか、ユーザの入力を受けて決定することができる。本実施形態では、コンテンツ提供者によって任意に決定されるものと仮定する。コンテンツ提供者は、基本設定ビューを１つに固定して設定することもでき、コンテンツの特性に応じて複数のビューから選択的に変更されるように設定することもできる。したがって、本発明において、基本設定ビューは、単一のカメラに固定されたものではなく、時間に応じて変更可能である。
任意の時間区間において基本設定ビューとして選択されたカメラのビデオストリームは、「基本設定映像グループ（Ｄｅｆａｕｌｔ Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）」Ｄ１、Ｄ２、Ｄ３となり、当該基本設定映像グループは、周辺のビデオストリームを用いず、基本設定映像グループのみを参照して符号化／復号化される。
また、ステレオ映像信号の生成のために、周辺のビデオストリームのうち、同一時間区間の前記基本設定映像グループのみを参照して符号化する「基本設定ステレオ映像グループ（Ｄｅｆａｕｌｔ Ｓｔｅｒｅｏ Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）」ＤＳ１、ＤＳ２、ＤＳ３を定義する。ステレオ映像再生装置は、前記基本設定映像グループＤ１、Ｄ２、Ｄ３及びこれに対応する基本設定ステレオ映像グループＤＳ１、ＤＳ２、ＤＳ３の対のみを有して映像信号の復号化及び再生が可能になる。
図１に示すように、基本設定ステレオビューは、任意の時間区間において基本設定映像グループを参照する視点を意味するものであり、実施形態に従って、ユーザから送られた情報によるか、又はコンテンツ制作者が時間に応じて選択して変更することができる。
図１において、Ｉ映像は、イントラフレーム（ｉｎｔｒａ ｆｒａｍｅ）を表し、Ｐは、予測フレーム（ｐｒｅｄｉｃｔｉｏｎ ｆｒａｍｅ）を表す。Ｂ映像は、双方向フレーム（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｆｒａｍｅ）を表し、ＩＮ、ＢＮ、ＰＮは、それぞれｉｎｔｒａ−ｎｅｉｇｈｂｏｒ、ｂｉｄｉｒｅｃｔｉｏｎａｌ−ｎｅｉｇｈｂｏｒ、ｐｒｅｄｉｃｔｅｄ−ｎｅｉｇｈｂｏｒ ｆｒａｍｅを表す。ここで、「ｎｅｉｇｈｂｏｒ」は、周辺の映像フレームを参照する映像であることを意味する。その他の非表示フレームは、Ｉ、Ｂ、Ｐ、ＩＮ、ＢＮ、ＰＮのいずれか１つのフレームになる。また、矢印表示は、参照する映像を指す。すなわち、第１の時間区間における基本設定映像グループＤ１においてＢ映像及びＰ映像は、Ｉ映像を参照して符号化される。
図２は、多視点ビデオストリームの符号化／圧縮後に生成された映像グループビットストリームを図式化した図である。
同図を参照すると、各々の映像グループビットストリームは、基本設定ビューであるかを示すビットを有する。すなわち、映像グループビットストリーム２０１は、基本設定ビューであるかを示すための基本設定映像グループフラグ２０２を有する。例えば、前記基本設定映像グループフラグの値が「１」であれば、当該映像グループを基本設定映像グループと判断する。また、各々の映像グループビットストリームは、基本設定ステレオ映像グループであるかを区分するためのフラグ（例えば、映像グループ２０１の基本設定ステレオ映像グループフラグ２０３）を更に含む。もちろん、基本設定映像グループの場合、前記基本設定ステレオ映像グループフラグは、値を持たないことがある。これに制限されないが、前記基本設定ステレオ映像グループフラグの値が「１」であれば、当該映像グループは、基本設定ステレオ映像グループであることを表す。
結果的に、基本設定映像グループでない映像グループのうち、基本設定映像グループのみを参照する映像グループは、基本設定ステレオ映像グループとなり得る。
以下では、まず、モノビデオ再生装置に映像データを送信する基本設定ビュー処理装置を説明し、次に、ステレオビデオ再生装置に映像データを送信する基本設定ステレオビュー処理装置を説明する。
図３は、本発明の実施形態に係る基本設定ビュー処理装置及びモノビデオ再生装置の概略的な構成を示す図である。
同図において、複数のカメラ３０１〜３０５、当該複数のカメラの各々に接続されたエンコーダ３１１〜３１５、基本設定映像グループ選択部３２０、及び多重化部３３０は、多重カメラシステムの送信端（符号化装置）であり、逆多重化部３４０、デコーダ３５０、及びディスプレイ部３６０は、前記多重カメラシステムの受信端（復号化装置）を構成する。ここで、逆多重化部３４０、デコーダ３５０、及びディスプレイ部３６０で構成される受信端は、モノビデオ再生装置に相当する。もちろん、前記多重カメラ映像装置の送信端及び受信端は、信号を送受信するための構成及び他の構成を更に含むことができる。
図３を参照すると、各々のカメラ（すなわち、映像信号入力装置）３０１〜３０５から生成される映像信号は、それぞれエンコーダ３１１〜３１５で所定のビデオ圧縮方式により符号化される。すなわち、カメラ３０１によって収集される映像信号は、エンコーダ３１１で符号化される。各々のエンコーダで行われるビデオ圧縮方式は、ＭＰＥＧ−１／２／４やＨ．２６１／２６３／２６４などの方式を用いることができる。また、コンテンツ制作者が決めた基本設定ビューを反映するため、基本映像グループ選択部３２０は、所定の時間区間毎に決定された基本設定映像グループ情報を各々のエンコーダ３１１〜３１５に提供する。各々のエンコーダ４１１〜４１５は、基本設定映像グループ情報に基づき、上述した映像グループビットストリームの基本設定映像グループフラグ２０２に表示させる。ここで、基本設定映像グループは、上述のように、周辺のカメラから入力される映像又は圧縮／復元映像を参照しない。
各々のエンコーダ３１１〜３１５によって生成された多重映像グループビットストリームは、多重ビデオ格納方法により多重化部３３０で混合される。当該多重化部３３０は、混合された多重ビットストリームの中からモノビデオ再生装置に映像信号を送信する必要がある場合、前記基本設定映像グループビットストリームのみを時間に応じて出力する。出力された基本設定映像グループビットストリームは、送信手段（図示せず）を介して受信端に送信される。
モノビデオ再生装置は、受信した信号を逆多重化する逆多重化部３４０と、当該逆多重化部３４０の出力信号から基本設定映像グループのみを復号化するデコーダ３５０と、復号化されたビデオストリームをディスプレイするディスプレイ部３６０とを備えて構成される。
上記方法を用いることにより、多重カメラシステムにおいても、コンテンツ制作者が時間に応じて基準ビデオを設定することができる。
図４は、本発明の実施形態に係るステレオ映像処理装置及びステレオビデオ再生装置の概略的な構成を示す図である。
同図において、複数のカメラ４０１〜４０５、当該複数のカメラの各々に接続されたエンコーダ４１１〜４１５、基本設定映像グループ／基本設定ステレオ映像グループ選択部４２０、及び多重化部４３０は、多重カメラシステムの送信端であり、逆多重化部４４０、デコーダ４５０、及びディスプレイ部４６０は、前記多重カメラシステムの受信端を構成する。ここで、逆多重化部４４０、デコーダ４５０、及びディスプレイ部４６０で構成される受信端は、ステレオビデオ再生装置に相当する。
図４を参照すると、各々のカメラ（すなわち、映像信号入力装置）４０１〜４０５から生成される映像信号は、それぞれエンコーダ４１１〜４１５で所定のビデオ圧縮方式により符号化される。
また、実施形態に従って、コンテンツ制作者又はユーザから送られた情報によって決定された基本設定ビュー及び基本設定ステレオビューを反映するため、基本設定映像グループ／基本設定ステレオ映像グループ選択部４２０は、所定の時間区間毎に決定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を各々のエンコーダ４１１〜４１５に提供する。各々のエンコーダ４１１〜４１５は、基本設定映像グループ情報及び基本設定ステレオ映像グループ情報に基づき、上述した映像グループビットストリームの基本設定映像グループフラグ２０２及び基本設定ステレオ映像グループフラグ２０３に表示させる。ここで、基本設定映像グループは、上述のように、周辺のカメラから入力される映像又は圧縮／復元映像を参照せず、基本設定ステレオ映像グループは、基本設定映像グループのみを参照して符号化される。
各々のエンコーダ４１１〜４１５によって生成された多重映像グループビットストリームは、多重ビデオ格納方法により多重化部４３０で混合される。当該多重化部４３０は、混合された多重ビットストリームの中からステレオビデオ再生装置に映像信号を送信する必要がある場合、前記基本設定映像グループビットストリーム及び基本設定ステレオ映像グループビットストリームのみを時間に応じて出力する。出力された基本設定映像グループビットストリーム及び基本設定ステレオ映像グループビットストリームは、映像信号送信手段（図示せず）を介して受信端に送信される。ここで、前記基本設定映像グループビットストリーム及び基本設定ステレオ映像グループビットストリームは、従来の多視点映像信号送信方式に従って様々な方式でパケット化して送信可能である。
ステレオビデオ再生装置は、受信した信号を逆多重化する逆多重化部４４０と、当該逆多重化部４４０の出力信号から基本設定映像グループ及び基本設定ステレオ映像グループのみを復号化するデコーダ４５０と、復号化されたステレオビデオストリームをディスプレイするディスプレイ部４６０とを備えて構成される。図４に示すように、前記デコーダ４５０は、基本設定映像グループデコーダと、基本設定ステレオ映像グループデコーダとで構成され得る。また、前記ディスプレイ部４６０は、ステレオ映像をディスプレイするステレオ出力装置である。
図５は、本発明の実施形態に係る自由視点映像処理装置及び自由視点ビデオ再生装置の概略的な構成を示す図である。
同図において、複数のカメラ５０１〜５０５、当該複数のカメラの各々に接続されたエンコーダ５１１〜５１５、基本設定ビューエンコーダ５２０、及び多重化部５３０は、多重カメラシステムの送信端であり、逆多重化部５４０、デコーダ５５０、ビュー生成部５６０、基本設定ビューデコーダ５７０、及びディスプレイ部５８０は、前記多重カメラシステムの受信端を構成する。ここで、逆多重化部５４０、デコーダ５５０、ビュー生成部５６０、基本設定ビューデコーダ５７０、及びディスプレイ部５８０で構成される受信端は、自由視点ビデオ再生装置に相当する。
基本的に、自由視点ビデオ再生装置では、ビデオ視聴者が所望する視点を提示すると、視聴者が所望する視点に基づいてビデオストリームが出力される。図５に示す実施形態では、コンテンツ制作者が所望する基本設定視点情報を映像信号とともに送信することにより、ユーザが特に視点を提示していない場合、基本設定視点に基づいてビューが選択されて映像信号がディスプレイされる。
図５を参照すると、各々のカメラ（すなわち、映像信号入力装置）５０１〜５０５から生成される映像信号は、それぞれエンコーダ５１１〜５１５で所定のビデオ圧縮方式により符号化される。
また、コンテンツ制作者が決めた基本設定ビューに関する情報を映像信号とともに送信できるように、基本設定ビューエンコーダ５２０は、コンテンツ制作者が決めた基本設定ビューに関する情報を符号化して多重化部５３０に入力する。当該多重化部５３０は、各々のエンコーダ５１１〜５１５によって生成された多重映像グループビットストリームを一般的な多重ビデオ格納方法で混合する。また、前記多重化部５３０は、前記基本設定ビューエンコーダ５２０で生成される視点情報ストリームを前記多重映像グループビットストリームとともに多重化して出力する。出力された視点情報ストリーム及び多重映像グループビットストリームは、映像信号送信手段（図示せず）を介して受信端に送信される。
ここで、視点情報ストリーム及び映像グループビットストリームは、従来の多視点映像信号送信方式に従って様々な方式でパケット化して送信可能であり、例えば、ヘッダ（視点情報及びその他の付加情報）及びペイロード（映像グループビットストリーム）の形でパケット化して受信端に送信可能である。
自由視点ビデオ再生装置は、受信した信号を逆多重化して映像グループビットストリーム及び視点情報ストリームを出力する逆多重化部５４０と、逆多重化された映像グループビットストリームを視点毎に復号化するデコーダ５５０と、視点情報ストリームを復号化してビュー生成部５６０に提供する基本設定ビューデコーダ５７０と、自由視点ビデオストリームをディスプレイするディスプレイ部５８０とを備えて構成される。前記ビュー生成部５６０は、ユーザの視点設定がある場合、ユーザの設定に基づいてビューを生成してディスプレイ部５８０にビデオストリームを送信する。ユーザの視点設定がない場合、前記ビュー生成部５６０は、基本設定視点としてビューを生成し、基本設定視点に基づいてビデオストリームをディスプレイ部５８０に送信する。
上述した本発明の方法は、プログラムで実現されてコンピュータで読み取り可能な形で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に格納され得る。このような過程は、本発明の属する技術分野における通常の知識を有する者が容易に実施できるため、これ以上の詳細な説明は省略する。
以上、本発明の好ましい実施形態を中心に説明した。本発明の属する技術分野における通常の知識を有する者は、本発明が、本発明の本質的な特性を逸脱しない範囲内で変形された形で実現可能であることを理解することができる。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、上述した説明ではなく、特許請求の範囲に示されており、それと同等範囲内のあらゆる相違点は、本発明に属するものとして解釈されなければならない。
本発明の実施形態に係る多重ビデオストリームの圧縮方法を説明するための図である。 多視点ビデオストリームの符号化／圧縮後に生成された映像グループビットストリーム（ＧｏＰ ｂｉｔｓｔｒｅａｍ）を図式化した図である。 本発明の実施形態に係る基本設定ビュー処理装置及びモノビデオ再生装置の概略的な構成を示す図である。 本発明の実施形態に係るステレオ映像処理装置及びステレオビデオ再生装置の概略的な構成を示す図である。 本発明の実施形態に係る自由視点映像処理装置及び自由視点ビデオ再生装置の概略的な構成を示す図である。

Claims (34)

  1. 多重カメラシステムの符号化装置であって、
    多視点映像信号を受信し、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を反映して符号化するエンコーダと、
    前記設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
    前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部と
    を備えることを特徴とする多重カメラシステムの符号化装置。
  2. 前記基本設定映像グループが、
    他の視点の映像信号を参照せずに符号化されることを特徴とする請求項１に記載の多重カメラシステムの符号化装置。
  3. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項１に記載の多重カメラシステムの符号化装置。
  4. 前記エンコーダから出力される映像グループビットストリームが、基本設定ビューであるかを示すためのフラグを含むことを特徴とする請求項１に記載の多重カメラシステムの符号化装置。
  5. 前記多重化部が、
    前記フラグの値を用いて基本設定映像グループのみを順次出力することを特徴とする請求項４に記載の多重カメラシステムの符号化装置。
  6. 多重カメラシステムの復号化装置であって、
    他の視点の映像信号を参照せずに符号化された基本設定映像グループを順次受信する受信手段であって、前記基本設定映像グループは、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を含む受信手段と、
    前記受信した映像信号を復号化するデコーダと、
    前記復号化された映像信号をディスプレイするディスプレイ部と
    を備えることを特徴とする多重カメラシステムの復号化装置。
  7. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点の映像信号に変更されることを特徴とする請求項６に記載の多重カメラシステムの復号化装置。
  8. 多重カメラシステムであって、
    多視点映像信号を受信し、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を反映して符号化するエンコーダと、
    前記設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
    前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部と、
    前記順次出力される基本設定映像グループを受信し、復号化して、ディスプレイする復号化装置と
    を備えることを特徴とする多重カメラシステム。
  9. 多重カメラシステムの符号化装置であって、
    多視点映像信号を受信し、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するエンコーダと、
    前記設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
    前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力する多重化部と
    を備えることを特徴とする多重カメラシステムの符号化装置。
  10. 前記基本設定映像グループが、
    他の視点の映像信号を参照せずに符号化されることを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
  11. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
  12. 前記基本設定ステレオ映像グループが、
    同一時間区間の基本設定映像グループを参照して符号化されることを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
  13. 前記エンコーダから出力される映像グループビットストリームが、基本設定ビューであるかを示すためのフラグ及び基本設定ステレオビューであるかを示すためのフラグを含むことを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
  14. 多重カメラシステムの復号化装置であって、
    他の視点の映像信号を参照せずに符号化された基本設定映像グループ及び同一時間区間の前記基本設定映像グループを参照する基本設定ステレオ映像グループを順次受信する受信手段であって、前記基本設定映像グループは、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を含む受信手段と、
    前記受信した映像信号を復号化するデコーダと、
    前記復号化された映像信号を用いてステレオ映像信号をディスプレイするディスプレイ部と
    を備えることを特徴とする多重カメラシステムの復号化装置。
  15. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項１４に記載の多重カメラシステムの復号化装置。
  16. 前記デコーダが、
    前記基本設定映像グループを参照して基本設定ステレオ映像グループを復号化することを特徴とする請求項１４に記載の多重カメラシステムの復号化装置。
  17. 多重カメラシステムであって、
    多視点映像信号を受信し、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するエンコーダと、
    前記設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
    前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力する多重化部と、
    該多重化部の出力信号を受信して復号化し、当該復号化された信号を用いてステレオ映像信号をディスプレイする復号化装置と
    を備えることを特徴とする多重カメラシステムの復号化装置。
  18. 多重カメラシステムであって、
    多視点映像信号を受信して符号化するエンコーダと、
    ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定ビュー情報を符号化する基本設定ビューエンコーダと、
    前記符号化された多視点映像信号及び基本設定ビュー情報を多重化して出力する多重化部と、
    前記基本設定ビュー情報に基づいて映像信号をディスプレイする自由視点ビデオ再生装置と
    を備えることを特徴とする多重カメラシステム。
  19. 前記基本設定ビューが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項１８に記載の多重カメラシステム。
  20. 多重カメラシステムの符号化方法であって、
    ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を提供するステップと、
    多視点映像信号を受信し、前記基本設定映像グループ情報を反映して符号化するステップと、
    前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力するステップと
    を含むことを特徴とする多重カメラシステムの符号化方法。
  21. 前記基本設定映像グループが、
    他の視点の映像信号を参照せずに符号化されることを特徴とする請求項２０に記載の多重カメラシステムの符号化方法。
  22. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項２０に記載の多重カメラシステムの符号化方法。
  23. 符号化された映像グループビットストリームが、基本設定ビューであるかを示すためのフラグを含むことを特徴とする請求項２０に記載の多重カメラシステムの符号化方法。
  24. 多重カメラシステムの復号化方法であって、
    他の視点の映像信号を参照せずに符号化された基本設定映像グループを順次受信するステップであって、基本設定映像グループは、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を含むステップと、
    前記受信した映像信号を復号化するステップと、
    前記復号化された映像信号をディスプレイするステップと
    を含むことを特徴とする多重カメラシステムの復号化方法。
  25. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点の映像信号に変更されることを特徴とする請求項２４に記載の多重カメラシステムの復号化方法。
  26. 多重カメラシステムの符号化方法であって、
    ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供するステップと、
    多視点映像信号を受信し、設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するステップと、
    前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力するステップと
    を含むことを特徴とする多重カメラシステムの符号化方法。
  27. 前記基本設定映像グループが、
    他の視点の映像信号を参照せずに符号化されることを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
  28. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
  29. 前記基本設定ステレオ映像グループが、
    同一時間区間の基本設定映像グループを参照して符号化されることを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
  30. 符号化された映像グループビットストリームが、基本設定ビューであるかを示すためのフラグ及び基本設定ステレオビューであるかを示すためのフラグを含むことを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
  31. 多重カメラシステムの復号化方法であって、
    他の視点の映像信号を参照せずに符号化された基本設定映像グループ及び同一時間区間の前記基本設定映像グループを参照する基本設定ステレオ映像グループを順次受信するステップであって、前記基本設定グループは、ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定映像グループ情報を含むステップと、
    前記受信した映像信号を復号化するステップと、
    前記復号化された映像信号を用いてステレオ映像信号をディスプレイするステップと
    を含むことを特徴とする多重カメラシステムの復号化方法。
  32. 前記基本設定映像グループが、
    設定された時間区間毎に他の視点に変更されることを特徴とする請求項３１に記載の多重カメラシステムの復号化方法。
  33. 前記復号化するステップが、
    前記基本設定映像グループを参照して基本設定ステレオ映像グループを復号化することを特徴とする請求項３１に記載の多重カメラシステムの復号化方法。
  34. 多重カメラシステムの基本設定ビュー提供方法であって、
    多視点映像信号を受信して符号化するステップと、
    ユーザから送られた情報によって設定され、所定の時間区間毎に決定される基本設定ビュー情報を符号化するステップと、
    前記符号化された多視点映像信号及び基本設定ビュー情報を多重化して出力するステップと、
    前記基本設定ビュー情報に基づいて映像信号をディスプレイするステップと
    を含むことを特徴とする多重カメラシステムの基本設定ビュー提供方法。
JP2008534444A 2005-10-07 2006-10-04 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置 Expired - Fee Related JP5091143B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2005-0094418 2005-10-07
KR20050094418 2005-10-07
PCT/KR2006/004000 WO2007043775A1 (en) 2005-10-07 2006-10-04 Method and apparatus for encoding and decoding hopping default view for multiple cameras system

Publications (2)

Publication Number Publication Date
JP2009512270A JP2009512270A (ja) 2009-03-19
JP5091143B2 true JP5091143B2 (ja) 2012-12-05

Family

ID=37942975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008534444A Expired - Fee Related JP5091143B2 (ja) 2005-10-07 2006-10-04 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置

Country Status (4)

Country Link
US (1) US20090201992A1 (ja)
JP (1) JP5091143B2 (ja)
KR (1) KR100810539B1 (ja)
WO (1) WO2007043775A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
KR101381601B1 (ko) * 2007-05-14 2014-04-15 삼성전자주식회사 다시점 영상 부호화 및 복호화 장치
KR100967658B1 (ko) * 2008-12-16 2010-07-07 연세대학교 산학협력단 다중 카메라 뷰의 동적 선택에 기반한 개인화 방송 시스템과 방법 및 이를 수록한 저장매체
WO2010123198A2 (ko) * 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US20200213631A1 (en) * 2017-06-29 2020-07-02 4Dreplay Korea, Inc. Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
EP3629584A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Apparatus and method for generating and rendering a video stream
EP4189968A1 (en) * 2020-08-03 2023-06-07 Dolby Laboratories Licensing Corporation Dual stream dynamic gop access based on viewport change
US20230308611A1 (en) * 2022-03-28 2023-09-28 Haier Us Appliance Solutions, Inc. Multi-camera vision system in a refrigerator appliance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
WO1998017068A1 (en) * 1996-10-11 1998-04-23 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
JPH11164289A (ja) * 1997-11-25 1999-06-18 Matsushita Electric Ind Co Ltd 映像多重装置と映像監視装置
JP3420060B2 (ja) * 1998-05-26 2003-06-23 日本電信電話株式会社 水平配置立体画像表示システム
JP2001054140A (ja) * 1999-08-11 2001-02-23 Sukurudo Enterprise Kk ステレオ映像帯域圧縮符号化方法および復号化方法ならびに記録媒体
WO2001072052A2 (en) * 2000-03-24 2001-09-27 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
KR100424401B1 (ko) * 2001-11-02 2004-03-24 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7734085B2 (en) * 2002-06-28 2010-06-08 Sharp Kabushiki Kaisha Image data delivery system, image data transmitting device thereof, and image data receiving device thereof
JP2006503375A (ja) 2002-10-18 2006-01-26 サーノフ・コーポレーション 複数のカメラを用いたパノラマ映像化を可能とする方法およびシステム
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
GB0230328D0 (en) * 2002-12-31 2003-02-05 British Telecomm Video streaming
KR100566100B1 (ko) * 2003-10-21 2006-03-31 전자부품연구원 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법
GB2412519B (en) * 2004-03-23 2010-11-03 British Broadcasting Corp Monitoring system
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Also Published As

Publication number Publication date
KR100810539B1 (ko) 2008-03-10
KR20070038918A (ko) 2007-04-11
JP2009512270A (ja) 2009-03-19
WO2007043775A1 (en) 2007-04-19
US20090201992A1 (en) 2009-08-13

Similar Documents

Publication Publication Date Title
JP5091143B2 (ja) 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
JP4417421B2 (ja) 両眼／多視点３次元動画像処理システム及びその方法
JP4897024B2 (ja) 多視点映像送受信装置及びその方法
KR101234495B1 (ko) 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
CN102292997A (zh) 广播接收机及其视频数据处理方法
JP2007013994A (ja) ローカル３次元ビデオを具現するためのエンコーディング／デコーディング方法及び装置
KR20040031519A (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
JP2013545361A (ja) ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
WO2011089982A1 (ja) 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
EP2512143A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
JP2011216965A (ja) 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
KR19990060127A (ko) 디지털 방송에서의 입체 영상 송수신 방법 및 장치
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
JP2012138856A (ja) 映像送信装置及び３次元映像送信プログラム
JP2012054733A (ja) 再生装置および再生方法
EP2685730A1 (en) Playback device, playback method, and program
US10389970B2 (en) Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
KR20140076487A (ko) 멀티화면을 제공하는 방송 시스템 및 방송 방법
KR20100043419A (ko) 다시점 화상 처리 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120726

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees