JP5328082B2 - 映像送信及び受信方法と装置、及びその伝送ストリーム構造 - Google Patents

映像送信及び受信方法と装置、及びその伝送ストリーム構造 Download PDF

Info

Publication number
JP5328082B2
JP5328082B2 JP2006163838A JP2006163838A JP5328082B2 JP 5328082 B2 JP5328082 B2 JP 5328082B2 JP 2006163838 A JP2006163838 A JP 2006163838A JP 2006163838 A JP2006163838 A JP 2006163838A JP 5328082 B2 JP5328082 B2 JP 5328082B2
Authority
JP
Japan
Prior art keywords
video
characteristic parameter
data
video data
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006163838A
Other languages
English (en)
Other versions
JP2006352876A (ja
Inventor
弼 皓 兪
泰 鉉 河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2006352876A publication Critical patent/JP2006352876A/ja
Application granted granted Critical
Publication of JP5328082B2 publication Critical patent/JP5328082B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、映像送信及び受信方法と装置、及びその伝送ストリーム構造に係り、さらに詳細には、二次元(2D)/三次元(3D)映像についての特性を表す映像特性パラメータをヘッダの所定位置に含む伝送ストリーム構造と、該伝送ストリームを送信する映像送信装置及び方法と、該映像送信装置から送信された伝送ストリームを受信してディスプレイする映像受信装置及び方法とに関する。
最近、デジタル放送(DTV)を介して三次元立体映像を放送しようとする研究が進められている。DTVは、ビデオ、オーディオ及びその他データのようなアナログ信号をデジタル信号に変換して圧縮して伝送した後、これを受信し、さらにもとのビデオ、オーディオ及びその他データ信号に変換して再生する放送であり、従来のアナログ放送と比べて高画質のサービスを提供する。
また、前記のようなDTV技術を利用し、三次元映像を受信してディスプレイすることについての研究も進められている。三次元映像を具現する一般的な方法には、視聴者の両眼視差を利用するものである。両眼視差を利用した三次元映像具現方法には、偏光めがね、LCシャッタめがねのような三次元映像を表示するためのめがねを着用する方法と、レンチキュラレンズ、視差バリア、視差イルミネーションなどの備わった装置を利用し、肉眼で観測する方法とがある。前者をステレオスコピー(stereoscopy)法といい、後者をオートステレオスコピー(autostereoscopy)法という。
前記ステレオスコピー法は、偏光プロジェクタを利用し、主に映画館のようなさまざまな人が視聴するところで応用されている。そして、前記オートステレオスコピー法は、個人や少数の人々が使用するゲーム用ディスプレイ、家庭用TV、展示用ディスプレイなどに応用されている。
現在の研究は、概してオートステレオスコピー法を利用して三次元映像を具現するところに集中しており、これと関連したさまざまな製品が販売されている。現在紹介されているほとんどの立体映像用ディスプレイ装置は、三次元映像だけを具現できるようになっており、価格も、二次元ディスプレイ装置より高価である。
ところで、三次元映像用コンテンツが活発に供給されていないために、高価な三次元映像専用のディスプレイ装置では、消費者の購買欲求を満足させられない。
これにより、最近二次元と三次元の映像を選択的に具現できる2D/3D兼用ディスプレイ装置を製作する方法に多くの研究がなされつつ、多様な製品が紹介されている。
人間の肉眼で見る実際映像と類似した三次元立体映像を放送するためには、多視点(マルチビュー)三次元映像を作って伝送し、そしてこれを受信して三次元ディスプレイ装置で再生せねばならない。しかし、多視点三次元立体映像は、データ量が非常に多いために、現在のDTVシステムで使われるチャンネルの帯域幅では受入れ難い。従って、ステレオ映像の送信と受信とについての研究がまず進められている。
動映像圧縮標準化団体であるMPEGで進行中である立体映像と関連した部分について述べれば、1996年にMPEG−2多視点プロファイルが制定され、現在は、ステレオ映像及び多視点映像の圧縮についての標準が完成段階にある。これにより、立体映像を研究する関連団体でも、デジタルテレビ放送を介した三次元立体映像の伝送及び受信についての研究が活発に進められているが、現在は、HD(高精細度)クラスステレオ映像の伝送及び受信を目標としている。
一方、DTVシステム、シミュレーションまたは医学的な分析システムなど、ほとんどの分野で三次元映像と共に選択的に二次元映像が具現される必要がある。しかし、現在、二次元映像と三次元映像とを選択的に具現するための伝送ストリーム構造と、該伝送ストリームの送信装置及び方法と、該伝送ストリームを受信してディスプレイする受信装置及び方法とについては、現在、規格として決まっておらず、これについての研究が進められねばならない状況である。
日本特開2001−54141号公報 日本特開平11−353495号公報 日本特開平7−274216号公報 日本特開2003−333624号公報
従って、本発明が解決しようとする技術的課題は、DTVシステムなどで二次元/三次元映像についての映像特性パラメータをヘッダの所定位置に含む伝送ストリーム構造と、該伝送ストリームを送信する映像送信装置及び方法と、該送信された伝送ストリームを受信してディスプレイする映像受信装置及び方法とを提供することである。
前記技術的課題を解決するための本発明の伝送ストリーム構造は、DTVシステムでの伝送ストリーム構造において、前記DTVシステムでの映像データが二次元映像であるか三次元映像であるかについての情報を表す映像特性パラメータを含むヘッダと、前記映像データを含むペイロードとを含むことを特徴に有する。
前記技術的課題を解決するための本発明の映像送信装置は、映像データを保存している保存部と、前記保存された映像データが二次元映像であるか三次元映像であるかについての情報を表す映像特性パラメータを生成する映像特性パラメータ生成部と、前記保存された映像データと前記生成された映像特性パラメータとを入力されて伝送ストリームに含まれるようにエンコーディングするエンコーディング部とを備えることを特徴に有する。
前記技術的課題を解決するための本発明の映像受信装置は、映像データと、前記映像データが二次元映像であるか三次元映像であるかについての情報を表す映像特性パラメータとを含む映像信号を入力されてデコーディングするデコーディング部と、前記デコーディングされた映像信号を入力され、前記映像特性パラメータを検出する映像特性パラメータ検出部と、前記映像特性パラメータ検出部から入力された映像特性パラメータにより、前記デコーディング部から入力される映像データをディスプレイするディスプレイ部とを備えることを特徴に有する。
また、前記技術的課題を解決するための本発明の映像送信方法は、(a)映像データを入力されるステップと、(b)前記映像データが二次元映像であるか三次元映像であるかについての情報を表す映像特性パラメータを入力されるステップと、(c)前記映像データと前記映像特性パラメータとが伝送ストリームに含まれるようにエンコーディングするステップとを含むことを特徴に有する。
また、前記技術的課題を解決するための本発明の映像受信方法は、(a)映像データと、前記映像データが二次元映像であるか三次元映像であるかについての情報を表す映像特性パラメータとを含む映像信号を入力されてデコーディングするステップと、(b)前記デコーディングされた映像信号を入力され、前記映像特性パラメータを検出するステップと、(c)前記(b)ステップで検出された映像特性パラメータを入力されるステップと、(d)前記(c)ステップで入力された映像特性パラメータにより、前記(a)ステップでデコーディングされた映像データをディスプレイするステップとを含むことを特徴に有する。
そして、本発明による映像送信方法に記載された発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を含むことを特徴に有する。
また、本発明による映像受信方法に記載された発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を含むことを特徴に有する。
本発明によれば、さらに進歩した映像情報の重要性が要求される多くの分野、例えば、医学、工学及びシミュレーションが使われる分野、並びに今後DTV標準システムを利用して登場する立体映像(三次元映像)放送のような分野で、二次元映像と三次元映像とをディスプレイできる映像送信及び受信の方法と装置、及びその伝送ストリーム構造を提供できる。
以下、添付された図面を参照しつつ、本発明の望ましい一実施形態について詳細に説明する。
図1は、本発明の一実施形態による伝送ストリーム構造である。図1について述べれば、伝送ストリームは、ヘッダ100とペイロード120とから構成される。
伝送ストリームのヘッダ100には、ペイロード120に含まれている映像をディスプレイできる多様な制御情報が含まれている。かような伝送ストリームヘッダ100の所定位置には、ペイロード120に含まれている映像データの特性を表す映像特性パラメータ102が含まれている。
映像特性パラメータ102は、ペイロード120に保存されている映像データが二次元(2D)映像(例えば、一般TV信号、VCR信号)であるか、三次元(3D)映像であるかについての2D/3D区分情報102aを含んでいる。
そして、ペイロード120に保存されている映像が三次元映像である場合に、映像特性パラメータは、三次元映像の撮像視点数情報102bをさらに含むことができる。ここで、三次元映像の撮像視点数とは、1つの対象物体をカメラで撮像して製作する過程で、何点の相異なる角度で撮像されているかということと関連した情報である。かような三次元映像の撮像視点数については、図2でさらに詳細に説明する。
また、ペイロード120に保存されている映像が三次元映像である場合に、映像特性パラメータは、三次元映像のディスプレイフォーマット情報102cをさらに含むことができる。ここで、ディスプレイフォーマットとは、三次元映像を合成する過程で、1つの場面についていかなる形態でフォーマットを行ったかについての情報である。さらに具体的に、三次元映像のディスプレイフォーマットとしては、ライン−バイ−ラインフォーマット、ピクセル−バイ−ピクセルフォーマット、トップダウンフォーマット及びサイド−バイ−サイドフォーマットなどがある。かような三次元映像のディスプレイフォーマット情報については、図3でさらに詳細に説明する。
図2Aと図2Bは、図1での三次元映像の撮像視点数についての一例を図示した図である。
図2Aについて述べれば、1つの対象物体200を相異なる位置にある2台のカメラ221,222でもって撮像したものである。すなわち、三次元映像の撮像視点数は、2視点である。ここで、対象物体は、静止している物体でもあり、動いている物体でもありうる。2台のカメラ221,222は、1つの対象物体200に対し、それぞれ左眼映像と牛眼映像とを別々に撮像する。
図2Bについて述べれば、1つの対象物体200を相異なる位置にある4台のカメラ221,222,223,224でもって撮像したものである。すなわち、三次元映像の撮像視点数は、4視点である。
図2Aと図2Bとで、対象物体は静止している物体でもあり、動いている物体でもありうる。
図2Aと図2Bとでは、三次元映像の撮像視点数と関連し、2視点と4視点とについて述べたが、1つの対象物体200に対してさらに多様な撮像視点数を有するように撮像できる。
図3Aないし図3Dは、図1での三次元映像のディスプレイフォーマット方式の一例を図示した図である。図3Aないし図3Dについて述べれば、図3Aは、ライン−バイ−ラインフォーマットについての映像を表し、図3Bは、ピクセル−バイ−ピクセルフォーマットについての映像を表し、図3Cは、トップダウンフォーマット映像を表し、図3Dは、サイド−バイ−サイドフォーマットについての映像を表す。
さらに具体的に、以下では、ステレオ映像(左眼映像、右眼映像)についてのディスプレイフォーマット方式を説明する。そして、左眼映像と右眼映像は、それぞれ(NxM)サイズを有することとする。
図3Aのライン−バイ−ラインフォーマットの映像は、左眼映像と右眼映像とをそれぞれ垂直方向に1/2サブサンプリングし、左眼映像の画素と右眼映像の画素とをラインごとに交互に位置させて三次元映像を作る。図3Bのピクセル−バイ−ピクセルフォーマットの映像は、左眼映像と右眼映像とをそれぞれ水平方向に1/2サブサンプリングし、左眼映像の画素と右眼映像の画素とを1画素ずつ交互に位置させて三次元映像を作る。図3Cのトップダウンフォーマットの映像は、左眼映像と右眼映像とをそれぞれ垂直方向に1/2サブサンプリングし、サンプリングした左眼映像を上部に、サンプリングした右眼映像を下部に位置させて1つの三次元映像を作る。すなわち、(NxM)サイズの左眼映像と右眼映像とをそれぞれ(NxM/2)サイズにサブサンプリングした後でこれを上下に位置させることにより、1つの(NxM)サイズの三次元映像を作る。図3Dは、サイド−バイ−サイドフォーマットの映像であり、左眼映像と右眼映像とをそれぞれ水平方向に1/2サブサンプリングし、サンプリングした左眼映像を左側に、サンプリングした右眼映像を右側に位置させて1つの三次元映像を作る。すなわち、(NxM)サイズの左眼映像と右眼映像とをそれぞれ(N/2xM)サイズにサブサンプリングした後でこれを左右側に位置させることにより、1つの(NxM)サイズの三次元映像を作る。
前述のように、三次元映像合成フォーマットにはさまざまあるが、このうち、図3Cに図示したようなトップダウンフォーマットと、図3Dに図示したようなサイド−バイ−サイドフォーマットとが、MPEGなどで圧縮して伝送時に効率的なために、多用されうる。
図4は、本発明の望ましい一実施形態による映像送信装置のブロック図である。図4について述べれば、映像送信装置は、保存部400、映像特性パラメータ生成部410、ユーザインターフェース部420、エンコーディング部430及び送信部440を備えてなる。
保存部400は、対象物体を撮像して得られた映像データを保存している。保存部400に保存されている映像データは、1つの対象物体を1台のカメラで撮像して得られる映像でもあり、または1つの対象物体を複数台のカメラで撮像して得られる映像でもありうる。
すなわち、保存部400に保存されている映像データは、二次元映像でもあり、複数台のカメラで撮った左眼映像と右眼映像とがサブサンプリングされて合成され、図3Aないし図3Dを参照して説明したようなディスプレイフォーマットのうち、いずれか1つのフォーマットの三次元映像であることもある。
映像特性パラメータ生成部410は、保存部400に保存されている映像データの特性を表す映像特性パラメータを生成する役割を果たす。ここで、映像特性パラメータは、二次元映像であるか三次元映像であるかを示す情報を含む。さらに、三次元映像である場合に、撮像視点数情報またはディスプレイフォーマット情報を含むことができる。
ユーザインターフェース部420は、映像特性パラメータ生成部410を制御する命令をユーザから受信し、前記映像特性パラメータについて受信する入出力インターフェースを提供する。ユーザは、保存部400に保存されている映像データの特性を表す映像特性パラメータをユーザインターフェース部420を介して設定することによって生成可能である。
本発明の一実施形態では、かようにユーザインターフェース部420を設けて映像特性パラメータを生成するとしているが、これと係っては、映像を撮像する過程で直ちに映像特性パラメータを生成する方法など、多様な実施形態が可能である。
エンコーディング部430は、保存部400から対象物体を撮像して得られた映像データと、映像特性パラメータ生成部410から生成された映像特性パラメータとを入力される。そして、エンコーディング部430は、保存部400から入力された映像データと、映像特性パラメータ生成部410から入力された映像特性パラメータとを符号化し、伝送ストリーム形態で示すように変換する。ここで、エンコーディング部430は、保存部400から入力された映像は、伝送ストリームのペイロードに含め、映像特性パラメータは、伝送ストリームのヘッダの所定位置に含める。また、エンコーディング部430は、MPEGまたはその他さまざまな方法で符号化を行う。
送信部440は、エンコーディングされた伝送ストリームをDTV規格や、その他のさまざまな伝送規格によって送信する。
図5は、本発明の望ましい一実施形態による映像受信装置のブロック図である。図5について述べれば、映像受信装置は、受信部500、デコーディング部510、映像特性パラメータ検出部520及びディスプレイ部530を備えてなる。
受信部500は、映像送信装置から伝送された映像信号を受信する。ここで、受信部500を介して受信される映像信号は、伝送ストリーム形態の映像信号である。
デコーディング部510は、映像送信装置で符号化した規格に対応する復号化を行う。例えば、MPEG−2規格によって符号化されているならば、それによって復号化を行う。さらに具体的に、デコーディング部510は、映像信号の時空間的な相関性を考慮し、エンコーディングされた映像信号を可変長デコーディング、逆離散コサイン変換(Inverse DCT)、逆量子化及びモーション補償のような復号化技法を利用し、符号化以前のもとの映像と映像特性パラメータとに復元する。
映像特性パラメータ検出部520は、デコーディングされた伝送ストリームのヘッダ所定位置に含まれた情報のうちから映像特性パラメータを検出する。ここで、映像特性パラメータは、ペイロードに含まれている映像が二次元映像であるか三次元映像であるかということを示す情報を含む。さらに、三次元映像である場合に、撮像視点数情報またはディスプレイフォーマット情報をさらに含むことができる。
ディスプレイ部530は、映像特性パラメータ検出部520から伝送された映像特性パラメータと、デコーディング部510からデコーディングされた映像データとを入力される。そして、ディスプレイ部530は、映像特性パラメータによってデコーディングされた映像データを画面上にディスプレイする。
さらに具体的に、映像特性パラメータが、二次元映像であると示された場合、ディスプレイ部530は、デコーディング部510から入力されるデコーディングされた映像データを二次元に画面上にディスプレイする。そして、映像特性パラメータが三次元映像であると示された場合、ディスプレイ部530は、デコーディング部510から入力されるデコーディングされた映像データを三次元に画面上にディスプレイする。さらに、ディスプレイ部530は、映像特性パラメータが三次元映像であり、撮像視点数情報またはディスプレイフォーマット情報をさらに含むと示された場合、前記撮像視点数情報またはディスプレイフォーマット情報に該当するように、前記デコーディングされた映像データを所定方式に変換してディスプレイする。
ここで、ディスプレイ部530は、2D/3D兼用ディスプレイ装置で構成される。2D/3D兼用ディスプレイ装置を具現する方法は、多様でありえる。さらに具体的な方法としては、本発明のディスプレイ部530は、大韓民国特許公開第10−0440956号公報(発明の名称:2D/3D兼用ディスプレイ)に記述されているように、イメージ形成パネルディスプレイと、レンズ部と、前記レンズ部に対して選択的に電源を供給させることができる電源供給部とを備えて具現できる。そして、TFT−LCDの後側に液晶シャッタを具備し、これを利用して二次元映像と三次元映像とを選択的に表示する2D/3D兼用ディスプレイ装置がある。しかし、前記で挙げた例は、1つの一例として挙げたものであり、本発明のディスプレイ部530は、それらに限定されずに多様な方法で具現されうる。
図6は、本発明の望ましい一実施形態による映像送信方法のフローチャートである。図6について述べれば、まず、対象物体を撮像して得られた映像データを入力される(S600)。ここで、映像データは、1つの対象物体を1台のカメラで撮像して得られる映像データ、または1つの対象物体を複数台のカメラで撮像して得られる映像データでありうる。
次に、前記映像データの特性を表すように生成された映像特性パラメータを入力される(S610)。ここで、映像特性パラメータは、ステップS600で入力された映像データが二次元映像であるか三次元映像であるかについての情報を含む。さらに、三次元映像である場合に、撮像視点数情報またはディスプレイフォーマット情報をさらに含むことができる。
次に、ステップS600で入力された映像データと、ステップS610で入力された映像特性パラメータとを符号化し、伝送ストリーム形態に変換する(S620)。ここで、映像データは、伝送ストリームのペイロードに含め、映像特性パラメータは、伝送ストリームのヘッダ所定位置に含める。ステップS620での符号化は、MPEGまたはその他さまざまな方法で符号化を行う。
次に、ステップS620でエンコーディングされた伝送ストリームをDTV規格や、その他のさまざま伝送規格によって送信する(S630)。
図6で未説明の部分は、図4を参照する。
図7は、本発明の望ましい一実施形態による映像受信方法のフローチャートである。図7について述べれば、まず、アンテナを介して映像データと、前記映像データについての映像特性パラメータとを含む映像信号を受信する(S700)。ここで、受信される映像信号は、伝送ストリーム形態の映像信号である。
次に、ステップS700で受信された映像信号をデコーディングする(S710)。
次に、ステップS710でデコーディングされた映像信号を入力され、前記映像データについての映像特性パラメータを検出する(S720)。ここで、映像特性パラメータは、ペイロードにある映像データが二次元映像であるか三次元映像であるかを示す情報を含む。さらに、三次元映像である場合、撮像視点数情報またはディスプレイフォーマット情報をさらに含むことができる。
次に、ステップS720で検出された映像特性パラメータをディスプレイ装置に出力する(S730)。
次に、ステップS730で伝送された映像特性パラメータにより、ステップS710でデコーディングされた映像データを画面上にディスプレイする(S740)。
図7で未説明の部分は、図5を参照する。
本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク及び光データ保存装置などがあり、またキャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードでもって保存されて実行さるうる。
以上のように、図面と明細書とで最適の実施形態が開示された。ここで、特定の用語が使われたが、それらは、単に本発明を説明するための目的で使われたものであり、意味限定や特許請求範囲に記載された本発明の範囲を制限するために使われたものではない。従って、本技術分野の当業者ならば、それらから多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。従って、本発明の真の技術的な保護範囲は、特許請求の範囲の技術的思想によってのみ決まるのである。
本発明の映像送信及び受信方法と装置、及びその伝送ストリーム構造は、例えば、DTV関連の技術分野に効果的に適用可能である。
本発明の一実施形態による伝送ストリーム構造である。 図1での三次元映像の撮像視点数についての一例を図示した図である。 図1での三次元映像の撮像視点数についての一例を図示した図である。 図1での三次元映像のディスプレイフォーマット方式の一例を図示した図である。 図1での三次元映像のディスプレイフォーマット方式の一例を図示した図である。 図1での三次元映像のディスプレイフォーマット方式の一例を図示した図である。 図1での三次元映像のディスプレイフォーマット方式の一例を図示した図である。 本発明の望ましい一実施形態による映像送信装置のブロック図である。 本発明の望ましい一実施形態による映像受信装置のブロック図である。 本発明の望ましい一実施形態による映像送信方法のフローチャートである。 本発明の望ましい一実施形態による映像受信方法のフローチャートである。
符号の説明
100 ヘッダ
102 映像特性パラメータ
102a 2D/3D区分情報
102b 映像視点数情報
102c ディスプレイフォーマット情報
120 ペイロード
200 対象物体
221,222,223,224 カメラ
400 保存部
410 映像特性パラメータ生成部
420 ユーザインターフェース部
430 エンコーディング部
440 送信部
500 受信部
510 デコーディング部
520 映像特性パラメータ検出部
530 ディスプレイ部

Claims (19)

  1. 記憶された映像データが二次元映像であるか三次元映像であるかを示す情報を含む映像特性パラメータを生成する映像特性パラメータ生成部と、
    生成された映像特性パラメータと、前記記憶された映像データとを符号化するエンコーディング部と、
    符号化された映像特性パラメータを含むヘッダと、符号化された映像データを含むペイロードとから構成される伝送ストリームを送信する送信部と、
    を備え
    前記映像特性パラメータは、前記記憶された映像データが三次元映像である場合に、左眼映像と右眼映像とからどのように三次元映像が生成されたかを識別する情報を更に含む、
    とを特徴とする映像送信装置。
  2. 前記映像特性パラメータ生成部を制御する命令をユーザから受信し、前記映像特性パラメータを受信する入出力インターフェースを提供するユーザインターフェース部を更に備える、
    ことを特徴とする請求項1記載の映像送信装置。
  3. 前記映像特性パラメータは、前記記憶された映像データが三次元映像である場合に、前記三次元映像の撮像視点数を示す情報を更に含む、
    ことを特徴とする請求項1記載の映像送信装置。
  4. 前記識別する情報は、ライン−バイ−ラインフォーマット、ピクセル−バイ−ピクセルフォーマット、トップダウンフォーマット及びサイド−バイ−サイドフォーマットのうち、いずれか1つを含む、
    ことを特徴とする請求項記載の映像送信装置。
  5. 前記映像データは、デジタル放送システムに適用されるデータである、
    ことを特徴とする請求項1記載の映像送信装置。
  6. 映像データが二次元映像であるか三次元映像であるかを示す情報を含む映像特性パラメータを含むヘッダと、前記映像データを含むペイロードとから構成される伝送ストリームを受信する受信部と、
    受信された伝送ストリームに含まれる映像データと映像特性パラメータとを復号化するデコーディング部と、
    復号化された映像特性パラメータを検出する映像特性パラメータ検出部と、
    検出された映像特性パラメータに基づいて、復号化された映像データを表示するディスプレイ部と、
    を備え
    前記映像特性パラメータは、前記映像データが三次元映像である場合に、左眼映像と右眼映像とからどのように三次元映像が生成されたかを識別する情報を更に含む、
    とを特徴とする映像受信装置。
  7. 前記映像特性パラメータは、前記映像データが三次元映像である場合に、前記三次元映像の撮像視点数を示す情報を更に含む、
    ことを特徴とする請求項記載の映像受信装置。
  8. 前記識別する情報は、ライン−バイ−ラインフォーマット、ピクセル−バイ−ピクセルフォーマット、トップダウンフォーマット及びサイド−バイ−サイドフォーマットのうち、いずれか一つを含む、
    ことを特徴とする請求項記載の映像受信装置。
  9. 前記映像データは、デジタル放送システムに適用されるデータである、
    ことを特徴とする請求項記載の映像受信装置。
  10. 記憶された映像データが二次元映像であるか三次元映像であるかを示す情報を含む映像特性パラメータを生成するステップと、
    生成された映像特性パラメータと、前記記憶された映像データとを符号化するステップと、
    符号化された映像特性パラメータを含むヘッダと、符号化された映像データを含むペイロードとから構成される伝送ストリームを送信するステップと、
    を含み、
    前記映像特性パラメータは、前記映像データが三次元映像である場合に、左眼映像と右眼映像とからどのように三次元映像が生成されたかを識別する情報を更に含む、
    とを特徴とする映像送信方法。
  11. 前記映像特性パラメータは、前記映像データが三次元映像である場合に、前記三次元映像の撮像視点数を示す情報を更に含む、
    ことを特徴とする請求項10記載の映像送信方法。
  12. 前記識別する情報は、ライン−バイ−ラインフォーマット、ピクセル−バイ−ピクセルフォーマット、トップダウンフォーマット及びサイド−バイ−サイドフォーマットのうち、いずれか一つを含む、
    ことを特徴とする請求項10記載の映像送信方法。
  13. 前記映像データは、デジタル放送システムに適用されるデータである、
    ことを特徴とする請求項10記載の映像送信方法。
  14. 映像データが二次元映像であるか三次元映像であるかを示す情報を含む映像特性パラメータを含むヘッダと、前記映像データを含むペイロードとから構成される伝送ストリームを受信するステップと、
    受信された伝送ストリームに含まれる映像データと映像特性パラメータとを復号化するステップと、
    復号化された映像特性パラメータを検出するステップと、
    検出された映像特性パラメータに基づいて、復号化された映像データを表示するステップと、
    を含み、
    前記映像特性パラメータは、前記映像データが三次元映像である場合に、左眼映像と右眼映像とからどのように三次元映像が生成されたかを識別する情報を更に含む、
    とを特徴とする映像受信方法。
  15. 前記映像特性パラメータは、前記映像データが三次元映像である場合に、前記三次元映像の撮像視点数を示す情報を更に含む、
    ことを特徴とする請求項14記載の映像受信方法。
  16. 前記識別する情報は、ライン−バイ−ラインフォーマット、ピクセル−バイ−ピクセルフォーマット、トップダウンフォーマット及びサイド−バイ−サイドフォーマットのうち、いずれか一つを含む、
    ことを特徴とする請求項14記載の映像受信方法。
  17. 前記映像データは、デジタル放送システムに適用されるデータである、
    ことを特徴とする請求項14記載の映像受信方法。
  18. コンピュータに、
    記憶された映像データが二次元映像であるか三次元映像であるかを示す情報を含む映像特性パラメータを生成するステップと、
    生成された映像特性パラメータと、前記記憶された映像データとを符号化するステップと、
    符号化された映像特性パラメータを含むヘッダと、符号化された映像データを含むペイロードとから構成される伝送ストリームを送信するステップと、
    を含み、
    前記映像特性パラメータは、前記映像データが三次元映像である場合に、左眼映像と右眼映像とからどのように三次元映像が生成されたかを識別する情報を更に含む、
    像送信方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
  19. コンピュータに、
    映像データが二次元映像であるか三次元映像であるかを示す情報を含む映像特性パラメータを含むヘッダと、前記映像データを含むペイロードとから構成される伝送ストリームを受信するステップと、
    受信された伝送ストリームに含まれる映像データと映像特性パラメータとを復号化するステップと、
    復号化された映像特性パラメータを検出するステップと、
    検出された映像特性パラメータに基づいて、復号化された映像データを表示するステップと、
    を含み、
    前記映像特性パラメータは、前記映像データが三次元映像である場合に、左眼映像と右眼映像とからどのように三次元映像が生成されたかを識別する情報を更に含む、
    像受信方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
JP2006163838A 2005-06-14 2006-06-13 映像送信及び受信方法と装置、及びその伝送ストリーム構造 Expired - Fee Related JP5328082B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2005-0051135 2005-06-14
KR1020050051135A KR100813961B1 (ko) 2005-06-14 2005-06-14 영상 수신장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012058901A Division JP2012110068A (ja) 2005-06-14 2012-03-15 映像送信及び受信方法と装置、及びその伝送ストリーム構造

Publications (2)

Publication Number Publication Date
JP2006352876A JP2006352876A (ja) 2006-12-28
JP5328082B2 true JP5328082B2 (ja) 2013-10-30

Family

ID=36952656

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006163838A Expired - Fee Related JP5328082B2 (ja) 2005-06-14 2006-06-13 映像送信及び受信方法と装置、及びその伝送ストリーム構造
JP2012058901A Pending JP2012110068A (ja) 2005-06-14 2012-03-15 映像送信及び受信方法と装置、及びその伝送ストリーム構造

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012058901A Pending JP2012110068A (ja) 2005-06-14 2012-03-15 映像送信及び受信方法と装置、及びその伝送ストリーム構造

Country Status (5)

Country Link
US (2) US20070008575A1 (ja)
EP (1) EP1734766A3 (ja)
JP (2) JP5328082B2 (ja)
KR (1) KR100813961B1 (ja)
CN (1) CN100586178C (ja)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777447B1 (ko) * 2006-02-06 2007-11-21 삼성전자주식회사 디지털 방송 송신 및 수신 장치 그리고 그에 적용되는로버스트 스트림 코딩 및 디코딩 방법
KR100842582B1 (ko) * 2007-01-08 2008-07-01 삼성전자주식회사 디지털 멀티미디어 데이터를 송수신하는 디지털 방송 시스템 및 그 방법
KR101360264B1 (ko) * 2007-05-07 2014-02-21 한국전자통신연구원 방송 서비스 방법
EP2501137A3 (en) 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101450145B1 (ko) * 2007-06-11 2014-10-13 삼성전자 주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US8416247B2 (en) 2007-10-09 2013-04-09 Sony Computer Entertaiment America Inc. Increasing the number of advertising impressions in an interactive environment
US8390674B2 (en) 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
KR101457893B1 (ko) * 2007-10-10 2014-11-04 삼성전자주식회사 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
WO2009075495A1 (en) 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR101480186B1 (ko) * 2007-12-10 2015-01-07 삼성전자주식회사 2d 영상과 3d 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101490689B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
KR20110074823A (ko) * 2008-09-30 2011-07-04 파나소닉 주식회사 3d 영상에 관한 기록매체, 재생장치, 시스템 lsi, 재생방법, 안경 및 표시장치
EP2373042A4 (en) * 2008-12-30 2012-09-12 Lg Electronics Inc DIGITAL RADIO RECEPTION PROCEDURE WITH 2D AND 3D IMAGE INTEGRATION SERVICE AND DIGITAL RADIO RECEPTION DEVICE THEREWITH
WO2010084437A2 (en) * 2009-01-20 2010-07-29 Koninklijke Philips Electronics N.V. Transferring of 3d image data
JP5694952B2 (ja) * 2009-01-20 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ 3d画像データの転送
US10742953B2 (en) 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
CA2749065C (en) 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
CA2758104C (en) * 2009-04-07 2015-04-07 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
US8953017B2 (en) 2009-05-14 2015-02-10 Panasonic Intellectual Property Management Co., Ltd. Source device, sink device, communication system and method for wirelessly transmitting three-dimensional video data using packets
JP5463747B2 (ja) * 2009-06-15 2014-04-09 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US9215435B2 (en) 2009-06-24 2015-12-15 Dolby Laboratories Licensing Corp. Method for embedding subtitles and/or graphic overlays in a 3D or multi-view video data
KR101347744B1 (ko) * 2009-08-19 2014-01-03 서울시립대학교 산학협력단 영상 처리 장치 및 방법
JP5433862B2 (ja) * 2009-09-30 2014-03-05 日立マクセル株式会社 受信装置及び表示制御方法
US8953019B2 (en) * 2009-10-20 2015-02-10 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
JP5450118B2 (ja) 2010-01-14 2014-03-26 ソニー株式会社 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム
EP2537347B1 (en) * 2010-02-15 2019-06-05 InterDigital Madison Patent Holdings Apparatus and method for processing video content
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
JP5559614B2 (ja) * 2010-04-21 2014-07-23 日立マクセル株式会社 受信装置および受信方法
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
WO2011148554A1 (ja) * 2010-05-28 2011-12-01 日立コンシューマエレクトロニクス株式会社 受信装置および出力方法
WO2011151958A1 (ja) * 2010-06-02 2011-12-08 日立コンシューマエレクトロニクス株式会社 受信装置および出力方法
WO2011151960A1 (ja) * 2010-06-02 2011-12-08 日立コンシューマエレクトロニクス株式会社 受信装置および出力方法
JP5710895B2 (ja) * 2010-06-02 2015-04-30 日立マクセル株式会社 デジタルコンテンツ受信装置およびデジタルコンテンツ受信方法
US10917624B2 (en) 2010-06-02 2021-02-09 Maxell, Ltd. Reception device, display control method, transmission device, and transmission method for program content type
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
CN102577406A (zh) * 2010-06-23 2012-07-11 松下电器产业株式会社 内容分发系统、再现装置、分发服务器、再现方法及分发方法
JP2012034138A (ja) * 2010-07-29 2012-02-16 Toshiba Corp 信号処理装置及び信号処理方法
JPWO2012017687A1 (ja) * 2010-08-05 2013-10-03 パナソニック株式会社 映像再生装置
JP2012039340A (ja) * 2010-08-06 2012-02-23 Hitachi Consumer Electronics Co Ltd 受信装置および受信方法
EP2608547B1 (en) * 2010-08-17 2018-03-21 LG Electronics Inc. Apparatus and method for receiving digital broadcasting signal
JP5602539B2 (ja) * 2010-08-20 2014-10-08 日立マクセル株式会社 受信装置
KR20120019635A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 방송 채널 전환 방법 및 이를 수행하는 방송 수신 장치
JP5483357B2 (ja) * 2010-08-27 2014-05-07 アルパイン株式会社 デジタルテレビ受信装置及びデジタルテレビ受信装置を設けた車載装置
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2013545361A (ja) * 2010-12-13 2013-12-19 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012148055A (ja) * 2010-12-27 2012-08-09 Fujifilm Corp 撮影画像表示装置および撮影画像表示方法
CN103430556A (zh) * 2011-03-18 2013-12-04 松下电器产业株式会社 显示装置、3d眼镜及3d影像视听系统
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
KR101973822B1 (ko) * 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
JP5814619B2 (ja) * 2011-05-18 2015-11-17 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
CN102263977B (zh) * 2011-08-01 2013-06-12 清华大学 一种用于移动终端的立体视频获取的方法和装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
CN103096014B (zh) 2011-10-28 2016-03-30 华为技术有限公司 一种视频呈现方法和系统
CN103260038A (zh) * 2012-02-20 2013-08-21 山东沃飞电子科技有限公司 三维内容发送和接收的方法、装置和系统
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
CN104185994A (zh) * 2012-12-28 2014-12-03 华为技术有限公司 对视频内容的摄像机参数的编码和解码方法与装置
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
JP5742886B2 (ja) * 2013-06-19 2015-07-01 沖電気工業株式会社 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム
WO2015016913A1 (en) 2013-07-31 2015-02-05 Empire Technology Development Llc Encoding scheme
CN104427378B (zh) * 2013-09-09 2018-03-23 杭州海康威视数字技术股份有限公司 多类型业务数据流传输装置
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP2014082769A (ja) * 2013-11-27 2014-05-08 Sony Corp 受信装置、表示制御方法、プログラム、及びデータ構造
CN105794205B (zh) 2013-12-04 2017-07-21 奥林巴斯株式会社 无线传输系统
US9497358B2 (en) * 2013-12-19 2016-11-15 Sony Interactive Entertainment America Llc Video latency reduction
JP5684415B2 (ja) * 2014-01-27 2015-03-11 日立マクセル株式会社 デジタル放送信号受信装置およびデジタル放送信号受信方法
CN105981391B (zh) 2014-02-07 2020-04-10 索尼公司 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN107635130A (zh) * 2016-07-18 2018-01-26 中兴通讯股份有限公司 一种实现3d图像显示的方法及装置
JP6655756B2 (ja) * 2017-05-19 2020-02-26 オリンパス株式会社 3d内視鏡装置、及び、3d映像処理装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
JPH11353495A (ja) 1998-06-10 1999-12-24 Nec Corp グラフィックス装置とグラフィック方法
KR100585058B1 (ko) * 1999-02-01 2006-06-01 삼성전자주식회사 캡션 디스플레이를 위한 엠펙 디코더 및 디코딩 방법
JP4497497B2 (ja) * 2001-01-22 2010-07-07 日本テレビ放送網株式会社 立体映像信号の伝送方法及び、そのシステム
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
AU2003231508A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
WO2003092305A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
KR100977193B1 (ko) * 2002-04-25 2010-08-20 샤프 가부시키가이샤 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
JP2003333624A (ja) * 2002-05-10 2003-11-21 Sharp Corp 電子機器
JP4129408B2 (ja) * 2002-09-27 2008-08-06 シャープ株式会社 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法
JP4259884B2 (ja) * 2003-01-20 2009-04-30 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2004274253A (ja) * 2003-03-06 2004-09-30 Sharp Corp 映像記録装置および映像送信装置
JP4324435B2 (ja) * 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100716982B1 (ko) * 2004-07-15 2007-05-10 삼성전자주식회사 다차원 영상 포맷의 변환장치 및 방법

Also Published As

Publication number Publication date
CN1882080A (zh) 2006-12-20
JP2006352876A (ja) 2006-12-28
CN100586178C (zh) 2010-01-27
US20070008575A1 (en) 2007-01-11
EP1734766A3 (en) 2013-01-23
US20120224025A1 (en) 2012-09-06
EP1734766A2 (en) 2006-12-20
KR20060130450A (ko) 2006-12-19
KR100813961B1 (ko) 2008-03-14
JP2012110068A (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5328082B2 (ja) 映像送信及び受信方法と装置、及びその伝送ストリーム構造
JP5137340B2 (ja) 映像ディスプレイモードの転換方法及び装置
US9736452B2 (en) Broadcast receiver and video data processing method thereof
RU2528080C2 (ru) Кодирующее устройство для сигналов трехмерного видеоизображения
US10055814B2 (en) Image processing device and image processing method
US20100265315A1 (en) Three-dimensional image combining apparatus
US9979961B2 (en) Image processing device and image processing method
EP2559257B1 (en) Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices
US10205927B2 (en) Encoding device and encoding method, and decoding device and decoding method
US20130315473A1 (en) Image processing device and image processing method
CA2772927C (en) Cable broadcast receiver and 3d video data processing method thereof
US20110157312A1 (en) Image processing apparatus and method
JP5390016B2 (ja) 映像処理装置
JP5390017B2 (ja) 映像処理装置
CN102447863A (zh) 一种多视点立体视频字幕处理方法
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
KR100940209B1 (ko) 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록매체
KR101044952B1 (ko) 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR101086437B1 (ko) 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법
KR101659623B1 (ko) 입체영상 재생 장치 및 데이터 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130723

R150 Certificate of patent or registration of utility model

Ref document number: 5328082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees