JP5185104B2 - カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体 - Google Patents

カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体 Download PDF

Info

Publication number
JP5185104B2
JP5185104B2 JP2008503951A JP2008503951A JP5185104B2 JP 5185104 B2 JP5185104 B2 JP 5185104B2 JP 2008503951 A JP2008503951 A JP 2008503951A JP 2008503951 A JP2008503951 A JP 2008503951A JP 5185104 B2 JP5185104 B2 JP 5185104B2
Authority
JP
Japan
Prior art keywords
camera
image
camera parameter
images
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008503951A
Other languages
English (en)
Other versions
JP2008535371A (ja
Inventor
リー，ヨン−ヨル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2008535371A publication Critical patent/JP2008535371A/ja
Application granted granted Critical
Publication of JP5185104B2 publication Critical patent/JP5185104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

本発明は、動画符号化及び復号化に係り、さらに詳細には、カメラパラメータを利用した多視点画像の符号化と生成方法、及びその装置に関する。
ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｌａｙｅｒ−４）及びＨ.２６４での動画符号化は、一つのカメラで撮った動画の符号化に係り、符号化効率の上昇に主に焦点が合わせられている。しかし、実感通信や仮想現実などの分野では、数台のカメラを使用して一つのシーンを撮ることによって、多視点を有する３次元動画を構成し、このように構成された多視点画像の効率的な圧縮符号化及び再生のための方法が必要である。
しかし、従来の圧縮符号化及び再生方法は、単一カメラで生成された画像の圧縮符号化及び再生に係り、本願発明で適用しようとする多視点画像に対しては、効率的に適用し難いという問題点があった。
従来の多視点エンコーディング方法は、米国特許公開第２００４／００２７４５２Ａ１号公報に開示されている。
本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法と生成方法、及びその装置を提供することである。
また、本発明が解決しようとする課題は、多視点画像に適用されるカメラパラメータを利用した多視点画像の効率的な符号化方法及び生成方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供することである。
前記課題は、本発明による多視点画像の符号化方法において、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む符号化方法によって達成される。
本発明による符号化方法は、カメラパラメータの存否を表す情報を、符号化された画像データに挿入するステップをさらに含むことが望ましい。
本発明による符号化方法は、カメラパラメータが存在する場合、カメラパラメータの信頼度を確認するステップをさらに含むことが望ましい。
本発明による符号化方法で、カメラパラメータは、カメラの固有特性を表す固有パラメータまたは非本質的な特性を表す非固有パラメータのうち少なくとも一つを含み、固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値を含み、非固有パラメータは、カメラの位置情報を含むことが望ましい。
本発明による符号化方法において、カメラパラメータの信頼度判断は、該当カメラに対してズーミング、パニングが発生するか否かによって決定することが望ましい。
本発明による符号化方法において、複数の画像の適応的符号化時に、前記カメラパラメータが存在する画像のみを参照画像として使用することが望ましい。
本発明による符号化方法において、複数の画像の適応的符号化時に、カメラパラメータが存在し、カメラパラメータが信頼度があると確認された画像のみを参照画像として使用することが望ましい。
本発明による符号化方法において、所定の画像単位は、スライス単位であり、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報は、スライスヘッダごとに２ビットのフラグで表示することが望ましい。
前記課題は、少なくとも一つ以上の多視点カメラから複数の画像データを入力されるステップと、入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するステップと、カメラパラメータの存否に基づいて、画像単位の複数の画像データそれぞれの符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
前記課題は、本発明による多視点画像の符号化装置において、少なくとも一つ以上の多視点カメラから複数の画像データを入力される入力部と、前記入力された複数の画像データに対して所定サイズの画像単位でカメラパラメータの存否を探索するカメラパラメータ探索部と、前記カメラパラメータの存否に基づいて、前記画像単位の複数の画像データそれぞれの符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
前記課題は、本発明による多視点画像の符号化方法において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む符号化方法によっても達成される。
前記課題は、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索するステップと、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行うステップと、を含む多視点画像の符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体によっても達成される。
前記課題は、多視点画像の符号化装置において、現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータを探索する探索部と、前記現在画像及び少なくとも一つ以上の隣接画像のカメラパラメータの存否に基づいて、前記現在画像の符号化を適応的に行う符号化部と、を備える符号化装置によっても達成される。
前記課題は、カメラパラメータ情報を利用した多視点画像の生成方法において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含む多視点画像の生成方法によっても達成される。
前記課題は、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成するステップと、を含むカメラパラメータ情報を利用した多視点画像の生成方法を行うためのプログラムが記録された記録媒体によっても達成される。
前記課題は、カメラパラメータ情報を利用した多視点画像の生成装置において、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、前記抽出されたカメラパラメータ情報に基づいて、所定画像を生成する画像生成部と、を備える装置によっても達成される。
本発明によれば、カメラパラメータの存否及び信頼度如何に基づいて、適応的な符号化を行うことによって圧縮効率を高め、また、入力ビットストリームに挿入されたカメラパラメータ情報に基づいて、多視点中間画像を適応的に生成することによって、ディスプレイされる画像の画質を改善することが可能である。
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
図１は、一列に位置しているカメラから複数の画像データを受けて符号化することを説明するための図である。図１を参照するに、数台のカメラが一次元的なライン上に一列に位置している。本発明では、ｉ軸とｊ軸とで構成される２次元上にカメラが存在すると仮定するが、優先的に一次元的にカメラが存在する場合を説明するために、ｉ＝０である場合を例として説明する。
図２は、複数のカメラが撮った画像を経時的に示す図である。ここで、カメラが撮った所定時間での画像をｆ（ｉ,ｊ,ｔ）とする。このとき、ｉ、ｊは、カメラの位置を意味し、ｔは、時間を意味する。図１及び図２で、カメラは、一次元的に一列に存在するので、ｉは、０である場合である。例えば、ｆ（０,０,０）は、最初に中心位置のカメラが撮った画像を意味する。
図３は、本発明で適用される視空間予測符号化方法を説明するための図である。図３を参照するに、中央位置に存在するカメラの画像のうち、ｆ（０,０,２）は、隣接カメラの画像、すなわち、ｆ（０,−１,２）、ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,１,１）、ｆ（０,１,２）を参照画像として符号化が可能である。このような視空間符号化方法を適用する場合、より多くの参照画像を使用することが可能であるため、復元された画像の質が高まる。
図４は、本発明による多視点ビデオの符号化装置の一実施形態を示す図である。
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部４２０、多視点画像符号化部４４０、カメラパラメータ情報挿入部４６０を備える。
カメラパラメータ探索部４２０は、複数のカメラから入力されるデータから入力されたそれぞれの画像に対して、カメラの特性情報、例えば、カメラごとに存在するカメラパラメータについての情報を探索する。カメラパラメータには、カメラ固有のパラメータとカメラ固有の特性でない、非固有的なパラメータとがある。
カメラの固有パラメータは、カメラ焦点距離、主点、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のような値を含む。また、非固有的なパラメータは、世界座標系でのカメラの座標、ｘ、ｙ、ｚ座標上でのラジアンまたは角度のようなカメラの位置情報を含む。
カメラパラメータ探索部４２０は、入力される多視点画像のそれぞれに対して、このようなカメラパラメータが存在するか否かを探索し、探索結果を多視点画像符号化部４４０に伝送する。
多視点画像を生成する複数のカメラによって、カメラパラメータを送ることが可能でない場合があるため、このようなカメラパラメータが存在するか否かを確認することが必要になる。例えば、所定のカメラから入力された画像にカメラパラメータが存在しない場合、隣接画像の符号化時にカメラパラメータが存在しない該当画像を使用して、任意の多視点画像、すなわち、中間時点画像が補間できなくなる。
例えば、図３の場合、ｆ（０,０,１）画像に対してのみカメラパラメータが存在し、ｆ（０,−１,１）画像に対しては、カメラパラメータが存在しない場合、これらの二つの画像に基づいて、これらの二つの画像の間に存在する画像ｆ（０,−１／２,１）が補間できなくなる。この場合、例えば、ｆ（０,−２,１）画像に対してカメラパラメータが存在する場合、ｆ（０,０,１）画像及びｆ（０,−２,１）画像に基づいて、画像ｆ（０,−１／２,１）を補間せねばならない。
また、各画像に対してカメラパラメータが存在するか否かは、画像データの符号化時に有用に使われるが、これについては後述する。
このような点のため、多視点ビデオ画像を撮影するために使われるｎ台のカメラから入力される画像に対してカメラパラメータが存在するか否かを探索する過程が必要になる。
本実施形態では、カメラパラメータが入力ビデオ画像のスライス単位で、スライスヘッダに挿入されていると仮定し、該当ビデオ画像のスライスヘッダにカメラパラメータが挿入されているか否かを確認する。選択的に、カメラパラメータは、スライスヘッダではない他の位置に、スライス単位ではない他のサイズ、例えば、マクロブロック単位で挿入することも可能である。
多視点画像符号化部４４０では、入力されたそれぞれの画像に対して、カメラパラメータ情報の存否に基づいて符号化を行う。例えば、図３に示された画像のうち、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有する場合、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）に基づいて補間することによって復元できるため、ｆ（０,０,１）画像の圧縮をスキップするか、圧縮後に伝送しないか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間されたｆ’（０,０,１）との間の差分信号を圧縮して送ることが可能である。
本発明によれば、多視点ビデオ画像のうちデコーダで補間可能な画像の圧縮を選択的にスキップするか、圧縮された画像を伝送しないか、補間された画像の間の差分信号を圧縮して伝送させることによって、画質低下なしに画像圧縮の効率を顕著に向上させうる。
一方、本実施形態に付加的に含まれるカメラパラメータ情報挿入部４６０は、それぞれの画像について確認されたカメラパラメータの存否を表すカメラパラメータ情報を、多視点画像符号化部４４０で符号化されたビットストリームの所定の位置に挿入する。
本発明では、カメラパラメータ情報は、１ビットのＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇであって、各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入する。カメラパラメータ情報の挿入された符号化されたビットストリームは、デコーダ（図示せず）に伝送される。
選択的にマクロブロック（Ｍａｃｒｏ Ｂｌｏｃｋ：ＭＢ）単位で挿入して伝送することも可能であり、また、画像情報とは別途の付加情報として伝送することも可能である。
図５は、図４に示された多視点画像の符号化装置で行われる多視点画像の符号化方法を示すフローチャートである。
ステップ５２０では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
ステップ５４０では、現在画像及び隣接画像に対するカメラパラメータが存在するか否かを探索する。
ステップ５６０では、現在画像及び隣接画像に対するカメラパラメータの存否に基づいて適応的符号化を行う。
例えば、現在画像に対してカメラパラメータが存在しない場合、現在画像の圧縮のための符号化を進む。
一方、現在画像のカメラパラメータが存在する場合、現在画像の隣接画像に対してカメラパラメータが存在するか否かを判断する。隣接画像に対してカメラパラメータが存在する場合には、これらの隣接画像に基づいて、図４の多視点画像符号化部４４０で行われる適応的な符号化を行う。
本実施形態で付加的に含まれるステップ５８０では、カメラパラメータの存否を表す情報を符号化された画像データに挿入する。
以下では、図３を参照して、ステップ５６０及びステップ５８０で行われる手順を説明する。
現在画像のカメラパラメータが存在する場合、例えば、図３の場合、現在画像がｆ（０,０,１）である場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合、現在画像ｆ（０,０,１）の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリーム、例えば、スライスヘッダに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータを利用して現在画像を復元する。
また、選択的に隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合、現在画像と隣接画像とを利用して補間して得られた補間画像ｆ’（０,１,１）の間の差分データ、すなわち、ｆ（０,０,１）−ｆ’（０,０,１）及び現在画像のカメラパラメータのみを伝送する。このとき、伝送されるビットストリームに現在画像のカメラパラメータが存在するということを表すカメラパラメータフラグを挿入した後に伝送する。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、差分データ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの隣接画像のカメラパラメータを利用して現在画像を復元する。
一方、最隣接画像のうち、一つのみがカメラパラメータを有する場合にも、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送せしめることも可能である。この場合、現在画像の復号化ステップでは、現在画像のカメラパラメータ、カメラパラメータを有する隣接画像、及びこの画像のカメラパラメータを利用して現在画像を復元する。また、カメラパラメータを有していない隣接画像に隣接した画像のうち、カメラパラメータを有する隣接画像、例えば、ｆ（０,−１,２）及びこれらの画像のカメラパラメータを利用して現在画像を復元することも可能である。ｆ（０,０,１）画像を復元するためにｆ（０,−１,２）を参照する場合には、ｆ（０,−１,２）がＰフレームであり、ｆ（０,０,１）画像がこれらを参照するＢフレームである場合に発生しうる。
図６は、本発明による多視点ビデオの符号化装置の他の実施形態を示す図である。
本発明による多視点ビデオ符号化装置は、カメラパラメータ探索部６２０、カメラパラメータ信頼度確認部６４０、多視点画像符号化部６６０、及びカメラパラメータ情報挿入部６８０を備える。
カメラパラメータ探索部６２０は、図４のカメラパラメータ探索部４２０と同じ機能を行うので、説明の便宜上、ここで詳細な説明は省略する。
カメラパラメータ信頼度確認部６４０は、カメラパラメータ探索部６２０でカメラパラメータが存在すると確認された画像に対して、該当カメラパラメータが信頼できる情報であるか否かを判断する。本実施形態では、該当画像の撮影時、カメラのズーミング及びパニングが発生した場合、カメラパラメータが信頼できないと判断する。選択的に、ズーミングまたはパニング以外に所定の条件、例えば、チルト、カメラの移動、カメラの焦点距離の変化によってカメラパラメータの信頼度を判断することも可能である。
例えば、図３に示された画像のうち、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有し、かつ信頼できる場合、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間することによって求めるため、ｆ（０,０,１）画像の圧縮をスキップするか、圧縮後に伝送しないか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）とを利用して補間されたｆ’（０,０,１）差分データを圧縮して送ることが可能である。この場合、ｆ（０,０,１）画像データを伝送しない場合にも、ｆ（０,０,１）画像の復元のためには、ｆ（０,０,１）画像のカメラパラメータは、デコーダに伝送されねばならない。
しかし、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有するが、ｆ（０,−１,１）画像の撮影時にズーミングまたはパニングが発生してカメラパラメータを信頼できない場合には、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）から復元できないため、ｆ（０,０,１）画像を圧縮して伝送するか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,１,１）及びｆ（０,−１,２）画像とを利用して補間されたｆ’（０,０,１）差分信号を圧縮して伝送せねばならない。それは、パニングが発生してカメラパラメータを信頼できなくなった画像に基づいて補間を行う場合、補間された画像に歪曲が発生する恐れがあるためである。
多視点画像符号化部６６０は、カメラパラメータ探索部６２０及びカメラパラメータ確認部６４０で得られたカメラパラメータの存在及び信頼度如何によって、入力画像に対して前述したような適応的な符号化を行う。
本実施形態で付加的に含まれるカメラパラメータ情報挿入部６８０は、それぞれの画像に対して探索及び確認されたカメラパラメータ情報を、２ビット情報、すなわち、カメラパラメータの存在を表すＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びカメラパラメータの信頼度を表すＧｕａｒａｎｔｅｅｄＣａｍｅｒａＰａｒａｍｅｔｅｒＦｌａｇに対して、それぞれ１ビットずつ割当てられた情報で各画像のスライスごとにスライスヘッドにシンタックスエレメントとして挿入して伝送する。選択的にＭＢ単位で挿入して伝送するか、または画像情報とは別途の付加情報として伝送することも可能である。
図７は、図６に示された多視点画像符号化装置で行われる多視点画像符号化方法を説明するためのフローチャートである。
ステップ７１０では、少なくとも一つ以上の多視点カメラから複数の画像データを入力される。
ステップ７２０では、現在画像及び隣接画像についてのカメラパラメータが存在するか否かを探索する。
ステップ７３０では、現在画像及び隣接画像についてのカメラパラメータが何れも存在する場合には、ステップ７４０に進み、現在画像及び隣接画像のうち何れか一つのカメラパラメータが存在していない場合には、ステップ７５０に進む。
ステップ７４０では、現在画像及び隣接画像についてのカメラパラメータが信頼できるか否かを確認する。
ステップ７５０では、ステップ７２０及びステップ７４０でのカメラパラメータの存在及び信頼度確認結果に基づいて、現在画像に対する符号化を適応的に行う。
例えば、現在画像及び隣接画像のうち何れか一つに対してカメラパラメータが存在しない場合には、現在画像に対して符号化を進める。
一方、現在画像及び隣接画像に対してカメラパラメータが存在し、かつ信頼できる場合、例えば、図３を参照して、現在画像がｆ（０,０,１）である場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）がカメラパラメータを有する場合には、現在画像の符号化をスキップし、現在画像のカメラパラメータのみを伝送する。この場合、現在画像の復号化ステップでは、現在画像ｆ（０,０,１）のカメラパラメータ、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータを利用して現在画像を復元する。
また、ｆ（０,−１,１）、ｆ（０,０,１）、及びｆ（０,１,１）が何れもカメラパラメータを有するが、ｆ（０,−１,１）画像の撮影時にズーミングまたはパニングが発生してカメラパラメータが信頼できない場合には、ｆ（０,０,１）は、デコーダで隣接画像ｆ（０,−１,１）及びｆ（０,１,１）から復元できないため、ｆ（０,０,１）画像を圧縮して伝送するか、またはｆ（０,０,１）画像と、隣接画像ｆ（０,１,１）及びｆ（０,−１,２）画像を利用して補間されたｆ’（０,０,１）差分信号とを圧縮して送る。
本実施形態に付加的に含まれるステップ７６０では、カメラパラメータの存在及び信頼度を表すカメラパラメータ情報を符号化された画像データに挿入する。
例えば、現在画像の場合、ステップ７２０の探索結果、カメラパラメータが存在すると判断されたが、ステップ７４０での判断結果、カメラパラメータが信頼できないと確認された場合、符号化されたビットストリームのスライスヘッダにカメラパラメータが存在するが、信頼できないということを表すカメラパラメータフラグを挿入する。本実施形態では、カメラパラメータの存在及び信頼できるかを表すカメラパラメータ情報を２ビットのフラグとしてスライス単位でスライスヘッダに挿入する。
図８は、本発明の一実施形態による多視点画像復号化装置を示すブロック図である。
本発明による多視点画像復号化装置は、ビットストリームの復元及びカメラパラメータ抽出部８２０及び多視点画像生成部８４０を備える。
ビットストリーム復元及びカメラパラメータ抽出部８２０は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータ情報が存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた１ビットのカメラパラメータ情報、すなわち、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇに基づいて、各画像に対するカメラパラメータの存否を確認する。ここで、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが１である場合には、カメラパラメータが存在することを表し、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが０である場合には、カメラパラメータが存在しないことを表す。
多視点画像生成部８４０は、カメラパラメータ抽出部８２０で検出されたカメラパラメータ情報に基づいて、多視点画像及び任意時点、例えば、中間時点での補間画像を生成する。
例えば、エンコーダで、図３のように、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在し、ｆ（０,０,１）画像のデータが伝送されなかったか、または隣接画像ｆ（０,−１,１）及びｆ（０,１,１）を利用して補間された画像との差分信号のみが伝送された場合、隣接画像ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて画像ｆ（０,０,１）を復元する。
以下では、図９を参照して、例えば、入力画像ｆ（０,０,０）、ｆ（０,０,１）、及びｆ（０,−１,０）のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇが１であり、ｆ（０,−１,１）画像のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇは０である場合、すなわち、ｆ（０,０,０）、ｆ（０,０,１）、及びｆ（０,−１,０）画像に対しては、カメラパラメータが存在するが、ｆ（０,−１,１）画像に対しては、カメラパラメータは存在しない場合、任意時点での補間画像の生成方法を説明する。
図９で、画像ｆ（０,０,１）とｆ（０,０,０）との中間時点画像であるｆ（０,０,１／２）を補間しようとする場合、多視点画像生成部８４０は、画像ｆ（０,０,１）及びｆ（０,０,０）のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも１である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが１であるため、これらの画像に基づいて中間時点画像ｆ（０,０,１／２）を生成することが可能である。
一方、画像ｆ（０,−１,１）とｆ（０,−１,０）との中間時点画像であるｆ（０,−１,１／２）を補間しようとする場合、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在しないため、画像ｆ（０,−１,０）のみを参照して補間を行うか、または画像ｆ（０,−１,２）のカメラパラメータフラグが１である場合、画像ｆ（０,−１,０）及び画像ｆ（０,−１,２）に基づいて中間時点画像ｆ（０,−１,１／２）を生成する。
一方、画像ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）の間の中間時点画像であるｆ（０,−１／２,１／２）を生成しようとする場合、多視点画像生成部８４０は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが１である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在しないため、残りの画像、すなわち、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）に基づいて補間を行う。
多視点画像生成部８４０で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部（図示せず）に伝送されてディスプレイされる。
このように、入力画像のカメラパラメータの存否に基づいて、中間時点画像を適応的に生成することによって、生成される中間時点画像の画質を改善することが可能である。
以下では、図８を参照して、本発明のさらに他の実施形態による多視点画像復号化装置を説明する。
さらに他の実施形態によるビットストリーム復元及びカメラパラメータ抽出部８２０は、入力されたビットストリームを復元しつつ、それぞれの画像に対してカメラパラメータが存在するか否かを検出する。本実施形態では、各画像のスライスヘッダに含まれた２ビットのカメラパラメータフラグ、すなわち、Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇに基づいて、各画像に対するカメラパラメータの存否及びカメラパラメータの信頼度を確認する。
また、多視点画像生成部８４０は、カメラパラメータ抽出部８２０から抽出されたカメラパラメータ情報に基づいて、多視点画像及び選択的に中間時点での補間画像を生成する。
例えば、エンコーダで図３のように、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在し、カメラパラメータを信頼でき、ｆ（０,０,１）画像のデータが伝送されていない場合、隣接画像のうちカメラパラメータが存在し、信頼できる画像、例えば、ｆ（０,−１,１）及びｆ（０,１,１）、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて、画像ｆ（０,０,１）を復元する。
また、画像ｆ（０,−１,１）及びｆ（０,１,１）に対してカメラパラメータが存在するが、画像ｆ（０,−１,１）のカメラパラメータを信頼できず、ｆ（０,０,１）画像と、ｆ（０,−２,１）及びｆ（０,１,１）によって補間された画像との差分データが伝送された場合、伝送された差分データ、画像ｆ（０,−２,１）及びｆ（０,１,１）データ、これらの画像のカメラパラメータ、及びｆ（０,０,１）画像のカメラパラメータに基づいて、画像ｆ（０,０,１）を復元する。
以下では、図１０を参照して、例えば、入力画像ｆ（０,０,０）、ｆ（０,−１,０）、及びｆ（０,０,１）のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇが１１であり、ｆ（０,−１,１）画像のＣａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｅｘｉｓｔｉｎｇ＿Ｆｌａｇ及びＧｕａｒａｎｔｅｅｄ＿Ｃａｍｅｒａ＿Ｐａｒａｍｅｔｅｒ＿Ｆｌａｇは１０である場合、すなわち、ｆ（０,０,０）、ｆ（０,−１,０）、及びｆ（０,０,１）画像については、カメラパラメータが存在し、かつ信頼できる場合、ｆ（０,−１,１）画像については、カメラパラメータは存在するが、信頼できない場合、任意時点での補間画像の生成方法を説明する。
図１０で、画像ｆ（０,０,１）とｆ（０,０,０）との中間時点画像であるｆ（０,０,１／２）を補間しようとする場合、多視点画像生成部８４０は、画像ｆ（０,０,１）及びｆ（０,０,０）のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが何れも１１である場合にのみ、これらの画像に基づいて補間を行う。本実施形態では、これらの画像のカメラパラメータのフラグが１１であるため、これらの画像に基づいて、中間時点画像ｆ（０,０,１／２）を生成することが可能である。
一方、画像ｆ（０,−１,１）とｆ（０,−１,０）との中間時点画像であるｆ（０,−１,１／２）を補間しようとする場合、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが１０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在するが、信頼できないため、画像ｆ（０,−１,０）のみを参照して補間するか、または画像ｆ（０,−１,２）のカメラパラメータが１１である場合、画像ｆ（０,−１,０）及び画像ｆ（０,−１,２）に基づいて中間時点画像ｆ（０,−１,１／２）を生成する。
一方、画像ｆ（０,−１,１）、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）の間の中間時点画像であるｆ（０,−１／２,１／２）を生成しようとする場合、多視点画像生成部８４０は、これらの画像のカメラパラメータフラグを確認し、これらのカメラパラメータのフラグが１１である画像に基づいて補間を行う。本実施形態では、これらの画像のうち、画像ｆ（０,−１,１）のカメラパラメータのフラグが１０、すなわち、画像ｆ（０,−１,１）のカメラパラメータが存在するが、信頼できないため、残りの画像、すなわち、ｆ（０,０,１）、ｆ（０,０,０）、及びｆ（０,−１,０）に基づいて補間を行う。
多視点画像生成部８４０で生成された多視点画像及び選択的に生成された中間時点画像は、ディスプレイ部（図示せず）に伝送されてディスプレイされる。
図１１は、図８に示された本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。
ステップ１１２０では、入力ビットストリームから所定サイズの画像単位でそれぞれの画像についてのカメラパラメータ情報を抽出する。
ステップ１１４０では、ステップ１１２０で抽出されたカメラパラメータ情報に基づいて選択された所定画像を生成する。
本実施形態では、抽出されたカメラパラメータ情報に基づいて、所定画像の補間のために参照する画像を決定する。次いで、決定された参照画像に基づいて、図８の多視点画像生成部８４０で行われる所定画像の補間を行う。
本願の一実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存否のみを表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在する隣接画像のみを参照画像として決定する。
本願の他の実施形態では、前記カメラパラメータ情報が、画像のそれぞれに対するカメラパラメータの存在及び信頼度を表す場合には、前記補間しようとする所定画像の隣接画像のうち、カメラパラメータが存在し、かつ信頼できる隣接画像のみを参照画像として決定する。
一方、前述した多視点画像の符号化及び復号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論される。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読まれて実行されることによって、多視点画像の符号化及び復号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
以上、本発明について、その望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることが理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明でなく、特許請求範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
多視点画像を得るためのカメラの位置を示す図である。 複数のカメラによってキャップチャされた画像を経時的に示す図である。 本発明に適用される視空間的予測の符号化方法を説明するための図である。 本発明の一実施形態による多視点画像の符号化装置を示す図である。 本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。 本発明の一実施形態による多視点画像の符号化装置を示す図である。 本発明の一実施形態による多視点画像の符号化方法を説明するためのフローチャートである。 本発明の一実施形態による多視点画像の復号化装置を示す図である。 本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。 本発明の一実施形態による中間時点画像を生成するための方法を説明するための図である。 本発明の一実施形態による多視点画像の復号化装置で行われる復号化方法を説明するためのフローチャートである。

Claims (6)

  1. カメラパラメータ情報を利用した多視点画像の復号化方法において、
    符号化された多視点画像と所定サイズの多視点画像単位でそれぞれの画像におけるカメラパラメータの存在を示すカメラパラメータ情報を含む多視点画像ストリームを受信するステップと、
    前記受信された多視点画像ストリームから前記所定サイズの多視点画像単位でそれぞれの画像のカメラパラメータの存否を表すカメラパラメータ情報を抽出するステップと、
    前記抽出されたカメラパラメータ情報を用いて、前記符号化された多視点画像を復号化するステップと、を含み、
    前記カメラパラメータは、前記それぞれの画像におけるカメラ焦点距離及び主点を含むカメラの固有特性を表す固有カメラパラメータとカメラの位置情報を含むカメラの非本質的特性に関する非固有カメラパラメータとを含む、
    ことを特徴とする方法。
  2. 前記符号化された多視点画像を復号化するステップは、前記抽出されたカメラパラメータ情報に基づいて、前記符号化された多視点画像を復号化するために参照する画像を決定するステップと、前記決定された参照画像に基づいて、前記符号化された多視点画像を復号化するステップとを含む、
    ことを特徴とする請求項１記載の方法。
  3. 前記カメラパラメータ情報は、カメラの固有または非本質的な特性のうち少なくとも一つを表すカメラパラメータの信頼度を表すフラグである、
    ことを特徴とする請求項１記載の方法。
  4. 前記カメラパラメータは、カメラの固有特性を表す固有パラメータまたは非本質的な特性を表す非固有パラメータのうち少なくとも一つを含み、
    前記固有パラメータは、ピクセルの幅及び高さ、スキュー角度、カメラセンサー上の水平垂直ピクセル数、放射状歪曲係数、接線方向の歪曲係数のうち少なくとも一つの値をさらに含む、
    ことを特徴とする請求項３記載の方法。
  5. 前記受信された多視点画像ストリームには、前記それぞれの画像に対するカメラパラメータの信頼度を表すカメラパラメータ情報が挿入されている、
    ことを特徴とする請求項１記載の方法。
  6. 前記所定サイズの多視点画像単位は、スライス単位であり、前記カメラパラメータの信頼度を表すカメラパラメータ情報が、前記受信された多視点画像ストリームのスライスヘッダに２ビット情報として挿入される、
    ことを特徴とする請求項５記載の方法。
JP2008503951A 2005-03-31 2006-03-30 カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体 Expired - Fee Related JP5185104B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2005-0027011 2005-03-31
KR20050027011A KR101199498B1 (ko) 2005-03-31 2005-03-31 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
PCT/KR2006/001154 WO2006104351A1 (en) 2005-03-31 2006-03-30 Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recoding medium storing program for implementing the methods

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2012110781A Division JP5363609B2 (ja) 2005-03-31 2012-05-14 カメラパラメータを利用した多視点画像の生成方法
JP2012110782A Division JP5363610B2 (ja) 2005-03-31 2012-05-14 カメラパラメータを利用した多視点画像の生成方法

Publications (2)

Publication Number Publication Date
JP2008535371A JP2008535371A (ja) 2008-08-28
JP5185104B2 true JP5185104B2 (ja) 2013-04-17

Family

ID=37053582

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008503951A Expired - Fee Related JP5185104B2 (ja) 2005-03-31 2006-03-30 カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体
JP2012110781A Expired - Fee Related JP5363609B2 (ja) 2005-03-31 2012-05-14 カメラパラメータを利用した多視点画像の生成方法
JP2012110782A Expired - Fee Related JP5363610B2 (ja) 2005-03-31 2012-05-14 カメラパラメータを利用した多視点画像の生成方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2012110781A Expired - Fee Related JP5363609B2 (ja) 2005-03-31 2012-05-14 カメラパラメータを利用した多視点画像の生成方法
JP2012110782A Expired - Fee Related JP5363610B2 (ja) 2005-03-31 2012-05-14 カメラパラメータを利用した多視点画像の生成方法

Country Status (7)

Country Link
US (4) US8031767B2 (ja)
EP (3) EP1864508B1 (ja)
JP (3) JP5185104B2 (ja)
KR (1) KR101199498B1 (ja)
CN (1) CN100579245C (ja)
HU (1) HUE025014T2 (ja)
WO (1) WO2006104351A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
WO2007110000A1 (fr) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. Procédé et dispositif d'obtention d'un vecteur de disparité et sur son codage/décodage multi-vues.
AU2006230691B2 (en) * 2006-10-19 2010-11-25 Canon Kabushiki Kaisha Video Source Coding with Decoder Side Information
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
EP2168380A2 (en) * 2007-06-28 2010-03-31 Thomson Licensing Single loop decoding of multi-view coded video
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
CN102132562B (zh) * 2008-07-16 2014-10-22 西斯威尔国际有限公司 用于轨道和轨道子集归组的方法和设备
KR101620067B1 (ko) 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US9083956B2 (en) * 2009-09-28 2015-07-14 Samsung Electronics Co., Ltd. System and method for creating 3D video
CN102055968B (zh) * 2009-10-28 2012-08-29 中国移动通信集团公司 多视点视频中丢失的视频数据的恢复方法、系统及设备
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
CN102111621B (zh) * 2009-12-23 2013-03-13 中国移动通信集团公司 一种恢复视频数据的方法、装置和系统
US8340195B2 (en) * 2010-04-09 2012-12-25 Newport Media, Inc. Buffer size reduction for wireless analog TV receivers
MX2013002136A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de decodificacion y metodo de decodificacion.
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
JP2012249137A (ja) * 2011-05-30 2012-12-13 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
WO2013025151A1 (en) * 2011-08-12 2013-02-21 Telefonaktiebolaget L M Ericsson (Publ) Signaling of camera and/or depth parameters
WO2013039333A1 (ko) * 2011-09-16 2013-03-21 엘지전자 주식회사 3ｄ 비디오 부호화/복호화 방법 및 그 장치
CN103379333B (zh) * 2012-04-25 2018-12-04 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
JP6000670B2 (ja) * 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
KR101861497B1 (ko) * 2013-07-19 2018-05-28 에이치에프아이 이노베이션 인크. 3ｄ 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec
KR101761523B1 (ko) * 2013-10-17 2017-07-25 미디어텍 인크. 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법
KR102050416B1 (ko) * 2014-02-12 2019-11-29 한화테크윈 주식회사 네트워크 카메라 장치 및 이의 영상 스트리밍 제공 방법
US10419779B2 (en) * 2014-10-08 2019-09-17 Lg Electronics Inc. Method and device for processing camera parameter in 3D video coding
CN109691109B (zh) * 2016-09-23 2023-05-12 苹果公司 多视角成像系统和方法
US10380804B1 (en) 2018-06-01 2019-08-13 Imajion Corporation Seamless injection of augmented three-dimensional imagery using a positionally encoded video stream

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239279B2 (ja) 1993-02-10 2001-12-17 富士通株式会社 多眼式立体映像のベクトル量子化方法
JPH07327228A (ja) 1994-05-31 1995-12-12 Nippon Hoso Kyokai <Nhk> ディジタル符号化・伝送システム
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
KR100207659B1 (ko) 1996-02-27 1999-07-15 윤종용 감시용 카메라 시스템에서 영상데이터의 파일생성방법및그에따른기록및재생방법
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
EP2252071A3 (en) * 1997-12-05 2017-04-12 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6704041B2 (en) * 1998-03-10 2004-03-09 Canon Kabushiki Kaisha Image processing method, apparatus and memory medium therefor
JP4630406B2 (ja) 1998-10-09 2011-02-09 カシオ計算機株式会社 撮像装置および連続撮像画像の対照表示方法
JP2001008205A (ja) 1999-06-18 2001-01-12 Hitachi Denshi Ltd 映像データ伝送方式
EP1147669B1 (en) 1999-11-29 2006-12-27 Sony Corporation Video signal processing method and apparatus by feature points extraction in the compressed domain.
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US7035453B2 (en) * 2000-03-24 2006-04-25 Reality Commerce Corporation Method and apparatus for parallel multi-view point video capturing and compression
IL136080A0 (en) * 2000-05-11 2001-05-20 Yeda Res & Dev Sequence-to-sequence alignment
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
KR100375708B1 (ko) * 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JPWO2003092304A1 (ja) 2002-04-25 2005-09-08 シャープ株式会社 画像データ生成装置、画像データ再生装置、および画像データ記録媒体
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
AU2003295582A1 (en) * 2002-11-15 2004-06-15 Warner Bros. Entertainment Inc. Reverse-rendering method for digital modeling
JP4182937B2 (ja) * 2004-09-28 2008-11-19 カシオ計算機株式会社 撮影装置、撮影装置の画像処理方法及びプログラム
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
CN101416519B (zh) * 2006-03-29 2012-01-11 汤姆森特许公司 多视图视频编码方法和装置
WO2007110000A1 (fr) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. Procédé et dispositif d'obtention d'un vecteur de disparité et sur son codage/décodage multi-vues.
FR2907575B1 (fr) * 2006-10-18 2009-02-13 Canon Res Ct France Soc Par Ac Procede et dispositif de codage d'images representant des vues d'une meme scene
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
EP2393301A1 (en) * 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101416228B1 (ko) * 2007-07-06 2014-07-08 삼성전자주식회사 2차원/3차원 영상 호환용 디스플레이 장치의 구동 장치 및그 구동방법
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
CN102017632B (zh) * 2008-03-04 2013-06-12 汤姆逊许可证公司 虚拟基准视图
KR101619448B1 (ko) * 2008-11-18 2016-05-10 엘지전자 주식회사 영상 신호 처리 방법 및 장치
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Also Published As

Publication number Publication date
EP2506581B1 (en) 2015-01-28
JP2008535371A (ja) 2008-08-28
KR101199498B1 (ko) 2012-11-09
US8565530B2 (en) 2013-10-22
US20120269257A1 (en) 2012-10-25
KR20060104671A (ko) 2006-10-09
US8031767B2 (en) 2011-10-04
EP2506582A1 (en) 2012-10-03
EP2506581A1 (en) 2012-10-03
US20110310960A1 (en) 2011-12-22
WO2006104351A1 (en) 2006-10-05
JP5363610B2 (ja) 2013-12-11
US8228981B2 (en) 2012-07-24
EP2506582B1 (en) 2015-01-28
US20060222252A1 (en) 2006-10-05
CN101142824A (zh) 2008-03-12
JP5363609B2 (ja) 2013-12-11
CN100579245C (zh) 2010-01-06
US20120262547A1 (en) 2012-10-18
JP2012186836A (ja) 2012-09-27
HUE025014T2 (en) 2016-02-29
EP1864508B1 (en) 2014-07-09
US8891612B2 (en) 2014-11-18
EP1864508A1 (en) 2007-12-12
JP2012186837A (ja) 2012-09-27
EP1864508A4 (en) 2012-09-12

Similar Documents

Publication Publication Date Title
JP5363610B2 (ja) カメラパラメータを利用した多視点画像の生成方法
CN101273635B (zh) 使用相机参数对多视图画面编码和解码的设备和方法
CN101578881B (zh) 基于全局视差向量对多视图图像编码和解码的方法和设备
JP4421940B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
JP4616564B2 (ja) デジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法
JP2008182669A (ja) 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
WO2013146636A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2013211777A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2012019547A (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130117

R150 Certificate of patent or registration of utility model

Ref document number: 5185104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees