JP4825984B2 - 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム - Google Patents
画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム Download PDFInfo
- Publication number
- JP4825984B2 JP4825984B2 JP2007533118A JP2007533118A JP4825984B2 JP 4825984 B2 JP4825984 B2 JP 4825984B2 JP 2007533118 A JP2007533118 A JP 2007533118A JP 2007533118 A JP2007533118 A JP 2007533118A JP 4825984 B2 JP4825984 B2 JP 4825984B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- encoding
- axis
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 97
- 230000006835 compression Effects 0.000 title claims description 82
- 238000007906 compression Methods 0.000 title claims description 82
- 230000008569 process Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 23
- 238000005520 cutting process Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000013139 quantization Methods 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 23
- 239000000872 buffer Substances 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008707 rearrangement Effects 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 10
- 239000012536 storage buffer Substances 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 101001090150 Equus caballus Sperm histone P2a Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって複数の静止画像を取得するステップと、
前記複数の静止画像を、x軸、y軸、z軸から成る直交座標系のz軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するステップと、
前記マルチカメラ静止画像をx軸及びz軸を含むxz平面に垂直であって、かつ、x軸及びy軸を含むxy平面に垂直な面で切り出すことによって複数の垂直断面画像を生成するステップと、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理するステップと
を有することを特徴とするものである。
被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって取得された複数の静止画像を、x軸、y軸、z軸から成る直交座標系のz軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するマルチカメラ静止画像生成手段と、
前記マルチカメラ静止画像をx軸及びz軸を含むxz平面に垂直であって、かつ、x軸及びy軸を含むxy平面に垂直な面で切り出すことによって複数の垂直断面画像を生成する垂直断面画像生成手段と、
前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理する符号化手段と
を有することを特徴とするものである。
被写体を中心とする円周上の複数位置又は直線上の複数位置から複数の静止画像を取得する静止画像取得手段と、
前記複数の静止画像に符号化処理を施す上記画像情報圧縮装置と、
前記画像情報圧縮装置から出力された符号化情報を復号する画像情報復号装置と、
見る者の視点位置を入力するユーザーインターフェースと、
前記複数の静止画像から、前記ユーザーインターフェースによって入力された視点から見た画像を抽出する画像情報抽出部と
を有することを特徴とするものである。
2021,2022,2023,2024,… カメラ
203 カメラ画像
2031,2032,2033,2034,… カメラ画像列
204 マルチカメラ静止画像
205 垂直断面画像
2051,2052,2053,… 垂直断面画像列
206 水平断面画像(EPI)
300 画像情報符号化装置
3011〜301N 入力端子
3021〜302N A/D変換部
303 画素並べ替えバッファ
304 加算器
305 直交変換部
306 量子化部
307 可変符号化部
308 蓄積バッファ
309 出力端子
310 レート制御部
311 逆量子化部
312 逆直交変換部
313 フレームメモリ
315 動き予測・補償部
350 FTVシステムの送信側の装置
400 画像情報復号装置
401 入力端子
402 蓄積バッファ
403 可変復号部
404 逆量子化部
405 逆直交変換部
406 加算器
407 画素並べ替えバッファ
4081〜408N D/A変換部
4091〜409N 出力端子
410 フレームメモリ
412 動き予測・補償部
450 FTVシステムの受信側の装置
451 画像情報抽出部
図5は、本発明の画像情報圧縮方法のマルチカメラ静止画像の生成までの処理を概念的に示す説明図である。また、図6は、マルチカメラ静止画像から垂直断面画像を切り出す処理を示す説明図であり、図7は、垂直断面画像の符号化処理を概念的に示す説明図である。
図8(a)〜(c)は、マルチカメラ静止画像204から断面画像を切り出す処理を示す説明図である。図8(a)〜(c)に示されるように、マルチカメラ静止画像204から断面画像を切り出す典型的な方法としては、3種類の方法がある。第1の方法は、図8(a)に示される方法であり、z軸に直交する面(すなわち、xy平面に平行な面)で断面画像を切り出す方法である。図8(a)に示される断面画像203を、「カメラ画像」と言う。第2の方法は、図8(b)に示される方法であり、y軸に直交する面(すなわち、xz平面に平行な面)で断面画像を切り出す方法である。図8(b)に示される断面画像206を、「水平断面画像」又は「Epipolar Plane Image(EPI)」と言う。第3の方法は、図8(c)に示される方法であり、x軸に直交する面(すなわち、yz平面に平行な面)で断面画像を切り出す方法である。図8(c)に示される断面画像205を、「垂直断面画像」と言う。
図13は、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置300の構成を概略的に示すブロック図である。
図17は、本発明のFTVシステムの基本的な構成を概念的に示す図である。図17において、図1に示される構成と同一又は対応する構成には、同じ符号を付す。
Claims (5)
- 被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって複数の静止画像を取得するステップと、
前記複数の静止画像を、x軸、y軸、z軸から成る直交座標系のz軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するステップとを有し、
前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも低いか又は前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも密である場合には、前記マルチカメラ静止画像をx軸及びz軸を含むxz平面に垂直であって、かつ、x軸及びy軸を含むxy平面に垂直な面で切り出すことによって複数の垂直断面画像を生成し、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理するステップを有し、
前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高く、前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合には、前記カメラによって取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数のカメラ画像を符号化処理するステップを有する
ことを特徴とする画像情報圧縮方法。 - 前記複数の垂直断面画像の符号化処理には、H.264/AVC規格に準拠した処理又はMPEG2規格に準拠した処理が含まれることを特徴とする請求項1に記載の画像情報圧縮方法。
- 被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって取得された複数の静止画像を、x軸、y軸、z軸から成る直交座標系のz軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するマルチカメラ静止画像生成手段と、
前記マルチカメラ静止画像をx軸及びz軸を含むxz平面に垂直であって、かつ、x軸及びy軸を含むxy平面に垂直な面で切り出すことによって複数の垂直断面画像を生成する垂直断面画像生成手段と、
符号化手段とを有し、
前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも低いか又は前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも密である場合には、前記垂直断面画像生成手段が、前記マルチカメラ静止画像をx軸及びz軸を含むxz平面に垂直であって、かつ、x軸及びy軸を含むxy平面に垂直な面で切り出すことによって複数の垂直断面画像を生成し、前記符号化手段が、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理し、
前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高く、前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合には、前記符号化手段は、前記カメラによって取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数のカメラ画像を符号化処理する
ことを特徴とする画像情報圧縮装置。 - 前記複数の垂直断面画像の符号化処理には、H.264/AVC規格に準拠した処理又はMPEG2規格に準拠した処理が含まれることを特徴とする請求項3に記載の画像情報圧縮装置。
- 被写体を中心とする円周上の複数位置又は直線上の複数位置から複数の静止画像を取得する静止画像取得手段と、
前記複数の静止画像に符号化処理を施す、請求項3に記載の画像情報圧縮装置と、
前記画像情報圧縮装置から出力された符号化情報を復号する画像情報復号装置と、
見る者の視点位置を入力するユーザーインターフェースと、
前記複数の静止画像から、前記ユーザーインターフェースによって入力された視点から見た画像を抽出する画像情報抽出部と
を有することを特徴とする自由視点テレビシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007533118A JP4825984B2 (ja) | 2005-08-29 | 2006-03-09 | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005246922 | 2005-08-29 | ||
JP2005246922 | 2005-08-29 | ||
JP2007533118A JP4825984B2 (ja) | 2005-08-29 | 2006-03-09 | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
PCT/JP2006/304590 WO2007026440A1 (ja) | 2005-08-29 | 2006-03-09 | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007026440A1 JPWO2007026440A1 (ja) | 2009-03-05 |
JP4825984B2 true JP4825984B2 (ja) | 2011-11-30 |
Family
ID=37808544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007533118A Active JP4825984B2 (ja) | 2005-08-29 | 2006-03-09 | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4825984B2 (ja) |
WO (1) | WO2007026440A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7916934B2 (en) * | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
JP4706068B2 (ja) * | 2007-04-13 | 2011-06-22 | 国立大学法人名古屋大学 | 画像情報処理方法及び画像情報処理システム |
JP5488929B2 (ja) * | 2011-02-23 | 2014-05-14 | 国立大学法人名古屋大学 | 画像情報処理方法及び画像情報処理システム |
WO2016158403A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2016158402A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
EP3142366A1 (en) * | 2015-09-14 | 2017-03-15 | Thomson Licensing | Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product |
EP3142365A1 (en) * | 2015-09-14 | 2017-03-15 | Thomson Licensing | Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product |
US11019362B2 (en) | 2016-12-28 | 2021-05-25 | Sony Corporation | Information processing device and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06112838A (ja) * | 1992-09-30 | 1994-04-22 | Fujitsu Ltd | 3次元ボリュームデータの直交変換符号化方式 |
JPH11146396A (ja) * | 1997-11-13 | 1999-05-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画像圧縮符号化・復号化方法、動画像圧縮符号化・復号化装置、動画像符号化伝送方法、動画像符号化伝送システムおよび動画像圧縮符号化・復号化プログラムを記録した記録媒体 |
JP2000278715A (ja) * | 1999-03-24 | 2000-10-06 | Minolta Co Ltd | 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体 |
-
2006
- 2006-03-09 WO PCT/JP2006/304590 patent/WO2007026440A1/ja active Application Filing
- 2006-03-09 JP JP2007533118A patent/JP4825984B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06112838A (ja) * | 1992-09-30 | 1994-04-22 | Fujitsu Ltd | 3次元ボリュームデータの直交変換符号化方式 |
JPH11146396A (ja) * | 1997-11-13 | 1999-05-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画像圧縮符号化・復号化方法、動画像圧縮符号化・復号化装置、動画像符号化伝送方法、動画像符号化伝送システムおよび動画像圧縮符号化・復号化プログラムを記録した記録媒体 |
JP2000278715A (ja) * | 1999-03-24 | 2000-10-06 | Minolta Co Ltd | 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2007026440A1 (ja) | 2009-03-05 |
WO2007026440A1 (ja) | 2007-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10666979B2 (en) | Image processing device and image processing method for encoding/decoding omnidirectional image divided vertically | |
JP6688469B2 (ja) | 画像処理装置および画像処理方法 | |
JP4825984B2 (ja) | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム | |
JP4825983B2 (ja) | 画像情報圧縮方法及び自由視点テレビシステム | |
US9088802B2 (en) | Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs | |
US20070104276A1 (en) | Method and apparatus for encoding multiview video | |
JP2007180981A (ja) | 画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
US20120114036A1 (en) | Method and Apparatus for Multiview Video Coding | |
US20170310997A1 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program | |
CN110546960B (zh) | 多层视频流传输系统和方法 | |
JP7375196B2 (ja) | フィルタリングに基づく画像コーディング装置及び方法 | |
JP7457124B2 (ja) | 予測重みテーブルに基づく映像/ビデオコーディング方法及び装置 | |
JP6445026B2 (ja) | 3dビデオコーディングにおけるカメラパラメータ処理方法および装置 | |
JP2023060310A (ja) | ビデオエンコードおよびデコード方法、および装置 | |
US20220417517A1 (en) | Image decoding method using cclm prediction in image coding system, and apparatus therefor | |
JP2008034892A (ja) | 多視点画像符号化装置 | |
JP7383816B2 (ja) | ループフィルタリングを制御する画像コーディング装置及び方法 | |
Fecker et al. | H. 264/AVC-compatible coding of dynamic light fields using transposed picture ordering | |
JP2007180982A (ja) | 画像復号装置、画像復号方法、及び画像復号プログラム | |
JP2024036651A (ja) | サブピクチャに基づく映像コーディング装置及び方法 | |
JP2007096672A (ja) | 画像処理装置 | |
JP6114404B2 (ja) | ビデオ信号処理方法及び装置 | |
WO2015056712A1 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
CN113545060A (zh) | 视频编码中的空瓦片编码 | |
KR20220100062A (ko) | 픽처 헤더를 포함하는 영상 정보를 코딩하는 영상 디코딩 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4825984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |