JP6685995B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6685995B2 JP6685995B2 JP2017503404A JP2017503404A JP6685995B2 JP 6685995 B2 JP6685995 B2 JP 6685995B2 JP 2017503404 A JP2017503404 A JP 2017503404A JP 2017503404 A JP2017503404 A JP 2017503404A JP 6685995 B2 JP6685995 B2 JP 6685995B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- unit
- spherical
- combined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 158
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000013507 mapping Methods 0.000 claims description 84
- 239000002131 composite material Substances 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 68
- 230000002194 synthesizing effect Effects 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000008685 targeting Effects 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 72
- 230000000007 visual effect Effects 0.000 description 56
- 238000001514 detection method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000013139 quantization Methods 0.000 description 22
- 230000009467 reduction Effects 0.000 description 21
- 239000000872 buffer Substances 0.000 description 19
- 230000009466 transformation Effects 0.000 description 13
- 230000008707 rearrangement Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000012536 storage buffer Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
0.本開示の前提(図1乃至図6)
1.第1実施の形態:画像表示システム(図7乃至図17)
2.第2実施の形態:画像表示システム(図18)
3.第3実施の形態:画像表示システム(図19乃至図23)
4.第4実施の形態:画像表示システム(図24)
5.本開示の全天球画像の生成方法(図25)
6.第5実施の形態:コンピュータ(図26)
(キューブマッピングの説明)
図1は、全天球画像の生成方法としてキューブマッピングが用いられる場合に画像がマッピングされる3Dモデルとしての立方体を示す斜視図である。
図4は、全天球画像の生成方法として正距円筒図法が用いられる場合に画像がマッピングされる3Dモデルとしての球を示す斜視図である。
(画像表示システムの第1実施の形態の構成例)
図7は、本開示を適用した画像表示システムの第1実施の形態の構成例を示すブロック図である。
つの面を決定する。そして、ホームサーバ133(画像処理装置、端末)は、6本の符号化ストリームから、ユーザの視線ベクトルに対応する面の高解像度画像を含む合成画像の3本の符号化ストリームを選択し、復号する。
Interface)ケーブルを介して表示画像を変換装置134に伝送する。
図8は、図7のコンテンツサーバ132の構成例を示すブロック図である。
高解像度画像と−x面12の低解像度画像とを合成して、+x面11の合成画像(第1の合成画像)を生成し、エンコーダ156−1に供給する。合成部155−1は、低解像度化部154−1から供給される−x面12の高解像度画像と+x面11の低解像度画像とを合成して、−x面12の合成画像(第2の合成画像)を生成し、エンコーダ156−2に供給する。
図9は、図8の合成部155−1乃至155−3により生成される面11乃至16の合成画像を説明する図である。
図10は、図8のエンコーダ156−1の構成例を示すブロック図である。
Variable Length Coding)など)、算術符号化(例えば、CABAC(Context−Adaptive Binary Arithmetic Coding)など)などの可逆符号化を行う。
するデブロックフィルタ処理を行う。フィルタ201は、デブロックフィルタ処理後の合成画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO(Sample adaptive offset))処理を行う。
のインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部205は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部206に供給する。
図11は、図8のコンテンツサーバ132の符号化処理を説明するフローチャートである。この符号化処理は、例えば、フレーム単位で行われる。
する。また、低解像度化部154−2は、画像33と画像34を低解像度化して低解像度画像163Bと低解像度画像164Bを生成し、合成部155−2に供給する。さらに、低解像度化部154−3は、画像35と画像36を低解像度化して低解像度画像165Bと低解像度画像166Bを生成し、合成部155−3に供給する。
図12は、図7のホームサーバ133の構成例を示すブロック図である。
選択情報に基づいて、+y面13と−y面14のうちのいずれか一方の面の合成画像の符号化ストリームをデコーダ224−2に供給する。また、スイッチ223−3は、面選択情報に基づいて、+z面15と−z面16のうちのいずれか一方の面の合成画像の符号化ストリームをデコーダ224−3に供給する。
図13は、図12のデコーダ224−1の構成例を示すブロック図である。
図14は、図12のマッピング処理部225により生成される立方体画像を説明する図である。
および−z面16である。従って、図14Bに示すように、マッピング処理部225は、立方体10の+x面11、−y面14、および−z面16に、それぞれ、高解像度画像161A、高解像度画像164A、高解像度画像166Aをマッピングする。また、マッピング処理部225は、立方体10の−x面12、+y面13、および+z面15に、それぞれ、低解像度画像162B、低解像度画像163B、低解像度画像165Bをマッピングする。以上により、立方体画像262が生成される。
図15は、図12のデコーダ224−1乃至224−3の動作タイミングの例を示すタイミングチャートである。
号対象であることを表している。
図17は、図12のホームサーバ133の復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位で行われる。
イロセンサ135Bの検出結果に基づいて、ユーザの視線ベクトルを決定する。
の合成画像を符号化して6本の符号化ストリームを生成する。
(画像表示システムの第2実施の形態における合成画像の説明)
本開示を適用した画像表示システムの第2実施の形態では、キューブマッピングではなく、正距円筒図法により全天球画像が生成される。この場合、図4で上述したように、面の数は8つであり、対向する面どうしのペアの数は4つである。画像表示システムの第2実施の形態の構成は、コンテンツサーバの低解像度化部と合成部の数が4個であり、エンコーダの数が8個である点、および、ホームサーバのスイッチとデコーダの数が4個である点を除いて、画像表示システム130の構成と同一であるので、説明は省略する。
(画像表示システムの第3実施の形態のコンテンツサーバの構成例)
本開示を適用した画像表示システムの第3実施の形態は、マルチカメラがYCbCr420の撮影画像と視差画像(詳細は後述する)を取得する点、および、コンテンツサーバとホームサーバの構成を除いて、図7の画像表示システム130と同様である。従って、以下では、コンテンツサーバとホームサーバについてのみ説明する。なお、視差画像は、各画素の被写体の奥行き方向の位置を表す視差値からなる画像である。
する。マッピング処理部312は、キューブマッピングにより、スティッチング処理部311から供給される視差画像から、視差画像の全天球画像を生成し、分割部313に供給する。
156−2に供給する。
図20は、図19の合成部315−1により生成される面11の合成画像を説明する図
である。
図21は、図19のコンテンツサーバ310の符号化処理を説明するフローチャートである。この符号化処理は、例えば、フレーム単位で行われる。
する。
図22は、本開示を適用した画像表示システムの第3実施の形態のコンテンツサーバの構成例を示すブロック図である。
図23は、図22のホームサーバ350の復号処理を説明するフローチャートである。
(画像表示システムの第4実施の形態の構成例)
図24は、本開示を適用した画像表示システムの第4実施の形態の構成例を示すブロック図である。
示される。
図25は、本開示の高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。
ンである場合、正距円筒図法を用いて生成された全天球画像を1本の符号化ストリームに符号化する既存の画像表示システムとの互換性が良い。
(本開示を適用したコンピュータの説明)
上述したコンテンツサーバ132(310)やホームサーバ133(350,371)の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像と、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像とを符号化する符号化部
を備える画像処理装置。
(2)
前記符号化部は、前記第1の解像度の前記第1の面の前記全天球画像と前記第2の解像度の前記第2の面の前記全天球画像と第3の解像度の前記第1の面の視差画像とを合成した前記第1の合成画像と、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像と前記第3の解像度の前記第2の面の視差画像とを合成した前記第2の合成画像とを符号化する
前記(1)に記載の画像処理装置。
(3)
前記符号化部は、前記第1の解像度の前記第1の面の前記全天球画像の輝度成分と前記第2の解像度の前記第2の面の前記全天球画像の輝度成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第1の合成画像の輝度成分と、前記第1の解像度の前記第2の面の前記全天球画像の輝度成分と前記第2の解像度の前記第1の面の前記全天球画像の輝度成分と前記第3の解像度の前記第2の面の視差画像とを合成した前記第2の合成画像の輝度成分とを符号化する
前記(2)に記載の画像処理装置。
(4)
前記第2および第3の解像度は、前記第1の解像度の1/4である
前記(2)または(3)に記載の画像処理装置。
(5)
前記符号化部は、前記第1の解像度の前記第1の面の前記全天球画像の色差成分と前記第2の解像度の前記第2の面の前記全天球画像の色差成分と第3の解像度の前記第2の面の視差画像とを合成した前記第1の合成画像の色差成分と、前記第1の解像度の前記第2の面の前記全天球画像の色差成分と前記第2の解像度の前記第1の面の前記全天球画像の色差成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第2の合成画像の色差成分とを符号化する
前記(1)に記載の画像処理装置。
(6)
前記第1の合成画像と前記第2の合成画像とを生成する生成部
をさらに備える
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記第1の面および前記第2の面の前記全天球画像の解像度を前記第2の解像度に変換する変換部
をさらに備える
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記符号化により生成された符号化ストリームを記憶する記憶部と、
前記記憶部に記憶された前記符号化ストリームを、前記符号化ストリームを復号する端末に配信する配信部と
をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9)
前記符号化部は、AVC/H.264規格またはHEVC/H.265規格にしたがって、前記第1の合成画像と前記第2の合成画像とを符号化する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10)
前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11)
画像処理装置が、
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像と、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像とを符号化する符号化ステップ
を含む画像処理方法。
(12)
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第1の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号部
を備える画像処理装置。
(13)
前記第1の合成画像は、前記第1の解像度の前記第1の面の前記全天球画像と前記第2の解像度の前記第2の面の前記全天球画像と第3の解像度の前記第1の面の視差画像とを合成した画像であり、
前記第2の合成画像は、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像と前記第3の解像度の前記第2の面の視差画像とを合成した画像である
前記(12)に記載の画像処理装置。
(14)
前記復号部は、前記第1の解像度の前記第1の面の前記全天球画像の輝度成分と前記第2の解像度の前記第2の面の前記全天球画像の輝度成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第1の合成画像の輝度成分の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像の輝度成分と前記第2の解像度の前記第1の面の前記全天球画像の輝度成分と前記第3の解像度の前記第2の面の視差画像とを合成した前記第2の合成画像の輝度成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第1の解像度の前記全天球画像の輝度成分が合成された方の符号化ストリームを復号する
前記(13)に記載の画像処理装置。
(15)
前記第2および第3の解像度は、前記第1の解像度の1/4である
前記(13)または(14)に記載の画像処理装置。
(16)
前記復号部は、前記第1の解像度の前記第1の面の前記全天球画像の色差成分と前記第2の解像度の前記第2の面の前記全天球画像の色差成分と第3の解像度の前記第2の面の視差画像とを合成した前記第1の合成画像の色差成分の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像の色差成分と前記第2の解像度の前記第1の面の前記全天球画像の色差成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第2の合成画像の色差成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第1の解像度の前記全天球画像の色差成分が合成された方の符号化ストリームを復号する
前記(12)に記載の画像処理装置。
(17)
前記復号の結果得られる前記第1の合成画像または前記第2の合成画像を分離する分離部
をさらに備える
前記(12)乃至(16)のいずれかに記載の画像処理装置。
(18)
前記第1および第2の合成画像の符号化ストリームは、AVC/H.264規格またはHEVC/H.265規格にしたがって符号化された前記第1および第2の合成画像である
前記(12)乃至(17)のいずれかに記載の画像処理装置。
(19)
前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
前記(12)乃至(18)のいずれかに記載の画像処理装置。
(20)
画像処理装置が、
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第1の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号ステップ
を含む画像処理方法。
Claims (20)
- 全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像と、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像とを符号化する符号化部
を備える画像処理装置。 - 前記符号化部は、前記第1の解像度の前記第1の面の前記全天球画像と前記第2の解像度の前記第2の面の前記全天球画像と第3の解像度の前記第1の面の視差画像とを合成した前記第1の合成画像と、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像と前記第3の解像度の前記第2の面の視差画像とを合成した前記第2の合成画像とを符号化する
請求項1に記載の画像処理装置。 - 前記符号化部は、前記第1の解像度の前記第1の面の前記全天球画像の輝度成分と前記第2の解像度の前記第2の面の前記全天球画像の輝度成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第1の合成画像の輝度成分と、前記第1の解像度の前記第2の面の前記全天球画像の輝度成分と前記第2の解像度の前記第1の面の前記全天球画像の輝度成分と前記第3の解像度の前記第2の面の視差画像とを合成した前記第2の合成画像の輝度成分とを符号化する
請求項2に記載の画像処理装置。 - 前記第2および第3の解像度は、前記第1の解像度の1/4である
請求項2に記載の画像処理装置。 - 前記符号化部は、前記第1の解像度の前記第1の面の前記全天球画像の色差成分と前記第2の解像度の前記第2の面の前記全天球画像の色差成分と第3の解像度の前記第2の面の視差画像とを合成した前記第1の合成画像の色差成分と、前記第1の解像度の前記第2の面の前記全天球画像の色差成分と前記第2の解像度の前記第1の面の前記全天球画像の色差成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第2の合成画像の色差成分とを符号化する
請求項1に記載の画像処理装置。 - 前記第1の合成画像と前記第2の合成画像とを生成する生成部
をさらに備える
請求項1に記載の画像処理装置。 - 前記第1の面および前記第2の面の前記全天球画像の解像度を前記第2の解像度に変換する変換部
をさらに備える
請求項1に記載の画像処理装置。 - 前記符号化により生成された符号化ストリームを記憶する記憶部と、
前記記憶部に記憶された前記符号化ストリームを、前記符号化ストリームを復号する端末に配信する配信部と
をさらに備える
請求項1に記載の画像処理装置。 - 前記符号化部は、AVC/H.264規格またはHEVC/H.265規格にしたがって、前記第1の合成画像と前記第2の合成画像とを符号化する
請求項1に記載の画像処理装置。 - 前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
請求項1に記載の画像処理装置。 - 画像処理装置が、
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像と、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像とを符号化する符号化ステップ
を含む画像処理方法。 - 全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第1の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号部
を備える画像処理装置。 - 前記第1の合成画像は、前記第1の解像度の前記第1の面の前記全天球画像と前記第2の解像度の前記第2の面の前記全天球画像と第3の解像度の前記第1の面の視差画像とを合成した画像であり、
前記第2の合成画像は、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像と前記第3の解像度の前記第2の面の視差画像とを合成した画像である
請求項12に記載の画像処理装置。 - 前記復号部は、前記第1の解像度の前記第1の面の前記全天球画像の輝度成分と前記第2の解像度の前記第2の面の前記全天球画像の輝度成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第1の合成画像の輝度成分の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像の輝度成分と前記第2の解像度の前記第1の面の前記全天球画像の輝度成分と前記第3の解像度の前記第2の面の視差画像とを合成した前記第2の合成画像の輝度成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第1の解像度の前記全天球画像の輝度成分が合成された方の符号化ストリームを復号する
請求項13に記載の画像処理装置。 - 前記第2および第3の解像度は、前記第1の解像度の1/4である
請求項13に記載の画像処理装置。 - 前記復号部は、前記第1の解像度の前記第1の面の前記全天球画像の色差成分と前記第2の解像度の前記第2の面の前記全天球画像の色差成分と第3の解像度の前記第2の面の視差画像とを合成した前記第1の合成画像の色差成分の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像の色差成分と前記第2の解像度の前記第1の面の
前記全天球画像の色差成分と前記第3の解像度の前記第1の面の視差画像とを合成した前記第2の合成画像の色差成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第1の解像度の前記全天球画像の色差成分が合成された方の符号化ストリームを復号する
請求項12に記載の画像処理装置。 - 前記復号の結果得られる前記第1の合成画像または前記第2の合成画像を分離する分離部
をさらに備える
請求項12に記載の画像処理装置。 - 前記第1および第2の合成画像の符号化ストリームは、AVC/H.264規格またはHEVC/H.265規格にしたがって符号化された前記第1および第2の合成画像である
請求項12に記載の画像処理装置。 - 前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
請求項12に記載の画像処理装置。 - 画像処理装置が、
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第1の解像度の第1の面の前記全天球画像と前記第1の解像度より低い第2の解像度の第2の面の前記全天球画像とを合成した第1の合成画像の符号化ストリームと、前記第1の解像度の前記第2の面の前記全天球画像と前記第2の解像度の前記第1の面の前記全天球画像とを合成した第2の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第1の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号ステップ
を含む画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043617 | 2015-03-05 | ||
JP2015043617 | 2015-03-05 | ||
PCT/JP2016/054502 WO2016140060A1 (ja) | 2015-03-05 | 2016-02-17 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016140060A1 JPWO2016140060A1 (ja) | 2017-12-14 |
JP6685995B2 true JP6685995B2 (ja) | 2020-04-22 |
Family
ID=56848883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017503404A Active JP6685995B2 (ja) | 2015-03-05 | 2016-02-17 | 画像処理装置および画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10412413B2 (ja) |
EP (1) | EP3267687B1 (ja) |
JP (1) | JP6685995B2 (ja) |
CN (1) | CN107409232B (ja) |
WO (1) | WO2016140060A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102313485B1 (ko) * | 2015-04-22 | 2021-10-15 | 삼성전자주식회사 | 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 |
JPWO2018052100A1 (ja) * | 2016-09-15 | 2019-10-10 | 株式会社カヤック | 画像処理装置、画像処理方法、画像処理プログラム |
EP3301915A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
CN107959855B (zh) * | 2016-10-16 | 2020-02-14 | 华为技术有限公司 | 运动补偿预测方法和设备 |
CN107993276B (zh) * | 2016-10-25 | 2021-11-23 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的生成方法及装置 |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US10951871B2 (en) * | 2016-12-28 | 2021-03-16 | Sony Corporation | Generation device, identification information generation method, reproduction device, and image reproduction related to stereo packing of projected frames |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) * | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
JP6322740B1 (ja) * | 2017-03-07 | 2018-05-09 | 株式会社ドワンゴ | 画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法 |
US11004173B2 (en) * | 2017-03-13 | 2021-05-11 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout |
US11057643B2 (en) | 2017-03-13 | 2021-07-06 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout |
US20180278947A1 (en) * | 2017-03-24 | 2018-09-27 | Seiko Epson Corporation | Display device, communication device, method of controlling display device, and method of controlling communication device |
US10979663B2 (en) * | 2017-03-30 | 2021-04-13 | Yerba Buena Vr, Inc. | Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
GB2563387B (en) * | 2017-06-09 | 2020-04-15 | Sony Interactive Entertainment Inc | Image processing device and system |
JP6950301B2 (ja) * | 2017-06-29 | 2021-10-13 | 株式会社大林組 | 画像出力システム、画像出力方法及び画像出力プログラム |
US10754242B2 (en) * | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
WO2019034131A1 (en) | 2017-08-18 | 2019-02-21 | Mediatek Inc. | METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME |
CN111226264A (zh) * | 2017-10-20 | 2020-06-02 | 索尼公司 | 回放装置和方法以及生成装置和方法 |
JP7057720B2 (ja) * | 2018-06-07 | 2022-04-20 | 日本放送協会 | 動画ストリーム受信装置及びプログラム |
EP3824620A4 (en) * | 2018-10-25 | 2021-12-01 | Samsung Electronics Co., Ltd. | METHOD AND DEVICE FOR PROCESSING VIDEO |
JP7249755B2 (ja) * | 2018-10-26 | 2023-03-31 | キヤノン株式会社 | 画像処理システムおよびその制御方法、プログラム |
KR102238125B1 (ko) * | 2018-11-26 | 2021-04-08 | 수니코리아 엘엘씨(한국뉴욕주립대학교) | 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법 |
CN113475080A (zh) * | 2019-03-05 | 2021-10-01 | 索尼集团公司 | 图像处理装置、图像生成方法和图像处理方法 |
CN110123249B (zh) * | 2019-04-09 | 2022-02-01 | 苏州西能捷科技发展有限公司 | 一种鼻窦炎检测装置及使用方法 |
US11533467B2 (en) | 2021-05-04 | 2022-12-20 | Dapper Labs, Inc. | System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements |
CN117813813A (zh) * | 2021-08-12 | 2024-04-02 | Hyphy美国有限公司 | 分配分级采样信号并通过电磁路径传递 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6618352B1 (en) * | 1998-05-26 | 2003-09-09 | Matsushita Electric Industrial Co., Ltd. | Modulator, demodulator, and transmission system for use in OFDM transmission |
JP2001298652A (ja) | 2000-04-17 | 2001-10-26 | Sony Corp | 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体 |
JP2002312778A (ja) | 2001-04-09 | 2002-10-25 | Be Here Corp | モーションパノラマ画像を電子的に配信する方法および装置 |
JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
US20050041736A1 (en) * | 2003-05-07 | 2005-02-24 | Bernie Butler-Smith | Stereoscopic television signal processing method, transmission system and viewer enhancements |
JP4475643B2 (ja) | 2004-06-29 | 2010-06-09 | キヤノン株式会社 | 画像符号化装置及び方法 |
KR100809345B1 (ko) * | 2006-06-16 | 2008-03-05 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
US8791984B2 (en) * | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
US8264524B1 (en) * | 2008-09-17 | 2012-09-11 | Grandeye Limited | System for streaming multiple regions deriving from a wide-angle camera |
US20100302367A1 (en) * | 2009-05-26 | 2010-12-02 | Che-Hao Hsu | Intelligent surveillance system and method for the same |
RU2013108074A (ru) * | 2010-09-03 | 2014-08-27 | Сони Корпорейшн | Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования |
JP5918618B2 (ja) * | 2011-06-03 | 2016-05-18 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
US8992318B2 (en) * | 2012-09-26 | 2015-03-31 | Igt | Wearable display system and method |
CN103685951A (zh) * | 2013-12-06 | 2014-03-26 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
DE102014004851B4 (de) * | 2014-03-31 | 2018-09-20 | Scienova Gmbh | Vertikales funktionelles Reaktionsgefäß |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
-
2016
- 2016-02-17 CN CN201680012762.0A patent/CN107409232B/zh active Active
- 2016-02-17 WO PCT/JP2016/054502 patent/WO2016140060A1/ja active Application Filing
- 2016-02-17 JP JP2017503404A patent/JP6685995B2/ja active Active
- 2016-02-17 US US15/546,364 patent/US10412413B2/en active Active
- 2016-02-17 EP EP16758754.2A patent/EP3267687B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016140060A1 (ja) | 2016-09-09 |
JPWO2016140060A1 (ja) | 2017-12-14 |
CN107409232B (zh) | 2020-06-09 |
EP3267687B1 (en) | 2021-10-20 |
CN107409232A (zh) | 2017-11-28 |
EP3267687A1 (en) | 2018-01-10 |
US10412413B2 (en) | 2019-09-10 |
US20180027257A1 (en) | 2018-01-25 |
EP3267687A4 (en) | 2018-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6685995B2 (ja) | 画像処理装置および画像処理方法 | |
JP6688469B2 (ja) | 画像処理装置および画像処理方法 | |
JP6687015B2 (ja) | 画像処理装置および画像処理方法 | |
US11539882B2 (en) | Method and apparatus for reconstructing 360-degree image according to projection format | |
CN114979650B (zh) | 编码装置及解码装置 | |
CN109691110B (zh) | 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置 | |
KR102014240B1 (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 | |
CN110121065B (zh) | 空间排序视频编码应用中的多向图像处理 | |
US10863198B2 (en) | Intra-prediction method and device in image coding system for 360-degree video | |
Lin et al. | Efficient projection and coding tools for 360 video | |
CN110870307A (zh) | 同步影像的处理方法及其装置 | |
KR20200062258A (ko) | 360도 비디오에 대한 영상 코딩 시스템에서 회전 파라미터를 사용한 영상 디코딩 방법 및 장치 | |
KR102537024B1 (ko) | 프레임 패킹을 제공하는 가상 현실 영상의 부호화/복호화 방법 및 그 장치 | |
KR20200052763A (ko) | 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치 | |
KR20190022399A (ko) | 가상 현실 영상의 부호화/복호화 방법 및 그 장치 | |
Wang et al. | Low Pixel Rate 3DoF+ Video Compression Via Unpredictable Region Cropping | |
RU2787713C2 (ru) | Способ и устройство предсказания блока цветности | |
KR20190101930A (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 | |
KR20190007254A (ko) | 동기화된 영상의 처리 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190107 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6685995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |