JP6911765B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6911765B2 JP6911765B2 JP2017550064A JP2017550064A JP6911765B2 JP 6911765 B2 JP6911765 B2 JP 6911765B2 JP 2017550064 A JP2017550064 A JP 2017550064A JP 2017550064 A JP2017550064 A JP 2017550064A JP 6911765 B2 JP6911765 B2 JP 6911765B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- data
- image data
- dimensional
- color shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 105
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012937 correction Methods 0.000 claims description 181
- 230000005540 biological transmission Effects 0.000 claims description 64
- 238000006243 chemical reaction Methods 0.000 description 164
- 238000000034 method Methods 0.000 description 157
- 238000010586 diagram Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 37
- 238000001514 detection method Methods 0.000 description 36
- 238000003384 imaging method Methods 0.000 description 29
- 230000015572 biosynthetic process Effects 0.000 description 27
- 238000003786 synthesis reaction Methods 0.000 description 27
- 101100058952 Dictyostelium discoideum calA gene Proteins 0.000 description 8
- 101150021780 camA gene Proteins 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
1.第1実施の形態:伝送システム(図1乃至図9)
2.第2実施の形態:伝送システム(図10乃至図16)
3.第3実施の形態:伝送システム(図17乃至図19)
4.第4実施の形態:伝送システム(図20乃至図25)
5.第5実施の形態:伝送システム(図26乃至図29)
6.第6実施の形態:コンピュータ(図30)
(伝送システムの第1実施の形態の構成例)
図1は、本開示を適用した伝送システムの第1実施の形態の構成例を示すブロック図である。
図2は、図1の変換部21の構成例を示すブロック図である。
図3は、所定の表示画像生成方式に対応する複数の視点の例を示す図である。
図4は、カメラ関連情報の例を示す図である。
図5は、図1の撮像装置11と符号化装置12の符号化処理を説明するフローチャートである。
図6は、図1の変換部33の第1の構成例を示すブロック図である。
図7は、図1の変換部33の第2の構成例を示すブロック図である。
図8は、図1の変換部33の第3の構成例を示すブロック図である。
図9は、図1の変換部33の構成が図8の構成である場合の復号装置13の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置12から符号化ストリームが伝送されてきたとき開始される。
(伝送システムの第2実施の形態の構成例)
図10は、本開示を適用した伝送システムの第2実施の形態の構成例を示すブロック図である。
図11は、図10の撮像装置171の構成例を示すブロック図である。
図12は、同期ずれ情報の例を示す図である。
図13は、図10の符号化装置172の構成例を示すブロック図である。
図14は、図10の撮像装置171と符号化装置172の符号化処理を説明するフローチャートである。
図15は、図10の復号部191の構成例を示すブロック図である。
図16は、図10の変換部192の構成が、3次元データがオクルージョン3次元データを用いて補正されない点を除いて図8の構成と同一である場合の復号装置173の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置172から符号化ストリームが伝送されてきたとき、開始される。
(伝送システムの第3実施の形態の構成例)
図17は、本開示を適用した伝送システムの第3実施の形態の構成例を示すブロック図である。
図18は、図17の合成装置283の構成例を示すブロック図である。
図17の撮像装置11と符号化装置12、撮像装置281と符号化装置282の符号化処理は、図5の符号化処理と同様であるので、説明は省略する。
(伝送システムの第4実施の形態における合成装置の構成例)
本開示を適用した伝送システムの第4実施の形態の構成は、合成装置283が合成装置340に代わり、復号装置284の変換部33が変換部380に代わる点、および視点群同期ずれ情報が座標変換情報に代わる点を除いて、図17の伝送システム280の構成と同一である。従って、以下では、合成装置340と変換部380についてのみ説明する。
図21は、図20の座標変換データ生成部341による座標変換データを生成する処理を説明する図である。
図22は、座標変換情報の例を示す図である。
図23は、図20の合成装置340の合成処理を説明するフローチャートである。
図24は、復号装置284の表示画像生成方式が自由視点表示画像生成方式である場合の変換部380の構成例を示すブロック図である。
図25は、第4実施の形態における復号装置284の復号処理を説明するフローチャートである。この復号処理は、例えば、合成装置340から符号化ストリームが伝送されてきたとき開始される。
(伝送システムの第5実施の形態における合成装置の構成例)
本開示を適用した伝送システムの第5実施の形態の構成は、合成装置283が合成装置400に代わり、復号装置284の変換部33が変換部420に代わる点、および視点群同期ずれ情報が色ずれ補正情報に代わる点を除いて、図17の伝送システム280の構成と同一である。従って、以下では、合成装置400と変換部420についてのみ説明する。
図27は、色ずれ補正情報の例を示す図である。
図28は、図26の合成装置400の合成処理を説明するフローチャートである。
図29は、変換部420の構成例を示すブロック図である。
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
第1の視点の2次元画像データと第2の視点の2次元画像データの色ずれを補正する色ずれ補正データを生成する色ずれ補正データ生成部と、
前記色ずれ補正データ生成部により生成された前記色ずれ補正データを含む色ずれ補正情報、前記第1の視点の2次元画像データと第3の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、および前記第2の視点の2次元画像データと第4の視点のデプス画像データの符号化データである第2の符号化データを伝送する伝送部と
を備える画像処理装置。
(2)
前記第2の視点の数は複数であり、
前記色ずれ補正データ生成部は、前記第2の視点ごとに前記色ずれ補正データを生成する
ように構成された
前記(1)に記載の画像処理装置。
(3)
前記色ずれ補正情報は、色ずれが発生している全ての前記第2の視点の前記色ずれ補正データが同一であるか否かを示す色ずれ共通情報を含む
ように構成された
前記(2)に記載の画像処理装置。
(4)
前記伝送部は、色ずれが発生している全ての前記第2の視点の前記色ずれ補正データが同一である場合、色ずれが発生している全ての前記第2の視点の前記色ずれ補正データが同一であることを示す色ずれ共通情報と、全ての前記第2の視点に共通の前記色ずれ補正データとを含む色ずれ補正情報を伝送する
ように構成された
前記(2)に記載の画像処理装置。
(5)
前記第1の視点の2次元画像データと前記第2の視点の2次元画像データの被写体は、少なくとも一部が同一である
ように構成された
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
前記第1の符号化データと前記第2の符号化データとを復号する復号部
をさらに備え、
前記色ずれ補正データ生成部は、前記復号部による復号の結果得られる前記第1の視点の2次元画像データと前記第2の視点の2次元画像データに基づいて、前記色ずれ補正データを生成する
ように構成された
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
画像処理装置が、
第1の視点の2次元画像データと第2の視点の2次元画像データの色ずれを補正する色ずれ補正データを生成する色ずれ補正データ生成ステップと、
前記色ずれ補正データ生成ステップの処理により生成された前記色ずれ補正データを含む色ずれ補正情報、前記第1の視点の2次元画像データと第3の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、および前記第2の視点の2次元画像データと第4の視点のデプス画像データの符号化データである第2の符号化データを伝送する伝送ステップと
を含む画像処理方法。
(8)
第1の視点の2次元画像データと第2の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データと、第3の視点の2次元画像データと第4の視点のデプス画像データの符号化データである第2の符号化データを復号する復号部と、
前記第1の視点の2次元画像データと前記第3の視点の2次元画像データの色ずれ補正データを含む色ずれ補正情報に基づいて、前記復号部による復号の結果得られる前記第3の視点の2次元画像データの色補正を行う色補正部と
を備える画像処理装置。
(9)
前記第1の視点の2次元画像データ、前記第2の視点のデプス画像データ、前記色補正部により色補正が行われた前記第3の視点の2次元画像データ、および前記第4の視点のデプス画像データに基づいて、被写体の3次元データを生成する3次元データ生成部と
をさらに備える
前記(8)に記載の画像処理装置。
(10)
前記第3の視点の数は複数であり、
前記色補正部は、前記第3の視点ごとの前記色ずれ補正データを含む前記色ずれ補正情報に基づいて色補正を行う
ように構成された
前記(8)または(9)に記載の画像処理装置。
(11)
前記色ずれ補正情報は、色ずれが発生している全ての前記第3の視点の前記色ずれ補正データが同一であるか否かを示す色ずれ共通情報を含む
ように構成された
前記(10)に記載の画像処理装置。
(12)
前記色ずれ補正情報は、色ずれが発生している全ての前記第3の視点の前記色ずれ補正データが同一であることを示す色ずれ共通情報と、全ての前記第3の視点に共通の前記色ずれ補正データとを含む
ように構成された
前記(10)に記載の画像処理装置。
(13)
前記第1の視点の2次元画像データと前記第3の視点の2次元画像データの被写体は、少なくとも一部が同一である
ように構成された
前記(8)乃至(12)のいずれかに記載の画像処理装置。
(14)
画像処理装置が、
第1の視点の2次元画像データと第2の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データと、第3の視点の2次元画像データと第4の視点のデプス画像データの符号化データである第2の符号化データを復号する復号ステップと、
前記第1の視点の2次元画像データと前記第3の視点の2次元画像データの色ずれ補正データを含む色ずれ補正情報に基づいて、前記復号ステップの処理による復号の結果得られる前記第3の視点の2次元画像データの色補正を行う色補正ステップと
を含む画像処理方法。
Claims (11)
- 被写体の第1の視点の2次元画像データと前記被写体の第2の視点の2次元画像データの色ずれを補正する色ずれ補正データを生成する色ずれ補正データ生成部と、
前記色ずれ補正データ生成部により生成された前記色ずれ補正データを含む色ずれ補正情報、前記第1の視点の2次元画像データと前記被写体の第3の視点のデプス画像の各画素の前記被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、および前記第2の視点の2次元画像データと前記被写体の第4の視点のデプス画像データの符号化データである第2の符号化データを、他の画像処理装置に伝送する伝送部と
を備え、
前記他の画像処理装置は、前記色ずれ補正情報に基づいて前記第2の視点の2次元画像データの色補正を行い、色補正後の前記第2の視点の2次元画像データおよび前記第1の視点の2次元画像データと、前記第3の視点および前記第4の視点のデプス画像データとを用いて、前記被写体の3次元データを生成する
画像処理装置。 - 前記第2の視点の数は複数であり、
前記色ずれ補正データ生成部は、前記第2の視点ごとに前記色ずれ補正データを生成する
ように構成された
請求項1に記載の画像処理装置。 - 前記色ずれ補正情報は、色ずれが発生している全ての前記第2の視点の前記色ずれ補正データが同一であるか否かを示す色ずれ共通情報を含む
ように構成された
請求項2に記載の画像処理装置。 - 前記伝送部は、色ずれが発生している全ての前記第2の視点の前記色ずれ補正データが同一である場合、色ずれが発生している全ての前記第2の視点の前記色ずれ補正データが同一であることを示す色ずれ共通情報と、全ての前記第2の視点に共通の前記色ずれ補正データとを含む色ずれ補正情報を伝送する
ように構成された
請求項2に記載の画像処理装置。 - 前記第1の符号化データと前記第2の符号化データとを復号する復号部
をさらに備え、
前記色ずれ補正データ生成部は、前記復号部による復号の結果得られる前記第1の視点の2次元画像データと前記第2の視点の2次元画像データに基づいて、前記色ずれ補正データを生成する
ように構成された
請求項1に記載の画像処理装置。 - 画像処理装置が、
被写体の第1の視点の2次元画像データと前記被写体の第2の視点の2次元画像データの色ずれを補正する色ずれ補正データを生成する色ずれ補正データ生成ステップと、
前記色ずれ補正データ生成ステップの処理により生成された前記色ずれ補正データを含む色ずれ補正情報、前記第1の視点の2次元画像データと前記被写体の第3の視点のデプス画像の各画素の前記被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、および前記第2の視点の2次元画像データと前記被写体の第4の視点のデプス画像データの符号化データである第2の符号化データを、他の画像処理装置に伝送する伝送ステップと
を含み、
前記他の画像処理装置は、前記色ずれ補正情報に基づいて前記第2の視点の2次元画像データの色補正を行い、色補正後の前記第2の視点の2次元画像データおよび前記第1の視点の2次元画像データと、前記第3の視点および前記第4の視点のデプス画像データとを用いて、前記被写体の3次元データを生成する
画像処理方法。 - 被写体の第1の視点の2次元画像データと前記被写体の第2の視点のデプス画像の各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、前記被写体の第3の視点の2次元画像データと前記被写体の第4の視点のデプス画像データの符号化データである第2の符号化データ、および前記第1の視点の2次元画像データと前記第3の視点の2次元画像データの色ずれを補正する色ずれ補正データを含む色ずれ補正情報を、他の画像処理装置から取得する取得部と、
前記取得部により取得された前記第1の符号化データと前記第2の符号化データを復号する復号部と、
前記色ずれ補正情報に基づいて、前記復号部による復号の結果得られる前記第3の視点の2次元画像データの色補正を行う色補正部と、
前記復号部による復号の結果得られる前記第1の視点の2次元画像データ、前記第2の視点のデプス画像データ、および前記第4の視点のデプス画像データ、並びに前記色補正部により色補正が行われた前記第3の視点の2次元画像データに基づいて、前記被写体の3次元データを生成する3次元データ生成部と
を備える画像処理装置。 - 前記第3の視点の数は複数であり、
前記色補正部は、前記第3の視点ごとの前記色ずれ補正データを含む前記色ずれ補正情報に基づいて色補正を行う
ように構成された
請求項7に記載の画像処理装置。 - 前記色ずれ補正情報は、色ずれが発生している全ての前記第3の視点の前記色ずれ補正データが同一であるか否かを示す色ずれ共通情報を含む
ように構成された
請求項8に記載の画像処理装置。 - 前記色ずれ補正情報は、色ずれが発生している全ての前記第3の視点の前記色ずれ補正データが同一であることを示す色ずれ共通情報と、全ての前記第3の視点に共通の前記色ずれ補正データとを含む
ように構成された
請求項8に記載の画像処理装置。 - 画像処理装置が、
被写体の第1の視点の2次元画像データと前記被写体の第2の視点のデプス画像の各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、前記被写体の第3の視点の2次元画像データと前記被写体の第4の視点のデプス画像データの符号化データである第2の符号化データ、および前記第1の視点の2次元画像データと前記第3の視点の2次元画像データの色ずれを補正する色ずれ補正データを含む色ずれ補正情報を、他の画像処理装置から取得する取得ステップと、
前記取得ステップの処理により取得された前記第1の符号化データと前記第2の符号化データを復号する復号ステップと、
前記色ずれ補正情報に基づいて、前記復号ステップの処理による復号の結果得られる前記第3の視点の2次元画像データの色補正を行う色補正ステップと、
前記復号ステップの処理による復号の結果得られる前記第1の視点の2次元画像データ、前記第2の視点のデプス画像データ、および前記第4の視点のデプス画像データ、並びに前記色補正ステップの処理により色補正が行われた前記第3の視点の2次元画像データに基づいて、前記被写体の3次元データを生成する3次元データ生成ステップと
を含む画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221236 | 2015-11-11 | ||
JP2015221236 | 2015-11-11 | ||
PCT/JP2016/082027 WO2017082079A1 (ja) | 2015-11-11 | 2016-10-28 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017082079A1 JPWO2017082079A1 (ja) | 2018-08-30 |
JP6911765B2 true JP6911765B2 (ja) | 2021-07-28 |
Family
ID=58696062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550064A Active JP6911765B2 (ja) | 2015-11-11 | 2016-10-28 | 画像処理装置および画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11223812B2 (ja) |
EP (1) | EP3376761B1 (ja) |
JP (1) | JP6911765B2 (ja) |
CN (1) | CN108353156B (ja) |
WO (1) | WO2017082079A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018100928A1 (ja) * | 2016-11-30 | 2018-06-07 | キヤノン株式会社 | 画像処理装置および方法 |
US10692262B2 (en) * | 2017-01-12 | 2020-06-23 | Electronics And Telecommunications Research Institute | Apparatus and method for processing information of multiple cameras |
KR102430726B1 (ko) * | 2017-01-12 | 2022-08-10 | 한국전자통신연구원 | 멀티 카메라의 정보 처리 장치 및 방법 |
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
JP2019057899A (ja) * | 2017-09-22 | 2019-04-11 | 株式会社リコー | 撮影装置、計測装置、及び計測システム |
KR20200073229A (ko) * | 2017-10-27 | 2020-06-23 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 3차원 모델 부호화 장치, 3차원 모델 복호 장치, 3차원 모델 부호화 방법, 및, 3차원 모델 복호 방법 |
EP3804275B1 (en) * | 2018-06-26 | 2023-03-01 | Huawei Technologies Co., Ltd. | High-level syntax designs for point cloud coding |
WO2020013454A1 (ko) * | 2018-07-13 | 2020-01-16 | 엘지전자 주식회사 | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 |
GB2576548B (en) * | 2018-08-23 | 2021-11-03 | Sony Interactive Entertainment Inc | Method and system for reconstructing colour and depth information of a scene |
CN109739574A (zh) * | 2018-12-29 | 2019-05-10 | 上海创功通讯技术有限公司 | 数据获取方法与电子设备、标定方法及装置 |
WO2020141604A1 (en) * | 2019-01-04 | 2020-07-09 | Sharp Kabushiki Kaisha | Systems and methods for signaling camera parameter information |
EP3905696A4 (en) * | 2019-01-07 | 2022-06-08 | Sony Group Corporation | IMAGE PROCESSING DEVICE AND METHOD |
CN114009054B (zh) * | 2019-06-28 | 2024-08-09 | 索尼集团公司 | 信息处理装置和方法、再现处理装置和方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5006731B2 (ja) * | 2007-07-31 | 2012-08-22 | キヤノン株式会社 | 画像形成装置及び画像補正方法 |
JP5173536B2 (ja) * | 2008-04-02 | 2013-04-03 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
EP2266322A2 (en) * | 2008-04-25 | 2010-12-29 | Thomson Licensing | Coding of depth signal |
KR101574068B1 (ko) * | 2008-12-26 | 2015-12-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP2010157826A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像復号装置、画像符復号方法およびそのプログラム |
KR20110124473A (ko) | 2010-05-11 | 2011-11-17 | 삼성전자주식회사 | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 |
JP5002047B2 (ja) * | 2010-11-05 | 2012-08-15 | シャープ株式会社 | 立体画像データ再生装置 |
US8731277B2 (en) * | 2011-01-26 | 2014-05-20 | Aptina Imaging Corporation | Methods for matching gain and color for stereoscopic imaging systems |
AU2012232423A1 (en) | 2011-03-18 | 2013-09-05 | Sony Corporation | Image processing device and image processing method |
CN103430557A (zh) * | 2011-03-18 | 2013-12-04 | 索尼公司 | 图像处理设备和图像处理方法 |
JP2012238932A (ja) | 2011-05-09 | 2012-12-06 | For-A Co Ltd | 3d自動色補正装置とその色補正方法と色補正プログラム |
JP5808197B2 (ja) | 2011-08-26 | 2015-11-10 | 日立マクセル株式会社 | 映像処理装置及び映像処理方法 |
JP2014053650A (ja) | 2012-09-04 | 2014-03-20 | Sony Corp | 画像処理装置、および画像処理方法 |
WO2015037473A1 (ja) * | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
-
2016
- 2016-10-28 CN CN201680064636.XA patent/CN108353156B/zh active Active
- 2016-10-28 WO PCT/JP2016/082027 patent/WO2017082079A1/ja active Application Filing
- 2016-10-28 JP JP2017550064A patent/JP6911765B2/ja active Active
- 2016-10-28 US US15/769,143 patent/US11223812B2/en active Active
- 2016-10-28 EP EP16864042.3A patent/EP3376761B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3376761A4 (en) | 2019-07-03 |
WO2017082079A1 (ja) | 2017-05-18 |
CN108353156B (zh) | 2020-10-16 |
JPWO2017082079A1 (ja) | 2018-08-30 |
EP3376761A1 (en) | 2018-09-19 |
US11223812B2 (en) | 2022-01-11 |
US20180316902A1 (en) | 2018-11-01 |
CN108353156A (zh) | 2018-07-31 |
EP3376761B1 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6872131B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法 | |
JP6911765B2 (ja) | 画像処理装置および画像処理方法 | |
JP6984416B2 (ja) | 画像処理装置および画像処理方法 | |
CN108886611B (zh) | 全景立体视频系统的拼接方法和装置 | |
EP2845164B1 (en) | Reference card for scene referred metadata capture | |
JP7009996B2 (ja) | 画像処理装置および画像処理方法 | |
KR20220096700A (ko) | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 | |
JPWO2018186287A1 (ja) | 映像データ生成装置、映像再生装置、映像データ生成方法、制御プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210621 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6911765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |