KR20120129313A - 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법 - Google Patents

차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법 Download PDF

Info

Publication number
KR20120129313A
KR20120129313A KR1020110047485A KR20110047485A KR20120129313A KR 20120129313 A KR20120129313 A KR 20120129313A KR 1020110047485 A KR1020110047485 A KR 1020110047485A KR 20110047485 A KR20110047485 A KR 20110047485A KR 20120129313 A KR20120129313 A KR 20120129313A
Authority
KR
South Korea
Prior art keywords
texture image
image
information
original
texture
Prior art date
Application number
KR1020110047485A
Other languages
English (en)
Inventor
추현곤
김진웅
민성욱
정재현
염지운
조용주
김민영
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
상명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단, 상명대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020110047485A priority Critical patent/KR20120129313A/ko
Priority to US13/475,315 priority patent/US20120293504A1/en
Publication of KR20120129313A publication Critical patent/KR20120129313A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법이 개시된다.
3차원 영상 정보 전송 시스템의 3차원 영상 정보 전송 장치는 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 합성 텍스쳐 영상을 제2 원본 텍스쳐 영상과 비교하여 차이 정보를 추출하는 차이 정보 추출부; 및 상기 제1 텍스쳐 영상과 상기 깊이 정보, 및 상기 차이 정보를 포함한 3차원 영상 정보를 전송하는 영상 정보 전송부를 포함할 수 있다.

Description

차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법{SYSTEM AND METHOD FOR TRANSMITTING THREE-DIMENSIONAL IMAGE INFORMATION USING DIFFERENCE INFORMATION}
본 발명은 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법에 관한 것으로, 보다 상세하게는, 좌안 텍스쳐 영상을 기초로 우안 텍스쳐 영상을 복원할 수 있는 차이 정보를 좌안 텍스쳐 영상과 함께 전송함으로써 좌안 텍스쳐 영상과 우안 텍스쳐 영상을 함께 전송한 것과 동일한 효과를 가질 수 있는 3차원 영상 정보 전송 시스템 및 방법에 관한 것이다.
3차원 입체 영화 시장이 활성화되고, 3차원 텔레비전이 보급되기 시작하면서 3차원 영상 정보의 생성기술과 전송 포맷에 관한 연구는 전 세계적으로 전보다 많은 관심을 받게 되었다.
종래의 3차원 영상 정보 전송 방법은 좌안 텍스쳐 영상과 우안 텍스쳐 영상이 포함된 3차원 영상 정보를 전송하는 방법, 좌안 텍스쳐 영상과 깊이 영상이 포함된 3차원 영상 정보를 전송하는 방법, 좌안 텍스쳐 영상과 깊이 정보, 오브젝트에 의하여 가려지는 영역에 대한 영상 정보와 깊이 정보가 포함된 3차원 영상 정보를 전송하는 방법이 있다.
그러나, 좌안 텍스쳐 영상과 우안 텍스쳐 영상이 포함된 3차원 영상 정보를 전송하는 방법은 단일 영상을 전송하는 방법에 비해 2배의 전송 대역폭이 필요하다는 문제점이 있었다. 또한, 좌안 텍스쳐 영상과 깊이 영상이 포함된 3차원 영상 정보를 전송하는 방법은 3차원 영상을 생성하기 위해 후처리 과정이 필요하게 되며, 후처리 과정에서 좌안 텍스쳐 영상에 포함되지 않은 정보가 누락되므로 완전한 3차원 영상을 제공하기 어렵다는 한계가 있었다.
그리고, 좌안 텍스쳐 영상과 깊이 정보, 오브젝트에 의하여 가려지는 영역에 대한 영상 정보와 깊이 정보가 포함된 3차원 영상 정보를 전송하는 방법은 후처리 과정을 통해 완전한 3차원 영상을 제공할 수는 있으나, 오브젝트에 의하여 가려지는 영역에 대한 영상 정보, 및 깊이 정보가 좌안 텍스쳐 영상, 및 깊이 정보와 동일한 크기이므로 전송해야 하는 데이터 량이 증가한다는 문제가 있었다.
따라서, 적은 량의 데이터 전송으로 완전한 3차원 영상을 제공할 수 있는 3차원 영상 정보를 생성하고, 전송하는 방법이 요구되고 있다.
본 발명은 좌안 텍스쳐 영상과 우안 텍스쳐 간의 차이 정보를 사용하여 3차원 영상 정보를 전송함으로써 적은 데이터 량으로 3차원 영상 정보를 전송할 수 있는 3차원 영상 정보 전송 시스템 및 방법을 제공한다.
또한, 본 발명은 좌안 텍스쳐 영상과 깊이 정보를 기초로 우안 텍스쳐 영상을 합성하고, 차이 정보를 사용하여, 합성한 우안 텍스쳐 영상을 보정하여 최초의 우안 텍스쳐 영상을 복원함으로써 좌안 텍스쳐 영상 하나의 전송으로 좌안 텍스쳐 영상과 우안 텍스쳐 영상을 모두 전송한 것과 같은 효과를 얻을 수 있는 3차원 영상 정보 전송 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 3차원 영상 정보 전송 장치는 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 텍스쳐 영상을 기존의 제2 텍스쳐 영상과 비교하여 차이 정보를 추출하는 차이 정보 추출부; 및 상기 제1 텍스쳐 영상과 상기 깊이 정보, 및 상기 차이 정보를 포함한 3차원 영상 정보를 전송하는 영상 정보 전송부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 영상 표시 장치는 제1 텍스쳐 영상과 깊이 정보를 합성한 제2 합성 텍스쳐 영상과 차이 정보를 이용하여 제2 원본 텍스쳐 영상을 복원하는 텍스쳐 영상 복원부; 및 상기 제1 텍스쳐 영상과 상기 제2 원본 텍스쳐 영상 및 상기 깊이 정보를 기초로 3차원 영상을 표시하는 3차원 영상 표시부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 영상 정보 전송 방법은, 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 합성 텍스쳐 영상을 제2 원본 텍스쳐 영상과 비교하여 차이 정보를 추출하는 단계; 및 상기 제1 텍스쳐 영상과 상기 깊이 정보, 및 상기 차이 정보를 포함한 3차원 영상 정보를 전송하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 영상 표시 방법은 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 합성 텍스쳐 영상과 차이 정보를 이용하여 제2 원본 텍스쳐 영상을 복원하는 단계; 및 상기 제1 텍스쳐 영상과 상기 제2 원본 텍스쳐 영상 및 상기 깊이 정보를 기초로 3차원 영상을 표시하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 좌안 텍스쳐 영상과 우안 텍스쳐 영상 간의 차이 정보를 사용하여 3차원 영상 정보를 전송함으로써 적은 데이터 량으로 3차원 영상 정보를 전송할 수 있다.
또한, 본 발명의 일실시예에 의하면, 좌안 텍스쳐 영상과 깊이 정보를 기초로 우안 텍스쳐 영상을 합성하고, 차이 정보를 사용하여, 합성한 우안 텍스쳐 영상을 보정하여 최초의 우안 텍스쳐 영상을 복원함으로써 좌안 텍스쳐 영상 하나의 전송으로 좌안 텍스쳐 영상과 우안 텍스쳐 영상을 모두 전송한 것과 같은 효과를 얻을 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 영상 정보 전송 시스템을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 3차원 영상 정보 전송 장치를 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따라 차이 정보를 추출하는 과정의 일례이다.
도 4는 본 발명의 일실시예에 따라 3차원 영상 정보를 생성하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따른 3차원 영상 정보 생성 방법을 도시한 플로우차트이다.
도 6은 본 발명의 일실시예에 따른 3차원 영상 표시 장치를 도시한 블록 다이어그램이다.
도 7은 본 발명의 일실시예에 따라 제2 원본 텍스쳐 정보를 복원하는 과정의 일례이다.
도 8은 본 발명의 일실시예에 따른 3차원 영상 표시 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 3차원 영상 정보 전송 방법은 3차원 영상 정보 전송 시스템에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 영상 정보 전송 시스템을 도시한 블록 다이어그램이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 3차원 영상 정보 전송 시스템(100)는 3차원 영상 정보 전송 장치(110)와 3차원 영상 표시 장치(120)를 포함할 수 있다.
3차원 영상 정보 전송 장치(110)는 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상 및 깊이 정보를 기초로 차이 정보를 생성할 수 있다. 이때, 차이 정보는 오브젝트에 의하여 제1 텍스쳐 영상에서는 표시되지 않으나, 제2 원본 텍스쳐 영상에서 표시되는 가려진 영역(occlusion)일 수 있다. 또한, 3차원 영상 정보 전송 장치(110)는 제1 텍스쳐 영상과 깊이 정보 및 차이 정보를 포함하는 3차원 영상 정보(130)를 생성하여 3차원 영상 표시 장치(120)로 전송할 수 있다. 또한, 상기 제1 텍스쳐 영상은 좌안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 우안 텍스쳐 영상이거나, 또는 상기 제1 텍스쳐 영상은 우안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 좌안 텍스쳐 영상일 수 있다.
3차원 영상 정보 전송 장치(110)의 상세 구성 및 동작은 이하 도 2 내지 도 5를 참조하여 상세히 설명한다.
3차원 영상 표시 장치(120)는 3차원 영상 정보(130)를 기초로 제2 원본 텍스쳐 영상을 복원하고, 복원한 제2 원본 텍스쳐 영상과 3차원 영상 정보(130)에 포함된 제1 텍스쳐 영상 및 깊이 정보를 기초로 3차원 영상 정보를 생성하여 사용자에게 표시할 수 있다.
3차원 영상 표시 장치(120)의 상세 구성 및 동작은 이하 도 6 내지 도 8을 참조하여 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 3차원 영상 정보 전송 장치를 도시한 블록 다이어그램이다.
본 발명의 일실시예에 따른 3차원 영상 정보 전송 장치(110)는 도 2에 도시된 바와 같이 촬영부(210), 깊이 정보 생성부(220), 텍스쳐 영상 합성부(230), 차이 정보 추출부(240), 및 영상 정보 전송부(250)를 포함할 수 있다.
텍스쳐 영상 촬영부(210)는 사용자가 3차원 영상 정보를 생성하고자 하는 오브젝트의 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상을 획득할 수 있다. 일례로, 촬영부(210)는 양안식 카메라일 수 있다.
깊이 정보 생성부(220)는 상기 오브젝트와 배경에 대한 깊이 정보를 획득할 수 있다. 일례로, 깊이 정보 생성부(220)는 오브젝트와 배경을 촬영하여 깊이 정보를 획득하는 깊이 카메라(depth camera)일 수 있다. 또한, 깊이 정보 생성부(220)는 촬영부(210)가 촬영한 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상을 기초로 깊이 정보를 추출할 수도 있다. 이때, 깊이 정보는 깊이 맵(depth map) 또는 좌우 영상간 거리 맵(Disparity map)일 수 있다.
텍스쳐 영상 합성부(230)는 제1 텍스쳐 영상과 깊이 정보를 기초로 제2 원본 텍스쳐 영상을 합성할 수 있다. 이때, 텍스쳐 영상 합성부(230)가 합성한 제2 합성 텍스쳐 영상은 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상의 차이에 따른 가려진 영역을 포함하는 텍스쳐 영상일 수 있다. 구체적으로, 텍스쳐 영상 합성부(230)가 제1 텍스쳐 영상과 깊이 정보를 기초로 제2 원본 텍스쳐 영상을 합성할 경우, 우안에 위치하는 카메라에서만 보이는 가려진 영역은 합성할 영상 정보가 없게 된다. 이때, 해당 영역의 정보는 비어있거나 주변의 값으로 채울 수 있다.
차이 정보 추출부(240)는 텍스쳐 영상 합성부(230)가 제2 합성 텍스쳐 영상을 촬영부(210)가 촬영한 제2 원본 텍스쳐 영상과 비교하여 차이 정보를 추출할 수 있다. 이때, 제2 원본 텍스쳐 영상은 제2 합성 텍스쳐 영상의 원본일 수 있다. 차이 정보 추출부(240)가 차이 정보를 추출하는 과정은 이하 도 3을 기초로 상세히 설명한다.
영상 정보 전송부(250)는 제1 텍스쳐 영상과 깊이 정보, 및 차이 정보를 기초로 3차원 영상 정보를 생성할 수 있다. 구체적으로 영상 정보 전송부(250)는 제1 텍스쳐 영상과 깊이 정보를 압축하고, 차이 정보를 1차원 배열 형태로 변환하여 결합함으로써 3차원 영상 정보를 생성할 수 있다.
또한, 영상 정보 전송부(250)는 생성한 3차원 영상 정보를 3차원 영상 표시 장치(120)로 전송할 수도 있다.
도 3은 본 발명의 일실시예에 따라 차이 정보를 추출하는 과정의 일례이다.
먼저, 텍스쳐 영상 합성부(230)는 제1 텍스쳐 영상(310)과 깊이 정보(320)를 기초로 제2 합성 텍스쳐 영상을 합성할 수 있다(340).
이때, 제1 텍스쳐 영상(310)과 제2 원본 텍스쳐 영상(320)은 각각의 영상을 촬영하는 카메라의 위치에 따라 도 3에 도시된 바와 같이 서로 다른 영역이 발생한다. 구체적으로, 제1 텍스쳐 영상(310)에서는 삼각형이 원 위에 위치하고 있으나, 제2 원본 텍스쳐 영상(320)에서는 삼각형과 원이 서로 떨어져 있다. 따라서, 제1 텍스쳐 영상(310)에는 삼각형에 의하여 가려져 있던 영역(341) 정보인 차이 정보가 포함되어 있지 않다.
따라서, 텍스쳐 영상 합성부(230)가 제1 텍스쳐 영상(310)을 기초로 제2 합성 텍스쳐 영상을 합성할 경우, 차이 정보에 대응하는 가려진 영역은 깊이 정보와 합성할 영상 정보가 없으므로 차이 정보에 대응하는 영역(341)에는 이미지가 표시되지 않을 수 있다.
따라서, 차이 정보 추출부(240)는 텍스쳐 영상 합성부(230)가 합성한 제2 합성 텍스쳐 영상(340)을 촬영부(210)가 촬영한 제2 원본 텍스쳐 영상(320)과 비교하여 영역(341)의 위치와 크기를 확인하고, 제2 원본 텍스쳐 영상(320)에서 영역(341)에 대응하는 영상 정보인 차이 정보(350)를 추출할 수 있다.
도 4는 본 발명의 일실시예에 따라 3차원 영상 정보를 생성하는 과정의 일례이다.
먼저, 영상 정보 전송부(250)는 차이 정보(350)를 1차원 배열 형태(420)로 변환할 수 있다. 구체적으로 영상 정보 전송부(250)는 차이 정보(350)을 1차원 배열 간격(411,412,413)으로 스캔 하여 차이 정보에 대응하는 유효 픽셀(410)들이 포함된 영역(421,422,423)을 추출할 수 있다. 그리고, 영상 정보 전송부(250)는 유효 픽셀(410)들이 포함된 영역(421,422,423)을 순서대로 결합함으로써 1차원 배열 형태로 변환된 차이 정보(420)를 생성할 수 있다. 이때, 영역(421)은 간격(411)에서 스캔 된 유효 픽셀이 포함된 영역이고, 영역(422)은 간격(412)에서 스캔 된 유효 픽셀이 포함된 영역이며, 영역(423)은 간격(413)에서 스캔 된 유효 픽셀이 포함된 영역일 수 있다.
다음으로, 영상 정보 전송부(250)는 상호 유사도를 이용하여 제1 텍스쳐 영상(310)과 깊이 정보(320), 및 차이정보를 압축할 수 있다(430). 또한, 영상 정보 전송부(250)는 차이 정보의 양이 크지 않을 경우, 압축하지 않을 수도 있다.
마지막으로 영상 정보 전송부(250)는 압축된 제1 텍스쳐 영상 및 깊이 정보(430)에 1차원 배열 형태로 변환된 차이 정보(420)를 추가하여 3차원 영상 정보를 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 3차원 영상 정보 생성 방법을 도시한 플로우차트이다.
단계(S510)에서 촬영부(210)는 사용자가 3차원 영상 정보를 생성하고자 하는 오브젝트의 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상을 획득할 수 있다.
단계(S520)에서 깊이 정보 생성부(220)는 상기 오브젝트와 배경에 대한 깊이 정보를 획득할 수 있다. 이때, 깊이 정보 생성부(220)는 단계(S510)에서 획득한 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상을 기초로 깊이 정보를 추출할 수 있다.
단계(S530)에서 텍스쳐 영상 합성부(230)는 단계(S510)에서 획득한 제1 텍스쳐 영상과 단계(S520)에서 획득한 깊이 정보를 기초로 제2 합성 텍스쳐 영상을 합성할 수 있다. 또한, 텍스쳐 영상 합성부(230)는 단계(S510)와 단계(S520)를 생략하고, 사용자로부터 입력 받은 제1 텍스쳐 영상과 깊이 정보를 사용하여 제2 합성 텍스쳐 영상을 합성할 수도 있다.
단계(S540)에서 차이 정보 추출부(240)는 단계(S530)에서 합성한 제2 합성 텍스쳐 영상을 단계(S510)에서 획득한 제2 원본 텍스쳐 영상과 비교하여 차이 정보를 추출할 수 있다.
단계(S550)에서 영상 정보 전송부(250)는 단계(S510)에서 획득한 제1 텍스쳐 영상과 단계(S520)에서 획득한 깊이 정보, 및 단계(S540)에서 추출한 차이 정보를 기초로 3차원 영상 정보를 생성할 수 있다. 구체적으로 영상 정보 전송부(250)는 제1 텍스쳐 영상과 깊이 정보를 압축하고, 차이 정보를 1차원 배열 형태로 변환하여 결합함으로써 3차원 영상 정보를 생성할 수 있다.
또한, 영상 정보 전송부(250)는 생성한 3차원 영상 정보를 3차원 영상 표시 장치(120)로 전송할 수도 있다.
도 6은 본 발명의 일실시예에 따른 3차원 영상 표시 장치를 도시한 블록 다이어그램이다.
본 발명의 일실시예에 따른 3차원 영상 표시 장치(120)는 도 6에 도시된 바와 같이 정보 추출부(610), 텍스쳐 영상 합성부(620), 텍스쳐 영상 복원부(630), 및 3차원 영상 표시부(640)를 포함할 수 있다.
정보 추출부(610)는 3차원 영상 정보 전송 장치(110)로부터 3차원 영상 정보(130)를 수신하고, 수신한 3차원 영상 정보에서 제1 텍스쳐 영상과 깊이 정보, 및 차이 정보를 추출할 수 있다.
텍스쳐 영상 합성부(620)는 정보 추출부(610)가 추출한 제1 텍스쳐 영상과 깊이 정보를 기초로 제2 합성 텍스쳐 영상을 합성할 수 있다. 이때, 텍스쳐 영상 합성부(620)가 제2 합성 텍스쳐 영상은 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상의 차이에 따른 가려진 영역을 포함하는 텍스쳐 영상일 수 있다.
텍스쳐 영상 복원부(630)는 텍스쳐 영상 합성부(620)가 제2 합성 텍스쳐와 정보 추출부(610)가 추출한 차이 정보를 기초로 제2 원본 텍스처 영상을 복원할 수 있다.
구체적으로 텍스쳐 영상 복원부(630)는 합성한 텍스쳐 영상에서 가려진 영역을 검색하고, 차이 정보를 사용하여 가려진 영역에 대한 영상을 복원하여 제2 원본 텍스쳐 영상을 복원할 수 있다.
제2 원본 텍스쳐 영상을 복원하는 과정은 이하 도 7을 기초로 상세히 설명한다.
3차원 영상 표시부(640)는 정보 추출부(610)가 추출한 제1 텍스쳐 영상과 깊이 정보 및 텍스쳐 영상 복원부(630)가 복원한 제2 원본 텍스쳐 영상을 사용하여 3차원 영상 정보를 표시할 수 있다.
도 7은 본 발명의 일실시예에 따라 제2 원본 텍스쳐 정보를 복원하는 과정의 일례이다.
먼저 정보 추출부(610)는 3차원 영상 정보(130)에서 제1 텍스쳐 영상(310)과 깊이 정보(330), 및 차이 정보(350)를 추출할 수 있다. 이때, 3차원 영상 정보(310)은 도 4에 도시된 바와 같이 압축된 제1 텍스쳐 영상 및 깊이 정보(430)와 1차원 배열 형태로 변환된 차이 정보(420)를 포함할 수 있다.
구체적으로 정보 추출부(610)는 압축된 제1 텍스쳐 영상 및 깊이 정보(430)의 압축을 해제하여 제1 텍스쳐 영상(310)과 깊이 정보(330)를 추출할 수 있다. 또한, 정보 추출부(610)는 1차원 배열 형태로 변환된 차이 정보(420)를 기초로 차이 정보(350)를 복원할 수 있다. 일례로, 유효 픽셀(410)들이 포함된 영역(421,422,423)의 위치를 기초로 영상이 생성되지 않는 영역(341)에 유효 픽셀이 위치한 차이 정보(350)를 복원할 수 있다.
다음으로 텍스쳐 영상 합성부(620)는 정보 추출부(610)가 추출한 제1 텍스쳐 영상(310)과 깊이 정보(330)를 기초로 제2 합성 텍스쳐 영상(710)을 합성할 수 있다. 이때, 텍스쳐 영상 합성부(620)가 합성한 제2 합성 텍스쳐 영상(710)은 제1 텍스쳐 영상과 제2 원본 텍스쳐 영상의 차이에 따라 생성된 가려진 영역(711)이 포함된 텍스쳐 영상일 수 있다.
마지막으로 텍스쳐 영상 복원부(630)는 합성된 제2 합성 텍스쳐 영상(710)에서 가려진 영역(711)을 검색하고, 검색된 영역(711)에 차이 정보(350)를 삽입함으로써 제2 원본 텍스처 영상(720)를 복원할 수 있다.
도 8은 본 발명의 일실시예에 따른 3차원 영상 표시 방법을 도시한 플로우차트이다.
단계(S810)에서 정보 추출부(610)는 3차원 영상 정보에서 제1 텍스쳐 영상과 깊이 정보, 및 차이 정보를 추출할 수 있다.
단계(S820)에서 텍스쳐 영상 합성부(620)는 단계(S810)에서 추출한 제1 텍스쳐 영상과 깊이 정보를 기초로 제2 합성 텍스쳐 영상을 합성할 수 있다.
단계(S830)에서 텍스쳐 영상 복원부(630)는 단계(S820)에서 합성된 제2 합성 텍스쳐 영상에서 가려진 영역을 검색할 수 있다.
단계(S840)에서 텍스쳐 영상 복원부(630)는 단계(S830)에서 검색된 영역에 단계(S810)에서 추출한 차이 정보를 삽입하여 제2 원본 텍스쳐 영상을 복원할 수 있다.
단계(S850)에서 3차원 영상 표시부(640)는 단계(S810)에서 추출한 제1 텍스쳐 영상과 깊이 정보 및 단계(S840)에서 복원한 제2 원본 텍스쳐 영상을 사용하여 3차원 영상 정보를 표시할 수 있다.
본 발명은 좌안 텍스쳐 영상과 우안 텍스쳐 영상 간의 차이 정보를 사용하여 3차원 영상 정보를 전송함으로써 적은 데이터 량으로 3차원 영상 정보를 전송할 수 있다.
또한, 좌안 텍스쳐 영상과 깊이 정보를 기초로 우안 텍스쳐 영상을 합성하고, 차이 정보를 사용하여, 합성한 우안 텍스쳐 영상을 보정하여 우안 텍스쳐 영상의 원본을 복원함으로써 좌안 텍스쳐 영상 하나의 전송으로 좌안 텍스쳐 영상과 우안 텍스쳐 영상을 모두 전송한 것과 같은 효과를 얻을 수 있다.
또한 본 발명의 실시예에서는 좌안 텍스쳐 영상을 기초로 우안 텍스쳐 영상과의 차이를 이용하는 경우를 기재하고 있으나, 하나의 시점에 대한 텍스쳐 영상과 깊이 영상을 이용하여 여러 각도에 해당하는 시점을 합성하고, 각각의 합성된 영상과의 차이 정보를 이용하여 다시점 3D 에 대한 영상 정보를 전송할 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 3차원 영상 정보 전송 장치
120: 3차원 영상 표시 장치
130: 3차원 영상 정보
230: 텍스쳐 영상 합성부
240: 차이 정보 추출부
250: 영상 정보 전송부
630: 텍스쳐 영상 복원부
640: 3차원 영상 표시부

Claims (18)

  1. 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 합성 텍스쳐 영상을 제2 원본 텍스쳐 영상과 비교하여 차이 정보를 추출하는 차이 정보 추출부; 및
    상기 제1 텍스쳐 영상과 상기 깊이 정보, 및 상기 차이 정보를 포함한 3차원 영상 정보를 전송하는 영상 정보 전송부
    를 포함하고,
    상기 차이 정보는,
    상기 제2 원본 텍스쳐 영상에는 포함되어 있으나 상기 제1 텍스쳐 영상에는 포함되어 있지 않은 가려진 영역(occlusion)인 것을 특징으로 하는 3차원 영상 정보 전송 장치.
  2. 제1항에 있어서,
    (1) 상기 제1 텍스쳐 영상은 좌안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 우안 텍스쳐 영상이거나, 또는
    (2) 상기 제1 텍스쳐 영상은 우안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 좌안 텍스쳐 영상인 것을 특징으로 하는 3차원 영상 정보 전송 장치.
  3. 제1항에 있어서,
    상기 영상 정보 전송부는,
    상기 차이 정보를 1차원 배열 형태로 변환하여 3차원 영상 정보를 생성하는 것을 특징으로 하는 3차원 영상 정보 전송 장치.
  4. 제1항에 있어서,
    상기 영상 정보 전송부는,
    상호 유사도를 사용하여 상기 제1 텍스쳐 영상과 상기 깊이 정보를 압축하는 것을 특징으로 하는 3차원 영상 정보 전송 장치.
  5. 제1 텍스쳐 영상과 깊이 정보를 합성한 제2 합성 텍스쳐 영상과 차이 정보를 이용하여 제2 원본 텍스쳐 영상을 복원하는 텍스쳐 영상 복원부; 및
    상기 제1 텍스쳐 영상과 상기 제2 원본 텍스쳐 영상 및 상기 깊이 정보를 기초로 3차원 영상을 표시하는 3차원 영상 표시부
    를 포함하고,
    상기 차이 정보는,
    상기 제2 원본 텍스쳐 영상에는 포함되어 있으나 상기 제1 텍스쳐 영상에는 포함되어 있지 않은 가려진 영역(occlusion)인 것을 특징으로 하는 3차원 영상 표시 장치.
  6. 제5항에 있어서,
    (1) 상기 제1 텍스쳐 영상은 좌안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 우안 텍스쳐 영상이거나, 또는
    (2) 상기 제1 텍스쳐 영상은 우안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 좌안 텍스쳐 영상인 것을 특징으로 하는 3차원 영상 표시 장치.
  7. 제5항에 있어서,
    상기 제2 합성 텍스쳐 영상은,
    상기 제1 텍스쳐 영상과 상기 제2 원본 텍스쳐 영상의 차이에 따른 가려진 영역을 포함하는 텍스쳐 영상인 것을 특징으로 하는 3차원 영상 표시 장치.
  8. 제7항에 있어서,
    상기 텍스쳐 영상 복원부는,
    상기 제2 합성 텍스쳐 영상에서 가려진 영역을 검색하고, 상기 차이 정보를 이용하여 상기 가려진 영역을 포함하는 제2 원본 텍스쳐 영상을 복원하는 것을 특징으로 하는 3차원 영상 표시 장치.
  9. 제5항에 있어서,
    3차원 영상 정보 전송 장치로부터 3차원 영상 정보를 수신하고, 상기 3차원 영상 정보에서 제1 텍스쳐 영상과 깊이 정보, 및 차이 정보를 추출하는 정보 추출부
    를 더 포함하는 3차원 영상 표시 장치.
  10. 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 합성 텍스쳐 영상을 제2 원본 텍스쳐 영상과 비교하여 차이 정보를 추출하는 단계; 및
    상기 제1 텍스쳐 영상과 상기 깊이 정보, 및 상기 차이 정보를 포함한 3차원 영상 정보를 전송하는 단계
    를 포함하고,
    상기 차이 정보는,
    상기 제2 원본 텍스쳐 영상에는 포함되어 있으나 상기 제1 텍스쳐 영상정보에는 포함되어 있지 않은 가려진 영역(occlusion)인 것을 특징으로 하는 3차원 영상 정보 전송 방법.
  11. 제10항에 있어서,
    (1) 상기 제1 텍스쳐 영상은 좌안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 우안 텍스쳐 영상이거나, 또는
    (2) 상기 제1 텍스쳐 영상은 우안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 좌안 텍스쳐 영상인 것을 특징으로 하는 3차원 영상 정보 전송 방법.
  12. 제10항에 있어서,
    상기 전송 단계는,
    상기 차이 정보를 1차원 배열 형태로 변환하여 3차원 영상 정보를 생성하는 단계를 포함하는 3차원 영상 정보 전송 방법.
  13. 제10항에 있어서,
    상기 전송 단계는,
    상호 유사도를 사용하여 상기 제1 텍스쳐 영상과 상기 깊이 정보를 압축하는 단계를 포함하는 3차원 영상 정보 전송 방법.
  14. 제1 텍스쳐 영상과 깊이 정보를 기초로 합성한 제2 합성 텍스쳐 영상과 차이 정보를 이용하여 제2 원본 텍스쳐 영상을 복원하는 단계; 및
    상기 제1 텍스쳐 영상과 상기 제2 원본 텍스쳐 영상 및 상기 깊이 정보를 기초로 3차원 영상을 표시하는 단계
    를 포함하고,
    상기 차이 정보는,
    상기 제2 원본 텍스쳐 영상에는 포함되어 있으나 상기 제1 텍스쳐 영상정보에는 포함되어 있지 않은 가려진 영역(occlusion)인 것을 특징으로 하는 3차원 영상 표시 방법.
  15. 제14항에 있어서,
    (1) 상기 제1 텍스쳐 영상은 좌안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 우안 텍스쳐 영상이거나, 또는
    (2) 상기 제1 텍스쳐 영상은 우안 텍스쳐 영상이고, 상기 제2 원본 텍스쳐 영상은 좌안 텍스쳐 영상인 것을 특징으로 하는 3차원 영상 표시 방법.
  16. 제14항에 있어서,
    상기 제2 합성 텍스쳐 영상은,
    상기 제1 텍스쳐 영상과 상기 제2 텍스쳐 영상의 차이에 따른 가려진 영역을 포함하는 텍스쳐 영상인 것을 특징으로 하는 3차원 영상 표시 방법.
  17. 제16항에 있어서,
    상기 제2 원본 텍스쳐 영상을 복원하는 단계는,
    상기 합성 텍스쳐 영상에서 가려진 영역을 검색하는 단계;
    상기 차이 정보를 이용하여 상기 가려진 영역을 포함하는 제2 원본 텍스쳐 영상을 복원하는 단계
    를 포함하는 3차원 영상 표시 방법.
  18. 제14항에 있어서,
    3차원 영상 정보 전송 장치로부터 3차원 영상 정보를 수신하는 단계; 및
    상기 3차원 영상 정보에서 제1 텍스쳐 영상과 깊이 정보, 및 차이 정보를 추출하는 단계를 더 포함하는 3차원 영상 표시 방법.
KR1020110047485A 2011-05-19 2011-05-19 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법 KR20120129313A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110047485A KR20120129313A (ko) 2011-05-19 2011-05-19 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법
US13/475,315 US20120293504A1 (en) 2011-05-19 2012-05-18 System and method for transmitting three-dimensional image information using difference information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110047485A KR20120129313A (ko) 2011-05-19 2011-05-19 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20120129313A true KR20120129313A (ko) 2012-11-28

Family

ID=47174603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110047485A KR20120129313A (ko) 2011-05-19 2011-05-19 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법

Country Status (2)

Country Link
US (1) US20120293504A1 (ko)
KR (1) KR20120129313A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190034525A (ko) * 2016-07-29 2019-04-02 소니 주식회사 화상 처리 장치 및 화상 처리 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20121073A1 (it) * 2012-12-13 2014-06-14 Rai Radiotelevisione Italiana Apparato e metodo per la generazione e la ricostruzione di un flusso video
KR20150055441A (ko) 2013-11-13 2015-05-21 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
EP3273686A1 (en) 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
CN107396082B (zh) * 2017-07-14 2020-04-21 歌尔股份有限公司 一种图像数据的处理方法和装置
CN111988597B (zh) * 2020-08-23 2022-06-14 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及可读存储介质
US20230298250A1 (en) * 2022-03-16 2023-09-21 Meta Platforms Technologies, Llc Stereoscopic features in virtual reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190034525A (ko) * 2016-07-29 2019-04-02 소니 주식회사 화상 처리 장치 및 화상 처리 방법

Also Published As

Publication number Publication date
US20120293504A1 (en) 2012-11-22

Similar Documents

Publication Publication Date Title
US11024092B2 (en) System and method for augmented reality content delivery in pre-captured environments
KR20120129313A (ko) 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법
CN107230236B (zh) 用于编码和解码光场图像文件的系统及方法
US6704042B2 (en) Video processing apparatus, control method therefor, and storage medium
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
RU2421933C2 (ru) Система и способ формирования и воспроизведения трехмерного видеоизображения
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
CN107396085A (zh) 一种全视点视频图像的处理方法及系统
You et al. Internet of Things (IoT) for seamless virtual reality space: Challenges and perspectives
KR20030037140A (ko) 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
WO2022074294A1 (en) Network-based spatial computing for extended reality (xr) applications
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
KR100748946B1 (ko) 입체영상의 처리방법
KR20180016461A (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
KR20150053774A (ko) 입체 이미지들을 생성, 전송 및 수신하기 위한 방법 및 관련된 디바이스들
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
KR20070010306A (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
US20210304494A1 (en) Image processing apparatus, 3d data generation apparatus, control program, and recording medium
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
KR20050083352A (ko) 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
KR101334129B1 (ko) 다각도 촬영단말을 이용한 3차원 이미지 획득 시스템 및 이미지 획득 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid