KR101676830B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101676830B1
KR101676830B1 KR1020100078802A KR20100078802A KR101676830B1 KR 101676830 B1 KR101676830 B1 KR 101676830B1 KR 1020100078802 A KR1020100078802 A KR 1020100078802A KR 20100078802 A KR20100078802 A KR 20100078802A KR 101676830 B1 KR101676830 B1 KR 101676830B1
Authority
KR
South Korea
Prior art keywords
image
point
color
depth
color image
Prior art date
Application number
KR1020100078802A
Other languages
English (en)
Other versions
KR20120016439A (ko
Inventor
이석
이재준
위호천
이승신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100078802A priority Critical patent/KR101676830B1/ko
Priority to US13/064,921 priority patent/US8781252B2/en
Publication of KR20120016439A publication Critical patent/KR20120016439A/ko
Application granted granted Critical
Publication of KR101676830B1 publication Critical patent/KR101676830B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 멀티 뷰 영상에 있어서, 기준 시점의 칼라 및/또는 깊이 영상을 대상 시점에 대응하도록 워핑한다. 그리고, 워핑된 기준 시점의 칼라 및/또는 깊이 영상을 상기 대상 시점의 칼라 및/또는 깊이 영상과 비교하여 가리움 영역을 추출한다. 상기 영상 처리 장치는 상기 추출된 가리움 영역 정보를 손실 없이 부호화하여, 멀티 뷰 영상의 데이터의 크기를 감소시킨다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
3D(3-Dimensional) 비디오 시스템에서 작은 데이터 양으로 다수의 시점 영상을 생성 가능하도록 영상정보를 효과적으로 저장하는 방법에 연관되며, 보다 특정하게는, 시점 간의 시점 차이에 따른 가리움(occlusion) 영역 정보를 획득하고 저장하는 영상 처리 장치 및 방법에 연관된다.
최근 3D (3 Dimensional) 영상에 대한 관심이 높아지고 있다. 3D 영상의 경우, 복수 개의 시점에 대응하여, 서로 다른 시점에 대응하는 영상들을 제공함으로써 구현되는데, 복수 개의 시점에 대응하는 멀티 뷰(multi view) 영상이나, 두 개의 시점에 대응하는 좌안(left eye) 및 우안(right eye) 영상들을 제공하는 스테레오스코픽(stereoscopic) 영상이 이에 해당한다.
특히 멀티 뷰 영상의 경우, 각 시점에 대응한 칼라 영상이 제공되어야 하나, 상기 각 시점의 칼라 영상 전체를 실제로 획득하여 부호화 하기 위해서는, 저장되고 전송되어야 하는 데이터 양이 매우 클 수 있다.
따라서, 스테레오스코픽 영상이나 상기 멀티 뷰 영상에 연관된 각 시점의 칼라 영상 중 일부에 대해서는 칼라 영상 및 깊이 영상을 실제로 획득하여 저장하고, 다른 일부에 대해서는 이렇게 실제로 획득하여 저장된 시점들의 영상을 이용하여 적절히 칼라 영상을 생성하는 경우 데이터 저장 및 전송 양을 크게 줄일 수 있다.
이 경우, 시점 간의 차이에 따라 발생하는 워핑(warping) 시 드러나는(dis-occluded) 가리움 영역(occlusion region) 정보를 적절히 획득하고 이를 저장하는 영상 처리 방법이 요구된다.
3D 영상 제공을 위해 저장되고 전송되는 데이터 양을 최소화하면서도 고화질의 가상 시점 영상을 생성하기 위한 영상 처리 장치 및 방법이 제공된다.
특히 멀티 뷰 영상에서 각 시점 영상에서 공통으로 나타나지 않고 시점 변화에 따라 나타나거나 사라지는 가리움 영역(occlusion region)정보를 효율적으로 획득하고 저장하기 위한 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면,
대상 시점에 대응하도록 워핑된 기준 시점의 칼라 영상과 상기 대상 시점의 칼라 영상의 차이를 이용하여, 상기 기준 시점의 칼라 영상의 가리움 영역을 추출하는 추출부, 상기 기준 시점의 칼라 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 역방향 워핑부, 및 상기 역방향 워핑된 상기 기준 시점의 칼라 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 처리부를 포함하는, 영상 처리 장치가 제공된다.
여기서, 상기 처리부는, 상기 가리움 영역 영상 내의 칼라 값이 존재하지 않는 픽셀에 대하여 상기 기준 시점의 칼라 영상의 대응 픽셀로부터 칼라 값을 복사할 수 있다.
또한, 상기 처리부는, 상기 가리움 영역 영상에 대하여, 홀 필링(hole filling)을 포함하는 후처리를 수행할 수 있다.
한편, 상기 영상 처리 장치는, 상기 기준 시점의 깊이 영상 및 상기 대상 시점의 깊이 영상 중 적어도 하나를 이용하여, 상기 기준 시점의 칼라 영상을 상기 대상 시점에 대응하도록 워핑하는 워핑부를 더 포함할 수 있다.
또한, 상기 영상 처리 장치는, 상기 가리움 영역 영상을 상기 기준 시점의 칼라 영상에 연관시켜서 부호화 하는 부호화부를 더 포함할 수도 있다.
본 발명의 다른 일측에 따르면, 대상 시점에 대응하도록 워핑된 기준 시점의 깊이 영상과 상기 대상 시점의 깊이 영상의 차이를 이용하여, 상기 기준 시점의 깊이 영상의 가리움 영역을 추출하는 추출부, 상기 기준 시점의 깊이 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 역방향 워핑부, 및 상기 역방향 워핑된 상기 기준 시점의 깊이 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 처리부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 또 다른 일측에 따르면, 대상 시점에 대응하도록 워핑된 기준 시점의 칼라 영상과 상기 대상 시점의 칼라 영상의 차이를 이용하여, 상기 기준 시점의 칼라 영상의 가리움 영역을 추출하는 단계, 상기 기준 시점의 칼라 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 단계, 및 상기 역방향 워핑된 상기 기준 시점의 칼라 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 단계를 포함하는, 영상 처리 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 대상 시점에 대응하도록 워핑된 기준 시점의 깊이 영상과 상기 대상 시점의 깊이 영상의 차이를 이용하여, 상기 기준 시점의 깊이 영상의 가리움 영역을 추출하는 단계, 상기 기준 시점의 깊이 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 단계, 및 상기 역방향 워핑된 상기 기준 시점의 깊이 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 단계를 포함하는, 영상 처리 방법이 제공된다.
3D 영상 제공을 위해 저장되고 전송되는 데이터 양을 최소화하면서도 고화질의 가상 시점 영상을 생성할 수 있다.
멀티 뷰 영상에서 각 시점 영상에서 공통으로 나타나지 않고 시점 변화에 따라 나타나거나 사라지는 가리움 영역(occlusion region)정보를 효율적으로 획득하고 저장할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 칼라 영상을 도시한다.
도 3은 본 발명의 일실시예에 따라 도 2의 기준 시점 칼라 영상을 대상 시점에 대응하도록 워핑하여 드러난 가리움 영역을 포함하는, 워핑된 칼라 영상을 도시한다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치가 도 3의 워핑된 칼라 영상으로부터 가리움 영역을 추출한 결과를 도시한다.
도 5는 본 발명의 일실시예에 따른 영상 처리 장치가 도 4의 가리움 영역을 도 2의 기준 시점 칼라 영상에 대응하도록 역방향 워핑한 결과 영상을 도시한다.
도 6은 본 발명의 일실시예에 따른 영상 처리 장치가 도 5의 역방향 워핑 결과 영상을 처리하여 사이드 오프셋 부분을 보존하고, 데이터 양을 줄이기 위해 처리한 결과 영상을 도시한다.
도 7은 본 발명의 일실시예에 따라 영상 처리 장치가 멀티 뷰 영상의 처리를 수행하는 과정을 설명하기 위한 개념도이다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법의 후처리 단계의 예시적인 세부 단계를 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한다.
영상 처리 장치(100)는 워핑부(110), 추출부(120), 역방향 워핑부(130), 처리부(140) 및 부호화부(150)를 포함할 수 있다.
워핑부(110)는 입력되는 기준 시점 영상을 입력 대상 시점 영상에 대응하도록 워핑한다. 워핑부(110)의 영상 워핑 과정은 도 2 내지 도 3을 참조하여 보다 상세히 후술한다.
추출부(120)는 워핑된 영상과 대상 시점의 영상 사이의 칼라 및/또는 깊이 값의 차이를 이용하여 가리움 영역을 추출한다. 가리움 영역은, 영상의 워핑 과정에서 드러나게 되는 칼라 값이 존재하지 않는 영역이다. 이러한 가리움 영역의 추출 과정 및 그 예시적인 결과는 도 4를 참조하여 보다 상세히 후술한다.
그러면, 역방향 워핑부(130)는 상기 추출된 가리움 영역을 다시 기준 시점 영상에 대응하도록 역방향 워핑한다. 역방향 워핑 과정 및 그 예시적인 결과는 도 5를 참조하여 보다 상세히 후술한다.
그리고 처리부(140)는 상기 역방향 워핑된 가리움 영역에 사이드 오프셋을 적용하고, 픽셀 값이 없는 부분은 기준 시점 영상으로부터 복사하고, 다양한 후처리를 수행하여 가리움 영역 영상을 생성한다.
본 발명의 일실시예에 따르면, 상기 처리부(140)는 가리움 영역 중 기준 시점 영상의 위치 밖에 존재하는 가리움 영역의 정보가 소실되지 않도록, 적절한 방향으로 사이드 오프셋(side offset)을 적용한다. 이러한 사이드 오프셋의 적용은 이를테면 좌표 이동에 의한 것일 수 있다.
그리고 처리부(140)는 가리움 영역 이외의 픽셀 값이 존재하지 않는 영역에, 원래의 기준 시점의 영상으로부터 픽셀 값을 복사한다. 또한, 상기 과정에도 불구하고 영상의 노이즈(noise)나 기타 처리 오류로 인하여 발생되는 홀(hole)에 대해서는, 처리부(140)가 단계(930)에서 홀 필링(hole filling)이나 다양한 필터링을 포함하는 후처리(post processing)를 수행하여 가리움 영역 영상을 생성하고 보정한다.
처리부(140)의 동작에 대해서는 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.
그러면, 부호화부(150)는 기준 시점 영상과 함께 상기 생성된 가리움 영역 영상을 부호화 한다. 이 과정에서 가리움 영역 영상은 상기 기준 시점 영상과 연관되어 부호화 될 수 있으며, 부호화 과정은 도 6 내지 도 7을 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 칼라 영상을 도시한다.
영상 처리 장치(100)에 입력되는 대상 시점의 칼라 영상(210)과 기준 시점의 칼라 영상(220)은 스테레오스코픽(stereoscopic) 또는 멀티 뷰(multi view) 영상을 구성하는 서로 다른 시점에 대응한다.
이를 테면, 스테레오스코픽 영상에 있어서 대상 시점의 칼라 영상(210)은 좌안 영상(left eye image)에 대응하고, 기준 시점의 칼라 영상(220)은 우안 영상(right eye image)에 대응할 수 있다. 멀티 뷰 영상에 있어서는 대상 시점의 칼라 영상(210)은 기준 시점의 칼라 영상(220)보다 왼쪽에 위치하는 시점일 수 있다.
대상 시점의 칼라 영상(210)에는 전경 영역(211)과 배경 영역(212)가 포함되며, 이는 각각 기준 시점의 칼라 영상(220) 내의 전경 영역(221)과 배경 영역(222)에 대응한다.
배경 영역(212 및 222)은 각각 대상 시점이나 기준 시점과의 거리가 상대적으로 멀기 때문에 시점 간의 디스패러티(disparity)가 작으며, 전경 영역(211 및 221)은 각각 대상 시점이나 기준 시점과의 거리가 상대적으로 가깝기 때문에 시점 간의 디스패러티가 크다.
본 발명의 일실시예에 따르면, 스테레오그코픽 또는 멀티 뷰 방식의 3D 영상(image) 또는 비디오(video)에 있어서, 대상 시점의 칼라 영상(210)과 기준 시점의 칼라 영상(220) 사이의 가리움 영역 정보(occlusion region information)을 추출하여, 기준 시점의 칼라 영상(220)과 함께 부호화 함으로써, 대상 시점의 칼라 영상(210)은 부호화 하지 않을 수 있어서, 저장되거나 전송되어야 하는 데이터의 크기가 감소될 수 있다.
이러한 방식으로 부호화가 이루어지면, 기준 시점의 칼라 영상(220) 및 함께 부호화 되는 가리움 영역 정보를 이용하여, 대상 시점의 칼라 영상(210)을 렌더링 할 수 있다. 또한, 상기 대상 시점과 기준 시점 사이에 위치하는 임의의 가상 시점에 대응하는 칼라 영상도 렌더링 할 수 있어서, 멀티 뷰 영상의 구현이 용이해진다.
한편, 기준 시점의 칼라 영상과 함께 부호화 되는 상기 가리움 영역 정보는 가리움 영역 영상(occlusion region image)로 가공되어 처리되므로, 이하에서 사용되는 가리움 영역 영상은 상기 가리움 영역 정보로 이해될 수 있다.
나아가, 3D 영상이나 비디오의 구현을 위해 함께 처리되는 각 시점의 깊이 영상(depth) 또한, 상기 칼라 영상의 처리와 동일한 방식으로 처리될 수 있으므로, 이하에서는 별다른 언급이 없더라도 각 시점의 칼라 영상에 대한 영상 처리 방법은 상기 각 시점의 깊이 영상에 대한 영상 처리에 동일하게 적용될 수 있다.
영상 처리 장치(100)의 워핑부(110)는 기준 시점의 칼라 영상(220)을 대상 시점, 즉 대상 시점의 칼라 영상(210)에 대응하는 시점에 맞추어 워핑할 수 있다.
상기 워핑(warping)은 기준 시점의 칼라 영상(220) 내의 각 영역(221 및 222 등)의 깊이 정보를 고려하여, 시점 간 디스패러티를 반영한 시프팅(shifting) 따위의 변형을 가하는 일련의 영상 처리이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게는 명확히 이해될 수 있는 영상 처리 기법이다. 참고로, 상기 워핑에는 시프팅 외에도 다양한 영상 처리 기법이 포함될 수 있으나, 이하에서는 설명의 편의를 위해 좌 또는 우 방향의 시프팅만을 예로 들어 설명한다.
또한, 워핑부(110)는 상기 기준 시점의 깊이 영상(도시 되지 않음)과 상기 대상 시점의 깊이 영상(도시 되지 않음)을 이용하여, 특징 점 비교 등의 방법에 의해 기준 시점의 칼라 영상(220)을 대상 시점에 대응하도록 워핑할 수도 있다.
이렇게 워핑부(110)가 상기 기준 시점의 칼라 영상(220)을 상기 대상 시점에 대응하도록 워핑한 결과가 도 3에서 도시된다.
도 3은 본 발명의 일실시예에 따라 도 2의 기준 시점 칼라 영상을 대상 시점에 대응하도록 워핑하여 드러난 가리움 영역을 포함하는, 워핑된 칼라 영상을 도시한다.
워핑된 칼라 영상(300)에서 전경 영역(310)은 도 2의 기준 시점의 칼라 영상(220) 내의 전경 영역(221)이 대상 시점에 맞도록 시프팅 된 위치에 있다. 그리고, 배경 영역(320) 또한 기준 시점의 칼라 영상(220) 내의 배경 영역(222)이 대상 시점에 맞도록 시프팅 된 위치에 있다. 전경 영역(221)과 배경 영역(222)의 시프팅은 상기 기준 시점과의 거리, 즉 깊이 정보를 고려한 디스패러티를 반영한다.
워핑된 칼라 영상(300)에서는 기준 시점의 칼라 영상(220)에서는 드러나지 않았던 가리움 영역(331 및 332)이 드러났다(dis-occluded). 이러한 가리움 영역(331 및 332)은 전경 영역(221)에 가려져 있던(occluded) 배경 영역(222) 부분이 상기 워핑 과정에서 드러난 부분으로서, 칼라 정보가 존재하지 않는 부분이다.
본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 추출부(120)가 이러한 가리움 영역(331 및 332)에 대응하는 부분의 칼라 값을 도 2의 대상 시점의 칼라 영상(210)으로부터 추출한다.
본 발명의 일실시예에 따르면, 추출부(120)는 대상 시점의 칼라 영상(210)의 각 픽셀 위치에 대해 기준 시점과 대상 시점의 깊이 정보를 이용하여 시점 간의 대응위치를 계산하고 이 차이가 일정한 임계치(threshold) 이하이면 가리움 영역이 아닌 것으로 판단할 수 있다.
혹은 추출부(120)는 대상 시점의 칼라 영상(210)의 각 픽셀 값에서 상기 워핑된 칼라 영상(300)의 대응 픽셀 값들을 빼서, 상기 가리움 영역(331 및 332)의 칼라 정보를 추출할 수 있다.
가리움 영역(331 및 332) 외의 부분은 워핑된 칼라 영상(300)의 픽셀 값이 대상 시점의 칼라 영상(210)의 픽셀 값과 거의 일치하기 때문에, 상기 픽셀 값의 차이를 구하면 0에 가깝다. 이 경우, 추출부(120)는 픽셀 값의 차이가 일정한 임계치(threshold) 이하이면 가리움 영역이 아닌 것으로 판단할 수도 있다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치가 도 3의 워핑된 칼라 영상으로부터 가리움 영역을 추출한 결과(400)를 도시한다.
이제 픽셀 값이 존재하는 가리움 영역(410 및 420)은 각각 도 3에서 드러난 가리움 영역(331 및 332)에 대응한다.
본 발명의 일부 실시예에서는 이렇게 추출된 결과(400)을 기준 시점의 칼라 영상(220)과 함께 부호화 할 수도 있으나, 본 발명의 다른 일부 실시예에서는 영상 처리 장치(100)의 역방향 워핑부(130)가 추출된 결과(400)를 다시 기준 시점에 맞도록 역방향 워핑(backward warping) 한다.
상기 역방향 워핑은 상기 결과(400)에 포함된 가리움 영역(410 및 420)을 상기 워핑부(110)의 워핑의 역과정을 통해 다시 기준 시점에 맞도록 시프팅 하는 등의 처리이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 장치가 도 4의 가리움 영역을 도 2의 기준 시점 칼라 영상에 대응하도록 역방향 워핑한 결과 영상(500)을 도시한다.
역방향 워핑된 가리움 영역(510 및 520)은 각각 도 4의 가리움 영역(410 및 420)에 대응한다.
그런데, 역방향 워핑 과정에서 가리움 영역(410 및 420)이 왼쪽으로 시프팅 되면서, 가리움 영역(420)은 영상의 테두리를 밖에 위치한다. 이 경우 가리움 영역(420)의 정보는 소실될 수 있으므로, 본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 처리부(140)가 왼쪽에 사이드 오프셋(side offset)을 적용하여 이러한 가리움 영역(420)을 보존한다. 이 경우의 사이드 오프셋 적용은, 이를테면 좌표 이동에 의한 것일 수 있다.
그리고, 본 발명의 일실시예에 따르면, 사이드 오프셋이 적용된 후에 가리움 영역을 부호화 하기 전에 처리부(140)가 칼라 값이 존재하지 않는 부분에는 원래의 기준 시점의 칼라 영상(220)으로부터 칼라 값을 복사한다.
그러면 가리움 영역(410 및 420)의 가장자리(edge) 부분의 주파수(frequency)가 줄어들어서 부호화된 데이터 양이 커지는 것이 방지되고, 기준 시점의 칼라 영상(220)의 부호화 과정을 이용할 수 있어서 저장되고 전송되어야 하는 부호화된 가리움 영역 정보의 데이터 크기가 감소된다.
도 6은 본 발명의 일실시예에 따른 영상 처리 장치가 도 5의 역방향 워핑 결과 영상을 처리하여 사이드 오프셋 부분을 보존하고, 데이터 양을 줄이기 위해 처리한 결과인 가리움 영역 영상(600)을 도시한다.
가리움 영역(610 및 620)은 도 5의 가리움 영역(510 및 520)에 처리부(140)가 사이드 오프셋을 적용한 결과이고, 그 외의 영역의 칼라 값들은 기준 시점의 칼라 영상(220)으로부터 복사한 것이다.
전경 영역(630) 및 배경 영역(640)의 칼라 값들이 각각 도 2의 기준 시점의 칼라 영상 내의 전경 영역(221) 및 배경 영역(222)의 칼라 값들로부터 채워졌다.
본 발명의 일실시예에 따르면, 처리부는 상기 과정에도 불구하고 영상의 노이즈나 기타 처리 오류로 인하여 발생되는 홀(hole)에 대해서는 홀 필링(hole filling)이나 다양한 필터링을 포함하는 후처리(post processing)를 수행하여 가리움 영역 영상(600)을 보정할 수도 있다.
그러면, 영상 처리 장치(100)의 부호화부(150)는 MVD (multiview plus depth) 포맷 등으로 기준 시점의 칼라 영상(220) 및 그에 대응하는 기준 시점의 깊이 영상(도시 되지 않음)을 부호화 함에 있어서, 상기 가리움 영역 영상(600)을 함께 연관시켜 부호화 할 수 있다.
따라서, 대상 영역의 칼라 영상(210) 및 대상 영역의 깊이 영상(도시 되지 않음)은 별도로 부호화 하지 않더라도 기준 시점에 대해 부호화 된 데이터를 이용하여 대상 시점의 칼라 영상을 렌더링 할 수 있게 된다.
도 7은 본 발명의 일실시예에 따라 영상 처리 장치가 멀티 뷰 영상의 처리를 수행하는 과정을 설명하기 위한 개념도이다.
본 실시예는, 7 개의 시점에 대해 제공되는 멀티 뷰 영상 또는 비디오에 대응한다. 영상 처리 장치(100)는 제1 기준 시점(710)에 대해, 제1 대상 시점(711)과의 시점 차이에 따른 가리움 영역 정보를 상기 도 2 내지 도 6을 참조하여 상술한 영상 처리 방법에 의해 추출하고 부호화 한다.
그러면, 제1 대상 시점(711)에 대응하는 칼라 영상이나 깊이 영상은 별도로 저장되거나 전송되지 않고, 부호화된 제1 기준 시점(710)의 칼라 영상, 깊이 영상 및 가리움 영역 영상을 이용하여 렌더링 할 수 있다.
그리고, 제1 기준 시점(710)과 제1 대상 시점(711) 사이의 임의의 가상 시점(731)에 대해서도 동일하게 렌더링 할 수 있다.
마찬가지로, 제2 기준 시점(720)과 제2 대상 시점(721) 사이에서도 동일한 방법을 적용하면, 실제 부호화 되는 데이터는 제2 기준 시점(720)에 대응하는 칼라 영상과 깊이 영상, 및 가리움 영역 영상이지만, 제2 대상 시점(721)의 칼라 영상도 렌더링 될 수 있다.
또한, 제2 기준 시점(720)과 제2 대상 시점(721) 사이의 임의의 가상 시점(732)에 대한 영상도 렌더링 될 수 있다.
한편, 제1 기준 시점(710)과 제2 기준 시점(720) 사이의 가상 시점(733)의 영상은 종래의 방법에 따른 칼라 보간(color interpolation)을 이용하여 렌더링 될 수 있다.
결과적으로, 도 7의 7 개의 시점의 각각에 제공되는 7-view 영상 또는 비디오를 저장하고 전송하기 위해서 부호화 되는 데이터는, 3번째 시점인 제1 기준 시점(710)과 5번째 시점인 제2 기준 시점(720)의 각각에 대응하는 칼라 영상, 깊이 영상 및 가리움 영역 영상의 데이터이다.
따라서, 부호화 되는 데이터의 양이 크게 감소하며, 영상 처리 및 영상 전송의 오버헤드가 크게 감소된다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
단계(810)에서는 영상 처리 장치(100)의 워핑부(110)가 기준 시점 영상을 대상 시점 영상에 대응하도록 워핑한다.
이러한 기준 시점 영상의 워핑은 도 2 내지 도 3을 참조하여 상술한 바와 같다.
그러면, 단계(820)에서 추출부(120)가 워핑된 영상과 대상 시점의 영상 사이의 칼라 및/또는 깊이 값의 차이를 이용하여 가리움 영역을 추출한다.
이러한 가리움 영역의 추출 과정 및 그 예시적인 결과는 도 4를 참조하여 상술한 바와 같다.
그리고 단계(830)에서, 역방향 워핑부(130)가 상기 추출된 가리움 영역을 다시 기준 시점 영상에 대응하도록 역방향 워핑한다. 역방향 워핑 과정 및 그 예시적인 결과는 도 5를 참조하여 상술한 바와 같다.
그러면, 단계(840)에서 처리부(140)가 역방향 워핑된 가리움 영역에 사이드 오프셋을 적용하고, 픽셀 값이 없는 부분은 기준 시점 영상으로부터 복사하고, 다양한 후처리를 수행하여 가리움 영역 영상을 생성한다.
단계(840)의 과정은 도 9를 참조하여 보다 상세히 후술한다.
그리고 단계(850)에서는, 부호화부(150)가 기준 시점 영상과 함께 상기 생성된 가리움 영역 영상을 부호화 한다.
부호화 과정은 도 6 내지 도 7을 참조하여 상술한 바와 같다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법의 후처리 단계(840)의 예시적인 세부 단계를 도시한다.
단계(910)에서는, 영상 처리 장치(100)의 처리부(140)가 가리움 영역 중 기준 시점 영상의 위치 밖에 존재하는 가리움 영역의 정보가 소실되지 않도록, 적절한 방향으로 사이드 오프셋(side offset)을 적용한다. 이러한 사이드 오프셋의 적용은 이를테면 좌표 이동에 의한 것일 수 있다.
그리고 단계(920)에서는, 처리부(140)가 가리움 영역 이외의 픽셀 값이 존재하지 않는 영역에, 원래의 기준 시점의 영상으로부터 픽셀 값을 복사한다.
상기 과정에도 불구하고 영상의 노이즈나 기타 처리 오류로 인하여 발생되는 홀(hole)에 대해서는, 처리부(140)가 단계(930)에서 홀 필링(hole filling)이나 다양한 필터링을 포함하는 후처리(post processing)를 수행하여 가리움 영역 영상을 생성하고 보정한다.
처리부(140)의 동작에 대해서는 도 5 내지 도 6을 참조하여 보다 상술한 바와 같다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 워핑부
120: 추출부
130: 역방향 워핑부
140: 처리부
150: 부호화부

Claims (17)

  1. 대상 시점에 대응하도록 워핑된 기준 시점의 칼라 영상과 상기 대상 시점의 칼라 영상의 차이를 이용하여, 상기 기준 시점의 칼라 영상의 가리움 영역을 추출하는 추출부;
    상기 기준 시점의 칼라 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 역방향 워핑부;
    상기 역방향 워핑된 상기 기준 시점의 칼라 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 처리부; 및
    상기 가리움 영역 영상을 상기 기준 시점의 칼라 영상에 연관시켜서 부호화하는 부호화부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 처리부는, 상기 가리움 영역 영상 내의 칼라 값이 존재하지 않는 픽셀에 대하여 상기 기준 시점의 칼라 영상의 대응 픽셀로부터 칼라 값을 복사하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 처리부는, 상기 가리움 영역 영상에 대하여, 홀 필링(hole filling)을 포함하는 후처리를 수행하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 기준 시점의 깊이 영상 및 상기 대상 시점의 깊이 영상 중 적어도 하나를 이용하여, 상기 기준 시점의 칼라 영상을 상기 대상 시점에 대응하도록 워핑하는 워핑부
    를 더 포함하는, 영상 처리 장치.
  5. 삭제
  6. 대상 시점에 대응하도록 워핑된 기준 시점의 깊이 영상과 상기 대상 시점의 깊이 영상의 차이를 이용하여, 상기 기준 시점의 깊이 영상의 가리움 영역을 추출하는 추출부;
    상기 기준 시점의 깊이 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 역방향 워핑부;
    상기 역방향 워핑된 상기 기준 시점의 깊이 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 처리부; 및
    상기 가리움 영역 영상을 상기 기준 시점의 깊이 영상에 연관시켜서 부호화하는 부호화부
    를 포함하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 처리부는, 상기 가리움 영역 영상 내의 깊이 값이 존재하지 않는 픽셀에 대하여 상기 기준 시점의 깊이 영상의 대응 픽셀로부터 깊이 값을 복사하는, 영상 처리 장치.
  8. 삭제
  9. 대상 시점에 대응하도록 워핑된 기준 시점의 칼라 영상과 상기 대상 시점의 칼라 영상의 차이를 이용하여, 상기 기준 시점의 칼라 영상의 가리움 영역을 추출하는 단계;
    상기 기준 시점의 칼라 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 단계;
    상기 역방향 워핑된 상기 기준 시점의 칼라 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 단계; 및
    상기 가리움 영역 영상을 상기 기준 시점의 칼라 영상에 연관시켜서 부호화하는 단계
    를 포함하는, 영상 처리 방법.
  10. 제9항에 있어서,
    상기 가리움 영역 영상을 생성하는 단계는,
    상기 역방향 워핑된 상기 기준 시점의 칼라 영상의 가리움 영역에 사이드 오프셋을 적용하는 단계; 및
    상기 가리움 영역 영상 내의 칼라 값이 존재하지 않는 픽셀에 대하여 상기 기준 시점의 칼라 영상의 대응 픽셀로부터 칼라 값을 복사하는 단계
    를 포함하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 가리움 영역 영상을 생성하는 단계는,
    상기 가리움 영역 영상에 대하여, 홀 필링(hole filling)을 포함하는 후처리를 수행하는 단계
    를 더 포함하는, 영상 처리 방법.
  12. 제9항에 있어서,
    상기 추출하는 단계에 앞서서, 상기 기준 시점의 깊이 영상 및 상기 대상 시점의 깊이 영상 중 적어도 하나를 이용하여, 상기 기준 시점의 칼라 영상을 상기 대상 시점에 대응하도록 워핑하는 단계
    를 더 포함하는, 영상 처리 방법.
  13. 삭제
  14. 대상 시점에 대응하도록 워핑된 기준 시점의 깊이 영상과 상기 대상 시점의 깊이 영상의 차이를 이용하여, 상기 기준 시점의 깊이 영상의 가리움 영역을 추출하는 단계;
    상기 기준 시점의 깊이 영상의 가리움 영역을 상기 기준 시점에 대응하도록 역방향 워핑하는 단계;
    상기 역방향 워핑된 상기 기준 시점의 깊이 영상의 가리움 영역에 사이드 오프셋을 주어 저장될 가리움 영역 영상을 생성하는 단계; 및
    상기 가리움 영역 영상을 상기 기준 시점의 깊이 영상에 연관시켜서 부호화하는 단계
    를 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 가리움 영역 영상을 생성하는 단계는,
    상기 역방향 워핑된 상기 기준 시점의 깊이 영상의 가리움 영역에 사이드 오프셋을 적용하는 단계; 및
    상기 가리움 영역 영상 내의 깊이 값이 존재하지 않는 픽셀에 대하여 상기 기준 시점의 깊이 영상의 대응 픽셀로부터 깊이 값을 복사하는 단계
    를 포함하는, 영상 처리 방법.
  16. 삭제
  17. 제9항 내지 제12항, 제14항 및 제15항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100078802A 2010-08-16 2010-08-16 영상 처리 장치 및 방법 KR101676830B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100078802A KR101676830B1 (ko) 2010-08-16 2010-08-16 영상 처리 장치 및 방법
US13/064,921 US8781252B2 (en) 2010-08-16 2011-04-26 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078802A KR101676830B1 (ko) 2010-08-16 2010-08-16 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120016439A KR20120016439A (ko) 2012-02-24
KR101676830B1 true KR101676830B1 (ko) 2016-11-17

Family

ID=45564866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078802A KR101676830B1 (ko) 2010-08-16 2010-08-16 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US8781252B2 (ko)
KR (1) KR101676830B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012114975A1 (ja) * 2011-02-24 2012-08-30 ソニー株式会社 画像処理装置および画像処理方法
KR101373603B1 (ko) * 2012-05-04 2014-03-12 전자부품연구원 홀 발생 억제를 위한 3ｄ­워핑 방법 및 이를 적용한 영상 처리 장치
ITTO20120413A1 (it) * 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
US9135742B2 (en) 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
US9214138B2 (en) * 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
KR101983369B1 (ko) * 2013-01-11 2019-05-28 엘지디스플레이 주식회사 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR102039741B1 (ko) 2013-02-15 2019-11-01 한국전자통신연구원 영상 워핑을 위한 장치 및 방법
JP2015019326A (ja) * 2013-07-12 2015-01-29 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
US20160165246A1 (en) * 2013-07-17 2016-06-09 Sony Corporation Image processing device and method
KR102156402B1 (ko) 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
JP6365153B2 (ja) * 2014-09-10 2018-08-01 株式会社ソシオネクスト 画像符号化方法および画像符号化装置
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
CN105760868B (zh) * 2016-02-03 2019-04-30 Oppo广东移动通信有限公司 调整图像中的目标物色倾向的方法、装置及移动终端
CN107040787B (zh) * 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法
CN111225217B (zh) * 2019-12-16 2022-05-10 功智域控科技(苏州)有限公司 一种基于虚拟视点绘制的3d-hevc错误隐藏方法
US11989854B2 (en) * 2021-06-23 2024-05-21 Apple Inc. Point-of-view image warp systems and methods

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2134625T3 (es) * 1995-06-16 1999-10-01 Princeton Video Image Inc Sistema y metodo para introducir inserciones, en tiempo real, en video, utilizando oclusion adaptativa con una imagen de referencia sintetica.
JP2000322576A (ja) 1999-05-11 2000-11-24 Toshiba Corp ３次元画像データ作成方法および３次元画像データを用いた任意視点画像作成方法
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
KR100672925B1 (ko) 2004-04-20 2007-01-24 주식회사 후후 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
JP2008217243A (ja) 2007-03-01 2008-09-18 Mitsubishi Electric Corp 画像生成装置
GB0708676D0 (en) * 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
JP4828506B2 (ja) 2007-11-05 2011-11-30 日本電信電話株式会社 仮想視点画像生成装置、プログラムおよび記録媒体
KR100902353B1 (ko) 2007-11-16 2009-06-12 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR101066550B1 (ko) 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
RU2503062C2 (ru) * 2008-08-26 2013-12-27 Конинклейке Филипс Электроникс Н.В. Способ и система для кодирования сигнала трехмерного видео, кодер для кодирования сигнала трехмерного видео, кодированный сигнал трехмерного видео, способ и система для декодирования сигнала трехмерного видео, декодер для декодирования сигнала трехмерного видео
TWI542190B (zh) * 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
WO2010058368A1 (en) * 2008-11-24 2010-05-27 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
KR101086274B1 (ko) * 2008-12-05 2011-11-24 한국전자통신연구원 깊이정보 추출 장치 및 추출 방법

Also Published As

Publication number Publication date
KR20120016439A (ko) 2012-02-24
US8781252B2 (en) 2014-07-15
US20120039528A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
KR101676830B1 (ko) 영상 처리 장치 및 방법
US9225967B2 (en) Multi-view image processing apparatus, method and computer-readable medium
KR102224716B1 (ko) 스테레오 소스 영상 보정 방법 및 장치
US9159154B2 (en) Image processing method and apparatus for generating disparity value
KR101636539B1 (ko) 입체영상 압축 처리 방법 및 장치
KR102380862B1 (ko) 영상 처리 방법 및 장치
US20160065931A1 (en) Method and Apparatus for Computing a Synthesized Picture
US8666143B2 (en) Image processing apparatus and method
KR20120137205A (ko) 영상 처리를 위한 방법 및 장치
US10049422B2 (en) Template-based watermarking method for depth-image-based rendering based 3D image and apparatus thereof
JP3891578B2 (ja) 映像ブロック分割方法及びその装置
de Oliveira et al. An artifact-type aware DIBR method for view synthesis
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
US20120188234A1 (en) Image processing apparatus and method
TW201528775A (zh) 景深圖校正方法及系統
KR101187530B1 (ko) 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
CN110062219B (zh) 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image
KR101993962B1 (ko) 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법
KR20120059955A (ko) 중간 시점 영상 생성 장치 및 방법
Du et al. A Hole-Filling Framework Based on DIBR and Improved Criminisi's Inpainting Algorithm for 3D Videos
Schmeing et al. A background modeling-based faithful approach to the disocclusion problem in depth image-based rendering
KR20120014992A (ko) 영상 처리 장치 및 방법
EP3110156B1 (en) A system and a method for disoccluded region coding in a multiview video data stream
Li et al. Multiview‐coherent disocclusion synthesis using connected regions optimization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4