KR101373718B1 - 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치 - Google Patents

Abstract

본 발명은 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치를 개시하고 있다. 상기 스테레오 매칭 장치는 입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치에 있어서, 상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부; 상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부; 및 상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부를 포함한다.

Description

3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치{STEREO MATCHING APPARATUS AND METHOD FOR DEPTH ESTIMATION FOR THREE DIMENSIONAL IMAGE, AND THREE DIMENSIONAL IMAGE TRANSMISSION APPARATUS AND RENDERING APPARATUS THROUGH SAID STEREO MATCHING}

본 발명은 깊이 추정을 위한 매칭 장치 및 방법, 및 전송 및 재생 장치에 관한 것으로, 보다 상세하게는, 3차원 영상의 깊이 추정시 복잡도를 개선하기 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치에 관한 것이다.

깊이 추정(Depth Estimation) 기술은 최근 주목 받고 있는 자유 시점 티비(FTV: Free-Viewpoint TV) 시스템의 핵심 기술이다. 이는 추정된 깊이 맵의 정확도가 렌더링된 가상 시점 영상의 품질에 직접적인 영향을 미치기 때문이다. 깊이 맵의 정확도는 매우 중요한데 이는 깊이 맵 상의 디스패러티 에러(Disparity Error)는 컬러 샘플의 잘못된 이동(Wrong Shift)를 야기시키기 때문이다. 이러한 깊이 맵의 정확도를 위해서는 모든 픽셀에 대해 좌우 영상에서의 매칭 포인트를 찾아 디스패러티 값을 추정하는 것이 중요한데, 이를 스테레오 매칭이라고 한다. 좌영상, 우영상 뿐만 아니라 가운데 영상을 포함하는 3차원 영상에 대한 스테레오 매칭은 가운데 영상에서의 모든 픽셀에 대해 좌/우 영상에서의 매칭 포인트를 찾아내서 디스패러티 값을 추정한다. 추정된 디스패러티 값을 통해 깊이 맵을 획득할 수 있다.

최근, MPEG(Moving Picture Expert Group)의 3차원 비디오 코딩 서브 그룹에서는 이러한 중요성을 인식하고, 그래프 컷(Graph-cut) 알고리즘 기반의 깊이 맵 추정 레퍼런스 소프트웨어(DERS: Depth Estimation Reference Software)를 배포하였다. 해당 소프트웨어에서는 3가지의 매칭 모드(pixel matching, 3x3 block matching, a weighted block matching)를 지원한다.

일반적으로 블록 매칭이 픽셀 매칭보다 좀 더 높은 정확도를 가지지만, 매칭 과정에 있어서 상대적으로 높은 복잡도를 가진다. 두 매칭 모드 간의 관계성 즉, 정확도(Accuracy)와 복잡도(Complexity) 간의 균형(trade-off)을 이루어 매칭 시 정확도는 유지하되 복잡도는 낮추는 하이브리드한 형태의 매칭 모드에 대한 연구는 아직 이루어지지 않았다. 또한, 종래의 매칭 방법들은 정적인 배경보다 동적인 객체 부분에 좀 더 민감하게 반응하는 사람의 인지적 특성들을 반영하지 못하였다.

상기한 문제점을 해결하기 위한 본 발명의 목적은 낮은 복잡도(Complexity)로 정확한 깊이 맵을 추정하기 위한 하이브리드 매칭을 기반으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스트레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 스테레오 매칭 장치는 입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치에 있어서, 상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부; 상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부; 및 상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부를 포함할 수 있다.

상기 매칭 모드 결정부는 객체의 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 객체의 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스트레오 매칭을 수행하도록 결정할 수 있다.

상기 현재 프레임이 최초 프레임인 경우, 블록 기반 매칭 모드로 픽셀에 대한 매칭을 수행할 수 있다.

상기 모션 맵 생성부는 현재 프레임과 이전 프레임 간의 16×16 단위 MAD 값을 임계값(threshold)과 비교하여 임계값보다 클 경우는 제 1 크기의 밝기 값으로, 임계값보다 작은 경우는 제 2 크기의 밝기 값으로 설정하여 상기 모션 맵을 생성할 수 있다.

상기 매칭 모드 결정부는 현재 프레임의 각각의 픽셀의 밝기 값을 모니터링하여 밝기 값이 상기 제 1 크기인 경우는 블록 기반 매칭 모드로, 상기 제 2 크기인 경우는 픽셀 기반의 매칭 모드로 결정할 수 있다.

상기 매칭 수행부는 블록 기반 매칭을 수행하는 블록 기반 매칭 수행부; 및 픽셀 기반 매칭을 수행하는 픽셀 기반 매칭 수행부를 포함할 수 있다.

상기 픽셀 기반 매칭 수행부는 좌영상과 우영상에서의 대응되는 픽셀의 밝기 값을 비교하여 매칭 에러를 계산하고, 상기 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패리티 맵을 생성할 수 있다.

상기 픽셀 기반 매칭 수행부는 상기 3차원 영상이 좌영상, 우영상 및 가운데 영상의 3개의 영상으로 구성되어 있을 경우, 좌영상과 가운데 영상의 대응되는 픽셀의 밝기 값의 차이 및 우영상과 가운데 영상의 대응되는 픽셀의 밝기 값의 차이를 비교하여 더 작은 값을 갖는 차이 값을 매칭 에러로 계산할 수 있다.

상기 블록 기반 매칭 수행부는 좌영상과 우영상의 대응되는 3×3 블록의 가운데 픽셀의 밝기 값 차이 및 색차 신호 차이, 주변 픽셀 - 주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함 - 의 밝기 값(Y) 차이를 기반으로 매칭 에러를 계산하되, 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 매칭 에러를 계산하고, 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성할 수 있다.

상기 블록 기반 매칭 수행부는 상기 3차원 영상이 좌영상, 우영상 및 가운데 영상의 3개의 영상으로 구성되어 있을 경우, 가운데 영상을 기준으로 좌영상 또는 우영상의 대응되는 가운데 픽셀에 대해 밝기 값(Y) 차이 및 색차 신호(U,V) 차이, 주변 픽셀의 밝기 값(Y) 차이를 계산하여 매칭 에러를 계산하되, 밝기 값(Y)과 색차 신호(U,V)에 대해서 Y:U:V = 2:1:1의 가중치를 부여하고, 가운데 픽셀과 주변 픽셀의 밝기 값의 차이에 대해서는 2:1의 공간적 가중치를 부여함으로써, 가운데 영상과 좌영상에 대한 제 1 에러 및 가운데 영상과 우영상에 대한 제 2 에러를 계산하고, 상기 제 1 및 제 2 매칭 에러중 작은 값을 갖는 매칭 에러를 최종 매칭 에러로 계산할 수 있다.

상기 스테레오 매칭 장치는 상기 초기 디스패리티 맵을 기반으로 디스패리티 값을 깊이 값으로 변환하여 깊이 맵을 생성하는 깊이 맵 생성부를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 스테레오 매칭 방법은 입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법에 있어서, 상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성 단계; 상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정 단계; 및 상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행 단계를 포함할 수 있다.

상기 매칭 모드 결정 단계는 객체의 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 객체의 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스트레오 매칭을 수행하도록 결정하는 단계를 포함할 수 있다.

상기 현재 프레임이 최초 프레임인 경우, 블록 기반 매칭 모드로 픽셀에 대한 매칭을 수행할 수 있다.

상기 모션 맵 생성 단계는 현재 프레임과 이전 프레임 간의 16×16 단위 MAD 값을 임계값(threshold)과 비교하여 임계값보다 클 경우는 제 1 크기의 밝기 값으로, 임계값보다 작은 경우는 제 2 크기의 밝기 값으로 설정하여 상기 모션 맵을 생성하는 단계를 포함할 수 있다.

상기 매칭 수행 단계는 블록 기반 매칭을 수행하는 블록 기반 매칭 수행 단계; 및 픽셀 기반 매칭을 수행하는 픽셀 기반 매칭 수행 단계를 포함할 수 있다.

상기 픽셀 기반 매칭 수행 단계는 좌영상과 우영상에서의 대응되는 픽셀의 밝기 값을 비교하여 매칭 에러를 계산하고, 상기 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패리티 맵을 생성하는 단계를 포함할 수 있다.

상기 블록 기반 매칭 수행 단계는 좌영상과 우영상의 대응되는 3×3 블록의 가운데 픽셀의 밝기 값 차이 및 색차 신호 차이, 주변 픽셀 - 주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함 - 의 밝기 값(Y) 차이를 기반으로 매칭 에러를 계산하되, 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 매칭 에러를 계산하고, 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 3차원 영상 스트림 전송 장치는 입력되는 3차원 영상에 대한 스테레오 매칭 장치을 통한 3차원 영상 스트림 전송 장치에 있어서, 상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부; 상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부; 상기 결정된 매칭 모드에 따라 현재 프레임에 대한 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부; 상기 초기 디스패리티 맵을 기반으로 깊이 맵을 생성하는 깊이 맵 생성부; 상기 생성된 깊이 맵을 기반으로 압축 부호화를 수행하는 부호화부; 및 상기 부호화된 3차원 영상 스트림을 수신측으로 전송하는 전송부를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 재생 장치는 수신되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭을 통한 재생 장치에 있어서, 상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 을 복호화하는 복호화부; 상기 디코딩된 3차원 영상의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부; 상기 모션 맵을 기반으로 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스테레오 매칭을 하도록 결정하는 매칭 모드 결정부; 상기 결정된 매칭 모드에 따라 현재 프레임에 대한 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부; 상기 초기 디스패리티 맵을 기반으로 깊이 맵을 생성하는 깊이 맵 생성부; 및 상기 생성된 깊이 맵을 기반으로 상기 3차원 영상을 재생하는 재생부를 포함할 수 있다.

본 발명의 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치에 따르면, 매칭 모드 선택 과정에서 객체의 움직임 정보를 이용하여, 스테레오 매칭을 적응적으로 수행함으로써 가상 시점 영상에서의 시각적 품질(Visual Quality)은 유지하되, 매칭 과정에서의 복잡도는 대폭 낮출 수 있고, 사람의 시각 특성(HVS: Human Visual System)을 충분히 반영하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 깊이 추정 과정을 설명하기 위한 개념도,
도 2는 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법을 개략적으로 나타낸 흐름도,
도 3은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법의 모션 맵 생성 단계를 구체적으로 나타낸 상세흐름도,
도 4는 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법에 따른 모션 맵의 예시적인 모습을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치를 개략적으로 나타낸 블록도,
도 6은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 픽셀 기반 매칭 수행부를 구체적으로 나타낸 상세블록도,
도 7은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 블록 기반 매칭 수행부를 구체적으로 나타낸 상세블록도,
도 8은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 부호화부 및 전송부를 구체적으로 나타낸 상세블록도,
도 9는 본 발명의 일 실시예에 따른 3차원 영상에 대한 스테레오 매칭을 통한 재생 장치를 개략적으로 나타낸 블록도,
도 10은 본 발명의 일 실시예에 따른 3차원 영상에 대한 스테레오 매칭을 통한 재생 장치의 멀티뷰 렌더링부를 구체적으로 나타낸 상세블록도,
도 11a 내지 11c는 정적인 배경 부분에 대한 주관적 화질 평가를 위한 픽셀 기반 매칭, 블록 기반 매칭 및 본 발명의 일 실시예에 따른 하이브리드 매칭에 따라 가상 시점 영상을 구현한 도면,
도 12a 내지 12c는 동적인 객체 부분에 대한 주관적 화질 평가를 위한 픽셀 기반 매칭, 블록 기반 매칭 및 본 발명의 일 실시예에 따른 하이브리드 매칭에 따라 가상 시점 영상을 구현한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 깊이 추정 과정을 설명하기 위한 개념도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스테레오 매칭 장치는 좌영상(10), 가운데 영상(20) 및 우영상(30)을 입력으로 받아 3D 비디오 코덱(50)으로 제공되는 깊이 정보를 전달하기 위한 깊이 측정부(40)를 포함할 수 있다.

도 1을 참조하면, 좌영상(10) 및 우영상(30)은 3 차원 영상을 구성하는 영상으로 서로 대응하는 점을 갖으며, 대응하는 점이 이동한 정도를 디스패러티 값으로 표현할 수 있고, 이는 깊이 값으로 변환이 가능하다. 본 발명의 실시예에 따르면, 3차원 영상은 좌영상(10) 및 우영상(30) 이외에 가운데 영상(20)을 더 포함할 수 있으며, 가운데 영상(20)까지 포함하는 경우, 보다 선명한 화질의 3차원 영상을 구현할 수 있다.

깊이 추정부(40)는 좌영상(10), 가운데 영상(20) 및 우영상(30)의 대응점을 찾아내서 얼마만큼 이동하였는지를 찾아내고, 이를 깊이 값으로 변환하여 깊이 맵을 획득할 수 있다. 즉, 깊이 추정부(40)는 스테레오 매칭을 통해 깊이 맵을 획득할 수 있다. 종래 방법들은 픽셀 단위나 블록 단위로 단독으로 매칭이 이루어지는데 반해, 본 발명의 일 실시예에 따르면, 픽셀과 블록을 혼용하여 하이브리드 형태로 스테레오 매칭을 수행할 수 있다. 이는 매칭 코스트(Matching Cost), 즉 매칭 에러(errer)를 계산/산출하는 과정을 보다 효율적으로 개선한 것이다.

3D 비디오 코덱(50)은 좌영상(10), 가운데 영상(20) 및 우영상(30)과 깊이 추정부(40)에서 추정된 깊이 맵을 기반으로 압축 부호화를 수행하여 3D 영상 스트림을 생성한다. 그리고는 생성된 영상 스트림을 수신 장치(60)로 전송할 수 있다. 본 발명의 실시예에 따르면, 영상의 압축은 MPEG 3차원 비디오 코딩 서브 그룹에서 제공하는 표준 기술을 기반으로 수행될 수 있고, 다른 코딩 표준 기술인 H.264/AVC, HEVC, MPEG-4, MPEG-2 표준 규격을 기반으로 이루어질 수 있다.

도 2는 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법을 개략적으로 나타낸 흐름도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 스테레오 매칭 장치는 좌영상(10), 가운데 영상(20) 및 우영상(30)을 입력으로 받아, 상기 3 영상(10, 20, 30)의 현재 프레임이 최초 프레임인지 확인한다(S210). 만약, 최초 프레임이 맞다면, 최초 프레임에 대해서는 모션 맵 생성 과정 및 매칭 모드 결정 과정 없이 무조건 블록 기반 매칭 모드로 스테레오 매칭을 수행한다(S240). 즉, 첫 번째 프레임에 대해서는 오직 블록 기반 매칭만을 적용하고, 두 번째 프레임부터 하이브리드 매칭에 의해 픽셀 기반 매칭 또는 블록 기반 매칭이 이루어지도록 한다. 이는 MPEG에서 제공하는 깊이 맵 추정 레퍼런스 소프트웨어(DERS)에서 프레임 단위로 독립적으로 깊이 추정을 수행하나, 프레임 간의 시간적 일치성이 결여되는 결과를 가져오기에 이전 프레임에서의 깊이 정보를 참조하여 현재 프레임에서의 깊이 추정을 좀 더 정확하게 하는 방법을 사용한다. 상기 방법은 프레임마다 위치가 동일한 정적인 배경 부분에만 적용된다. 따라서, 최초 프레임이 매우 정확한 깊이 정보를 가지고 있어야 이후의 프레임의 깊이 정보의 정확도도 올라갈 수 있다. 따라서, 픽셀 기반 매칭보다 정확도가 높은 블록 기반 매칭을 무조건적으로 최초 프레임에 적용할 수 있다. 즉, 두 번째 프레임부터 하이브리드 매칭에 의해 픽셀 기반 매칭이 적용되는 배경 부분에도 최초 프레임의 같은 배경 부분에 적용된 블록 기반 매칭의 정확성이 전파될 수 있도록 한다.

최초 프레임이 아닌 경우, 개체의 움직임 정보를 기반으로 모션 맵을 생성한다(S220). 모션 맵은 현재 프레임 내의 객체의 움직임을 구분하는 맵이다. 이는 현재 프레임과 이전 프레임 간의 블록 단위 MAD(Mean Absolute Difference) 값을 이용하여 구할 수 있다.

이렇게 구해진 모션 맵을 기반으로, 현재 프레임의 각 픽셀 단위로 객체 움직임이 있는지 판단한다(S230). 판단 결과, 움직임이 있으면, 블록 기반 매칭 모드로(S240), 움직임이 없으면, 픽셀 기반 매칭 모드로(S242)로 스테레오 매칭을 수행한다. 스테레오 매칭 장치는 움직임이 있는 부분에 보다 정확한 스테레오 매칭이 이루어져야 하기 때문에, 픽셀 기반 매칭 보다 정확도가 높은 블록 기반 매칭을 적용하고, 움직임이 없는 부분(예컨대, 배경 부분)에는 사람의 인지적 특성상 비교적 정확도가 높지 않은 픽셀 기반 매칭을 적용하더라도 화질에 크게 문제가 생기지 않기 때문에, 픽셀 기반 매칭을 적용한다.

이렇게 각 픽셀에 대한 스테레오 매칭을 수행하여 초기 디스패러티 맵을 생성한다(S250). 그리고는, 생성된 디스패러티 맵을 기반으로 그래프 컷 기반 최적화 과정(S260)를 거쳐 최종 깊이 맵을 생성한다(S270).

도 3은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법의 모션 맵 생성 단계(S220)를 구체적으로 나타낸 상세흐름도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모션 맵 생성 단계(S220)는 MAD 값 계산 단계(S310), 임계값과의 비교 단계(S320), 밝기 값 설정 단계(S330, S332) 및 모션 맵 생성 단계(S340)를 포함할 수 있다.

도 3을 참조하면, 스테레오 매칭 장치는 현재 프레임과 이전 프레임 간의 16×16 블록 단위 MAD(Mean Absolute Difference) 값을 계산하여 객체의 움직임 정보를 획득한다(S310). 본 발명의 다른 실시예에 따르면, 16×16 이외에 다른 블록 크기의 MAD 값을 활용할 수 있다.

그리고는, 획득된 MAD 값을 임의의 임계값(Threshold)과 비교한다(S320). 임계값은 임의로 사용자가 설정할 수 있다. 또는 미리 설정된 값일 수 있다. 해당 블록 내의 모든 픽셀이 임의의 임계값 클 경우, 255 크기의 밝기 값으로 설정하고(S330), 작을 경우, 0 크기의 밝기 값으로 설정한다(S332). 이는 다음의 수학식으로 표현할 수 있다.

여기서 i,j는 픽셀의 위치를 나타내는 좌표 값, K는 블록 번호, I는 휘도 값을 나타낸다.

이때, 반드시 255 및 0의 크기를 가질 필요는 없고, 두 영역의 구분만 확실히 된다면 다른 크기의 밝기 값을 사용할 수 있다. 상기한 바와 같이, 객체의 움직임의 구분히 명확히 나타나는 모션 맵을 생성한다(S340). 모션 맵은 픽셀 단위로 오직 255 또는 0 값을 가지기 때문에 손쉽게 객체의 움직임 파악이 가능하다.

도 4는 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법에 따른 모션 맵의 예시적인 모습을 나타낸 도면이다. 도 4에 도시된 바와 같이, 좌측에 도시된 도면은 현재 프레임의 실제 모습이고, 우측 도면은 현재 프레임을 기반으로 생성된 모션 맵이다. 우측 도면을 참조하면, 밝은 색으로 표시된 부분이 움직임이 있는 부분으로 블록 기반 매칭의 대상이 되는 부분이고, 어두운 색으로 표시된 부분이 움직임이 없는 부분으로 픽셀 기반 매칭의 대상이 되는 부분이다. 모션 맵을 통해 객체의 움직임의 여부를 용이하게 파악할 수 있다.

도 5는 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치를 개략적으로 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스테레오 매칭 장치는 모션 맵 생성부(510), 매칭 모드 결정부(520), 매칭 수행부(530) 및 깊이 맵 생성부(540)를 포함할 수 있다.

도 5를 참조하면, 모션 맵 생성부(510)는 객체의 움직임 정보를 기반으로 블록 단위 MAD 값을 계산하여 움직임을 구분할 수 있는 모션 맵을 생성한다.

매칭 모드 결정부(520)는 획득된 모션 맵을 기반으로 하여 해당 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정한다. 예컨대, 상기한 바와 같이, 255 또는 0의 밝기 값으로 구성된 모션 맵을 이용하는 경우, 255의 밝기 값을 갖는 픽셀은 블록 기반 매칭으로, 0의 밝기 값을 갖는 픽셀은 픽셀 기반 매칭으로 매칭 모드를 결정할 수 있다. 이를 수학식으로 표현하면 다음과 같다.

여기서, x,y는 픽셀의 좌표를 의미하고, I는 밝기 값(휘도 값)을 의미한다. 이러한 하이브리드 매칭을 사용하는 이유는, 전술한 바와 같이, 움직임이 있는 블록 내의 픽셀의 경우 정확도가 높은 블록 기반 매칭을, 움직임이 없는 정적인 블록 내의 픽셀의 경우에는 복잡도가 낮은 픽셀 기반 매칭을 진행하기 위함이다.

매칭 수행부(530)는 매칭 모드 결정부(520)에서 결정된 매칭 모드에 따라 실제 현재 프레임의 각각의 픽셀에 대해 스테레오 매칭을 수행하고 그 결과를 기반으로 초기 디스패러티 맵을 생성한다. 매칭 수행부(530)는 픽셀 기반 매칭 수행부(532) 및 블록 기반 매칭 수행부(534)를 포함할 수 있다. 매칭 수행부(530)에 포함된 픽셀 기반 매칭 수행부(532) 및 블록 기반 매칭 수행부(534)는 MPEG에서 제공하는 깊이 맵 추정 레퍼런스 소프트웨어(DERS) 내의 픽셀 매칭 및 3×3 블록 매칭 방법을 그대로 이용할 수 있다. 픽셀 기반 매칭과 블록 기반 매칭에 대한 자세한 설명은 이하 도 6 및 도 7을 참조해서 하도록 한다.

깊이 맵 생성부(540)는 매칭 수행부(530)에서 획득된 초기 디스패러티 맵을 기반으로 디스패러티 값을 깊이 값으로 변환하여 깊이 맵을 생성한다. 깊이 맵 생성부(540)는 그래프 컷 기반 최적화를 수행한 후, 수행 결과를 기반으로 최종 깊이 맵을 생성할 수 있다.

도 6은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 픽셀 기반 매칭 수행부(532)를 구체적으로 나타낸 상세블록도이다. 도 6에 도시된 바와 같이, 픽셀 기반 매칭 수행부(532)는 밝기 값 차이 계산부(610), 매칭 에러 계산부(620) 및 디스패러티 맵 생성부(630)를 포함할 수 있다.

도 6을 참조하면, 픽셀 기반 매칭 수행부(532)는 MPEG에서 제공하는 레퍼런스 소프트웨어 내의 픽셀 매칭 방법을 이용할 수 있다. 픽셀 기반 매칭 수행부(532)는 폐색 영역(Occlusion Region)에 대한 효과적인 처리를 위해 좌/우 영상(10, 30)뿐만 아니라 가운데 영상(20)도 입력 영상으로 요구된다.

좌영상(10), 우영상(30)만을 가지고 매칭 에러를 계산하여 디스패러티 맵을 생성할 수 있다. 본 실시예에 따르면, 밝기 값 차이 계산부(610)는 좌영상(10)과 우영상(30)을 포함하는 3차원 영상에 대해 좌영상(10)과 우영상(30)에 대응되는 픽셀의 밝기 값을 비교하여 양 픽셀의 밝기 값 차이를 계산한다. 매칭 에러 계산부(620)는 계산된 밝기 값 차이를 매칭 에러로 간주한다. 디스페러티 맵 생성부(630)는 매칭 에러 계산부(620)에서 획득된 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스페러티 맵을 생성한다.

3차원 영상이 좌영상(10) 및 우영상(30) 뿐만 아니라 가운데 영상(20)까지 포함하고 있는 경우, 밝기 값 계산부(610)는 좌영상(10)과 가운데 영상(20)의 대응되는 픽셀의 밝기 값의 차이와 우영상(30)과 가운데 영상(20)의 대응되는 픽셀의 밝기 값의 차이를 계산한다. 매칭 에러 계산부(620)는 상기 밝기 값의 차이 중 더 작은 값을 갖는 차이 값을 매칭 에러로 계산한다. 이 과정을 수학식으로 표현하면 다음과 같다.

여기서, E_left는 좌영상(10)과 가운데 영상(20)과의 대응 픽셀의 밝기 값 차이, E_right는 우영상(30)과 가운데 영상(20)과의 대응 픽셀의 밝기 값 차이, Error는 매칭 에러, x,y는 픽셀 좌표, I는 밝기 값 크기, d는 디스패러티 값을 나타낸다. 디스패러티 맵 생성부(630)는 상기 매칭 에러, 즉 더 작은 값을 갖는 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 디스패러티 맵을 생성한다.

도 7은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 블록 기반 매칭 수행부(534)를 구체적으로 나타낸 상세블록도이다. 도 7에 도시된 바와 같이, 불록 기반 매칭 수행부(534)는 밝기 값 차이 계산부(710), 색차 신호 차이 계산부(720), 매칭 에러 계산부(730) 및 디스패러티 맵 생성부(740)를 포함할 수 있다.

도 7을 참조하면, 픽셀 기반 매칭 수행부(532)와 마찬가지로 DERS 내의 3×3 블록 기반 매칭 방법을 이용할 수 있다. 픽셀 기반 매칭 수행부(532)는 매칭 에러를 Y,U,V 요소(Y는 밝기 값, U와 V는 색차 신호 값을 나타냄)를 사용하여 계산할 수 있고, 이때, Y,U 및 V의 가중치는 2:1:1이 될 수 있다. 이를 수학식으로 나타내면 다음과 같다.

본 발명의 일 실시예에 따르면, 3차원 영상이 좌영상(10)과 우영상(30)으로 구성되어 있는 경우, 밝기 값 차이 계산부(710)는 좌영상(10)과 우영상(30)의 대응되는 3×3 블록의 가운데 픽셀과 밝기 값 차이 및 주변 픽셀(주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함)에 대해 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 밝기 값 차이를 계산한다. 그리고는, 색차 신호 차이 계산부(720)는 가운데 픽셀에서의 색차 신호 차이 값을 계산한다. 매칭 에러 계산부(730)는 밝기 값 차이와 색차 신호 차이 값에 대해 가중치를 매겨 매칭 에러를 계산한다. 디스패러티 맵 생성부(740)는 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성한다.

본 발명의 다른 실시예에 따르면, 3차원 영상이 좌영상(10), 우영상(30)뿐만 아니라 가운데 영상(20)을 포함하고 있는 경우, 가운데 영상(20)과 좌영상(10) 또는 우영상(30)과의 매칭 에러 중 더 작은 값을 갖는 매칭 에러를 최종 매칭 에러로 계산한다.

밝기 값 차이 계산부(710)는 가운데 영상(20)과 좌영상(10)과의 대응되는 픽셀의 밝기 값 차이와 가운데 영상(20)과 우영상(30)과의 대응되는 픽셀의 밝기 값 차이를 계산한다. 이때, 3×3 블록의 가운데 픽셀과 밝기 값 차이 및 주변 픽셀(주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함)의 밝기 값 차이를 계산하고, 가운데 픽셀과 주변 픽셀에 대해서는 공간적 거리 비율을 고려하여 가중치를 매긴다. 이를 수학식으로 표현하면 다음과 같다.

여기서, x,y는 가운데 영상(20)에서의 3×3 블록의 가운데 픽셀의 픽셀 좌표, u,v는 좌 또는 우영상(10, 30)에서의 대응되는 픽셀의 픽셀 좌표, a는 -1에서 1까지의 임의의 값을 의미한다.

색차 신호 차이 계산부(720)는 가운데 픽셀에 대해서만 가운데 영상(20)과 좌영상(10) 또는 우영상(30)의 대응되는 픽셀과의 색차 신호 차이값을 계산한다.

매칭 에러 계산부(730)는 이렇게 계산된 밝기 값 차이값과 색차 신호 차이값을 기반으로 가중치(Y:U:V = 2:1:1)를 부여하여 매칭 에러를 계산한다. 이를 수학식으로 정리하면 다음과 같다.

이렇게 가운데 영상(20)과 좌영상(10) 간의 매칭 에러와 가운데 영상과(20)과 우영상(30)간이 매칭 에러를 구하고 나면, 매칭 에러 계산부(730)는 두 매칭 에러 중 더 작은 값을 갖는 매칭 에러를 최종 매칭 에러로 계산한다.

디스패러티 맵 생성부(740)는 상기 계산된 최종 매칭 에러를 기반으로 최종 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패러티 맵을 생성한다.

도 8은 본 발명의 일 실시예에 따른 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치의 부호화부(810) 및 전송부(820)를 구체적으로 나타낸 상세블록도이다. 도 8에 도시된 바와 같이, 부호화부(810)는 3차원 영상(802)(이는 좌영상(10), 가운데 영상(20) 및 우영상(30)을 포함할 수 있음)과 상기 3차원 영상(802)을 통해 추정된 깊이 값을 이용하여 생성된 깊이 맵(804)(깊이 맵은 초기 디스패러티 맵을 기반으로 생성될 수 있음)을 입력으로 받아 압축 부호화를 수행하여 3차원 영상 스트림을 생성한다. 전송부(820)는 생성된 3차원 영상 스트림을 수신측으로 전송할 수 있다.

도 9는 본 발명의 일 실시예에 따른 3차원 영상에 대한 스테레오 매칭을 통한 재생 장치를 개략적으로 나타낸 블록도이다. 도 9에 도시된 바와 같이, 재생 장치는 복호화부(910), 멀티 뷰 랜더링부(920) 및 디스플레이부(930)를 포함할 수 있다.

도 9를 참조하면, 복호화부(910)는 송신측으로부터 3차원 영상 스트림을 수신하여 복호화를 수행하여 좌영상(10), 가운데 영상(20) 및 우영상(30)을 생성한다. 그리고 이를 디스플레이부(930)로 전송한다.

이때, 상기 3개의 영상 간에는 깊이 관계가 존재하기 때문에 멀티 뷰 랜더링부(920)는 상기 깊이 값을 추정하여 디스플레이부(930)에 전달한다. 멀티 뷰 랜더링부(920)는 수신된 3차원 영상의 좌영상(10), 가운데 영상(20) 및 우영상(30)을 기반으로 전술한 바와 같이, 하이브리드 스테레오 매칭을 이용하여 스테레오 매칭을 통한 초기 디스패러티 맵을 생성하고, 상기 초기 디스패러티 맵을 기반으로 그래프 컷 기반 최적화를 수행하여 최종 깊이 맵을 생성할 수 있다. 그리고, 생성된 깊이 맵을 기반으로 가상 시점 영상을 디스플레이부(930)를 통해 출력할 수 있다. 경우에 따라, 멀티뷰 랜더링부(920)는 깊이 정보를 기반으로 3차원 영상을 다양한 시점으로 디스플레이를 하는 오토 스테레오(Auto-stereo) N-시점 디스플레이를 하도록 제어할 수 있다.

디스플레이부(930)는 멀티 뷰 랜더링부(920)의 제어 신호에 따라 화면에 영상을 디스플레이한다.

도 10은 본 발명의 일 실시예에 따른 3차원 영상에 대한 스테레오 매칭을 통한 재생 장치의 멀티뷰 랜더링부를 구체적으로 나타낸 상세블록도이다. 도 10에 도시된 바와 같이, 모션 맵 생성부(1010), 매칭 모드 결정부(1020), 매칭 수행부(1030), 깊이 맵 생성부(1040) 및 재생부(1050)를 포함할 수 있다.

도 10을 참조하면, 모션 맵 생성부(1010), 매칭 모드 결정부(1020) 및 매칭 수행부(1030)는 스테레오 매칭 장치에서의 각각의 구성과 마찬가지로 하이브리드 스테레오 매칭을 수행한다.

깊이 맵 생성부(1040)는 매칭 수행부(1030)에서 하이브리드 매칭을 통해 생성된 초기 디스패러티 맵을 기반으로 깊이 맵을 생성한다.

재생부(1050)는 생성된 깊이 맵을 기반으로 3차원 영상을 재생한다. 재생부(1050)는 전술한 바와 같이, 3차원 영상을 다양한 시점으로 디스플레이할 수 있다. 즉, 재생부(1050)는 자유 시점 TV(free-view point TV)를 통해 가상 시점 영상을 깊이 맵을 이용하여 합성하여 다양한 시점으로 디스플레이할 수 있다.

시뮬레이션

본 발명의 스테레오 매칭의 복잡도 개선 및 성능 개선 효과를 확인하기 위해 몇가지시뮬레이션을 수행하였다. 본 발명의 시뮬레이션에 사용된 시퀀스는 각가 다른 특성을 가지는 4가지의 MPEG 테스트 시퀀스를 기반으로 하였다. 깊이 추정과 가상 시점 영상 합성을 위해 MPEG에서 제공하는 레퍼런스 소프트웨어(각각 DERS 버전 5.1/ VSRS 버전 3.5)를 사용하였다. 다만, 본 발명의 하이브리드 스테레오 매칭 방법의 효과에 집중하기 위해 압축 과정은 생략하였다.

실험에 사용된 시퀀스의 특징은 표 1에 나타난다.

시퀀스는 검도(Kendo), 풍선(Balloons), 판토마임(Pantomime), 신문(Newspaper)로 총 4개이고, 각각 카메라, 해상도 및 움직임 특성이 다르다.

본 발명의 효율성을 판다하기 위해 픽셀 매칭만을 단독으로 사용한 방법(PM), 블록 매칭만을 단독으로 사용한 방법(BM) 및 객체의 움직임을 기반으로 픽셀/블록 매칭을 하이브리드 형태로 사용한 방법(HM: 본 발명에서 제안하는 방법)으로 3 가지 경우에 대해 비교 실험을 수행하였다.

객관적 화질 평과는 압축되지 않은 텍스처 영상과 PM, BM, HM의 세가지 방법을 통해 얻어진 각각의 깊이 맵을 이용하여 가상 시점 영상을 합성한 후, 이를 원본 영상과의 PSNR(Peak Signal-to-Noise Ratio)을 계산하여 그 결과를 비교한다. 비교 결과는 표 2와 같다.

표 2에 도시된 바와 같이, 제안하는 HM 방식과 BM 방식은 거의 같은 PSNR 값을 나타냄을 확인할 수 있고, 몇몇 시퀀스에서는 BM 방식보다 높은 결과를 보임을 확인할 수 있다. 또한, PM 방식이 가장 낮은 PSNR을 보임을 알 수 있다.

복잡도 비교 평가는 프레임별 매칭시 소요되는 수행 시간을 체크하였고, 총 100프레임에 대한 평균 수행 시간을 PM, BM, HM 방식에 대해 비교 분석하였다. 복잡도 비교 평과 결과는 표 3과 같다.

표 3에 도시된 바와 같이, 복잡도 평과 결과, 본 발명에 따른 HM 방식이 BM 방식에 비해 프레임별 1초에서 3.5초 가량 복잡도 감소 이득이 있음을 알 수 있다. 이를 통해, 보통 테스트 시퀀스가 500 프레임으로 구성되기 때문에, 매칭 과정에 있어서의 시퀀스 별 전체 수행 시간 이득은 적게는 8.3분에서 많게는 30분 가량 나타남을 추정할 수 있다.

주관적 화질 평가는 압축되지 않은 텍스처 영상과 위의 PM, BM, HM 방식을 통해 얻어진 각각의 깊이 맵을 이용하여 가상 시점 영상을 합성하고 이를 배경 부분과 움직임이 있는 객체 부분에 대해 서로 비교 분석하였다.

도 11a 내지 11c는 정적인 배경 부분에 대한 주관적 화질 평가를 위한 픽셀 기반 매칭, 블록 기반 매칭 및 본 발명의 일 실시예에 따른 하이브리드 매칭에 따라 가상 시점 영상을 구현한 도면이다. 도 11a는 픽셀 기반 매칭(PM)으로, 도 11b는 블록 기반 매칭(BM)으로, 도 11c는 하이브리드 매칭(HM)으로 스테레오 매칭을 수행한 결과 영상이다. 도 11a 내지 11c에 도시된 바와 같이, 본 발명에서 제안하는 하이브리드 매칭 방식(HM)과 블록 기반 매칭 방식(BM)의 시각적 품질이 거의 같다는 것을 알 수 있고, 픽셀 기반 매칭 방식(PM)의 경우 시각적 품질이 가장 낮다는 것을 알 수 있다.

도 12a 내지 12c는 동적인 객체 부분에 대한 주관적 화질 평가를 위한 픽셀 기반 매칭, 블록 기반 매칭 및 본 발명의 일 실시예에 따른 하이브리드 매칭에 따라 가상 시점 영상을 구현한 도면이다. 도 12a는 픽셀 기반 매칭(PM)으로, 도 12b는 블록 기반 매칭(BM)으로, 도 12c는 하이브리드 매칭(HM)으로 스테레오 매칭을 수행한 결과 영상이다. 도 12a 내지 12c에 도시된 바와 같이, 본 발명에서 제안하는 하이브리드 매칭 방식(HM)과 블록 기반 매칭 방식(BM)의 시각적 품질이 거의 같다는 것을 알 수 있고, 움직임이 없는 배경 부분보다 움직임이 있는 객체 부분에 대해서, 픽셀 기반 매칭 방식(PM)을 사용하였을 때, 시각적 품질이 매우 좋지 않다는 것을 알 수 있고, 따라서, 움직임이 있는 동적인 객체 부분에 대해서 하이브리드 매칭 방식은 효과적이라는 것을 알 수 있다.

결론적으로, 본 발명에서 제안하는 하이브리드 스테레오 매칭 방식은 매칭 과정에 있어서의 복잡도를 대폭 감소시키고, 또한 시각적임 품질도 유지할 수 있다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

1. 입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치에 있어서,
   상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부;
   상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부; 및
   상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
2. 제 1 항에 있어서, 상기 매칭 모드 결정부는
   객체의 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 객체의 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스트레오 매칭을 수행하도록 결정하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
3. 제 1 항에 있어서,
   상기 현재 프레임이 최초 프레임인 경우, 블록 기반 매칭 모드로 픽셀에 대한 매칭을 수행하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
4. 제 1 항에 있어서, 상기 모션 맵 생성부는
   현재 프레임과 이전 프레임 간의 16×16 단위 MAD(Mean Absolute Difference) 값을 임계값(threshold)과 비교하여 임계값보다 클 경우는 제 1 크기의 밝기 값으로, 임계값보다 작은 경우는 제 2 크기의 밝기 값으로 설정하여 상기 모션 맵을 생성하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
5. 제 4 항에 있어서, 상기 매칭 모드 결정부는
   현재 프레임의 각각의 픽셀의 밝기 값을 모니터링하여 밝기 값이 상기 제 1 크기인 경우는 블록 기반 매칭 모드로, 상기 제 2 크기인 경우는 픽셀 기반의 매칭 모드로 결정하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
6. 제 1 항에 있어서, 상기 매칭 수행부는
   블록 기반 매칭을 수행하는 블록 기반 매칭 수행부; 및
   픽셀 기반 매칭을 수행하는 픽셀 기반 매칭 수행부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
7. 제 6 항에 있어서, 상기 픽셀 기반 매칭 수행부는
   좌영상과 우영상에서의 대응되는 픽셀의 밝기 값을 비교하여 매칭 에러를 계산하고, 상기 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패리티 맵을 생성하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
8. 제 7 항에 있어서, 상기 픽셀 기반 매칭 수행부는
   상기 3차원 영상이 좌영상, 우영상 및 가운데 영상의 3개의 영상으로 구성되어 있을 경우, 좌영상과 가운데 영상의 대응되는 픽셀의 밝기 값의 차이 및 우영상과 가운데 영상의 대응되는 픽셀의 밝기 값의 차이를 비교하여 더 작은 값을 갖는 차이 값을 매칭 에러로 계산하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
9. 제 6 항에 있어서, 상기 블록 기반 매칭 수행부는
   좌영상과 우영상의 대응되는 3×3 블록의 가운데 픽셀의 밝기 값 차이 및 색차 신호 차이, 주변 픽셀 - 주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함 - 의 밝기 값(Y) 차이를 기반으로 매칭 에러를 계산하되, 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 매칭 에러를 계산하고, 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
   
10. 제 9 항에 있어서, 상기 블록 기반 매칭 수행부는
    상기 3차원 영상이 좌영상, 우영상 및 가운데 영상의 3개의 영상으로 구성되어 있을 경우, 가운데 영상을 기준으로 좌영상 또는 우영상의 대응되는 가운데 픽셀에 대해 밝기 값(Y) 차이 및 색차 신호(U,V) 차이, 주변 픽셀의 밝기 값(Y) 차이를 계산하여 매칭 에러를 계산하되, 밝기 값(Y)과 색차 신호(U,V)에 대해서 Y:U:V = 2:1:1의 가중치를 부여하고, 가운데 픽셀과 주변 픽셀의 밝기 값의 차이에 대해서는 2:1의 공간적 가중치를 부여함으로써, 가운데 영상과 좌영상에 대한 제 1 에러 및 가운데 영상과 우영상에 대한 제 2 에러를 계산하고, 상기 제 1 및 제 2 매칭 에러중 작은 값을 갖는 매칭 에러를 최종 매칭 에러로 계산하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
    
11. 제 1 항에 있어서,
    상기 초기 디스패리티 맵을 기반으로 디스패리티 값을 깊이 값으로 변환하여 깊이 맵을 생성하는 깊이 맵 생성부를 더 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치.
    
12. 입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법에 있어서,
    상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성 단계;
    상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정 단계; 및
    상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
13. 제 12 항에 있어서, 상기 매칭 모드 결정 단계는
    객체의 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 객체의 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스트레오 매칭을 수행하도록 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
14. 제 12 항에 있어서,
    상기 현재 프레임이 최초 프레임인 경우, 블록 기반 매칭 모드로 픽셀에 대한 매칭을 수행하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
15. 제 12 항에 있어서, 상기 모션 맵 생성 단계는
    현재 프레임과 이전 프레임 간의 16×16 단위 MAD(Mean Absolute Difference) 값을 임계값(threshold)과 비교하여 임계값보다 클 경우는 제 1 크기의 밝기 값으로, 임계값보다 작은 경우는 제 2 크기의 밝기 값으로 설정하여 상기 모션 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
16. 제 12 항에 있어서, 상기 매칭 수행 단계는
    블록 기반 매칭을 수행하는 블록 기반 매칭 수행 단계; 및
    픽셀 기반 매칭을 수행하는 픽셀 기반 매칭 수행 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
17. 제 16 항에 있어서, 상기 픽셀 기반 매칭 수행 단계는
    좌영상과 우영상에서의 대응되는 픽셀의 밝기 값을 비교하여 매칭 에러를 계산하고, 상기 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패리티 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
18. 제 16 항에 있어서, 상기 블록 기반 매칭 수행 단계는
    좌영상과 우영상의 대응되는 3×3 블록의 가운데 픽셀의 밝기 값 차이 및 색차 신호 차이, 주변 픽셀 - 주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함 - 의 밝기 값(Y) 차이를 기반으로 매칭 에러를 계산하되, 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 매칭 에러를 계산하고, 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법.
    
19. 입력되는 3차원 영상에 대한 스테레오 매칭 장치을 통한 3차원 영상 스트림 전송 장치에 있어서,
    상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부;
    상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부;
    상기 결정된 매칭 모드에 따라 현재 프레임에 대한 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부;
    상기 초기 디스패리티 맵을 기반으로 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 생성된 깊이 맵을 기반으로 압축 부호화를 수행하는 부호화부; 및
    상기 부호화된 3차원 영상 스트림을 수신측으로 전송하는 전송부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치.
    
20. 수신되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭을 통한 재생 장치에 있어서,
    상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 을 복호화하는 복호화부;
    상기 복호화된 3차원 영상의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부;
    상기 모션 맵을 기반으로 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스테레오 매칭을 하도록 결정하는 매칭 모드 결정부;
    상기 결정된 매칭 모드에 따라 현재 프레임에 대한 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부;
    상기 초기 디스패리티 맵을 기반으로 깊이 맵을 생성하는 깊이 맵 생성부; 및
    상기 생성된 깊이 맵을 기반으로 상기 3차원 영상을 재생하는 재생부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 스테레오 매칭을 통한 재생 장치.
    

Images