KR101609394B1 - 입체 영상 인코딩 장치 및 방법 - Google Patents

Abstract

본 발명의 일 측면에 따른 인코딩 장치 및 방법은, 입력된 영상의 에지를 추출하고, 에지가 추출된 영상에 대해 객체 구분을 수행하며, 객체별로 구분된 영상에 대해 깊이 정보를 추출하되, 청색의 단일 밴드에 대해 에지를 적용함으로써, 영상 정합의 경계가 불분명하거나 숨겨진 영역 추출에서 향상된 효과를 얻을 수 있다.

Description

입체 영상 인코딩 장치 및 방법{Encoding Apparatus and Method for 3D Image}

본 출원은 입체 영상의 인코딩과 관련된 것으로, 특히 스테레오스코픽 기술을 이용한 입체 영상 인코딩 장치 및 방법에 관한 것이다.

2D 디스플레이 기술은 그 발전 정도가 이미 완성 단계가 되어 소비자는 디스플레이의 고화질화 혹은 박형화에 대해 큰 차이를 느끼지 못할 정도에 이르렀다. 이에 비해 3D 디스플레이 기술은 2D 평판 디스플레이에 비해 그 품질이 아직은 완성 단계에 이르지 못하고 있다.

3D 디스플레이 기술은 기존의 2D 평판 디스플레이로 형성된 평면 이미지가 아니라 실재감 있게 형성된 3D 영상을 표시하는 기술로서 우리가 일상적으로 보고 느끼는 자연 풍경이나 사물에 가장 근접하고 자연스러운 영상 정보를 표현하는 기술이다. 3D 디스플레이가 사용되는 분야는 방송, 의료, 항공, 군사, 애니메이션, 영화 등 다양하며, 차세대 고부가가치 기술이라 할 수 있다.

현재 상용화 또는 연구가 진행 중인 3D 디스플레이의 종류는 무수히 많다. 3D 디스플레이에는 많은 분류 방식이 존재하고, 아직까지 모든 분야를 기술하는 분류 토대가 만들어진 것은 아니다. 하지만 그 구현 방식에 따라 좌측 눈과 우측 눈에 시차가 있는 영상을 제공하여 관찰자로 하여금 깊이감을 느끼게 하는 양안시차 방식(Stereoscopy), 가변 초점 거울이나 회전 스크린 등을 이용하여 공간상에 입체 영상을 형성하는 체적형(Volumetric) 디스플레이 방식, 빛의 간섭을 이용한 홀로그래픽(Holographic) 디스플레이 방식으로 분류할 수 있으며, 양안 시차 방식은 보조 안경의 사용 여부에 따라 안경식과 무안경식 두 카테고리로 나눌 수 있다.

이 중, 1838년에 처음 소개된 스테레오스코프 기술의 경우 좌우 눈의 입력에 해당하는 두 개의 영상(Stereoscopic Image: 양안식 영상)을 획득하고, 좌우 눈을 통해서 그 각각의 영상을 볼 수 있게 하는 기술이다. 스테레오스코프를 이용한 3D 기술은 많은 나라에서 개발되어 현재에도 기술의 개선과 발전이 이루어져 오고 있다.

관련하여, 스테레오 정합 기술은 서로 다른 위치의 카메라를 통해 얻은 영상 정보를 카메라가 바라보는 방면의 3차원 깊이 정보를 복원하는 비전 기술이다. 장면의 깊이는 서로 다른 위치에서 획득한 두 영상 사이에서 일치하는 픽셀을 찾아 두 픽셀 사이의 양안차를 계산함으로써 얻어낼 수 있다.

스테레오 정합의 방법에는 크게 지역 정합방식과 전역 정합방식이 있다. 신뢰 전파(Belief Propagation: BP) 기반의 스테레오 정합기술은 픽셀의 양안차를 영상 전체의 정보를 사용하여 결정하는 전역 정합 기술로서, 스테레오 영상에 나타나는 가려짐 현상에 강인한 특성을 보이며, 영상에 패턴이 적을 경우에도 우수한 결과를 보여준다.

이러한 여러가지의 장점에도 불구하고, 신뢰 전파 기반의 스테레오 정합 기술은 부분적 가려짐에 의한 그림자, 조명과 카메라의 상대적 위치, 양 카메라의 조리개 사이의 물리적인 차이 등의 원인으로 인해 생기는 조명차에 효과적으로 대응하지 못하는 등의 문제점이 있다.

따라서, 본 발명은 이러한 문제점을 해결하기 위해 제시된 것으로, 스테레오스코프를 이용한 3D 영상 처리를 위한 방법으로, 신뢰 전파를 이용한 영상 정합을 수행하기 전에 청색 밴드에 대해 영상의 엣지 정보를 추출하여 추가하여 더욱 실감나는 입체 영상을 제공하는 인코딩 장치 및 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 일 실시예에 따른 스테레오스코픽 입체 영상의 인코딩 방법은, 제1 이미지와 제2 이미지의 차이를 추정하여 깊이 맵을 생성하는 단계, 상기 제1 이미지를 압축하는 단계, 상기 생성된 깊이 맵을 압축하는 단계, 상기 압축된 제1 이미지 및 상기 압축된 깊이 맵에 대해 채널 인코딩을 수행하는 단계를 포함한다.

상기 깊이 맵을 생성하는 단계는, 입력된 영상의 에지를 추출하는 단계, 에지가 추출된 영상에 대한 객체 구별을 수행하는 단계 및 객체별로 구분된 영상에 대해 깊이 정보를 추정하는 단계를 포함한다.

상기 입력된 영상의 에지를 추출하는 단계는, 입력된 영상의 청색 밴드에 대해서 에지를 적용하는 것을 특징으로 한다.

상기 제1 이미지는 우측 이미지이고, 상기 제2 이미지는 좌측 이미지인 것을 특징으로 한다.

상기 인코딩 방법은 또한, 상기 제1 이미지와 제2 이미지의 차이를 추정하여 깊이 맵을 생성하기 전에, 상기 제1 이미지의 밝기와 상기 제2 이미지의 밝기를 비교하고, 상기 제1 이미지를 기준으로 하여 상기 제2 이미지의 밝기를 조정하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따른 스테레오스코픽 입체 영상 시스템은, 제1 이미지와 제2 이미지의 차이를 추정하여 깊이 맵을 생성하는 차이 추정 모듈, 상기 제1 이미지를 압축하는 제1 압축 모듈, 상기 생성된 깊이 맵을 압축하는 제2 압축 모듈 및 상기 압축된 제1 이미지 및 상기 압축된 깊이 맵에 대해 채널 인코딩을 수행하는 채널 인코더를 포함하는 인코더를 포함한다.

상기 입체 영상 시스템은, 상기 인코더로부터 전송된 데이터를 수신하고 전송 채널에 대한 디코딩을 수행하는 채널 디코더, 상기 채널 디코더로부터 출력된 제1 이미지를 디코딩하는 제1 디코더, 상기 채널 디코더로부터 출력되는 차이 맵을 디코딩하는 제2 디코더 및 상기 제1 디코더 및 상기 제2 디코더로부터 출력된 데이터를 이용해 입체 영상을 재생하는 입체 영상 재생부를 포함하는 디코더를 포함한다.

본 발명의 또 다른 측면에 따른 깊이 맵 생성 방법은, 입력된 영상의 에지를 추출하는 단계, 에지가 추출된 영상에 대한 객체 구별을 수행하는 단계 및 객체별로 구분된 영상에 대해 깊이 정보를 추정하는 단계를 포함한다.

여기서, 입력된 영상의 에지를 추출하는 단계는, 입력된 영상의 청색 밴드에 대해서 에지를 적용하는 것을 특징으로 한다.

본 발명의 또 다른 측면에 따른 깊이 맵 생성 장치는, 입력된 영상의 에지를 추출하고, 에지가 추출된 영상에 대해 객체 구분을 수행하며, 객체별로 구분된 영상에 대해 깊이 정보를 추출하되, 상기 에지의 추출은, 청색 밴드에 대해 에지를 적용하는 것을 특징으로 한다.

본 발명의 바람직한 실시예들에 따른 인코딩 장치 및 방법에 따르면, 특히 영상 정합의 경계가 불분명하거나 숨겨진 영역 추출에서 향상된 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 이미지를 위한 인코더 및 디코더의 전체 시스템을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 차이 추정 모듈의 세부 블록을 나타낸 도면.
도 3은 원 영상에 대한 깊이정보인 표준 깊이정보 영상을 도시한 도면.
도 4는 본 발명의 일 실시예에 따라 MRF를 이용한 객체 구별 방법 및 신뢰 확산을 이용한 깊이정보 추정을 수행한 경우의 결과 영상을 도시한 도면.
도 5는 본 발명의 일 실시예에 따라 MRF를 이용한 객체 구별 방법 및 신뢰 확산을 이용한 깊이정보 추정을 수행하기 전에 추가적으로 엣지 추출을 수행한 경우의 결과 영상을 나타낸 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 3차원 이미지를 위한 인코더 및 디코더의 전체 시스템을 나타낸다.

도 1에 나타난 바와 같이 본 발명의 일 실시예에 따른 3차원 이미지 인코딩 및 디코딩을 위해서는 두 대의 카메라로부터 우측 이미지와 좌측 이미지가 입력된다. 우리의 두 눈은 가로 방향 평균 거리가 약 65mm이고, 이로 인해 나타나는 양안시차 효과의 원리를 이용한 것이 스테레오스코픽(Stereoscopic) 기술이다. 좌우의 눈은 각각 서로 다른 2차원 영상을 서로 융합하여 본래 3차원 입체 영상의 입체감, 깊이감 그리고 실재감을 재생하게 된다. 두 대의 카메라로부터 입력되는 우측 이미지와 좌측 이미지는 이와 같이 인간의 두 눈으로 입력되는 이미지와 대응된다고 볼 수 있을 것이다.

우측 이미지에 대해서만 밝기 조절 모듈(110), 압축 모듈(120), 채널 인코더(100)를 거쳐 전송한 이미지 데이터를 디코더 측의 채널 디코더(300), 이미지 디코더들(310, 320)을 거치게 되면 재생된 2D 이미지를 얻게 된다.

여기에 좌측 이미지가 추가되고, 우측 이미지 및 좌측 이미지 간의 차이 처리를 위한 차이 추정 모듈(210), 깊이 맵(220), 차이맵 디코더(320) 등 스테레오스코픽 관련 블록들이 추가되어 3D 입체 영상을 획득하게 된다.

본 발명의 일 실시예에 따른 3차원 이미지를 위한 인코더는, 밝기 조절 모듈(110), 압축 모듈(120), 채널 인코더(100), 그리고 차이추정 모듈(210), 깊이 맵(220), 그리고 깊이 맵을 위한 압축 모듈(113)을 포함한다. 또한, 본 발명의 일 실시예에 따른 3차원 이미지를 위한 디코더는, 채널 디코더(300), 우측 이미지 디코더(310), 차이맵 디코더(320)를 포함한다.

우선, 본 발명의 일 실시예에 따른 인코더의 자세한 기능부터 살펴보기로 한다.

도 1에 나타난 우측 이미지 및 좌측 이미지는 공통적으로 밝기 조절 모듈(110)로 입력된다. 밝기 조절 모듈(110)은 그림자, 조명 등에 따라 우측 이미지 및 좌측 이미지 상에서 달라지는 밝기를 조절하여 출력한다. 밝기 조절 모듈(110)은 우측 이미지를 기준으로 밝기를 조절한다. 우측 이미지를 기준으로 좌측 이미지와 비교하여 밝기가 서로 상이하게 다를 경우 이를 보정해 주기 위한 알고리즘이 작동하여 좌측 이미지를 보정한다. 따라서, 보정된 좌측 이미지 및 우측 이미지가 차이 추정 모듈(210)로 입력되고, 우측 이미지는 압축 모듈(120)로 입력된다.

우측 이미지를 위한 압축 모듈(120)은 데이터 압축에 사용되는 여러 기법들을 사용해 이미지를 압축한다. 압축 모듈(120)은 예를 들어, JPEG2000, JPEG, JPEG XR과 같은 형태의 압축 모듈일 수 있다.

JPEG 압축 모듈의 경우에는 DCT 변환을 이용하며, 일반적으로 많이 사용되고 있는 압축 방식이다. 특징으로, 4*4 블럭 단위의 압축을 수행하는 점을 들 수 있다. 즉, 4*4 행렬이나 8*8의 픽셀 값을 이용해 압축을 수행한다. 단점으로는, 그 중간의 픽셀들이 블록킹 현상을 일으킨다는 문제를 가진다.

JPEG2000에 따른 압축 모듈인 경우는 전역적인 압축을 사용하는 특징을 가진다. 이 경우의 압축 모듈은 이산 웨이블릿 변환, 양자화, 엔트로피 인코딩을 포함하는 압축 과정을 수행한다. 이산 웨이블릿 변환은 영상이 각 구성성분 별로 분해되어, 다시 정사각형 형태의 타일로 분해되어 생성된 타일 성분에 대해 적용된다. 타일 성분의 수평, 수직의 공간 주파수 특징을 기술하는 웨이블릿 변환 등에 의해 변환된 계수는 양자화를 거쳐 코드열을 생성하기 전에 엔트로피 부호화 과정을 거친다.

본 발명에 따른 압축 모듈의 바람직한 실시예들 중 하나는 랩드 변환(lapped transformation)을 이용한 압축 모듈이다. 현재 JPEG XR에서 사용되는 방식이다. 랩드 변환은 영상 정보 감축을 위한 기법 중 변환 코딩의 한 방법으로 일정한 크기의 구획으로 나누어 구획별로 변환하기 때문에 전송률이 낮을 때 구획의 가장자리 부분의 불연속으로 인한 블록킹 현상(blocking effect)이 발생하는 것을 해결할 수 있는 방법이다. 랩드 변환은 블록 변환을 사용하지만, 블록들의 오버랩 방식으로 블록킹 현상을 감소시킨다.

차이 추정 모듈(210)은 우측 이미지와 우측 이미지의 차이(disparity), 즉 양안차를 추정(estimate)하는 블록이다. 본 발명의 일 실시예에 따른 차이 추정 모듈(210)은 영상의 엣지를 추출하여 객체를 구별한 후 깊이 정보를 추정하여 깊이 맵(220)을 생성, 추출하는 역할을 담당한다. 즉, 본 발명의 일 실시예에 따른 차이 추정 모듈(210)은 최종적으로 깊이 맵(220)을 출력한다.

본 발명의 일 실시예에 따른 차이 추정 모듈(210)은 특히, 신뢰 전파(BP)를이용한 영상 정합을 수행하기 전에 영상의 엣지 정보를 추출하여 추가함으로써 영상 정합의 경계가 불분명하거나 숨겨진 영역 추출에서 향상된 효과를 얻을 수 있도록 한다. 본 발명의 바람직한 일 실시예에 따르는 차이 추정 모듈은 엣지 정보 추출에 단일 밴드, 그 중에서도 B 밴드에 dpt지를 적용하는 것을 그 특징으로 한다. 자세한 설명은 도 2를 통해 살펴보기로 한다.

차이추정 모듈(210)에 의해 생성된 깊이 맵(220)은 압축 모듈(113)을 통한 압축 과정을 거치게 된다. 즉, 압축 모듈(113)은 깊이 맵을 입력 값으로 받아 처리하는 압축 모듈이다. 깊이 맵을 위한 압축 모듈(113)은 앞서 우측 이미지를 위한 압축 모듈(120)에서 설명한 바와 같은 변환들, 웨이브릿, DCT, 랩트 변환 중 하나, 혹은 다른 형태의 압축 방식을 사용할 수도 있다. 또한, 깊이 맵을 위한 압축 모듈(113)과 우측 이미지를 위한 압축 모듈(120)에 사용되는 압축 방식은 그 선택 여부에 따라 동일한 형태가 될 수도 있고, 다른 형태가 될 수도 있다.

최종적으로 압축된 우측 이미지 및 깊이 맵은 채널 인코더(100)를 거쳐 전송 준비를 완료하고, 디코더 측으로 전송된다. 디코더 측에 수신된 데이터는 채널 디코더(300)를 거쳐 압축이 해제되지 않은 형태의 우측 이미지 데이터 및 차이 맵 데이터로 분리되고, 우측 이미지는 우측 이미지 디코더(310)에 의해 디코딩되고, 차이 맵은 차이맵 디코더(320)에 의해 디코딩된다. 우측 이미지 디코더(310)에 의해 디코딩된 이미지 데이터는 그대로 2차원 영상, 즉 2D 이미지가 되고, 여기에 차이 맵 디코더에 의해 디코딩된 차이 맵을 추가하게 되면 3D 입체 영상이 얻어질 수 있다.

도 2는 본 발명의 일 실시예에 따른 차이 추정 모듈의 세부 블록을 나타낸다.

본 발명의 일 실시예에 따른 차이 추정 모듈(210)은 엣지 추출부(211), 객체 구별부(212), 깊이정보 추정부(213)를 포함할 수 있다.

스테레오스코픽 시스템에서 깊이정보 추정은 신뢰 전파(BP) 그래프 모델을 사용해서 깊이정보를 추정할 수 있다. 신뢰 전파 방법은 2차원 그래프 모델 상에서 각 이웃하는 노드들과 확률적인 정보를 반복적으로 상호 교환하여 최적화된 상태 값을 추정한다. 이때, 확률적 정보에 대한 함수는 메시지 함수로 정의되며 데이터 값, 평활도(smoothness) 값, 이웃 노드로 구성된다.

일반적으로, MRF(Markov Random Fields)를 이용해 이미지를 모델링한 후 최대값을 찾아서 메시지 형식 기반으로 영상 정합을 하는 순서가 신뢰 전파 방법인데, 본 발명의 바람직한 일 실시예에 따르면 신뢰 전파를 수행하기 전 전처리 과정으로 엣지 추출부(211)가 추가된다, 이 전처리 과정에서는 엣지 정보를 추가함으로서 영상 정합의 경계가 불분명하거나 숨겨진 영역 추출에 유리한 조건을 생성시킨다. 엣지 추출에는 예를 들어, 프리윗(Prewitt) 또는 소벨(Sobel) 엣지가 적용될 수 있다.

여기서, 디지털 이미지는 통상적으로 디지털 이미지는 통상적으로 RGB 색상 모델을 사용한다. 추상화된 수학적 모델에서 특정 색이 몇 개의 성분을 갖는 순서쌍으로 표현될 때, 이렇게 수치화된 값의 순서쌍(일반적으로 세 개 혹은 네 개)으로 색을 표현하는 형태를 색공간이라 하는데, 가장 일반적인 형태가 RGB 색공간이다. 카메라나 스캐너와 같은 이미지 입력장치는 빛의 세기를 RGB 데이터로 저장하고, 디스플레이나 프린터 같은 이미지 출력장치는 RGB 데이터를 색으로 나타낸다. 하지만 동일 대상체에 대해 입력장치마다 다른 RGB 데이터로 저장하고, 동일 RGB 데이터에 대해 출력장치마다 다른 색을 재현한다.

RGB 이미지는 각 픽셀마다 적색, 녹색, 청색 샘플을 가진다. 디지털 이미지는 이러한 삼원색을 조합하여 각 픽셀의 색상을 표현한다. 특정한 샘플의 집합을 밴드(band)나 채널(channel)이라고 부른다. 이때, 청색 밴드는 이미지에 있는 모든 픽셀에 대한 청색 밴드를 일컫는데, 흔히 0 밴드 혹은 B 밴드로 칭하기도 한다.

한편, 영상에서 패턴이 적은 물체는 물체 내부에 엣지가 적고 경계면에서만 강한 엣지 특성을 나타낸다. 밴드 특성상 B, G, R 모두를 엣지화한다면 MRF에서 많은 세그먼트들이 생겨 영상정합에서 불리한 조건으로 작용하게 된다. 따라서 본 발명의 바람직한 일 실시예에서는 B, G, R의 모든 밴드에 엣지를 적용하지 않고 단일 채널 밴드에 엣지를 적용한다. B, G, R 각각의 밴드에 대해 엣지를 적용하는 실험을 수행한 결과 B 밴드에 대해 엣지를 적용하는 경우 가장 확실한 엣지 성분을 얻을 수 있음을 알 수 있었다.

따라서, 본 발명의 바람직한 일 실시예에 따른 엣지 추출에는 단일 밴드, 그 중에서도 B 밴드에 엣지를 적용한다. 이후, 객체 구별, 깊이정보 추정이 순차적으로 적용된다.

본 발명의 일 실시예에 따른 객체 구별부(212)는 예를 들어, MRF와 같은 모델링 기법을 사용한다.

영상의 이해는 크게 영상의 분할과 레이블링(labeling) 작업으로 구성되는데, 영상의 분할은 영상을 명암, 색깔, 결, 거리 정보 등의 성질이 균일한 영역들로 분할하는 과정이며, 영상의 레이블링은 각 분할된 영역을 물체의 모델 및 장면에 대한 지식과 분할된 영역의 성질 및 그들 간의 공간적 관계를 이용하여 인식하는 과정이다. 다시 말해, 영상의 레이블링은 장면에 대한 지식으로부터 도출된 제약조건을 이용하여 모든 분할된 영역을 가장 적합한 물체고 구별하는 최적화 과정으로 정의될 수 있으며, MRF는 효과적으로 영상을 명명하는 방법 중 하나이다.

MRF 모델은 영상의 분할된 영역을 각 노드로 하고 그들 간의 공간적 인접성을 바탕으로 구성된 영역 인접 그래프 위에서 정의된다. 주어진 영상에서 기본 영역들을 분리하여 내고 그들 간의 공간적 인접성에 따라 인접 그래프를 형성하면, 영상의 해석은 그래프에서의 각 노드를 올바른 물체로 레이블링(labeling)함으로써 이루어진다. 본 발명에 따른 MRF 모델링에 따르면 객체가 가지는 색상에 따라 각 객체를 구분, 즉 레이블링한다.

객체 구별부(212)에 의해 객체 구별된 이미지는 깊이정보 추정부(213)로 입력된다. 깊이정보 추정부에서 사용되는 바람직한 추정 방법의 일 예는 신뢰 전파(BP: Belief Propagation)를 들 수 있다.

여기서, 신뢰 전파 기법은, 노드와 엣지로 이루어진 2차원 그래프, 혹은 2차원 마르코프 네트워크 상에서 각 노드의 최적화된 상태를 추정하는 방법으로, 각 노드의 최적화된 상태를 추정하는 역할을 수행한다. 신뢰 전파는 그래프 상에서 이웃한 노드의 상태 값들이 공간적으로 연속적으로 부드럽게 변화한다고 가정하고, 이 가정을 바탕으로 이웃한 노드와의 정보 교환을 위한 반복연산을 수행한다. 반복연산 과정에서 각 노드 간의 확률적인 영향을 모델링하는 값을 메시지라 하고, 신뢰 전파는 반복연산을 통해 이 메시지를 이웃들과 주고받는다. 이러한 반복연산을 통해 노드들은 자신의 확률 정보를 다른 노드들에 전달하며, 다른 노드의 정보를 자신의 상태 추정에 반영한다.

앞서 도 1을 통해 살펴본 바와 같이, 깊이 정보 추정부(213)는 최종적으로 깊이 맵(220)을 출력하게 된다.

이하 도 3 내지 도 5를 통해서 본 발명의 바람직한 실시예에 따른 차이 추정의 결과를 살펴보기로 한다. 결과 비교를 용이하도록 하기 위해 도 3, 도 4, 및 도 5에 따른 처리에 사용되는 영상은 모두 동일한 영상을 사용한다.

도 3은 원 영상에 대한 깊이정보인 표준 깊이정보 영상을 도시한다.

도 3의 결과 영상은 통상적인 3D 모델링 툴을 이용한 깊이 정보 추출 방법에 따라 입력 영상을 처리한 경우에 출력되는 결과 이미지를 나타낸 것으로, 표준 깊이정보라고 칭할 수 있다. 이 기준이 되는 원본 결과 깊이 맵은 일반적으로 3D 모델링 툴을 이용하여 그래픽 전문가들이 수작업을 통해서 생성한 것이다.

표준 깊이 정보를 나타내는 결과 영상을 보면 알 수 있듯이, 원 영상에서 뒷 배경으로 등장한 책장이나 책과 관련된 깊이 정보의 경우는 결과 영상에서 거의 알아볼 수 없는 형태로 나타나고 있다. 이는 깊이 맵에서 담는 정보는 물체나 사물의 깊이를 나타낸 것이기에 깊이 맵에 대한 정보는 도 3과 같이 나타나는 특징이 있다.

도 4는 본 발명의 일 실시예에 따라 MRF를 이용한 객체 구별 방법 및 신뢰 확산을 이용한 깊이정보 추정을 수행한 경우의 결과 영상을 도시한다.

도 4에서는, 도 2의 객체 구별부(212)에서 MRF 기법을 사용하고, 도 2의 깊이정보 추정부(213)에서 신뢰 전파 기법을 사용한 경우의 결과 영상을 나타내고 있다.

도 5는 본 발명의 일 실시예에 따라 MRF를 이용한 객체 구별 방법 및 신뢰 확산을 이용한 깊이정보 추정을 수행하기 전에 추가적으로 엣지 추출을 수행한 경우의 결과 영상을 나타낸다.

도 5의 처리는 도 4의 경우에 비해 엣지 추출 단계가 추가적으로 포함된다. 엣지 추출은 도 2의 차이 추정 모듈의 상세 블록의 동작과 비교하자면, 차이 추정 모듈(210)로 원영상이 입력되고, 도 2의 엣지 추출부(211)에 의해 출력된 결과를 도 5의 중간 영상에서 확인할 수 있다. 여기서, 본 발명의 일 실시예에 따른 엣지 추출은 B 밴드, 즉 청색 밴드에 대해 적용되며, 이는 도 5의 중간 영상에서 청색으로 표시된 선명한 엣지를 통해 확인할 수 있다. 도 5의 결과 영상에서는 소벨(Sobel) 에지가 사용된 경우를 나타내고 있다. 하지만, 소벨 에지 대신 다른 형태의 에지, 예를 들어, 프리윗(Prewitt) 엣지가 적용될 수 있음은 앞서 이미 언급한 바 있다. 엣지 추출 이후의 처리는 도 4에 적용된 MRF 및 BP 처리와 동일하다.

도 5에서 모든 처리가 완료된 이후의 결과 영상을 도 4의 결과 영상과 비교해 보면, 전체적으로 객체의 엣지에서 보다 향상된 결과를 확인할 수 있다. 특히 결과 영상에서 원형으로 표시한 3 부분에서는 도 4의 결과 영상보다 확연히 눈에 띄는 향상을 보여주고 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

특히, 본 명세서에서 실시예로 든 JPEG, JPEG2000, JPEG XR 등은 정지 영상을 그 대상으로 하나, 본 발명에서 이를 제시한 것은 하나의 실시예적인 의미일 뿐 동영상을 대상으로 하는 MPEG의 경우를 배제하는 의미는 아니다. 동영상을 이루는 수많은 프레임 영상 각각이 하나의 정지 영상임은 당업자에게는 자명한 사실이므로, 본 발명의 실시예들이 동영상 처리에도 마찬가지로 적용 가능하다 할 것이다. 또한, 밝기 조절 모듈(110) 등은 카메라와 같은 촬상 장치에도 적용이 가능한 부분이라 할 것이다.

Claims (10)

1. 스테레오스코픽 입체 영상의 인코딩 방법에 있어서,
   제1 이미지와 제2 이미지의 차이를 추정하여 깊이 맵을 생성하는 단계;
   상기 제1 이미지를 압축하는 단계;
   상기 생성된 깊이 맵을 압축하는 단계; 및
   상기 압축된 제1 이미지 및 상기 압축된 깊이 맵에 대해 채널 인코딩을 수행하는 단계를 포함하되,
   상기 깊이 맵을 생성하는 단계는,
   입력된 영상의 RGB 채널들 중 어느 하나의 채널에서 에지를 추출하는 단계,
   상기 에지의 추출에 따른 경계면에 기초하여 상기 영상에 대한 객체 구별을 수행하는 단계, 및
   상기 객체 구별에 따라 분리된 객체별 구분 영상에 대해 깊이 정보를 추정하는 단계를 포함하는, 인코딩 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 에지를 추출하는 단계는,
   상기 입력된 영상의 B 밴드 또는 청색 밴드에 대해서 상기 에지를 추출하는 것을 특징으로 하는, 인코딩 방법.
4. 청구항 3에 있어서,
   상기 제1 이미지는 우측 이미지이고, 상기 제2 이미지는 좌측 이미지이며,
   상기 객체 구별을 수행하는 단계는 상기 에지의 추출에 따른 상기 영상의 전경과 배경 사이에 남은 경계선 성분을 이용하여 상기 객체를 분리하는 것을 특징으로 하는, 인코딩 방법.
5. 청구항 1에 있어서,
   상기 제1 이미지와 제2 이미지의 차이를 추정하여 깊이 맵을 생성하기 전에,
   상기 제1 이미지의 밝기와 상기 제2 이미지의 밝기를 비교하고, 상기 제1 이미지를 기준으로 하여 상기 제2 이미지의 밝기를 조정하는 단계를 더 포함하는 단계를 포함하는, 인코딩 방법.
6. 스테레오스코픽 입체 영상 시스템으로서,
   제1 이미지와 제2 이미지의 차이를 추정하여 깊이 맵을 생성하는 차이 추정 모듈;
   상기 제1 이미지를 압축하는 제1 압축 모듈;
   상기 생성된 깊이 맵을 압축하는 제2 압축 모듈
   상기 압축된 제1 이미지 및 상기 압축된 깊이 맵에 대해 채널 인코딩을 수행하는 채널 인코더를 포함하며,
   상기 차이 추정 모듈은 입력된 영상의 RGB 채널들 중 어느 하나의 채널에서 에지를 추출하고, 상기 에지의 추출에 따라 얻어지는 경계면에 기초하여 상기 영상에 대한 객체 구별을 수행하고, 상기 객체 구별에 따라 분리된 객체별 구분 영상에 대해 깊이 정보를 추정하는, 입체 영상 시스템.
7. 청구항 6에 있어서,
   상기 채널 인코더로부터 전송된 데이터를 수신하고 전송 채널에 대한 디코딩을 수행하는 채널 디코더;
   상기 채널 디코더로부터 출력된 제1 이미지를 디코딩하는 제1 디코더;
   상기 채널 디코더로부터 출력되는 차이 맵을 디코딩하는 제2 디코더; 및
   상기 제1 디코더 및 상기 제2 디코더로부터 출력된 데이터를 이용해 입체 영상을 재생하는 입체 영상 재생부를 포함하는, 입체 영상 시스템.
8. 입력된 영상의 RGB 채널들 중 어느 하나의 채널에서 에지를 추출하는 단계;
   상기 에지의 추출에 따른 경계면에 기초하여 상기 영상에 대한 객체 구별을 수행하는 단계; 및
   상기 객체 구별에 따라 분리된 객체별 구분 영상에 대해 깊이 정보를 추정하는 단계를 포함하는, 깊이 맵 생성 방법.
9. 청구항 8에 있어서,
   상기 에지를 추출하는 단계는,
   상기 입력된 영상의 B 밴드 또는 청색 밴드에 대해서 상기 에지를 추출하는 것을 특징으로 하는, 깊이 맵 생성 방법.
10. 깊이 맵 생성 장치로서,
    입력된 영상의 RGB 채널들 중 어느 하나의 채널에서 에지를 추출하고, 상기 에지의 추출에 따른 경계면에 기초하여 상기 영상에 대한 객체 구분을 수행하며, 상기 객체 구분에 따라 분리된 객체별 구분 영상에 대해 깊이 정보를 추출하되,
    상기 에지의 추출은, B 밴드 또는 청색 밴드에 대해 적용되는 것을 특징으로 하는, 깊이 맵 생성 장치.

Images