KR101939573B1

KR101939573B1 - 영상 처리 장치 및 방법

Info

Publication number: KR101939573B1
Application number: KR1020120108618A
Authority: KR
Inventors: 이석; 위호천; 남동경
Original assignee: 삼성전자주식회사
Priority date: 2012-01-27
Filing date: 2012-09-28
Publication date: 2019-01-17
Also published as: KR20130087351A

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값 차이에 기초하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 판단부, 및 상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 계산부를 포함할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 이산화된 공간 오브젝트 데이터 및 밝기/깊이 영상 데이터로부터 홀로그램(Hologram)을 생성하는 동영상 홀로그램 패턴 생성 방법 및 장치에 연관된다.

홀로그램은 빛의 세기뿐만 아니라 파동으로서의 빛이 갖는 위상까지도 기록함으로써 본래의 3차원 객체를 정확히 재현할 수 있어 시점 수의 제한이 없고 입체 피로가 없는 가장 이상적인 3차원 공간 표현 기술로 각광받고 있으며, 차세대 실감 3D 표현을 위한 핵심 기술로 주목받고 있다.

일반적으로 실세계의 공간은 무한 점을 갖게 되어 홀로그램 생성을 위해서는 무한 개의 요소 패턴이 필요하게 된다. 그러나 인간의 시각적 특성 및 SLM(Spatial Light Modulator) 등과 같은 홀로그램 표시 장치에서의 화소 피치(Pitch) 사이즈의 물리적 한계로 인해 공간 객체를 나타내는 점들을 이산화하여 홀로그램을 표현하여도 영상 재생이 가능하게 된다.

홀로그램 생성 방법에는 여러 가지가 있으나, 공간 객체의 모델링 및 연산을 통해 얻어지는 홀로그램을 컴퓨터에 의해 생성된 홀로그램(Computer Generated Hologram, CGH)이라 한다. 컴퓨터에 의한 홀로그램 생성 방법은 광학 신호들을 근사화하여 연산 장치에 의한 수학적 연산으로 간섭 패턴(Interference Pattern 혹은 Fringe Pattern)을 얻을 수 있는 기법으로, 1966년 Brown과 Lohmann에 의해 제안되었다.

이와 같은 디지털 홀로그램 생성 방법에서는 3차원 객체를 공간 포인트의 집합으로 보고, 객체를 구성하는 포인트들에 대한 홀로그램 패턴을 각각 계산 및 합산하여 3차원 객체에 대한 홀로그램 패턴을 얻는다. 홀로그램 패턴의 경우, 초당 30 프레임 이상의 영상 처리를 필요로 하기 때문에, 홀로그램 생성의 고속화가 가장 중요한 문제이다.

일측에 따르면, 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값 차이에 기초하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 판단부, 및 상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 계산부를 포함하는 영상 처리 장치가 제공된다.

일실시예에 따르면, 상기 판단부는 상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성하며, 상기 계산부는 상기 마스크를 참조하여 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서 홀로그램 패턴을 계산하고, 상기 적어도 하나의 픽셀에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공할 수 있다.

이 경우, 상기 픽셀 값은 밝기 값 및 깊이 값 중 적어도 하나일 수 있다.

일실시예에 따르면, 상기 영상 처리 장치는, 상기 홀로그램 패턴을 계산할 복수 개의 프레임 영상을 N 개의 프레임 단위 - N은 자연수 - 로 분할하여 복수 개의 프레임 그룹을 생성하고, 상기 복수 개의 프레임 그룹 중 제1 그룹에 포함된 N 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 상기 제1 영상으로 선택하는 그룹핑부를 더 포함할 수 있다.

다른 일측에 따르면, 홀로그램 패턴을 계산할 복수 개의 프레임 영상이 입력되는 경우, 상기 프레임 영상을 N 개의 프레임 단위 - N은 자연수 - 로 분할하여 복수 개의 프레임 그룹을 생성하는 그룹핑부, 상기 복수 개의 프레임 그룹 중 제1 프레임 그룹에 포함된 N 개의 프레임 영상을 픽셀 단위로 비교하여 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 판단부, 및 상기 제1 프레임 그룹에 포함된 상기 N 개의 프레임 영상 각각에 대해 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서는 상기 N 개의 프레임 영상 각각에 대해 홀로그램 패턴을 계산하고, 상기 적어도 하나의 픽셀에 대해서는 상기 N 개의 프레임 영상 중 어느 하나의 프레임 영상에서 홀로그램 패턴을 계산하여 다른 프레임 영상의 홀로그램 패턴에 복사하는 계산부를 포함하는 영상 처리 장치가 제공된다.

다른 일측에 따르면, 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상 각각을 복수 개의 블록들로 구분하여, 상기 제1 영상과 상기 제2 영상 사이에서 블록의 픽셀 값 차이가 임계치 미만인 적어도 하나의 블록을 결정하는 판단부, 및 상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 블록에 대응하는 홀로그램 패턴 계산 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 계산부를 포함하는 영상 처리 장치가 제공된다.

또 다른 일측에 따르면, 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값 차이에 기초하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 단계, 및 상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계를 포함하는 영상 처리 방법이 제공된다.

일실시예에 따르면, 상기 적어도 하나의 픽셀을 결정하는 단계는 상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성하는 단계를 포함하며, 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계는 상기 마스크를 참조하여 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서 홀로그램 패턴을 계산하는 단계, 및 상기 적어도 하나의 픽셀에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공하는 단계를 포함할 수 있다.

한편, 상기 픽셀 값은 밝기 값 및 깊이 값 중 적어도 하나일 수 있다.

일실시예에 따르면, 상기 영상 처리 방법은, 상기 홀로그램 패턴을 계산할 복수 개의 프레임 영상을 N 개의 프레임 단위 - N은 자연수 - 로 분할하여 복수 개의 프레임 그룹을 생성하는 단계, 및 상기 복수 개의 프레임 그룹 중 제1 그룹에 포함된 N 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 상기 제1 영상으로 선택하는 단계를 더 포함할 수 있다.

다른 일측에 따르면, 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상 각각을 복수 개의 블록들로 구분하여, 상기 제1 영상과 상기 제2 영상 사이에서 블록의 픽셀 값 차이가 임계치 미만인 적어도 하나의 블록을 결정하는 단계, 및 상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 블록에 대응하는 홀로그램 패턴 계산 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계를 포함하는 영상 처리 방법이 제공된다.

도 1은 일실시예에 따른 영상 처리 장치를 도시하는 블록도이다.
도 2는 일실시예에 따라 연속하여 입력된 N 개의 프레임 영상에 대한 홀로그램 패턴의 생성 과정을 나타내는 도면이다.
도 3은 일실시예에 따른 확대된 영상 처리 장치를 도시하는 블록도이다.
도 4는 N 개의 프레임 영상으로 구성된 프레임 그룹별 홀로그램 패턴 생성의 일실시예를 설명하는 도면이다.
도 5는 홀로그램 패턴을 계산하기 위하여 연속하여 입력되는 복수 개의 프레임 영상의 예시를 나타내는 도면이다.
도 6은 일실시예에 따라 생성된 홀로그램 패턴 생성을 위한 마스크의 예시를 나타내는 도면이다.
도 7은 일실시예에 의하여 프레임 영상에 대한 홀로그램 패턴 생성과 관련된 데이터 계산과정을 보여주는 도면이다.
도 8은 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
도 9는 다른 실시예에 따른 영상 처리 방법에 대한 흐름도이다.

이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.

또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.

명세서 전체에서 제1 영상은 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중 홀로그램 패턴 생성의 기준이 되는 프레임 영상으로서, 레퍼런스 프레임(Reference Frame)으로 칭할 수도 있다. 상기 제1 영상은 주로 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 의미한다.

또한, 명세서 전체에서 제2 영상은 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중 상기 제1 영상을 제외한 나머지 프레임 영상을 의미하며, 디퍼런스 프레임(Difference Frame)으로 칭하기도 한다.

명세서 전체에서 픽셀 값이란, 각 프레임 영상에 포함된 각각의 픽셀들에 대한 밝기 값 및 깊이 값 중 적어도 하나를 포함할 수 있다. 상기 픽셀 값은 상기 제1 영상 및 제2 영상의 각 좌표 별 픽셀의 밝기 값 및 깊이 값 중 적어도 하나에 따라 결정되며, 상기 제1 영상 및 제2 영상의 동일한 좌표에 대한 상기 픽셀 값을 비교하여 상기 픽셀 값의 차이를 계산할 수 있다.

그러나, 상기 픽셀 값이 이하에서 설명되는 일부 실시예에 국한되어 해석되어서는 안 되며, 별다른 언급이 없더라도 픽셀 값은 각 프레임 영상들 사이의 픽셀 들의 차이를 비교하는 기준이 되는 임의의 값일 수 있다.

그리고, 명세서 전체에서 마스크란, 홀로그램 패턴 계산 시 제1 영상의 계산 결과 중 상기 제2 영상에서 재이용될 수 있는 픽셀과, 제2 영상에서 별도로 계산되어야 하는 픽셀을 구분하기 위해 생성된 패턴이다.

상기 마스크는 상기 제1 영상 및 제2 영상의 픽셀 값 차이가 임계치 미만인 픽셀에 대해서는 상기 제1 영상의 계산 결과를 상기 제2 영상에서 재이용하는 영역으로 나타낸다.

반면에, 상기 마스크는 상기 제1 영상 및 제2 영상의 픽셀 값 차이가 임계치 이상인 픽셀에 대하여 상기 제2 영상의 홀로그램 패턴 계산시 별도로 계산하여야 하는 영역으로 표시할 수 있다.

도 1은 일실시예에 따른 영상 처리 장치(100)를 도시하는 블록도이다.

일실시예에 따른 영상 처리 장치(100)는 판단부(110) 및 계산부(120)로 구성될 수 있다.

상기 판단부(110)는 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값 차이에 기초하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정한다.

상기 판단부(110)는 상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성하기도 한다.

여기서, 상기 픽셀 값은 상기 프레임 영상에 포함된 각각의 픽셀들에 대한 밝기 값 및 깊이 값 중 적어도 하나를 포함할 수 있다.

상기 계산부(120)는 상기 제1 영상에 대한 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 판단부(110)에서 결정된 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용한다.

상기 계산부(120)는 상기 판단부(110)에서 생성한 상기 마스크를 참조하여, 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀(이를테면, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 이상인 픽셀)에 대하여 별도로 홀로그램 패턴을 계산하기도 한다. 또한, 상기 계산부(120)는 상기 적어도 하나의 픽셀에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 재이용하며, 이를 상기 별도로 계산된 홀로그램 패턴과 합산하여 상기 제2 영상에 대한 홀로그램 패턴을 생성할 수 있다.

한편, 다른 실시예에 따르면, 상기 영상 처리 장치(100)는 상기 프레임 영상을 블록 단위로 구분하고, 각 블록 별로 홀로그램 패턴 계산의 중복을 줄일 수 있다.

이 경우, 판단부(110)는 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상 및 제2 영상 각각을 복수 개의 블록들로 구분하고, 상기 제1 영상 및 제2 영상 사이에서 블록의 픽셀 값 차이가 임계치 미만인 적어도 하나의 블록을 결정한다.

또한, 계산부(120)는 상기 제1 영상에 대하여 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 블록에 대응하는 홀로그램 패턴 계산 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용한다.

도 2는 일실시예에 따라 연속하여 입력된 N 개의 프레임 영상에 대한 홀로그램 패턴의 생성 과정을 나타내고 있다.

홀로그램 패턴을 계산할 N 개의 프레임 영상(210 내지 213) 중 시간 인덱스가 가장 앞서는 영상(210)은 제1 영상으로, 나머지 영상들(211, 212, 213)은 제2 영상으로 결정된다.

상기 판단부(110)는 상기 제2 영상(211 내지 213)의 각 좌표 별 픽셀 값을, 상기 제1 영상(210)에서 상기 각 좌표에 대응하는 픽셀의 픽셀 값과 비교하고, 상기 비교 결과 각 픽셀 값의 차이를 임계치 기준으로 구분하는 마스크(220)를 생성한다.

상기 픽셀 값의 차이는 수학식 1과 같이 구할 수 있다.

상기 픽셀 값은 각 픽셀의 밝기 값 및 깊이 값 중 적어도 하나를 포함하는데, 상기 제1 영상 및 제2 영상의 밝기 값은 L[1], L[2]로, 깊이 값은 D[1], D[2]로 각각 표시한다.

좌표 (i, j)에 대한 제1 영상의 밝기 값과 상기 좌표 (i, j)에 대한 제2 영상의 밝기 값의 차이가 임계치 d_L 보다 작은 경우, 혹은 좌표 (i, j)에 대한 제1 영상의 깊이 값과 상기 좌표 (i, j)에 대한 제2 영상의 깊이 값의 차이가 임계치 d_D 보다 작은 경우에는 마스크 값(M(i, j))은 0으로 설정되어 상기 마스크(220)에서 검정색으로 표시될 수 있다.

반대로, 상기 밝기 값 또는 깊이 값의 차이가 임계치(d_L 또는 d_D) 이상인 경우에는 마스크 값(M(i, j))은 1로 설정되어 상기 마스크(220)에서 밝은 색으로 표시될 수 있다.

상기 마스크(220)에서 검정색으로 표시된 부분은 상기 제1 영상의 계산 결과를 상기 제2 영상에서 재이용하는 영역으로, 밝은 색으로 표시된 부분은 상기 제2 영상의 홀로그램 패턴 계산시 별도로 계산하여야 하는 영역으로 이해될 수 있으며, 이는 제2 영상의 홀로그램 패턴 계산 과정에서 참조될 수 있다.

상기 마스크 생성시, 수학식 1에서의 OR 연산 대신 AND 연산을 대입할 수도 있으며, 이 경우에는 상기 밝기 값 및 깊이 값의 차이가 모두 임계치(d_L 및 d_D)보다 작은 경우에만 마스크 값(M(i, j))은 1로 설정되어 상기 마스크(220)에서 검정색으로 표시될 것이다.

상기 마스크(220)가 생성되면, 상기 계산부(120)는 수학식 1을 통해 계산된 마스크 값에 따라 각각의 홀로그램 패턴을 계산한다.

상기 마스크 값이 0인 부분(검정색으로 표시된 영역)에는 백그라운드 홀로그램(Background Hologram, 230)이 생성되는데, 상기 백그라운드 홀로그램은 상기 제2 영상들의 홀로그램 패턴 계산시 재이용된다.

반면에, 상기 마스크 값이 1인 부분(밝은 색으로 표시된 영역)에는 포어그라운드 홀로그램(Foreground Hologram, 231 내지 233)이 생성되며, 상기 포어그라운드 홀로그램은 상기 제2 영상들마다 별도로 계산된다.

이를테면, 상기 판단부(110)에 의하여 상기 제1 영상과 제2 영상의 픽셀 값 차이가 임계치 미만인 영역에는 백그라운드 홀로그램(230)이, 상기 픽셀 값 차이가 임계치 이상인 영역에는 포어그라운드 홀로그램(231 내지 233)이 생성된다.

상기 계산부(120)는 상기 제1 영상(210)에 대하여 백그라운드 및 포어그라운드의 여부에 상관 없이, 전체 픽셀의 홀로그램 패턴(240)을 계산한다.

그러나, 상기 제2 영상(211 내지 213)에 대해서는 상기 백그라운드 홀로그램(230)은 재이용하고, 상기 포어그라운드 홀로그램(231 내지 233)에 대해서만 별도로 계산한다.

그리고, 상기 제2 영상의 홀로그램 패턴(241 내지 243)은 상기 백그라운드 홀로그램(230)과 상기 별도로 계산된 포어그라운드 홀로그램(231 내지 233)을 합산하는 방식으로 생성될 수 있다.

도 3은 일실시예에 따른 확대된 영상 처리 장치를 도시하는 블록도이다.

일실시예에 따른 확대된 영상 처리 장치(100)는 판단부(110), 계산부(120) 및 그룹핑부(130)로 구성된다.

상기 그룹핑부(130)는 홀로그램 패턴을 계산할 복수 개의 프레임 영상을 N 개의(N은 자연수) 프레임 단위로 분할하여 복수 개의 프레임 그룹을 생성한다.

또한, 상기 그룹핑부(130)는 상기 복수 개의 프레임 그룹 중 제1 그룹에 포함된 N 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 제1 영상으로 선택할 수 있다.

이 경우, 상기 판단부(110)는 상기 제1 그룹에 포함된 N 개의 프레임 영상을 픽셀 단위로 비교하여 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정한다.

상기 픽셀 값은 상기 프레임 영상에 포함된 각각의 픽셀들에 대한 밝기 값 및 깊이 값 중 적어도 하나를 포함한다.

상기 계산부(120)는 상기 제1 프레임 그룹에 포함된 N 개의 프레임 영상 각각에 대하여, 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서는 상기 N 개의 프레임 영상 각각에 대한 홀로그램 패턴을 계산한다.

반면에, 상기 계산부(120)는 상기 적어도 하나의 픽셀에 대해서는 상기 N 개의 프레임 영상 중 어느 하나의 프레임 영상에서 홀로그램 패턴을 계산하여 다른 프레임 영상의 홀로그램 패턴에 복사할 수 있다.

도 4는 N 개의 프레임 영상으로 구성된 프레임 그룹별 홀로그램 패턴 생성의 일실시예를 설명하고 있다.

상기 그룹핑부(130)는 홀로그램 패턴을 계산할 복수 개의 프레임 영상(410 내지 460)이 입력되는 경우, 상기 프레임 영상을 N 개의 프레임 단위로 분할하여 복수 개의 프레임 그룹을 생성한다.

도 4를 참조하면, 복수 개의 프레임 영상(410 내지 460) 중 410 내지 430의 프레임은 제1 그룹으로, 440 내지 460의 프레임은 제2 그룹으로 생성할 수 있다.

상기 제1 그룹에 포함된 n개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 레퍼런스 프레임(Reference Frame)으로 선택하며, 이는 본 명세서의 제1 영상과 같은 의미로 이해될 수 있다.

상기 제1 그룹의 프레임 영상 중 상기 레퍼런스 프레임을 제외한 나머지 영상은 디퍼런스 프레임(Difference Frame)으로 설정되며, 이는 본 명세서의 제2 영상과 같은 의미로 이해될 수 있다.

상기 레퍼런스 프레임(410)에 대하여 계산된 홀로그램 패턴, 즉 레퍼런스 홀로그램(Reference Hologram)은 프레임 내 모든 픽셀에 대하여 홀로그램 패턴 계산을 수행해야 하며, 이는 도 2에서 홀로그램 패턴 240과 대응된다.

그러나, 상기 디퍼런스 프레임(420, 430)에 대하여 계산된 홀로그램 패턴, 즉 디퍼런스 홀로그램(Difference Hologram)의 경우 백그라운드 홀로그램(도 2의 230)은 상기 레퍼런스 홀로그램에서 계산된 데이터를 이용하고, 포어그라운드 홀로그램(231 내지 233)에 대해서만 별도로 계산한다.

상기 디퍼런스 홀로그램은 도 2의 홀로그램 패턴 241 내지 243과 대응된다.

도 5는 홀로그램 패턴을 계산하기 위하여 연속하여 입력되는 복수 개의 프레임 영상을, 도 6은 상기 복수 개의 프레임 영상에 대하여 생성된 마스크의 예시를 보여준다.

도 5는 연속하여 입력되는 4개의 프레임 영상에서 자동차가 움직이는 장면을 도시하고 있다.

상기 4개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상(510)은 제1 영상(레퍼런스 프레임, R)으로, 그 외 나머지 3개의 영상(520 내지 540)은 제2 영상(디퍼런스 프레임, D)으로 결정된다.

상기 제1 영상(510)에서는 프레임에 포함된 모든 픽셀에 대하여 홀로그램 패턴을 계산한다.

그러나, 상기 제2 영상(520 내지 540)에서는 각 좌표 별 픽셀 값을, 상기 제1 영상(510)의 상기 각 좌표에 대응하는 픽셀의 픽셀 값과 비교하고, 그 차이값을 임계치 기준으로 구분하여 홀로그램 패턴을 계산한다.

이를테면, 상기 픽셀 값 차이가 임계치 미만인 영역은 상기 제1 영상에서의 계산 결과가 제2 영상에서 재이용되지만, 상기 픽셀 값 차이가 임계치 이상인 영역은 제2 영상에 대한 홀로그램 패턴을 별도로 계산해야 한다.

상기 픽셀 값 차이를 임계치 기준으로 구분하여 표시한 마스크(600)는 도 6에서 확인할 수 있다.

상기 마스크(600)에서 검정색으로 표시된 부분은 상기 제1 영상(510)의 계산 결과를 상기 제2 영상(520 내지 540)에서 재이용할 영역이다.

반면에, 밝은 색으로 표시된 부분(610)은 상기 제2 영상의 홀로그램 패턴 계산시 별도로 계산하여야 하는 영역으로, 도 5의 4개의 프레임 영상에서 픽셀 값의 변화가 있는 자동차 부분에 해당한다.

도 7은 일실시예에 의하여 프레임 영상에 대한 홀로그램 패턴 생성과 관련된 데이터 계산과정을 나타내고 있다.

8개의 프레임 영상이 입력된 경우를 가정할 때, 기존의 홀로그램 패턴 계산 방식에 의하면 상기 8개의 프레임에 포함된 모든 픽셀에 대하여 홀로그램 패턴을 계산하여야 한다.

예를 들어, 상기 8개의 프레임을 중복성의 제거 없이 모두 계산하는 경우 하나의 프레임 별 계산량을 100이라고 했을 때, 기존의 계산 방식에 따르면 총 800만큼의 계산량이 요구된다.

반면에, 도 7에 의한 일실시예에 따르면, 상기 8개의 프레임 영상들을 4개의 프레임 단위로 제1 그룹 및 제2 그룹으로 나누고(프레임 그룹의 크기가 4로 정해진 경우), 상기 프레임 그룹 별로 홀로그램 패턴 계산을 수행할 수 있다.

상기 제1 그룹에서 시간 인덱스가 가장 앞서는 프레임 영상을 제1 영상(또는 레퍼런스 프레임)으로 선택하고, 상기 제1 영상에 대해서는 백그라운드 및 포어그라운드의 여부에 상관 없이, 전체 픽셀의 홀로그램 패턴을 계산한다.

그러나, 상기 제1 그룹의 제2 영상(또는 디퍼런스 프레임)의 홀로그램 패턴 계산에 있어서는, 포어그라운드 홀로그램(721 내지 741)에 대해서만 별도로 계산하고, 백그라운드 홀로그램(722 내지 742)은 상기 제1 영상의 계산 결과를 재이용한다.

마찬가지로, 제2 그룹에서도 제1 영상에 대해서는 전체 픽셀의 홀로그램 패턴을 계산하지만, 제2 영상에서는 포어그라운드 홀로그램(751 내지 781)만 별도로 계산하고 백그라운드 홀로그램(752 내지 782)은 상기 제1 영상의 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용한다.

이 경우, 상기 제1 그룹에 대한 백그라운드 홀로그램(712 내지 742)의 계산량은 40.27이고, 상기 제2 그룹의 백그라운드 홀로그램(752 내지 782) 계산량은 39.77이라고 한다면, 상기 제1 및 제2 그룹의 제2 영상에 대한 홀로그램 패턴 계산에서 상기 백그라운드 홀로그램 계산량만큼 감소시킬 수 있다.

도 7에 의한 일실시예에 따른 홀로그램 패턴 계산량은 수학식 2로 나타낼 수 있다.

각 그룹의 제1 영상에 대해서는 백그라운드와 포어그라운드를 모두 계산하여야 하지만, 그 외 제2 영상에 대해서는 백그라운드 홀로그램은 상기 제1 영상의 데이터를 그대로 재이용할 수 있으므로, 이 경우의 전체 계산량은 559.88이 된다.

즉, 상기 8개의 프레임 영상에 대한 중복성 제거 전 대비 제거 후의 홀로그램 패턴 계산량은 70.0%로서, 30%의 계산량 저감이 가능해짐을 알 수 있다.

도 8은 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.

단계 810에서는 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값을 비교한다.

상기 픽셀 값은 상기 프레임 영상에 포함된 각각의 픽셀들에 대한 밝기 값 및 깊이 값 중 적어도 하나를 포함할 수 있다.

단계 820에서는 상기 픽셀 값의 차이가 임계치 미만인 적어도 하나의 픽셀을 결정한다.

이 때, 상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성할 수도 있다.

상기 마스크는 상기 제1 영상의 계산 결과를 상기 제2 영상에서 재이용하는 영역과, 상기 제2 영상의 홀로그램 패턴 계산시 별도로 계산하여야 하는 영역을 구분하여 표시하며, 이는 제2 영상의 홀로그램 패턴 계산 과정에서 참조될 수 있다.

단계 830에서는 상기 제1 영상에 대한 홀로그램 패턴을 계산한다.

상기 제1 영상의 홀로그램 패턴 계산은, 상기 제1 영상에 포함된 전체 픽셀들에 대하여 수행된다.

단계 840에서는 상기 제2 영상에 대한 홀로그램 패턴을 계산하는데, 이 때 상기 제1 영상의 계산 결과 중 상기 적어도 하나의 픽셀에 대응하는 결과가 상기 제2 영상의 홀로그램 패턴 계산에 이용된다.

상기 제2 영상의 홀로그램 패턴 계산은 상기 마스크를 참조하여, 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서 홀로그램 패턴을 계산할 수 있다.

또한, 상기 적어도 하나의 픽셀에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공할 수 있다.

도 9는 다른 실시예에 따른 영상 처리 방법에 대한 흐름도이다.

단계 910에서는 홀로그램 패턴을 계산할 복수 개의 프레임 영상을 N 개의(N은 자연수) 프레임 단위로 분할하여 복수 개의 프레임 그룹을 생성한다.

단계 920에서는 상기 복수 개의 프레임 그룹 중 제1 프레임 그룹에 포함된 N 개의 프레임 중에서 홀로그램 패턴 생성의 기준이 되는 제1 영상(레퍼런스 프레임)을 결정한다.

상기 제1 영상은 상기 제1 프레임 그룹에 포함된 N 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상이 주로 선택되지만, 기타 다른 기준에 의하여 임의적으로 선택될 수도 있다.

상기 제1 프레임 그룹에서 상기 제1 영상으로 결정된 프레임 영상을 제외한 다른 프레임 영상들은 자동적으로 제2 영상(디퍼런스 프레임)으로 설정된다.

단계 930에서는 상기 제1 영상의 계산 결과를 상기 제2 영상에서 재이용할 영역과, 상기 제2 영상의 홀로그램 패턴 계산시 별도로 계산할 영역을 구분하기 위한 마스크를 생성한다.

상기 마스크는, 상기 제2 영상의 각 좌표 별 픽셀 값을, 상기 제1 영상에서 상기 각 좌표에 대응하는 픽셀의 픽셀 값과 비교하고, 상기 비교 결과 각 픽셀 값의 차이를 임계치 기준으로 구분하여 표시한다.

상기 픽셀 값의 차이가 임계치 미만인 적어도 하나의 픽셀은, 상기 제1 영상에서 계산된 결과가 상기 제2 영상에서 재이용된다.

그러나, 상기 적어도 하나의 픽셀 이외의 픽셀, 즉 상기 픽셀 값의 차이가 임계치 이상인 픽셀은 상기 제2 영상의 홀로그램 패턴 계산 시 별도로 계산된다.

단계 940에서는 상기 제1 영상(레퍼런스 프레임)의 홀로그램 패턴을 계산한다.

상기 제1 영상(210)의 홀로그램 패턴 계산은 상기 제1 영상에 포함된 전체 픽셀에 대하여 수행된다.

단계 950에서는 상기 제2 영상(디퍼런스 프레임)의 홀로그램 패턴을 계산한다.

상기 제2 영상의 홀로그램 패턴은 상기 마스크를 참조하여, 상기 픽셀 값의 차이가 임계치 이상인 픽셀에 대해서만 별도로 홀로그램 패턴을 계산한다.

또한, 상기 픽셀 값의 차이가 임계치 미만인 적어도 하나의 픽셀에 대해서는 상기 제1 영상에서의 홀로그램 패턴 계산 결과를 이용하여, 상기 제2 영상에 대한 홀로그램 패턴을 제공할 수 있다.

한편, 또 다른 실시예에 따르면, 상기 영상 처리 방법은 상기 프레임 영상을 블록 단위로 구분하고, 각 블록 별로 홀로그램 패턴 계산의 중복을 줄일 수 있다.

이 경우, 홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상 및 제2 영상 각각을 복수 개의 블록들로 구분하고, 상기 제1 영상 및 제2 영상 사이에서 블록의 픽셀 값 차이가 임계치 미만인 적어도 하나의 블록을 결정한다.

그리고, 상기 제1 영상에 대하여 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 블록에 대응하는 홀로그램 패턴 계산 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용한다.

상기 일실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값 차이에 기초하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 판단부; 및
상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 계산부
를 포함하고,
상기 판단부는, 상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성하며,
상기 계산부는, 상기 마스크를 참조하여, 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서 홀로그램 패턴을 계산하고, 상기 적어도 하나의 픽셀에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공하는 영상 처리 장치.
삭제
제1항에 있어서,
상기 픽셀 값은 밝기 값 및 깊이 값 중 적어도 하나인 영상 처리 장치.
제1항에 있어서,
상기 홀로그램 패턴을 계산할 복수 개의 프레임 영상을 N 개의 프레임 단위 - N은 자연수 - 로 분할하여 복수 개의 프레임 그룹을 생성하고, 상기 복수 개의 프레임 그룹 중 제1 그룹에 포함된 N 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 상기 제1 영상으로 선택하는 그룹핑부
를 더 포함하는 영상 처리 장치.
홀로그램 패턴을 계산할 복수 개의 프레임 영상이 입력되는 경우, 상기 프레임 영상을 N 개의 프레임 단위 - N은 자연수 - 로 분할하여 복수 개의 프레임 그룹을 생성하는 그룹핑부;
상기 복수 개의 프레임 그룹 중 제1 프레임 그룹에 포함된 N 개의 프레임 영상을 픽셀 단위로 비교하여 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 판단부; 및
상기 제1 프레임 그룹에 포함된 상기 N 개의 프레임 영상 각각에 대해 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서는 상기 N 개의 프레임 영상 각각에 대해 홀로그램 패턴을 계산하고, 상기 적어도 하나의 픽셀에 대해서는 상기 N 개의 프레임 영상 중 제1 프레임 영상에서 홀로그램 패턴을 계산하여 제2 프레임 영상의 홀로그램 패턴에 복사하는 계산부
를 포함하고,
상기 판단부는, 상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성하며,
상기 계산부는, 상기 마스크를 참조하여, 상기 제2 프레임 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서 홀로그램 패턴을 계산하고, 상기 적어도 하나의 픽셀에 대해서는 상기 제1 프레임 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 프레임 영상에 대한 홀로그램 패턴을 제공하는 영상 처리 장치.
제5항에 있어서,
상기 픽셀 값은 밝기 값 및 깊이 값 중 적어도 하나인 영상 처리 장치.
홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상 각각을 복수 개의 블록들로 구분하여, 상기 제1 영상과 상기 제2 영상 사이에서 블록의 픽셀 값 차이가 임계치 미만인 적어도 하나의 블록을 결정하는 판단부; 및
상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 블록에 대응하는 홀로그램 패턴 계산 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 계산부
를 포함하고,
상기 판단부는, 상기 적어도 하나의 블록을 다른 블록과 구분하기 위한 마스크를 생성하며,
상기 계산부는, 상기 마스크를 참조하여, 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 블록 이외의 블록에 대해서 홀로그램 패턴을 계산하고, 상기 적어도 하나의 블록에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공하는 영상 처리 장치.
홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상의 픽셀 값 차이에 기초하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값 차이가 임계치 미만인 적어도 하나의 픽셀을 결정하는 단계; 및
상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계
를 포함하고,
상기 적어도 하나의 픽셀을 결정하는 단계는,
상기 적어도 하나의 픽셀을 다른 픽셀과 구분하기 위한 마스크를 생성하는 단계를 포함하며,
상기 적어도 하나의 픽셀에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계는,
상기 마스크를 참조하여, 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 픽셀 이외의 픽셀에 대해서 홀로그램 패턴을 계산하는 단계; 및
상기 적어도 하나의 픽셀에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공하는 단계
를 포함하는 영상 처리 방법.
삭제
제8항에 있어서,
상기 픽셀 값은 밝기 값 및 깊이 값 중 적어도 하나인 영상 처리 방법.
제8항에 있어서,
상기 홀로그램 패턴을 계산할 복수 개의 프레임 영상을 N 개의 프레임 단위 - N은 자연수 - 로 분할하여 복수 개의 프레임 그룹을 생성하는 단계; 및
상기 복수 개의 프레임 그룹 중 제1 그룹에 포함된 N 개의 프레임 영상 중 시간 인덱스가 가장 앞서는 영상을 상기 제1 영상으로 선택하는 단계
를 더 포함하는 영상 처리 방법.
홀로그램 패턴을 계산할 복수 개의 프레임 영상 중, 제1 영상과 제2 영상 각각을 복수 개의 블록들로 구분하여, 상기 제1 영상과 상기 제2 영상 사이에서 블록의 픽셀 값 차이가 임계치 미만인 적어도 하나의 블록을 결정하는 단계; 및
상기 제1 영상에 대해 홀로그램 패턴을 계산하고, 상기 계산 결과 중 상기 적어도 하나의 블록에 대응하는 홀로그램 패턴 계산 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계
를 포함하고,
상기 적어도 하나의 블록을 결정하는 단계는,
상기 적어도 하나의 블록을 다른 블록과 구분하기 위한 마스크를 생성하는 단계를 포함하며,
상기 적어도 하나의 블록에 대응하는 결과를 상기 제2 영상의 홀로그램 패턴 계산에 이용하는 단계는,
상기 마스크를 참조하여, 상기 제2 영상의 홀로그램 패턴 중 상기 적어도 하나의 블록 이외의 블록에 대해서 홀로그램 패턴을 계산하는 단계; 및
상기 적어도 하나의 블록에 대해서는 상기 제1 영상의 홀로그램 패턴 계산 결과를 이용하여 상기 제2 영상에 대한 홀로그램 패턴을 제공하는 단계
를 포함하는 영상 처리 방법.
제8항, 및 제10항 내지 제12항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록매체.