KR20110004267A - 깊이 맵 생성 장치 및 방법 - Google Patents

깊이 맵 생성 장치 및 방법 Download PDF

Info

Publication number
KR20110004267A
KR20110004267A KR1020100048625A KR20100048625A KR20110004267A KR 20110004267 A KR20110004267 A KR 20110004267A KR 1020100048625 A KR1020100048625 A KR 1020100048625A KR 20100048625 A KR20100048625 A KR 20100048625A KR 20110004267 A KR20110004267 A KR 20110004267A
Authority
KR
South Korea
Prior art keywords
map
pixel
depth map
depth
prominence
Prior art date
Application number
KR1020100048625A
Other languages
English (en)
Other versions
KR101710444B1 (ko
Inventor
김지연
김지원
껑위 마
씨잉 왕
하이타오 왕
정용주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN200910151710.3 priority Critical
Priority to CN200910151710.3A priority patent/CN101945295B/zh
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority claimed from US12/830,822 external-priority patent/US8553972B2/en
Publication of KR20110004267A publication Critical patent/KR20110004267A/ko
Application granted granted Critical
Publication of KR101710444B1 publication Critical patent/KR101710444B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Abstract

깊이 맵 생성 장치 및 방법이 개시되며, 보통 비디오로부터 비디오의 각 2차원 이미지와 대응하는 깊이 맵을 자동적으로 생성한다. 깊이 맵 생성 장치는: 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부; HVP 모델에 따라 현재 2차원 이미지와 대응하는 적어도 하나의 현저성 맵을 생성하는 현저성 맵 생성부; 현저성에 기한 깊이 맵 생성부; 상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부; 정합에 기한 깊이 맵 생성부; 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하는 종합 깊이 맵 생성부; 상기 종합 깊이 맵을 평활하는 시공간 영역 평활 부;를 포함한다.

Description

깊이 맵 생성 장치 및 방법{Depth Map Generating Apparatus and Method thereof}

본 발명은 깊이 맵을 생성하는 장치 및 방법에 관한 것이고, 특히 보통 비디오 중 비디오의 각 프레임의 2차원 이미지에 대응하는 깊이 맵을 자동으로 생성하는 장치 및 그 방법에 관한 것이다.

최근 연구 영역 및 상업 시장에서 3차원 텔레비전이 뜨거운 이슈가 되고 있다. 3차원 텔레비전과 종래의 2차원 텔레비전의 차이는 그것이 나타내는 입체 비디오에 있다. 시청자는 실제 3차원 장면과 같은 깊이 효과를 느낄 수 있게 된다. 이러한 효과는 사람의 두 눈의 시각 모델이론에 기초한다. 사람은 두 눈을 이용하여 실제 세계를 바라보고, 3차원 장면을 볼 때 두 눈의 이미지는 서로 다르게 된다. 독립적으로 투영되는 사람의 좌안과 우안의 두 상이한 이미지를 통해 사람은 뇌에서 3차원 장면을 형성하게 된다.

하지만, 현재 대부분의 매체(영화, 비디오) 및 이미지 획득 장치(디지털 카메라, 필름 카메라 등)는 여전히 하나의 카메라를 이용한 모노 시스템에 의존한다. 이러한 매체가 직접 3차원 텔레비전에 디스플레이되면, 3차원 효과를 나타낼 수 없다. 이러한 매체가 3차원 비디오로 전환되기 위해서는, 하나의 해결 방법으로서 많은 인원을 고용하여 수작업으로 각 영역의 깊이 맵을 표시하는 방법이 있다. 이 전환 결과는 사람들을 만족시킬 수 있으나 너무 많은 인력을 필요로 한다는 단점이 너무나 명확하다.

현재 이미 해결방법이 있으나, 모두 보통의 비디오 시퀀스에 사용하기에는 한계가 있다. 예를 들어, 한 방법은 컴퓨터 인터렉션을 필요로 하는 깊이 표시 시스템을 제공하고 있지만, 이 방법은 3차원 텔레비전에 응용하기에는 무인 감독을 완전히 실현하지 못하고 있으며, 사용자의 입력이 필요하여 실시간으로 작동할 수 없다. 또한 다른 방법으로 이미지 중 대상에 대해 수평운동을 진행하고 배경은 정지한 것으로 가정하여 운동 시각차를 이용하여 입체 비디오 차를 시뮬레이션하는 것이나, 상기 가정은 보통의 비디오 중에는 실시간이 될 수 없어서 상기 방법도 비디오 처리에는 한계가 있다.

본 발명의 실시예는 완전히 자동으로, 사용자의 입력없이 다양한 형태의 비디오(정지 이미지 시퀀스 포함)을 처리하는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따르면, 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부;와 상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도의 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부;와 상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 확정된 현재 2차원 이미지의 3차원 구조의 3차원 전형 구조를 가진 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응하는 픽셀의 정합에 기한 깊이값을 표시하는 정합에 기한 깊이 맵 생성부;를 포함하는 깊이 맵 생성 장치를 제공한다.

상기 정합에 기한 깊이값은 [0, 1] 범위 내에 있고, 0은 대응 픽셀이 최대 깊이를 가진 것을 표시하고, 1은 대응 픽셀이 최소의 깊이를 가지는 것을 표시한다.

상기 3차원 구조 정합부는: 현재 2차원 이미지를 정합된 3차원 전형 구조의 평면에 대응하는 적어도 하나의 영역으로 분할하는 평면 분할 모듈; 상기 각 영역의 특성 분포에 근거하여 상기 각 영역의 깊이를 계산하고, 상기 각 영역의 특성의 평균값을 계산하여 상기 평균값 사이의 차의 놈(norm)으로부터 두 영역 간의 유사성을 계산하며, 각 상기 영역의 밀도와 상기 두 영역 간의 유사성의 합으로 정합도를 계산하는 정합도 계산 모듈; 상기 정합도에 따라 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 확정 모듈;을 더 포함할 수 있다.

상기 정합도 계산 모듈은

Figure pat00001
에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
Figure pat00002
이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
Figure pat00003
는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량이다.

상기 정합도 계산 모듈은

Figure pat00004
에 따라 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
Figure pat00005
는 상기 영역 중 특성의 평균값이고, |.|는 놈(norm)이다.

상기 특성은 색깔, 그레디언트 또는 경계이다.

상기 놈은 1-놈, 2-놈 또는 ∞놈이다.

본 발명의 다른 일실시예에 따르면, 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부; HVP 모델에 따라 상기 복수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 나타내는 현저성 맵 생성부; 상기 적어도 하나의 현저성 맵을 사용하여 현재 2차원 이미지와 대응하는 현저성에 기한 깊이 맵을 생성하고, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성의 깊이값을 표시하는 현저성에 기한 깊이 맵 생성부; 상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부; 상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 확정된 현재 2차원 이미지의 3차원 구조의 전형 구조를 가진 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 이미지로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합된 깊이값을 표시하는 정합에 기한 깊이 맵 생성부; 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 종합 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 종합 깊이값을 표시하는 종합 깊이 맵 생성부;을 포함하는 깊이 맵 생성 장치를 제공한다.

상기 현저성 맵 생성부는: 현재 2차원 이미지의 특성을 식별함으로써 특성 현저성 맵을 생성하는 특성 현저성 맵 생성 모듈;현재 2차원 이미지와 현재 2차원 이미지의 시간 상 인접한 2차원 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성하는 운동 현저성 맵 생성 모듈; 현재 2차원 이미지의 대상을 식별함으로써 대상 현저성 맵을 생성하는 대상 현저성 맵 생성 모듈; 특성 현저성 맵 생성 모듈, 운동 현저성 맵 생성 모듈 및 대상 현저성 맵 생성 모듈 중의 어느 하나, 임의의 둘 또는 전체를 사용하여 하나, 임의의 둘 또는 전체 현저성 맵을 생성하는 현저성 맵 제어 모듈;을 포함할 수 있다.

상기 현저성에 기한 깊이 맵 생성부는 아래의 처리를 통해 현저성에 기한 깊이 맵을 생성하며: 상기 현저성 맵 생성부가 단지 대상 현저성 맵 만을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수값을 현저성에 기한 깊이 맵 중 2차원 이미지의 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 0을 현저성에 기한 깊이 맵 중의 기타 픽셀에 부여하고; 상기 현저성 맵 생성부가 특성 현저성 맵 또는 운동 현저성 맵 중의 하나를 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 특성 현저성 맵 또는 운동 현저성 맵 중의 각 픽셀의 현저성에 따라 [0, 1]범위 내의 값을 현저성에 기한 깊이 맵 중의 각 픽셀에 부여하고, 0은 대응 픽셀이 최소의 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시하며; 상기 현저성 맵 생성부가 대상의 현저성 맵을 포함하지 않은 두 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 상기 두 현저성 맵 중의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하고; 상기 현저성 맵 생성부가 대상의 현저성 맵을 포함한 두 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵 중의 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 두 현저성 맵 중 대상의 현저성 맵 이외의 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵 중의 기타 대응 픽셀에 부여하며; 상기 현저성 맵 생성부가 전체 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵 중 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 현저성 맵 중 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵의 대응 픽셀에 부여한다.

현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 픽셀값은 [0. 1] 범위 내에 있고, 0은 대응 픽셀이 최대 깊이를 가짐을 표시하고, 1은 대응 픽셀이 최소 깊이를 가짐을 표시한다.

상기 종합 깊이 맵 생성부는 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 대응 픽셀을 합하여 규격화한 값 또는 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성한다.

상기 현재 2차원 이미지 중의 대상은 사람, 얼굴 또는 문자를 포함할 수 있다.

본 발명의 다른 일 실시예에 따르면, 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부; 입력된 상기 복수의 2차원 이미지 중 각 2차원 이미지에 대응하는 최초 깊이 맵을 획득하고, 상기 최초 깊이 맵 중 각 픽셀값은 대응하는 2차원 이미지 중 대응 픽셀의 깊이값인 최초 깊이 맵 획득 부; 및 상기 최초 깊이 맵에 대해 공간 영역과 시간 영역에서 평활시키는 시공간 영역 평활부;를 포함하는 깊이 맵 평활 장치를 제공한다.

상기 시공간 영역 평활부는: HVP 모델에 근거하여, 시간(t)에서 현재 2차원 이미지 중 각 픽셀 P1(x, y, t)와 시간(t+△t)에서 2차원 이미지 중 픽셀 P2(x+△x, y+△y, t+△t) 사이의 유사성, 거리 및 깊이값의 차이에 따라 평활량(S(P1, P2))을 계산하고, 기대한 평활 효과에 따라 △x, △y와 △t값을 확정하는 평활량 계산 모듈; 상기 평활량(S(P1, P2))에 따라 평활 후의 현재 2차원 이미지의 픽셀(P1)의 깊이값(D'(P1)=D(P1)-S(P1))을 계산하고, 상기 평활량(S(P1, P2))은 평활 후의 픽셀(P1)의 깊이값과 픽셀(P2)의 깊이값(D'(P2)=D(P2)+S(P1, P2)) 사이의 차의 절대값이 평활 전의 픽셀값(P1)의 깊이값(D(P1))과 픽셀값(P2)의 깊이값(D(P2)) 사이의 차의 절대값보다 작게 하는 평활 모듈;을 더 포함할 수 있다.

상기 평활량 계산 모듈은 D(P1)-D(P2))*N(P1,P2)*C(P1,P2)에 따라 상기 평활량(S(P1, P2))을 계산하고, 여기서 D(.)는 픽셀이 깊이값이고;

Figure pat00006

여기서,

Figure pat00007
이며;

Figure pat00008

I(.)는 픽셀의 특성(색깔 또는 무늬)값이며, |.|는 절대값이다.

본 발명의 다른 일 실시예에 따르면, 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부; HVP 모델에 따라 상기 다수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 표시하는 현저성 맵 생성부; 상기 적어도 하나의 현저성 맵을 사용하여 현재 2차원 이미지에 대응하는 현저성에 기한 깊이 맵을 생성하고, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 현저성에 기한 깊이값을 표시하는, 현저성에 기한 깊이 맵 생성부; 상기 다수의 2차원 이미지 중 현재 2차원 이미지와 다수의 상기 3차원 구조 정합 모듈 중 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부; 상기 3차원 전형 구조를 미리 저장하고, 현재 2차원 이미지로 확정된 3차원 구조의 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지와 대응하는 정합도에 기한 깊이 맵로 하고, 상기 정합도에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는, 정합도에 기한 깊이 맵 생성부; 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 깊이 맵 중의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 종합 깊이값을 표시하는, 종합 깊이 맵 생성부; 및 종합 깊이 맵에 대해 공간 영역과 시간 영역 상의 평활을 하는 시공간 영역 평활부;를 포함하는 깊이 맵 생성 장치를 제공한다.

본 발명의 다른 일 실시예에 따르면, 입력된 비디오 중 연속된 복수의 2차원 이미지를 획득하는 단계; 상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계; 상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 현재 2차원 이미지의 3차원 구조로 확정된 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵 으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는 단계;를 포함하는 깊이 맵 생성 방법을 제공한다.

현재 2차원 이미지의 3차원 구조로 확정하는 상기 단계는: 현재 2차원 이미지를 정합된 3차원 전형 구조 중의 평면에 대응하는 적어도 하나의 영역으로 분할하는 단계; 상기 각 영역의 특성의 분포에 따라 각 상기 영역의 밀도를 계산하고; 상기 각 영역의 특성의 평균값을 계산하고 상기 평균값 사이의 차의 놈에 따라 두 영역 사이의 유사성을 계산하며; 상기 각 영역의 밀도와 상기 두 영역 사이의 유사성의 합에 따라 정합도를 계산하는 단계; 및 상기 정합도에 따라, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;를 포함할 수 있다.

Figure pat00009
에 따라 상기 각 영역 r의 밀도를 계산하고, 여기서 여기서
Figure pat00010
이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
Figure pat00011
는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량이다.

Figure pat00012
를 근거로 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
Figure pat00013
는 상기 영역의 특성의 평균값이며, |.|는 놈이다.

본 발명의 다른 일 실시예에 따르면, 입력된 비디오 중 연속된 복수의 2차원 이미지를 획득하는 단계; HVP 모델에 따라 상기 다수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 표시하는 단계; 상기 적어도 하나의 현저성 맵과 현재 2차원 이미지와 대응하는 현저성에 기한 깊이 맵을 사용하고, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성에 기한 깊이값을 표시하는 단계; 상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계; 상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 현재 2차원 이미지의 3차원 구조로 확정된 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는 단계; 및 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 종합 깊이 맵 중의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 종합 깊이값을 표시하는 단계;를 포함하는 깊이 맵 생성 방법을 제공한다.

상기 현저성 맵을 생성하는 것은: 특성 현저성 맵, 운동 현저성 맵 및 대상 현저성 맵 중의 하나, 임의의 둘 또는 전체를 생성하고, 현재 2차원 이미지 중의 특성을 통해 특성 현저성 맵을 생성하고, 현재 2차원 이미지와 현재 2차원 이미지가 시간 상 인접한 2차원 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성하며, 현재 2차원 이미지 중의 대상을 식별함으로써 대상 현저성 맵을 생성하는 것을 포함할 수 있다.

상기 현저성에 기한 깊이 맵을 생성하는 것은: 단지 대상의 현저성 맵만을 생성하면, (0, 1) 범위 내의 상수값을 현저성에 기한 깊이 맵의 2차원 이미지 중 대상으로 식별된 픽셀과 대응하는 픽셀에 부여하고, 0을 현저성에 기한 깊이 맵의 기타 픽셀에 부여하며; 특성 현저성 맵 또는 운동 현저성 맵 중의 하나를 생성하면, 특성 현저성 맵 또는 운동 현저성 맵의 각 픽셀의 현저성에 따라 [0, 1]범위 내의 값을 현저성에 기한 깊이 맵의 각 픽셀에 부여하고, 0은 대응 픽셀이 최소의 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시하며; 대상의 현저성 맵을 포함하지 않은 두 현저성 맵을 생성하면, 상기 두 현저성 맵 중의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하고; 대상의 현저성 맵을 포함한 두 현저성 맵을 생성하면, (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 각 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 두 현저성 맵 중 대상의 현저성 맵 이외의 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵의 기타 대응 픽셀에 부여하며; 전체 현저성 맵을 생성하면, (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 현저성 맵의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하는 것을 포함할 수 있다.

상기 현재 2차원 이미지의 3차원 구조를 확정하는 단계는: 현재 2차원 이미지를 정합 진행된 3차원 전형구조 중 평면에 대응하는 적어도 하나의 영역으로 분할하는 단계; 상기 각 영역 중 특성 분포에 따라 상기 각 영역의 밀도를 계산하고; 상기 각 영역 중 특성의 평균치를 계산하며, 상기 평균치 사이의 차의 놈에 따라 두 영역 사이의 유사성을 계산하고; 상기 각 영역의 밀도와 상기 두 영역 사이의 유사성의 합에 따라 정합도를 계산하는 단계; 및 상기 정합도에 따라, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;를 더 포함할 수 있다.

현저성에 기한 깊이 맵과 정합에 기한 깊이 맵 중 대응 픽셀값의 합하여 규격화하거나 현저성에 기한 깊이 맵 및 정합에 기한 깊이 맵 중 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성할 수 있다.

본 발명의 다른 실시예에 따르면, 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 단계; 입력된 상기 다수의 2차원 이미지 중 각 2차원 이미지에 대응하는 최초 깊이 맵을 획득하고, 상기 깊이 맵 중 각 픽셀값은 대응하는 2차원 이미지 중 대응 픽셀의 깊이값인 단계; 및 상기 최초 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계;를 포함하는 깊이 맵 평활 방법을 제공한다.

상기 최초 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계는: HVP 모델에 근거하여, 시간(t)에서 현재 2차원 이미지 중 각 픽셀 P1(x, y, t)와 시간(t+△t)에서 2차원 이미지 중 픽셀 P2(x+△x, y+△y, t+△t) 사이의 유사성, 거리 및 깊이값의 차이에 따라 평활량(S(P1, P2))을 계산하고, 기대한 평활 효과에 따라 △x, △y와 △t 값을 확정하는 단계; 상기 평활량(S(P1, P2))에 따라 평활 후의 현재 2차원 이미지의 픽셀(P1)의 깊이값(D'(P1)=D(P1)-S(P1))을 계산하고, 상기 평활량(S(P1, P2))은 평활 후의 픽셀(P1)의 깊이값과 픽셀(P2)의 깊이값(D'(P2)=D(P2)+S(P1, P2)) 사이의 차의 절대값이 평활 전의 픽셀값(P1)의 깊이값(D(P1))과 픽셀값(P2)의 깊이값(D(P2)) 사이의 차의 절대값보다 작게 하는 단계;를 포함할 수 있다.

D(P1)-D(P2))*N(P1,P2)*C(P1,P2)에 따라 상기 평활량(S(P1, P2))을 계산하고, 여기서 D(.)는 픽셀의 깊이값이고;

Figure pat00014

여기서,

Figure pat00015
이며;

Figure pat00016

I(.)는 픽셀의 특성(색깔 또는 무늬)값이며, |.|는 절대값이다.

본 발명의 다른 일 실시예에 따르면, 입력된 비디오 중 연속된 복수의 2차원 이미지를 획득하는 단계; HVP 모델에 따라 상기 다수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 표시하는 단계; 상기 적어도 하나의 현저성 맵과 현재 2차원 이미지와 대응하는 현저성에 기한 깊이 맵을 사용하여, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 현저성에 기한 깊이값을 표시하는 단계; 상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계; 상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 현재 2차원 이미지의 3차원 구조로 확정된 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는 단계; 및 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 종합 깊이 맵 중의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 종합 깊이값을 표시하는 단계; 및 종합 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계;를 포함하는 깊이 맵 생성 방법을 제공한다.

본 발명의 일 실시예에 따르면 완전히 자동으로, 사용자의 입력없이 다양한 형태의 비디오를 처리할 수 있다.

도 1은 본 발명의 제1실시예에 따른 깊이 맵을 생성하는 장치의 블록도;
도 2는 3차원 전형 구조의 일 예를 도시한 개략도;
도 3은 본 발명에 따른 3차원 구조 정합 모듈의 블록도;
도 4는 본 발명의 제2실시예에 따른 깊이 맵을 생성하는 장치의 블록도;
도 5는 본 발명에 따른 현저성 맵 생성 모듈의 블록도;
도 6은 본 발명의 제2실시예에 따른 장치를 사용하여 생성된 깊이 맵의 일예를 보이는 도면;
도 7은 본 발명의 제3실시예에 따른 깊이 맵에 대해 평활을 진행하는 장치의 블록도;
도 8은 본 발명의 공간 영역 및 시간 영역 평활 모듈의 블록도;
도 9는 본 발명에 따른 공간 영역 및 시간 영역 평활 모듈의 블록도;
도 10은 본 발명의 제4실시예에 따른 깊이 맵 생성 장치의 블록도;
도 11은 본 발명의 제4실시예의 장치에 따라 깊이 맵을 생성한 일 예를 보이는 도면;
도 12는 본 발명의 제5실시예에 따른 깊이 맵을 생성하는 방법의 플로우차트;
도 13은 본 발명의 현재 2차원 이미지의 3차원 구조를 확정하는 플로우 차트;
도 14는 본 발명의 제6실시예에 따른 깊이 맵을 생성하는 방법의 플로우 차트;
도 15는 본 발명의 제7실시예에 따른 깊이 맵에 대해 평활을 진행하는 방법의 플로우 차트;
도 16은 본 발명의 제8실시예에 따른 깊이 맵을 생성하는 방법의 플로우 차트.

아래에서 본 발명의 실시예에 대해 상세히 설명한다. 그 예는 도면 중에 나타나며, 상이한 비디오에서 동일한 구성요소에 대해서는 동일한 부호를 사용한다. 필요한 경우 동일 부호에 대한 중복 설명을 생략한다.

도 1은 본 발명의 제1실시예에 따른 깊이 맵을 생성하는 장치를 보인다.

도 1을 참조하면, 깊이 맵 생성 장치(100)는 이미지 획득부(110), 3차원 구조 정합부(120) 및 정합에 기한 깊이 맵 생성부(130)을 포함한다.

깊이 맵 생성 장치(100)의 입력은 다수의 이미지로 이루어진 비디오 시퀀스로 이루어진다. 이미지 획득부(110)은 입력된 비디오 중 시간 상 연속된 다수의 2차원 이미지를 획득한다. 다수의 2차원 이미지 중 각 이미지에 대해, 3차원 구조정합부(120)은 다수의 미리 저장된 3차원 전형 구조 중 현재 이미지와 가장 잘 정합되는 3차원 구조를 얻는다.

구체적으로 설명하면, 3차원 전형 구조의 선험 지식에 대한 응용을 통해 현재 이미지의 유사 3차원 구조를 얻을 수 있다. 3차원 전형 구조의 일련의 예는 도 2에 도시된다.

도 2를 참조하면, 제2행이 3차원 전형 구조의 예를 보이고, 제1행은 대응하는 실제 장면의 이미지를 보인다. 현실에서 장면의 실제 구조는 미리 저장된 3차원 전형 구조에 비해 복잡하지만, 사람의 눈의 시각 시스템의 경계로 인해, 복잡한 3차원 구조가 3차원 텔레비전에 보일 때에는 시청자에게 다양한 3차원 느낌을 줄 수 있어, 간단한 3차원 구조만으로도 2차원 이미지의 깊이 맵을 생성하여 시청자에게 전통적인 2차원 비디오에 비해 더 많은 3차원 느낌을 줄 수 있다.

다수의 미리 저장된 3차원 전형 구조에서 현재 이미지와 가장 잘 정합되는 3차원 구조를 얻기 위해, 현재 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산해야 할 필요가 있고, 최고 정합도를 가지는 미리 정해진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정한다.

도 3은 본 발명에 따른 3차원 구조 정합부(120)을 보인다.

도 3을 참조하면, 3차원 구조 정합부(120)은 평면 분할 모듈(121), 정합도 계산 모듈(122) 및 3차원 구조 확정 모듈(123)을 포함한다.

평면 분할 모듈(121)은 다수의 미리 저장된 3차원 전형 구조 중 하나에 따라 현재 이미지를 적어도 하나의 평면으로 분할한다. 예를 들어, 현재 이미지와 도 2의 제2행의 첫 번째 3차원 전형 구조를 정합할 때, 상기 3차원 전형 구조가 단지 하나의 평면만 가지므로, 현재 이미지의 전체는 하나의 영역이 된다; 하지만, 현재 이미지와 도 2의 제2행의 네 번째 3차원 구조를 정합할 때 현재 이미지를 네번재 3차원 전형 구조 중 네 개의 평면에 대응하는 네 개의 영역으로 분할할 필요가 있다.

그런 다음, 정합도 계산 모듈(122)는 현재 이미지의 각 영역 중 특성(색깔, 그레디언트, 경계)을 통해 각 영역의 밀도 및 두 영역 사이의 유사성을 계산하여 상기 정합도(S)(수학식 1)을 계산한다. 수학식 1에서 n은 상기 이미지를 분할한 영역의 수량, ri, rj 는 분할된 영역, Dense(ri) 는 영역 중 특성에 따라 계산한 각 영역의 밀도, diff(ri, rj)는 영역의 특성(feature)에 따라 계산된 영역 사이의 유사성이다.

Figure pat00017

Dense(ri)의 계산에 대해서 아래의 수학식 2에서 나타낸다.

Figure pat00018

수학식 2의 std(ri)는 영역(ri) 중의 특성에 대한 표준 분포이고, 아래의 수학식 3으로 표시된다.

Figure pat00019

수학식 3에서 p는 영역(ri)의 픽셀, I(p)는 픽셀(p)의 특성값이고,

Figure pat00020
는 영역(ri) 중 픽셀의 특성값의 평균값이며, area(r)은 영역(ri)의 픽셀의 수량이다.

Diff(ri, rj)의 계산은 아래의 수학식 4를 참조한다.

Figure pat00021

수학식 4에서

Figure pat00022
는 영역 중 픽셀의 특성값의 평균값이고, |.|는 놈(norm)이며, 1-놈
Figure pat00023
, 2-놈
Figure pat00024
이며, ∞놈은
Figure pat00025
이다.

또한 Dense(ri)는 영역 중 특성의 밀도이고, 상기 영역 중 특성이 더 조밀해질수록 Dense(ri)의 값도 커진다. Diff(ri, rj)는 두 영역 사이의 유사성이고, 두 영역의 차이가 커질수록, diff(ri, rj) 값도 커진다. 따라서, 비교적 높은 정합도(S)는 분할 후의 각 이미지 영역 중의 특성이 일치성과 독자성을 가지는 것을 의미한다.

일반적으로 각 3차원 평면은 일치된 이미지 특성을 가지고, 두 상이한 3차원 평면은 상이한 특성을 가진다. 그러므로, 상이한 3차원 전형 구조에 따라 현재 이미지를 분할하고 각각의 정합도를 계산할 때, 만약 얻은 임의의 정합도가 높을수록, 현재 이미지와 그 분할된 상기 임의의 3차원 전형 구조는 더 정합되는 것을 의미한다. 따라서, 3차원 구조 확정 모듈(123)은 상기 정합도에 따라 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정한다.

그런 다음, 정합에 기한 깊이 맵 생성부(130)은 확정된 3차원 구조에 따라 현재 이미지의 정합에 기한 깊이 맵을 생성한다. 상기 정합에 기한 깊이 맵 중의 각 픽셀은 [0, 1]범위 내에 있고, 현재 2차원 이미지 중 대응 픽셀의 깊이 맵을 표시한다.

본 실시예는 장면에 대한 주요 부분을 점유하는 이미지에 대해 비교적 좋은 효과를 나타낸다.

도 4는 본 발명의 제2실시예에 따른 깊이 맵을 생성하는 장치이다.

도 4를 참조하면, 깊이 맵 생성 장치(400)는 이미지 획득부 (410), 현저성 맵 생성부(420), 현저성에 기한 깊이 맵 생성부(430), 3차원 구조 정합부(120), 정합에 기한 깊이 맵 생성부(130) 및 종합 깊이 맵 생성부(440)을 포함한다. 3차원 구조 정합부(120), 정합에 기한 깊이 맵 생성부(130)과 도 1의 동일한 참조부호의 모듈을 서로 동일하다.

깊이 맵 생성 장치(400)의 입력은 다수의 이미지로 이루어진 비디오 시퀀스이다. 이미지 획득부(410)는 입력된 비디오 중 시간상 연속적인 다수의 2차원 이미지를 얻는다.

HVP(Human Visual Perception) 모델로부터, 시청자가 비디오 중 현저성(saliency)을 가지는 부분 등에 더 흥미를 느끼고 상기 현저성을 가지는 부분은 일반적으로 시청자와의 거리가 더 가깝게 느껴진다(즉, 비교적 작은 깊이를 가진다). 따라서 2차원 이미지의 현저성을 가지는 특성, 운동(motion) 또는 대상(object) 등을 식별할 수 있고, 상기 식별된 특성, 운동 또는 대상 등에 따라 [0, 1] 사이의 깊이값을 각 픽셀에 부여하여 현저성에 기한 깊이 맵을 얻을 수 있다.

이미지 중의 현저성을 가지는 특성, 운동 또는 대상을 식별하기 위해, 현저성 맵부(420)은 특성 현저성 생성 모듈(421), 운동 현저성 맵 생성 모듈(422), 대상 현저성 맵 생성 모듈(423) 및 현저성 맵 제어 모듈(424)를 도 5에 도시된 바와 같이 포함한다.

특성 현저성 맵 생성 모듈(421)은 2차원 이미지의 색깔, 그레디언트 또는 경계 특성 등의 특성을 식별한다. 예를 들어, Solbe 연산자 또는 Prewitt 연산자를 사용하여 그레디언트 특성을 식별하고, 라플라시안 경계 검출 계산법을 사용하여 이미지 중의 경계 특성을 식별한다.

운동 현저성 맵 생성 모듈(422)는 시간 상 인접한 두 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성한다.

대상 현저성 맵 생성 모듈(423)은 이미지 중의 대상(사람, 얼굴 또는 문자)를 식별함으로써 대상 현저성 맵을 생성하며, 예를 들어 부스팅(boosting) 계산법에 기초한 대상 식별 모델을 사용하여 이미지 중의 사람과 얼굴을 식별한다.

현저성 맵 제어 모듈(424)은 특성 현저성 맵 생성 모듈, 운동 현저성 맵 생성 모듈(422) 및 대상 현저성 맵 생성 모듈(423) 중의 하나, 임의의 둘 또는 전체를 사용하여 하나, 임의의 둘 또는 전체 현저성 맵을 생성한다.

예를 들어, 비디오 시퀀스 중의 2차원 이미지 중 매우 많은 사람을 포함하면, 현저성 맵 제어 모듈(424)이 사용하는 모듈 중 대상 현저성 맵 생성 모듈(423)을 포함한다. 만약 비디오 시퀀스 중의 2차원 이미지가 사람, 얼굴 또는 문자를 포함하지 않고 비교적 많은 운동을 포함하면, 현저성 맵 제어 모듈(424)이 사용하는 모듈 중 대상 현저성 맵 생성 모듈(423)은 포함하지 않을 수 있고 운동 현저성 맵 생성 모듈(422) 을 포함하는 등이다. 즉, 처리해야 할 2차원 이미지 시퀀스 자체에 따라 상기 세 종류의 모듈을 사용한다.

단지 대상 현저성 맵만을 생성하면, 현저성에 기한 깊이 맵 생성부(430)은 (0, 1) 범위 내의 상수값(예 0.8)을 현저성에 기한 깊이 맵 중의 2차원 이미지 중 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 0은 현저성에 기한 깊이 맵 중의 기타 픽셀에 부여한다.

특성 현저성 맵 또는 운동 현저성 맵 중의 하나를 생성하면, 현저성에 기한 깊이 맵 생성부(430)은 특성 현저성 맵 또는 운동 현저성 맵 중의 각 픽셀의 현저성에 따라 [0, 1] 범위 내의 값을 현저성에 기한 깊이 맵 중의 각 픽셀에 부여한다. 0은 대응 픽셀이 최소의 현저성을 가짐을 표시하며, 1은 대응 픽셀이 최대의 현저성을 가짐을 표시한다.

예를 들어, 상이한 크기로 이미지 중 각 위치에 따라 계산된 중심 픽셀 또는 중심 블록의 특성값과 상, 하, 좌, 우에 인접한 픽셀 또는 인접 블록의 특성평균값 사이의 차이에 따라 [0, 1] 범위 내의 값을 현저성에 기한 깊이 맵 중의 각 픽셀에 부여한다.

예를 들어, 색깔 특성을 사용하여 특성 현저성 맵을 생성한다고 가정하면, 상기 색깔 특성은 (R, G, B) 벡터가 된다. 먼저 단일 픽셀의 (R, G, B)의 벡터와 주변 상, 하, 좌, 우의 인접한 픽셀의 (R, G, B) 벡터의 평균값 사이의 차를 계산하고 기록한다; 그런 다음 크기를 4*4 블록으로 확대하고, 각 4*4 블록의 16개 픽셀의 (R, G, B) 벡터량의 평균을 더하여 평균을 계산(인접 평균으로 칭함)한 다음, 중심 평균과 인접 평균 사이의 차를 계산한다; 계속하여 8*8 블록의 중심 평균과 인접 평균 사이의 차를 계산한다,... 계속 상기 조작을 크기를 전체 이미지로 확대하여 실행한다; 마지막으로 각 픽셀의 모든 크기의 차를 서로 더하고 [0, 1] 범위 내로 규격화하여, 현저성에 기한 깊이 맵을 얻는다.

대상 현저성 맵을 포함하지 않은 두 개의 현저성 맵을 생성하면, 현저성에 기한 깊이 맵 생성부(430)은 생성된 두 개의 현저성 맵 중의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여한다;

대상 현저성 맵을 포함하는 두 개의 현저성 맵을 생성하면, 현저성에 기한 깊이 맵 생성부(430)은 (0, 1) 범위 내의 상수(예 0.8)을 현저성에 기한 깊이 맵 중 대상 현저성 맵 중의 각 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하며, 두 개의 현저성 맵 중 대상 현저성 맵 이외의 현저성 맵 중의 대응 픽셀값을 현저성에 기한 깊이 맵 중의 기타 대응 픽셀에 부여한다.

전체 현저성 맵을 생성하면, 현저성에 기한 깊이 맵 생성 부(430)은 (0, 1) 범위 내의 상수(예 0.8)을 현저성에 기한 깊이 맵 중의 대상 현저성 맵 중 각 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 개의 현저성 맵 중 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여한다.

종합 깊이 맵 생성부(440)은 현저성에 기한 깊이 맵과 정합된 깊이 맵 중의 대응 픽셀값을 합하여 규격화하거나 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵 중의 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성한다.

도 6은 본 발명의 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성한 효과도이다.

도 7은 본 발명의 제3실시예에 따른 깊이 맵에 평활(smoothing)을 진행하는 장치(700)를 보인다.

도 7을 참조하면, 깊이 맵에 대해 평활을 진행하는 장치(700)는 이미지 획득부(710), 깊이 맵 획득부(720)과 시공 영역 평활부(730)을 포함한다.

이미지 획득부(710)은 입력된 다수의 이미지로 이루어진 비디오 시퀀스 중 시간 상 연속된 다수의 2차원 이미지를 획득하고, 깊이 맵 획득부(720)은 입력된 상기 다수의 2차원 이미지의 각 대응하는 최초 깊이 맵을 획득할 수 있으며, 최초 이미지 중의 각 픽셀값은 대응 2차원 이미지 중 대응 픽셀의 깊이값이다.

HVP 모델에 따르면, 사람의 눈은 이미지 중의 경계 위치의 큰 깊이 변화에 민감하며, 인접 프레임 사이에 빠른 깊이 변화가 존재하면 시청자는금 현기증이 나게 된다. 따라서 상기 최초 깊이 맵에 대해 공간 영역과 시간 영역을 평활하게 하여 시청자를 편안하게 하는 깊이 맵을 생성한다.

도 8은 본 발명에 따른 시공영역 평활 부(730)을 보인다.

도 8을 참조하면, 시공영역 평활부(730)은 평활량 계산 모듈(731)과 평활 모듈(732)를 포함한다.

도 9는 본 발명에 따른 공간 영역 및 시간 영역 평활을 진행하는 일예이다.

도 8 및 도 9를 참조하면, 평활량 계산 모듈(731)은 프레임(t) 중의 픽셀(P1(x, y, t))과 공간 및 시간 영역 상 P1과 인접한 픽셀 P2(x+△x, y+△y, z+△z)의 특성값(예 색깔 또는 무늬)을 비교한다. △x, △y와 △t의 값의 설계가 너무 크면, 평활이 너무 지나치게 된다; 반대로 △x, △y와 △t의 값의 설계가 너무 작으면, 평활 효과가 나타나지 않는다. 따라서 얻고자 기대하는 평활 효과에 따라 △x, △y와 △t의 값을 확정하고, 예를 들어 △x=5, △y=5와 △t=5에서 비교적 적당한 평활 효과를 얻을 수 있다.

HVP 모델에 따르면, 예를 들어 색깔을 특성으로 사용하는 경우, P1과 P2의 색깔이 비슷하면, P1과 P2의 깊이도 비슷하게 된다. 따라서 P1과 P2의 색깔에 따라 P1과 P2의 깊이를 조정하여 평활 후의 픽셀 P1의 깊이값 D(P1)과 픽셀 P2의 깊이값 D(P2) 사이의 차의 절대값이 평활 전의 픽셀(p1)의 깊이값 D(P1)과 픽셀 P2의 깊이값 D(P2) 사이의 차보다 작게 되게 한다.

평활량 계산 모듈(731)은 아래의 수학식 5에 따라 평활량(S)를 계산한다.

Figure pat00026

수학식 5에서 D(.)는 픽셀의 깊이값이다. C(P1,P2)는 픽셀 P1과 P2의 특성값 사이의 차(즉, 유사성)이고, N(P1, P2)는 (△x, △y, △t)에 따라 계산된 P1과 P2 사이의 거리이다. 아래의 수학식 6과 7에 따라 C(p1, P2)와 N(P1, P2)를 계산할 수 있다.

Figure pat00027

수학식 6에서 I(.)는 픽셀의 특성값이고, |.|는 절대값이다.

Figure pat00028

수학식 7에서,

Figure pat00029
이다.

평활 모듈(732)는 상기 평활량S(P1, P2)에 따라 평활 후의 현재 2차원 이미지 픽셀(P1)의 깊이값

Figure pat00030
을 계산한다.

현재 2차원 이미지의 각 픽셀은 평활량 계산 모듈(731)과 평활 모듈(732)의 기능을 응용하여 평활 후의 현재 2차원 이미지의 깊이 맵을 얻을 수 있다.

도 10은 본 발명의 제4실시예에 따른 깊이 맵을 생성하는 장치(1000)을 보인다.

깊이 맵 생성 장치(1000)은 이미지 획득부(1010), 현저성 맵 생성부(420), 현저성에 기한 깊이 맵 생성부(430), 3차원 구조 정합부(120), 정합에 기한 깊이 맵 생성부(130), 종합 깊이 맵 생성부(440)과 시공영역 평활 부(730)을 포함한다.

현저성 맵 생성부(420), 현저성에 기한 깊이 맵 생성 부(430)과 도 4 중 도시된 동일 참조부호의 모듈은 동일하다. 3차원 구조 정합부(120), 정합에 기한 깊이 맵 생성 부(130)과 도 1에 도시된 동일 참조부호의 모듈을 동일하다. 시공영역 평활부(730)과 도 7에 도시된 동일 참조부호의 모듈은 동일하다.

이미지 획득 장치(1010)은 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득한다.

도 11은 본 발명에 따른 깊이 맵 생성 장치(1000)이 생성한 깊이 맵의 예이다. 본 발명에 따른 깊이 맵은 비교적 좋은 효과를 가진다.

도 12는 본 발명의 제5실시예에 따른 정합에 기한 깊이 맵 생성 방법의 플로우 차트이다.

도 12를 참조하면, 단계(S1210)는 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 얻는다.

단계(S1220)은 현재 2차원 이미지와 미리 저장된 3차원 전형 구조의 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 이미지의 3차원 구조로 확정한다. 비록 미리 저장된 3차원 전형 구조가 일반적으로 현실의 장면의 실제 구조보다 간단하지만, 사람의 눈의 시각 시스템의 특성으로 인해, 간단한 3차원 전형 구조만으로도 2차원 이미지의 깊이 맵을 생성하여 시청자에게 전통적인 2차원 비디오보다 훨씬 양호한 3차원 느낌을 제공할 수 있다.

다수의 미리 저장된 3차원 전형 구조로부터 얻은 현재 이미지와 최고 정합도를 가지는 3차원 구조를 얻기 위해, 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산해야 한다.

도 13은 본 발명에 따른 정합도를 계산하는 플로우 차트이다.

도 13을 참조하면, 단계(S1221)에서 다수의 미리 저장된 3차원 전형 구조의 하나에 따라 현재 이미지를 적어도 하나의 평면으로 분할한다. 예를 들어, 현재 이미지와 도 2의 정합을 진행한 3차원 전형 구조에 하나의 평면이 있는 경우, 현재 이미지의 전체를 하나의 분할 영역으로 한다; 하지만, 현재의 이미지와 도 2의 정합을 진행한 3차원 전형 구조는 다수의 평면을 가지는 경우 현재 이미지를 상기 3차원 전형 구조의 각 평면에 대응하는 다수의 영역으로 분할해야 한다.

그런 다음 단계(S1221)은 수학식 1, 수학식 2, 수학식 3 및 수학식 4를 사용하여 현재 이미지의 각 영역 중의 특성(색깔, 그레디언트 또는 경계)를 통해 각 영역의 밀도 및 두 영역 사이의 유사성을 계산하고 상기 정합도(S)를 계산한다. 수학식1을 통해 계산된 정합도(S)가 높을수록, 이는 현재 이미지와 그 분할된 기초한 3차원 전형구조가 정합이 더 잘되는 것을 의미한다.

따라서, 단계(S1225)에서 최고 정합도를 가지는 3차원 전형 구조는 현재 이미지의 3차원 구조로 확정된다.

그런 다음, 다시 도 12를 참조하면, 단계(S1230)에서 확정된 3차원 구조에 따라 현재 이미지의 정합에 기한 깊이 맵을 생성한다. 상기 정합에 기한 깊이 맵의 각 픽셀은 [0, 1] 범위 내에 있고, 현재 2차원 이미지의 대응 픽셀의 깊이값을 표시한다. 0은 대응 픽셀이 최대 깊이를 가짐을 표시하고, 1은 대응 픽셀이 최소 깊이를 가짐을 표시한다. 본 실시예는 장면에 대해 점하는 주요 부분의 이미지에 비교적 좋은 효과를 생성한다.

도 14는 본 발명의 제6실시예에 따른 현저성에 기한 깊이 맵의 플로우 차트이다.

도 14를 참조하면, 단계(S1410)에서 입력된 비디오 중 시간 상 연속적인 복수의 2차원 이미지를 획득한다.

단계(S1420)에서 특성 현저성 맵, 운동 현저성 맵 및 대상 현저성 맵의 하나, 임의의 둘 또는 전체 현저성 맵을 생성하고, 2차원의 특성(색깔, 그레디언트 또는 경계 특성)을 식별함으로써 특성 현저성 맵을 생성하고, 시간 상 인접한 두 2차원 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성하며, 2차원 이미지의 대상(사람, 얼굴 또는 문자)를 식별함에 따라 대상의 현저성 맵을 생성한다.

단계(S1420)에서 단지 대상 현저성 맵만을 생성한다면, 단계(S1430)에서 (0, 1) 범위 내의 상수값(예 0.8)을 현저성 깊이 맵 중 2차원 이미지의 대상으로 식별된 픽셀에 대응된 픽셀에 부여하며, 0을 현저성에 기한 깊이 맵 중 기타 픽셀에 부여한다.

단계(S1420)에서 특성 현저성 맵 또는 운동 현저성 맵 중 하나를 생성하면, 단계(S1430)에서 특성 현저성 맵 또는 운동 현저성 맵의 각 픽셀의 현저성에 따라 [0, 1] 범위 내의 값을 현저성에 기한 깊이 맵 중의 각 픽셀에 부여한다. 0은 대응 픽셀이 최소 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시한다. 예를 들어, 상이한 크기로 이미지의 각 위치에서 계산한 중심 픽셀 또는 중심 블록의 특성값과 상, 하, 좌 및 우의 인접한 픽셀 또는 인접 블록의 특성 평균값 사이의 차에 따라 [0, 1]범위 내의 값을 현저성 깊이 맵의 각 픽셀에 부여한다.

단계(S1420)에서 대상 현저성 맵을 포함하지 않은 두 개의 현저성 맵을 생성하면, 단계(S1430)에서 두 현저성 맵 중 대응 픽셀을 합하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵의 대응 픽셀에 부여한다.

단계(S1420)에서 대상 현저성 맵을 포함한 두 개의 현저성 맵을 생성하면, 단계(S1430)에서 (0, 1) 범위 내 상수(예 0.8)을 현저성에 기한 깊이 맵 중 대상 현저성 맵의 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 상기 두 개의 현저성 맵 중 대상 현저성 맵을 제외한 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵의 기타 대응 픽셀에 부여한다.

단계(S1420)에서 전체 현저성 맵을 생성하면, 단계(S1430)에서 (0, 1)범위 내 상수(예 0.8)를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 식별된 각 대상의 픽셀에 대응하는 픽셀에 부여하며, 대상 현저성 맵을 제외한 두 개의 현저성 맵의 대응 픽셀을 합하여 규격화한값 또는 비교적 큰 값을 현저성에 기한 깊이 맵의 대응 픽셀에 부여한다.

단계(S1440)과 도 12의 단계(S1220)은 동일하고, 단계(S1450)과 도 12의 단계(S1230)이 동일하다.

단계(S1460)에서, 단계(S1430)에서 생성한 현저성에 기한 깊이 맵과 단계(S1450)에서 생성한 정합에 기한 깊이 맵의 대응 픽셀값을 더하여 규격화하거나 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵 중 대응 픽셀의 비교적 큰 값을 선택함으로써 종합 깊이 맵을 생성한다.

도 15는 본 발명의 제7실시예에 따른 깊이 맵을 평활하는 방법의 플로우차트이다.

도 15를 참조하면, 단계(S1510)에서 입력된 다수의 이미지로 이루어진 비디오 시퀀스 중 시간 상 연속적인 2차원 이미지를 획득한다.

단계(S1520)에서 입력된 각 2차원 이미지와 대응하는 최초 깊이 맵을 획득하고, 상기 최초 깊이 맵에서 각 픽셀값은 대응 2차원 이미지 중 대응 픽셀의 깊이값을 나타낸다.

도 9를 참조하면, 단계(S1530)에서 프레임(t) 중의 픽셀(P1(x, y, t))과 공간 및 시간 영역 상 P1과 인접한 픽셀 P2(x+△x, y+△y, t+△t)의 특성값(예 색깔 또는 무늬)을 비교한다. △x, △y와 △t의 값의 설계가 너무 크면, 평활이 너무 지나치게 된다; 반대로 △x, △y와 △t의 값의 설계가 너무 작으면, 평활 효과가 나타나지 않는다. 따라서 얻고자 기대하는 평활 효과에 따라 △x, △y와 △t의 값을 확정하고, 예를 들어 △x=5, △y=5, △t=5에서 비교적 적당한 평활 효과를 얻을 수 있다. HVP 모델에 따르면, 예를 들어 색깔을 특성으로 사용하는 경우, P1과 P2의 색깔이 비슷하면, P1과 P2의 깊이도 비슷하게 된다. 따라서 P1과 P2의 색깔에 따라 P1과 P2의 깊이를 조절하여 평활 수의 픽셀 P1의 깊이값 D'(P1)과 픽셀 P2의 깊이값 D'(P2) 사이의 차의 절대값이 평활 전의 픽셀(p1)의 깊이값 D(P1)과 픽셀 P2의 깊이값 D(P2) 사이의 차보다 작게 되게 한다.

수학식 5, 6, 7에 따라 평활량(S)를 계산한다.

그런 다음, 상기 평활량S(P1, P2)에 따라 평활 후의 현재 2차원 이미지 픽셀(P1)의 깊이값 D'(P1)=D(P1)-S(P1)을 계산한다.

현재 2차원 이미지의 각 픽셀에 대해 평활량(S)를 계산하고 평활을 진행하며, 평활 후의 현재 2차원 이미지의 깊이 맵을 얻는다.

도 16은 본 발명의 제8실시예에 따른 깊이 맵을 생성하는 방법의 플로우차트이다.

도 16을 참조하면, 단계(S1610)에서 입력된 다수의 이미지로 이루어진 비디오 시퀀스 중 시간 상 연속적인 2차원 이미지를 획득한다. 단계(S1620), 단계(S1630), 단계(S1640), 단계(S1650) 및 단계(S1660)은 각각 도 14의 단계(S1420), 단계(S1430), 단계(S1440), 단계(S1450) 및 단계(S1460)과 동일하다. 단계(S1670)과 도 15의 단계(S1523)은 동일하다.

또한 본 발명의 일 실시예에 따른 깊이 맵 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100, 400, 1000 깊이 맵 생성 장치
110, 410, 710, 1010 이미지 획득부
120 3차원 구조 정합부
121 평면 분할 모듈
122 정합도 계산 모듈
123 3차원 구조 확정 모듈
130 정합에 기한 깊이 맵 생성부
420 현저성 맵 생성부
421 특성 현저성 맵 생성 모듈
422 운동 현저성 맵 생성 모듈
423 대상 현저성 맵 생성 모듈
424 현저성 맵 제어 모듈
430 현저성에 기한 깊이 맵 생성부
440 종합 깊이 맵 생성부
700 평활 장치
720 깊이 맵 획득부
730 시공 영역 평활부
731 평활량 계산 모듈
732 평활 모듈

Claims (73)

  1. 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부;
    상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도의 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부;
    상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 확정된 현재 2차원 이미지의 3차원 구조의 3차원 전형 구조를 가진 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응하는 픽셀의 정합에 기한 깊이값을 표시하는 정합에 기한 깊이 맵 생성부;
    을 포함하는 깊이 맵 생성 장치.
  2. 제1항에 있어서,
    상기 정합에 기한 깊이값은 [0, 1] 범위 내에 있고, 0은 대응 픽셀이 최대 깊이를 가진 것을 표시하고, 1은 대응 픽셀이 최소의 깊이를 가지는 것을 표시하는 깊이 맵 생성 장치.
  3. 제1항에 있어서,
    상기 3차원 구조 정합부는:
    현재 2차원 이미지를 정합된 3차원 전형 구조의 평면에 대응하는 적어도 하나의 영역으로 분할하는 평면 분할 모듈; 및
    상기 각 영역의 특성 분포에 근거하여 상기 각 영역의 깊이를 계산하고, 상기 각 영역의 특성의 평균값을 계산하여 상기 평균값 사이의 차의 놈(norm)으로부터 두 영역 간의 유사성을 계산하며, 각 상기 영역의 밀도와 상기 두 영역 간의 유사성의 합으로 정합도를 계산하는 정합도 계산 모듈;
    상기 정합도에 따라 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 확정 모듈;
    을 더 포함하는 깊이 맵 생성 장치.
  4. 제3항에 있어서,
    상기 정합도 계산 모듈은
    Figure pat00031
    에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
    Figure pat00032
    이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
    Figure pat00033
    는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량인 깊이 맵 생성 장치.
  5. 제3항에 있어서,
    상기 정합도 계산 모듈은
    Figure pat00034
    에 따라 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
    Figure pat00035
    는 상기 영역 중 특성의 평균값이고, |.|는 놈인 깊이 맵 생성 장치.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 특성은 색깔, 그레디언트 또는 경계인 깊이 맵 생성 장치.
  7. 제5항에 있어서,
    상기 놈은 1-놈, 2-놈 또는 ∞놈인 깊이 맵 생성 장치.
  8. 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부;
    HVP 모델에 따라 상기 복수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 나타내는 현저성 맵 생성부;
    상기 적어도 하나의 현저성 맵을 사용하여 현재 2차원 이미지와 대응하는 현저성에 기한 깊이 맵을 생성하고, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성의 깊이값을 표시하는 현저성에 기한 깊이 맵 생성부;
    상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부;
    상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 확정된 현재 2차원 이미지의 3차원 구조의 전형 구조를 가진 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 이미지로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합된 깊이값을 표시하는 정합에 기한 깊이 맵 생성부;
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 종합 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 종합 깊이값을 표시하는 종합 깊이 맵 생성부;
    을 포함하는 깊이 맵 생성 장치.
  9. 제8항에 있어서,
    상기 현저성 맵 생성부는:
    현재 2차원 이미지의 특성을 식별함으로써 특성 현저성 맵을 생성하는 특성 현저성 맵 생성 모듈;
    현재 2차원 이미지와 현재 2차원 이미지의 시간 상 인접한 2차원 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성하는 운동 현저성 맵 생성 모듈;
    현재 2차원 이미지의 대상을 식별함으로써 대상 현저성 맵을 생성하는 대상 현저성 맵 생성 모듈;
    특성 현저성 맵 생성 모듈, 운동 현저성 맵 생성 모듈 및 대상 현저성 맵 생성 모듈 중의 어느 하나, 임의의 둘 또는 전체를 사용하여 하나, 임의의 둘 또는 전체 현저성 맵을 생성하는 현저성 맵 제어 모듈;
    을 포함하는 깊이 맵 생성 장치.
  10. 제9항에 있어서,
    상기 현저성에 기한 깊이 맵 생성부는 아래의 처리를 통해 현저성에 기한 깊이 맵을 생성하며:
    상기 현저성 맵 생성부가 단지 대상 현저성 맵만을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수값을 현저성에 기한 깊이 맵 중 2차원 이미지의 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 0을 현저성에 기한 깊이 맵 중의 기타 픽셀에 부여하고;
    상기 현저성 맵 생성부가 특성 현저성 맵 또는 운동 현저성 맵 중의 하나를 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 특성 현저성 맵 또는 운동 현저성 맵 중의 각 픽셀의 현저성에 따라 [0, 1]범위 내의 값을 현저성에 기한 깊이 맵 중의 각 픽셀에 부여하고, 0은 대응 픽셀이 최소 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시하며;
    상기 현저성 맵 생성부가 대상의 현저성 맵을 포함하지 않은 두 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 상기 두 현저성 맵 중의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하고;
    상기 현저성 맵 생성부가 대상의 현저성 맵을 포함한 두 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵 중의 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 두 현저성 맵 중 대상의 현저성 맵 이외의 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵 중의 기타 대응 픽셀에 부여하며;
    상기 현저성 맵 생성부가 전체 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵 중 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 현저성 맵 중 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵의 대응 픽셀에 부여하는 깊이 맵 생성 장치.
  11. 제8항에 있어서,
    상기 3차원 구조 정합부는:
    현재 2차원 이미지를 정합된 3차원 전형 구조의 평면에 대응하는 적어도 하나의 영역으로 분할하는 평면 분할 모듈;
    상기 각 영역의 특성 분포에 따라 상기 각 영역의 밀도를 계산하며; 상기 각 영역의 특성의 평균값을 계산하고 상기 평균값 사이의 차의 놈에 따라 두 영역 사이의 유사성을 계산하며; 상기 각 영역의 밀도와 상기 두 영역 간의 유사성의 합에 따라 정합도를 계산하는 정합도 계산 모듈;
    상기 정합도에 근거하여 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 확정 모듈;
    을 포함하는 깊이 맵 생성 장치.
  12. 제11항에 있어서,
    상기 정합도 계산 모듈은
    Figure pat00036
    에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
    Figure pat00037
    이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
    Figure pat00038
    는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량인 깊이 맵 생성 장치.
  13. 제11항에 있어서,
    상기 정합도 계산 모듈은
    Figure pat00039
    에 따라 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
    Figure pat00040
    는 상기 영역의 특성의 평균값이며, |.|는 놈인 깊이 맵 생성 장치.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 특성은 색깔, 그레디언트 또는 한계인 깊이 맵 생성 장치.
  15. 제13항에 있어서,
    상기 놈은 1-놈, 2-놈 또는 ∞놈인 깊이 맵 생성 장치.
  16. 제8항에 있어서,
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 픽셀값은 [0. 1] 범위 내에 있고, 0은 대응 픽셀이 최대 깊이를 가짐을 표시하고, 1은 대응 픽셀이 최소 깊이를 가짐을 표시하는 깊이 맵 생성 장치.
  17. 제8항에 있어서,
    상기 종합 깊이 맵 생성부는 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 대응 픽셀을 합하여 규격화한 값 또는 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성하는 깊이 맵 생성 장치.
  18. 제9항에 있어서,
    상기 현재 2차원 이미지 중의 대상은 사람, 얼굴 또는 문자를 포함하는 깊이 맵 생성 장치.
  19. 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부;
    입력된 상기 복수의 2차원 이미지 중 각 2차원 이미지에 대응하는 최초 깊이 맵을 획득하고, 상기 최초 깊이 맵 중 각 픽셀값은 대응하는 2차원 이미지 중 대응 픽셀의 깊이값인 최초 깊이 맵 획득 부; 및
    상기 최초 깊이 맵에 대해 공간 영역과 시간 영역에서 평활시키는 시공간 영역 평활부;
    를 포함하는 깊이 맵 평활 장치.
  20. 제19항에 있어서,
    상기 시공간 영역 평활부는:
    HVP 모델에 근거하여, 시간(t)에서 현재 2차원 이미지 중 각 픽셀 P1(x, y, t)와 시간(t+△t)에서 2차원 이미지 중 픽셀 P2(x+△x, y+△y, t+△t) 사이의 유사성, 거리 및 깊이값의 차이에 따라 평활량(S(P1, P2))을 계산하고, 기대한 평활 효과에 따라 △x, △y와 △t 값을 확정하는 평활량 계산 모듈;
    상기 평활량(S(P1, P2))에 따라 평활 후의 현재 2차원 이미지의 픽셀(P1)의 깊이값(D'(P1)=D(P1)-S(P1))을 계산하고, 상기 평활량(S(P1, P2))은 평활 후의 픽셀(P1)의 깊이값과 픽셀(P2)의 깊이값(D'(P2)=D(P2)+S(P1, P2)) 사이의 차의 절대값이 평활 전의 픽셀값(P1)의 깊이값(D(P1))과 픽셀값(P2)의 깊이값(D(P2)) 사이의 차의 절대값보다 작게 하는 평활 모듈;
    을 더 포함하는 깊이 맵 평활 장치.
  21. 제20항에 있어서,
    상기 평활량 계산 모듈은 D(P1)-D(P2))*N(P1,P2)*C(P1,P2)에 따라 상기 평활량(S(P1, P2))을 계산하고, 여기서 D(.)는 픽셀이 깊이값이고;
    Figure pat00041

    여기서,
    Figure pat00042
    이며;
    Figure pat00043

    I(.)는 픽셀의 특성(색깔 또는 무늬)값이며, |.|는 절대값인 깊이 맵 평활 장치.
  22. 제21항에 있어서,
    상기 특성은 색깔 또는 무늬인 깊이 맵 평활 장치.
  23. 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 이미지 획득부;
    HVP 모델에 따라 상기 다수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 표시하는 현저성 맵 생성부;
    상기 적어도 하나의 현저성 맵을 사용하여 현재 2차원 이미지에 대응하는 현저성에 기한 깊이 맵을 생성하고, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 현저성에 기한 깊이값을 표시하는, 현저성에 기한 깊이 맵 생성부;
    상기 다수의 2차원 이미지 중 현재 2차원 이미지와 다수의 상기 3차원 구조 정합 모듈 중 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 정합부;
    상기 3차원 전형 구조를 미리 저장하고, 현재 2차원 이미지로 확정된 3차원 구조의 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지와 대응하는 정합도에 기한 깊이 맵으로 하고, 상기 정합도에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는, 정합도에 기한 깊이 맵 생성부;
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 깊이 맵 중의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 종합 깊이값을 표시하는, 종합 깊이 맵 생성부; 및
    종합 깊이 맵에 대해 공간 영역과 시간 영역 상의 평활을 하는 시공간 영역 평활부;
    를 포함하는 깊이 맵 생성 장치.
  24. 제23항에 있어서,
    상기 현저성 맵 생성부는:
    현재 2차원 이미지의 특성을 식별함으로써 특성 현저성 맵을 생성하는 특성 현저성 맵 생성 모듈;
    현재 2차원 이미지와 현재 2차원 이미지가 시간 상 인접한 2차원 이미지 사이의 운동을 통해 운동 현저성 맵을 생성하는 운동 현저성 맵 생성 모듈;
    현재 2차원 이미지의 대상을 식별함으로써 대상 현저성 맵을 생성하는 대상 현저성 맵 생성 모듈;
    상기 특성 현저성 맵 생성 모듈, 상기 운동 현저성 맵 생성 모듈 및 상기 대상 현저성 맵 생성 모듈 중의 하나, 임의의 둘 또는 전체를 사용하여, 하나, 임의의 둘 또는 전체 현저성 맵을 생성하는 현저성 맵 제어 모듈;
    을 포함하는 깊이 맵 생성 장치.
  25. 제24항에 있어서,
    상기 현저성에 기한 깊이 맵 생성부는 아래 처리를 통해 현저성에 기한 깊이 맵을 생성하며:
    상기 현저성 맵 생성부가 단지 대상의 현저성 맵만을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수값을 현저성에 기한 깊이 맵의 2차원 이미지 중 대상으로 식별된 픽셀과 대응하는 픽셀에 부여하고, 0을 현저성에 기한 깊이 맵 중의 기타 픽셀에 부여하며;
    상기 현저성 맵 생성부가 특성 현저성 맵 또는 운동 현저성 맵의 하나를 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 특성 현저성 맵 또는 운동 현저성 맵의 각 픽셀의 현저성에 따라 [0, 1]범위 내의 값을 현저성에 기한 깊이 맵 중의 각 픽셀에 부여하고, 0은 대응 픽셀이 최소의 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시하며;
    상기 현저성 맵 생성부가 대상의 현저성 맵을 포함하지 않은 두 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 상기 두 현저성 맵의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵의 대응 픽셀에 부여하고;
    상기 현저성 맵 생성부가 대상의 현저성 맵을 포함한 두 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 각 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 두 현저성 맵 중 대상의 현저성 맵 이외의 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵의 기타 대응 픽셀에 부여하며;
    상기 현저성 맵 생성부가 전체 현저성 맵을 생성하면, 상기 현저성에 기한 깊이 맵 생성부는 (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 대상으로 식별된 각 픽셀과 상응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 현저성 맵의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵의 대응 픽셀에 부여하는 깊이 맵 생성 장치.
  26. 제23항에 있어서,
    상기 3차원 구조 정합부는:
    현재 2차원 이미지를 정합된 3차원 전형 구조의 평면에 대응하는 적어도 하나의 영역으로 분할하는 평면 분할 모듈;
    상기 각 영역의 특성 분포에 근거하여 상기 각 영역의 밀도를 계산하며; 상기 각 영역의 특성의 평균값을 계산하고 상기 평균값 사이의 차의 놈에 근거하여 두 영역 사이의 유사성을 계산하며; 상기 각 영역의 밀도와 상기 두 영역 간의 유사성의 합에 근거하여 정합도를 계산하는 정합도 계산 모듈;
    상기 정합도에 근거하여 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 3차원 구조 확정 모듈;
    을 포함하는 깊이 맵 생성 장치.
  27. 제26항에 있어서,
    상기 정합도 계산 모듈은
    Figure pat00044
    에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
    Figure pat00045
    이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
    Figure pat00046
    는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량인 깊이 맵 생성 장치.
  28. 제27항에 있어서,
    상기 정합도 계산 모듈은
    Figure pat00047
    에 따라 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
    Figure pat00048
    는 상기 영역의 특성의 평균값이며, |.|는 놈인 깊이 맵 생성 장치.
  29. 제26항 내지 제28항 중 어느 한 항에 있어서,
    상기 특성은 색깔, 그레디언트 또는 경계인 깊이 맵 생성 장치.
  30. 제28항에 있어서,
    상기 놈은 1-놈, 2-놈 또는 ∞놈인 깊이 맵 생성 장치.
  31. 제23항에 있어서,
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 픽셀값은 [0. 1] 범위 내에 있고, 0은 대응 픽셀이 최대 깊이를 가짐을 표시하고, 1은 대응 픽셀이 최소 깊이를 가짐을 표시하는 깊이 맵 생성 장치.
  32. 제23항에 있어서,
    상기 종합 깊이 맵 생성부는 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 대응 픽셀을 합하여 규격화하거나 현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성하는 깊이 맵 생성 장치.
  33. 제23항에 있어서,
    상기 현재 2차원 이미지 중의 대상은 사람, 얼굴, 또는 문자를 포함하는 깊이 맵 생성 장치.
  34. 제23항에 있어서,
    상기 시공 영역 평활부는:
    HVP 모델에 근거하여, 시간(t)에서 현재 2차원 이미지 중 각 픽셀 P1(x, y, t)와 시간(t+△t)에서 2차원 이미지 중 픽셀 P2(x+△x, y+△y, t+△t) 사이의 유사성, 거리 및 깊이값의 차이에 따라 평활량(S(P1, P2))을 계산하고, 기대한 평활 효과에 따라 △x, △y와 △t 값을 확정하는 평활량 계산 모듈;
    상기 평활량(S(P1, P2))에 따라 평활 후의 현재 2차원 이미지의 픽셀(P1)의 깊이값(D'(P1)=D(P1)-S(P1))을 계산하고, 상기 평활량(S(P1, P2))은 평활 후의 픽셀(P1)의 깊이값과 픽셀(P2)의 깊이값(D'(P2)=D(P2)+S(P1, P2)) 사이의 차의 절대값이 평활 전의 픽셀값(P1)의 깊이값(D(P1))과 픽셀값(P2)의 깊이값(D(P2)) 사이의 차의 절대값보다 작게 하는 평활 모듈;
    을 더 포함하는 깊이 맵 생성 장치.
  35. 제34항에 있어서,
    상기 평활량 계산 모듈은 D(P1)-D(P2))*N(P1,P2)*C(P1,P2)에 따라 상기 평활량(S(P1, P2))을 계산하고, 여기서 D(.)는 픽셀이 깊이값이고;
    Figure pat00049

    여기서,
    Figure pat00050
    이며;
    Figure pat00051

    I(.)는 픽셀의 특성(색깔 또는 무늬)값이며, |.|는 절대값인 깊이 맵 생성 장치.
  36. 제35항에 있어서,
    상기 특성은 색깔 또는 무늬인 깊이 맵 생성 장치.
  37. 입력된 비디오 중 연속된 복수의 2차원 이미지를 획득하는 단계;
    상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;
    상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 현재 2차원 이미지의 3차원 구조로 확정된 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는 단계;
    를 포함하는 깊이 맵 생성 방법.
  38. 제37항에 있어서,
    상기 정합도에 기한 깊이값은 [0, 1]범위 내에 있고, 0은 대응 픽셀이 최대 깊이를 가짐을 표시하고, 1은 대응 픽셀이 최소 깊이를 가짐을 표시하는 깊이 맵 생성 방법.
  39. 제37항에 있어서,
    현재 2차원 이미지의 3차원 구조로 확정하는 상기 단계는:
    현재 2차원 이미지를 정합된 3차원 전형 구조 중의 평면에 대응하는 적어도 하나의 영역으로 분할하는 단계;
    상기 각 영역의 특성의 분포에 따라 각 상기 영역의 밀도를 계산하고; 상기 각 영역의 특성의 평균값을 계산하고 상기 평균값 사이의 차의 놈에 따라 두 영역 사이의 유사성을 계산하며; 상기 각 영역의 밀도와 상기 두 영역 사이의 유사성의 합에 따라 정합도를 계산하는 단계; 및
    상기 정합도에 따라, 최고 정합도를 가지는 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;
    를 포함하는 깊이 맵 생성 방법.
  40. 제39항에 있어서,
    Figure pat00052
    에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
    Figure pat00053
    이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
    Figure pat00054
    는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량인 깊이 맵 생성 방법.
  41. 제39항에 있어서,
    Figure pat00055
    를 근거로 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
    Figure pat00056
    는 상기 영역의 특성의 평균값이며, |.|는 놈인 깊이 맵 생성 방법.
  42. 제39항 내지 제41항 중 어느 한 항에 있어서,
    상기 특성은 색깔, 그레디언트 또는 경계인 깊이 맵 생성 방법.
  43. 제41항에 있어서,
    상기 놈은 1-놈, 2-놈 또는 ∞놈인 깊이 맵 생성 방법.
  44. 입력된 비디오 중 연속된 복수의 2차원 이미지를 획득하는 단계;
    HVP 모델에 따라 상기 다수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 표시하는 단계;
    상기 적어도 하나의 현저성 맵과 현재 2차원 이미지와 대응하는 현저성에 기한 깊이 맵을 사용하고, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성에 기한 깊이값을 표시하는 단계;
    상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;
    상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 현재 2차원 이미지의 3차원 구조로 확정된 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는 단계; 및
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 종합 깊이 맵 중의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 종합 깊이값을 표시하는 단계;
    를 포함하는 깊이 맵 생성 방법.
  45. 제44항에 있어서,
    상기 현저성 맵을 생성하는 것은:
    특성 현저성 맵, 운동 현저성 맵 및 대상 현저성 맵 중의 하나, 임의의 둘 또는 전체를 생성하고, 현재 2차원 이미지 중의 특성을 통해 특성 현저성 맵을 생성하고, 현재 2차원 이미지와 현재 2차원 이미지가 시간 상 인접한 2차원 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성하며, 현재 2차원 이미지 중의 대상을 식별함으로써 대상 현저성 맵을 생성하는 것을 포함하는 깊이 맵 생성 방법.
  46. 제45항에 있어서,
    상기 현저성에 기한 깊이 맵을 생성하는 것은:
    단지 대상의 현저성 맵만을 생성하면, (0, 1) 범위 내의 상수값을 현저성에 기한 깊이 맵의 2차원 이미지 중 대상으로 식별된 픽셀과 대응하는 픽셀에 부여하고, 0을 현저성에 기한 깊이 맵의 기타 픽셀에 부여하며;
    특성 현저성 맵 또는 운동 현저성 맵 중의 하나를 생성하면, 특성 현저성 맵 또는 운동 현저성 맵의 각 픽셀의 현저성에 따라 [0, 1]범위 내의 값을 현저성에 기한 깊이 맵의 각 픽셀에 부여하고, 0은 대응 픽셀이 최소의 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시하며;
    대상의 현저성 맵을 포함하지 않은 두 현저성 맵을 생성하면, 상기 두 현저성 맵 중의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하고;
    대상의 현저성 맵을 포함한 두 현저성 맵을 생성하면, (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵 의 각 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 두 현저성 맵 중 대상의 현저성 맵 이외의 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵의 기타 대응 픽셀에 부여하며;
    전체 현저성 맵을 생성하면, (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 대상으로 식별된 각 픽셀에 대응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 현저성 맵 의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하는 것을 포함하는 깊이 맵 생성 방법.
  47. 제44항에 있어서,
    상기 현재 2차원 이미지의 3차원 구조를 확정하는 단계는:
    현재 2차원 이미지를 정합 진행된 3차원 전형구조 중 평면에 대응하는 적어도 하나의 영역으로 분할하는 단계;
    상기 각 영역 중 특성 분포에 따라 상기 각 영역의 밀도를 계산하고; 상기 각 영역 중 특성의 평균치를 계산하며, 상기 평균치 사이의 차의 놈에 따라 두 영역 사이의 유사성을 계산하고; 상기 각 영역의 밀도와 상기 두 영역 사이의 유사성의 합에 따라 정합도를 계산하는 단계; 및
    상기 정합도에 따라, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;
    를 더 포함하는 깊이 맵 생성 방법.
  48. 제47항에 있어서,
    Figure pat00057
    에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
    Figure pat00058
    이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
    Figure pat00059
    는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량인 깊이 맵 생성 방법.
  49. 제47항에 있어서,
    Figure pat00060
    에 따라 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
    Figure pat00061
    는 상기 영역의 특성의 평균값이며, |.|는 놈인 깊이 맵 생성 방법.
  50. 제47항 내지 제49항 중 어느 한 항에 있어서,
    상기 특성은 색깔, 그레디언트 또는 경계인 깊이 맵 생성 방법.
  51. 제49항에 있어서,
    상기 놈은 1-놈, 2-놈 또는 ∞놈인 깊이 맵 생성 방법.
  52. 제44항에 있어서,
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 픽셀값은 [0, 1] 범위 내에 있고, 0은 대응 픽셀이 최대의 깊이를 가진 것을 표시하며, 1은 대응 픽셀이 최소의 깊이를 가진 것을 표시하는 깊이 맵 생성 방법.
  53. 제49항에 있어서,
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵 중 대응 픽셀값의 합하여 규격화하거나 현저성에 기한 깊이 맵 및 정합에 기한 깊이 맵 중 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성하는 깊이 맵 생성 방법.
  54. 제45항에 있어서,
    상기 현재 2차원 이미지 중의 대상은 사람, 얼굴 또는 문자를 포함하는 깊이 맵 생성 방법.
  55. 입력된 비디오 중 시간 상 연속된 복수의 2차원 이미지를 획득하는 단계;
    입력된 상기 다수의 2차원 이미지 중 각 2차원 이미지에 대응하는 최초 깊이 맵을 획득하고, 상기 깊이 맵 중 각 픽셀값은 대응하는 2차원 이미지 중 대응 픽셀의 깊이값인 단계; 및
    상기 최초 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계;
    를 포함하는 깊이 맵 평활 방법.
  56. 제55항에 있어서,
    상기 최초 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계는:
    HVP 모델에 근거하여, 시간(t)에서 현재 2차원 이미지 중 각 픽셀 P1(x, y, t)와 시간(t+△t)에서 2차원 이미지 중 픽셀 P2(x+△x, y+△y, t+△t) 사이의 유사성, 거리 및 깊이값의 차이에 따라 평활량(S(P1, P2))을 계산하고, 기대한 평활 효과에 따라 △x, △y와 △t 값을 확정하는 단계;
    상기 평활량(S(P1, P2))에 따라 평활 후의 현재 2차원 이미지의 픽셀(P1)의 깊이값(D'(P1)=D(P1)-S(P1))을 계산하고, 상기 평활량(S(P1, P2))은 평활 후의 픽셀(P1)의 깊이값과 픽셀(P2)의 깊이값(D'(P2)=D(P2)+S(P1, P2)) 사이의 차의 절대값이 평활 전의 픽셀값(P1)의 깊이값(D(P1))과 픽셀값(P2)의 깊이값(D(P2)) 사이의 차의 절대값보다 작게 하는 단계;를 포함하는 깊이 맵 생성 방법.
  57. 제56항에 있어서,
    D(P1)-D(P2))*N(P1,P2)*C(P1,P2)에 따라 상기 평활량(S(P1, P2))을 계산하고, 여기서 D(.)는 픽셀이 깊이값이고;
    Figure pat00062

    여기서,
    Figure pat00063
    이며;
    Figure pat00064

    I(.)는 픽셀의 특성(색깔 또는 무늬)값이며, |.|는 절대값인 깊이 맵 생성 방법.
  58. 제57항에 있어서,
    상기 특성은 색깔과 무늬인 깊이 맵 생성 방법.
  59. 입력된 비디오 중 연속된 복수의 2차원 이미지를 획득하는 단계;
    HVP 모델에 따라 상기 다수의 2차원 이미지 중 현재 2차원 이미지에 대응하는 적어도 하나의 현저성 맵을 생성하고, 상기 현저성 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 현저성을 표시하는 단계;
    상기 적어도 하나의 현저성 맵과 현재 2차원 이미지와 대응하는 현저성에 기한 깊이 맵을 사용하여, 상기 현저성에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 현저성에 기한 깊이값을 표시하는 단계;
    상기 복수의 2차원 이미지 중 현재 2차원 이미지와 다수의 미리 저장된 3차원 전형 구조의 각 정합도를 계산하고, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;
    상기 3차원 전형 구조의 깊이 맵을 미리 저장하고, 현재 2차원 이미지의 3차원 구조로 확정된 3차원 전형 구조의 깊이 맵을 현재 2차원 이미지에 대응하는 정합에 기한 깊이 맵으로 하고, 상기 정합에 기한 깊이 맵의 각 픽셀은 현재 2차원 이미지의 대응 픽셀의 정합도에 기한 깊이값을 표시하는 단계; 및
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵을 결합하여 종합 깊이 맵을 생성하고, 상기 종합 깊이 맵 중의 각 픽셀은 현재 2차원 이미지 중의 대응 픽셀의 종합 깊이값을 표시하는 단계; 및
    종합 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계;
    를 포함하는 깊이 맵 생성 방법.
  60. 제59항에 있어서,
    상기 현저성 맵을 생성하는 것은:
    특성 현저성 맵, 운동 현저성 맵 및 대상 현저성 맵 중의 하나, 임의의 둘 또는 전체를 생성하고, 현재 2차원 이미지 중의 특성을 통해 특성 현저성 맵을 생성하고, 현재 2차원 이미지와 현재 2차원 이미지가 시간 상 인접한 2차원 이미지 사이의 운동을 식별함으로써 운동 현저성 맵을 생성하며, 현재 2차원 이미지 중의 대상을 식별함으로써 대상 현저성 맵을 생성하는 깊이 맵 생성 방법.
  61. 제59항에 있어서,
    현저성에 기한 깊이 맵을 생성하는 것은:
    단지 대상의 현저성 맵만을 생성하면, (0, 1) 범위 내의 상수값을 현저성에 기한 깊이 맵 중 2차원 이미지의 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 0을 현저성에 기한 깊이 맵의 기타 픽셀에 부여하고;
    특성 현저성 맵 또는 운동 현저성 맵 중의 하나를 생성하면, 특성 현저성 맵 또는 운동 현저성 맵의 각 픽셀의 현저성에 따라 [0, 1]범위 내의 값을 현저성에 기한 깊이 맵의 각 픽셀에 부여하고, 0은 대응 픽셀이 최소의 현저성을 가짐을 표시하고, 1은 대응 픽셀이 최대 현저성을 가짐을 표시하며;
    대상의 현저성 맵을 포함하지 않은 두 현저성 맵을 생성하면, 상기 두 현저성 맵의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하고;
    대상의 현저성 맵을 포함한 두 현저성 맵을 생성하면, (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 두 현저성 맵 중 대상의 현저성 맵 이외의 현저성 맵의 대응 픽셀값을 현저성에 기한 깊이 맵 중의 기타 대응 픽셀에 부여하며;
    전체 현저성 맵을 생성하면, (0, 1) 범위 내의 상수를 현저성에 기한 깊이 맵 중 대상 현저성 맵의 대상으로 식별된 픽셀에 대응하는 픽셀에 부여하고, 대상 현저성 맵 이외의 두 현저성 맵 중의 대응 픽셀을 서로 더하여 규격화한 값 또는 비교적 큰 값을 현저성에 기한 깊이 맵 중의 대응 픽셀에 부여하는 깊이 맵 생성 방법.
  62. 제59항에 있어서,
    현재 2차원 이미지의 3차원 구조를 확정하는 단계는:
    현재 2차원 이미지를 정합된 3차원 전형구조의 평면에 대응하는 적어도 하나의 영역으로 분할하는 단계;
    상기 각 영역의 특성 분포에 따라 상기 각 영역의 밀도를 계산하고; 상기 각 영역의 특성의 평균치를 계산하며, 상기 평균치 사이의 차의 놈에 따라 두 영역 사이의 유사성을 계산하고; 상기 각 영역의 밀도와 상기 두 영역 사이의 유사성의 합에 따라 정합도를 계산하는 단계; 및
    상기 정합도에 따라, 최고 정합도를 가진 3차원 전형 구조를 현재 2차원 이미지의 3차원 구조로 확정하는 단계;
    를 포함하는 깊이 맵 생성 방법.
  63. 제62항에 있어서,
    Figure pat00065
    에 따라 각 상기 영역 r의 밀도를 계산하고, 여기서
    Figure pat00066
    이고, p는 상기 영역의 픽셀이며, I(p)는 픽셀 p의 특성값이고,
    Figure pat00067
    는 상기 영역의 상기 픽셀의 특성값의 평균값이며, area(r)는 상기 영역 중 픽셀의 수량인 깊이 맵 생성 방법.
  64. 제62항에 있어서,
    Figure pat00068
    에 따라 영역 ri와 영역 rj 사이의 유사성을 계산하고, 여기서
    Figure pat00069
    는 상기 영역의 특성의 평균값이며, |.|는 놈인 깊이 맵 생성 방법.
  65. 제62항 내지 제64항 중 어느 한 항에 있어서,
    상기 특성은 색깔과 무늬인 깊이 맵 생성 방법.
  66. 제64항에 있어서,
    상기 놈은 1-놈, 2-놈 또는 ∞놈인 깊이 맵 생성 방법.
  67. 제59항에 있어서,
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵의 픽셀값은 [0, 1] 범위 내에 있고, 0은 대응 픽셀이 최대의 깊이를 가진 것을 표시하며, 1은 대응 픽셀이 최소의 깊이를 가진 것을 표시하는 깊이 맵 생성 방법.
  68. 제59항에 있어서,
    현저성에 기한 깊이 맵과 정합에 기한 깊이 맵 중 대응 픽셀값의 합하여 통일화하거나 현저성에 기한 깊이 맵 및 정합에 기한 깊이 맵 중 대응 픽셀 중 비교적 큰 값을 선택하여 종합 깊이 맵을 생성하는 깊이 맵 생성 방법.
  69. 제59항에 있어서,
    상기 현재 2차원 이미지 중의 대상은 사람, 얼굴 또는 문자를 포함하는 깊이 맵 생성 방법.
  70. 제59항에 있어서,
    상기 최초 깊이 맵에 대해 공간 영역 및 시간 영역 상의 평활을 진행하는 단계는:
    HVP 모델에 근거하여, 시간(t)에서 현재 2차원 이미지 중 각 픽셀 P1(x, y, t)와 시간(t+△t)에서 2차원 이미지 중 픽셀 P2(x+△x, y+△y, t+△t) 사이의 유사성, 거리 및 깊이값의 차이에 따라 평활량(S(P1, P2))을 계산하고, 기대한 평활 효과에 따라 △x, △y와 △t 값을 확정하는 단계;
    상기 평활량(S(P1, P2))에 따라 평활 후의 현재 2차원 이미지의 픽셀(P1)의 깊이값(D'(P1)=D(P1)-S(P1))을 계산하고, 상기 평활량(S(P1, P2))은 평활 후의 픽셀(P1)의 깊이값과 픽셀(P2)의 깊이값(D'(P2)=D(P2)+S(P1, P2)) 사이의 차의 절대값이 평활 전의 픽셀값(P1)의 깊이값(D(P1))과 픽셀값(P2)의 깊이값(D(P2)) 사이의 차의 절대값보다 작게 하는 단계;를 포함하는 깊이 맵 생성 방법.
  71. 제70항에 있어서,
    D(P1)-D(P2))*N(P1,P2)*C(P1,P2)에 따라 상기 평활량(S(P1, P2))을 계산하고, 여기서 D(.)는 픽셀이 깊이값이고;
    Figure pat00070

    여기서,
    Figure pat00071
    이며;
    Figure pat00072

    I(.)는 픽셀의 특성(색깔 또는 무늬)값이며, |.|는 절대값인 깊이 맵 생성 방법.
  72. 제71항에 있어서,
    상기 특성은 색깔과 무늬인 깊이 맵 생성 방법.
  73. 제37 내지 제72항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
KR1020100048625A 2009-07-06 2010-05-25 깊이 맵 생성 장치 및 방법 KR101710444B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200910151710.3 2009-07-06
CN200910151710.3A CN101945295B (zh) 2009-07-06 2009-07-06 生成深度图的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/830,822 US8553972B2 (en) 2009-07-06 2010-07-06 Apparatus, method and computer-readable medium generating depth map

Publications (2)

Publication Number Publication Date
KR20110004267A true KR20110004267A (ko) 2011-01-13
KR101710444B1 KR101710444B1 (ko) 2017-02-28

Family

ID=43437015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100048625A KR101710444B1 (ko) 2009-07-06 2010-05-25 깊이 맵 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101710444B1 (ko)
CN (1) CN101945295B (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101320177B1 (ko) * 2011-10-24 2013-10-23 강원대학교산학협력단 깊이 센서를 이용한 팔 운동 측정 방법 및 이를 기록한 기록매체
US9064319B2 (en) 2011-11-01 2015-06-23 Samsung Electronics Co., Ltd. Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
WO2016200013A1 (ko) * 2015-06-08 2016-12-15 삼성전자 주식회사 광학 장치 및 깊이 정보 생성 방법
EP3444728A4 (en) * 2016-04-12 2019-10-16 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for adjusting three-dimensional model
WO2020071849A1 (ko) * 2018-10-04 2020-04-09 고려대학교 산학협력단 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
US10665016B2 (en) 2016-04-12 2020-05-26 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for adjusting three-dimensional model

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
CN102521876B (zh) * 2011-11-29 2016-09-28 康佳集团股份有限公司 一种实现3d用户界面立体效果的方法及系统
CN103679641B (zh) * 2012-09-26 2016-12-21 株式会社理光 深度图像增强方法和装置
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US8760500B1 (en) * 2013-10-23 2014-06-24 Google Inc. Depth map generation
CN103945211A (zh) * 2014-03-13 2014-07-23 华中科技大学 一种通过单视角彩色图像序列生成深度图序列的方法
CN104537637B (zh) * 2014-11-11 2017-06-16 清华大学深圳研究生院 一种单幅静态图像深度估计方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
WO2008062351A1 (en) * 2006-11-21 2008-05-29 Koninklijke Philips Electronics N.V. Generation of depth map for an image
US20080150945A1 (en) * 2006-12-22 2008-06-26 Haohong Wang Complexity-adaptive 2d-to-3d video sequence conversion

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479765B (zh) * 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
CN101287143B (zh) * 2008-05-16 2010-09-15 清华大学 基于实时人机对话的平面视频转立体视频的方法
CN101400001B (zh) * 2008-11-03 2010-06-02 清华大学 一种视频帧深度图的生成方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
WO2008062351A1 (en) * 2006-11-21 2008-05-29 Koninklijke Philips Electronics N.V. Generation of depth map for an image
US20080150945A1 (en) * 2006-12-22 2008-06-26 Haohong Wang Complexity-adaptive 2d-to-3d video sequence conversion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D object-based depth estimation from steroscopic image sequences, Proc. Internat. Workshop on Stereoscopic and 3D Imaging95(1995)* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101320177B1 (ko) * 2011-10-24 2013-10-23 강원대학교산학협력단 깊이 센서를 이용한 팔 운동 측정 방법 및 이를 기록한 기록매체
US9064319B2 (en) 2011-11-01 2015-06-23 Samsung Electronics Co., Ltd. Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
US9445075B2 (en) 2011-11-01 2016-09-13 Samsung Electronics Co., Ltd. Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
WO2016200013A1 (ko) * 2015-06-08 2016-12-15 삼성전자 주식회사 광학 장치 및 깊이 정보 생성 방법
EP3444728A4 (en) * 2016-04-12 2019-10-16 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for adjusting three-dimensional model
US10665016B2 (en) 2016-04-12 2020-05-26 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for adjusting three-dimensional model
WO2020071849A1 (ko) * 2018-10-04 2020-04-09 고려대학교 산학협력단 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법

Also Published As

Publication number Publication date
KR101710444B1 (ko) 2017-02-28
CN101945295B (zh) 2014-12-24
CN101945295A (zh) 2011-01-12

Similar Documents

Publication Publication Date Title
Fang et al. Saliency detection for stereoscopic images
KR20150104073A (ko) 2d 이미지 시퀀스들로부터 3d 장면을 재구성하기 위한 방법
Xu et al. Video-based characters: creating new human performances from a multi-view video database
JP4938093B2 (ja) 2d−to−3d変換のための2d画像の領域分類のシステム及び方法
CA2884702C (en) Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US9137512B2 (en) Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
Cavallaro et al. Tracking video objects in cluttered background
Kim et al. A stereoscopic video generation method using stereoscopic display characterization and motion analysis
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US6124864A (en) Adaptive modeling and segmentation of visual image streams
Karsch et al. Depth transfer: Depth extraction from video using non-parametric sampling
US8340422B2 (en) Generation of depth map for an image
US8791941B2 (en) Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion
KR20140088200A (ko) 예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이-맵 생성
Zhang et al. Stereoscopic visual attention model for 3D video
Berent et al. Plenoptic manifolds
US9659382B2 (en) System and method for depth extraction of images with forward and backward depth prediction
US8515172B2 (en) Segmentation of image data
Sun et al. Layered RGBD scene flow estimation
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
Wang et al. Video tooning
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
US8705867B2 (en) Devices and methods for processing images using scale space
US20130095920A1 (en) Generating free viewpoint video using stereo imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
X091 Application refused [patent]
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 4