KR100927734B1 - 다시점 영상 생성 장치 및 그 방법 - Google Patents

다시점 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR100927734B1
KR100927734B1 KR1020070091563A KR20070091563A KR100927734B1 KR 100927734 B1 KR100927734 B1 KR 100927734B1 KR 1020070091563 A KR1020070091563 A KR 1020070091563A KR 20070091563 A KR20070091563 A KR 20070091563A KR 100927734 B1 KR100927734 B1 KR 100927734B1
Authority
KR
South Korea
Prior art keywords
image
area
motion
generating
value
Prior art date
Application number
KR1020070091563A
Other languages
English (en)
Other versions
KR20080052309A (ko
Inventor
윤국진
허남호
김진웅
이수인
홍호기
백윤기
김재섭
유지상
최미남
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080052309A publication Critical patent/KR20080052309A/ko
Application granted granted Critical
Publication of KR100927734B1 publication Critical patent/KR100927734B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 다시점 영상 생성 장치 및 그 방법에 관한 것으로, 영상 상의 객체의 외곽 및 움직임 정보를 이용하여 객체의 깊이 값을 획득하고, 상기 획득된 깊이 값을 이용하여 영상을 회전 변환시켜 다시점 영상을 생성하기 위한, 다시점 영상 생성 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 다시점 영상 생성 장치에 있어서, 입력 영상을 객체의 외곽에 따라 분할하기 위한 영상 분할 수단, 과거 영상과 상기 입력 영상에 기초하여 객체의 미래 움직임을 예측하기 위한 움직임 예측 수단, 상기 움직임 예측 수단에 의해 예측된 움직임을 상기 영상 분할 수단에 의해 분할된 영상에 할당하여 깊이값을 생성하기 위한 깊이 정보 생성 수단, 및 상기 깊이 정보 생성 수단에 의해 생성된 깊이값과 상기 입력 영상에 기초하여 최종 영상을 생성하여 회전 변환시키기 위한 회전 변환 수단을 포함한다.
영역 분할, 움직임 예측, 깊이 정보 생성, 다시점, 영상 생성, 회전 변환

Description

다시점 영상 생성 장치 및 그 방법{Apparatus for generating multi-view image and its method}
본 발명은 다시점 영상 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 영상 상의 객체의 외곽 및 움직임 정보를 이용하여 객체의 깊이 값을 획득하고, 상기 획득된 깊이 값을 이용하여 영상을 회전 변환시켜 다시점 영상을 생성할 수 있는, 다시점 영상 생성 장치 및 그 방법에 관한 것이다.
본 발명은 정보통신부의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2005-S-403-02, 과제명 : 지능형 통합정보 방송(SmaR TV) 기술개발].
다시점 영상은 여러 시점에서 영상을 획득하기 때문에 시점이 한 곳에 고정되는 스테레오 영상의 단점을 극복할 수 있다. 이러한 다시점 영상은 사용자의 시선 또는 시점에 따라 원하는 시점의 영상을 디스플레이하는 'FTV(Free-view TV)', 좀더 실감있는 디지털 멀티미디어 브로드캐스팅(DMB : Digital Multimedia Broadcasting)을 위한 '3차원 DMB' 등의 3차원 영상 디스플레이 장치를 통해 디스플레이된다.
일반적으로, 다시점 영상을 획득하는 방법으로는 다시점 카메라(Multi-view Camera)를 통해 직접 다시점 영상을 획득하는 방법과, 깊이 카메라(Depth Camera)를 통해 영상을 획득하여 획득된 영상의 RGB 텍스쳐 데이터와 8비트 깊이 정보의 기하학적 변환을 통해 다시점 영상을 획득하는 방법 등이 있다.
여기서, 다시점 카메라를 통한 다시점 영상 획득 방법은 다시점 영상을 획득하기 위한 가장 일반화된 방법으로, 다수의 카메라를 평행 또는 아크 모양으로 배열시켜 동일한 물체의 영상을 직접 획득하는 방법이다.
그리고 깊이 카메라를 통한 다시점 영상 획득 방법은 깊이 카메라를 통해 획득한 영상의 RGB 텍스쳐 데이터와 8비트 깊이 정보를 카메라 모델에 따라 기하학적으로 변환하여 다시점 영상을 획득하는 방법이다.
상기와 같은 방법들은 다수의 카메라를 필요로 하는 불편함이 있고, 카메라의 개수가 증가함에 따라 영상의 데이터량이 증가할 뿐만 아니라, 카메라의 배열과 대역이 제한됨으로 인해 제한된 수의 다시점 영상을 획득하게 된다는 문제점이 있다.
그리고 각 카메라 사이의 중간 영상을 생성하기 위해 중간 영상 합성 방법을 사용하는데, 이러한 중간 영상 합성 방법은 상기와 같이 획득된 다시점 영상에서 동일한 점을 찾는 변이 추정을 통해 중간 영상을 생성한다.
이때, 변이를 추정하는 방식으로는 블록 기반 변이 추정 방식, 화소 기반 변 이 추정 방식, 특징 기반 변이 추정 방식, 객체 기반 변이 추정 방식, 및 메쉬(Mesh) 기반 변이 추정 방식 등이 있다.
그러나 이러한 중간 영상 합성 방법은 새로운 시점의 영상을 생성하는데 있어서는 효율적이지만, 2대 이상의 카메라를 필요로 하는 불편함이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 영상 상의 객체의 외곽 및 움직임 정보를 이용하여 객체의 깊이 값을 획득하고, 상기 획득된 깊이 값을 이용하여 영상을 회전 변환시켜 다시점 영상을 생성하기 위한, 다시점 영상 생성 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 다시점 영상 생성 장치에 있어서, 입력 영상을 객체의 외곽에 따라 분할하기 위한 영상 분할 수단, 과거 영상 과 상기 입력 영상에 기초하여 객체의 미래 움직임을 예측하기 위한 움직임 예측 수단, 상기 움직임 예측 수단에 의해 예측된 움직임을 상기 영상 분할 수단에 의해 분할된 영상에 할당하여 깊이값을 생성하기 위한 깊이 정보 생성 수단, 및 상기 깊이 정보 생성 수단에 의해 생성된 깊이값과 상기 입력 영상에 기초하여 최종 영상을 생성하여 회전 변환시키기 위한 회전 변환 수단을 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 다시점 영상 생성 방법에 있어서, 입력 영상을 객체의 외곽에 따라 분할하는 영상 분할 단계, 과거 영상과 상기 입력 영상에 기초하여 객체의 미래 움직임을 예측하는 움직임 예측 단계, 상기 움직임 예측 단계에서 예측된 움직임을 상기 영상 분할 단계에서 분할된 영상에 할당하여 깊이값을 생성하는 깊이 정보 생성 단계, 및 상기 깊이 정보 생성 단계에서 생성된 깊이값과 상기 입력 영상을 이용하여 최종 영상을 생성하고, 상기 생성된 최종 영상을 회전 변환시켜 다시점 영상을 생성하는 회전 변환 단계를 포함한다.
상기와 같은 본 발명은, 2차원 영상을 다시점 영상으로 변환하여 사용자에게 제공함으로써, 보다 현실감 있는 영상을 제공할 수 있는 효과가 있다.
또한, 본 발명은, 영상 상의 객체의 외곽 및 움직임 정보를 이용하여 객체의 깊이 값을 획득하고, 상기 획득된 깊이 값을 이용하여 영상을 회전 변환시켜 다시점 영상을 생성함으로써, 다수의 카메라를 이용하여야 하는 불편함을 해소할 수 있 고, 다수의 카메라를 이용함에 따라 발생하였던 데이터량의 증가 및 카메라의 배열 및 대역 제한에 따른 제한된 수의 다시점 영상 획득에 대한 문제를 해결할 수 있는 효과가 있다.
이때, 본 발명은, 공간적 정보(색상 정보) 및 시간적 정보(움직임 정보)를 이용하여 객체의 외곽을 추출함으로써, 객체의 외곽을 보다 정확하게 추출할 수 있고, 또한 화소 기반의 움직임 측정 방식을 사용함으로써, 보다 세밀하게 움직임을 측정 및 예측할 수 있고, 높은 신뢰감을 줄 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 다시점 영상 생성 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 다시점 영상 생성 장치(10)는, 영상 분할부(11), 움직임 예측부(12), 깊이 정보 생성부(13), 및 회전 변환부(14)를 포함한다.
여기서, 영상 분할부(11)는 영상을 입력받아 입력된 영상(입력 영상)의 색상 정보(특히, 색상의 유사도 정보)를 이용하여 영상을 동질의 영역으로 분할한다.
이때, 영상 분할부(11)가 색상 정보를 이용하여 영상을 분할하는 이유는 영상 상의 객체의 외곽을 따라 영상을 분할하기 위해서이다.
이러한 영상 분할부(11)는 영역 초기화부(111), 영역 융합부(112), 및 영역 처리부(113)를 포함한다.
여기서, 영역 초기화부(111)는 영상을 입력받아 입력된 영상(입력 영상)의 각 화소(Pixel)를 하나의 영역으로 분할한다.
그리고 영역 융합부(112)는 영역 초기화부(111)에 의해 분할된 영역(하나의 화소)들 중 유사한 색상을 가진 영역들을 하나의 영역으로 융합시킨다.
여기서, 영역 융합부(112)는 색상의 유사도를 판별하기 위해 하기의 [수학식 1]을 통해 각각의 화소를 구성하는 휘도(Y), 색상 신호(U, V)의 비용값(Cost Value)을 획득하고, 획득된 모든 영역의 Y, U, V 성분의 비용값이 초기 설정된 오차값(Error)보다 작은지를 판단하여, 획득된 Y, U, V 성분의 비용값이 모두 기설정된 오차값보다 작으면 해당 영역들을 융합시킨다.
이때, 하기의 [수학식 1]은 각각의 화소를 구성하는 Y, U, V 성분의 비용값(Cost Value)의 계산 과정을 나타내고, 하기의 [수학식 2]는 영역 융합부(112)에 의해 융합될 영역의 부합 조건을 나타낸다.
Figure 112007065543239-pat00001
여기서,
Figure 112007065543239-pat00002
는 영역
Figure 112007065543239-pat00003
의 Y 성분의 평균값을 나타내고,
Figure 112007065543239-pat00004
은 영역
Figure 112007065543239-pat00005
의 U 성분의 평균값을 나타내며,
Figure 112007065543239-pat00006
는 영역
Figure 112007065543239-pat00007
의 V 성분의 평균값을 나타낸다.
또한,
Figure 112007065543239-pat00008
는 영역
Figure 112007065543239-pat00009
과
Figure 112007065543239-pat00010
사이의 Y 성분의 비용값을 나타내고,
Figure 112007065543239-pat00011
는 영역
Figure 112007065543239-pat00012
과
Figure 112007065543239-pat00013
사이의 U 성분의 비용값을 나타내며,
Figure 112007065543239-pat00014
는 영역
Figure 112007065543239-pat00015
과
Figure 112007065543239-pat00016
사이의 V 성분의 비용값을 나타낸다.
Figure 112007065543239-pat00017
여기서, 'error'는 오차값을 나타내고,
Figure 112007065543239-pat00018
는 영역
Figure 112007065543239-pat00019
과
Figure 112007065543239-pat00020
사이 의 Y 성분의 비용값을 나타내며,
Figure 112007065543239-pat00021
는 영역
Figure 112007065543239-pat00022
과
Figure 112007065543239-pat00023
사이의 U 성분의 비용값을 나타내고,
Figure 112007065543239-pat00024
는 영역
Figure 112007065543239-pat00025
과
Figure 112007065543239-pat00026
사이의 V 성분의 비용값을 나타낸다.
상기와 같이, 영역 융합부(112)가 과도하게 분할된 영역들을 융합하는 이유는, 영상이 과분할(OverSegmentation)되면 차후 과정인 영상에 깊이값을 부여하는 과정에서 오차를 발생시킬 수 있기 때문이다.
그리고 영역 처리부(113)는 영역 융합부(112)에 의해 융합된 영역의 전체 화소 수와 초기 설정된 최소 화소 수를 비교하여 기설정된 최소 화소 수보다 적은 화소 수를 보유한 영역이 있다면, 그 영역과 인접한 영역 중에서 색상의 유사도가 가장 높은 영역을 융합시킨다.
여기서, 영역 처리부(113)는 최소 화소 수보다 적은 화소 수를 보유한 영역과 색상의 유사도가 가장 높은 주변 영역을 판별하기 위해 하기의 [수학식 3]을 이용한다.
이때, 영역 처리부(113)는 하기의 [수학식 3]을 통해 영역들의 전체 비용값을 획득하고, 획득된 주변 영역들의 전체 비용값이 가장 작은 영역을 색상의 유사도가 가장 높은 영역이라고 판별한다.
Figure 112007065543239-pat00027
여기서,
Figure 112007065543239-pat00028
는 영역
Figure 112007065543239-pat00029
과
Figure 112007065543239-pat00030
사이의 전체 비용값을 나타내고,
Figure 112007065543239-pat00031
는 영역
Figure 112007065543239-pat00032
과
Figure 112007065543239-pat00033
사이의 Y 성분의 비용값을 나타낸다. 또한,
Figure 112007065543239-pat00034
는 영역
Figure 112007065543239-pat00035
과
Figure 112007065543239-pat00036
사이의 U 성분의 비용값을 나타내고,
Figure 112007065543239-pat00037
는 영역
Figure 112007065543239-pat00038
과
Figure 112007065543239-pat00039
사이의 V 성분의 비용값을 나타낸다.
그리고 움직임 예측부(12)는 객체의 외곽을 추출하기 위해 영상을 입력받아 과거에 입력된 영상과 현재 영상을 기반으로 영상의 움직임을 측정하고, 측정된 과거 영상 및 현재 영상의 움직임을 기반으로 미래 영상의 움직임을 예측한다.
이때, 움직임 예측부(12)는 화소 변이를 기반으로 움직임을 측정하는데, 이러한 화소 기반의 움직임 측정 방식은 블록 기반의 움직임 측정 방식보다 더욱 세밀하게 움직임을 측정할 수 있다.
또한, 움직임 예측부(12)는 찾고자 하는 화소의 주변 영역의 화소값을 정합창(Measurement Window)으로 사용하고, 정합창 내의 화소값 중 가장 작은 비용값을 가지는 화소값을 시간상의 정합되는 점(즉, 객체의 외곽)으로 간주한다.
여기서, 움직임 예측부(12)는 영상의 움직임의 유형에 따라 수평 방향 또는 수직 방향 또는 정방향의 탐색 범위를 사용하는데, 이는 수평의 움직임이 있는 영상은 수평 방향으로의 탐색 범위가 정합점(객체의 외곽)을 찾을 가능성을 높여주고, 수직의 움직임이 있는 영상은 수직 방향으로의 탐색 범위가 정합점(객체의 외곽)을 찾을 가능성을 높여주기 때문이다.
그리고 깊이 정보 생성부(13)는 움직임 예측부(12)에 의해 측정 및 예측된 움직임을 영상 분할부(11)에 의해 분할된 영상에 할당하고, 분할된 영상에 할당된 움직임 값(가로의 움직임과 세로의 움직임)을 하기의 [수학식 4]와 같이 합산하여 깊이 정보(깊이값)로 변환한다.
Figure 112007065543239-pat00040
여기서,
Figure 112007065543239-pat00041
는 화소 (x, y)의 깊이값을 나타내고,
Figure 112007065543239-pat00042
는 x방향으로의 움직임 값을 나타내며,
Figure 112007065543239-pat00043
는 y방향으로의 움직임 값을 나타낸다.
이때, 화소 (x, y)의 깊이값 즉,
Figure 112007065543239-pat00044
는 많은 오차값을 가지며, 하나의 영역 내에서 화소들 간의 편차가 크기 때문에, 화소 (x, y)의 깊이값 즉,
Figure 112007065543239-pat00045
는 하나의 영역 내에서 하나의 값을 가지도록 한다.
여기서, 화소 (x, y)의 깊이값 즉,
Figure 112007065543239-pat00046
가 하나의 영역 내에서 동일한 값을 가지도록 하기 위해서, 깊이 정보 생성부(13)는 하기의 [수학식 5]과 같이 각 영역 내의 화소값의 평균을 산출하여 산출된 평균값을 해당 영역의 깊이값으로 부여한다.
Figure 112007065543239-pat00047
여기서,
Figure 112007065543239-pat00048
는
Figure 112007065543239-pat00049
화소를 가진 i번째 영역에서의 깊이값을 나타내고,
Figure 112007065543239-pat00050
는 k번째 영역에서의 화소의 깊이값을 나타낸다.
또한, 깊이 정보 생성부(13)는 상기의 [수학식 5]를 통해 획득된 과거 영상, 현재 영상, 및 미래 영상의 각 영역별로 깊이값을 평균화하여 영상의 최종 깊이값을 생성한다.
이때, 깊이 정보 생성부(13)는 과거 영상, 현재 영상, 및 미래 영상의 각 영역별 깊이값의 합을 '3'으로 나누어 평균화할 수 있다.
여기서, 깊이 정보 생성부(13)가 과거 영상, 현재 영상, 및 미래 영상의 각 영역에 깊이값을 부여하는 이유는 추출된 영상 상의 객체의 외곽에 대한 깊이값의 오차를 줄이고, 객체의 외곽을 보전하기 위함이다.
그리고 회전 변환부(14)는 깊이 정보 생성부(13)에 의해 생성된 영상의 최종 깊이값과 입력 영상을 이용하여 최종 영상을 생성하고, 생성된 최종 영상을 하기의 [수학식 6]과 같이 회전 변환하여 다시점 영상을 생성한다.
Figure 112007065543239-pat00051
여기서,
Figure 112007065543239-pat00052
는
Figure 112007065543239-pat00053
도 회전된 영상의 좌표를 나타내고,
Figure 112007065543239-pat00054
는 원영상의 좌표를 나타내며,
Figure 112007065543239-pat00055
는 회전 변환 행렬을 나타낸다.
이때, 회전 변환 행렬 즉,
Figure 112007065543239-pat00056
은 하기의 [수학식 7]로 나타낼 수 있다.
Figure 112007065543239-pat00057
도 2 는 본 발명에 따른 객체 외곽 추출을 위한 영상 분할 방법에 대한 일실시예 흐름도이다.
먼저, 다시점 영상 생성 장치(10)는 영상 상의 객체를 추출하기 위해 영상을 입력받아 입력된 영상의 화소 각각을 하나의 영역으로 분할하여 영역을 초기화한다(201).
이후, 다시점 영상 생성 장치(10)는 색상의 유사도를 판별하기 위해 모든 영역의 Y, U, V 성분의 비용값을 계산한다(202),
이어서, 다시점 영상 생성 장치(10)는 초기 설정된 오차값보다 작은 Y, U, V 성분의 비용값을 보유한 영역들을 판별하여(203), 해당 영역들을 서로 융합시킨다(204).
이후, 다시점 영상 생성 장치(10)는 융합된 영역의 전체 화소 수와 초기 설정된 최소 화소 수를 비교한다(205).
상기 비교 결과(205), 최소 화소 수보다 적은 화소 수를 보유한 영역이 없다면 종료하고, 최소 화소 수보다 적은 화소 수를 보유한 영역이 있다면, 다시점 영상 생성 장치(10)는 최소 화소 수보다 적은 화소 수를 보유한 영역과 인접한 영역 중 색상의 유사도가 가장 높은 영역을 판별하기 위해 주변의 모든 영역의 전체 비용값을 계산한다(206).
이후, 다시점 영상 생성 장치(10)는 계산된 주변의 모든 영역의 전체 비용값이 가장 작은 영역(색상의 유사도가 가장 높은 영역)을 판별하여(207), 전체 비용값이 가장 작은 영역(색상의 유사도가 가장 높은 영역)을 최소 화소 수보다 적은 화소 수를 보유한 영역과 융합시킨다(208).
이후, 다시점 영상 생성 장치(10)는 영상의 분할된 모든 영역에 대하여 205 내지 208 과정을 수행하였는지를 확인하여(209), 아니면 다음 분할 영역의 영상에 대하여 205 과정부터 반복 수행하고, 모든 분할 영역의 영상에 대하여 205 내지 208 과정을 수행하였으면 리턴한다.
이와 같이, 다시점 영상 생성 장치(10)는 색상 정보(공간적 정보)를 이용하여 영역을 분할하여 객체의 외곽을 추출한다.
도 3 은 본 발명에 따른 다시점 영상 생성 방법에 대한 일실시예 흐름도이다.
먼저, 다시점 영상 생성 장치(10)는 객체의 외곽을 추출하기 위해 영상을 입력받아 과거에 입력된 영상과 현재 영상을 기반으로 영상의 움직임을 측정하고, 측정된 움직임을 기반으로 미래 영상의 움직임을 예측한다(301).
이때, 다시점 영상 생성 장치(10)는 보다 세밀하게 움직임을 측정하기 위해 화소 기반의 움직임 측정 방식을 이용한다.
이후, 다시점 영상 생성 장치(10)는 상기 측정 및 예측된 움직임을 상기 도 2의 다수의 영역으로 분할된 영상에 할당하고, 이를 깊이값으로 변환한다(깊이값을 생성한다)(302).
이어서, 다시점 영상 생성 장치(10)는 생성된 깊이값이 하나의 영역 내에서 동일한 값을 가지도록 하기 위해서, 각 영역 내의 화소값의 평균을 산출하여, 산출된 평균값을 해당 영역의 깊이값으로 부여한다(303).
이후, 다시점 영상 생성 장치(10)는 과거 영상, 현재 영상, 및 미래 영상의 각 영역별 깊이값을 평균화하여 영상의 최종 깊이값을 생성한다(304).
그리고 다시점 영상 생성 장치(10)는 생성된 영상의 최종 깊이값과 입력 영 상을 이용하여 최종 영상을 생성하고(305), 상기 생성된 최종 영상을 회전 변환시켜 다시점 영상을 생성한다(306).
도 4 는 본 발명에 따른 다시점 영상 생성 장치를 통해 출력되는 영상을 바라보는 관찰자의 위치를 나타내는 일예시도이다.
여기서, 관찰자의 위치 이동에 따른 각을
Figure 112007065543239-pat00058
도라 하면 새로운 위치의 카메라에 투영되는 영상은
Figure 112007065543239-pat00059
도만큼 회전된다.
여기서,
Figure 112007065543239-pat00060
도만큼 회전된 영상은 상기의 [수학식 6]에 의해 생성된다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 다시점 영상 생성 등에 이용될 수 있다.
도 1 은 본 발명에 따른 다시점 영상 생성 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 객체 외곽 추출을 위한 영상 분할 방법에 대한 일실시예 흐름도,
도 3 은 본 발명에 따른 다시점 영상 생성 방법에 대한 일실시예 흐름도,
도 4 는 본 발명에 따른 다시점 영상 생성 장치를 통해 출력되는 영상을 바라보는 관찰자의 위치를 나타내는 일예시도이다.
* 도면의 주요 부분에 대한 부호 설명
10 : 다시점 영상 생성 장치 11 : 영상 분할부
12 : 움직임 예측부 13 : 깊이 정보 생성부
14 : 회전 변환부 111 : 영역 초기화부
112 : 영역 융합부 113 : 영역 처리부

Claims (13)

  1. 다시점 영상 생성 장치에 있어서,
    입력 영상을 객체의 외곽에 따라 분할하기 위한 영상 분할 수단;
    과거 영상과 상기 입력 영상에 기초하여 객체의 미래 움직임을 예측하기 위한 움직임 예측 수단;
    상기 움직임 예측 수단에 의해 예측된 움직임을 상기 영상 분할 수단에 의해 분할된 영상에 할당하고, 상기 영상의 가로(x) 방향 및 세로(y) 방향의 움직임의 합을 이용하여 깊이값으로 생성하기 위한 깊이 정보 생성 수단; 및
    상기 깊이 정보 생성 수단에 의해 생성된 깊이값과 상기 입력 영상에 기초하여 최종 영상을 생성하여 회전 변환시키기 위한 회전 변환 수단
    을 포함하는 다시점 영상 생성 장치.
  2. 제 1 항에 있어서,
    상기 영상 분할 수단은,
    상기 입력 영상을 각 화소(Pixel)별로 분할하여 상기 입력 영상을 초기화하기 위한 영역 초기화 수단;
    상기 영역 초기화 수단에 의해 분할된 영역들 중 유사한 색상을 가진 영역들을 하나의 영역으로 융합시키기 위한 영역 융합 수단; 및
    상기 영역 융합 수단에 의해 융합된 영역들 중 전체 화소의 수가 기설정된 최소 화소 수보다 적은 영역을 융합시키기 위한 영역 처리 수단
    을 포함하는 다시점 영상 생성 장치.
  3. 제 2 항에 있어서,
    상기 영역 융합 수단은,
    각 영역의 휘도를 나타내는 Y 성분, 색상 신호를 나타내는 U, V 성분을 인접한 주변 영역마다 동일 성분의 평균값의 차로부터 색상의 유사도를 판별하기 위한 비용값(Cost Value)을 획득하고, 상기 획득된 Y, U, V 성분의 비용값이 초기 설정된 오차값보다 작은 영역들을 융합시키는 것을 특징으로 하는 다시점 영상 생성 장치.
  4. 삭제
  5. 제 3 항에 있어서,
    상기 영역 처리 수단은,
    상기 주변 영역 간의 Y 성분의 비용값과 U 성분의 비용값 및 V 성분의 비용값의 합을 상기 주변 영역 간의 전체 비용값으로 간주하는 것을 특징으로 하는 다시점 영상 생성 장치.
  6. 제 2 항 또는 제 3 항 또는 제 5 항에 있어서,
    상기 깊이 정보 생성 수단은,
    상기 분할된 영상에 할당된 가로의 움직임값 및 세로의 움직임 값을 합산하여 상기 분할된 영상의 화소 깊이값을 획득하는 것을 특징으로 하는 다시점 영상 생성 장치.
  7. 제 6 항에 있어서,
    상기 깊이 정보 생성 수단은,
    상기 영역 처리 수단에 의해 융합된 각 영역별로 화소값의 평균을 산출하여 산출된 평균을 해당 영역의 깊이값으로 생성하는 것을 특징으로 하는 다시점 영상 생성 장치.
  8. 제 1 항 또는 제 2 항 또는 제 3항 또는 제 5 항에 있어서,
    상기 움직임 예측 수단은,
    화소를 기반으로 움직임을 예측하는 것을 특징으로 하는 다시점 영상 생성 장치.
  9. 제 8 항에 있어서,
    상기 움직임 예측 수단은,
    수평의 움직임이 있는 영상에서는 수평 방향의 탐색 범위를 설정하고,
    수직의 움직임이 있는 영상에서는 수직 방향의 탐색 범위를 설정하는 것을 특징으로 하는 다시점 영상 생성 장치.
  10. 다시점 영상 생성 방법에 있어서,
    입력 영상을 객체의 외곽에 따라 분할하는 영상 분할 단계;
    과거 영상과 상기 입력 영상에 기초하여 객체의 미래 움직임을 예측하는 움직임 예측 단계;
    상기 움직임 예측 단계에서 예측된 움직임을 상기 영상 분할 단계에서 분할된 영상에 할당하고, 상기 영상의 가로(x) 방향 및 세로(y) 방향의 움직임의 합을 이용하여 깊이값으로 생성하는 깊이 정보 생성 단계; 및
    상기 깊이 정보 생성 단계에서 생성된 깊이값과 상기 입력 영상을 이용하여 최종 영상을 생성하고, 상기 생성된 최종 영상을 회전 변환시켜 다시점 영상을 생성하는 회전 변환 단계
    를 포함하는 다시점 영상 생성 방법.
  11. 제 10 항에 있어서,
    상기 영상 분할 단계는,
    상기 입력 영상을 각 화소(Pixel)별로 분할하여 상기 입력 영상을 초기화하는 영역 초기화 단계;
    상기 영역 초기화 단계에서 분할된 영역들 중 유사한 색상을 가진 영역들을 하나의 영역으로 융합시키는 영역 융합 단계; 및
    상기 영역 융합 단계에서 융합된 영역들 중 전체 화소의 수가 기설정된 최소 화소 수보다 적은 영역을 융합시키는 영역 처리 단계
    를 포함하는 다시점 영상 생성 방법.
  12. 삭제
  13. 제 10 항에 있어서,
    상기 움직임 예측 단계는,
    수평의 움직임이 있는 영상에서는 수평 방향의 탐색 범위를 설정하고,
    수직의 움직임이 있는 영상에서는 수직 방향의 탐색 범위를 설정하는 것을 특징으로 하는 다시점 영상 생성 방법.
KR1020070091563A 2006-12-05 2007-09-10 다시점 영상 생성 장치 및 그 방법 KR100927734B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060122494 2006-12-05
KR1020060122494 2006-12-05

Publications (2)

Publication Number Publication Date
KR20080052309A KR20080052309A (ko) 2008-06-11
KR100927734B1 true KR100927734B1 (ko) 2009-11-18

Family

ID=39807144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070091563A KR100927734B1 (ko) 2006-12-05 2007-09-10 다시점 영상 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100927734B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101269900B1 (ko) 2008-12-22 2013-05-31 한국전자통신연구원 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345956B2 (en) 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
KR101636539B1 (ko) 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치
KR101207862B1 (ko) * 2010-12-24 2012-12-04 유기령 2차원 영상을 스테레오 영상으로 변환하는 방법
KR101336956B1 (ko) * 2010-12-27 2013-12-04 주식회사 넥시아 디바이스 2차원 영상을 스테레오 영상으로 변환하는 방법
CN102630030A (zh) * 2012-03-31 2012-08-08 彩虹集团公司 一种图像2d 到3d 转换方法
KR101302431B1 (ko) * 2012-06-20 2013-09-02 이광호 2차원 영상을 스테레오 영상으로 변환하는 방법
CN117456531B (zh) * 2023-12-25 2024-03-19 乐山职业技术学院 多视图纯旋转异常识别和自动标记训练方法、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990057669A (ko) * 1997-12-30 1999-07-15 윤종용 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
KR20050018034A (ko) * 2003-08-12 2005-02-23 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
KR19990057669A (ko) * 1997-12-30 1999-07-15 윤종용 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
KR20050018034A (ko) * 2003-08-12 2005-02-23 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101269900B1 (ko) 2008-12-22 2013-05-31 한국전자통신연구원 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치

Also Published As

Publication number Publication date
KR20080052309A (ko) 2008-06-11

Similar Documents

Publication Publication Date Title
KR100927734B1 (ko) 다시점 영상 생성 장치 및 그 방법
CA3035298C (en) Predicting depth from image data using a statistical model
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
JP4938861B2 (ja) 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
US9414048B2 (en) Automatic 2D-to-stereoscopic video conversion
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
Lee et al. Generation of high-quality depth maps using hybrid camera system for 3-D video
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN117115256A (zh) 图像处理系统
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
CN110381268B (zh) 生成视频的方法，装置，存储介质及电子设备
Lee et al. Generation of multi-view video using a fusion camera system for 3D displays
KR20120003232A (ko) 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
Luo et al. A disocclusion inpainting framework for depth-based view synthesis
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
US20230401855A1 (en) Method, system and computer readable media for object detection coverage estimation
JP2006516062A (ja) ディジタル画像の奥行き順序付けを行う方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120919

Year of fee payment: 18