KR100924432B1 - 다시점 영상의 인식 깊이감 조절 장치 및 방법 - Google Patents

다시점 영상의 인식 깊이감 조절 장치 및 방법 Download PDF

Info

Publication number
KR100924432B1
KR100924432B1 KR1020070126208A KR20070126208A KR100924432B1 KR 100924432 B1 KR100924432 B1 KR 100924432B1 KR 1020070126208 A KR1020070126208 A KR 1020070126208A KR 20070126208 A KR20070126208 A KR 20070126208A KR 100924432 B1 KR100924432 B1 KR 100924432B1
Authority
KR
South Korea
Prior art keywords
parallax
image
transform
data
depth
Prior art date
Application number
KR1020070126208A
Other languages
English (en)
Other versions
KR20090059380A (ko
Inventor
엄기문
김태원
허남호
김진웅
이수인
김만배
이세노
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070126208A priority Critical patent/KR100924432B1/ko
Publication of KR20090059380A publication Critical patent/KR20090059380A/ko
Application granted granted Critical
Publication of KR100924432B1 publication Critical patent/KR100924432B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 영상의 인식 깊이감 조절 장치 및 방법이 개시된다. 다시점 영상의 인식 깊이감 조절 장치는 다시점 영상 및 상기 다시점 영상의 깊이 데이터를 입력받는 영상정보 입력부, 상기 다시점 영상 및 깊이 데이터를 이용하여 상기 다시점 영상의 시차 데이터를 계산하는 시차 계산부, 상기 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 변환시차를 계산하는 시차 변환부 및 상기 변환시차를 이용하여 다시점 변환영상을 생성하는 변환영상 생성부를 포함한다.
다시점, 인식 깊이감, 깊이 데이터, 시차, 변환영상

Description

다시점 영상의 인식 깊이감 조절 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING PERCEIVED DEPTH OF MULTI-VIEW IMAGES}
본 발명은 다시점 방송 시스템에 속하는 장치에 관한 것으로, 특히 사용자가 원하는 깊이 정보에 따라 다시점 영상의 인식 깊이감을 조절하는 장치 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT 성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
최근들어 복수의 카메라를 이용하여 추출한 다시점 영상 및 상기 다시점 영상의 깊이 정보를 이용한 영상 기술이 다양하게 발전하고 있다. 이러한 다시점 영상 기술의 발전과 더불어 사용자가 원하는 깊이 또는 더욱 향상된 영상의 깊이감을 위한 깊이 정보 조절 기술의 필요성이 요구되고 있다.
기존의 깊이감 조절 기술은 카메라 배열 방식 및 간격을 조절하여 좌우 영상간 시차를 조절함으로써, 인식 입체 영상의 깊이감을 향상시켰다. 그러나 이러한 깊이감 조절 기술은 실제 카메라로 영상을 취득하기 전에 하드웨어적으로 시차를 조절하는 방식이므로 이미 촬영된 영상에 대해서는 적용이 불가능하다는 문제점을 가지고 있다. 또한, 상기 깊이감 조절 기술은 깊이감 조절을 위하여 하드웨어를 운영해야 하므로, 작업의 효율성이 떨어지는 단점을 가지고 있다. 더군다나, 상기 깊이감 조절 기술은 그 적용 대상이 주로 양안 스테레오 영상에 국한된다는 문제점을 가지고 있다.
본 발명은 다시점 영상을 이용함으로써, 카메라 장치와 관계없이 다시점 영상만으로 깊이감 조절을 제공하는 다시점 영상의 인식 깊이감 조절 장치 및 방법을 제공한다.
본 발명은 사용자가 원하는 깊이 정보를 이용함으로써, 사용자에게 보다 다양한 영상 조절 기능을 제공하는 다시점 영상의 인식 깊이감 조절 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 장치는 다시점 영상 및 상기 다시점 영상의 깊이 데이터를 입력받는 영상정보 입력부, 상기 다시점 영상 및 깊이 데이터를 이용하여 상기 다시점 영상의 시차 데이터를 계산하는 시차 계산부, 상기 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 변환시차를 계산하는 시차 변환부 및 상기 변환시차를 이용하여 다시점 변환영상을 생성하는 변환영상 생성부를 포함한다.
본 발명의 일측에 따르면, 상기 영상정보 입력부는 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받는 다시점 영상 입력부 및 상기 다시점 영상 각각의 깊이 데이터를 입력받는 깊이 데이터 입력부를 포함한다.
또한, 본 발명의 일측에 따르면, 상기 시차 데이터는 상기 다시점 영상의 화소 좌표 별 시차를 포함하고, 상기 시차 변환부는 상기 화소 좌표 별 시차 데이터 및 사용자 요청 깊이 정보를 이용하여 변환시차를 계산한다.
또한, 본 발명의 일측에 따르면, 상기 시차 변환부는 상기 화소 좌표 별 시차 데이터로부터 최대 시차 및 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하고, 상기 최대 시차, 최소 시차, 변환 최대 시차 및 변환 최소 시차를 이용하여 변환시차를 계산한다.
또한, 본 발명의 일측에 따르면, 상기 변환영상 생성부는 상기 시차 데이터 및 변환시차를 이용하여 상기 다시점 영상 화소 좌표의 이동 변이량을 계산하는 이동 변이량 계산부 및 상기 다시점 영상의 화소 좌표에 상기 이동 변이량을 적용하여 다시점 변환영상을 생성하는 화소 이동부를 포함한다.
또한, 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 방법은 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받는 단계, 상기 다시점 영상 각각의 깊이 데이터를 입력받는 단계, 상기 다시점 영상 및 깊이 데이터를 이용하여 상기 다시점 영상의 시차 데이터를 계산하는 단계, 상기 시차 데이터를 이용하여 상기 다시점 영상 각 화소 좌표의 시차를 양/음 시차로 분리하는 단계, 상기 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 변환시차를 계산하는 단계 및 상기 변환시차를 이용하여 다시점 변환영상을 생성하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 방법은 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받는 단계, 상기 다시점 영상 각각의 깊이 데이터를 입력받는 단계, 상기 다시점 영상 및 깊이 데이터 를 이용하여 상기 다시점 영상의 시차 데이터를 계산하는 단계, 상기 시차 데이터를 이용하여 상기 다시점 영상 각 화소 좌표의 시차를 양/음 시차로 분리하는 단계, 양의 시차로 분리된 화소 좌표의 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 양의 변환시차를 계산하고, 음의 시차로 분리된 화소 좌표의 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 음의 변환시차를 계산하는 단계 및 상기 양/음의 변환시차를 이용하여 다시점 변환영상을 생성하는 단계를 포함한다.
본 발명은 다시점 영상을 이용함으로써, 카메라 장치와 관계없이 다시점 영상만으로 깊이감 조절을 제공할 수 있는 다시점 영상의 인식 깊이감 조절 장치 및 방법을 제공할 수 있다.
본 발명은 사용자가 원하는 깊이 정보를 이용함으로써, 사용자에게 보다 다양한 영상 조절 기능을 제공할 수 있는 다시점 영상의 인식 깊이감 조절 장치 및 방법을 제공할 수 있다.
본 발명은 다시점 모니터에서 디스플레이 되는 다시점 영상의 깊이감 조절이 가능하고, 사용자가 원하는 입체 다시점 화상을 공급할 수 있는 다시점 영상의 인식 깊이감 조절 장치 및 방법을 제공할 수 있다.
본 발명은 우수한 입체 품질을 공급함으로써, 향후 실감방송, 3D DMB 방송, 3D 방송, FTV(Free-view TV) 분야에서 우수한 품질의 입체 영상을 공급할 수 있는 다시점 영상의 깊이감 조절 장치 및 방법을 제공할 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 장치를 나타낸 블록도이다.
도 1에 도시된 바와 같이 다시점 영상의 인식 깊이감 조절 장치(100)는 영상정보 입력부(110), 시차 계산부(120), 시차 변환부(130) 및 변환영상 생성부(140)를 포함할 수 있다.
영상정보 입력부(110)는 다시점 영상 및 상기 다시점 영상의 깊이 데이터를 입력받을 수 있다. 또한, 도 1에 도시된 바와 같이 영상정보 입력부(110)는 다시점 영상 입력부(111) 및 깊이 데이터 입력부(112)를 포함할 수 있다.
다시점 영상 입력부(111)는 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받을 수 있다. 예를 들어, 다시점 영상 입력부(111)는 N대의 다시점 카메라로부터 다시점 영상 F1, F2, ..., FN을 입력 받을 수 있다.
깊이 데이터 입력부(112)는 상기 다시점 영상 각각의 깊이 데이터를 입력받을 수 있다. 이 때, 상기 깊이 데이터는 상기 다시점 카메라로부터 수신하거나, 또는 깊이 데이터를 측정하는 별도의 깊이 정보 카메라로부터 수신할 수 있다.
예를 들어, 깊이 데이터 입력부(112)는 다시점 영상 F1, F2, ..., FN의 깊이 데이터 D1, D2, ..., D N를 입력 받을 수 있다. 이 때, 상기 깊이 데이터는 [0, 255]의 그레이 스케일 값으로 표현될 수 있으며, 카메라와 가까운 화소는 큰 값을 가질 수 있다.
시차 계산부(120)는 상기 다시점 영상 및 깊이 데이터를 이용하여 상기 다시점 영상의 시차 데이터를 계산할 수 있다. 즉, 시차 계산부(120)는 상기 다시점 영상 각각의 화소 좌표 및 상기 다시점 영상 각각의 깊이 데이터를 이용하여 상기 다시점 영상 각각의 시차 데이터를 계산할 수 있다.
예를 들어, 시차 계산부(120)는 다시점 영상 입력부(111)에서 입력받은 N 개의 다시점 영상과 깊이데이터 입력부 (200)에서 입력받은 N 개의 깊이 데이터로부터 상기 다시점 영상들 각각의 시차값 d를 계산할 수 있다.
Figure 112007087904379-pat00001
3D 점 (X, Y, Z)는 다시점 영상에서는 (u, v)로 투영된다. 이 때, 3D 점 (X, Y, Z)과 (u, v) 관계는 수학식 1과 같다. 이 때, K는 고유 파라미터이고, R 또는 T는 외부 파라미터이다. 수학식 1에서 임의의 영상 시점의 화소 좌표 p = (ui, vi)를 3D 점 (X, Y, Z)으로 역투영한 후, 다시 3D 점 (X, Y, Z)을 다른 시점 영상들에게 투영하면 각 영상에서의 대응점의 좌표 값을 얻게 된다. 상기 좌표 값을 p'= (u'i, v'i)라 하면, 시차는 p - p'= (ui, - u'i , vi - v'i)일 수 있다.
시차 계산부(120)는 상기 다시점 영상 중 선택한 k 시점 영상의 화소 좌표 p = (ui, vi)를 역투영하여 3D 점 (X, Y, Z)을 결정하고, 상기 3D 점 (X, Y, Z)을 k+1 시점 또는 k-1 시점 영상 중 어느 하나로 투영하여 좌표값 p' = (ui', vi')를 결정하고, 상기 k 시점 영상의 시차 데이터 d = p - p' = (ui - ui', vi - vi')를 결정할 수 있다. 이 때, 상기 Z는 상기 k 시점 영상의 깊이 데이터일 수 있다.
또한, 상기 3D 점 (X, Y, Z)의 투영은 k+1 시점 영상이 k-1 시점 영상에 우선할 수 있다. 즉, 시차 계산부(120)는 먼저 k+1 시점 영상으로 상기 3D 점 (X, Y, Z)을 투영하여 시차를 계산, 저장하고, 시차 값이 비어 있는 화소 좌표에 대해서 k-1 시점 영상으로 상기 3D 점 (X, Y, Z)을 투영하여 시차를 계산, 저장할 수 있다. 이 때, 상기 k는 자연수일 수 있다. 또한, 시차 계산부(120)는 모든 시점의 영상에 대해서 시차 데이터의 계산, 저장을 수행할 수 있다.
시차 변환부(130)는 상기 시차 데이터를 이용하여 사용자의 요청 깊이 정보 에 대응하는 변환시차를 계산할 수 있다. 즉, 시차 변환부(130)는 상기 화소 좌표 별 시차 데이터 및 사용자 요청 깊이 정보를 이용하여 변환시차를 계산할 수 있다. 이 때, 상기 시차 데이터는 상기 다시점 영상의 화소 좌표 별 시차를 포함할 수 있다.
Figure 112007087904379-pat00002
시차 변환부(130)는 상기 화소 좌표 별 시차 데이터로부터 최대 시차 및 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하고, 상기 시차 데이터, 최대 시차, 최소 시차, 변환 최대 시차 및 변환 최소 시차를 이용하여 변환시차를 계산할 수 있다. 구체적으로, 시차 변환부(130)는 수학식 2를 이용하여 변환시차를 계산할 수 있다. 이 때, dmin 과 dmax는 영상의 최소 및 최대 시차이고, d'min 과 d'max는 변환시차의 최소 및 최대 시차이 다. d'은 시차 계산부(120)에서 계산된 시차 데이터 d의 변환시차이다. 이 때, d'은 각 화소 좌표별 변환시차를 포함할 수 있다. 즉, 상기 다시점 영상의 화소 좌표 각각은 고유한 시차를 가질 수 있고, 고유한 변환시차를 가질 수 있다.
변환영상 생성부(140)는 상기 변환시차를 이용하여 다시점 변환영상을 생성할 수 있다. 또한, 도 1에 도시된 바와 같이 변환영상 생성부(140)는 이동 변이량 계산부(141) 및 화소 이동부(142)를 포함할 수 있다.
이동 변이량 계산부(141)는 상기 시차 데이터 및 변환시차를 이용하여 상기 다시점 영상 화소 좌표의 이동 변이량을 계산할 수 있다. 구체적으로 이동 변이량 계산부(141)는 각 화소 좌표의 시차 및 변환시차에 따라 다시점 영상의 각 화소 좌표의 이동 변이량을 수학식 3과 같이 계산할 수 있다.
Figure 112007087904379-pat00003
이 때,
Figure 112007087904379-pat00004
는 k 시점 영상에 대한 이동 변이량이다. 또한, k*는 다시점 영상 중 기준으로 결정된 시점 영상의 번호일 수 있다. 또한,
Figure 112007087904379-pat00005
는 k 시점 영상의 각 화소 좌표의 이동 변이량을 포함할 수 있다. 또한, d' 및 d는 앞서 시차 계산부(120)에서 설명한 바와 같다.
화소 이동부(142)는 상기 다시점 영상의 화소 좌표에 상기 이동 변이량을 적용하여 다시점 변환영상을 생성할 수 있다. 수학식 4는 상기 다시점 영상의 각 화소 좌표에 이동 변이량을 적용하여 다시점 변환영상을 생성하는 일예를 나타내고 있다.
Figure 112007087904379-pat00006
이 때, I'k 는 변환된 영상이며, (m, n)은 화소 좌표의 좌표값이다.
도 2는 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 방법을 도시한 동작 흐름도이다.
도 2에 도시된 바와 같이 다시점 영상의 인식 깊이감 조절 방법은 단계(S201) 내지 단계(S207)로 수행될 수 있다. 또한, 다시점 영상의 인식 깊이감 조절 방법은 다시점 영상의 인식 깊이감 조절 장치에 의하여 수행될 수 있다.
단계(S201)에서 다시점 영상의 인식 깊이감 조절 장치는 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받을 수 있다. 또한, 이와 같은 단계(S201)에 대한 설명은 도 1의 다시점 영상 입력부(111)에 설명된 바와 동일하므 로 이하 생략하도록 하겠다.
단계(S202)에서 상기 조절 장치는 상기 다시점 영상 각각의 깊이 데이터를 입력받을 수 있다. 이 때, 상기 깊이 데이터는 상기 다시점 카메라로부터 수신하거나, 또는 깊이 데이터를 측정하는 별도의 깊이 정보 카메라로부터 수신할 수 있다. 또한, 이와 같은 단계(S202)에 대한 설명은 도 1의 깊이 데이터 입력부(112)에 설명된 바와 동일하므로 이하 생략하도록 하겠다.
단계(S203)에서 상기 조절 장치는 상기 다시점 영상 및 깊이 데이터를 이용하여 상기 다시점 영상의 시차 데이터를 계산할 수 있다. 즉, 상기 조절 장치는 상기 다시점 영상 각각의 화소 좌표 및 상기 다시점 영상 각각의 깊이 데이터를 이용하여 상기 다시점 영상 각각의 시차 데이터를 계산할 수 있다.
구체적으로, 상기 조절 장치는 상기 다시점 영상 중 선택한 k 시점 영상의 화소 좌표 p = (ui, vi)를 역투영하여 3D 점 (X, Y, Z)을 결정하고, 상기 3D 점 (X, Y, Z)을 k+1 시점 또는 k-1 시점 영상 중 어느 하나로 투영하여 좌표값 p' = (ui', vi')를 결정하고, 상기 k 시점 영상의 시차 데이터 d = p - p' = (ui - ui', vi - vi')를 결정할 수 있다. 이 때, 상기 Z는 상기 k 시점 영상의 깊이 데이터일 수 있다. 또한, 이와 같은 단계(S203)에 대한 설명은 도 1의 시차 계산부(120)에 설명된 바와 동일하므로 이하 생략하도록 하겠다.
단계(S204)에서 상기 조절 장치는 상기 시차 데이터를 이용하여 상기 다시점 영상 각 화소 좌표의 시차를 양/음 시차로 분리할 수 있다.
예를 들어, 상기 조절 장치는 상기 시차 데이터로부터 추출한 상기 각 화소 좌표의 시차를 양의 시차와 음의 시차로 분리한다. 이 때, 우영상의 점을 pR, 좌영상의 점을 pL인 경우, 시차 d = pR - pL로 계산되고, d의 x 성분이 0보다 크면, 양의 시차이고, 아니면 음의 시차이다.
단계(S205)에서 상기 조절 장치는 상기 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 변환시차를 계산할 수 있다. 즉, 상기 조절 장치는 상기 화소 좌표 별 시차 데이터 및 사용자 요청 깊이 정보를 이용하여 변환시차를 계산할 수 있다. 이 때, 상기 시차 데이터는 상기 다시점 영상의 화소 좌표 별 시차를 포함할 수 있다.
구체적으로, 상기 조절 장치는 상기 화소 좌표 별 시차 데이터로부터 최대 시차 및 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하고, 상기 시차 데이터, 최대 시차, 최소 시차, 변환 최대 시차 및 변환 최소 시차를 이용하여 변환시차를 계산할 수 있다. 또한, 이와 같은 단계(S205)에 대한 설명은 도 1의 시차 변환부(130)에 설명된 바와 동일하므로 이하 생략하도록 하겠다.
단계(S206)에서 상기 조절 장치는 상기 시차 데이터 및 변환시차를 이용하여 상기 다시점 영상 화소 좌표의 이동 변이량을 계산할 수 있다. 또한, 이와 같은 단계(S206)에 대한 설명은 도 1의 이동 변이량 계산부(141)에 설명된 바와 동일하므로 이하 생략하도록 하겠다.
단계(S207)에서 상기 조절 장치는 상기 양/음 시차로 분리된 상기 다시점 영상의 각 화소 좌표 별로 상기 이동 변이량을 적용하여 다시점 변환영상을 생성할 수 있다. 즉, 상기 조절 장치는 수학식 4를 이용하여 양의 시차를 가지는 화소 좌표를 이동 변이량에 따라 이동하고, 음의 시차를 가지는 화소 좌표를 이동 변이량에 따라 이동할 수 있다. 결과적으로, 상기 조절 장치는 양/음 시차를 가지는 각각의 화소 좌표를 이동하여 다시점 변환 영상을 생성할 수 있다. 이 때, I'k 는 변환된 영상이며, (m, n)은 화소 좌표의 좌표값이다.
도 3은 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 방법을 도시한 동작 흐름도이다.
도 3에 도시된 바와 같이 다시점 영상의 인식 깊이감 조절 방법은 단계(S301) 내지 단계(S308)로 수행될 수 있다. 또한, 다시점 영상의 인식 깊이감 조절 방법은 다시점 영상의 인식 깊이감 조절 장치에 의하여 수행될 수 있다.
단계(S301)에서 다시점 영상의 인식 깊이감 조절 장치는 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받을 수 있다.
단계(S302)에서 상기 조절 장치는 상기 다시점 영상 각각의 깊이 데이터를 입력받을 수 있다.
단계(S303)에서 상기 조절 장치는 상기 다시점 영상 및 깊이 데이터를 이용하여 상기 다시점 영상의 시차 데이터를 계산할 수 있다.
단계(S304)에서 상기 조절 장치는 상기 시차 데이터를 이용하여 상기 다시점 영상 각 화소 좌표의 시차를 양/음 시차로 분리할 수 있다.
이와 같은 단계(S301) 내지 단계(S304)에 대한 설명은 도 2의 단계(S201) 내지 단계(S204)에 설명된 바와 동일하므로 이하 생략하도록 하겠다.
단계(S305)에서 상기 조절 장치는 양의 시차로 분리된 화소 좌표의 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 양의 변환시차를 계산하고, 음의 시차로 분리된 화소 좌표의 시차 데이터를 이용하여 사용자의 요청 깊이 정보에 대응하는 음의 변환시차를 계산할 수 있다.
구체적으로, 상기 조절 장치는 상기 화소 좌표 별 시차 데이터로부터 양의 시차를 갖는 화소 좌표의 양의 최대 시차 및 양의 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하고, 상기 시차 데이터, 양의 최대 시차, 양의 최소 시차, 변환 최대 시차 및 변환 최소 시차를 이용하여 양의 변환시차를 계산하고, 상기 화소 좌표 별 시차 데이터로부터 음의 시차를 갖는 화소 좌표의 음의 최대 시차 및 음의 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하고, 상기 시차 데이터, 음의 최대 시차, 음의 최소 시차, 변환 최대 시차 및 변환 최소 시차를 이용하여 음의 변환시차를 계산할 수 있다. 이 때, 상기 시차 데이터는 상기 다시점 영상의 화소 좌표 별 시차를 포함할 수 있다.
즉, 상기 조절 장치는 음의 시차로 구분된 화소 좌표의 시차 중 음의 최소 시차 및 최대 시차를 검출하고, 양의 시차로 구분된 화소 좌표의 시차 중 양의 최소 시차 및 최대 시차를 검출할 수 있다.
또한, 상기 조절 장치는 수학식 2를 이용하여 음의 시차를 갖는 화소 좌표의 변환시차를 계산할 수 있다. 이 때, 여기서 dmin 과 dmax는 음의 최소 및 최대 시차이고, d'min 과 d'max는 변환시차의 최소 및 최대 시차값이다. d'은 음의 시차를 갖는 시차 데이터 d의 변환시차이다. 이 때, d'은 각 화소 좌표 별 변환시차를 포함할 수 있다.
또한, 상기 조절 장치는 수학식 2를 이용하여 양의 시차를 갖는 화소 좌표의 변환시차를 계산할 수 있다. 이 때, 여기서 dmin 과 dmax는 양의 최소 및 최대 시차이고, d'min 과 d'max는 변환시차의 최소 및 최대 시차값이다. d'은 양의 시차를 갖는 시차 데이터 d의 변환시차이다. 이 때, d'은 각 화소 좌표 별 변환시차를 포함할 수 있다.
단계(S306)에서 상기 조절 장치는 상기 시차 데이터 및 양의 변환시차를 이용하여 양의 시차를 갖는 화소 좌표의 양의 이동 변이량을 계산하고, 상기 시차 데이터 및 음의 변환시차를 이용하여 음의 시차를 갖는 화소 좌표의 음의 이동 변이량을 계산할 수 있다.
상기 조절 장치는 수학식 3을 이용하여 양의 시차를 갖는 화소 좌표의 이동 변이량을 계산할 수 있다. 이 때,
Figure 112007087904379-pat00007
는 k 시점 영상에 대한 이동 변이량이다. 또한, k*는 다시점 영상 중 기준으로 결정된 시점 영상의 번호일 수 있다. 또한,
Figure 112007087904379-pat00008
는 k 시점 영상의 양의 시차를 갖는 화소 좌표 각각의 이동 변이량을 포함할 수 있다. 또한, d' 및 d는 양의 시차를 갖는 화소 좌표의 변환시차 및 시차 데이터일 수 있다.
또한, 상기 조절 장치는 수학식 3을 이용하여 음의 시차를 갖는 화소 좌표의 이동 변이량을 계산할 수 있다. 이 때,
Figure 112007087904379-pat00009
는 k 시점 영상에 대한 이동 변이량이다. 또한, k*는 다시점 영상 중 기준으로 결정된 시점 영상의 번호일 수 있다. 또한,
Figure 112007087904379-pat00010
는 k 시점 영상의 음의 시차를 갖는 화소 좌표 각각의 이동 변이량을 포함할 수 있다. 또한, d' 및 d는 음의 시차를 갖는 화소 좌표의 변환시차 및 시차 데이터일 수 있다.
단계(S307)에서 상기 조절 장치는 상기 다시점 영상에 포함된 양의 시차를 갖는 화소 좌표에 상기 양의 이동 변이량을 적용하여 다시점 변환영상을 생성할 수 있다.
상기 조절 장치는 수학식 4를 이용하여 양의 시차를 가지는 화소 좌표를 이동 변이량에 따라 이동하고, 다시점 변환 영상을 생성할 수 있다. 이 때, I'k 는 변환된 영상이며, (m, n)은 양의 시차를 갖는 화소 좌표의 좌표값이다.
단계(S308)에서 상기 조절 장치는 상기 다시점 영상에 포함된 음의 시차를 갖는 화소 좌표에 상기 음의 이동 변이량을 적용하여 다시점 변환영상을 생성할 수 있다.
상기 조절 장치는 수학식 4를 이용하여 음의 시차를 가지는 화소 좌표를 이 동 변이량에 따라 이동하고, 다시점 변환 영상을 생성할 수 있다. 이 때, I'k 는 변환된 영상이며, (m, n)은 음의 시차를 갖는 화소 좌표의 좌표값이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 방법을 도시한 동작 흐름도이다.
도 3은 본 발명의 일실시예에 따른 다시점 영상의 인식 깊이감 조절 방법을 도시한 동작 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 다시점 영상의 인식 깊이감 조절 장치
110: 영상정보 입력부
120: 시차 계산부
130: 시차 변환부
140: 변환영상 생성부

Claims (15)

  1. 다시점 영상 및 상기 다시점 영상의 깊이 데이터를 입력받는 영상정보 입력부;
    상기 다시점 영상 중 선택한 k 시점 영상의 화소 좌표를 역투영하여 3D 점을 결정하고, 상기 3D 점을 k+1 시점 또는 k-1 시점 영상 중 어느 하나로 투영하여 좌표값을 결정하며, 상기 화소 좌표에서 상기 좌표값을 빼어 상기 k 시점 영상의 시차 데이터를 계산하는 시차 계산부;
    상기 화소 좌표 별 시차 데이터로부터 최대 시차 및 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하며, 상기 변환 최대 시차와 상기 변환 최소 시차의 차이 값, 상기 최대 시차와 상기 최소 시차의 차이 값, 상기 시차 데이터와 상기 최소 시차의 차이값 및 상기 변환 최소 시차를 사용하여 변환시차를 계산하는 시차 변환부; 및
    상기 변환시차와 상기 시차 데이터의 차이 값을 기초로 상기 다시점 영상 화소 좌표의 이동 변이량을 계산하고, 상기 다시점 영상의 화소 좌표에 상기 이동 변이량을 더하여 다시점 변환영상을 생성하는 변환영상 생성부
    를 포함하는 다시점 영상의 인식 깊이감 조절 장치.
  2. 제1항에 있어서,
    상기 영상정보 입력부는,
    적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받는 다시점 영상 입력부; 및
    상기 다시점 영상 각각의 깊이 데이터를 입력받는 깊이 데이터 입력부
    를 포함하는 다시점 영상의 인식 깊이감 조절 장치.
  3. 제2항에 있어서,
    상기 깊이 데이터는,
    상기 다시점 카메라로부터 입력받거나, 또는
    깊이 데이터를 측정하는 별도의 깊이 정보 카메라로부터 입력받는 것을 특징으로 하는 다시점 영상의 인식 깊이감 조절 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 시차 변환부는 상기 변환 최대 시차에서 상기 변환 최소 시차를 뺀 값을 상기 최대 시차에서 상기 최소 시차를 뺀 값으로 나눈 결과에 상기 시차 데이터에서 상기 최소 시차를 뺀 값을 곱하고 상기 변환 최소 시차를 더하여 변환시차를 계산하는 것을 특징으로 하는 다시점 영상의 인식 깊이감 조절 장치.
  6. 제1항에 있어서,
    상기 변환영상 생성부는 다시점 영상 중 기준으로 결정된 시점 영상의 번호에서 k 시점 영상의 번호를 뺀 값과 상기 변환시차에서 상기 시차 데이터를 뺀 값을 곱하여 상기 다시점 영상 화소 좌표의 이동 변이량을 계산하는 다시점 영상의 인식 깊이감 조절 장치.
  7. 제6항에 있어서,
    상기 변환영상 생성부는 상기 다시점 영상의 화소 좌표 중 하나에 상기 이동 변이량을 더하여 다시점 변환영상을 생성하는 다시점 영상의 인식 깊이감 조절 장치.
  8. 적어도 하나의 다시점 카메라 각각으로부터 다시점 영상을 입력받는 단계;
    상기 다시점 영상 각각의 깊이 데이터를 입력받는 단계;
    상기 다시점 영상 중 선택한 k 시점 영상의 화소 좌표를 역투영하여 3D 점을 결정하고, 상기 3D 점을 k+1 시점 또는 k-1 시점 영상 중 어느 하나로 투영하여 좌표값을 결정하며, 상기 화소 좌표에서 상기 좌표값을 빼어 상기 k 시점 영상의 시차 데이터를 계산하는 단계;
    상기 시차 데이터의 x 성분이 0보다 큰지 작은지 여부에 따라 상기 다시점 영상 각 화소 좌표의 시차를 양/음 시차로 분리하는 단계;
    상기 화소 좌표 별 시차 데이터로부터 최대 시차 및 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하며, 상기 변환 최대 시차와 상기 변환 최소 시차의 차이 값, 상기 최대 시차와 상기 최소 시차의 차이 값, 상기 시차 데이터와 상기 최소 시차의 차이값 및 상기 변환 최소 시차를 사용하여 변환시차를 계산하는 단계; 및
    상기 변환시차와 시차 데이터의 차이값을 기초로 상기 다시점 영상 화소 좌표의 이동 변이량을 계산하고, 상기 다시점 영상의 화소 좌표에 상기 이동 변이량을 더하여 다시점 변환영상을 생성하는 단계
    를 포함하는 다시점 영상의 인식 깊이감 조절 방법.
  9. 제8항에 의하여,
    다시점 변환영상을 생성하는 상기 단계는,
    상기 변환시차와 시차 데이터의 차이값을 기초로 상기 다시점 영상 화소 좌표의 이동 변이량을 계산하는 단계; 및
    양의 시차를 가지는 화소 좌표를 이동 변이량에 따라 이동하고, 음의 시차를 가지는 화소 좌표를 이동 변이량에 따라 이동하여 다시점 변환영상을 생성하는 단계
    를 포함하는 다시점 영상의 인식 깊이감 조절 방법.
  10. 제8항에 있어서,
    상기 깊이 데이터는,
    상기 다시점 카메라로부터 입력받거나, 또는
    깊이 데이터를 측정하는 별도의 깊이 정보 카메라로부터 입력받는 것을 특징으로 하는 다시점 영상의 인식 깊이감 조절 방법.
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 변환시차를 계산하는 단계는 상기 변환 최대 시차에서 상기 변환 최소 시차를 뺀 값을 상기 최대 시차에서 상기 최소 시차를 뺀 값으로 나눈 결과에 상기 시차 데이터에서 상기 최소 시차를 뺀 값을 곱하고 상기 변환 최소 시차를 더하여 변환시차를 계산하는 것을 특징으로 하는 다시점 영상의 인식 깊이감 조절 방법.
  14. 제8항에 있어서,
    변환시차를 계산하는 상기 단계는,
    상기 화소 좌표 별 시차 데이터로부터 양의 시차를 갖는 화소 좌표의 양의 최대 시차 및 양의 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하며, 상기 변환 최대 시차에서 상기 변환 최소 시차를 뺀 값을 상기 양의 최대 시차에서 상기 양의 최소 시차를 뺀 값으로 나눈 결과에 상기 시차 데이터에서 상기 양의 최소 시차를 뺀 값을 곱하고 상기 변환 최소 시차를 더하여 양의 변환시차를 계산하는 단계; 및
    상기 화소 좌표 별 시차 데이터로부터 음의 시차를 갖는 화소 좌표의 음의 최대 시차 및 음의 최소 시차를 검출하고, 사용자 요청 깊이 정보에 대응하는 변환 최대 시차 및 변환 최소 시차를 결정하며, 상기 변환 최대 시차에서 상기 변환 최소 시차를 뺀 값을 상기 음의 최대 시차에서 상기 음의 최소 시차를 뺀 값으로 나눈 결과에 상기 시차 데이터에서 상기 음의 최소 시차를 뺀 값을 곱하고 상기 변환 최소 시차를 더하여 음의 변환시차를 계산하는 단계를 포함하는 다시점 영상의 인식 깊이감 조절 방법.
  15. 제14항에 있어서,
    다시점 변환영상을 생성하는 상기 단계는,
    상기 다시점 영상 중 기준으로 결정된 시점 영상의 번호에서 k 시점 영상의 번호를 뺀 값과 상기 양의 변환시차에서 상기 시차 데이터를 뺀 값을 곱하여 양의 시차를 갖는 화소 좌표의 양의 이동 변이량을 계산하고,
    상기 기준으로 결정된 시점 영상의 번호에서 k 시점 영상의 번호를 뺀 값과 상기 음의 변환시차에서 상기 시차 데이터를 뺀 값을 곱하여 음의 시차를 갖는 화소 좌표의 음의 이동 변이량을 계산하는 단계;
    상기 다시점 영상에 포함된 양의 시차를 갖는 화소 좌표 중 하나에 상기 양의 이동 변이량을 더하여 다시점 변환영상을 생성하는 단계; 및
    상기 다시점 영상에 포함된 음의 시차를 갖는 화소 좌표 중 하나에 상기 음의 이동 변이량을 더하여 다시점 변환영상을 생성하는 단계
    를 포함하는 다시점 영상의 인식 깊이감 조절 방법.
KR1020070126208A 2007-12-06 2007-12-06 다시점 영상의 인식 깊이감 조절 장치 및 방법 KR100924432B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070126208A KR100924432B1 (ko) 2007-12-06 2007-12-06 다시점 영상의 인식 깊이감 조절 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070126208A KR100924432B1 (ko) 2007-12-06 2007-12-06 다시점 영상의 인식 깊이감 조절 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090059380A KR20090059380A (ko) 2009-06-11
KR100924432B1 true KR100924432B1 (ko) 2009-10-29

Family

ID=40989505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070126208A KR100924432B1 (ko) 2007-12-06 2007-12-06 다시점 영상의 인식 깊이감 조절 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100924432B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120030005A (ko) * 2010-09-16 2012-03-27 소니 주식회사 화상 처리 장치 및 방법과 입체 화상 표시 장치
KR20140051696A (ko) * 2012-10-23 2014-05-02 엘지디스플레이 주식회사 3d 디스플레이의 영상 정보 처리 장치 및 방법
US9105133B2 (en) 2013-10-31 2015-08-11 Samsung Electronics Co., Ltd. Multi view image display apparatus and control method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5479264B2 (ja) * 2009-10-30 2014-04-23 三菱電機株式会社 映像表示制御方法及び装置
US9066076B2 (en) 2009-10-30 2015-06-23 Mitsubishi Electric Corporation Video display control method and apparatus
EP2429199B1 (en) 2010-09-13 2018-02-21 LG Electronics Inc. Image display apparatus and method for operating the same
KR101243960B1 (ko) * 2010-11-10 2013-03-14 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR102143944B1 (ko) * 2013-09-27 2020-08-12 엘지디스플레이 주식회사 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
KR102139106B1 (ko) * 2016-12-16 2020-07-29 주식회사 케이티 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050004823A (ko) * 2002-03-27 2005-01-12 산요덴키가부시키가이샤 입체 화상 처리 방법 및 장치
KR20050102156A (ko) * 2004-04-20 2005-10-25 쓰리알 주식회사 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
KR20060063558A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050004823A (ko) * 2002-03-27 2005-01-12 산요덴키가부시키가이샤 입체 화상 처리 방법 및 장치
KR20050102156A (ko) * 2004-04-20 2005-10-25 쓰리알 주식회사 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
KR20060063558A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120030005A (ko) * 2010-09-16 2012-03-27 소니 주식회사 화상 처리 장치 및 방법과 입체 화상 표시 장치
KR20140051696A (ko) * 2012-10-23 2014-05-02 엘지디스플레이 주식회사 3d 디스플레이의 영상 정보 처리 장치 및 방법
US9105133B2 (en) 2013-10-31 2015-08-11 Samsung Electronics Co., Ltd. Multi view image display apparatus and control method thereof

Also Published As

Publication number Publication date
KR20090059380A (ko) 2009-06-11

Similar Documents

Publication Publication Date Title
KR100924432B1 (ko) 다시점 영상의 인식 깊이감 조절 장치 및 방법
JP5594477B2 (ja) 画像表示装置、画像表示方法、及びプログラム
US8116557B2 (en) 3D image processing apparatus and method
JP5561781B2 (ja) ２ｄ画像データを立体画像データに変換する方法およびシステム
JP5068391B2 (ja) 画像処理装置
JP5879713B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20080076628A (ko) 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US20100073364A1 (en) Conversion method and apparatus with depth map generation
KR20040071145A (ko) 2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는방법 및 장치
CN102447925B (zh) 一种虚拟视点图像合成方法及装置
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5197683B2 (ja) 奥行き信号生成装置及び方法
WO2001039512A1 (en) Device and method for converting two-dimensional video to three-dimensional video
JP2012204852A (ja) 画像処理装置および方法、並びにプログラム
KR20080101998A (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
CN104349049A (zh) 图像处理方法以及图像处理装置
US20120007949A1 (en) Method and apparatus for displaying
JP2014074969A (ja) 画像処理装置及びその方法
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
WO2008152607A1 (en) Method, apparatus, system and computer program product for depth-related information propagation
KR102180068B1 (ko) 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치
JP5845780B2 (ja) 立体画像生成装置及び立体画像生成方法
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
KR20160114983A (ko) 영상 변환 장치 및 방법
JP2012060246A (ja) 画像処理装置、集積回路装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 19