KR20160063805A - 다시점 영상 생성 장치 및 방법 - Google Patents

다시점 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20160063805A
KR20160063805A KR1020140167557A KR20140167557A KR20160063805A KR 20160063805 A KR20160063805 A KR 20160063805A KR 1020140167557 A KR1020140167557 A KR 1020140167557A KR 20140167557 A KR20140167557 A KR 20140167557A KR 20160063805 A KR20160063805 A KR 20160063805A
Authority
KR
South Korea
Prior art keywords
image
warping
viewpoint
view
relative distance
Prior art date
Application number
KR1020140167557A
Other languages
English (en)
Inventor
김유경
엄기문
정일구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140167557A priority Critical patent/KR20160063805A/ko
Priority to US14/719,929 priority patent/US9652819B2/en
Publication of KR20160063805A publication Critical patent/KR20160063805A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다시점 영상 생성 장치 및 방법에 관한 것이다. 본 발명에 따른 장치는, 스테레오 영상을 촬영하는 카메라, 상기 스테레오 영상의 좌측영상 및 우측영상으로부터 특징점을 검출하는 영상 처리부, 상기 좌측영상 및 상기 우측영상 사이에 존재하는 N 개의 시점 중 n 번째 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 먼 방향의 영상을 n 시점으로 워핑하여 n 시점에 대한 기준영상을 생성하는 기준영상 생성부, 및 상기 기준영상을 이용하여 n 시점에 대한 워핑식을 계산하고 상기 계산된 워핑식을 이용하여 n 시점에 대한 최종워핑영상을 생성하는 워핑영상 생성부를 포함한다.

Description

다시점 영상 생성 장치 및 방법{Apparatus and method for making multi-viewpoint image}
본 발명은 다시점 영상 생성 장치 및 방법에 관한 것으로, 스테레오 영상 워핑을 이용하여 다시점 영상 간의 전환이 자연스러운 연속 시점 영상을 생성하는 기술에 관한 것이다.
스테레오 영상으로부터 스테레오 정합 기법 등에 의해 변이를 계산하고, 이 변이 정보를 이용하여 중간 영상을 생성함으로 다시점 영상을 생성하는 기법이 있다.
최근에 스테레오 영상에서 특징점 변이/광류 계산 등을 통해 영상의 일부 영역에 대해서만 변이 정보를 계산하고, 영상 중요도(saliency), 영상 가장자리(edge) 성분으로 정의되는 제한 조건을 이용하여 에너지 함수의 각 항을 정의하고, 이를 가중 결합하여 정의한 에너지 함수를 최소화하는 메쉬 그리드 기반의 영상 워핑식 계산으로 다시점 영상을 생성하는 영상 워핑 기반 다시점 영상 생성 기법에 대해 개시하고 있다.
하지만, 상술한 기술을 이용하여 워핑에 의한 다시점 영상 생성시 워핑에 의해 전체 영상의 왜곡이 심하여 인물 객체들이 늘어지거나 휘는 현상이 나타나 다시점 영상의 부정확성을 증가시킨다. 또한, 다시점 영상마다 왜곡이 발생하는 위치와 정도가 상이하다. 이는, 다시점 영상들을 순차적으로 재생할 때 왜곡이 더욱 두드러지게 하는 문제가 있다. 특히 좌우 영상 중 가까운 방향의 영상을 이용해 중간 시점 영상을 생성하는 기존 방법은 좌우 영상 차에 의해 중앙에 위치한 중간 시점 영상들 간에 현격한 차이가 발생한다. 이는 다시점 영상들 간 전환 시 다시점 영상에 대한 신뢰도와 시청자의 몰입도를 떨어뜨리는 단점을 가지고 있다.
따라서, 다시점 영상 생성 시 다시점 영상 간 전환이 자연스럽도록 인접한 시점 영상들간의 유사도를 높이고, 영상 워핑 시 다시점 영상들에서 발생하는 왜곡이 시청자의 입장에서 자연스러울 수 있도록 왜곡의 방향이 일관되고 왜곡의 정도가 다시점 영상들 간에 균등하게 분포되도록 할 필요가 있다.
[Image Domain Warping as Alternative to DIBR for Advanced 3DV Applications, M19995, March, 2011.]
본 발명의 목적은, 스테레오 영상에 대한 연속시점 영상들 간의 왜곡을 균등하게 분산시키고 각 시점 영상 간의 유사도를 높여 연속시점 영상들 간의 자연스러운 전환이 가능하도록 하는 다시점 영상 생성 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 스테레오 영상의 좌측영상과 우측영상을 모두 고려하여 중간시점영상을 생성하도록 하는 다시점 영상 생성 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 다시점 영상 생성 장치는, 스테레오 영상을 촬영하는 카메라, 상기 스테레오 영상의 좌측영상 및 우측영상으로부터 특징점을 검출하는 영상 처리부, 상기 좌측영상 및 상기 우측영상 사이에 존재하는 N 개의 시점 중 n 번째 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 먼 방향의 영상을 n 시점으로 워핑하여 n 시점에 대한 기준영상을 생성하는 기준영상 생성부, 및 상기 기준영상을 이용하여 n 시점에 대한 워핑식을 계산하고 상기 계산된 워핑식을 이용하여 n 시점에 대한 최종워핑영상을 생성하는 워핑영상 생성부를 포함할 수 있다.
여기서, 상기 워핑영상 생성부는, n 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 가까운 방향의 영상을 상기 워핑식을 근거로 n 시점으로 워핑하여 상기 n시점에 대한 최종워핑영상을 생성하는 것을 특징으로 한다.
상기 기준영상 생성부는, 상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5를 초과하면 상기 좌측영상을 이용하여 n 시점 기준영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5를 초과하면 상기 우측영상을 이용하여 n 시점 기준영상을 생성하는 것을 특징으로 한다.
상기 워핑영상 생성부는, 상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5 미만이면 상기 좌측영상을 이용하여 n 시점의 최종워핑영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5 미만이면 상기 우측영상을 이용하여 n 시점의 최종워핑영상을 생성하는 것을 특징으로 한다.
상기 워핑영상 생성부는, 상기 n 시점의 기준영상을 이용하여 n 시점에 대한 워핑 제한조건을 설정하고, 설정된 상기 워핑 제한조건을 반영하여 상기 워핑식을 결정하는 것을 특징으로 한다.
상기 워핑 제한조건은, 상기 좌측영상 및 상기 우측영상 중 상기 n 시점으로부터 거리상 가까운 방향의 영상으로부터 계산된 메쉬들의 변형 정도, 해당 영상을 워핑하는 경우에 대응점들의 유지 정도, 해당 영상으로부터 계산된 에지 선 상의 점에 대한 유지 정도, 해당 영상의 워핑 시 시간적 일관성 및 상기 n 시점의 기준영상과 워핑 후 영상의 유사도 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 좌측영상 및 상기 우측영상의 특징점 간 변이를 계산하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 좌측영상 및 상기 우측영상 중 적어도 하나를 메쉬 그리드 단위로 분할하고, 분할된 각 메쉬별로 점, 선, 면 중 적어도 하나의 정보를 추출하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 좌측영상 및 상기 우측영상 중 적어도 하나로부터 에지 영역을 검출하여 에지 영역의 선, 점 정보를 추출하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 다시점 영상 생성 방법은, 스테레오 영상이 입력되면, 상기 스테레오 영상의 좌측영상 및 우측영상으로부터 특징점을 검출하는 단계, 상기 좌측영상 및 상기 우측영상으로부터 계산된 특징점을 기반으로 상기 좌측영상 및 상기 우측영상 사이에 존재하는 N 개의 시점 중 n 번째 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 먼 방향의 영상을 n 시점으로 워핑하여 n 시점에 대한 기준영상을 생성하는 단계, 상기 기준영상을 이용하여 n 시점에 대한 워핑식을 계산하는 단계, 및 상기 좌측영상 및 상기 우측영상으로부터 계산된 특징점을 기반으로 n 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 가까운 방향의 영상을 상기 워핑식을 근거로 n 시점으로 워핑하여 상기 n시점에 대한 최종워핑영상을 생성하는 단계를 포함할 수 있다.
상기 n 시점에 대한 기준영상을 생성하는 단계는, 상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5를 초과하면 상기 좌측영상을 이용하여 n 시점 기준영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5를 초과하면 상기 우측영상을 이용하여 n 시점 기준영상을 생성하는 것을 특징으로 한다.
상기 최종워핑영상을 생성하는 단계는, 상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5 미만이면 상기 좌측영상을 이용하여 n 시점의 최종워핑영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5 미만이면 상기 우측영상을 이용하여 n 시점의 최종워핑영상을 생성하는 것을 특징으로 한다.
상기 n 시점에 대한 워핑식을 계산하는 단계는, 상기 n 시점의 기준영상을 이용하여 n 시점에 대한 워핑 제한조건을 설정하는 단계를 포함하며, 상기 설정된 상기 워핑 제한조건을 반영하여 상기 워핑식을 결정하는 것을 특징으로 한다.
상기 워핑 제한조건은, 상기 좌측영상 및 상기 우측영상 중 상기 n 시점으로부터 거리상 가까운 방향의 영상으로부터 계산된 메쉬들의 변형 정도, 해당 영상을 워핑하는 경우에 대응점들의 유지 정도, 해당 영상으로부터 계산된 에지 선 상의 점에 대한 유지 정도, 해당 영상의 워핑 시 시간적 일관성 및 상기 n 시점의 기준영상과 워핑 후 영상 간의 유사도 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 특징점을 검출하는 단계는, 상기 좌측영상 및 상기 우측영상의 특징점 간 변이를 계산하는 단계, 상기 좌측영상 및 상기 우측영상 중 적어도 하나를 메쉬 그리드 단위로 분할하고, 분할된 각 메쉬별로 점, 선, 면 중 적어도 하나의 정보를 추출하는 단계, 및 상기 좌측영상 및 상기 우측영상 중 적어도 하나로부터 에지 영역을 검출하여 에지 선과 점 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 스테레오 영상에 대한 연속시점 영상들 간의 왜곡을 균등하게 분산시키고 각 시점 영상 간의 유사도를 높여 연속시점 영상들 간의 자연스러운 전환이 가능한 이점이 있다.
또한, 본 발명에 따르면, 스테레오 영상의 좌측영상과 우측영상을 모두 고려하여 중간시점 영상들 간의 차이가 작아져 좌측영상과 우측영상의 차이로 인해 시점 전환시 발생하는 급격한 중간시점 영상들간의 변화를 줄일 수 있다. 또한 기존의 다시점 영상 생성 후처리 방식인 블랜딩 방식 대비 두 영상이 중첩되어 보이는 고스트 현상이 발생하는 것을 방지할 수 있는 이점이 있다.
도 1은 본 발명에 따른 다시점 영상 생성 장치의 구성을 도시한 블록도이다.
도 2는 도 1의 기준영상 생성부에 대한 세부 동작을 설명하는데 참조되는 예시도이다.
도 3은 본 발명에 따른 다시점 영상 생성 장치의 워핑값 최적화 동작을 설명하는데 참조되는 예시도이다.
도 4는 본 발명에 따른 다시점 영상 생성 장치의 연속시점 영상 생성 동작을 설명하는데 참조되는 예시도이다.
도 5 및 도 6은 본 발명에 따른 다시점 영상 생성 방법에 대한 동작 흐름을 도시한 순서도이다.
도 7은 본 발명에 따른 장치가 적용된 컴퓨팅 시스템을 도시한 도면이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명에 따른 다시점 영상 생성 장치의 구성을 도시한 블록도이다.
본 발명에 따른 다시점 영상 생성 장치(100)는 스테레오 카메라 혹은 다시점 카메라가 적용된 곳이라면 어디든 구현될 수 있다.
이에, 도 1을 참조하면, 다시점 영상 생성 장치(100)는 제어부(110), 카메라(120), 입력부(130), 출력부(140), 통신부(150), 저장부(160), 영상 처리립리부(170), 기준영상 생성부(180) 및 워핑영상 생성부(190)를 포함할 수 있다. 여기서, 제어부(110)는 다시점 영상 생성 장치(100)의 각 부간에 전달되는 신호를 처리할 수 있다.
카메라(120)는 영상을 촬영하는 장치로서, 카메라(120)에 의해 촬영된 영상은 제어부(110)를 통해 영상 처리부(170), 기준영상 생성부(180) 및 워핑값 계산부 중 적어도 하나로 전달될 수 있다.
이때, 카메라(120)는 스테레오 카메라 혹은 다시점 카메라로 구현될 수 있다. 여기서, 카메라(120)는 다시점 영상 생성 장치(100)의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 다시점 영상 생성 장치(100)의 외부에서 별도의 연결 수단에 의해 다시점 영상 생성 장치(100)의 내부 제어 유닛들과 연결될 수도 있다. 한편, 카메라(120)는 단시점 카메라 일 수 있으며, 이 경우 단시점 카메라가 복수 개 구비된 것으로 한다.
본 발명에서는 카메라(120)가 두 개의 시점에 대한 스테레오 영상을 촬영하는 것으로 하여 실시예를 설명하나, 이에 한정되는 것은 아니다. 카메라(120)에 의해 촬영되는 스테레오 영상은 편의상 좌측영상 및 우측영상을 포함하는 것으로 하여 설명하도록 한다.
입력부(130)는 사용자로부터의 제어 명령을 입력 받기 위한 수단으로, 다시점 영상 생성 장치(100) 외부에 구현되는 키 버튼이 해당 될 수 있으며, 다시점 영상 생성 장치(100) 또는 차량에 구비된 디스플레이 상에 구현되는 소프트 키가 해당 될 수도 있다. 또한, 입력부(130)는 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜과 같은 형태의 입력 수단일 수도 있다.
출력부(140)는 다시점 영상 생성 장치(100)의 동작 상태 및 결과 등이 표시되는 디스플레이를 포함할 수 있으며, 동작 상태 및 결과를 음성으로 안내하는 스피커를 포함할 수 있다.
여기서, 디스플레이는 터치 동작을 감지하는 센서가 구비되는 경우, 출력 장치 이외에도 입력 장치로도 사용될 수 있다. 즉, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력부(130)와 출력부(140)가 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이는 다시점 영상 생성 장치(100)와 별도로 구현되어 외부에서 다시점 영상 생성 장치(100)와 연결된 장치일 수도 있다.
통신부(150)는 외부의 장치들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈일 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access) 등이 포함될 수 있고, 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다. 또한, 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.
한편, 다시점 영상 생성 장치(100)가 차량에 구비된 장치인 경우, 통신부(150)는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 통신모듈을 포함할 수도 있다.
저장부(160)는 다시점 영상 생성 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다. 저장부(160)는 다시점 영상 생성 장치(100)의 동작을 위한 설정값이 저장될 수 있다. 일 예로서, 저장부(160)는 다시점 영상으로부터 특징점 추출, 변이 계산, 기준영상 생성, 영상 워핑 등을 수행하기 위해 미리 정의된 기준치, 동작 조건 및 각 동작을 제어하기 위한 명령 등이 저장될 수 있다. 또한, 저장부(160)는 각 동작을 수행하기 위한 알고리즘이 저장될 수도 있다.
여기서, 저장부(160)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
영상 처리부(170)는 카메라(120)로부터 스테레오 영상, 즉, 좌측영상 및 우측영상이 입력되면, 입력된 좌측영상 및 우측영상으로부터 특징점을 추출하여 특징점 간의 변이를 계산하도록 한다. 이때, 영상 처리부(170)는 SIFT(Scale Invariant Feature Transform)와 같은 특징점 추출 기법을 적용하여 좌측영상 및 우측영상에 대한 특징점을 추출하고, 추출된 특징점 간의 변이를 계산할 수 있다.
또한, 영상 처리부(170)는 좌측영상 및 우측 영상을 저해상도 영상으로 만들고, 저해상도 영상 간의 광류를 계산하여 좌측영상 및 우측영상 간 변이를 계산할 수도 있다. 이 경우, 영상 처리부(170)는 계산된 변이를 특징점 간의 변이와 결합하고 아웃라이어(outlier)를 제거하여 정확도가 높은 장면의 스파스(Sparse) 한 변이를 계산할 수 있다.
한편, 영상 처리부(170)는 좌측영상 및 우측영상을 이용하여 워핑영상을 생성하기 위한 메쉬를 구성할 수 있다. 이때, 영상 처리부(170)는 좌측영상 및 우측영상 중 어느 하나의 입력영상을 메쉬 단위로 분할하고, 분할된 각 메쉬에 대한 특징 정보, 예를 들어, 점, 선, 면에 대한 정보를 추출할 수 있다. 여기서, 영상 처리부(170)에 의해 추출된 각 메쉬별 특징 정보는 저장부에 저장되어, 추후 워핑영상 생성 시 이용될 수 있다.
또한, 영상 처리부(170)는 좌측영상 및 우측영상으로부터 에지(edge)를 검출할 수 있다. 여기서, 에지의 경우 중요도에 따라 수직선이나 특정 방향의 선, 곡선을 중점적으로 검출하도록 설정할 수 있다.
기준영상 생성부(180)는 좌측영상 및 우측 영상 중 어느 하나를 이용하여 n 시점에 대한 기준영상을 생성한다. 여기서, 기준영상 생성부(180)는 n 시점을 기준으로 좌측영상 및 우측영상 중 거리가 먼 원거리 영상을 토대로 n 시점에 대한 기준영상을 생성할 수 있다.
일 예로서, 기준영상 생성부(180)는 좌측영상과 우측영상 사이의 상대거리를 1로 했을 때 n 시점의 위치와 좌측영상 간 상대 거리가 0.5 미만이면 좌측영상을 근거리 영상, 우측영상을 원거리 영상으로 정하고, 원거리 영상인 우측영상을 이용하여 n 시점에 대한 기준영상을 생성하도록 한다. 한편, n+1 시점의 위치와 좌측영상 간 상대 거리가 0.5를 초과하면 기준영상 생성부(180)는 좌측영상을 원거리 영상, 우측영상을 근거리 영상으로 정하고, 원거리 영상인 좌측영상을 이용하여 n+1 시점에 대한 기준영상을 생성하도록 한다.
여기서, n 시점에 대한 기준영상은 n 시점을 기준으로 원거리 영상을 워핑한 영상이다.
이에, 기준영상 생성부(180)에서 기준영상을 생성하는 동작에 대한 구체적인 설명은 도 2의 실시예를 참조하도록 한다.
도 2의 실시예는 우측영상을 토대로 n 시점의 기준영상을 생성하는 동작을 나타낸 것이다. 도 2에 도시된 바와 같이, 기준영상 생성부(180)는 우측영상을 이용하여 n 시점의 기준영상을 생성하기 위해, 동작 210에서와 같이 우측영상과 좌측영상 간 특징점을 검출하여 변이를 계산할 수 있다. 또한, 기준영상 생성부(180)는 동작 220에서와 같이, 우측영상을 메쉬 그리드 단위로 워핑하기 위해 우측영상을 메쉬 그리드 단위로 분할하고, 분할된 각 메쉬에 대한 특징 정보(점, 선, 면 등)에 대한 정보를 추출할 수 있다. 또한, 기준영상 생성부(180)는 동작 230에서와 같이 우측영상으로부터 에지(edge)를 검출할 수 있다.
여기서, 동작 210 내지 동작 230은 기준영상 생성부(180)가 수행할 수도 있지만, 실시 형태에 따라 영상 처리부(170)에서 동작 210 내지 동작 230을 수행하고, 기준영상 생성부(180)가 영상 처리부(170)로부터 동작 수행 결과를 입력 받아 처리할 수도 있다.
이때, 기준영상 생성부(180)는 동작 240에서와 같이 우측영상을 n 시점 영상으로 워핑하기 위한 워핑값을 계산하고, 동작 250에서와 같이 동작 210 내지 동작 230을 통해 추출된 특징점 간 변이 정보, 메쉬 정보 및 에지 정보를 적용하여 워핑값을 최적화하도록 한다. 일 예로서, 기준영상 생성부(180)는 비선형 최소자승 최적화(nonlinear least-squares optimization) 기법을 이용하여 워핑값을 최적화할 수 있으며, 구체적으로 QR 분해(QR decomposition), 특이값 분해(Singular value decomposition) 등을 적용하여 워핑값을 최적화할 수 있다.
마지막으로, 기준영상 생성부(180)는 동작 260 및 370에서와 같이 동작 250을 통해 최적화된 워핑값을 이용하여 우측영상을 n 시점으로 워핑하여 n 시점 기준영상을 생성하도록 한다.
여기서, 기준영상 생성부(180)는 좌측영상과 우측영상 사이의 각 시점에 대해 상술한 바와 같은 방식으로 기준영상을 생성할 수 있다.
워핑영상 생성부(190)는 기준영상 생성부(180)를 통해 생성된 각 시점의 기준영상을 반영하여 각 시점에 대한 최종워핑영상을 생성하도록 한다.
다시 말해, 워핑영상 생성부(190)는 각 시점의 기준영상을 이용하여 해당 시점의 기준영상과 유사한 워핑 결과가 나올 수 있도록 워핑 제한조건을 설정하고, 설정된 워핑 제한조건을 반영하여 최종워핑영상을 생성하기 위한 워핑값을 재결정한다.
여기서, 워핑영상 생성부(190)는 도 3에 도시된 바와 같이, 특징점들 간 대응점 유지 정도, 메쉬들에 대한 변형 정도, 워핑 후 에지 영역의 형태 유지 정도, 시점 일관성 및 기준영상에 대한 유사도를 기준으로 워핑 제한조건(310)을 설정할 수 있다.
워핑 제한조건(310)을 반영한 워핑값(Ew)은 아래 [수학식 1]을 이용하여 산출할 수 있다.
Figure pat00001
여기서, Ec는 입력영상으로부터 계산된 메쉬들에 대한 변형 정도를 나타내는 제한조건, Ef는 입력영상으로부터 계산된 대응점들 워핑　시　대응점의 유지 정도를 나타내는 제한조건, Et는 비디오 시퀀스를 처리할 때 시간 축 상의 시간적 아티팩트(temporal artifact)를 감소시키기 위한 제한조건, Eh는 입력영상으로부터 계산된 에지 상의 점들이 워핑 후에도 같은 에지 상에 존재하는 정도를 나타내는 제한조건, Ev는 기준영상과 워핑 후 영상의 유사도를 나타내는 제한조건을 의미하며, λc, λf, λt, λh, λv는 각각의 에너지 텀에 대한 중요도를 결정하는 라그랑지안(Lagrangian) 상수를 의미한다.
여기서, Et는 동일한 중간시점 위치에 대한 현재 프레임 영상과 이전 타임 프레임 영상의 유사도를 비교하는 것으로, 실시형태에 따라 시퀀스 단위에서의 시간적 일관성에 대한 제한조건(Temporal Consistency Constraint)을 추가할 수도 있다.
또한, λc, λf, λt, λh, λv의 합은 1이 되는 것으로 하며, 해당 조건에 대한 패널티를 더 크게 부여하고자 하는 경우 해당 제한조건의 라그랑지안 상수를 더 크게 부여할 수 있다. 일 예로서, λv를 높게 정할 경우, 최종워핑영상은 기준영상과 유사도가 높게 워핑식이 결정되어 기준영상에 더 유사한 영상을　얻을 수 있게 된다.
이와 같이, 워핑식에 적용되는 제한조건의 중요도에 따라 라그랑지안 상수의 가중치를 달리하면 해당 제한조건을 크게 반영한 최종워핑영상을 획득할 수 있게 된다. 따라서, 라그랑지안 상수는 실시 형태에 따라 선택적으로 가중치를 다르게 부여할 수 있다.
또한, Ev는 앞서 언급한 바와 같이 기준영상과 워핑 후 영상의 유사도를 나타내는 제한조건을 의미하며, 이러한 Ev는 아래 [수학식 2]를 통해 산출할 수 있다.
Figure pat00002
여기서, W(L→n)(L)은 좌측영상에서 n 시점으로 워핑된 최종워핑영상, W(R→n)(R)은 우측영상에서 n 시점으로 워핑된 기준영상을 의미한다. 이때, Ev는 n 시점에 대한 최종워핑영상 W(L→n)(L)과 기준영상 W(R→n)(R) 간에 변이가 주어진 특징점들의 차이를 계산하여 합한 값으로부터 산출할 수 있다.
이상에서와 같이, 워핑영상 생성부(190)는 해당 시점의 기준영상을 토대로 워핑값을 재결정하고, 비선형 최소자승 최적화(nonlinear least-squares optimization) 기법 등을 이용하여 재결정된 워핑값을 최적화할 수 있다. 이때, 워핑영상 생성부(190)는 재결정된 워핑값을 이용하여 해당 시점에 대한 최종워핑영상을 생성하게 된다.
여기서, 워핑영상 생성부(190)는 기준영상 생성부(180)와는 달리 n 시점을 기준으로 좌측영상 및 우측영상 중 거리가 가까운 근거리 영상을 토대로 n 시점에 대한 최종워핑영상을 생성하도록 한다.
일 예로서, 워핑영상 생성부(190)는 좌측영상과 우측영상 사이의 상대거리를 1로 했을 때 n 시점의 위치와 좌측영상 간 상대 거리가 0.5 미만이면 좌측영상을 근거리 영상, 우측영상을 원거리 영상으로 정하고, 근거리 영상인 좌측영상을 이용하여 n 시점에 대한 최종워핑영상을 생성하도록 한다. 한편, n+1 시점의 위치와 좌측영상 간 상대 거리가 0.5를 초과하면 워핑영상 생성부(190)는 좌측영상을 원거리 영상, 우측영상을 근거리 영상으로 정하고, 근거리 영상인 우측영상을 이용하여 n+1 시점에 대한 최종워핑영상을 생성하도록 한다.
워핑영상 생성부(190)는 이와 같은 방식으로 좌측영상과 우측영상 사이의 각 시점에 대해 상술한 바와 같은 방식으로 최종워핑영상을 생성할 수 있다. 여기서, 워핑영상 생성부(190)는 1 시점 내지 n 시점에 대해서는 근거리 영상인 좌측영상을 토대로 해당 시점에 대한 최종워핑영상을 생성하고, n+1 시점 내지 N 시점에 대해서는 근거리 영상인 우측영상을 토대로 해당 시점에 대한 최종워핑영상을 생성할 수 있다.
이 경우, 각 시점에 대한 최종워핑영상은 해당 시점을 기준으로 좌측영상 및 우측영상 중 근거리 영상을 이용하여 생성하지만, 원거리 영상을 이용하여 생성한 해당 시점의 기준영상에 대한 정보를 반영하여 최종워핑영상 생성을 위한 워핑값을 재계산하기 때문에, 각 시점에 대한 최종워핑영상은 좌측영상과 우측영상에 대해 모두 자연스러운 전환이 가능하게 된다.
도 4는 본 발명에 따른 다시점 영상 생성 장치의 연속시점 영상 생성 동작을 설명하는데 참조되는 예시도이다.
도 4를 참조하면, 다시점 영상 생성 장치는 좌측영상(410) 및 우측영상(420)을 입력영상으로 받은 후, 좌측영상(410) 및 우측영상(420)을 이용하여 좌측영상(410) 및 우측영상(420) 사이의 연속 시점들에 대한 영상을 생성하도록 한다.
여기서, n 시점 및 n+1 시점이 좌측영상(210) 및 우측영상(220)의 중간시점인 것으로 가정하도록 한다. 이때, 좌측영상(410)과 우측영상(420) 사이의 상대거리를 1로 했을 때 n 시점의 위치는 좌측영상(410)과의 상대 거리가 0.5 미만이므로, 1시점 내지 n시점은 좌측영상(410)을 근거리 영상, 우측영상(420)을 원거리 영상으로 정할 수 있다. 한편, n+1 시점의 위치는 우측영상(420)과의 상대 거리가 0.5 미만이므로, n+1시점 내지 N시점은 우측영상(420)을 근거리 영상, 좌측영상(410)을 원거리 영상으로 정할 수 있다.
따라서, 다시점 영상 생성 장치는 n 시점을 기준으로 원거리 영상인 우측영상(420)을 n 시점으로 워핑하여 n 시점 기준영상(WR->n(R))을 생성하고, 근거리 영상인 좌측영상(410)을 n 시점으로 워핑하여 n 시점 워핑영상(WL-n(L))을 생성한다. 이때, 다시점 영상 생성 장치는 n 시점 기준영상(WR->n(R))에 근거하여 n 시점 워핑영상(WL-n(L))을 생성하기 위한 워핑 제한조건을 설정하고, 이를 토대로 결정된 워핑식을 이용하여 n 시점 워핑영상(WL-n(L))을 생성하도록 한다. 여기서, 다시점 영상 생성 장치는 최종 생성된 n 시점 워핑영상(WL-n(L))을 n 시점에 대한 최종영상(In)으로 결정하도록 한다.
또한, 다시점 영상 생성 장치는 1 시점 내지 n-1 시점에 대해서도 상술한 n 시점과 마찬가지의 방식을 적용하여 1 시점 내지 n-1 시점 각각에 대한 최종영상(I1, I2, ..., In-1)을 생성할 수 있다.
한편, 다시점 영상 생성 장치는 n+1 시점을 기준으로 원거리 영상인 좌측영상(410)을 n+1 시점으로 워핑하여 n+1 시점 기준영상(WL->n+1(L))을 생성하고, 근거리 영상인 우측영상(420)을 n+1 시점으로 워핑하여 n+1 시점 워핑영상(WR-n+1(R))을 생성한다. 이때, 다시점 영상 생성 장치는 n+1 시점 기준영상(WL->n+1(L))에 근거하여 n+1 시점 워핑영상(WR-n+1(R))을 생성하기 위한 워핑 제한조건을 설정하고, 이를 토대로 결정된 워핑식을 이용하여 n+1 시점 워핑영상(WR-n+1(R))을 생성하도록 한다. 여기서, 다시점 영상 생성 장치는 최종 생성된 n+1 시점 워핑영상(WR-n+1(R))을 n+1 시점에 대한 최종영상(In+1)으로 결정하도록 한다.
마찬가지로, 다시점 영상 생성 장치는 n+2 시점 내지 N 시점에 대해서도 상술한 n+1 시점과 마찬가지의 방식을 적용하여 n+2 시점 내지 N 시점 각각에 대한 최종영상(In+2, In+3, ..., IN)을 생성할 수 있다.
이 경우, 좌측영상(410) 및 우측영상(420) 사이의 연속시점 영상들에 대해 좌측영상(410) 및 우측영상(420)을 모두 고려하였으므로, 연속 시점들 간의 차이가 작아져 자연스러운 시점 전환이 가능하게 된다. 또한 기존 멀티뷰 생성 후처리 방식인 블랜딩 대비 좌측영상(210) 및 우측영상(220)의 차이로 인해 두 영상이 중첩되어 보이는 고스트 현상이 발생하는 것을 방지할 수 있다.
상기와 같이 구성되는 본 발명에 따른 제어 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 5는 본 발명에 따른 다시점 영상 생성 방법에 대한 동작 흐름을 도시한 순서도이다.
도 5를 참조하면, 다시점 영상 생성 장치는 카메라로부터 스테레오 영상이 입력되면(S100), 'S100' 과정에서 입력된 스테레오 영상의 두 영상, 즉, 좌측영상 및 우측영상 간 특징점을 검출하여 특징점 간의 변이를 계산하도록 한다(S110).
또한, 다시점 영상 생성 장치는 좌측영상 및 우측영상을 메쉬 단위로 분할하고, 각 메쉬 단위별 정보, 예를 들어, 점, 선, 면에 대한 정보를 검출하여 저장하고(S120), 좌측영상 및 우측영상의 에지를 검출하도록 한다(S130).
다시점 영상 생성 장치는 n 시점에 대한 최종워핑영상 생성을 위해 좌측영상 및 우측영상 중 n 시점과 거리상 가까운 영상에 대해서만 'S120' 및 'S130' 과정을 수행할 수 있으나, n 시점에 대한 기준영상 생성을 위해 좌측영상 및 우측영상 중 n 시점과 거리상 먼 영상에 대해서도 'S120' 및 'S130' 과정을 수행할 수 있다.
이때, 다시점 영상 생성 장치는 'S110' 내지 'S130' 과정에서 추출된 정보를 이용하여 n 시점으로부터 거리상 먼 방향의 영상을 이용하여 n시점 기준영상을 생성하도록 한다(S140). 물론, n 시점에 대한 기준영상 생성을 위해 좌측영상 및 우측영상 중 n 시점과 거리상 먼 영상에 대해서 특징점 간 변이를 계산하거나, 메쉬 정보 및 에지를 검출하는 과정은 'S140' 과정에서 n 시점 기준영상 생성 시 함께 수행될 수도 있다.
여기서, 'S140' 과정은 도 6과 같이 세분화하여 설명할 수 있다.
도 6을 참조하면, 'S140' 과정은 n 시점을 기준으로 좌측영상과 우측영상 중 거리상 먼 방향의 영상을 n 시점으로 워핑하기 위한 워핑값을 계산하는 과정(S141), 'S141' 과정에서 계산된 워핑값을 최적화하는 과정(S143), 'S143' 과정에서 최적화된 워핑값을 이용하여 입력영상을 n 시점으로 워핑하는 과정(S145), 그리고 'S145' 과정에서 워핑된 영상을 n시점 기준영상으로 생성하는 과정(S147)을 포함할 수 있다.
다시점 영상 생성 장치는 'S141' 내지 'S147'의 과정을 거쳐 생성된 n 시점 기준영상을 기반으로 n 시점으로부터 거리상 가까운 영상을 n 시점으로 워핑하기 위한 워핑값을 다시 계산하고(S150), 'S140' 과정에서 생성된 n 시점 기준영상을 토대로 생성된 제한조건들을 반영하여 'S150' 과정에서 계산된 워핑값을 최적화할 수 있다(S160).
이때, 다시점 영상 생성 장치는 'S160' 과정에서 최적화된 워핑값을 이용하여 n 시점으로부터 거리상 가까운 영상을 n 시점으로 워핑하고(S170), 'S170' 과정에서 워핑된 영상을 n 시점의 최종워핑영상으로 생성하도록 한다(S180).
다시점 영상 생성 장치는 좌측영상 및 우측영상 사이의 연속시점들 각각에 대해 'S110' 내지 'S180' 과정을 거쳐 최종워핑영상을 생성할 수 있다.
도 7은 본 발명에 따른 장치가 적용된 컴퓨팅 시스템을 도시한 도면이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 다시점 영상 생성 장치 110: 제어부
120: 카메라 130: 입력부
140: 출력부 150: 통신부
160: 저장부 170: 영상 처리부
180: 기준영상 생성부 190: 워핑영상 생성부

Claims (14)

  1. 스테레오 영상을 촬영하는 카메라;
    상기 스테레오 영상의 좌측영상 및 우측영상으로부터 특징점을 검출하는 영상 처리부;
    상기 좌측영상 및 상기 우측영상 간 검출된 특징점을 바탕으로 상기 좌측영상 및 상기 우측영상 사이에 존재하는 N 개의 시점 중 n 번째 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 먼 방향의 영상을 n 시점으로 워핑하여 n 시점에 대한 기준영상을 생성하는 기준영상 생성부; 및
    상기 기준영상을 이용하여 n 시점에 대한 워핑식을 계산하고 상기 계산된 워핑식을 이용하여 n 시점에 대한 최종워핑영상을 생성하는 워핑영상 생성부를 포함하며,
    상기 워핑영상 생성부는, 상기 좌측영상 및 상기 우측영상 간 검출된 특징점을 바탕으로 n 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 가까운 방향의 영상으로부터 구성된 메쉬 그리드들을 상기 워핑식을 근거로 n 시점으로 워핑하여 상기 n시점에 대한 최종워핑영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 장치.
  2. 청구항 1에 있어서,
    상기 기준영상 생성부는,
    상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5를 초과하면 상기 좌측영상을 이용하여 n 시점 기준영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5를 초과하면 상기 우측영상을 이용하여 n 시점 기준영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 장치.
  3. 청구항 1에 있어서,
    상기 워핑영상 생성부는,
    상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5 미만이면 상기 좌측영상을 이용하여 n 시점의 최종워핑영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5 미만이면 상기 우측영상을 이용하여 n 시점의 최종워핑영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 장치.
  4. 청구항 1에 있어서,
    상기 워핑영상 생성부는,
    상기 n 시점의 기준영상을 이용하여 n 시점에 대한 워핑 제한조건을 설정하고, 설정된 상기 워핑 제한조건을 반영하여 상기 워핑식을 결정하는 것을 특징으로 하는 다시점 영상 생성 장치.
  5. 청구항 4에 있어서,
    상기 워핑 제한조건은,
    상기 좌측영상 및 상기 우측영상 중 상기 n 시점으로부터 거리상 가까운 방향의 영상으로부터 계산된 메쉬들의 변형 정도, 해당 영상을 워핑하는 경우에 대응점들의 유지 정도, 해당 영상으로부터 계산된 에지 영역의 점에 대한 유지 정도, 해당 영상의 워핑 시 시간적 일관성 및 상기 n 시점의 기준영상과 워핑 후 영상의 유사도 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 생성 장치.
  6. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 좌측영상 및 상기 우측영상의 특징점 간 변이를 계산하는 것을 특징으로 하는 다시점 영상 생성 장치.
  7. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 좌측영상 및 상기 우측영상 중 적어도 하나를 메쉬 그리드 단위로 분할하고, 분할된 각 메쉬별로 점, 선, 면 중 적어도 하나의 정보를 추출하는 것을 특징으로 하는 다시점 영상 생성 장치.
  8. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 좌측영상 및 상기 우측영상 중 적어도 하나로부터 에지 영역을 검출하여 에지 영역의 선, 점 정보를 추출하는 것을 특징으로 하는 다시점 영상 생성 장치.
  9. 스테레오 영상이 입력되면, 상기 스테레오 영상의 좌측영상 및 우측영상으로부터 특징점을 검출하는 단계;
    상기 좌측영상 및 상기 우측영상 간 검출된 특징점들을 기반으로 상기 좌측영상 및 상기 우측영상 사이에 존재하는 N 개의 시점 중 n 번째 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 먼 방향의 영상을 n 시점으로 워핑하여 n 시점에 대한 기준영상을 생성하는 단계;
    상기 기준영상을 이용하여 n 시점에 대한 워핑식을 계산하는 단계; 및
    상기 좌측영상 및 상기 우측영상 간 검출된 특징점들을 기반으로 n 시점을 기준으로 상기 좌측영상 및 상기 우측영상 중 거리상 가까운 방향의 영상을 이용해 상기 워핑식을 근거로 n 시점으로 워핑하여 상기 n시점에 대한 최종워핑영상을 생성하는 단계
    를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
  10. 청구항 9에 있어서,
    상기 n 시점에 대한 기준영상을 생성하는 단계는,
    상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5를 초과하면 상기 좌측영상을 이용하여 n 시점 기준영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5를 초과하면 상기 우측영상을 이용하여 n 시점 기준영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 방법.
  11. 청구항 9에 있어서,
    상기 최종워핑영상을 생성하는 단계는,
    상기 좌측영상과 상기 우측영상 사이의 상대거리가 1인 경우, n 시점의 위치와 상기 좌측영상 간 상대 거리가 0.5 미만이면 상기 좌측영상을 이용하여 n 시점의 최종워핑영상을 생성하고, n 시점의 위치와 상기 우측영상 간 상대 거리가 0.5 미만이면 상기 우측영상을 이용하여 n 시점의 최종워핑영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 방법.
  12. 청구항 9에 있어서,
    상기 n 시점에 대한 워핑식을 계산하는 단계는,
    상기 n 시점의 기준영상을 이용하여 n 시점에 대한 워핑 제한조건을 설정하는 단계를 포함하며,
    상기 설정된 상기 워핑 제한조건을 반영하여 상기 워핑식을 결정하는 것을 특징으로 하는 다시점 영상 생성 방법.
  13. 청구항 12에 있어서,
    상기 워핑 제한조건은,
    상기 좌측영상 및 상기 우측영상 중 상기 n 시점으로부터 거리상 가까운 방향의 영상으로부터 계산된 메쉬들의 변형 정도, 해당 영상을 워핑하는 경우에 대응점들의 유지 정도, 해당 영상으로부터 계산된 에지 영역의 특징점에 대한 유지 정도, 해당 영상의 워핑 시 시간적 일관성 및 상기 n 시점의 기준영상과 워핑 후 영상의 유사도 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
  14. 청구항 9에 있어서,
    상기 특징점을 검출하는 단계는,
    상기 좌측영상 및 상기 우측영상의 특징점 간 변이를 계산하는 단계;
    상기 좌측영상 및 상기 우측영상 중 적어도 하나를 메쉬 그리드 단위로 분할하고, 분할된 각 메쉬별로 점, 선, 면 중 적어도 하나의 정보를 추출하는 단계; 및
    상기 좌측영상 및 상기 우측영상 중 적어도 하나로부터 에지 영역을 검출하여 에지 영역의 선, 점 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
KR1020140167557A 2014-11-27 2014-11-27 다시점 영상 생성 장치 및 방법 KR20160063805A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140167557A KR20160063805A (ko) 2014-11-27 2014-11-27 다시점 영상 생성 장치 및 방법
US14/719,929 US9652819B2 (en) 2014-11-27 2015-05-22 Apparatus and method for generating multi-viewpoint image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140167557A KR20160063805A (ko) 2014-11-27 2014-11-27 다시점 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160063805A true KR20160063805A (ko) 2016-06-07

Family

ID=56079399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140167557A KR20160063805A (ko) 2014-11-27 2014-11-27 다시점 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9652819B2 (ko)
KR (1) KR20160063805A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043305B2 (en) 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US10839540B2 (en) 2017-09-29 2020-11-17 Electronics And Telecommunications Research Institute Apparatus and method for generating intermediate view image
US11528461B2 (en) 2018-11-16 2022-12-13 Electronics And Telecommunications Research Institute Method and apparatus for generating virtual viewpoint image
CN116437205B (zh) * 2023-06-02 2023-08-11 华中科技大学 一种多视点多焦距成像的景深拓展方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
US6756993B2 (en) * 2001-01-17 2004-06-29 The University Of North Carolina At Chapel Hill Methods and apparatus for rendering images using 3D warping techniques
JP3898936B2 (ja) 2001-10-29 2007-03-28 グローリー株式会社 対応点探索装置、対応点探索処理方法および対応点探索処理プログラム
US20080101711A1 (en) * 2006-10-26 2008-05-01 Antonius Kalker Rendering engine for forming an unwarped reproduction of stored content from warped content
KR100902353B1 (ko) 2007-11-16 2009-06-12 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
KR101289269B1 (ko) 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
KR20120068540A (ko) 2010-12-17 2012-06-27 한국전자통신연구원 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법
US20130127988A1 (en) * 2011-11-17 2013-05-23 Sen Wang Modifying the viewpoint of a digital image
WO2013081435A1 (ko) * 2011-12-02 2013-06-06 엘지전자 주식회사 3d 영상 표시 장치 및 방법
US9565414B2 (en) * 2013-05-24 2017-02-07 Disney Enterprises, Inc. Efficient stereo to multiview rendering using interleaved rendering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[Image Domain Warping as Alternative to DIBR for Advanced 3DV Applications, M19995, March, 2011.]

Also Published As

Publication number Publication date
US9652819B2 (en) 2017-05-16
US20160155019A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
KR102644273B1 (ko) 상이한 fov를 갖는 카메라들을 이용한 시차 추정 시스템 및 방법
CN109791697B (zh) 使用统计模型从图像数据预测深度
US9361699B2 (en) Imaging system and method
US9208547B2 (en) Stereo correspondence smoothness tool
US10559063B2 (en) Image generating apparatus and method for generation of 3D panorama image
US10126115B2 (en) Triangulation device, triangulation method, and recording medium recording program therefor
EP3135033B1 (en) Structured stereo
US9269018B2 (en) Stereo image processing using contours
US11141557B2 (en) Information processing apparatus, information processing method, and storage medium
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN109525786B (zh) 视频处理方法、装置、终端设备及存储介质
KR20160063805A (ko) 다시점 영상 생성 장치 및 방법
JP2017182302A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN105809664A (zh) 生成三维图像的方法和装置
US11153479B2 (en) Image processing apparatus, capable of detecting an amount of motion between images by tracking a point across one or more images, image capturing apparatus, image processing method, and storage medium
US20150138323A1 (en) Image processing device and method, and program
CN101945299A (zh) 一种基于拍摄设备阵列的动态场景深度恢复方法
KR20110015142A (ko) 스테레오 카메라를 이용한물체의 거리 측정 방법
EP2887261B1 (en) Information processing device, information processing method, and program
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
JP5887974B2 (ja) 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム
EP2762057A1 (en) Stereo endoscope apparatus and image processing method
TWI485653B (zh) 成像系統及方法
US20230162391A1 (en) Method for estimating three-dimensional hand pose and augmentation system
KR102608466B1 (ko) 영상 처리 방법 및 영상 처리 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid