KR20140118370A - 입체 영상 제작 시스템 및 다시점 영상 정렬방법 - Google Patents

입체 영상 제작 시스템 및 다시점 영상 정렬방법 Download PDF

Info

Publication number
KR20140118370A
KR20140118370A KR1020130034130A KR20130034130A KR20140118370A KR 20140118370 A KR20140118370 A KR 20140118370A KR 1020130034130 A KR1020130034130 A KR 1020130034130A KR 20130034130 A KR20130034130 A KR 20130034130A KR 20140118370 A KR20140118370 A KR 20140118370A
Authority
KR
South Korea
Prior art keywords
unknown
image
value
unknowns
projection matrix
Prior art date
Application number
KR1020130034130A
Other languages
English (en)
Inventor
정재일
호요성
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020130034130A priority Critical patent/KR20140118370A/ko
Publication of KR20140118370A publication Critical patent/KR20140118370A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 입체 영상 제작 시스템 및 다시점 영상 정렬방법에 대해 개시한다. 보다 상세하게, 다시점 영상을 통해 입체 영상을 제작하는 시스템은, 3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키는 투영행렬 내 다수의 미지수 중 상기 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 소정의 값으로 결정하는 제 1 미지수 결정부; 상기 제 1 미지수를 제외한 나머지 미지수 중 상기 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 소정의 값으로 결정하는 제 2 미지수 결정부; 및 상기 제 1 미지수 결정부 및 제 2 미지수 결정부의 결과 값을 포함하는 상기 투영행렬을 기초로 상기 수평 오차 및 수직 오차가 제거된 정렬 영상을 획득하는 정렬 영상 획득부를 포함한다.

Description

입체 영상 제작 시스템 및 다시점 영상 정렬방법 {SYSTEM FOR PRODUCING STEREO-SCOPIC IMAGE OR VIDEO AND METHOD FOR ALIGNING MULTIVIEW IMAGE OR VIDEO}
본 발명은 입체 영상 제작 시스템 및 다시점 영상 정렬방법에 관한 것으로서, 보다 구체적으로 다시점 영상을 통해 입체 영상을 제작하는 시스템 및 입체 영상 제작을 위하여 다시점 영상을 정렬하는 방법에 관한 것이다.
최근 3차원 입체 영상 제작 기술이 보편화되고 이러한 영상물이 다수 제작됨에 따라, 관련 분야에 대한 연구도 함께 활발하게 이루어지고 있다.
다시점 영상에서 인접한 시점의 영상 사이에 수직 방향의 오차(변위)가 존재하면 시청자는 큰 피로감을 느끼게 되고, 수평 방향의 거리가 일치하지 않으면 시청 위치에 따라 다른 깊이감을 느끼게 된다. 따라서 도 1과 같은 기하학적 오차는 반드시 제거되어야 한다. 도 1은 다시점 영상에서 발생하는 기하학적 오차에 대하여 설명하기 위한 도면이다.
이러한 기하학적 오차를 제거하는 방법 중 널리 알려져 있는 방법은 카메라 교정(camera calibration) 과정을 거쳐 카메라 매개변수를 추출하고, 이를 통해 영상을 재정렬하는 방법이다. 일단 카메라 매개변수에 대한 정보를 알면, 촬영된 영상을 원하는 이상적인 위치로 투영시킬 수 있다. 따라서, 수평 오차 및 수직 오차가 손쉽게 제거될 수 있다.
여기서, 카메라 교정(camera calibration)은 카메라 매개 변수를 예측하는 기술이다. 도 2는 카메라 교정을 위해 사용되는 패턴 영상을 나타내는 도면이다. 도 2에서처럼 격자 무늬의 패턴이 촬영된 여러 장의 2차원 영상들에서 추출한 특징점을 기반으로 카메라의 내부 매개변수와 외부 매개변수를 계산하는 것이 카메라 교정 과정이다. 카메라 내부 매개변수는 카메라의 초점 거리와 같이 카메라 내부의 물리적 특성을 나타내는 값들로 이루어진 행렬로 표현되며, 카메라 외부 매개변수는 3차원 공간에서 카메라의 방향과 위치를 나타내는 회전 행렬과 이동 벡터로 이루어진다. 이렇게 계산된 카메라 내부 매개변수와 카메라 외부 매개변수를 이용하여 카메라의 투영 행렬을 구할 수 있는데, 이 투영 행렬은 3차원 공간상의 한 점을 2차원 영상 평면상의 한 점으로 옮겨오는 역할을 수행할 수 있다.
이와 관련하여 한국공개특허 제2012-0133041호(발명의 명칭: 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치)는 카메라 매개변수를 이용하여 전동 리그를 제어하고, 그로 인해 스테레오 영상을 정렬하는 기술을 개시하고 있다.
다만, 카메라 교정 과정의 계산 과정이 상당히 복잡하기 때문에, 계산 시간이 오래 소요된다는 불편함이 있었다. 또한, 다시점 카메라의 구성에 변화가 있는 경우 카메라 교정 과정을 처음부터 다시 수행해야 하는 불편함이 있으며, 카메라 매개변수를 모르는 다시점 영상에 대해서는 처리할 수 없다는 한계가 있었다.
이와 같은 문제점을 해소하기 위해 카메라 매개변수를 모르는 상태에서 카메라 매개변수를 추정하는 알고리즘이 연구되었다. 일 예로 제한된 조건에서만 수행되는 Kruppa's equation을 사용하는 경우, 카메라 매개변수 추정을 위한 조건의 제약이 존재하고, 추정된 카메라 매개변수의 정확도가 낮아 실용성이 떨어진다.
또한, 상술한 문제점을 해소하기 위해 무수히 많은 변환 행렬을 생성하여 대응점을 기반으로 하여 수직 오차를 보정하는 알고리즘이 연구되었다. 다만, 두 입력 영상을 모두 변환시킴에 따라 다시점 영상에서 사용이 불가능하다는 한계가 있었다.
아울러, Affine 변환을 이용하여 수직 오차를 보정하는 알고리즘도 연구되었다. 하지만, Affine 변환은 2차원 영상의 모든 변환을 다룰 수 없고, 최적화를 위해 Simulated annealing 알고리즘을 사용함에 따라 성능이 불안정해질 수 있다는 문제점이 있었다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는, 카메라 교정 과정을 거치지 않고 다시점 영상에서 발생되는 기하학적 오차를 제거하여 고품질의 입체 영상 콘텐츠를 제작할 수 있는 입체 영상 제작 시스템을 제공하는 데에 그 목적이 있다.
또한, 본 발명의 일부 실시예는 카메라 매개변수에 대한 정보를 모르는 상황에서도 다시점 영상에서 발생되는 수직 방향의 오차 및 수평 방향의 거리 불일치를 동시에 제거하여 시청자의 피로감을 감소시킬 수 있는 다시점 영상 정렬방법을 제공하는 데에 다른 목적이 있다.
다시점 영상에서 인접한 시점의 영상 사이에 수직 방향의 오차가 존재하면 사용자가 큰 피로감을 느끼게 되며, 수평 방향의 거리가 일치하지 않으면 시청 위치에 따라 다른 깊이감을 느끼기 때문에 이런 기하학적 오차는 반드시 제거되어야 한다. 특히, 상용화되어 있는 다시점 디스플레이 장치는 다시점 영상의 각 시점을 등간격으로 나눠서 투사하는 방식을 택하고 있기 때문에 기하하적 오차를 제거한 영상을 입력으로 사용해야 한다. 본 특허에서는 안정적으로 다시점 영상의 기하학적 오차를 제거할 수 있는 기술에 대해 제안한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 다시점 영상을 통해 입체 영상을 제작하는 시스템은, 3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키는 투영행렬 내 다수의 미지수 중 상기 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 소정의 값으로 결정하는 제 1 미지수 결정부; 상기 제 1 미지수를 제외한 나머지 미지수 중 상기 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 소정의 값으로 결정하는 제 2 미지수 결정부; 및 상기 제 1 미지수 결정부 및 제 2 미지수 결정부의 결과 값을 포함하는 상기 투영행렬을 기초로 상기 수평 오차 및 수직 오차가 제거된 정렬 영상을 획득하는 정렬 영상 획득부를 포함한다.
또한, 본 발명의 일 실시예에 따른 입체 영상 제작을 위하여 다시점 영상을 정렬하는 방법은, 3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키는 투영행렬 내 다수의 미지수 중 상기 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 소정의 값으로 결정하는 단계; 상기 제 1 미지수를 제외한 나머지 미지수 중 상기 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 소정의 값으로 결정하는 단계; 및 상기 결정된 제 1 미지수의 값 및 제 2 미지수의 값을 포함하는 상기 투영행렬을 기초로 상기 수평 오차 및 수직 오차가 제거된 정렬 영상을 획득하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 제 1 미지수 결정부 및 제 2 미지수 결정부의 결과 값을 포함하는 하나의 투영행렬을 기초로 수평 오차 및 수직 오차 모두가 한번에 제거된 정렬 영상을 획득함으로써, 시청자의 피로감을 감소시킬 수 있는 입체 영상 콘텐츠를 제작할 수 있고, 그로 인해 시청자의 품질 만족도 및 신뢰도를 향상시킬 수 있다는 장점이 있다.
또한, 전술한 본 발명의 과제 해결 수단에 의하면, 카메라 매개변수에 대한 정보를 알지 못하는 환경 하에서도 다시점 영상 중 참조 시점으로 분류된 영상과 정렬 시점으로 분류된 영상 간의 대응점을 추출함으로써, 투영행렬을 획득할 수 있고, 복잡한 계산 과정이 필요한 카메라 교정 과정을 원천적으로 제거해 전체 처리 과정의 효율성을 향상시킬 수 있다는 장점이 있다.
덧붙여, 차세대 다시점 방송, 다시점 디스플레이 장치, 다시점 카메라, 다시점 콘텐츠 제작 툴 등과 같이 다양한 시장에서 활용이 가능하다는 장점도 있다.
도 1은 다시점 영상에서 발생하는 기하학적 오차에 대하여 설명하기 위한 도면,
도 2는 카메라 교정을 위해 사용되는 패턴 영상을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 입체 영상 제작 시스템을 나타내는 도면,
도 4는 다시점 영상을 정렬시키는 투영행렬을 설명하기 위한 일 예를 나타내는 도면,
도 5는 도 3에 도시된 제 2 미지수 결정부의 동작을 설명하기 위한 일 예를 나타내는 도면,
도 6은 본 발명의 일 실시예에 따른 다시점 영상 정렬방법을 설명하기 위한 순서도,
도 7 및 도 8은 도 6에 도시된 다시점 영상 정렬방법을 실제로 적용한 경우 획득되는 각각의 정렬 영상을 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
이하에서는, 본 발명에서 제안하는 영상 제작 시스템에 대해 도 3을 참고하여 설명하기로 한다. 도 3은 본 발명의 일 실시예에 따른 입체 영상 제작 시스템을 나타내는 도면이다.
본 발명의 일 실시예에 따른 입체 영상 제작 시스템(100)은 다수의 카메라(10)를 포함하는 촬영장치, 제 1 미지수 결정부(110), 제 2 미지수 결정부(120) 및 정렬 영상 획득부(130)를 포함하고, 각 구성들은 서로 유무선으로 연결되어 각종 데이터를 송수신한다.
촬영장치에 포함된 다수의 카메라(10)는 소정의 장면들을 연속적으로 혹은 불연속적으로 촬영하고, 양안식 카메라 또는 다시점 카메라로서 사용될 수 있다. 이들 카메라(10)는 도 3처럼 실질적으로 나란하게 일렬을 이루며 설치될 수 있고, 사용 목적에 따라 다수의 층을 이루면서 설치될 수도 있다. 즉, 다수의 카메라(10)를 설치하는 위치는 특별히 제한되지 않는다. 덧붙여, 카메라(10)는 색상 카메라로서 동일한 스펙을 가진 제품을 사용하는 것이 바람직하나, 제한되는 것은 아니다. 예를 들어, 카메라(10)는 최대 1920X1080(HD)의 해상도와 함께 30fps의 촬영이 가능한 Basler pylon 모델을 사용할 수 있다.
도 3에 도시된 것처럼 본 발명의 일 실시예에 따른 입체 영상 제작 시스템(100)은 다시점 영상을 통해 입체 영상을 제작하는 시스템으로서, 제 1 미지수 결정부(110), 제 2 미지수 결정부(120) 및 정렬 영상 획득부(130)를 포함한다. 이들 구성 모두는 하나의 정보처리장치 또는 컴퓨팅 장치 내에서 구현될 수 있고, 이들 구성 중 일부 구성은 이러한 장치 밖에서 구현될 수 있다. 그러나 이러한 구현 예들로 본 발명에서 제안되는 기술이 한정되는 것은 아니므로, 이들 구성이 다른 조합이나 일부 변형된 형태를 가지고 아래와 동일하게 동작할 수 있음을 충분히 이해할 수 있을 것이다.
도 4는 다시점 영상을 정렬시키는 투영행렬을 설명하기 위한 일 예를 나타내는 도면이다. 투영행렬(H)는 3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키기 위한 행렬로서, 다시점 영상이 가상의 라인을 기준으로 정렬되도록 처리하여 추후 제작되는 입체 영상 또는 입체 영상 콘텐츠를 시청하는 시청자의 피로도를 감소시킬 수 있다. 투영행렬(H)는 아래 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
여기서, xs는 다시점 영상 중 정렬 시점으로 분류된 제 1 영상(a)의 화소 위치를 의미하고, x's는 투영행렬 (H)를 통해서 새롭게 획득된 정렬 영상(c)의 화소 위치를 의미한다. 투영 행렬(H)은 9개의 요소를 갖는 3*3 행렬로 표현될 수 있고, 스케일 변수를 제외한 8의 자유도 혹은 미지수를 갖는다.
앞서 설명한 것처럼, 종래에는 일반적으로 카메라 매개변수를 이용하여 투영 행렬(H)을 획득하는 방식을 사용했다. 다만, 카메라 매개변수를 획득하기 위해서는 카메라 교정 과정을 거쳐야만 하는데, 카메라 교정 과정은 매우 복잡한 계산 수식으로 이루어져 있고 그에 따라 상당한 계산 시간이 소요된다는 문제점이 있다. 또한, 다시점 카메라의 구성에 변화가 있는 경우 카메라 교정 과정을 다시 수행해야 하는 불편함이 있으며, 카메라 매개변수를 모르는 다시점 영상에 대해서는 처리할 수 없다는 한계가 있었다.
이에 본 발명에서는 카메라 매개변수 없이 투영 행렬(H)을 획득하는 방식을 제안한다. 촬영장치로부터 입력된 다시점 영상 중 정렬 시점으로 분류된 제 1 영상(a)과 참조 시점으로 분류된 제 2 영상(b)으로부터 추출된 대응점을 기초로 투영 행렬(H)이 생성될 수 있다. 여기서, 참조 시점은 다른 정렬 시점의 기준이 되는 시점으로서, 조명 조건과 대응점 추출 등이 고려된 상태에서 다시점 영상 중 중간 시점의 영상이 주로 선택될 수 있다.
구체적으로, 정렬 시점으로 분류된 제 1 영상(a)과 참조 시점으로 분류된 제 2 영상(b) 간의 대응점이 추출된다. 대응점을 추출하기 위해서 SIFT나 SURF와 같은 다양한 특징점 기반의 대응점 추출 기술이 사용될 수 있다. 이러한 특징점 기반의 대응점 추출 기술은 영상 내 모든 픽셀 간의 대응점을 추출해내는 것이 아니라 대표성을 갖는 일부 픽셀 간의 대응점을 추출해내는 기술이다. 이때, 대표성을 갖는 일부 픽셀이란 텍스처(texture) 특성이 강하게 나타난 픽셀 혹은 엣지 부근의 픽셀 등을 의미할 수 있다. 이렇게 추출된 대응점을 기초로 다시점 영상을 정렬시키는 투영 행렬(H)이 생성될 수 있다.
후술할 제 1 미지수 결정부(110) 및 제 2 미지수 결정부(120)는 이러한 투영 행렬(H)이 갖는 다수의 미지수(변수) 중 일부 미지수를 각각 결정하는 동작을 수행한다.
제 1 미지수 결정부(110)는 이러한 투영행렬 내 다수의 미지수 중 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 소정의 값으로 결정한다.
수학식 1과 같이 투영행렬(H)이 획득된 경우, 8개의 미지수로 인해 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 특정하기 어려울 수 있다. 따라서, 본 발명에서는 다수의 미지수 중 수직 오차를 제거하는 데에 관여하지 않는 미지수를 적절하게 처리하여 미지수를 줄여나가는 방식을 사용한다.
특히, 좌우 방향의 줌에 대해 관여하는 미지수 및 수평 방향으로의 이동에 대해 관여하는 미지수가 무시되도록 본 발명에서는 하기 수학식 2처럼 투영행렬을 처리할 수 있다.
Figure pat00002
이때, 다시점 영상에 대한 행렬 A는 영상의 줌에 대해 관여하는 미지수, 회전과 왜곡에 대해 관여하는 미지수를 포함하도록 표현된다. 여기서, 좌우 방향의 줌에 대해 관여하는 미지수(zx, zy)는 수직 오차를 제거하는 데에 관여하지 않으므로, 행렬 Z를 하기 수학식 3처럼 스칼라 값으로 처리할 수 있다.
Figure pat00003
이로 인하여 행렬 A'는 부호만 다른 대칭 구조의 미지수를 포함하게 되므로, 행렬 A 내에 존재하던 미지수를 4개(a11, a12, a21, a22)에서 실질적으로 2개(m1, m2)로 감소시킬 수 있다.
또한, 수학식 1의 다수의 미지수 중 수평 방향으로의 이동에 대해 관여하는 미지수(tx)는 수직 오차를 제거하는 데에 관여하지 않으므로, 0으로 처리할 수 있다.
제 1 미지수 결정부(110)는 상술한 것과 같은 일련의 처리 과정을 거쳐 하기 수학식 4와 같이 수직 오차를 제거하는 데에 최적화된 투영 행렬(Hvd)를 획득할 수 있다. 새롭게 획득된 투영 행렬(Hvd)은 총 5개의 미지수(m1, m2, v1, v2, ty)만을 가지므로, 제 1 미지수 결정부(110)는 최초의 투영 행렬(H)보다 적은 계산량으로 투영 행렬(Hvd)의 해를 구할 수 있다.
Figure pat00004
아울러, 제 1 미지수 결정부(110)는 하기 수학식 5를 최소화하는 방식으로 투영 행렬(Hvd)의 해를 구할 수 있다. 이때, 제 1 미지수 결정부(110)는 다시점 영상 중 정렬 시점으로 분류된 제 1 영상(a)과 참조 시점으로 분류된 제 2 영상(b)을 이용하되, 정렬 영상(c)의 수직 좌표(y's)와 제 2 영상(b)의 수직 좌표(yr) 간의 관계, 및 정렬 영상(c)의 수평 좌표(x's)와 제 1 영상(a)의 수평 좌표(xs) 간의 관계를 기초로 제 1 미지수의 값을 결정할 수 있다. 여기서, w는 스케일링 값을 의미한다.
Figure pat00005
지금까지 상술한 방식에 의해 제 1 미지수 결정부(110)는 투영행렬 내 다수의 미지수 중 우선 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 결정할 수 있다.
본 발명에서는 제 1 미지수의 값을 결정한 다음에 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 결정하는 2단계 과정을 거친다. 즉, 입체 영상물 제작시 시청자의 피로도와 밀접한 관계를 갖는 수직 오차를 확실하게 제거할 수 있는 주요 미지수가 우선적으로 결정된 상태에서 상대적으로 미세한 수평 오차를 제거할 수 있는 나머지 미지수를 결정한다.
제 2 미지수 결정부(120)는 제 1 미지수를 제외한 나머지 미지수 중 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 소정의 값으로 결정한다. 도 5는 도 3에 도시된 제 2 미지수 결정부의 동작을 설명하기 위한 일 예를 나타내는 도면이다.
다시 수학식 1을 참고하면, 제 2 미지수는 제 1 미지수를 제외한 나머지 미지수 중 다시점 영상의 수평 오차를 제거하는 데에 관여하는 미지수로서, 수평 방향으로의 이동에 대해 관여하는 미지수(tx)일 수 있다. 즉, 제 2 미지수 결정부(120)는 다시점 영상 중 정렬 시점으로 분류된 제 1 영상(Vs)과 참조 시점으로 분류된 제 2 영상(Vr) 간의 상대적인 거리 값(vi(Vs)) 및 이상적인 거리 값(viideal)의 차이를 기초로 제 2 미지수의 값(tx)을 결정할 수 있다.
이때, viideal은 무수히 많은 해를 가질 수 있기 때문에, 시점이동으로 발생하는 홀을 최소화하는 방향으로 viideal의 값이 한정되어야 한다. 하기 수학식 6과 같이 각 정렬 시점에서 수평 방향으로의 이동에 대해 관여하는 미지수(tx)가 최소가 되도록 에너지 함수를 세우고 이를 최소화 한다. 수학식 6에서 상대적인 위치(vn)의 절대값과 viideal의 값 간의 곱은 이상적인 영상의 위치를 위미하고, 계산된 값에서 실제 영상의 위치 Vvn(Vsvn)를 뺀 값이 시점 간 x축 이동 거리 tx를 의미한다. 즉, 모든 시점의 tx의 합이 최소가 되는 해 viideal의 값을 계산한다.
Figure pat00006
또한, 정렬 영상 획득부(130)는 상술한 제 1 미지수 결정부(110) 및 제 2 미지수 결정부(120)의 결과 값을 포함하는 투영행렬을 기초로 수평 오차 및 수직 오차가 제거된 정렬 영상을 획득한다.
제 1 미지수 결정부(110) 및 제 2 미지수 결정부(120)의 결과 값을 포함하는 투영행렬(Hfin)은 하기 수학식 7과 나타낼 수 있다. 제 1 미지수일 수 있는 5개의 미지수(m1, m2, v1, v2, ty)는 제 1 미지수 결정부(110)에 의해 결정되고, 제 2 미지수일 수 있는 미지수(tx)는 제 2 미지수 결정부(120)에 의해 결정될 수 있다.
Figure pat00007
이때, 다수의 미지수를 포함하는 투영행렬은 다시점 영상 중 정렬 시점으로 분류된 제 1 영상과 참조 시점으로 분류된 제 2 영상으로부터 추출된 대응점을 기초로 생성된 것일 수 있다.
본 발명에서는 제 1 미지수 결정부(110) 및 제 2 미지수 결정부(120)의 결과 값을 포함하는 투영행렬(Hfin)을 각 시점 별로 카메라 매개변수에 대한 정보 없이 계산할 수 있고, 각 시점 별로 수평 오차 및 수직 오차가 제거된 정렬 영상을 정확하고 신속하게 구할 수 있다. 결과적으로 피로감이 적은 고품질의 입체 영상 콘텐츠의 제작이 가능해지고 시청자의 콘텐츠에 대한 만족도 및 신뢰도가 향상된다. 또한, 투영행렬(Hfin)에 의해 상술한 것과 같은 처리를 한번만 하여도 수평 오차와 수직 오차가 동시에 제거될 수 있다.
한편, 본 발명의 일 실시예에 따른 입체 영상 제작을 위하여 다시점 영상을 정렬하는 방법에 대해 도 6을 참고하여 설명하기로 한다. 도 6은 본 발명의 일 실시예에 따른 다시점 영상 정렬방법을 설명하기 위한 순서도이다. 이를 위하여 이미 상술한 입체 영상 제작 시스템(100)을 활용할 수 있지만, 이에 한정되는 것은 아니다. 다만, 설명의 편의를 위해 입체 영상 제작 시스템(100)을 활용하여 다시점 영상을 정렬하는 방법에 대해 설명하기로 한다.
우선, 3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키는 투영행렬 내 다수의 미지수 중 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값이 소정의 값으로 결정된다(S610). 이러한 동작은 이미 상술한 입체 영상 제작 시스템(100)의 제 1 미지수 결정부(110)에 의해 이루어질 수 있다.
특히, 다수의 미지수 중 좌우 방향의 줌에 대해 관여하는 미지수 및 수평 방향으로의 이동에 대해 관여하는 미지수가 무시되도록 처리된 투영 행렬을 기초로, 제 1 미지수의 값이 결정될 수 있다. 제 1 미지수 결정부(110)는 다수의 미지수 중 좌우 방향의 줌에 대해 관여하는 미지수를 스칼라 값으로 처리하고, 수평 방향으로의 이동에 대해 관여하는 미지수를 0으로 처리함으로써, 투영 행렬에 포함된 미지수를 감소시킨 상태에서 제 1 미지수의 값을 결정할 수 있다.
또한, 상술한 것과 같은 단계(S610) 이전에, 다음과 같은 과정에 의해 다수의 미지수를 포함하는 투영행렬이 생성될 수 있다. 즉, 촬영장치 혹은 복수의 카메라로부터 입력된 다시점 영상 중 정렬 시점으로 분류된 제 1 영상과 참조 시점으로 분류된 제 2 영상으로부터 추출된 대응점을 기초로 다수의 미지수를 포함하는 투영행렬이 생성될 수 있다. 이와 같은 과정을 통해 카메라 매개변수에 대한 정보 없이 투영행렬이 생성 및 계산될 수 있다.
계속해서, 제 1 미지수를 제외한 나머지 미지수 중 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값이 소정의 값으로 결정된다(S620). 이러한 동작은 이미 상술한 입체 영상 제작 시스템(100)의 제 2 미지수 결정부(120)에 의해 이루어질 수 있다. 특히, 제 2 미지수의 값은 수평 방향으로의 이동에 대해 관여하는 미지수의 값으로 결정될 수 있다.
최종적으로, 결정된 제 1 미지수의 값 및 제 2 미지수의 값을 포함하는 투영행렬을 기초로 수평 오차 및 수직 오차가 제거된 정렬 영상이 획득된다(S630).
이렇게 본 발명에서 제안된 기술을 이용하여 획득된 정렬 영상과 타 기법에 의한 정렬 영상을 도 7 및 도 8을 참고하여 살펴본다. 도 7 및 도 8은 도 6에 도시된 다시점 영상 정렬방법을 실제로 적용한 경우 획득되는 각각의 정렬 영상을 나타내는 도면이다.
도 7은 인형을 대상으로 한 영상이고, 도 8은 악기 연주자를 대상으로 한 영상이다. 각 도면의 ① 영상은 기준이 될 수 있는 영상이고, ② 영상은 Kang's 방법을 적용한 경우의 영상이고, ③ 영상은 Nozick's 방법을 적용한 경우의 영상이며, ④ 영상은 본 발명에서 제안한 방법을 적용한 경우의 영상이다.
참고로, Kang's 방법(Kang, Y. and Ho, Y., 'An Efficient Image Rectification Method for Parallel Multi-Camera Arrangement', IEEE Transactions on Consumer Electronics, 2011, 57, (3), pp. 1041-1048)의 경우, ① 영상과 비교할 때 상당히 안정적인 결과를 보인다. 다만, 카메라 매개변수를 활용하므로 복잡한 카메라 교정(calibration) 과정을 거친다는 단점이 있다.
또한, Nozick's 방법(Nozick, V., 'Multiple View Image Rectification', IEEE International Symposium on Access Spaces, (2011))의 경우, 회전 행렬을 이용하는 방법으로서, ① 영상과 비교할 때 불안정한 결과를 보인다.
반면에, 본 발명에서 제안된 방법은 ① 영상과 비교할 때 상당히 안정적인 결과를 보이고 있고, 카메라 매개변수에 대한 정보가 없는 경우에도 활용이 가능하며, 빠른 시간 내에 정확한 결과를 얻는다는 측면에서 매우 실용적임을 알 수 있다.
한편, 도 3에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(ASIC, Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
본 발명의 장치 및 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
아울러, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 카메라 100: 입체 영상 제작 시스템
110: 제 1 미지수 결정부 120: 제 2 미지수 결정부
130: 정렬 영상 획득부

Claims (13)

  1. 다시점 영상을 통해 입체 영상을 제작하는 시스템에 있어서,
    3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키는 투영행렬 내 다수의 미지수 중 상기 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 소정의 값으로 결정하는 제 1 미지수 결정부;
    상기 제 1 미지수를 제외한 나머지 미지수 중 상기 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 소정의 값으로 결정하는 제 2 미지수 결정부; 및
    상기 제 1 미지수 결정부 및 제 2 미지수 결정부의 결과 값을 포함하는 상기 투영행렬을 기초로 상기 수평 오차 및 수직 오차가 제거된 정렬 영상을 획득하는 정렬 영상 획득부를 포함하는
    입체 영상 제작 시스템.
  2. 제 1 항에 있어서,
    상기 다수의 미지수를 포함하는 투영행렬은 상기 다시점 영상 중 정렬 시점으로 분류된 제 1 영상과 참조 시점으로 분류된 제 2 영상으로부터 추출된 대응점을 기초로 생성된 것인, 입체 영상 제작 시스템.
  3. 제 1 항에 있어서, 상기 제 1 미지수 결정부는
    상기 다수의 미지수 중 좌우 방향의 줌에 대해 관여하는 미지수 및 수평 방향으로의 이동에 대해 관여하는 미지수가 무시되도록 상기 투영행렬을 처리하는, 입체 영상 제작 시스템.
  4. 제 3 항에 있어서, 상기 제 1 미지수 결정부는 상기 좌우 방향의 줌에 대해 관여하는 미지수를 스칼라 값으로 처리하고, 상기 수평 방향으로의 이동에 대해 관여하는 미지수를 0으로 처리하는, 입체 영상 제작 시스템.
  5. 제 1 항에 있어서, 상기 제 1 미지수 결정부는 상기 다시점 영상 중 정렬 시점으로 분류된 제 1 영상과 참조 시점으로 분류된 제 2 영상을 이용하되, 상기 정렬 영상의 수직 좌표와 상기 제 2 영상의 수직 좌표 간의 관계, 및 상기 정렬 영상의 수평 좌표와 상기 제 1 영상의 수평 좌표 간의 관계를 기초로 상기 제 1 미지수의 값을 결정하는, 입체 영상 제작 시스템.
  6. 제 1 항에 있어서, 상기 제 2 미지수 결정부는 상기 다시점 영상 중 정렬 시점으로 분류된 제 1 영상과 참조 시점으로 분류된 제 2 영상 간의 상대적인 거리 값 및 이상적인 거리 값의 차이를 기초로 상기 제 2 미지수의 값을 결정하는, 입체 영상 제작 시스템.
  7. 제 1 항에 있어서, 상기 제 2 미지수는 수평 방향으로의 이동에 대해 관여하는 미지수인, 입체 영상 제작 시스템.
  8. 입체 영상 제작을 위하여 다시점 영상을 정렬하는 방법에 있어서,
    3차원 공간 상의 하나의 점을 2차원 영상 평면 상의 하나의 점으로 투영시키는 투영행렬 내 다수의 미지수 중 상기 다시점 영상의 수직 오차를 제거하는 데에 관여하는 제 1 미지수의 값을 소정의 값으로 결정하는 단계;
    상기 제 1 미지수를 제외한 나머지 미지수 중 상기 다시점 영상의 수평 오차를 제거하는 데에 관여하는 제 2 미지수의 값을 소정의 값으로 결정하는 단계; 및
    상기 결정된 제 1 미지수의 값 및 제 2 미지수의 값을 포함하는 상기 투영행렬을 기초로 상기 수평 오차 및 수직 오차가 제거된 정렬 영상을 획득하는 단계를 포함하는
    다시점 영상 정렬방법.
  9. 제 8 항에 있어서,
    상기 다시점 영상 중 정렬 시점으로 분류된 제 1 영상과 참조 시점으로 분류된 제 2 영상으로부터 추출된 대응점을 기초로 상기 다수의 미지수를 포함하는 투영행렬을 생성하는 단계를 더 포함하는, 다시점 영상 정렬방법.
  10. 제 8 항에 있어서,
    상기 제 1 미지수의 값을 결정하는 단계는
    상기 다수의 미지수 중 좌우 방향의 줌에 대해 관여하는 미지수 및 수평 방향으로의 이동에 대해 관여하는 미지수가 무시되도록 상기 투영행렬을 처리하는 단계를 포함하는, 다시점 영상 정렬방법.
  11. 제 10 항에 있어서, 상기 처리하는 단계는
    상기 좌우 방향의 줌에 대해 관여하는 미지수를 스칼라 값으로 처리하고, 상기 수평 방향으로의 이동에 대해 관여하는 미지수를 0으로 처리하는, 다시점 영상 정렬방법.
  12. 제 8 항에 있어서, 상기 제 2 미지수의 값을 결정하는 단계는 수평 방향으로의 이동에 대해 관여하는 미지수의 값을 결정하는 것인, 다시점 영상 정렬방법.
  13. 청구항 8 내지 청구항 12 중 어느 한 항에 기재된 방법의 각 단계를 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020130034130A 2013-03-29 2013-03-29 입체 영상 제작 시스템 및 다시점 영상 정렬방법 KR20140118370A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130034130A KR20140118370A (ko) 2013-03-29 2013-03-29 입체 영상 제작 시스템 및 다시점 영상 정렬방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130034130A KR20140118370A (ko) 2013-03-29 2013-03-29 입체 영상 제작 시스템 및 다시점 영상 정렬방법

Publications (1)

Publication Number Publication Date
KR20140118370A true KR20140118370A (ko) 2014-10-08

Family

ID=51991237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130034130A KR20140118370A (ko) 2013-03-29 2013-03-29 입체 영상 제작 시스템 및 다시점 영상 정렬방법

Country Status (1)

Country Link
KR (1) KR20140118370A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027605A1 (ko) * 2018-08-01 2020-02-06 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027605A1 (ko) * 2018-08-01 2020-02-06 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
KR20200014631A (ko) * 2018-08-01 2020-02-11 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
US11902492B2 (en) 2018-08-01 2024-02-13 Korea Atomic Energy Research Institute Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type

Similar Documents

Publication Publication Date Title
US10846913B2 (en) System and method for infinite synthetic image generation from multi-directional structured image array
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
US9013559B2 (en) System, method and program for capturing images from a virtual viewpoint
US20190051036A1 (en) Three-dimensional reconstruction method
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
US20130136302A1 (en) Apparatus and method for calculating three dimensional (3d) positions of feature points
EP3135033B1 (en) Structured stereo
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
WO2010133007A1 (en) Techniques for rapid stereo reconstruction from images
CN103313081A (zh) 图像处理设备和方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
WO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
JP4819834B2 (ja) 立体映像処理装置及び立体映像処理方法
Ho et al. Multi-view depth generation using multi-depth camera system
US10134136B2 (en) Image processing apparatus and image processing method
KR20170025214A (ko) 다시점 깊이맵 생성 방법
US9538161B2 (en) System and method for stereoscopic photography
JP2015019346A (ja) 視差画像生成装置
Lee et al. Automatic 2d-to-3d conversion using multi-scale deep neural network
US9591284B2 (en) Visually-assisted stereo acquisition from a single camera

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination