KR102434567B1 - 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치 - Google Patents

스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치 Download PDF

Info

Publication number
KR102434567B1
KR102434567B1 KR1020150174179A KR20150174179A KR102434567B1 KR 102434567 B1 KR102434567 B1 KR 102434567B1 KR 1020150174179 A KR1020150174179 A KR 1020150174179A KR 20150174179 A KR20150174179 A KR 20150174179A KR 102434567 B1 KR102434567 B1 KR 102434567B1
Authority
KR
South Korea
Prior art keywords
image
images
matrix
cost function
camera
Prior art date
Application number
KR1020150174179A
Other languages
English (en)
Other versions
KR20160098020A (ko
Inventor
최욱
고현석
제이 쿠오 씨.-씨.
심한섭
Original Assignee
삼성전자주식회사
유니버시티 오브 써던 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 유니버시티 오브 써던 캘리포니아 filed Critical 삼성전자주식회사
Priority to US15/015,447 priority Critical patent/US10063831B2/en
Publication of KR20160098020A publication Critical patent/KR20160098020A/ko
Application granted granted Critical
Publication of KR102434567B1 publication Critical patent/KR102434567B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Image Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

스테레오 영상들의 보정 방법이 개시된다. 실시예는, 복수의 영상들을 수신하고, 비용 함수에 기초하여 상기 영상들의 보정(rectification)을 위한 매트릭스를 결정하는 단계를 포함한다. 상기 비용 함수는 왜곡 성분을 포함할 수 있고, 상기 매트릭스는 카메라의 초점에 관한 매트릭스, 카메라의 이격에 관한 매트릭스 및 카메라의 회전에 관한 매트릭스를 포함할 수 있다.

Description

스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치{RECTIFICATION METHOD FOR STEREO IMAGE AND APPARATUS THEREOF}
아래 실시예들은 스테레오 영상들을 보정하기 위한 기법에 관한 것이다.
최근 다양한 분야에서 스테레오 영상이 이용되고 있다. 스테레오 영상은 왼쪽 영상과 오른쪽 영상을 포함할 수 있다. 적절한 스테레오 효과를 위해서 왼쪽 영상과 오른쪽 영상은 서로 얼라인(align)되어야 한다. 예컨대, 왼쪽 영상과 오른쪽 영상의 대응 쌍들(corresponding pairs)은 각각 동일한 수평선에 위치해야 한다. 이를 위해서는 왼쪽 영상과 오른쪽 영상에 대한 보정(rectification)이 필요하다.
일 측에 따른 영상 보정 방법은 복수의 영상들을 수신하는 단계; 및 상기 영상들 사이의 대응 쌍(corresponding pair)의 거리와 관련된 제1 비용 함수 및 변환된 영상의 왜곡과 관련된 제2 비용 함수에 기초하여, 상기 영상들의 보정(rectification)을 위한 매트릭스를 결정하는 단계를 포함한다. 상기 복수의 영상들은 스테레오 영상을 포함할 수 있다.
상기 제2 비용 함수는 변환된 영상의 가로 세로 비(aspect ratio)에 관한 제1 왜곡 성분; 변환된 영상의 뒤틀림(skewness)에 관한 제2 왜곡 성분; 원본 영상 대비 변환된 영상이 회전(rotation)에 관한 제3 왜곡 성분; 및 원본 영상 대비 변환된 영상의 면적 비(size ratio)에 관한 제4 왜곡 성분 중 적어도 하나를 포함할 수 있다.
상기 제1 비용 함수는 상기 영상들 사이의 대응 쌍들의 샘슨 거리(Sampson distance)의 합을 포함할 수 있다.
상기 결정하는 단계는 상기 제1 비용 함수 및 상기 제2 비용 함수의 합이 최소가 되도록, 상기 매트릭스에 포함된 미리 정해진 파라미터들의 값들을 결정하는 단계를 포함할 수 있다.
상기 파라미터들은 상기 영상들 중 제1 영상을 촬영한 제1 카메라의 제1 초점 거리, 상기 영상들 중 제2 영상을 촬영한 제2 카메라의 제2 초점 거리, 상기 제1 카메라의 제1 이격 거리, 상기 제2 카메라의 제2 이격 거리, 상기 제1 카메라의 제1 회전 각도들, 및 상기 제2 카메라의 제2 회전 각도들을 포함할 수 있다.
상기 매트릭스는 상기 영상들 중 제1 영상을 변환하는 제1 변환 매트릭스; 및 상기 영상들 중 제2 영상을 변환하는 제2 변환 매트릭스를 포함할 수 있다.
상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스 각각은 해당 영상을 촬영한 카메라의 초점에 관한 제1 카메라 매트릭스; 해당 영상을 촬영한 카메라의 이격에 관한 제2 카메라 매트릭스; 및 해당 영상을 촬영한 카메라의 회전에 관한 제3 카메라 매트릭스를 포함할 수 있다.
상기 영상 보정 방법은 상기 영상들로부터 특징점들을 추출하는 단계; 및 상기 영상들 사이에서 상기 특징점들을 정합함으로써 상기 영상들 사이의 대응 쌍들을 추출하는 단계를 더 포함할 수 있다.
상기 영상 보정 방법은 상기 영상들 사이의 대응 쌍들에 기초하여 상기 복수의 영상들 사이의 호모그래피 매트릭스(homography matrix)를 계산하는 단계; 및 상기 호모그래피 매트릭스에 기초하여 상기 제2 비용함수의 가중치를 결정하는 단계를 더 포함할 수 있다.
상기 가중치를 결정하는 단계는 상기 호모그래피 매트릭스의 뒤틀림 성분에 기초하여, 상기 제2 비용함수에 포함된 뒤틀림과 관련된 왜곡 성분의 가중치를 결정하는 단계; 상기 호모그래피 매트릭스의 회전 성분에 기초하여, 상기 제2 비용함수에 포함된 회전과 관련된 왜곡 성분의 가중치를 결정하는 단계; 및 상기 호모그래피 매트릭스의 스케일 성분에 기초하여, 상기 제2 비용함수에 포함된 스케일과 관련된 왜곡 성분의 가중치를 결정하는 단계 중 적어도 하나를 포함할 수 있다.
상기 영상 보정 방법은 상기 매트릭스에 기초하여 상기 복수의 영상들을 변환하는 단계; 및 상기 변환된 영상들에 기초하여 스테레오 매칭을 수행하는 단계를 더 포함할 수 있다.
일측에 따른 영상 보정 장치는 복수의 영상들을 수신하는 수신부; 및 상기 영상들 사이의 대응 쌍의 거리와 관련된 제1 비용 함수 및 변환된 영상의 왜곡과 관련된 제2 비용 함수에 기초하여, 상기 영상들의 보정을 위한 매트릭스를 결정하는 결정부를 포함한다.
일측에 따른 영상 처리 방법은 스테레오 영상을 획득하는 단계; 상기 스테레오 영상으로부터 특징점들을 추출하는 단계; 왼쪽 영상의 특징점들과 오른쪽 영상의 특징점들을 정합함으로써 대응 쌍들을 추출하는 단계; 및 대응 쌍의 거리와 관련된 제1 비용함수 및 변환된 영상의 왜곡과 관련된 제2 비용함수에 기초하여, 상기 스테레오 영상의 기초 매트릭스를 결정하는 단계를 포함한다.
상기 영상 처리 방법은 상기 대응 쌍들에 기초하여, 상기 스테레오 영상 사이의 호모그래피 매트릭스를 계산하는 단계; 및 상기 호모그래피 매트릭스에 기초하여, 상기 제2 비용함수에 포함된 적어도 하나의 왜곡 성분의 가중치를 결정하는 단계를 더 포함할 수 있다.
상기 가중치를 결정하는 단계는 상기 호모그래피 매트릭스의 뒤틀림 성분에 기초하여, 상기 제2 비용함수에 포함된 뒤틀림과 관련된 왜곡 성분의 가중치를 결정하는 단계; 상기 호모그래피 매트릭스의 회전 성분에 기초하여, 상기 제2 비용함수에 포함된 회전과 관련된 왜곡 성분의 가중치를 결정하는 단계; 및 상기 호모그래피 매트릭스의 스케일 성분에 기초하여, 상기 제2 비용함수에 포함된 스케일과 관련된 왜곡 성분의 가중치를 결정하는 단계 중 적어도 하나를 포함할 수 있다.
상기 뒤틀림과 관련된 왜곡 성분은 변환된 영상의 가로 세로 비(aspect ratio)에 관한 제1 왜곡 성분; 및 변환된 영상의 뒤틀림(skewness)에 관한 제2 왜곡 성분 중 적어도 하나를 포함할 수 있다. 상기 회전과 관련된 왜곡 성분은 원본 영상 대비 변환된 영상이 회전(rotation)에 관한 제3 왜곡 성분을 포함할 수 있다. 상기 스케일과 관련된 왜곡 성분은 원본 영상 대비 변환된 영상의 면적 비(size ratio)에 관한 제4 왜곡 성분을 포함할 수 있다.
도 1a는 일 실시예에 따른 영상 보정 장치를 설명하는 도면.
도 1b는 일 실시예에 따른 등극선을 설명하는 도면.
도 2a는 일 실시예에 따른 스테레오 카메라를 통한 영상의 획득 과정을 설명하는 도면.
도 2b는 일 실시예에 따른 획득된 영상의 보정을 위해 정의되는 파라미터들을 설명하는 도면.
도 3은 일 실시예에 따른 보정된 영상의 왜곡 정도를 판단하기 위한 파라미터들을 설명하는 도면.
도 4는 일 실시예에 따른 제1 비용함수와 제2 비용함수를 이용하여 매트리스의 결정을 위한 파라미터들을 획득하는 과정을 설명하는 도면.
도 5는 일 실시예에 따른 영상 보정을 통한 영상 변환 과정을 설명하는 도면.
도 6은 일 실시예에 따른 영상 보정 방법을 설명하는 도면.
도 7a 내지 도 7c는 일 실시예에 따른 보정 전의 영상들과 보정된 영상들을 나타내는 도면.
도 8은 일 실시예에 따른 기초 매트릭스 결정 방법을 설명하는 도면.
도 9는 일 실시예에 따른 제2 비용함수의 가중치를 적응적으로 결정하는 방법을 설명하는 도면.
도 10a 및 도 10b는 일 실시예에 따른 호모그래피 매트릭스를 설명하는 도면.
도 11은 일 실시예에 따른 일 실시예에 따른 전자 시스템을 도시하는 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 스테레오 영상을 처리하는 데 사용될 수 있다. 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1a는 일 실시예에 따른 영상 보정 장치를 설명하는 도면이다. 도 1을 참조하면, 일 실시예에 따른 영상 보정 장치(100)는 수신부(110) 및 결정부(120)를 포함한다.
수신부(110)는 복수의 영상들(131, 132)을 수신한다. 복수의 영상들(131, 132)은 스테레오 영상을 포함할 수 있다. 스테레오 영상은 복수의 시점에서 촬영된 영상을 의미한다. 일측에 따르면, 스테레오 영상은 왼쪽 시점에서 촬영된 왼쪽 영상과 오른쪽 시점에서 촬영된 오른쪽 영상을 포함할 수 있다.
스테레오 영상은 대응 쌍(corresponding pair)들을 포함한다. 예를 들어, 동일한 대상을 서로 다른 시점에서 촬영하는 경우, 시차로 인하여 각 시점의 영상에서 그 대상을 나타내는 점의 위치가 서로 다를 수 있다. 스테레오 영상에서 대응 쌍들을 추출하기 위하여 두 영상들이 서로 비교될 수 있다. 스테레오 영상에서 대응 쌍들을 추출하는 기법은 스테레오 매칭이라고 지칭될 수 있다.
스테레오 매칭의 복잡도를 감소시키기 위하여, 대응 쌍에 포함된 두 점들의 수직 위치(vertical location)는 동일하고 수평 위치(horizontal location)만 서로 다르다는 가정 하에서 두 영상들이 서로 비교될 수 있다. 예를 들어, 스테레오 영상을 촬영하는 왼쪽 카메라와 오른쪽 카메라가 수평 방향으로 이격되고, 수직 방향으로는 동일한 높이에 배치될 수 있다. 이 경우, 스테레오 영상에서 대응 쌍을 추출하기 위하여, 왼쪽 영상과 오른쪽 영상의 대응 쌍들이 동일한 수직 위치에 존재한다고 가정하면서 스테레오 매칭이 수행될 수 있다.
하지만, 스테레오 영상을 촬영하는 왼쪽 카메라와 오른쪽 카메라는 다양한 이유로 인하여 완벽하게 얼라인(align)되지 않을 수 있다. 예를 들어, 제조 공정에서 왼쪽 카메라와 오른쪽 카메라의 높이가 미세하게 차이가 있을 수 있고, 사용 도중 왼쪽 카메라 또는 오른쪽 카메라의 오리엔테이션(orientation)이 변경될 수도 있다. 이 경우, 왼쪽 영상과 오른쪽 영상의 대응 쌍들이 서로 동일한 수직 위치에 존재한다고 가정하면, 스테레오 매칭의 정확도가 감소될 수 있다.
일 실시예에 따른 영상 보정 장치(100)는 스테레오 영상들의 모든 대응 쌍들이 동일한 수직 위치에 놓이도록, 각각의 스테레오 영상들을 보정할 수 있다. 이하, 스테레오 보정은 스테레오 영상들의 모든 대응 쌍들이 동일한 수직 위치에 놓이도록, 각각의 스테레오 영상들을 보정하는 것을 의미할 수 있다.
도 1a를 참조하면, 복수의 영상들(131, 132)은 제1 시점의 영상(131)과 제2 시점의 영상(132)을 포함할 수 있다. 예를 들어, 제1 시점의 영상(131)은 왼쪽 영상에 해당하고, 제2 시점의 영상(132)은 오른쪽 영상에 해당할 수 있다. 영상(131)은 점(x)을 포함하고, 영상(132)은 점(x')을 포함할 수 있다. 점(x)와 점(x')은 대응 쌍일 수 있다. 설명의 편의를 위하여, 도 1에는 대응 쌍으로 점(x)와 점(x')만 도시하였으나, 영상(131) 및 영상(132)에서 점(x)와 점(x') 이외에도 다수의 대응 쌍들이 존재할 수 있다.
영상(132)에 포함된 점들 중, 영상(131)의 점(x)에 대응하는 점들은 등극선(epipolar line)(r)으로 도시될 수 있다. 도 1b를 참조하면, 3차원 공간 상의 점(X)은 제1 시점의 카메라 중심 C로 투영되면서 영상(131)의 점(x)로 표현된다. 또한, 3차원 공간 상의 점(X)는 제2 시점의 카메라 중심 C'으로 투영되면서 영상(132)의 점(x')으로 표현된다. 이 경우, 점(x)와 점(x')은 3차원 공산 상의 동일한 점(X)가 각각의 시점의 카메라 중심으로 투영된 결과이므로, 점(x)와 점(x')은 서로 대응 쌍이 된다.
제1 시점의 카메라 중심 C와 제2 시점의 카메라 중심 C' 및 3차원 공간 상의 점(X)를 포함하는 평면은 등극평면(epipolar plane)이며, 제1 시점의 카메라 중심 C와 제2 시점의 카메라 중심 C'을 연결하는 직선은 기초선(baseline)이다. 기초선과 영상(132)이 만나는 점(e')과 점(x')을 연결하는 직선이 등극선(r)이다. 등극선(r)은 등극평면과 영상(132)이 만나는 선이다.
다시 도 1a를 참조하면, 복수의 영상들(131, 132)은 스테레오 보정(stereo rectification)이 적용되기 전의 영상으로, 점(x)의 등극선(r) 상 점들의 수직 위치는 점(x)의 수직 위치와 상이할 수 있다. 영상 보정 장치(100)는 스테레오 보정을 통해 등극선(r) 상 점들의 수직 위치가 점(x)의 수직 위치와 동일해지도록 영상(132)을 변환할 수 있다. 예컨대, 스테레오 보정에 따라, 영상(132)은 영상(133)로 보정될 수 있다. 영상(131)과 영상(133)을 참조하면, 점(x)의 수직 위치와 등극선(rnew) 상 점들의 수직 위치는 동일하다.
등극선(r) 상 점들의 수직 위치가 점(x)의 수직 위치와 동일해지도록 영상(132)을 변환하려면, 우선 점(x)에 대응하는 등극선(r)이 도출되어야 한다. 예를 들어, 등극선(r)이 도출되면, 등극선(r)의 기울기를 0으로 만드는 변환을 통하여 영상(132)이 변환될 수 있다. 등극선(r)을 도출하기 위하여, 결정부(120)는 복수의 영상들(131, 312)의 스테레오 보정을 위한 매트릭스를 결정할 수 있다. 결정부(120)의 동작과 관련된 보다 상세한 설명은 후술한다.
이상에서, 설명의 편의를 위하여 스테레오 보정이 영상(132)에 적용되는 실시예를 설명하였으나, 스테레오 보정은 영상(131)에 대해서도 적용될 수 있다. 예를 들어, 영상 보정 장치(100)는 영상(131)에서 점(x')에 대응하는 등극선(r')을 도출한 뒤, 등극선(r') 상 점들의 수직 위치가 점(x')의 수직 위치와 동일해지도록 영상(131)을 변환할 수 있다.
또한, 이상에서, 설명의 편의를 위하여 스테레오 영상이 왼쪽 영상과 오른쪽 영상으로 구성되는 경우를 설명하였으나, 복수의 영상들 사이의 상대적 위치는 스테레오 영상을 촬영하는 카메라의 시점 또는 카메라의 배치 등에 따라 다양하게 변형될 수 있다. 예를 들어, 스테레오 영상을 촬영하는 카메라가 좌우가 아닌 상하로 배치된 경우, 스테레오 영상은 위쪽 시점에서 촬영된 위쪽 영상과 아래쪽 시점에서 촬영된 아래쪽 영상을 포함할 수 있다. 이 경우, 대응 쌍들의 수평 위치가 서로 동일해지도록 영상들이 변환될 수 있다.
또한, 아래에서 상세히 설명하겠으나, 영상 보정 장치(100)는 스테레오 영상들의 보정 과정에서 발생되는 왜곡을 최소화하는 기술을 제공할 수 있다. 이하, 스테레오 보정 과정을 상세히 설명한다.
<기초 매트릭스의 결정>
결정부(120)는 복수의 영상들(131, 312)의 스테레오 보정을 위한 매트릭스를 결정한다. 영상들의 스테레오 보정을 위한 매트릭스는 기초 매트릭스(fundamental matrix)일 수 있다. 기초 매트릭스 F는 점(x) 및 등극선(r) 사이에서 수학식 1과 같은 관계를 가질 수 있다.
Figure 112015120137600-pat00001
수학식 1에서, 기초 매트릭스 F는 3 x 3 크기의 매트릭스일 수 있다. (x, y, 1)T은 점(x)를 나타내고, (a, b, c) T는 등극선(r)을 나타낸다. 수학식 1에 따르면 점(x)는 기초 매트릭스 F에 의해 등극선(r)으로 변환될 수 있다.
등극선(r)과 점(x') 사이의 관계는 수학식 2와 같이 나타낼 수 있고, 수학식 1과 수학식 2로부터 수학식 3을 얻을 수 있다.
Figure 112015120137600-pat00002
Figure 112015120137600-pat00003
한편, 왼쪽 영상을 스테레오 보정하는 변환을 Hl이라 하고, 오른쪽 영상을 스테레오 보정하는 변환을 Hr이라고 할 경우, Hl과 Hr에 관해 수학식 4와 수학식 5가 성립한다.
Figure 112015120137600-pat00004
Figure 112015120137600-pat00005
스테레오 보정된 영상에서 대응 쌍들의 높이는 같으므로, ynew=y'new의 관계가 성립하며, 이로부터 수학식 6을 얻을 수 있다.
Figure 112015120137600-pat00006
수학식 4 내지 수학식 6에서, 'new'는 보정된 영상의 좌표를 의미한다. 수학식 3 내지 수학식 6으로부터 수학식 7을 얻을 수 있다.
Figure 112015120137600-pat00007
수학식 7에 따르면, 기초 매트릭스 F는 Hl과 Hr에 의해 결정될 수 있다. 결정부(120)는 Hl과 Hr을 결정함으로써, 기초 매트릭스 F를 결정할 수 있다. Hl과 Hr은 다양한 파라미터들에 의해 파라미터화(parameterization) 될 수 있다. 기초 매트릭스 F를 위한 파라미터들에 관해서는 도 2a 및 도 2b를 참조하여 상세하게 설명한다.
<기초 매트릭스의 파라미터들>
도 2a는 일 실시예에 따른 스테레오 카메라를 통한 영상의 획득 과정을 설명하는 도면이다. 도 2a를 참조하면, 스테레오 카메라(210, 220)는 제1 시점의 카메라(210)와 제2 시점의 카메라(220)를 포함한다. 카메라(210)와 카메라(220)는 좌우로 배치되어 있다. 카메라(210)의 시점의 y-좌표와 카메라(220)의 시점의 y-좌표는 동일할 수 있다. 이하, 좌우로 배치된 스테레오 카메라(210, 220)를 기준으로 스테레오 영상의 획득 과정을 설명하지만, 스테레오 카메라(210, 220)는 상하로 배치될 수도 있다. 스테레오 카메라(210, 220)가 상하로 배치될 경우, 카메라(210)의 시점의 x-좌표와 카메라(220)의 시점의 x-좌표는 동일할 수 있다.
카메라(210)와 카메라(220)는 각각 상이한 시점을 갖는다. 따라서, 카메라(210)와 카메라(220)가 동일한 물체를 촬영하는 경우에, 카메라(210)에 의해 촬영된 영상에서 물체의 좌표와, 카메라(220)에 의해 촬영된 영상에서 물체의 좌표는 상이할 수 있다. 예컨대, 도 1의 영상(131)은 카메라(210)에 의해 촬영된 영상일 수 있고, 도 1의 영상(132)은 카메라(220)에 의해 촬영된 영상일 수 있다.
카메라(210)와 카메라(220)가 나란히 배치된 경우에도, 다양한 요인들에 의해 얼라인 되지 않은 상태의 스테레오 영상들이 획득될 수 있다. 예컨대, 다양한 요인은 카메라들(210, 220)의 초점 거리(focal length), 카메라들(210, 220)의 이격 거리 및 카메라들(210, 220)의 회전 등이 있을 수 있다. 영상 보정 장치(100)는 다양한 요인들을 고려하여 획득된 영상들에 대한 스테레오 보정을 수행할 수 있다.
도 2b는 일 실시예에 따른 획득된 영상의 보정을 위해 정의되는 파라미터들을 설명하는 도면이다. 도 2b를 참조하면, 도 2a에 도시된 카메라들(210, 220)의 파라미터들이 도시되어 있다. 카메라(210)의 파라미터는 초점 거리(211), 이격 거리(212) 및 회전 각도들(213, 214, 215)을 포함한다. 또한, 카메라(220)의 파라미터는 초점 거리(221), 이격 거리(222) 및 회전 각도들(223, 224, 225)을 포함한다.
초점 거리(211, 221)는 일반적인 의미로 정의될 수 있다. 예컨대, 초점 거리(211, 221)는 각각의 카메라들(210, 220)의 렌즈에서 이미지 센서까지의 거리를 의미할 수 있다. 이격 거리(222)는 각각의 카메라들(210, 220)이 설계된 위치로부터 상하 또는 좌우로 이격된 거리를 의미한다. 카메라들(210, 220)이 좌우로 배치된 경우 이격 거리(212, 222)는 카메라들(210, 220)이 상하로 이격된 거리를 의미할 수 있다. 카메라들(210, 220)이 상하로 배치된 경우 이격 거리(212, 222)는 카메라들(210, 220)이 좌우로 이격된 거리를 의미할 수 있다. 회전 각도들(213, 214, 215, 223, 224, 225)은 도 2b에 표시된 방향으로 회전한 정도를 의미한다.
다시 도 1을 참조하면, 결정부(120)는 도 2b를 통하여 설명된 파라미터들 중 적어도 일부를 통해 Hl과 Hr을 파라미터화 할 수 있다.
일측에 따르면, 결정부(120)는 카메라의 초점 거리, 카메라의 이격 거리 및 카메라의 회전 각도를 고려하여 Hl과 Hr을 파라미터화 할 수 있다. 이 때, Hl과 Hr은 카메라의 초점 거리, 카메라의 이격 거리 및 카메라의 회전 각도를 고려하여 수학식 8 및 수학식 9로 나타낼 수 있다.
Figure 112015120137600-pat00008
Figure 112015120137600-pat00009
여기서, Kol, Kor, Knl, Knr은 카메라의 초점 거리에 관한 카메라 매트릭스이다. Kol, Kor, Knl, Knr은 각각 보정 전 왼쪽 영상, 보정 전 오른쪽 영상, 보정된 왼쪽 영상 및 보정된 오른쪽 영상의 카메라 메트릭스이다. Kol과 Kor은 각각 수학식 10과 수학식 11로 나타낼 수 있다.
Figure 112015120137600-pat00010
Figure 112015120137600-pat00011
여기서, αl는 왼쪽 카메라의 초점 거리를 의미하고, αr은 오른쪽 카메라의 초점 거리를 의미한다. w는 보정 전 영상의 너비를 의미하고, h는 보정 전 영상의 높이를 의미한다. Knl, Knr은, 보정된 스테레오 영상에서 왼쪽 카메라와 오른쪽 카메라의 초점 거리가 동일하도록 수학식 12로 설정될 수 있다.
Figure 112015120137600-pat00012
수학식 8 및 수학식 9에서 Rl과 Rr은 카메라의 회전에 관한 카메라 매트릭스이다. Rl과 Rr은 각각 보정 전 왼쪽 영상 및 보정 전 오른쪽 영상의 카메라 메트릭스이다. 초점 거리 및 회전 각도에 관해서는 도 2b에서 설명된 내용이 적용될 수 있다.
수학식 8 및 수학식 9에서 Tl과 Tr은 카메라의 이격 거리에 관한 카메라 매트릭스이다. Tl과 Tr은 각각 수학식 13 및 수학식 14로 나타낼 수 있다.
Figure 112015120137600-pat00013
Figure 112015120137600-pat00014
여기서, tyl은 왼쪽 카메라의 수직 방향 이격 거리를 나타내고, tyr은 오른쪽 카메라의 수직 방향 이격 거리를 나타낸다. 만약 스테레오 영상을 촬영하는 카메라가 위쪽 카메라와 아래쪽 카메라로 구성되는 경우, 위쪽 카메라의 수평 방향 이격 거리 및 아래쪽 카메라의 수평 방향 이격 거리가 파라미터로 이용될 수 있다.
결정부(120)는 앞서 설명된 파라미터들의 값들을 조절함으로써 기초 매트릭스 F를 결정할 수 있다.
<비용 함수>
결정부(120)는 비용 함수에 기초하여 기초 매트릭스 F를 결정할 수 있다. 비용 함수는 파라미터들에 기초하여 결정된 기초 매트릭스 F의 보정 성능을 평가하기 위한 함수를 의미한다. 비용 함수는 보정 성능의 평가 기준에 따라 다양하게 정의될 수 있다. 결정부(120)는 비용 함수의 출력이 최소가 되도록 기초 매트릭스 F의 파라미터들의 값들을 결정할 수 있다.
비용 함수는 대응 쌍의 거리와 관련된 제1 비용 함수를 포함할 수 있다. 제1 비용 함수는 샘슨 거리(Sampson distance)를 기준으로 기초 매트릭스 F의 보정 성능을 평가할 수 있다. 제1 비용 함수는 수학식 15로 나타낼 수 있다.
Figure 112015120137600-pat00015
여기서, Es는 제1 비용 함수이고, j는 대응 쌍들의 인덱스이며, Ej는 j 번째 대응 쌍이 갖는 샘슨 거리이다. 수학식 15에 따르면 Es는 대응 쌍들의 샘슨 거리들의 합으로 계산될 수 있다. 샘슨 거리는 특정 점의 대응 점과 그 점의 등극선 사이의 거리에 따라 결정된다. 예컨대, 샘슨 거리는 왼쪽 영상에서 점(xj)와 등극선(rj') 사이의 거리 및 오른쪽 영상에서 점(xj')과 등극선(rj) 사이의 거리가 증가할수록 증가한다. 실시예들은 제1 비용함수의 출력이 최소화되도록 파라미터들을 결정함으로써, 영상에 포함된 점들의 등극선들을 도출하는 기초 매트릭스 F를 결정할 수 있다.
제1 비용 함수를 계산하기 위하여, 결정부(120)는 미리 정해진 수의 대응 쌍들을 알아야 한다. 미리 정해진 수는 제1 비용 함수를 계산하기 위하여 최소한으로 요구되는 수일 수 있다. 도 5를 참조하여 상세하게 설명하겠으나, 미리 정해진 수의 대응 쌍들은 스테레오 매칭이 수행되기 전에 미리 추출될 수 있다. 예를 들어, 스테레오 영상으로부터 특징점들이 추출될 수 있다. 왼쪽 영상에서 추출된 특징점들과 오른쪽 영상에서 추출된 특징점들을 매칭하는 동작을 통하여 미리 정해진 수의 대응 쌍들이 추출될 수 있다.
비용 함수는 변환된 영상의 왜곡과 관련된 제2 비용 함수를 포함할 수 있다. 제2 비용함수는 보정된 영상의 왜곡 정도를 평가하기 위한 성분들을 포함할 수 있다. 예컨대, 제2 비용 함수는 변환된 영상의 가로 세로 비(aspect ratio)에 관한 제1 왜곡 성분, 변환된 영상의 뒤틀림(skewness)에 관한 제2 왜곡 성분, 원본 영상 대비 변환된 영상이 회전(rotation)에 관한 제3 왜곡 성분 및 원본 영상 대비 변환된 영상의 면적 비(size ratio)에 관한 제4 왜곡 성분 중 적어도 하나를 포함할 수 있다. 실시예들은 제1 비용함수의 출력과 제2 비용함수의 출력의 합이 최소화되도록 파라미터들을 결정함으로써, 스테레오 보정으로 인한 왜곡이 최소화되도록 하는 기초 매트릭스 F를 결정할 수 있다. 제2 비용함수는 도 3을 참조하여 상세하게 설명한다.
도 3은 일 실시예에 따른 보정된 영상의 왜곡 정도를 판단하기 위한 파라미터들을 설명하는 도면이다. 도 3을 참조하면 보정 전의 영상(310)과 보정된 영상(320)이 도시되어 있다. 영상(310)은 모서리(a, b, c, d), 변의 중심(e, f, g, h) 및 영상(310)의 중심(o)을 포함한다. 영상(320)은 모서리(a', b', c', d'), 변의 중심(e', f', g', h') 및 영상(320)의 중심(o')을 포함한다.
변환된 영상의 가로 세로 비에 관한 제1 왜곡 성분은 수학식 16에 의해 결정될 수 있다.
Figure 112015120137600-pat00016
여기서, EAR은 제1 왜곡 성분을 의미한다. 중심(o')에서 모서리(a', b', c', d')까지의 거리가 서로 유사할수록 EAR은 1에 가까워진다. 다시 말해, 영상(320)에 왜곡이 발생하지 않는, EAR의 이상적인 값은 1이다. 따라서, EAR이 1에 가까울수록 영상(320)의 왜곡이 적은 것으로 결정될 수 있다.
다음으로, 변환된 영상의 뒤틀림에 관한 제2 왜곡 성분은 수학식 17에 의해 결정될 수 있다.
Figure 112015120137600-pat00017
여기서, ESK는 제2 왜곡 성분을 의미하고, ∠CAi는 영상(320)에서 i번째 모서리의 각도를 의미한다. ESK는 영상(320)의 모서리(a', b', c', d') 각각의 내각이 90°에 가까울수록 작아진다. 따라서, ESK의 이상적인 값은 0이고, ESK가 0에 가까울수록 영상(320)의 왜곡이 적은 것으로 결정될 수 있다.
다음으로, 원본 영상 대비 변환된 영상이 회전에 관한 제3 왜곡 성분은 수학식 18에 의해 결정될 수 있다. 제3 왜곡 성분은 수학식 18과 같이 벡터의 내적을 이용하여 계산될 수 있다. 수학식 18는 변의 중심(f)과 변의 중심(f')에 관한 실시예를 나타내지만, 제3 왜곡 성분은 변의 중심(e, g, h)과 변의 중심(e', g', h')에 의해서도 결정될 수 있다.
Figure 112015120137600-pat00018
여기서, ER은 제3 왜곡 성분을 의미한다. ER의 이상적인 값은 1이고, ER이 1에 가까울수록 영상(320)의 왜곡이 적은 것으로 결정될 수 있다.
다음으로, 원본 영상 대비 변환된 영상의 면적 비에 관한 제4 왜곡 성분은 수학식 19에 의해 결정될 수 있다.
Figure 112015120137600-pat00019
여기서, ES은 제4 왜곡 성분을 의미한다. Arearec는 영상(320)의 면적을, Areaorig는 영상(310)의 면적을 의미한다. ES의 이상적인 값은 1이고, ES가 1에 가까울수록 영상(320)의 왜곡이 적은 것으로 결정될 수 있다.
제1 왜곡 성분이 이상적인 값에 가까울수록 감소하는 함수는
Figure 112015120137600-pat00020
로 정의될 수 있고, 제2 왜곡 성분이 이상적인 값에 가까울수록 감소하는 함수는
Figure 112015120137600-pat00021
로 정의될 수 있고, 제3 왜곡 성분이 이상적인 값에 가까울수록 감소하는 함수는
Figure 112015120137600-pat00022
로 정의될 수 있고, 제4 왜곡 성분이 이상적인 값에 가까울수록 감소하는 함수는
Figure 112015120137600-pat00023
로 정의될 수 있다. 제2 비용 함수는 전술한 함수들에 기초하여 결정될 수 있다.
다시 도 1을 참조하면, 결정부(120)는 앞서 설명된 제1 비용 함수 및 제2 비용 함수에 기초하여 기초 매트릭스 F를 결정할 수 있다. 예컨대, 제1 비용 함수 및 제2 비용 함수의 합이 최소가 되도록, 기초 매트릭스 F의 파라미터들의 값들을 결정할 수 있다. 수학식 20은 제1 비용 함수 및 제2 비용 함수의 합에 관한 예시를 나타낸다. 결정부(120)는 수학식 20에 기초하여 기초 매트릭스 F를 결정할 수 있다.
Figure 112015120137600-pat00024
여기서, C는 제1 비용 함수 및 제2 비용 함수의 합에 관한 총 비용 함수를 나타내고, φ는 기초 매트릭스 F의 파라미터들을 나타내며, Es는 제1 비용 함수를 나타내고,
Figure 112015120137600-pat00025
,
Figure 112015120137600-pat00026
,
Figure 112015120137600-pat00027
및
Figure 112015120137600-pat00028
는 각각 제1 왜곡 성분, 제2 왜곡 성분, 제3 왜곡 성분, 및 제4 왜곡 성분에 관한 함수들을 나타내며, ρAR, ρSK, ρR 및 ρSR는 각각
Figure 112015120137600-pat00029
,
Figure 112015120137600-pat00030
,
Figure 112015120137600-pat00031
및
Figure 112015120137600-pat00032
의 가중치를 나타낸다. 결정부(120)는
Figure 112015120137600-pat00033
가 최소가 되도록 φ를 결정할 수 있다.
영상 보정 장치(100)는 변환부를 더 포함할 수 있다. 변환부는 결정된 기초 매트릭스 F에 기초하여 복수의 영상들(131, 132)을 변환할 수 있다. 예컨대, 변환부는 기초 매트릭스 F를 이용하여 점(x)에 대응하는 등극선(r)을 도출한 뒤, 등극선(r)의 기울기를 0으로 만드는 변환을 통하여 영상(132)를 영상(133)로 변환할 수 있다.
영상 보정 장치(100)는 매칭부를 더 포함할 수 있다. 매칭부는 변환부에 의해 변환된 영상들에 기초하여 스테레오 매칭을 수행한다.
도 4는 일 실시예에 따른 제1 비용함수와 제2 비용함수를 이용하여 매트리스의 결정을 위한 파라미터들을 획득하는 과정을 설명하는 도면이다.
도 4를 참조하면, 단계(410)에서, 영상 보정 장치는 제1 비용 함수에 기초하여 파라미터들을 결정한다. 영상 보정 장치는 입력되는 파라미터들 φ 중에 제1 비용 함수 Es를 최소로 만드는 파라미터들 φinit을 출력할 수 있다. 단계(410)에서, φ는 입력 파라미터를 나타내고, Es는 제1 비용 함수를 나타내며, C(φ)는 입력 파라미터 φ에 의한 총 비용 함수의 값을 나타낸다.
단계(420)에서, 영상 보정 장치는 변환된 영상의 왜곡 정도를 판단한다. 단계(420)에서 ρinit은 왜곡 성분들에 대한 초기 가중치를 의미한다. 예컨대, ρinit(0, 0, 0, 0)은 제1 왜곡 성분 내지 제4 왜곡 성분의 초기 가중치가 모두 0임을 의미한다. 제1 왜곡 성분 내지 제4 왜곡 성분에 대해서는 앞서 설명된 내용이 적용될 수 있다. 영상 보정 장치는 왜곡 성분들에 기초하여 변환된 영상의 왜곡 정도를 판단할 수 있다. 변환된 영상의 왜곡 정도는 Ex로 나타낼 수 있다.
단계(430)에서, 영상 보정 장치는 변환된 영상의 왜곡 정도와 미리 설정된 임계 값을 비교한다. 단계(430)에서 fx는 Ex의 왜곡 정도를 판단하는 함수를 의미하고, Tx는 미리 정해진 임계 값을 의미한다.
단계(440)에서, 영상 보정 장치는 제2 비용 함수의 가중치를 조절한다. 영상 보정 장치는 단계(430)의 비교 결과를 반영하여 가중치를 조절할 수 있다. 예를 들어, 영상 보정 장치는 변환된 영상의 왜곡 정도가 미리 설정된 임계 값 이상인 경우, 제2 비용 함수의 가중치를 조절할 수 있다. 일 예로, 영상 보정 장치는 제1 왜곡 성분 내지 제4 왜곡 성분의 가중치를 0.25로 조절할 수 있다.
단계(450)에서, 영상 보정 장치는 제1 비용 함수 및 제2 비용 함수에 기초하여 파라미터들을 결정한다. 영상 보정 장치는 앞서 설명된 수학식 20에 기초하여 파라미터들을 결정할 수 있다.
단계(460)에서, 영상 보정 장치는 φn에 따른 총 비용 함수의 값과 φn -1에 따른 총 비용 함수의 값을 비교한다. φn에 따른 총 비용 함수의 값은 φn에 따른 제1 비용 함수 및 제2 비용 함수의 합으로 계산되고, φn -1에 따른 총 비용 함수의 값은 φn-1에 따른 제1 비용 함수 및 제2 비용 함수의 합으로 계산될 수 있다.
φn에 따른 총 비용 함수의 값이 φn -1에 따른 총 비용 함수의 값보다 작은 경우, 영상 보정 장치는 파라미터들의 값이 최적 값에 가까워지고 있다고 판단하고 단계(420) 내지 단계(450)을 반복적으로 수행할 수 있다. 단계(420)이 단계(460) 이후에 수행되는 경우, 파라미터로 φn +1이 적용될 수 있다. φn + 1는 단계(450)으로부터 결정될 수 있다.
만약 φn에 따른 총 비용 함수의 값이 φn -1에 따른 총 비용 함수의 값보다 큰 경우, 영상 보정 장치는 파라미터들의 값이 최적 값에서 멀어진다고 판단하고 단계(470)을 수행할 수 있다. 단계(470)에서, 영상 보정 장치는 φn -1을 출력한다. 영상 보정 장치는 φn-1를 통해 기초 매트릭스 F를 결정할 수 있다.
도 4에 도시된 각 단계들에는 도 1 내지 도 3을 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 5는 일 실시예에 따른 영상 보정을 통한 영상 변환 과정을 설명하는 도면이다.
단계(510)에서, 영상 보정 장치는 스테레오 영상들을 수신할 수 있다. 단계(520)에서, 영상 보정 장치는 스테레오 영상들로부터 대응 쌍들을 추출할 수 있다. 예를 들어, 도면에 표시하지 않았으나, 도 1의 영상 보정 장치(100)는 추출부를 더 포함할 수 있다. 추출부는 복수의 영상들(131, 132)로부터 대응 쌍들을 추출할 수 있다. 추출부는 복수의 영상들(131, 132)로부터 특징점들을 추출하고, 영상(131)의 특징점들과 영상(132)의 특징점들을 정합함으로써 대응 쌍들을 추출할 수 있다. 일측에 따르면, 추출부는 SIFT(Scale Invariant Feature Transform) 방식으로 특징점을 추출할 수 있고, RANSAC(RANdom SAmple Consensus) 방식으로 특징점을 정합할 수 있다. 추출부는 추출된 대응 쌍들에 관한 정보를 결정부(120)로 전달할 수 있다.
단계(530)에서, 영상 보정 장치는 기초 매트릭스 F의 파라미터화를 수행할 수 있다. 단계(540)에서, 영상 보정 장치는 기초 매트릭스 F의 파라미터들을 결정할 수 있다. 영상 보정 장치는 비용 함수에 기초하여 기초 매트릭스 F의 파라미터들을 결정할 수 있다. 단계(550)에서, 영상 보정 장치는 영상을 변환할 수 있다.
도 5에 도시된 각 단계들에는 도 1 내지 도 4를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 6은 일 실시예에 따른 영상 보정 방법을 설명하는 도면이다.
단계(610)에서, 영상 보정 장치는 복수의 영상들을 수신한다. 단계(620)에서, 영상 보정 장치는 제1 비용함수 및 제2 비용 함수에 기초하여 영상들의 스테레오 보정을 위한 매트릭스를 결정한다. 도 6에 도시된 각 단계들에는 도 1 내지 도 5를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 7a 내지 도 7c는 일 실시예에 따른 보정 전의 영상들과 보정된 영상들을 나타내는 도면이다.
도 7a에는 보정 전의 영상들(710, 720)이 도시되어 있고, 도 7b에는 제1 비용 함수에 기초하여 보정된 영상들(730, 740)이 도시되어 있고, 도 7c에는 제1 비용 함수 및 제2 비용 함수에 기초하여 보정된 영상들(730, 740)이 도시되어 있다. 도 7b와 도 7c를 비교하면, 영상들(730, 740)의 왜곡이 영상들(730, 740)에 비해 감소되었음을 알 수 있다. 이처럼 실시예들은 영상의 보정 과정에서 발생되는 왜곡을 최소화하는 기술을 제공할 수 있다.
도 8은 일 실시예에 따른 기초 매트릭스 결정 방법을 설명하는 도면이다. 도 8을 참조하면, 일 실시예에 따른 프로세서는 스테레오 영상을 수신하고, 단계(810)에서 스테레오 영상에 포함된 특징점들을 추출할 수 있다. 프로세서는 왼쪽 영상으로부터 제1 특징점들을 추출하고 오른쪽 영상으로부터 제2 특징점들을 추출할 수 있다. 예를 들어, 프로세서는 SIFT 방식으로 특징점을 추출할 수 있다. 물론 프로세서는 기존에 알려진 그 밖의 다양한 특징점 추출 기법을 이용하여 특징점들을 추출할 수 있다.
프로세서는 단계(820)에서 추출된 특징점들에 기초하여, 특징점 대응 쌍을 추출할 수 있다. 프로세서는 제1 특징점들과 제2 특징점들을 서로 정합함으로써, 왼쪽 영상과 오른쪽 영상 사이의 특징점 대응 쌍들을 추출할 수 있다. 예를 들어, 프로세서는 RANSAC 방식으로 제1 특징점들과 제2 특징점들을 서로 정합할 수 있다. 물론 프로세서는 기존에 알려진 그 밖의 다양한 정합 기법을 이용하여 특징점들을 정합할 수 있다.
프로세서는 단계(830)에서 특징점 대응 쌍들에 기초하여, 기초 매트릭스 F를 결정할 수 있다. 단계(830)에는 도 1a 내지 도 7c를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 9는 일 실시예에 따른 제2 비용함수의 가중치를 적응적으로 결정하는 방법을 설명하는 도면이다. 도 9를 참조하면, 프로세서는 단계(831)에서 스테레오 영상 사이의 호모그래피 매트릭스(homography matrix)를 계산할 수 있다.
도 10a를 참조하면, 호모그래피 매트릭스는 점(X)에서 제1 광선(1010)을 제2 광선(1020)으로 변환하는 매트릭스이다. 제1 광선(1010)은 3차원 공간 상의 점(X)로부터 제1 시점의 카메라 중심 C로 투영되는 빛의 경로이고, 제2 광선(1020)은 동일한 점(X)로부터 제2 시점의 카메라 중심 C'으로 투영되는 빛의 경로이다. 또는, 호모그래피 매트릭스는 영상(131) 상의 점(x)를 영상(132) 상의 점(x')으로 변환하는 매트릭스일 수도 있다.
점(x)와 점(x')은 추출된 특징점 대응 쌍들 중 하나일 수 있다. 도면에 도시하지 않았으나, 프로세서는 점(x)와 점(x') 이외의 다른 특징점 대응 쌍들을 알 수 있다. 프로세서는 미리 정해진 수의 특징점 대응 쌍들을 이용하여 호모그래피 매트릭스를 계산할 수 있다.
다시 도 9를 참조하면, 프로세서는 단계(832)에서 호모그래피 매트릭스를 이용하여, 제2 비용함수의 가중치를 결정할 수 있다. 제2 비용함수는 복수의 왜곡 성분들을 포함할 수 있다. 프로세서는 호모그래피 매트릭스를 이용하여, 제2 비용함수에 포함된 왜곡 성분들의 가중치들을 설정할 수 있다.
도 10b를 참조하면, 호모그래피 매트릭스(1050)는 3 x 3 크기의 매트릭스일 수 있다. 호모그래피 매트릭스(1050)는 뒤틀림 성분(1051), 회전 성분(1052), 스케일 성분(1053), 및 이동 성분(1054)을 포함할 수 있다.
프로세서는 뒤틀림 성분(1051)에 기초하여, 제2 비용함수에 포함된 뒤틀림과 관련된 왜곡 성분의 가중치를 결정할 수 있다. 제2 비용함수에 포함된 뒤틀림과 관련된 왜곡 성분은 변환된 영상의 가로 세로 비에 관한 제1 왜곡 성분, 변환된 영상의 뒤틀림에 관한 제2 왜곡 성분 등을 포함할 수 있다. 예를 들어, 프로세서는 수학식 20의 ρAR 및 ρSK를 결정할 수 있다.
또한, 프로세서는 회전 성분(1052)에 기초하여, 제2 비용함수에 포함된 회전과 관련된 왜곡 성분의 가중치를 결정할 수 있다. 제2 비용함수에 포함된 회전과 관련된 왜곡 성분은 원본 영상 대비 변환된 영상이 회전에 관한 제3 왜곡 성분 등을 포함할 수 있다. 예를 들어, 프로세서는 수학식 20의 ρR을 결정할 수 있다.
또한, 프로세서는 스케일 성분(1053)에 기초하여, 제2 비용함수에 포함된 스케일과 관련된 왜곡 성분의 가중치를 결정할 수 있다. 제2 비용함수에 포함된 스케일과 관련된 왜곡 성분은 원본 영상 대비 변환된 영상의 면적 비에 관한 제4 왜곡 성분 등을 포함할 수 있다. 예를 들어, 프로세서는 수학식 20의 ρSR을 결정할 수 있다.
다시 도 9를 참조하면, 프로세서는 단계(833)에서 기초 매트릭스 F를 결정할 수 있다. 프로세서는 제1 비용함수 및 제2 비용함수의 합이 최소가 되도록 기초 매트릭스 F를 결정할 수 있다. 이 때, 프로세서는 단계(832)에서 결정된 제2 비용함수의 가중치에 기초하여, 제1 비용함수와 제2 비용함수를 가중 합산할 수 있다.
도 11은 일 실시예에 따른 일 실시예에 따른 전자 시스템을 도시하는 블록도이다. 도 11을 참조하면, 전자 시스템은 센서(1120), 프로세서(1110) 및 메모리(1130)를 포함한다. 센서(1120), 프로세서(1110), 및 메모리(1130)는 버스(1140)를 통하여 서로 통신할 수 있다.
센서(1120)는 도 2a에 도시된 스테레오 카메라(210, 220)일 수 있다. 센서(1120)는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 스테레오 영상을 캡쳐 할 수 있다. 영상은 프로세서(1110)로 출력된다.
프로세서(1110)는 도 1 내지 도 10b를 통하여 전술한 적어도 하나의 모듈들을 포함하거나, 도 1 내지 도 10b를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(1130)는 센서(1120)에 의하여 캡쳐 된 스테레오 영상, 프로세서(1110)에 의하여 추출된 특징점들, 대응 쌍들, 및/또는 프로세서(1110)에 의하여 계산된 기초 매트릭스 등을 저장할 수 있다. 메모리(1130)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
프로세서(1110)는 프로그램을 실행하고, 전자 시스템을 제어할 수 있다. 프로세서(1110)에 의하여 실행되는 프로그램 코드는 메모리(1130)에 저장될 수 있다. 전자 시스템은 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
전자 시스템은 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 시스템들을 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (29)

  1. 복수의 영상들을 수신하는 단계; 및
    상기 영상들 사이의 대응 쌍(corresponding pair)의 거리와 관련된 제1 비용 함수 및 변환된 영상의 왜곡과 관련된 제2 비용 함수에 기초하여, 상기 영상들의 보정(rectification)을 위한 매트릭스를 결정하는 단계
    를 포함하고,
    상기 제2 비용 함수는
    변환된 영상의 가로 세로 비(aspect ratio)에 관한 제1 왜곡 성분;
    변환된 영상의 뒤틀림(skewness)에 관한 제2 왜곡 성분;
    원본 영상 대비 변환된 영상이 회전(rotation)에 관한 제3 왜곡 성분; 및
    원본 영상 대비 변환된 영상의 면적 비(size ratio)에 관한 제4 왜곡 성분
    중 적어도 하나를 포함하는,
    영상 보정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 비용 함수는
    상기 영상들 사이의 대응 쌍들의 샘슨 거리(Sampson distance)의 합을 포함하는, 영상 보정 방법.
  4. 제1항에 있어서,
    상기 결정하는 단계는
    상기 제1 비용 함수 및 상기 제2 비용 함수의 합이 최소가 되도록, 상기 매트릭스에 포함된 미리 정해진 파라미터들의 값들을 결정하는 단계
    를 포함하는, 영상 보정 방법.
  5. 제4항에 있어서,
    상기 파라미터들은
    상기 영상들 중 제1 영상을 촬영한 제1 카메라의 제1 초점 거리, 상기 영상들 중 제2 영상을 촬영한 제2 카메라의 제2 초점 거리, 상기 제1 카메라의 제1 이격 거리, 상기 제2 카메라의 제2 이격 거리, 상기 제1 카메라의 제1 회전 각도들, 및 상기 제2 카메라의 제2 회전 각도들
    을 포함하는, 영상 보정 방법.
  6. 제1항에 있어서,
    상기 매트릭스는
    상기 영상들 중 제1 영상을 변환하는 제1 변환 매트릭스; 및
    상기 영상들 중 제2 영상을 변환하는 제2 변환 매트릭스
    를 포함하는, 영상 보정 방법.
  7. 제6항에 있어서,
    상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스 각각은
    해당 영상을 촬영한 카메라의 초점에 관한 제1 카메라 매트릭스;
    해당 영상을 촬영한 카메라의 이격에 관한 제2 카메라 매트릭스; 및
    해당 영상을 촬영한 카메라의 회전에 관한 제3 카메라 매트릭스
    를 포함하는, 영상 보정 방법.
  8. 제1항에 있어서,
    상기 영상들로부터 특징점들을 추출하는 단계; 및
    상기 영상들 사이에서 상기 특징점들을 정합함으로써, 상기 영상들 사이의 대응 쌍들을 추출하는 단계
    를 더 포함하는, 영상 보정 방법.
  9. 제1항에 있어서,
    상기 영상들 사이의 대응 쌍들에 기초하여 상기 복수의 영상들 사이의 호모그래피 매트릭스(homography matrix)를 계산하는 단계; 및
    상기 호모그래피 매트릭스에 기초하여 상기 제2 비용함수의 가중치를 결정하는 단계
    를 더 포함하는, 영상 보정 방법.
  10. 제9항에 있어서,
    상기 가중치를 결정하는 단계는
    상기 호모그래피 매트릭스의 뒤틀림 성분에 기초하여, 상기 제2 비용함수에 포함된 뒤틀림과 관련된 왜곡 성분의 가중치를 결정하는 단계;
    상기 호모그래피 매트릭스의 회전 성분에 기초하여, 상기 제2 비용함수에 포함된 회전과 관련된 왜곡 성분의 가중치를 결정하는 단계; 및
    상기 호모그래피 매트릭스의 스케일 성분에 기초하여, 상기 제2 비용함수에 포함된 스케일과 관련된 왜곡 성분의 가중치를 결정하는 단계
    중 적어도 하나를 포함하는, 영상 보정 방법.
  11. 제1항에 있어서,
    상기 매트릭스에 기초하여 상기 복수의 영상들을 변환하는 단계; 및
    상기 변환된 영상들에 기초하여 스테레오 매칭을 수행하는 단계
    를 더 포함하는, 영상 보정 방법.
  12. 제1항에 있어서,
    상기 복수의 영상들은 스테레오 영상을 포함하는, 영상 보정 방법.
  13. 하드웨어와 결합되어 제1항 및 제3항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  14. 복수의 영상들을 수신하는 수신부; 및
    상기 영상들 사이의 대응 쌍의 거리와 관련된 제1 비용 함수 및 변환된 영상의 왜곡과 관련된 제2 비용 함수에 기초하여, 상기 영상들의 보정을 위한 매트릭스를 결정하는 결정부
    를 포함하고,
    상기 제2 비용 함수는
    변환된 영상의 가로 세로 비(aspect ratio)에 관한 제1 왜곡 성분;
    변환된 영상의 뒤틀림(skewness)에 관한 제2 왜곡 성분;
    원본 영상 대비 변환된 영상이 회전(rotation)에 관한 제3 왜곡 성분; 및
    원본 영상 대비 변환된 영상의 면적 비(size ratio)에 관한 제4 왜곡 성분
    중 적어도 하나를 포함하는,
    영상 보정 장치.
  15. 삭제
  16. 제14항에 있어서,
    상기 제1 비용 함수는
    상기 영상들 사이의 대응 쌍들의 샘슨 거리의 합을 포함하는, 영상 보정 장치.
  17. 제14항에 있어서,
    상기 결정부는
    상기 제1 비용 함수 및 상기 제2 비용 함수의 합이 최소가 되도록, 상기 매트릭스에 포함된 미리 정해진 파라미터들의 값들을 결정하는, 영상 보정 장치.
  18. 제17항에 있어서,
    상기 파라미터들은
    상기 영상들 중 제1 영상을 촬영한 제1 카메라의 제1 초점 거리, 상기 영상들 중 제2 영상을 촬영한 제2 카메라의 제2 초점 거리, 상기 제1 카메라의 제1 이격 거리, 상기 제2 카메라의 제2 이격 거리, 상기 제1 카메라의 제1 회전 각도들, 및 상기 제2 카메라의 제2 회전 각도들
    을 포함하는, 영상 보정 장치.
  19. 제14항에 있어서,
    상기 매트릭스는
    상기 영상들 중 제1 영상을 변환하는 제1 변환 매트릭스; 및
    상기 영상들 중 제2 영상을 변환하는 제2 변환 매트릭스
    를 포함하는, 영상 보정 장치.
  20. 제19항에 있어서,
    상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스 각각은
    해당 영상을 촬영한 카메라의 초점에 관한 제1 카메라 매트릭스;
    해당 영상을 촬영한 카메라의 이격에 관한 제2 카메라 매트릭스; 및
    해당 영상을 촬영한 카메라의 회전에 관한 제3 카메라 매트릭스
    를 포함하는, 영상 보정 장치.
  21. 제14항에 있어서,
    상기 영상들로부터 특징점들을 추출하고, 상기 영상들 사이에서 상기 특징점들을 정합함으로써 상기 영상들 사이의 대응 쌍들을 추출하는 추출부
    를 더 포함하는, 영상 보정 장치.
  22. 제14항에 있어서,
    상기 결정부는
    상기 영상들 사이의 대응 쌍들에 기초하여 상기 복수의 영상들 사이의 호모그래피 매트릭스를 계산하고, 상기 호모그래피 매트릭스에 기초하여 상기 제2 비용함수의 가중치를 결정하는, 영상 보정 장치.
  23. 제14항에 있어서,
    상기 매트릭스에 기초하여 상기 복수의 영상들을 변환하는 변환부; 및
    상기 변환된 영상들에 기초하여 스테레오 매칭을 수행하는 매칭부
    를 더 포함하는, 영상 보정 장치.
  24. 스테레오 영상을 획득하는 단계;
    상기 스테레오 영상으로부터 특징점들을 추출하는 단계;
    왼쪽 영상의 특징점들과 오른쪽 영상의 특징점들을 정합함으로써 대응 쌍들을 추출하는 단계; 및
    대응 쌍의 거리와 관련된 제1 비용함수 및 변환된 영상의 왜곡과 관련된 제2 비용함수에 기초하여, 상기 스테레오 영상의 기초 매트릭스를 결정하는 단계
    를 포함하고,
    상기 제2 비용 함수는
    변환된 영상의 가로 세로 비(aspect ratio)에 관한 제1 왜곡 성분;
    변환된 영상의 뒤틀림(skewness)에 관한 제2 왜곡 성분;
    원본 영상 대비 변환된 영상이 회전(rotation)에 관한 제3 왜곡 성분; 및
    원본 영상 대비 변환된 영상의 면적 비(size ratio)에 관한 제4 왜곡 성분
    중 적어도 하나를 포함하는,
    영상 처리 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  25. 제24항에 있어서,
    상기 영상 처리 방법은
    상기 대응 쌍들에 기초하여, 상기 스테레오 영상 사이의 호모그래피 매트릭스를 계산하는 단계; 및
    상기 호모그래피 매트릭스에 기초하여, 상기 제2 비용함수에 포함된 적어도 하나의 왜곡 성분의 가중치를 결정하는 단계
    를 더 포함하는, 컴퓨터 판독 가능한 기록 매체
  26. 제25항에 있어서,
    상기 가중치를 결정하는 단계는
    상기 호모그래피 매트릭스의 뒤틀림 성분에 기초하여, 상기 제1 왜곡 성분 및 상기 제2 왜곡 성분 중 적어도 하나의 가중치를 결정하는 단계;
    상기 호모그래피 매트릭스의 회전 성분에 기초하여, 상기 제3 왜곡 성분의 가중치를 결정하는 단계; 및
    상기 호모그래피 매트릭스의 스케일 성분에 기초하여, 상기 제4 왜곡 성분의 가중치를 결정하는 단계
    중 적어도 하나를 포함하는, 컴퓨터 판독 가능한 기록 매체.
  27. 삭제
  28. 삭제
  29. 삭제
KR1020150174179A 2015-02-09 2015-12-08 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치 KR102434567B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/015,447 US10063831B2 (en) 2015-02-09 2016-02-04 Method and apparatus for stereo image rectification

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150019350 2015-02-09
KR1020150019350 2015-02-09

Publications (2)

Publication Number Publication Date
KR20160098020A KR20160098020A (ko) 2016-08-18
KR102434567B1 true KR102434567B1 (ko) 2022-08-23

Family

ID=56874467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174179A KR102434567B1 (ko) 2015-02-09 2015-12-08 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치

Country Status (1)

Country Link
KR (1) KR102434567B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525000B1 (ko) * 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
KR102133090B1 (ko) * 2018-08-28 2020-07-13 한국과학기술원 실시간 3차원 360 영상 복원 방법 및 그 장치
KR102076635B1 (ko) * 2018-10-16 2020-02-12 (주)캠시스 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172629B1 (ko) * 2011-01-04 2012-08-08 포항공과대학교 산학협력단 영상 처리 방법 및 이를 위한 장치
KR101544021B1 (ko) * 2012-10-29 2015-08-13 경북대학교 산학협력단 3차원 지도 생성 장치 및 3차원 지도 생성 방법

Also Published As

Publication number Publication date
KR20160098020A (ko) 2016-08-18

Similar Documents

Publication Publication Date Title
EP3680808A1 (en) Augmented reality scene processing method and apparatus, and computer storage medium
KR102170182B1 (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
CN109523581B (zh) 一种三维点云对齐的方法和装置
US9846960B2 (en) Automated camera array calibration
US9832454B2 (en) Method and apparatus for matching stereo images
US20150124059A1 (en) Multi-frame image calibrator
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
US20120114175A1 (en) Object pose recognition apparatus and object pose recognition method using the same
US8441518B2 (en) Imaging apparatus, imaging control method, and recording medium
EP3550467B1 (en) Image matching method, device and system, and storage medium
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
KR102434567B1 (ko) 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치
US10157439B2 (en) Systems and methods for selecting an image transform
JP2021174554A (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
CN111340737B (zh) 图像矫正方法、装置和电子系统
US10063831B2 (en) Method and apparatus for stereo image rectification
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
CN111432117A (zh) 图像矫正方法、装置和电子系统
CN111429353A (zh) 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
US10332259B2 (en) Image processing apparatus, image processing method, and program
KR102371594B1 (ko) 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant