KR101431378B1 - 전방위 영상의 생성 방법 및 장치 - Google Patents

전방위 영상의 생성 방법 및 장치 Download PDF

Info

Publication number
KR101431378B1
KR101431378B1 KR1020130037872A KR20130037872A KR101431378B1 KR 101431378 B1 KR101431378 B1 KR 101431378B1 KR 1020130037872 A KR1020130037872 A KR 1020130037872A KR 20130037872 A KR20130037872 A KR 20130037872A KR 101431378 B1 KR101431378 B1 KR 101431378B1
Authority
KR
South Korea
Prior art keywords
image
generating
information
cameras
mapped
Prior art date
Application number
KR1020130037872A
Other languages
English (en)
Inventor
홍기상
이종우
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020130037872A priority Critical patent/KR101431378B1/ko
Application granted granted Critical
Publication of KR101431378B1 publication Critical patent/KR101431378B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

전방위 영상의 생성 방법 및 장치가 개시된다. 전방위 영상의 생성 방법은, 복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑하여 매핑된 영상을 생성하는 단계, 매핑된 영상들 간에 매칭된 특징점의 제1 위치 정보를 기반으로 제2 위치 정보를 생성하는 단계, 제2 위치 정보를 기반으로 제1 호모그라피 정보를 생성하는 단계, 제1 호모그라피 정보를 기반으로 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계, 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 기반으로 제2 호모그라피 정보를 생성하는 단계, 및 제2 호모그라피 정보를 기반으로 전방위 영상을 생성하는 단계를 포함한다. 따라서, 왜곡이 적은 전방위 영상을 생성할 수 있다.

Description

전방위 영상의 생성 방법 및 장치{METHOD FOR GENERATING OMNI-DIRECTIONAL IMAGE AND APPARATUS THEREFOR}
본 발명은 전방위 영상의 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 특별한 패턴이 없는 환경에서 어안렌즈를 사용하여 전방위 영상을 생성하기 위한 전방위 영상의 생성 방법 및 장치에 관한 것이다.
자동차 운전자의 시야는 한정되어 있기 때문에 운전자는 사각에서 발생하는 일을 확인하기 어려운 문제점이 있다. 이와 같은 문제점을 해결하기 위해, 최근 카메라를 사용하여 시야를 확보하는 기술이 개발되고 있다. 그 중 대표적인 방법은 전방위 영상(omni-directional image)을 기초로 한 방법으로, 이는 AVM(around view monitoring) 라고도 불린다. 전방위 영상은 자동차 등에 부착된 복수의 카메라를 이용하여 획득한 영상을 합성하여 생성된 영상을 의미하여, 전방위 영상을 통해 자동차 등의 주변을 한 눈에 확인할 수 있다.
그러나 전방위 영상을 생성하기 위해 특별한 패턴(예를 들어, 체스판 패턴, 사각 패턴, 삼각 패턴, 원형 패턴 등)을 사용해야 하므로, 특별한 패턴이 없는 환경에서 전방위 영상을 생성하는 경우에 정확한 전방위 영상을 생성하기 어려운 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 특별한 패턴이 없는 환경에서 왜곡이 보정된 영상을 기반으로 전방위 영상을 생성하기 위한 전방위 영상의 생성 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 특별한 패턴이 없는 환경에서 왜곡이 보정된 영상을 기반으로 전방위 영상을 생성하기 위한 전방위 영상의 생성 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법은, 복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑하여 매핑된 영상을 생성하는 단계, 매핑된 영상들 간에 매칭된 특징점의 제1 위치 정보를 기반으로, 상기 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 상기 매칭된 특징점의 제2 위치 정보를 생성하는 단계, 상기 매칭된 특징점의 제2 위치 정보를 기반으로, 상기 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피 정보를 생성하는 단계, 상기 제1 호모그라피 정보를 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계, 상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로, 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성하는 단계, 및 상기 제2 호모그라피 정보를 기반으로, 상기 매핑된 영상들에 대한 상기 전방위 영상을 생성하는 단계를 포함한다.
여기서, 상기 매핑된 영상을 생성하는 단계는, 상기 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구에 매핑하여 구형 영상을 생성하는 단계, 및 상기 구형 영상을 상기 반구를 둘러싸는 원뿔에 매핑하여 상기 매핑된 영상을 생성하는 단계를 포함할 수 있다.
여기서, 상기 제2 위치 정보를 생성하는 단계는, 상기 매핑된 영상에서 특징점을 추출하는 단계, 상기 특징점의 특성을 나타내는 디스크립터를 생성하는 단계, 상기 특징점들 간의 디스크립터 차이를 기반으로, 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하는 단계, 매칭된 특징점에 대한 왜곡이 보정된 상기 제1 위치 정보를 생성하는 단계, 및 상기 제1 위치 정보를 상기 복수의 카메라의 초점 거리로 나누어 상기 제2 위치 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하는 단계는, 상기 매핑된 영상들 간의 특징점 중, 디스크립터 차이가 가장 작은 제1 특징점과 디스크립터 차이가 두 번째로 작은 제2 특징점 간의 차이가 미리 정의된 기준보다 큰 경우 상기 제1 특징점을 상기 공통되는 특징점으로 매칭할 수 있다.
여기서, 상기 제1 호모그라피 정보를 생성하는 단계는, 상기 매칭된 특징점 중 동일한 경향성을 나타내는 매칭된 특징점의 변환 관계를 기반으로 상기 제1 호모그라피 정보를 생성할 수 있다.
여기서, 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계는, 상기 제1 호모그라피 정보를 기반으로 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값을 생성하는 단계, 및 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값이 적용된 미리 정의된 알고리즘을 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 제2 호모그라피 정보를 생성하는 단계는, 상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로 각각의 매핑된 영상과 상기 전방위 영상 간의 변환 관계를 생성하는 단계, 및 생성된 변환 관계들을 기반으로, 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 상기 제2 호모그라피 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 복수의 카메라로부터 획득한 영상은 어안렌즈를 통해 획득한 영상일 수 있다.
여기서, 상기 복수의 카메라로부터 획득한 영상은 미리 정의된 패턴을 포함하지 않을 수 있다.
여기서, 상기 특징점은 상기 매핑된 영상에서 이웃하는 픽셀 값과의 차이가 미리 정의된 기준 이상일 수 있다.
여기서, 상기 복수의 카메라의 외부 변수 정보는, 상기 복수의 카메라 간의 거리 정보 및 회전 정보를 포함할 수 있다.
여기서, 상기 전방위 영상의 위치 정보는, 상기 매핑된 영상과 상기 전방위 영상 간의 법선 벡터 정보를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전방위 영상의 생성 장치는, 영상을 획득하는 복수의 카메라, 상기 복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑하여 매핑된 영상을 생성하고, 매핑된 영상들 간에 매칭된 특징점의 제1 위치 정보를 기반으로, 상기 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 상기 매칭된 특징점의 제2 위치 정보를 생성하고, 상기 특징점의 제2 위치 정보를 기반으로, 상기 매칭된 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피 정보를 생성하고, 상기 제1 호모그라피 정보를 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하고, 상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성하고, 상기 제2 호모그라피 정보를 기반으로 상기 매핑된 영상들에 대한 상기 전방위 영상을 생성하는 처리부, 및 상기 처리부에서 처리되는 정보 및 처리된 정보를 저장하는 저장부를 포함한다.
여기서, 상기 복수의 카메라는 어안렌즈를 통해 영상을 획득할 수 있다.
여기서, 상기 복수의 카메라는 미리 정의된 패턴을 포함하지 않는 영상을 획득할 수 있다.
여기서, 상기 처리부는 상기 매핑된 영상을 생성하는 경우, 상기 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구에 매핑하여 구형 영상을 생성하고, 상기 구형 영상을 상기 반구를 둘러싸는 원뿔에 매핑하여 상기 매핑된 영상을 생성할 수 있다.
여기서, 상기 처리부는 상기 제2 위치 정보를 생성하는 경우, 상기 매핑된 영상에서 특징점을 추출하고, 상기 특징점의 특성을 나타내는 디스크립터를 생성하고, 상기 특징점들 간의 디스크립터 차이를 기반으로 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하고, 매칭된 특징점에 대한 왜곡이 보정된 상기 제1 위치 정보를 생성하고, 상기 제1 위치 정보를 상기 복수의 카메라의 초점 거리로 나누어 상기 제2 위치 정보를 생성할 수 있다.
여기서, 상기 처리부는 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하는 경우, 상기 매핑된 영상들 간의 특징점 중, 디스크립터 차이가 가장 작은 제1 특징점과 디스크립터 차이가 두 번째로 작은 제2 특징점 간의 차이가 미리 정의된 기준보다 큰 경우 상기 제1 특징점을 상기 공통되는 특징점으로 매칭할 수 있다.
여기서, 상기 처리부는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 경우, 상기 제1 호모그라피 정보를 기반으로 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값을 생성하고, 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값이 적용된 미리 정의된 알고리즘을 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성할 수 있다.
여기서, 상기 처리부는 상기 제2 호모그라피 정보를 생성하는 경우, 상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로 각각의 매핑된 영상과 상기 전방위 영상 간의 변환 관계를 생성하고, 생성된 변환 관계들을 기반으로, 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 상기 제2 호모그라피 정보를 생성할 수 있다.
본 발명에 의하면, 왜곡이 보정된 영상을 사용함으로써 양호한 특이점(key-point)을 획득할 수 있고, 획득된 특이점을 기반으로 성능이 뛰어난 디스크립터(descriptor)를 획득할 수 있고, 이를 기초로 성능이 뛰어난 변환 관계(즉, 호모그라피(homography))를 획득할 수 있다. 따라서, 성능이 뛰어난 변환 관계를 사용함으로써 왜곡이 적은 전방위 영상을 생성할 수 있다.
도 1은 전방위 영상의 생성 과정을 도시한 개념도이다.
도 2는 전방위 영상 생성 과정에서 사용되는 특정한 형태의 패턴을 도시한 개념도이다.
도 3은 평면들 간의 호모그라피 관계를 도시한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 매핑된 영상을 생성하는 단계를 도시한 흐름도이다.
도 6은 영상이 매핑되는 반구를 도시한 개념도이다.
도 7은 구형 영상이 매핑되는 원뿔을 도시한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 의해 원뿔에 매핑된 영상을 도시한 개념도이다.
도 9는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 제2 위치 정보를 생성하는 단계를 도시한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 생성하는 단계를 도시한 흐름도이다.
도 11은 영상 간의 변환 관계를 도시한 개념도이다.
도 12는 복수의 영상으로부터 전방위 영상을 생성하는 알고리즘을 설명하기 위한 개념도이다.
도 13은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 제2 호모그라피 정보를 생성하는 단계를 도시한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 의해 생성된 전방위 영상을 도시한 개념도이다.
도 15는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 따른 결과를 도시한 제1 그래프이다.
도 16은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 따른 결과를 도시한 제2 그래프이다.
도 17은 본 발명의 일 실시예에 따른 전방위 영상의 생성 장치를 도시한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 전방위 영상의 생성 과정을 도시한 개념도이다.
전방위 영상의 생성 과정은 일반적인 영상 처리 장치에서 수행될 수 있다.
도 1을 참조하면, '부호 200'은 입력 영상(input image)을 의미하고, '부호 210'은 왜곡이 보정된 영상(undistorted image)을 의미하고, '부호 220'은 전방위 영상(omni-directional image)을 의미하고, '부호 230'은 블렌딩된 영상(blended image)을 의미한다. '부호 201'은 입력 영상(200) 내에 위치한 특징점(key-point)을 의미하고, '부호 211'은 왜곡이 보정된 영상(210) 내에 위치한 특징점을 의미하고, '부호 221'은 전방위 영상(220) 내에 위치한 특징점을 의미하고, '부호 231'은 블렌딩된 영상(230) 내에 위치한 특징점을 의미한다. '부호 240'은 각 영상 내에 위치한 특징점들(201, 211, 221, 231)을 잇는 선을 의미한다.
여기서, 특징점(201, 211, 221, 231)은 영상 내에서 이웃하는 픽셀 값(예를 들어, 명도 값 또는 채도 값)과의 차이가 미리 정의된 값(예를 들어, 픽셀 값이 0~255 값을 가지는 경우 미리 정의된 값은 100 을 의미할 수 있음)보다 큰 점을 의미한다. 즉, 체스판 패턴(pattern)을 포함하는 영상(200, 210, 220, 230) 내에서, 특징점은 횐색 부분과 검은색 부분이 만나는 경계상의 임의의 점을 의미할 수 있다.
영상 처리 장치는 어안렌즈를 통해 입력 영상(200)을 획득할 수 있다. 예를 들어, 자동차에 대한 전방위 영상을 생성하고자 하는 경우, 영상 처리 장치는 4개의 카메라를 통해 4개의 입력 영상(200)을 각각 획득할 수 있다. 이때, 카메라는 자동차의 전, 후, 좌, 우에 하나씩 설치될 수 있다.
입력 영상(200)은 어안렌즈에 의해 발생하는 많은 왜곡을 가지므로, 영상 처리 장치는 공지된 알고리즘(algorithm)을 기반으로 입력 영상(200)의 왜곡을 제거하여 왜곡이 보정된 영상(210)을 생성할 수 있다. 그 후, 영상 처리 장치는 왜곡이 보정된 영상(210) 내에서 특징점(211)을 추출할 수 있다. 여기서, 특징점(211)은 공지된 알고리즘을 사용하여 추출할 수 있고, 또는 특징점(211)에 대한 정보는 미리 주어질 수 있다. 마지막으로, 영상 처리 장치는 특징점(201, 211, 221)을 기반으로 왜곡이 보정된 영상(210)들을 정합(registration)하여 전방위 영상(220)을 생성할 수 있다. 추가로, 영상 처리 장치는 전방위 영상(220) 내에서 왜곡이 보정된 영상(210)들 간에 중첩된 부분을 블렌딩하여 블렌딩된 영상(230)을 생성할 수 있다.
상기에서 설명한 전방위 영상의 생성 과정(즉, 왜곡이 보정된 영상(210)을 생성하는 방법, 전방위 영상(220)을 생성하는 방법, 블렌딩된 영상(230)을 생성하는 방법 등)은 공지된 기술을 기반으로 수행될 수 있다.
이러한 전방위 영상을 생성하는데 있어서 기술적으로 크게 두 가지 문제가 있다. 첫 번째 문제는 영상 내에서 나타나는 특징점을 어떤 형태를 사용하여 표현하고, 이러한 특징점을 어떻게 찾을 것인가 하는 문제이다. 추가로, 복수의 카메라로부터 획득된 영상 내에서 특징점들을 모두 찾은 경우, 서로 동일한 지점을 의미하는 특징점들을 어떻게 매칭(matching)할 것인가에 대한 문제도 첫 번째 문제에 포함된다.
두 번째 문제는 특징점들 간의 매칭 관계를 사용하여 각 특징점이 전방위 영상 내에서 어느 위치에 어떠한 형태로 변환되어 나타나는지를 알아내는 문제이다.
첫 번째 문제와 관련하여, 특정한 형태의 패턴(예를 들어, 삼각 패턴, 사각 패턴, 체스판 패턴, 원형 패턴 등)을 사용하여 특징점들을 나타내는 방법(US 2010/0253784A1)이 제안되었다.
도 2는 전방위 영상 생성 과정에서 사용되는 특정한 형태의 패턴을 도시한 개념도이다.
도 2를 참조하면, '부호 240'은 체스판 패턴을 포함하는 입력 영상을 의미하고, '부호 250'은 입력 영상(240)에 포함된 체스판 패턴에 대한 세계 좌표(world coordinate)를 의미하고, '부호 260'은 삼각 패턴을 포함하는 입력 영상을 의미하고, '부호 270'은 입력 영상(260)에 포함된 삼각 패턴에 대한 세계 좌표를 의미한다. '부호 241'은 입력 영상(240) 내에 위치한 특징점을 의미하고, '부호 251'은 특징점(241)에 대응된 특징점을 의미하고, '부호 261'은 입력 영상(260) 내에 위치한 특징점을 의미하고, '부호 271'은 특징점(261)에 대응된 특징점을 의미한다.
여기서, 체스판 패턴에 대한 특징점(241)은 흰색 부분과 검은색 부분이 교차하는 경계상의 임의의 점을 의미하고, 삼각 패턴에 대한 특징점(261)은 삼각형의 꼭지점에 위치하는 임의의 점을 의미한다.
즉, 미리 설정된 위치에 특정한 형태의 패턴을 설치하고, 특정한 형태의 패턴을 포함하는 복수의 입력 영상을 획득하고, 입력 영상에 포함된 특정한 형태의 패턴을 기반으로 특징점을 찾아낸다.
이와 같은 방법을 사용하는 경우, 특별한 형태의 패턴을 미리 준비해야 하고, 특별한 형태의 패턴이 설치된 위치도 미리 알고 있어야 하므로 사용자 입장에서 불편한 문제점이 있다.
유사한 방법으로, 특정한 형태의 패턴에 의해 정의된 특징점을 찾는 대신에 임의의 직선을 기반으로 특징점을 찾는 방법(Shigang Li and Ying Hai. Easy calibration of a blind-spot-free Fisheye camera system using a scene of a parking space. IEEE Transaction on intelligent transportation system. Vol.12, No.1, 2011.)이 제안되었다. 즉, 주차장에서 획득한 영상에는 주차선이 포함되어 있으므로, 주차선의 경계에 위치하는 임의의 점을 특징점으로 결정하고, 이를 기초로 전방위 영상을 생성하는 방법이다.
이와 같은 방법은 직선이 그려져 있는 특정 장소에서만 사용될 수 있으므로, 편의성 면에서 제한적인 문제점이 있다.
두 번째 문제와 관련하여, 입력 영상과 전방위 영상 간의 변환 관계를 나타내는 호모그라피(homography)를 생성하고, 호모그라피를 기반으로 영상을 정합하는 방법이 제안되었다. 여기서, 호모그라피는 하나의 평면과 다른 평면 사이의 변환 관계를 정의하는 3×3의 변환 행렬을 의미할 수 있다.
다시 도 2를 참조하면, 입력 영상(240) 내의 특징점(241)과 세계 좌표(250) 내의 특징점(251)을 잇는 선으로 입력 영상과 전방위 영상 간의 변환 관계를 정의할 수 있고, 추가로 이러한 특징점(241, 251) 외의 다른 특징점을 사용하여 입력 영상과 전방위 영상 간의 변환 관계를 정의할 수 있다.
이와 같은 방법을 사용하는 경우, 전방위 영상 내의 특징점이 입력 영상 내의 어느 위치에 존재하는지 알고 있어야 하므로, 사용자가 입력해야 하는 정보가 많아지게 되므로 사용에 불편한 문제점이 있다.
도 3은 평면들 간의 호모그라피 관계를 도시한 개념도이다.
도 3을 참조하면, 제1 영상(280) 내의 제1 영역(281)과 제2 영상(290) 내의 제2 영역(291) 사이의 변환 관계를 호모그라피로 나타낼 수 있으며, 일반적으로 변환 행렬 H 를 사용하여 호모그라피를 나타낼 수 있다. 이와 같은 변환 행렬을 사용하면, 입력 영상이 전방위 영상에서 어느 위치에 어떠한 형태로 변형되어 나타나는지 정의할 수 있다.
두 번째 문제와 관련하여, 다른 방법으로 입력 영상들 간의 상대적인 관계를 사용하여 모든 카메라들의 위치 및 자세를 알아내고, 이를 기초로 각 특징점이 전방위 영상 내에서 어느 위치에 어떠한 형태로 변형되어 나타나는지 정의하는 방법(Jian-Guang Lou, Hua Cai and Jiang Li. A real-time interactive multi-view video system. ACM Multimedia. 2005)이 제안되었다.
그러나 상기 방법은 왜곡이 없는 영상에 적용되는 것이므로, 상기 방법을 어안렌즈에 의한 왜곡을 가지는 영상에 적용하기에는 무리가 있다. 즉, 어안렌즈에 의한 왜곡을 가지는 영상에 상기 방법을 적용하는 경우 정확한 전방위 영상을 획득할 수 없다.
도 4는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법을 도시한 흐름도이다.
도 4를 참조하면, 전방위 영상의 생성 방법은, 복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑(mapping)하여 매핑된 영상을 생성하는 단계(S100), 매핑된 영상들 간에 매칭(matching)된 특징점의 제1 위치 정보를 기반으로, 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 매칭된 특징점의 제2 위치 정보를 생성하는 단계(S110), 매칭된 특징점의 제2 위치 정보를 기반으로, 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피 정보를 생성하는 단계(S120), 제1 호모그라피 정보를 기반으로, 매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계(S130), 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 기반으로, 매핑된 영상들과 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성하는 단계(S140), 제2 호모그라피 정보를 기반으로, 매핑된 영상들에 대한 상기 전방위 영상을 생성하는 단계(S150)를 포함한다.
여기서, 전방위 영상의 생성 방법에 대한 각 단계는 도 17에 도시된 전방위 영상의 생성 장치에 의해 수행될 수 있다.
여기서, 복수의 카메라로부터 획득한 영상은 어안렌즈를 통해 획득한 영상을 의미하고, 복수의 카메라로부터 획득한 영상은 미리 정의된 패턴(예를 들어, 체스판 패턴, 삼각 패턴, 사각 패턴, 원형 패턴 등)을 포함하지 않는다.
참고로, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법이 자동차에 대한 전방위 영상을 생성하기 위해 적용되는 경우, 복수의 카메라는 4개의 카메라로 구성될 수 있고, 각각의 카메라는 자동차의 전, 후, 좌, 우에 설치될 수 있다. 이때, 복수의 카메라로부터 획득한 영상은 자동차의 전면에 대한 영상, 자동차의 후면에 대한 영상, 자동차의 좌측에 대한 영상, 자동차의 우측에 대한 영상을 의미할 수 있다.
도 5는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 매핑된 영상을 생성하는 단계를 도시한 흐름도이다.
도 5를 참조하면, 매핑된 영상을 생성하는 단계(즉, S100)는 단계 S101, 단계 S102 를 포함할 수 있다. 즉, 전방위 영상의 생성 장치는 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구(hemisphere)에 매핑하는 관계식을 정의할 수 있고(S101), 구형 영상의 각 위치에 대응하는 입력영상을 반구를 둘러싸는 원뿔에 매핑하여 매핑된 영상을 생성할 수 있다(S102).
이하 도 6 및 도 7을 참조하여 매핑된 영상을 생성하는 단계에 대해 상세하게 설명한다.
도 6은 영상이 매핑되는 반구를 도시한 개념도이고, 도 7은 구형 영상이 매핑되는 원뿔을 도시한 개념도이다.
도 6을 참조하면, A 는 Xc, Yc, Zc 를 중심으로 단위 길이만큼 떨어진 반구를 의미하고, P 는 영상에 표현될 피사체를 의미하고, p' 는 왜곡이 없는 경우 x-y 평면상에 맺히는 지점을 의미하고, p 는 왜곡이 존재하는 경우 x-y 평면상에 맺히는 지점을 의미하고, θ 는 카메라의 중심축으로부터 피사체가 떨어져 있는 각도를 의미하고, δ 는 x-y 평면상에서 x 축과 피사체가 맺히는 지점 사이의 각도를 의미하고, f 는 카메라의 초점 거리를 의미하고, 원점은 카메라의 중심을 의미한다.
전방위 영상의 생성 장치는 θ, δ 를 사용하여 직선 P-p' 를 정의할 수 있고, 직선 P-p' 와 반구 A 가 만나는 지점에 상기 직선 P-p' 에 대응된 p 를 매핑하여 구형 영상을 생성할 수 있다(S101).
여기서, 전방위 영상의 생성 장치는 'Juho Kannala and Sami S. Brandt. A Generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. PAMI. 2006.'에 개시된 방법을 기초로, 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구에 매핑하여 구형 영상을 생성할 수 있다.
도 7을 참조하면, α 는 Xc 축과 Zc 축에 접하는 원뿔 B 의 모선과 Zc 축이 이루는 각도를 의미하고, dmax 는 원뿔 B 의 모선 길이를 의미하고, θ 는 직선 P-p' 와 Zc 축이 이루는 각도를 의미하고, d 는 원뿔 B 의 꼭지점부터 직선 P-p' 와 원뿔 B 가 만나는 지점까지의 길이를 의미하고, φ 는 d 와 원뿔 B 의 모선이 이루는 각도를 의미한다. 여기서, 원뿔 B 는 반구 A 를 둘러싸도록 Xc, Yc, Zc 좌표계 상에 위치하며, 이때 원뿔 B 는 반구 A 에 접하도록 위치할 수 있다.
각도 α 은 사용자의 설정에 따라 다양한 크기를 가질 수 있고, 각도 α 의 크기가 결정되면 이에 따라 dmax 의 길이도 결정된다. 즉, 원뿔 B 의 모선의 일단은 Zc 축에 접하고 타단은 Xc 축에 접하므로, 각도 α 의 크기에 따라 원뿔 B 의 전체 형상이 결정되고, 이에 따라 dmax 의 크기도 결정된다.
전방위 영상 생성 장치는 직선 P-p' 와 만나는 구면 A 상의 점(또는, 픽셀)을 상기 직선 P-p' 와 만나는 원뿔 B 에 매핑함으로써, 원뿔 B 에 매핑된 영상을 생성할 수 있다(S102).
도 8은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 의해 원뿔에 매핑된 영상을 도시한 개념도이다.
도 8을 참조하면, '부호 300'은 카메라로부터 획득한 영상(즉, 어안렌즈에 의한 왜곡을 가지는 영상)을 의미하고, '부호 310'은 원뿔에 매핑된 영상을 의미한다. 즉, 전방위 영상의 생성 장치는 상기에서 설명한 단계 S100 을 기초로, 복수의 카메라로부터 획득한 영상(300)을 기반으로 원뿔에 매핑된 영상(310)을 생성할 수 있다.
다시 도 4를 참조하면, 단계 S110 에서, 전방위 영상의 생성 장치는 매핑된 영상들 간에 매칭된 특징점의 제1 위치 정보를 기반으로, 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 매칭된 특징점의 제2 위치 정보를 생성할 수 있다.
이하 도 9 를 참조하여, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 제2 위치 정보를 생성하는 단계(S110)에 대해 상세하게 설명한다.
도 9는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 제2 위치 정보를 생성하는 단계를 도시한 흐름도이다.
도 9를 참조하면, 제2 위치 정보를 생성하는 단계(S110)는, 매핑된 영상에서 특징점을 추출하는 단계(S111), 특징점의 특성을 나타내는 디스크립터(descriptor)를 생성하는 단계(S112), 특징점들 간의 디스크립터 차이를 기반으로, 매핑된 영상들 간에 공통되는 특징점을 매칭하는 단계(S113), 매칭된 특징점에 대한 왜곡이 보정된 제1 위치 정보를 생성하는 단계(S114) 및 제1 위치 정보를 복수의 카메라의 초점 거리로 나누어 제2 위치 정보를 생성하는 단계(S115)를 포함할 수 있다.
단계 S111 에서, 전방위 영상의 생성 장치는 SIFT(scale invariant feature transform) 를 사용하여 매핑된 영상(즉, 원뿔에 매핑된 영상) 내의 특징점을 추출할 수 있다. 여기서, 전방위 영상의 생성 장치는 'Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints. IJCV. 2004'에 개시된 SIFT 를 사용하여 매핑된 영상 내의 특징점을 추출할 수 있다.
단계 S112 에서, 전방위 영상의 생성 장치는 상기 단계 S111 에서 사용한 SIFT 를 기반으로 특징점의 특성을 나타내는 디스크립터를 생성할 수 있다.
단계 S113 에서, 전방위 영상의 생성 장치는 특징점들 간의 디스크립터 차이를 기반으로, 매핑된 영상들 간에 공통되는 특징점을 매칭할 수 있다. 디스크립터는 벡터(vector) 형태로 표현되고, 동일한 피사체에 대한 디스크립터는 거의 유사한 형태를 가진다. 이에 따라, 전방위 영상의 생성 장치는 벡터 간의 차이가 가장 작은 디스크립터에 대응된 특징점들을 매칭할 수 있다.
전방위 영상의 생성 장치는 매핑된 영상들 간의 특징점 중, 디스크립터 차이가 가장 작은 제1 특징점과 디스크립터 차이가 두 번째로 작은 제2 특징점 간의 차이가 미리 정의된 기준보다 큰 경우 제1 특징점을 공통되는 특징점으로 매칭할 수 있다. 예를 들어, 디스크립터의 차이가 가장 작은 특징점이 제1 특징점이고 디스크립터의 차이가 두 번째로 작은 특징점이 제2 특징점인 경우, 전방위 영상의 생성 장치는 제2 특징점에 대한 디스크립터의 차이가 제1 특징점에 대한 디스크립터의 차이의 1.5 배 이상이면 제1 특징점을 공통되는 특징점으로 매칭할 수 있다.
여기서, 전방위 영상의 생성 장치는 'Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints. IJCV. 2004'에 개시된 방법을 기초로, 매핑된 영상들 간에 공통되는 특징점을 매칭할 수 있다.
단계 S114 에서, 전방위 영상의 생성 장치는 매칭된 특징점에 대한 왜곡이 보정된 제1 위치 정보를 생성할 수 있다. 다시 도 6 을 참조하면, 매칭된 특징점은 어안렌즈에 의한 왜곡을 가지는 p 이므로, 전방위 영상의 생성 장치는 왜곡 상수를 사용하여 왜곡이 풀린(즉, 왜곡이 보정된) p' 를 생성할 수 있다. 여기서, p' 는 매칭된 특징점에 대한 왜곡이 보정된 제1 위치 정보를 의미한다.
즉, 전방위 영상의 생성 장치는 'Juho Kannala and Sami S. Brandt. A Generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. PAMI. 2006.'에 개시된 왜곡 상수를 기반으로, 매칭된 특징점에 대한 왜곡이 보정된 제1 위치 정보를 생성할 수 있다.
단계 S115 에서, 전방위 영상의 생성 장치는 제1 위치 정보를 카메라의 초점 거리로 나누어 제2 위치 정보를 생성할 수 있다. 즉, 전방위 영상의 생성 장치는 제1 위치 정보를 기반으로, 카메라의 초점 거리에 따라 정규화된 영상 평면(normalized image plane)에서의 특징점에 대한 제2 위치 정보를 생성할 수 있다.
다시 도 6을 참조하면, 제1 위치 정보인 p' 는 Zc 축에서 볼 때 카메라의 중심으로부터 초점 거리 f 만큼 떨어진 위치에 존재하며, 정규화된 영상 평면은 Zc 축이 1 이 되도록 설정하는 것을 의미한다. 따라서, 전방위 영상의 생성 장치는 제1 위치 정보를 카메라의 초점 거리로 나눔으로써 제2 위치 정보를 생성할 수 있다.
다시 도 4를 참조하면, 단계 S120 에서, 전방위 영상의 생성 장치는 매칭된 특징점의 제2 위치 정보를 기반으로, 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피 정보를 생성할 수 있다. 즉, 전방위 영상의 생성 장치는 매칭된 특징점 중 동일한 경향성을 나타내는 매칭된 특징점의 변환 관계를 기반으로 제1 호모그라피 정보를 생성할 수 있다.
여기서, 전방위 영상의 생성 장치는 공지된 RANSAC(random sample consensus) 을 사용하여 제1 호모그라피 정보를 생성할 수 있다. RANSAC 는 데이터 쌍이 어떠한 변환 관계를 가지는지 알아내는 방법으로, 잘못된 데이터가 있는 경우 이를 아웃라이어(outlier) 보아 제거하고 나머지 데이터 쌍을 사용하여 데이터 쌍의 변환 관계를 알아내는 방법이다. 즉, 매칭된 특징점의 제2 위치 정보를 RANSAC 의 입력 데이터로 설정하면, 매칭된 특징점의 제2 위치 정보 A, B 에 대해서 'B=HA' 의 관계를 가지는 변환 관계 H 를 획득할 수 있다. 이때, 획득된 H 는 제1 호모그라피 정보를 의미한다.
단계 S130 에서, 전방위 영상의 생성 장치는 제1 호모그라피 정보를 기반으로, 매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성할 수 있다.
이하 도 10 를 참조하여, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 생성하는 단계(S130)에 대해 상세하게 설명한다.
도 10는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 생성하는 단계를 도시한 흐름도이다.
도 10을 참조하면, 단계 S131 에서, 전방위 영상의 생성 장치는 제1 호모그라피 정보를 기반으로 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값을 생성할 수 있다.
여기서, 전방위 영상의 생성 장치는 'Zihan Zhou, Hailin Jin, Yi Ma. Robust Plane-Based Structure From Motion. CVPR. 2012'에 개시된 방법을 기초로, 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값을 생성할 수 있다.
이하 도 11을 참조하여, 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값을 생성하는 방법에 대해 상세하게 설명한다.
도 11 은 영상 간의 변환 관계를 도시한 개념도이다.
도 11을 참조하면, 제1 영상(320)에 대한 원점은 제1 카메라의 위치를 의미하고, 제1 영상(320)은 제1 카메라의 초점 거리에 따라 정규화된 영상 평면을 의미하고, 제2 영상(330)에 대한 원점은 제2 카메라의 위치를 의미하고, 제2 영상(330)은 제2 카메라의 초점 거리에 따라 정규화된 영상 평면을 의미한다.
제1 영상(320)과 제2 영상(330)의 변환 관계(즉, 제1 호모그라피)는 제1 카메라와 제2 카메라 간의 거리 정보(t)(즉, 이동 관계), 제1 카메라와 제2 카메라 간의 회전 정보(R), 기준 영상(즉, 제1 영상(320) 또는 제2 영상(330))과 전방위 영상(340) 간의 법선 벡터(n), 기준 영상(즉, 제1 영상(320) 또는 제2 영상(330))과 전방위 영상(340) 간의 최소 거리(d)를 통해 나타낼 수 있다. 여기서, 기준 영상은 복수의 카메라 중 임의의 카메라에 대한 영상을 의미하며, 사용자의 설정에 따라 기준 영상을 달리할 수 있다.
즉, 제1 영상(320)과 제2 영상(330)의 제1 호모그라피는 아래 수학식 1과 같이 나타낼 수 있다.
Figure 112013030094510-pat00001
이와 같은 방법을 통해, 전방위 영상의 생성 장치는 복수의 카메라의 외부 변수 정보(즉, 거리 정보, 회전 정보 등)의 초기값 및 전방위 영상의 위치 정보(즉, 법선 벡터)의 초기값을 생성할 수 있다.
다시 도 10을 참조하면, 단계 S132 에서, 전방위 영상의 생성 장치는 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값이 적용된 미리 정의된 알고리즘을 기반으로, 매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성할 수 있다.
매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하기 위한 미리 정의된 알고리즘은 아래 수학식 2와 같다.
Figure 112013030094510-pat00002
수학식 2는 복수의 카메라로부터 획득한 4개의 영상을 기반으로 전방위 영상을 생성하기 위해 사용되며, 수학식 2의 적용 예를 도 12를 참조하여 상세하게 설명한다.
도 12는 복수의 영상으로부터 전방위 영상을 생성하는 알고리즘을 설명하기 위한 개념도이다.
도 12 를 참조하면, '부호 351'은 제1 카메라로부터 획득한 제1 영상을 의미하고, '부호 352'는 제2 카메라로부터 획득한 제2 영상을 의미하고, '부호 353'은 제3 카메라로부터 획득한 제3 영상을 의미하고, '부호 354'는 제4 카메라로부터 획득한 제4 영상을 의미한다. '부호 S1'은 제1 영상(351)과 제2 영상(352) 간의 제1 매칭 관계를 의미하고, '부호 S2'는 제2 영상(352)과 제3 영상(353) 간의 제2 매칭 관계를 의미하고, '부호 S3'은 제3 영상(353)과 제4 영상(354) 간의 제3 매칭 관계를 의미하고, '부호 S4'는 제4 영상(354)과 제1 영상(351) 간의 제4 매칭 관계를 의미한다.
X={R1, T1, R2, T2, R3, T3, n}이고, 이는 4개의 카메라 중 기준 카메라(master camera)의 좌표계를 기준으로 한 각 카메라들의 상대적인 자세(즉, 회전 정보) 및 위치(즉, 거리 정보), 기준 카메라를 통해 획득한 기준 영상과 전방위 영상 간의 법선 벡터를 의미한다. 즉, 기준 카메라를 기초로 한 제1 카메라의 회전 정보는 R1 이고, 자세 정보는 T1 이다. 기준 카메라를 기초로 한 제2 카메라의 회전 정보는 R2 이고, 자세 정보는 T2 이다. 기준 카메라를 기초로 한 제3 카메라의 회전 정보는 R3 이고, 자세 정보는 T3 이다. 기준 카메라를 통해 획득한 기준 영상과 전방위 영상 간의 법선 벡터는 n 이다. 여기서, {R1, T1, R2, T2, R3, T3, n}은 상기 수학식 1을 통해 획득할 수 있다(Ri={R1, R2, R3}, ti={T1, T2, T3}).
Figure 112013030094510-pat00003
는 특징점이 실제로 위치한 평면(즉, 전방위 영상)을 나타내는 법선 벡터(n)를 사용하여 법선 벡터(n)와 관계되는 평면으로 투영시킨 좌표를 의미한다. 여기서, d 는 어느 카메라에서 촬영되었는지를 의미하고, e 는 어느 매칭 관계에 해당하는지를 의미하고, t 는 각각의 매칭 관계에서 매칭되는 특징점의 개수를 의미한다. 도 12에서 4개의 매칭 관계가 존재하므로, d 와 e 는 1~4의 값을 가진다.
이를 참조하면, 수학식 2는 특징점들을 법선 벡터(n)에 해당하는 평면에 투영한 경우 매칭된 특징점들 간의 거리를 최소화하는 것을 의미한다.
다시 도 4를 참조하면, 단계 S140 에서, 전방위 영상의 생성 장치는 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 기반으로, 매핑된 영상들과 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성할 수 있다.
이하 도 13을 참조하여, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 제2 호모그라피 정보를 생성하는 단계(S140)에 대해 상세하게 설명한다.
도 13은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 있어서 제2 호모그라피 정보를 생성하는 단계를 도시한 흐름도이다.
도 13을 참조하면, 단계 S140은 단계 S141, 단계 S142를 포함한다. 단계 S141에서, 전방위 영상의 생성 장치는 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 기반으로 각각의 매핑된 영상과 전방위 영상 간의 변환 관계를 생성할 수 있다. 단계 S142에서, 전방위 영상의 생성 장치는 생성된 변환 관계들을 기반으로, 매핑된 영상들과 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성할 수 있다.
상기 수학식 1에 의하면, 각 카메라들의 위치 정보 및 회전 정보, 기준 카메라를 통해 획득한 기준 영상과 전방위 영상 간의 거리 및 법선 벡터를 획득할 수 있다. 이를 통해, 전방위 영상의 생성 장치는 전방위 영상과 기준 카메라의 좌표계 간의 관계를 획득할 수 있고, 기준 카메라의 좌표계와 각 카메라의 좌표계 간의 관계를 이미 알고 있으므로, 각 카메라의 좌표계와 전방위 영상 간의 변환 관계를 생성할 수 있다.
전방위 영상의 생성 장치는 각 카메라의 좌표계와 전방위 영상 간의 변환 관계를 기반으로, 각 카메라를 통해 획득한 영상을 전방위 영상에 대한 죄표계로 변환할 수 있고, 이를 통해 전방위 영상에서 각 카메라를 통해 획득한 영상이 어떻게 나타나는지 알 수 있다. 즉, 전방위 영상의 생성 장치는 상기와 같은 과정을 통해 각 카메라를 통해 획득한 영상과 전방위 영상 간의 변환 관계인 제2 호모그라피 정보를 생성할 수 있다.
다시 도 4를 참조하면, 전방위 영상의 생성 장치는 제2 호모그라피 정보를 기반으로, 매핑된 영상들에 대한 전방위 영상을 생성할 수 있다(S150). 전방위 영상의 생성 장치는 매핑된 영상들을 정합하여 하나의 전방위 영상을 생성할 수 있으며, 이때 공지된 가중치 블렌딩(weighted blending) 방법을 사용하여 매핑된 영상들을 정합할 수 있다.
도 14는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 의해 생성된 전방위 영상을 도시한 개념도이다.
도 14를 참조하면, '부호 361'은 제1 카메라에 의해 획득된 제1 영상을 의미하고, '부호 362'는 제2 카메라에 의해 획득된 제2 영상을 의미하고, '부호 363'은 제3 카메라에 의해 획득된 제3 영상을 의미하고, '부호 364'는 제4 카메라에 의해 획득된 제4 영상을 의미한다. 전방위 영상의 생성 장치는 상기에서 설명한 방법을 기초로 하여 제1 영상(361), 제2 영상(362), 제3 영상(363) 및 제4 영상(364)에 대한 전방위 영상(365)을 생성할 수 있다.
도 15는 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 따른 결과를 도시한 제1 그래프이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법을 기반으로 영상의 특징점을 추출하고 추출된 특징점을 매칭하는 경우, 얼마나 많은 수의 양호한 특징점(즉, 영상 간의 관계를 만족시키는 특징점)을 매칭할 수 있는지 보여준다. 즉, 양호한 특징점의 개수가 충분해야만 오차 없이 영상 간의 변환 관계를 정확하게 획득할 수 있으므로, 도 15에 도시된 그래프를 통해 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법의 성능을 확인할 수 있다.
그래프에서 X 축은 민감도를 낮춰감에 따라 매칭되는 특징점의 개수를 나타내고, Y 축은 매칭된 특징점 중 양호한 특징점의 개수를 나타낸다. 여기서, 민감도는 특징점의 매칭을 위한 기준을 의미하며, 구체적으로 각 영상의 특징점에 대한 디스크립터 간의 차이를 기초로 특징점들을 매칭하는 경우 그 차이에 대한 기준을 의미한다. 예를 들어, 민감도가 높게 설정된 경우 디스크립터 간의 차이가 상대적으로 작은 특징점들만 매칭될 수 있고(즉, 상대적으로 작은 수의 특징점이 매칭됨), 민감도가 낮게 설정된 경우 디스크립터 간의 차이가 상대적으로 큰 특징점들도 매칭될 수 있다(즉, 상대적으로 많은 수의 특징점이 매칭됨).
그래프를 살펴보면, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법이 종래 기술보다 많은 수의 양호한 특징점을 매칭하는 것을 알 수 있다.
도 16은 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법에 따른 결과를 도시한 제2 그래프이다.
도 16을 참조하면, 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법을 기반으로 영상의 특징점을 추출하고 추출된 특징점을 매칭하는 경우, 심한 왜곡이 나타나는 50~90도 부분에서 얼마나 많은 수의 양호한 특징점을 매칭할 수 할 수 있는지 보여준다.
그래프를 살펴보면, 심한 왜곡이 나타나는 50~90도 부분에서 본 발명의 일 실시예에 따른 전방위 영상의 생성 방법이 종래 기술보다 많은 수의 양호한 특징점을 매칭하는 것을 알 수 있다.
본 발명의 일 실시예에 따른 전방위 영상의 생성 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 17은 본 발명의 일 실시예에 따른 전방위 영상의 생성 장치를 도시한 블록도이다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 전방위 영상의 생성 장치는 복수의 카메라(10), 처리부(20) 및 저장부(30)를 포함한다.
복수의 카메라(10)는 영상을 획득할 수 있다. 예를 들어, 전방위 영상의 생성 장치가 자동차에 적용되는 경우 복수의 카메라(10)는 4개의 카메라로 구성될 수 있고, 각각의 카메라는 자동차의 전, 후, 좌, 우에 하나씩 설치될 수 있다. 즉, 각각의 카메라는 자동차의 전면, 후면, 좌측, 우측에 대한 영상을 획득할 수 있다.
여기서, 복수의 카메라(10)는 어안렌즈를 통해 영상을 획득할 수 있고, 미리 정의된 패턴(예를 들어, 삼각 패턴, 사각 패턴, 체스판 패턴, 원형 패턴 등)을 포함하지 않는 영상을 획득할 수 있다.
처리부(20)는 복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑하여 매핑된 영상을 생성할 수 있고, 매핑된 영상들 간에 매칭된 특징점의 제1 위치 정보를 기반으로, 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 매칭된 특징점의 제2 위치 정보를 생성할 수 있고, 특징점의 제2 위치 정보를 기반으로, 매칭된 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피 정보를 생성할 수 있고, 제1 호모그라피 정보를 기반으로, 매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성할 수 있고, 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 기반으로 매핑된 영상들과 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성할 수 있고, 제2 호모그라피 정보를 기반으로 매핑된 영상들에 대한 전방위 영상을 생성할 수 있다.
복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑하여 매핑된 영상을 생성하는 경우, 구체적으로 처리부(20)는 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구에 매핑하여 구형 영상을 생성할 수 있고, 구형 영상을 반구를 둘러싸는 원뿔에 매핑하여 매핑된 영상을 생성할 수 있다.
여기서, 처리부(20)는 상기에서 설명한 단계 S101 에 기초하여 반구에 매핑된 구형 영상을 생성할 수 있고, 상기에서 설명한 단계 S102 에 기초하여 원뿔에 매핑된 영상을 생성할 수 있다.
매핑된 영상들 간에 매칭된 특징점의 제1 위치 정보를 기반으로, 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 매칭된 특징점의 제2 위치 정보를 생성하는 경우, 구체적으로 처리부(20)는 매핑된 영상에서 특징점을 추출할 수 있고, 특징점의 특성을 나타내는 디스크립터를 생성할 수 있고, 특징점들 간의 디스크립터 차이를 기반으로, 매핑된 영상들 간에 공통되는 특징점을 매칭할 수 있고, 매칭된 특징점에 대한 왜곡이 보정된 제1 위치 정보를 생성할 수 있고, 제1 위치 정보를 복수의 카메라의 초점 거리로 나누어 제2 위치 정보를 생성할 수 있다.
여기서, 처리부(20)는 상기에서 설명한 단계 S111 에 기초하여 매핑된 영상에서 특징점을 추출할 수 있고, 상기에서 설명한 단계 S112 에 기초하여 디스크립터를 생성할 수 있고, 상기에서 설명한 단계 S113 에 기초하여 매핑된 영상들 간에 공통되는 특징점을 매칭할 수 있고, 상기에서 설명한 단계 S114 에 기초하여 제1 위치 정보를 생성할 수 있고, 상기에서 설명한 단계 S115 에 기초하여 제2 위치 정보를 생성할 수 있다.
또한, 매핑된 영상들 간에 공통되는 특징점을 매칭하는 경우, 처리부(20)는 매핑된 영상들 간의 특징점 중, 디스크립터 차이가 가장 작은 제1 특징점과 디스크립터 차이가 두 번째로 작은 제2 특징점 간의 차이가 미리 정의된 기준보다 큰 경우 제1 특징점을 공통되는 특징점으로 매칭할 수 있다.
제1 호모그라피 정보를 생성하는 경우, 처리부(20)는 매칭된 특징점 중 동일한 경향성을 나타내는 매칭된 특징점의 변환 관계를 기반으로 제1 호모그라피 정보를 생성할 수 있다. 여기서, 처리부(20)는 상기에서 설명한 단계 S120 에 기초하여 제1 호모그라피 정보를 생성할 수 있다.
복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 경우, 구체적으로 처리부(20)는 제1 호모그라피 정보를 기반으로 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값을 생성할 수 있고, 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값이 적용된 미리 정의된 알고리즘을 기반으로, 매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성할 수 있다.
여기서, 처리부(20)는 상기에서 설명한 단계 S131 에 기초하여 복수의 카메라의 외부 변수 정보의 초기값 및 전방위 영상의 위치 정보의 초기값을 생성할 수 있고, 상기에서 설명한 단계 S132 에 기초하여 매칭된 특징점에 대한 거리를 최소화하는 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성할 수 있다.
제2 호모그라피 정보를 생성하는 경우, 구체적으로 처리부(20)는 복수의 카메라의 외부 변수 정보 및 전방위 영상의 위치 정보를 기반으로 각각의 매핑된 영상과 전방위 영상 간의 변환 관계를 생성할 수 있고, 생성된 변환 관계들을 기반으로, 매핑된 영상들과 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성할 수 있다.
여기서, 처리부(20)는 상기에서 설명한 단계 S141 에 기초하여 각각의 매핑된 영상과 전방위 영상 간의 변환 관계를 생성할 수 있고, 상기에서 설명한 단계 S142 에 기초하여 제2 호모그라피 정보를 생성할 수 있다.
전방위 영상을 생성하는 경우, 처리부(20)는 매핑된 영상들을 정합하여 하나의 전방위 영상을 생성할 수 있으며, 이때 공지된 가중치 블렌딩 방법을 사용하여 매핑된 영상들을 정합할 수 있다.
여기서, 처리부(60)는 프로세서(processor) 및 메모리(memory)를 포함할 수 있다. 프로세서는 범용의 프로세서(예를 들어, CPU(Central Processing Unit) 및/또는 GPU(Graphics Processing Unit) 등) 또는 전방위 영상의 생성 방법의 수행을 위한 전용의 프로세서를 의미할 수 있다. 메모리에는 전방위 영상의 생성 방법의 수행을 위한 프로그램 코드(program code)가 저장될 수 있다. 즉, 프로세서는 메모리에 저장된 프로그램 코드를 독출할 수 있고, 독출된 프로그램 코드를 기반으로 가상 분장 방법의 각 단계를 수행할 수 있다.
저장부(30)는 복수의 카메라(10)로부터 획득된 영상, 처리부(20)에서 처리되는 정보 및 처리된 정보를 저장할 수 있다. 예를 들어, 저장부(30)는 반구에 매핑된 구형 영상, 원뿔에 매핑된 영상, 특징점, 매칭된 특징점, 디스크립터, 제1 위치 정보, 제2 위치 정보, 복수의 카메라의 외부 변수 정보, 전방위 영상의 위치 정보, 제1 호모그라피 정보, 제2 호모그라피 정보, 전방위 영상 등을 저장할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 복수의 카메라
20: 처리부
30: 저장부

Claims (20)

  1. 전방위 영상(omni-directional image)의 생성 장치에서 수행되는 전방위 영상의 생성 방법에 있어서,
    복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑(mapping)하여 매핑된 영상을 생성하는 단계;
    매핑된 영상들 간에 매칭(matching)된 특징점(key-point)의 제1 위치 정보를 기반으로, 상기 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 상기 매칭된 특징점의 제2 위치 정보를 생성하는 단계;
    상기 매칭된 특징점의 제2 위치 정보를 기반으로, 상기 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피(homography) 정보를 생성하는 단계;
    상기 제1 호모그라피 정보를 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계;
    상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로, 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성하는 단계; 및
    상기 제2 호모그라피 정보를 기반으로, 상기 매핑된 영상들에 대한 상기 전방위 영상을 생성하는 단계를 포함하되,
    상기 복수의 카메라로부터 획득한 영상은 미리 정의된 패턴(pattern)을 포함하지 않는, 전방위 영상의 생성 방법.
  2. 청구항 1에 있어서,
    상기 매핑된 영상을 생성하는 단계는,
    상기 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구(hemisphere)에 매핑하여 구형 영상을 생성하는 단계; 및
    상기 구형 영상을 상기 반구를 둘러싸는 원뿔에 매핑하여 상기 매핑된 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  3. 청구항 1에 있어서,
    상기 제2 위치 정보를 생성하는 단계는,
    상기 매핑된 영상에서 특징점을 추출하는 단계;
    상기 특징점의 특성을 나타내는 디스크립터(descriptor)를 생성하는 단계;
    상기 특징점들 간의 디스크립터 차이를 기반으로, 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하는 단계;
    매칭된 특징점에 대한 왜곡이 보정된 상기 제1 위치 정보를 생성하는 단계; 및
    상기 제1 위치 정보를 상기 복수의 카메라의 초점 거리로 나누어 상기 제2 위치 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  4. 청구항 3에 있어서,
    상기 매핑된 영상들 간에 공통되는 특징점을 매칭하는 단계는,
    상기 매핑된 영상들 간의 특징점 중, 디스크립터 차이가 가장 작은 제1 특징점과 디스크립터 차이가 두 번째로 작은 제2 특징점 간의 차이가 미리 정의된 기준보다 큰 경우 상기 제1 특징점을 상기 공통되는 특징점으로 매칭하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  5. 청구항 1에 있어서,
    상기 제1 호모그라피 정보를 생성하는 단계는,
    상기 매칭된 특징점 중 동일한 경향성을 나타내는 매칭된 특징점의 변환 관계를 기반으로 상기 제1 호모그라피 정보를 생성하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  6. 청구항 1에 있어서,
    상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계는,
    상기 제1 호모그라피 정보를 기반으로 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값을 생성하는 단계; 및
    상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값이 적용된 미리 정의된 알고리즘(algorithm)을 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  7. 청구항 1에 있어서,
    상기 제2 호모그라피 정보를 생성하는 단계는,
    상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로 각각의 매핑된 영상과 상기 전방위 영상 간의 변환 관계를 생성하는 단계; 및
    생성된 변환 관계들을 기반으로, 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 상기 제2 호모그라피 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  8. 청구항 1에 있어서,
    상기 복수의 카메라로부터 획득한 영상은 어안렌즈를 통해 획득한 영상인 것을 특징으로 하는 전방위 영상의 생성 방법.
  9. 삭제
  10. 청구항 1에 있어서,
    상기 특징점은 상기 매핑된 영상에서 이웃하는 픽셀 값과의 차이가 미리 정의된 기준 이상인 것을 특징으로 하는 전방위 영상의 생성 방법.
  11. 청구항 1에 있어서,
    상기 복수의 카메라의 외부 변수 정보는,
    상기 복수의 카메라 간의 거리 정보 및 회전 정보를 포함하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  12. 청구항 1에 있어서,
    상기 전방위 영상의 위치 정보는,
    상기 매핑된 영상과 상기 전방위 영상 간의 법선 벡터 정보를 포함하는 것을 특징으로 하는 전방위 영상의 생성 방법.
  13. 영상을 획득하는 복수의 카메라;
    상기 복수의 카메라로부터 획득한 각 영상을 미리 정의된 영역에 매핑(mapping)하여 매핑된 영상을 생성하고, 매핑된 영상들 간에 매칭(matching)된 특징점(key-point)의 제1 위치 정보를 기반으로, 상기 복수의 카메라의 초점 거리에 따라 정규화된 영상 평면에서의 상기 매칭된 특징점의 제2 위치 정보를 생성하고, 상기 특징점의 제2 위치 정보를 기반으로, 상기 매칭된 매핑된 영상들 간의 변환 관계를 나타내는 제1 호모그라피(homography) 정보를 생성하고, 상기 제1 호모그라피 정보를 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하고, 상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 제2 호모그라피 정보를 생성하고, 상기 제2 호모그라피 정보를 기반으로 상기 매핑된 영상들에 대한 상기 전방위 영상을 생성하는 처리부; 및
    상기 처리부에서 처리되는 정보 및 처리된 정보를 저장하는 저장부를 포함하는 전방위 영상의 생성 장치.
  14. 청구항 13에 있어서,
    상기 복수의 카메라는 어안렌즈를 통해 영상을 획득하는 것을 특징으로 하는 전방위 영상의 생성 장치.
  15. 청구항 13에 있어서,
    상기 복수의 카메라는 미리 정의된 패턴을 포함하지 않는 영상을 획득하는 것을 특징으로 하는 전방위 영상의 생성 장치.
  16. 청구항 13에 있어서,
    상기 처리부는 상기 매핑된 영상을 생성하는 경우,
    상기 복수의 카메라로부터 획득한 각 영상을 미리 정의된 반구(hemisphere)에 매핑하여 구형 영상을 생성하고, 상기 구형 영상을 상기 반구를 둘러싸는 원뿔에 매핑하여 상기 매핑된 영상을 생성하는 것을 특징으로 하는 전방위 영상의 생성 장치.
  17. 청구항 13에 있어서,
    상기 처리부는 상기 제2 위치 정보를 생성하는 경우,
    상기 매핑된 영상에서 특징점을 추출하고, 상기 특징점의 특성을 나타내는 디스크립터(descriptor)를 생성하고, 상기 특징점들 간의 디스크립터 차이를 기반으로 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하고, 매칭된 특징점에 대한 왜곡이 보정된 상기 제1 위치 정보를 생성하고, 상기 제1 위치 정보를 상기 복수의 카메라의 초점 거리로 나누어 상기 제2 위치 정보를 생성하는 것을 특징으로 하는 전방위 영상의 생성 장치.
  18. 청구항 17에 있어서,
    상기 처리부는 상기 매핑된 영상들 간에 공통되는 특징점을 매칭하는 경우,
    상기 매핑된 영상들 간의 특징점 중, 디스크립터 차이가 가장 작은 제1 특징점과 디스크립터 차이가 두 번째로 작은 제2 특징점 간의 차이가 미리 정의된 기준보다 큰 경우 상기 제1 특징점을 상기 공통되는 특징점으로 매칭하는 것을 특징으로 하는 전방위 영상의 생성 장치.
  19. 청구항 13에 있어서,
    상기 처리부는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 경우,
    상기 제1 호모그라피 정보를 기반으로 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값을 생성하고, 상기 복수의 카메라의 외부 변수 정보의 초기값 및 상기 전방위 영상의 위치 정보의 초기값이 적용된 미리 정의된 알고리즘(algorithm)을 기반으로, 상기 매칭된 특징점에 대한 거리를 최소화하는 상기 복수의 카메라의 외부 변수 정보와 전방위 영상의 위치 정보를 생성하는 것을 특징으로 하는 전방위 영상의 생성 장치.
  20. 청구항 13에 있어서,
    상기 처리부는 상기 제2 호모그라피 정보를 생성하는 경우,
    상기 복수의 카메라의 외부 변수 정보 및 상기 전방위 영상의 위치 정보를 기반으로 각각의 매핑된 영상과 상기 전방위 영상 간의 변환 관계를 생성하고, 생성된 변환 관계들을 기반으로, 상기 매핑된 영상들과 상기 전방위 영상 간의 변환 관계를 나타내는 상기 제2 호모그라피 정보를 생성하는 것을 특징으로 하는 전방위 영상의 생성 장치.
KR1020130037872A 2013-04-08 2013-04-08 전방위 영상의 생성 방법 및 장치 KR101431378B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130037872A KR101431378B1 (ko) 2013-04-08 2013-04-08 전방위 영상의 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130037872A KR101431378B1 (ko) 2013-04-08 2013-04-08 전방위 영상의 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101431378B1 true KR101431378B1 (ko) 2014-08-19

Family

ID=51750682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130037872A KR101431378B1 (ko) 2013-04-08 2013-04-08 전방위 영상의 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101431378B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170129448A (ko) * 2016-05-17 2017-11-27 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
KR101816068B1 (ko) * 2016-04-19 2018-01-08 한국과학기술연구원 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법
KR20190118982A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2012164188A (ja) * 2011-02-08 2012-08-30 Sony Corp 画像処理装置、画像処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2012164188A (ja) * 2011-02-08 2012-08-30 Sony Corp 画像処理装置、画像処理方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101816068B1 (ko) * 2016-04-19 2018-01-08 한국과학기술연구원 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법
KR20170129448A (ko) * 2016-05-17 2017-11-27 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
KR101882977B1 (ko) * 2016-05-17 2018-07-27 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
KR20190118982A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
KR102612605B1 (ko) 2018-04-11 2023-12-12 한국전자통신연구원 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6330987B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
CN106846409B (zh) 鱼眼相机的标定方法及装置
US9591280B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
CN103839227B (zh) 鱼眼图像校正方法和装置
US9135678B2 (en) Methods and apparatus for interfacing panoramic image stitching with post-processors
US10726580B2 (en) Method and device for calibration
US20110115922A1 (en) Calibration apparatus and calibration method
CN110784691B (zh) 投影装置、投影系统及影像校正方法
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP6874850B2 (ja) 物体検知装置、物体検知方法、及びプログラム
US10043286B2 (en) Apparatus and method for restoring cubical object
CN113256742B (zh) 界面展示方法、装置、电子设备和计算机可读介质
KR101431378B1 (ko) 전방위 영상의 생성 방법 및 장치
CN107704106B (zh) 姿态定位方法、装置及电子设备
CN117635875A (zh) 一种三维重建方法、装置及终端
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
CN107608541B (zh) 三维姿态定位方法、装置及电子设备
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质
CN111260729B (zh) 用于车载环视系统中鱼眼镜头标定的方法及装置
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
CN112767484B (zh) 定位模型的融合方法、定位方法、电子装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee