KR20210007701A - 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치 - Google Patents

실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치 Download PDF

Info

Publication number
KR20210007701A
KR20210007701A KR1020190084592A KR20190084592A KR20210007701A KR 20210007701 A KR20210007701 A KR 20210007701A KR 1020190084592 A KR1020190084592 A KR 1020190084592A KR 20190084592 A KR20190084592 A KR 20190084592A KR 20210007701 A KR20210007701 A KR 20210007701A
Authority
KR
South Korea
Prior art keywords
wide
coordinate information
pattern
angle cameras
angle
Prior art date
Application number
KR1020190084592A
Other languages
English (en)
Other versions
KR102295857B1 (ko
Inventor
김민혁
장현중
구현진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190084592A priority Critical patent/KR102295857B1/ko
Publication of KR20210007701A publication Critical patent/KR20210007701A/ko
Application granted granted Critical
Publication of KR102295857B1 publication Critical patent/KR102295857B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 단계; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 단계; 상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 단계; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 단계를 포함한다.

Description

실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치 {Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor}
본 발명은 360도 카메라 캘리브레이션 기술에 관한 것으로, 보다 구체적으로는 패턴 박스를 구성하는 패턴 예를 들어, 체크 패턴을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션할 수 있는 방법 및 그 장치에 관한 것이다.
360도 카메라는 360도의 시야(field of view)를 제공하기 위한 복수의 카메라들 예를 들어, 광각 카메라들을 포함한다. 카메라를 이용하여 시야를 제공하기 위해서는 카메라의 파라미터 예를 들어, 내부 파라미터와 외부 파라미터가 요구된다. 이러한 파라미터를 구하는 과정을 카메라 캘리브레이션이라고 한다.
본 발명의 실시예들은, 패턴 박스를 구성하는 패턴 예를 들어, 체크 패턴을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션할 수 있는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 단계; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 단계; 상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 단계; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 단계를 포함한다.
상기 패턴 박스는 좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고, 상기 촬영하는 단계는 상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영할 수 있다.
상기 캘리브레이션하는 단계는 상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션할 수 있다.
나아가, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 단계를 더 포함하고, 상기 계산하는 단계는 상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산할 수 있다.
상기 캘리브레이션하는 단계는 상기 광각 카메라들에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
상기 캘리브레이션하는 단계는 상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치는 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 촬영부; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부; 상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부를 포함한다.
상기 패턴 박스는 좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고, 상기 촬영부는 상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영할 수 있다.
상기 캘리브레이션부는 상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션할 수 있다.
나아가, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치는 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 설정부를 더 포함하고, 상기 계산부는 상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산할 수 있다.
상기 캘리브레이션부는 상기 광각 카메라들에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
상기 캘리브레이션부는 상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
본 발명의 일 실시예에 따른 360도 카메라 장치는 패턴 박스 내에서 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 촬영부; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부; 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부를 포함한다.
본 발명의 실시예들에 따르면, 패턴 박스를 구성하는 패턴 예를 들어, 체크 패턴을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션함으로써, 자동 캘리브레이션된 360도 카메라를 이용하여 실시간으로 360 영상을 복원할 수 있다.
이러한 본 발명은 360 깊이-컬러 카메라를 제작하기 위한 필수적인 기술로, 360 영상을 실시간에 필요로 하는 다양한 증강 현실 또는 가상 현실 어플리케이션에 사용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에서 사용하는 360도 카메라와 패턴 박스에 대한 일 예시도를 나타낸 것이다.
도 3은 광각 카메라들에 의해 촬영된 광각 영상들에 대한 일 예시도를 나타낸 것이다.
도 4는 광각 카메라 각각에서 촬영한 광각 영상들로부터 검출한 좌표 정보에 대한 일 예시도를 나타낸 것이다.
도 5는 최적화 문제를 해결하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 본 발명에 의해 캘리브레이션 결과에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, 패턴 박스 예를 들어, 각 면이 체크 패턴으로 구성된 육면체의 패턴 박스를 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션하는 것을 그 요지로 한다.
여기서, 본 발명은 체크 패턴 각각에 미리 설정된 인덱스 또는 좌표 정보에 대응하는 태그 예를 들어, 에이프릴태그(apriltags)를 포함하고, 광각 카메라 각각에 의해 촬영된 광각 영상들 내의 각 체크 패턴의 에이프릴태그를 이용하여 좌표 정보를 검출하며, 미리 설정된 카메라 모델에 기초하여 계산된 좌표 정보와 검출된 좌표 정보에 기초하여 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션할 수 있다.
이 때, 본 발명은 최적화 문제를 광각 카메라들 각각에 대하여 해결함으로써, 광각 카메라들 각각에 대하여 1차 캘리브레이션을 수행하고, 모든 광각 카메라들에서 이웃하는 광각 카메라들 간의 오버랩된 영역에 대하여 최적화 문제를 해결함으로써, 2차 캘리브레이션을 수행할 수 있는데, 2차 캘리브레이션은 1차 캘리브레이션을 통해 획득된 내부 파라미터들을 고정시킨 후 외부 파라미터만을 정밀하게 캘리브레이션할 수 있다.
본 발명에서 사용되는 360도 카메라는 360도 카메라로도 사용될 수 있으며, 360도를 촬영할 수 있는 모든 종류의 카메라를 포함할 수 있다.
이러한 본 발명에 대하여 도 1 내지 도 7을 참조하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 미리 설정된 패턴을 가지는 패턴 박스 내에 360도 카메라를 배치시키고, 패턴 박스 내에서 360도 카메라의 광각 카메라들을 이용하여 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영한다(S110).
여기서, 패턴 박스는 정육면체 패턴 박스를 의미할 수 있으며, 각 면에는 미리 설정된 체크 패턴이 형성될 수 있고, 체크 패턴 각각에는 해당 패턴의 인덱스 정보 또는 꼭지점의 좌표 정보가 미리 설정된 태그 예를 들어, 에이프릴태그(apriltags)를 포함할 수 있다.
예를 들어, 도 2a에 도시된 바와 같이, 360도 카메라(200)는 60도 단위로 일정 간격 배치된 6개의 광각 카메라들(CAM1 내지 CAM6)를 포함하고, 이러한 360도 카메라를 도 2b에 도시된 바와 같이 각 면이 패턴 예를 들어, 체크 패턴으로 형성된 정육면체의 패턴 박스(300) 내에 배치한 후 광각 카메라를 이용하여 체크 박스 내의 체크 패턴을 포함하는 광각 영상들을 촬영한다. 여기서, 체크 패턴은 도 2c에 도시된 바와 같이, 상이한 에이프릴태그(310)를 포함하는 체크 보드로 형성될 수 있으며, 에이프릴태그(310) 각각은 해당 체크에 대응하는 인덱스 또는 좌표 정보를 포함할 수 있다. 에이프릴태그(310) 각각에 따른 인덱스 정보 또는 좌표 정보에 대한 데이터는 360도 카메라에 미리 저장될 수 있다.
물론, 본 발명에서의 패턴 박스는 에이프릴태그를 포함하는 체크 패턴 박스만을 한정하지 않으며, 좌표 정보 또는 인덱스 정보를 추출할 수 있는 패턴을 가지는 패턴 박스를 모두 포함할 수 있다. 예를 들어, 패턴 박스는 각 면이 체크 보드인 정육면체의 체크 박스를 포함할 수 있으며, 각 면의 체크 패턴의 크기를 상이하게 형성할 수도 있고, 각 면의 패턴 모양을 상이하게 설정할 수도 있다. 이렇듯, 패턴 박스 내의 패턴 크기 또는 패턴 모양을 상이하게 함으로써, 촬영된 광각 영상들의 영상 처리를 통해 촬영된 광각 영상들에 포함된 패턴의 인덱스 또는 위치 또는 좌표 정보를 검출할 수 있다.
도 3은 광각 카메라들 각각에 의해 촬영된 광각 영상들에 대한 일 예시도를 나타낸 것으로, 패턴 박스가 에이프릴태그가 없는 일반 체크 패턴으로 형성된 경우에 촬영된 광각 영상들을 나타낸 것으로, 일반 체크 패턴을 포함하는 패턴 박스를 이용하여 캘리브레이션을 수행할 수도 있지만, 광각 영상들 각각의 패턴에 대한 좌표 정보 또는 인덱스 정보를 빠르게 검출하기 위하여 도 2c에 도시된 것과 같은 에이프릴태그를 포함하는 패턴의 패턴 박스를 이용할 수 있다. 이하, 본 발명에 대해서는 에이프릴태그를 포함하는 광각 영상들을 이용하여 설명한다.
단계 S110에 의해 광각 카메라들 각각에 의해 촬영된 광각 영상들이 획득되면, 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출한다(S120).
예컨대, 도 4a에 도시된 바와 같이 CAM1에 의해 촬영된 광각 영상에 포함된 패턴의 에이프릴태그를 분석함으로써, 상이한 에이프릴태그들 각각을 포함하는 체크에 대한 인덱스 또는 좌표 정보를 검출한다. 여기서, 체크에 대한 인덱스 또는 좌표 정보는 체크 각각의 꼭지점에 대한 인덱스 또는 좌표 정보일 수 있다. 마찬가지로, 도 4b에 도시된 바와 같이, CAM2 내지 CAM6 각각에 의해 촬영된 광각 영상들 각각에 포함된 패턴의 에이프릴태그를 분석함으로써, 상이한 에이프릴태그들 각각을 포함하는 체크에 대한 인덱스 또는 좌표 정보를 검출할 수 있다.
물론, 단계 S120은 체크 패턴이 일반 체크 패턴인 경우 각 면이 겹치는 부분을 검출한 후 각 패턴의 크기 또는 형태 등을 분석하여 각 패턴의 인덱스 또는 좌표 정보를 검출할 수도 있다.
단계 S120에 의해 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보가 검출되면, 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 광각 카메라들 각각의 카메라 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산한다(S130).
여기서, 360도 카메라의 카메라 모델은 구형 카메라 모델(spherical camera model), 제네릭 카메라 모델(generic camera model) 등과 같은 360도 카메라에 대한 다양한 종류의 카메라 모델을 포함할 수 있다. 예컨대, 본 발명의 방법은 연구 논문(Shigang Li, "Monitoring Around a Vehicle by a Spherical Image Sensor", IEEE TITS 2006)에서 사용한 구형 카메라 모델을 사용할 수도 있고, 또 다른 연구 논문(Kannala, J., & Brandt, S. S. (2006). A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(8), 1335-1340.)에서 사용한 제네릭 카메라 모델을 사용할 수도 있다. 물론, 본 발명은 사용하는 카메라 모델에 따라 이용하는 변수들이 달라질 수 있으며, 이와 같이 카메라 모델에 따라 변수들이 달라질 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하기에 그 상세한 설명은 생략한다.
나아가, 본 발명에 따른 방법은 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법 예를 들어, Zhang's 방법을 이용하여 설정 또는 획득할 수 있고, 단계 S130은 이렇게 획득된 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들 그리고 카메라 모델을 이용하여 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산할 수도 있다.
이 때, Zhang's 방법은 각 패턴의 점들에 대해 미리 설정된 인덱스 또는 3차원 좌표 정보와 광각 카메라들 각각에 의해 촬영된 광각 영상들에 포함된 패턴의 2차원 좌표 정보를 입력으로 하여 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 획득할 수 있다. 물론, 본 발명에서 광각 카메라들 각각의 초기 파라미터를 획득하는 방법은 상술한 Zhang's 방법으로 한정하지 않으며, 카메라의 초기 파라미터를 획득할 수 있는 모든 방법을 이용할 수 있다.
단계 S130에서 카메라 모델을 이용하여 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보가 계산되면, 단계 S120에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 단계 S130에의 계산된 각 패턴의 좌표 정보에 기초하여 광각 영상들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션한다(S140). 즉, 단계 S140은 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보를 이용하여 캘리브레이션을 수행함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득한다.
여기서, 단계 S140은 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보를 이용한 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있으며, 구체적으로 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다. 또한, 단계 S140은 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보를 이용한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
이 때, 단계 S140은 광각 카메라들 각각에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
즉, 단계 S140은 광각 카메라들 각각에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 아래 <수학식 1>의 최적화 문제를 해결함으로써, 1차 캘리브레이션을 통해 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득한다.
[수학식 1]
Figure pat00001
여기서, params는 광각 카메라의 내부 파라미터들과 외부 파라미터들을 의미하고, Xi는 패턴 박스 내에서 각 패턴에 대해 미리 설정된 3차원의 절대 좌표를 의미하며, pi는 촬영된 광각 영상들의 각 패턴에 대한 2차원 좌표를 의미하고, (u, v)는 카메라 모델에 의해 계산된 각 패턴의 좌표 정보를 의미하며, (s, t)는 광각 영상들의 분석을 통해 검출된 각 패턴의 좌표 정보를 의미하고, M은 광각 카메라 각각에 의해 촬영된 패턴의 수를 의미할 수 있다. 물론, params는 본 발명에서 사용하는 카메라 모델에 따라 달라질 수 있다.
상기 수학식 1을 이용한 1차 캘리브레이션을 통해 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들이 획득되면, 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 아래 <수학식 2>의 최적화 문제를 해결함으로써, 2차 캘리브레이션을 통해 광각 카메라들 각각의 파라미터들 예를 들어, 외부 파라미터들을 정밀하게 캘리브레이션할 수 있다.
[수학식 2]
Figure pat00002
여기서, params는 광각 카메라들 각각의 외부 파라미터들을 의미하고, Xi는 패턴 박스 내에서 이웃하는 광각 카메라들 간 오버랩되는 각 패턴에 대해 미리 설정된 3차원의 절대 좌표를 의미하며, pi는 촬영된 광각 영상들에서 이웃하는 광각 카메라들 간 오버랩되는 각 패턴에 대한 2차원 좌표를 의미하고, (u, v)는 카메라 모델에 의해 계산된 이웃하는 광각 카메라들 간 오버랩되는 각 패턴의 좌표 정보를 의미하며, (s, t)는 광각 영상들의 분석을 통해 검출된 이웃하는 광각 카메라들 간 오버랩되는 각 패턴의 좌표 정보를 의미하고, M은 이웃하는 광각 카메라들 간 오버랩되는 패턴들 예컨대, 에이프릴태그를 포함하는 체크 패턴들의 수를 의미하며, N은 광각 카메라들의 수를 의미할 수 있다.
단계 S140은 상술한 두 단계의 최적화 문제를 해결함으로써, 광각 카메라들 각각을 캘리브레이션하고, 이를 통해 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
도 6은 본 발명에 의해 캘리브레이션 결과에 대한 일 예시도를 나타낸 것으로, CAM1에 대한 캘리브레이션 결과(도 6a)와 CAM2 내지 CAM6에 대한 캘리브레이션 결과(도 6b)를 나타낸 것이다. 도 6에 도시된 바와 같이, 본 발명의 방법에 의해 캘리브레이션 결과 광각 카메라에 의해 촬영된 광각 영상들의 분석을 통해 검출된 좌표 정보와 카메라 모델을 이용하여 획득된 좌표 정보가 정확하게 일치하는 것을 알 수 있다.
이와 같이, 본 발명의 실시예들에 따른 방법은 정육면체의 패턴 박스의 각 면을 체크 패턴 예를 들어, 에이프릴태그를 포함하는 체크 패턴들로 형성하고, 이러한 패턴 박스 내에 형성된 체크 패턴들을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 자동으로 획득할 수 있으며, 에이프릴태그를 이용한 체크 패턴을 이용하여 캘리브레이션을 빠르게 수행할 수 있다.
또한, 본 발명의 실시예들에 따른 방법은 패턴 박스를 이용하여 촬영한 광각 영상들의 영상 처리와 미리 설정된 카메라 모델을 이용하여 획득된 각 패턴의 좌표 정보를 포함하는 최적화 문제를 해결함으로써, 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 자동으로 획득할 수 있다.
도 7은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 6의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치(700)는 촬영부(710), 설정부(720), 검출부(730), 계산부(740) 및 캘리브레이션부(750)를 포함한다.
촬영부(710)는 미리 설정된 패턴을 가지는 패턴 박스 내에서 360도 카메라의 광각 카메라들을 이용하여 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영한다.
설정부(720)는 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법 예를 들어, Zhang's 방법을 이용하여 설정 또는 획득한다.
여기서, 설정부(720)는 각 패턴의 점들에 대해 미리 설정된 인덱스 또는 3차원 좌표 정보와 광각 카메라들 각각에 의해 촬영된 광각 영상들에 포함된 패턴의 2차원 좌표 정보를 이용한 Zhang's 방법을 통해 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 획득할 수 있다.
검출부(730)는 광각 카메라들 각각에 의해 촬영된 광각 영상들이 획득되면, 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출한다.
여기서, 검출부(730)는 광각 카메라들 각각에 의해 촬영된 광각 영상들에 포함된 패턴의 에이프릴태그를 분석함으로써, 상이한 에이프릴태그들 각각을 포함하는 체크에 대한 인덱스 또는 좌표 정보를 검출할 수 있다.
계산부(740)는 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 광각 카메라들 각각의 카메라 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산한다.
여기서, 360도 카메라의 카메라 모델은 구형 카메라 모델(spherical camera model), 제네릭 카메라 모델(generic camera model) 등과 같은 360도 카메라에 대한 다양한 종류의 카메라 모델을 포함할 수 있다.
캘리브레이션부(750)는 검출부(730)에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 계산부(740)에 의해 계산된 각 패턴의 좌표 정보에 기초하여 광각 영상들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션한다
여기서, 캘리브레이션부(750)는 검출부(730)에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 계산부(740)에 의해 계산된 각 패턴의 좌표 정보를 이용한 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있으며, 검출된 각 패턴의 좌표 정보와 계산된 각 패턴의 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
나아가, 캘리브레이션부(750)는 검출부(730)에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 계산부(740)에 의해 계산된 각 패턴의 좌표 정보를 이용한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
이 때, 캘리브레이션부(750)는 광각 카메라들 각각에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.
비록, 도 7의 장치에서 그 설명이 생략되었더라도, 도 7을 구성하는 각 구성 수단은 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
또한, 상술한 본 발명의 실시예에 따른 방법과 장치는 카메라 또는 카메라 장치에서 수행되거나 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 단계;
    상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 단계;
    상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 단계; 및
    상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 단계
    를 포함하는 360도 카메라 캘리브레이션 방법.
  2. 제1항에 있어서,
    상기 패턴 박스는
    좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고,
    상기 촬영하는 단계는
    상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
  3. 제1항에 있어서,
    상기 캘리브레이션하는 단계는
    상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
  4. 제1항에 있어서,
    상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 단계
    를 더 포함하고,
    상기 계산하는 단계는
    상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
  5. 제1항에 있어서,
    상기 캘리브레이션하는 단계는
    상기 광각 카메라들에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
  6. 제1항에 있어서,
    상기 캘리브레이션하는 단계는
    상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
  7. 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 촬영부;
    상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부;
    상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및
    상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부
    를 포함하는 360도 카메라 캘리브레이션 장치.
  8. 제7항에 있어서,
    상기 패턴 박스는
    좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고,
    상기 촬영부는
    상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
  9. 제7항에 있어서,
    상기 캘리브레이션부는
    상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
  10. 제7항에 있어서,
    상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 설정부
    를 더 포함하고,
    상기 계산부는
    상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
  11. 제7항에 있어서,
    상기 캘리브레이션부는
    상기 광각 카메라들에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
  12. 제7항에 있어서,
    상기 캘리브레이션부는
    상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
  13. 패턴 박스 내에서 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 촬영부;
    상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부;
    미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및
    상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부
    를 포함하는 360도 카메라 장치.
  14. 제13항에 있어서,
    상기 패턴 박스는
    좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고,
    상기 촬영부는
    상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영하는 것을 특징으로 하는 360도 카메라 장치.
  15. 제13항에 있어서,
    상기 캘리브레이션부는
    상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션하는 것을 특징으로 하는 360도 카메라 장치.
  16. 제13항에 있어서,
    상기 캘리브레이션부는
    상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 것을 특징으로 하는 360도 카메라 장치.
KR1020190084592A 2019-07-12 2019-07-12 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치 KR102295857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190084592A KR102295857B1 (ko) 2019-07-12 2019-07-12 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190084592A KR102295857B1 (ko) 2019-07-12 2019-07-12 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210007701A true KR20210007701A (ko) 2021-01-20
KR102295857B1 KR102295857B1 (ko) 2021-08-31

Family

ID=74304975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190084592A KR102295857B1 (ko) 2019-07-12 2019-07-12 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102295857B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230031978A1 (en) * 2021-07-27 2023-02-02 Deere & Company Camera calibration tool

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102611167B1 (ko) 2021-02-16 2023-12-11 (주)컬처릿 온라인 움직임 교정시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Charuco Board-Based Omnidirectional Camera Calibration Method, Electronics, 2018.12.* *
최적 패턴 구조를 사용한 전방위 카메라 캘리브레이션, 한국통신학회 논문집, 2019.01.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230031978A1 (en) * 2021-07-27 2023-02-02 Deere & Company Camera calibration tool
US11870973B2 (en) * 2021-07-27 2024-01-09 Deere & Company Camera calibration tool

Also Published As

Publication number Publication date
KR102295857B1 (ko) 2021-08-31

Similar Documents

Publication Publication Date Title
US9916689B2 (en) Apparatus and method for estimating camera pose
JP5713159B2 (ja) ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
WO2018107910A1 (zh) 一种全景视频融合方法及装置
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
Orghidan et al. Camera calibration using two or three vanishing points
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN106530358A (zh) 仅用两幅场景图像标定ptz摄像机的方法
Tamas et al. Targetless calibration of a lidar-perspective camera pair
JP2021072615A (ja) 映像復元装置及び方法
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
JP2010133752A (ja) 形状測定装置およびプログラム
WO2022222291A1 (zh) 光轴检测系统的光轴标定方法、装置、终端、系统和介质
KR101785202B1 (ko) 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
KR20230000585A (ko) 센서 캘리브레이션 방법 및 장치
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
Deng et al. Accurate and flexible calibration method for a class of visual sensor networks
KR101348681B1 (ko) 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
KR102014634B1 (ko) 3차원 구조물 진단을 위한 드론 유닛의 다중 레이어 기반의 커버리지 경로 계획 방법 및 그 시스템
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
JP2005275789A (ja) 三次元構造抽出方法
JP4548228B2 (ja) 画像データ作成方法
CN113483669B (zh) 一种基于立体靶标的多传感器位姿标定方法及装置
KR102310958B1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant