WO2019124750A1 - 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치 - Google Patents

타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2019124750A1
WO2019124750A1 PCT/KR2018/014035 KR2018014035W WO2019124750A1 WO 2019124750 A1 WO2019124750 A1 WO 2019124750A1 KR 2018014035 W KR2018014035 W KR 2018014035W WO 2019124750 A1 WO2019124750 A1 WO 2019124750A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
camera
cameras
coordinates
images
Prior art date
Application number
PCT/KR2018/014035
Other languages
English (en)
French (fr)
Inventor
이도엽
Original Assignee
(주)리플레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리플레이 filed Critical (주)리플레이
Publication of WO2019124750A1 publication Critical patent/WO2019124750A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명의 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법은, (a) 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하는 단계; (b) 제 1 마커를 촬영한 제 1 이미지들을 이용하여 카메라들의 1차 캘리브레이션을 수행하는 단계; (c) 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하는 단계; 및 (d) 제 2 마커를 촬영한 제 2 이미지들을 이용하여 카메라들의 2차 캘리브레이션을 수행하는 단계;를 포함한다.

Description

타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치
본 발명은 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치에 관한 것이다.
타임슬라이스(time slice) 촬영 기법이란 한 피사체에 방향이 다른 복수의 카메라들을 설치하고, 복수의 카메라가 동시에 피사체를 촬영한 뒤 영상 프레임으로 붙여, 피사체의 정지해 있는 모습을 입체적으로 묘사하는 촬영 기법이다.
종래의 타임슬라이스 촬영 시스템은 각각의 카메라로서 디에스엘알(digital single-lens reflex camera; DSLR)과 같은 고가의 장비를 사용하는 것이 일반적이다.
이 경우, 타임슬라이스 촬영을 위해서는 고가의 비용과 넓은 설치 공간을 필요하게 되며, 카메라 장비를 제어하기 위한 전문 인력이 필요한 문제가 있다.
또한, 타임슬라이스 촬영을 위해서는 복수의 카메라 장비들이 시점 회전축을 형성하도록 카메라 장비들에 대해 캘리브레이션하는 과정이 요구된다.
본 발명은 타임슬라이스 촬영 시스템에 사용되는 카메라들에 대해 레이저 빔을 이용하여 캘리브레이션을 수행함으로써, 별도의 사물 없이도 카메라들의 시점 회전축을 정렬할 수 있는 타임슬라이스 촬영 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법은, (a) 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하는 단계; (b) 제 1 마커를 촬영한 제 1 이미지들을 이용하여 카메라들의 1차 캘리브레이션을 수행하는 단계; (c) 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하는 단계; 및 (d) 제 2 마커를 촬영한 제 2 이미지들을 이용하여 카메라들의 2차 캘리브레이션을 수행하는 단계;를 포함한다.
또한, 본 발명의 다른 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 장치는 마커를 생성하기 위한 레이저 빔 조사 장치; 및 빔 조사 장치를 제어하여 복수의 마커들을 생성하고, 마커들을 촬영한 이미지들을 이용하여 카메라들의 캘리브레이션을 수행하는 프로세서;를 포함하고, 프로세서는 빔 조사 장치를 제어하여 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하고, 제 1 마커를 촬영한 제 1 이미지들을 이용하여 카메라들의 1차 캘리브레이션을 수행하고, 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하고, 제 2 마커를 촬영한 제 2 이미지들을 이용하여 카메라들의 2차 캘리브레이션을 수행할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 타임슬라이스 촬영 시스템은 피사체를 둘러싸도록 배치되는 복수의 카메라들; 복수의 카메라들의 동기화 과정을 수행하고, 카메라들로부터 이미지를 획득하는 카메라 컨트롤 유닛; 및 레이저 빔 조사 장치를 구비하고, 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하고, 카메라 컨트롤 유닛으로부터 제 1 마커를 촬영한 제 1 이미지들을 수신하여 카메라들의 1차 캘리브레이션을 수행하고, 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하고, 카메라 컨트롤 유닛으로부터 제 2 마커를 촬영한 제 2 이미지들을 수신하여 카메라들의 2차 캘리브레이션을 수행하는 카메라 캘리브레이션 장치;를 포함한다.
본 발명의 일 실시예에 따른 타임슬라이스 촬영 시스템에 의하면, 레이저 빔을 이용하여 카메라들에 대해 캘리브레이션을 수행함으로써, 별도의 사물 없이도 카메라들의 시점 회전축을 정렬할 수 있는 타임슬라이스 촬영 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타임슬라이스 촬영 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 제 1 마커를 생성하는 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 1차 캘리브레이션 결과 이미지를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 제 2 마커를 생성하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 2차 캘리브레이션 결과 이미지를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법을 나타낸 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
도 1은 본 발명의 일 실시예에 따른 타임슬라이스 촬영 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 타임슬라이스 촬영 시스템(1)은 카메라 캘리브레이션 장치(100), 카메라 컨트롤 유닛(200) 및 복수의 카메라(300)를 포함한다.
카메라 캘리브레이션 장치(100)는 통신 모듈, 메모리, 프로세서 및 데이터베이스를 포함한다.
또한, 카메라 캘리브레이션 장치(100)는 캘리브레이션의 수행에 사용되는 마커를 생성하기 위한 레이저 빔 조사 장치(110)를 더 포함한다.
상세히, 통신 모듈은 카메라 캘리브레이션 장치(100)와 카메라 컨트롤 유닛(200) 간의 송수신 신호를 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈은 카메라 컨트롤 유닛(200)으로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.
여기서, 통신 모듈은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
여기서, 카메라 캘리브레이션 장치(100)와 카메라 컨트롤 유닛(200)이 연결되는 인터페이스에는 멀티 드롭(multi-drop) 방식을 지원하는 RS485와 같은 인터페이스가 사용될 수 있으나, 본 발명이 이와 같은 인터페이스로 한정되는 것은 아니다.
메모리에는 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법을 수행하기 위한 프로그램이 기록된다. 또한, 메모리는 프로세서가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서는 일종의 중앙처리장치로서 카메라 컨트롤 유닛(200)에 캡처 명령을 전송하는 역할을 수행한다.
여기서, 프로세서는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스는 카메라 컨트롤 유닛(200)들로부터 수집된 캡처 이미지들이 저장된다.
카메라 컨트롤 유닛(200)들은 복수의 카메라(300)들과 연결되어 복수의 카메라(300)들에 캡처 시작 신호를 전달하고, 카메라(300)들로부터 획득된 캡처 이미지를 카메라 캘리브레이션 장치(100)에 전송하는 역할을 수행한다.
여기서, 하나의 카메라 캘리브레이션 장치(100)에 복수의 카메라 컨트롤 유닛(200)들이 연결될 수 있으며, 카메라 캘리브레이션 장치(100)에 연결되는 카메라 컨트롤 유닛(200)의 수는 도 1의 실시예로 제한되는 것은 아니다.
또한, 도 1에서는 카메라 컨트롤 유닛(200)들이 호를 이루는 형태로 배치된 것으로 도시되었으나, 카메라 컨트롤 유닛(200)들은 직선으로 배치될 수도 있으며, 본 발명의 카메라 컨트롤 유닛(200)들의 배치 형태가 특정 배치 형태로 제한되는 것은 아니다.
또한, 카메라 컨트롤 유닛(200)들 각각은 다른 카메라 컨트롤 유닛(200)들과 함께 동기화된 캡처 이미지를 생성할 수 있도록, 자동 동기화 과정을 수행한다.
이를 위해 카메라 컨트롤 유닛(200)들은 하나의 마스터 카메라 컨트롤 유닛과 마스터 카메라 컨트롤 유닛을 제외한 슬레이브 카메라 컨트롤 유닛들로 구성되어, 마스터 카메라 컨트롤 유닛의 제어에 의해 전체 카메라 컨트롤 유닛(200)들이 동기화될 수 있다.
카메라(300)는 시모스(Complementary metal-oxide-semiconductor; CMOS) 센서 혹은 씨씨디(Charge-Coupled Device; CCD) 센서와 같은 이미지 센서를 포함하는 것일 수 있다.
카메라(300)는 카메라 컨트롤 유닛(200)으로부터 캡처 시작 신호를 수신하면 피사체를 촬영하여내 캡처 이미지로서 카메라 컨트롤 유닛(200)에 전송하는 역할을 수행한다.
여기서, 하나의 카메라 컨트롤 유닛(200)에 복수의 카메라(300)들이 연결될 수 있으며, 카메라 컨트롤 유닛(200)에 연결되는 카메라(300)의 수는 도 1의 실시예로 제한되는 것은 아니다.
비록 도 1에는 도시되지 아니하였으나, 카메라 캘리브레이션 장치(100)는 키오스크(kiosk)에 내장되는 형태로 구성될 수 있다.
사용자는 키오스크를 통해 카메라 캘리브레이션 수행 신호를 입력하고, 카메라 캘리브레이션이 완료된 뒤 카메라 모듈들 앞에서 타임슬라이스 촬영을 하고, 다시 키오스크를 통해 타임슬라이스 촬영 결과물을 확인할 수 있다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법을 나타낸 도면이다.
특히, 도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치(100)가 제 1 마커를 생성하는 과정을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 1차 캘리브레이션 결과 이미지를 나타낸 도면이다.
먼저 도 2를 참조하면, 카메라 캘리브레이션 장치(100)가 레이저 빔 조사 장치(110)를 통해 초기 각도로 레이저를 조사하여 제 1 위치에 제 1 마커(115)를 생성함을 알 수 있다.
여기서, 제 1 위치는 타임슬라이스 촬영 결과물에서 보여지는 시점 회전축이 지면이나 배경면과 교차하는 지점일 수 있다.
여기서, 시점 회전축은 타임슬라이스 촬영 결과물에서 시점이 회전하는 효과에 상응하는 회전축을 의미한다.
또한, 배경면은 복수의 카메라(300)들이 지면을 촬영하지 않는 경우에 카메라(300)들 전방에 레이저 빔 조사 장치(110)에 의해 마커(115)가 형성되도록 하기 위해 설치된 배경판을 의미한다.
지면의 예를 들면, 제 1 위치는 카메라(300)들 각각의 시점들과 동일한 거리를 갖는 지면상 위치일 수 있다. 이는 카메라(300)들 각각의 시점을 지나는 원의 중심을 원과 수직한 방향으로 지나는 선과 지면이 교차하는 지점일 수 있다.
여기서, 카메라(300)들이 이상적으로 배치가 되는 경우, 도 3과 같이 카메라(300)들이 획득한 이미지(310) 상에서 제 1 마커(115)는 동일한 좌표(311)에 존재하게 됨을 알 수 있다.
카메라 캘리브레이션 장치(100)는 카메라(300)들이 획득한 이미지(310) 상에서 제 1 마커(115)를 식별하고, 제 1 마커(115)의 좌표 값이 서로 다른 경우, 기준 좌표로 정렬될 수 있도록 카메라(300)들에 대해 1차 캘리브레이션을 수행할 수 있다.
예컨대, 어느 한 카메라가 획득한 이미지(310) 상에서 제 1 마커(115)의 좌표가 기준 좌표로부터 x축 방향으로 10픽셀(px), y축 방향으로 0픽셀만큼 떨어져있는 경우, 카메라 캘리브레이션 장치(100)는 제 1 카메라의 오프셋(offset) 값을 (-10, 0)으로 설정할 수 있다.
여기서 오프셋 값 (-10, 0)은 상기 카메라가 획득한 이미지에 대해 -x축 방향으로 10픽셀 만큼 이동시키는 경우 정렬됨을 의미하는 것이다.
여기서, 기준 좌표는 1차 캘리브레이션을 통해 카메라(300)들에 설정되는 오프셋 값의 합이 최소가 되도록 하는 좌표일 수 있다.
즉, 기준 좌표는 기준 좌표로부터 카메라들(300)이 획득한 이미지 상에서의 제 1 마커의 좌표들까지의 거리들의 합이 최소가 되도록 하는 좌표일 수 있다.
선택적 실시예로서, 카메라 캘리브레이션 장치(100)는 카메라(300)들로부터 먼저 제 1 마커의 좌표들을 전부 산출한 뒤, 기준 좌표를 설정하고, 카메라(300)들 각각의 오프셋 값을 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치(100)가 제 2 마커를 생성하는 과정을 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 2차 캘리브레이션 결과 이미지를 나타낸 도면이다.
도 4를 참조하면, 카메라 캘리브레이션 장치(100)가 레이저 빔 조사 장치(110)를 통해 초기 각도에서 변경된 조사각으로 레이저를 조사하여 제 2 위치에 제 2 마커(116)를 생성함을 알 수 있다.
여기서, 제 2 위치는 제 1 위치와 소정의 거리만큼 떨어지도록 결정될 수 있다.
구체적으로, 제 2 위치는 도 5에 도시된 바와 같이, 카메라(300)의 이미지 상에서의 제 1 마커의 좌표(311)와 제 2 마커(312)의 좌표가 기준 거리만큼 이격되도록 하는 지점일 수 있다.
이를 통해, 제 2 마커(312)들을 잇는 타원 궤적을 보다 정확하게 산출할 수 있고, 타원 궤적을 이용하여 보다 정교하게 2차 캘리브레이션이 수행될 수 있다.
여기서, 카메라(300)들이 이상적으로 배치가 되는 경우, 도 5에 도시된 바와 같이 카메라(300)들이 획득한 이미지(310) 상에서의 제 2 마커(312)는 타원 궤적(315)을 형성함을 알 수 있다.
카메라 캘리브레이션 장치(100)는 카메라(300)들이 획득한 이미지(310) 상에서 제 2 마커(116)를 식별하고, 정렬된 제 1 마커의 좌표(311)를 중심으로 하는 타원 궤적을 산출할 수 있다.
여기서, 카메라 캘리브레이션 장치(100)는 이상적인 타원 궤적 상에 이상적인 제 2 마커(312)들의 위치를 매핑점들으로서 산출하고, 매핑점과 제 2 마커(116)가 식별된 좌표 값 간의 거리들의 합이 최소가 되도록 이상적인 타원 궤적의 장축 값 및 단축 값을 조절할 수 있다.
타원 궤적이 확정되는 경우, 카메라 캘리브레이션 장치(100)는 제 2 마커(116)의 좌표 값이 매핑점와 일치하도록 이미지(310)의 네 모서리 좌표를 변화시켜 카메라(300)들에 대해 2차 캘리브레이션을 수행할 수 있다.
예컨대, 어느 한 카메라가 획득한 이미지(310) 상에서 제 2 마커(116)의 좌표가 매핑점으로부터 떨어져있는 경우, 제 1 마커(115)의 위치가 고정되면서 제 2 마커(116)의 좌표를 매핑점으로 이동시키기 위해서는 이미지(310)의 네 모서리 좌표를 변화시키거나, 회전시켜야 함을 알 수 있다.
본 발명의 일 실시예에 따른 카메라(300)들은 복수의 이미지 센서가 구비된 모듈 형태로서 롤(roll) 왜곡은 무시될 수 있다.
따라서, 제 1 마커(115)의 위치가 고정되면서 제 2 마커(116)의 좌표를 매핑점으로 이동시키기 위해서 롤(roll) 보정을 위한 이미지(310) 회전은 배제하고, 이미지(310)의 네 모서리 좌표를 변화시켜 팬, 틸트 및 줌 보정을 수행할 수 있다.
즉, 이미지(310)의 네 모서리 좌표의 변화 값은 카메라(300)의 팬 값, 틸트 값 및 줌 값에 대응되는 값임을 알 수 있다.
도 6은 본 발명의 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법은 먼저, 카메라 캘리브레이션 장치가 초기 각도로 레이저를 조사하여 제 1 마커를 생성한다(S610).
단계(S610)에서 카메라 캘리브레이션 장치는 초기 각도로 레이저를 조사하여 제 1 위치에 레이저 빔이 조사되도록 할 수 있다.
여기서, 제 1위치는 카메라들의 시점 회전축과 지면 또는 배경면이 교차하는 교차점에 상응하는 위치일 수 있다.
다음으로, 카메라 캘리브레이션 장치는 제 1 마커를 촬영한 제 1 이미지들을 이용하여 카메라들의 1차 캘리브레이션을 수행한다(S620).
단계(S620)에서 카메라 캘리브레이션 장치는 제 1 이미지들에서 제 1 마커를 식별하여 제 1 마커의 좌표들을 획득하고, 제 1 마커의 좌표들에 기초하여 기준 좌표를 산출하고, 기준 좌표의 제 1 마커의 좌표들 각각에 대한 상대 좌표를 제 1 이미지들 각각을 촬영한 카메라의 오프셋(offset) 값으로 산출하는 과정을 통해 1차 캘리브레이션을 수행할 수 있다.
여기서, 기준 좌표는 기준 좌표로부터 제 1 마커의 좌표들까지의 거리들의 합이 최소가 되도록 하는 좌표일 수 있다.
다음으로, 카메라 캘리브레이션 장치는 레이저의 조사각을 변경하여 제 2 마커를 생성한다(S630).
단계(S630)에서 카메라 캘리브레이션 장치는 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사되도록 할 수 있다.
단계(S630)에서 카메라 캘리브레이션 장치는 제 2 마커를 촬영한 어느 하나의 제 2 이미지에서 제 2 마커를 식별하여 제 2 마커의 샘플 좌표를 획득하고, 샘플 좌표로부터 제 1 마커의 좌표까지의 거리가 기설정된 기준 거리를 초과하도록 제 2 위치를 조절할 수 있다.
이를 통해, 단계(S640)에서 제 1 마커와 제 2 마커를 용이하게 구별 인식하도록 하여 타원 궤적을 보다 정확하게 산출되도록 할 수 있다.
다음으로, 카메라 캘리브레이션 장치는 제 2 마커를 촬영한 제 2 이미지들을 이용하여 카메라들의 2차 캘리브레이션을 수행한다(S640).
단계(S640)에서 카메라 캘리브레이션 장치는 제 2 이미지들에서 제 2 마커를 식별하고, 카메라의 순서에 상응하도록 제 2 마커의 좌표들을 획득하고, 기준 좌표를 중심점으로 하는 타원 궤적상에 매핑점들을 배치하고, 매핑점들에 제 2 마커의 좌표들이 카메라의 순서대로 매핑되도록 하기 위한 제 2 이미지들 각각의 모서리 좌표 변화량에 기초하여 제 2 이미지들 각각을 촬영한 카메라의 팬 값, 틸트 값 및 줌 값을 산출할 수 있다.
여기서, 타원 궤적은 매핑점들 및 제 2 마커의 좌표들 간 거리들의 합이 최소가 되도록 하는 궤적일 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법에 있어서?,
    (a) 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하는 단계;
    (b) 상기 제 1 마커를 촬영한 제 1 이미지들을 이용하여 카메라들의 1차 캘리브레이션을 수행하는 단계;
    (c) 상기 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하는 단계; 및
    (d) 상기 제 2 마커를 촬영한 제 2 이미지들을 이용하여 상기 카메라들의 2차 캘리브레이션을 수행하는 단계;
    를 포함하는, 타임슬라이스 촬영을 위한 카메라 캘리브레?이?션? 방법.
  2. 제 1 항에 있어서,
    상기 제 1 위치는
    상기 카메라들의 시점 회전축과 지면 또는 배경면이 교차하는 교차점에 상응하는 위치인 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는
    (b1) 상기 제 1 이미지들에서 상기 제 1 마커를 식별하여 상기 제 1 마커의 좌표들을 획득하는 단계;
    (b2) 상기 제 1 마커의 좌표들에 기초하여 기준 좌표를 산출하는 단계; 및
    (b3) 상기 기준 좌표의 상기 제 1 마커의 좌표들 각각에 대한 상대 좌표를 상기 제 1 이미지들 각각을 촬영한 카메라의 오프셋(offset) 값으로 산출하는 단계;
    를 포함하는 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법.
  4. 제 3 항에 있어서,
    상기 기준 좌표는
    상기 기준 좌표로부터 상기 제 1 마커의 좌표들까지의 거리들의 합이 최소가 되도록 하는 좌표인 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법.
  5. 제 1 항에 있어서,
    상기 (c) 단계는
    (c1) 상기 제 2 마커를 촬영한 어느 하나의 제 2 이미지에서 상기 제 2 마커를 식별하여 상기 제 2 마커의 샘플 좌표를 획득하는 단계; 및
    (c2) 상기 샘플 좌표로부터 상기 제 1 마커의 좌표까지의 거리가 기설정된 기준 거리를 초과하도록 상기 제 2 위치를 조절하는 단계;
    를 포함하는 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법.
  6. 제 1 항에 있어서,
    상기 (d) 단계는
    (d1) 상기 제 2 이미지들에서 상기 제 2 마커를 식별하고, 상기 카메라의 순서에 상응하도록 상기 제 2 마커의 좌표들을 획득하는 단계;
    (d2) 기준 좌표를 중심점으로 하는 타원 궤적상에 매핑점들을 배치하는 단계; 및
    (d3) 상기 매핑점들에 상기 제 2 마커의 좌표들이 상기 카메라의 순서대로 매핑되도록 하기 위한 상기 제 2 이미지들 각각의 모서리 좌표 변화량에 기초하여 상기 제 2 이미지들 각각을 촬영한 카메라의 팬 값, 틸트 값 및 줌 값을 산출하는 단계;
    를 포함하는 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법.
  7. 제 6 항에 있어서,
    상기 타원 궤적은
    상기 매핑점들 및 상기 제 2 마커의 좌표들 간 거리들의 합이 최소가 되도록 하는 궤적인 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법.
  8. 마커를 생성하기 위한 레이저 빔 조사 장치; 및
    상기 빔 조사 장치를 제어하여 복수의 마커들을 생성하고, 상기 마커들을 촬영한 이미지들을 이용하여 카메라들의 캘리브레이션을 수행하는 프로세서;를 포함하고,
    상기 프로세서는
    상기 빔 조사 장치를 제어하여 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하고, 상기 제 1 마커를 촬영한 제 1 이미지들을 이용하여 상기 카메라들의 1차 캘리브레이션을 수행하고, 상기 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하고, 상기 제 2 마커를 촬영한 제 2 이미지들을 이용하여 상기 카메라들의 2차 캘리브레이션을 수행하는 것인, 타임슬라이스 촬영을 위한 카메라 캘리브레이션 장치.
  9. 피사체를 둘러싸도록 배치되는 복수의 카메라들;
    상기 복수의 카메라들의 동기화 과정을 수행하고, 상기 카메라들로부터 이미지를 획득하는 카메라 컨트롤 유닛; 및
    레이저 빔 조사 장치를 구비하고, 제 1 위치에 레이저 빔을 조사하여 제 1 마커를 생성하고, 상기 카메라 컨트롤 유닛으로부터 상기 제 1 마커를 촬영한 제 1 이미지들을 수신하여 카메라들의 1차 캘리브레이션을 수행하고, 상기 제 1 위치와 서로 다른 제 2 위치에 레이저 빔을 조사하여 제 2 마커를 생성하고, 상기 카메라 컨트롤 유닛으로부터 상기 제 2 마커를 촬영한 제 2 이미지들을 수신하여 상기 카메라들의 2차 캘리브레이션을 수행하는 카메라 캘리브레이션 장치;
    를 포함하는, 타임슬라이스 촬영 시스템.
  10. 제 1 항 내지 제 7 항 중 어느 한 항에 따른 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
PCT/KR2018/014035 2017-12-19 2018-11-15 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치 WO2019124750A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170175572A KR101988630B1 (ko) 2017-12-19 2017-12-19 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치
KR10-2017-0175572 2017-12-19

Publications (1)

Publication Number Publication Date
WO2019124750A1 true WO2019124750A1 (ko) 2019-06-27

Family

ID=66993517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014035 WO2019124750A1 (ko) 2017-12-19 2018-11-15 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치

Country Status (2)

Country Link
KR (1) KR101988630B1 (ko)
WO (1) WO2019124750A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862232A (zh) * 2020-06-18 2020-10-30 深圳奥比中光科技有限公司 一种标定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005205193A (ja) * 2003-12-22 2005-08-04 Toshiba Corp 画質管理システム
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2014522591A (ja) * 2011-05-25 2014-09-04 サード ディメンション アイピー リミテッド ライアビリティー カンパニー 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
KR20170029805A (ko) * 2015-09-08 2017-03-16 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 촬영 시스템 및 이를 위한 이미지 보정 방법, 그리고 이에 의한 영상 제공방법
KR20170138867A (ko) * 2016-06-08 2017-12-18 삼성에스디에스 주식회사 광원을 이용한 카메라 캘리브레이션 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619478B1 (ko) 2014-08-20 2016-05-10 주식회사 레인보우 타임 슬라이스 제어장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005205193A (ja) * 2003-12-22 2005-08-04 Toshiba Corp 画質管理システム
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2014522591A (ja) * 2011-05-25 2014-09-04 サード ディメンション アイピー リミテッド ライアビリティー カンパニー 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
KR20170029805A (ko) * 2015-09-08 2017-03-16 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 촬영 시스템 및 이를 위한 이미지 보정 방법, 그리고 이에 의한 영상 제공방법
KR20170138867A (ko) * 2016-06-08 2017-12-18 삼성에스디에스 주식회사 광원을 이용한 카메라 캘리브레이션 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862232A (zh) * 2020-06-18 2020-10-30 深圳奥比中光科技有限公司 一种标定方法及装置
CN111862232B (zh) * 2020-06-18 2023-12-19 奥比中光科技集团股份有限公司 一种标定方法及装置

Also Published As

Publication number Publication date
KR101988630B1 (ko) 2019-09-30

Similar Documents

Publication Publication Date Title
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
EP3389268B1 (en) Depth information acquisition method and apparatus, and image collection device
US7071966B2 (en) Method of aligning lens and sensor of camera
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN107071291B (zh) 图像处理方法、装置及电子设备
WO2011087337A2 (ko) 기판 검사장치
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2011014340A2 (en) Methods and systems for calibrating an adjustable lens
WO2012165707A1 (ko) 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
WO2014157830A1 (ko) 프라이버시 마스크 처리 방법
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2018053908A1 (zh) 一种双摄像头拍摄方法、系统及终端
WO2019139234A1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2015102280A1 (ko) 스테레오 카메라 장치 및 그의 렉티피케이션 방법
JP2003050107A (ja) カメラ校正装置
JP2018207453A5 (ko)
CN106447735A (zh) 一种全景相机几何标定处理方法
WO2019124750A1 (ko) 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치
WO2011078615A2 (en) Distance adaptive 3d camera
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2015156603A1 (ko) 촬영대상의 움직임을 감지하는 엑스레이 촬영장치
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18892231

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18892231

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22.01.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18892231

Country of ref document: EP

Kind code of ref document: A1