KR20210117635A - 카메라 동기화 장치 및 그 동기화 처리 방법 - Google Patents

카메라 동기화 장치 및 그 동기화 처리 방법 Download PDF

Info

Publication number
KR20210117635A
KR20210117635A KR1020200034084A KR20200034084A KR20210117635A KR 20210117635 A KR20210117635 A KR 20210117635A KR 1020200034084 A KR1020200034084 A KR 1020200034084A KR 20200034084 A KR20200034084 A KR 20200034084A KR 20210117635 A KR20210117635 A KR 20210117635A
Authority
KR
South Korea
Prior art keywords
image
camera
synchronization
error
preset
Prior art date
Application number
KR1020200034084A
Other languages
English (en)
Other versions
KR102308347B1 (ko
Inventor
김회율
김중식
이홍준
김제연
김민수
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200034084A priority Critical patent/KR102308347B1/ko
Priority to PCT/KR2021/003288 priority patent/WO2021187887A1/ko
Publication of KR20210117635A publication Critical patent/KR20210117635A/ko
Application granted granted Critical
Publication of KR102308347B1 publication Critical patent/KR102308347B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라 동기화 장치 및 그 동기화 방법에 대한 것으로서, 보다 상세하게는 복수의 카메라 각각에서 촬영된 이미지들을 이용하여 당해 카메라들을 동기화할 수 있는 장치 및 그 방법에 대한 것이다. 본 발명의 일 실시 예에 따른 카메라 동기화 장치는, 프로세서 및 프로세서에 연결되고, 제1 이미지 및 제2 이미지가 저장되는 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한, 제2 이미지를 이용하여 물체운동경로를 모델링하고, 미리 설정된 제1 지연시간과 물체운동경로를 이용하여 물체 위치를 보정한 제2-1 이미지를 생성하며, 제1 이미지 및 제2-1 이미지를 이용하여 제1 삼차원영상을 생성하는 프로그램 명령어들을 저장하되, 제1 이미지는 제1 카메라에서 생성된 이미지이고, 제2 이미지는 제2 카메라에서 생성된 이미지이며, 제1 카메라 및 제2 카메라는 동일 장치에서 동시에 전송된 카메라촬영신호에 대응하여 동작될 수 있다. 본 발명에 따르면, 각 카메라에서 촬영된 이미지들을 분석하여 자동으로 서로 동기화되지 않은 복수의 카메라들을 동기화시킬 수 있다.

Description

카메라 동기화 장치 및 그 동기화 처리 방법{SYNCHRONIZATION DEVICE FOR CAMERA AND SYNCHRONIZATION METHOD FOR CAMERA}
본 발명은 카메라 동기화 장치 및 그 동기화 방법에 대한 것으로서, 보다 상세하게는 복수의 카메라 각각에서 촬영된 이미지들을 이용하여 당해 카메라들을 동기화할 수 있는 장치 및 그 방법에 대한 것이다.
삼차원 영상을 만들기 위해서는 보통 여러 대의 카메라를 인접하게 배치하여 피사체를 촬영한다. 여러 대의 카메라로 촬영한 영상에서 물체의 3차원 정보를 복원하기 위해 여러 대의 카메라들을 동일하게 제어하는 것은 매우 어렵다.
이를 위하여 소리를 이용한 시간 동기화 방법이 사용된다. 그러나 모든 카메라에 대해 동일한 음이 같은 시각에 최고값을 가지지 않기 때문에, 시간 동기화가 제대로 이루어지기 어렵고, 실외 촬영의 경우에는 사용되기 어려운 문제점이 있다.
다른 방법으로는, 외부의 신호 발생기에서 여러 대의 카메라로 동시에 촬영 신호를 전송하여 모든 카메라에서 동시에 촬영을 수행하도록 하는 방법이 사용된다. 그러나 각 카메라마다 촬영 신호를 받은 후의 처리 속도가 상이하여 정밀한 타이밍 일치가 어려운 문제점이 있다.
카메라들의 시간 동기화가 안되었거나 시간 동기화의 결과가 좋지 않으면, 사람이 수작업으로 각 시점 영상들에 대하여 또는 동기화되지 않은 영상들에 대하여 시간 동기화를 해야 한다. 이러한 시간 동기화 작업은 사람이 수작업으로 진행함에 따라, 시간이 많이 소요되고 사람의 부주의에 의한 에러 발생 가능성이 높은 문제점이 있다.
본 발명은 자동으로 서로 동기화되지 않은 복수의 카메라들을 동기화시킬 수 있는 카메라 동기화 장치 및 그 동기화 처리 방법을 제공하고자 한다.
본 발명의 일 실시 예에 따른 카메라 동기화 장치는, 프로세서; 및 상기 프로세서에 연결되고, 제1 이미지 및 제2 이미지가 저장되는 메모리;를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능한, 상기 제2 이미지를 이용하여 물체운동경로를 모델링하고, 미리 설정된 제1 지연시간과 상기 물체운동경로를 이용하여 물체 위치를 보정한 제2-1 이미지를 생성하며, 상기 제1 이미지 및 상기 제2-1 이미지를 이용하여 제1 삼차원영상을 생성하는 프로그램 명령어들을 저장하되, 상기 제1 이미지는 제1 카메라에서 생성된 이미지이고, 상기 제2 이미지는 제2 카메라에서 생성된 이미지이며, 상기 제1 카메라 및 상기 제2 카메라는 동일 장치에서 동시에 전송된 카메라촬영신호에 대응하여 동작될 수 있다.
실시예에 따라, 상기 메모리는, 상기 제1 삼차원영상을 이용하여 미리 설정된 방법에 따라 제1 위치 오차를 측정하고, 상기 제1 위치 오차가 최소인지 판단하는 프로그램 명령어들을 더 저장할 수 있다.
실시예에 따라, 상기 메모리는, 상기 제1 삼차원영상을 이용하여 제1 재투영오차(Reprojection error)를 생성하고, 상기 제1 재투영오차가 미리 설정된 임계값 이하가 되는지 판단하는 프로그램 명령어들을 더 저장할 수 있다.
실시예에 따라, 상기 메모리는, 상기 제1 재투영오차가가 상기 임계값을 초과하면 미리 설정된 제2 지연시간을 적용하여 제2-2 이미지, 제2 삼차원영상 및 제2 재투영오차를 생성하고, 상기 제2 재투영오차가 상기 임계값 이하가 되는지 판단하는 프로그램 명령어들을 더 저장할 수 있다.
본 발명의 다른 실시예에 따르면, 카메라 동기화 장치에서 수행되고, 제1 카메라에서 수신된 제1 이미지 및 제2 카메라에서 수신된 제2 이미지를 이용하여 상기 제1 카메라와 상기 제2 카메라의 동기화를 처리하는 방법이 제공되고, 당해 동기화 처리 방법은, 상기 제2 이미지를 이용하여 물체운동경로를 모델링하는 단계; 미리 설정된 제1 지연시간과 상기 물체운동경로를 이용하여 물체 위치를 보정한 제2-1 이미지를 생성하는 단계; 상기 제1 이미지 및 상기 제2-1 이미지를 이용하여 제1 삼차원영상을 생성하는 단계; 및 상기 제1 삼차원영상을 이용하여 상기 제1 카메라 및 상기 제2 카메라의 동기화를 처리하는 단계;를 포함하되, 상기 제1 카메라 및 상기 제2 카메라는 동일한 장치에서 동시에 전송된 카메라촬영신호에 대응하여 동작될 수 있다.
실시예에 따라, 상기 동기화를 처리하는 단계는, 상기 제1 삼차원영상을 이용하여 미리 설정된 방법에 따라 제1 위치 오차를 측정하는 단계; 및 상기 제1 위치 오차가 최소인지 판단하는 단계;를 포함할 수 있다.
실시예에 따라, 상기 제1 위치 오차를 측정하는 단계는, 상기 제1 삼차원영상을 이용하여 제1 재투영오차(Reprojection error)를 생성하는 단계;를 포함할 수 있고, 상기 제1 위치 오차가 최소인지 판단하는 단계는, 상기 제1 재투영오차가 미리 설정된 임계값 이하가 되는지 판단하는 단계;를 포함할 수 있다.
실시예에 따라, 상기 동기화를 처리하는 단계는, 상기 제1 재투영오차가가 상기 임계값을 초과하면 미리 설정된 제2 지연시간을 적용하여 제2-2 이미지, 제2 삼차원영상 및 제2 재투영오차를 생성하는 단계; 및 상기 제2 재투영오차가 상기 임계값 이하가 되는지 판단하는 단계;를 더 포함할 수 있다.
본 발명에 따르면, 각 카메라에서 촬영된 이미지들을 분석하여 자동으로 서로 동기화되지 않은 복수의 카메라들을 동기화시킬 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명에 따른 비동기 카메라 시스템에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 동기화 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 동기화 장치의 동기화 동작을 설명하기 위한 예시도이다.
도 4는 본 발명의 다른 실시예에 따른 동기화 처리 방법에 대한 순서도이다.
본 발명의 기술적 사상에 따른 예시적인 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 기술적 사상의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 발명의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.
여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 기술적 사상에 의한 실시예들에 대해 상세히 설명한다.
도 1은 본 발명에 따른 비동기 카메라 시스템에 대한 구성도이다.
본 발명의 일 실시예에 따른 비동기 카메라 시스템(100)은 제1 카메라(110-1), 제2 카메라(110-2) 및 카메라 동기화 장치(120)를 포함할 수 있다. 제1 카메라(110-1)와 카메라 동기화 장치(120)는 유선 또는 무선으로 연결되어 상호 각종 정보를 송수신할 수 있고, 제2 카메라(110-2)와 카메라 동기화 장치(120)유선 또는 무선으로 연결되어 상호 각종 정보를 송수신할 수 있다.
도 1을 참조하면, 비동기 카메라 시스템(100)에서 복수의 카메라들(110-1, 110-2)은 특정 영역(예: 야구에서의 투구 영역)에서 움직이는 물체(예: 투수에 의해 던져진 야구공)(130)를 촬영할 수 있다. 즉, 제1 카메라(110-1)와 제2 카메라(110-2)는 서로 다른 각도에서 물체(130)를 촬영할 수 있다.
이때 제1 카메라(110-1)와 제2 카메라(110-2)는 미리 설정된 카메라촬영신호가 수신되면 촬영을 개시할 수 있다. 이때 카메라촬영신호는 동일한 장치에서 동시에 제1 카메라(110-1) 및 제2 카메라(110-2)로 전송된 신호일 수 있다. 예를 들어, 카메라 동기화 장치(120)는 미리 설정된 시간이 도래하였거나, 관리자의 조작이 입력되면 카메라촬영신호를 생성할 수 있고, 생성된 카메라촬영신호를 제1 카메라(110-1) 및 제2 카메라(110-2)로 동시에 전송할 수 있다.
또한, 제1 카메라(110-1)는 생성된 이미지(즉, 피사체인 물체(130)를 촬영한 이미지)(이하, '제1 이미지'라 칭함)를 카메라 동기화 장치(120)로 전송할 수 있다. 여기서 제1 이미지는 단일의 이미지뿐 아니라 미리 설정된 시간을 주기로 연속적으로 생성된 이미지를 통칭하는 개념일 수 있다. 예를 들어, 제1 카메라(110-1)는 카메라촬영신호가 입력되면 미리 설정된 시간(예를 들어, 0.01초)를 주기로 연속적으로 이미지를 생성할 수 있는데, 이렇게 연속적으로 생성된 이미지 전체가 제1 이미지로 통칭될 수 있는 것이다. 또한 제1 이미지를 구성하는 각 이미지에는 촬영된 시간에 대한 정보가 각각 매칭되어 있을 수 있다.
또한, 제2 카메라(110-2)는 생성된 이미지(즉, 피사체인 물체(130)를 촬영한 이미지)(이하, '제2 이미지'라 칭함)를 카메라 동기화 장치(120)로 전송할 수 있다. 제2 이미지도 제1 이미지와 마찬가지로, 단일의 이미지뿐 아니라 미리 설정된 시간을 주기로 연속적으로 생성된 이미지를 통칭하는 개념일 수 있다. 또한 제2 이미지를 구성하는 각 이미지에는 촬영된 시간에 대한 정보가 각각 매칭되어 있을 수 있다.
카메라 동기화 장치(120)는 제1 이미지와 제2 이미지를 이용하여 '자동으로' 제1 카메라(110-1)와 제2 카메라(110-2)를 동기화 처리할 수 있다. 이하, 도 2를 참조하여 카메라 동기화 장치(120)의 동기화 처리 동작에 대해 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 카메라 동기화 장치에 대한 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 카메라 동기화 장치(120)는 모뎀(MODEM)(210), 프로세서(PROCESSOR)(220) 및 메모리(MEMORY)(230)를 포함할 수 있다.
모뎀(210)은 제1 카메라(110-1) 및/또는 제2 카메라(110-2)와 연결될 수 있는 통신 장치일 수 있다. 따라서, 모뎀(210)은 프로세서(220)에서 입력된 카메라촬영신호를 제1 카메라(110-1) 및/또는 제2 카메라(110-2)로 전송할 수 있다. 또한, 모뎀(210)은 제1 카메라(110-1)에서 수신된 제1 이미지를 프로세서(220)로 출력할 수 있다. 또한, 제2 카메라(110-2)에서 수신된 제2 이미지를 프로세서(220)로 출력할 수 있다.
프로세서(220)는 카메라 동기화 장치(120)의 전반적인 동작을 제어할 수 있는 구성일 수 있다. 특히, 프로세서(220)는 제1 이미지 및/또는 제2 이미지가 메모리(230)에 저장되도록 제어할 수 있다.
또한, 프로세서(220)는 제1 이미지를 이용하여 시간에 대한 물체(130)의 운동 경로(이하, '제1 물체운동경로'라 칭함)를 모델링할 수 있다. 예를 들어, 프로세서(220)는 제1 이미지 각각에 촬영된 물체(130)의 프레임 내에서의 이동 경로를 미리 설정된 방법에 따라 자연스럽게 연결하여 제1 물체운동경로를 생성할 수 있다.
또한, 프로세서(220)는 제2 이미지를 이용하여 시간에 대한 물체(130)의 운동 경로(이하, '제2 물체운동경로'라 칭함)를 모델링할 수 있다. 예를 들어, 프로세서(220)는 제2 이미지 각각에 촬영된 물체(130)의 프레임 내에서의 이동 경로를 미리 설정된 방법에 따라 자연스럽게 연결하여 제2 물체운동경로를 생성할 수 있다. 여기서 프로세서(220)가 제1 물체이동경로 및 제2 물체이동경로를 생성하는 방법은 여러 가지 공개된 방법이 적용될 수 있으므로 이에 대한 구체적인 설명은 생략한다.
또한 프로세서(220)는 미리 설정된 제n 지연시간을 적용하여 제2 물체운동경로 상의 물체(130) 위치를 보정하여 제2-n 이미지를 생성할 수 있다(단, n은 자연수임).
예를 들어, 제1 지연시간이 0.01[sec]로 미리 설정된 경우를 가정한다. 이 경우는 제1 카메라(110-1)과 제2 카메라(110-2)가 동시에 전송된 카메라촬영신호에 따라 이미지들을 생성할 경우, 제2 이미지가 제1 이미지보다 0.01초 늦게 생성되는 것을 의미할 수 있다. 따라서, 프로세서(220)는 제2 이미지에서 물체(130)의 위치를 제2 물체운동경로 상에서 0.01[sec]만큼 앞선 시간에 상응하도록 이동시킬 수 있다. 즉, 프로세서(220)는 모델링 된 제2 물체운동경로의 시간을 0.01[sec]만큼 변경하여 이에 상응하는 시간에 대한 운동 경로를 생성할 수 있다. 즉, 제2 카메라(110-2)가 0.05[sec]를 주기로 제2 이미지를 생성하도록 설정된 경우를 가정하면, 프로세서(220)는 제2 물체운동경로에서 앞선 시간 방향으로(제2 이미지에서 물체가 좌에서 우로 이동하는 경우라면 좌측으로) 0.05[sec]에 상응하는 만큼 이동시킬 수 있다.
이러한 방법에 따라 프로세서(220)는 제2 이미지에 제1 지연시간을 적용하여 물체(130)의 위치를 보정할 수 있고, 물체(130)의 위치가 제1 지연시간에 따라 이동된 제2 이미지를 제2-1 이미지라 칭한다. 따라서, 제n 지연시간에 따라 물체(130)가 이동된 제2 이미지는 제2-n 이미지라 칭할 수 있다.
이후 프로세서(220)는 제1 이미지 및 제2-1 이미지를 이용하여 제1 삼차원영상을 생성할 수 있다.
또한, 프로세서(220)는 제1 삼차원영상을 이용하여 미리 설정된 방법에 따라 위치 오차를 측정할 수 있다. 즉, 프로세서(220)는 임의로 설정된 제1 지연시간이 적용되어 생성된 제1 삼차원영상이 정확하게 생성된 3차원 영상인지 여부를 판단하기 위하여 제1 삼차원영상을 이용하여 위치 오차를 측정할 수 있다.
예를 들어, 프로세서(220)는 제1 삼차원영상을 제1 이미지 및/또는 제2 이미지로 재투영(Reprojection)한 오차(즉, 재투영 오차, Reprojection error)를 생성할 수 있다. 프로세서(220)가 재투영오차를 생성하는 동작은 이미 공개된 방법과 대동소이 하므로 이에 대한 구체적인 설명은 생략한다.
또한 프로세서(220)는 제1 삼차원영상에 상응하는 재투영오차(이하, '제1 재투영오차'라 칭함)가 최소인지 여부를 판단할 수 있다. 예를 들어, 프로세서(220)는 제1 재투영오차가 미리 설정된 임계값 이하인지 판단할 수 있다.
프로세서(220)는 제1 재투영오차가 임계값을 초과하면 제2 지연시간을 적용하여 제2 물체운동경로 상의 물체(130) 위치를 보정하여 제2-2 이미지를 생성할 수 있다. 여기서, 제2 지연시간은 제1 지연시간보다 큰 값으로 미리 설정된 값일 수 있다. 예를 들어, 제1 지연시간이 0.01[sec]인 경우, 제2 지연시간은 0.02[sec]로 미리 설정될 수 있다. 즉, 제n 지연시간은 제n-1 지연시간보다 미리 설정된 시간(예를 들어, 0.01[sec])만큼 큰 값에 상응할 수 있다.
따라서, 프로세서(220)는 제2-2 이미지를 이용하여 제2 재투영오차를 생성할 수 있을 것이다. 또한, 프로세서(220)는 제2 재투영오차가 임계값 이하인지 판단할 수 있다. 즉, 프로세서(220)는 임계값 이하인 제n 재투영오차가 계산될 때가지 n개의 재투영오차를 생성할 수 있을 것이다.
프로세서(220)는 임계값 이하인 재투영오차가 계산되면 제n 재투영오차에 상응하는 제n 지연시간을 메모리(230)에 저장할 수 있다. 이후 프로세서(220)는 제1 이미지 및 제2 이미지를 이용하여 3차원 영상을 생성할 때 메모리(230)에 저장된 제n 지연시간을 이용할 수 있을 것이다.
이상에서는 프로세서(220)가 임계값 이하인 재투영오차가 나올 때까지 제n 삼차원영상을 생성하는 경우를 예시로 설명하였다. 하지만, 프로세서(220)는 미리 설정된 n개의 재투영오차를 생성한 후, 가장 값이 작은 재투영오차를 선택하여 선택된 재투영오차에 상응하는 지연시간을 메모리(230)에 저장할 수도 있을 것이다. 예를 들어, n이 100인 경우를 가정한다. 이때, 프로세서(220)는 미리 설정된 시간(예를 들어, 0.001[sec])을 간격으로 100개의 재투영오차를 생성할 수 있고, 100개의 재투영오차 중 값이 제일 작은 제m 재투영오차(단, m은 n 이하의 자연수임)를 선택하여 메모리(230)에 저장할 수 있을 것이다.
이러한 동작에 의해 카메라 동기화 장치(120)는 제1 카메라(110-1) 및 제2 카메라(110-2)를 자동으로 간편하게 동기화시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라 동기화 장치의 동기화 동작을 설명하기 위한 예시도이다.
도 3을 참조하면, 제1 카메라(110-1)에 상응하는 제1 이미지 플레인(310) 및 제2 카메라(110-2)에 상응하는 제2 이미지 플레인(320)이 예시된다. 제1 이미지 플레인(310)은 제1 카메라(110-1)에 촬영된 제1 이미지들에 상응하는 이미지 플레인일 수 있다. 또한, 제2 이미지 플레이인(320)은 제2 카메라(110-2)에서 촬영된 제2 이미지들에 상응하는 이미지 플레인일 수 있다. 제1 이미지 플레인(310)에는 제1 카메라(110-1)을 통해 촬영되는 물체(130)의 위치 변화가 나타날 수 있다. 또한, 제2 이미지 플레인(320)에는 제2 카메라(110-2)를 통해 촬영되는 물체(130)의 위치 변화가 나타날 수 있다.
프로세서(220)는 연속적으로 수신되는 제1 이미지들을 이용하여 제1 물체운동경로를 생성할 수 있다. 마찬가지로 프로세서(220)는 연속적으로 수신되는 제2 이미지들을 이용하여 제2 물체운동경로를 생성할 수 있다. 도 3의 이미지 플레인(310, 320)은 각 카메라가 연속으로 촬영한 물체를 단일의 이미지 플레인에 나타낸 것으로서, 제1 이미지 플레인(310)은 제1 카메라(110-1)을 통해 촬영된 물체가, 제2 이미지 플레인(320)에는 제2 카메라(110-2)을 통해 촬영된 물체가 나타날 수 있다.
프로세서(220)는 제1 이미지 플레인(310) 및/또는 제2 이미지 플레인(320)을 통해 물체(130)의 이동 경로를 파악한 후 미리 설정된 지연시간을 적용하여 위치 오차가 최소인 제n 지연시간(
Figure pat00001
)을 메모리(230)에 저장할 수 있다. 이후 프로세서(220)는 제1 이미지 및 제2 이미지를 이용하여 3차원 영상을 생성할 때, 메모리(230)에 저장된 제n 지연시간(
Figure pat00002
)을 이용할 수 있을 것이다.
도 4는 본 발명의 다른 실시예에 따른 동기화 처리 방법에 대한 순서도이다.
이하, 도 4를 참조하여 본 발명의 다른 실시예에 따른 동기화 처리 방법에 대해 설명한다.
단계 S410에서, 서버(120)는 카메라촬영신호를 생성하여 동시에 제1 카메라(110-1) 및 제2 카메라(110-2)로 전송할 수 있다. 여기서는 서버(120)가 카메라촬영신호를 생성하는 것으로 가정하여 설명하였으나, 카메라촬영신호는 서버(120) 외 다른 장치에서 생성되어 제1 카메라(110-1) 및 제2 카메라(110-2)로 동시에 전송될 수 있을 것이다.
단계 S420에서, 제1 카메라(110-1)는 카메라촬영신호가 입력되는 미리 설정된 시간을 주기로 움직이는 물체(130)를 연속적으로 촬영하여 제1 이미지를 생성할 수 있다. 또한 제1 카메라(110-1)는 제1 이미지를 서버(120)로 전송할 수 있다.
단계 S425에서, 제2 카메라(110-2)는 카메라촬영신호가 입력되는 미리 설정된 시간을 주기로 움직이는 물체(130)를 연속적으로 촬영하여 제2 이미지를 생성할 수 있다. 또한 제2 카메라(110-2)는 제2 이미지를 서버(120)로 전송할 수 있다. 여기서, 제1 카메라(110-1)와 제2 카메라(110-2)가 물체(130)를 촬영하는 주기는 동일할 수 있다.
단계 S430에서, 서버(120)는 수신된 제1 이미지를 이용하여 제1 물체운동경로를 모델링할 수 있다. 예를 들어, 서버(120)는 제1 이미지를 이용하여 제1 카메라(110-1)를 통해 연속으로 촬영된 물체의 위치를 가상으로 한번에 표현할 수 있고(상기 도 3의 제1 이미지 플레인(310) 참조), 이들 물체의 위치를 통해 제1 물체운동경로를 시간에 대해 모델링할 수 있다.
단계 S440에서, 서버(120)는 수신된 제2 이미지를 이용하여 제2 물체운동경로를 모델링할 수 있다. 제2 물체운동경로를 모델링하는 방법은 제1 물체운동경로를 모델링하는 방법과 대동소이할 수 있다.
단계 S450에서, 서버(120)는 미리 설정된 제n 지연시간을 적용하여 제2 물체운동경로 상의 물체 위치를 보정하여 제2-n 이미지를 생성할 수 있다.
단계 S460에서, 서버(120)는 제1 이미지 및 제2-n 이미지를 이용하여 제n 삼차원영상을 생성할 수 있다.
단계 S470에서, 서버(120)는 제n 삼차원영상을 이용하여 미리 설정된 방법에 따라 위치 오차를 측정할 수 있다. 예를 들어, 프로세서(220)는 제1 삼차원영상을 제1 이미지 및/또는 제2 이미지로 재투영(Reprojection)한 오차(즉, 재투영 오차, Reprojection error)를 생성할 수 있다.
단계 S480에서, 서버(120)는 측정된 위치 오차가 최소인지 여부를 판단할 수 있다. 예를 들어, 프로세서(220)는 제1 재투영오차가 미리 설정된 임계값 이하인지 판단할 수 있다.
이때, 프로세서(220)는 제1 재투영오차가 임계값을 초과하면 제2 지연시간을 적용하여 제2 물체운동경로 상의 물체(130) 위치를 보정하여 제2-2 이미지를 생성할 수 있다(단계 S485). 여기서, 제2 지연시간은 제1 지연시간보다 큰 값으로 미리 설정된 값일 수 있다.
단계 S490에서, 서버(120)는 오차가 최소인 제n 지연시간을 저장할 수 있다. 이후 프로세서(220)는 제1 이미지 및 제2 이미지를 이용하여 3차원 영상을 생성할 때, 메모리(230)에 저장된 제n 지연시간을 이용할 수 있을 것이다.
이상에서는 프로세서(220)가 임계값 이하인 재투영오차가 나올 때까지 제n 삼차원영상을 생성하는 경우를 예시로 설명하였다. 하지만, 프로세서(220)는 미리 설정된 n개의 재투영오차를 생성한 후, 가장 값이 작은 재투영오차를 선택하여 선택된 재투영오차에 상응하는 지연시간을 메모리(230)에 저장할 수도 있을 것이다. 예를 들어, n이 100인 경우를 가정한다. 이때, 프로세서(220)는 미리 설정된 시간(예를 들어, 0.001[sec])을 간격으로 100개의 재투영오차를 생성할 수 있고, 100개의 재투영오차 중 값이 제일 작은 제m 재투영오차(단, m은 n 이하의 자연수임)를 선택하여 메모리(230)에 저장할 수 있을 것이다.
상술한 바와 같이, 본 발명에 따르면 제1 카메라(110-1) 및 제2 카메라(110-2)에서 촬영된 이미지들을 분석하여 '자동으로' 서로 동기화되지 않은 복수의 카메라들을 동기화시킬 수 있다.
이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.
100 : 비동기 카메라 시스템
110-1 : 제1 카메라
110-2 : 제2 카메라
120 : 카메라 동기화 장치
130 : 물체(피사체)

Claims (8)

  1. 프로세서; 및
    상기 프로세서에 연결되고, 제1 이미지 및 제2 이미지가 저장되는 메모리;
    를 포함하며,
    상기 메모리는 상기 프로세서에 의해 실행 가능한,
    상기 제2 이미지를 이용하여 물체운동경로를 모델링하고, 미리 설정된 제1 지연시간과 상기 물체운동경로를 이용하여 물체 위치를 보정한 제2-1 이미지를 생성하며, 상기 제1 이미지 및 상기 제2-1 이미지를 이용하여 제1 삼차원영상을 생성하는 프로그램 명령어들을 저장하되,
    상기 제1 이미지는 제1 카메라에서 생성된 이미지이고, 상기 제2 이미지는 제2 카메라에서 생성된 이미지이며, 상기 제1 카메라 및 상기 제2 카메라는 동일 장치에서 동시에 전송된 카메라촬영신호에 대응하여 동작되는, 카메라 동기화 장치.
  2. 제1항에 있어서,
    상기 메모리는,
    상기 제1 삼차원영상을 이용하여 미리 설정된 방법에 따라 제1 위치 오차를 측정하고, 상기 제1 위치 오차가 최소인지 판단하는 프로그램 명령어들을 더 저장하는, 카메라 동기화 장치.
  3. 제2항에 있어서,
    상기 메모리는,
    상기 제1 삼차원영상을 이용하여 제1 재투영오차(Reprojection error)를 생성하고, 상기 제1 재투영오차가 미리 설정된 임계값 이하가 되는지 판단하는 프로그램 명령어들을 더 저장하는, 카메라 동기화 장치.
  4. 제3항에 있어서,
    상기 메모리는,
    상기 제1 재투영오차가가 상기 임계값을 초과하면 미리 설정된 제2 지연시간을 적용하여 제2-2 이미지, 제2 삼차원영상 및 제2 재투영오차를 생성하고, 상기 제2 재투영오차가 상기 임계값 이하가 되는지 판단하는 프로그램 명령어들을 더 저장하는, 카메라 동기화 장치.
  5. 카메라 동기화 장치에서 수행되고, 제1 카메라에서 수신된 제1 이미지 및 제2 카메라에서 수신된 제2 이미지를 이용하여 상기 제1 카메라와 상기 제2 카메라의 동기화를 처리하는 방법에 있어서,
    상기 제2 이미지를 이용하여 물체운동경로를 모델링하는 단계;
    미리 설정된 제1 지연시간과 상기 물체운동경로를 이용하여 물체 위치를 보정한 제2-1 이미지를 생성하는 단계;
    상기 제1 이미지 및 상기 제2-1 이미지를 이용하여 제1 삼차원영상을 생성하는 단계; 및
    상기 제1 삼차원영상을 이용하여 상기 제1 카메라 및 상기 제2 카메라의 동기화를 처리하는 단계;
    를 포함하되,
    상기 제1 카메라 및 상기 제2 카메라는 동일한 장치에서 동시에 전송된 카메라촬영신호에 대응하여 동작되는, 동기화 처리 방법.
  6. 제5항에 있어서,
    상기 동기화를 처리하는 단계는,
    상기 제1 삼차원영상을 이용하여 미리 설정된 방법에 따라 제1 위치 오차를 측정하는 단계; 및
    상기 제1 위치 오차가 최소인지 판단하는 단계;
    를 포함하는, 동기화 처리 방법.
  7. 제6항에 있어서,
    상기 제1 위치 오차를 측정하는 단계는,
    상기 제1 삼차원영상을 이용하여 제1 재투영오차(Reprojection error)를 생성하는 단계;
    를 포함하고,
    상기 제1 위치 오차가 최소인지 판단하는 단계는,
    상기 제1 재투영오차가 미리 설정된 임계값 이하가 되는지 판단하는 단계;
    를 포함하는, 동기화 처리 방법.
  8. 제7항에 있어서,
    상기 동기화를 처리하는 단계는,
    상기 제1 재투영오차가가 상기 임계값을 초과하면 미리 설정된 제2 지연시간을 적용하여 제2-2 이미지, 제2 삼차원영상 및 제2 재투영오차를 생성하는 단계; 및
    상기 제2 재투영오차가 상기 임계값 이하가 되는지 판단하는 단계;
    를 더 포함하는, 동기화 처리 방법.
KR1020200034084A 2020-03-19 2020-03-19 카메라 동기화 장치 및 그 동기화 처리 방법 KR102308347B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200034084A KR102308347B1 (ko) 2020-03-19 2020-03-19 카메라 동기화 장치 및 그 동기화 처리 방법
PCT/KR2021/003288 WO2021187887A1 (ko) 2020-03-19 2021-03-17 카메라 동기화 장치 및 그 동기화 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200034084A KR102308347B1 (ko) 2020-03-19 2020-03-19 카메라 동기화 장치 및 그 동기화 처리 방법

Publications (2)

Publication Number Publication Date
KR20210117635A true KR20210117635A (ko) 2021-09-29
KR102308347B1 KR102308347B1 (ko) 2021-10-05

Family

ID=77771776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200034084A KR102308347B1 (ko) 2020-03-19 2020-03-19 카메라 동기화 장치 및 그 동기화 처리 방법

Country Status (2)

Country Link
KR (1) KR102308347B1 (ko)
WO (1) WO2021187887A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084385A (ja) * 2016-12-14 2017-05-18 株式会社東芝 画像同期装置
KR20180066551A (ko) * 2016-12-09 2018-06-19 한국과학기술원 전방향 카메라의 깊이 지도 획득 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106930A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> パラメータ推定装置、パラメータ推定方法、及び、パラメータ推定プログラム
JP6820527B2 (ja) * 2015-06-25 2021-01-27 パナソニックＩｐマネジメント株式会社 映像同期装置及び映像同期方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066551A (ko) * 2016-12-09 2018-06-19 한국과학기술원 전방향 카메라의 깊이 지도 획득 방법 및 장치
JP2017084385A (ja) * 2016-12-14 2017-05-18 株式会社東芝 画像同期装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Darlan N. Brito, et al. "Temporal synchronization of non-overlapping videos using known object motion." Pattern recognition letters 32.1 (2011): 38-46.,2011.12.31.* *

Also Published As

Publication number Publication date
WO2021187887A1 (ko) 2021-09-23
KR102308347B1 (ko) 2021-10-05

Similar Documents

Publication Publication Date Title
CN114527872B (zh) 虚拟现实交互系统、方法及计算机存储介质
US20150271469A1 (en) Image synchronization method for cameras and electronic apparatus with cameras
JP4778306B2 (ja) 非同期画像部分をマッチングすること
CN108900272A (zh) 传感器数据采集方法、系统和丢包判断方法
US9253389B2 (en) Image pickup apparatus, image pickup system, image pickup method and computer readable recording medium implementing synchronization for image pickup operations
CN107948463B (zh) 一种相机同步方法、装置及系统
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
US20150304629A1 (en) System and method for stereophotogrammetry
CN111736169A (zh) 一种数据同步方法、设备及系统
CN103985157A (zh) 一种结构光三维扫描方法及系统
CN111107248B (zh) 一种多路视频采集的同步系统、方法和采集控制器
CN104113748A (zh) 3d拍摄系统及实现方法
JP2018207252A (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
KR102308347B1 (ko) 카메라 동기화 장치 및 그 동기화 처리 방법
KR101909897B1 (ko) 카메라와 프로젝터간의 동기화 방법 및 장치
CN108833737A (zh) 针对多相机阵列的同步拍照控制方法
Noda et al. Frame synchronization for networked high-speed vision systems
CN111935389B (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
WO2018040092A1 (zh) 遥控执行装置、方法和系统
CN105100591B (zh) Ip摄像机的精确远程ptz控制的系统和方法
CN105872369A (zh) 全景视频的生成方法和装置
WO2019183759A1 (zh) 图像融合方法、拍摄设备和可移动平台系统
KR101649754B1 (ko) 다시점 카메라를 위한 분산 시스템에서 제어 신호 전달 방법 및 다시점 카메라를 위한 분산 시스템
WO2019037073A1 (zh) 一种数据同步的方法、装置及服务器
JP4254637B2 (ja) 撮影システム

Legal Events

Date Code Title Description
GRNT Written decision to grant