KR102294524B1 - System and method for time synchronization of multiple cameras using optical time code - Google Patents

System and method for time synchronization of multiple cameras using optical time code Download PDF

Info

Publication number
KR102294524B1
KR102294524B1 KR1020200017342A KR20200017342A KR102294524B1 KR 102294524 B1 KR102294524 B1 KR 102294524B1 KR 1020200017342 A KR1020200017342 A KR 1020200017342A KR 20200017342 A KR20200017342 A KR 20200017342A KR 102294524 B1 KR102294524 B1 KR 102294524B1
Authority
KR
South Korea
Prior art keywords
light source
time
cameras
image
time code
Prior art date
Application number
KR1020200017342A
Other languages
Korean (ko)
Other versions
KR20210103065A (en
Inventor
김진욱
문경률
유성종
유성근
정다운
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200017342A priority Critical patent/KR102294524B1/en
Publication of KR20210103065A publication Critical patent/KR20210103065A/en
Application granted granted Critical
Publication of KR102294524B1 publication Critical patent/KR102294524B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H04N5/247—
    • H04N5/3532—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 방법이 제공된다. 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템은 디지털 신호에 따라 일정 시간 동안 광원을 점멸시키는 광원부; 상기 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 생성하는 복수의 카메라; 및 상기 복수의 카메라 각각에서 생성된 광원 영상에서 타임 코드를 해독하고, 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화하는 시간 동기화부를 포함한다.A system and method for time synchronization of multiple cameras using optical time code are provided. A multi-camera time synchronization system using an optical time code according to an embodiment includes: a light source unit for flickering a light source for a predetermined time according to a digital signal; a plurality of cameras to generate an image of the light source by photographing the light source flickering for the predetermined time; and a time synchronizer for decoding a time code from the light source image generated by each of the plurality of cameras, and synchronizing the times of the plurality of cameras according to the decoded time code.

Description

광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 방법{System and method for time synchronization of multiple cameras using optical time code}System and method for time synchronization of multiple cameras using optical time code

본 발명은 다중 카메라의 시간 동기화 시스템 및 방법에 관한 것으로, 구체적으로, 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 방법에 관한 것이다.The present invention relates to a multi-camera time synchronization system and method, and more particularly, to a multi-camera time synchronization system and method using an optical time code.

여러 대의 카메라를 연동하여 영상을 촬영하는 경우, 각 카메라에서 촬영되는 영상 간의 시간이 일치되어야 한다. 즉, 다중 카메라의 시간 동기화가 필요하다. 기존의 다중 카메라 시간 동기화를 위해서 여러 가지 방법들이 제안된 바 있다. In the case of capturing images by linking multiple cameras, the time between images captured by each camera must match. That is, time synchronization of multiple cameras is required. Various methods have been proposed for the existing multi-camera time synchronization.

예를 들어, 시간 동기 신호를 사용한 하드웨어가 장착된 카메라를 이용한 방법, 카메라 내부에 장착된 RTC(Real-Time Clock)나 GPS와 같은 하드웨어 시계를 이용한 방법이 제안된 바 있다. 다만, 이러한 종래 방법은 카메라에 전용 하드웨어가 포함되어 있어야 하므로 범용적으로 사용될 수 없는 한계가 존재하였다.For example, a method using a camera equipped with hardware using a time synchronization signal and a method using a hardware clock such as a Real-Time Clock (RTC) or GPS mounted inside the camera have been proposed. However, this conventional method has a limitation in that it cannot be used universally because dedicated hardware must be included in the camera.

또한, 오디오 신호 등에 동기화 신호를 포함하여 기록하는 방법 등이 종래 제안된 바 있으나, 이러한 종래 방법 또한 오디오 신호에 동기화 신호를 포함시키는 별도의 장치가 필요하며, 오디오 채널 중 하나를 동기화 신호에 할당하여야 하는 한계가 존재하였다.In addition, although a method of recording an audio signal including a synchronization signal has been previously proposed, this conventional method also requires a separate device for including the synchronization signal in the audio signal, and one of the audio channels must be allocated to the synchronization signal. limitations existed.

이에, 본 발명의 출원인은 대부분의 카메라에 범용적으로 적용 가능한 조명을 이용한 다중 카메라의 시간 동기화 시스템 및 방법을 개발하는 데 이르렀다. Accordingly, the applicant of the present invention has come to develop a multi-camera time synchronization system and method using lighting that is universally applicable to most cameras.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 방법에 관한 것이다.The present invention has been devised to solve the above-described problems, and more particularly, to a system and method for time synchronization of multiple cameras using an optical time code.

본 발명의 일 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템은 디지털 신호에 따라 일정 시간 동안 광원을 점멸시키는 광원부; 상기 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 생성하는 복수의 카메라; 및 상기 복수의 카메라 각각에서 생성된 광원 영상에서 타임 코드를 해독하고, 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화하는 시간 동기화부를 포함한다. A multi-camera time synchronization system using an optical time code according to an embodiment of the present invention includes: a light source unit flickering a light source for a predetermined time according to a digital signal; a plurality of cameras to generate an image of the light source by photographing the light source flickering for the predetermined time; and a time synchronizer for decoding a time code from the light source image generated by each of the plurality of cameras, and synchronizing the times of the plurality of cameras according to the decoded time code.

본 발명의 다른 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법은 디지털 신호에 따라 일정 시간 동안 광원이 점멸되는 단계; 복수의 카메라가, 상기 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 각각 생성하는 단계; 상기 복수의 카메라에서 생성된 광원 영상에서 타임 코드를 각각 해독하는 단계; 및 상기 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화하는 단계를 포함한다.A method for synchronizing time of multiple cameras using an optical time code according to another embodiment of the present invention includes: flickering a light source for a predetermined time according to a digital signal; generating, by a plurality of cameras, a light source image by photographing a light source flickering for the predetermined time; decoding time codes from the light source images generated by the plurality of cameras; and synchronizing the time of the plurality of cameras according to the decoded time code.

본 발명의 일 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 방법은 카메라에 전용적으로 사용되지 않는 범용적으로 조명 기능을 제공하는 일반적인 광원을 활용하여 다중 카메라의 시간 동기화를 수행할 수 있다. Multi-camera time synchronization system and method using optical time code according to an embodiment of the present invention performs time synchronization of multiple cameras by using a general light source that provides a universal lighting function that is not used exclusively for a camera can do.

즉, 특정 카메라에 전용적으로 적용되는 하드웨어 또는 오디오 신호 등을 생성하는 기타 장치 없이도 카메라의 시간 동기화가 용이하게 진행될 수 있다.That is, time synchronization of the cameras can be easily performed without hardware or other devices that generate audio signals that are exclusively applied to a specific camera.

도 1은 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)의 개략적인 구성을 도시하는 블록도이다.
도 2는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)의 구성을 배치한 예시도이다.
도 3a는 글로벌 셔터(Global Shutter) 방식의 동작 방법을 설명하기 위한 그래프이고, 도 3b는 롤링 셔터(Rolling Shutter) 방식의 동작 방법을 설명하기 위한 그래프이다.
도 4a는 글로벌 셔터 방식의 카메라에 대응하여 점멸되는 광원과 광원을 촬영하여 생성된 광원 영상을 예시적으로 도시한 것이며, 도 4b는 롤링 셔터 방식의 카메라에 대응하여 점멸되는 광원과 광원을 촬영하여 생성된 광원 영상을 예시적으로 도시한 것이다.
도 5a는 글로벌 셔터 방식의 카메라에 따라 생성된 광원 영상을 해독하는 과정을 예시적으로 도시한 것이다. 도 5b는 롤링 셔터 방식의 카메라에 따라 생성된 광원 영상을 해독하는 과정을 예시적으로 도시한 것이다.
도 6는 본 발명의 다른 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법의 순서도이다.1 is a block diagram showing a schematic configuration of a multi-camera time synchronization system 10 using an optical time code.
2 is an exemplary diagram of the arrangement of the multi-camera time synchronization system 10 using an optical time code.
3A is a graph for explaining an operating method of a global shutter method, and FIG. 3B is a graph for explaining an operating method of a rolling shutter method.
4A is an exemplary view of a light source image generated by photographing a light source and a light source that blink in response to a global shutter type camera, and FIG. 4B is a light source image that blinks in response to a camera of a rolling shutter method The generated light source image is illustrated as an example.
5A exemplarily illustrates a process of decoding a light source image generated by a global shutter camera. 5B exemplarily illustrates a process of decoding a light source image generated by a rolling shutter type camera.
6 is a flowchart of a method for synchronizing time of multiple cameras using an optical time code according to another embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details in order to provide a thorough understanding of the present invention. However, one of ordinary skill in the art will recognize that the present invention may be practiced without these specific details. Specific terms used in the following description are provided to help the understanding of the present invention, and the use of these specific terms may be changed to other forms without departing from the technical spirit of the present invention.

도 1은 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)의 개략적인 구성을 도시하는 블록도이다. 도 2는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)의 구성을 배치한 예시도이다.1 is a block diagram showing a schematic configuration of a multi-camera time synchronization system 10 using an optical time code. 2 is an exemplary diagram of the arrangement of the multi-camera time synchronization system 10 using an optical time code.

도 1을 참조하면, 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)은 복수의 카메라(100), 광원부(110), 시간 동기화부(120)를 포함한다.Referring to FIG. 1 , a multi-camera time synchronization system 10 using an optical time code includes a plurality of cameras 100 , a light source unit 110 , and a time synchronization unit 120 .

실시예들에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 이에 포함된 각 부(unit)는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The multi-camera time synchronization system using optical time code according to embodiments may be entirely hardware, or may have aspects that are partly hardware and partly software. For example, the multi-camera time synchronization system using the optical time code of the present specification and each unit included therein may collectively refer to a device for exchanging data in a specific format and content in an electronic communication method and software related thereto. have. As used herein, terms such as “unit”, “module”, “server”, “system”, “device” or “terminal” refer to a combination of hardware and software driven by the hardware. it is intended to be For example, the hardware herein may be a data processing device including a CPU or other processor. In addition, software driven by hardware may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.

또한, 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)을 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 1에서 복수의 카메라(100), 광원부(110), 시간 동기화부(120)는 서로 구분되는 별개의 블록으로 도시되나, 이는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템을 구성하는 장치를 해당 장치에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 따라서, 실시예에 따라서는 복수의 카메라(100), 광원부(110), 시간 동기화부(120)는 물리적으로 구분되는 별개의 장치로 구현될 수도 있으며, 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.In addition, each part constituting the multi-camera time synchronization system 10 using optical time code is not intended to necessarily refer to physically distinct and separate components. In FIG. 1 , the plurality of cameras 100 , the light source unit 110 , and the time synchronization unit 120 are shown as separate blocks that are separated from each other, but this corresponds to a device constituting a time synchronization system of multiple cameras using an optical time code. It is only functionally demarcated by the actions performed by the device. Therefore, depending on the embodiment, the plurality of cameras 100 , the light source unit 110 , and the time synchronization unit 120 may be implemented as separate physically separated devices, and may be components that are communicatively connected to each other in a distributed computing environment. may be

복수의 카메라(100)는 렌즈를 통해 들어온 외부 빛을 디지털 신호로 변환하여 이미지로 생성할 수 있다. 복수의 카메라는 이러한 외부 빛을 수신하는 매트릭스 배열된 복수의 화소로 구성된 이미지 센서(미도시)를 포함할 수 있다. 복수의 카메라(100)는 서로 연동되어 동작될 수 있으며, 같은 오브젝트를 서로 다른 각도에서 촬영하도록 동작될 수 있다. 여기서, 복수의 카메라(100)는 아직 시간 동기화가 필요한 상태일 수 있다. 복수의 카메라(100)은 광학 타임 코드를 통해 전용 장비 없이도 시간 동기화가 수행될 수 있다. The plurality of cameras 100 may convert external light entering through a lens into a digital signal to generate an image. The plurality of cameras may include an image sensor (not shown) configured of a plurality of pixels arranged in a matrix to receive such external light. The plurality of cameras 100 may be operated in conjunction with each other, and may be operated to photograph the same object from different angles. Here, the plurality of cameras 100 may still need time synchronization. Time synchronization of the plurality of cameras 100 may be performed without dedicated equipment through an optical time code.

광원부(110)는 디지털 신호에 따라 기준 시각부터 일정 시간 동안 광원(111)을 점멸시킬 수 있다. 여기서, 기준 시각은 광원(111)의 점멸이 시작되는 시각일 수 있으며, 시, 분, 초 및 밀리초 단위로 기록될 수 있다. 광원부(110)는 빛이 점멸되는 광원(111)과 광원(111)의 점멸을 제어하는 광원 제어부(112)를 포함한다. 광원(111)은 LED 광원일 수 있으나, 이에 한정되는 것은 아니다. 광원(111)은 카메라(100)에 전용적으로 사용되지 않는 범용적으로 조명 기능을 제공하는 일반적인 광원에 해당한다. 광원(111)은 광원 제어부(112)에서 생성하는 디지털 신호에 대응하여 빛을 점멸(on/off)할 수 있다. 여기서, 디지털 신호는 바이너리 신호(binary signal)일 수 있으며, 1에 대응하여 빛을 점등(on)하고, 0에 대응하여 빛을 소등(off)할 수 있다. 광원 제어부(112)는 반송파(Carrier signal)를 변조하여 상술한 디지털 신호를 생성할 수 있다.The light source unit 110 may blink the light source 111 for a predetermined time from a reference time according to a digital signal. Here, the reference time may be a time at which the light source 111 starts blinking, and may be recorded in units of hours, minutes, seconds, and milliseconds. The light source unit 110 includes a light source 111 for flickering light and a light source control unit 112 for controlling flickering of the light source 111 . The light source 111 may be an LED light source, but is not limited thereto. The light source 111 corresponds to a general light source that is not exclusively used for the camera 100 and provides a general lighting function. The light source 111 may turn on/off the light in response to the digital signal generated by the light source controller 112 . Here, the digital signal may be a binary signal, and may turn on the light in response to 1 and turn off the light in response to 0. The light source controller 112 may generate the above-described digital signal by modulating a carrier signal.

복수의 카메라(100)는 기준 시각부터 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 생성할 수 있다. 광원 영상은 일정 시간 동안 광원이 점멸하는 동영상일 수 있다. 복수의 카메라(100)는 광원 영상을 각각 생성할 수 있으며, 복수의 카메라(100)에서 생성된 광원 영상은 시간 동기화가 수행되지 않은 상태일 수 있다. 생성된 광원 영상은 시간 동기화부(120)로 제공된다.The plurality of cameras 100 may generate a light source image by photographing a light source that flickers for a predetermined time from a reference time. The light source image may be a moving image in which the light source flickers for a predetermined time. The plurality of cameras 100 may each generate light source images, and the light source images generated by the plurality of cameras 100 may be in a state in which time synchronization is not performed. The generated light source image is provided to the time synchronizer 120 .

시간 동기화부(120)는 복수의 카메라(100)와 데이터를 송수신하도록 구성될 수 있다. 복수의 카메라(100)에서 촬영된 이미지, 즉, 생성된 이미지는 시간 동기화부(120)에 저장될 수 있다. 따라서, 복수의 카메라(100)에서 생성된 광원 영상 또한 시간 동기화부(120)에 제공될 수 있으며, 시간 동기화부(120)는 생성된 광원 영상에서 타임 코드를 해독할 수 있다. 여기서, 타임 코드는 광원 영상에서 시간에 따른 광원의 점멸 여부를 나타내는 바이너리 코드에 해당한다. 즉, 시간 동기화부(120)는 광원 영상에서 빛이 관측되면 1, 빛이 관측되지 않으면 0이 되도록 해독하여 바이너리 코드를 시간에 따라 생성할 수 있다. The time synchronizer 120 may be configured to transmit/receive data to and from the plurality of cameras 100 . Images captured by the plurality of cameras 100 , that is, generated images may be stored in the time synchronizer 120 . Accordingly, the light source images generated by the plurality of cameras 100 may also be provided to the time synchronizer 120 , and the time synchronizer 120 may decode a time code from the generated light source images. Here, the time code corresponds to a binary code indicating whether the light source flickers according to time in the light source image. That is, the time synchronizer 120 may generate a binary code according to time by decoding it so that it becomes 1 when light is observed in the light source image and 0 when no light is observed.

시간 동기화부(120)는 각각의 광원 영상에서 타임 코드를 각각 해독할 수 있다. 각각의 광원 영상은 생성된 아직 동기화되지 않은 각 카메라(100)의 설정에 따라 생성된 시각이 상이하므로, 타임 코드의 생성 시각도 서로 상이할 수 있다. 시간 동기화부(120)는 이러한 타임 코드를 기준으로 복수의 카메라(100)에서 생성되는 영상에 대한 시간 동기화를 진행할 수 있다. 시간 동기화부(120)는 광원(111)에서 빛이 방출된 기준 시각을 기준으로 시간 동기화를 진행할 수 있다. 즉, 기준 시각과 각 타임 코드의 생성 시각이 일치되도록 시간 동기화를 진행할 수 있다. 다만, 이에 한정되는 것은 아니며, 하나의 광원 영상을 기준으로 생성된 타임 코드에 다른 타임 코드를 일치시킬 수도 있다. 이러한 타임 코드의 시간 동기화를 기준으로 복수의 카메라(100)에서 생성된 영상에 대한 시간 동기화가 진행될 수 있다. 시간 동기화부(120)는 변경이 필요한 카메라들에서 생성된 이미지 파일의 메타 데이터의 시각을 동기화를 위해 수정할 수 있다.The time synchronizer 120 may decode a time code from each light source image. Since the generated time of each light source image is different according to the settings of the generated cameras 100 that are not yet synchronized, the time code generation time may also be different from each other. The time synchronizer 120 may perform time synchronization with respect to the images generated by the plurality of cameras 100 based on the time code. The time synchronizer 120 may perform time synchronization based on a reference time at which light is emitted from the light source 111 . That is, time synchronization may be performed so that the reference time and the generation time of each time code coincide. However, the present invention is not limited thereto, and another time code may be matched with a time code generated based on one light source image. Based on the time synchronization of the time code, time synchronization of the images generated by the plurality of cameras 100 may be performed. The time synchronizer 120 may correct the time of the metadata of the image file generated by the cameras that need to be changed for synchronization.

이러한 시간 동기화 과정은 복수의 카메라(100)의 기본 동작(본래 촬영하려는 대상을 촬영하는 동작) 이후에 수행될 수 있다. 즉, 광원 영상 촬영과 본 촬영을 진행한 이후, 촬영된 광원 영상에서 생성된 타임 코드를 기초로 전체적인 촬영 영상물에 대한 시간 동기화를 수행할 수도 있다. 이러한 경우, 광원 영상은 본 촬영 이전에 촬영되거나 본 촬영 이후에 촬영될 수도 있다. 다만, 이에 한정되는 것은 아니며, 시간 동기화 과정은 복수의 카메라(100)의 기본 동작(본래 촬영하려는 대상을 촬영하는 동작) 이전에 수행될 수도 있다. 즉, 광원 영상을 생성하고, 이를 기초로 복수의 카메라(100)에 대한 시간 동기화를 수행한 상태에서 본 촬영이 진행될 수도 있다. This time synchronization process may be performed after the basic operation of the plurality of cameras 100 (operation of photographing an object to be photographed originally). That is, after photographing the light source image and the main photographing, time synchronization may be performed on the entire photographed image based on a time code generated from the photographed light source image. In this case, the light source image may be photographed before the main photographing or after the main photographing. However, the present invention is not limited thereto, and the time synchronization process may be performed before the basic operation of the plurality of cameras 100 (the operation of photographing an object to be photographed originally). That is, in a state in which a light source image is generated and time synchronization for the plurality of cameras 100 is performed based on this, the main photographing may be performed.

또한, 상술한 시간 동기화 과정은 복수의 카메라의 이미지 센서의 셔터 동작 방식에 따라 다르게 진행될 수 있다. 광학 카메라 통신 시스템에서 광 신호의 수신 방식은, 글로벌 셔터 방식(Global-Shutter Operation)과 롤링 셔터 방식(Rolling-Shutter Operation)으로 구분할 수 있다. 도 3a는 글로벌 셔터(Global Shutter) 방식의 동작 방법을 설명하기 위한 그래프이고, 도 3b는 롤링 셔터(Rolling Shutter) 방식의 동작 방법을 설명하기 위한 그래프이다. 참고로, 도 3a 및 3b에서 노출 시간(Exposure Time)은 광 신호를 수신하기 위한 이미지 센서의 노출 시간을 의미하고, 처리 시간(Read-out Time)은 수신된 광 신호를 전기적 신호로 변환하여 처리하는 시간을 의미한다.In addition, the above-described time synchronization process may be performed differently depending on the shutter operation method of the image sensors of the plurality of cameras. A reception method of an optical signal in an optical camera communication system may be divided into a global shutter operation and a rolling shutter operation. 3A is a graph for explaining an operating method of a global shutter method, and FIG. 3B is a graph for explaining an operating method of a rolling shutter method. For reference, in FIGS. 3A and 3B , the exposure time means the exposure time of the image sensor for receiving the optical signal, and the read-out time is the processing time by converting the received optical signal into an electrical signal. means time to

도 3a에 도시된 글로벌 셔터 방식은 주로 CCD(Coupled-Charge Device) 이미지 센서에서 이용되는 광 신호의 수신 방식이다. 글로벌 셔터 방식은 이미지 센서의 픽셀 전체를 한 번에 노출시켜 광 신호를 수신하는 방식으로, 이미지 프레임의 전체 행(Row)을 동시에 광원에 노출하고 이후 각 행 별로 순차적으로 신호 변환처리를 하게 된다. The global shutter method shown in FIG. 3A is a method of receiving an optical signal mainly used in a CCD (coupled-charge device) image sensor. In the global shutter method, all pixels of the image sensor are exposed at once to receive an optical signal. All rows of an image frame are simultaneously exposed to a light source, and then signal conversion processing is sequentially performed for each row.

도 3b에 도시된 이상적인 롤링 셔터 방식은 주로 CMOS 이미지 센서에서 이용되는 광 신호의 수신 방식이다. 롤링 셔터 방식은 이미지 프레임의 각 행 별로 순차적으로 픽셀을 노출시켜 광 신호를 수신하고 신호 변환 처리를 하는 방식이다. 즉, 롤링 셔터 방식에서 이미지 센서는, 각 행 별 또는 각 열 별로, 노출 시간 동안 수신된 광 신호에 대한 전하를 축적하고, 처리 시간(Read-out Time)에는 신호 변환 처리를 하게 된다. 따라서, 롤링 셔터 방식에서 이미지 센서는 글로벌 셔터 방식에 비해 이미지 프레임당 더 많은 양의 데이터를 수신할 수 있다.The ideal rolling shutter method shown in FIG. 3B is a method of receiving an optical signal mainly used in a CMOS image sensor. The rolling shutter method is a method of receiving an optical signal and signal conversion processing by sequentially exposing pixels for each row of an image frame. That is, in the rolling shutter method, the image sensor accumulates charges for the optical signal received during the exposure time for each row or each column, and performs signal conversion processing during the read-out time. Accordingly, in the rolling shutter method, the image sensor may receive a larger amount of data per image frame than in the global shutter method.

먼저, 복수의 카메라의 이미지 센서의 셔터 동작 방식에 따라 광원(111)의 점멸 속도 및 점멸 주기가 상이하게 구성될 수 있다. First, the blinking speed and blinking cycle of the light source 111 may be configured differently according to the shutter operation method of the image sensors of the plurality of cameras.

도 4a는 글로벌 셔터 방식의 카메라에 대응하여 점멸되는 광원과 광원을 촬영하여 생성된 광원 영상을 예시적으로 도시한 것이며, 도 4b는 롤링 셔터 방식의 카메라에 대응하여 점멸되는 광원과 광원을 촬영하여 생성된 광원 영상을 예시적으로 도시한 것이다.4A is an exemplary view of a light source image generated by photographing a light source and a light source that blink in response to a global shutter type camera, and FIG. 4B is a light source image that blinks in response to a camera of a rolling shutter method The generated light source image is illustrated as an example.

도 4a에 도시된 바와 같이, 복수의 카메라(100)의 이미지 센서가 글로벌 셔터(Global Shutter) 방식인 경우, 광원 제어부(112)는 광원 영상의 프레임 레이트에 대응하여 광원(111)이 점멸되도록 상기 디지털 신호를 생성할 수 있다. 광원 영상을 생성하는 카메라(100)의 프레임 재생 주기에 대응하여 광원(111)이 점멸될 수 있으며, 이러한 광원(111)의 점멸 주기는 도 3a의 시간(Time)과 일치될 수 있다. 예를 들어, 광원 영상이 30프레임 영상인 경우, 광원(111)은 1/30초 간격으로 점멸될 수 있다. 광원 제어부(112)는 OOK(On-Off Keying) 디지털 변조 방법을 사용하여 광원 영상의 프레임 레이트에 대응되는 디지털 신호를 생성할 수 있다. 카메라(100)는 프레임 레이트에 대응하여 점멸되는 광원(111)을 촬영하여 광원 영상을 생성할 수 있다. 광원 영상은 프레임 단위로 광원(111)이 점등 또는 소등된 상태이다. As shown in FIG. 4A , when the image sensors of the plurality of cameras 100 use a global shutter method, the light source controller 112 causes the light source 111 to blink in response to the frame rate of the light source image. A digital signal can be generated. The light source 111 may blink in response to the frame reproduction cycle of the camera 100 generating the light source image, and the blinking cycle of the light source 111 may coincide with the time (Time) of FIG. 3A . For example, when the light source image is a 30-frame image, the light source 111 may blink at an interval of 1/30 second. The light source controller 112 may generate a digital signal corresponding to the frame rate of the light source image by using an On-Off Keying (OOK) digital modulation method. The camera 100 may generate a light source image by photographing the light source 111 flickering in response to a frame rate. The light source image is a state in which the light source 111 is turned on or off in units of frames.

또한, 복수의 카메라(100)의 이미지 센서가 픽셀이 열 단위 또는 행 단위로 순차적으로 노출되어 하나의 프레임에 대응하는 이미지를 생성하는 롤링 셔터(Rolling Shutter) 방식인 경우, 도 4b에 도시된 바와 같이, 광원 제어부(112)는 픽셀 노출 주기에 대응하여 광원(111)이 점멸되도록 디지털 신호를 생성할 수 있다. 픽셀 노출 주기는 픽셀이 열 단위 또는 행 단위로 노출되는 주기로 정의될 수 있다. 즉, 롤링 셔터 방식에 대응한 광원(111)은 글로벌 셔터 방식보다 빠른 속도로 점멸되어야 한다. 즉, 광원(111)의 점멸 주기는 도 3b의 T1과 일치될 수 있다. 광원 제어부(112)는 BPSK(Binary Phase Shift Keying) 디지털 변조 방법을 사용하여 픽셀 노출 주기에 대응되는 디지털 신호를 생성하여 광원(111)을 점등시킬 수 있다. 카메라(100)는 픽셀 노출 주기에 대응하여 점멸되는 광원(111)을 촬영하여 광원 영상을 생성할 수 있다. 한 프레임에 포함된 픽셀들은 열 단위 또는 행 단위로 광원(111)의 점등 상태 또는 소등 상태가 기록될 수 있다.In addition, when the image sensor of the plurality of cameras 100 is a rolling shutter method in which pixels are sequentially exposed in columns or rows to generate an image corresponding to one frame, as shown in FIG. 4B , Likewise, the light source controller 112 may generate a digital signal so that the light source 111 flickers in response to the pixel exposure period. The pixel exposure period may be defined as a period in which pixels are exposed in units of columns or rows. That is, the light source 111 corresponding to the rolling shutter method should blink at a faster speed than the global shutter method. That is, the blinking period of the light source 111 may coincide with T 1 of FIG. 3B . The light source controller 112 may use a binary phase shift keying (BPSK) digital modulation method to generate a digital signal corresponding to a pixel exposure period to turn on the light source 111 . The camera 100 may generate a light source image by photographing the light source 111 flickering corresponding to the pixel exposure period. In pixels included in one frame, the lighting state or the off state of the light source 111 may be recorded in units of columns or rows.

또한, 복수의 카메라의 이미지 센서의 셔터 동작 방식에 따라 복수의 카메라(100)에서 촬영된 광원 영상을 해독하는 방식도 달라질 수 있다.Also, a method of decoding a light source image captured by the plurality of cameras 100 may be different according to a shutter operation method of the image sensors of the plurality of cameras.

도 5a는 글로벌 셔터 방식의 카메라에 따라 생성된 광원 영상을 해독하는 과정을 예시적으로 도시한 것이다. 도 5b는 롤링 셔터 방식의 카메라에 따라 생성된 광원 영상을 해독하는 과정을 예시적으로 도시한 것이다. 5A exemplarily illustrates a process of decoding a light source image generated by a global shutter camera. 5B exemplarily illustrates a process of decoding a light source image generated by a rolling shutter type camera.

복수의 카메라(100)의 이미지 센서가 글로벌 셔터(Global Shutter) 방식인 경우, 시간 동기화부(120)는 광원 영상의 프레임 단위로 타임 코드를 해독할 수 있다. 도 4a와 같이, 시간 동기화부(120)는 광원 영상을 프레임 단위로 분석하여, 한 프레임에서 빛이 관측되면 1, 빛이 관측되지 않으면 0이 되도록 해독하여 바이너리 코드를 시간에 따라 생성할 수 있다.When the image sensors of the plurality of cameras 100 use the global shutter method, the time synchronizer 120 may decode the time code in units of frames of the light source image. As shown in FIG. 4A , the time synchronizer 120 analyzes the light source image frame by frame, decodes it so that it becomes 1 when light is observed in one frame and 0 when no light is observed to generate a binary code according to time. .

복수의 카메라(100)의 이미지 센서가 롤링 셔터(Rolling Shutter) 방식인 경우, 시간 동기화부(120)는 한 프레임에 포함된 픽셀의 열 단위 또는 행 단위를 기준으로 타임 코드를 해독할 수 있다. 도 4b와 같이, 시간 동기화부(120)는 광원 영상의 하나의 프레임에서 픽 셀의 열 단위로 분석하여, 빛이 관측되면 1, 빛이 관측되지 않으면 0이 되도록 해독하여 바이너리 코드를 시간에 따라 생성할 수 있다. When the image sensors of the plurality of cameras 100 use a rolling shutter method, the time synchronizer 120 may decode the time code based on a column unit or a row unit of pixels included in one frame. As shown in FIG. 4B , the time synchronizer 120 analyzes one frame of the light source image in units of columns of pixels, decodes the binary code so that it becomes 1 when light is observed and 0 when no light is observed, and interprets the binary code according to time. can create

본 발명의 일 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템(10)은 카메라(100)에 전용적으로 사용되지 않는 범용적으로 조명 기능을 제공하는 일반적인 광원을 활용하여 다중 카메라의 시간 동기화를 수행할 수 있다. 즉, 특정 카메라에 전용적으로 적용되는 하드웨어 또는 오디오 신호 등을 생성하는 기타 장치 없이도 카메라의 시간 동기화가 용이하게 진행될 수 있다. The multi-camera time synchronization system 10 using an optical time code according to an embodiment of the present invention utilizes a general light source that provides a general lighting function that is not used exclusively for the camera 100, and is a multi-camera time synchronization system. Time synchronization can be performed. That is, time synchronization of the cameras can be easily performed without hardware or other devices that generate audio signals that are exclusively applied to a specific camera.

이하, 본 발명의 다른 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법에 대해 설명하도록 한다.Hereinafter, a method for synchronizing time of multiple cameras using an optical time code according to another embodiment of the present invention will be described.

도 6는 본 발명의 다른 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법의 순서도이다. 상기 방법은 상술한 도 1의 시스템에서 수행될 수 있고, 본 실시예에 설명을 위해 도 1 내지 도 5b이 참조될 수 있다. 6 is a flowchart of a method for synchronizing time of multiple cameras using an optical time code according to another embodiment of the present invention. The method may be performed in the system of FIG. 1 described above, and FIGS. 1 to 5B may be referred to for explanation in this embodiment.

도 6을 참조하면, 본 발명의 다른 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법은 디지털 신호에 따라 일정 시간 동안 광원이 점멸되는 단계(S100); 복수의 카메라가, 상기 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 각각 생성하는 단계(S110); 상기 복수의 카메라에서 생성된 광원 영상에서 타임 코드를 각각 해독하는 단계(S120); 및 상기 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화하는 단계(S130)를 포함한다.Referring to FIG. 6 , a method for synchronizing time of multiple cameras using an optical time code according to another embodiment of the present invention includes: flickering a light source for a predetermined time according to a digital signal (S100); generating, by a plurality of cameras, a light source image by photographing a light source flickering for the predetermined time (S110); decoding each time code from the light source images generated by the plurality of cameras (S120); and synchronizing the time of a plurality of cameras according to the decoded time code (S130).

먼저, 디지털 신호에 따라 일정 시간 동안 광원이 점멸된다(S100).First, the light source flickers for a predetermined time according to the digital signal (S100).

광원부(110)는 디지털 신호에 따라 일정 시간 동안 광원(111)을 점멸시킬 수 있다. 광원부(110)는 빛이 점멸되는 광원(111)과 광원(111)의 점멸을 제어하는 광원 제어부(112)를 포함한다. 광원(111)은 LED 광원일 수 있으나, 이에 한정되는 것은 아니다. 광원(111)은 카메라(100)에 전용적으로 사용되지 않는 범용적으로 조명 기능을 제공하는 일반적인 광원에 해당한다. 광원(111)은 광원 제어부(112)에서 생성하는 디지털 신호에 대응하여 빛을 점멸(on/off)할 수 있다. 여기서, 디지털 신호는 바이너리 신호(binary signal)일 수 있으며, 1에 대응하여 빛을 점등(on)하고, 0에 대응하여 빛을 소등(off)할 수 있다. 광원 제어부(112)는 반송파(Carrier signal)를 변조하여 상술한 디지털 신호를 생성할 수 있다.The light source unit 110 may blink the light source 111 for a predetermined time according to a digital signal. The light source unit 110 includes a light source 111 for flickering light and a light source control unit 112 for controlling flickering of the light source 111 . The light source 111 may be an LED light source, but is not limited thereto. The light source 111 corresponds to a general light source that is not exclusively used for the camera 100 and provides a general lighting function. The light source 111 may turn on/off the light in response to the digital signal generated by the light source controller 112 . Here, the digital signal may be a binary signal, and may turn on the light in response to 1 and turn off the light in response to 0. The light source controller 112 may generate the above-described digital signal by modulating a carrier signal.

여기서, 상기 디지털 신호는 상기 복수의 카메라의 이미지 센서의 셔터 동작 방식에 대응하여 생성될 수 있다. Here, the digital signal may be generated corresponding to a shutter operation method of the image sensors of the plurality of cameras.

상기 복수의 카메라의 이미지 센서는 글로벌 셔터(Global Shutter) 방식인 경우, 디지털 신호는 상기 광원 영상의 프레임 레이트에 대응하여 상기 광원이 점멸되도록 생성될 수 있다. When the image sensors of the plurality of cameras use a global shutter method, a digital signal may be generated such that the light source blinks in response to a frame rate of the light source image.

또한, 상기 복수의 카메라의 이미지 센서는 픽셀이 열 단위 또는 행 단위로 순차적으로 노출되어 하나의 프레임에 대응하는 이미지를 생성하는 롤링 셔터(Rolling Shutter) 방식인 경우, 상기 디지털 신호는 노출 주기에 대응하여 상기 광원이 점멸되도록 생성될 수 있다.In addition, when the image sensor of the plurality of cameras is a rolling shutter method in which pixels are sequentially exposed in units of columns or rows to generate an image corresponding to one frame, the digital signal corresponds to the exposure period Thus, the light source may be generated to flicker.

다음으로, 복수의 카메라가, 상기 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 각각 생성한다(S110).Next, a plurality of cameras capture the light source flickering for the predetermined time to generate light source images, respectively ( S110 ).

복수의 카메라(100)는 일정 시간 동안 점멸하는 광원을 촬영하여 광원 영상을 생성할 수 있다. 광원 영상은 일정 시간 동안 광원이 점멸하는 동영상일 수 있다. 복수의 카메라(100)는 광원 영상을 각각 생성할 수 있으며, 복수의 카메라(100)에서 생성된 광원 영상은 시간 동기화가 수행되지 않은 상태일 수 있다. 생성된 광원 영상은 시간 동기화부(120)로 제공된다.The plurality of cameras 100 may generate a light source image by photographing a light source that flickers for a predetermined time. The light source image may be a moving image in which the light source flickers for a predetermined time. The plurality of cameras 100 may each generate light source images, and the light source images generated by the plurality of cameras 100 may be in a state in which time synchronization is not performed. The generated light source image is provided to the time synchronizer 120 .

다음으로, 상기 복수의 카메라에서 생성된 광원 영상에서 타임 코드를 각각 해독한다(S120).Next, time codes are decoded from the light source images generated by the plurality of cameras (S120).

시간 동기화부(120)는 생성된 광원 영상에서 타임 코드를 해독할 수 있다. 여기서, 타임 코드는 광원 영상에서 시간에 따른 광원의 점멸 여부를 나타내는 바이너리 코드에 해당한다. 즉, 시간 동기화부(120)는 광원 영상에서 빛이 관측되면 1, 빛이 관측되지 않으면 0이 되도록 해독하여 바이너리 코드를 시간에 따라 생성할 수 있다. The time synchronizer 120 may decode the time code from the generated light source image. Here, the time code corresponds to a binary code indicating whether the light source flickers according to time in the light source image. That is, the time synchronizer 120 may generate a binary code according to time by decoding it so that it becomes 1 when light is observed in the light source image and 0 when no light is observed.

복수의 카메라(100)의 이미지 센서가 글로벌 셔터(Global Shutter) 방식인 경우, 시간 동기화부(120)는 광원 영상의 프레임 단위로 타임 코드를 해독할 수 있다. 시간 동기화부(120)는 광원 영상을 프레임 단위로 분석하여, 한 프레임에서 빛이 관측되면 1, 빛이 관측되지 않으면 0이 되도록 해독하여 바이너리 코드를 시간에 따라 생성할 수 있다.When the image sensors of the plurality of cameras 100 use the global shutter method, the time synchronizer 120 may decode the time code in units of frames of the light source image. The time synchronizer 120 may analyze the light source image in units of frames, decode it so that it becomes 1 when light is observed in one frame and 0 when no light is observed to generate a binary code according to time.

복수의 카메라(100)의 이미지 센서가 롤링 셔터(Rolling Shutter) 방식인 경우, 시간 동기화부(120)는 한 프레임에 포함된 픽셀의 열 단위 또는 행 단위를 기준으로 타임 코드를 해독할 수 있다. 시간 동기화부(120)는 광원 영상의 하나의 프레임에서 픽 셀의 열 단위로 분석하여, 빛이 관측되면 1, 빛이 관측되지 않으면 0이 되도록 해독하여 바이너리 코드를 시간에 따라 생성할 수 있다.When the image sensors of the plurality of cameras 100 use a rolling shutter method, the time synchronizer 120 may decode the time code based on a column unit or a row unit of pixels included in one frame. The time synchronizer 120 may generate a binary code according to time by analyzing one frame of the light source image in units of columns of pixels and decoding it so that it becomes 1 when light is observed and 0 when light is not observed.

상기 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화한다(S130).The time of the plurality of cameras is synchronized according to the decoded time code (S130).

시간 동기화부(120)는 각각의 광원 영상에서 타임 코드를 각각 해독하고, 타임 코드를 기준으로 복수의 카메라(100)에서 생성되는 영상에 대한 시간 동기화를 진행할 수 있다. 광원부(110)에서 방출되는 빛은 기준 시점에서 일정 시간 동안 제공될 수 있다. 시간 동기화부(120)는 광원(111)에서 빛이 방출된 기준 시점을 기준으로 시간 동기화를 진행할 수 있다. 다만, 이에 한정되는 것은 아니며, 하나의 광원 영상을 기준으로 생성된 타임 코드에 다른 타임 코드를 일치시킬 수도 있다. 이러한 타임 코드의 시간 동기화를 기준으로 복수의 카메라(100)에서 생성된 영상에 대한 시간 동기화가 진행될 수 있다. 시간 동기화부(120)는 변경이 필요한 카메라들에서 생성된 이미지 파일의 메타 데이터의 시각을 동기화를 위해 수정할 수 있다.The time synchronizer 120 may decode a time code from each light source image, and perform time synchronization on images generated by the plurality of cameras 100 based on the time code. Light emitted from the light source unit 110 may be provided for a predetermined time at a reference time point. The time synchronization unit 120 may perform time synchronization based on a reference point in time when light is emitted from the light source 111 . However, the present invention is not limited thereto, and another time code may be matched with a time code generated based on one light source image. Based on the time synchronization of the time code, time synchronization of the images generated by the plurality of cameras 100 may be performed. The time synchronizer 120 may correct the time of the metadata of the image file generated by the cameras that need to be changed for synchronization.

본 발명의 일 실시예에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법은 카메라에 전용적으로 사용되지 않는 범용적으로 조명 기능을 제공하는 일반적인 광원을 활용하여 다중 카메라의 시간 동기화를 수행할 수 있다. 즉, 특정 카메라에 전용적으로 적용되는 하드웨어 또는 오디오 신호 등을 생성하는 기타 장치 없이도 카메라의 시간 동기화가 용이하게 진행될 수 있다.In the method for synchronizing time of multiple cameras using optical time code according to an embodiment of the present invention, time synchronization of multiple cameras can be performed by using a general light source that provides a universal lighting function that is not used exclusively for a camera. have. That is, time synchronization of the cameras can be easily performed without hardware or other devices that generate audio signals that are exclusively applied to a specific camera.

이상에서 설명한 실시예들에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The operation by the method of synchronizing the time of multiple cameras using the optical time code according to the embodiments described above may be at least partially implemented as a computer program and recorded in a computer-readable recording medium. All types of recording devices in which a program for implementing an operation by the time synchronization method of multiple cameras using an optical time code according to embodiments is recorded and a computer-readable recording medium stores computer-readable data includes Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which the present embodiment belongs.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the embodiments, the present invention should not be construed as being limited by these embodiments or drawings, and those skilled in the art will appreciate the spirit and scope of the present invention described in the claims below. It will be understood that various modifications and variations of the present invention can be made without departing from the scope of the present invention.

10: 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템
100: 카메라
110: 광원부
111: 광원
112: 광원 제어부
120: 시간 동기화부10: Multi-camera time synchronization system using optical time code
100: camera
110: light source unit
111: light source
112: light source control unit
120: time synchronization unit

Claims (10)

디지털 신호에 따라 일정 시간 동안 광원을 점멸시키는 광원부;
상기 일정 시간 동안 점멸하는 광원을 직접 촬영하여 광원 영상을 생성하는 복수의 카메라;
상기 복수의 카메라 각각에서 생성된 광원 영상에서 타임 코드를 해독하고, 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화하는 시간 동기화부; 및
상기 광원부는 상기 광원에 상기 디지털 신호를 제공하여 상기 광원의 점멸을 제어하는 광원 제어부를 포함하고,
상기 복수의 카메라의 이미지 센서가 글로벌 셔터(Global Shutter) 방식인 경우, 상기 광원 제어부는 OOK(On-Off Keying) 디지털 변조 방법을 사용하여 상기 광원 영상의 프레임 레이트에 대응하여 상기 광원이 점멸되도록 디지털 신호를 생성하고,
상기 복수의 카메라의 이미지 센서가 픽셀이 열 단위 또는 행 단위로 순차적으로 노출되어 하나의 프레임에 대응하는 이미지를 생성하는 롤링 셔터(Rolling Shutter) 방식인 경우, 상기 광원 제어부는 BPSK(Binary Phase Shift Keying) 디지털 변조 방법을 사용하여 픽셀 노출 주기에 대응하여 상기 광원이 점멸되도록 디지털 신호를 생성하는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템.a light source unit for flickering the light source for a predetermined time according to a digital signal;
a plurality of cameras to generate an image of the light source by directly photographing the light source that flickers for a predetermined time;
a time synchronizer for decoding a time code from the light source image generated by each of the plurality of cameras and synchronizing the times of the plurality of cameras according to the decoded time code; and
The light source unit includes a light source control unit for controlling the blinking of the light source by providing the digital signal to the light source,
When the image sensors of the plurality of cameras are of a global shutter method, the light source control unit uses an On-Off Keying (OOK) digital modulation method so that the light source blinks in response to the frame rate of the light source image. generate a signal,
When the image sensor of the plurality of cameras is a rolling shutter method in which pixels are sequentially exposed in columns or rows to generate an image corresponding to one frame, the light source controller is configured to perform binary phase shift keying (BPSK). ) A multi-camera time synchronization system using an optical time code that uses a digital modulation method to generate a digital signal so that the light source blinks in response to a pixel exposure cycle. 삭제delete 삭제delete 삭제delete 제1 항에 있어서,
상기 타임 코드는 상기 광원 영상에서 광원의 점멸 여부를 나타내는 바이너리 코드인 것을 특징으로 하는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템. According to claim 1,
The time code is a multi-camera time synchronization system using an optical time code, characterized in that the binary code indicating whether the light source blinks in the light source image. 디지털 신호에 따라 일정 시간 동안 광원이 점멸되는 단계;
복수의 카메라가, 상기 일정 시간 동안 점멸하는 광원을 직접 촬영하여 광원 영상을 각각 생성하는 단계;
상기 복수의 카메라에서 생성된 광원 영상에서 타임 코드를 각각 해독하는 단계; 및
상기 해독된 타임 코드에 따라 복수의 카메라의 시간을 동기화하는 단계를 포함하되,
상기 복수의 카메라의 이미지 센서가 글로벌 셔터(Global Shutter) 방식인 경우, 상기 디지털 신호는 OOK(On-Off Keying) 디지털 변조 방법을 통해 상기 광원 영상의 프레임 레이트에 대응하여 상기 광원이 점멸되도록 생성되고,
상기 복수의 카메라의 이미지 센서가 픽셀이 열 단위 또는 행 단위로 순차적으로 노출되어 하나의 프레임에 대응하는 이미지를 생성하는 롤링 셔터(Rolling Shutter) 방식인 경우, 상기 디지털 신호는 BPSK(Binary Phase Shift Keying) 디지털 변조 방법을 통해 픽셀 노출 주기에 대응하여 상기 광원이 점멸되도록 생성되는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법.flickering a light source for a predetermined time according to a digital signal;
generating, by a plurality of cameras, a light source image by directly photographing a light source that flickers for a predetermined time;
decoding time codes from the light source images generated by the plurality of cameras; and
Comprising the step of synchronizing the time of a plurality of cameras according to the decoded time code,
When the image sensor of the plurality of cameras is a global shutter method, the digital signal is generated such that the light source blinks in response to the frame rate of the light source image through an On-Off Keying (OOK) digital modulation method, ,
When the image sensor of the plurality of cameras is a rolling shutter method in which pixels are sequentially exposed in columns or rows to generate an image corresponding to one frame, the digital signal is BPSK (Binary Phase Shift Keying) ) A time synchronization method of multiple cameras using an optical time code generated so that the light source blinks in response to a pixel exposure cycle through a digital modulation method. 삭제delete 삭제delete 삭제delete 제6 항에 있어서,
상기 타임 코드는 상기 광원 영상에서 광원의 점멸 여부를 나타내는 바이너리 코드인 것을 특징으로 하는 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 방법.7. The method of claim 6,
The time code is a multi-camera time synchronization method using an optical time code, characterized in that the binary code indicating whether the light source blinks in the light source image.
KR1020200017342A 2020-02-13 2020-02-13 System and method for time synchronization of multiple cameras using optical time code KR102294524B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200017342A KR102294524B1 (en) 2020-02-13 2020-02-13 System and method for time synchronization of multiple cameras using optical time code

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200017342A KR102294524B1 (en) 2020-02-13 2020-02-13 System and method for time synchronization of multiple cameras using optical time code

Publications (2)

Publication Number Publication Date
KR20210103065A KR20210103065A (en) 2021-08-23
KR102294524B1 true KR102294524B1 (en) 2021-08-31

Family

ID=77489246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200017342A KR102294524B1 (en) 2020-02-13 2020-02-13 System and method for time synchronization of multiple cameras using optical time code

Country Status (1)

Country Link
KR (1) KR102294524B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047258A1 (en) * 2021-09-22 2023-03-30 Sony Group Corporation Electronic device and method for synchronization of videos

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344800A (en) * 2001-05-18 2002-11-29 Minolta Co Ltd Synchronized photographing method and photographing system
JP2012124574A (en) * 2010-12-06 2012-06-28 Toshiba Corp Network camera system and image information time synchronization method used for this
JP2014175931A (en) * 2013-03-11 2014-09-22 Canon Inc Photographing system, imaging apparatus, and control method therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344800A (en) * 2001-05-18 2002-11-29 Minolta Co Ltd Synchronized photographing method and photographing system
JP2012124574A (en) * 2010-12-06 2012-06-28 Toshiba Corp Network camera system and image information time synchronization method used for this
JP2014175931A (en) * 2013-03-11 2014-09-22 Canon Inc Photographing system, imaging apparatus, and control method therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047258A1 (en) * 2021-09-22 2023-03-30 Sony Group Corporation Electronic device and method for synchronization of videos
US11659132B2 (en) 2021-09-22 2023-05-23 Sony Group Corporation Electronic device and method for synchronization of videos

Also Published As

Publication number Publication date
KR20210103065A (en) 2021-08-23

Similar Documents

Publication Publication Date Title
US9847976B2 (en) Shared secret arrangements and optical data transfer
EP2805439B1 (en) Shared secret arrangements and optical data transfer
US9252879B2 (en) Visible light receiving method and apparatus using the same
US10284732B2 (en) Masking latency in USB photo capture
US10412291B2 (en) Intelligent interface for interchangeable sensors
JP4574185B2 (en) Image pickup apparatus and flash device control method
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
JP5339049B2 (en) Information restoration apparatus, information restoration method, and program
JP2009077057A (en) Imaging apparatus, and control method for imaging apparatus
CN110933337B (en) HDR image sensor with LED flicker mitigation and motion blur reduction
KR102294524B1 (en) System and method for time synchronization of multiple cameras using optical time code
KR20200016559A (en) Apparatus and method for generating a moving image data including multiple sections image of the electronic device
WO2018121110A1 (en) Focusing method, device and system utilized in photographic device
US8982228B2 (en) Device and a method for image acquisition
EP4002833B1 (en) Method and electronic device for increased dynamic range of an image
CN114205650A (en) Three-dimensional panoramic video picture synchronization method and device
CN110602359B (en) Image processing method, image processor, photographing device and electronic equipment
US11309962B2 (en) Device for image based services
JP2021034852A (en) Camera device
CN111314625A (en) Multi-signal-source safe transmission method
JP6655895B2 (en) Imaging device, control method therefor, program and system
EP2495972A1 (en) Monitoring device and method for monitoring a location
JP2010093601A (en) Recording apparatus and data processing method of video including flashing luminescent information
JP2013211644A (en) Image processor
JP2008259008A (en) Imaging apparatus

Legal Events

Date Code Title Description
GRNT Written decision to grant