KR101721085B1 - 촬영 장치 및 센서의 시간 동기화 장치 및 방법 - Google Patents

촬영 장치 및 센서의 시간 동기화 장치 및 방법 Download PDF

Info

Publication number
KR101721085B1
KR101721085B1 KR1020160054262A KR20160054262A KR101721085B1 KR 101721085 B1 KR101721085 B1 KR 101721085B1 KR 1020160054262 A KR1020160054262 A KR 1020160054262A KR 20160054262 A KR20160054262 A KR 20160054262A KR 101721085 B1 KR101721085 B1 KR 101721085B1
Authority
KR
South Korea
Prior art keywords
time
sensor
synchronization
sound
photographing
Prior art date
Application number
KR1020160054262A
Other languages
English (en)
Inventor
도락주
백인식
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020160054262A priority Critical patent/KR101721085B1/ko
Application granted granted Critical
Publication of KR101721085B1 publication Critical patent/KR101721085B1/ko

Links

Images

Classifications

    • H04N5/23203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2259—
    • H04N5/228—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 촬영 장치 및 연동 센서의 시간 동기화 장치는 사용자의 입력 조작에 따라 센서 및 촬영 장치 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 입력부; 상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시키는 소리 발생부; 및 상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 동기화부를 포함한다.

Description

촬영 장치 및 센서의 시간 동기화 장치 및 방법{DEVICE AND METHOD FOR TIME SYNCRONIZATION BETWEEN PHOTOGRAPHING APPARATUS AND SENSOR}
본 발명의 실시예들은 영상 장치의 동기화 기술에 관한 것으로, 더욱 상세하게는 특정 소리를 이용하여 촬영 장치와 센서의 시간 동기화를 수행하는 장치 및 방법에 관한 것이다.
캠코더들의 촬영 시작 시점을 동기화 시키는 것은 중요한 작업이다. 캡코더의 촬영을 위해 셔터를 동시에 누르는 것은 힘든 작업이다. 특히, 정확성을 요구하는 경우 더욱 힘들다. 스테레오 비젼을 이용하여 동영상을 촬영할 때, 촬영을 시작하는 시점이 1/60초 차이만 생겨도 영상이 이상해지며, 눈에 피로가 쌓인다.
최근에는 캠코더들의 촬영 시작 시점을 동기화 시키는 것이 더욱 중요하다. 가상현실(VR, Virtual Reality) 촬영 기술에도 똑같은 원리가 적용되기 때문이다. 고프로 등의 캠코더 여러 개를 이용해 가상현실(VR)을 위한 360도 영상(다면 영상)을 만드는 작업이 보편화 되고 있는데, 촬영을 시작하는 시점이 약간이라도 다르면 여러 캠코더로부터 나온 영상을 합쳐서 하나의 파노라마 영상을 만들 때 문제가 생긴다. 움직이는 물체나, 캠코더 자체의 움직임 때문에 영상이 흔들리고, 따라서 찍힌 영상이 달라지게 되어, 영상들을 잘 합치지 못하게 되어서 오차가 생긴다.
종래에는 저가형으로 와이파이(Wi-Fi)를 이용한 동기화 방법을 사용하였는데, 보통 0~20ms 정도의 촬영 시점 차이가 발생한다. 즉, 촬영 버튼을 누른다고 바로 촬영이 시작되는 것이 아니라 0~20ms 정도의 차이가 발생한다. 이는 가상현실(VR)이나 스테레오에서는 매우 치명적이다. 이러한 문제를 해결하기 위해 오디오 싱크를 사용하는 동기화 방법이 제안된 바 있다.
상기 동기화 방법에 의하면 촬영할 때 싱크로 소리(박수 소리 등)을 인위적으로 발생시키고, 이 파형을 사람이 일일이 분석하거나 소프트웨어를 통해 자동화하여 각 캠코더마다의 옵셋(Offset)을 조정한다. 각 옵셋을 알면 모든 영상 간 싱크(Sync)를 맞출 수 있다.
그러나, 위 동기화 방법처럼 소리를 이용하여 싱크를 하게 되면 외부 센서와 싱크가 불가능하다. 다시 말해, 위 동기화 방법의 경우, 촬영된 동영상 사이에 싱크는 맞출 수 있지만, 외부 센서와 정확하게 싱크하는 것은 매우 어렵다. 왜냐하면, 상기 외부 센서는 박수를 치는 시간을 감지할 수 없기 때문이다. 예를 들면, 라이다(LiDAR) 센서나 지피에스(GPS) 센서는 박수 소리를 감지할 수 없다.
이는 외부 센서를 활용하는 데 문제가 된다. 외부 센서를 사용 못하면 각종 동영상의 시간에 따른 GPS 태깅, LiDAR를 이용한 3D 360도 동영상 생성 등이 불가능하다. 특히, 요즘 각광받는 LiDAR를 이용한 3D 360도 동영상에 상용 캠코더를 쓸 수 없고, 이로 인해 고가의 장비를 써야 한다는 부담이 생긴다.
따라서, 인위적으로 특정 소리를 발생시키고, 촬영된 영상에서 파형을 분석하여 각 캠코더(촬영 장치)들의 싱크를 맞춤과 동시에, 외부 센서(촬영 장치와 연동하여 센싱 데이터를 감지하는 연동 센서)와도 동기화를 할 수 있는 촬영 장치 및 연동 센서의 시간 동기화 장치 및 방법의 개발이 필요한 실정이다.
관련 선행기술로는 대한민국 등록특허공보 제10-1121153호(발명의 명칭: 영상신호와 센서신호의 동기화 시스템 및 방법, 등록일자: 2012.02.21)가 있다.
본 발명의 일 실시예는 인위적으로 특정 소리를 발생시키고, 촬영된 영상 데이터의 파형을 분석하여 각 촬영 장치들의 동기화를 수행하고, 동시에 센서와도 동기화를 할 수 있는 촬영 장치 및 센서의 시간 동기화 장치 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 촬영 장치 및 센서의 시간 동기화 장치는 사용자의 입력 조작에 따라 센서 및 촬영 장치 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 입력부; 상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시키는 소리 발생부; 및 상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 동기화부를 포함한다.
바람직하게는, 상기 싱크 음파 신호의 발생 시점은 상기 기록 시작 신호의 전송 시점과 동일한 시점이거나, 상기 기록 시작 신호의 전송 시점으로부터 미리 결정된 제1 시간 간격 이후의 시점일 수 있다.
바람직하게는, 상기 동기화부는 상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하여 상기 적어도 하나의 촬영 장치의 동기화를 위한 제1 옵셋(offset) 정보를 계산하고, 상기 기록 시작 신호 전송 시점, 상기 제1 옵셋 정보 및 상기 적어도 하나의 센서별로 미리 결정된 제2 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행할 수 있다.
바람직하게는, 상기 음파의 포착 시점은 상기 싱크 음파 신호의 발생 시점과 동일한 시점이거나,상기 싱크 음파 신호의 발생 시점으로부터 미리 결정된 제2 시간 간격 이후의 시점일 수 있다.
바람직하게는, 상기 입력부는 상기 기록 시작 신호를 생성하여 적어도 하나의 센서 및 상기 적어도 하나의 촬영 장치에게 전송하고, 상기 촬영 장치는 상기 기록 시작 신호가 수신되면 상기 제1 옵셋 정보에 해당하는 시간이 지난 후에 상기 영상 데이터 촬영을 시작할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 시간 동기화 장치는 상기 기록 시작 신호의 전송 시점 및 상기 음파의 포착 시점을 기록하는 저장부를 더 포함하고, 상기 동기화부는 상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호 에 대응되는 음파의 포착 시점을 획득하고, 상기 음파의 포착 시점 및 상기 적어도 하나의 촬영 장치의 촬영 시작 시점에 기초하여 상기 제1 옵셋 정보를 계산하며, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점을 동기화하는 영상 동기화 연산부; 상기 기록 시작 신호의 전송 시점을 기준으로 하는 상기 제2 옵셋 정보를 미리 기록하고, 상기 제2 옵셋 정보를 이용하여 상기 적어도 하나의 센서의 센싱 시점을 동기화하는 센서 동기화 연산부; 및 상기 동기화된 촬영 시점과 상기 동기화된 센싱 시점을 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 통합 동기화 연산부를 포함할 수 있다.
바람직하게는, 상기 영상 동기화 연산부는 상기 적어도 하나의 촬영 장치로부터 상기 영상 데이터를 획득하고, 상기 영상 데이터의 파형을 분석하고, 상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 음량 레벨, 패턴, 및 주파수 중 적어도 하나를 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득할 수 있다.
바람직하게는, 상기 영상 동기화 연산부는 상기 촬영 장치가 복수개인 경우, 상기 복수개의 촬영 장치에 의해 촬영된 각각의 영상 데이터로부터 상기 특정 소리에 대응되는 음파의 포착 시점을 획득하고, 상기 음파의 포착 시점 및 상기 촬영 장치 각각의 촬영 시작 시점에 기초하여 상기 각각의 영상 데이터별로 상기 제1 옵셋 정보를 계산하며, 상기 영상 데이터별 제1 옵셋 정보를 이용하여 상기 복수개의 촬영 장치 간 시작 시간의 오차를 보정하여 동기화를 수행할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 시간 동기화 장치는 동기화된 상기 영상 데이터 및 상기 센싱 데이터를 합성하여 동기화된 합성 데이터를 출력하는 합성부를 더 포함할 수 있다.
바람직하게는, 상기 기록 시작 신호는 전기 신호, 부호, 패킷 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 싱크 음파 신호는 특정 음량 이상의 소리, 특정 패턴의 소리, 특정 주파수의 소리, 또는 미리 녹음된 소리 중 적어도 하나를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일실예에 따른 촬영 장치 및 센서의 시간 동기화 장치를 이용한 시간 동기화 방법은 상기 시간 동기화 장치의 입력부에서 사용자의 입력 조작에 따라 센서 및 촬영 장치 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 단계; 상기 시간 동기화 장치의 소리 발생부에서, 상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시키는 단계; 및 상기 시간 동기화 장치의 동기화부에서, 상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 단계를 포함한다.
바람직하게는, 상기 싱크 음파 신호의 발생 시점은 상기 기록 시작 신호의 전송 시점과 동일한 시점이거나, 상기 기록 시작 신호의 전송 시점으로부터 미리 결정된 제1 시간 간격 이후의 시점일 수 있다.
바람직하게는, 상기 시간 동기화를 수행하는 단계는 상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하여 상기 적어도 하나의 촬영 장치의 동기화를 위한 제1 옵셋(offset) 정보를 계산하는 단계; 및 상기 기록 시작 신호 전송 시점, 상기 제1 옵셋 정보 및 상기 적어도 하나의 센서별로 미리 결정된 제2 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 단계를 포함할 수 있다.
바람직하게는, 상기 음파의 포착 시점은 상기 싱크 음파 신호의 발생 시점과 동일한 시점이거나, 상기 싱크 음파 신호의 발생 시점으로부터 미리 결정된 제2 시간 간격 이후의 시점일 수 있다.
바람직하게는, 상기 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 단계는 상기 기록 시작 신호를 생성하여 상기 적어도 하나의 센서 및 상기 적어도 하나의 촬영 장치에게 전송하는 단계를 포함하고, 상기 촬영 장치는 상기 기록 시작 신호가 수신되면 상기 제1 옵셋 정보에 해당하는 시간이 지난 후에 상기 영상 데이터 촬영을 시작할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 시간 동기화 방법은 상기 기록 시작 신호의 전송 시점 및 상기 음파의 포착 시점을 기록하는 단계 를 더 포함하고, 상기 시간 동기화를 수행하는 단계는 상기 동기화부의 영상 동기화 연산부에서, 상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하는 단계; 상기 영상 동기화 연산부에서, 상기 음파의 포착 시점 및 상기 적어도 하나의 촬영 장치의 촬영 시작 시점에 기초하여 상기 제1 옵셋 정보를 계산하는 단계; 상기 영상 동기화 연산부에서, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점을 동기화하는 단계; 상기 동기화부의 센서 동기화 연산부에서, 상기 제2 옵셋 정보를 미리 기록하는 단계; 상기 센서 동기화 연산부에서, 상기 기록 시작 신호의 전송 시점을 기준으로 하는 상기 제2 옵셋 정보를 이용하여 상기 적어도 하나의 센서의 센싱 시점을 동기화하는 단계; 및 상기 동기화된 촬영 시점과 상기 동기화된 센싱 시점을 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 단계를 포함할 수 있다.
바람직하게는, 상기 음파의 포착 시점을 획득하는 단계는 상기 적어도 하나의 촬영 장치로부터 상기 영상 데이터를 획득하는 단계; 상기 영상 데이터의 파형을 분석하는 단계; 상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 음량 레벨, 패턴, 및 주파수 중 적어도 하나를 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득하는 단계를 포함할 수 있다.
바람직하게는, 상기 촬영 장치가 복수개인 경우, 상기 영상 동기화 연산부에서, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점을 동기화하는 단계는 상기 영상 데이터별 제1 옵셋 정보를 이용하여 상기 복수개의 촬영 장치 간 시작 시간의 오차를 보정하여 동기화를 수행하는 단계를 포함할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 시간 동기화 방법은 상기 시간 동기화 장치의 합성부에서, 동기화된 상기 영상 데이터 및 상기 센싱 데이터를 합성하여 동기화된 합성 데이터를 출력하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 기록 시작 신호는 전기 신호, 부호, 패킷 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 싱크 음파 신호는 특정 음량 이상의 소리, 특정 패턴의 소리, 특정 주파수의 소리, 또는 미리 녹음된 소리 중 적어도 하나를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 인위적으로 특정 소리를 발생시키고, 촬영된 영상 데이터의 파형을 분석하여 각 촬영 장치들의 동기화를 수행하고, 동시에 센서와도 동기화를 할 수 있다.
본 발명의 일 실시예에 따르면, 특정 소리를 이용하여 촬영 장치의 촬영 시점과 센서의 센싱 시점을 동기화함으로써, 촬영 장치에 의해 촬영된 영상 데이터와 센서에 의해 감지된 센싱 데이터 간의 싱크를 정확히 맞출 수 있으며, 이를 통해 GPS 센서를 이용한 각종 동영상의 시간에 따른 위치 정보 태깅(tagging)이나 LiDAR 센서를 이용한 3D 360도 동영상 생성 등의 작업을 저렴한 비용으로 간단하면서도 정확히 수행할 수 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 촬영 장치 및 센서의 시간 동기화 장치의 전체 구성을 설명하기 위해 도시한 블록도이다.
도 3은 도 2의 동기화부의 상세 구성을 도시한 블록도이다.
도 4a는 촬영 장치와 센서의 시간 동기화 과정의 일 실시예를 설명하기 위해 도시한 도면이다.
도 4b는 촬영 장치와 센서의 시간 동기화 과정의 다른 실시예를 설명하기 위해 도시한 도면이다.
도 4c는 촬영 장치와 센서의 시간 동기화 과정의 또 다른 실시예를 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 촬영 장치 및 센서의 시간 동기화 방법을 설명하기 위해 도시한 흐름도이다.
도 6은 동기화부가 촬영 장치와 센서 상호간의 시간 동기화를 수행하는 동작을 설명하기 위하여 도시한 흐름도이다.
도 7은 영상 동기화 연산부가 음파의 포착 시점을 획득하는 동작을 설명하기 위하여 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 촬영 장치 및 센서의 시간 동기화 장치의 전체 구성을 설명하기 위해 도시한 블록도이다.
도 1 내지 도 2를 참조하면, 본 발명의 일 실시예에 따른 촬영 장치 및 센서의 시간 동기화 장치(110)는 입력부(210), 저장부(220), 소리 발생부(230), 동기화부(240), 합성부(250), 및 제어부(260)를 포함할 수 있다.
상기 입력부(210)는 사용자의 입력 조작에 따라 센서(130) 및 촬영 장치(120) 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서(130)에게 전송한다. 이때, 상기 기록 시작 신호는 전기 신호, 부호, 패킷 중 적어도 하나를 포함할 수 있다.
다른 실시예에서는, 상기 입력부(210)는 상기 기록 시작 신호를 생성하여 적어도 하나의 센서(130) 뿐만 아니라 상기 적어도 하나의 촬영 장치(120)에게도 함께 전송할 수 있다. 이때, 상기 촬영 장치(120)는 상기 기록 시작 신호를 수신하면 제1 옵셋 정보에 해당하는 시간이 지난 후에 상기 영상 데이터 촬영을 시작하게 되는데, 제1 옵셋 정보는 상기 촬영 장치(120)가 상기 영상 데이터를 촬영할 때마다 매번 새롭게 계산될 수도 있고, 상기 촬영 장치(120)에 대해 최초 한 번만 계산될 수도 있다.
또한, 적어도 하나의 센서(130)는 상기 기록 시작 신호를 수신하면 제2 옵셋(offset) 정보에 해당하는 시간이 지난 후에 센서의 작동(기록)을 시작하는데, 제2 옵셋 정보는 각각의 센서(130)별로 미리 측정하여 결정된 값이다. 다만, 다른 실시예에서는 제2 옵셋 정보도 센서(130)가 센싱을 할 때마다 측정될 수도 있다.
한편, 기록 시작 신호가 센서(130)에게만 전송되는 경우에는 촬영 장치(120)에 작동 시작을 위한 신호가 전송되지 않게 되므로, 사용자가 별도로 촬영 장치(120)에 탑재된 셔터 등을 이용하여 촬영 장치(120)에게 작동 시작 신호를 전달할 수 있다.
상기 입력부(210)는 사용자의 입력 조작을 위한 입력 인터페이스부(미도시)를 포함할 수 있다. 상기 입력 인터페이스부는 예컨대 버튼 등의 형태로 구현될 수 있다. 사용자가 상기 입력 인터페이스부의 버튼을 누르면, 상기 입력부(210)는 상기 기록 시작 신호를 생성하여 센서(130) 및 촬영 장치(120) 등에게 전송할 수 있다.
상기 저장부(220)는 상기 기록 시작 신호의 전송 시점 및 상기 싱크 음파 신호에 대응되는 음파의 포착시점을 기록할 수 있다.
상기 소리 발생부(230)는 상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시킨다. 보다 구체적으로는, 소리 발생부(230)는 상기 기록 시작 신호의 전송과 동시에 상기 싱크 음파 신호를 발생시킬 수도 있고, 상기 기록 시작 신호의 전송 시점으로부터 미리 결정된 제1 시간 간격 이후의 시점에 싱크 음파 신호를 발생시킬 수도 있다. 이때, 상기 기록 시작 신호의 전송 시점과 상기 싱크 음파 신호의 발생 시점간의 제1 시간 간격은 미리 결정된 값으로 고정된 값이다.
이를 위해, 상기 소리 발생부(230)는 도면에는 도시되지 않았지만, 음파를 발생시키는 컴퓨터 장치 또는 기계 장치와, 상기 발생된 음파를 상기 특정 소리로 출력하는 스피커를 포함할 수 있다.
여기서, 제1 시간 간격은 스피커 등의 응답 특성에 따라 발생할 수도 있고, 사용자의 설정에 의해 임의의 시간 간격(예컨대, 기록 시작 신호의 전송 시점으로부터 5초 후 등)으로 결정될 수도 있다.
여기서, 상기 싱크 음파 신호는 특정 음량 이상의 소리, 특정 패턴의 소리, 특정 주파수의 소리, 또는 미리 녹음된 소리 중 적어도 하나를 포함할 수 있다. 상기 싱크 음파 신호는 상기 스피커를 통해 출력되어 상기 촬영 장치(120)에 의해 촬영된 영상 데이터에 포함될 수 있다.
상기 싱크 음파 신호는 앞서 언급한 바와 같이 특정 음량 이상의 소리, 특정 패턴의 소리, 특정 주파수의 소리, 또는 미리 녹음된 소리 등과 같이 다른 소리들과 구별되는 소리이기 때문에, 상기 영상 데이터의 분석을 통해 포착될 수 있다.
상기 영상 데이터에서 상기 싱크 음파 신호에 대응되는 음파의 포착 시점은 본 실시예에서 상기 촬영 장치(120)와 상기 센서(130)의 시간 동기화를 수행하는 데에 있어서 중요한 파라미터로 작용할 수 있는데, 이에 대한 자세한 설명은 후술하는 동기화부(240)의 설명 시 자세히 살펴보기로 한다.
상기 동기화부(240)는 상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치(120)의 촬영 시점 및 상기 적어도 하나의 센서(130)의 센싱 시점 상호간에 대한 시간 동기화를 수행한다.
구체적으로, 상기 동기화부(240)는 상기 적어도 하나의 촬영 장치(120)에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하여 상기 적어도 하나의 촬영 장치(120)의 동기화를 위한 제1 옵셋(offset) 정보를 계산하고, 상기 기록 시작 신호 전송 시점, 상기 제1 옵셋 정보 및 상기 적어도 하나의 센서(130)별로 미리 결정된 제2 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치(120)의 촬영 시점 및 상기 적어도 하나의 센서(130)의 센싱 시점 상호간에 대한 시간 동기화를 수행할 수 있다.
이를 위해, 상기 동기화부(240)는 도 3에 도시된 바와 같이, 영상 동기화 연산부(310), 센서 동기화 연산부(320) 및 통합 동기화 연산부(330)를 포함할 수 있다. 참고로, 도 3은 도 2의 동기화부(240)의 상세 구성을 도시한 블록도이다.
상기 영상 동기화 연산부(310)는 상기 촬영 장치(120)에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득할 수 있다.
즉, 상기 영상 동기화 연산부(310)는 상기 적어도 하나의 촬영 장치(120)로부터 상기 영상 데이터를 획득하고, 상기 영상 데이터의 파형을 분석할 수 있다. 그리고, 상기 영상 동기화 연산부(310)는 상기 파형의 분석 결과에 기초하여 상기 특정 소리에 가장 가까운(유사한) 음파를 포착함으로써, 상기 음파의 포착 시점을 획득할 수 있다.
예를 들면, 상기 영상 동기화 연산부(310)는 상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 음량 레벨을 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득할 수 있다. 또는, 상기 영상 동기화 연산부(310)는 상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 패턴을 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득할 수 있다. 또는, 상기 영상 동기화 연산부(310)는 상기 특정 소리와 가장 유사한 주파수를 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득할 수 있다.
상기 영상 동기화 연산부(310)는 상기 음파의 포착 시점 및 상기 적어도 하나의 촬영 장치(120)의 촬영 시작 시점에 기초하여 상기 제1 옵셋 정보를 계산할 수 있다.
구체적으로, 상기 촬영 장치(120)는 상기 기록 시작 신호를 전송받아 촬영을 시작하거나 사용자의 수동 조작에 의해 촬영을 시작하는데, 이때 상기 기록 시작 신호의 전송 시점과 실제로 촬영이 시작되는 촬영 시작 시점에는 차이가 발생한다.
따라서, 상기 영상 동기화 연산부(310)는 상기 음파의 포착 시점과 상기 촬영 시작 시점 간의 시간 차이를 계산하고, 상기 계산된 시간 차이에 기초하여 상기 제1 옵셋 정보(offset)를 계산할 수 있다.
상기 영상 동기화 연산부(310)는 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치(120)의 촬영 시점을 동기화할 수 있다.
이로써, 상기 영상 동기화 연산부(310)는 적어도 하나의 촬영 장치(120)에서 촬영된 영상 데이터를 동기화하여 출력할 수 있다.
한편, 상기 촬영 장치(120)를 이용하여 가상현실(VR)을 위한 360도 영상을 만드는 작업 등을 할 때에는 상기 촬영 장치(120)가 복수개 필요하다.
이처럼 상기 촬영 장치(120)가 복수개인 경우, 상기 영상 동기화 연산부(310)는 상기 복수개의 촬영 장치(120)에 의해 촬영된 각각의 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득할 수 있다.
상기 영상 동기화 연산부(310)는 상기 음파의 포착 시점 및 상기 촬영 장치(120) 각각의 촬영 시작 시점에 기초하여 상기 각각의 영상 데이터별로 상기 제1 옵셋 정보를 계산할 수 있다.
상기 영상 동기화 연산부(310)는 상기 영상 데이터별 제1 옵셋 정보를 이용하여 상기 복수개의 촬영 장치(120)간 시작 시간의 오차를 보정하여 동기화를 수행할 수 있다.
상기 센서 동기화 연산부(320)는 상기 기록 시작 신호의 전송 시점을 기준으로 하는 상기 제2 옵셋 정보를 미리 기록한다. 이때, 상기 센서 동기화 연산부(320)는 상기 센서(130)가 복수개일 경우 각 센서(130)별로 상기 제2 옵셋 정보를 메모리에 미리 기록해놓을 수 있다.
상기 센서 동기화 연산부(320)는 상기 제2 옵셋 정보를 이용하여 상기 적어도 하나의 센서(130)의 센싱 시점을 동기화할 수 있다.
이로써, 상기 센서 동기화 연산부(320)는 동기화된 센싱 데이터를 출력할 수 있다.
상기 통합 동기화 연산부(330)는 상기 동기화된 촬영 시점과 상기 동기화된 센싱 시점을 이용하여 상기 적어도 하나의 촬영 장치(120)의 촬영 시점 및 상기 적어도 하나의 센서(130)의 센싱 시점 상호간에 대한 시간 동기화를 수행한다.
상기 합성부(250)는 동기화된 상기 영상 데이터 및 상기 센싱 데이터를 합성하여 동기화된 합성 데이터를 출력할 수 있다.
이로써, 본 발명의 일 실시예에 따르면, 상기 기록 시작 신호 및 상기 싱크 음파 신호를 이용하여 상기 촬영 장치(120)의 촬영 시점과 상기 센서(130)의 센싱 시점을 동기화함으로써, 상기 촬영 장치(120)에 의해 촬영된 영상 데이터와 상기 센서(130)에 의해 감지된 센싱 데이터 간의 싱크를 정확히 맞출 수 있으며, 이를 통해 GPS 센서를 이용한 각종 동영상의 시간에 따른 위치 정보 태깅이나 LiDAR 센서를 이용한 3D 360도 동영상 생성 등의 작업을 저렴한 비용으로 간단하면서도 정확히 수행할 수 있다.
상기 제어부(260)는 본 발명의 일 실시예에 따른 촬영 장치 및 연동 센서의 시간 동기화 장치(110), 즉 상기 입력부(210), 상기 저장부(220), 상기 소리 발생부(230), 상기 동기화부(240), 상기 합성부(250) 등의 동작을 전반적으로 제어할 수 있다.
도 4a 내지 도 4c는 촬영 장치와 센서의 시간 동기화 과정을 설명하기 위해 도시한 도면이다.
먼저, 도 4a는 기록 시작 신호를 카메라에 전달하는 경우에 촬영 장치(카메라 1, 2, 3)와 센서(LIDAR, GPS)의 시간 동기화를 위한 옵셋 정보를 계산하는 과정에 대한 실시예이다.
도 4a에서, A는 외부센서 1(LIDAR)의 옵셋 정보(제2 옵셋 정보)이고, B는 외부센서 2(GPS)의 옵셋 정보(제2 옵셋 정보)이다. A, B는 측정을 하거나, 미리 알고 있는 고정된 값이다. 카메라 1, 2, 3의 촬영 시작 시점은 상기 기록 시작 시점(T1)과 상기 싱크 음파 신호(T2) 사이의 임의의 시점이 되는데, 이는 저가 카메라의 경우 열약한 싱크 기능으로 인하여, 기록 시작 신호에 의해 카메라 1, 2, 3에 동시에 촬영 명령을 내려도 동시에 촬영이 시작되지 않기 때문이다.
도 4a에서, 싱크 음파 신호의 포착 시점은 싱크 음파 신호의 발생 시점(T2)과 같거나, 상기 싱크 음파 신호 발생 시점(T2)으로부터 미리 결정된 제2 시간 간격 G(예컨대, G=0.1초) 이후에 포착되었다고 가정하여 동기화를 한다. 여기서, 싱크 음파 신호의 포착 시점은 카메라 1, 2, 3 각각에서 촬영된 영상 데이터에서 촬영이 시작된 시점을 기준으로 싱크 음파 신호에 대응되는 음파가 포착된 시점을 의미한다.
도 4a와 같이, 상기 기록 시작 신호를 카메라에 전달하는 경우에 싱크 되는 시점은 상기 외부센서 1(LIDAR)의 경우 기록물에서 C-A인 시점(또는 C-A+G인 시점), 상기 외부센서 2(GPS)의 경우 기록물에서 C-B인 시점(또는 C-B+G인 시점), 카메라 1의 경우 영상 데이터(기록물)의 촬영 시작 시점을 기준으로 D인 시점(또는 D+G인 시점), 카메라 2의 경우 영상 데이터의 촬영 시작 시점을 기준으로 E인 시점(또는 E+G인 시점), 카메라 3의 경우 영상 데이터의 촬영 시작 시점을 기준으로 F인 시점(또는 F+G인 시점)이 될 수 있다.
본 실시예에서는 상기 싱크 되는 시점을 통해 카메라 1, 2, 3의 동기화를 위한 제1 옵셋 정보를 계산할 수 있으며, 상기 제1 옵셋 정보 및 상기 제2 옵셋 정보를 이용하여 상기 기록 시작 신호 발생 시점(T1) 및 상기 싱크 음파 신호 발생 시점(T2)를 이용하여 싱크를 하면, 상기 카메라 1, 2, 3 의 촬영 시점 및 상기 외부센서 1, 2의 센싱 시점에 대한 시간 동기화를 수행할 수 있다.
다음으로, 도 4b는 기록 시작 신호를 카메라에 직접 전달하지 않는 경우에 촬영 장치(카메라 1, 2, 3)와 센서(LIDAR, GPS)의 시간 동기화 과정에 대한 실시예이다. 본 실시예에서는 상기 기록 시작 신호의 발생 시점(T1)과 상기 싱크 음파 신호 발생 시점(T2) 사이에 카메라를 수동으로 조작하거나, 상기 기록 시작 신호와 전기적으로 연결되지 않은 별개의 셔터를 이용하여 카메라 1, 2, 3의 촬영을 시작할 수 있다.
도 4b에서, A는 외부센서 1(LIDAR)의 옵셋 정보(제2 옵셋 정보)이고, B는 외부센서 2(GPS)의 옵셋 정보(제2 옵셋 정보)이다. 카메라 1, 2, 3의 촬영 시작 시점은 상기 기록 시작 시점(T1)과 상기 싱크 음파 신호(T2) 사이의 임의의 시점이다.
도 4b에서, 음성 신호(싱크 음파 신호) 포착 시점은 싱크 음파 신호 발생 시점(T2)과 같거나, 상기 싱크 음파 신호 발생 시점(T2)으로부터 미리 결정된 제2 시간 간격 G(예컨대, G=0.1초) 이후에 포착되었다고 가정하여 동기화를 한다.
도 4b와 같이, 상기 기록 시작 신호를 카메라에 직접 전달하지 않는 경우에, 싱크 되는 시점은 상기 외부센서 1(LIDAR)의 경우 기록물에서 C-A인 시점(또는 C-A+G인 시점), 상기 외부센서 2(GPS)의 경우 기록물에서 C-B인 시점(또는 C-B+G인 시점), 카메라 1의 경우 영상 데이터의 촬영 시작 시점을 기준으로 D인 시점(또는 D+G인 시점), 카메라 2의 경우 영상 데이터의 촬영 시작 시점을 기준으로 E인 시점(또는 E+G인 시점), 카메라 3의 경우 영상 데이터의 촬영 시작 시점을 기준으로 F인 시점(또는 F+G인 시점)이 될 수 있다.
본 실시예에서는 상기 제1 옵셋 정보 및 상기 제2 옵셋 정보를 이용하여 상기 기록 시작 신호 발생 시점(T1) 또는 상기 싱크 음파 신호 발생 시점(T2)를 기준으로 싱크를 하면, 상기 카메라 1, 2, 3 의 촬영 시점 및 상기 외부센서 1, 2의 센싱 시점에 대한 시간 동기화를 수행할 수 있다.
다음으로, 도 4c는 기록 시작 신호 발생 시점이 싱크 음파 신호 발생 시점과 일치하는 경우에 촬영 장치(카메라 1, 2, 3)와 센서(LIDAR, GPS)의 시간 동기화 과정에 대한 실시예이다. 본 실시예에서는 카메라 1, 2, 3이 상기 기록 시작 신호 발생 시점(T1) 이전에 녹화 중인 것으로 가정한다.
도 4c에서, A는 외부센서 1(LIDAR)의 옵셋 정보(제2 옵셋 정보)이고, B는 외부센서 2(GPS)의 옵셋 정보(제2 옵셋 정보)이다. 도 4c에서, 싱크 음파 신호의 포착 시점은 싱크 음파 신호 발생 시점(T2)과 같거나, 상기 싱크 음파 신호 발생 시점(T2)으로부터 미리 결정된 제2 시간 간격 G(예컨대, G=0.1초) 이후에 포착되었다고 가정하여 동기화를 한다.
도 4c와 같이, 기록 시작 신호 발생 시점이 싱크 음파 신호 발생 시점과 일치하는 경우에, 싱크 되는 시점은 상기 외부센서 1(LIDAR)의 경우 기록물에서 -A인 시점(또는 -A+G인 시점), 상기 외부센서 2(GPS)의 경우 기록물에서 -B인 시점(또는 -B+G인 시점), 카메라 1의 경우 영상 데이터의 촬영 시작 시점을 기준으로 D인 시점(또는 D+G인 시점), 카메라 2의 경우 영상 데이터의 촬영 시작 시점을 기준으로 E인 시점(또는 E+G인 시점), 카메라 3의 경우 영상 데이터의 촬영 시작 시점을 기준으로 F인 시점(또는 F+G인 시점)이 될 수 있다.
본 실시예에서는 상기 제1 옵셋 정보 및 상기 제2 옵셋 정보를 이용하여 상기 기록 시작 신호 발생 시점(T1) 또는 상기 싱크 음파 신호 발생 시점(T2)를 기준으로 싱크를 하면, 상기 카메라 1, 2, 3 의 촬영 시점 및 상기 외부센서 1, 2의 센싱 시점에 대한 시간 동기화를 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 촬영 장치 및 센서의 시간 동기화 방법을 설명하기 위해 도시한 흐름도이다. 상기 시간 동기화 방법은 도 1 및 도 2의 시간 동기화 장치(110)에 의해 수행될 수 있다.
단계 510에서는, 상기 시간 동기화 장치(110)의 입력부(210)에서 사용자의 입력 조작에 따라 센서(130) 및 촬영 장치(120) 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서(130)에게 전송한다.
단계 520에서는, 상기 시간 동기화 장치(110)의 소리 발생부(230)에서, 상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시킨다.
단계 530에서는, 상기 시간 동기화 장치(110)의 동기화부(240)에서, 상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치(120)의 촬영 시점 및 상기 적어도 하나의 센서(130)의 센싱 시점 상호간에 대한 시간 동기화를 수행한다.
여기서, 동기화부(240)가 촬영 장치와 센서 상호간의 시간 동기화를 수행하는 구체적인 동작은 도 6을 참조하여 후술한다.
도 6은 동기화부가 촬영 장치와 센서 상호간의 시간 동기화를 수행하는 동작을 설명하기 위하여 도시한 흐름도이다.
단계 610에서는, 상기 영상 동기화 연산부(310)에서, 상기 적어도 하나의 촬영 장치(120)에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득한다.
여기서, 음파의 포착 시점을 획득하는 동작에 대해서는 도 7을 참고하여 후술한다.
단계 620에서는, 상기 영상 동기화 연산부(310)에서, 상기 음파의 포착 시점 및 상기 적어도 하나의 촬영 장치(120)의 촬영 시작 시점에 기초하여 상기 제1 옵셋 정보를 계산한다.
단계 630에서는, 상기 영상 동기화 연산부(310)에서, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치(120)의 촬영 시점을 동기화한다.
단계 640에서는, 상기 센서 동기화 연산부(320)에서, 상기 기록 시작 신호의 전송 시점을 기준으로 하는 상기 제2 옵셋 정보를 이용하여 상기 적어도 하나의 센서(130)의 센싱 시점을 동기화한다.
단계 650에서는, 상기 통합 동기화 연산부(330)에서, 상기 동기화된 촬영 시점과 상기 동기화된 센싱 시점을 이용하여 상기 적어도 하나의 촬영 장치(120)의 촬영 시점 및 상기 적어도 하나의 센서(130)의 센싱 시점 상호간에 대한 시간 동기화를 수행한다.
도 7은 영상 동기화 연산부가 음파의 포착 시점을 획득하는 동작을 설명하기 위하여 도시한 흐름도이다.
단계 710에서는, 상기 영상 동기화 연산부(310)에서, 상기 적어도 하나의 촬영 장치로부터 상기 영상 데이터를 획득한다.
단계 720에서는, 상기 영상 동기화 연산부(310)에서, 상기 영상 데이터의 파형을 분석한다.
단계 730에서는, 상기 영상 동기화 연산부(310)에서, 상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 음량 레벨, 패턴, 및 주파수 중 적어도 하나를 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득한다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110: 시간 동기화 장치
120: 촬영 장치
130: 센서
210: 입력부
220: 저장부
230: 소리 발생부
240: 동기화부
250: 합성부
260: 제어부
310: 영상 동기화 연산부
320: 센서 동기화 연산부

Claims (22)

  1. 사용자의 입력 조작에 따라 센서 및 촬영 장치 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 입력부;
    상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시키는 소리 발생부; 및
    상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 동기화부
    를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  2. 제1항에 있어서,
    상기 싱크 음파 신호의 발생 시점은
    상기 기록 시작 신호의 전송 시점과 동일한 시점이거나,
    상기 기록 시작 신호의 전송 시점으로부터 미리 결정된 제1 시간 간격 이후의 시점인 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  3. 제1항에 있어서,
    상기 동기화부는
    상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하여 상기 적어도 하나의 촬영 장치의 동기화를 위한 제1 옵셋(offset) 정보를 계산하고,
    상기 기록 시작 신호 전송 시점, 상기 제1 옵셋 정보 및 상기 적어도 하나의 센서별로 미리 결정된 제2 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  4. 제3항에 있어서,
    상기 음파의 포착 시점은
    상기 싱크 음파 신호의 발생 시점과 동일한 시점이거나,
    상기 싱크 음파 신호의 발생 시점으로부터 미리 결정된 제2 시간 간격 이후의 시점인 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  5. 제3항에 있어서,
    상기 입력부는 상기 기록 시작 신호를 생성하여 적어도 하나의 센서 및 상기 적어도 하나의 촬영 장치에게 전송하고,
    상기 촬영 장치는 상기 기록 시작 신호가 수신되면 상기 제1 옵셋 정보에 해당하는 시간이 지난 후에 상기 영상 데이터 촬영을 시작하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  6. 제1항에 있어서,상기 기록 시작 신호의 전송 시점 및 상기 음파의 포착 시점을 기록하는 저장부
    를 더 포함하고,
    상기 동기화부는
    상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호 에 대응되는 음파의 포착 시점을 획득하고, 상기 음파의 포착 시점 및 상기 적어도 하나의 촬영 장치의 촬영 시작 시점에 기초하여 제1 옵셋 정보를 계산하며, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점을 동기화하는 영상 동기화 연산부;
    상기 기록 시작 신호의 전송 시점을 기준으로 하는 제2 옵셋 정보를 미리 기록하고, 상기 제2 옵셋 정보를 이용하여 상기 적어도 하나의 센서의 센싱 시점을 동기화하는 센서 동기화 연산부; 및
    상기 동기화된 촬영 시점과 상기 동기화된 센싱 시점을 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 통합 동기화 연산부
    를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  7. 제6항에 있어서,
    상기 영상 동기화 연산부는
    상기 적어도 하나의 촬영 장치로부터 상기 영상 데이터를 획득하고, 상기 영상 데이터의 파형을 분석하고, 상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 음량 레벨, 패턴, 및 주파수 중 적어도 하나를 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  8. 제6항에 있어서,
    상기 영상 동기화 연산부는
    상기 촬영 장치가 복수개인 경우, 상기 복수개의 촬영 장치에 의해 촬영된 각각의 영상 데이터로부터 상기 특정 소리에 대응되는 음파의 포착 시점을 획득하고, 상기 음파의 포착 시점 및 상기 촬영 장치 각각의 촬영 시작 시점에 기초하여 상기 각각의 영상 데이터별로 상기 제1 옵셋 정보를 계산하며, 상기 영상 데이터별 제1 옵셋 정보를 이용하여 상기 복수개의 촬영 장치 간 시작 시간의 오차를 보정하여 동기화를 수행하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  9. 제6항에 있어서,
    동기화된 상기 영상 데이터 및 상기 적어도 하나의 센서가 센싱한 센싱 데이터를 합성하여 동기화된 합성 데이터를 출력하는 합성부
    를 더 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  10. 제1항에 있어서,
    상기 기록 시작 신호는
    전기 신호, 부호, 패킷 중 적어도 하나를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  11. 제1항에 있어서,
    상기 싱크 음파 신호는
    특정 음량 이상의 소리, 특정 패턴의 소리, 특정 주파수의 소리, 또는 미리 녹음된 소리 중 적어도 하나를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 장치.
  12. 촬영 장치 및 센서의 시간 동기화 장치를 이용한 시간 동기화 방법에 있어서,
    상기 시간 동기화 장치의 입력부에서 사용자의 입력 조작에 따라 센서 및 촬영 장치 중 적어도 하나에 대한 작동 시작을 위한 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 단계;
    상기 시간 동기화 장치의 소리 발생부에서, 상기 기록 시작 신호의 전송에 대응하여 특정 소리를 나타내는 싱크 음파 신호를 발생시키는 단계; 및
    상기 시간 동기화 장치의 동기화부에서, 상기 기록 시작 신호 및 상기 싱크 음파 신호에 기초하여, 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 단계
    를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  13. 제12항에 있어서,
    상기 싱크 음파 신호의 발생 시점은
    상기 기록 시작 신호의 전송 시점과 동일한 시점이거나,
    상기 기록 시작 신호의 전송 시점으로부터 미리 결정된 제1 시간 간격 이후의 시점인 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  14. 제12항에 있어서,
    상기 시간 동기화를 수행하는 단계는
    상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하여 상기 적어도 하나의 촬영 장치의 동기화를 위한 제1 옵셋(offset) 정보를 계산하는 단계; 및
    상기 기록 시작 신호 전송 시점, 상기 제1 옵셋 정보 및 상기 적어도 하나의 센서별로 미리 결정된 제2 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 단계
    를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  15. 제14항에 있어서,
    상기 음파의 포착 시점은
    상기 싱크 음파 신호의 발생 시점과 동일한 시점이거나,
    상기 싱크 음파 신호의 발생 시점으로부터 미리 결정된 제2 시간 간격 이후의 시점인 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  16. 제14항에 있어서,
    상기 기록 시작 신호를 생성하여 적어도 하나의 센서에게 전송하는 단계는 상기 기록 시작 신호를 생성하여 상기 적어도 하나의 센서 및 상기 적어도 하나의 촬영 장치에게 전송하는 단계를 포함하고,
    상기 촬영 장치는 상기 기록 시작 신호가 수신되면 상기 제1 옵셋 정보에 해당하는 시간이 지난 후에 상기 영상 데이터 촬영을 시작하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  17. 제12항에 있어서,
    상기 기록 시작 신호의 전송 시점 및 상기 음파의 포착 시점을 기록하는 단계
    를 더 포함하고,
    상기 시간 동기화를 수행하는 단계는
    상기 동기화부의 영상 동기화 연산부에서, 상기 적어도 하나의 촬영 장치에 의해 촬영된 영상 데이터로부터 상기 싱크 음파 신호에 대응되는 음파의 포착 시점을 획득하는 단계;
    상기 영상 동기화 연산부에서, 상기 음파의 포착 시점 및 상기 적어도 하나의 촬영 장치의 촬영 시작 시점에 기초하여 제1 옵셋 정보를 계산하는 단계;
    상기 영상 동기화 연산부에서, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점을 동기화하는 단계;
    상기 동기화부의 센서 동기화 연산부에서, 상기 기록 시작 신호의 전송 시점을 기준으로 하는 제2 옵셋 정보를 이용하여 상기 적어도 하나의 센서의 센싱 시점을 동기화하는 단계; 및
    상기 동기화된 촬영 시점과 상기 동기화된 센싱 시점을 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점 및 상기 적어도 하나의 센서의 센싱 시점 상호간에 대한 시간 동기화를 수행하는 단계
    를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  18. 제17항에 있어서,
    상기 음파의 포착 시점을 획득하는 단계는
    상기 적어도 하나의 촬영 장치로부터 상기 영상 데이터를 획득하는 단계;
    상기 영상 데이터의 파형을 분석하는 단계;
    상기 파형의 분석 결과로부터 상기 특정 소리와 가장 유사한 음량 레벨, 패턴, 및 주파수 중 적어도 하나를 가지는 음파를 포착하여 상기 음파의 포착 시점을 획득하는 단계
    를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  19. 제17항에 있어서,
    상기 촬영 장치가 복수개인 경우,
    상기 영상 동기화 연산부에서, 상기 제1 옵셋 정보를 이용하여 상기 적어도 하나의 촬영 장치의 촬영 시점을 동기화하는 단계는
    상기 영상 데이터별 제1 옵셋 정보를 이용하여 상기 복수개의 촬영 장치 간 시작 시간의 오차를 보정하여 동기화를 수행하는 단계를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  20. 제17항에 있어서,
    상기 시간 동기화 장치의 합성부에서, 동기화된 상기 영상 데이터 및 상기 적어도 하나의 센서가 센싱한 센싱 데이터를 합성하여 동기화된 합성 데이터를 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  21. 제12항에 있어서,
    상기 기록 시작 신호는
    전기 신호, 부호, 패킷 중 적어도 하나를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
  22. 제12항에 있어서,
    상기 싱크 음파 신호는
    특정 음량 이상의 소리, 특정 패턴의 소리, 특정 주파수의 소리, 또는 미리 녹음된 소리 중 적어도 하나를 포함하는 것을 특징으로 하는 촬영 장치 및 센서의 시간 동기화 방법.
KR1020160054262A 2016-05-02 2016-05-02 촬영 장치 및 센서의 시간 동기화 장치 및 방법 KR101721085B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160054262A KR101721085B1 (ko) 2016-05-02 2016-05-02 촬영 장치 및 센서의 시간 동기화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160054262A KR101721085B1 (ko) 2016-05-02 2016-05-02 촬영 장치 및 센서의 시간 동기화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101721085B1 true KR101721085B1 (ko) 2017-03-29

Family

ID=58498225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160054262A KR101721085B1 (ko) 2016-05-02 2016-05-02 촬영 장치 및 센서의 시간 동기화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101721085B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190071303A (ko) * 2017-12-14 2019-06-24 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR102086663B1 (ko) * 2018-09-28 2020-03-09 에스케이텔레콤 주식회사 영상생성장치 및 영상생성장치의 동작 방법
KR20200036821A (ko) * 2020-03-02 2020-04-07 에스케이텔레콤 주식회사 영상생성장치 및 영상생성장치의 동작 방법
KR20200071565A (ko) * 2018-12-11 2020-06-19 삼성전자주식회사 포인트 클라우드를 생성하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101121153B1 (ko) * 2009-12-08 2012-03-19 (주) 알디텍 영상신호와 센서신호의 동기화 시스템 및 방법
JP2015019189A (ja) * 2013-07-10 2015-01-29 大日本印刷株式会社 同期システム、基準装置、同期方法及び同期プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101121153B1 (ko) * 2009-12-08 2012-03-19 (주) 알디텍 영상신호와 센서신호의 동기화 시스템 및 방법
JP2015019189A (ja) * 2013-07-10 2015-01-29 大日本印刷株式会社 同期システム、基準装置、同期方法及び同期プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190071303A (ko) * 2017-12-14 2019-06-24 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR102024437B1 (ko) * 2017-12-14 2019-09-23 주식회사 엘지유플러스 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR102086663B1 (ko) * 2018-09-28 2020-03-09 에스케이텔레콤 주식회사 영상생성장치 및 영상생성장치의 동작 방법
KR20200071565A (ko) * 2018-12-11 2020-06-19 삼성전자주식회사 포인트 클라우드를 생성하는 방법 및 장치
KR102525030B1 (ko) * 2018-12-11 2023-04-24 삼성전자주식회사 포인트 클라우드를 생성하는 방법 및 장치
KR20200036821A (ko) * 2020-03-02 2020-04-07 에스케이텔레콤 주식회사 영상생성장치 및 영상생성장치의 동작 방법
KR102191081B1 (ko) * 2020-03-02 2020-12-15 에스케이텔레콤 주식회사 영상생성장치 및 영상생성장치의 동작 방법

Similar Documents

Publication Publication Date Title
KR101721085B1 (ko) 촬영 장치 및 센서의 시간 동기화 장치 및 방법
CN106683130B (zh) 一种深度图像获得方法及装置
JP6662063B2 (ja) 収録データ処理方法
CN118400680A (zh) 用于虚拟现实（vr）、增强现实（ar）和混合现实（mr）系统的分布式音频捕获技术
WO2017200847A1 (en) Intelligent interface for interchangeable sensors
TWI618408B (zh) 校準複數個３６０度重構音頻/視頻軌道的方法和裝置
US20190149702A1 (en) Imaging apparatus
JP5803868B2 (ja) 動画処理装置、動画処理方法及びプログラム
KR101155611B1 (ko) 음원 위치 산출 장치 및 그 방법
JP2008193561A (ja) 画像同期システム及び画像同期方法
CN105450903A (zh) 摄影控制装置、同步摄影系统、摄影控制方法
JP2017103542A (ja) 同期装置、同期方法及び同期プログラム
JP2004282667A (ja) 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
JP6433273B2 (ja) 端末装置、サーバ装置、及びプログラム
WO2020138258A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2020505861A (ja) 動きの取り込み、及び記録オーディオ／ビデオとの動きの同期
WO2020059447A1 (ja) 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、音声信号処理システム及び撮影装置
WO2021044937A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2014208378A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
KR101155610B1 (ko) 음원 위치 표시 장치 및 그 방법
US11778129B1 (en) Synchronization of image capture devices prior to capture
WO2007110822A1 (en) Method and apparatus for synchronising recording of multiple cameras
JP2006250638A (ja) 時計同期機能付きビデオカメラ
JP4409116B2 (ja) 映像・位置情報記録装置
JP2010171626A (ja) 動画生成装置および動画生成方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200310

Year of fee payment: 4