KR101121153B1

KR101121153B1 - 영상신호와 센서신호의 동기화 시스템 및 방법

Info

Publication number: KR101121153B1
Application number: KR1020090120946A
Authority: KR
Inventors: 최승환
Original assignee: (주) 알디텍
Priority date: 2009-12-08
Filing date: 2009-12-08
Publication date: 2012-03-19
Also published as: CN102652288A; US20120274793A1; CN102652288B; WO2011071277A3; KR20110064377A; JP2013513328A; WO2011071277A2

Abstract

본 발명은 카메라로부터 입력되는 영상신호와 각각의 영상신호에 대응되어 있는 센서신호에 대해, 각각의 센서모듈과 카메라 장치에 동기용 시계가 내장되어 있어, 동기화 장치에서 각각의 장치에 동기 신호를 전송하여 동기용 시계를 동기화 시킨 이후에 각각의 센서모듈과 카메라 장치에서 각각 획득한 신호에 취득시간을 붙여 중앙제어장치 및 컴퓨터 장치에 전송하여 영상신호와 센서신호의 동기화를 수행할 수 있도록 된 영상신호와 센서신호의 동기화 시스템 및 방법에 관한 것이다.

본 발명에 따른 영상신호와 센서신호의 동기화 시스템은, 제1 동기용 시계가 내장되어 있으며, 피사체를 촬영하여 영상신호를 획득하고, 상기 획득된 영상신호에 상기 제1 동기용 시계에 의한 취득시간정보를 부가하여 출력하는 카메라 장치; 제2 동기용 시계가 내장되어 있으며, 상기 영상신호에 대응된 센서신호를 센싱 동작에 따라 생성하고, 상기 생성된 센서신호에 상기 제2 동기용 시계에 의한 취득시간정보를 부가하여 출력하는 센서 장치; 상기 센서 장치로부터 상기 시간정보가 부가된 센서신호를 수신하여 컴퓨터 장치로 전송하도록 제어하는 중앙제어장치; 기준 시계를 내장하고, 상기 제1 동기용 시계와 상기 제2 동기용 시계의 동기를 위한 기준시간을 일정 간격으로 상기 카메라 장치와 상기 센서 장치에 동시에 전송하는 동기화 장치; 및 상기 중앙제어장치로부터 상기 취득시간정보가 부가된 센서신호를 전송받고, 상기 카메라 장치로부터 상기 취득시간정보가 부가된 영상신호를 전송받아 각각의 신호별로 취득시간정보를 확인하고 각각의 신호를 동일한 시간대로 재구 성하여, 상기 영상신호와 상기 센서신호를 동기화하는 컴퓨터 장치를 포함한다.

본 발명에 의하면, 주변 환경에 따라 수집된 영상 신호 및 센서 신호의 동기성을 확보할 수 있다. 또한, 다채널이고 고속인 영상 신호와 그에 대응된 센서 신호의 동기화를 통해 사용자에게 향상된 서비스를 제공할 수 있다. 그리고, 영상 신호와 센서 신호를 획득하여 유선 또는 무선으로 전송하는 통신 수단에 관계 없이 두 신호의 동기화를 용이하게 구현할 수 있고, 그에 따라 영상 신호와 센서 신호를 정확하고 편리하게 분석할 수 있다.

유선, 무선, 카메라, 영상 신호, 센서, 센서 신호, 동기화, 오차

Description

영상신호와 센서신호의 동기화 시스템 및 방법{Method and system for synchronizing video signal and sensor signal}

본 발명은 유무선 환경에서 다채널 영상신호와 센서신호의 분석 시 영상신호와 센서신호를 동기화하는 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 카메라로부터 입력되는 영상신호와 각각의 영상신호에 대응되어 있는 센서신호에 대해, 각각의 센서모듈과 카메라 장치에 동기용 시계가 내장되어 있어, 동기화 장치에서 각각의 장치에 동기 신호를 전송하여 동기용 시계를 동기화 시킨 이후에 각각의 센서모듈과 카메라 장치에서 각각 획득한 신호에 취득시간을 붙여 중앙제어장치 및 컴퓨터 장치에 전송하여 영상신호와 센서신호의 동기화를 수행할 수 있도록 된 영상신호와 센서신호의 동기화 시스템 및 방법에 관한 것이다.

최근에는 피사체를 촬영하여 영상 신호를 획득하는 카메라를 사용자가 휴대하는 핸드폰이나 노트북 컴퓨터에 채용하여 사용하고 있다. 또한, 카메라를 통해 획득한 영상 신호를 예컨대, 양궁 분석기와 같은 게임기 등에 활용하는 장치가 등장하고 있다.

게임 장치 등에는 주변 상황을 센싱하는 예컨대, 풍향이나 풍속을 센싱하거나, 장력이나 기울기, 온도, 압력 등을 센싱하는 센서가 구비되어 있다.

그런데, 카메라로부터 획득한 영상 신호와 센서를 통해 센싱한 센서 신호를 매칭하여 사용자에게 제공해야 할 경우에 서비스의 품질을 위해서는 두 신호의 동기화가 매우 중요하다.

그러나, 최소 2 채널 이상의 다채널이고 고속이며 무선 통신으로 영상 신호나 센서 신호를 전송해야 하는 경우에, 주변 환경에 따라 수집된 개별 신호들의 동기성을 확보하기가 매우 어려운 문제점이 있다.

전술한 문제점을 해결하기 위한 본 발명의 목적은, 카메라로부터 입력되는 영상신호와 각각의 영상신호에 대응되어 있는 센서신호에 대해, 각각의 센서모듈과 카메라 장치에 동기용 시계가 내장되어 있어, 동기화 장치에서 각각의 장치에 동기 신호를 전송하여 동기용 시계를 동기화 시킨 이후에 각각의 센서모듈과 카메라 장치에서 각각 획득한 신호에 취득시간을 붙여 중앙제어장치 및 컴퓨터 장치에 전송하여 영상신호와 센서신호의 동기화를 수행할 수 있도록 된 영상신호와 센서신호의 동기화 시스템 및 방법, 카메라 장치, 동기화 장치 및 그의 영상신호와 센서신호를 동기화하는 방법, 컴퓨터 장치 및 그의 영상신호와 센서신호를 동기화하는 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 영상신호와 센서신호의 동기화 시스템은, 제1 동기용 시계가 내장되어 있으며, 피사체를 촬영하여 영상신호를 획득하고, 상기 획득된 영상신호에 상기 제1 동기용 시계에 의한 취득시간정보를 부가하여 출력하는 카메라 장치; 제2 동기용 시계가 내장되어 있으며, 상기 영상신호에 대응된 센서신호를 센싱 동작에 따라 생성하고, 상기 생성된 센서신호에 상기 제2 동기용 시계에 의한 취득시간정보를 부가하여 출력하는 센서 장치; 상기 센서 장치로부터 상기 취득시간정보가 부가된 센서신호를 수신하여 컴퓨터 장치로 전송하도록 제어하는 중앙제어장치; 기준 시계를 내장하고, 상기 제1 동기용 시계와 상기 제2 동기용 시계의 동기를 위한 기준시간을 일정 간격으로 상기 카메라 장치와 상기 센서 장치에 동시에 전송하는 동기화 장치; 및 상기 중앙제어장치로부터 상기 취득시간정보가 부가된 센서신호를 전송받고, 상기 카메라 장치로부터 상기 취득시간정보가 부가된 영상신호를 전송받아 각각의 신호별로 취득시간정보를 확인하고 각각의 신호를 동일한 시간대로 재구성하여, 상기 영상신호와 상기 센서신호를 동기화하는 컴퓨터 장치를 포함한다.

또한, 상기 카메라 장치는, 상기 동기화 장치로부터 수신된 기준시간을 근거로 상기 제1 동기용 시계를 동기화한 후, 상기 촬영하여 획득한 영상신호에 상기 제1 동기용 시계에 의한 취득시간정보를 부가하여 상기 컴퓨터 장치로 전송한다.

또한, 상기 센서 장치는, 상기 동기화 장치로부터 수신된 기준시간을 근거로 상기 제2 동기용 시계를 동기화한 후, 상기 센싱 동작에 따라 생성된 상기 센서신 호에 상기 제2 동기용 시계에 의한 취득시간정보를 부가하여 상기 중앙제어장치로 전송한다.

또한, 상기 센서 장치는, 상기 동기화 장치로부터 수신된 상기 기준시간을 상기 제2 동기용 시계의 시간과 비교하여 오차만큼 보정하고, 보정된 시간을 기준으로 상기 센서신호에 취득시간정보를 부가하여 상기 중앙제어장치로 전송한다.

또한, 상기 카메라 장치와 상기 센서 장치는, 상기 동기화 장치로부터 수신된 상기 기준시간을 상기 제1 동기용 시계의 시간 및 상기 제2 동기용 시계의 시간과 비교하여 시간 오차를 얻고 상기 얻은 시간 오차를 각각 상기 컴퓨터 장치로 전송하며, 상기 컴퓨터 장치는 상기 영상신호 및 상기 센서신호에 대해 상기 시간 오차만큼 시간축에서 보정한다.

또한, 상기 동기화 장치는 상기 센서 장치에 현재시간 정보를 요청하여 획득하고, 상기 획득한 현재시간 정보를 상기 기준시간 정보와 비교하여 오차범위를 확인하며, 교정이 필요한 경우 시간 정보와 시간교정 명령을 상기 센서 장치로 전송한다.

그리고, 상기 센서 장치는 상기 시간교정 명령을 수신하면, 상기 시간 정보를 기준으로 교정을 수행하고, 두 번째 클럭에서 상기 동기화 장치로부터 수신된 클럭으로 동기화를 수행하며, 교정 완료 명령을 상기 동기화 장치로 전송한다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 동기화 장치는, 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치와 통신하기 위한 통신부; 상기 카 메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치로 동기화를 위한 기준시간 정보를 전송하기 위해 주파수 신호를 생성하는 주파수 생성부; 상기 생성된 주파수 신호를 클럭 신호로 생성하는 동기화 클럭부; 상기 생성된 클럭 신호를 상기 기준시간 정보로 생성하는 기준시간 모듈부; 상기 기준시간 모듈부에 실시간 클럭(RTC)을 제공하는 실시간 모듈부; 및 상기 주파수 생성부와 상기 동기화 클럭부 및 상기 기준시간 모듈부를 제어하여 상기 기준시간 정보를 생성하고, 상기 생성된 기준시간 정보가 상기 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치로 전송되도록 제어하는 제어부를 포함한다.

또한, 상기 제어부는 상기 센서 장치에 현재시간 정보를 요청하여 획득하고, 상기 획득한 현재시간 정보를 상기 기준시간 정보와 비교하여 오차범위를 확인하며, 교정이 필요한 경우 현재시간 정보와 시간교정 명령을 상기 센서 장치로 전송한다.

그리고, 상기 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치로부터 입력된 아날로그 신호를 디지털 신호로 변환하는 A/D 변환부; 상기 디지털 신호를 출력하기 위한 출력부; 및 상기 기준시간 정보의 생성 동작, 상기 현재시간 정보 및 상기 시간교정 명령에 관한 전송 동작 등을 표시하기 위한 디스플레이부를 더 포함한다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 센서 장치는, 기울기, 장력, 무게 등을 센싱한 센서 신호를 생성하는 센서; 아날로그 형태의 상기 센서 신호를 디지털 형태의 센서 데이터로 변환하는 신호 변환부; 상기 센서 데이터를 동기화 장치 및 중앙제어장치로 전송하기 위한 통신부; 상기 동기화 장치에서 제공된 기준시간으로 동기화하기 위한 동기용 시계부; 상기 센서 데이터를 저장하기 위한 메모리부; 상기 센서 데이터가 상기 중앙제어장치로 전송되도록 제어하고, 상기 동기화 장치로부터 상기 기준시간을 수신하여 동기화한 후, 상기 센서 데이터를 취득한 취측시간 정보를 상기 센서 데이터와 함께 상기 중앙제어장치로 전송하는 제어부; 주파수 신호를 생성하여 상기 제어부에 제공하는 주파수 생성부; 및 상기 제어부에 실시간 클럭을 제공하는 실시간 모듈부를 포함한다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 카메라 장치는, 피사체를 촬영하여 영상 신호를 획득하는 촬영부; 상기 영상 신호를 컴퓨터 장치 또는 중앙제어장치로 전송하고, 동기화 장치와 통신하기 위한 통신부; 및 상기 동기화 장치로부터 제공받은 기준시간에 동기화되고, 상기 영상 신호를 취득한 시간을 제공하기 위한 동기용 시계부를 포함한다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상신호와 센서신호의 동기화 방법은, 카메라 장치, 센서 장치, 중앙제어장치, 동기화 장치 및 컴퓨터 장치를 포함하는 시스템의 영상신호와 센서신호의 동기화 방법으로서, (a) 상기 동기화 장치가 동기화 시간 정보를 상기 카메라 장치와 상기 센서 장치로 전송하는 단계; (b) 상기 카메라 장치와 상기 센서 장치가 상기 동기화 시간 정보에 근거해 각 각 내장된 동기용 시계를 동기시키는 단계; (c) 상기 카메라 장치 및 상기 센서 장치가 영상 신호 및 센서 신호를 각각 획득하고 취득시간 정보를 부가하여 상기 중앙제어장치 또는 상기 컴퓨터 장치로 전송하는 단계; 및 (d) 상기 컴퓨터 장치가 상기 취득시간 정보를 근거로 상기 영상 신호와 상기 센서 신호의 동기화를 수행하는 단계를 포함한다.

또한, 상기 (c) 단계는 상기 중앙제어장치가 상기 취득시간 정보가 부가된 상기 센서 신호를 상기 컴퓨터 장치로 전송한다.

그리고, 상기 (d) 단계는 상기 컴퓨터 장치가 상기 카메라 장치 및 상기 센서 장치의 취득시간 정보를 비교하여 시간오차를 계산하고, 상기 영상신호와 상기 센서신호에 대해 시간축에서 시간오차만큼 보정하여 상기 영상신호와 상기 센서신호를 동기화한다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 동기화 장치의 영상신호와 센서신호를 동기화하는 방법은, 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치를 포함하는 장치와 유선 또는 무선으로 통신하는 동기화 장치의 영상신호와 센서신호를 동기화하는 방법으로서, (a) 상기 장치에 현재시간 정보를 요청하여 현재시간 정보를 수신하는 단계; (b) 상기 현재시간 정보를 기준시간 정보와 비교하여 오차 정보를 획득하는 단계; (c) 상기 오차 정보를 보정하는 시간 정보를 생성하고, 상기 장치로 상기 시간 정보와 시간교정 명령을 전송하는 단계; 및 (d) 상기 장치로부터 상기 시간 정보에 따른 시간 교정으로 동기화가 완료되었음을 알리 는 동기 완료 명령을 수신하는 단계를 포함한다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 컴퓨터 장치의 영상신호와 센서신호를 동기화하는 방법은, 카메라 장치, 센서 장치, 중앙제어장치 및 동기화 장치와 유선 또는 무선으로 통신하는 컴퓨터 장치의 영상신호와 센서신호를 동기화하는 방법으로서, (a) 상기 동기화 장치로부터 기준시간 정보를 수신하여 내장된 동기용 시계를 동기시키는 단계; (b) 상기 카메라 장치로부터 취득시간 정보가 포함된 영상신호를 수신하고, 상기 중앙제어장치로부터 상기 센서장치에 의해 획득되고 취득시간 정보가 포함된 센서신호를 수신하는 단계; 및 (c) 상기 취득시간 정보를 근거로 상기 영상신호와 상기 센서신호를 동기화하는 단계를 포함한다.

그리고, 상기 (c) 단계는 상기 카메라 장치 및 상기 센서 장치의 취득시간 정보를 비교하여 시간오차를 계산하고, 상기 영상신호와 상기 센서신호에 대해 시간축에서 상기 시간오차만큼 보정하여 상기 영상신호와 상기 센서신호를 동기화한다.

본 발명에 의하면, 주변 환경에 따라 수집된 영상 신호 및 센서 신호의 동기성을 확보할 수 있다.

또한, 다채널이고 고속인 영상 신호와 그에 대응된 센서 신호의 동기화를 통해 사용자에게 향상된 서비스를 제공할 수 있다.

그리고, 영상 신호와 센서 신호를 획득하여 유선 또는 무선으로 전송하는 통신 수단에 관계 없이 두 신호의 동기화를 용이하게 구현할 수 있고, 그에 따라 영상 신호와 센서 신호를 정확하고 편리하게 분석할 수 있다.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 영상신호와 센서신호의 동기화 시스템의 구성을 개략적으로 나타낸 구성도이다.

도 1을 참조하면, 본 발명에 따른 영상신호와 센서신호의 동기화 시스템(100)은, 카메라 장치(110), 동기화 장치(120), 다수의 센서 장치(130 ~ 134), 중앙제어장치(140) 및 컴퓨터 장치(150)를 포함한다.

카메라 장치(110)는 제1 동기용 시계가 내장되어 있으며, 피사체를 촬영하여 영상신호를 획득하고, 획득된 영상신호에 제1 동기용 시계에 의한 취득시간정보를 부가하여 컴퓨터 장치(150)로 출력 전송한다.

동기화 장치(120)는 기준 시계를 내장하고, 카메라 장치(110)와 센서 장치(130 ~ 134) 및 중앙제어장치(140)의 동기를 위한 기준시간을 일정 간격으로 카메라 장치(110)와 센서 장치(130 ~ 134) 및 중앙제어장치(140)에 동시에 전송한다.

다수의 센서 장치(130 ~ 134)는 제2 동기용 시계가 내장되어 있으며, 영상신호에 대응된 센서신호를 센싱 동작에 따라 생성하고, 생성된 센서신호에 제2 동기용 시계에 의한 취득시간정보를 부가하여 중앙제어장치(140)로 출력 전송한다.

여기서, 다수의 센서 장치(130 ~ 134)는 예를 들면, 화살의 기울기나 장력 등을 센싱하는 양궁 분석기, 사용자의 발 동작을 전후, 좌우로 센싱하는 발동작 분석기(X-balance), 주변의 풍향이나 풍속을 센싱하는 기후 분석기 등이 될 수 있다. 이때, 양궁 분석기의 경우 장력이나 기울기 등이 센서 신호가 될 수 있고, 발동작 분석기의 경우 전, 후, 좌, 우 등이 센서 신호가 될 수 있으며, 기후 분석기의 경우 풍향이나 풍속 등이 센서 신호가 될 수 있다. 이 외에도 센서의 센싱 특성에 따라 온도나, 압력 등을 센서 신호로 할 수 있다.

중앙제어장치(140)는 센서 장치(130~134)로부터 취득시간정보가 부가된 센서신호를 수신하여 컴퓨터 장치(150)로 전송하도록 제어한다.

컴퓨터 장치(150)는 중앙제어장치(140)로부터 취득시간정보가 부가된 센서신호를 전송받고, 카메라 장치(110)로부터 취득시간정보가 부가된 영상신호를 전송받아 각각의 신호 별로 취득시간정보를 확인하고 각각의 신호를 동일한 시간대로 재구성하여, 영상신호와 센서신호를 동기화한다. 여기서, 컴퓨터 장치는 데스크탑(Desktop) 형태의 PC일 수 있고, 이동할 수 있는 노트북(Notebook) 형태의 PC일 수 있다.

또한, 카메라 장치(110)는, 동기화 장치(120)로부터 수신된 기준시간을 근거로 제1 동기용 시계를 동기화한 후, 촬영하여 획득한 영상신호에 제1 동기용 시계 에 의한 취득시간정보를 부가하여 컴퓨터 장치(150)로 전송한다.

또한, 센서 장치(130~134)는, 동기화 장치(120)로부터 수신된 기준시간을 근거로 제2 동기용 시계를 동기화한 후, 센싱 동작에 따라 생성된 센서신호에 제2 동기용 시계에 의한 취득시간정보를 부가하여 중앙제어장치(140)로 전송한다.

또한, 센서 장치(130~134)는, 동기화 장치(120)로부터 수신된 기준시간을 제2 동기용 시계의 시간과 비교하여 오차만큼 보정하고, 보정된 시간을 기준으로 센서신호에 취득시간정보를 부가하여 중앙제어장치(140)로 전송한다.

또한, 카메라 장치(110)와 센서 장치(130~134)는, 동기화 장치(120)로부터 수신된 기준시간을 제1 동기용 시계의 시간 및 제2 동기용 시계의 시간과 비교하여 시간 오차를 얻고, 얻은 시간 오차를 각각 컴퓨터 장치(150)로 전송하며, 컴퓨터 장치(150)는 영상신호 및 센서신호에 대해 시간 오차만큼 시간축에서 보정한다.

또한, 동기화 장치(120)는 센서 장치(130~134)에 현재시간 정보를 요청하여 획득하고, 획득한 현재시간 정보를 기준시간 정보와 비교하여 오차범위를 확인하며, 교정이 필요한 경우 시간 정보와 시간교정 명령을 센서 장치(130~134)로 전송한다.

그리고, 센서 장치(130~134)는 시간교정 명령을 수신하면, 수신된 시간 정보를 기준으로 교정을 수행하고, 두 번째 클럭에서 동기화 장치(120)로부터 수신된 클럭으로 동기화를 수행하며, 동기(교정) 완료 명령을 동기화 장치(120)로 전송한다.

도 2는 본 발명의 실시예에 따른 동기화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.

도 2를 참조하면, 본 발명에 따른 동기화 장치(120)는, 통신부(210), 주파수 생성부(Oscillator)(220), 동기화 클럭부(230), 기준시간 모듈부(240), 실시간 클럭부(250), 제어부(260), A/D 변환부(Analog to Digital Converter)(270), 출력부(280) 및 디스플레이부(290)를 포함한다.

통신부(210)는 카메라 장치(110), 센서 장치(130~134), 중앙제어장치(140) 및 컴퓨터 장치(150)와 통신한다.

주파수 생성부(220)는 카메라 장치(110), 센서 장치(130~134), 중앙제어장치(140) 및 컴퓨터 장치(150)로 동기화를 위한 기준시간 정보를 전송하기 위해 주파수 신호를 생성한다.

동기화 클럭부(230)는 주파수 생성부(220)에 의해 생성된 주파수 신호를 클럭 신호로 생성한다.

기준시간 모듈부(240)는 생성된 클럭 신호를 기준시간 정보로 생성한다.

실시간 클럭부(250)는 기준시간 모듈부(240)에 실시간 클럭(RTC)을 제공한다.

제어부(260)는 주파수 생성부(220)와 동기화 클럭부(230) 및 기준시간 모듈부(240)를 제어하여 기준시간 정보를 생성하고, 생성된 기준시간 정보가 카메라 장치(110), 센서 장치(130~134), 중앙제어장치(140) 및 컴퓨터 장치(150)로 전송되도록 제어한다.

또한, 제어부(260)는 센서 장치(130~134)에 현재시간 정보를 요청하여 획득하고, 획득한 현재시간 정보를 기준시간 정보와 비교하여 오차범위를 확인하며, 교정이 필요한 경우 시간 정보와 시간교정 명령을 센서 장치(130~134)로 전송한다.

A/D 변환부(270)는 카메라 장치(110), 센서 장치(130~134), 중앙제어장치(140) 및 컴퓨터 장치(150)로부터 입력된 아날로그 신호를 디지털 신호로 변환한다.

출력부(280)는 디지털 신호를 포트를 통해 외부로 출력한다.

디스플레이부(290)는 기준시간 정보의 생성 동작, 현재시간 정보 및 시간교정 명령에 관한 전송 동작 등을 표시한다.

도 3은 본 발명의 실시예에 따른 센서 장치의 내부 구성을 개략적으로 나타낸 구성도이다.

도 3을 참조하면, 본 발명에 따른 센서 장치(130)는, 통신부(310), 센서(320), 신호 변환부(330), 동기용 시계부(340), 메모리부(350), 제어부(360), 주파수 생성부(370) 및 실시간 클럭부(380)를 포함한다.

통신부(310)는 센서 데이터를 동기화 장치(120) 및 중앙제어장치(140)로 전송한다.

센서(320)는 기울기, 장력, 무게 등을 센싱한 센서 신호를 생성한다.

신호 변환부(330)는 아날로그 형태의 센서 신호를 디지털 형태의 센서 데이터로 변환한다.

동기용 시계부(340)는 동기화 장치(120)에서 제공된 기준시간으로 동기화한다.

메모리부(350)는 센서 데이터를 저장한다.

제어부(360)는 센서 데이터가 중앙제어장치(140)로 전송되도록 제어하고, 동기화 장치(120)로부터 기준시간을 수신하여 동기화한 후, 센서 데이터를 취득한 취측시간 정보를 센서 데이터와 함께 중앙제어장치(140)로 전송하도록 제어한다.

주파수 생성부(370)는 주파수 신호를 생성하여 제어부(460)에 제공한다.

실시간 클럭부(380)는 제어부(460)에 실시간 클럭(Real Time Clock)을 제공한다.

도 4는 본 발명의 실시예에 따른 카메라 장치의 내부 구성을 개략적으로 나타낸 구성도이다.

도 4를 참조하면, 본 발명에 따른 카메라 장치(110)는, 촬영부(410), 동기용 시계부(420) 및 통신부(430)를 포함한다.

촬영부(410)는 피사체를 촬영하여 영상 신호를 획득한다.

동기용 시계부(420)는 동기화 장치(120)로부터 제공받은 기준시간에 동기화되고, 동기화 된 시간을 근거로 영상 신호를 취득한 시간을 제공한다.

통신부(430)는 영상 신호를 컴퓨터 장치(150) 또는 중앙제어장치(140)로 전송하고, 동기화 장치(120)와 유선 또는 무선으로 통신한다.

도 5는 본 발명의 실시예에 따른 영상신호와 센서신호의 동기화 방법을 설명하기 위한 전체 흐름도이다.

도 5를 참조하면, 먼저 동기화 장치(120)는 동기화 시간 정보를 카메라 장치(110)와 센서 장치(130~134)로 전송한다(S510).

이에, 카메라 장치(110)와 센서 장치(130~134)가 동기화 시간 정보에 근거해 각각 내장된 동기용 시계를 동기시킨다(S520).

이어, 카메라 장치(110) 및 센서 장치(130~134)가 영상 신호 및 센서 신호를 각각 획득하고 취득시간 정보를 부가하여 중앙제어장치(140) 또는 컴퓨터 장치(150)로 전송한다(S530).

여기서, 영상 신호는 일반적으로 용량이 커서 중앙제어장치(140)를 거치지 않고 취득시간 정보가 부가된 채로 곧바로 컴퓨터 장치(150)로 전송된다.

이때, 센서 장치(130~134)는 취득시간 정보가 부가된 센서 신호를 중앙제어장치(140)로 전송하고, 중앙제어장치(140)는 취득시간 정보가 부가된 센서 신호를 컴퓨터 장치(150)로 전송한다.

따라서, 컴퓨터 장치(150)는 취득시간 정보를 근거로 영상 신호와 센서 신호의 동기화를 수행한다(S540).

이때, 컴퓨터 장치(150)는 카메라 장치(110) 및 센서 장치(130~134)의 취득시간 정보를 비교하여 시간오차를 계산하고, 영상신호와 센서신호에 대해 시간축에서 시간오차만큼 보정하여 영상신호와 센서신호를 동기화한다.

도 6은 본 발명의 실시예에 따른 동기화 장치의 영상신호와 센서신호를 동기화하는 방법을 설명하기 위한 동작 흐름도이다.

도 6을 참조하면, 본 발명에 따른 동기화 장치(120)는 시스템이 초기화 된 상태에서 기준시간 모듈부(240)를 통해 기준시간 정보를 획득한다(S602).

이어, 동기화 장치(120)는 카메라 장치(110), 센서 장치(130~134) 및 중앙제어장치(140) 등을 포함하는 장치에 도 7에 도시된 바와 같이 현재시간 정보를 요청하여 현재시간 정보를 수신한다(S604). 도 7은 본 발명의 실시예에 따른 동기화 절차 및 타이밍도를 나타낸 도면이다. 도 7에서 △T1은 교정하기 전 동기화 장치(120)와 센서 장치(130~134) 간의 오차 시간을 나타내고, △t1은 시리얼 통신에 의한 시간정보 전송 지연 시간을 나타내며, △t2는 센서 장치(130~134)에서 현재시간 정보를 송신한 시간을 나타내며, △t3은 동기화 장치(120)에서 오차 시간을 확인하고 설정 시간과 명령전달 지연 시간을 나타내며, △t4는 동기화 장치(120)로부터 시간정보를 전송받고 교정을 대기하는 시간을 나타낸다.

이어, 동기화 장치(120)는 수신된 현재시간 정보를 기준시간 정보와 비교하여 오차 정보를 획득한다(S606).

이어, 동기화 장치(120)는 오차 정보를 보정하는 교정시간 정보를 생성한다(S608).

이어, 동기화 장치(120)는 생성한 교정시간 정보와 시간교정 명령을 카메라 장치(110), 센서 장치(130~134) 및 중앙제어장치(140) 등을 포함하는 장치에 전송한다(S610).

이에, 카메라 장치(110), 센서 장치(130~134) 및 중앙제어장치(140) 등을 포함하는 장치들은 동기화 장치(120)로부터 수신한 시간 정보와 시간교정 명령에 근거해 내장된 동기용 시계를 시간 정보로 교정하여 동기화 하고, 동기화가 완료되었음을 알리는 동기 완료 명령을 동기화 장치(120)로 전송한다.

따라서, 동기화 장치(120)는 카메라 장치(110), 센서 장치(130~134) 및 중앙제어장치(140) 등을 포함하는 장치로부터 교정시간 정보에 따른 시간 교정으로 동기화가 완료되었음을 알리는 동기 완료 명령을 수신한다(S612).

도 8은 본 발명의 실시예에 따른 컴퓨터 장치의 영상신호와 센서신호를 동기화하는 방법을 설명하기 위한 동작 흐름도이다.

도 8을 참조하면, 본 발명에 따른 컴퓨터 장치(150)는 동기화 장치(120)로부터 기준시간 정보를 수신하여 자체에 내장된 동기용 시계를 동기시킨다(S810).

이어, 컴퓨터 장치(150)는 카메라 장치(110)로부터 취득시간 정보가 포함된 영상신호를 수신하고, 중앙제어장치(140)로부터 센서장치(130~134)에 의해 획득되어 취득시간 정보가 포함된 센서신호를 수신한다(S820).

이어, 컴퓨터 장치(150)는 취득시간 정보를 근거로 영상신호와 센서신호를 동기화한다(S830).

즉, 컴퓨터 장치(150)는 카메라 장치(110) 및 센서 장치(130~134)의 취득시간 정보를 비교하여 시간오차를 계산하고, 영상신호와 센서신호에 대해 시간축에서 시간오차만큼 보정하여 영상신호와 센서신호를 동기화한다.

한편, 컴퓨터 장치(150)는 카메라 장치(110) 및 센서 장치(130~134)로부터 영상 신호 및 센서 신호를 취득하는 중에도 동기화가 틀어질 수 있으므로 취득이 끝난 후 이를 검증해야 한다. 따라서, 중앙제어장치(140)가 각각의 카메라 장치(110) 및 센서 장치(130~134)의 시간 오차를 계산한 후 컴퓨터 장치(150)로 전달하여, 컴퓨터 장치(150)가 전달받은 시간 오차만큼 해당 정보를 시간축에서 보정하면 된다. 물론, 중앙제어장치(140)에서 시간 오차를 계산하지 않고 컴퓨터 장치(150)가 직접 시간 오차를 산출하여 그에 따라 영상 신호와 센서 신호를 시간 오차만큼 보정할 수 있다.

전술한 바와 같이 본 발명에 의하면, 카메라로부터 입력되는 영상신호와 각각의 영상신호에 대응되어 있는 센서신호에 대해, 각각의 센서모듈과 카메라 장치에 동기용 시계가 내장되어 있어, 동기화 장치에서 각각의 장치에 동기 신호를 전송하여 동기용 시계를 동기화 시킨 이후에 각각의 센서모듈과 카메라 장치에서 각각 획득한 신호에 취득시간을 붙여 중앙제어장치 및 컴퓨터 장치에 전송하여 영상신호와 센서신호의 동기화를 수행할 수 있도록 된 영상신호와 센서신호의 동기화 시스템 및 방법, 카메라 장치, 동기화 장치 및 그의 영상신호와 센서신호를 동기화하는 방법, 컴퓨터 장치 및 그의 영상신호와 센서신호를 동기화하는 방법을 실현할 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이 해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 카메라 장치에서 획득한 영상 신호와 센서 장치로부터 획득한 센서 신호를 동시에 화면과 음향으로 제공해야 하는 시스템 및 서비스에 적용할 수 있다.

또한, 영상 신호와 센서 신호를 생성하여 무선 통신과 유선 통신으로 전송하는 장치에 적용할 수 있다.

그리고, 다채널 영상 신호 및 센서 신호를 분석하는 장치나 시스템 등에 적용할 수 있다.

도 7은 본 발명의 실시예에 따른 동기화 절차 및 타이밍도를 나타낸 도면이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100 : 영상신호와 센서신호의 동기화 시스템 110 : 카메라 장치

120 : 동기화 장치 130 ~ 134 : 센서 장치

140 : 중앙제어장치 150 : 컴퓨터 장치

210 : 통신부 220 : 주파수 생성부

230 : 동기화 클럭부 240 : 기준시간 모듈부

250 : 실시간 클럭부 260 : 제어부

270 : A/D 변환부 280 : 출력부

290 : 디스플레이부 310 : 통신부

320 : 센서 330 : 신호 변환부

340 : 동기용 시계부 350 : 메모리부

360 : 제어부 370 : 주파수 생성부

380 : 실시간 클럭부

Claims

제1 동기용 시계가 내장되어 있으며, 피사체를 촬영하여 영상신호를 획득하고, 상기 획득된 영상신호에 상기 제1 동기용 시계에 의한 취득시간정보를 부가하여 출력하는 카메라 장치;

제2 동기용 시계가 내장되어 있으며, 상기 영상신호에 대응된 센서신호를 센싱 동작에 따라 생성하고, 상기 생성된 센서신호에 상기 제2 동기용 시계에 의한 취득시간정보를 부가하여 출력하는 센서 장치;

상기 센서 장치로부터 상기 취득시간정보가 부가된 센서신호를 수신하여 컴퓨터 장치로 전송하도록 제어하는 중앙제어장치;

기준 시계를 내장하고, 상기 제1 동기용 시계와 상기 제2 동기용 시계의 동기를 위한 기준시간을 일정 간격으로 상기 카메라 장치와 상기 센서 장치에 동시에 전송하는 동기화 장치; 및

상기 중앙제어장치로부터 상기 취득시간정보가 부가된 센서신호를 전송받고, 상기 카메라 장치로부터 상기 취득시간정보가 부가된 영상신호를 전송받아 각각의 신호별로 취득시간정보를 확인하고 각각의 신호를 동일한 시간대로 재구성하여, 상기 영상신호와 상기 센서신호를 동기화하는 컴퓨터 장치;

를 포함하는 영상신호와 센서신호의 동기화 시스템.
제 1 항에 있어서,

상기 카메라 장치는, 상기 동기화 장치로부터 수신된 기준시간을 근거로 상기 제1 동기용 시계를 동기화한 후, 상기 촬영하여 획득한 영상신호에 상기 제1 동기용 시계에 의한 취득시간정보를 부가하여 상기 컴퓨터 장치로 전송하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 시스템.
제 1 항에 있어서,

상기 센서 장치는, 상기 동기화 장치로부터 수신된 기준시간을 근거로 상기 제2 동기용 시계를 동기화한 후, 상기 센싱 동작에 따라 생성된 상기 센서신호에 상기 제2 동기용 시계에 의한 취득시간정보를 부가하여 상기 중앙제어장치로 전송하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 시스템.
제 3 항에 있어서,

상기 센서 장치는, 상기 동기화 장치로부터 수신된 상기 기준시간을 상기 제2 동기용 시계의 시간과 비교하여 오차만큼 보정하고, 보정된 시간을 기준으로 상기 센서신호에 취득시간정보를 부가하여 상기 중앙제어장치로 전송하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 시스템.
제 1 항에 있어서,

상기 카메라 장치와 상기 센서 장치는, 상기 동기화 장치로부터 수신된 상기 기준시간을 상기 제1 동기용 시계의 시간 및 상기 제2 동기용 시계의 시간과 비교하여 시간 오차를 얻고 상기 얻은 시간 오차를 각각 상기 컴퓨터 장치로 전송하며, 상기 컴퓨터 장치는 상기 영상신호 및 상기 센서신호에 대해 상기 시간 오차만큼 시간축에서 보정하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 시스템.
제 1 항에 있어서,

상기 동기화 장치는 상기 센서 장치에 현재시간 정보를 요청하여 획득하고, 상기 획득한 현재시간 정보를 상기 기준시간 정보와 비교하여 오차범위를 확인하며, 교정이 필요한 경우 시간 정보와 시간교정 명령을 상기 센서 장치로 전송하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 시스템.
제 6 항에 있어서,

상기 센서 장치는 상기 시간교정 명령을 수신하면, 상기 시간 정보를 기준으로 교정을 수행하고, 두 번째 클럭에서 상기 동기화 장치로부터 수신된 클럭으로 동기화를 수행하며, 교정 완료 명령을 상기 동기화 장치로 전송하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 시스템.
카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치와 통신하기 위한 통신부;

상기 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치로 동기화를 위한 기준시간 정보를 전송하기 위해 주파수 신호를 생성하는 주파수 생성부(Oscillator);

상기 생성된 주파수 신호를 클럭 신호로 생성하는 동기화 클럭부;

상기 생성된 클럭 신호를 상기 기준시간 정보로 생성하는 기준시간 모듈부(FPGA);

상기 기준시간 모듈부에 실시간 클럭(Real Time Clock)을 제공하는 실시간(RTC) 클럭부; 및

상기 주파수 생성부와 상기 동기화 클럭부 및 상기 기준시간 모듈부를 제어하여 상기 기준시간 정보를 생성하고, 상기 생성된 기준시간 정보가 상기 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치로 전송되도록 제어하는 제어부;

를 포함하는 동기화 장치.
제 8 항에 있어서,

상기 제어부는 상기 센서 장치에 현재시간 정보를 요청하여 획득하고, 상기 획득한 현재시간 정보를 상기 기준시간 정보와 비교하여 오차범위를 확인하며, 교정이 필요한 경우 현재시간 정보와 시간교정 명령을 상기 센서 장치로 전송하는 것을 특징으로 하는 동기화 장치.
제 9 항에 있어서,

상기 카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치로부터 입력된 아날로그 신호를 디지털 신호로 변환하는 A/D 변환부;

상기 디지털 신호를 출력하기 위한 출력부; 및

상기 기준시간 정보의 생성 동작, 상기 현재시간 정보 및 상기 시간교정 명령에 관한 전송 동작을 표시하기 위한 디스플레이부;

를 더 포함하는 것을 특징으로 하는 동기화 장치.
기울기, 장력, 무게 등을 센싱한 센서 신호를 생성하는 센서;

아날로그 형태의 상기 센서 신호를 디지털 형태의 센서 데이터로 변환하는 신호 변환부;

상기 센서 데이터를 동기화 장치 및 중앙제어장치로 전송하기 위한 통신부;

상기 동기화 장치에서 제공된 기준시간으로 동기화하기 위한 동기용 시계부;

상기 센서 데이터를 저장하기 위한 메모리부;

상기 센서 데이터가 상기 중앙제어장치로 전송되도록 제어하고, 상기 동기화 장치로부터 상기 기준시간을 수신하여 동기화한 후, 상기 센서 데이터를 취득한 취측시간 정보를 상기 센서 데이터와 함께 상기 중앙제어장치로 전송하는 제어부;

주파수 신호를 생성하여 상기 제어부에 제공하는 주파수 생성부; 및

상기 제어부에 실시간 클럭(Real Time Clock)을 제공하는 실시간(RTC) 모듈부;

를 포함하는 센서 장치.
피사체를 촬영하여 영상 신호를 획득하는 촬영부;

상기 영상 신호를 컴퓨터 장치 또는 중앙제어장치로 전송하고, 동기화 장치와 통신하기 위한 통신부; 및

상기 동기화 장치로부터 제공받은 기준시간에 동기화되고, 상기 영상 신호를 취득한 시간을 제공하기 위한 동기용 시계부;

를 포함하는 카메라 장치.
카메라 장치, 센서 장치, 중앙제어장치, 동기화 장치 및 컴퓨터 장치를 포함하는 시스템의 영상신호와 센서신호의 동기화 방법으로서,

(a) 상기 동기화 장치가 동기화 시간 정보를 상기 카메라 장치 및 상기 센서 장치로 전송하는 단계;

(b) 상기 카메라 장치 및 상기 센서 장치가 상기 동기화 시간 정보에 근거해 각각 내장된 동기용 시계를 동기시키는 단계;

(c) 상기 카메라 장치 및 상기 센서 장치가 영상 신호 및 센서 신호를 각각 획득하고 취득시간 정보를 부가하여 상기 중앙제어장치 또는 상기 컴퓨터 장치로 전송하는 단계; 및

(d) 상기 컴퓨터 장치가 상기 취득시간 정보를 근거로 상기 영상 신호와 상기 센서 신호의 동기화를 수행하는 단계;

를 포함하는 영상신호와 센서신호의 동기화 방법.
제 13 항에 있어서,

상기 (c) 단계는 상기 중앙제어장치가 상기 취득시간 정보가 부가된 상기 센서 신호를 상기 컴퓨터 장치로 전송하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 방법.
제 13 항에 있어서,

상기 (d) 단계는 상기 컴퓨터 장치가 상기 카메라 장치 및 상기 센서 장치의 취득시간 정보를 비교하여 시간오차를 계산하고, 상기 영상신호와 상기 센서신호에 대해 시간축에서 시간오차만큼 보정하여 상기 영상신호와 상기 센서신호를 동기화하는 것을 특징으로 하는 영상신호와 센서신호의 동기화 방법.
카메라 장치, 센서 장치, 중앙제어장치 및 컴퓨터 장치를 포함하는 장치와 유선 또는 무선으로 통신하는 동기화 장치의 영상신호와 센서신호를 동기화하는 방법으로서,

(a) 상기 장치에 현재시간 정보를 요청하여 현재시간 정보를 수신하는 단계;

(b) 상기 현재시간 정보를 기준시간 정보와 비교하여 오차 정보를 획득하는 단계;

(c) 상기 오차 정보를 보정하는 시간 정보를 생성하고, 상기 장치로 상기 시간 정보와 시간교정 명령을 전송하는 단계; 및

(d) 상기 장치로부터 상기 시간 정보에 따른 시간 교정으로 동기화가 완료되었음을 알리는 동기 완료 명령을 수신하는 단계;

를 포함하는 동기화 장치의 영상신호와 센서신호를 동기화하는 방법.
카메라 장치, 센서 장치, 중앙제어장치 및 동기화 장치와 유선 또는 무선으로 통신하는 컴퓨터 장치의 영상신호와 센서신호를 동기화하는 방법으로서,

(a) 상기 동기화 장치로부터 기준시간 정보를 수신하여 내장된 동기용 시계를 동기시키는 단계;

(b) 상기 카메라 장치로부터 취득시간 정보가 포함된 영상신호를 수신하고, 상기 중앙제어장치로부터 상기 센서장치에 의해 획득되고 취득시간 정보가 포함된 센서신호를 수신하는 단계; 및

(c) 상기 취득시간 정보를 근거로 상기 영상신호와 상기 센서신호를 동기화하는 단계;

를 포함하는 컴퓨터 장치의 영상신호와 센서신호를 동기화하는 방법.
제 17 항에 있어서,

상기 (c) 단계는 상기 카메라 장치 및 상기 센서 장치의 취득시간 정보를 비교하여 시간오차를 계산하고, 상기 영상신호와 상기 센서신호에 대해 시간축에서 상기 시간오차만큼 보정하여 상기 영상신호와 상기 센서신호를 동기화하는 것을 특징으로 하는 컴퓨터 장치의 영상신호와 센서신호를 동기화하는 방법.