KR20210059234A - 멀티 모달 센서의 시간 동기화 방법 - Google Patents

Abstract

본 발명의 멀티 모달 센서의 시간 동기화 방법은, 제1 및 제2 센서가, 패턴판을 인식하여 제1 및 제2 데이터를 각각 획득하는 단계; 상기 제1 및 제2 데이터를 프레임에 대한 제1 함수 및 제2 함수로 각각 변환하는 단계; 및 상기 제1 및 제2 함수 간의 교차상관관계를 이용하여 상기 제1 및 제2 함수 중 어느 하나의 함수를 교정하기 위한 교정값을 결정하고, 결정된 교정값을 이용하여 상기 제1 및 제2 센서 간의 시간 동기화를 수행하는 단계;를 포함한다.

Description

멀티 모달 센서의 시간 동기화 방법{Method for time synchronization of multimodal sensors}

본 발명은 회화 작업에 사용하는 두 센서의 시간 동기화에 대한 것이다.

문화 유산을 후대에 전하는 것은 문화적 발전을 위한 중요한 작업 중에 하나이다. 소실된 무형 유산을 후대에 복원하려면 세밀한 기록이 필요하다.

한국의 무형문화유산 중 회화 분야에는 불화와 단청이 있다. 회화 작업은 기본적으로 붓, 안료, 그림을 그릴 종이나 천 등을 도구로 사용한다. 이 때 작업자의 자세, 붓의 움직임, 사용하는 안료, 작업 결과물 등은 모두 보존해야 할 전형이다.

그림이 그려지는 모습은 디지털 카메라(블랙매직)를 이용해 담아낸다. 이 중 붓의 세밀한 움직임은 동영상 촬영만으로는 부족해서 모션 추적 센서(옵티 트랙)로 획득한다. 이 때 카메라와 모션 추적 센서 사이의 미세한 시간 차가 발생한다. 물리적으로 다른 장치를 이용하기도 하고, 구동 방식과 데이터 전송 방식 등이 모두 다르기 때문이다.

2개 이상의 센서를 시스템에 사용해서 데이터를 획득하는 경우는 매우 많지만 미세한 동작을 획득하는 경우는 많지 않기 때문에 센서 간 시간 동기화는 자주 무시되어 왔다. 회화 작업은 보통 매우 섬세하게 작업하기 때문에 이 조금의 차이를 보정해주면 데이터를 더 유용하게 이용할 수 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해서, 2개의 센서의 시간을 동기화를 위한 방법과 그에 사용할 패턴판 제작 방법을 제공하는데 그 목적이 있다.

본 발명의 전술한 목적들 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해진다.

상기의 목적을 달성하기 위한 본 발명의 멀티 모달 센서의 시간 동기화 방법은, 제1 및 제2 센서가, 패턴판을 인식하여 제1 및 제2 데이터를 각각 획득하는 단계; 상기 제1 및 제2 데이터를 프레임에 대한 제1 함수 및 제2 함수로 각각 변환하는 단계; 및 상기 제1 및 제2 함수 간의 교차상관관계를 이용하여 상기 제1 및 제2 함수 중 어느 하나의 함수를 교정하기 위한 교정값을 결정하고, 결정된 교정값을 이용하여 상기 제1 및 제2 센서 간의 시간 동기화를 수행하는 단계;를 포함한다.

본 발명에 의하면, 이종의 센서가 새롭게 고안된 패턴을 인식하여 획득한 데이터를 처리함으로써, 간단하게 두 센서의 시간 동기화는 물론, 디지털 카메라 캘리브레이션을 한번에 처리할 수 있다.

도 1은 본 발명의 실시 예에 따라 패턴판을 나타내는 도면.
도 2는 실제 제작된 패턴판을 촬영한 사진.
도 3은 본 발명의 실시 예에 따른 멀티 모달 센서를 구성하는 이종 센서들 간의 시간 동기화를 위한 장치 구성도.
도 4는 본 발명의 실시 예에 따른 카메라 교정 패턴의 위치 정보로부터 변환된 프레임 대한 함수와 반사 마커 세트의 위치 정보로부터 변환된 프레임에 대한 함수를 나타내는 그래프.
도 5는 도 3에 도시한 동기화부의 내부 구성도.
도 6은 본 발명의 실시 예에 따른 샘플 데이터

에 대한 그래프.
도 7은 본 발명의 실시 예에 따라 교정된 샘플 데이터에 대한 그래프.
도 8은 본 발명의 실시 예에 따른 멀티 모달 센서의 시간 동기화 방법을 나타내는 흐름도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명에서는 이종 센서 간의 시간 동기화를 위해 제작한 패턴판에 대한 내용과 동기화 방법 두 부분으로 나누어 설명하며, 먼저, 멀티 모달 센서를 구성하는 이종 센서들 간의 시간 동기화를 위해 제작한 패턴판에 대해 설명하기로 한다.

도 1은 본 발명의 실시 예에 따라 패턴판을 나타내는 도면이고, 도 2는 실제 제작된 패턴판을 촬영한 사진이다.

도 1 및 2를 참조하면, 본 발명의 실시 예에 따른 패턴판(50)은 디지털 카메라(블랙매직)와 모션 추적 센서(옵티트랙)가 모두 인식할 수 있도록 제작된다.

패턴판(50)은 사각 형상으로 이루어진다. 패턴판(50)의 표면에는 전면에 걸쳐 카메라 교정 패턴(51)(camera calibration pattern)이 패터닝 된다.

카메라 교정 패턴(51)은, 일정 간격으로 패터닝 된 다수의 원형 패턴(51A)으로 이루어질 수 있으며, 이에 국한되지 않고, 다양한 형상의 패턴들로 이루어질 수 있음은 당연하다.

카메라 교정 패턴(51)의 주변 영역에는 적어도 3개의 반사 마커들(53, 54, 55)이 구비된다(부착된다). 주변 영역은 패턴판(50)의 모서리 부분일 수 있다. 따라서, 다수의 반사 마커들(53, 54, 55)은 패턴판(50) 표면의 모서리 부분에 구비(부착)될 수 있다(부착될 수 있다).

본 실시 예에서는 3개의 반사 마커들(53, 54, 55)이 예시된다. 따라서, 3개의 반사 마커들(53, 54, 55)이 패턴판(50) 표면의 모서리 부분 3군데에 구비(부착)될 수 있다.

본 명세서에서는 3개의 반사 마커들(53, 54, 55)을 하나의 세트로 묶어서 '반사 마커 세트'라 지칭한다.

반사 마커들(53, 54, 55)은 모션 추적 센서의 인식 대상으로 활용된다.

반사 마커들은 구 형상으로 이루어진다, 따라서, 모든 방향에서 바라본 반사 마커의 형태(모양 또는 크기)은 바뀌지 않는다. 어떠한 방향에서도 반사 마커의 형태는 바뀌지 않으므로, 이러한 반사 마커는 강체(rigid body)로 인식될 수 있다.

이하, 멀티 모달 센서를 구성하는 이종 센서들 간의 시간 동기화에 대해 상세히 설명한다.

도 3은 본 발명의 실시 예에 따른 멀티 모달 센서에 포함된 이종 센서들 간의 시간 동기화를 위한 장치 구성도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 이종 센서들 간의 시간 동기화를 위한 장치(100)는 데이터 획득부(110), 데이터 처리부(120) 및 동기화부(130)를 포함한다. 데이터 처리부(120) 및 동기화부(130)는 하나의 프로세서 또는 2개의 프로세서에 탑재된 로직으로 구현될 수 있다. 장치(100)는, 도시하지는 않았으나, 사용자 입력을 위한 인터페이스, 각 구성들(110, 120 및 130)에서 획득한 중간 데이터 및 결과 데이터를 일식적 또는 영구적으로 저장하는 메모리를 더 포함할 수 있다.

데이터 획득부 (110)

데이터 획득부(100)는 구동 방식 및/또는 데이터 전송 방식이 다른 이종의 센서들을 포함한다. 설명의 이해를 돕기 위해, 데이터 획득부(110)가 2개의 이종 센서들을 포함하는 것으로 가정하고, 하나는 디지털 카메라(112)이고, 다른 하나는 모션 추적 센서(114)라 가정한다.

디지털 카메라(112)와 모션 추적 센서(114)는 움직이는 패턴판(500)을 인식(센싱, 식별 또는 촬영)하여 각자의 데이터를 획득(검출 또는 생성)한다.

도 1 및 2에 예시한 바와 같이 제작된 패턴판(50)에는 반사 마커 세트(53, 54, 55)가 부착되어 있기 때문에, 반사 마커 세트(53, 54, 55)와 카메라 교정 패턴(51)의 물리적인 상대 위치는 같고, 같이 움직인다.

따라서, 디지털 카메라(112)에 의해 획득된 카메라 캘리브레이션 패턴(51)에 대한 데이터와 모션 추적 센서(114)에 의해 획득된 반사 마커 센트(53, 54, 55)에 대한 데이터를 비교하면, 두 센서들(112, 114) 간의 시간차를 알 수 있다. 여기서, 시간차는 두 센서들(112, 114) 간의 구동 방식 및/또는 데이터 전송 방식이 다름에 따라 발생하는 시간차로서, 예를 들면, 디지털 카메라(112)에 의해 획득된 프레임과 모션 추적 센서(114)에 의해 획득된 프레임 사이의 시간차일 수 있다.

디지털 카메라(112)와 모션 추적 센서(114)는 사용자가 임의의 시간 동안 한곳에 놓아두었다가 다른 곳으로 옮기는 반복 작업에 의한 반사 마커를 부착한 패턴판(50)의 움직임을 센싱하여 데이터를 획득한다. 상기 반복 작업은 예를 들면, 약 9~10회일 수 있다.

데이터 처리부(120)

데이터 처리부(120)는 디지털 카메라(112)로부터 입력되는 데이터와 모션 추적 센서(114)로부터 입력되는 데이터를 처리한다.

이하, 용어 구분을 명확히 하기 위해, 디지털 카메라(112)로부터 입력되는 데이터는 '영상 데이터(image data)'라 하고, 모션 추적 센서(114)로부터 입력되는 데이터는 '센싱 데이터'라 한다. '영상 데이터(image data)'는 간단히 '영상'이라 지칭할 수도 있으며, '센싱 데이터'는 '적외선 센싱 데이터'라는 용어로 지칭할 수도 있다.

데이터 처리부(120)는 디지털 카메라(112)의 영상 데이터로부터 인식한 카메라 교정 패턴(51)의 위치 정보(픽셀 위치)와 모션 추적 센서(114)의 센싱 데이터로부터 인식한 반사 마커 세트(53, 54, 55)의 위치 정보를 각각 프레임에 대한 함수로 변환 처리한다.

먼저, 데이터 처리부(120)는 디지털 카메라(112)의 영상 데이터로부터 인식한 카메라 교정 패턴(51)의 위치 정보(픽셀 위치)를 처리한다.

구체적으로, 데이터 처리부(120)는 현재 프레임의 영상 데이터로부터 인식한 각 원형 패턴(51A)의 중심점에 대응하는 픽셀 위치와 이전 프레임의 영상 데이터로부터 인식한 각 원형 패턴(51A)의 중심점에 대응하는 픽셀 위치 간의 차이 값에 대해 L2 정규화(L2 regularization) 과정을 수행한다. 이를 수식으로 표현하면 아래와 같다.

여기서,

는 i번째 프레임에서 검출한(인식한) 각 원형 패턴들의 중심점에 대응하는 픽셀 위치 벡터(또는 중심점 벡터)이다.

다음으로, 데이터 처리부(120)는 모션 추적 센서(114)의 센싱 데이터로부터 인식한(추적한) 각 반사 마커(53, 54, 55)의 위치정보를 처리한다. 이때, 모션 추적 센서(114)는 반사 마커들(53, 54, 55)을 강체로 인식하기 때문에, 회전의 6자유도 자세를 알 수 있으며, 이 중에서 위치 벡터만을 이용해 위와 같은 방법으로 L2 정규화 과정을 수행한다.

즉, 데이터 처리부(120)는 현재 프레임의 센싱 데이터로부터 인식한 각 반사 마커(53, 54, 55)의 중심점에 대응하는 위치 벡터와 이전 프레임의 센싱 데이터로부터 인식한 각 반사 마커(53, 54, 55)의 중심점에 대응하는 위치 벡터 간의 차이 값에 대해 L2 정규화(L2 regularization) 과정을 수행한다. 이를 수식으로 표현하면, 아래와 같다.

여기서,

는 i번째 프레임에서 모션 추적 센서가 검출한 반사 마커 세트의 위치 벡터이다.

이와 같이, 데이터 처리부(120)는 두 센서에서 각각 인식한 대상들의 위치 정보를 프레임에 대한 함수 f(i)와 g(i)로 변환 처리한다.

샘플 데이터를 이용해 프레임에 대한 두 함수를 그래프로 나타내면, 도 4와 같다.

도 4는 도 3에 도시한 데이터 처리부가 카메라 교정 패턴의 위치 정보로부터 변환힌 프레임 대한 함수와 반사 마커 세트의 위치 정보로부터 변환한 프레임 대한 함수를 나타내는 그래프이다.

도 4를 참조하면, 패턴판(50)을 옮길 때 값이 커질 것이고, 움직임이 없으면 값은 작아진다. 그래서 뾰족한 부분이 패턴판(50)을 옮긴 부분이고 0에 가까운 평평한 부분이 패턴판(50)을 가만히 놔둔 부분이다.

동기화부 (130)

동기화부(130)는 두 함수 f(i)와 g(i) 중에서 한쪽 함수값을 교정하여 두 센서들(112, 114) 간의 시간 동기화를 처리한다.

도 5는 도 3에 도시한 동기화부의 내부 구성도이다.

도 5를 참조하면, 동기화부(130)는 연산기(132), 교정값 결정기(134) 및 교정기(136)를 포함한다.

연산기(132)는 두 함수 f(i)와 g(i)의 합성 곱을 연산한다.

두 함수 f(i)와 g(i)는 신호로 볼 수 있으며, 두 신호 간의 유사도를 계산하는 데는 교차 상관 관계(cross-correlation)를 이용한다. 교차 상관 관계는 두 함수의 합성 곱이며, 이를 수식으로 나타내면, 아래와 같다.

i는 프레임 번호이며 총 m개의 프레임에 대해 계산한다. 수학식 3은 하나의 신호를 다른 신호에 통과하게 해서 계산한다. 다시 말해, 이 함수의 입력값은 프레임 지연 계수

이며, 이 값을 변경해가며 합성 곱을 구해서 두 신호의 유사도를 파악한다.

교정값 결정기(134)는 시간 동기화를 위해 두 함수 f(i)와 g(i)에서 한쪽 함수 값을 교정하기 위한 교정값을 결정한다.

전술한 연산기(132)의 연산 방식은 합성 곱이기 때문에, 합성 곱에 의한 연산 결과는 두 함수의 유사도가 가장 높은 곳에서 가장 크게 나타난다. 샘플 데이터

의 그래프는 도 6과 같다.

도 6은 본 발명의 실시 예에 따른 샘플 데이터

에 대한 그래프이다. 교정값 결정기(134)는 도6의 그래프에서 변경 가능한 프레임 지연 계수

를 적용하여 합성 곱의 연산 결과가 최대가 되는 지점의 값(또는 합성 곱의 최대값)을 교정값으로 결정한다.

교정기(136)는 교정값 결정기(134)에 의해 결정된 교정값을 이용하여 두 함수 f(i)와 g(i) 중에서 한쪽 함수 값을 교정하는 방식으로 시간 동기화 과정을 수행한다. 예를 들면, 상기 결정된 교정값을 이용하여 한쪽 센서에서 획득한 프레임들 중 일부 프레임을 잘라내는 방식으로 시간 동기화 과정이 진행될 수 있다.

도 7은 본 발명의 실시 예에 따라 교정된 샘플 데이터에 대한 그래프이다.

도 7을 참조하면, 본 발명에 따라 교정된 샘플 데이터(두 함수 f(i)와 g(i))에 대한 그래프들이 도 4와는 다르게 거의 일치함을 확인할 수 있다. 덧붙여, 획득한 패턴판과 마커 세트 추적 정보를 이용하면 디지털 카메라의 왜곡 보정 및 모션 추적 센서와의 위치 캘리브레이션도 할 수 있다.

도 8은 본 발명의 실시 예에 따른 멀티 모달 센서의 시간 동기화 방법을 나타내는 흐름도이다.

도 8을 참조하면, 먼저, 카메라 교정 패턴(51)과 그 주변 영역에 반사 마커 세트(53, 54, 55)가 부착된(형성된 또는 구비된) 패턴판(50)이 준비된다.

단계 801에서, 상기 제1 및 제2 센서가, 패턴판(50)을 인식(식별, 센싱)하여 제1 및 제2 데이터를 각각 획득한다. 여기서, 제1 및 제2 센서는 구동 방식 및/또는 데이터 전송방식이 다른 이종 센서일 수 있다. 제1 센서는, 예를 들면, 디지털 카메라일 수 있고, 제2 센서는, 예를 들면, 적외선을 이용한 모션 추적 센서일 수 있다. 이 경우, 제1 데이터는 영상 데이터이고, 제2 데이터는 적외선 센싱 데이터일 수 있다.

이어, 단계 803에서, 데이터 처리부가, 상기 제1 센서 및 제2 센서로부터 각각 입력된 상기 제1 및 제2 데이터를 프레임에 대한 제1 함수(f(i)) 및 제2 함수(g(i))로 각각 변환하는 처리 과정이 수행된다. 이러한 처리 과정은, 예를 들면, 도 3에 도시한 데이터 처리부(120)에 의해 수행될 수 있다. 제1 및 제2 데이터를 프레임에 대한 함수로 변환하는 과정은 수학식 1 및 2에 대한 설명으로 대신한다.

이어, 단계 805에서, 상기 제1 및 제2 함수 간의 교차상관관계를 이용하여 상기 제1 및 제2 함수 중 어느 하나의 함수를 교정하기 위한 교정값을 결정하고, 결정된 교정값을 이용하여 상기 제1 및 제2 센서 간의 시간 동기화를 수행하는 처리 과정이 수행된다. 이러한 처리 과정은, 예를 들며, 도 3 및 5에 도시한 동기화부(130)에 의해 수행될 수 있다. 교정값을 결정하는 과정은 수학식 3 및 도 5에 도시한 교정값 결정기(134)에 대한 설명으로 대신한다.

이상에서 설명된 멀티 모달 센서의 시간 동기화 방법은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예 들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (1)

1. 제1 및 제2 센서를 포함하는 멀티 모달 센서의 시간 동기화 방법에서,
   상기 제1 및 제2 센서가, 패턴판을 인식하여 제1 및 제2 데이터를 각각 획득하는 단계;
   데이터 처리부가, 상기 제1 및 제2 데이터를 프레임에 대한 제1 함수 및 제2 함수로 각각 변환하는 단계; 및
   동기화부가, 상기 제1 및 제2 함수 간의 교차상관관계를 이용하여 상기 제1 및 제2 함수 중 어느 하나의 함수를 교정하기 위한 교정값을 결정하고, 결정된 교정값을 이용하여 상기 제1 및 제2 센서 간의 시간 동기화를 수행하는 단계;
   를 포함하는 멀티 모달 센서의 시간 동기화 방법.
   

Images