KR101575954B1 - 3차원 정합을 이용한 증강현실 장치 및 그 방법 - Google Patents

Abstract

본 발명은 3차원 정합을 이용한 증강현실 장치 및 그 방법에 관한 것이다.
본 발명의 증강현실 장치는, 선박의 항행을 촬영하는 촬상 모듈; 상기 촬상 모듈에 의한 항행 영상에서 수평선과 객체를 검출하는 영상 해석 모듈; 상기 선박의 Roll/Pitch 값과 상기 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정하는 파라미터 설정 모듈; 상기 촬상 모듈에 의해 실시간으로 촬영되는 상기 항행 영상에 상기 수평선 및 상기 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 상기 설정된 파라미터 및 상기 수평선과 객체를 이용하여 상기 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성하는 가상공간 생성 모듈; 및 상기 가상공간을 이용하여 상기 항행 영상을 3차원으로 표시되는 윈도우 이미지로 변환하여 상기 항행 영상에 정합하는 3차원 정합 모듈을 포함한다.
이러한, 본 발명에 따르면, 이와 같이 본 발명에 따르면, 증강현실에 의해 AIS 항행 정보와 항행 영상을 3차원으로 표시함으로써 사용자가 수평선과 객체의 존재 유무를 쉽게 확인할 수 있는 효과를 기대할 수 있다.
또한, AIS 항행 정보에 매칭한 항행 영상을 3차원으로 사용자에게 제공함으로써 안정적인 항행을 제공할 수 있다.

Description

3차원 정합을 이용한 증강현실 장치 및 그 방법{APPARATUS FOR AUGMENTED REALITY USING 3D RECONSTRUCTION AND MEHHOD THEREOF}

본 발명은 증강현실 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 선박의 항행 영상과 AIS 데이터를 3차원 정합하여 선박의 항행 영상과 운행 정보를 동시에 표시하는 증강현실 장치 및 그 방법에 관한 것이다.

최근 GPS(Global Positioning System)를 이용한 항해술의 발전으로, 선박의 위치를 추측, 추정, 예정하는 기술력이 높아져, 선박이 항해하는데 보다 높은 정확도와 안정성을 갖게 되었다. 특히, 원양을 항해하는데 주변의 선박들에 대한 정보를 실시간으로 받을 수 있는 선박 자동 식별 시스템(AIS: Automatic Identification System)이 발전함에 따라 충돌을 회피하고, 위급 상황에 대한 빠른 대처가 가능하게 되었다.

하지만, 이러한 선박에 적용된 위치 정보 제공에도 불구하고, 선박의 충돌 사고나, 침몰 사고 등이 빈번히 발생하고 있다. 특히, 선교 밖의 상황을 주시하지 못하게 되는 상황에 의해 발생하는 아차 사고나, 안개와 같이 시계가 불안정한 날씨에 의한 기상 악화 사고들이 대표적으로 발생하고 있다. 이러한 사고들은 선교 밖의 상황을 예의 주시할 수 없는 경우에 주로 발생한다. 이를 방지하기 위해, 선박들은 위해 선두에 CCTV(Closed Circuit Television)을 구비하여 항행 중 진행하는 방향에 위치하고 있는 물표를 확인하고 있다. 하지만, CCTV 영상을 24시간 내내 승무원이 확인할 수 없기 때문에 무용지물에 가까운 실정이다.

본 발명은 선박 자동 식별 시스템(AIS)의 데이터와 CCTV 영상을 동시에 하나의 화면에 표시할 수 있는 증강현실 장치 및 그 방법에 관한 것으로서, AIS 데이터와 CCTV 영상을 매칭시키기 위해서는 CCTV 영상에서 수평선과 항해 중에 포착되는 객체를 검출하는 것이 선행되어야 한다.

촬영된 영상에서 수평선과 객체를 검출하는 기술은 객체 인식 장치 및 그 방법에 관한 것으로서 촬영된 영상에 대한 전처리 과정을 비롯하여 수평선과 객체를 효과적으로 검출하기 위한 기술이 공개되어 있다.

본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제2013-0036511(2013.04.12.)에 개시되어 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 선박의 항행 영상과 AIS 데이터를 3차원 정합하여 선박의 항행 영상과 운행 정보를 동시에 표시하는 증강현실 장치 및 그 방법을 제공하는 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 3차원 정합을 이용한 증강현실 장치는, 선박의 항행을 촬영하는 촬상 모듈; 상기 촬상 모듈에 의한 항행 영상에서 수평선과 객체를 검출하는 영상 해석 모듈; 상기 선박의 Roll/Pitch 값과 상기 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정하는 파라미터 설정 모듈; 상기 촬상 모듈에 의해 실시간으로 촬영되는 상기 항행 영상에 상기 수평선 및 상기 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 상기 설정된 파라미터 및 상기 수평선과 객체를 이용하여 상기 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성하는 가상공간 생성 모듈; 및 상기 가상공간을 이용하여 상기 항행 영상을 3차원으로 표시되는 윈도우 이미지로 변환하여 상기 항행 영상에 정합하는 3차원 정합 모듈을 포함한다.

또한, 상기 파라미터 설정 모듈은, 상기 선박의 Roll/Pitch 값에 해당하는 파라미터를 상기 항행 영상에서 검출된 수평선의 위치를 이용하여 설정할 수 있다.

또한, 상기 가상공간 생성 모듈은, 상기 객체가 타선인 경우 상기 타선의 자세 및 위치를 3차원적으로 나타내기 위한 정합 행렬을 생성할 수 있다.

또한, 상기 가상공간 생성 모듈은, 상기 카메라의 위치, 상기 Roll/Pitch 회전 변환, 상기 카메라의 시야각을 3차원적으로 나타내기 위한 정합 행렬을 생성할 수 있다.

또한, 상기 3차원 정합 모듈은, 상기 정합 행렬에 따른 다음 수학식을 이용하여 상기 윈도우 이미지를 생성할 수 있다:

I(X, Y) = MVP*i(x, y)

여기서, MVP는 상기 정합 행렬인 상기 타선의 자세를 나타내는 모델 행렬(Model Matrix), 상기 타선의 위치를 나타내는 공간 행렬(World Matrix), 상기 카메라의 위치를 나타내는 카메라 행렬(Camera Matrix), 상기 Roll/Pitch 회전변환을 나타내는 RP 행렬(RP Matrix), 상기 카메라의 시야각을 활용하여 원근감을 적용하기 위한 원근 행렬(Perspective Matrix)을 순차적으로 모두 적용한 4*4 행렬이고, I(X, Y)는 상기 윈도우 이미지 그리고 i(x, y)는 상기 항행 영상이다.

본 발명의 다른 실시예에 따른 3차원 정합을 이용한 증강현실 방법은, 선박의 항행을 촬영하는 단계; 상기 촬영된 항행 영상에서 수평선과 객체를 검출하는 단계; 상기 선박의 Roll/Pitch 값과 상기 촬영에 사용되는 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정하는 단계; 상기 촬상 모듈에 의해 실시간으로 촬영되는 상기 항행 영상에 상기 수평선 및 상기 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 상기 설정된 파라미터 및 상기 수평선과 객체를 이용하여 상기 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성하는 단계; 및 상기 가상공간을 이용하여 상기 항행 영상이 3차원으로 표시되는 윈도우 이미지로 변환하여 상기 항행 영상에 정합하는 단계를 포함한다.

이와 같이 본 발명에 따르면, 증강현실에 의해 AIS 항행 정보와 항행 영상을 3차원으로 표시함으로써 사용자가 수평선과 객체의 존재 유무를 쉽게 확인할 수 있는 효과를 기대할 수 있다.

또한, AIS 항행 정보에 매칭한 항행 영상을 3차원으로 사용자에게 제공함으로써 안정적인 항행을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 증강현실 장치를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 증강현실 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 3차원 가상 공간을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 3차원 가상 공간의 가상 카메라를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따라 가상 카메라로 촬영된 3차원 가상 공간에서의 윈도우 이미지의 예시 도면이다.
도 6은 본 발명의 실시예에 따른 3차원 정합에 의한 예시 화면을 나타내는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

먼저, 본 발명의 실시예에 따른 3차원 정합을 이용한 증강현실 장치에 대하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 3차원 정합을 이용한 증강현실 장치의 구성도이다.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 3차원 정합을 이용한 증강현실 장치(100)는 촬상 모듈(110), 영상 전처리 모듈(120), 영상 해석 모듈(130), 파라미터 설정 모듈(140), 가상공간 생성 모듈(150) 및 3차원 정합 모듈(160)을 포함한다.

촬상 모듈(110)은 선박의 선두에 장착되어, 선두의 영상을 촬영하는 모듈로, 항행 영상을 촬영하기 위한 카메라를 포함한다.

영상 전처리 모듈(120)은 수평선 검출 전처리 수행부(미도시)와 객체 검출 전처리 수행부(미도시)를 포함하며, 촬상 모듈(110)로부터 수신되는 영상에 대한 영상 전처리 과정을 수행한다. 수평선과 객체 검출을 위한 영상 전처리 기술에 관한 것은 이미 본 발명이 속하는 기술 분야에서 공지의 기술에 해당하는 것이므로 자세한 설명은 생략하기로 한다.

영상 해석 모듈(130)은 수평선 검출부(미도시)와 객체 추출부(미도시)를 포함하며, 영상 전처리 모듈(120)에 의해 전처리 수행된 영상들을 수신하여, 수평선과 객체를 검출한다. 마찬가지로 영상 해석 기술에 관한 것도 본 발명이 속하는 기술 분야에서 공지의 기술에 해당하므로 자세한 설명은 생략하기로 한다.

파라미터 설정 모듈(140) 선박의 Roll/Pitch 값과 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정한다.

가상공간 생성 모듈(150)은 촬상 모듈에 의해 실시간으로 촬영되는 항행 영상에 수평선 및 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 설정된 파라미터 및 수평선과 객체를 이용하여 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성한다.

3차원 정합 모듈(160) 가상공간을 이용하여 항행 영상을 3차원으로 표시되는 윈도우 이미지로 변환하여 항행 영상에 정합한다.

디스플레이 모듈(미도시)은 정합된 영상을 항행 중에 실시간으로 사용자에게 표시할 수 있다.

이하, 본 발명의 실시예에 따른 3차원 정합을 이용한 증강현실 방법에 대하여 설명하기로 한다.

먼저, 촬상 모듈(110)은 선박의 항행을 촬영하여 항행 영상을 출력한다. 실제적으로 촬상 모듈(110)은 CCTV 형태의 카메라고 구현될 수 있으면 선박의 진행 방향을 향하여 구비되어 선박의 항행을 촬영한다(S210).

다음으로, 촬영된 영상을 이용한 영상 전처리 과정과 영상 해석 과정을 통해 수평선과 개체가 검출된다(S220).

다음은 검출된 수평선과 개체 및 AIS 항행 정보를 3차원 적으로 정합하기 위한 과정이다.

도 2는 본 발명의 실시예에 따른 증강현실 방법을 나타낸 순서도이다.

파라미터 설정 모듈(140) 선박의 Roll/Pitch 값과 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정한다(S230).

촬상 모듈(110)은 선박에 고정되어 선박의 항행을 촬영한다. 따라서, 촬상 모듈(110)을 통해 선박의 위치를 나타낼 수 있다. 또한, 선박의 기울기 및 움직임에 따라 촬상 모듈(110)의 기울기 및 움직임도 변하기 때문에 촬상 모듈(110)에 의해 촬영된 항행 영상을 이용하여 선박의 기울기를 측정할 수 있다.

따라서, 파라미터 설정 모듈(140)은 선박의 Roll/Pitch 값에 해당하는 파라미터를 항행 영상에서 검출된 수평선의 위치를 이용하여 설정할 수 있다.

다음으로 가상공간 생성 모듈(150)은 촬상 모듈에 의해 실시간으로 촬영되는 항행 영상에 수평선 및 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 설정된 파라미터 및 수평선과 객체를 이용하여 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성한다(S240).

도 3은 본 발명의 실시예에 따른 3차원 가상 공간을 설명하기 위한 도면이다.

도 3에서, 선박(200)이 직육면체 형태로 단순화되어 표시되어 있으며, 직육면체 형태의 선박(200) 위에는 작은 직육면체 형태로 단순화된 가상 카메라(300)가 설치되어 있다.

도 3에서, 항행 영상 해석을 통해 검출된 수평선(500)과 객체인 타선(400)이 표시되어 있다.

도 4는 본 발명의 실시예에 따른 3차원 가상 공간의 가상의 카메라를 설명하기 위한 도면이다.

도 4에서, 가상 카메라는 실제의 촬상 모듈(110)을 가상 공간에 나타낸 것이다. 따라서, 가상 카메라는 실제의 촬상 모듈(110)에 대응되며 선박의 기울기 및 움직임에 따라 가상 카메라의 기울기 및 움직임도 변하게 된다.

도 4에서, 각도 a는 선박의 좌우 기울기에 따른 가상 카메라의 Roll 을 나타내고, 각도 b는 선박의 선후 기울기에 따른 가상 카메라의 Pitch 를 나타낸다.

가상공간 생성 모듈(150)은 객체가 타선인 경우 타선의 자세 및 위치를 3차원적으로 나타내기 위한 정합 행렬을 생성할 수 있다. 여기서 정합 행렬은 4*4 행렬 형태로 표시될 수 있다.

또한, 가상공간 생성 모듈(150)은 촬상 모듈(110)에 대응하는 가상 카메라의 위치, Roll/Pitch 회전 변환, 가상 카메라의 시야각을 3차원적으로 나타내기 위한 정합 행렬을 생성할 수 있다. 여기서 정합 행렬은 4*4 행렬 형태로 표시될 수 있다.

3차원 정합 모듈(160) 가상공간을 이용하여 항행 영상을 3차원으로 표시되는 윈도우 이미지로 변환하여 AIS 항행 정보 및 항행 영상과 정합한다(S250).

3차원 정합 모듈(160)은 가상공간 생성 모듈(150)이 생성한 정합 행렬을 이용하여 다음의 수학식 1에 따라 3차원으로 표시되는 윈도우 이미지를 생성한다.

여기서, MVP 는 정합 행렬을 순차적으로 모두 적용한 4*4 행렬이다.

정합 행렬은, 타선의 자세를 나타내는 모델 행렬(Model Matrix), 타선의 위치를 나타내는 공간 행렬(World Matrix), 카메라의 위치를 나타내는 카메라 행렬(Camera Matrix), 선박의 Roll/Pitch 회전변환을 나타내는 RP 행렬(RP Matrix), 카메라의 시야각을 활용하여 원근감을 적용하기 위한 원근 행렬(Perspective Matrix)이다. 즉, Model View Matrix=Model Matrix*World Matrix*Camera Matrix*RP Matrix, MVP=Model View Matrix*Perspective View Matrix 이다.

그리고 I(X, Y)는 상기 윈도우 이미지 그리고 i(x, y)는 상기 항행 영상이다.

도 5는 본 발명의 실시예에 따라 가상 카메라로 촬영된 3차원 가상 공간에서의 윈도우 이미지의 예시 도면이다.

디스플레이 모듈(미도시)은 정합된 영상을 항행 중에 실시간으로 사용자에게 표시할 수 있다.

도 6은 본 발명의 실시예에 따른 3차원 정합에 의한 예시 화면을 나타내는 도면이다.

도 6에서, 3차원 정합에 의하여 검출된 수평선과 항행 영상의 수평선이 일치되어 표시되고, 검출된 객체인 타선과 항행 영상의 타선이 일치되어 표시된다. 그 밖에 항행 영상을 배경으로 하면서 선박의 위치(위도/경도 값), 방위 값, Roll/Pitch 값이 함께 표시될 수 있다.

이와 같이 본 발명에 따른 실시예에 따른 증강현실 장치에 의히면, 증강현실에 의해 AIS 항행 정보와 항행 영상을 3차원으로 표시함으로써 사용자가 수평선과 객체의 존재 유무를 쉽게 확인할 수 있는 효과를 기대할 수 있다.

또한, AIS 항행 정보에 매칭된 항행 영상을 3차원으로 사용자에게 제공함으로써 안정적인 항행을 제공할 수 있다.

100: 증강현실 장치, 110: 촬상 모듈,
120: 영상 전처리 모듈, 130: 영상 해석 모듈,
140: 파라미터 설정 모듈, 150: 가상공간 생성 모듈,
160: 3차원 정합 모듈, 200: 선박,
300: 가상 카메라, 400: 타선,
500: 수평선

Claims (10)

1. 선박의 항행을 촬영하는 촬상 모듈;
   상기 촬상 모듈에 의한 항행 영상에서 수평선과 객체를 검출하는 영상 해석 모듈;
   상기 선박의 Roll/Pitch 값과 상기 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정하는 파라미터 설정 모듈;
   상기 촬상 모듈에 의해 실시간으로 촬영되는 상기 항행 영상에 상기 수평선 및 상기 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 상기 설정된 파라미터 및 상기 수평선과 객체를 이용하여 상기 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성하며, 상기 카메라의 위치 및 시야각, 상기 Roll/Pitch 회전 변환 그리고 상기 객체가 타선인 경우 상기 타선의 자세 및 위치를 3차원적으로 나타내기 위한 정합 행렬을 생성하는 가상공간 생성 모듈; 및
   상기 가상공간을 이용하여 상기 항행 영상을 3차원으로 표시되는 윈도우 이미지로 변환하여 상기 항행 영상에 정합하며, 상기 정합 행렬에 따른 다음 수학식을 이용하여 상기 윈도우 이미지를 생성하는 3차원 정합 모듈을 포함하는 3차원 정합을 이용한 증강현실 장치.
   I(X, Y) = MVP*i(x, y)
   여기서, MVP는 상기 정합 행렬인 상기 타선의 자세를 나타내는 모델 행렬(Model Matrix), 상기 타선의 위치를 나타내는 공간 행렬(World Matrix), 상기 카메라의 위치를 나타내는 카메라 행렬(Camera Matrix), 상기 Roll/Pitch 회전변환을 나타내는 RP 행렬(RP Matrix), 상기 카메라의 시야각을 활용하여 원근감을 적용하기 위한 원근 행렬(Perspective Matrix)을 순차적으로 모두 적용한 4*4 행렬이고, I(X, Y)는 상기 윈도우 이미지 그리고 i(x, y)는 상기 항행 영상이다.
2. 제1항에 있어서,
   상기 파라미터 설정 모듈은,
   상기 선박의 Roll/Pitch 값에 해당하는 파라미터를 상기 항행 영상에서 검출된 수평선의 위치를 이용하여 설정하는 3차원 정합을 이용한 증강현실 장치.
3. 삭제
4. 삭제
5. 삭제
6. 증강현실 장치를 이용한 증강현실 방법에 있어서,
   선박의 항행을 촬영하는 단계;
   상기 촬영된 항행 영상에서 수평선과 객체를 검출하는 단계;
   상기 선박의 Roll/Pitch 값과 상기 촬영에 사용되는 촬상 모듈의 위치 및 시야각에 해당하는 파라미터를 설정하는 단계;
   상기 촬상 모듈에 의해 실시간으로 촬영되는 상기 항행 영상에 상기 수평선 및 상기 객체를 포함해서 AIS 항행 정보를 3차원 정합하기 위해 상기 설정된 파라미터 및 상기 수평선과 객체를 이용하여 상기 촬상 모듈과 동일한 가상의 카메라가 설치된 3차원 가상 공간을 생성하며, 상기 카메라의 위치 및 시야각, 상기 Roll/Pitch 회전 변환 그리고 상기 객체가 타선인 경우 상기 타선의 자세 및 위치를 3차원적으로 나타내기 위한 정합 행렬을 생성하는 단계; 및
   상기 가상공간을 이용하여 상기 항행 영상이 3차원으로 표시되는 윈도우 이미지로 변환하여 상기 항행 영상에 정합하며, 상기 정합 행렬에 따른 다음의 수학식을 이용하여 상기 윈도우 이미지를 생성하는 단계를 포함하는 3차원 정합을 이용한 증강현실 방법.
   I(X, Y) = MVP*i(x, y)
   여기서, MVP는 상기 정합 행렬인 상기 타선의 자세를 나타내는 모델 행렬(Model Matrix), 상기 타선의 위치를 나타내는 공간 행렬(World Matrix), 상기 카메라의 위치를 나타내는 카메라 행렬(Camera Matrix), 상기 Roll/Pitch 회전변환을 나타내는 RP 행렬(RP Matrix), 상기 카메라의 시야각을 활용하여 원근감을 적용하기 위한 원근 행렬(Perspective Matrix)을 순차적으로 모두 적용한 4*4 행렬이고, I(X, Y)는 상기 윈도우 이미지 그리고 i(x, y)는 상기 항행 영상이다.
7. 제6항에 있어서,
   상기 파라미터를 설정하는 단계는,
   상기 선박의 Roll/Pitch 값에 해당하는 파라미터를 상기 항행 영상에서 검출된 수평선의 위치를 이용하여 설정하는 3차원 정합을 이용한 증강현실 방법.
8. 삭제
9. 삭제
10. 삭제

Images