KR102482829B1 - 차량용 ar 디스플레이 장치 및 ar 서비스 플랫폼 - Google Patents

Abstract

본 발명은 차량용 AR 디스플레이 장치 및 방법 및 AR 서비스 플랫폼에 관한 것으로, 더욱 상세하게는 이동하는 차량에서 장착된 카메라에서 촬영된 객체의 부가정보를 객체에 매칭되도록 출력하는 방안에 관한 것이다.
이를 위해 본 발명은 측위 센서 또는 카메라로부터 수집된 정보를 이용하여 차량의 위치, 방향 또는 자세를 산출하며, 상기 카메라로부터 획득된 영상에 포함된 POI 객체를 추출하며, 추출된 POI 객체에 대한 부가정보를 POI 객체에 매칭시켜 출력하도록 제어하는 중계 단말; 및 상기 중계 단말과 연결되며, 상기 카메라로부터 획득된 영상에 포함된 POI 객체에 대한 부가정보를 추출하여 상기 중계 단말로 제공하는 AR 메인서버;를 포함하며,
상기 중계 단말은, 상기 카메라로부터 획득된 영상에 포함된 POI 객체에 대한 부가정보를 상기 카메라로부터 POI 객체를 추출하기 이전에 상기 AR 메인서버로부터 수신함을 특징으로 하는 AR 디스플레이 시스템을 제안한다.

Description

차량용 AR 디스플레이 장치 및 AR 서비스 플랫폼{Vehicle AR display device and AR service platform}

본 발명은 차량용 AR 디스플레이 장치 및 방법 및 AR 서비스 플랫폼에 관한 것으로, 더욱 상세하게는 이동하는 차량에서 장착된 카메라에서 촬영된 객체의 부가정보를 객체에 매칭되도록 출력하는 방안에 관한 것이다.

VR(Virtual Reality) 기술은 현실 세계의 객체나 배경 등을 CG(Computer Graphic) 영상으로 제공하며, AR(Augmented Reality) 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR(Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 상술한 VR, AR, MR 등을 모두 간단히 XR(extended reality) 기술로 지칭되기도 한다.

AR 기술은 현실세계에 가상의 디지털 이미지를 입히는 방식이다. 눈으로 실제 세계를 볼 수 있다는 점에서 눈을 가린 채 그래픽 영상만 보여주는 가상현실(VR)과는 구별된다. 실내에서만 쓸 수 있는 VR 기기와 달리 AR 글래스는 안경처럼 걸어 다니면서 사용할 수 있어 활용성이 휠씬 다양하다.

최근 들어 차량의 네비게이션 서비스에서 고객들의 니즈에 따라 POI를 활용한 다양한 기술들이 등장하고 있다. 사용자가 AR 글래스를 착용하고 운전을 하는 경우, 이미지로부터 POI의 실제 외형을 인지하여 POI 모양(Shape) 정보를 제공해 주는 기술들도 등장하고 있다. 다양한 증강현실 기반 서비스에서 POI 모양을 AR 이미지로 실제 영상 위에 매칭시켜서 보여줄 수 있다.

다만, 종래 기술의 경우, 움직이는 영상에서의 AR 이미지와 POI 영역의 매칭시 성능 저하의 문제가 발생한다. 구체적으로, AR 이미지와 POI 영역의 정확도가 낮아서 AR 이미지가 POI 영역이 아닌 위치에 디스플레이 되므로, 사용자는 이에 대한 불편함을 느끼게 된다.

부연하여 설명하면, SLAM 공간좌표의 측위를 위해서는 일정 버퍼 프레임이 필요하며, 일정 버퍼 프레임이 충족되지 않는 경우 즉시 로딩될 수 없게 된다. 또한, 카메라의 시계가 좋지 않은 경우, 매핑 자체가 안 되는 경우가 발생한다.

이외에도 Point Cloud Metadata Data량이 많은 경우 빈번히 지연이 발생하며, 따라서 객체와 부가정보의 매칭시 일정 시간이 필요하다. 특히 Point Cloud를 대량으로 만들기 어렵기 때문에 갱신주기 및 제작기간이 오래 걸린다는 문제점이 있다.

한국등록특허 제10-2086989호(발명의 명칭: 복수의 POI 검색 방법 및 이를 위한 장치) 한국공개특허 제10-2018-0026241호(발명의 명칭: 차량용 사용자 인터페이스 장치 및 차량)

본 발명이 해결하고자 하는 과제는 이동하는 차량용 AR 디스플레이 장치 및 이를 구현하는 AR 엔진을 제안함에 있다.

본 발명이 해결하고자 하는 다른 과제는 이동하는 차량의 자세에 따라 좌표가 변경되는 객체에 부가정보를 정확하게 매칭시키는 방안을 제안함에 있다.

본 발명이 해결하고자 하는 또 다른 과제는 이동하는 차량에서 장착된 장치로부터 수집되는 차량 관련 정보를 이용하여 객체에 부가정보를 정확하게 매칭시키는 방안을 제안함에 있다.

이를 위해 본 발명의 카메라 영상 뿐만 아니라 차량의 다양한 센서 정보 연동은 물론, 차량의 센서 없이 RTK 와 같은 고정밀 위치측위와 인공지능기반의 주변인식 주요 객체 분석(도로, 인도, 신호, 문자 등)을 이용한 최소 인식 방안을 이용한 이미지 기반 버퍼링 문제 해결 및 시계가 좋지 않을 경우 즉시 위치 갱신 및 이동 방향을 미리 고려한 프리로딩 방안을 이용하여 정확하고 빠른 POI 데이터 수신 및 맵핑을 진행한다.

본 발명에 따른 차량용 AR 디스플레이 장치 및 AR 서비스 플랫폼은 정밀 위치측위 또는 3D 포인트 클라우드(Point Cloud)를 위한 전용 차량없이 기존에 운행되고 있는 차량을 이용하여 정밀 위치 측위와 최소 메타데이터로 구성된 자율주행용 지도를 생성할 수 있다. 또한, 차량의 경우 매일 이동하는 교통수단을 사용하는 경우 지도의 최신화가 매일 이루어져 데이터의 신뢰성을 확보할 수 있다.

특히 본 발명은 이동하는 차량의 자세에 변경되는 경우 차량의 기준으로 객체의 상대적인 위치가 변경되더라도 변경된 객체의 위치에 산출하여 부가정보를 객체에 정확하게 매칭되도록 출력하여 사용자의 신뢰성을 높일 수 있다.

또한, 본 발명은 RGTK, GPS, 카메라 촬영 영상 등 적어도 2 이상의 차량 관련 정보를 이용하여 차량의 자세를 판단함으로써 데이터의 신뢰성을 높일 수 있게 된다.

도 1은 본 발명의 일실시 예에 따른 정보 출력장치와 카메라를 이용한 AR 디스플레이 시스템을 도시하고 있다.
도 2는 본 발명의 일실시 예에 따른 AR(Augmented Reality) 엔진 모듈의 구성을 도시하고 있다.
도 3은 본 발명의 일실시 예에 따른 AR 플랫폼의 구성을 도시하고 있다.
도 4는 본 발명의 일실시 예에 따른 AR 서비스 시스템의 구성도이다.
도 5는 본 발명의 일실시 예에 따른 중계 단말의 구성을 도시하고 있다.
도 6은 본 발명의 일실시 예에 따른 AR 메인서버의 구성을 도시하고 있다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 1은 본 발명의 일실시 예에 따른 정보 출력장치와 카메라를 이용한 AR 디스플레이 시스템을 도시하고 있다. 이하 도 1을 이용하여 본 발명의 일실시 예에 따른 정보 출력장치와 카메라를 이용한 AR 디스플레이 시스템에 대해 개략적으로 살펴보기로 한다.

도 1에 의하면, AR 디스플레이 시스템(100)은 윈도우에 부가정보를 출력하는 정보 출력장치, 카메라, 중계 단말 및 AR 메인서버를 포함한다. 물론 상술한 구성 이외에 다른 구성이 본 발명에서 제안하는 AR 디스플레이 시스템에 포함될 수 있다.

카메라(미도시)는 운송수단의 외부에 설치되며, 운송수단의 외부를 촬영한다. 본 발명과 관련하여 운송수단은 자동차, 버스, 열차 등 이동이 가능한 차량이 이에 해당된다. 일 예로 카메라는 차량의 외부에 설치되며, 이동하는 차량의 외부 영상을 촬영한다. 물론 카메라는 차량의 내부에 설치될 수 있으나, 이 경우에도 영상 촬영은 차량의 외부를 촬영하는 것이 바람직하다.

도로 상을 이동하는 차량의 외부는 은행, 식당 등을 포함하는 건물, 유적지, 공원 등 다양한 POI 객체가 존재한다. 카메라는 이와 같이 이동하는 차량의 외부 영상을 촬영한다. 카메라는 촬영한 외부 영상을 중계 단말로 전송한다. 중계 단말은 차량 내에 위치하며, 카메라로부터 수신한 차량의 외부 영상을 AR 메인서버로 전송한다.

중계 단말(미도시)은 AR 메인서버, 카메라 및 정보 출력장치(110)와 연결된다. 중계 단말은 카메라로부터 영상을 수신한다. 중계 단말은 카메라로부터 수신한 영상을 AR 메인서버로 전송한다. 중계 단말은 AR 메인서버로부터 수신한 정보를 정보 출력장치로 제공한다. 본 발명과 관련하여 중계 단말은 카메라가 촬영한 영상에 포함된 POI(Point of interest) 객체의 부가정보가 포함된 영상을 AR 메인서버로부터 제공받아 정보 출력장치로 제공한다. 본 발명과 관련하여 중계 단말은 AR 메인서버로부터 해당 POI 객체에 대한 부가정보를 미리 제공받아 저장하며, 미리 저장된 해당 POI 객체에 대한 부가정보를 카메라에서 촬영된 영상에 매칭시켜 정보 출력장치(110)로 제공한다.

정보 출력장치(110)는 중계 단말로부터 제공받은 부가정보가 포함된 영상을 출력한다. 본 발명과 관련하여 정보 출력장치는 차량 외부에 위치하는 POI 객체에 매칭되도록 차량의 윈도우에 영상을 출력한다.

AR 메인서버(미도시)는 중계 단말로부터 카메라가 촬영한 영상을 제공받으며, 제공받은 영상으로부터 POI 객체 및 해당 POI 객체의 부가정보를 추출한다. 이를 위해 AR 메인서버는 데이터베이스(DB)와 연결되어 있으며, 중계 단말로부터 제공받은 영상과 데이터베이스에 저장된 정보로부터 중계 단말로 제공할 POI 객체와 POI 객체에 대한 부가정보를 추출한다. 본 발명과 관련하여 정보 출력장치와 중계 단말은 하나로 구성될 수 있다.

본 발명과 관련하여 AR 메인서버는 중계 단말로부터 촬영된 영상을 수신하기 이전에 차량이 이동하는 경로를 추정하여 미리 POI 객체에 대한 부가정보를 추출하여 중계 단말로 제공한다. 이를 위해 AR 메인서버는 차량의 이동 경로에 대한 다양한 정보를 저장하고 있는 것이 바람직하다.

도 2는 본 발명의 일실시 예에 따른 AR(Augmented Reality) 엔진 모듈의 구성에 대해 살펴보기로 한다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 AR 엔진 모듈의 구성에 대해 상세하게 알아보기로 한다.

본 발명과 관련하여 AR 엔진 모듈(200)은 정보수집 모듈(210), AR 맵핑 모듈(220) 및 AR 렌더링/객체관리 모듈(230)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 본 발명에서 제안하는 AR 엔진 모듈(200)에 포함될 수 있으며, 해당 AR 엔진 모듈은 중계 단말 또는 AR 메인서버 중 적어도 어느 하나의 서버에 설치된다.

정보 수집 모듈(210)은 차량의 위치 및 이동하는 주변 영상을 수집한다. 정보 수집 모듈(210)은 차량에 장착된 카메라를 이용하여 촬영한 영상에서 AI-ML(인공지능-머신러닝) 기반으로 POI 객체를 검출, 구분(classification) 또는 분할하는 기능을 수행한다. 또한, 정보 수집 모듈(210)은 RTK, GPS, 자이로센서 또는 라이다 센서 등 차량에 장착된 복수의 센서를 이용하여 지능형 운전자 보조 시스템(ADAS Advanced Driver Assistance System)을 구현한다. 지능형 운전자 보조 시스템은 전방 충돌방지 보조(FCA; Forward Collision-Avoidance Assist), 차선 이탈경고 시스템(LDW, Land Departure Warning) 등 다양한 기능이 포함된다.

레이더를 이용한 객체 감지는 송신된 전파가 수신되는데 소요되는 시간을 측정하여 물체를 감지하는 방식이다. 레이더는 사각지대 감지, 차선 변경 보조, 전방 충돌 경고 및 자동 비상 제동 등 다양한 분야에 적용된다.

라이다는 레이더와 유사한 원리로 작동하지만, 주변 환경의 고해상도 3D 이미지를 생성하기 위해 라이다를 발사하여 산란되거나, 반사되는 라이더가 돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등으로 측정 물체와의 거리, 속도, 형상 등 물리적인 성질을 측정한다.

이외에도, 본 발명은 차량의 내부에 카메라를 설치하며, 설치된 카메라를 이용하여 사용자의 시선을 추적한다. 즉, 정보 수집 모듈은 차량의 내부에 설치된 카메라를 이용하여 사용자의 눈을 촬영하며, 촬영된 사용자의 눈을 분석하여 사용자의 시선을 추적한다.

AR 맵핑 모듈(220)은 카메라의 공간분석 기법을 이용하여 도로의 특징(도로면, 차선), 교통 표지판, 교통신호 등과 같은 2D 위치 정보를 3D 공간상의 좌표로 변환한다. 이에 대해서는 후술하기로 한다.

AR 렌더링/객체관리 모듈(230)은 다양한 AR 정보를 화면에 실시간 디스플레이 하기 위해 실시간 렌더링을 수행한다. 즉, 본 발명에서 제안하는 디스플레이는 다양한 형태로 구현될 수 있으며, 이에 따라 구현하고자 하는 디스플레이 형태에 따라 렌더링을 수행한다. 일 예로, 빔 프로젝터를 이용하여 AR 영상의 출력을 원할 경우에는 빔 프로젝터에서 AR 영상 출력 가능하도록 렌더링을 수행한다.

도 3은 본 발명의 일실시 예에 따른 AR 엔진 플랫폼의 구성을 도시하고 있다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 AR 엔진 플랫폼에 대해 상세하게 알아보기로 한다. 상술한 바와 같이 AR 플랫폼은 중계 단말 또는 AR 메인서버 중 적어도 어느 하나의 서버에서 설치되어 구성된다.

본 발명에서 제안하는 부가정보를 촬영된 POI 객체 영상에 매칭되도록 출력하기 위해서는 상술한 바와 같이 정보 수집 모듈(310), AR 맵핑 모듈(320) 및 AR 렌더링/객체 관리 모듈(330)을 포함한다.

정보 수집 모듈(310)은 영상기반 객체구분모듈(AR Classification Module)(311), AR 위치 획득모듈(AR Location Module)(312), AR 센서(AR Sensor)(313), 인터페이스 관리모듈(Sensor Signal/Data Interface Manager Module)(314)을 포함한다.

영상기반 객체구분모듈(311)은 차선, 표지판, 교통신호 등 객체를 검출하여 구분하는 기능을 수행한다. AR 위치 획득모듈(312)은 GPS, RTK 등을 이용하여 차량의 현재 위치를 산출한다.

AR 센서(313)는 자이로 센서, 가속도 센서 등을 포함하며, AR 센서(313)를 이용하여 객체와의 거리, 객체의 위치 등을 산출한다. AR 센서(313)는 차량에 장착된 라이더, 레이더, ADAS 등을 사용하지 못하는 경우, 전방에 설치된 카메라로부터 지상실측정보(Ground Truth) 기반 도로 맵핑 정보를 획득하여 차량의 Roll, Pitch , Yaw 값을 획득한다.

이에 대해 구체적으로 살펴보면, 차량에 장착된 AR 위치 획득모듈(312)인 GPS, RTK로부터 획득된 정보를 기반으로 구면 좌표계의 위치 정보를 평면 좌표계의 위치 정보인 (X, Y) 좌표를 산출한다. 본 발명은 상술한 바와 같이 GPS, RTK 중 어느 하나로부터 위치 정보를 획득하는 것이 아니라, 2개의 모듈로부터 위치 정보를 획득하여 차량의 Roll, Pitch, Yaw 값을 획득한다.

GPS 좌표인 구면 좌표를 네비게이션 좌표인 평면 좌표로 변환하는 과정은 다음과 같이 진행된다.

먼저 GPS 좌표를 제1 좌표로 변환하며, 제1 좌표를 제2 좌표로 변환한다. 이후 제2 좌표를 카메라 좌표로 변환한다. 일 예로 제1 좌표는 ECEF 좌표(Earth-centered Earth-fixed coordinate)일 수 있으며, 제2 좌표는 네비게이션 좌표인 ENU 좌표일 수 있다.

본 발명은 이동하는 차량에 설치된 정보 출력장치를 이용하여 POI 객체에 부가정보가 매칭되도록 출력하는 것을 목표로 한다. 본 발명과 관련하여 차량은 이동하는 고정된 위치를 유지하는 것이 아니라, 주행하는 도로의 상태, 주행 방향, 주행 속도 등에 따라 차량의 자세가 달라지며, 이에 따라 차량에서 바라보는 POI 객체의 상대적인 좌표를 달라지게 된다. 따라서, 본 발명은 차량의 자세를 고려한 POI 객체의 카메라 좌표를 산출하며, 산출된 POI 객체의 카메라 좌표를 고려하여 부가 정보를 출력한다. 본 발명에서 제안하는 카메라 좌표는 카메라에서 바라보는 부가정보를 매칭하는 POI 객체의 좌표이다.

이하에서는 제2 좌표를 카메라 좌표로 변환하는 방법에 대해 알아보기로 한다. 제2 좌표를 카메라 좌표로 변환하기 위해 카메라 투영 행렬에 제2 좌표 벡터를 곱한다. 카메라 투영 행렬에 제2 좌표 벡터를 곱하면 결과는 벡터 [v0, v1, v2, v3]가 된다. 이후 x = (0.5 + v0 / v3) * widthOfCameraView 및 y = (0.5 - v1 / v3) * heightOfCameraView이다. 제2 좌표 벡터는 [n -e u 1]이고, 카메라 투영 행렬은 원래 카메라 투영 행렬과 회전 행렬을 곱한 결과이다.

카메라 투영 행렬은 다음과 같다.

회전 행렬은 차량에 장착된 센서로부터 획득할 수 있다. 본 발명은 GPS 좌표를 네비게이션 좌표로 변환하며, 이후 네비게이션 좌표를 카메라 좌표로 변환한다.

AR 3D 맵핑모듈(322)은 지상실측정보(Ground Truth) 기반으로 지형을 인식한다. 또한, AR 3D 맵핑모듈(322)은 인공지능기반 객체 분류 기술을 이용하여 도로 주변의 주요 형태를 인식한다. 일 예로 AR 3D 맵핑모듈(322)은 도로 주변의 주요 형태인 차선, 인도, 표지판, 문자인식, 주변의 차량, 사람, 오토바이 등을 인식한다.

이하에서는 인공지능을 이용하여 객체를 분류하여 주변 공간을 인식하는 방법에 대해 간략하게 알아보기로 한다.

비전(Vision)은 본 발명에서 제안하는 AR 엔진에 필요한 기본 SDK(Software Development Kit) 이다. 비전은 카메라 배열, 객체 검출/구분/분할, 차선 특징 추출, 기타 인터페이스를 가능하게 한다.

비전은 비전 코어에서 실행되는 실시간 추론을 액세스한다. 비전 AR은 맞춤형 증강 현실을 구현하는데 사용되는 비전(Vision)용 애드온 모듈이다. 비전 AR은 차선 재질(lane material), 차선 구조(lane geometry), 차선가림(Occlusion), 사용자 지정 객체 등 사용자의 경로를 시각화한다. 비전 세이프티(Vision Safety)는 과속, 주변 차량, 자전거 이용자, 보행자, 차선 이탈 등에 대한 맞춤형 경고를 생성하는데 사용되는 Vision용 애드온 모듈이다.

상술한 비전 코어(Vision core)는 모든 기계 학습 모델을 포함하는 시스템의 핵심 로직이며, Vision을 프로젝트로 가져오면, Vision core가 자동으로 제공된다.

AR 3D 스페이스 모듈(323)은 인공지능으로 획득된 공간인식과 3D 지형정보 매쉬업 서비스를 이용하여 실제 차량의 위치를 3D 지형정보에 맵핑한다. 이에 대해 구체적으로 살펴보면, 차량의 전방에 위치한 전방 카메라의 촬영한 영상으로부터 차량의 정확한 헤딩값을 산출하며, 주변의 주요 객체의 위치좌표를 이용하여 차량의 실시간 위치를 보정한다. 이를 위해 AR 3D 스페이스 모듈(323)은 차량이 주행하는 주행 경로 상의 주요 객체(표지판, 신호등 등)에 대한 위치좌표를 저장한다. 헤딩값의 주요 포인트로는 교차점, 분기점 등이 포함된다.

맵핑한 3D 지형정보에 차량에 설치된 카메라로부터 촬영된 영상으로부터 실제 차량의 위치 추정 및 카메라 인식 범위 내에서 미리 로딩된 데이터를 기준으로 사전에 POI 객체의 부가정보를 인식해 두어 렌더링 시 해당 위치를 지날 때 즉시 출력할 수 있도록 한다.

AR 렌더링 및 객체관리 모듈(330)은 AR 렌더링 및 객체를 관리한다. AR 렌더링은 표준화된 위치인식 아이콘을 출력하면 사용자의 브랜드 및 프리미엄 등록 여부에 따라 저폴리곤, 고폴리곤 형태의 3D POI 정보를 제공하여 사용자의 호기심을 끌 수 있도록 한다. 객체관리 모듈은 각 지형지표를 3x3 미터로 고유한 단어조합의 이름을 가지는 ID로 명명하며, 해당 ID 마다의 메타데이터를 관리한다.

AR 맵핑 모듈은 부가정보를 출력하는 디스플레이의 형태에 따라 부가정보를 POI에 맵핑한다. AR 맵핑 모듈은 AR 와핑(Warping)모듈(321), AR 3D 맵핑모듈(322), 3D space 매핑 모듈(323)을 포함한다.

즉, AR 맵핑 모듈은 AR 와핑(Warping)모듈, AR 3D 맵핑모듈, 3D 스페이스 맵핑모듈을 포함하며, 이외에도 3D 객체 관리모듈(324)을 포함한다.

AR 플랫폼은 다양한 형태의 디스플레이 모듈을 포함한다. 디스플레이 모듈은 AR HUD 뷰 모듈(331), AR overlay 뷰 모듈(332), AR camera 뷰 모듈(333) 등 다양한 형태로 구현될 수 있다. 이외에도 AR 렌더링 및 객체관리 모듈(330)은 AR 뷰를 관리는 AR 뷰 관리모듈(334)를 포함한다.

도 4는 본 발명의 일실시 예에 따른 AR 서비스 시스템의 구성도이다. 이하 도 4를 이용하여 본 발명의 일실시 예에 따른 AR 서비스 시스템에 대해 알아보기로 한다.

AR 서비스 시스템은 중계 단말(500), AR 메인서버(600) 및 연동 시스템(400)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 본 발명에서 제안하는 AR 서비스 시스템에 포함될 수 있다.

중계 단말(500)은 차량에 설치되거나, 단말 형태로 구현될 수 있다. 일 예로 중계 단말은 다양한 정보를 수집할 수 있는 센서와 연결되어 있거나 내장된 구성이라면 이에 포함된다.

중계 단말(500)은 GPS 또는 RTK를 이용하여 위치를 측위하며, 중계 단말(500)이 장착된 차량의 최적의 위치(자세)를 판단한다. 또한, 중계 단말(500)은 카메라로부터 수집된 영상을 이용하여 영상 기반 3D 위치를 측위한다. 중계 단말(500)에 상세한 기능에 대해서는 도 5에서 설명하기로 한다.

AR 메인서버(600)는 GPS 또는 RTK를 이용하여 산출한 측위 또는 카메라로부터 수집된 영상을 이용한 VPS(Visual Positioning Service) 기반 측위를 AR 3D에 매핑하는 기능을 수행한다. AR 메인서버의 상세한 동작에 대해서는 도 6에서 살펴보기로 한다.

연동시스템(400)은 AR 메인서버(500)와 연결되며, AR 메인서버(500)로 필요한 데이터 또는 정보를 제공한다. 연동시스템(400)은 AI 데이터 허브(외부 오픈 데이터포털)(401), 컨텐츠 제공서버(광고 컨텐츠 등)(403), 지도 데이터 제공서버(3D 모델, 공간정보)(405), 공공데이터 제공서버(주요 시설물 정보)(407)를 포함할 수 있다. AI 데이터 허브(401)는 AR 메인서버로 도시 데이터를 제공하며, 컨텐츠 제공서버(403)는 AR 메인서버로 동영상/ 이미지를 제공한다. 또한, 3D 공간지도 데이터 제공서버(405)는 AR 메인서버로 3D 모델링 지도데이터를 제공하며, 공공데이터 제공서버(407)는 AR 메인서버로 보정용 위치 데이터인 주요 시설물(가로등, 신호등 등)에 대한 데이터를 제공한다.

도 5는 본 발명의 일실시 예에 따른 중계 단말의 구성을 도시하고 있다. 이하 도 5를 이용하여 본 발명의 일실시 예에 따른 중계 단말의 구성에 대해 상세하게 알아보기로 한다.

상술한 바와 같이 중계 단말은 GPS 또는 RTK를 이용하여 위치를 측위하는 구성과 영상을 이용하여 위치를 보정하는 구성, 3D 맵핑하는 구성 및 차량의 최적 위치를 판단하여 출력하는 구성으로 구분된다. 이하에서는 해당 구성에 대해 순차적으로 알아보기로 한다.

입력모듈(521)은 기기 정보 또는 회원정보를 입력하며, 어플리케이션 설정과 관련된 기능을 등록한다.

UI 매니저(관리)모듈(501)은 AR 정보 연동을 위한 서비스 및 사용자 ID를 관리한다. UI 관리모듈(501)은 입력모듈이 입력한 정보에 따라 사용자를 관리하거나, 서비스를 지원한다. 물론 UI 관리모듈(501)은 입력모듈(521)로 필요한 정보를 입력할 수 있도록 UI를 지원한다.

AR 위치 획득모듈(503)은 GPS 또는 RTK 연결 여부 및 연결에 따른 위도/경도를 획득한다. AR 센서(505)는 가속도센서, 자이로센서 또는 컴퍼스(compass) 등을 포함하며, 중계 단말이 장착된 차량의 방향, 속도, 가속도 등을 획득한다.

AR 위치 획득모듈(503) 및 AR 센서(505)에서 획득한 정보는 위치 판단/보정모듈(523)로 제공된다. 위치 판단/보정모듈(523)은 GPS, RTK 또는 VPS 순으로 우선순위를 판단하여 차량의 위도 및 경도를 결정한다. 물론 위치 판단/보정모듈(523)은 후술할 영상기반 위치확인 맵핑모듈에서 맵핑된 객체의 특징점(VPS)을 제공받아 차량의 위도 및 경도를 결정한다.

AR 방향 자세 획득모듈(507)은 위치 판단/보정모듈(523)에서 판단한 차량의 위치 및 경도를 이용하여 차량의 방향 및 자세 정보를 획득한다. 즉, AR 방향 자세 획득모듈(507)은 자이로 센서 또는 가속도 센서 또는 IMU(Inertial Measurement Unit) 등으로부터 수집된 정보를 이용하여 차량의 방향 및 자세 정보를 획득한다.

객체 판단모듈(527)은 카메라로부터 획득된 영상으로부터 도로, 인도, 상점 또는 건물 등 객체를 판단한다. AR 카메라 뷰 관리모듈(517)은 AR 화면 제공을 위해 카메라의 화각(FOV)과 AR 카메라, 즉 실세계 카메라 영상좌표를 3D 공간 내 카메라 좌표로 변환하는 파라미터를 생성하며, 디지털 트윈/미러 환경 내 3D 좌표를 맵핑한다.

영상기반 객체 구분모듈(515)은 카메라에서 촬영된 영상에서 AI 기술을 이용하여 도로, 인도, 횡단보도, 표지판, 사람, 자동차 등 객체를 구분한다.

영상기반 위치확인 맵핑모듈(513)은 AR 서버에 저장된 포인트 클라우드 정보를 위도/경도 기반 정의된 반경 내 데이터를 수신/다운로드하여 디바이스 메모리에 저장하며, 실시간으로 카메라 입력영상과 특징점을 맵핑한다. 즉, 영상기반 위치확인 맵핑모듈(513)은 카메라로부터 입력된 영상에서 구분된 표지판, 신호등, 횡단보드의 특징점을 기저장된 객체의 특징점에 매핑한다.

AR 로컬캐싱 처리 동기화 알고리즘 모듈(531)은 정해진 반경 내 또는 일정 구역기반 저장된 AR 맵핑 데이터를 기반으로 AR 메인서버 데이터와 비교 확인하여 동기화를 결정한다.

AR 3D 객체 부가정보 수신모듈(509)은 AR 메인서버로부터 부가정보를 포함한 3D 및 미디어 데이터를 수신받아 로컬 저장소에 저장하며, AR 화면에 표출할 수 있도록 부가정보를 로딩한다.

AR 오버레이 뷰 모듈(511)은 카메라가 바라보는 시야각 및 정보 출력장치의 위치에 따라 변화되는 위치 자세에 따라 3D 및 미디어 데이터를 병합하여 출력한다.

AR 화면 출력모듈(525)은 콘텐츠와 병합된 오버레이뷰, UI 및 지도를 함께 출력한다.

이와 같이 본 발명은 이동하는 차량의 위치 및 자세를 고려하여 객체에 부가정보를 정확하게 매칭되도록 출력하는 방안을 제안한다.

도 6은 본 발명의 일실시 예에 따른 AR 메인서버의 구성을 도시하고 있다. 이하 도 6을 이용하여 본 발명의 일실시 예에 따른 AR 메인서버의 구성에 대해 상세하게 알아보기로 한다.

GPS 위치기반 컨텐츠 요청모듈(605)은 중계 단말로부터 요청된 GPS 위치 및 방향 데이터 기반으로 제공될 AR 컨텐츠의 위치기반 데이터 요청을 위한 쿼리를 제작한다.

AR 서비스 가능영역 확인모듈(603)은 GPS 위치기반 컨텐츠 요청모듈(605)에서 작성된 쿼리 기반 공공데이터 또는 3D 데이터를 확인하여 기본적으로 위도/경도/방향 기반 정보제공이 가능한 영역인지, 부가적으로 VPS 기반 정보제공이 가능한 영역인지 확인한다.

사용자 맞춤형정보 처리시스템(601)은 공공데이터, 3D 데이터 기반 다양한 POI 정보를 기반으로 사용자의 서비스 설정에 따라 데이터 필터링 조건을 설정한다.

위도/경도 기반 공공데이터 연동모듈(621)은 개인화 필터 조건에 따른 관련 데이터를 공공데이터(도로, 교차로 정보 등)로부터 수집하여 송신 데이터로 정렬한다.

위도/경도 기반 3D 데이터 연동모듈(623)은 AR 화면에 위치기반 3D 입체 구현을 위해 3D 빌딩 등 AI 데이터 허브로부터 도시 데이터를 수집하여 3D 지도에 반영한다.

AR 서비스 컨텐츠 관리 모듈(625)은 AR 서비스 컨텐츠를 관리하는 시스템으로 내부서버(또는 정보 출력장치) 제공용 미디어 데이터의 등록/수정/삭제/조회/파일 업로드/다운로드 기능을 수행한다.

3D 공간지도 스캔모듈(633)은 시각 기반 위치 파악을 할 경우, 실제 장소에서 확보한 파노라마 영상을 기반으로 특징점을 추출하여 이를 서버에 저장한다.

3D 공간지도 연산모듈(631)은 추출된 특징점을 기반으로 이동된 특징점의 위치 관계를 통해 3D 공간 내 해당 특징점들을 포인트 클라우드 라이브러리(PCL)로 저장한다.

3D 공간지도 DB(629)는 저장된 PCL이 실제 세계의 위도/경도 위치에 정밀하게 맵핑하여 3D 공간지도를 구축함으로써 영상기반 위치추적으로 활용된다.

위치파악 데이터 전송모듈(611)은 내부서버(또는 정보 출력장치)의 카메라 기반 VPS를 위한 PCL 데이터 구역별 전송한다.

AR 서비스 제공용 3D 데이터 변환 및 미디어 처리시스템(627)은 AR 화면에 3D 입체 처리를 위한 3D 빌딩 등 디지털트윈(미러월드 데이터)로부터 3D 모델 및 공간정보를 기반으로 데이터를 준비한다.

AR 서비스 처리모듈(607)은 디바이스에서 요청된 UI 레이어 서비스 설정에 따라 증강 스트리트(Street)/시이니지(Signage)/시설물/메세지 데이터를 전송한다.

이외에도 AR 메인서버(600)는 회원 및 권한 관리모듈(609), 모니터링모듈(613) 또는 관리모듈(635)을 포함한다.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

200: AR 엔진 모듈 210, 310: 정보수집 모듈
220, 320: AR 맵핑 모듈 230, 330: AR 렌더링/객체관리 모듈
400: 연동시스템 500: 중계 단말
600: AR 메인서버

Claims (9)

1. 측위 센서 또는 카메라로부터 수집된 정보를 이용하여 차량의 위치, 방향 또는 자세를 산출하며, 상기 카메라로부터 획득된 영상에 포함된 POI 객체를 추출하며, 추출된 POI 객체에 대한 부가정보를 POI 객체에 매칭시켜 출력하도록 제어하는 중계 단말; 및
   상기 중계 단말과 연결되며, 상기 카메라로부터 획득된 영상에 포함된 POI 객체에 대한 부가정보를 추출하여 상기 중계 단말로 제공하는 AR 메인서버;를 포함하며,
   상기 중계 단말은,
   상기 카메라로부터 획득된 영상에 포함된 POI 객체에 대한 부가정보를 상기 카메라로부터 POI 객체를 추출하기 이전에 상기 AR 메인서버로부터 수신함을 특징으로 하는 AR 디스플레이 시스템.
   
2. 연결된 AR 메인서버로부터 카메라에 의해 획득된 영상에 포함된 POI 객체에 대한 부가정보를 제공받으며, 측위 센서 또는 카메라로부터 수집된 정보를 이용하여 차량의 위치, 방향 또는 자세를 산출하며, 상기 카메라로부터 획득된 영상에 포함된 POI 객체를 추출하며, 추출된 POI 객체에 대한 부가정보를 POI 객체에 매칭시켜 출력하도록 제어하며,
   상기 카메라로부터 획득된 영상에 포함된 POI 객체에 대한 부가정보를 상기 카메라로부터 POI 객체를 추출하기 이전에 상기 AR 메인서버로부터 수신하는 AR 디스플레이 시스템을 구성하는 중계 단말.
   
3. 제 1항에 있어서, 상기 중계 단말는,
   입력되는 영상으로부터 도로/인도/횡단보도/표지판/사람/자동차 중 어느 하나를 구분함을 특징으로 하는 AR 디스플레이 시스템.
   
4. 제 1항에 있어서, 상기 중계 단말는,
   AR 화면 제공을 위해 카메라의 화각, 실세계 카메라 영상좌표를 3D 공간 내의 카메라 좌표로 변환함을 특징으로 하는 AR 디스플레이 시스템.
   
5. 제 4항에 있어서, 상기 중계 단말는,
   카메라가 바라보는 시야각 및 부가정보를 출력하는 정보 출력단말의 위치에 따라 변화되는 카메라 좌표에 따라 3D 및 미디어 데이터를 병합하여 출력함을 특징으로 하는 AR 디스플레이 시스템.
   
6. 제 1항에 있어서, 상기 AR 메인서버는,
   카메라로 촬영한 파노라마 영상을 기반으로 특징점을 추출하여 저장함을 특징으로 하는 AR 디스플레이 시스템.
   
7. 제 1항에 있어서, 상기 AR 메인서버는,
   추출된 특징점을 기반으로 이동된 특징점의 위치 관계를 통해 3D 공간 내 해당 특징점들을 포인트 클라우드 라이브러리(PCL)로 저장함을 특징으로 하는 AR 디스플레이 시스템.
   
8. 제 1항에 있어서, 상기 중계 단말은,
   GPS 또는 RTK로부터 차량의 위치를 획득하며, 가속도 센서 또는 자이로센서로부터 차량의 방향을 획득함을 특징으로 하는 AR 디스플레이 시스템.
   
9. 제 8항에 있어서, 상기 중계 단말은,
   카메라로부터 촬영된 영상으로부터 획득된 주행경로 상의 객체의 특징점과 저장된 객체의 특징점을 비교하여 차량의 위치 또는 자세를 획득함을 특징으로 하는 AR 디스플레이 시스템.

Images