KR20180086004A

KR20180086004A - 증강현실 객체 추적 시스템

Info

Publication number: KR20180086004A
Application number: KR1020170009832A
Authority: KR
Inventors: 오재훈; 대 원 박; 강한별
Original assignee: (주)에스엔티코리아
Priority date: 2017-01-20
Filing date: 2017-01-20
Publication date: 2018-07-30

Abstract

본 발명은 증강현실 객체 추적 시스템에 관한 것으로서, 마커가 형성된 안내판과, 안내판과 이격되게 설치되어 있으며 가상객체와 합성되는 실물기준 객체에 대한 실물 고유 좌표정보를 무선으로 제공하는 객체 좌표정보제공모듈과, 실물기준 객체와 본체와의 이격거리 및 카메라 촬상방향정보를 이용하여 가상객체의 표시를 지원하는 객체증강처리모듈이 탑재되어 있고, 객체증강처리모듈이 실행되면, 안내판의 마커의 촬상이미지와, GPS수신기로부터 수신된 본체의 좌표정보와 객체 좌표정보제공모듈로부터 수신된 실물 고유 좌표정보를 이용하여 가상객체에 대한 초기 정합정보를 산출하고, 산출된 초기정합정보와 자이로 센서로부터 산출된 본체의 위치 이동 및 자세변경정보를 이용하여 실물기준 객체와 본체와의 이격거리 변동정보 및 카메라 방향 변동정보를 산출하고, 산출된 변동정보에 대응되게 가상객체가 보여지도록 표시부에 표시되게 처리하는 모바일 단말기를 구비한다. 이러한 증강현실 객체 추적 시스템에 의하면, 실제 환경과 가상객체와의 정합 정밀도와 객체 추적 정밀도를 높일 수 있으면서 연산처리부담이 완화되는 장점을 제공한다.

Description

증강현실 객체 추적 시스템{augmented reality object tracking system}

본 발명은 증강현실 객체 추적 시스템에 관한 것으로서, 상세하게는 모바일 단말기와 증강 현실 객체와의 원근 거리 및 자세 변화에 대응되는 증강 현실 객체를 표시하는 증강현실 객체 추적 시스템에 관한 것이다.

증강현실(Augmented Reality)은 가상현실의 한 분야로서, 실제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽스 기법이다. 이러한 증강현실 기술은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용하여 향상된 현실감을 줄 수 있다는 특징을 가지며, 현실세계와 가상세계의 결합, 상호작용, 3차원 공간의 성질을 가진 시스템을 포함할 수 있다.

한편, 증강현실을 구현함에 있어, 현실과 가상의 위치를 일치시키기 위한 기술을 정합이라고 한다. 이러한 정합은 현실의 물체에 대한 정보를 디스플레이상에 자연스럽게 매칭하기 위하여 사용된다.

이러한 증강현실을 구현하는 방식에 대해서는 국내 등록특허 제10-1588409호 등 다양하게 게시되어 있다.

한편, 이러한 증강현실의 구현방식은 비마커기반과 마커기반으로 구분된다.

비마커기반은 실세계 환경에서 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들로부터 카메라의 방향을 결정하는 방식이고, 마커기반은 흰 바탕에 검은색 사각형과 그 안에 다양한 패턴을 적용한 평면마커를 이용하여 카메라의 방향을 결정하는 방식이다.

하지만, 마커기반의 증강현실을 이용한 시스템은 다수의 패턴을 인식하는 과정에서 유사한 패턴을 가지고 있는 마커를 동일한 마커로 인식하는 문제점이 있다.

또한, 비마커기반의 경우 자연 특징(Natural Features)을 이용한 객체의 추적은 매우 높은 정확도를 가지고 있어 증강현실 환경에서 널리 적용되고 있으나, 높은 연산 성능이 필요하다. 따라서, 제한된 연산 성능 및 작은 메모리 용량을 가지고 있는 모바일 기기에서는 비마커기반에 의한 객체 추적 방식을 적용하기가 어렵다.

특히, 마커기반과 비마커기반 모두 특징점이 카메라의 촬상영역에서 모두 벗어나게되면 가상의 영상을 객체에 정합시킬 수 없는 문제점이 있다.

본 발명은 상기와 같은 문제점을 개선하기 위하여 창안된 것으로서, 증강현실의 객체 정합도를 높이면서 객체 추적을 위한 이미지 처리방식의 제약을 보완할 수 있는 증강현실 객체 추적 시스템을 제공하는데 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 증강현실 객체 추적 시스템은 마커가 형성된 안내판과; 상기 안내판과 이격되게 설치되어 있으며 가상객체와 합성되는 실물기준 객체에 대한 실물 고유 좌표정보를 무선으로 제공하는 객체 좌표정보제공모듈과; 상기 실물기준 객체와 본체와의 이격거리 및 카메라 촬상방향정보를 이용하여 상기 가상객체의 표시를 지원하는 객체증강처리모듈이 탑재되어 있고, 상기 객체증강처리모듈이 실행되면, 상기 안내판의 상기 마커의 촬상이미지와, GPS수신기로부터 수신된 본체의 좌표정보와 상기 객체 좌표정보제공모듈로부터 수신된 실물 고유 좌표정보를 이용하여 상기 가상객체에 대한 초기 정합정보를 산출하고, 산출된 초기정합정보와 자이로 센서로부터 산출된 본체의 위치 이동 및 자세변경정보를 이용하여 상기 실물기준 객체와 본체와의 이격거리 변동정보 및 카메라 방향 변동정보를 산출하고, 산출된 변동정보에 대응되게 상기 가상객체가 보여지도록 표시부에 표시되게 처리하는 모바일 단말기;를 구비한다.

바람직하게는 상기 모바일 단말기의 기 객체증강처리모듈은 실행되면, 상기 안내판의 상기 마커의 촬상을 안내하는 안내메시지를 출력장치를 통해 출력하고, 상기 GPS수신기로부터 수신된 본체의 초기 좌표정보와 상기 객체 좌표정보제공모듈로부터 수신된 실물 고유 좌표정보로부터 상기 실물기준객체와의 1차 이격거리를 산출하고, 상기 카메라에 의해 촬상된 마커 이미지를 기준 이미지와 비교하여 상기 1차 이격거리를 보정한 초기 이격거리를 설정하고, 상기 카메라에 의해 촬상된 마커 이미지를 기준 이미지와 비교하여 초기 카메라 방향정보를 산출하고, 산출된 상기 본체의 초기 좌표, 초기 이격거리 및 초기 카메라 방향정보를 이용하여 상기 가상객체에 대한 초기 정합정보를 산출한다.

본 발명에 따른 증강현실 객체 추적 시스템에 의하면, 실제 환경과 가상객체와의 정합 정밀도와 객체 추적 정밀도를 높일 수 있으면서 연산처리부담이 완화되는 장점을 제공한다.

도 1은 본 발명에 따른 증강현실 객체 추적 시스템에 적용되는 안내판과 실물기준객체의 예를 나타내 보인 도면이고,
도 2는 도 1의 모바일 단말기에 대한 블록도이다.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 증강현실 객체 추적 시스템을 더욱 상세하게 설명한다.

도 1 및 도 2를 참조하면, 본 발명에 따른 증강현실 객체 추적 시스템(100)은 안내판(100), 객체 좌표정보제공모듈(130), 모바일 단말기(150)를 구비한다.

안내판(110)은 증강현실용 가상객체와 합성되는 실물기준 객체(10)에 대한 초기 정합을 켈리브레이션 할 수 있도록 표시보드(115) 내에 마커(113)가 형성되어 있다.

마커(113)는 내부 방향인식표식(111)과, 외부 이격거리조정표식(112)이 적용되어 있다.

내부 방향인식표식(111)은 모바일 단말기(150)의 본체(151)의 촬상 자세를 이미지 처리에 의해 판별할 수 있도록 중앙에 열십자 형상으로 형성된 부분이다.

외부 이격거리조정표식(112)는 내부 방향인식표식(111)을 에워싸게 방향인식 표식 외측에 형성되며 방사방향으로 적어도 5개 이상의 꼭지점을 갖는 다각형상의 형상으로 형성되어 있고, 도시된 예에서는 별모양의 형상으로 형성된 것이 적용되었다.

안내판(110)에는 후술되는 객체증강처리모듈(163)의 다운로드를 안내하는 다운로드 안내메시지가 기재된 다운로드 안내영역(117)이 형성되어 있다.

다운로드 안내영역(117)에는 객체증강처리모듈(163)의 다운로드를 지원하는 인터넷 통신주소가 기록되어 있다.

객체 좌표정보제공모듈(130)은 안내판(110)과 이격되게 설치되어 있으며 가상객체와 합성되는 실물기준 객체(10)에 대한 실물 고유 좌표정보를 무선으로 제공한다.

일 예로서, 객체 좌표정보제공모듈(130)은 블루투스 통신방식으로 실물 고유 좌표정보를 제공하도록 구축될 수 있다.

여기서 실물기준 객체(10)는 주춧돌이 예시되어 있고, 가상객체(20)는 주춧돌만 남기고 사리진 건축물 문화재 예를들면 사탑을 증강현실을 통해 지원할 수 있는 경우를 예로 이하에서 설명한다.

모바일 단말기(150)는 이동통신 단말기 즉, 스마트폰이 적용된다.

모바일 단말기(150)는 실물기준 객체(10)와 본체(151)와의 이격거리 및 카메라(153)의 촬상방향정보를 이용하여 가상객체(20)의 표시를 지원하는 객체증강처리모듈(163)이 탑재되어 있다.

여기서, 객체증강처리모듈(163)은 앞서 설명된 바와 같이 안내판(110)의 다운로드 안내영역(117)에 기재된 정보를 이용하여 사용자가 해당 서버(미도시)에 접속하여 다운받으면 된다.

한편, 모바일 단말기(150)는 음성통신 및 데이터 통신을 지원하는 통상의 하드웨어로 구축된 것이 적용되어 있다.

모바일 단말기(150)는 카메라(153), GPS수신기(154), 자이로센서(155), 통신부(156), 입력부(157), 표시부(158), 마이크로폰(159), 스피커(160), 기억부(161), 단말제어부(165)를 구비한다.

기억부(161)에 저장된 객체증강처리모듈(163)은 실행되면, 사용자에 의해 움직이는 모바일 단말기(150)의 카메라 촬상 방향과 실물기준 객체(10)와의 이격거리 정보를 이용하여 표시부(158)를 통해 보여지는 가상객체의 크기 및 시각적으로 보이는 방향을 조정하여 표시할 수 있도록 되어 있다.

이러한 객체증강처리모듈(163)은 실행되면, 카메라(153)에 의해 촬상된 안내판(110)의 마커(113)의 촬상이미지와, GPS수신기(154)로부터 수신된 본체(151)의 좌표정보와 객체 좌표정보제공모듈(130)로부터 수신된 실물 고유 좌표정보를 이용하여 가상객체(20)에 대한 초기 정합정보를 산출하고, 산출된 초기정합정보와 자이로 센서(155)로부터 산출된 본체(151)의 위치 이동 및 자세변경정보를 이용하여 실물기준 객체(10)와 본체(151)와의 이격거리 변동정보 및 카메라 방향 변동정보를 산출하고, 산출된 변동정보에 대응되게 가상객체가 보여지도록 표시부(158)에 표시되게 처리한다.

즉, 객체증강처리모듈(163)은 실행되면, 먼저, 안내판(110)의 마커(113)의 촬상을 안내하는 안내메시지를 출력장치 예를 들면 표시부(158) 또는 스피커(160)를 통해 출력한다.

일 예로서, "안내판 앞에 있는 촬상안내 위치에서 안내판의 마커(113)가 화면 안에 보이도록 촬상하세요"라는 안내 메시지를 출력하도록 구축될 수 있다.

이후, 객체증강처리모듈(163)은 GPS수신기(154)로부터 수신된 본체(151)의 초기 좌표정보와 객체 좌표정보제공모듈(130)로부터 수신된 실물 고유 좌표정보로부터 실물기준객체와의 1차 이격거리를 산출하고, 카메라(153)에 의해 촬상된 마커 이미지를 기억부(161)에 저장된 기준 이미지와 비교하여 1차 이격거리를 보정한 초기 이격거리를 설정한다.

일 예로서, 기준이미지보다 촬상된 마커 이미지의 전체 크기가 작으면 촬상안내위치보다 안내판(110)을 기준으로 더 먼 위치에서 촬상한 경우이고, 이 경우 마커 경계 위치 차이에 대응하여 미리 산출하여 기록해둔 거리보상값을 1차 이격거리에 가산하여 초기 이격거리를 산출한다.

이러한 보정은 GPS수신기의 측정 오차범위가 수십센티 내지 수미터로 큰 점을 감안한 것이다.

또한, 객체증강처리모듈(163)은 카메라(153)에 의해 촬상된 마커 이미지를 기준 이미지와 비교하여 초기 카메라 방향정보를 산출하고, 산출된 본체(151)의 초기 좌표, 초기 이격거리 및 초기 카메라 방향정보를 이용하여 가상객체에 대한 초기 정합정보를 산출한다.

여기서 초기 정합정보는 본체(151)의 초기 위치에서 가상객체(20)로 예시된 사탑을 보았을 때에 대응되는 형상을 추출하고, 추출된 형상을 초기 시각형상으로 정합시킨다.

이후에는 앞서 설명된 바와 같이 자이로센서(155)의 3축에 대해 측정된 신호로부터 본체(151)의 이동속도, 이동거리, 이동방향, 자세방향을 산출하면서 본체(151)의 카메라(153) 촬상방향 및 실물기준객체(10)와의 이격거리 및 방향정보를 추출하여 대응되는 형상으로 가상객체(20)가 표시부(158)에 표시되게 처리한다.

한편, 객체증강처리모듈(163)은 본체(151)의 초기좌표로부터 자이로센서(155)에 의해 측정된 이동거리가 GPS수신기(154)에 대해 설정된 허용오차에 도달하거나 이상이 되면 다시 GPS수신기(154)에 의해 측정된 좌표정보로 갱신하여 실물기준객체(10)와의 이격거리를 갱신되게 처리하도록 구축될 수 있다.

이러한 증강현실 객체 추적방법에 의하면 사용자가 주춧돌로 예시한 실물기준객체(10)를 시각적으로 확인하면서 이로부터 예전에 지어졌던 문화재인 사찰을 보고자 하는 방향 및 거리에 대응되게 본체(151)의 카메라(153)를 기준으로 이동하거나 자세를 조정하면 그에 대응되는 시각으로 사찰을 보는 것과 같은 영상을 제공받을 수 있다.

이러한 객체 추적방식은 카메라(153)의 촬상영역 내에 실물기준객체(10)가 없어도 가상객체(20)를 정합되게 표시 처리할 수 있고, 초기 정합과정 이후에는 마커(113)에 의존하지 않고 처리할 수 있는 장점을 제공한다.

또한, 본 증강현실 객체 추적 시스템(100)에 의하면, 실제 환경과 가상객체와의 정합 정밀도와 객체 추적 정밀도를 높일 수 있으면서 연산처리부담이 완화되는 장점도 제공한다.

100: 안내판 130: 객체 좌표정보제공모듈
150: 모바일 단말기

Claims

마커가 형성된 안내판과;
상기 안내판과 이격되게 설치되어 있으며 가상객체와 합성되는 실물기준 객체에 대한 실물 고유 좌표정보를 무선으로 제공하는 객체 좌표정보제공모듈과;
상기 실물기준 객체와 본체와의 이격거리 및 카메라 촬상방향정보를 이용하여 상기 가상객체의 표시를 지원하는 객체증강처리모듈이 탑재되어 있고, 상기 객체증강처리모듈이 실행되면, 상기 안내판의 상기 마커의 촬상이미지와, GPS수신기로부터 수신된 본체의 좌표정보와 상기 객체 좌표정보제공모듈로부터 수신된 실물 고유 좌표정보를 이용하여 상기 가상객체에 대한 초기 정합정보를 산출하고, 산출된 초기정합정보와 자이로 센서로부터 산출된 본체의 위치 이동 및 자세변경정보를 이용하여 상기 실물기준 객체와 본체와의 이격거리 변동정보 및 카메라 방향 변동정보를 산출하고, 산출된 변동정보에 대응되게 상기 가상객체가 보여지도록 표시부에 표시되게 처리하는 모바일 단말기;를 구비하는 것을 특징으로 하는 증강현실 객체 추적 시스템.
제1항에 있어서, 상기 모바일 단말기의 기 객체증강처리모듈은 실행되면, 상기 안내판의 상기 마커의 촬상을 안내하는 안내메시지를 출력장치를 통해 출력하고, 상기 GPS수신기로부터 수신된 본체의 초기 좌표정보와 상기 객체 좌표정보제공모듈로부터 수신된 실물 고유 좌표정보로부터 상기 실물기준객체와의 1차 이격거리를 산출하고, 상기 카메라에 의해 촬상된 마커 이미지를 기준 이미지와 비교하여 상기 1차 이격거리를 보정한 초기 이격거리를 설정하고, 상기 카메라에 의해 촬상된 마커 이미지를 기준 이미지와 비교하여 초기 카메라 방향정보를 산출하고, 산출된 상기 본체의 초기 좌표, 초기 이격거리 및 초기 카메라 방향정보를 이용하여 상기 가상객체에 대한 초기 정합정보를 산출하는 것을 특징으로 하는 증강현실 객체 추적 시스템.
제2항에 있어서, 상기 안내판에는 상기 객체증강처리모듈의 다운로드를 안내하는 다운로드 안내메시지가 기재되어 있는 것을 특징으로 하는 증강현실 객체 추적 시스템.
제3항에 있어서, 상기 마커는
상기 본체의 촬상 자세를 이미지 처리에 의해 판별할 수 있도록 중앙에 열십자 형상으로 형성된 내부 방향인식표식과;
상기 내부 방향인식표식을 에워싸게 상기 방향인식 표식 외측에 형성되며 방사방향으로 적어도 5개 이상의 꼭지점을 갖는 다각형상의 외부 이격거리조정표식;이 형성된 것을 특징으로 하는 증강현실 객체 추적 시스템.