KR20220069282A - 현장체험학습을 위한 증강현실구현방법 - Google Patents

Abstract

본 발명은 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서, 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계와, 상기 체험현장의 마커와 상기 마커가 소재하는 위치의 지피에스(GPS)를 매칭하는 단계와, 상기 매칭된 해당 체험현장의 마커와 지피에스(GPS)를 해당 체험현장의 교육을 위한 가상영상과 매칭하는 단계와, 상기 해당 체험현장의 마커를 카메라로 촬영하는 단계와, 촬영된 해당 체험현장의 마커를 제어부에 의해 미리 설정된 마커인지를 판단하는 단계와, 상기 단계에서 미리 설정된 마커로 판단된 경우 제어부에 의해 해당 마커의 지피에스를 판단하는 단계와, 상기 지피에스가 확인되면 해당 지피에스와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계로 이루어지는 현장체험학습을 위한 증강현실구현방법을 제공하기 위한 것으로, 본 발명의 효과로는 현장체험학습을 실시하고자 할 때 실제 현장에 있는 표식을 마커로 활용하되 해당 표식과 관련된 이미지(영상 포함)를 증강현실 이미지로 표현함에 있어 현장의 표식의 형상을 마커로 사용하도록 하되, 동일 또는 유사한 현장의 표식들에 대해 위치기반서비스(GPS)를 이용하여 해당 표식의 위치에 따라 각각 다른 증강현실을 보여줄 수 있도록 함으로써 정확하고 실감나는 현장체험학습을 가능하게 하는 매우 유용한 발명인 것이다.

Description

현장체험학습을 위한 증강현실구현방법{Augmented Reality Projection Method For Field Experience Study Service}

본 발명은 현장체험학습을 위한 증강현실구현방법에 관한 것으로, 보다 상세하게는 현장체험학습을 실시하고자 할 때 실제 현장에 있는 표식을 마커로 활용하여 해당 표식과 관련된 이미지(영상 포함)를 증강현실 이미지로 표현하도록 하되, 해당 표식의 위치에 따라 달라지는 증강현실을 증강현실구현장치에 표현할 수 있도록 하기 위한 증강현실구현방법에 관한 것이다.

일반적으로 증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상(객체)에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것이다.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 따라서 증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.

예를 들어, 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 안내 서비스 등은 이미 상업적 서비스로 운영되고 있다.

한편, 증강현실의 구현에 있어서 중요한 기술적 과제로서, 실제 환경과 가상의 객체가 시간적 및 공간적으로 정확하게 정합된 영상이 구현되어야 하는 점이 중요한데, 이러한 영상 정합을 위해서, 기존에는 현실환경의 객체와 함께 인식될 수 있는 다양한 형태의 마커가 필요하다.

이러한 마커는 인위적으로 제작 또는 생성된 마커를 현실환경의 객체에 부착 또는 인쇄하거나, 영상 인식이 가능한 객체 자체의 특징점을 마커로서 미리 등록하는 등의 방식으로 제공된다.

특히 최근 증강기술의 발전은 학교 교육 방식과 학습자들의 지식 습득 방식에 다양한 영향을 주고 있고, 특히 인터넷 통신 기술과 스마트 기기의 급격한 보급은 교수자가 학습자에게 지식을 전달하는 형태의 수업방식에서 학습자 스스로 지식을 찾고 습득하는 형태로 변화시키고 있다.

이러한 변화는 정보통신 인프라를 기반으로 하는 무선 인터넷, 스마트 기기, 클라우드 등의 급속한 발전과 맞물려 다양한 교수학습 형태로 확대되고 있다.

이와 관련하여, 학습자가 연동된 어플리케이션을 이용하여 미션을 수행하는 과정에서 능동적으로 통합적인 문제해결 능력을 향상시키고 창의적인 사고나 고차원적인 문제 해결 능력을 학습할 수 있는 스마트 기기를 이용한 미션 수행 타입 학습 서비스가 제공되고 있다.

이와 같은 미션 수행 타입 학습 서비스를 제공하기 위해서는 서비스 제공을 위해 제작된 콘텐츠가 필요한데, 이는 풍부한 콘텐츠를 통해 다양한 체험이 가능한 학습 서비스를 제공하고 학습자들의 호기심을 자극하여 학습 효과를 극대화할 수 있기 때문이다.

특히 현재 많은 현장학습 지원 어플리케이션들이 개발되어 있으나, 증강현실을 이용해 현장에서 과거에 일어났었던 사건의 이미지(영상 포함)를 이용해 현장체험학습을 하고자할 때 마커의 위치에 따라 달라지는 이미지를 제대로 표현할 수 있는 방법은 지금까지 구현된 바 없다.

특히 체험현장의 표식들의 형상이 비슷비슷할 경우에는 증강현실구현장치가 모두 하나의 마커로 인식하게 됨으로써 위치마다 각각 다른 표식들을 통한 다른 이미지를 증강현실로 구현할 수 없게 된다.

[선행기술문헌]

1. 국내등록특허 제10-1117329호

상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은, 현장체험학습을 실시하고자 할 때 실제 현장에 있는 표식을 마커로 활용하되 해당 표식과 관련된 이미지(영상 포함)를 증강현실 이미지로 표현함에 있어 현장의 표식의 형상을 마커로 사용하도록 하되, 동일 또는 유사한 현장의 표식들에 대해 위치기반서비스(GPS)를 이용하여 해당 표식의 위치에 따라 각각 다른 증강현실을 보여줄 수 있도록 함으로써 현장체험학습을 가능하게 함에 있다.

상기한 바와 같은 목적을 성취하기 위한 본 발명의 실시예에 따른 해결수단을 살펴보면, 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서, 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계와, 상기 체험현장의 마커와 상기 마커가 소재하는 위치의 지피에스(GPS)를 매칭하는 단계와, 상기 매칭된 해당 체험현장의 마커와 지피에스(GPS)를 해당 체험현장의 교육을 위한 가상영상과 매칭하는 단계와, 상기 해당 체험현장의 마커를 카메라로 촬영하는 단계와, 상기 촬영된 해당 체험현장의 마커를 제어부에 의해 미리 설정된 마커인지를 판단하는 단계와, 상기 단계에서 미리 설정된 마커로 판단된 경우 제어부에 의해 해당 마커의 지피에스를 판단하는 단계와, 상기 지피에스가 확인되면 해당 지피에스와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계로 이루어짐을 특징으로 한다.

본 발명의 다른 실시예로는, 상기 체험현장의 마커는 묘비, 비석, 기념상징물 중 어느 하나로 구성됨을 특징으로 한다

상기와 같은 본 발명의 효과로는 현장체험학습을 실시하고자 할 때 실제 현장에 있는 표식을 마커로 활용하되 해당 표식과 관련된 이미지(영상 포함)를 증강현실 이미지로 표현함에 있어 현장의 표식의 형상을 마커로 사용하도록 하되, 동일 또는 유사한 현장의 표식들에 대해 위치기반서비스(GPS)를 이용하여 해당 표식의 위치에 따라 각각 다른 증강현실을 보여줄 수 있도록 함으로써 정확하고 실감나는 현장체험학습을 가능하게 하는 매우 유용한 발명인 것이다.

도 1은 본 발명의 실시예에 따른 현장체험학습을 위한 증강현실구현방법의 순서도.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 또 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다. 다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 공식적인 의미로 해석되지 않는다.

사시도를 참조하여 설명된 본 발명의 실시예는 본 발명의 이상적인 실시예를 구체적으로 나타낸다. 그 결과, 도해의 다양한 변형, 예를 들면 제조 방법 및/또는 사양의 변형이 예상된다. 따라서 실시예는 도시한 영역의 특정 형태에 국한되지 않으며, 예를 들면 제조에 의한 형태의 변형도 포함한다. 예를 들면, 편평하다고 도시되거나 설명된 영역은 일반적으로 거칠거나/거칠고 비선형인 특성을 가질 수 있다. 또 도면에 도시된 영역은 원래 대략적인 것에 불과하며, 이들의 형태는 영역의 정확한 형태를 도시하도록 의도된 것이 아니고, 본 발명의 범위를 좁히려고 의도된 것이 아니다.

이하, 본 발명에 따른 현장체험학습을 위한 증강현실구현방법에 대한 바람직한 실시예에 대해 첨부된 도면들을 참조로 하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 현장체험학습을 위한 증강현실구현방법의 순서도이다.

우선, 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략하기로 한다.

본 발명의 실시예에 따른 현장체험학습을 위한 증강현실구현방법은 카메라와 디스플레이를 구비한 증강현실구현장치에 의해 실행된다.

상기 증강현실구현장치에 의해 구현되는 증강현실구현방법은 먼저 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체의 영상과 합성하여 증강현실 영상이 증강현실구현장치의 디스플레이에 출력된다.

본 발명은 상기와 같은 증강현실구현방법을 포함하되, 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계(S1)와, 상기 체험현장의 마커와 상기 마커가 소재하는 위치의 지피에스(GPS)를 매칭하는 단계(S2)와, 상기 매칭된 해당 체험현장의 마커와 지피에스(GPS)를 해당 체험현장의 교육을 위한 가상영상과 매칭하는 단계(S3)와, 상기 해당 체험현장의 마커를 카메라로 촬영하는 단계(S4)와, 촬영된 해당 체험현장의 마커를 제어부에 의해 미리 설정된 마커인지를 판단하는 단계(S5)와, 상기 단계에서 미리 설정된 마커로 판단된 경우 제어부에 의해 해당 마커의 지피에스를 판단하는 단계(S6)와, 상기 지피에스가 확인되면 해당 지피에스와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계(S7)로 이루어진다.

이때 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상들을 미리 제작되어 데이터베이스에 저장되어진 상태이고, 상기 가상영상들이 증강현실구현장치에 표현되도록 하기 위한 마커는 체험현장에 위치한 마커를 사용한다.

상기 마커가 소재하는 위치의 GPS는 해당 마커와 매칭되어 역시 데이터베이스에 저장된다.

또한 상기 매칭된 해당 체험현장의 마커와 GPS는 다시 데이터베이스에 저장된 해당 체험현장의 교육을 위한 가상영상과 매칭되어진다.

이는 학습자가 체험현장에서 해당 체험현장의 표식, 즉 마커를 촬영하였을 시 데이터베이스에 저장된 가상영상들이 증강현실구현장치에 표현되도록 하기 위해서이다.

즉 학습자가 해당 체험현장의 마커를 카메라로 촬영하게 되는 경우 촬영된 영상으로 부터 제어부는 마커를 인식하게 되고, 해당 마커가 촬영된 순간의 카메라 위치, 즉 GPS를 측정하게 된다. 따라서 상기 마커와 GPS에 매칭된 현장체험교육 가상영상이 증강현실구현장치에 표현되게 된다.

본 발명에서 제어부는 기판에 설치된 마이크로프로세서 일 수도 있고, pc 또는 서버(미도시)일 수도 있는데, 이는 프로그래밍된 모듈을 구비할 수도 있다.

또한 본 발명은 체험현장의 마커로 묘비, 비석 또는 기념상징물 등을 사용할 수 있는데, 대개의 비석은 역사적인 사건을 오래도록 기억할 수 있도록 하기 위한 상징물이다.

또 본 발명에서 기념상징물로는 조각이나 동상 등 다양한 형상의 표식을 의미하는데 이 역시 뭔가로 기억하고 기념하기 위한 것들이다.

본 발명의 필요성을 위해 하나의 예를 들면 국립묘지의 묘비와 같은 경우 각각의 묘비마다 죽어간 사람의 다양한 사연이 담겨져 있을 것이다.

따라서 이를 통해 현장에서의 역사교육 등이 이루어질 수도 있는데, 단순한 구두설명만으로로는 효과적인 학습이 곤란한 경우가 왕왕있다. 따라서 증강현실구현을 통해 각 묘지와 관련된 과거의 영상 등을 보여줌으로써 보다 효과적인 학습이 가능하긴 하나 문제는 대개의 묘비의 형상이 비슷비슷하여 이를 마커로 활용할 경우 묘비마다 각각 다른 영상을 표현하기 곤란한 문제를 갖는다.

본 발명은 이를 모든 묘비들은 형상의 유사하나 모두 위치는 다르다는 점에 착안하여 묘비의 형상을 인식하여 마커로 사용하게 하되, 각 묘비에 해당하는 영상은 그 묘비에 맞는, 즉 그 묘비가 위치한 GPS와 일치한 영상만 증강현실구현장치의 디스플레이에 출력되도록 한 것이다.

또 본 발명에서 '가상 영상'이라 함은 증강현실구현장치의 카메라를 통해 입력된 영상 내의 마커와 GPS에 대응하여, 증강현실구현장치가 디스플레이 상에 생성하는 가상의 대상물(사물 또는 배경 이미지, 또는 이들의 동영상 등)을 의미한다.

본 발명에서는 증강현실구현장치에 표현되는 가상영상은 본 발명에 있어 마커로 사용되는 묘비와 비석, 기념상징물과 관련한 사진 이미지 또는 그래픽 이미지, 동영상 이미지 등이 될 것이다. 이처럼 각각의 현장체험교육을 위한 가상영상들은 해당 마커들은 물론 해당 마커들의 GPS들과 각각 매칭된 상태이다.

또한 본 발명은 먼저 증강현실에서 사용될 다수개의 가상영상들은 미리 촬영되어 마커로 사용할 현장에 있는 표식들, 즉 묘비와 비석, 기념상징물과 매칭되어 데이터베이스에 저장된 상태이다.

상기 증강현실구현장치의 디스플레이에 표현되는 현장체험교육을 위한 가상영상은 현장의 표식, 즉 마커들과 합성되어 출력됨은 당연하다.

본 발명에서 '마커(marker)'라 함은 증강현실이 구현된 영상에서 가상 영상 또는 가상 객체의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미하고, 이러한 마커는 증강현실에서 구현될 각 가상객체에 대응하여 부여되며, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수도 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 마커로 정의하여 사용할 수도 있다.

만약 합성 마커가 사용되는 경우에는, 해당 마커를 구성하는 기하학적 문양이나 패턴 등이 마커의 인식 정보로 사용될 수 있으며, 실제 객체의 특징점이 마커로 정의되는 경우는 실제 객체의 색상, 윤곽선 및 구성 선분, 에지(edge) 등이 마커의 인식정보로 사용될 수 있다.

상기 증강현실구현장치는 '증강현실 앱(APP)'이 실행되는 장치를 통칭하는 것으로, 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동통신망을 이용하는 통상의 스마트폰, 스마트패드, 고글 등을 의미한다. 이때 상기 증강현실구현장치는 반드시 모바일 클라이언트로 구성될 필요는 없으며, 카메라 및 디스플레이를 구비한 일반적인 PC(Personal Computer) 또는 이와 동등한 컴퓨팅 수단이면 어느 것이나 이용될 수 있다

증강현실 앱(APP)은 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공 목적으로 배포하는 앱으로서, 예를 들어, 통상의 앱 스토어 서버(도면 미도시)를 통해 배포할 수 있다. 앱(APP)은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다.

이때 앱(APP)의 경우, 기기가 제공하는 하드웨어적 기능을 지원받아 다양한 기능의 구현이 가능하다.

본 발명에서 사용되는 증강현실구현장치는 카메라와 디스플레이를 구비하며, 이들과 연동 기능을 제공하기 위한 영상 입력 모듈과 증강현실 출력 모듈을 구비한다. 또한 입력된 영상으로부터 마커를 인식하는 기능을 수행하는 마커 인식 모듈과, 인식된 마커에 근거하여 가상 영상을 생성하는 증강현실 구현 모듈, 이들 각 모듈의 동작을 전체적으로 제어하기 위한 제어 모듈, 네트워크를 통해 증강현실 서버를 포함한 외부 기기와의 연동을 위한 통신 모듈 등이 구비됨은 당연하다.

또한 본 발명 증강현실구현장치는 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 이에 대응하는 가상 영상 매칭 정보를 저장하고, 각 마커에 대응한 가상 영상 정보를 저장하기 위한 는 데이터베이스를 구비한다.

상기 데이터베이스는 물리적 관점에서는 이들 정보를 저장하는 통상의 기억장치(예, 하드디스크, 비휘발성 메모리 소자 등)의 개념으로 더욱 확장하여 이해될 수 있다. 본 발명에 있어 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 서버로부터 제공받도록 할 수도 있다.

이처럼 본 발명 증강현실구현장치는 증강현실 앱의 구동에 의해 외부 장치와의 연동 없이 증강현실 기능을 실행할 수 있으며, 통상의 유무선 네트워크를 통해 증강현실 서버와 연동하여 일부 기능을 서버와의 연동을 통해 제공하는 것도 가능하다.

상술 한 바와 같이 본 발명은 비록 한정된 실시예들에 의해 설명되었으나, 본 발명은 이것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다 할 것이다.

Claims (2)

1. 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서,
   상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계와,
   상기 체험현장의 마커와 상기 마커가 소재하는 위치의 지피에스(GPS)를 매칭하는 단계와,
   상기 매칭된 해당 체험현장의 마커와 지피에스(GPS)를 해당 체험현장의 교육을 위한 가상영상과 매칭하는 단계와,
   상기 해당 체험현장의 마커를 카메라로 촬영하는 단계와,
   상기 촬영된 해당 체험현장의 마커를 제어부에 의해 미리 설정된 마커인지를 판단하는 단계와,
   상기 단계에서 미리 설정된 마커로 판단된 경우 제어부에 의해 해당 마커의 지피에스를 판단하는 단계와,
   상기 지피에스가 확인되면 해당 지피에스와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계로 이루어짐을 특징으로 하는 현장체험학습을 위한 증강현실구현방법.
   
2. 제 1항에 있어서, 상기 체험현장의 마커는 묘비, 비석, 기념상징물 중 어느 하나로 구성됨을 특징으로 하는 현장체험학습을 위한 증강현실구현방법.
   
   

Images