KR20220069284A - 현장에서 획득된 이미지를 활용한 증강현실구현방법 - Google Patents

Abstract

본 발명은 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서, 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계와, 상기 증강현실영상이 증강현실구현장치의 디스플레이를 통해 출력될 장소의 이미지를 촬영하는 단계와, 상기 촬영된 이미지를 마커로 활용하는 단계와, 상기 마커와 미리 촬영된 가상영상과 매칭하는 단계와, 학습자에 의해 현장을 촬영하는 단계와, 상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일 여부를 판단하는 단계와, 상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일하다고 판단되면 해당 마커와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계로 이루어지는 현장에서 획득된 이미지를 활용한 증강현실구현방법을 제공하기 위한 것으로, 본 발명의 효과로는 현장체험학습을 실시하고자 할 때 실제 현장에서 획득된 이미지를 마커로 활용하고, 또 이처럼 마커로 활용된 현장의 이미지를 활용해 증강현실구현장치에 증강현실을 표현할 수 있도록 함으로써 다양한 현장체험학습이 가능한 매우 유용한 발명인 것이다.

Description

현장에서 획득된 이미지를 활용한 증강현실구현방법{Augmented Reality Projection Method Using Image From Field}

본 발명은 현장에서 획득된 이미지를 활용한 증강현실구현방법에 관한 것으로, 보다 상세하게는 현장체험학습을 실시하고자 할 때 실제 현장에서 획득된 이미지를 마커로 활용하여 해당 마커와 관련된 영상을 증강현실 이미지로 표현하도록 하되, 해당 마커의 이미지에 따라 달라지는 증강현실을 증강현실구현장치에 표현할 수 있도록 하기 위한 증강현실구현방법에 관한 것이다.

일반적으로 증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상(객체)에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것이다.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 따라서 증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.

예를 들어, 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 안내 서비스 등은 이미 상업적 서비스로 운영되고 있다.

한편, 증강현실의 구현에 있어서 중요한 기술적 과제로서, 실제 환경과 가상의 객체가 시간적 및 공간적으로 정확하게 정합된 영상이 구현되어야 하는 점이 중요한데, 이러한 영상 정합을 위해서, 기존에는 현실환경의 객체와 함께 인식될 수 있는 다양한 형태의 마커가 필요하다.

이러한 마커는 인위적으로 제작 또는 생성된 마커를 현실환경의 객체에 부착 또는 인쇄하거나, 영상 인식이 가능한 객체 자체의 특징점을 마커로서 미리 등록하는 등의 방식으로 제공된다.

특히 최근 증강기술의 발전은 학교 교육 방식과 학습자들의 지식 습득 방식에 다양한 영향을 주고 있고, 특히 인터넷 통신 기술과 스마트 기기의 급격한 보급은 교수자가 학습자에게 지식을 전달하는 형태의 수업방식에서 학습자 스스로 지식을 찾고 습득하는 형태로 변화시키고 있다.

이러한 변화는 정보통신 인프라를 기반으로 하는 무선 인터넷, 스마트 기기, 클라우드 등의 급속한 발전과 맞물려 다양한 교수학습 형태로 확대되고 있다.

이와 관련하여, 학습자가 연동된 어플리케이션을 이용하여 미션을 수행하는 과정에서 능동적으로 통합적인 문제해결 능력을 향상시키고 창의적인 사고나 고차원적인 문제 해결 능력을 학습할 수 있는 스마트 기기를 이용한 미션 수행 타입 학습 서비스가 제공되고 있다.

이와 같은 미션 수행 타입 학습 서비스를 제공하기 위해서는 서비스 제공을 위해 제작된 콘텐츠가 필요한데, 이는 풍부한 콘텐츠를 통해 다양한 체험이 가능한 학습 서비스를 제공하고 학습자들의 호기심을 자극하여 학습 효과를 극대화할 수 있기 때문이다.

특히 현재 많은 현장학습 지원 어플리케이션들이 개발되어 있으나, 증강현실을 이용해 현장에서 과거에 일어났었던 사건의 영상을 이용해 현장체험학습을 하고자할 때 현장의 이미지를 마커로 활용하고, 또 이처럼 마커로 활용된 현장의 이미지를 활용해 증강현실을 구현하는 방법은 안출된 바 없다.

[선행기술문헌]

1. 국내등록특허 제10-1117329호

상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은, 현장체험학습을 실시하고자 할 때 실제 현장에서 획득된 이미지를 마커로 활용하고, 이처럼 마커로 활용된 현장의 이미지를 활용해 현장체험학습을 가능하게 함에 있다.

상기한 바와 같은 목적을 성취하기 위한 본 발명의 실시예에 따른 해결수단을 살펴보면, 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서, 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계와, 상기 증강현실영상이 증강현실구현장치의 디스플레이를 통해 출력될 장소의 이미지를 촬영하는 단계와, 상기 촬영된 이미지를 마커로 활용하는 단계와, 상기 마커와 미리 촬영된 가상영상과 매칭하는 단계와, 학습자에 의해 현장을 촬영하는 단계와, 상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일 여부를 판단하는 단계와, 상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일하다고 판단되면 해당 마커와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계로 이루어짐을 특징으로 한다.

상기와 같은 본 발명의 효과로는 현장체험학습을 실시하고자 할 때 실제 현장에서 획득된 이미지를 마커로 활용하고, 또 이처럼 마커로 활용된 현장의 이미지를 활용해 증강현실구현장치에 증강현실을 표현할 수 있도록 함으로써 다양한 현장체험학습이 가능한 매우 유용한 발명인 것이다.

도 1은 본 발명의 실시예에 따른 현장에서 획득된 이미지를 활용한 증강현실구현방법의 순서도.
도 2는 마커로 활용된 이미지를 도시한 참고도.
도 3은 학습자에 의해 촬영된 이미지를 도시한 참고도.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 또 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다. 다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 공식적인 의미로 해석되지 않는다.

사시도를 참조하여 설명된 본 발명의 실시예는 본 발명의 이상적인 실시예를 구체적으로 나타낸다. 그 결과, 도해의 다양한 변형, 예를 들면 제조 방법 및/또는 사양의 변형이 예상된다. 따라서 실시예는 도시한 영역의 특정 형태에 국한되지 않으며, 예를 들면 제조에 의한 형태의 변형도 포함한다. 예를 들면, 편평하다고 도시되거나 설명된 영역은 일반적으로 거칠거나/거칠고 비선형인 특성을 가질 수 있다. 또 도면에 도시된 영역은 원래 대략적인 것에 불과하며, 이들의 형태는 영역의 정확한 형태를 도시하도록 의도된 것이 아니고, 본 발명의 범위를 좁히려고 의도된 것이 아니다.

이하, 본 발명에 따른 현장에서 획득된 이미지를 활용한 증강현실구현방법에 대한 바람직한 실시예에 대해 첨부된 도면들을 참조로 하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 현장에서 획득된 이미지를 활용한 증강현실구현방법의 순서도이고, 도 2는 마커로 활용된 이미지를 도시한 참고도이며, 도 3은 학습자에 의해 촬영된 이미지를 도시한 참고도이다.

우선, 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략하기로 한다.

본 발명의 실시예에 따른 현장에서 획득된 이미지를 활용한 증강현실구현방법은 카메라와 디스플레이를 구비한 증강현실구현장치에 의해 실행된다.

상기 증강현실구현장치에 의해 구현되는 증강현실구현방법은 먼저 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체의 영상과 합성하여 증강현실 영상이 증강현실구현장치의 디스플레이에 출력된다.

본 발명은 상기와 같은 증강현실구현방법을 포함하되, 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계(S1)와, 상기 증강현실영상이 증강현실구현장치의 디스플레이를 통해 출력될 장소의 이미지를 촬영하는 단계(S2)와, 상기 촬영된 이미지를 마커로 활용하는 단계(S3)와, 상기 마커와 미리 촬영된 가상영상과 매칭하는 단계(S4)와, 학습자에 의해 현장을 촬영하는 단계(S5)와, 상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일 여부를 판단하는 단계(S6)와, 상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일하다고 판단되면 해당 마커와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계(S7)로 이루어진다.

이때 상기 증강현실에서 사용될 현장체험교육을 위한 가상영상들을 미리 제작되어 데이터베이스에 저장되어진 상태이고, 상기 가상영상들이 증강현실구현장치에 표현되도록 하기 위해 사용되는 마커는 체험현장에서 미리 촬영된 현장 이미지를 사용한다. 즉 학습자들이 학습하게될 현장에서 체험교육이 필요한 현장마다 코스별로 미리 교육에 필요하다고 선정된 곳을 촬영하여 이미지를 확보한 다음, 이들 이미지로 마커를 만들게 된다. 이처럼 만들어진 마커는 데이터베이스에 저장되고, 역시 데이터베이스에 저장된 해당 체험현장의 교육을 위한 가상영상들과 각각 매칭된다.

다음 학습자가 체험현장에서 현장을 증강현실구현장치로 촬영할 경우 상기 촬영된 이미지 중에서 마커로 활용된 이미지가 있을 경우 상기 이미지를 마커로 판단하여 데이터베이스에 저장된 해당 가상영상을 증강현실구현장치에 표현하도록 한다.

이때 상기 현장을 학습자가 촬영한 이미지 중에서 마커로 활용된 이미지를 찾아내는 것은 인공지능에 의해 이루어지는데, 이는 학습자가 촬용한 이미지가 마커로 활용된 이미지와 거의 일치하게 촬영하기란 거의 불가능하기 때문이다.

따라서 지문의 일부만 인식해도 지문과의 동일 또는 유사성 여부를 판단할 수 있는 것처럼 본 발명에서도 학습자가 촬영한 이미지 중 일부만이라도 마커로 활용된 이미지가 있다면 이를 마커로 인식하게 하기 위해 필요한 구성이다.

이때 인공지능은 학습자가 촬영한 현장 이미지를 인식하고 보정하고 학습함으로써 상기 이미지와 비슷한 이미지와 유사 및 동일 여부를 판단하게 되고, 이미지 속에서 일부라도 유사한 부분이 있으면 이를 마커로 인식하도록 하는 작용을 한다.

이러한 인공지능 모듈은 LSTM RNN(Long Term Short Memory Recurrent Neural Network)로 구현될 수도 있고, CNN(convolutional neural network)과 같은 다른 모듈로써 구현될 수도 있으며, LSTM RNN 모델과 CNN 모델이 복합적으로 구축되는 방식으로 구현될 수도 있다.

즉 학습자가 해당 체험현장을 카메라로 촬영하게 되는 경우 촬영된 영상으로 부터 제어부는 마커를 인식하게 되고, 해당 마커와 매칭된 현장체험교육 가상영상이 증강현실구현장치에 표현하게 된다.

본 발명에 있어 제어부는 기판에 설치된 마이크로프로세서 일 수도 있고, pc 또는 서버(미도시)일 수도 있는데, 이는 프로그래밍된 모듈을 구비할 수도 있다.

본 발명의 필요성을 위해 하나의 예를 들면 도 2의 경우는 옛전라남도도청의 현장이미지이고 이를 증강현실구현을 위한 마커로 활용하였다고 할 때 학습자가 도 3처럼 옛전라남도도청을 촬영하였다 하더라도 인공지능은 도 3을 마커로 인식하게 된다. 이는 학습자가 촬영한 이미지가 마커의 이미지가 일부라도 서로 동일 또는 유사하다면 이를 인공지능은 동일한 이미지로 판단하게 되고 당연히 마커로 인식하여 미리 저장해둔 현장 체험을 위한 교육용 영상이 증강현실구현장치의 디스플레이를 통해 출력된다.

따라서 상기와 같이 증강현실에서 사용될 다수개의 가상영상들은 미리 촬영되어 마커가 촬영된 현장에서 증강현실구현장치의 디스플레이를 통해 학습자들은 본 수 있게 되고 이를 통한 역사학습 등이 가능하게 되는 것이다.

본 발명에서는 증강현실구현장치에 표현되는 가상영상은 본 발명에 있어 마커로 사용되는 현장 이미지와 관련한 사진 이미지 또는 그래픽 이미지, 동영상 이미지 등이 될 것이다. 물론 마커가 달라지면 거기에 따른 가상 영상들도 달라짐은 당연하다.

본 발명에서 '가상 영상'이라 함은 증강현실구현장치의 카메라를 통해 입력된 영상 내의 마커에 대응하여, 증강현실구현장치가 디스플레이 상에 생성하는 가상의 대상물(사물 또는 배경 이미지, 또는 이들의 동영상 등)을 의미한다.

상기 증강현실구현장치의 디스플레이에 표현되는 현장체험교육을 위한 가상영상은 현장의 이미지, 즉 마커들과 합성되어 출력될 수도 있음은 당연하다.

본 발명에서 '마커(marker)'라 함은 증강현실이 구현된 영상에서 가상 영상 또는 가상 객체의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미하고, 이러한 마커는 증강현실에서 구현될 각 가상객체에 대응하여 부여되며, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수도 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 마커로 정의하여 사용할 수도 있다.

만약 합성 마커가 사용되는 경우에는, 해당 마커를 구성하는 기하학적 문양이나 패턴 등이 마커의 인식 정보로 사용될 수 있으며, 실제 객체의 특징점이 마커로 정의되는 경우는 실제 객체의 색상, 윤곽선 및 구성 선분, 에지(edge) 등이 마커의 인식정보로 사용될 수 있다.

상기 증강현실구현장치는 '증강현실 앱(APP)'이 실행되는 장치를 통칭하는 것으로, 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동통신망을 이용하는 통상의 스마트폰, 스마트패드, 고글 등을 의미한다. 이때 상기 증강현실구현장치는 반드시 모바일 클라이언트로 구성될 필요는 없으며, 카메라 및 디스플레이를 구비한 일반적인 PC(Personal Computer) 또는 이와 동등한 컴퓨팅 수단이면 어느 것이나 이용될 수 있다

증강현실 앱(APP)은 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공 목적으로 배포하는 앱으로서, 예를 들어, 통상의 앱 스토어 서버(도면 미도시)를 통해 배포할 수 있다. 앱(APP)은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다.

이때 앱(APP)의 경우, 기기가 제공하는 하드웨어적 기능을 지원받아 다양한 기능의 구현이 가능하다.

본 발명에서 사용되는 증강현실구현장치는 카메라와 디스플레이를 구비하며, 이들과 연동 기능을 제공하기 위한 영상 입력 모듈과 증강현실 출력 모듈을 구비한다. 또한 입력된 영상으로부터 마커를 인식하는 기능을 수행하는 마커 인식 모듈과, 인식된 마커에 근거하여 가상 영상을 생성하는 증강현실 구현 모듈, 이들 각 모듈의 동작을 전체적으로 제어하기 위한 제어 모듈, 네트워크를 통해 증강현실 서버를 포함한 외부 기기와의 연동을 위한 통신 모듈 등이 구비됨은 당연하다.

또한 본 발명 증강현실구현장치는 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 이에 대응하는 가상 영상 매칭 정보를 저장하고, 각 마커에 대응한 가상 영상 정보를 저장하기 위한 는 데이터베이스를 구비한다.

상기 데이터베이스는 물리적 관점에서는 이들 정보를 저장하는 통상의 기억장치(예, 하드디스크, 비휘발성 메모리 소자 등)의 개념으로 더욱 확장하여 이해될 수 있다. 본 발명에 있어 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 서버로부터 제공받도록 할 수도 있다.

이처럼 본 발명 증강현실구현장치는 증강현실 앱의 구동에 의해 외부 장치와의 연동 없이 증강현실 기능을 실행할 수 있으며, 통상의 유무선 네트워크를 통해 증강현실 서버와 연동하여 일부 기능을 서버와의 연동을 통해 제공하는 것도 가능하다.

상술 한 바와 같이 본 발명은 비록 한정된 실시예들에 의해 설명되었으나, 본 발명은 이것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다 할 것이다.

Claims (1)

1. 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서,
   상기 증강현실에서 사용될 현장체험교육을 위한 가상영상을 데이터베이스에 저장하는 단계와,
   상기 증강현실영상이 증강현실구현장치의 디스플레이를 통해 출력될 장소의 이미지를 촬영하는 단계와,
   상기 촬영된 이미지를 마커로 활용하는 단계와,
   상기 마커와 미리 촬영된 가상영상과 매칭하는 단계와,
   학습자에 의해 현장을 촬영하는 단계와,
   상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일 여부를 판단하는 단계와,
   상기 학습자에 의해 촬영된 영상의 이미지가 마커와 유사 또는 동일하다고 판단되면 해당 마커와 매칭된 현장체험교육 가상영상을 증강현실구현장치에 표현하는 단계로 이루어짐을 특징으로 하는 현장에서 획득된 이미지를 활용한 증강현실구현방법.
   
   

Images