KR20200059854A - 증강현실을 제공하는 시스템의 동작 방법 - Google Patents

Abstract

본 발명에 따른 증강 현실을 제공하는 시스템의 동작 방법은, API 플랫폼을 이용한 어플리케이션을 이용하여 증강 현실 모델을 출력하는 단계, 상기 어플리케이션에서 사용자에 의해 입력된 전시물을 검색 및 표시하는 단계, 및 사용자의 나이, 성별 정보 및 상기 어플리케이션을 실행한 접속 위치, 사용자의 이용 시간 및 콘텐츠 조회수를 서버로 전송하는 단계를 포함할 수 있다.

Description

증강현실을 제공하는 시스템의 동작 방법{OPERATING METHOD IN SYSTEM FOR PROVIDING AUGMENTED REALITY}

본 발명은 증강현실을 제공하는 시스템의 동작 방법에 관한 것이다.

증강현실(Augmented Reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 현실세계를 가상세계로 보완해주는 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 현실 환경이 주가 되며, 컴퓨터 그래픽을 통해 현실 환경에 필요한 정보를 추가 제공해준다. 4차 산업 혁명의 유망 분야로 증강현실 기술이 성장 중이다. AR을 구현하기 위한 SDK중 가장 대중화 되어있는 Vuforia의 경우, 현실세계에 사전에 지정된 이미지(마커)가 존재해야 하고, 카메라로 화면을 비출 때 해당 마커 위에 모델을 출력해주는 수준에 그쳤다. 따라서 장소 제한성이 있어 어플리케이션의 사용 효율성이 떨어진다.

공개특허: 10-2016-0138768, 공개일: 2016년 12월 6일, 제목: 미디어 스킨 및 증강 현실을 이용한 맞춤형 홍보 방법 및 그 장치. 공개특허: 10-2016-0138823, 공개일: 2016년 12월 6일, 제목: 증강현실 이용한 전통장터 정보 제공 방법. 공개특허: 10-2017-0018930, 공개일: 2017년 2월 20일, 제목: 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들.

본 발명의 목적은 신규한 증강현실을 제공하는 시스템의 동작 방법을 제공하는데 있다.

본 발명의 실시 예에 따른 증강 현실을 제공하는 시스템의 동작 방법은: API(application programming interface) 플랫폼을 이용한 어플리케이션을 이용하여 증강 현실 모델을 출력하는 단계; 상기 어플리케이션에서 사용자에 의해 입력된 전시물을 검색 및 표시하는 단계; 및 사용자의 나이, 성별 정보 및 상기 어플리케이션을 실행한 접속 위치, 사용자의 이용 시간 및 콘텐츠 조회수를 서버로 전송하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 API는 ARCore인 것을 특징으로 한다.

실시 예에 있어서, 상기 증강 현실 모델을 출력하는 단계는, 상기 ARCore를 통해 평면을 검출할 때, 3D 증강 현실 모델을 출력하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 증강 현실의 모델의 조도는 그림자의 광원을 인지함으로써 설정되는 것을 특징으로 한다.

실시 예에 있어서, 웹 서버를 통하여 상기 어플리케이션의 이용 데이터를 데이터베이스에 저장하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 데이터베이스에 새로운 데이터가 저장될 때, 상기 어플리케이션에서 새로운 증강 현실 모델을 다운로드 받는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 데이터베이스에 저장된 상기 이용 데이터를 분석하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 분석된 데이터를 웹 페이지에서 표 혹은 그래프로 시각화하여 표시하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 전시물을 검색 및 표시하는 단계는, 음성 설명 버튼을 터치하면, 상기 전시물에 대응하는 음성 설명을 제공하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 전시물을 검색 및 표시하는 단계는, 사용자의 기호에 맞게 설명 텍스트의 크기를 조절하는 단계; 및 외국인 사용자를 위한 번역 기능을 제공하는 단계를 더 포함할 수 있다.

본 발명의 실시 예에 따른 증강현실을 제공하는 시스템의 동작 방법은 증강 현실 모델을 출력하는 어플리케이션을 배포하여 지역 사회의 역사, 문화 교육을 효과적으로 수행할 수 있다.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 어플리케이션 증강현실 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 어플리케이션의 화면을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 증강현실을 위한 시스템의 동작 방법을 예시적으로 보여주는 흐름도이다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 혹은 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 실시 예에 따른 어플리케이션은 ARCore를 기반으로 증강현실을 구현할 수 있다. ARCore는 증강현실 환경구축을 위한 Google에서 제공하는 플랫폼이다. ARCore 플랫폼을 이용한 어플리케이션의 가장 대표적인 사례는 Amazon사의 Amazon AR view 이다. 이 어플리케이션은 Amazon의 상품 모델을 실제 공간상에 출력한다. 모델은 상품의 실제 크기에 맞게 출력되어 사용자가 미리 가구 등을 집 안에 배치해볼 수 있다. ARCore는 Google에서 무료로 제공하는 API(application programming interface)이며, 안드로이드와 iOS 환경에서 동작한다. ARCore는 카메라 영상에서 특징점과 스마트폰 관성 센서의 판독 값을 결합하여 공간에서의 휴대전화 위치와 방향을 결정한다. 때문에 Marker 없이 모델을 실제 공간상에 고정시킬 수 있고 주변 환경의 특성(거리 정보, 평면 찾기)을 이해하는 것이 가능하다. 지원하는 개발 환경은 Android, iOS, Unity, Unreal, Web 이 있다.

본 발명의 실시 예에 따른 어플리케이션의 증강현실은 별다른 제약이 없이 언제 어디서든 사용 가능하며, 현실 환경을 반영한 모델이 출력되기 때문에 보다 자연스러운 가상 사물을 연출할 수 있다. 현실 환경에서 평면을 인식하여 평면 위에 모델이 놓이므로 비현실적으로 공중에 물체가 떠있는 상황을 해결하였다. 주변의 조명상태를 인지하여 모델의 그림자와 모델의 밝기에 적용시키므로 어두운 환경에서 혼자 빛나는 상황을 해결하였다. 특징점을 인지하여 그 위에 물체가 놓여지므로 사용자가 움직여도 물체는 특징점위에 고정되므로 실제로 물체가 그곳에 있는 듯한 느낌을 받을 수 있다.

도 1은 본 발명의 실시 예에 따른 어플리케이션 증강현실 시스템(10)을 예시적으로 보여주는 도면이다. 어플리케이션 증강현실 시스템(10)은 클라이언트 어플리케이션(100), 웹 서버(200), 및 DB(database; 300)를 포함할 수 있다.

클라이언트 어플리케이션(100)은 일반 사용자에게 인터페이스를 제공할 수 있다. 사용자는 어플리케이션(100)을 통해 전시물과 명소에 대한 정보를 보고, AR 컨텐츠를 이용하여 체험할 수 있다. 어플리케이션(100)는 전시물, 명소의 AR 모델 자료 및 설명 자료를 서버(200)와 통신하여 DB(300)로부터 제공받을 수 있다. 어플리케이션(100)은 사용자의 이용 데이터를 측정하여 서버(200)로 전송할 수 있다.

서버(200)는 어플리케이션(100)과 DB(300)를 연결하는 중간자 기능을 수행할 수 있다. 서버(200)는 어플리케이션(100)이 요구하는 DB 데이터를 보내고, 어플리케이션에게서 사용자 이용 데이터를 받아 DB(300)에 추가할 수 있다. 또한, 서버(200)는 이 데이터들을 처리하여 사용자 패턴을 추출하고, 관리자가 볼 수 있게 웹페이지에서 표 및 그래프 등으로 시각화 시킬 수 있다.

DB(300)는 어플리케이션에게 제공할 관광 장소 및 세부 항목의 AR 모델 자료 및 음성, 텍스트, 이미지 설명 데이터를 저장할 수 있다. 또한 DB(300)는 서버가 받은 사용자 이용 패턴 데이터와 처리 결과를 저장할 수 있다.

본 발명의 실시 예에 따른 어플리케이션(100)은 AR 체험 기능, 전시물 및 명소 설명 기능, 및 사용자 이용 데이터 수집 기능을 수행할 수 있다.

첫째, 어플리케이션(100)은 AR 체험 기능을 가질 수 있다. AR 모델을 사용자의 환경과 출력하는 모델에 따라 벽, 바닥 등 장소에 큰 제약 없이 출력할 수 있다. 화면에 인식한 평면을 수직방향과 수평방향으로 구분하고 수평인 평면은 위를 바라보는지 아래쪽을 바라보는지 구분하여 AR 모델을 출력한다. 실시 예에 있어서, AR 모델은 설명 판넬(벽, 생가와 같은 건물) - 바닥에 지정하여 출력한다. 실시 예에 있어서, AR 모델은 출력된 위치에 고정되어 있어 다각도에서 볼 수 있다. 실시 예에 있어서, 사용자가 모델 내부로 걸어 들어가면 모델의 내부 모습을 체험할 수 있다.

실시 예에 있어서, 사용자는 목록에서 출력할 AR 모델을 선택할 수 있다. 실시 예에 있어서, 서로 다른 모델을 한 화면에 하나씩 출력될 수 있다. 실시 예에 있어서, 사용자가 화면을 터치했을 때 선택중인 모델은 터치한 좌표에 출력될 수 있다. 실시 예에 있어서, AR 모델은 확대, 축소, 회전될 수 있다.

둘째, 어플리케이션(100)은 전시물 및 명소 설명 기능을 가질 수 있다. 실시 예에 있어서, 각 전시물은 그림과 텍스트로 설명될 수 있다. 실시 예에 있어서, 각 전시물에 해당하는 음성 설명이 제공될 수 있다. 실시 예에 있어서, 음성 설명 버튼을 터치하면 음성 설명이 출력될 수 있다. 실시 예에 있어서, 텍스트 크기 조절이 가능하다. 실시 예에 있어서, 사용자의 기호에 맞게 설명 텍스트의 크기는 조절될 수 있다. 실시 예에 있어서, 번역 기능이 포함될 수 있다. 실시 예에 있어서, 어플리케이션(100)은 외국인 사용자를 위한 번역 기능을 제공할 수 있다. 또한, 어플리케이션(100)은 전시물 검색 기능을 가질 수 있다. 실시 예에 있어서, 사용자는 입력한 전시물을 검색할 수 있다. 실시 예에 있어서, 사용자가 최근에 입력한 5개의 검색어는 검색화면에 표시될 수 있다. 실시 예에 있어서, 사용자들이 가장 많이 검색한 전시물 10개가 표시될 수 있다.

셋째, 어플리케이션(100)은 사용자 이용 데이터 수집 기능을 가질 수 있다. 실시 예에 있어서, 사용자가 어플리케이션을 처음 실행했을 때 사용자의 정보가 수집될 수 있다. 실시 예에 있어서, 사용자가 입력한 나이, 성별 정보를 서버(200)로 전송될 수 있다. 실시 예에 있어서, 사용자가 어플리케이션을 실행하면 접속 위치가 수집될 수 있다. 실시 예에 있어서, GPS 정보를 통해 수집한 사용자의 위치정보는 서버(200)에 전송될 수 있다. 실시 예에 있어서, 사용자들의 이용 시간 및 컨텐츠 조회수가 수집될 수 있다.

본 발명의 실시 예에 따른 어플리케이션은 다음과 같은 주요한 특징들을 갖는다.

먼저는 사용자의 실행 환경에 맞추어 3D AR 모델이 배치될 수 있다. ARCore를 통해 평면을 검출(Plane Detection)하면, 사용자가 원하는 3D AR 모델이 출력될 수 있다. 스마트폰 카메라로 담은 영상에서 평면을 검출하고 가까운 그림자로 광원을 인지함으로써 모델의 조도는 사용자의 실행 환경에 가깝게 설정될 수 있다. 또한 사용자는 임의로 모델의 위치를 조정할 수 있다.

다음으로, 전시물 내용 변경이 가능하다. Web Server를 구축하여 사용자들의 어플리케이션 이용 데이터는 데이터베이스에 저장될 수 있다. 관리자가 데이터베이스에 새로운 데이터를 추가하면, 어플리케이션에서 새로운 모델을 바로 다운로드 받을 수 있으므로 어플리케이션 자체를 따로 수정 및 업데이트할 필요가 없다.

마지막으로, 사용자 패턴 분석 정보가 수집될 수 있다. 서버 데이터베이스에 저장된 사용자 어플리케이션 이용 데이터가 분석될 수 있다. 분석한 데이터는 사용자들의 컨텐츠 이용 시간, 조회수 등을 포함할 수 있다. 분석한 데이터를 웹페이지에서 표 및 그래프 등으로 시각화하여 서버 관리자에게 제공될 수 있다.

본 발명의 실시 예에 따른 어플리케이션은 역사, 문화를 알리는 작품이기 때문에 본 어플리케이션을 배포하여 지역사회의 역사, 문화 교육의 효과를 가질 수 있다. 역사, 문화를 교육함으로써 지역 사회를 홍보하는 효과가 있다. 결과적으로 지역사회가 홍보되어 많은 관광객들의 유치가 지역사회의 발전을 기대할 수 있다.

도 2는 본 발명의 실시 예에 따른 어플리케이션의 화면을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 아우내 장터에 대한 로고화면, 매봉 교회를 보여주는 제 1 AR 화면, 유관순 생가의 일부를 보여주는 제 2 AR 화면, 유관순 생가의 기념비를 보여주는 설명 화면이 도시된다. 유관순 생가와 매봉 교회의 경우, 화면상의 “미니어처로 보기” 와 “큰 건물로 보기” 버튼을 선택 할 수 있다. 건물을 실외와 실내 모두 모델로 제작하였기 때문에 “큰 건물로 보기”를 선택할 경우, 사용자가 직접 걸어 들어가서 실내를 탐방할 수 있어 VR적인 면도 경험할 수 있다.

도 3은 본 발명의 실시 예에 따른 증강현실 시스템의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 3를 참조하면, 어플리케이션의 동작 방법은 다음과 같다. 어플리케이션(100)이 실행되면, ARCore를 이용하여 AR 모델이 출력될 수 있다(S110). 사용자의 선택에 의해 실행된 화면에서 원하는 전시물 내용이 변경될 수 있다(S120). 사용자의 어플리케이션 사용에 관련된 정보, 즉 사용자 패턴 분석 정보가 수집 및 저장될 수 있다(S130).

본 발명에 따른 단계들 및/또는 동작들은 기술분야의 통상의 기술자에 의해 이해될 수 있는 것과 같이, 다른 순서로, 또는 병렬적으로, 또는 다른 에포크(epoch) 등을 위해 다른 실시 예들에서 동시에 일어날 수 있다.

실시 예에 따라서는, 단계들 및/또는 동작들의 일부 또는 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/또는 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 또는 수행될 수 있다. 하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합으로 구현될 수 있다.

본 발명의 실시 예들의 하나 이상의 동작들/단계들/모듈들을 구현/수행하기 위한 하나 이상의 비-일시적 컴퓨터-판독가능 매체 및/또는 수단들은 ASICs(application-specific integrated circuits), 표준 집적 회로들, 마이크로 컨트롤러를 포함하는, 적절한 명령들을 수행하는 컨트롤러, 및/또는 임베디드 컨트롤러, FPGAs(field-programmable gate arrays), CPLDs(complex programmable logic devices), 및 그와 같은 것들을 포함할 수 있지만, 여기에 한정되지는 않는다.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.

10: 증강현실 시스템
100: 클라이언트 어플리케이션
200: 웹 서버
300: 데이터베이스

Claims (10)

1. 증강 현실을 제공하는 시스템의 동작 방법에 있어서:
   API(application programming interface) 플랫폼을 이용한 어플리케이션을 이용하여 증강 현실 모델을 출력하는 단계;
   상기 어플리케이션에서 사용자에 의해 입력된 전시물을 검색 및 표시하는 단계; 및
   사용자의 나이, 성별 정보 및 상기 어플리케이션을 실행한 접속 위치, 사용자의 이용 시간 및 콘텐츠 조회수를 서버로 전송하는 단계를 포함하는 방법.
2. 제 1 항에 있어서,
   상기 API는 ARCore인 것을 특징으로 하는 방법.
3. 제 2 항에 있어서,
   상기 증강 현실 모델을 출력하는 단계는,
   상기 ARCore를 통해 평면을 검출할 때, 3D 증강 현실 모델을 출력하는 단계를 포함하는 방법.
4. 제 3 항에 있어서,
   상기 증강 현실의 모델의 조도는 그림자의 광원을 인지함으로써 설정되는 것을 특징으로 하는 방법.
5. 제 1 항에 있어서,
   웹 서버를 통하여 상기 어플리케이션의 이용 데이터를 데이터베이스에 저장하는 단계를 더 포함하는 방법.
6. 제 5 항에 있어서,
   상기 데이터베이스에 새로운 데이터가 저장될 때, 상기 어플리케이션에서 새로운 증강 현실 모델을 다운로드 받는 단계를 더 포함하는 방법.
7. 제 5 항에 있어서,
   상기 데이터베이스에 저장된 상기 이용 데이터를 분석하는 단계를 더 포함하는 방법.
8. 제 7 항에 있어서,
   상기 분석된 데이터를 웹 페이지에서 표 혹은 그래프로 시각화하여 표시하는 단계를 더 포함하는 방법.
9. 제 1 항에 있어서,
   상기 전시물을 검색 및 표시하는 단계는,
   음성 설명 버튼을 터치하면, 상기 전시물에 대응하는 음성 설명을 제공하는 단계를 더 포함하는 방법.
10. 제 9 항에 있어서,
    상기 전시물을 검색 및 표시하는 단계는,
    사용자의 기호에 맞게 설명 텍스트의 크기를 조절하는 단계; 및
    외국인 사용자를 위한 번역 기능을 제공하는 단계를 더 포함하는 방법.

Images