KR101325757B1 - 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법 - Google Patents

가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR101325757B1
KR101325757B1 KR1020100066564A KR20100066564A KR101325757B1 KR 101325757 B1 KR101325757 B1 KR 101325757B1 KR 1020100066564 A KR1020100066564 A KR 1020100066564A KR 20100066564 A KR20100066564 A KR 20100066564A KR 101325757 B1 KR101325757 B1 KR 101325757B1
Authority
KR
South Korea
Prior art keywords
marker
related information
virtual marker
virtual
augmented reality
Prior art date
Application number
KR1020100066564A
Other languages
English (en)
Other versions
KR20120005879A (ko
Inventor
송 임
고정석
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100066564A priority Critical patent/KR101325757B1/ko
Priority to US13/014,244 priority patent/US20120008003A1/en
Priority to EP20110167204 priority patent/EP2405349A1/en
Publication of KR20120005879A publication Critical patent/KR20120005879A/ko
Application granted granted Critical
Publication of KR101325757B1 publication Critical patent/KR101325757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자가 쉽게 인식할 수 있는 마커를 생성하고, 생성된 마커를 이용하여 증강 현실을 구현하는 장치 및 방법이 제공된다. 본 발명의 일 양상에 따른 증강 현실 제공 장치는, 증강 현실을 구현하기 위하여 객체에 대응되는 관련 정보를 적어도 두 개 이상 획득하는 관련 정보 획득부, 획득된 관련 정보들을 편집하는 관련 정보 편집부, 및 편집된 관련 정보들을 기초로, 각각의 관련 정보를 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소(marker element)에 매핑함으로써, 가상 마커(virtual marker)를 생성하는 가상 마커 생성부를 포함할 수 있다.

Description

가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법{Apparatus and Method for providing augmented reality using generation of virtual marker}
증강 현실(augmented reality, AR)의 구현을 위한 증강 현실 데이터 처리 및 영상 처리 기술과 관련된다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
증강 현실 구현을 위해서 객체를 마커(marker) 또는 마커리스(markerless) 기반으로 인식함이 통상적이다. 그런데 기존의 마커(marker) 그 자체로는 어떠한 정보를 가지고 있는지 알 수가 없으며, 마커 전체를 인식해야만 전체 정보가 보여지기 때문에 특정 정보를 얻기 위한 사용자들이 자신이 원하지 않는 정보까지 모두 봐야 하는 불편함이 있다.
사용자가 쉽게 인식할 수 있는 마커를 생성하고, 생성된 마커를 이용하여 증강 현실을 구현하는 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 증강 현실 제공 장치는, 증강 현실을 구현하기 위하여 객체에 대응되는 관련 정보를 적어도 두 개 이상 획득하는 관련 정보 획득부, 획득된 관련 정보들을 편집하는 관련 정보 편집부, 및 편집된 관련 정보들을 기초로, 각각의 관련 정보를 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소(marker element)에 매핑함으로써, 가상 마커(virtual marker)를 생성하는 가상 마커 생성부를 포함할 수 있다.
본 발명의 일 양상에 따른 증강 현실 제공 방법은, 증강 현실을 구현하기 위하여 객체에 대응되는 관련 정보를 적어도 두 개 이상 획득하는 단계, 획득된 관련 정보들을 편집하는 단계, 및 편집된 관련 정보들을 기초로, 각각의 관련 정보를 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소(marker element)에 매핑함으로써, 가상 마커(virtual marker)를 생성하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 증강 현실을 구현하기 위해 얻어진 정보를 그대로 표시하는 것이 아니라 그 정보들을 적절하게 편집하고 편집된 정보들에 기초하여 가상 마커를 생성한 후, 그 가상 마커에 기초해서 표시하기 때문에, 사용자가 가상 마커를 보고 어떠한 관련 정보가 존재하는지 쉽게 예측할 수 있다. 또한 생성된 가상 마커 역시 사용자가 적절하게 편집할 수 있기 때문에 더욱 직관적인 관련 정보를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 관련 정보를 도시한다.
도 3은 본 발명의 다른 실시예에 따른 관련 정보를 도시한다.
도 4는 본 발명의 일 실시예에 따른 가상 마커를 도시한다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시한다.
도 6은 가상 마커를 표시하는 방법의 일 예를 도시한다.
도 7은 가상 마커를 편집하는 방법의 일 예를 도시한다.
도 8은 가상 마커에 기초하여 관련 정보를 표시하는 방법의 일 예를 도시한다.
도 9는 가상 마커를 편집하는 방법의 다른 예를 도시한다.
도 10은 가상 마커에 기초하여 관련 정보를 표시하는 방법의 다른 예를 도시한다.
도 11은 본 발명의 일 실시예에 다른 가상 마커를 적용한 AR book을 도시한다.
도 12는 본 발명의 일 실시예에 따른 가상 마커의 활성화를 도시한다.
도 13은 가상 마커를 편집하는 방법의 또 다른 예를 도시한다.
도 14는 가상 마커를 표시하는 방법의 다른 예를 도시한다.
도 15는 가상 마커를 저장 및 관리하는 방법의 일 예를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 도시한다.
도 1을 참조하면, 증강 현실 제공 장치(100)는 주변의 영상을 획득하고, 획득된 영상 위에 가상의 이미지 또는 가상의 정보를 합성하여 증강 현실(Augmented Reality, AR)을 제공한다.
증강 현실 제공 장치(100)는 카메라와 카메라를 통해 촬영된 영상이 표시되는 프리뷰 화면이 구비된 휴대 단말(예컨대, 스마트 폰)에 적용될 수 있다.
증강 현실 제공 장치(100)는 영상 획득부(101), 센서부(102), 객체 인식부(103), 관련 정보 획득부(104), 관련 정보 편집부(105), 가상 마커 생성부(106), 가상 마커 저장부(107), 가상 마커 전송부(108), 가상 마커 편집부(109), 디스플레이 제어부(110), 및 디스플레이부(111)를 포함할 수 있다.
영상 획득부(101)는 객체에 관한 영상을 획득한다. 예를 들어, 영상 획득부(101)는 주변을 촬영하기 위한 카메라가 될 수 있다.
센서부(102)는 주변 환경 및 휴대 단말에 관한 각종 정보를 획득한다. 예를 들어, 센서부(102)는 GPS 센서, 지자기 센서, 가속도 센서, 각속도 센서 등을 포함할 수 있다.
객체 인식부(103)는 영상 획득부(101)가 획득한 영상에서 객체를 인식한다. 객체 인식부(102)는 센서부(102)의 센싱 정보를 참조하거나, 또는 단독으로, 마커 기반(marker-based) 또는 마커리스 기반(markerless-based)으로 객체를 인식할 수 있다. 마커 기반으로 객체를 인식하는 경우, 객체 인식부(203)는 현실 세계에 존재하는 마커를 영상에서 확인하는 것이 가능하다. 마커리스 기반으로 객체를 인식하는 경우, 객체 인식부(203)는 센서부(102)의 센싱 정보(예컨대, GPS 정보)를 참조하거나 소정의 객체 인식 알고리즘을 통해 객체를 확인하는 것이 가능하다. 객체 인식부(103)의 객체 인식 방법은 그 밖에도 사용목적 및 응용예에 따라 다양하게 변경될 수 있음은 물론이다.
관련 정보 획득부(104)는 증강 현실 구현을 위해 객체 인식부(103)가 인식한 객체와 관련된 각종 정보를 획득한다. 예를 들어, 관련 정보 획득부(104)는 객체의 인식 정보를 서버(server)에 보냄으로써 관련 정보를 요청한 후 그 서버로부터 관련 정보를 수신하는 것이 가능하다. 본 실시예에 있어서, 관련 정보란 객체에 대응되며 그 객체에 대한 증강 현실을 구현하기 위해 필요한 각종 데이터가 될 수 있다. 예컨대, 객체가 어떤 서적인 경우, 관련 정보는 그 서적의 제호, 저자, 초판 인쇄일, 발행일, 출판사 등이 될 수 있고, 객체가 어떤 지역의 건물들인 경우, 관련 정보는 각 건물에 입주한 업체들의 명칭, 주소, 연락처, 개점시간/폐점시간 등이 될 수 있다.
관련 정보 편집부(105)는 관련 정보 획득부(104)에 의해 얻어진 관련 정보를 사용자가 정한 규칙에 따라 편집한다. 본 실시예에 따라 관련 정보는 여러 개가 얻어질 수 있는데, 여기서 말하는 편집이란 얻어진 관련 정보들을 어떤 기준에 따라 묶거나(그룹핑), 관련 정보들의 배열 순서를 조절하거나(재배열), 또는 관련 정보들 중 특정한 관련 정보를 삭제하는 것(필터링) 등을 의미한다.
예를 들어, 어떤 서적 위에 마커가 표시되어 있고 사용자가 그 서적을 촬영한 경우를 살펴본다. 영상 획득부(101)에 의해 서적이 촬영되면 객체 인식부(103)에 의해 서적 위의 마커가 인식된다. 그러면 관련 정보 획득부(104)는 인식된 마커를 토대로 그 서적의 관련 정보를 서버로부터 가져온다. 이 때, 관련 정보로써, 그 서적의 제호, 저자, 출판사, 초판발행일, 재판발행일, 독자평 등을 획득했다고 가정한다. 이러한 경우, 관련 정보 편집부(105)는 날짜와 관련된 초판발행일 및 재판발행일을 제 1 그룹으로 묶고 나머지는 제 2 그룹으로 묶을 수 있다. 또한, 관련 정보 편집부(105)는 사용자의 관심도를 고려해서 저자, 독자평, 출판사, 제호, 초판발행일, 재판발행일 순서로 배열되도록 편집하는 것도 가능하다. 나아가, 관련 정보 편집부(105)는 획득된 관련 정보에서 초판발행일을 제거하는 것도 가능하다.
가상 마커 생성부(106)는 관련 정보 편집부(105)에 의해 편집된 관련 정보를 토대로 가상 마커(virtual marker)를 생성한다. 가상 마커란 현실 세계에 존재하지 않는 마커가 될 수 있다. 일반적으로, 현실 세계에 존재하는 마커는 컴퓨터가 인식하기 쉬운 형태를 갖는 것에 반해, 본 실시예에 따른 가상 마커는 사용자가 인식하기 쉬운 형태를 갖도록 새롭게 생성되는 것이 가능하다.
사용자가 쉽게 인식할 수 있도록, 가상 마커 생성부(106)는 각각의 관련 정보를 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소(marker element)에 매핑함으로써, 가상 마커(virtual marker)를 생성한다. 예컨대, 위 서적의 예에 있어서, 제호, 저자, 출판사 등의 각 관련 정보를 독특한 아이콘 이미지에 매핑시켜서 가상 마커를 생성하는 것이 가능하다.
생성된 마커는, 예를 들어, 사용자가 그 서적을 촬영하는 경우, 프리뷰 화면 상에서 그 서적 위에 오버랩되서 표시되는 것이 가능하다. 따라서 기존의 마커의 경우, 그 마커가 어떤 내용을 담고 있는지 사용자가 직관적으로 알 수 없음에 반해, 본 실시예에 따른 가상 마커는 사용자가 정한 규칙에 따라 편집된 관련 정보를 토대로 새롭게 생성된 것이기 때문에 그 가상 마커가 어떤 내용을 담고 있는지 보다 직관적으로 인식할 수 있다.
본 실시예에 따라, 가상 마커 생성부(106)에 의해 생성된 가상 마커는 가상 마커 저장부(107)에 저장될 수 있다. 가상 마커 저장부(107)에 저장된 가상 마커는 로딩되어 디스플레이부(111)에 표시되거나 가상 마커 전송부(108)를 통해 다른 사용자와 공유되는 것이 가능하다. 예컨대, 가상 마커 전송부(108)는 가상 마커를 별도의 서버에 업로딩시키는 것이 가능하다.
그리고 가상 마커 편집부(109)에 의해 생성된 가상 마커 또는 저장된 가상 마커가 편집될 수도 있다. 여기서 가상 마커의 편집은 관련 정보의 편집과 마찬가지로 가상 마커를 구성하는 마커 요소들을 어떤 기준에 따라 묶거나(그룹핑), 그 배열 순서를 조절하거나(재배열), 또는 특정한 마커 요소를 삭제하는 것(필터링) 등을 의미할 수 있다. 예컨대, 사용자가 디스플레이부(111)에 표시된 가상 마커를 터치 조작하면, 가상 마커 편집부(109)는 사용자의 터치를 감지하여 가상 마커를 편집할 수 있다.
또한, 관련 정보 획득부(104)에 의해 획득된 관련 정보가 디스플레이부(111)에 표시될 때, 가상 마커 편집부(109)에 의해 편집된 가상 마커에 기초하여 관련 정보가 표시되도록, 디스플레이 제어부(110)가 디스플레이부(111)를 제어하는 것이 가능하다.
이와 같이 본 실시예에 따른 증강 현실 제공 장치(100)는 증강 현실을 구현하기 위해 얻어진 정보를 그대로 표시하는 것이 아니라 그 정보들을 적절하게 편집하고 편집된 정보들에 기초하여 가상 마커를 생성한 후, 그 가상 마커에 기초해서 표시하기 때문에, 사용자가 가상 마커를 보고 어떠한 관련 정보가 존재하는지 쉽게 예측할 수 있다. 또한 생성된 가상 마커 역시 사용자가 적절하게 편집할 수 있기 때문에 더욱 직관적인 관련 정보를 제공할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 관련 정보를 도시한다. 이것은 마커 기반으로 하나의 객체를 인식했을 경우에 관한 일 예가 될 수 있다.
도 2를 참조하면, 영상을 통해 객체 위에 존재하는 현실 세계의 마커(201)가 인식된다. 마커(201)가 인식되면 마커(201)를 갖는 객체에 대한 관련 정보(202)가 얻어진다. 예컨대, 마커(201)가 어떤 서적에 부착되어 있는 경우, 얻어진 관련 정보(202)는 책의 ①제목, ②저자, ③출판사, ④가격, ⑤발행일, 및 ⑥독자평으로 구성될 수 있다. 얻어진 관련 정보(202)는 그룹핑(210), 재배열(220), 필터링(230), 또는 이들의 조합을 통해 편집될 수 있다. 예를 들어, 그룹핑(210)을 통해 ①제목과 ②저자가 제 1 그룹으로 묶이고, ③출판사와 ④가격이 제 2 그룹으로 묶이고, ⑤발행일과 ⑥독자평이 제 3 그룹으로 묶일 수 있음을 알 수 있다. 또한, 재배열(220)을 통해 그 배열 순서가 바뀔 수도 있으며, 필터링(230)을 통해 ③출판사 및 ⑥독자평에 관한 정보가 삭제될 수도 있다.
도 3은 본 발명의 다른 실시예에 따른 관련 정보를 도시한다. 이것은 마커리스 기반으로 다수의 객체를 인식했을 경우에 관한 일 예가 될 수 있다.
도 3을 참조하면, 예컨대, 사용자가 다수의 건물이 존재하는 특정 지역(301)을 촬영한 경우, 그 건물에 입주한 업체의 명칭, 주소, 개점시간/폐점시간과 같은 정보(302)가 얻어질 수 있다. 예를 들어, "①XX병원"은 어떤 병원의 이름, 주소, 연락처, 진료 시간 등을 나타낼 수 있다. 도 2와 마찬가지로, 얻어진 관련 정보(302)는 그룹핑(310), 재배열(320), 필터링(330), 또는 이들의 조합을 통해 편집된다. 편집된 관련 정보(303)를 살펴보면, 그룹핑(210)을 통해 같은 업종 별로 관련 정보가 묶일 수 있음을 알 수 있다. 또한, 재배열(320)을 통해 그 배열 순서가 바뀔 수도 있으며, 필터링(330)을 통해 병원을 제외한 나머지 정보는 삭제될 수도 있다.
도 2 및 도 3에서 설명한 편집 방법은 설명의 편의를 위한 예에 불과함은 당업자에게 자명하다. 즉 어떠한 관련 정보를 어떻게 편집할 것인지는 사용자에 의해 미리 지정된 편집 규칙에 의존할 수 있으며, 이 편집 규칙은 사용자가 그때그때 변경하거나, 또는 사용자의 사용 형태를 주기적으로 분석해서 자동으로 업데이트 시키는 것도 가능하다.
도 4는 본 발명의 일 실시예에 따른 가상 마커를 도시한다.
도 3 및 도 4를 참조하면, 예컨대, 그룹핑(310)을 통해 편집된 관련 정보(401)를 토대로 가상 마커(402)가 생성될 수 있다. 본 실시예에 따라, 가상 마커(402)는 다수의 마커 요소(A, B, C, D)로 이루어질 수 있다. 각각의 마커 요소(A, B, C, D)는 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의될 수 있다. 그리고 그룹핑된 각각의 관련 정보는 어느 하나의 마커 요소에 대응될 수 있다. 예컨대, 병원과 관련된 제 1 그룹의 관련 정보(410)가 마커 요소 A에 매핑되고, 약국과 관련된 제 2 그룹의 관련 정보(420)가 마커 요소 B에 매핑되고, 편의점과 관련된 제 3 그룹의 관련 정보(430)가 마커 요소 C에 매핑되고, 안경점과 관련된 제 4 그룹의 관련 정보(440)가 마커 요소 D에 매핑될 수 있다.
생성된 가상 마커(402)는 저장 후 다른 사용자에 의해 공유될 수도 있고, 프리뷰 화면에 표시되는 경우 사용자가 프리뷰 화면을 터치 조작해서 이를 다시 편집하는 것도 가능하다. 예를 들어, 도 4에서, 사용자가 표시된 가상 마커(402)에서 마커 요소 A를 터치한 후 화면 밖으로 드래그 하면 마커 요소 A가 삭제되도록 하는 것이 가능하다. 또한, 사용자가 표시된 가상 마커(402)에서 마커 요소 A를 더블 터치하면 마커 요소 A에 대응되는 병원의 관련 정보만 프리뷰 화면에 표시되도록 하는 것도 가능하다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 도시한다. 이것은 도 1에 도시된 증강 현실 제공 장치에 의해 수행되는 것이 가능하다. 도 1 및 도 5를 참조하여 본 실시예에 따른 증강 현실 제공 방법을 구체적으로 설명하면 다음과 같다.
먼저, 객체에 관한 영상을 획득한다(501). 예컨대, 영상 획득부(101)가 객체에 관한 프리뷰 영상을 획득하는 것이 가능하다.
그리고 영상에서 객체를 인식한다(502). 예컨대, 객체 인식부(103)가 마커 기반 또는 마커리스 기반으로 객체를 인식할 수 있다. 필요한 경우, 센서부(102)의 센싱 정보(예컨대, GPS 정보)를 참조할 수도 있다.
객체가 인식되면, 객체에 대한 관련 정보를 적어도 2 이상 획득한다(503). 예컨대, 관련 정보 획득부(104)가 도 2 및 도 3과 같은 관련 정보(202)(302)를 획득하는 것이 가능하다.
관련 정보가 획득되면, 획득된 관련 정보를 편집한다(504). 예컨대, 관련 정보 편집부(105)가, 도 2 및 도 3과 같이, 사용자에 의해 지정된 편집 규칙에 따라 관련 정보를 그룹핑, 재배열, 또는 필터링하는 것이 가능하다.
관련 정보가 편집되면, 편집된 관련 정보를 기초로 사용자가 쉽게 인식할 수 있는 가상 마커를 생성한다(505). 예컨대, 가상 마커 생성부(106)가, 도 4와 같이, 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소에 편집된 관련 정보를 매핑해서 가상 마커를 생성하는 것이 가능하다.
가상 마커가 생성되면, 생성된 가상마커는 저장(506), 표시(507), 및 업로드(508)되는 것이 가능하다. 그 이후, 표시된 가상 마커의 편집을 사용자가 요청하는 경우(509), 표시된 가상 마커를 사용자의 요청에 따라 편집한다(510). 예컨대, 가상 마커 편집부(109)가 사용자의 요청에 따라 마커 요소를 그룹핑, 재배열, 또는 필터링하는 것이 가능하다.
그리고 생성된 가상 마커 또는 편집된 가상 마커에 기초하여 관련 정보를 표시한다(511). 예컨대, 편집에 의해 특정한 마커 요소가 삭제된 경우, 디스플레이 제어부(110)가 디스플레이부(111)를 제어함으로써, 삭제된 마커 요소에 대응되는 관련 정보가 표시되지 않도록 하는 것이 가능하다.
도 6은 가상 마커를 표시하는 방법의 일 예를 도시한다.
도 6을 참조하면, 본 실시예에 따라 객체의 관련 정보(602)에 대응되는 가상 마커(601)와 현실 세계의 마커(603)가 증강 현실 화면(604)에 표시되는 것이 가능하다. 증강 현실 화면 A(605)는 관련 정보가 화면에 표시되는 것을 나타내고, 증강 현실 화면 B(606)는 가상 마커(601)와 관련 정보(602)가 함께 표시되는 것을 나타낸다. 그리고 증강 현실 화면 C(607)(608)(609)와 같이 소정의 선택 기능을 이용하여 기존의 마커, 재배열된 마커(즉, 가상 마커), 및 증강 현실 정보가 선택적으로 표시될 수 있도록 하는 것도 가능하다.
도 7은 가상 마커를 편집하는 방법의 일 예를 도시한다.
도 7을 참조하면, 생성된 가상 마커(701)가 터치스크린에 표시되면, 사용자는 터치스크린을 조작해서 가상 마커(701)를 편집하는 것이 가능하다. 예컨대, 가상 마커(701)에서 내부의 마커 요소를 드래그하여 삭제(702)함으로써 편집된 가상 마커(703)를 생성하는 것이 가능하다. 또한, 가상 마커(701)에서 내부의 마커 요소를 드래그하면 커튼처럼 블록화(704)가 되도록 함으로써 편집된 가상 마커(704)를 생성할 수도 있다. 또한, 선택적으로, 새로운 관련 정보가 수신되면 이를 추가 마커 요소(705)에 대응시키는 것도 가능하다.
도 8은 가상 마커에 기초하여 관련 정보를 표시하는 방법의 일 예를 도시한다.
도 8을 참조하면, 표시된 가상 마커(801)를 프리뷰 화면(803) 상의 현실 세계에 오버랩시키면, 화면(803)에 가상 마커(801)에 대응되는 관련 정보(802)가 나타나게 된다. 이 때, 원하는 정보(예컨대, D.병원) 이외의 정보는 표시되지 않도록 가상 마커(801)를 편집하는 것이 가능하다. 예를 들어, 가상 마커(801)에서 병원과 관련되지 아니한 마커 요소(804)를 필터링해서 화면(803)에 병원과 관련된 정보만 표시되도록 하는 것이 가능하다.
도 9는 가상 마커를 편집하는 방법의 다른 예를 도시한다.
도 9를 참조하면, 사용자는 가상 마커(901)의 마커 요소에 소정의 우선순위를 부여하고 그 우선순위에 따라 마커 요소를 재배열함으로써 편집된 가상 마커(903)를 생성할 수 있다. 그리고 동일한 속성을 갖는 관련 정보 또는 동일한 속성을 갖는 마커 요소가 하나의 그룹을 이루도록 편집할 수도 있다. 예를 들어, 편집된 가상 마커(906)에서 동일한 속성을 갖는 마커 요소끼리 묶일 수 있으며, 그룹 간 경계는 점선으로 표시될 수 있다.
도 10은 가상 마커에 기초하여 관련 정보를 표시하는 방법의 다른 예를 도시한다.
도 10을 참조하면, 편집된 마커(1001)를 기준으로 각 마커 요소에 대응되는 관련 정보를 표시하되, 각 마커 요소에 우선순위를 부여해서 부여된 우선순위에 따라 관련 정보를 표시하는 것이 가능하다. 예를 들어, 마커 요소의 배열 순서에 따라 처음에는 병원($)과 관련된 관련 정보를 표시하고, 이후 그 다음 배열 순서인 성형외과(%)와 관련된 관련 정보를 표시하는 것이 가능하다. 이 때 병원($) 및 성형외과(%)에 대응되는 마커 요소는 도 9와 같은 편집 과정에서 동일한 속성을 갖는 그룹으로 묶일 수도 있다.
도 11은 본 발명의 일 실시예에 다른 가상 마커를 적용한 AR book을 도시한다.
도 11을 참조하면, 가상 마커(1303)는 AR Book(1301)의 실제 마커(1302)에 대응되는 것으로 실제 마커(1302)를 통해 얻어진 정보(1304)를 편집하고 편집된 정보에 기초하여 생성된다. 이러한 가상 마커(1303)가 생성되면 사용자가 AR Book(1301)을 사용할 때 가상 마커(1303)를 이용해서 AR Book의 컨텐츠를 다양하게 활용하는 것이 가능하다. 예를 들어, AR Book(1301)이 음악 재생 목록을 갖고 있는 경우 재생 목록에 기초하여 가상 마커(1302)가 생성될 수 있다. 또한, 가상 마커(1302)를 각각의 스틸컷 또는 페이지에 대응시켜서 생성해 놓으면 불필요한 부분을 스킵하거나 책갈피 기능으로 활용할 수 있다. 나아가 여러 상황의 동영상이 가상 마커(1303)에 대응되는 경우, 가상 마커(1303)를 편집함으로써 사용자가 직접 AR Book(1301)의 내용을 상황에 맞게 편집하는 것이 가능하다.
도 12는 본 발명의 일 실시예에 따른 가상 마커의 활성화를 도시한다.
도 12를 참조하면, 카메라가 구비된 휴대 단말을 통해 가상 마커(1401)를 프리뷰 화면에 로딩한 후 현실 세계의 특정 부분을 비추었을 경우, 가상 마커(1401)의 마커 요소 중 프리뷰 화면의 객체와 대응되는 마커 요소를 제외한 나머지 마커 요소는 상대적으로 색을 어둡게 하는 식으로 비활성화 표시(1404)를 하는 것이 가능하다.
도 13은 가상 마커를 편집하는 방법의 또 다른 예를 도시한다
도 13을 참조하면, 제 1 가상 마커(1501)와 제 2 가상 마커(1503)를 붙여서 하나의 새로운 가상 마커(1505)를 생성하는 것이 가능하다. 보다 많은 정보에 대한 가상 마커가 필요할 때 하나씩 추가하는 것보다 여러 개의 가상 마커를 붙여서 하나의 가상 마커로 만듬으로써 더욱 편리하게 가상 마커를 생성 및 관리할 수 있다.
도 14는 가상 마커를 표시하는 방법의 다른 예를 도시한다.
도 14를 참조하면, 현실 세계의 마커(1601)와 가상 마커(1602)가 1:1로 매칭(1603)되도록 가상 마커(1602)를 변환하는 것이 가능하다. 이러한 경우, 표시된 가상 마커(1602)를 편집하면 가상 마커(1602)의 마커 요소에 대응되는 현실 세계의 마커(1601) 역시 편집되도록 그래픽 효과를 부여할 수도 있다. 예컨대, 가상 마커(1604)의 특정 마커 요소를 필터링하면 그에 대응되는 현실 세계의 마커(1601) 표시 역시 사라지도록 가상 마커(1604)를 표시하는 것이 가능하다. 또한 매칭된 가상 마커(1606)에서 현실 세계의 마커(1601) 무늬의 특정 부분을 포인팅하면 그에 대응되는 가상 마커(1606)의 마커 요소가 나타나도록 할 수도 있다.
도 15는 가상 마커를 저장 및 관리하는 방법의 일 예를 도시한다.
도 15를 참조하면, 카메라가 적용 된 전자기기(1701)로 객체(1702)를 인식하여 사용자가 미리 지정한 방식 및 규칙에 대응하여 가상 마커를 생성한다(1704). 이 과정에서 GPS(1703)를 이용하여 위치를 가상 마커(1704)와 함께 저장하여 가상 마커(1704)에 위치정보(1705)가 함께 포함되도록 하는 것이 가능하다. 따라서 사용자가 그 위치에 와서 가상 마커들을 검색하게 되면, 자동으로 그 위치에서 생성 된 가상 마커(즉, 1704)가 검색되어 나타나는 것이 가능하다. 또한, 사용자 인증이 이루어진 사용자에 대해서는 이동통신사를 통해 사용자 정보를 받아 성별, 나이, 선호도 등에 따라 그 위치에 맞는 가상 마커를 자동으로 추천해서 제공해 줄 수도 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (17)

  1. 증강 현실을 구현하기 위하여 객체에 대응되는 관련 정보를 획득하는 관련 정보 획득부;
    획득된 관련 정보들을 편집하는 관련 정보 편집부;
    편집된 관련 정보들을 기초로, 각각의 관련 정보를 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소(marker element)에 매핑함으로써, 가상 마커(virtual marker)를 생성하는 가상 마커 생성부; 및
    상기 생성된 가상 마커를 저장하는 가상 마커 저장부; 를 포함하는 증강 현실 제공 장치.
  2. 제 1 항에 있어서, 상기 관련 정보 편집부는
    사용자에 의해 미리 지정된 규칙에 따라, 상기 획득된 관련 정보를 그룹핑하거나, 상기 획득된 관련 정보의 배열 순서를 조절하거나, 또는 상기 획득된 관련 정보 중 일부를 제거하는 증강 현실 제공 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 생성된 가상 마커를 다른 사용자가 사용할 수 있도록 이를 외부 서버에 업로드하는 가상 마커 전송부; 를 더 포함하는 증강 현실 제공 장치.
  5. 제 1 항에 있어서,
    상기 생성된 가상 마커를 편집하는 가상 마커 편집부; 를 더 포함하는 증강 현실 제공 장치.
  6. 제 5 항에 있어서, 상기 가상 마커 편집부는
    상기 가상 마커를 구성하는 마커 요소들을 그룹핑하거나, 상기 마커 요소들의 배열 순서를 조절하거나, 또는 상기 마커 요소 들 중 일부를 제거하는 증강 현실 제공 장치.
  7. 제 5 항에 있어서,
    상기 생성된 가상 마커 또는 상기 편집된 가상 마커, 및 상기 관련 정보들을 표시하는 디스플레이부; 및
    상기 편집된 가상 마커에 기초하여 상기 관련 정보들이 표시되도록 상기 디스플레이를 제어하는 디스플레이 제어부; 를 더 포함하는 증강 현실 제공 장치.
  8. 증강 현실을 구현하기 위하여 객체에 대응되는 관련 정보를 적어도 두 개 이상 획득하는 단계;
    획득된 관련 정보들을 편집하는 단계; 및
    편집된 관련 정보들을 기초로, 각각의 관련 정보를 소정의 숫자, 기호, 아이콘, 색상 또는 이들의 조합으로 정의되는 마커 요소(marker element)에 매핑함으로써, 가상 마커(virtual marker)를 생성하는 단계; 를 포함하며,
    상기 관련 정보들을 편집하는 단계는 사용자에 의해 미리 지정된 규칙에 따라, 상기 획득된 관련 정보를 그룹핑하는 과정 및 사용자에 의해 미리 지정된 규칙에 따라, 상기 획득된 관련 정보의 배열 순서를 조절하는 과정 중에서 적어도 어느 하나의 과정을 포함하는 증강 현실 제공 방법.
  9. 삭제
  10. 삭제
  11. 제 8 항에 있어서, 상기 관련 정보들을 편집하는 단계는
    사용자에 의해 미리 지정된 규칙에 따라, 상기 관련 정보들의 배열 순서를 조절하는 과정을 포함하는 증강 현실 제공 방법.
  12. 제 8 항에 있어서,
    상기 생성된 가상 마커를 다른 사용자가 사용할 수 있도록 이를 외부 서버에 업로드 하는 단계; 를 더 포함하는 증강 현실 제공 방법.
  13. 제 8 항에 있어서,
    상기 생성된 가상 마커를 편집하는 단계; 를 더 포함하는 증강 현실 제공 방법.
  14. 제 13 항에 있어서, 상기 가상 마커를 편집하는 단계는
    상기 가상 마커를 구성하는 마커 요소들을 그룹핑하는 과정을 포함하는 증강 현실 제공 방법.
  15. 제 13 항에 있어서, 상기 가상 마커를 편집하는 단계는
    상기 가상 마커를 구성하는 마커 요소들의 배열 순서를 조절하는 과정을 포함하는 증강 현실 제공 방법.
  16. 제 13 항에 있어서, 상기 가상 마커를 편집하는 단계는
    상기 가상 마커를 구성하는 마커 요소들 중 일부를 제거하는 과정을 포함하는 증강 현실 제공 방법.
  17. 제 13 항에 있어서,
    상기 편집된 가상 마커에 기초하여 상기 관련 정보들을 표시하는 단계; 를 더 포함하는 증강 현실 제공 방법.
KR1020100066564A 2010-07-09 2010-07-09 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법 KR101325757B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100066564A KR101325757B1 (ko) 2010-07-09 2010-07-09 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
US13/014,244 US20120008003A1 (en) 2010-07-09 2011-01-26 Apparatus and method for providing augmented reality through generation of a virtual marker
EP20110167204 EP2405349A1 (en) 2010-07-09 2011-05-24 Apparatus and method for providing augmented reality through generation of a virtual marker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100066564A KR101325757B1 (ko) 2010-07-09 2010-07-09 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120005879A KR20120005879A (ko) 2012-01-17
KR101325757B1 true KR101325757B1 (ko) 2013-11-08

Family

ID=44117900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100066564A KR101325757B1 (ko) 2010-07-09 2010-07-09 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법

Country Status (3)

Country Link
US (1) US20120008003A1 (ko)
EP (1) EP2405349A1 (ko)
KR (1) KR101325757B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2978260A1 (fr) * 2011-07-20 2013-01-25 Alcatel Lucent Procede et dispositif de realite augmentee
US9583032B2 (en) * 2012-06-05 2017-02-28 Microsoft Technology Licensing, Llc Navigating content using a physical object
KR102009928B1 (ko) * 2012-08-20 2019-08-12 삼성전자 주식회사 협업 구현 방법 및 장치
KR101439733B1 (ko) * 2013-01-22 2014-09-12 한국항공우주연구원 마크 및 마크리스를 혼합한 3차원 지도 생성 장치 및 방법
US9240075B2 (en) 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
US9761053B2 (en) * 2013-08-21 2017-09-12 Nantmobile, Llc Chroma key content management systems and methods
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
JP5812550B1 (ja) * 2014-10-10 2015-11-17 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム
US10296359B2 (en) 2015-02-25 2019-05-21 Bae Systems Plc Interactive system control apparatus and method
EP3062221A1 (en) * 2015-02-25 2016-08-31 BAE Systems PLC Interactive system control apparatus and method
US10210661B2 (en) 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
KR20180042589A (ko) * 2016-10-18 2018-04-26 디에스글로벌 (주) 사용자 편집 이미지를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
KR102020352B1 (ko) * 2018-01-19 2019-09-11 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
KR20200101235A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 증강 현실 컨텐츠 제공 방법 및 이를 위한 전자 장치
WO2020218646A1 (ko) * 2019-04-25 2020-10-29 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
US11182965B2 (en) 2019-05-01 2021-11-23 At&T Intellectual Property I, L.P. Extended reality markers for enhancing social engagement
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11575837B2 (en) * 2020-04-27 2023-02-07 Canon Kabushiki Kaisha Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
CN111652986B (zh) * 2020-06-11 2024-03-05 浙江商汤科技开发有限公司 舞台效果呈现方法、装置、电子设备及存储介质
KR102528353B1 (ko) 2020-11-23 2023-05-03 부산대학교 산학협력단 가상마커를 이용한 확장 된 3d 데이터 기반의 공간기저벡터 정밀도 보정 장치 및 이를 이용한 공간기저벡터 정밀도 보정 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087545A (ko) * 2008-02-13 2009-08-18 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009505268A (ja) * 2005-08-15 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ エンドユーザプログラミングのための拡張現実感眼鏡のためのシステム、装置及び方法
US20100212089A1 (en) 2007-10-02 2010-08-26 Ryuji Kajiwara Air mattress controller
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087545A (ko) * 2008-02-13 2009-08-18 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
KR20120005879A (ko) 2012-01-17
US20120008003A1 (en) 2012-01-12
EP2405349A1 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
KR101325757B1 (ko) 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
US8910076B2 (en) Social media platform
CN112230909B (zh) 小程序的数据绑定方法、装置、设备及存储介质
JP5158007B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US10503820B2 (en) Map notes
US20140059463A1 (en) Electronic device and method for file arrangement
KR20160086090A (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
WO2014066858A1 (en) Providing images with zoomspots
CN106575300A (zh) 用于识别文档中的对象的基于图像的搜索
KR20080042109A (ko) 사진 맨틀 뷰 및 애니메이션
US10824638B2 (en) Enhancing object representations using inferred user intents
CN110402426A (zh) 图像处理装置、方法及程序
US20150095784A1 (en) Display control apparatus, display control system, a method of controlling display, and program
KR101747299B1 (ko) 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
Grubert et al. Exploring the design of hybrid interfaces for augmented posters in public spaces
JP2007109221A (ja) パーツ管理システム、パーツ管理方法、プログラムおよび記録媒体
KR101397562B1 (ko) 사용자 주석 처리 장치 및 그를 위한 전자책 서비스 시스템 및 방법
US20080086324A1 (en) Parts managing system, parts managing method, and computer program product
US20160299901A1 (en) Browsing Large Geocoded Datasets Using Nested Shapes
EP2947583B1 (en) Method and device for reproducing content
KR20170120299A (ko) 립모션을 이용한 실감형 콘텐츠 서비스 시스템
JP5556758B2 (ja) 情報表示装置、情報表示方法およびプログラム
KR20180071492A (ko) 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템
JP5510529B2 (ja) 情報処理装置、記憶媒体、情報処理システム、および情報処理方法、並びにプログラム
JP2014197256A (ja) 編集装置、編集方法、及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100709

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20111128

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100709

Comment text: Patent Application

PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130409

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131022

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131030

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131030

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161004

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180329

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190327

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20191002

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200907

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210906

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220907

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230905

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20240905

Start annual number: 12

End annual number: 12