KR20160075359A - 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말 - Google Patents

자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말 Download PDF

Info

Publication number
KR20160075359A
KR20160075359A KR1020150181236A KR20150181236A KR20160075359A KR 20160075359 A KR20160075359 A KR 20160075359A KR 1020150181236 A KR1020150181236 A KR 1020150181236A KR 20150181236 A KR20150181236 A KR 20150181236A KR 20160075359 A KR20160075359 A KR 20160075359A
Authority
KR
South Korea
Prior art keywords
user terminal
content
virtual object
image
peripheral
Prior art date
Application number
KR1020150181236A
Other languages
English (en)
Other versions
KR101740827B1 (ko
Inventor
고재용
Original Assignee
주식회사 와이드벤티지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이드벤티지 filed Critical 주식회사 와이드벤티지
Priority to US15/535,240 priority Critical patent/US20170352189A1/en
Priority to PCT/KR2015/013922 priority patent/WO2016099189A1/ko
Publication of KR20160075359A publication Critical patent/KR20160075359A/ko
Application granted granted Critical
Publication of KR101740827B1 publication Critical patent/KR101740827B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10237—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the reader and the record carrier being capable of selectively switching between reader and record carrier appearance, e.g. in near field communication [NFC] devices where the NFC device may function as an RFID reader or as an RFID tag
    • G06T7/004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • H04M1/72522—
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

컨텐츠 표시 방법 및 이를 수행하는 사용자 단말이 개시된다. 개시된 컨텐츠 표시 방법은 사용자 단말의 주변 영역에 포함된 컨텐츠를 식별하고, 컨텐츠에 대한 사용자 단말의 위치를 결정하며, 컨텐츠 및 사용자 단말의 위치에 기초하여 가상 오브젝트를 사용자 단말에 의해 가려진 사각 영역에 대응하는 사각 이미지에 증강하여 출력한다.

Description

자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말{METHOD FOR DISPLAYING CONTENT WITH MAGNET AND USER TERMINAL FOR PERFORMING THE SAME}
아래의 설명은 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말에 관한 것이다.
증강현실이란 현실 환경에 컴퓨터 그래픽 등의 영상을 삽입하여 실제 영상과 가상 오브젝트가 포함된 가상 영상을 혼합한 것을 의미하며, 증강현실 기술은 실제 세계와 가상 세계를 결합함으로써 사용자가 실시간으로 가상 오브젝트와 상호작용할 수 있는 기술을 의미한다.
이러한 종래의 증강 현실은 상당한 거리로 이격된 실제 물체의 이미지를 촬영하고, 촬영된 이미지에 가상 오브젝트를 증강함으로써 증강 현실을 구현하게 된다. 이 때, 실제 물체가 책 등과 같은 작은 경우뿐만 아니라, 식탁, 의자 등의 부피가 큰 경우에는 보다 멀리 물체와 이격되어야 하며, 증강 현실을 표시하는 장치를 계속 들고 있어야 하는 불편함이 있다.
관련 선행기술로, 광학 기반 증강현실을 개시하는 한국 특허출원번호 10-2010-0026720호(발명의 명칭: 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치)가 있다.
본 발명은 사용자 단말이 컨텐츠를 포함하는 컨텐츠 북에 직접적으로 접촉하거나 근접하게 배치된 상태에서 가상 오브젝트를 증강하여 출력함으로써, 컨텐츠와 사용자 단말에 표시되는 가상 오브젝트 간의 이질감을 최소화하는 방법 및 장치를 제공할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법은 사용자 단말의 주변 영역에 포함된 컨텐츠를 식별하는 단계; 상기 컨텐츠에 대한 상기 사용자 단말의 위치를 결정하는 단계; 및 상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 가상 오브젝트를 상기 사용자 단말에 의해 가려진 사각 영역(blind region)에 대응하는 사각 이미지(blind image)에 증강하여 출력하는 단계를 포함한다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말은, 상기 주변 영역에 접촉되도록 배치될 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법은 상기 사용자 단말의 주변 영역에 대응하는 주변 이미지를 획득하는 단계를 더 포함하고, 상기 사용자 단말의 위치를 결정하는 단계는, 상기 주변 이미지로부터 상기 컨텐츠에 대한 상기 사용자 단말의 위치를 결정할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 주변 이미지를 획득하는 단계는, 상기 사용자 단말에 내장된 전면 방향의 카메라와 상기 주변 이미지를 상기 전면 방향의 카메라로 반사시키는 거울을 이용하여, 상기 주변 이미지를 획득할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말은, 상기 사용자 단말에 장착된 지지대를 통해, 상기 주변 영역과 미리 결정된 거리로 이격되고, 상기 주변 이미지를 획득하는 단계는, 상기 사용자 단말에 내장된 후면 방향의 카메라를 이용하여 상기 주변 이미지를 획득할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 주변 이미지를 획득하는 단계는, 상기 사용자 단말에 내장된 통신부를 통해 상기 사용자 단말의 주변 영역이 포함된 주변 이미지를 수신할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말의 위치를 결정하는 단계는, 상기 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴(dot pattern), 비주얼 마커, 기준 오브젝트 중 적어도 하나를 식별함으로써, 상기 사용자 단말의 위치를 결정할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말의 위치를 결정하는 단계는, 상기 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 메모리에 저장된 정보와 비교함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말의 위치를 결정하는 단계는, 상기 컨텐츠에 대한 상기 사용자 단말의 배치 각도 및 배치 방향 중 적어도 하나를 더 결정하고, 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는, 상기 사용자 단말의 배치 각도 및 배치 방향 중 적어도 하나를 더 고려하여 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말의 위치를 결정하는 단계는, 상기 사용자 단말 주변의 자기장 발생부로부터 수신한 자기장 신호를 이용하여 상기 사용자 단말의 위치를 결정하거나, 또는 상기 사용자 단말 주변의 외부 스피커로부터 수신한 음향 신호를 이용하여 상기 사용자 단말의 위치를 결정할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 사용자 단말의 위치를 결정하는 단계는, 상기 사용자 단말의 위치를 결정하기 위한 음향 신호를 생성하여 상기 사용자 단말 주변에 위치하는 외부기기로 전송하고, 상기 외부기기에 수신된 상기 음향 신호를 이용하여 상기 사용자 단말의 위치를 결정할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는, 상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 상기 가상 오브젝트 및 상기 가상 오브젝트의 움직임을 결정하고, 상기 결정된 움직임에 따라 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는, 상기 사용자 단말의 위치에 대한 변화를 고려하여 상기 컨텐츠에 기초한 가상 오브젝트를 상기 사각 이미지에 증강하여 출력할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는, 사용자로부터 입력되는 사용자 입력 신호에 기초하여 상기 가상 오브젝트의 위치, 형상, 움직임 중 적어도 하나를 제어하고, 상기 제어된 가상 오브젝트를 증강하여 출력할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 컨텐츠를 식별하는 단계는, 상기 사용자 단말의 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커 및 기준 오브젝트를 식별함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 컨텐츠를 식별하는 단계는, 상기 사용자 단말의 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커 및 기준 오브젝트를 메모리에 저장된 정보와 비교함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 컨텐츠를 식별하는 단계는, 상기 컨텐츠에 대한 식별 정보를 통신부를 통해 수신함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
본 발명의 일실시예에 따른 컨텐츠 표시 방법에서 상기 컨텐츠를 식별하는 단계는, 사용자로부터 입력된 신호를 통해 상기 컨텐츠를 식별하거나 또는 상기 사용자 단말 주변의 NFC 칩 또는 RF 칩으로부터 수신된 상기 컨텐츠에 대한 식별 정보에 기초하여 상기 컨텐츠를 식별할 수 있다.
본 발명의 일실시예에 따른 사용자 단말은 가상 오브젝트에 대한 증강을 제어하는 프로세서; 및 상기 증강된 가상 오브젝트를 표시하는 디스플레이를 포함하고, 상기 프로세서는, 사용자 단말의 주변 영역에 포함된 컨텐츠를 식별하고, 상기 컨텐츠에 대한 상기 사용자 단말의 위치를 결정하며, 상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 가상 오브젝트를 상기 사용자 단말에 의해 가려진 사각 영역에 대응하는 사각 이미지에 증강하여 출력한다.
본 발명의 일실시예에 따르면, 사용자 단말이 컨텐츠를 포함하는 컨텐츠 북에 직접적으로 접촉하거나 근접하게 배치된 상태에서 가상 오브젝트를 증강하여 출력함으로써, 컨텐츠와 사용자 단말에 표시되는 가상 오브젝트 간의 이질감을 최소화할 수 있다.
도 1은 일실시예에 따른 사용자 단말의 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 사용자 단말의 주변 영역 및 사각 영역을 설명하기 위한 도면이다.
도 3 내지 도 6은 일실시예에 따라 사용자 단말의 주변 영역에 대응하는 주변 이미지를 획득하는 일례를 설명하기 위한 도면이다.
도 7 및 도 8은 일실시예에 따라 기준 오브젝트를 이용하는 사용자 단말의 동작을 설명하기 위한 도면이다.
도 9는 일실시예에 따라 자기장 발생부 또는 외부 스피커를 이용하여 사용자 단말의 위치를 결정하는 일례를 설명하기 위한 도면이다.
도 10은 일실시예에 따른 사용자 단말을 나타낸 도면이다.
도 11은 일실시예에 따른 컨텐츠 표시 방법을 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 증강 현실(augmented reality)을 구현하는 데 사용될 수 있다. 실시예들은 스마트 폰, 스마트 패드, 웨어러블 장치, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩톱 컴퓨터, 스마트 가전 기기 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 스마트 패드, 웨어러블 장치 등에서 증강 현실을 구현하는데 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 사용자 단말의 동작을 설명하기 위한 도면이다.
도 1을 참고하면, 사용자 단말(110)에서 증강 현실이 구현될 수 있다.
사용자 단말(110)은 증강 현실을 구현할 수 있는 장치로서, 예를 들어, 스마트 폰, 스마트 패드, 웨어러블 장치, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩톱 컴퓨터, 스마트 가전 기기 등 다양한 컴퓨팅 장치 및/또는 시스템에 탑재될 수 있다.
사용자 단말(110)은 컨텐츠(130)가 포함된 컨텐츠 북(120) 상에 위치하고 컨텐츠(130) 일부에 대한 이미지에 가상 오브젝트를 증강하여 출력할 수 있다. 사용자 단말(110)이 컨텐츠 북(120)에 직접적으로 접촉하거나 근접하게 배치된 상태에서 가상 오브젝트를 증강하여 출력함으로써, 컨텐츠(130)와 사용자 단말(110)에 표시되는 가상 오브젝트 간의 이질감을 최소화할 수 있다.
일례로, 도 1에 도시된 바와 같이, 컨텐츠 북(120)에 사람 형상의 컨텐츠(130)가 프린팅되어 있는 경우, 사용자 단말(110)은 사용자 단말(110)의 위치에 대응하는 컨텐츠(130) 일부에 대한 이미지에 가상 오브젝트를 증강하여 출력할 수 있다. 이 때, 사용자 단말(110)은 사용자 단말(110)의 위치뿐만 아니라 사용자 단말(110)의 배치 각도 및 배치 방향 중 적어도 하나를 더 고려하여, 가상 오브젝트를 증가하여 출력할 수 있다. 배치 각도는 컨텐츠 북(120)과 사용자 단말(110) 간에 형성된 각도 차이를 나타낼 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(110)이 컨텐츠 북(120) 상에 놓여져 있는 경우, 사용자 단말(110)의 배치 각도는 0도일 수 있다. 배치 방향은 컨텐츠 북(120)에서 사용자 단말(110)이 놓여져 있는 방향을 의미할 수 있다.
증강된 가상 오브젝트는 사용자 입력에 따라 제어될 수 있으며, 예를 들어, 사람의 머리에 대한 추가적인 정보(예컨대, 머리 근육, 머리 뼈 등)가 가상 오브젝트로 증강되어 표시될 수 있다. 또는, 사용자 입력에 대응하여 미리 결정된 움직임을 나타내는 가상 오브젝트가 증강되어 표시될 수도 있다.
사용자 단말(110)의 크기가 컨텐츠(130)보다 작은 경우, 사용자 단말(110)은 컨텐츠에 대한 사용자 단말(110)의 위치를 판단함으로써, 컨텐츠(130)에 대한 전체 이미지에서 가상 오브젝트가 증강될 대상이 되는 일부 이미지를 결정할 수 있다. 또는, 사용자 단말(110)은 컨텐츠에 대한 사용자 단말(110)의 배치 각도 및 배치 방향 중 적어도 하나를 더 고려하여, 가상 오브젝트가 증강될 대상이 되는 일부 이미지를 결정할 수도 있다.
도 1에 도시된 컨텐츠 북(120)에 프린팅된 컨텐츠(130) 및 사용자 단말(110)에 표시된 가상 오브젝트는 설명의 편의를 위한 것으로, 컨텐츠(130) 및 이에 대응하는 가상 오브젝트가 이에 제한되지 않으며, 다양한 컨텐츠(130) 및 이에 대응하는 가상 오브젝트가 적용될 수 있다. 또한, 컨텐츠 북(120)은 컨텐츠(130)을 포함하는 매체를 의미하는 것으로, 컨텐츠(130)를 포함할 수 있는 다양한 매체(예컨대, AP 카드(augmented reality card) 등)라면 컨텐츠 북(120)에 대한 설명이 동일하게 적용될 수 있다.
구체적인 사용자 단말(110)의 동작을 살펴보면, 사용자 단말(110)은 주변 영역에 포함된 컨텐츠(130)를 식별하고, 컨텐츠(130)에 대한 사용자 단말(110)의 위치를 결정하고, 컨텐츠(130) 및 사용자 단말(110)의 위치에 기초하여 가상 오브젝트를 사용자 단말(110)의 디스플레이에 출력할 수 있다. 이 때, 가상 오브젝트는 사용자 단말(110)에 의해 가려진 사각 영역(blind region)에 대응하는 컨텐츠의 이미지에 증강되어 출력될 수 있다. 이하, 설명의 편의를 위해, 사용자 단말(110)에 의해 가려진 사각 영역에 대응하는 컨텐츠의 이미지를 사각 이미지(blind image)라 지칭한다.
도 2는 일실시예에 따른 사용자 단말의 주변 영역 및 사각 영역을 설명하기 위한 도면이다.
도 2를 참고하면, 사용자 단말(200)을 중심으로 주변 영역 및 사각 영역(220)이 결정될 수 있다.
주변 영역은 사용자 단말(200)의 위치, 배치 각도 및 배치 방향 중 적어도 하나를 유추할 수 있는 주변 환경에 대한 영역으로서, 사용자 단말(200)의 위치, 배치 각도 및 배치 방향 중 적어도 하나를 유추할 수 있는 영역이면 제한 없이 해당될 수 있다. 예를 들어, 주변 영역은 사용자 단말(200)을 포함하는 넓은 범위의 영역(210-1)으로 결정될 수 있다. 또는, 주변 영역은 사용자 단말(200)에 근접하는 일부 영역(210-2)으로도 결정될 수 있다. 사용자 단말(220)은 주변 영역에 대응하는 주변 이미지를 통해 컨텐츠에 대한 사용자 단말(200)의 위치를 결정할 수 있다.
사각 영역(220)은 컨텐츠가 프린팅된 영역 중에서 사용자 단말(200)에 의해 가려지는 영역으로 사용자 단말(200)의 위치에 기초하여 결정될 수 있다. 또는, 사각 영역(220)은 사용자 단말(200)의 배치 각도 및 배치 방향 중 적어도 하나를 더 고려하여 결정될 수도 있다. 사용자 단말(200)은 사각 영역(220)에 대응하는 사각 이미지에 가상 오브젝트를 증강하고 사각 영역(220)에 대응하는 사각 이미지 및 가상 오브젝트를 디스플레이에 표시할 수 있다. 이를 통해, 사용자는 사용자 단말(200)에 의해 가려지는 영역 없이 프린팅된 컨텐츠와 증강된 가상 오브젝트를 제공 받을 수 있다.
도 3 내지 도 6은 일실시예에 따라 사용자 단말의 주변 영역에 대응하는 주변 이미지를 획득하는 일례를 설명하기 위한 도면이다.
도 3을 참고하면, 사용자 단말(310)은 전면 방향의 카메라(311)와 거울(320)을 이용하여 주변 영역(330)에 대응하는 주변 이미지를 획득할 수 있다.
사용자 단말(310)은 디스플레이가 위치하는 동일한 면에 전면 방향의 카메라(311)를 포함할 수 있다. 전면 방향의 카메라(311)는 거울(320)을 이용하여 사용자 단말(310)의 주변 영역(330)에 대응하는 주변 이미지를 촬영할 수 있다.
거울(320)은 사용자 단말(310)에 장착되어 주변 영역(330)에 대응하는 주변 이미지를 전면 방향의 카메라(311)로 반사시키는 장치로서, 주변 영역(330)에 대응하는 주변 이미지를 사용자 단말(310) 방향으로 반사시키는 제1 서브 거울과 제1 서브 거울에 의해 반사된 주변 이미지를 전면 방향의 카메라(311)로 반사시키는 제2 서브 거울을 포함할 수 있다.
또한, 제2 서브 거울에 의해 반사된 주변 이미지를 전면 방향의 카메라(311)로 집중시키기 위한 볼록 렌즈가 추가적으로 설치될 수도 있다.
도 3에서는 거울(320)이 사용자 단말(310)에 장착되는 구체적인 구조물이 도시되어 있지는 않으나, 이러한 구조물의 구조나 재질 등은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 용이하게 선택 및 결정이 가능하므로, 보다 자세한 설명은 생략한다.
도 4를 참고하면, 사용자 단말(410)은 전면 방향의 카메라(411)와 거울(420)을 이용하여 기준 오브젝트(440)를 포함하는 주변 영역(430)에 대응하는 주변 이미지를 획득할 수 있다.
도 4에 도시된 주변 영역(430)에는 사용자 단말(410)의 위치, 배치 각도 및 배치 방향 중 적어도 하나를 결정하는데 레퍼런스가 될 수 있는 기준 오브젝트(440)가 포함되어 있다. 사용자 단말(410)은 미리 인지하고 있는 기준 오브젝트(440)에 대한 위치 정보를 이용하여 주변 이미지에 포함된 기준 오브젝트(440)를 분석함으로써 사용자 단말(410)의 위치, 배치 각도 및 배치 방향을 결정할 수 있다.
이 때, 거울(420)은 사용자 단말(410)에 장착되어 주변 영역(430)에 대응하는 주변 이미지를 전면 방향의 카메라(411)로 반사시킬 수 있다.
또한, 거울(320)로부터 반사된 주변 이미지를 전면 방향의 카메라(411)로 집중시키기 위한 볼록 렌즈가 추가적으로 설치될 수도 있다.
도 4에서는 거울(420)이 사용자 단말(410)에 장착되는 구체적인 구조물이 도시되어 있지는 않으나, 이러한 구조물의 구조나 재질 등은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 용이하게 선택 및 결정이 가능하므로, 보다 자세한 설명은 생략한다.
도 5를 참고하면, 사용자 단말(510)은 전면 방향의 카메라(511)와 거울(520)을 이용하여 주변 영역(530)에 대응하는 주변 이미지를 획득할 수 있다.
거울(520)은 사용자 단말(510)에 장착되거나 또는 사용자 단말(510)의 외부에 위치하여 주변 영역(530)에 대응하는 주변 이미지를 전면 방향의 카메라(511)로 반사시킬 수 있다. 예를 들어, 거울(520)은 사용자 단말(510)을 포함하는 주변 영역(530)에 대응하는 주변 이미지를 반사시키는 볼록 거울일 수 있다.
또한, 거울(520)로부터 반사된 주변 이미지를 전면 방향의 카메라(511)로 집중시키기 위한 볼록 렌즈가 추가적으로 설치될 수도 있다.
도 5에서는 거울(520)이 사용자 단말(510)에 장착되는 구체적인 구조물 또는 거울(520)이 사용자 단말(510)의 외부에 위치할 수 있는 구조물이 도시되어 있지는 않으나, 이러한 구조물의 구조나 재질 등은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 용이하게 선택 및 결정이 가능하므로, 보다 자세한 설명은 생략한다.
도 6을 참고하면, 사용자 단말(610)은 후면 방향의 카메라(611)를 이용하여 주변 영역(620)에 대응하는 주변 이미지를 획득할 수 있다.
사용자 단말(610)은 디스플레이가 위치하지 않는 면에 후면 방향의 카메라(611)를 포함할 수 있다. 사용자 단말(610)은 주변 영역(620)으로부터 미리 결정된 거리 d만큼 이격된 상태에서 후면 방향의 카메라(611)을 이용하여 주변 영역(620)에 대응하는 주변 이미지를 획득할 수 있다.
이 때, 사용자 단말(610)은 사용자 단말(610)에 장착된 지지대를 통해 주변 영역(620)으로부터 미리 결정된 거리 d만큼 이격될 수 있다. 지지대는 주변 영역(620)과 동일한 면에 배치되어 사용자 단말(610)을 지지하는 구조물로서, 사용자가 별도로 사용자 단말(610)을 들고 있지 않더라도 사용자 단말(610)이 미리 결정된 거리 d만큼 주변 영역(620)으로부터 이격되도록 사용자 단말(610)을 지지할 수 있다.
도 6에서는 사용자 단말(610)을 주변 영역(620)으로부터 미리 결정된 거리 d만큼 이격시키는 구체적인 지지대가 도시되어 있지는 않으나, 이러한 지지대의 구조나 재질 등은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 용이하게 선택 및 결정이 가능하므로, 보다 자세한 설명은 생략한다.
도 3 내지 도 6에서, 사용자 단말은 획득한 주변 이미지로부터 주변 영역에 포함된 컨텐츠를 식별할 수 있다. 사용자 단말은 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 식별함으로써, 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
구체적으로, 사용자 단말은 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 메모리에 저장된 정보와 비교함으로써, 주변 영역에 포함된 컨텐츠를 식별할 수 있다. 메모리에는 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나에 대한 기준 이미지 및 해당 기준 이미지에 대한 정보(예컨대, 대응하는 컨텐츠 정보 등)가 저장되어 있을 수 있다. 사용자 단말은 메모리에 저장된 정보를 이용함으로써, 주변 이미지에 포함된 컨텐츠를 식별할 수 있다.
컨텐츠 패턴은 컨텐츠를 구성하는 구체적인 패턴을 의미하는 것으로, 예를 들어, 텍스트, 기호, 도형, 그림 등을 구성하는 패턴을 포함할 수 있다.
도트 패턴은 복수의 도트들이 상이한 거리와 간격으로 배치된 패턴으로, 사용자 단말은 기 저장된 도트 패턴에 대한 정보를 이용하여 주변 이미지에 포함된 도트 패턴을 식별함으로써, 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
그리고, 사용자 단말은 주변 이미지로부터 컨텐츠에 대한 사용자 단말의 위치를 결정할 수 있다. 사용자 단말은 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 메모리에 저장된 정보와 비교함으로써, 주변 영역에 포함된 컨텐츠를 식별할 수 있다. 메모리에는 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나에 대한 기준 이미지 및 해당 기준 이미지에 대한 정보(예컨대, 대응하는 위치 정보 등)가 저장되어 있을 수 있다. 사용자 단말은 메모리에 저장된 정보를 이용함으로써, 주변 이미지로부터 사용자 단말의 위치를 식별할 수 있다. 일실시예에 따른 사용자 단말은 주변 이미지로부터 사용자 단말의 위치뿐만 아니라 사용자 단말의 배치 각도 및 배치 방향도 식별할 수 있다.
도 7 및 도 8은 일실시예에 따라 기준 오브젝트를 이용하는 사용자 단말의 동작을 설명하기 위한 도면이다.
도 7을 참고하면, 사용자 단말(710)은 기준 오브젝트(730)를 이용하여 사용자 단말(710)의 주변 영역에 대응하는 주변 이미지를 획득하거나 사용자 단말(710)의 위치를 결정할 수 있다. 앞서 전술한 바와 같이, 사용자 단말(710)은 획득한 주변 이미지를 이용하여 주변 영역에 포함된 컨텐츠를 식별하고 컨텐츠에 대한 사용자 단말(710)의 위치를 결정할 수 있다. 또는, 사용자 단말(710)은 주변 이미지를 이용하여 사용자 단말(710)의 배치 각도 및 배치 방향을 더 결정할 수 있다.
기준 오브젝트(730)는 컨텐츠 북(720)에 포함된 컨텐츠를 식별하거나 사용자 단말(710)의 위치, 배치 각도 및 배치 방향 중 적어도 하나를 결정하는데 레퍼런스가 될 수 있는 장치로서, 다양한 형태의 기준 오브젝트(730)가 적용될 수 있다.
일례로, 기준 오브젝트(730)는 사용자 단말(710)로 주변 영역에 대응하는 주변 이미지를 반사시킬 수 있다. 기준 오브젝트(730)의 하단에는 주변 영역에 대응하는 주변 이미지를 사용자 단말(710)로 반사시킬 수 있는 거울이 위치할 수 있다. 사용자 단말(710)은 내장된 전면 방향의 카메라 및 기준 오브젝트(730)에 포함된 거울을 이용하여 주변 영역에 대응하는 주변 이미지를 획득할 수 있다.
다른 일례로, 기준 오브젝트(730)는 내장된 카메라를 통해 주변 영역에 대응하는 주변 이미지를 촬영하고 주변 이미지를 사용자 단말(710)로 제공할 수 있다. 기준 오브젝트(730)는 사용자 단말(710)의 주변 영역에 대응하는 주변 이미지를 촬영할 수 있는 카메라, 촬영된 주변 이미지를 사용자 단말(710)로 전송할 수 있는 통신부 및 기준 오브젝트(730)의 동작을 제어할 수 있는 프로세서를 포함할 수 있다. 사용자 단말(710)은 주변 영역에 대응하는 주변 이미지를 통신부를 통해 기준 오브젝트(730)로부터 수신할 수 있다.
또 다른 일례로, 기준 오브젝트(730)는 사용자 단말(710)로 비주얼 마커(visual marker)를 제공할 수 있다. 기준 오브젝트(730)의 상단에 위치하는 반구 형태의 구조물에는 고유한 비주얼 마커가 포함될 수 있다. 비주얼 마커는 촬영하는 위치에 따라 서로 다른 패턴이 나타나도록 구성될 수 있다.
사용자 단말(710)은 내장된 전면 방향의 카메라를 이용하여 기준 오브젝트(730)의 비주얼 마커를 촬영할 수 있다. 사용자 단말(710)은 촬영된 기준 오브젝트(730)의 비주얼 마커를 기 저장된 비주얼 마커 정보와 비교함으로써, 현재 사용자 단말(710)의 위치를 결정할 수 있다. 나아가, 사용자 단말(710)은 비주얼 마커를 이용하여, 사용자 단말(710)의 위치뿐만 아니라 사용자 단말(710)의 배치 각도 및 배치 방향도 결정할 수 있다.
이 때, 사용자 단말(710)은 사용자로부터 입력된 신호를 통해 컨텐츠 북(720)에 포함된 컨텐츠를 식별하거나 또는 사용자 단말(710)에 내장된 통신부를 통해 컨텐츠 북(720)의 NFC 칩, RF 칩 등으로부터 컨텐츠에 대한 식별 정보를 수신함으로써, 주변 영역에 포함된 컨텐츠를 식별할 수 있다.
도 8을 참고하면, 사용자 단말(810)은 팝업북(pop-up book) 형태로 제작된 컨텐츠 북(820)의 기준 오브젝트(830)를 이용하여 컨텐츠 북(820)에 포함된 컨텐츠를 식별할 수 있다.
컨텐츠 북(820)은 페이지마다 고유의 기준 오브젝트(830)를 포함하는 팝업북 형태로 제작될 수 있다. 기준 오브젝트(830)는 해당 기준 오브젝트(830)가 포함된 페이지가 펼쳐지기 전까지는 컨텐츠 북(820) 밖으로 도출되지 않고 페이지 속에 포함되어 있을 수 있다. 해당 기준 오브젝트(830)가 포함된 페이지가 펼쳐지는 경우, 기준 오브젝트(830)는 입체적인 형태로 해당 페이지에서 돌출될 수 있다.
사용자 단말(810)은 내장된 전면 방향의 카메라를 이용하여 기준 오브젝트(830)를 촬영함으로써, 기준 오브젝트(830)가 포함된 주변 영역에 대응하는 주변 이미지를 획득할 수 있다.
사용자 단말(810)은 주변 이미지에 포함된 기준 오브젝트(830)를 식별함으로써, 컨텐츠 북(820)의 페이지들 중에서 현재 펼쳐진 페이지를 식별할 수 있으며, 식별된 페이지에 포함된 컨텐츠도 결정할 수 있다.
도 9는 일실시예에 따라 자기장 발생부 또는 외부 스피커를 이용하여 사용자 단말의 위치를 결정하는 일례를 설명하기 위한 도면이다.
도 9를 참고하면, 사용자 단말(910)의 위치는 외부기기들(920-1, 920-2, 920-3)로부터 수신한 정보에 기초하여 결정될 수 있다.
사용자 단말(910)은 컨텐츠가 도시된 동일한 면에 위치할 수 있고, 사용자 단말(910) 주변에는 외부기기들(920-1, 920-2, 920-3)이 배치될 수 있다.
일례로, 외부기기들(920-1, 920-2, 920-3)은 음향 신호를 발생시키는 외부 스피커를 포함할 수 있다. 외부기기들(920-1, 920-2, 920-3)은 사용자 단말(910)로 음향 신호를 전송할 수 있다. 외부기기들(920-1, 920-2, 920-3)로부터 전송되는 음향 신호는 일정한 속도에 따라 전송되므로, 이동 거리가 길수록 신호의 전송시간도 함께 증가하는 특성을 가진다. 그래서, 사용자 단말(910)은 수신된 신호들의 수신 시간이나 시간차(time difference of arrival)을 이용함으로써, 외부기기들(920-1, 920-2, 920-3)의 위치로부터 사용자 단말(910)의 위치를 결정할 수 있다. 나아가, 사용자 단말(910)에 마이크들이 내장된 경우, 사용자 단말(910)은 마이크들을 통해 음향 신호를 수신함으로써, 사용자 단말(910)의 배치 각도 및 배치 방향 중 적어도 하나를 더 결정할 수도 있다.
다른 일례로, 외부기기들(920-1, 920-2, 920-3)은 자기장 신호를 발생시키는 자기장 발생부를 포함할 수 있다. 이 때, 자기장 신호를 발생시키는 외부기기들(920-1, 920-2, 920-3)은 하나 이상일 수 있다. 하나 이상의 외부기기들(920-1, 920-2, 920-3)로부터 전송되는 자기장 신호는 거리에 따라 그 크기가 감쇄되고 사용자 단말(910)이 놓인 배치 각도에 따라 사용자 단말(910)로 입사되는 입사 각도가 달라지는 특성을 가진다. 그래서, 사용자 단말(910)은 수신된 자기장 신호의 크기들을 비교함으로써, 하나 이상의 외부기기들(920-1, 920-2, 920-3)의 위치로부터 사용자 단말(910)의 위치, 배치 각도 및 배치 방향을 결정할 수 있다. 특히, 하나 이상의 외부기기들(920-1, 920-2, 920-3)로부터 자기장 신호가 수신되는 경우, 사용자 단말(910)의 위치와 함께 배치 각도 및 배치 방향이 결정될 수 있다.
예를 들어, 외부기기들(920-1, 920-2, 920-3)은 영구자석, 전자석 등의 자기장 발생부, 또는 외부 스피커를 포함할 수 있다. 즉, 외부기기들(920-1, 920-2, 920-3)로부터 전송되는 신호는 자기장 발생부에서 생성된 자기장 신호 또는 외부 스피커에서 발생된 음향 신호일 수 있다. 자기장 신호가 전송되는 경우, 사용자 단말(910)은 내장된 자기장 센서를 통해 자기장 신호를 수신하며, 음향 신호가 전송되는 경우, 사용자 단말(910)은 내장된 마이크를 통해 음향 신호를 수신할 수 있다.
이 때, 자기장 발생부에서 생성된 자기장 신호는 사용자 단말(910)의 3축 자기장 센서에 일정 크기와 입사 각도로 입사되는 자기장 필드값을 가지거나 특정 주파수를 가지는 교류 형태의 자기장 신호일 수 있다. 특히, 일정 크기와 입사 각도를 가지는 자기장 신호를 이용하는 경우, 자기장 발생부는 지구 자기장 등과 같은 환경적 자기장 세기보다 현저하게 크도록 자기장 신호를 생성함으로써, 사용자 단말(910)에 포함된 자기장 센서가 환경적 자기장에 의한 영향을 받지 않고 자기장 신호를 측정할 수 있도록 할 수 있다.
도 9에는 도시되지 않았지만, 다른 일실시예에 따라 사용자 단말(910)은 내장된 스피커를 통해 음향 신호를 생성하고, 생성된 음향 신호가 외부기기들(920-1, 920-2, 920-3)로 전송될 수 있다. 이 경우, 사용자 단말(910)에서 생성된 음향 신호는 외부기기들(920-1, 920-2, 920-3)에 내장된 마이크들을 통해 수신될 수 있다. 외부기기들(920-1, 920-2, 920-3)에 수신된 음향 신호의 수신 시간 또는 시간차를 이용하여, 사용자 단말(910)의 위치, 배치 각도 및 배치 방향이 결정될 수 있다. 예를 들어, 음향 신호의 수신 시간 또는 시간차에 기초하여 외부기기들(920-1, 920-2, 920-3)에서 사용자 단말(910)의 위치, 배치 각도 및 배치 방향이 결정되고, 결정된 결과 값이 외부기기들(920-1, 920-2, 920-3)에서 사용자 단말(910)로 전송될 수 있다. 또는, 외부기기들(920-1, 920-2, 920-3)에서의 수신 시간 또는 시간차에 대한 정보가 사용자 단말(910)로 전송되고, 사용자 단말(910)에서 수신 시간 또는 시간차에 대한 정보에 기초하여 사용자 단말(910)의 위치, 배치 각도 및 배치 방향이 결정될 수도 있다.
또 다른 일실시예에 따라 사용자 단말(910)은 내장된 자기장 발생부를 통해 자기장 신호를 생성하고, 생성된 자기장 신호가 외부기기들(920-1, 920-2, 920-3)로 전송될 수 있다. 이 경우, 사용자 단말(910)에서 생성된 자기장 신호는 외부기기들(920-1, 920-2, 920-3)에 내장된 자기장 센서를 통해 수신될 수 있다. 외부기기들(920-1, 920-2, 920-3)에 수신된 자기장 신호의 크기들을 비교함으로써, 사용자 단말(910)의 위치, 배치 각도 및 배치 방향이 결정될 수 있다. 예를 들어, 수신된 자기장 신호의 크기들에 기초하여 외부기기들(920-1, 920-2, 920-3)에서 사용자 단말(910)의 위치, 배치 각도 및 배치 방향이 결정되고, 결정된 결과 값이 외부기기들(920-1, 920-2, 920-3)에서 사용자 단말(910)로 전송될 수 있다. 또는, 외부기기들(920-1, 920-2, 920-3)에서 수신된 자기장 신호의 크기들에 대한 정보가 사용자 단말(910)로 전송되고, 사용자 단말(910)에서 자기장 신호의 크기들에 대한 정보에 기초하여 사용자 단말(910)의 위치, 배치 각도 및 배치 방향이 결정될 수도 있다.
도 10은 일실시예에 따른 사용자 단말을 나타낸 도면이다.
도 10을 참고하면, 사용자 단말(1000)은 프로세서(1010) 및 디스플레이(1020)를 포함한다. 또한, 사용자 단말(1000)은 카메라(1030), 통신부(1040), 메모리(1050), 스피커(1060), 자기장 센서(1070), 마이크(1080)를 더 포함할 수 있다.
프로세서(1010)는 가상 오브젝트에 대한 증강을 제어할 수 있다. 또한, 프로세서(1010)는 사용자 단말(1000)에 내장된 장치들의 동작을 제어할 수 있다.
프로세서(1010)는 사용자 단말(1000)의 주변 영역에 대응하는 주변 이미지를 획득한다. 프로세서(1010)는 사용자 단말(1000)에 내장된 전면 방향의 카메라와 주변 영역에 대응하는 주변 이미지를 전면 방향의 카메라로 반사시키는 거울을 이용하여, 주변 이미지를 획득할 수 있다. 또한, 프로세서(1010)는 사용자 단말(1000)에 내장된 후면 방향의 카메라를 이용하여 주변 이미지를 획득할 수 있다. 또한, 프로세서(1010)는 사용자 단말(1000) 및 주변 영역에 대응하는 주변 이미지를 통신부(1040)를 통해 기준 오브젝트로부터 수신할 수 있다.
프로세서(1010)는 사용자 단말(1000)의 주변 영역에 포함된 컨텐츠를 식별한다. 일례로, 프로세서(1010)는 사용자 단말(1000)의 주변 영역에 대응하는 주변 이미지로부터 컨텐츠를 식별할 있다. 프로세서(1010)는 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 메모리(1050)에 저장된 정보와 비교함으로써, 컨텐츠를 식별할 수 있다. 다른 일례로, 프로세서(1010)는 컨텐츠에 대한 식별 정보를 통신부(1040)를 통해 수신함으로써, 주변 영역에 포함된 컨텐츠를 식별할 수 있다. 이 때, 컨텐츠에 대한 식별 정보는 컨텐츠 북 또는 사용자 단말(1000) 주변에 위치하는 기준 오브젝트에 포함된 NFC 칩, RF 칩 등으로부터 수신될 수 있다. 예를 들어, 컨텐츠 북에는 페이지마다 해당 페이지를 나타내는 NFC 칩 또는 RF 칩이 포함되어 있고, 프로세서(1010)는 펼쳐진 페이지에 포함된 NFC 칩 또는 RF 칩으로부터 컨텐츠에 대한 식별 정보를 수신할 수 있다.
프로세서(1010)는 컨텐츠에 대한 사용자 단말(1000)의 위치를 결정한다. 일례로, 프로세서(1010)는 주변 이미지를 이용하여 컨텐츠에 대한 사용자 단말(910)의 위치를 결정할 수 있다. 프로세서(1010)는 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 메모리(1050)에 저장된 정보와 비교함으로써, 사용자 단말(1000)의 위치를 결정할 수 있다. 다른 일례로, 프로세서(1010)는 사용자 단말(1000) 주변의 자기장 발생부로부터 수신한 자기장 신호를 이용하여 사용자 단말(1000)의 위치를 결정하거나, 또는 사용자 단말(1000) 주변의 외부 스피커로부터 수신한 음향 신호를 이용하여 사용자 단말(1000)의 위치를 결정할 수 있다. 나아가, 프로세서(1010)는 주변 이미지로부터 컨텐츠에 대한 사용자 단말(1000)의 위치뿐만 아니라 배치 각도 및 배치 방향 중 적어도 하나를 더 결정할 수도 있다.
프로세서(1010)는 컨텐츠 및 사용자 단말(1000)의 위치에 기초하여 가상 오브젝트를 사용자 단말(1000)에 의해 가려진 사각 영역에 대응하는 사각 이미지에 증강하여 출력한다. 이 때, 가상 오브젝트와 함께 출력되는 사각 이미지의 일부는 가상 오브젝트에 가려짐에 따라 디스플레이(1020)에 출력되지 않을 수도 있다. 또한, 프로세서(1010)는 사각 이미지를 변경하여 가상 오브젝트와 함께 출력할 수 있다. 예를 들어, 프로세서(1010)는 사각 이미지의 컬러를 변경하거나 사각 이미지를 찌그러뜨리거나 사각 이미지에 특정 애니메이션을 추가함으로써, 사각 이미지를 변경할 수 있다. 경우에 따라서는, 프로세서(1010)는 사각 이미지를 제외하고 가상 오브젝트만을 증강하여 디스플레이(1020)에 출력할 수도 있다.
프로세서(1010)는 컨텐츠 및 사용자 단말(1000)의 위치에 기초하여 가상 오브젝트 및 오브젝트의 움직임을 결정하고, 결정된 움직임에 따라 가상 오브젝트를 사각 이미지에 증강하여 출력할 수 있다. 또한, 프로세서(1010)는 사용자 단말(1000)의 위치에 대한 변화를 고려하여 컨텐츠에 기초한 가상 오브젝트를 사각 이미지에 증강하여 출력할 수 있다.
프로세서(1010)는 사용자로부터 입력된 사용자 입력 신호(예컨대, 터치 신호, 드래그 신호, 버튼 입력 신호, 음성 신호 등)에 기초하여 가상 오브젝트를 제어하고, 제어된 가상 오브젝트를 출력할 수도 있다. 이 때, 사용자 입력 신호는 디스플레이(1020)에 장착된 터치 센서, 사용자 단말(1000)에 포함된 버튼 키, 마이크 등을 통해 사용자로부터 수신될 수 있다. 프로세서(1010)는 사용자 입력 신호에 기초하여 가상 오브젝트의 위치, 형상, 움직임 등을 제어할 수 있다. 나아가, 프로세서(1010)는 사용자 입력 신호에 기초하여 사각 이미지를 변경하고, 변경된 사각 이미지를 출력할 수도 있다. 예를 들어, 프로세서(1010)는 사용자 입력 신호에 기초하여 사각 이미지의 컬러를 변경하거나 사각 이미지를 찌그러뜨리거나 사각 이미지에 특정 애니메이션을 추가함으로써, 사각 이미지를 변경하여 출력할 수 있다.
프로세서(1010)는 컨텐츠 및 사용자 단말(1000)의 위치, 배치 각도, 배치 방향에 기초하여 가상 오브젝트를 사각 이미지에 증강하여 출력할 수도 있다. 이하, 설명의 편의를 위해 사용자 단말(1000)의 위치를 이용하는 실시예를 중심으로 기술하였으나, 실시예가 이에 제한되지 않으며, 사용자 단말(1000)의 배치 각도, 배치 방향이 더 고려될 수 있다.
일례로, 식별된 컨텐츠가 미로인 경우, 프로세서(1010)는 사용자 단말(910)에 의해 가려진 컨텐츠 일부에 대응하는 사각 이미지에 가상 캐릭터를 가상 오브젝트로서 증강하여 출력할 수 있다. 사용자가 미로를 따라 사용자 단말(1000)을 이동시키는 경우, 프로세서(1010)는 미로를 이동하는 가상 캐릭터를 증강하여 출력할 수 있다. 만약 사용자가 미로를 이탈하여 사용자 단말(1000)을 부적절하게 이동시키는 경우, 프로세서(1010)는 증강된 가상 캐릭터를 이용하여 사용자 단말(1000) 이동이 부적절하다는 메시지를 출력할 수도 있다. 또한, 미로 탈출에 성공한 경우, 프로세서(1010)는 증강된 가상 캐릭터를 이용하여 미로 탈출을 성공하였다는 메시지를 출력할 수 있다.
다른 일례로, 식별된 컨텐츠가 특정 아이템인 경우, 프로세서(1010)는 사용자 단말(1000)의 위치에 대응하는 아이템의 가상 오브젝트를 증강하여 디스플레이(1020)에 출력할 수 있다. 예를 들어, 식별된 아이템이 지뢰인 경우, 프로세서(1010)는 지뢰가 폭발하는 상황의 가상 오브젝트를 증강하여 표시할 수 있다. 또는, 식별된 아이템이 가상 캐릭터에 의해 습득될 수 있는 아이템인 경우, 프로세서(1010)는 가상 캐릭터에 의해 해당 아이템을 습득되는 상황의 가상 오브젝트를 증강하여 표시할 수 있다.
또 다른 일례로, 식별된 컨텐츠가 대전 게임에서의 적인 경우, 프로세서(1010)는 사용자 단말(1000)의 위치에 대응하는 적을 식별하고, 식별된 적이 가상 캐릭터를 위협하는 상황의 가상 오브젝트를 증강하여 출력할 수 있다.
또 다른 일례로, 식별된 컨텐츠가 탱크 전투 게임에서의 전쟁터인 경우, 프로세서(1010)는 사용자 단말(1000)의 위치에 대응하는 가상 탱크를 가상 오브젝트로서 증강할 수 있다. 증강된 가상 탱크는 사용자 입력에 따라 다양한 동작(예컨대, 포탄 발사 등)을 수행할 수 있다. 이 때, 사용자 단말(1000) 외에 추가 단말이 존재할 수 있으며, 추가 단말에는 적군 탱크가 가상 오브젝트로 증강되어 출력될 수 있다. 또한, 추가 단말은 내장된 바퀴를 이용하여 컴퓨터의 지시에 따라 움직임이 자동적으로 제어될 수 있다.
디스플레이(1020)는 사용자 단말(1000)의 전면부에 배치된 장치로서, 증강된 가상 오브젝트를 사각 이미지와 함께 표시할 수 있다. 디스플레이(1020)에는 터치 센서가 장착되어 사용자로부터 터치 신호, 드래그 신호 등의 사용자 입력 신호를 수신할 수 있다.
카메라(1030)는 이미지를 촬영할 수 있는 장치로서, 예를 들어, 전면 방향의 제1 서브 카메라와 후면 방향의 제2 서브 카메라를 포함할 수 있다. 전면 방향의 제1 서브 카메라는 디스플레이(1020)가 배치된 동일한 면에 배치되고, 후면 방향의 제2 서브 카메라는 디스플레이(1020)가 배치되지 않은 면에 배치될 수 있다.
통신부(1040)는 사용자 단말(1000) 주변에 위치한 기준 오브젝트와 통신을 수행할 수 있다. 통신부(1040)는 기준 오브젝트에 의해 촬영된 주변 이미지를 수신할 수 있다.
메모리(1050)는 특정 정보를 전기적 신호로 기록할 수 있다. 예를 들어, 메모리(1050)는 획득한 주변 이미지를 저장하거나, 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트에 대한 기준 이미지 및 해당 기준 이미지에 대한 정보(예컨대, 대응하는 컨텐츠 정보 및 대응하는 위치 정보 등)를 저장할 수 있다. 또한, 메모리(1050)에는 가상 오브젝트를 증강하기 위해 필요한 정보들이 저장되어 있을 수 있다.
스피커(1060)는 음향 신호를 재생할 수 있는 장치로서, 예를 들어, 프로세서(1010)에 의해 증강된 가상 오브젝트에 대응하는 음향 신호를 재생할 수 있다.
자기장 센서(1070)는 사용자 단말(1000) 주변의 자기장 변화를 감지할 수 있는 장치로서, 사용자 단말(1000)로 전송되는 자기장 신호를 수신할 수 있다. 예를 들어, 자기장 센서(1070)는 자기장 발생부로부터 전송된 자기장 신호를 수신할 수 있다.
마이크(1080)는 사용자 단말(1000) 주변에서 발생된 소리를 전기적 신호로 변환하는 장치로서, 예를 들어, 사용자 단말(1000) 전송되는 음향 신호를 수신할 수 있다. 예를 들어, 마이크(1080)는 외부 스피커로부터 전송된 음향 신호를 수신할 수 있다.
도 11은 일실시예에 따른 컨텐츠 표시 방법을 나타낸 도면이다.
도 11을 참고하면, 사용자 단말에 의해 수행되는 컨텐츠 표시 방법은 사용자 단말의 주변 영역에 포함된 컨텐츠를 식별하는 단계(1110), 컨텐츠에 대한 사용자 단말의 위치를 결정하는 단계(1120) 및 컨텐츠 및 사용자 단말의 위치에 기초하여 가상 오브젝트를 사용자 단말에 의해 가려진 사각 영역에 대응하는 사각 이미지에 증강하여 출력하는 단계(1130)를 포함한다.
도 11에 도시된 각 단계들에는 도 1 내지 도 10를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
110: 사용자 단말
120: 컨텐츠 북
130: 컨텐츠

Claims (27)

  1. 사용자 단말의 주변 영역에 포함된 컨텐츠를 식별하는 단계;
    상기 컨텐츠에 대한 상기 사용자 단말의 위치를 결정하는 단계; 및
    상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 가상 오브젝트를 상기 사용자 단말에 의해 가려진 사각 영역(blind region)에 대응하는 사각 이미지(blind image)에 증강하여 출력하는 단계
    를 포함하는 컨텐츠 표시 방법.
  2. 제1항에 있어서,
    상기 사용자 단말은, 상기 주변 영역에 접촉되도록 배치되는, 컨텐츠 표시 방법.
  3. 제1항에 있어서,
    상기 사용자 단말의 주변 영역에 대응하는 주변 이미지를 획득하는 단계
    를 더 포함하고,
    상기 사용자 단말의 위치를 결정하는 단계는,
    상기 주변 이미지로부터 상기 컨텐츠에 대한 상기 사용자 단말의 위치를 결정하는, 컨텐츠 표시 방법.
  4. 제3항에 있어서,
    상기 주변 이미지를 획득하는 단계는,
    상기 사용자 단말에 내장된 전면 방향의 카메라와 상기 주변 이미지를 상기 전면 방향의 카메라로 반사시키는 거울을 이용하여, 상기 주변 이미지를 획득하는, 컨텐츠 표시 방법.
  5. 제3항에 있어서,
    상기 사용자 단말은,
    상기 사용자 단말에 장착된 지지대를 통해, 상기 주변 영역과 미리 결정된 거리로 이격되고,
    상기 주변 이미지를 획득하는 단계는,
    상기 사용자 단말에 내장된 후면 방향의 카메라를 이용하여 상기 주변 이미지를 획득하는, 컨텐츠 표시 방법.
  6. 제3항에 있어서,
    상기 주변 이미지를 획득하는 단계는,
    상기 사용자 단말에 내장된 통신부를 통해 상기 사용자 단말의 주변 영역이 포함된 주변 이미지를 수신하는, 컨텐츠 표시 방법.
  7. 제3항에 있어서,
    상기 사용자 단말의 위치를 결정하는 단계는,
    상기 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴(dot pattern), 비주얼 마커, 기준 오브젝트 중 적어도 하나를 식별함으로써, 상기 사용자 단말의 위치를 결정하는, 컨텐츠 표시 방법.
  8. 제7항에 있어서,
    상기 사용자 단말의 위치를 결정하는 단계는,
    상기 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 메모리에 저장된 정보와 비교함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별하는, 컨텐츠 표시 방법.
  9. 제1항에 있어서,
    상기 사용자 단말의 위치를 결정하는 단계는,
    상기 컨텐츠에 대한 상기 사용자 단말의 배치 각도 및 배치 방향 중 적어도 하나를 더 결정하고,
    상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는,
    상기 사용자 단말의 배치 각도 및 배치 방향 중 적어도 하나를 더 고려하여 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는, 컨텐츠 표시 방법.
  10. 제1항에 있어서,
    상기 사용자 단말의 위치를 결정하는 단계는,
    상기 사용자 단말 주변의 자기장 발생부로부터 수신한 자기장 신호를 이용하여 상기 사용자 단말의 위치를 결정하거나, 또는
    상기 사용자 단말 주변의 외부 스피커로부터 수신한 음향 신호를 이용하여 상기 사용자 단말의 위치를 결정하는, 컨텐츠 표시 방법.
  11. 제1항에 있어서,
    상기 사용자 단말의 위치를 결정하는 단계는,
    상기 사용자 단말의 위치를 결정하기 위한 음향 신호를 생성하여 상기 사용자 단말 주변에 위치하는 외부기기로 전송하고, 상기 외부기기에 수신된 상기 음향 신호를 이용하여 상기 사용자 단말의 위치를 결정하는, 컨텐츠 표시 방법.
  12. 제1항에 있어서,
    상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는,
    상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 상기 가상 오브젝트 및 상기 가상 오브젝트의 움직임을 결정하고, 상기 결정된 움직임에 따라 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는, 컨텐츠 표시 방법.
  13. 제1항에 있어서,
    상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는,
    상기 사용자 단말의 위치에 대한 변화를 고려하여 상기 컨텐츠에 기초한 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는, 컨텐츠 표시 방법.
  14. 제1항에 있어서,
    상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는 단계는,
    사용자로부터 입력되는 사용자 입력 신호에 기초하여 상기 가상 오브젝트의 위치, 형상, 움직임 중 적어도 하나를 제어하고, 상기 제어된 가상 오브젝트를 증강하여 출력하는, 컨텐츠 표시 방법.
  15. 제1항에 있어서,
    상기 컨텐츠를 식별하는 단계는,
    상기 사용자 단말의 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커 및 기준 오브젝트를 식별함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별하는, 컨텐츠 표시 방법.
  16. 제15항에 있어서,
    상기 컨텐츠를 식별하는 단계는,
    상기 사용자 단말의 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커 및 기준 오브젝트를 메모리에 저장된 정보와 비교함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별하는, 컨텐츠 표시 방법.
  17. 제1항에 있어서,
    상기 컨텐츠를 식별하는 단계는,
    상기 컨텐츠에 대한 식별 정보를 통신부를 통해 수신함으로써, 상기 주변 영역에 포함된 컨텐츠를 식별하는, 컨텐츠 표시 방법.
  18. 제1항에 있어서,
    상기 컨텐츠를 식별하는 단계는,
    사용자로부터 입력된 신호를 통해 상기 컨텐츠를 식별하거나 또는 상기 사용자 단말 주변의 NFC 칩 또는 RF 칩으로부터 수신된 상기 컨텐츠에 대한 식별 정보에 기초하여 상기 컨텐츠를 식별하는, 컨텐츠 표시 방법.
  19. 제1항 내지 제18항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  20. 가상 오브젝트에 대한 증강을 제어하는 프로세서; 및
    상기 증강된 가상 오브젝트를 표시하는 디스플레이
    를 포함하고,
    상기 프로세서는,
    사용자 단말의 주변 영역에 포함된 컨텐츠를 식별하고,
    상기 컨텐츠에 대한 상기 사용자 단말의 위치를 결정하며,
    상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 가상 오브젝트를 상기 사용자 단말에 의해 가려진 사각 영역에 대응하는 사각 이미지에 증강하여 출력하는,
    사용자 단말.
  21. 제20항에 있어서,
    상기 사용자 단말은, 상기 주변 영역에 접촉되는, 사용자 단말.
  22. 제20항에 있어서,
    상기 사용자 단말의 주변 영역에 대응하는 주변 이미지를 촬영하는 카메라
    를 더 포함하고,
    상기 프로세서는,
    상기 주변 이미지로부터 상기 컨텐츠에 대한 사용자 단말의 위치를 결정하는, 사용자 단말.
  23. 제22항에 있어서,
    상기 카메라는,
    상기 주변 이미지를 상기 사용자 단말에 내장된 카메라로 반사시키는 거울을 이용하여, 상기 주변 이미지를 촬영하는 전면 방향의 카메라를 포함하는, 사용자 단말.
  24. 제22항에 있어서,
    상기 카메라는,
    상기 주변 영역과 미리 결정된 거리로 이격된 사용자 단말에 내장되어 상기 주변 이미지를 촬영하는 후면 방향의 카메라를 포함하고,
    상기 사용자 단말은,
    상기 사용자 단말에 장착된 지지대를 통해 상기 주변 영역과 미리 결정된 거리로 이격되는, 사용자 단말.
  25. 제22항에 있어서,
    상기 프로세서는,
    상기 주변 이미지에 포함된 컨텐츠 패턴, 도트 패턴, 비주얼 마커, 기준 오브젝트 중 적어도 하나를 식별함으로써, 상기 사용자 단말의 위치를 결정하는, 사용자 단말.
  26. 제20항에 있어서,
    상기 프로세서는,
    상기 컨텐츠에 대한 상기 사용자 단말의 배치 각도 및 배치 방향 중 적어도 하나를 더 결정하고,
    상기 사용자 단말의 배치 각도 및 배치 방향 중 적어도 하나에 기초하여 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는, 사용자 단말.
  27. 제20항에 있어서,
    상기 프로세서는,
    상기 컨텐츠 및 상기 사용자 단말의 위치에 기초하여 상기 가상 오브젝트 및 상기 가상 오브젝트의 움직임을 결정하고, 상기 결정된 움직임에 따라 상기 가상 오브젝트를 상기 사각 이미지에 증강하여 출력하는, 사용자 단말.
KR1020150181236A 2014-12-19 2015-12-17 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말 KR101740827B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/535,240 US20170352189A1 (en) 2014-12-19 2015-12-18 Content display method using magnet and user terminal for performing same
PCT/KR2015/013922 WO2016099189A1 (ko) 2014-12-19 2015-12-18 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140184611 2014-12-19
KR20140184611 2014-12-19

Publications (2)

Publication Number Publication Date
KR20160075359A true KR20160075359A (ko) 2016-06-29
KR101740827B1 KR101740827B1 (ko) 2017-05-29

Family

ID=56365803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150181236A KR101740827B1 (ko) 2014-12-19 2015-12-17 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말

Country Status (2)

Country Link
US (1) US20170352189A1 (ko)
KR (1) KR101740827B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
KR20220062473A (ko) * 2020-02-26 2022-05-17 네이버랩스 주식회사 오브젝트 기반 증강 컨텐츠의 위치 기반 ar 연동을 위한 전자 장치 및 그의 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380011B2 (en) * 2019-04-23 2022-07-05 Kreatar, Llc Marker-based positioning of simulated reality

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0815883D0 (en) 2008-09-01 2008-10-08 Univ Edinburgh Polymer blends
US20100309225A1 (en) 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
WO2011156727A1 (en) 2010-06-11 2011-12-15 Blueprint Growth Institute, Inc. Electronic document delivery, display, updating and interaction systems and methods
US8174933B1 (en) * 2010-08-06 2012-05-08 Google Inc. Listening with multiple computing devices
US20140160161A1 (en) 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
GB201312542D0 (en) * 2013-07-12 2013-08-28 Pano Pro Ltd Adapter apparatus for an imaging device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
KR20220062473A (ko) * 2020-02-26 2022-05-17 네이버랩스 주식회사 오브젝트 기반 증강 컨텐츠의 위치 기반 ar 연동을 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR101740827B1 (ko) 2017-05-29
US20170352189A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
KR102664688B1 (ko) 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
CN105324811B (zh) 语音到文本转换
CN108710525A (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
CN103765879A (zh) 扩展激光深度图范围的方法
US10096165B2 (en) Technologies for virtual camera scene generation using physical object sensing
CN108694073B (zh) 虚拟场景的控制方法、装置、设备及存储介质
US10887719B2 (en) Apparatus and associated methods for presentation of spatial audio
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
CN116134405A (zh) 用于扩展现实的私有控制接口
KR101740827B1 (ko) 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
KR20230042277A (ko) 확장 현실을 위한 난독화된 제어 인터페이스들
CN112956209B (zh) 声学变焦
CN108563327B (zh) 增强现实方法、装置、存储介质及电子设备
Du et al. Opportunistic interfaces for augmented reality: Transforming everyday objects into tangible 6dof interfaces using ad hoc ui
US11403848B2 (en) Electronic device and method for generating augmented reality object
WO2023039327A1 (en) Display of digital media content on physical surface
KR102205901B1 (ko) 증강 현실을 제공하는 방법 및 컴퓨팅 디바이스
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
US20200342229A1 (en) Information processing device, information processing method, and program
EP3438861A1 (en) Electronic device and method for electronic device
WO2016099189A1 (ko) 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
US20240045943A1 (en) Apparatus and method for authenticating user in augmented reality
Stanković Lecture 9—Augmented Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant