KR102056175B1 - 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치 - Google Patents

증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치 Download PDF

Info

Publication number
KR102056175B1
KR102056175B1 KR1020130009355A KR20130009355A KR102056175B1 KR 102056175 B1 KR102056175 B1 KR 102056175B1 KR 1020130009355 A KR1020130009355 A KR 1020130009355A KR 20130009355 A KR20130009355 A KR 20130009355A KR 102056175 B1 KR102056175 B1 KR 102056175B1
Authority
KR
South Korea
Prior art keywords
data
augmented reality
preview image
content
book
Prior art date
Application number
KR1020130009355A
Other languages
English (en)
Other versions
KR20140097657A (ko
Inventor
신대규
조규성
조익환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130009355A priority Critical patent/KR102056175B1/ko
Priority to CN201410041446.9A priority patent/CN103970409B/zh
Priority to US14/166,321 priority patent/US10386918B2/en
Priority to EP14152801.8A priority patent/EP2759909B1/en
Publication of KR20140097657A publication Critical patent/KR20140097657A/ko
Application granted granted Critical
Publication of KR102056175B1 publication Critical patent/KR102056175B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

본 발명의 실시예에 따른 증강현실 콘텐츠 생성방법은, 전자책 콘텐츠를 기반으로 증강현실 콘텐츠를 생성하기 위한 증강현실모드 실행 요청을 수신하는 과정과, 상기 요청에 따라 카메라를 실행시키고, 상기 전자책 콘텐츠로서 출력된 북 데이터 중 일부를 프리뷰 영상에 로드하는 과정과, 상기 증강현실모드 실행 중 특정 이벤트의 발생을 검출하는 과정과, 상기 특정 이벤트에 미리 매핑된 반응 데이터를 추출하는 과정 및 상기 추출된 반응 데이터를 상기 프리뷰 영상에 로드하는 과정을 포함한다.

Description

증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치{METHOD OF MAKING AUGMENTED REALITY CONTENTS AND TERMINAL IMPLEMENTING THE SAME}
본 발명은 증강현실 콘텐츠에 관한 것으로, 특히 전자책 파싱을 통해 획득한 데이터뿐만 아니라, 사용자 모션 또는 각종 센서 값을 반영하여 실제 환경이 투영된 프리뷰 영상에 로드함으로써, 사용자 참여도와 몰입감을 상승시킬 수 있는 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 휴대단말들이 다양하게 출시되고 있다.
이러한 휴대단말은 음성 통화, SMS(Short Message Service)/MMS(Multimedia Message Service) 등과 같은 메시지 전송, 영상통화, 전자수첩, 촬영, 이메일 송수신, 방송재생, 동영상재생, 인터넷, 전자상거래, 음악재생, 일정관리, 소셜 네트워크 서비스(SNS, Social Networking Service), 메신저, 사전, 게임 및 e-book과 같이 다양한 어플리케이션(application) 기능들을 구비할 수 있다.
이중 전자책(e-book)은 문자나 화상과 같은 정보를 전자 매체에 기록하여 서적처럼 이용할 수 있는 디지털 도서를 총칭한다. 이러한 전자책은 종이책에 비해 가격이 훨씬 저렴하고, 필요한 부분만 별도로 구입할 수 있는 장점이 있다.
또한, 독서를 하면서 동영상 자료를 보거나 배경 음악을 들을 수 있으며, PDA나 휴대폰과 같은 휴대단말장치에 저장하여 언제 어디서나 그 내용을 확인할 수 있는 장점도 있다.
출판사 입장에서 볼 때, 전자책은 인쇄나 제본 시 소요되는 제작비와 유통비를 절약할 수 있으며, 재고부담이 적고, 책 내용을 쉽게 업데이트할 수 있다는 장점이 있다.
최근 스마트 기기를 통해 실물책자와 함께 생동감 넘치는 디지털 애니메이션을 즐길 수 있는 증강현실 책(증강현실 Book)이 개발되었다.
증강현실 책이란, 증강현실(증강현실, Augmented reality)을 기반으로 한 새로운 개념의 책으로서, 증강현실 기능이 지원되는 스마트 기기로 실물책자를 비추면 증강현실 애니메이션이 구현되는 기능을 구현할 수 있다. 즉, 책에서 얻기 어려운 부가적인 정보와 입체영상을 보강해 디지털 그래픽으로 제공하는 신기술이라 할 수 있다.
전자책을 구성하는 페이지에 2D, 3D 그래픽 및 멀티미디어의 내용이 첨가되고 있어서 보다 실감적이고 생생한 표현의 구현이 가능해지고 있다.
그러나 3D 그래픽 등의 내용이 전자책 페이지에서 디스플레이되어 실감적인 효과를 더한 것은 출판 분야의 큰 발전이기는 하나, 사용자의 참여 및 사용자의 다양한 욕구 및 작용을 반영하기에는 다소 기술이 부족하다.
즉, 사용자의 움직임이나 주변 환경의 변화 등을 모두 반영할 수 없기 때문에 터치 등의 방법으로 수동적인 작업이 필요하다.
본 발명의 목적은 전자책 파싱을 통해 획득한 디폴트 데이터뿐만 아니라, 프리뷰 영상을 통해 획득한 사용자 모션 또는 각종 센서를 통해 획득한 센서 값에 따라 추출한 반응 데이터를 실제 환경이 투영된 프리뷰 영상에 로드하여 증강현실 콘텐츠를 생성함으로써, 사용자 참여도 및 몰입감을 상승시킬 수 있는 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치를 제공함에 있다.
본 발명의 실시예에 따른 증강현실 콘텐츠 생성방법은, 전자책 콘텐츠를 기반으로 증강현실 콘텐츠를 생성하기 위한 증강현실모드 실행 요청을 수신하는 과정과, 상기 요청에 따라 카메라를 실행시키고, 상기 전자책 콘텐츠로서 출력된 북 데이터 중 일부를 프리뷰 영상에 로드하는 과정과, 상기 증강현실모드 실행 중 특정 이벤트의 발생을 검출하는 과정과, 상기 특정 이벤트에 미리 매핑된 반응 데이터를 추출하는 과정 및 상기 추출된 반응 데이터를 상기 프리뷰 영상에 로드하는 과정을 포함한다.
본 발명의 실시예에 따른 증강현실 콘텐츠를 생성하는 휴대단말장치는, 증강현실모드 실행에 따라 전자책 콘텐츠 실행화면으로부터 전환된 프리뷰 영상을 표시하고, 상기 전자책 콘텐츠에 관련된 북 데이터와, 상기 특정 이벤트에 따라 추출된 반응 데이터를 상기 프리뷰 영상에 표시하는 표시부와, 상기 프리뷰 영상에 로드할 상기 북 데이터와, 상기 반응 데이터 및 상기 북 데이터와 상기 반응 데이터가 함께 로딩된 프리뷰 영상을 저장하는 저장부와, 증강현실모드 실행 요청에 따라 카메라를 실행시켜 프리뷰 영상을 획득하고, 상기 증강현실모드 실행 중 사용자 모션 또는 센서 값을 획득하며, 이를 기반으로 반응 데이터를 추출하고, 상기 프리뷰 영상에 상기 북 데이터 및 반응 데이터를 로드하여 증강현실 콘텐츠를 생성하는 제어부를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에서 제안하는 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치에 따르면, 전자책 파싱을 통해 획득한 데이터뿐만 아니라, 단말장치에 구비된 각종 센서를 통해 획득한 센서 값에 따라 추출된 반응 데이터를 실제 환경이 투영된 프리뷰 영상에 로드하여 출력함으로써, 전자책 콘텐츠를 보다 생생하고 현실감 있는 증강현실 콘텐츠로 제공할 수 있다.
또한, 본 발명은 프리뷰 영상을 통해 획득한 사용자 모션에 대응하여 반응 데이터를 추출하고, 이를 실제 환경이 투영된 프리뷰 영상에 로드하여 출력함으로써, 사용자 참여적이고 능동적인 증강현실 콘텐츠를 구현할 수 있으며, 전자책을 학습하는 학습자의 몰입감을 상승시킬 수 있다.
도 1은 본 발명의 실시예에 따른 휴대단말장치의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 실시예에 따른 AR 인식 추적 엔진 모듈의 구성을 개략적으로 도시한 블록도.
도 3은 본 발명의 실시예에 따른 휴대단말장치에서 증강현실 콘텐츠를 생성하는 방법을 도시한 흐름도.
도 4는 본 발명의 실시 예에 따른 증강현실 콘텐츠 생성에 관한 동작 설명을 위해 도시한 도면.
도 5는 본 발명의 실시 예에 따른 증강현실 콘텐츠 생성에 관한 동작 설명을 위해 도시한 도면.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서, 본 발명의 실시 예에 따른 휴대단말의 구성 및 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 휴대단말의 구성 및 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 그리고 이하에서 설명되는 본 발명에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명은 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
본 발명의 실시예에서 휴대단말장치는, 태블릿 PC, 이동 통신 단말기, 이동 전화기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(sm증강현실t phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, CDMA(Code Division Multiple Access) 단말기, WCDMA(Wideband Code Division Multiple Access) 단말기, GSM(Global System for Mobile communication) 단말기, GPRS(General Packet Radio Service) 단말기, EDGE(Enhanced Data GSM Envisonment) 단말기, UMTS(Universal Mobile Telecommunication Service) 단말기 및 디지털 방송(Digital Broadcasting) 단말기 및 ATM(Automated Teller Machine) 등과 같은 모든 정보통신기기 및 멀티미디어 기기와 그에 대한 응용에도 적용될 수 있다.
도 1은 본 발명의 실시예에 따른 휴대단말장치의 구성을 개략적으로 도시하는 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 휴대단말장치(100)는 무선 통신부(105), 제어부(200), 저장부(120), 터치 스크린(130), 센서부(140), 오디오 처리부(160), 키입력부(150), 스타일러스 펜(180), 카메라부(190)를 포함하여 이루어진다.
무선 통신부(105)는 기지국 또는 다른 장치와 무선 통신 기능을 수행한다. 통신부(105)는 송신신호의 주파수를 상승변환(frequency up converter) 및 전력 증폭하는 송신부와, 수신신호를 저잡음 증폭 및 주파수를 하강변환(frequency down converter)하는 수신부 등으로 구성된 RF통신부가 될 수 있다. 또한 상기 통신부(120)는 변조부 및 복조부를 구비할 수 있다. 여기서 변조부는 송신신호를 변조하여 송신부에 전달하며, 복조부는 수신부를 통해 수신되는 신호를 복조한다. 이런 경우, 상기 변복조부는 LTE, WCDMA, GSM 등이 될 수 있으며, 또한 WIFI, WIBRO 등이 될 수 있다. 무선 통신부(105)는 공중 무선통신망 및/또는 인터넷 망에 접속되어 단말장치와 해당 망간의 무선 통신 기능을 수행할 수 있다. 또한, 무선 통신부(105)는 LTE 기지국과 통신할 수 있는 LTE 통신부 및 WIFI 통신부를 구비할 수 있다.
저장부(120)는 제어부(200)의 보조기억장치로써, 디스크, 램(RAM), 롬(ROM) 및 플래시 메모리를 포함할 수 있다. 저장부(120)는 제어부(200)의 제어 하에 휴대단말장치(100)에서 생성되거나 무선 통신부(105) 또는 외부 장치 인터페이스부(미도시)를 통해 외부장치(예컨대, 서버, 데스크탑 PC, 태블릿 PC 등)로부터 수신한 데이터를 저장할 수 있다.
저장부(120)는 부팅 프로그램 및 휴대단말장치(100)의 운용을 위한 운영체제(OS, Operating System)을 저장한다.
저장부(120)는 내재화 애플리케이션(embedded application) 및 서드파티 애플리케이션(3rd party application)을 포함한다. 내재화 애플리케이션은 휴대단말장치(100)에 기본적으로 탑재되어 있는 애플리케이션을 의미한다. 예컨대 내재화 애플리케이션은 브라우저(browser), 이메일(email),인스턴트 메신저(instant messenger) 등이 될 수 있다. 서드파티 애플리케이션은 주지되어 있는 바와 같이 온라인 마켓으로부터 휴대단말장치(100)에 다운로드되어 설치될 수 있는 애필르케이션을 의미하며, 매우 다종다양하다. 이러한 서드파티 애플리케이션은 설치 및 제어가 자유롭다. 휴대단말장치(100)가 켜지면 먼저 부팅 프로그램이 제어부(200)의 주기억장치(예, RAM)로 로딩(loading)된다. 이러한 부팅 프로그램은 휴대단말장치(100)가 동작할 수 있게 운영체제를 주기억장치로 로딩한다. 또한 운영체제는 애플리케이션들을 주기억 장치로 로딩하여 실행한다. 이러한 부팅 및 로딩은 컴퓨터 시스템에서 널리 공지되어 있는 기술이므로 구체적인 설명은 생략한다.
터치스크린(130)은 터치패널(132) 및 표시패널(134)을 포함하여 구성된다. 터치패널(132)은 표시패널(134)에 안착(place on the display unit)될 수 있다. 구체적으로 터치패널(132)은 표시패널(134)의에 위치하는 애드 온 타입(add-on-type)이나 표시패널(134) 내에 삽입되는 온 셀 타입(on-cell-type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다.
터치패널(132)은 터치패널(132)에 대한 사용자의 제스처에 응답하여 아날로그 신호(예, 터치 이벤트)를 발생하고, 아날로그 신호를 A/D 변환하여 제어부(200)로 전달한다.
제어부(200)는 전달된 터치 이벤트로부터 사용자의 제스처를 검출한다. 제어부(200)는 검출된 사용자 제스처에 응답하여 상기 구성들을 제어한다. 사용자 제스처는 터치(touch)와 터치 제스처(touch gesture)로 구분된다.
다시 터치 제스처는 탭(Tap), 드래그(Drag) 및 플릭(Flick) 등을 포함할 수 있다. 즉 터치는 터치 스크린에 접촉(contact)하고 있는 상태를 의미하고, 터치 제스처는 터치가 터치스크린에 접촉(touch-on)해서 터치 해제(touch-off)까지의 터치의 변화를 의미한다.
터치패널(132)은 손 제스처를 감지하는 손 터치패널과 펜 제스처를 감지하는 펜 터치패널을 포함하여 구성된 복합 터치패널일 수 있다. 여기서 손 터치패널은 정전용량 방식으로 구성될 수 있다. 물론 손 터치패널은 저항막 방식(resistive type), 적외선 방식 또는 초음파 방식으로 구성될 수도 있다.
또한 손 터치패널은 사용자의 손 제스처에 의해서만 이벤트를 발생하는 것이 아니며, 다른 물체(예, 정전용량 변화를 가할 수 있는 전도성 재질의 물체)에 의해서도 터치 이벤트를 생성할 수 있다. 펜 터치패널은 전자유도방식(electromagnetic induction type)으로 구성될 수 있다. 이에 따라 펜 터치패널은 자기장을 형성할 수 있도록 특수 제작된 터치용 스타일러스 펜(180)에 의해 터치 이벤트를 생성한다.
표시패널(134)은 제어부(200)의 제어 하에, 제어부(200)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 즉, 표시패널(134)은 다양한 화면들(picture) 예를 들면, 잠금 화면, 홈 화면, 환경 설정 화면, 애플리캐이션(줄여서 앱(App)) 실행 화면, 키패드 등을 표시한다.
잠금 해제를 위한 사용자 제스처가 검출되면 제어부(200)는 표시되는 화면을 잠금 화면에서 홈 화면 또는 앱 실행 화면 등으로 전환(changing)할 수 있다.
홈 화면은 다수의 페이지를 포함한다. 페이지들 중 사용자에 의해 선택된 페이지가 표시된다. 페이지는 적어도 하나의 애플리케이션 실행화면(picture)을 포함할 수 있다. 또한 페이지는 적어도 하나의 아이콘을 포함할 수 있다. 여기서 아이콘은 애플리케이션(예컨대, 환경 설정, 브라우저, 통화, 메시지 등)에 대응되는 아이콘이다.
또한, 페이지는 적어도 하나의 애플리케이션 실행 화면(picture)과 적어도 하나의 아이콘을 포함할 수도 있다. 또한 페이지는 비어있는 페이지일 수도 있다. 아이콘이 사용자에 의해 선택(예, 아이콘을 탭)되면, 제어부(200)는 해당 앱을 실행하고, 그 실행화면을 표시하도록 표시패널(134)을 제어한다.
표시패널(134)은 제어부(200)의 제어 하에 상기 화면들 중에서 하나(예, 홈 화면의 페이지)를 배경(background)으로 표시하고 다른 하나(예, 키패드)를 전경(foreground)으로써 상기 배경에 오버랩하여 표시할 수 있다. 또한, 표시패널(134)은 제어부(200)의 제어 하에 다수의 화면을 서로 오버랩되지 않게 표시할 수 있다. 예컨대, 표시패널(134)은 상기 화면들 중 하나를 제1 스크린 영역에 표시하고 다른 하나를 제2 스크린 영역에 표시할 수 있다.
표시패널(134)은 액정표시장치(Liquid Crystal Display: LCD), OLED(Organic Light Emitted Diode) 또는 AMOLED(Active Matrix Organic Light Emitted Diode)로 구성될 수 있다.
특히 본 발명의 표시패널(134)은 전자책 실행에 의한 전자책의 적어도 한 페이지를 표시할 수 있고, 증강현실모드(AR(Augmented reality) 모드)의 실행에 의한 프리뷰 영상을 표시할 수 있으며, 상기 프리뷰 영상에 로드된 상기 전자책에 미리 설정된 디폴트 데이터를 표시할 수 있으며, 상기 프리뷰 영상에 상기 프리뷰 영상을 통해 감지된 사용자 모션 또는 센서부(140)를 통해 감지된 센서 값에 따라 추출된 반응 데이터를 상기 프리뷰 영상에 표시할 수 있다.
오디오 처리부(160)는 스피커(SPK) 및 마이크(MIC)와 결합하여 음성 인식, 음성 녹음, 디지털 레코딩(recording) 및 통화기능을 위한 오디오 신호의 입력 및 출력 기능을 수행한다.
오디오 처리부(160)는 제어부(200)로부터 오디오 신호를 수신하고, 수신한 오디오 신호를 아날로그로 D/A 변환하고 증폭한 후 스피커(SPK)로 출력한다. 오디오 처리부(160)는 마이크(MIC)로부터 수신한 오디오 신호를 디지털로 A/D 변환한 후 제어부(200)로 제공한다.
스피커(SPK)는 오디오 처리부(160)로부터 수신한 오디오 신호를 음파(sound wave)로 변환하여 출력한다. 마이크(MIC)는 사람이나 기타 소리원(sound source)들로부터 전달된 음파를 오디오 신호로 변환한다. 특히 본 발명의 스피커는 증강현실 모드시 전자책의 텍스트 데이터를 음성 데이터로 변환하여 출력할 수 있다.
센서부(140)는 속도 센서, 가속도 센서, 고도 센서, 온도 센서, 자이로 센서, 콤파스 센서 등을 포함하여 구성될 수 있다. 센서부(140)는 물리량(예, 속도, 가속도, 고도, 온도, 자이로, 콤파스(compass))이나 그 변화를 감지한다. 특히 본 발명의 센서부(140)는 증강현실모드 시 휴대단말장치에 가해지는 외부 변화 등에 변경된 센서 값을 획득할 수 있고, 획득된 센서 값을 제어부(200)로 전달할 수 있다.
키입력부(150)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 키(버튼)들을 포함할 수 있다. 이러한 키들은 메뉴 불러오기 키, 화면 온/오프 키, 전원 온/오프 키 및 볼륨 조절키 등을 포함할 수 있다.
키입력부(150)는 사용자 설정 및 휴대단말장치(100)의 기능 제어와 관련한 키 이벤트를 생성하여 제어부(200)로 전달한다.
키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트 등을 포함할 수 있다. 제어부(200)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다. 한편 키입력부(150)의 키(버튼)는 하드 키(hard key)라 하고 터치스크린(130)에 표시되는 키(버튼)는 소프트 키(soft key)로 지칭될 수 있다.
제어부(200)는 휴대단말장치(100)의 전반적인 동작 및 휴대단말장치(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행하고, 배터리에서 상기 구성들로의 전원공급을 제어한다. 제어부(200)는 응용프로그램 및 운영체제를 저장하는 주기억장치와, 저장부(120)에 기록(write)할 데이터를 임시저장하고 저장부(120)로부터 읽어 온 데이터를 임시 저장하는 캐시메모리와, CPU(Central processing unit)와, GPU(graphic processing unit)등을 포함할 수 있다. 여기서 운영체제는 하드웨어와 프로그램간의 인터페이스 역할을 하면서, CPU, GPU, 주기억장치, 보조기억장치 등의 컴퓨터 자원을 관리한다.
즉, 운영체제는 휴대단말장치(100)를 동작시키고 작업(task)의 순서를 정하며 CPU 연산 및 GPU 연산을 제어한다. 또한 운영체제는 응용 프로그램의 실행을 제어하는 기능과, 데이터와 파일의 저장을 관리하는 기능 등을 수행한다.
한편 주지된 바와 같이 CPU 는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU와 GPU는 각각 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 직접 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC: System on chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(Multi layer)로 패키징(packaging)된 것일 수 있다. 한편 CPU 및 GPU를 포함하는 구성은 AP(Application Processor)라고 지칭될 수 있다.
특히 본 발명의 실시예에 의한 제어부(200)는 매니저 모듈(210), 전자책 콘텐츠 획득 모듈(114), 증강현실 인식 추적 엔진모듈(230) 및 데이터 로드 모듈(118)을 포함하여 구성될 수 있다.
매니저 모듈(210)은, 전자책(electronic book)의 어느 페이지가 표시패널(134)에 출력된 상태 또는 상기 전자책의 실행 시작 시, 사용자의 증강현실 모드 실행 요청을 감지할 수 있다. 그리고 매니저 모듈(210)은 상기 증강현실 모드 실행 요청을 감지함에 따라 상기 증강현실 모드 실행에 관련된 적어도 하나 이상의 모듈들을 기동시킨다.
즉, 매니저 모듈(210)은 사용자의 증강현실 모드 실행 요청을 수신하면, 이에 대응하여 전자책 데이터 획득모듈(220), 증강현실 인식 추적 엔진 모듈(230), 데이터 로드 모듈(118) 및 카메라부(190)를 실행시킨다. 증강현실 모드 실행 요청은 터치스크린(130)에 'AR'과 같은 문자로 표시된 소프트 키 또는 하드 키에 의해 사용자로부터 입력되거나 특정 제스처를 통해 휴대단말기에 입력될 수 있다.
전자책 데이터 획득모듈(220)은, 매니저 모듈(210)에 의해 활성화되고, 실행 중이거나 실행 시작되는 전자책의 적어도 일 페이지를 파싱한다. 상기 전자책 파싱을 통해 상기 해당 페이지에 매핑되어 미리 저장된 적어도 하나의 북 데이터를 추출하고, 추출된 데이터를 표시패널(134)에 출력한다.
상기 북 데이터는 전자책 페이지의 텍스트 데이터, 이미지 데이터, 2D 그래픽 데이터, 3D 그래픽 데이터, 동영상 데이터, 음향 데이터, 진동 데이터 등 중 적어도 하나로 구성될 수 있다.
증강현실 인식 추적 엔진 모듈(230)은 도 2에 도시된 바와 같이, 프리뷰 영상 획득부(232), 디폴트 데이터 추출부(234), 특정 이벤트 검출부(236) 및 반응 데이터 추출부(238)을 포함하여 구성된다.
프리뷰 영상 획득부(232)는 실행된 카메라부(190)를 통해 프리뷰 영상을 표시패널(134)에 출력한다. 여기서 프리뷰 영상이란 카메라부(190)의 이미지 센서를 통해 투영된 이미지가 휴대 단말기의 표시패널(134)에 출력된 영상이라 할 수 있다.
디폴트 데이터 추출부(234)는 전자책 데이터 획득모듈(220)에 의해 획득된 데이터 중, 증강현실모드 시 프리뷰 영상에 디폴트로 출력할 데이터를 추출한다.
예컨대, 증강현실모드는 현재 실제 사용자 환경이 투영된 프리뷰 영상을 배경으로 하기 때문에 전자책의 이미지 데이터 중 기본 배경화면 이미지를 제외한 나머지 캐릭터 이미지만 추출할 수 있다.
또한, 프리뷰 영상과 함께 출력할 수 있는 음향 데이터 등을 추출할 수 있다. 더불어 전자책 실행시 출력된 텍스트 데이터는 증강현실모드시 음성 데이터로 변환(Text to Speech)하여 추출될 수도 있다.
상기 언급한 디폴트 데이터는 일 예일 뿐이고, 사용자 또는 전자책 설계자의 설정에 따라 다양한 데이터로 미리 정해질 수 있음은 물론이다.
특정 이벤트 검출부(236)은 증강현실모드시 실행되는 카메라부(190)를 통해 획득한 프리뷰 영상을 통해 사용자 모션을 감지한다. 여기서 사용자 모션이란, 카메라부(190)를 통해 획득한 사용자 또는 물체의 움직임을 일컬으며, 특정 이벤트 검출부(236)가 감지할 수 있을 정도의 사용자 또는 물체의 위치, 각도, 방향 등의 변화를 말할 수 있다. 예컨대, 움직임의 변화가 없는 주변 환경 영상은 사용자 모션으로 감지되지 않는다.
특히, 특정 이벤트 검출부(236)는 프리뷰 영상에서 디폴트 데이터가 출력되고 있는 동일 좌표 영역에서 발생하는 사용자 모션을 검출할 수 있다.
또한, 특정 이벤트 검출부(236)는 센서부(140)의 각종 센서가 감지한 적어도 하나의 센서 값을 수신한다. 센서부(140)는 가속도 센서, 중력 센서, 나침반 센서, 자이로 센서, 온도 센서, 동작 인식 센서(motion recognition sensor) 등으로 구성될 수 있다. 상기 동작 인식 센서는 물체의 움직임이나 위치를 인식하는 센서로서, 지자기 센서, 가속도 센서 등 각종 센서와 고도계, 자이로 등의 기능이 하나의 칩에 포함된 복합 센서로서 휴대단말장치(100) 내에 탑재될 수 있다.
예컨대, 사용자가 휴대단말장치를 수평선상을 기준으로 어느 한 쪽으로 기울이면, 그 센서부(140)가 그 기울임을 감지하여 상기 기울임에 대응하는 센서 값을 증강현실 특정 이벤트 검출부(236)에 전달할 수 있다.
다른 예로, 증강현실모드 시 사용자가 마이크(MIC)를 통해 입김을 불면, 센서부(140)가 상기 사용자의 입김을 감지하여, 이에 대응하는 센서 값 증강현실 특정 이벤트 검출부(236)에 전달할 수 있다.
반응 데이터 추출부(238)는 특정 이벤트 검출부(236)로부터 전달받은 상기 사용자 모션 및/또는 상기 센서 값에 미리 매핑된 반응 데이터를 메타 테이블로부터 추출할 수 있다.
상기 메타 테이블은 상기 디폴트 데이터의 좌표영역에 대응하여 발생된 특정 이벤트에 따라 상기 프리뷰 영상에 출력할 반응 데이터를 미리 설정하여 저장할 수 있다. 상기 반응 데이터는 특정 이벤트에 따라 프리뷰 영상에 로드되는 새로운 데이터로서, 디폴트 데이터를 프리뷰 영상 상에서 변경하거나 대체할 수 있는 데이터일 수 있다.
또는, 메타 테이블은 상기 디폴트 데이터와 동일 좌표영역 이외의 좌표영역에서 발생된 특정 이벤트에 따라 상기 프리뷰 영상에 로드할 반응 데이터를 미리 설정하여 저장할 수 있다. 반응 데이터는 프리뷰 영상 상에 디폴트 데이터와 동일 좌표영역 또는 서로 다른 좌표영역에 로드될 수 있다.
데이터 로드 모듈(240)은 디폴트 데이터가 출력된 프리뷰 영상에 반응 데이터를 로드하여, 표시패널(134)에 출력한다. 즉, 데이터 로드 모듈(240)은 디폴트 데이터가 특정 이벤트에 대응하여 변경되거나 대체된 반응 데이터를 프리뷰 영상에 로드할 수 있다.
제어부(200)의 본 발명과 관련된 특징적인 기술 즉, 증강현실 콘텐츠의 생성 방법에 대해 후술하는 도면들을 참조한 휴대단말의 동작 예시에서 설명될 것이다.
한편 디지털 기기의 컨버전스(converence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수 없으나, 휴대단말장치(100)는 GPS모듈, NFC(Near filed communication) 모듈, 진동 모터 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 여기서 GPS모듈은 해외 로밍된 지역이 어디인지를 인식하기 위한 용도로 사용될 수 있다. 진동 모터는 특정 상황이 발생 및 종료되었음을 사용자에게 안내하기 위한 용도로 사용될 수 있다. 또한 휴대단말장치(100)는 그 제공 형태에 따라 상기한 구성들에서 특정 구성이 제외되거나 다른 구성으로 대체될 수도 있다.
도 3은 본 발명의 실시예에 따른 휴대단말장치에서 증강현실 콘텐츠를 생성하는 방법을 도시한 흐름도이다.
제어부(200)는 사용자 요구에 대응하여 전자책 기능을 실행하고, 사용자 선택에 대응하는 소정의 원본 데이터를 표시할 수 있다.(301 단계) 즉, 제어부(200)는 전자책의 적어도 한 페이지를 휴대단말장치(100)의 표시패널(134)에 출력할 수 있다.
다음으로, 제어부(200)는 전자책 기능 실행 후 증강현실모드 요청이 수신되었는지 판단할 수 있다.(302 단계) 본 발명에서 증강현실 모드는 앞서 설명한 바와 같이 실제 환경이 투영된 프리뷰 영상에 전자책에 관련된 디폴트 데이터를 로드하고, 특정 이벤트의 발생에 따라 반응 데이터를 상기 디폴트 데이터가 로드된 프리뷰 영상에 로드함으로써, 증강현실 콘텐츠를 생성하기 위한 모드를 나타낼 수 있다. 그리고 사용자는 휴대단말장치(100)에 구비된 소정의 버튼 또는 터치 기반의 입력 인터페이스(예컨대, 터치 스크린의 표시부) 등을 이용하여 증강현실모드 요청을 입력할 수 있다.
다음으로, 제어부(200)는 증강현실모드 요청 수신이 확인되지 않으면(305 단계의 NO) 해당기능을 실행할 수 있다. 예를 들어, 사용자 입력에 대응하여 전자책 실행화면을 출력하거나, 전자책 실행 종료 등의 동작을 실행할 수 있다.
다음으로, 제어부(200)는 증강현실모드 요청 수신에 대응하여(303 단계의 YES) 카메라부(190)를 실행시키고, 전자책으로부터 디폴트 데이터를 추출할 수 있다.(307 단계)
즉, 제어부(200)는 전자책에 미리 매핑된 텍스트 데이터, 이미지 데이터, 2D 그래픽 데이터, 3D 그래픽 데이터, 동영상 데이터, 음향 데이터, 진동 데이터 등의 다양한 데이터 중에서 증강현실 모드 시 표시패널(134)에 표시할 데이터를 디폴트 데이터로서 추출할 수 있다.
증강현실 모드는 현재 실제 사용자 환경이 투영된 프리뷰 영상을 배경으로 하기 때문에 예컨대, 전자책의 기본 배경화면 이미지를 제외한 나머지 캐릭터 이미지와, 음향 데이터, 진동 데이터, 2D 그래픽 데이터, 3D 그래픽 데이터 등 중 적어도 하나의 데이터를 추출할 수 있다. 전자책의 텍스트 데이터는 음성 데이터로 변환(Text to Speech)하여 추출할 수 있다.
상기 디폴트 데이터는 전자책 설계자에 의해 미리 설정되어 저장되어 있을 수 있으며, 이에 한정하지 않는다.
다음으로, 제어부(200)는 프리뷰 영상에 상기 디폴트 데이터를 로드할 수 있다.(309 단계) 이때, 제어부(200)는 프리뷰 영상을 통해 실제 환경에 존재하는 사물, 배경, 인물 등을 인지하고, 실제 환경을 구성하는 것들의 각 좌표들을 검출할 수 있으며, 상기 검출 결과를 기반으로 디폴트 데이터와 반응 데이터를 출력시킬 기준 좌표 평면을 설정할 수 있다. 즉, 제어부(200)는 상기 설정된 기준 좌표 평면을 기준으로 상기 디폴트 데이터를 프리뷰 영상에 로드할 수 있다.
다음으로, 제어부(200)는 특정 이벤트의 발생 여부를 판단할 수 있다.(311 단계) 예컨대 제어부(200)는 특정 이벤트로서 두 가지 이벤트를 검출할 수 있다.
이중 한 가지 특정 이벤트는 프리뷰 영상을 통해 감지된 사용자 모션일 수 있다. 사용자 모션이란, 카메라부(114)를 통해 획득한 사용자 또는 물체의 움직임을 일컬으며, 제어부(200)가 감지할 수 있을 정도의 사용자 또는 물체의 위치, 각도, 방향 등의 변화를 말할 수 있다. 예컨대, 움직임의 변화가 없는 주변 환경 영상은 사용자 모션으로 감지하지 않는다.
특히, 제어부(200)는 프리뷰 영상을 통해 디폴트 데이터에 해당하는 좌표 영역에서 발생하는 사용자 모션을 검출할 수 있다.
다른 한 가지 특정 이벤트는 센서부(140)가 감지한 이벤트일 수 있다. 예컨대, 가속도 센서, 중력 센서, 나침반 센서, 자이로 센서, 온도 센서, 동작 인식 센서 중 적어도 하나가 감지한 휴대단말장치에 발생된 변화를 특정 이벤트로 여길 수 있다.
다음으로, 제어부(200)는 특정 이벤트의 발생이 검출되지 않으면, 여전히 프리뷰 영상에 디폴트 데이터를 로드할 수 있다.(309 단계)
다음으로, 제어부(200)는 특정 이벤트의 검출에 대응하여, 상기 특정 이벤트에 따라 반응 데이터를 추출할 수 있다.(313 단계) 즉, 제어부(200)는 특정 이벤트로서 검출된 사용자 모션 및/또는 상기 센서 값에 따라 미리 매핑된 반응 데이터를 추출할 수 있다. 상기 반응 데이터는 해당 사용자 모션 및 센서 값과 미리 매핑되어 저장되어 있을 수 있다.
예컨대, 반응 데이터는 상기 특정 이벤트에 따라 상기 디폴트 데이터의 출력 형태를 변경시키거나 대체함으로써, 프리뷰 영상 상에서 디폴트 데이터의 변화를 실행시키는 데이터일 수 있다. 또는 반응 데이터는 디폴트 데이터 이외에 상기 프리뷰 영상에 새롭게 로드할 데이터일 수 있다.
상기 반응 데이터는 상기 디폴트 데이터에 해당하는 프리뷰 영상상의 좌표영역과 동일한 좌표영역에 로드되거나, 미리 설정된 인접한 좌표영역에 로드될 수 있다.
상기 반응 데이터는 전자책 설계자 또는 휴대단말장치의 설계자에 의해 미리 설정될 수 있고, 이는 메타 테이블에 저장될 수 있다.
다음으로, 제어부(200)는 디폴트 데이터가 출력된 프리뷰 영상에 상기 반응 데이터를 로드하여 출력할 수 있다. 즉, 제어부(200)는 디폴트 데이터가 출력된 프리뷰 영상에 반응 데이터를 로드하여, 표시패널(134)에 출력할 수 있다.
이와 같이 전자책의 디폴트 데이터가 로드된 프리뷰 영상에 특정 이벤트에 따라 추출된 반응 데이터를 로드하여 생성된 데이터를 증강현실 콘텐츠라 일컬을 수 있다.
다음으로, 제어부(200)는 증강현실 모드 종료 요청을 판단(317 단계)하여 증강현실 모드를 종료할 수 있다.(319 단계) 이때 제어부(200)는 카메라의 실행을 종료시킬 수 있고, 앞선 단계에서 생성된 증강현실 콘텐츠를 저장부(120)에 저장할 수 있다.
상기 증강현실 콘텐츠는 사용자가 증강현실 모드를 실행시켰을 당시의 실제 환경이 투영된 프리뷰 영상에 전자책의 디폴트 데이터 및 반응 데이터를 로드한 콘텐츠로서, 기존의 전자책 콘텐츠와는 다른 사용자 참여적이고 실시간적인 새로운 콘텐츠라 할 수 있다.
상술한 바와 같이 본 발명에서 제안하는 증강현실 콘텐츠 생성 시스템 및 그의 구현 방법에 따르면, 전자책 파싱을 통해 획득한 데이터뿐만 아니라, 단말장치에 구비된 각종 센서를 통해 획득한 센서 값에 따라 추출된 반응 데이터를 실제 환경이 투영된 프리뷰 영상에 로드하여 출력함으로써, 전자책 콘텐츠를 보다 생생하고 현실감 있는 증강현실 콘텐츠로 제공할 수 있다.
또한, 본 발명은 프리뷰 영상을 통해 획득한 사용자 모션에 대응하여 반응 데이터를 추출하고, 이를 실제 환경이 투영된 프리뷰 영상에 로드하여 출력함으로써, 사용자 참여적이고 능동적인 증강현실 콘텐츠를 구현할 수 있으며, 전자책을 학습하는 학습자의 몰입감을 상승시킬 수 있다.
도 4는 본 발명의 실시 예에 따른 증강현실 콘텐츠 생성에 관한 동작 설명을 위해 도시한 도면이다.
도 4를 참조하면, 실행화면(401)은 휴대단말장치의 전자책 기능 실행에 따라 원본 데이터가 표시된 상태의 예시를 나타낸다.
실행화면(401)은 전자책의 어느 한 페이지를 표시하고 있다. 구체적으로, 어린이들의 양치 습관을 돕기 위한 전자책 중 입 안 환경을 도시한 그림 이미지(410)와 소정의 텍스트 데이터(435)를 포함하는 한 페이지를 나타내고 있다. 상기 그림 이미지는 입안 환경 이미지 데이터(410)와 세균 캐릭터 이미지 데이터(420)를 포함한다.
그리고, 전자책의 원본 데이터가 표시된 실행화면(401)은 일부 영역에 증강현실 모드로 전환할 수 있는 표시('AR')로 구현된 소프트 키를 나타낼 수 있다. 사용자가 상기 표시('AR')를 통해 증강현실모드 실행을 요청하면, 제어부가 증강현실모드로 전환된 실행화면(402)을 나타낸다.
증강현실모드로 전환된 실행화면(402)은 카메라(415)를 통해 사용자의 실제 환경인 거실이 투영된 거실 배경 영상(430)을 프리뷰 영상으로서 나타낸다.
증강현실모드에서는 제어부(200)가 카메라(415)를 통해 투영되는 프리뷰 영상 상의 좌표를 인지하고, 이를 통해 사물, 인물, 배경 등을 구별하여 감지할 수 있다. 실행화면(402)에 나타난 프리뷰 영상을 통해서는 어린이, 거실 바닥, 책꽂이, 소파, 장난감 등을 구별하여 감지하는 것으로 가정한다.
전자책에서 표시된 다수의 데이터들 중 세균 캐릭터 이미지 데이터(420)가 실행화면(402)에 출력될 수 있고, 전자책에 표시된 텍스트 데이터(435,"세균을 없애주세요")가 음성 데이터로 변환되어 스피커(SPK)를 통해 출력될 수 있다.
세균 캐릭터 이미지 데이터(420)는 실행화면(401)에 나타난 페이지에서 증강현실모드 전환 시 프리뷰 영상에 로드되도록 미리 설정된 디폴트 데이터라 할 수 있다. 세균 캐릭터 이미지 데이터(420)는 상기 프리뷰 영상에 의해 감지된 인물에 해당하는 좌표 영역에 출력되도록 미리 설정되어 있을 수 있다.
증강현실모드 실행 중 휴대단말장치의 위치 변동에 따라, 카메라(415)를 통해 획득되는 프리뷰 영상도 변할 수 있다. 즉, 프리뷰 영상은 실시간으로 실제 환경을 투영할 수 있다.
프리뷰 영상이 변하더라도, 제어부(200)는 프리뷰 영상 상의 좌표를 인지함으로써 인물, 사물, 배경 등을 구별할 수 있고, 디폴트 데이터는 상기 감지된 좌표에 따라 새로운 좌표 영역에 다시 출력될 수 있다.
예컨대, 실행화면(402)과 같이 거실환경(430)이 투영되고 있는 상태에서 휴대단말장치를 욕실로 이동하면, 카메라에 투영되는 욕실환경(450)이 실행화면(403)에 표시될 수 있다. 그리고 세균 캐릭터 이미지 데이터(420)는 감지되는 인물의 특정 좌표 영역을 따라 로드될 수 있다.
실행화면(403)과 같이 인물에 해당하는 특정 좌표영역(440)에서 양치 모션(445)이 감지되면, 제어부(200)는 양치 모션(445)에 미리 매핑된 새로운 반응 데이터(460)를 프리뷰 영상에 로딩할 수 있다. 상기 새로운 캐릭터(460)는 양치 모션(445)에 대응하여 미리 설정된 도망가는 세균 캐릭터 이미지 데이터(460)일 수 있다. 실행화면(403)의 양치 모션은 앞서 설명한 사용자 모션을 일컫는다.
도 5는 본 발명의 실시 예에 따른 증강현실 콘텐츠 로드에 관한 동작 설명을 위해 도시한 도면이다.
도 5를 참조하면, 실행화면(501)은 휴대단말장치의 전자책 기능 실행에 따라 원본 데이터가 표시된 상태의 예시를 나타낸다. 예를 들어, 실행화면(501)의 경우 하늘에 해당하는 배경 이미지 데이터(510), 민들레 이미지 데이터(520), 책의 일부 내용에 해당하는 텍스트 데이터(525)를 나타내고 있다.
전자책의 원본 데이터가 표시된 실행화면(501)은 증강현실 모드로 전환할 수 있는 표시(511, 'AR')를 나타낼 수 있다. 사용자에 의한 표시(511)의 실행에 의해 전자책이 증강현실 모드로 전환되어 실행화면(502)이 나타날 수 있다.
증강현실 모드로 전환된 실행화면(502)은 카메라(415)를 통해 사용자의 실제 환경인 방안이 투영된 방안 배경에 대응하는 프리뷰 영상(530)을 나타낸다.
제어부(200)가 프리뷰 영상(530) 중 평면으로 인식되는 좌표를 획득하고, 획득한 좌표의 검출에 의해 평면으로 판단된 좌표영역에 디폴트 데이터인 민들레 이미지 데이터(520)를 로드할 수 있다. 이와 같은 실행도 마찬가지로 제어부(200)를 통해 미리 설정되어 있을 수 있다.
실행화면(503)은 제어부(200)가 책상에 대응하는 좌표영역(540)의 일부를 평면으로 인식하여, 책상에 대응하는 좌표영역(540)에 민들레 이미지 데이터(520)를 로드한 프리뷰 영상을 나타낸다.
민들레 이미지 데이터(520)의 로드와 동시에 전자책에 표시된 텍스트 데이터("햇볕이 잘 드는 들판에 따뜻한 봄바람이 살랑살랑 불어와요")가 음성 데이터로 변환되어 스피커(SPK)를 통해 출력될 수 있다.
만약, 사용자가 휴대단말장치의 블로우 센서(525) 부근에 입김을 불면, 블로우 센서(525)가 상기 입김에 의해 변경된 센서 값을 제어부(200)로 전달하고, 제어부(200)는 상기 센서 값을 기반으로 반응 데이터(550)를 추출하여, 추출된 반응 데이터(550)를 실행화면(503)과 같이 프리뷰 영상에 로드할 수 있다.
예컨대, 상기 센서 값에 미리 매핑된 날리는 꽃 잎 이미지 데이터(550)를 매핑 테이블로부터 추출하여 민들레 이미지 데이터(520)가 로드된 좌표영역에 인접한 좌표 영역 및/또는 민들레 이미지 데이터(520)가 로드된 좌표영역과 동일한 좌표영역에 로드할 수 있다.
한편, 상술한 바와 같은 본 발명의 멀티터치를 통한 복사 및 붙여넣기 실행 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media), CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 휴대단말장치 105: 무선 통신부
120: 저장부 130: 터치스크린
132: 터치패널 134: 표시패널
150: 키입력부 140: 센서부
160: 오디오 신호부 190: 카메라부
200: 제어부 210: 매니저 모듈
220: 전자책 데이터 획득 모듈 230: AR 인식 추적 모듈
240: 데이터 로드 모듈 232: 프리뷰 영상 획득부
234: 디폴트 데이터 추출부 236: 특정 이벤트 검출부
238: 반응 데이터 추출부

Claims (21)

  1. 터치 스크린, 카메라 및 센서부를 포함하는 휴대 단말기의 증강현실 콘텐츠 생성 방법에 있어서,
    콘텐츠를 표시하면서, 상기 콘텐츠를 기반으로 증강현실 콘텐츠를 생성하기 위한 증강현실모드 실행 요청을 수신하는 과정;
    상기 요청에 따라 상기 카메라를 실행시키고, 상기 카메라에 의해 캡쳐된 프리뷰 영상을 상기 터치 스크린에 표시하는 과정을 포함하며, 상기 프리뷰 영상은 사용자의 실제 환경에 대응하는 실시간 영상인 것을 특징으로 하며;
    전자책의 디폴트 데이터를 상기 프리뷰 영상 상에 로드하는 과정;
    상기 사용자의 움직임에 매핑된 반응 데이터 및 센서부에서 생성된 센서 값을 매핑 테이블에 저장하는 과정;
    상기 증강현실모드 실행 중 특정 이벤트의 발생을 검출하는 과정;
    상기 특정 이벤트에 미리 매핑된 상기 반응 데이터를 추출하는 과정;
    상기 추출된 반응 데이터를 상기 프리뷰 영상에 로드하는 과정;
    상기 증강현실모드의 종료 요청을 수신하는 과정; 및
    상기 증강현실모드 종료 요청에 응답하여, 상기 증강 현실 모드를 종료하고 상기 디폴트 데이터, 상기 반응 데이터 및 상기 디폴트 데이터 및 상기 반응 데이터가 로드된 상기 프리뷰 영상을 저장하는 과정을 포함하며,
    상기 특정 이벤트를 검출하는 동작은
    상기 프리뷰 영상에서 상기 사용자의 움직임을 감지하는 과정; 및
    상기 센서부에 의해 획득된 상기 센서 값을 감지하는 과정 중 적어도 하나를 포함하는 것을 특징으로 하는 증강현실 콘텐츠 생성방법.
  2. 제1항에 있어서,
    상기 증강현실모드에서 상기 콘텐츠로부터 상기 프리뷰 영상 상에 제시될 증강현실 콘텐츠를 선택하는 과정을 더 포함하는 증강현실 콘텐츠 생성방법.
  3. 제1항에 있어서,
    상기 프리뷰 영상에 투영된 실제 환경의 사물, 인물, 배경을 인지하고, 이의 상기 프리뷰 영상 상의 각 좌표값을 검출하는 과정을 더 포함하는 것을 특징으로 하는, 증강현실 콘텐츠 생성방법.
  4. 제3항에 있어서, 상기 반응 데이터는,
    상기 증강현실 콘텐츠와 동일한 좌표 영역 또는 상기 증강현실 콘텐츠와 인접한 좌표 영역에서 출력되는 증강현실 콘텐츠 생성방법.
  5. 제3항에 있어서,
    상기 증강현실 콘텐츠는
    상기 프리뷰 영상 상의 각 좌표값 검출을 통해 설정된 평면에 해당하는 기준 좌표에 로드하는 것을 특징으로 하는, 증강현실 콘텐츠 생성방법.
  6. 삭제
  7. 제1항에 있어서, 상기 센서 값을 검출하는 과정은,
    가속도 센서, 중력 센서, 나침반 센서, 자이로 센서, 온도 센서, 동작 인식 센서 중 적어도 하나의 센서가 획득한 센서 값을 검출하는 것을 특징으로 하는, 증강현실 콘텐츠 생성방법.
  8. 삭제
  9. 제1항에 있어서, 상기 반응 데이터는,
    상기 특정 이벤트의 검출에 따라 상기 증강현실 콘텐츠의 형태를 상기 프리뷰 영상 상에서 변경하거나 대체하는 데이터인 것을 특징으로 하는, 증강현실 콘텐츠 생성방법.
  10. 제1항에 있어서, 상기 증강현실 콘텐츠는
    상기 콘텐츠 중 기본 배경화면 이미지 데이터를 제외한 나머지 캐릭터 이미지 데이터, 음향 데이터, 진동 데이터, 동영상 데이터, 2D 그래픽 데이터, 3D 그래픽 데이터 등 중 적어도 하나의 데이터를 로드하는 것을 특징으로 하는, 증강현실 콘텐츠 생성방법.
  11. 제1항에 있어서,
    상기 증강현실 콘텐츠를 상기 프리뷰 영상 상에 출력하는 과정을 더 포함하며,
    상기 증강현실 콘텐츠를 상기 프리뷰 영상 상에 출력하는 과정은,
    상기 콘텐츠의 텍스트 데이터를 음성 데이터로 변환(Text to Speech)하여 로드하는 것을 특징으로 하는, 증강현실 콘텐츠 생성방법.
  12. 삭제
  13. 카메라;
    스피커;
    센서부;
    터치 스크린;
    메모리; 및
    프로세서를 포함하며,
    상기 프로세서는
    콘텐츠를 표시하면서, 상기 콘텐츠를 기반으로 증강현실 콘텐츠를 생성하기 위한 증강현실모드 실행 요청을 수신하고,
    상기 요청에 따라 상기 카메라를 실행시키고, 상기 카메라에 의해 캡쳐된 프리뷰 영상을 상기 터치 스크린에 표시하며, 상기 프리뷰 영상은 사용자의 실제 환경에 대응하는 실시간 영상인 것을 특징으로 하며,
    전자책의 디폴트 데이터를 상기 프리뷰 영상 상에 로드하고,
    상기 사용자의 움직임에 매핑된 반응 데이터 및 센서부에서 생성된 센서 값을 매핑 테이블에 저장하며,
    상기 증강현실모드 실행 중 특정 이벤트의 발생을 검출하고,
    상기 특정 이벤트에 미리 매핑된 상기 반응 데이터를 추출하며,
    상기 추출된 반응 데이터를 상기 프리뷰 영상에 로드하고,
    상기 증강현실모드의 종료 요청을 수신하며,
    상기 증강현실모드 종료 요청에 응답하여, 상기 증강 현실 모드를 종료하고 상기 디폴트 데이터, 상기 반응 데이터 및 상기 디폴트 데이터 및 상기 반응 데이터가 로드된 상기 프리뷰 영상을 저장하고,
    상기 특정 이벤트를 검출하는 동작은
    상기 프리뷰 영상에서 상기 사용자의 움직임을 감지하며,
    상기 센서부에 의해 획득된 상기 센서 값을 감지하는 과정 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대단말장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 전자책의 적어도 일 페이지를 파싱하여 북 데이터를 추출하고, 상기 북 데이터를 표시패널에 전달하는 전자책 데이터 획득모듈;
    상기 카메라를 통해 프리뷰 영상을 획득하는 프리뷰 영상 획득부;
    상기 북 데이터 중 증강현실모드 시 상기 프리뷰 영상에 디폴트로 출력할 디폴트 데이터를 추출하는 디폴트 데이터 추출부;
    상기 증강현실모드 실행 시 사용자 모션 감지 또는 상기 센서 값을 획득하는 특정 이벤트 검출부;
    상기 사용자 모션 감지 또는 상기 센서 값에 미리 매핑된 상기 반응 데이터를 추출하는 반응 데이터 추출부; 및
    상기 증강현실 모드 실행 요청에 따라 상기 프리뷰 영상 획득부, 디폴트 데이터 추출부, 특정 이벤트 검출부 및 반응 데이터 추출부를 기동시키는 매니저 모듈을 포함하는 것을 특징으로 하는, 증강현실 콘텐츠를 생성하는 휴대단말장치.
  15. 제13항에 있어서, 상기 프로세서는,
    상기 프리뷰 영상에 투영된 실제 환경의 사물, 인물, 배경을 인지하고, 이의 상기 프리뷰 영상 상의 각 좌표값을 검출하는 것을 특징으로 하는, 증강현실 콘텐츠를 생성하는 휴대단말장치.
  16. 제15항에 있어서, 상기 프로세서는,
    상기 반응 데이터를 상기 프리뷰 영상 상에 북 데이터와 동일 좌표영역 또는 이에 인접한 좌표영역에 로드하는 것을 특징으로 하는, 증강현실 콘텐츠를 생성하는 휴대단말장치.
  17. 제15항에 있어서, 상기 프로세서는,
    일부 북 데이터 및/또는 상기 반응 데이터를 상기 프리뷰 영상 상의 각 좌표값 검출을 통해 설정된 평면에 해당하는 기준 좌표에 로드하는 것을 특징으로 하는, 증강현실 콘텐츠를 생성하는 휴대단말장치.
  18. 삭제
  19. 제13항에 있어서, 상기 반응 데이터는,
    상기 특정 이벤트의 검출에 따라 상기 증강현실 콘텐츠의 형태를 상기 프리뷰 영상 상에서 변경하거나 대체하는 데이터인 것을 특징으로 하는, 증강현실 콘텐츠를 생성하는 휴대단말장치.
  20. 제13항에 있어서, 상기 프로세서는,
    상기 콘텐츠의 기본 배경화면 이미지 데이터를 제외한 나머지 캐릭터 이미지와, 음향 데이터, 진동 데이터, 동영상 데이터, 2D 그래픽 데이터, 3D 그래픽 데이터 등 중 적어도 하나의 데이터를 북 데이터 중 일부로서 상기 프리뷰 영상에 로드하는 것을 특징으로 하는, 휴대단말장치.
  21. 제13항에 있어서, 상기 프로세서는,
    상기 증강현실모드 시 상기 콘텐츠의 텍스트 데이터를 음성 데이터로변환(Text to Speech)하여 출력하는 것을 특징으로 하는, 휴대단말장치.
KR1020130009355A 2013-01-28 2013-01-28 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치 KR102056175B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130009355A KR102056175B1 (ko) 2013-01-28 2013-01-28 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
CN201410041446.9A CN103970409B (zh) 2013-01-28 2014-01-28 产生增强现实内容的方法和使用所述增强现实内容的终端
US14/166,321 US10386918B2 (en) 2013-01-28 2014-01-28 Method for generating an augmented reality content and terminal using the same
EP14152801.8A EP2759909B1 (en) 2013-01-28 2014-01-28 Method for generating an augmented reality content and terminal using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130009355A KR102056175B1 (ko) 2013-01-28 2013-01-28 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치

Publications (2)

Publication Number Publication Date
KR20140097657A KR20140097657A (ko) 2014-08-07
KR102056175B1 true KR102056175B1 (ko) 2020-01-23

Family

ID=50115677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130009355A KR102056175B1 (ko) 2013-01-28 2013-01-28 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치

Country Status (4)

Country Link
US (1) US10386918B2 (ko)
EP (1) EP2759909B1 (ko)
KR (1) KR102056175B1 (ko)
CN (1) CN103970409B (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761059B2 (en) 2014-01-03 2017-09-12 Intel Corporation Dynamic augmentation of a physical scene
KR102223308B1 (ko) * 2014-05-29 2021-03-08 삼성전자 주식회사 영상처리 방법 및 이를 구현한 전자 장치
US10270985B2 (en) 2014-09-03 2019-04-23 Intel Corporation Augmentation of textual content with a digital scene
KR102252448B1 (ko) * 2014-09-12 2021-05-14 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
US11205075B2 (en) * 2018-01-10 2021-12-21 Quantum Interface, Llc Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same
KR20160045441A (ko) * 2014-10-17 2016-04-27 삼성전자주식회사 동영상 재생 방법 및 장치
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
KR20160062770A (ko) * 2014-11-25 2016-06-03 전자부품연구원 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치
US10067775B2 (en) * 2015-02-19 2018-09-04 Disney Enterprises, Inc. Guided authoring of interactive content
KR20160123622A (ko) * 2015-04-16 2016-10-26 삼성전자주식회사 디스플레이 장치 및 그 제어방법
CN107533376A (zh) 2015-05-14 2018-01-02 奇跃公司 耦接到增强现实系统的隐私敏感的消费者照相机
CN107852488B (zh) * 2015-05-22 2021-03-30 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
CN108027694B (zh) * 2015-09-04 2021-12-28 史克威尔·艾尼克斯有限公司 记录介质、内容提供装置以及控制方法
CN105608934B (zh) * 2015-12-21 2018-09-04 大连新锐天地传媒有限公司 Ar儿童故事早教舞台剧系统
CN105912129A (zh) * 2016-04-29 2016-08-31 乐视控股（北京）有限公司 室温控制方法、设备及系统
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
CN106227481A (zh) * 2016-07-22 2016-12-14 北京奇虎科技有限公司 阅读文章时显示ar影像的方法和终端
US10169921B2 (en) 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
KR20180047973A (ko) 2016-11-02 2018-05-10 엘지전자 주식회사 단말기 및 그 제어 방법
CN106406542A (zh) * 2016-11-04 2017-02-15 杭州阿优智能科技有限公司 一种增强现实内容的产生方法、系统以及设备
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
KR102595762B1 (ko) 2017-03-22 2023-10-30 어 빅 청크 오브 머드 엘엘씨 통합형 헤드 장착 디스플레이를 구비한 전환 가능한 사첼 가방
CN108984075B (zh) * 2017-05-31 2021-09-07 华为技术有限公司 显示模式切换方法、装置及终端
CN108984076A (zh) * 2017-06-01 2018-12-11 中兴通讯股份有限公司 一种显示方法及装置
CN107422946A (zh) * 2017-07-21 2017-12-01 广州阿里巴巴文学信息技术有限公司 电子书显示方法、装置及终端设备
WO2019071209A1 (en) * 2017-10-06 2019-04-11 Rad Steve SYSTEM AND KIT OF INCREASED REALITY
US10430016B2 (en) * 2017-12-22 2019-10-01 Snap Inc. Augmented reality user interface control
CN108230428B (zh) * 2017-12-29 2019-02-01 掌阅科技股份有限公司 基于增强现实的电子书呈现方法、电子设备及存储介质
US10872471B1 (en) * 2018-09-14 2020-12-22 Bryan Stamp Augmented reality story-telling system
CN109712013A (zh) * 2018-11-16 2019-05-03 北京达佳互联信息技术有限公司 页面交互方法和装置
KR102240351B1 (ko) * 2019-03-07 2021-04-14 주식회사 엘지유플러스 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법
US11699353B2 (en) 2019-07-10 2023-07-11 Tomestic Fund L.L.C. System and method of enhancement of physical, audio, and electronic media
CN110688003B (zh) * 2019-09-09 2024-01-09 华南师范大学 基于增强现实的电子绘本系统、显示方法、装置和介质
US11289196B1 (en) 2021-01-12 2022-03-29 Emed Labs, Llc Health testing and diagnostics platform
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
CN115942022A (zh) * 2021-08-27 2023-04-07 中移(苏州)软件技术有限公司 信息预览方法、相关设备及存储介质
US11861801B2 (en) * 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088354A1 (en) 2005-10-19 2007-04-19 Pentax Corporation High-Frequency Incision Instrument For Endoscope
US20090195656A1 (en) * 2007-11-02 2009-08-06 Zhou Steven Zhi Ying Interactive transcription system and method
US20100141784A1 (en) 2008-12-05 2010-06-10 Yoo Kyung-Hee Mobile terminal and control method thereof
US20110191710A1 (en) 2010-01-29 2011-08-04 Samsung Electronics Co., Ltd. E-book device and method for providing information regarding to reading detail
US20120050324A1 (en) 2010-08-24 2012-03-01 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20120231839A1 (en) 2011-03-08 2012-09-13 Hye Won Seo Mobile terminal and method of controlling the same
US20120244876A1 (en) 2011-03-25 2012-09-27 Jihwan Park Communication connecting apparatus and method
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
US20120306918A1 (en) 2011-06-01 2012-12-06 Seiji Suzuki Image processing apparatus, image processing method, and program
US20130033591A1 (en) 2011-08-04 2013-02-07 Kabushiki Kaisha Toshiba Image processing device, method, and computer program product

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071349A (ko) 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US8423730B2 (en) * 2010-07-27 2013-04-16 Qualcomm Innovation Center, Inc. Method and apparatus for supporting diverse memory access schemes
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US20140020102A1 (en) * 2012-07-16 2014-01-16 Infosys Limited Integrated network architecture
US20140063056A1 (en) * 2012-08-29 2014-03-06 Koskar Inc. Apparatus, system and method for virtually fitting wearable items
US9137461B2 (en) * 2012-11-30 2015-09-15 Disney Enterprises, Inc. Real-time camera view through drawn region for image capture
US20140201023A1 (en) * 2013-01-11 2014-07-17 Xiaofan Tang System and Method for Virtual Fitting and Consumer Interaction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088354A1 (en) 2005-10-19 2007-04-19 Pentax Corporation High-Frequency Incision Instrument For Endoscope
JP2007111148A (ja) 2005-10-19 2007-05-10 Pentax Corp 内視鏡用高周波切開具
US20090195656A1 (en) * 2007-11-02 2009-08-06 Zhou Steven Zhi Ying Interactive transcription system and method
US20100141784A1 (en) 2008-12-05 2010-06-10 Yoo Kyung-Hee Mobile terminal and control method thereof
US20110191710A1 (en) 2010-01-29 2011-08-04 Samsung Electronics Co., Ltd. E-book device and method for providing information regarding to reading detail
US20120050324A1 (en) 2010-08-24 2012-03-01 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20120231839A1 (en) 2011-03-08 2012-09-13 Hye Won Seo Mobile terminal and method of controlling the same
US20120244876A1 (en) 2011-03-25 2012-09-27 Jihwan Park Communication connecting apparatus and method
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
US20120306918A1 (en) 2011-06-01 2012-12-06 Seiji Suzuki Image processing apparatus, image processing method, and program
US20130033591A1 (en) 2011-08-04 2013-02-07 Kabushiki Kaisha Toshiba Image processing device, method, and computer program product

Also Published As

Publication number Publication date
EP2759909B1 (en) 2019-06-12
US10386918B2 (en) 2019-08-20
CN103970409A (zh) 2014-08-06
KR20140097657A (ko) 2014-08-07
US20140210710A1 (en) 2014-07-31
CN103970409B (zh) 2019-04-26
EP2759909A3 (en) 2017-04-19
EP2759909A2 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
KR102056175B1 (ko) 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR102032449B1 (ko) 이미지 표시 방법 및 휴대 단말
US9411512B2 (en) Method, apparatus, and medium for executing a function related to information displayed on an external device
KR102064952B1 (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
US20170003812A1 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
US9298292B2 (en) Method and apparatus for moving object in terminal having touch screen
US9804766B2 (en) Electronic device and method of displaying playlist thereof
KR102044826B1 (ko) 마우스 기능 제공 방법 및 이를 구현하는 단말
KR20140126140A (ko) 모바일 장치의 상태에 대응하는 변경된 숏컷 아이콘을 제공하는 모바일 장치 및 그 제어 방법
JP6251555B2 (ja) アプリケーション情報提供方法および携帯端末
US9658865B2 (en) Method of editing content and electronic device for implementing the same
KR20160018269A (ko) 디바이스 및 디바이스의 제어 방법
KR20140069869A (ko) 사용자 단말에서 메모 편집장치 및 방법
EP2775385A2 (en) Mobile apparatus having function of pre-action on object and control method thereof
US20130298068A1 (en) Contents display method and mobile terminal implementing the same
KR101970154B1 (ko) 휴대 단말에서 일정 관리 방법 및 장치
KR20200015680A (ko) 이미지 표시 방법 및 휴대 단말
KR20190117453A (ko) 이미지 표시 방법 및 휴대 단말
KR20150025655A (ko) 객체 디스플레이 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant