KR20170059163A - 전자 장치 및 그의 동작 방법 - Google Patents

전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20170059163A
KR20170059163A KR1020150163123A KR20150163123A KR20170059163A KR 20170059163 A KR20170059163 A KR 20170059163A KR 1020150163123 A KR1020150163123 A KR 1020150163123A KR 20150163123 A KR20150163123 A KR 20150163123A KR 20170059163 A KR20170059163 A KR 20170059163A
Authority
KR
South Korea
Prior art keywords
content
electronic device
display unit
mapped
display
Prior art date
Application number
KR1020150163123A
Other languages
English (en)
Inventor
이용연
공진아
윤여준
박예린
김윤경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150163123A priority Critical patent/KR20170059163A/ko
Priority to US15/352,870 priority patent/US20170148218A1/en
Publication of KR20170059163A publication Critical patent/KR20170059163A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H04W4/043—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver

Abstract

다양한 실시예에 따른 전자 장치의 동작 방법에 있어서, 전자 장치의 위치 정보를 결정하는 동작; 상기 결정된 위치 정보에 매핑된 컨텐츠를 검출하는 동작; 및 상기 결정된 위치 정보에 컨텐츠를 매핑하는 동작을 포함한다.
다양한 실시예에 따른 전자 장치에 있어서, 제1 표시부 및 투명한 제2 표시부; 및 상기 제1 표시부 및 상기 제2 표시부와 기능적으로 연결되는 제어부를 포함하고, 상기 제어부는,상기 전자 장치의 위치 정보를 결정하고, 상기 결정된 위치 정보에 매핑된 컨텐츠를 검출하고, 상기 결정된 위치 정보에 컨텐츠를 매핑한다.

Description

전자 장치 및 그의 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}
본 발명은 전자 장치 및 그의 동작 방법에 관한 것으로, 예컨대, 위치 정보에 컨텐츠 매핑을 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
일반적으로 전자 장치는 다양한 기능들이 부가되어 복합적인 기능을 수행한다. 예를 들면, 전자 장치는 이동 통신 기능, 데이터 통신 기능, 영상 촬영 기능, 음성 녹음 기능 등을 수행할 수 있다. 기술이 발전함에 따라, 전자 장치는 다양한 사용자 인터페이스 기능을 수행할 수 있도록 요구되고 있다. 특히, 실제 환경과 디지털 정보 조작이 어우러지는 실감형 사용자 인터페이스가 급부상하고 있다. 이러한 실감형 사용자 인터페이스는 실재감을 극대화하고, 사용자에게 다양한 경험을 확대할 수 있도록 발전하고 있다.
본 발명의 다양한 실시예에서는 투명한 표시부를 통해 물리적 위치에 디지털 정보를 매핑하는 실감형 컨텐츠를 제공하고자 한다.
다양한 실시예에 따른 전자 장치의 동작 방법에 있어서, 전자 장치의 위치 정보를 결정하는 동작; 상기 결정된 위치 정보에 매핑된 컨텐츠를 검출하는 동작; 및 상기 결정된 위치 정보에 컨텐츠를 매핑하는 동작을 포함한다.
다양한 실시예에 따른 전자 장치에 있어서, 제1 표시부 및 투명한 제2 표시부; 및 상기 제1 표시부 및 상기 제2 표시부와 기능적으로 연결되는 제어부를 포함하고, 상기 제어부는,상기 전자 장치의 위치 정보를 결정하고, 상기 결정된 위치 정보에 매핑된 컨텐츠를 검출하고, 상기 결정된 위치 정보에 컨텐츠를 매핑한다.
다양한 실시예에 따른 전자 장치 및 그의 동작 방법은, 제2 표시부가 투명하게 구현되므로, 주변 환경과 컨텐츠가 자연스럽게 어우러지는 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 배경이 제2 표시부에 투영되는 경우, 해당 배경 및 매핑된 컨텐츠를 제2 표시부에서 함께 확인할 수 있어 사용자 경험을 확대할 수 있다. 따라서, 제2 표시부를 통해, 사용자가 해당 배경에 컨텐츠가 표시되는 것처럼 자각할 수 있도록 유도하는 실감형 사용자 인터페이스를 구현할 수 있다. 또한, 전자 장치와 해당 배경과의 거리에 따라 표시되는 컨텐츠의 수준을 조절함으로써 사용자 인터렉션을 확대할 수 있다. 또한, 스마트 시티(smart city) 인프라와 연계하여 전자 장치에 별도의 어플리케이션을 설치하지 않고도 스마트 시티 인프라에서 제공하는 기능을 사용할 수 있다.
다양한 실시예에 따른 전자 장치 및 그의 동작 방법은, 사용자에게 제2 표시부를 통해 투영된 배경에 직접 컨텐츠를 매핑하는 감성을 제공하여 실감형 사용자 인터페이스를 구현할 수 있다. 또한, 댁내 공간을 공유하는 사용자들이 컨텐츠도 함께 공유함으로써, 동일한 공간 속에서 경험을 공유하고 소통할 수 있도록 유도할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2 및 도 3은 다양한 실시예에 따른 전자 장치의 구현 예를 도시하는 예시도이다.
도 4는 다양한 실시예에 따른 전자 장치의 동작 방법의 수행 절차를 도시하는 순서도이다.
도 5는 도 4에서 위치 정보 결정 동작의 순서도이다.
도 7은 도 5에서 오브젝트 결정 동작의 순서도이다.
도 8은 다양한 실시예에 따른 전자 장치의 화면 예시도이다.
도 9는 도 5에서 오브젝트 결정 동작의 순서도이다.
도 10은 다양한 실시예에 따른 전자 장치의 화면 예시도이다.
도 11은 도 4에서 제2 표시부에 컨텐츠를 표시하는 동작의 순서도이다.
도 12 및 도 13은 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 14는 도 4에서 제2 표시부에 컨텐츠를 표시하는 동작의 순서도이다.
도 15 및 도 16은 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 17은 제2 표시부에 컨텐츠를 표시하는 동작을 설명하기 위한 도면이다.
도 18은 다양한 실시예에 따른 전자 장치의 화면 예시도이다.
도 19는 제2 표시부에 컨텐츠를 표시하는 동작을 설명하기 위한 도면이다.
도 20 내지 도 21은 다양한 실시예에 따른 전자 장치의 화면 예시도이다.
도 22는 도 4에서 제2 표시부에 컨텐츠를 표시하는 동작의 순서도이다.
도 23 내지 도 29는 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 30은 도 4에서 제2 표시부에 컨텐츠를 표시하는 동작의 순서도이다.
도 31 및 도 32는 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 33 및 도 34는 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 35는 도 4에서 컨텐츠 매핑 동작의 순서도이다.
도 36 내지 도 40은 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 41 내지 도 43은 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 44는 도 4에서 컨텐츠 매핑 동작의 순서도이다.
도 45 내지 도 48은 다양한 실시예에 따른 전자 장치의 화면 예시도들이다.
도 49는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 장치의 블록도이다.
도 50 및 도 51은 본 발명의 다양한 실시예에 따른 동작 방법의 흐름도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치(100)는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치(100)는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치의 블록도를 도시한다. 도 2 및 도 3은 다양한 실시예에 따른 전자 장치의 구현 예를 도시하는 예시도이다.
도 1을 참조하면, 다양한 실시예에 따른 전자 장치(100)는, 통신부(110), GPS 수신부(120), 카메라부(130), 영상처리부(140), 표시부(150), 센서부(160), 저장부(170), 입력부(180) 및 제어부(190)를 포함할 수 있다. 다양한 실시예에 따른 전자 장치(100)는, 물리적 공간에 컨텐츠를 매핑하고 확인할 수 있다.
통신부(110)는 전자 장치(100)에서 무선 통신을 수행할 수 있다. 통신부(110)는 다양한 통신 방식으로, 외부 장치(도시되지 않음)와 통신할 수 있다. 예를 들면, 외부 장치는 전자 장치, 기지국, 서버 및 위성을 포함할 수 있다. 이를 위해, 통신부(110)는 이동 통신망, 데이터 통신망 또는 근거리 통신망 중 적어도 어느 하나에 접속할 수 있다. 예를 들면, 통신 방식은 LTE(Long Term Evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), WiFi(Wireless Fidelity), 블루투스(bluetooth), NFC(Near Field Communications) 또는 GNSS(global navigation satellite system) 등 중 적어도 어느 하나를 포함할 수 있다.
GPS 수신부(120)는 GPS(Global Positioning System)를 통해 전자 장치(100)의 위치를 수신할 수 있다. GPS 수신부(120)는 GPS 대신 Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system) 중 적어도 어느 하나를 포함할 수 있다.
카메라부(130)는 전자 장치(100)에서 영상 데이터를 촬영할 수 있다. 카메라부(130)는 카메라 센서와 신호 처리부를 구비할 수 있다. 카메라 센서는 광 신호를 전기적인 영상 신호로 변환할 수 있다. 신호 처리부는 아날로그의 영상 신호를 디지털의 영상 데이터로 변환할 수 있다. 카메라 센서와 신호 처리부는 일체형으로 구현될 수 있으며, 분리되어 구현될 수도 있다. 예를 들면, 카메라 센서는 CCD 센서 및 CMOS 센서를 포함하고, 신호 처리부는 DSP(Digital Signal Processor)를 포함할 수 있다.
영상처리부(140)은 전자 장치(100)에서 영상 데이터를 표시 데이터로 처리할 수 있다. 영상처리부(140)은 영상 데이터를 프레임 단위로 처리하여, 표시부(150)의 특성 및 크기에 대응시킬 수 있다. 영상처리부(140)은 영상 코덱을 구비하여, 영상 데이터를 압축하거나, 압축된 영상 데이터를 복원할 수 있다. 예를 들면, 영상 코덱은 JPEG 코덱, MPEG4 코덱 및 Wavelet 코덱을 포함할 수 있다.
표시부(150)는 전자 장치(100)에서 표시 데이터를 출력할 수 있다. 표시 데이터는 전자 장치(100)에서 처리되는 정보를 나타낼 수 있다. 예를 들면, 표시부(150)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이 중 적어도 어느 하나를 포함할 수 있다.
표시부(150)는 복수의 표시부(151, 152)를 포함할 수 있다. 예를 들면, 도 2 및 도 3에 도시된 바와 같이, 표시부(150)는 제1 표시부(151) 및 제2 표시부(152)를 포함할 수 있다. 제1 표시부(151) 및 제2 표시부(152) 중 적어도 어느 하나는 터치스크린 형태로 형성되어 사용자로부터 입력신호를 입력할 수 있다. 입력신호가 입력되면, 제어부(190)는 제1 표시부(151) 및 제2 표시부(152) 중 적어도 어느 하나에 입력신호에 대응되는 정보를 표시하도록 제어할 수 있다. 제1 표시부(151) 및 제2 표시부(152)는 기능적으로 연결될 수 있다. 제1 표시부(151) 및 제2 표시부(152)는 전기적 또는 물리적으로 연결될 수 있다. 제1 표시부(151) 및 제2 표시부(152)는 전기적으로 연결되어 구동 전원을 공유할 수 있다. 제2 표시부(152)는 제1 표시부(151)와 연계하여 영상을 표시할 수 있다.
예를 들면, 제1 표시부(151) 및 제2 표시부(152)는 물리적으로 연결될 수 있다. 제1 표시부(151) 및 제2 표시부(152)는 예를 들면, 별도의 케이스를 통하여 서로 연결될 수 있다. 케이스는 접철되도록 형성되어 제1 표시부(151) 및 제2 표시부(152)를 서로 연결할 수 있다. 제1 표시부(151) 및 제2 표시부(152)는 폴딩(folding) 타입으로 연결될 수 있다. 예를 들면, 제2 표시부(152)는 제1 표시부(151)를 열고 닫는 커버 역할을 할 수 있다. 제1 표시부(151) 및 제2 표시부(152)는 상호로부터 탈착가능할 수 있다.
도 3에 도시된 바와 같이, 제1 표시부(151)는 다양한 컨텐츠(311, 312, 313)들을 표시할 수 있다. 컨텐츠(311, 312, 313)들은 전자 장치(100)에서 실행 중인 복수 개의 어플리케이션들에 대응될 수 있다. 또는, 컨텐츠들은 텍스트, 이미지, 비디오, 아이콘 또는 심볼 등일 수 있다. 제2 표시부(152)는 투명하게 구현될 수 있다. 제2 표시부(152)는 배경, 인물 또는 사물 등을 투영할 수 있다. 예를 들면, 전자 장치(100)가 댁내 공간에 위치하는 경우, 제2 표시부(152)에는 사용자가 제2 표시부(152)를 통해 바라보는 댁내 공간의 모습이 투영될 수 있다. 제2 표시부(152)는 다양한 기능을 실행할 수 있는 기능 아이콘(321)들을 표시할 수도 있다. 예를 들면, 기능 아이콘(321)들은 카메라부(130)를 활성화시키는 아이콘, SNS 기능을 활성화시키는 아이콘 또는 특화된 기능을 수행할 수 있는 아이콘 등을 포함할 수 있다.
다시 도 1을 참조하면, 센서부(160)는 예를 들면, 물리량을 계측하거나 전자 장치(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서부(160)는, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서부(160)는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서부(160)는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
저장부(170)는 전자 장치(100)의 동작 프로그램들을 저장할 수 있다. 저장부(170)는 공간에 정보를 매핑하거나 확인하기 위한 프로그램을 저장할 수 있다. 저장부(170)는 프로그램들을 수행하는 중에 발생되는 데이터를 저장할 수 있다. 저장부(170)는 매핑 정보를 저장할 수 있다. 매핑 정보는 위치 정보 및 해당 위치에서 매핑된 컨텐츠를 포함하는 개념이다. 따라서, 저장부(170)는 위치 정보 및 해당 위치에서 매핑된 컨텐츠를 저장할 수 있다.
입력부(180)는 전자 장치(100)에서 입력 데이터를 발생할 수 있다. 입력부(180)는 전자 장치(100)의 사용자 입력에 대응하여, 입력 데이터를 발생할 수 있다. 예를 들면, 입력부(180)는 키 패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치 패널(touch panel), 조그 셔틀(jog & shuttle) 및 센서(sensor)를 포함할 수 있다. 입력부(180)는 표시부(150)와 결합되어, 터치 스크린(touch screen)으로 구현될 수 있다.
제어부(190)는 전자 장치(100)에서 전반적인 동작을 제어할 수 있다. 이 때 제어부(190)는 다양한 기능들을 수행할 수 있다. 이를 위해, 제어부(190)는 전자 장치(100)의 구성요소들을 제어할 수 있다. 그리고 제어부(190)는 전자 장치(100)의 구성요소들로부터 명령 또는 데이터를 수신하여, 처리할 수 있다. 제어부(190)는 위치 정보를 결정할 수 있다. 제어부(190)는 통신부(110), GPS 수신부(120), 카메라부(130), 영상처리부(140) 및 센서부(160) 중 적어도 어느 하나를 통해 위치 정보를 획득할 수 있다. 제어부(190)는 위치 정보 결정부(191)를 포함할 수 있다. 제어부(190)는 위치 정보를 결정하여 컨텐츠를 매핑할 수 있다. 제어부(190)는 위치 정보를 결정하여 해당 위치에 매핑된 컨텐츠를 표시하도록 제어할 수 있다. 제어부(190)는 저장부((170)를 통해 결정된 위치 정보에 매핑된 컨텐츠를 검출할 수 있다.
도 4는 다양한 실시예에 따른 전자 장치의 동작 방법의 수행 절차를 도시하는 순서도이다.
도 4에 도시된 바와 같이, 제어부(190)는 411 동작에서 위치 정보를 결정할 수 있다. 위치 정보는 전자 장치(100)의 위치, 전자 장치(100)의 방향성 또는 오브젝트 중 적어도 어느 하나를 포함하는 개념일 수 있다. 즉, 위치 정보는, GPS 수신부(120) 또는 통신부(110)를 통해 결정된 전자 장치(100)의 위치를 포함하는 개념일 수 있다. 또는, 위치 정보는, 센서부(160)를 통해 결정된 전자 장치(100)의 방향성을 포함하는 개념일 수 있다. 또는, 위치 정보는, 통신부(110)를 통해 근거리 통신 가능한 외부 장치 및/또는 카메라부(130)를 통해 얻어진 영상 이미지를 포함하는 개념일 수 있다. 제어부(190)는 주기적으로 위치 정보를 결정할 수 있다. 또는, 제어부(190)는 전자 장치(100) 사용자의 요청에 대응하여, 위치 정보를 결정할 수도 있다.
도 5는 도 4에서 위치 정보 결정 동작의 순서도이다.
도 5에 도시된 바와 같이, 제어부(190)는 511 동작에서 전자 장치(100)의 위치를 결정할 수 있다. 전자 장치(100)의 위치는 예를 들면, GPS 수신부(120)를 통해 위성으로부터 주기적으로 또는 특정 시점에 수신하여 결정할 수 있다. 전자 장치(100)의 위치는, 전자 장치(100)가 위치한 지점의 경도, 위도, 고도, 좌표값, 시간 정보 또는 속도 정보 중 적어도 어느 하나가 포함될 수 있다. 또는, 제어부(190)는 통신부(110)로부터 수신되는 신호로 전자 장치(100)의 위치를 판단할 수 있다. 예를 들면, 도 6에 도시된 바와 같이, 제어부(190)는 주변 외부 장치들(600)로부터 수신되는 신호를 이용하여, 외부 장치들(600)과의 거리 및 방향을 산출할 수 있다. 즉, 제어부(190)는 외부 장치들(600)로부터 근거리 통신 인프라, 예컨대 블루투스(Bluetooth, BT) 또는 지그비(zigbee)를 통해 외부 장치들(600)과 통신할 수 있다. 예를 들면, 제어부(190)는 외부 장치들(600)들로부터 수신되는 신호의 RSSI(received signal strength indication), 를 측정하여, 외부 장치들(600)과의 거리 및 방향을 산출할 수 있다. 이를 통해, 제어부(190)는 삼각 측량법으로 전자 장치(100)의 위치를 결정할 수 있다.
제어부(190)는 511 동작에서 전자 장치(100)의 방향성을 결정할 수 있다. 앞서 설명한 바와 같이, 전자 장치(100)의 위치 정보는 전자 장치(100)의 방향성를 추가적으로 고려한 정보일 수 있다. 즉, 전자 장치(100)의 위치는 전자 장치(100)가 향해 있는 방향(또는 바라보고 있는 방향)의 방위 및 전자 장치(100)의 지면으로부터의 각도를 더 포함할 수 있다. 제어부(190)는 전자 장치(100)의 방향성을 센서부(160)를 통해 결정할 수 있다. 예를 들면, 제어부(190)는 움직임 감지 센서 또는 제스처 센서를 이용하여 전자 장치(100)의 방향성을 결정할 수 있다. 제어부(190)는 전자 장치(100)가 향해 있는 방향을 동, 서, 남, 북, 상, 하 중 적어도 어느 하나로 결정할 수 있다. 또는, 제어부(190)는 자이로 센서 또는 가속도 센서를 통해 전자 장치(100)의 회전각 또는 방위 변화를 결정할 수 있다. 또는, 제어부(190)는 지자기 센서를 통해 전자 장치(100)의 방위를 결정할 수 있다. 즉, 제어부(190)는 지자기 센서를 통해 지자기 방향 또는 고도 변화 등을 감지하여 전자 장치(100)의 방향성을 결정할 수 있다.
다음으로, 제어부(190)는 513 동작에서 오브젝트를 결정할 수 있다. 오브젝트는 근거리 통신 가능한 외부 장치 또는 피사체로부터 얻어진 영상 이미지일 수 있다. 한편, 제어부(190)는 511 동작에서 결정한 전자 장치(100)의 위치 및/또는 전자 장치(100)의 방향성만으로 위치 정보를 결정하는 경우, 제어부(190)는 513 동작을 생략할 수도 있다.
도 7은 도 5에서 오브젝트 결정 동작의 순서도이다. 도 8은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도이다. 도 7은 오브젝트가 예를 들면, 근거리 통신 가능한 외부 장치일 경우를 도시한다. 근거리 통신 가능한 외부 장치는, 예를 들면, 통신 모듈을 구비한 TV, PC, 노트북, 블루투스 스피커 또는 오디오 등의 전자 장치(100) 또는 기지국 등일 수 있다.
도 7에 도시된 바와 같이, 제어부(190)는 711 동작에서 통신부(110)를 온(on) 상태로 활성화할 수 있다. 다음으로, 제어부(190)는 712 동작에서 신호를 수신할 수 있다. 즉, 제어부(190)는 712 동작에서 근거리 통신과 관련된 신호를 수신할 수 있다. 제어부(190)는 713 동작에서 수신한 근거리 통신 주소들의 리스트를 출력할 수 있다. 즉, 제어부(190)는 713 동작에서 오브젝트 리스트를 출력할 수 있다. 오브젝트 리스트는, 추후 컨텐츠 매핑 시 선택 가능한 후보 오브젝트일 수 있다. 리스트에는, 제2 표시부(152)에 투영되는 노트북(810)과 같은 외부 장치를 통한 근거리 통신이 포함될 수 있다. 따라서, 제어부(190)는 511 동작에서 결정된 전자 장치(100)의 위치 및 513 동작에서 결정된 오브젝트를 통해 위치 정보를 결정할 수 있다. 즉, 제어부(190)는 511 동작에서 결정된 전자 장치(100)의 위치 및 712 동작에서 수신한 근거리 통신들의 리스트를 통해 위치 정보를 결정할 수 있다.
도 9는 도 5에서 오브젝트 결정 동작의 순서도이다. 도 10은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도이다. 도 9는 오브젝트가 예를 들면, 피사체로부터 얻어진 영상 이미지일 경우를 도시한다.
도 9에 도시된 바와 같이, 제어부(190)는 911 동작에서 카메라부(130)를 온(on) 상태로 활성화할 수 있다. 다음으로, 제어부(190)는 912 동작에서 카메라부(130)가 피사체에 대응하는 영상 촬영을 하도록 제어할 수 있다. 도 10에 도시된 바와 같이, 제1 표시부(151)는 다양한 컨텐츠(1011, 1012, 1013)들을 표시하고, 제2 표시부(152)는 카메라부(130)가 촬영하고자 하는 피사체가 투영될 수 있다. 즉, 카메라부는 제2 표시부(152)에 투영되는 피사체(예를 들면, 곰인형, 컵)를 영상 촬영할 수 있다.
다음으로, 제어부(190)는 912 동작에서 카메라부(130)로부터 영상 데이터를 획득할 수 있다. 즉, 제어부(190)는 카메라부(130)의 촬영에 대응하여 영상 데이터를 획득할 수 있다.
다음으로, 제어부(190)는 913 동작에서 획득한 영상 데이터 내에서 이미지(1010, 1015)를 분석할 수 있다. 제어부(190)는 영상 데이터 내에 파싱(parsing) 가능한 이미지가 있는지 분석할 수 있다.
다음으로, 제어부(190)는 914 동작에서 오브젝트가 존재하는지 결정할 수 있다. 즉, 제어부(190)는 914 동작에서 파싱 이미지가 존재하는지 결정할 수 있다.
제어부(190)는 915 동작에서 파싱 이미지(1010, 1015)가 존재하는 경우, 파싱 이미지(1010, 1015)를 후보 오브젝트로 결정할 수 있다. 제어부(190)는 파싱된 이미지(1010, 1015)를 강조하여 표시할 수 있다. 예를 들면, 제어부(190)는 파싱된 이미지(1010, 1015)의 테두리를 굵은 선으로 표시하거나, 파싱된 이미지(1010, 1015)의 테두리에 깜빡이는 표시를 함으로써, 강조할 수 있다. 제어부(190)는 파싱된 이미지(1010, 1015)를 컨텐츠 매핑이 가능한 오브젝트로 결정할 수 있다. 제어부(190)는 파싱된 이미지(1010, 1015)의 크기, 형태 또는 색상 등을 종합적으로 고려하여 오브젝트로 결정할 수 있다. 따라서, 제어부(190)는 511 동작에서 결정된 전자 장치(100)의 위치 및 513 동작에서 결정된 후보 오브젝트를 통해 위치 정보를 결정할 수 있다. 즉, 제어부(190)는 511 동작에서 결정된 전자 장치(100)의 위치 및 913 동작에서 획득한 파싱된 이미지(1010, 1015)를 통해 위치 정보를 결정할 수 있다.
다시 도 4를 참조하면, 제어부(190)는 412 동작에서 제1 표시부(151)에 컨텐츠를 표시할 수 있다. 앞서 설명한 도 3, 도 8 및 도 10에 도시된 바와 같이, 제어부(190)는 제1 표시부(151)에 다양한 컨텐츠(311, 312, 313, 811, 812, 813, 1011, 102, 1013)를 표시할 수 있다. 제어부(190)는 위치 정보에 대응하여, 매핑 가능한 컨텐츠를 제1 표시부(151)에 표시할 수 있다. 또는 제어부(190)는 제2 표시부(152)에 표시된 컨텐츠와 연계된 정보를 제1 표시부(151)에 표시할 수도 있다.
제어부(190)는 413 동작에서, 결정된 위치 정보에 매핑된 컨텐츠가 존재하는지 여부를 결정할 수 있다. 예를 들면, 제어부(190)는 전자 장치(100)의 저장부(170)를 통해 위치 정보에 대응하는 컨텐츠가 존재하는지 결정할 수 있다. 또는, 제어부(190)는 근거리 통신이 가능한 오브젝트와의 신호 송수신을 통해 해당 오브젝트에 매핑된 컨텐츠가 존재하는지 결정할 수 있다. 또는, 제어부(190)는 파싱 이미지와 대응되는 오브젝트에 매핑된 컨텐츠가 존재하는지 결정할 수 있다. 이때, 파싱 이미지와 컨텐츠가 매핑된 오브젝트는, 서로의 크기, 형태 또는 색상 등 다양한 정보를 비교함으로써 결정할 수 있다. 또는, 제어부(190)는 외부 장치로부터 수신한 신호를 통해 위치 정보에 대응하는 컨텐츠가 존재하는지 결정할 수 있다. 외부 장치에 매핑된 컨텐츠가 존재하는 경우, 전자 장치(100)는 외부 장치(2301)로부터 신호를 수신하고 제어부(190)는 외부 장치(2301)를 통해 매핑된 컨텐츠가 존재함을 결정할 수 있다.
매핑된 컨텐츠가 존재하는 경우, 제어부(190)는 414 동작에서 제2 표시부(152)에 매핑된 컨텐츠를 표시할 수 있다. 제2 표시부(152)에 매핑된 컨텐츠를 표시하는 동작은, 전자 장치(100)의 위치를 통해 결정된 위치 정보에 매핑된 컨텐츠가 존재하는 경우이거나, 전자 장치(100)의 위치 및 앞서 712 동작에서 출력한 근거리 통신이 가능한 후보 오브젝트를 통해 결정된 위치 정보에 매핑된 컨텐츠가 존재하는 경우에 따라 달라질 수 있다. 또는, 전자 장치(100)의 위치 및 앞서 913 동작에서 파싱된 이미지인 후보 오브젝트를 통해 결정된 위치 정보에 매핑된 컨텐츠가 존재하는 경우에 따라 달라질 수도 있다. 또는, 외부 장치에 매핑된 컨텐츠가 존재하는 경우에 따라 달라질 수도 있다. 또는, 외부로부터 수신한 메시지에 매핑된 컨텐츠가 존재하는 경우에 따라 달라질 수 있다.
도 11은 도 4에서 제2 표시부(152)에 컨텐츠를 표시하는 동작의 순서도이다. 도 12 및 도 13은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 11 내지 도 13은 전자 장치(100)의 위치를 통해 결정된 위치 정보에 매핑된 컨텐츠가 존재하는 경우를 설명하기 위해 도시한다.
도 11에 도시된 바와 같이, 제어부(190)는 1111 동작에서. 제2 표시부(152)가 오프(OFF) 상태인지 여부를 판단할 수 있다.
제2 표시부(152)가 오프 상태인 것으로 판단한 경우, 제어부(190)는 1112 동작에서, 제2 표시부(152)를 온(ON) 상태로 변경할 수 있다. 즉, 제어부(190)는 1112 동작에서 제2 표시부(152)를 활성화할 수 있다.
한편, 제2 표시부(152)가 오프 상태가 아닌 것으로 판단한 경우, 제어부(190)는 1113 동작을 수행할 수 있다. 제어부(190)는 1113 동작에서, 제2 표시부(152)가 오픈(open) 상태인지 여부를 판단할 수 있다. 다양한 실시예에 따르면, 제2 표시부(152)는 커버처럼 제1 표시부(151)를 개폐하도록 구현될 수 있다. 제어부(190)는 1113 동작에서 제2 표시부(152)가 오픈 상태가 아닌 것으로 판단한 경우, 1114 동작에서 제2 표시부(152)의 제1 면에 아이콘을 표시할 수 있다. 즉, 도 12에 도시된 바와 같이, 제2 표시부(152)가 오픈 상태가 아닌 닫힌 상태인 경우, 제1 표시부(151) 및 제2 표시부(152)가 겹쳐지도록 배치될 수 있다. 제2 표시부(152)가 투명하므로, 제2 표시부(152)가 닫힌 상태인 경우라도 사용자는 제1 표시부(151)에 표시되는 다양한 컨텐츠(1201, 1202, 1203)들을 확인할 수 있다. 제2 표시부(152)는 닫힌 상태에서 전면(사용자와 마주하는 면)인 제1 면(1211)에, 매핑된 컨텐츠가 존재함을 알릴 수 있는 적어도 하나의 아이콘(1221, 1222, 1223)을 표시할 수 있다. 예를 들면, 결정된 위치 정보에 일정 컨텐츠, 뉴스 컨텐츠 및 컨택 컨텐츠가 매핑된 경우, 제어부(190)는 제2 표시부(152)의 제1 면(1211)에 일정 컨텐츠가 매핑되었음을 알리는 아이콘(1221), 뉴스 컨텐츠가 매핑되었음을 알리는 아이콘(1222) 및 컨텍 컨텐츠가 매핑되었음을 알리는 아이콘(1223)을 표시할 수 있다. 한편, 실시예가 이에 한정되는 것은 아니고, 제어부(190)는 다양한 방식으로 매핑된 컨텐츠가 있음을 알릴 수 있도록 표시할 수 있다. 제어부(190)는 1115 동작에서 제2 표시부(152)가 오픈 상태로 전환되는지 여부를 판단할 수 있다. 즉, 제어부(190)는 제2 표시부(152)가 오픈 상태로 변경되었는지 결정할 수 있다.
제2 표시부(152)가 오픈 상태로 변경된 것으로 판단한 경우, 제어부(190)는 1116 동작에서, 제2 표시부(152)에 컨텐츠를 표시할 수 있다. 한편, 제어부(190)는 1113 동작에서, 제2 표시부(152)가 오픈 상태인 것으로 판단한 경우, 제어부(190)는 1116 동작을 수행할 수 있다. 도 13에 도시된 바와 같이, 제2 표시부(152)가 오픈 상태로 변경된 경우, 제1 표시부(151) 및 제2 표시부(152)는 겹치지 않도록 배치될 수 있다. 즉, 제1 표시부(151) 및 제2 표시부(152)는 펼쳐진 형태일 수 있다. 제2 표시부(152)는 열린 상태에서 전면(사용자와 마주하는 면)인 제2 면(1311)에 매핑된 컨텐츠(1331, 1332, 1333)를 표시할 수 있다. 즉, 제2 표시부(152)는 제1 면(1211)의 반대되는 면인 제2 면(1311)에 매핑된 컨텐츠(1331, 1332, 1333)를 표시할 수 있다. 예를 들면, 결정된 위치 정보에 일정 컨텐츠, 뉴스 컨텐츠 및 컨택 컨텐츠가 매핑된 경우, 제2 표시부(152)의 제2 면(1311)에 일정 컨텐츠(1331), 뉴스 컨텐츠(1332) 및 컨택 정보(1333)를 표시할 수 있다.
도 14는 도 4에서 제2 표시부(152)에 컨텐츠를 표시하는 동작의 순서도이다. 도 15 및 도 16은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 17은 제2 표시부(152)에 컨텐츠를 표시하는 동작을 설명하기 위한 도면이다. 도 18은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도이다. 도 19는 제2 표시부(152)에 컨텐츠를 표시하는 동작을 설명하기 위한 도면이다. 도 20 내지 도 21은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도이다. 도 14 내지 도 20은 전자 장치(100)의 위치 및 근거리 통신이 가능한 후보 오브젝트를 통해 결정된 위치 정보에 매핑된 컨텐츠가 존재하는 경우를 설명하기 위해 도시한다.
도 14에 도시된 바와 같이, 제어부(190)는 1411 동작에서 제2 표시부(152)가 오프(OFF) 상태인지 여부를 판단할 수 있다.
제2 표시부(152)가 오프 상태인 것으로 판단한 경우, 제어부(190)는 1412 동작에서, 제2 표시부(152)를 온(ON) 상태로 변경할 수 있다. 즉, 제어부(190)는 1412 동작에서 제2 표시부(152)를 활성화할 수 있다.
제어부(190)는 1413 동작에서, 제2 표시부(152)가 오픈(open) 상태인지 여부를 판단할 수 있다. 제어부(190)는 1413 동작에서 제2 표시부(152)가 오픈 상태가 아닌 것으로 판단한 경우, 1414 동작에서 제2 표시부(152)의 제1 면에 아이콘을 표시할 수 있다. 즉, 도 15에 도시된 바와 같이, 제2 표시부(152)가 오픈 상태가 아닌 닫힌 상태인 경우, 제1 표시부(151) 및 제2 표시부(152)가 겹쳐지도록 배치될 수 있다. 제2 표시부(152)가 투명하므로, 제2 표시부(152)가 닫힌 상태인 경우라도 사용자는 제1 표시부(151)에 표시되는 다양한 컨텐츠(1501, 1502, 1503)들을 확인할 수 있다. 제2 표시부(152)는 닫힌 상태에서 전면인 제1 면(1211)에, 매핑된 컨텐츠가 존재함을 알릴 수 있는 적어도 하나의 아이콘(1510)을 표시할 수 있다. 예를 들면, 전자 장치(100)의 위치 및 근거리 통신이 가능한 오브젝트(1520)를 통해 결정된 위치 정보에 음악 컨텐츠가 매핑된 경우, 제어부(190)는 제2 표시부(152)의 제1 면(1211)에 음악 컨텐츠가 매핑되었음을 알리는 아이콘(1510)을 표시할 수 있다. 근거리 통신이 가능한 오브젝트(1520)는 예를 들면, 블루투스 오디오 등의 전자 장치일 수 있다.
제어부(190)는 1415 동작에서 제2 표시부(152)가 오픈 상태인지 판단할 수 있다. 즉, 제어부(190)는 제2 표시부(152)가 오픈 상태로 변경되었는지 판단할 수 있다.
제2 표시부(152)가 오픈 상태로 변경된 경우, 제어부(190)는 1416 동작에서, 제2 표시부(152)에 표시할 정보를 결정할 수 있다. 이는 오브젝트(1520)와 전자 장치(100) 사이의 거리를 결정함으로써 결정할 수 있다. 제어부(190)는, 오브젝트(1520) 및 전자 장치(100) 사이의 거리를 신호 세기를 통해 결정할 수 있다. 예를 들면, 제어부(190)는 오브젝트(1520)의 신호 세기가 커질수록 오브젝트(1520) 및 전자 장치(100) 사이의 거리가 가깝다고 결정할 수 있다. 또는, 제어부(190)는 오브젝트(1520)의 신호 세기가 임계값보다 작다고 결정한 경우, 제어부(190)는 오브젝트(1520)와 전자 장치(100) 사이의 거리가 먼 것으로 결정할 수 있다. 또는, 제어부(190)는 오브젝트(1520)의 신호 세기가 임계값보다 크다고 결정한 경우, 제어부(190)는 오브젝트(1520)와 전자 장치(100) 사이의 거리가 가깝다고 결정할 수 있다. 제어부(190)는 결정한 오브젝트(1520) 및 전자 장치(100) 사이의 거리에 따라, 제2 표시부(152)에 표시하는 컨텐츠의 수준 또는 내용을 다르게 할 수 있다. 예를 들면, 도 16 및 도 17에 도시된 바와 같이, 제어부(190)는 1416 동작에서 오브젝트(1520)의 신호 세기에 따라, 전자 장치(100) 및 오브젝트(1520) 사이의 거리(D1)가 먼 것으로 결정한 경우, 제2 표시부(152)에 음악 컨텐츠(1610)에 대한 대표 항목 또는 대표 내용만을 표시하는 것으로 결정할 수 있다. 제어부(190)는 1417 동작에서 결정된 컨텐츠를 표시할 수 있다. 즉, 제어부(190)는 제2 표시부(152)에 음악 컨텐츠(1610)에 대한 대표 항목 또는 내용만을 표시할 수 있다.
또 다른 예를 들면, 도 18 및 도 19에 도시된 바와 같이, 제어부(190)는 1416 동작에서 오브젝트(1520)의 신호 세기에 따라, 전자 장치(100) 및 오브젝트(1520) 사이의 거리(D2)가 가까운 것으로 결정한 경우, 제2 표시부(152)에 음악 컨텐츠(1610)에 대한 상세 항목 또는 상세 내용을 표시하는 것으로 결정할 수 있다. 제어부(190)는 1417 동작에서 결정된 컨텐츠를 표시할 수 있다. 즉, 제어부(190)는 제2 표시부(152)에 음악 컨텐츠(1610)에 대한 상세 항목 또는 확장된 내용을 표시할 수 있다.
도 20에 도시된 바와 같이, 통신 가능한 오브젝트가 노트북(2020)이고, 전자 장치(100)의 위치 및 노트북(2020)의 통신 주소를 통해 매핑된 컨텐츠가 존재하는 경우, 제어부(190)는 1417 동작에서 제2 표시부(152)에 매핑된 컨텐츠(2010)를 표시할 수 있다. 한편, 앞서, 도 7의 713에서 후보 오브젝트가 복수개이고, 복수의 후보 오브젝트에 매핑된 컨텐츠가 복수개 존재하는 경우, 이를 모두 표시할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 제2 표시부(152)에 노트북(2020)이 투영되는 경우, 해당 노트북(2020)에 매핑된 컨텐츠가 있다는 표시도 함께 확인할 수 있어 사용자 경험을 확대할 수 있다. 따라서, 사용자는 제2 표시부(152)를 통해 매핑된 정보를 해당 오브젝트와 함께 확인할 수 있는 실감형 사용자 인터페이스를 구현할 수 있다.
도 21은 전자 장치(100)의 위치 및 파싱 이미지인 오브젝트를 통해 결정된 위치 정보에 매핑된 컨텐츠가 존재하는 경우를 설명하기 위해 도시한다. 도 21에 도시된 바와 같이, 오브젝트(2120)가 피사체로부터 얻어진 파싱 이미지이고, 이러한 오브젝트(2120)에 매핑된 컨텐츠가 있는 경우, 제어부(190)는 1417 동작에서 매핑된 컨텐츠(2111, 2112, 2113)를 표시할 수 있다. 다양한 실시예에 따르면, 매핑된 컨텐츠(2111, 2112, 2113)가 복수개인 경우, 제어부(190)는 제2 표시부(152)에 매핑된 복수개의 컨텐츠(2111, 2112, 2113) 정보를 표시할 수 있다. 예를 들면, 전자 장치(100)의 위치 및 곰 인형의 오브젝트(2120)으로부터 얻어진 파싱 이미지에 매핑된 컨텐츠가 ‘Happy birthday’라는 메모 컨텐츠(2111), 디자인 컨텐츠(2112) 및 음악 컨텐츠(2113)인 경우, 제어부(190)는 이러한 컨텐츠를 모두 표시할 수 있다.
도 22는 도 4에서 제2 표시부(152)에 컨텐츠를 표시하는 동작의 순서도이다. 도 23 내지 도 29는 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 22 내지 도 29는 외부 장치에 매핑된 컨텐츠가 존재하는 경우를 설명하기 위해 도시한다.
도 22에 도시된 바와 같이, 제어부(190)는 2211 동작에서 외부 장치(2301)로부터 컨텐츠를 수신할 수 있다. 즉, 외부 장치(2301)는 매핑된 컨텐츠를 저장하고, 신호를 주변에 수시로 또는 주기적으로 송신할 수 있다. 전자 장치(100)는 외부 장치(2301)로부터 신호를 수신하고 피드백을 외부 장치(2301)에 송신하는 경우, 외부 장치(2301)는 저장된 컨텐츠를 송신할 대상이 있다고 결정할 수 있다. 외부 장치(2301)는 결정한 전자 장치(100)에 저장된 컨텐츠를 송신하고, 제어부(190)는 2211 동작에서 외부 장치(2301)로부터 저장된 컨텐츠를 수신할 수 있다. 예를 들면, 도 23에 도시된 바와 같이, 댁내 일정 공간에 외부 장치(2301)가 구비되는 경우, 전자 장치(100)가 댁내 일정 공간 근처에 배치되면, 제어부(190)는 외부 장치(2301)로부터 저장된 컨텐츠를 수신할 수 있다.
이후, 2212 동작, 2213 동작, 2214 동작, 2215 동작 및 2216 동작은 앞서 설명한 1111 동작, 1112 동작, 1113 동작, 1114 동작 및 1115 동작에 각각 대응될 수 있다. 이에, 2212 동작, 2213 동작, 2214 동작, 2215 동작 및 2216 동작에 대하여, 상세한 설명을 생략할 수 있다.
제어부(190)는 2217 동작에서 제2 표시부(152)에 컨텐츠를 표시할 수 있다. 예를 들면, 도 23에 도시된 바와 같이, 제어부(190)는 제2 표시부(152)에 댁내 일정 공간에 구비되는 외부 장치로부터 수신한 컨텐츠를 표시할 수 있다. 예를 들면, 외부 장치(2301)가 댁내 벽에 구비되는 경우, 전자 장치(100)가 벽 근처에 다가가면 제2 표시부(152)는 컨텐츠(2311, 2312) 정보를 표시할 수 있다. 컨텐츠(2311, 2312)는 댁내 공간을 공유하는 가족들의 사진 컨텐츠일 수 있다. 따라서, 외부 장치(2301)에 가족들의 사진을 매핑하고, 외부 장치(2301)로부터 가족들의 사진을 공유할 수 있다.
한편, 외부 장치(2301)로부터 컨텐츠를 수신하여 표시하는 경우, 도 4의 411 동작인 위치 정보를 결정하는 동작은 생략할 수도 있다. 또는, 도 4의 411 동작인 위치 정보를 결정하는 동작에서, 전자 장치(100)의 위치 중 전자 장치(100)의 방향성만을 고려할 수도 있다. 즉, 제어부(190)는 411 동작에서, 센서부(160)를 통해 감지한 전자 장치(100)가 향해 있는 방향, 방위 또는 회전각 등 전자 장치(100)의 방향성만을 결정할 수 있다. 결정된 전자 장치(100)의 방향성을 고려하여, 제어부(190)는 제2 표시부(152)에 표시되는 컨텐츠(2311, 2312)의 기울기, 방향 또는 크기 등을 결정할 수 있다.
전자 장치(100)의 방향성에 따라, 표시되는 컨텐츠(2311, 22312)의 형태를 달리함으로써, 사용자 인터렉션을 확대할 수 있다. 또한, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 외부 장치(2301)가 배치되는 댁내 벽이 제2 표시부(152)에 투영되는 경우, 해당 벽 및 매핑된 컨텐츠를 제2 표시부(152)에서 함께 확인할 수 있어 사용자 경험을 확대할 수 있다. 따라서, 제2 표시부(152)를 통해, 사용자가 해당 벽에 컨텐츠가 표시되는 것처럼 자각할 수 있도록 유도하는 실감형 사용자 인터페이스를 구현할 수 있다.
도 24 및 도 25에 도시된 바와 같이, 외부 장치가 상점에 구비되고, 상점과 관련된 컨텐츠가 외부 장치에 매핑된 경우, 상점에 방문한 사용자의 전자 장치(100)는 매핑된 컨텐츠를 표시할 수 있다. 즉, 제어부(190)는 별도의 어플리케이션 없이도 외부 장치를 통해 상점과 관련된 컨텐츠를 표시할 수 있다. 예를 들면, 상점에 위치한 해당 전자 장치(100)의 제어부(190)는 상점의 외부 장치로부터 상점과 관련된 정보(예를 들면, 해당 상점에 적립된 포인트, 지출액, 해당 상점에서 사용 가능한 쿠폰 또는 해당 상점에서 지출 내역 등)를 제공받을 수 있다. 한편, 상점과 관련된 정보는 전자 장치(100) 사용자의 고유 정보일 수 있고, 제어부(190)가 외부 장치에 전자 장치(100)의 고유 식별 정보를 전송함으로써, 제공받도록 할 수 있다. 제어부(190)는 제1 표시부(151)에 상점과 관련된 정보를 표시할 수 있다. 또한, 전자 장치(100)는 결정된 위치 정보를 외부 장치에 제공함으로써, 외부 장치로부터 해당 위치 정보와 관련된 컨텐츠를 전송받을 수 있다. 제어부(190)는 이를 제2 표시부(152)에 표시할 수 있다. 예를 들면, 제어부(190)는 외부 장치를 통해 제2 표시부(152)에 상점에 진열된 상품(2421, 2422)의 가격 정보(2431, 2432) 등을 표시할 수 있다. 또는, 제어부(190)는 외부 장치를 통해 제2 표시부(152)에 상점에 진열된 상품(2423)의 할인 정보(2433)를 표시할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 상점에 진열된 상품이 제2 표시부(152)에 투영되는 경우, 해당 상품 및 해당 상품과 관련된 컨텐츠를 제2 표시부(152)에서 함께 확인할 수 있어 사용자 경험을 확대할 수 있다. 따라서, 제2 표시부(152)를 통해, 사용자가 해당 상품에 컨텐츠가 표시되는 것처럼 자각할 수 있도록 유도하는 실감형 사용자 인터페이스를 구현할 수 있다. 또한, 스마트 시티(smart city) 인프라를 구축할 수 있다.
한편, 도 25를 참조하면, 외부 장치는 전자 장치(100)의 결정된 위치 정보를 통해 전자 장치(100)가 진열 상품과 근접하는지 여부를 결정하여, 전자 장치(100)와 진열 상품과의 거리에 따라 다른 컨텐츠를 제공할 수 있다. 예를 들면, 전자 장치(100)의 결정된 위치 정보를 통해 전자 장치(100)가 진열 상품(2422)과 근접한 것으로 결정한 경우, 전자 장치(100)의 제어부(190)는 외부 장치로부터 진열 상품(2422)과 관련된 확장된 컨텐츠(2511, 2512, 2513) 또는 확장된 기능(2514)을 제공받을 수 있다.
한편, 본 발명의 다양한 실시예에 따르면, 도 26에 도시된 바와 같이, 제어부(190)는 전자 장치(100)에 매핑된 컨텐츠 및 외부 장치로부터 수신한 컨텐츠를 제2 표시부(152)에 함께 표시할 수도 있다. 예를 들면, 전자 장치(100)의 위치 정보(예를 들면, 상점 위치)에 매핑된 컨텐츠(예를 들면, ‘구매할 상품 List’ (2611))가 존재하는 경우, 제어부(190)는 결정된 위치 정보에 따라 제2 표시부(152)에 ‘구매할 상품 List’(2611)를 표시할 수 있다. 또한, 제어부(190)는 상점의 외부 장치가 제공하는 컨텐츠(예를 들면, 할인/행사 정보 또는 shop 연락처)(2612, 2613)를 수신하여 표시할 수도 있다.
다양한 실시예에 따르면, 도 27에 도시된 바와 같이, 제어부(190)는 다양한 장소에서의 외부 장치를 통해 제2 표시부(152)에 매핑된 컨텐츠(2721, 2722, 2723)를 표시할 수 있다. 예를 들면, 외부 장치가 병원에 구비되고, 병원과 관련된 컨텐츠가 외부 장치에 매핑된 경우, 병원에 방문한 사용자의 전자 장치(100)는 매핑된 컨텐츠를 표시할 수 있다. 즉, 제어부(190)는 해당 병원과 관련된 별도의 어플리케이션 없이도 외부 장치를 통해 병원과 관련된 컨텐츠를 표시할 수 있다. 예를 들면, 병원에 방문한 해당 전자 장치(100)의 제어부(190)는 병원의 외부 장치로부터 병원과 관련된 정보(예를 들면, 해당 병원에서 측정한 혈압, 혈당 또는 체온 기록 등)을 제공받을 수 있다. 한편, 병원과 관련된 정보는 전자 장치(100) 사용자의 고유 정보일 수 있고, 제어부(190)가 외부 장치에 전자 장치(100)의 고유 식별 정보를 전송함으로써, 제공받도록 할 수 있다. 또는, 병원과 관련된 정보는 해당 병원의 어플리케이션 또는 건강과 관련된 어플리케이션을 추천하는 정보일 수도 있다. 제어부(190)는 제1 표시부(151)에 병원과 관련된 정보를 표시할 수 있다. 또한, 제어부(190)는 결정된 위치 정보를 외부 장치에 제공함으로써, 외부 장치로부터 해당 위치 정보와 관련된 컨텐츠를 전송받을 수 있다. 제어부(190)는 이를 제2 표시부(152)에 표시할 수 있다. 예를 들면, 제어부(190)는 외부 장치를 통해 제2 표시부(152)에 진료 대기 시간(2721), 대기 위치(2722) 또는 예약 현황(2723) 등을 표시할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 해당 장소의 공간이 제2 표시부(152)에 투영되는 경우, 해당 장소와 관련된 컨텐츠를 제2 표시부(152)에서 함께 확인할 수 있어 사용자 경험을 확대할 수 있다. 따라서, 제2 표시부(152)를 통해, 사용자가 해당 장소에 컨텐츠가 표시되는 것처럼 자각할 수 있도록 유도하는 실감형 사용자 인터페이스를 구현할 수 있다.
다양한 실시예에 따르면, 도 28에 도시된 바와 같이, 제어부(190)는 다양한 장소에서의 외부 장치를 통해 제2 표시부(152)에 매핑된 컨텐츠(2821, 2823)를 표시할 수 있다. 예를 들면, 외부 장치가 호텔에 구비되고, 호텔과 관련된 컨텐츠가 외부 장치에 매핑된 경우, 호텔에 방문한 사용자의 전자 장치(100)는 매핑된 컨텐츠를 표시할 수 있다. 예를 들면, 호텔에 방문한 해당 전자 장치(100)의 제어부(190)는 호텔의 외부 장치로부터 호텔과 관련된 어플리케이션(2711)을 제공받을 수 있다. 제어부(190)는 제1 표시부(151)에 호텔과 관련된 어플리케이션(2711)을 표시할 수 있다. 또한, 제어부(190)는 외부 장치에 전자 장치(100)의 고유 식별 정보를 전송함으로써, 호텔과 관련된 사용자의 고유 정보(예를 들면, 예약 현황)(2821)를 제공받아 제2 표시부(152)에 표시할 수 있다. 또한, 제어부(190)는 결정된 위치 정보를 외부 장치에 제공함으로써, 외부 장치로부터 해당 위치 정보와 관련된 컨텐츠를 전송받을 수 있다. 예를 들면, 제어부(190)는 외부 장치를 통해 제2 표시부(152)에 예약한 방으로 가는 네비게이션 정보(2823) 등을 표시할 수 있다.
한편, 본 발명의 다양한 실시예에 따르면, 도 29에 도시된 바와 같이, 외부 장치가 차와 같은 교통 수단에 구비되고, 차 또는 교통과 관련된 컨텐츠가 외부 장치에 매핑된 경우, 차에 승차한 사용자의 전자 장치(100)는 매핑된 컨텐츠를 표시할 수 있다. 예를 들면, 차 내에 위치한 해당 전자 장치(100)의 제어부(190)는 차의 외부 장치로부터 지도 어플리케이션(2911)을 제공받을 수 있다. 제어부(190)는 제1 표시부(151)에 지도 어플리케이션(2911)을 표시할 수 있다. 또한, 제어부(190)는 별도의 어플리케이션 없이도 외부 장치를 통해 교통과 관련된 컨텐츠를 제2 표시부(152)에 표시할 수 있다. 예를 들면, 차 내에 위치한 해당 전자 장치(100)의 제어부(190)는 차 또는 교통과 관련된 정보(예를 들면, 차 내 현재 온도 및 습도 정보, 적절한 온도 및 습도 추천, 사고 및 교통정체 구간 등의 교통정보, 연락처 등)(2921, 2922, 2923)을 제공받도록 할 수 있다. 또는, 제어부(190)는 외부 장치로부터 함께 차를 사용하는 가족 구성원의 목록, 각 구성원에 맞는 차량 기본 세팅 정보, 오늘의 일정에 따른 목적지 세팅 정보 등을 전송받아 제2 표시부(152)에 표시할 수도 있다.
도 30은 도 4에서 제2 표시부(152)에 컨텐츠를 표시하는 동작의 순서도이다. 도 31 및 도 32는 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 30 내지 도 32는 외부로부터 수신한 메시지에 매핑된 컨텐츠가 존재하는 경우를 설명하기 위해 도시한다.
도 30에 도시된 바와 같이, 3011 동작, 3012 동작, 3013 동작, 3014 동작 및 3015 동작은 앞서 설명한 1111 동작, 1112 동작, 1113 동작, 1114 동작 및 1115 동작에 각각 대응될 수 있다.
제어부(190)는 3016 동작에서 제2 표시부(152)에 메시지(3111)를 표시할 수 있다. 즉, 도 31에 도시된 바와 같이, 제2 표시부(152)는 열린 상태에서 전면인 제2 면(1311)에 해당 위치 정보에 매핑된 메시지(3111)를 표시할 수 있다. 또는, 도 32에 도시된 바와 같이, 제2 표시부(152)의 제2 면(1311)에 해당 위치 정보에 매핑된 메시지의 내용(3211)을 표시할 수도 있다. 제1 표시부(151)는 메시지가 매핑된 위치 정보와 관련된 화면을 표시할 수 있다. 즉, 제1 표시부(151)는 메시지가 매핑된 위치 정보와 현재 전자 장치(100)의 위치 정보 등을 표시할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감 있는 감성적 커뮤니케이션을 제공할 수 있다. 즉, 실제 공간 또는 사물에 매핑된 매시지가 존재하고, 제2 표시부(152)에 해당 공간 또는 해당 사물이 투영되는 경우 매핑된 메시지를 표시함으로써, 사용자에게 정서적 친밀감을 제공할 수 있다.
이어서, 도 4를 참조하면, 제어부(190)는 415 동작에서, 입력이 수신되는지 결정할 수 있다. 제어부(190)는 전자 장치(100)의 제1 표시부(151) 또는 제2 표시부(152)에 사용자 입력이 수신되는지 감지할 수 있다. 제어부(190)는 입력이 수신되지 않는 것으로 결정하는 경우, 411 동작으로 돌아가 위치 정보를 결정할 수 있다.
한편, 제어부(190)는 입력이 수신되는 것으로 결정하는 경우, 416 동작에서 수신된 입력이 컨탠츠 매핑을 위한 입력인지 여부를 결정할 수 있다. 컨텐츠 매핑을 위한 입력은 미리 설정할 수 있다. 예를 들면, 제1 표시부(151) 및 제2 표시부(152) 에 연속적으로 드래그되는 입력을 컨텐츠 매핑을 위한 입력으로 설정한 경우, 제어부(190)는, 416 동작에서 수신된 입력이 설정된 입력인지 여부를 결정할 수 있다.
수신된 입력이 컨텐츠 매핑을 위한 입력인 것으로 결정한 경우, 제어부(190)는 418 동작에서 컨텐츠를 결정된 위치 정보에 매핑할 수 있다. 컨텐츠를 매핑하는 동작은, 전자 장치(100)의 위치를 통해 결정된 위치 정보에 컨텐츠를 매핑하는 경우, 전자 장치(100)의 위치 및 근거리 통신이 가능한 오브젝트를 통해 결정된 위치 정보에 컨텐츠를 매핑하는 경우, 전자 장치(100)의 위치 및 파싱 이미지인 오브젝트를 통해 결정된 위치 정보에 컨텐츠를 매핑하는 경우, 외부 장치에 컨텐츠를 매핑하는 경우 및 메시지를 통해 컨텐츠를 매핑하는 경우에 따라 달라질 수 있다.
도 33 및 도 34는 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 33 및 도 34는 전자 장치(100)의 위치를 통해 결정된 위치 정보에 컨텐츠를 매핑하는 경우를 설명하기 위해 도시한다. 즉, 도 33 및 도 34는 오브젝트를 고려하지 않고, 전자 장치(100)의 위치만으로 위치 정보를 결정하여 컨텐츠를 매핑하는 경우를 도시한다.
도 33에 도시된 바와 같이, 제1 표시부(151)에 표시되는 다양한 컨텐츠(311, 312, 313)들 중 어느 하나에 매핑을 위한 입력(3311)이 수신되면, 제어부(190)는 컨텐츠 매핑 기능을 수행할 수 있다. 매핑을 위한 입력(3311)은 예를 들면, 제1 표시부(151)에서 선택되는 컨텐츠(313) 상에서의 입력이 제2 표시부(152) 쪽으로 연속적으로 드래그되는 입력일 수 있다. 즉, 제1 표시부(151) 상에서의 입력이 제2 표시부(152) 상에서 해제되는 경우 매핑을 위한 입력(3311)으로 결정할 수 있다. 그러나, 실시예가 이에 한정되는 것을 아니고, 컨텐츠 매핑을 위한 입력은 사용자에 따라 다양하게 설정될 수 있다.
도 34에 도시된 바와 같이, 제1 표시부(151) 상에서의 입력이 제2 표시부(152) 상에서 해제되는 매핑을 위한 입력(3311)이 발생하면, 제어부(190)는 선택된 컨텐츠(313)를 제2 표시부(152)에 표시할 수 있다. 제어부(190)는 선택된 컨텐츠(313)를 제2 표시부(152)에 표시함으로써, 컨텐츠를 매핑하고, 이를 사용자가 인지할 수 있도록 할 수 있다. 즉, 제어부(190)는 411 동작에서 결정된 위치 정보에 선택된 컨텐츠(313)를 매핑할 수 있다. 한편, 앞서 설명한 바와 같이, 본 발명의 다양한 실시예에서 결정된 위치 정보는 오브젝트를 고려하지 않은 정보이므로, 제어부(190)는 GPS 수신부(120) 및/또는 센서부(160)를 통해 결정된 전자 장치(100)의 위치만을 고려하여 선택된 컨텐츠(313)를 매핑할 수 있다.
도 35는 도 4에서 컨텐츠 매핑 동작의 순서도이다. 도 36 내지 도 40은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 35 내지 도 37은 전자 장치(100)의 위치 및 근거리 통신이 가능한 오브젝트를 통해 결정된 위치 정보에 컨텐츠를 매핑하는 경우를 설명하기 위해 도시한다.
먼저, 도 35에 도시된 바와 같이, 제어부(190)는 3511 동작에서 후보 오브젝트를 표시할 수 있다. 즉, 제어부(190)는 앞서 도 7의 712 동작에서 출력한 리스트를 표시할 수 있다. 예를 들면, 도 36에 도시된 바와 같이, 제어부(190)는 컨텐츠 매핑을 위한 입력(3613)을 수신하는 경우, 제2 표시부(152)에 매핑하고자 하는 컨텐츠(812) 및 컨텐츠 매핑이 가능한 후보 오브젝트 리스트(3611)를 표시할 수 있다. 한편, 오브젝트 리스트 중 어느 하나에 매핑된 컨텐츠가 존재하는 경우, 제2 표시부(152)에 매핑된 컨텐츠를 함께 표시할 수 있다. 앞서 설명한 바와 같이, 후보 오브젝트는 근거리 통신이 가능한 오브젝트들일 수 있다. 따라서, 리스트(3611)에는 통신 모듈을 구비한 TV, PC, 노트북, 블루투스 스피커 또는 오디오 등의 전자 장치(100) 또는 기지국 등의 통신 주소들이 표시될 수 있다.
이어서, 제어부(190)는 3512 동작에서 오브젝트가 선택되는지 결정할 수 있다. 제어부(190)는 제2 표시부(152)에 표시한 리스트(3611)에서 어느 하나의 오브젝트를 선택하는 입력(3711)이 수신되는지 결정할 수 있다. 예를 들면, 도 37에 도시된 바와 같이, 리스트(3611)에서 ‘BBB’라는 통신 주소를 가지는 오브젝트의 선택(3711)을 수신하는 경우, 제어부(190)는 리스트(3611) 내에 ‘BBB’가 선택되었음을 표시할 수 있다.
이어서, 제어부(190)는 3513 동작에서, 선택된 오브젝트에 컨텐츠를 매핑할 수 있다. 즉, 제어부(190)는 3513 동작에서 전자 장치(100)의 위치 및 선택된 오브젝트를 통해 결정된 위치 정보에 컨텐츠를 매핑할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 제2 표시부(152)에 ‘BBB’라는 통신 주소를 가지는 오브젝트인 노트북(810)이 투영되는 경우, 해당 노트북(810)에 컨텐츠를 매핑함으로써 사용자 경험을 확대할 수 있다. 따라서, 사용자에게 제2 표시부(152)를 통해 투영된 해당 오브젝트(810)에 직접 컨텐츠를 매핑하는 감성을 제공하여 실감형 사용자 인터페이스를 구현할 수 있다.
도 35 및 도 38 내지 도 40은, 전자 장치(100)의 위치 및 파싱 이미지인 오브젝트를 통해 결정된 위치 정보에 컨텐츠를 매핑하는 경우를 설명하기 위해 도시한다.
먼저, 도 35에 도시된 바와 같이, 제어부(190)는 3511 동작에서 후보 오브젝트를 표시할 수 있다. 즉, 제어부(190)는 앞서 도 9의 912 동작에서 파싱한 이미지를 표시할 수 있다. 예를 들면, 도 38에 도시된 바와 같이, 제어부(190)는 제2 표시부(152)에 파싱한 이미지를 표시하고, 제1 표시부(151) 상에서의 입력이 제2 표시부(152) 상에서 해제되는 매핑을 위한 입력(3811, 3812)을 수신할 수 있다. 한편, 파싱한 이미지 중 어느 하나에 매핑된 컨텐츠가 존재하는 경우, 제2 표시부(152)에 매핑된 컨텐츠를 함께 표시할 수도 있다.
도 39에 도시된 바와 같이 매핑을 위한 입력(3811, 3812)이 발생하면, 제어부(190)는 선택된 컨텐츠(1011, 1012)를 제2 표시부(152)에 표시할 수 있다. 매핑을 위한 입력(3811, 3812)이 복수인 경우, 제어부(190)는 복수개의 컨텐츠를 매핑하는 것으로 결정할 수 있다.
제어부(190)는 3512 동작에서 오브젝트가 선택되는지 결정할 수 있다. 제어부(190)는 제2 표시부(152)에 표시된 파싱 이미지(1010, 1015) 중 어느 하나의 오브젝트를 선택하는 입력(4013)이 수신되는지 결정할 수 있다. 예를 들면, 도 40에 도시된 바와 같이, 파싱 이미지(1010, 1015) 중 하나의 이미지(1010)의 선택(4013)을 수신하는 경우, 제어부(190)는 선택된 이미지(101)만을 강조 표시할 수 있다.
이어서, 제어부(190)는 3513 동작에서, 선택된 오브젝트에 컨텐츠를 매핑할 수 있다. 즉, 제어부(190)는 3513 동작에서 전자 장치(100)의 위치 및 선택된 오브젝트를 통해 결정된 위치 정보에 컨텐츠를 매핑할 수 있다. 이때, 제어부(190)는 제2 표시부(152)에 표시되는 매핑된 컨텐츠(4011, 4012)를 오브젝트에 적합한 형태로 재가공하여 표시할 수 있다. 예를 들면, 선택된 오브젝트의 크기 또는 형태 등을 고려하여, 오브젝트(1010) 및 매핑된 컨텐츠(4011, 4012)가 하나로 어우러져 보이도록 배치할 수 있다.
본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 제2 표시부(152)에 파싱된 이미지인 오브젝트(1010)가 투영되는 경우, 해당 오브젝트(1010)에 컨텐츠를 매핑함으로써 사용자 경험을 확대할 수 있다. 따라서, 사용자에게 제2 표시부(152)를 통해 투영된 해당 오브젝트(1010)에 직접 컨텐츠를 매핑하는 감성을 제공하여 실감형 사용자 인터페이스를 구현할 수 있다.
도 41 내지 도 43은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 41 내지 도 43은 외부 장치에 컨텐츠를 매핑하는 경우를 설명하기 위해 도시한다. 도 41에 도시된 바와 같이, 매핑을 위한 입력(4113)이 발생하면, 제어부(190)는 선택된 컨텐츠(4111)를 제2 표시부(152)에 표시할 수 있다. 한편, 외부 장치(2301)에 기 매핑된 컨텐츠(2311, 2312) 들이 존재하는 경우, 제어부(190)는 외부 장치(2301)로부터 매핑된 컨텐츠(2311, 2312) 정보를 수신하여 함께 표시할 수 있다. 이는 앞서 설명한 도 22 및 도 23에 따라, 제2 표시부(152)에 표시할 수 있다. 기 매핑된 컨텐츠(2311, 2312)들은 해당 전자 장치(100)가 매핑한 컨텐츠일 수 있다. 또는, 기 매핑된 컨텐츠(2311, 2312)들은 해당 전자 장치(100)가 아닌 다른 전자 장치(100)가 외부 장치(2301)에 매핑한 컨텐츠일 수도 있다. 제어부(190)는 컨텐츠 매핑이 가능한 외부 장치(2301)로부터 신호를 수신하고, 선택된 컨텐츠(4111) 정보를 외부 장치(2301)에 송신함으로써 외부 장치(2301)에 컨텐츠를 매핑할 수 있다. 한편, 제어부(190)는 주변에 외부 장치(2301)뿐만 아니라, 앞서 설명한 근거리 통신이 가능한 오브젝트들로부터도 신호를 수신하는 경우, 외부 장치(2301) 및 오브젝트들의 통신 주소를 함께 출력할 수도 있다. 예를 들면, 앞서 도 36 및 도 37에서 설명한 바와 같이, 제어부(190)는 외부 장치(2301) 및 오브젝트들의 통신 주소를 함께 출력하여 표시하고, 외부 장치(2301)에 대한 선택을 수신할 수도 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 외부 장치(2301)가 배치되는 댁내 공간이 제2 표시부(152)에 투영되는 경우, 해당 공간에 컨텐츠를 매핑하는 감성을 제공함으로써 사용자 경험을 확대할 수 있다. 또한, 댁내 공간을 공유하는 사용자들이 외부 장치(2301)를 통해 컨텐츠도 함께 공유함으로써, 동일한 공간 속에서 경험을 공유하고 소통할 수 있도록 유도할 수 있다.
다양한 실시예에 따르면, 도 42 및 도 43에 도시된 바와 같이, 제어부(190)는 다양한 장소에서의 외부 장치를 통해 컨텐츠를 매핑할 수 있다. 예를 들면, 외부 장치가 호텔에 구비되고, 호텔에 방문한 사용자의 전자 장치(100)는 호텔 방 내의 외부 장치에 컨텐츠를 매핑할 수 있다. 도 42에 도시된 바와 같이, 제어부(190)는 외부 장치로부터 호텔과 관련된 어플리케이션(4211, 4212, 4213)을 제공받아 제1 표시부(151)에 표시할 수 있고, 이러한 어플리케이션 중 어느 하나에 사용자 입력을 수신할 수 있다. 예를 들면, 제어부(190)는 메시지 어플리케이션(4213)에 사용자가 입력한 요청 사항(침대 패드 교체 부탁드립니다.)을 수신할 수 있다. 또한, 제어부(190)는 컨텐츠 매핑을 위한 입력(4215)을 수신하는 경우, 도 43에 도시된 바와 같이, 선택된 컨텐츠(4213)를 제2 표시부(152)에 표시할 수 있다. 제어부(190)는 제2 표시부(152)에 표시된 컨텐츠(4213)를 호텔 방 내의 외부 장치에 매핑할 수 있다. 이러한 외부 장치는 호텔 서버와 연동하도록 구현될 수 있고, 사용자는 호텔 관리자에게 직접적으로 요청하지 않아도 요청 사항을 전달할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 제2 표시부(152)에 호텔 내 공간이 투영되는 경우, 해당 공간에 컨텐츠를 매핑하는 감성을 제공함으로써 사용자 경험을 확대할 수 있다. 또한, 컨텐츠 매핑을 통해 요청 사항을 간단하고 편리하게 호텔 관리자에게 전달할 수 있다. 한편, 해당 호텔 방에 방문한 호텔 관리자의 전자 장치(100)는 앞서 도 28에서 설명한 바와 같이, 게스트가 매핑한 컨텐츠를 표시할 수 있어 게스트의 요청 사항을 쉽게 확인할 수 있다.
도 44는 도 4에서 컨텐츠 매핑 동작의 순서도이다. 도 45 내지 도 48은 다양한 실시예에 따른 전자 장치(100)의 화면 예시도들이다. 도 44 내지 도 48은 메시지를 통해 컨텐츠를 매핑하는 경우를 설명하기 위해 도시한다.
제어부(190)는 4411 동작에서 메시지 작성 기능을 실행할 수 있다. 즉, 도 45에 도시된 바와 같이, 제어부(190)는 제1 표시부(151)에 메시지 작성 어플리케이션(4511)을 표시할 수 있다.
제어부(190)는 4412 동작에서 메시지 작성 입력을 수신할 수 있고, 입력된 내용을 메시지 작성 어플리케이션(4511)에 표시할 수 있다. 예를 들면, 제어부(190)는 ‘Good Luck!’이라는 입력을 수신받아 제1 표시부(151)에 표시할 수 있다.
제어부(190)는 4413 동작에서 수신된 입력이 컨텐츠 매핑을 위한 입력(4512)인지 여부를 결정할 수 있다.
수신된 입력이 컨텐츠 매핑을 위한 입력이 아닌 경우, 제어부(190)는 4414 동작에서 메시지를 전송할 수 있다. 즉, 제어부(190)는 컨텐츠 매핑을 하지 않고, 메시지만을 전송할 수 있다.
수신된 입력이 컨텐츠 매핑을 위한 입력(4512)인 경우, 제어부(190)는 도 46에 도시된 바와 같이, 메시지 아이콘(4611)을 제2 표시부(152)에 표시할 수 있다. 한편, 제어부(190)는 제2 표시부(152)에서 메시지 아이콘(4611)의 위치를 조절하기 위한 입력(4613)을 더 수신할 수도 있다. 이러한 입력(4613)을 통해 제2 표시부(152) 상에서 메시지 아이콘(4611)의 위치가 조정될 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 표시부(152)가 투명하게 구현되므로, 실재감을 극대화할 수 있다. 즉, 사용자의 시선에 의해 제2 표시부(152)에 배경이 투영되는 경우, 해당 배경에 메시지를 남겨두는 것과 같은 감성을 제공할 수 있다. 예를 들면, 제2 표시부(152)에 도서관의 책꽂이가 투영되는 경우, 책들 사이에 메시지를 꽂아두는 것과 같은 사용자 경험을 제공할 수 있다.
제어부(190)는 4415 동작에서 전송을 위한 입력(4711)을 수신할 수 있고, 결정된 위치 정보와 함께 메시지를 전송할 수 있다. 제어부(190)는 메시지 전송 시, 상대 전자 장치(100)에 메시지가 매핑된 장소 정보를 표시할 수 있도록 전송할 수 있다. 따라서, 도 48에 도시된 바와 같이, 메시지를 수신한 상대 전자 장치(100)는, 메시지가 수신됨을 알리는 정보 및 메시지가 매핑된 장소 정보를 표시할 수 있다. 그러나, 상대 전자 장치(100)는 수신된 메시지 내용은 매핑된 장소에서만 확인할 수 있다. 본 발명의 다양한 실시예에 따르면, 디지털 메시지를 실제 공간에 남겨두는 것과 같은 커뮤니케이션 서비스를 제공할 수 있다.
한편, 제어부(190)는 도 4의 416 동작에서 수신된 입력이 컨텐츠 매핑을 위한 입력이 아니라고 결정하는 경우, 417 동작에서 해당 기능을 수행할 수 있다. 즉, 수신된 입력과 관련된 기능을 수행할 수 있다.
도 49는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 장치의 블록도이다.
도 49에 도시된 바와 같이, 본 발명의 다양한 실시예에 따르면, 전자 장치(4900)는 통신부(4901), GPS 수신부(4902), 카메라부(4903), 영상처리부(4909), 표시부(4905), 센서부(4906), 저장부(4907), 입력부(4908) 및 제어부(4909)를 포함할 수 있다. 본 발명의 다양한 실시예에서 전자 장치(4900)의 구성 요소들은 전술된 실시예들의 대응하는 구성 요소들과 유사하므로, 상세한 설명을 생략할 수 있다.
본 발명의 다양한 실시예에 따르면, 외부 장치(4990)는 통신부(4991), 제어부(4993) 및 저장부(4992)를 포함할 수 있다. 외부 장치(4990)의 통신부(4991)는 수시로 또는 주기적으로 신호를 송신할 수 있다. 외부 장치(4990)는 신호를 송신함으로써, 주변에 전자 장치(4900)가 존재하는지 확인할 수 있다. 또한, 외부 장치(4990)의 통신부(4991)는 전자 장치(4900)로부터 신호를 수신할 수 있다. 즉, 외부 장치(4990)의 주변에 전자 장치(4900)가 존재하는 경우, 통신부(4991)는 전자 장치(4900)로부터 신호를 수신할 수 있다. 통신부(4991)는 전자 장치(4900)의 요청에 따라, 전자 장치(4900)에 매핑된 컨텐츠를 전송할 수 있다.
외부 장치(4990)의 저장부(4992)는 매핑된 컨텐츠를 저장할 수 있다. 외부 장치(4990)의 저장부(4992)는 전자 장치(4900)로부터 위치 정보 및 컨텐츠를 모두 저장할 수 있다. 저장부(4992)는 위치 정보에 컨텐츠를 매핑할 수 있다.
제어부(4993)는 외부 장치(4990)의 전반적인 동작을 제어할 수 있다. 제어부(4993)는 전자 장치(4900)로부터 신호를 수신하는 경우, 저장부(4992)를 통해 전자 장치(4900)에 대응하는 컨텐츠가 존재하는지 확인할 수 있다. 또는, 제어부(4993)는 전자 장치(4900)로부터 위치 정보를 함께 수신하는 경우, 저장부(4992)를 통해 수신된 위치 정보에 대응하는 컨텐츠가 존재하는지 확인할 수 있다.
도 50 및 도 51은 본 발명의 다양한 실시예에 따른 동작 방법의 흐름도이다.
도 50에 도시된 바와 같이, 5011 동작은 도 4의 411 동작과 유사하므로 상세한 설명을 생략할 수 있다. 전자 장치(4900)는 5012 동작에서 결정된 위치 정보를 외부 장치(4990)로 전송할 수 있다. 한편, 본 발명의 다양한 실시예에 따르면, 전자 장치(4900) 및 외부 장치(4990)와의 신호 송수신을 통해 전자 장치(4900)의 고유 식별이 확인된 경우, 전자 장치(4900)의 위치 정보 결정 동작(5011) 및 위치 정보 전송 동작(5012)은 생략할 수도 있다.
5013 동작은 도 4의 418 동작과 유사하므로 상세한 설명을 생략할 수 있다. 전자 장치(4900)는 5014 동작에서 매핑한 컨텐츠를 외부 장치(4990)로 전송할 수 있다.
외부 장치(4990)는 5015 동작에서 전송받은 위치 정보 및 컨텐츠를 저장할 수 있다. 한편, 전자 장치(4900)로부터 위치 정보를 전송받지 않은 경우, 외부 장치(4990)는 전자 장치(4900)의 컨텐츠만 저장할 수도 있다. 또는, 외부 장치(4990)는 전자 장치(4900)의 고유 식별 정보 및 컨텐츠를 함께 저장할 수도 있다.
5016 동작은 도 4의 411 동작과 유사하므로 상세한 설명을 생략할 수 있다. 전자 장치(4900)는 5017 동작에서 결정된 위치 정보를 외부 장치(4990)로 전송할 수 있다. 한편, 본 발명의 다양한 실시예에 따르면, 전자 장치(4900) 및 외부 장치(4990)와의 신호 송수신을 통해 전자 장치(4900)의 고유 식별이 확인된 경우, 전자 장치(4900)의 위치 정보 결정 동작(5016) 및 위치 정보 전송 동작(5017)은 생략할 수도 있다.
외부 장치(4990)는 5018 동작에서 전송받은 위치 정보를 통해 이에 매핑된 컨텐츠를 전송할 수 있다. 한편, 전자 장치(4900)로부터 위치 정보를 전송받지 않은 경우, 외부 장치(4990)는 전자 장치(4900)의 고유 식별 정보를 이용하여 컨텐츠를 전송할 수도 있다.
5019 동작은 도 4의 414 동작과 유사하므로 상세한 설명을 생략할 수 있다.
도 51에 도시된 바와 같이, 본 발명의 다양한 실시예에 따르면, 외부 장치(5190)는 전자 장치(4900)들 사이에서 메시지를 송수신할 수 있도록 할 수 있다. 전자 장치(4900)는 5111동작에서 위치 정보를 결정할 수 있다. 5111 동작은 도 4의 411 동작과 유사하므로 상세한 설명을 생략할 수 있다. 전자 장치(4900)는 5112 동작에서 메시지를 작성할 수 있다. 5112 동작은 앞서 설명한 메시지를 통해 컨텐츠를 매핑하는 동작과 유사하다. 즉, 5112 동작은 도 44의 4412 동작과 유사하므로 상세한 설명을 생략할 수 있다. 전자 장치(4900)는 5113 동작에서 메시지를 전송할 수 있다. 5113 동작은 도 44의 4415 동작과 유사하므로 상세한 설명을 생략할 수 있다. 외부 장치(5190)는 메시지 송수신을 위한 외부 장치일 수 있다. 전자 장치(4900)로부터 5113 동작을 통해 메시지 전송 요청이 발생한 경우, 외부 장치(5190)는 5114 동작을 통해 해당 메시지를 수신인에게 발송할 수 있다. 전자 장치(4900)은 5115 동작에서 외부 장치(5190)를 통해 메시지를 수신할 수 있다. 전자 장치(4900)는 외부로부터 수신한 메시지가 위치 정보에 매핑된 메시지인지 결정할 수 있다. 전자 장치(4900)는 수신된 메시지가 매핑된 메시지인 것으로 결정하는 경우, 5116 동작에서 결정한 위치 정보를 통해 5117 동작에서 메시지를 표시할 수 있다. 즉, 전자 장치(4900)는 5117 동작에서, 결정한 위치 정보에 매핑된 메시지가 존재하는지 결정하여 메시지를 표시할 수 있다. 5117 동작은 도 30의 3016 동작과 유사하므로 상세한 설명을 생략할 수 있다.
상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    전자 장치의 위치 정보를 결정하는 동작;
    상기 결정된 위치 정보에 매핑된 컨텐츠를 검출하는 동작; 및
    상기 결정된 위치 정보에 컨텐츠를 매핑하는 동작을 포함하는 동작 방법.
  2. 제1항에 있어서,
    상기 위치 정보를 결정하는 동작은,
    상기 전자 장치의 위치를 결정하는 동작; 및
    상기 전자 장치에 대향하여 오브젝트가 존재하는지 결정하는 동작을 포함하는 동작 방법.
  3. 제2항에 있어서,
    상기 전자 장치의 위치를 결정하는 동작은,
    상기 전자 장치의 방향성을 결정하는 동작을 더 포함하는 동작 방법.
  4. 제2항에 있어서,
    상기 오브젝트는 근거리 통신 가능한 외부 장치 또는 피사체로부터 얻어진 영상 이미지 중 적어도 어느 하나인 동작 방법.
  5. 제1항에 있어서,
    상기 결정된 위치 정보에 매핑된 컨텐츠가 검출되는 경우,
    표시부에 상기 매핑된 컨텐츠를 표시하는 동작을 더 포함하는 동작 방법.
  6. 제1항에 있어서,
    상기 매핑된 컨텐츠를 검출하는 동작은,
    외부 장치로부터 상기 매핑된 컨텐츠를 수신하는 동작을 포함하는 동작 방법.
  7. 제5항에 있어서,
    상기 표시부는 제1 표시부 및 투명한 제2 표시부를 포함하고,
    상기 매핑된 컨텐츠를 표시하는 동작은,
    상기 제2 표시부에 상기 매핑된 컨텐츠를 표시하는 동작 방법.
  8. 제1항에 있어서,
    상기 컨텐츠를 매핑하는 동작은,
    제1 표시부에 매핑 가능한 컨텐츠를 표시하는 동작;
    상기 매핑 가능한 컨텐츠 중 적어도 어느 하나를 선택하는 입력을 수신하는 동작; 및
    상기 선택된 컨텐츠를 투명한 제2 표시부에 표시하는 동작을 더 포함하는 동작 방법.
  9. 제1항에 있어서,
    상기 컨텐츠를 매핑하는 동작은,
    후보 오브젝트를 표시하는 동작;
    상기 오브젝트의 선택을 수신하는 동작; 및
    상기 선택된 오브젝트에 상기 컨텐츠를 매핑하는 동작을 포함하는 동작 방법.
  10. 제1항에 있어서,
    상기 컨텐츠를 매핑하는 동작은,
    메시지를 작성하는 동작; 및
    상기 결정된 위치 정보와 함께 메시지를 전송하는 동작을 포함하는 동작 방법.
  11. 전자 장치에 있어서,
    제1 표시부 및 투명한 제2 표시부; 및
    상기 제1 표시부 및 상기 제2 표시부와 기능적으로 연결되는 제어부를 포함하고,
    상기 제어부는,
    상기 전자 장치의 위치 정보를 결정하고, 상기 결정된 위치 정보에 매핑된 컨텐츠를 검출하고, 상기 결정된 위치 정보에 컨텐츠를 매핑하는 전자 장치.
  12. 제11항에 있어서,
    상기 제어부는, 상기 전자 장치의 위치를 결정하고, 상기 전자 장치에 대향하여, 오브젝트가 존재하는지 결정하는 전자 장치.
  13. 제12항에 있어서,
    상기 전자 장치는 센서부를 더 포함하고,
    상기 센서부는, 상기 전자 장치의 방향성을 결정하는 전자 장치.
  14. 제12항에 있어서,
    상기 오브젝트는 근거리 통신 가능한 외부 장치 또는 피사체로부터 얻어진 영상 이미지 중 적어도 어느 하나인 전자 장치.
  15. 제11항에 있어서,
    상기 제어부는,
    상기 결정된 위치 정보에 매핑된 컨텐츠가 검출되는 경우,
    상기 제2 표시부에 상기 매핑된 컨텐츠를 표시하는 전자 장치.
  16. 제11항에 있어서,
    상기 전자 장치는 통신부를 더 포함하고,
    상기 통신부는, 외부 장치로부터 상기 매핑된 컨텐츠를 수신하는 전자 장치.
  17. 제15항에 있어서,
    상기 제어부는,
    상기 제2 표시부에 상기 매핑된 컨텐츠를 표시하는 전자 장치.
  18. 제11항에 있어서,
    상기 제어부는,
    제1 표시부에 매핑 가능한 컨텐츠를 표시하고, 상기 매핑 가능한 컨텐츠 중 적어도 어느 하나를 선택하는 입력을 수신하고, 및 상기 선택된 컨텐츠를 투명한 제2 표시부에 표시하는 전자 장치.
  19. 제11항에 있어서,
    상기 제어부는
    후보 오브젝트를 표시하고, 상기 오브젝트의 선택을 수신하고, 및 상기 선택된 오브젝트에 상기 컨텐츠를 매핑하는 전자 장치.
  20. 제11항에 있어서,
    상기 제어부는,
    메시지를 작성하고, 상기 결정된 위치 정보와 함께 메시지를 전송하는 전자 장치.
KR1020150163123A 2015-11-20 2015-11-20 전자 장치 및 그의 동작 방법 KR20170059163A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150163123A KR20170059163A (ko) 2015-11-20 2015-11-20 전자 장치 및 그의 동작 방법
US15/352,870 US20170148218A1 (en) 2015-11-20 2016-11-16 Electronic apparatus and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163123A KR20170059163A (ko) 2015-11-20 2015-11-20 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20170059163A true KR20170059163A (ko) 2017-05-30

Family

ID=58719724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163123A KR20170059163A (ko) 2015-11-20 2015-11-20 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
US (1) US20170148218A1 (ko)
KR (1) KR20170059163A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7286760B2 (ja) * 2019-04-09 2023-06-05 マクセル株式会社 ヘッドマウント情報処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077336A1 (en) * 2006-09-25 2008-03-27 Roosevelt Fernandes Power line universal monitor
KR101330636B1 (ko) * 2007-01-24 2013-11-18 삼성전자주식회사 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
US7734299B2 (en) * 2007-03-20 2010-06-08 Microsoft Corporation Facilitating use of a device based on short-range wireless technology
JP2011161798A (ja) * 2010-02-10 2011-08-25 Casio Computer Co Ltd ラベル作成装置及びラベル作成方法、ラベル作成方法に関するプログラムが記憶された記憶媒体
KR101740435B1 (ko) * 2010-10-18 2017-05-26 엘지전자 주식회사 이동 단말기 및 이것의 객체 관련 정보 관리 방법
KR101462540B1 (ko) * 2012-06-14 2014-11-18 삼성디스플레이 주식회사 듀얼 디스플레이 장치 및 그 제어방법
US20150042789A1 (en) * 2013-08-07 2015-02-12 Blackberry Limited Determining the distance of an object to an electronic device
KR20160121287A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
US20160343173A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality

Also Published As

Publication number Publication date
US20170148218A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
KR102422353B1 (ko) 스크린 미러링 서비스 제공장치 및 방법
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
KR102537922B1 (ko) 디스플레이 사이의 각도를 측정하는 방법 및 이를 사용하는 전자 장치
KR102276847B1 (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
EP3586316B1 (en) Method and apparatus for providing augmented reality function in electronic device
US20160048170A1 (en) Method and electronic device for processing image
US20180196522A1 (en) Augmented reality control of internet of things devices
US20170150139A1 (en) Electronic device and method for displaying content according to display mode
KR20170085317A (ko) 디스플레이 제어 방법 및 이를 사용하는 전자 장치
KR20170096408A (ko) 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
KR20170005602A (ko) 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치
KR20160054840A (ko) 정보를 공유하기 위한 가상 환경
KR20170019816A (ko) 전자 장치 및 전자 장치의 정보 공유 방법
KR20160096422A (ko) 화면 표시 방법 및 전자 장치
KR102407765B1 (ko) 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
KR20160101600A (ko) 스크린 미러링 서비스 제공방법 및 장치
US20200286276A1 (en) Electronic device and method for displaying and generating panoramic image
EP3342162B1 (en) Electronic device and method for displaying and generating panoramic image
CN108475165B (zh) 电子设备及其控制方法
KR20160051411A (ko) 외부의 물체를 제어하는 전자 장치 및 그 방법
KR20180129478A (ko) 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
KR20170066054A (ko) 오디오 제공 방법 및 그 장치
KR102451405B1 (ko) 복수의 디스플레이들을 갖는 전자 장치 및 그 동작 방법
KR102651793B1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
KR20170079610A (ko) 전자 장치 및 그의 동작 방법