KR20120026702A - 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기 - Google Patents

증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기 Download PDF

Info

Publication number
KR20120026702A
KR20120026702A KR1020100088737A KR20100088737A KR20120026702A KR 20120026702 A KR20120026702 A KR 20120026702A KR 1020100088737 A KR1020100088737 A KR 1020100088737A KR 20100088737 A KR20100088737 A KR 20100088737A KR 20120026702 A KR20120026702 A KR 20120026702A
Authority
KR
South Korea
Prior art keywords
electronic device
air tag
content
display unit
user interface
Prior art date
Application number
KR1020100088737A
Other languages
English (en)
Other versions
KR101722784B1 (ko
Inventor
강종오
유형상
양미화
조수경
이장호
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020100088737A priority Critical patent/KR101722784B1/ko
Publication of KR20120026702A publication Critical patent/KR20120026702A/ko
Application granted granted Critical
Publication of KR101722784B1 publication Critical patent/KR101722784B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/70—Administration or customization aspects; Counter-checking correct charges
    • H04M15/765—Linked or grouped accounts, e.g. of users or devices
    • H04M15/7652—Linked or grouped accounts, e.g. of users or devices shared by users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/02—Inter-networking arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 홈 네트워크에 연결되어 있는 적어도 하나 이상의 전자기기의 프리뷰를 획득하기 위한 카메라, 상기 전자기기의 위치정보 및 에어 태그 정보가 저장되어 있는 저장부, 상기 프리뷰에 있는 전자기기의 위치정보를 획득하기 위한 자이로 센서, 에어 태그가 포함된 전자기기를 표시하는 디스플레이부, 및 상기 자이로 센서로부터 획득된 전자기기의 위치정보와 저장부에 저장된 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기의 에어 태그를 상기 디스플레이부에 표시하도록 제어하고, 홈 네트워크에 연결된 전자기기를 검색하고 전자기기 상호간 컨텐츠를 공유할 수 있는 DLNA 어플리케이션을 실행하는 제어부를 포함하는 증강현실을 이용한 사용자 인터페이스 제공방법을 이용한 이동 단말기를 제공한다.
본 발명에 의하면, 에어 태그(Air Tag)형태의 증강현실을 이용하여 표시된 전자기기들간에 소정의 터치에 따라 사용자는 간편하게 각 전자기기들이 저장하고 있는 컨텐츠를 검색할 수 있으며, 각 전자기기들간의 컨텐츠를 공유할 수 있는 장점이 있다.

Description

증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기{METHOD FOR PROVIDING USER INTERFACE OF USING AUGMETED REALITY AND MOBILE TERMINAL USING THEROF}
본 발명은 이동 단말기에 관한 것으로서, 더욱 상세하게는 증강현실을 이용하여 홈 네트워크상의 DLNA(Digital Living Network Association, 이하 DLNA)를 지원하는 전자기기를 나타내는 에어 태그를 포함하여 디스플레이부에 표시하고 소정의 터치에 따라 상기 전자기기간 컨텐츠를 공유할 수 있는 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기에 관한 것이다.
최근 IP 네트워크를 사용하여 음악이나 영상과 같은 AV(Audio/video) 콘텐츠를 교환하는 장면이 늘어나고 있다. 예를 들면, 인터넷으로 텔레비전 프로그램을 보거나 음악을 듣는 것은 이미 당연한 일이다. 그리고 네트워크를 통해 AV 콘텐츠를 교환하는 경향이 가정으로도 번져가고 있다. 따라서 가정은 여러 가지 AV 기기를 연결시켜서, 손쉽게 AV 콘텐츠를 즐기는 홈 네트워크를 원하는 추세이다. 이를 실현키 위해서는 여러 가지 자동화 메커니즘이 필요하다. 단순히 가전이 LAN 인터페이스에 접속되거나 무선 LAN 기능을 보유하면 되는 것이 아니며, 서로 상대의 존재를 네트워크를 통해 인식하고, 콘텐츠가 있는지를 조사하고, 원하는 콘텐츠를 교환할 수 있도록 설정해 두어야 한다.
상기 네트워크를 통해 상대의 존재를 인식을 하고, 콘텐츠를 찾아 원하는 콘텐츠를 교환할 수 있도록 하는 데는 여러 가지 미들웨어(UPnP, HaVi, Jini, VESA, DLNA...)가 사용되고 있다. 이러한 미들웨어 중 하나인 DLNA(digital Living Network Alliance)는 TV, VCR, 디지털 카메라, 오디오시스템 등의 기기들로부터 제공되는 모든 콘텐츠를 공유하고자 함에 초점이 맞추어 지고 있다. 콘텐츠 공유는 기기들의 상호 호환성이 우선되어야 한다. 특히 가정 내에 PC 인터넷 네트워크(PC, 프린터 등), 이동 네트워크(PDA,휴대폰, 노트북 등), 가전 네트워크(TV, 오디오, DVD플레이어 등) 등을 연결하는 네트워크는 주요 산업체간의 협력, 상호 운용성 프레임 워크(Operating Frame Work)의 표준화, 이를 준수하는 제품 등에서 운용성(Operating)을 만족해야할 필요가 있다.
특히, DLNA는 소비자의 입장에서 모바일 장치 또는 PC(Personal Computer) 등과 같은 개인 영역의 장치로부터 많은 디지털 미디어 콘텐츠(예컨대, 사진, 음악 및 비디오 등)를 획득하고, 전송하며, 관리할 수 있도록 지원하는 것이다. 즉, 가정 내의 위치 및 장치에 무관하게 미디어 콘텐츠를 편리하게 즐길 수 있도록 하는 것이다.
이를 위하여 DLNA 시스템은 UPnP(Universal Plug and Play)를 기반으로 하며, DMS(Digital Media Server), DMP(Digital Media Player), DMC(Digital Media Controller), DMR(Digital Media Renderer)을 포함하여 구성되는 유선 및 무선 네트워크 시스템이 될 수 있다.
상기 DMS, DMP, DMC는 휴대 가능한 M-DMS(Mobile-Digital Media Server), M-DMP(Mobile-Digital Media Player), M-DMC(mobile-Digital Media Controller)를 포함한다. 상기 M-DMS, M-DMP, M-DMC 등은 DLNA 시스템에 직접 접속될 수도 있고, 또는 AP(Access Point)를 통하여 DLNA 시스템에 접속될 수도 있다. 그리고 AP에는 MDMS를 M-DMP에 연결시키기 위한 중간 노드로서 M-NCF(Mobile-Network Connection Function)가 존재한다.
상기 DLNA 시스템은 유선망(IEEE 802.3) 또는 무선망(IEEE 802.11)을 이용하여 홈 네트워크를 구성할 수 있다. 상기 홈 네트워크 상의 DMS, DMP 및 DMR도 유선(IEEE 802.3) 또는 무선망(IEEE 802.11)을 통하여 상호 접속된다. 상기 홈 네트워크 상의 디지털 기기들은 IEEE 1394에 의해 영상, 음성 등의 데이터 전송이 가능하다.
특히, DLNA 시스템의 표준화 작업을 위한「DLNA 가이드라인」이라는 홈 네트워크 기기의 상호접속 표준규격은, DLNA의 장치부문을 DMS(Digital Media Server)와 DMP（Digital Media Player）, DMC(Digital Media Controller) 또는 DMR(Digital Media Renderer)로 구분하고, DMS와 DMP, DMC 또는 DMR 사이의 접속 조건을 정한 것이다.
상기 DMS는 UPnP AV 영역에서 MSD(Media Server Device)의 기능 즉, 콘텐츠에 접근능력을 가지고 있으면서, 디지털 미디어 콘텐츠를 저장하거나 DMR에 제공하는 역할을 한다. 상기 DMS의 주된 목적은 UI 애플리케이션(UserInterface Application)인 컨트롤 포인트(Control Point, CP)가 DMS 내의 디지털 미디어 콘텐츠 아이템을 검색하여 DLNA 네트워크 사용자가 상기 콘텐츠를 디스플레이하거나 분배할 수 있도록 하는 것이다. DMS와 DMR의 관계는 예를 들어, 디지털 방송을 수신하기 위한 방송 수신 장치로 DMS가 있으면 방송신호를 수신하여 저장하였다가 DMR에서 요청이 있으면 선택된 콘텐츠를 DMR에 제공하며, DMR은 선택된 콘텐츠를 재생하는 역할을 한다.
상기 DMP는 CP(UPnP Control Point)를 포함하는 DMR로서, MRD(Media Renderer Device) 및 MRCP(Media Renderer Control Point)의 기능 즉 미디어 콘텐츠의 선택, 제어 및 선택된 미디어 콘텐츠를 실행시키는 역할을 한다. 상기 DMS를 통해 DMP, DMR에 제공되는 다양한 미디어 콘텐츠는 여러 가지 방법으로 여러 곳에서 제공될 수 있다.
한편 이동 단말기에 표시되는 DLNA를 지원하는 전자기기들의 검색결과 화면은 단순 텍스트형태로 보여주고 있어 DLNA를 이용하여 컨텐츠를 공유함에 있어 사용자의 편의성 및 직관성이 부족하다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 증강현실을 이용하여 홈 네트워크상의 DLNA를 지원하는 전자기기를 나타내는 에어 태그를 포함하여 디스플레이부에 표시하고 소정의 터치에 따라 상기 전자기기간 컨텐츠를 공유할 수 있는 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기를 제공함에 그 목적이 있다.
상기 과제를 해결하기 위해, 본 발명의 일실시예인 증강현실을 이용한 사용자 인터페이스 방법을 제공하는 이동 단말기는 홈 네트워크에 연결되어 있는 적어도 하나 이상의 전자기기의 프리뷰를 획득하기 위한 카메라, 상기 전자기기의 위치정보 및 에어 태그 정보가 저장되어 있는 저장부, 상기 프리뷰에 있는 전자기기의 위치정보를 획득하기 위한 자이로 센서, 에어 태그가 포함된 전자기기를 표시하는 디스플레이부, 및 상기 자이로 센서로부터 획득된 전자기기의 위치정보와 저장부에 저장된 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기의 에어 태그를 상기 디스플레이부에 표시하도록 제어하고, 홈 네트워크에 연결된 전자기기를 검색하고 전자기기 상호간 컨텐츠를 공유할 수 있는 DLNA 어플리케이션을 실행하는 제어부를 포함한다.
본 발명의 일실시예의 일태양에 의하면, 상기 제어부는 디스플레이부에 표시된 전자기기의 에어 태그에 소정의 터치가 입력됨을 감지하는 경우, 터치된 에어 태그의 전자기기에 저장된 컨텐츠를 디스플레이부에 표시되도록 제어하는 것을 특징으로 한다.
본 발명의 일실시예의 일태양에 의하면, 상기 제어부는 디스플레이부에 표시된 어느 하나의 전자기기의 에어 태그가 터치되어 다른 하나의 전자기기의 에어 태그로 드래그됨을 감지하는 경우, 터치 앤 드래그에 입력에 따른 전자기기 상호간에 컨텐츠를 공유할 수 있도록 제어하는 것을 특징으로 한다.
본 발명의 일실시예의 일태양에 의하면, 상기 컨텐츠는 오디오 컨텐츠, 비디오 컨텐츠 및 이미지 컨텐츠 중 적어도 어느 하나인 것을 특징으로 한다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 일실시예인 증강현실을 이용한 사용자 인터페이스 제공방법은 DLNA 어플리케이션을 실행하여 홈 네트워크에 연결되어 있는 전자기기를 검색하는 단계 및 카메라 프리뷰에 있는 전자기기와 매칭된 에어 태그를 디스플레이부에 표시하는 단계를 포함한다.
본 발명의 또 다른 일실시예의 일태양에 의하면, 상기 카메라 프리뷰에 있는 전자기기와 매칭된 에어 태그를 디스플레이부에 표시하는 단계는 자이로 센서를 이용하여 프리뷰에 있는 전자기기의 위치정보를 획득하는 단계 및 상기 획득된 전자기기의 위치정보와 저장부에 저장되어 있는 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기에 에어 태그를 디스플레이부에 표시하는 단계를 포함할 수 있다.
본 발명의 또 다른 일실시예의 일태양에 의하면, 디스플레이부에 표시된 전자기기의 에어 태그에 소정의 터치가 입력됨을 감지하는 단계 및 터치된 에어 태그의 전자기기에 저장된 컨텐츠를 디스플레이부에 표시하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 또 다른 일실시예의 일태양에 의하면, 디스플레이부에 표시된 어느 하나의 전자기기의 에어 태그가 터치되어 다른 하나의 전자기기의 에어 태그로 드래그됨을 감지하는 단계 및 터치 앤 드래그 입력에 따른 전자기기 상호간에 컨텐츠를 공유할 수 있도록 제어하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 동일 액세스 포인트(Access Point)에 접속되어 있는 DLNA를 지원하는 전자기기들을 이동 단말기의 카메라 프리뷰를 통하여 에어 태그(Air Tag)형태의 증강현실을 이용하여 표시함으로써 사용자에게 사용편의성 및 직관성을 갖는 사용자 인터페이스 환경을 제공할 수 있는 장점이 있다.
또한 에어 태그(Air Tag)형태의 증강현실을 이용하여 표시된 전자기기들간에 소정의 터치에 따라 사용자는 간편하게 각 전자기기들이 저장하고 있는 컨텐츠를 검색할 수 있으며, 각 전자기기들간의 컨텐츠를 공유할 수 있는 장점이 있다.
도 1은 본 발명의 일실시예에 따른 증강현실을 이용한 사용자 인터페이스 제공하는 이동 단말기의 블록 구성도이다.
도 2는 본 발명의 일실시예에 따른 증강현실을 이용한 사용자 인터페이스 제공방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일실시예에 따른 에어 태그 형태로 전자기기를 디스플레이부에 표시하는 이동 단말기의 이미지도이다.
도 4는 본 발명의 일실시예에 따른 에어 태그에 입력된 소정의 터치에 따라 해당 전자기기의 컨텐츠를 디스플레이부에 표시하는 이동 단말기의 이미지도이다.
도 5는 본 발명의 일실시예에 따른 전자기기에 표시된 에어 태그를 터치 앤 드래그함으로써 전자기기간에 컨텐츠를 공유할 수 있는 사용자 인터페이스를 나타내는 이동 단말기의 이미지도이다.
이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.
따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대한 구성 및 작용을 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 증강현실을 이용한 사용자 인터페이스 제공하는 이동 단말기의 블록 구성도이다.
도 1에서 보는 바와 같이, 본 발명의 증강현실을 이용한 사용자 인터페이스를 제공하는 이동 단말기(100)는 카메라(110), 자이로 센서(120), 제어부(130), 디스플레이부(140) 및 저장부(150)를 포함한다.
카메라(110)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(140)에 표시될 수 있다.
자이로 센서(120)는 한 축을 기준으로 물체가 회전한 회전 각도값을 수치로 알려주는 센서이다. 여기서 DLNA를 지원하는 전자기기의 위치정보는 WPS(Wi-Fi Positioning System)를 통하여 획득한 이동 단말기의 현재 위치를 기준으로 상기 자이로 센서(120)에 따른 전자기기의 각도정보를 이용하여 저장부(150)의 전자기기 위치등록부(151)에 저장될 수 있다. 또한 위치정보가 획득된 전자기기에 사용자가 에어 태그(전자기기 명)를 입력함으로써 에어 태그는 저장부(150)의 전자기기 에어 태그 등록부(152)에 저장될 수 있다.
제어부(130)는 상기 자이로 센서(120)로부터 획득된 전자기기의 위치정보와 저장부(150)에 저장된 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기의 에어 태그를 설정하기 위한 에어 태그 매칭부(132)를 포함한다. 제어부(130)는 상기 에어 태그 매칭부(132)에 의하여 설정된 전자기기를 나타내는 에어 태그를 디스플레이부(140)에 표시하도록 제어한다.
또한 제어부(130)는 홈 네트워크에 연결된 전자기기를 검색하고 전자기기 상호간 컨텐츠를 공유할 수 있는 DLNA 어플리케이션을 실행하도록 제어하는 DLNA 실행부(131)를 포함한다.
디스플레이부(140)는 제어부(180)의 제어에 따른 이동 단말기(100)에서 처리되는 정보를 표시하고, 증강현실을 이용한 전자기기의 컨텐츠를 검색, 공유할 수 있는 사용자 인터페이스로써 해당 전자기기의 에어 태그를 표시한다. 여기서 상기 디스플레이부는 터치스크린일 수 있다.
상기 저장부(150)는 홈 네트워크에 연결된 전자기기를 검색하고 전자기기 상호간 컨텐츠를 공유할 수 있는 DLNA 어플리케이션(미들웨어 프로그램)이 저장되어 있다.
또한 저장부(150)는 증강현실을 나타내기 위하여 사용자의 설정에 의하여 미리 댁내의 홈 네트워크에 연결되어 있는 전자기기의 위치정보가 저장되어 있는 전자기기 위치등록부(151)를 포함한다. 상기 전자기기 위치등록부(151)에는 이동 단말기의 현재 위치를 기준으로 자이로 센서(120)를 이용하여 획득된 전자기기의 위치 정보가 사용자에 의하여 미리 설정되어 등록되어 있다.
또한 저장부(150)는 상기 전자기기 위치등록부(151)에 저장된 전자기기들의 에어 태그 정보가 저장되어 있는 전자기기 에어 태그 등록부(152)를 포함한다. 여기서 상기 에어 태그는 해당 전자기기에 대한 명칭 등의 정보를 포함한다.
도 2는 본 발명의 일실시예에 따른 증강현실을 이용한 사용자 인터페이스 제공방법을 설명하기 위한 순서도이다.
도 2에서 보는 바와 같이, 제어부는 먼저 DLNA 어플리케이션을 실행하여 홈 네트워크에 연결되어 있는 DLNA를 지원하는 전자기기를 검색한다(S21). 즉 제어부는 DLNA 표준에 의해 자동으로 동일 액세스 포인트(Access Point)에 접속되어 있는 DLNA를 지원하는 전자기기를 검색할 수 있다.
다음으로 제어부는 증강현실을 구현하기 위하여 카메라를 통하여 획득된 프리뷰에 있는 전자기기와 매칭된 에어 태그를 포함하는 프리뷰를 디스플레이부에 표시한다(S22). 여기서 프리뷰상에 해당 전자기기와 매칭된 에어 태그를 매칭하기 위하여 제어부는 먼저 WPS(Wi-Fi Positioning System)를 통해 획득된 이동 단말기의 위치정보를 기준으로 자이로 센서를 이용하여 전자기기의 위치정보를 획득할 수 있다. 이후 제어부는 상기 획득된 전자기기의 위치정보와 저장부에 저장되어 있는 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기의 에어 태그를 디스플레이부에 표시한다.
이후 제어부는 에어 태그를 포함하는 전자기기의 이미지를 갖는 카메라 프리뷰가 디스플레이부에 표시된 상태에서 외부 입력 객체(손가락 또는 스타일러스 펜)를 통하여 상기 에어 태그에 소정의 터치가 입력됨을 감지하는 경우(S23), 터치된 에어 태그의 해당 전자기기에 저장된 컨텐츠를 디스플레이부에 표시한다(S24). 여기서 상기 컨텐츠는 오디오 컨텐츠, 비디오 컨텐츠 및 이미지 컨텐츠 중 어느 하나가 될 수 있다. 따라서 사용자는 증강현실을 이용하여 홈 네트워크에 연결되어 있는 DLNA를 지원하는 전자기기에 저장되어 있는 컨텐츠에 대한 정보를 터치에 의하여 간편하게 확인할 수 있다.
한편 제어부는 에어 태그를 포함하는 전자기기의 이미지를 갖는 카메라 프리뷰가 디스플레이부에 표시된 상태에서 외부 입력 객체(손가락 또는 스타일러스 펜)를 통하여 어느 하나의 전자기기의 에어 태그가 터치되어 다른 하나의 전자기기의 에어 태그로 드래그 됨을 감지하는 경우(S25), 터치 앤 드래그 입력에 따른 전자기기 상호간에 컨텐츠를 공유할 수 있도록 제어한다(S26). 즉 제어부는 에어 태그상에 터치 앤 드래그된 전자기기 상호간에 DLNA 표준에 따라 컨텐츠를 공유하도록 함으로써 사용자는 증강현실을 이용하여 간편하게 DLNA를 지원하는 전자기기 상호간에 컨텐츠를 공유하도록 설정할 수 있다.
도 3은 본 발명의 일실시예에 따른 에어 태그 형태로 전자기기를 디스플레이부에 표시하는 이동 단말기의 이미지도이다.
도 3에서 보는 바와 같이, 이동 단말기(100)의 디스플레이부의 일부 영역에 DLNA 어플리케이션 실행에 따라 검색된 홈 네트워크에 연결되어 있는 DLNA를 지원하는 전자기기 리스트(330)가 표시된다. 한편 디스플레이부의 중앙 영역에는 에어 태그(310)를 포함하는 X-TV(311) 및 에어 태그(320)를 포함하는 PC(312)가 카메라 프리뷰 형태로 표시되어 있다.
즉 사용자는 카메라 프리뷰상에 댁내에 있는 전자기기들이 증강현실을 통하여 에어 태그를 갖도록 표시됨으로써 간편하게 댁내에 있는 전자기기들의 정보를 직관적으로 알 수 있다.
도 4는 본 발명의 일실시예에 따른 에어 태그에 입력된 소정의 터치에 따라 해당 전자기기의 컨텐츠를 디스플레이부에 표시하는 이동 단말기의 이미지도이다.
도 4에서 보는 바와 같이, 이동 단말기(100)의 디스플레이부에는 에어 태그(310)를 포함하는 X-TV(311) 및 에어 태그(320)를 포함하는 PC(312)가 카메라 프리뷰 형태로 표시되어 있다. 사용자가 디스플레이부상에 PC(312)를 나타내는 에어 태그(320)에 외부 입력 객체를 이용하여 터치(410)하는 경우, 제어부는 현재 PC(312)에 저장되어 있는 컨텐츠 정보를 보여주는 리스트창(411)을 팝업한다.
따라서 사용자는 증강현실을 이용하여 에어 태그를 터치함으로써 간편하게 전자기기에 저장되어 있는 컨텐츠 정보를 알 수 있다.
도 5는 본 발명의 일실시예에 따른 전자기기에 표시된 에어 태그를 터치 앤 드래그함으로써 전자기기간에 컨텐츠를 공유할 수 있는 사용자 인터페이스를 나타내는 이동 단말기의 이미지도이다.
도 5에서 보는 바와 같이, 사용자가 외부 입력 객체를 이용하여 X-TV를 나타내는 에어 태그(310)를 PC를 나타내는 에어 태그(320)으로 터치 앤 드래그(510) 하면, 제어부는 에어 태그상에 터치 앤 드래그된 전자기기 상호간에 DLNA 표준에 따라 컨텐츠를 공유하도록 제어한다.
따라서 사용자는 증강현실을 이용하여 컨텐츠를 공유하고자 하는 전자기기의 에어 태그를 터치 앤 드래그 함으로써 간편하게 전자기기 상호간에 컨텐츠를 공유하도록 할 수 있다.
이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 이동 단말기 110 : 카메라
120 : 자이로 센서 130 : 제어부
131 : DLNA 실행부 132 : 에어 태그 매칭부
140 : 디스플레이부 150 : 저장부
151 : 전자기기 위치 등록부
152 : 전자기기 태그 등록부

Claims (9)

  1. 홈 네트워크에 연결되어 있는 적어도 하나 이상의 전자기기의 프리뷰를 획득하기 위한 카메라,
    상기 전자기기의 위치정보 및 에어 태그 정보가 저장되어 있는 저장부,
    상기 프리뷰에 있는 전자기기의 위치정보를 획득하기 위한 자이로 센서,
    에어 태그가 포함된 전자기기를 표시하는 디스플레이부, 및
    상기 자이로 센서로부터 획득된 전자기기의 위치정보와 저장부에 저장된 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기의 에어 태그를 상기 디스플레이부에 표시하도록 제어하고, 홈 네트워크에 연결된 전자기기를 검색하고 전자기기 상호간 컨텐츠를 공유할 수 있는 DLNA 어플리케이션을 실행하는 제어부를 포함하는 증강현실을 이용한 사용자 인터페이스 방법을 제공하는 이동 단말기.
  2. 제 1 항에 있어서,
    상기 제어부는
    디스플레이부에 표시된 전자기기의 에어 태그에 소정의 터치가 입력됨을 감지하는 경우, 터치된 에어 태그의 전자기기에 저장된 컨텐츠를 디스플레이부에 표시되도록 제어하는 것을 특징으로 하는 증강현실을 이용한 사용자 인터페이스 방법을 제공하는 이동 단말기.
  3. 제 1 항에 있어서,
    상기 제어부는
    디스플레이부에 표시된 어느 하나의 전자기기의 에어 태그가 터치되어 다른 하나의 전자기기의 에어 태그로 드래그됨을 감지하는 경우, 터치 앤 드래그에 입력에 따른 전자기기 상호간에 컨텐츠를 공유할 수 있도록 제어하는 것을 특징으로 하는 증강현실을 이용한 사용자 인터페이스 방법을 제공하는 이동 단말기.
  4. 제 2항 또는 제 3항에 있어서,
    상기 컨텐츠는 오디오 컨텐츠, 비디오 컨텐츠 및 이미지 컨텐츠 중 적어도 어느 하나인 것을 특징으로 하는 증강현실을 이용한 사용자 인터페이스 방법을 제공하는 이동 단말기.
  5. DLNA 어플리케이션을 실행하여 홈 네트워크에 연결되어 있는 전자기기를 검색하는 단계; 및
    카메라 프리뷰에 있는 전자기기와 매칭된 에어 태그를 디스플레이부에 표시하는 단계를 포함하여 이루어지는 증강현실을 이용한 사용자 인터페이스 제공방법.
  6. 제 5항에 있어서,
    상기 카메라 프리뷰에 있는 전자기기와 매칭된 에어 태그를 디스플레이부에 표시하는 단계는
    자이로 센서를 이용하여 프리뷰에 있는 전자기기의 위치정보를 획득하는 단계; 및
    상기 획득된 전자기기의 위치정보와 저장부에 저장되어 있는 전자기기의 위치 등록 정보를 비교하여 매칭된 전자기기에 에어 태그를 디스플레이부에 표시하는 단계를 포함하여 이루어지는 증강현실을 이용한 사용자 인터페이스 제공방법.
  7. 제 5 항에 있어서,
    디스플레이부에 표시된 전자기기의 에어 태그에 소정의 터치가 입력됨을 감지하는 단계; 및
    터치된 에어 태그의 전자기기에 저장된 컨텐츠를 디스플레이부에 표시하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 증강현실을 이용한 사용자 인터페이스 제공방법.
  8. 제 5 항에 있어서,
    디스플레이부에 표시된 어느 하나의 전자기기의 에어 태그가 터치되어 다른 하나의 전자기기의 에어 태그로 드래그됨을 감지하는 단계; 및
    터치 앤 드래그 입력에 따른 전자기기 상호간에 컨텐츠를 공유할 수 있도록 제어하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 증강현실을 이용한 사용자 인터페이스 제공방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 컨텐츠는 오디오 컨텐츠, 비디오 컨텐츠 및 이미지 컨텐츠 중 적어도 어느 하나인 것을 특징으로 하는 증강현실을 이용한 사용자 인터페이스 제공방법.
KR1020100088737A 2010-09-10 2010-09-10 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기 KR101722784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100088737A KR101722784B1 (ko) 2010-09-10 2010-09-10 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100088737A KR101722784B1 (ko) 2010-09-10 2010-09-10 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기

Publications (2)

Publication Number Publication Date
KR20120026702A true KR20120026702A (ko) 2012-03-20
KR101722784B1 KR101722784B1 (ko) 2017-04-04

Family

ID=46132412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088737A KR101722784B1 (ko) 2010-09-10 2010-09-10 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기

Country Status (1)

Country Link
KR (1) KR101722784B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128302A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 전자 장치 및 그 연동 방법
US9319583B2 (en) 2012-08-17 2016-04-19 Samsung Electronics Co., Ltd. Camera device and methods for aiding users in use thereof
WO2021182872A1 (ko) * 2020-03-10 2021-09-16 삼성전자 주식회사 증강 현실 모드를 제공하는 전자 장치 및 그의 동작 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484647B1 (ko) 2018-07-11 2023-01-04 삼성전자주식회사 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체
KR102620363B1 (ko) 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
KR102561210B1 (ko) * 2020-05-07 2023-07-31 단국대학교 산학협력단 스마트홈 환경에서 ａｒ 기술을 활용한 슬립테크 제어를 위한 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036570A1 (en) * 2006-08-08 2008-02-14 Electronics And Telecommunications Research Institute Integrated remote control system for a plurality of digital devices
KR20080024582A (ko) * 2006-09-14 2008-03-19 한국전자통신연구원 소규모 네트워크 내의 컨텐츠 자동 공유 시스템 및 방법
KR20090047889A (ko) * 2007-11-08 2009-05-13 한국전자통신연구원 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036570A1 (en) * 2006-08-08 2008-02-14 Electronics And Telecommunications Research Institute Integrated remote control system for a plurality of digital devices
KR20080024582A (ko) * 2006-09-14 2008-03-19 한국전자통신연구원 소규모 네트워크 내의 컨텐츠 자동 공유 시스템 및 방법
KR20090047889A (ko) * 2007-11-08 2009-05-13 한국전자통신연구원 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319583B2 (en) 2012-08-17 2016-04-19 Samsung Electronics Co., Ltd. Camera device and methods for aiding users in use thereof
KR20150128302A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 전자 장치 및 그 연동 방법
WO2021182872A1 (ko) * 2020-03-10 2021-09-16 삼성전자 주식회사 증강 현실 모드를 제공하는 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR101722784B1 (ko) 2017-04-04

Similar Documents

Publication Publication Date Title
KR101924974B1 (ko) 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
KR101246971B1 (ko) 통신망 디바이스들의 간단한 동적 설정
US20160134942A1 (en) Multimedia playing system, multimedia file sharing method and control method thereof
TWI511537B (zh) 智慧型電視系統、智慧型電視、行動裝置及其輸入操作方法
US7962097B2 (en) Method and system for identifying device on universal plug and play network and playing content using the device
US8307059B2 (en) Network system, control apparatus, terminal apparatus, and connection state determining method
US20070258718A1 (en) Method and system for extending internet protocol remote control to non-internet protocol devices
US20110106279A1 (en) Method and apparatus for controlling home network system using mobile terminal
KR101462057B1 (ko) 홈 네트워크에서의 미디어 콘텐츠 공유를 위한 사용자 인터페이스를 제공하는 장치 및 프로그램이 기록된 기록매체
KR100663448B1 (ko) Ｄｌｎａ 시스템에서의 3 프레임으로 구성된 사용자인터페이스 제공 방법
US20070101381A1 (en) IP remote
KR20120026702A (ko) 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
US20130097512A1 (en) Apparatus and content playback method thereof
JP2006318329A (ja) 通信システム、通信方法、通信プログラムおよび記録媒体、遠隔制御装置、コマンドセット格納装置、ならびに、電子または電気機器
KR20130078329A (ko) 전자장치, 이를 제어할 수 있는 사용자 입력장치 및 그 제어방법
US20090319900A1 (en) Control device, control method, and control system
KR20190069870A (ko) 디스플레이장치, 그 제어방법 및 기록매체
WO2019237552A1 (zh) 在移动设备中呈现遥控器界面的方法
US20230119043A1 (en) Operating-system-level permission management for multi-ecosystem smart-home devices
KR20070100511A (ko) 디.엘.엔.에이 네트워크에서 북마크를 이용한 컨텐츠 제공방법 및 그 장치
JPWO2011070706A1 (ja) 機器登録方法及びサーバ装置
KR102557735B1 (ko) 전자 장치 및 그 동작 방법
US20230119058A1 (en) Operating-system-level setup for multi-ecosystem smart-home devices
KR101145528B1 (ko) 모바일 ｄｌｎａ 디바이스
WO2023069622A1 (en) Operating-system-level permission management for multi-ecosystem smart home devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 6