KR20120053420A - 디바이스 제어 시스템 및 방법 - Google Patents

디바이스 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20120053420A
KR20120053420A KR20100114689A KR20100114689A KR20120053420A KR 20120053420 A KR20120053420 A KR 20120053420A KR 20100114689 A KR20100114689 A KR 20100114689A KR 20100114689 A KR20100114689 A KR 20100114689A KR 20120053420 A KR20120053420 A KR 20120053420A
Authority
KR
South Korea
Prior art keywords
information
server
screen
mobile terminal
registered
Prior art date
Application number
KR20100114689A
Other languages
English (en)
Inventor
유용주
박진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20100114689A priority Critical patent/KR20120053420A/ko
Priority to US13/297,532 priority patent/US8847987B2/en
Publication of KR20120053420A publication Critical patent/KR20120053420A/ko
Priority to US14/499,393 priority patent/US20150015610A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Abstract

본 발명은 디바이스 제어 시스템 및 방법에 관한 것으로, 특히 증강현실을 이용하여 디바이스를 제어하는 디바이스 제어 시스템 및 방법에 관한 것이다.
이를 달성하기 위해 증강현실을 이용한 디바이스 제어 시스템이, 각 디바이스에 대한 정보가 등록된 디바이스 서버와; 상기 등록된 디바이스 정보를 이용하여, 휴대단말기의 요청에 따라 검색된 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하는 AR화면을 생성하고, 상기 생성된 AR화면을 상기 휴대단말기에게 제공하는 AR(Augmented Reality)서버와; 상기 AR화면을 통해 표시되는 디바이스의 종류 중 선택된 디바이스와 연결하여 해당기능을 수행하는 상기 휴대단말기를 포함하는 것을 특징으로 한다.

Description

디바이스 제어 시스템 및 방법{SYSTEM AND METHOD FOR CONTROLLING DEVICE }
본 발명은 디바이스 제어 시스템 및 방법에 관한 것으로, 특히 증강현실(AR: Augmented Reality)을 이용하여 디바이스를 제어하는 디바이스 제어 시스템 및 방법에 관한 것이다.
휴대단말기에서 해당 디바이스를 제어하기 위해, 휴대단말기의 현재위치에서 검색 가능한 디바이스를 표시할 때, 휴대단말기의 표시부에는 검색된 디바이스의 존재를 일정한 아이콘으로 단순히 나열하는 방식으로 표시하고 있다.
그러나 상기와 같은 방식은 상기 검색된 디바이스의 종류 및 제공서비스를 알 수 없으며, 상기 디바이스의 실제 위치를 파악하기 불가능하다.
또는 휴대단말기에서 해당 디바이스를 제어하기 위해, 사용자가 휴대단말기에 구비된 카메라부를 통해 해당 디바이스를 촬영하고, 상기 촬영된 해당 디바이스의 모양을 인지하여 해당정보를 제공하는 방식을 사용하고 있다
그러나 상기와 같은 방식은 사용자가 원하는 디바이스를 직접 일일이 촬영해야하고, 촬영된 디바이스의 모양을 인지하지 못할 경우 다시 재 촬영을 수행해야 하며, 또한 상기 촬영된 디바이스에 대한 해당정보가 존재하지 않을 경우 상기 촬영된 디바이스의 제어기능을 수행할 수 없다.
따라서 본 발명의 목적은 증강현실을 이용하여 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하도록 제어하는 디바이스 제어 시스템 및 방법의 제공을 목적으로 한다.
본 발명의 다른 목적은 증강현실을 이용하여 표시되는 디바이스의 종류 중 선택된 디바이스와 연결되어 해당기능을 수행할 수 있는 디바이스 제어 시스템 및 방법의 제공을 목적으로 한다.
상기 목적을 달성하기 위한 증강현실을 이용한 디바이스 제어 시스템은, 각 디바이스에 대한 정보가 등록된 디바이스 서버와; 상기 등록된 디바이스 정보를 이용하여, 휴대단말기의 요청에 따라 검색된 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하는 AR화면을 생성하고, 상기 생성된 AR화면을 상기 휴대단말기에게 제공하는 AR(Augmented Reality)서버와; 상기 AR화면을 통해 표시되는 디바이스의 종류 중 선택된 디바이스와 연결하여 해당기능을 수행하는 상기 휴대단말기를 포함하는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위한 증강현실을 이용한 디바이스 제어 방법은, 디바이스 서버에 각 디바이스에 대한 정보를 등록하는 과정과; AR(Augmented Reality)에서 휴대단말기의 요청에 따라 검색된 디바이스의 종류 및 각 디바이스의 해당정보를 표시하는 AR화면을 생성하여 상기 휴대단말기에게 전송하는 과정과; 상기 휴대단말기는 상기 AR화면을 통해 표시되는 디바이스의 종류 중 선택된 디바이스와 연결하여 해당기능을 수행하는 과정을 포함하는 것을 특징으로 한다.
본 발명은 디바이스 제어 시스템 및 방법을 제공함으로써, 디바이스의 검색 과정과 해당 디바이스의 연결 및 사용과정을 증강현실을 통해 직관적이고 단순화시키는 효과가 있다. 또한 증강현실 화면을 통해 디바이스의 서비스정보를 함께 표시함으로써 사용자가 쉽게 해당 디바이스에 대한 정보를 인지할 수 있는 효과가 있다. 또한 증강현실 화면에서 선택된 디바이스와 바로 연결되어 해당기능을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 디바이스 제어 시스템을 도시한 구성도.
도 2는 본 발명의 위치테이블을 설명하기 위한 도면.
도 3은 상기 도 1의 휴대단말기 구성도.
도 4는 본 발명의 실시 예에 따른 디바이스 제어 시스템에서 디바이스 제어 동작을 도시한 흐름도.
이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
도 1은 본 발명의 실시 예에 따른 디바이스 제어 시스템을 도시한 구성도이다.
상기 도 1을 참조하면, 본 발명의 실 시 예에 따른 디바이스 제어 시스템은 디바이스의 정보가 등록되는 디바이스 서버(200)와, 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하는 AR화면을 제공하는 AR서버(300)와, 상기 AR화면에서 표시되는 디바이스 중 선택된 디바이스와 연결하는 휴대단말기(100)를 포함한다.
상기 디바이스 서버(200)는 각 디바이스(400)에 대한 정보가 등록되며, 상기 디바이스 정보는 ID, 위치정보, 제공서비스, 외형정보(Visual DB), 접근권한 및 연결매체를 포함한다.
상기 디바이스 서버(200)에 상기 디바이스 정보가 등록되는 과정을 살펴보면, 먼저 GPS나 고도센서가 구비되어 있지 않은 디바이스 경우, 상기 디바이스의 사용자는 PC등과 같은 외부장치를 통해 상기 디바이스 서버(200)에 접속하여 직접 상기 디바이스의 정보를 등록한다. 이때 사용자는 별도의 맵(MAP)을 통해 상기 디바이스가 고정되어 위치된 현재위치정보를 더욱 상세하게 지정하여 등록할 수 있다. 본 발명의 실시 예에서 디바이스는 고정된 것으로써, 프린터, 공유기등이 될 수 있다.
또는 사용자는 GPS 및 고도센서가 구비된 자신의 휴대단말기를 이용하여 상기 디바이스 서버(200)에 접속한 후 상기 디바이스 정보를 등록한다. 이때 상기 디바이스의 위치정보는 상기 휴대단말기에 구비된 GPS 및 고도센서를 통해 획득된 상기 휴대단말기의 상세한 위치정보를 상기 디바이스의 위치정보로 등록한다.
또한 상기 디바이스 서버(200)는 상기 등록된 디바이스 정보를 상기 AR서버(300)에 전송한다. 또한 상기 디바이스 서버(200)에 등록된 디바이스 정보는 주기적으로 또는 상기 디바이스의 정보가 변경될 때 마다 사용자에 의해 또는 자동으로 업데이트 되며, 상기 디바이스 서버(200)는 상기 디바이스의 업데이트 정보를 상기 AR서버(300)에 전송한다.
상기 AR서버(300)는 상기 디바이스 서버(200)에 의해 수신된 디바이스 정보를 등록하고, 상기 디바이스 서버(200)에 의해 수신되는 업데이트 정보에 따라 해당 디바이스의 정보를 업데이트 한다.
또한 상기 AR서버(300)는 상기 디바이스 정보 중 위치정보만을 위한 별도의 위치 테이블을 가질 수 있다. 상기 위치 테이블은 상기 등록된 디바이스의 위치정보를 상세하게 저장하고 있다. 예를 들어 상기 디바이스가 특정 영역 예를 들어, 건물 안에 고정되어 위치될 경우, 상기 위치 테이블을 각 층을 고도 센서의 값으로 분류하고, 각 층의 방(Room)을 GPS의 값으로 분류하고 저장할 수 있다.
도 2는 상기 위치테이블을 설명하기 위한 도면이다. 상기 도 2의 (a)는 대기압을 통해 고도를 측정하는 그래프를 나타낸 것이며, 상기 도 2의 (b)는 상기 측정된 고도를 통해 층(floor)정보를 도출할 수 있다는 그래프를 나타내고 있다.
상기 도 2의 (c)는 각 층을 고도센서의 값으로 나타낸 테이블과, 각 방(Room)을 GPS의 값으로 나타내 테이블로써, 상기 두 테이블의 결합을 통해 상기 위치 테이블을 추출할 수 있다.
상기 위치테이블은 별도의 서버에 저장될 수 있으며, 상기 별도의 서버는 상기 디바이스가 위치된 특정영역의 서버일 수 있다.
또한 상기 AR서버(300)는 휴대단말기(100)로부터 AR을 통한 디바이스 검색이 요청되면, 상기 디바이스 검색요청과 함께 수신된 상기 휴대단말기(100)의 위치정보를 통해, 상기 휴대단말기(100)의 현재 위치를 기준으로 일정범위 내에 존재하는 디바이스를 상기 위치테이블을 통해 검색한다.
상기 AR서버(300)는 상기 검색된 디바이스 정보에서 외형정보를 추출하여 상기 디바이스의 종류 상기 외형정보로 표시하고, 상기 디바이스의 종류와 함께 각 디바이스에 대한 해당정보를 표시하는 AR화면을 생성하여 상기 휴대단말기(100)에 전송한다. 상기 각 디바이스에 대한 해당정보는 제공 서비스, 접근권한 및 연결매체를 포함한다.
또한 상기 휴대단말기에서 수신되는 위치정보는 GPS 값과 고도센서의 값을 포함하고 있음으로, 상기 AR 서버(300)는 상기 AR화면에서 검색된 디바이스의 위치를 실제위치와 대응되게 표시할 수 있다.
상기 휴대단말기(100)는 사용자의 요청에 따라 상기 AR서버(300)에게 AR을 통한 디바이스 검색을 요청하고, 상기 요청에 따라 수신되는 상기 AR화면을 표시한다.
상기 외형정보를 통해 표시되는 디바이스의 종류 및 각 디바이스의 해당정보를 표시하는 상기 AR화면에서 사용자에 의해 소정의 디바이스가 선택되면, 상기 휴대단말기(100)는 상기 선택된 디바이스와 직접 연결하여 해당기능을 수행한다.
상기 해당기능은 연결된 디바이스에 따라 Contents Share, Playback, Display, Projection, Audio, Printing, Game 및 Device 고유 서비스가 될 수 있다. 상기와 같은 휴대단말기(100)의 구성을 도 3을 통해 상세히 설명한다.
상기 도 3은 본 발명의 실시 예에 따른 휴대단말기(100)의 구성을 도시한 도면이다.
상기 도 3을 참조하면, RF부(123)는 휴대 단말기의 무선 통신 기능을 수행한다. 상기 RF부(123)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다. 데이터처리부(120)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화 하는 수신기 등을 구비한다. 즉, 상기 데이터 처리부(123)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다. 오디오 처리부(125)는 상기 데이터 처리부(120)의 오디오 코덱에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부(120)의 오디오 코덱에 전송하는 기능을 수행한다.
키 입력부(127)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비한다.
메모리(130)는 프로그램 메모리, 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대 단말기의 일반적인 동작을 제어하기 위한 프로그램들을 저장할 수 있다.
제어부(110)는 휴대 단말기의 전반적인 동작을 제어하는 기능을 수행한다.
상기 제어부(110)는 본 발명의 실시 예에 따라 사용자의 요청에 따라 AR을 통한 디바이스 검색요청 및 위치 측정부(170)로부터 수신된 상기 휴대단말기의 현재위치를 상기 AR서버(300)에 전송한다.
상기 요청에 따라 상기 AR서버(300)로부터 AR화면이 수신되면, 디바이스의 종류 및 각 디바이스의 해당정보를 표시하는 AR화면을 상기 표시부(160)에 표시하도록 제어한다.
상기 제어부(110)는 본 발명의 실시 예에 따라 상기 표시부(160)에 표시되는 디바이스의 종류 및 각 디바이스의 해당정보를 표시하는 AR화면에서 소정의 디바이스가 선택되면, 상기 제어부(110)는 상기 선택된 디바이스와 연결부(180)를 통해 직접 연결하여 해당기능을 수행하도록 제어한다.
상기 위치측정부(170)는 상기 휴대단말기의 위치를 측정하는 것으로, GPS 및 고도센서를 포함한다.
상기 연결부(180)는 상기 휴대단말기를 외부장치와 연결시키는 것으로, 적외선 및 블루투스와 같은 무선연결과 케이블과 같은 유선연결이 가능한다.
상기 연결부(180)는 본 발명의 실시 예에 따라 상기 AR화면에서 선택된 디바이스의 연결매체와 연결된다.
상기 카메라부(140)는 영상 데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD 또는 CMOS센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
상기 영상처리부(150)는 상기 카메라부(140)에서 출력되는 영상신호를 표시부(160)에 표시하기 위한 ISP(Image Signal Processing)를 수행하며, 상기 ISP는 감마교정, 인터폴레이션, 공간적 변화, 이미지 효과, 이미지 스케일, AWB, AE,AF등과 같은 기능을 수행한다. 따라서 상기 영상처리부(150)상기 카메라부(140)에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 상기 표시부(160)의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부(150)는 영상코덱을 구비하며, 상기 표시부(160)에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. 상기 영상처리부(150)는 OSD(On Screen Display) 기능을 구비한다고 가정하며, 상기 제어부(110)의 제어하여 표시되는 화면크기에 따라 온 스크린 표시데이터를 출력할 수 있다.
상기 표시부(160)는 상기 영상처리부(150)에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부(110)에서 출력되는 사용자 데이터를 표시한다. 여기서 상기 표시부(160)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(160)은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있으며, 이때 상기 표시부(160)에는 상기 키 입력부(127)와 같은 키들을 표시할 수 있다.
상기 표시부(160)는 본 발명의 실시 예에 따라 디바이스의 종류 및 각 디바이스의 해당정보를 표시하는 AR화면을 표시한다.
상기와 같은 디바이스 제어 시스템에서 디바이스를 제어하는 동작을 도 4를 통해 상세히 살펴본다.
상기 도 4는 본 발명의 실시 예에 따른 디바이스 제어 시스템에서 디바이스 제어 동작을 도시한 흐름도이다.
이하 본 발명의 실시 예를 도 1 - 도 3의 참조와 함께 상세히 설명한다.
상기 도 4를 참조하면, 401단계에서 사용자에 의해 각 디바이스에 대한 정보가 상기 디바이스 서버(200)에 등록되며, 상기 등록되는 디바이스 정보는 ID ,위치, 제공서비스, 외형정보, 접근권한 및 연결매체를 포함한다.
상기 디바이스 서버(200)는 402단계에서 상기 등록된 디바이스 정보를 상기 AR서버(300)에 전송한다.
403단계에서 상기 AR서버(300)는 상기 디바이스 서버(200)로부터 수신된 디바이스 정보를 등록한다.
그리고, 상기 디바이스 서버(200)에 등록된 디바이스 정보가 주기적으로 또는 디바이스 정보의 변경에 따라 사용자에 의해 또는 자동으로 업데이트 되면, 상기 디바이스 서버(200)는 해당 디바이스 정보를 업데이트 하는 404단계를 진행한다. 상기 디바이스 정보의 변경은 디바이스의 위치이동 및 사용권변경등을 포함한다.
그리고 상기 디바이스 서버(200)는 405단계에서 상기 해당 디바이스에 대한 업데이트 정보를 상기 AR서버(300)에 전송하면, 상기 AR서버(300)는 해당 디바이스 정보를 업데이트하는 406단계를 진행한다.
상기와 같을 과정을 수행하는 중, 상기 휴대단말기(100)에서 사용자에 의해 AR을 통한 디바이스 검색이 선택되면, 상기 휴대단말기의 제어부(110)는 407단계에서 이를 감지하고, 상기 AR서버(300)에게 AR을 통한 디바이스 검색 요청 및 상기 휴대단말기의 위치정보를 전송하는 408단계를 진행한다.
상기 408단계에서 상기 제어부(110)는 상기 휴대단말기의 위치 측정부(170)에서 측정한 GPS값 및 고도센서 값을 상기 휴대단말기의 현재 위치정보로 상기 AR 서버(300)에 전송한다.
상기 휴대단말기(100)로부터 상기 AR을 통한 디바이스 검색 요청 및 상기 휴대단말기의 위치정보가 수신되면, 상기 AR서버(300)는 상기 휴대단말기의 현재 위치정보를 기준으로 일정범위 내에 존재하는 디바이스를 상기 위치테이블에서 검색하는 409단계를 진행한다.
상기 409단계에서 상기 AR서버(300)는 상기 휴대단말기의 위치정보를 기준으로 일정범위 내에 존재하는 디바이스를 검색할 때, 1차적으로 상기 위치테이블의 위치 값을 통해 디바이스를 검색하고, 2차적으로 외형정보를 통해 상기 디바이스를 검색할 수 있다.
예를 들어 적어도 두 개의 디바이스가 붙어서 고정되어 있을 경우, 상기 위치테이블의 위치 값을 통해 디바이스를 검색하면 상기 두 개의 디바이스가 하나의 디바이스로 검색될 수 있다.
따라서 먼저 상기 위치테이블의 위치 값을 통해 해당 디바이스의 ID를 검색한 후, 상기 검색된 디바이스 ID와 대응되는 디바이스의 실제모습을 나타내는 외형정보와 상기 디바이스의 실제 모습을 비교하여 두 개의 디바이스로 분류하여 검색할 수 있다. 상기 디바이스의 실제모습은 상기 휴대단말기의 카메라부(140)를 통해 촬영될 수 있다.
상기 휴대단말기(100)는 사용자에 의해 상기 AR을 통한 디바이스 검색이 선택될 때 상기 카메라부(140)를 구동하여 현재 휴대단말기의 위치에서 보여 지는 디바이스를 촬영할 수 있으며, 상기 촬영된 디바이스의 이미지를 상기 AR서버(300)로 전송할 수 있다.
상기 AR서버(300)는 상기 409단계에서 검색된 디바이스들 각각의 정보에서 외형정보를 추출하여 해당 디바이스를 표시하고, 상기 정보에서 제공서비스, 접근권한 및 연결매체 정보를 추출하여 이를 해당 디바이스의 외형정보와 함께 표시하는 AR화면을 생성하는 410단계를 진행한다.
상기 AR서버(300)가 411단계에서 상기 생성된 AR화면을 상기 휴대단말기(100)에게 전송하면, 상기 휴대단말기의 제어부(110)는 이를 감지하고 상기 휴대단말기의 표시부(160)에 상기 수신된 AR화면을 표시하는 412단계를 진행한다.
상기 412단계에서 상기 표시부(160)에 표시되는 상기 AR화면에서는 상기 휴대단말기의 현재위치에서 일정범위 내에 존재하는 디바이스가 실제 모습과 유사한 이미지로 표시되며, 또한 각각의 디바이스에는 상기 디바이스에 대한 정보 예를 들어 제공서비스, 접근권한 및 연결매체가 함께 표시된다.
따라서, 상기 휴대단말기의 사용자는 상기 AR화면을 통해 검색된 디바이스의 종류를 쉽게 구분할 수 있으며, 또한 각 디바이스의 정보를 통해 각 디바이스가 제공하는 서비스 정보를 쉽게 인지할 수 있다.
또한 상기 AR화면에 표시되는 디바이스는 휴대단말기의 위치를 중심으로 실제 고정된 위치와 대응되는 위치로 배치되어 표시되고 있음으로, 휴대단말기의 사용자는 상기 AR화면을 통해 상기 디바이스의 현재위치를 쉽게 인지할 수 있다.
상기 412단계에서 표시되는 AR화면에서 사용자에 의해 소정의 디바이스가 선택되면, 상기 제어부(110)는 413단계에서 이를 감지하고 상기 휴대단말기의 연결부(180)를 통해 상기 선택된 디바이스와 직접 연결하는 414단계를 진행한다.
상기 414단계에서 상기 휴대단말기의 제어부(110)는 일정범위 안에 있는 선택된 디바이스에게 연결을 요청하고 상기 디바이스와 연결하여 상기 선택된 디바이스에서 제공하는 서비스를 통해 해당 기능을 수행한다.
상기 412단계의 AR화면에서 표시되는 디바이스 각각은 자신들이 제공하는 서비스, 접근권한 및 연결매체를 표시하고 있음으로, 예를 들어 사용자가 프린트 서비스를 제공하고, 블루투스로 연결매체를 가지며, 모두에서 접근권한이 있는 디바이스를 선택한다면, 상기 414단계에서 상기 휴대단말기는 상기 디바이스와 블루투스로 연결하여 프린터기능을 수행할 수 있다,
또한 상기 휴대단말기가 상기 디바이스와 해당기능을 수행하기 위해 드라이버 설치가 필요하다면, 상기 휴대단말기(100)가 상기 디바이스와 연결된 후 상기 AR서버(300)에 의해 상기 휴대단말기(100)에 자동으로 드라이버를 설치할 수 있다.
상기 해당기능은 연결된 디바이스에 따라 Contents Share, Playback, Display, Projection, Audio, Printing, Game 및 Device 고유 서비스가 될 수 있다.
상술한 본 발명의 설명에서는 휴대 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
100: 휴대단말기, 200: 디바이스 서버, 300:AR(Augmented Reality)서버

Claims (19)

  1. 증강현실을 이용한 디바이스 제어 시스템에 있어서,
    각 디바이스에 대한 정보가 등록된 디바이스 서버와,
    상기 등록된 디바이스 정보를 이용하여, 휴대단말기의 요청에 따라 검색된 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하는 AR화면을 생성하고, 상기 생성된 AR화면을 상기 휴대단말기에게 제공하는 AR(Augmented Reality)서버와,
    상기 AR화면을 통해 표시되는 디바이스의 종류 중 선택된 디바이스와 연결하여 해당기능을 수행하는 상기 휴대단말기를 포함하는 것을 특징으로 하는 디바이스 제어 시스템.
  2. 제1 항에 있어서,
    상기 디바이스 정보는 ID, 위치정보, 제공서비스, 외형정보, 접근권한 및 연결매체를 포함하는 것을 특징으로 하는 디바이스 제어 시스템.
  3. 제2 항에 있어서,
    상기 위치정보는 사용자에 의해 수동으로 등록하거나 또는 사용자의 휴대단말기 위치정보를 상기 위치정보로써 등록하며,
    상기 등록된 위치정보를 상기 AR서버의 위치테이블로써 저장하는 것을 특징으로 하는 디바이스 제어 시스템.
  4. 제1 항에 있어서,
    상기 AR화면에서 상기 디바이스들은 실제 위치와 대응되는 위치에 표시되는 것을 특징으로 하는 디바이스 제어 시스템.
  5. 제1 항에 있어서, 상기 디바이스 서버는,
    상기 등록된 새로운 디바이스 정보를 상기 AR서버에 전송하고, 주기적 또는 디바이스정보 변경 시 마다 업데이트 된 해당 디바이스 정보를 상기 AR서버에 전송하는 것을 특징으로 하는 디바이스 제어 시스템.
  6. 제1 항에 있어서, 상기 AR서버는,
    상기 디바이스 서버로부터 수신된 디바이스 정보를 등록하고, 상기 디바이스 서버로부터 수신된 디바이스의 업데이트 정보에 따라 해당 디바이스 정보를 업데이트하는 것을 특징으로 하는 디바이스 제어 시스템.
  7. 제1 항에 있어서, 상기 AR서버는,
    상기 휴대단말기로부터 AR을 통한 디바이스 검색이 요청되면, 상기 등록된 디바이스들 중 상기 휴대단말기의 위치정보를 기준으로 일정범위 내에 존재하는 디바이스를 검색하고, 상기 검색된 디바이스의 종류를 각 디바이스의 외형정보를 통해 표시하는 상기 AR화면을 생성하는 것을 특징으로 하는 디바이스 제어 시스템.
  8. 제7 항에 있어서,
    상기 휴대단말기의 위치정보는 상기 AR을 통한 디바이스 검색 요청과 함께 상기 휴대단말기로부터 수신되는 것을 특징으로 하는 디바이스 제어 시스템.
  9. 제1 항에 있어서, 상기 휴대단말기는,
    AR을 통한 디바이스 검색의 요청에 따라 상기 AR서버로부터 수신된 상기 AR화면을 통해 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하는 것을 특징으로 하는 디바이스 제어 시스템.
  10. 제9 항에 있어서,
    상기 각 디바이스에 대한 해당정보는 제공서비스, 접근권한 및 연결매체를 포함하는 것을 특징으로 하는 디바이스 제어 시스템.
  11. 증강현실을 이용한 디바이스 제어 방법에 있어서,
    디바이스 서버에 각 디바이스에 대한 정보를 등록하는 과정과,
    AR(Augmented Reality)에서 휴대단말기의 요청에 따라 검색된 디바이스의 종류 및 각 디바이스의 해당정보를 표시하는 AR화면을 생성하여 상기 휴대단말기에게 전송하는 과정과,
    상기 휴대단말기는 상기 AR화면을 통해 표시되는 디바이스의 종류 중 선택된 디바이스와 연결하여 해당기능을 수행하는 과정을 포함하는 것을 특징으로 하는 디바이스 제어 방법.
  12. 제11 항에 있어서,
    상기 디바이스 정보는 ID, 위치정보, 제공서비스, 외형정보, 접근권한 및 연결매체를 포함하는 것을 특징으로 하는 디바이스 제어 방법.
  13. 제12 항에 있어서,
    상기 위치정보는 사용자에 의해 수동으로 등록하거나 또는 사용자의 휴대단말기 위치정보를 상기 위치정보로써 등록하며,
    상기 등록된 위치정보를 상기 AR서버의 위치테이블로써 저장하는 것을 특징으로 하는 디바이스 제어 방법.
  14. 제11 항에 있어서,
    상기 AR화면에서 상기 다바이스들은 실제 위치와 대응되는 위치에 표시되는 것을 특징으로 하는 디바이스 제어 방법.
  15. 제11 항에 있어서,
    상기 디바이스 서버가 상기 등록된 디바이스 정보를 상기 AR서버에 전송하면, 상기 AR서버는 상기 수신된 디바이스 정보를 저장하는 과정과,
    상기 디바이스 서버가 주기적 또는 디바이스정보 변경 시 마다 업데이트 되는 해당 디바이스 정보를 상기 AR서버에 전송하면, 상기 AR서버는 해당 디바이스 정보를 업데이트하는 과정을 더 포함하는 것을 특징으로 하는 디바이스 제어 방법.
  16. 제11 항에 있어서, 상기 AR화면을 생성하여 상기 휴대단말기에게 전송하는 과정은,
    상기 휴대단말기로부터 AR을 통한 디바이스 검색이 요청되면, 상기 등록된 디바이스들 중 상기 휴대단말기의 위치정보를 기준으로 일정범위 내에 존재하는 디바이스를 검색하는 과정과,
    상기 검색된 디바이스의 종류를 해당 외형정보를 통해 표시하고, 상기 디바이스의 종류와 함께 각 디바이스의 해당정보를 표시하는 상기 AR화면을 생성하는 과정을 포함하는 것을 특징으로 하는 디바이스 제어 방법.
  17. 제16 항에 있어서,
    상기 휴대단말기의 위치정보는 상기 AR을 통한 디바이스 검색 요청과 함께 상기 휴대단말기로부터 수신되는 것을 특징으로 하는 디바이스 제어 방법.
  18. 제11 항에 있어서, 상기 해당기능을 수행하는 과정은,
    상기 AR서버로부터 상기 AR화면이 수신되면, 상기 AR화면을 통해 디바이스의 종류 및 각 디바이스에 대한 해당정보를 표시하는 과정과,
    상기 AR화면으로 표시되는 상기 디바이스의 종류 중 선택된 디바이스와 연결하여 해당 기능을 수행하는 과정을 포함하는 것을 특징으로 하는 디바이스 제어 방법.
  19. 제18 항에 있어서,
    상기 각 디바이스에 대한 해당정보는 제공서비스, 접근권한 및 연결매체를 포함하는 것을 특징으로 하는 디바이스 제어 방법.


KR20100114689A 2010-11-17 2010-11-17 디바이스 제어 시스템 및 방법 KR20120053420A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20100114689A KR20120053420A (ko) 2010-11-17 2010-11-17 디바이스 제어 시스템 및 방법
US13/297,532 US8847987B2 (en) 2010-11-17 2011-11-16 System and method for controlling device
US14/499,393 US20150015610A1 (en) 2010-11-17 2014-09-29 System and method for controlling device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100114689A KR20120053420A (ko) 2010-11-17 2010-11-17 디바이스 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20120053420A true KR20120053420A (ko) 2012-05-25

Family

ID=46047347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100114689A KR20120053420A (ko) 2010-11-17 2010-11-17 디바이스 제어 시스템 및 방법

Country Status (2)

Country Link
US (2) US8847987B2 (ko)
KR (1) KR20120053420A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150020365A (ko) * 2013-08-12 2015-02-26 한국전자통신연구원 사회적 관계 기반 사용자 맞춤형 사물 큐레이션 생성 방법 및 장치
WO2023132444A1 (ko) * 2022-01-06 2023-07-13 삼성전자 주식회사 가상환경에서 실 세계의 외부 전자 장치를 제어할 수 있는 시스템, 전자 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217617A1 (en) * 2013-08-30 2016-07-28 Hewlett-Packard Development Company, L.P. Augmented reality device interfacing
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
US10438409B2 (en) * 2014-12-15 2019-10-08 Hand Held Products, Inc. Augmented reality asset locator

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097441A (en) * 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
WO2002017075A2 (en) * 2000-08-22 2002-02-28 Symbian Limited A method of enabling a wireless information device to access data services
US7224903B2 (en) 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
US20050038876A1 (en) * 2003-08-15 2005-02-17 Aloke Chaudhuri System and method for instant match based on location, presence, personalization and communication
JP4889445B2 (ja) * 2006-10-30 2012-03-07 株式会社ソニー・コンピュータエンタテインメント ユーザグルーピング装置およびユーザグルーピング方法
US20090003662A1 (en) * 2007-06-27 2009-01-01 University Of Hawaii Virtual reality overlay
US8385658B2 (en) * 2007-07-27 2013-02-26 Sportvision, Inc. Detecting an object in an image using multiple templates
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
AU2008333421B2 (en) * 2007-12-06 2013-12-19 Telefonbuch Verlag Hans Muller Gmbh & Co. Kg Method for WLAN localization and location based service supply
US20090237325A1 (en) * 2007-12-20 2009-09-24 Motorola, Inc. System for Clustering Displays of Display Devices
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
WO2009097370A1 (en) * 2008-01-28 2009-08-06 Snap33 Inc. Method and system for implementing a proximity-based application in a hand-held communications device
US20090300101A1 (en) * 2008-05-30 2009-12-03 Carl Johan Freer Augmented reality platform and method using letters, numbers, and/or math symbols recognition
US8458363B2 (en) * 2008-06-08 2013-06-04 Apple Inc. System and method for simplified data transfer
US8850052B2 (en) * 2008-09-30 2014-09-30 Apple Inc. System and method for simplified resource sharing
KR20100109686A (ko) * 2009-04-01 2010-10-11 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
CN106101115B (zh) * 2009-07-30 2019-09-20 Sk普兰尼特有限公司 用于提供增强现实的方法、服务器和便携终端
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
EP2489033A4 (en) * 2009-10-15 2017-01-25 Apple Inc. Systems and methods for tracking natural planar shapes for augmented reality applications
US9001252B2 (en) * 2009-11-02 2015-04-07 Empire Technology Development Llc Image matching to augment reality
KR101099137B1 (ko) * 2010-01-29 2011-12-27 주식회사 팬택 이동 통신 시스템에서 증강 현실 정보를 제공하기 위한 장치 및 방법
KR101096392B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 증강 현실 제공 시스템 및 방법
US8610771B2 (en) * 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
KR101643869B1 (ko) * 2010-05-06 2016-07-29 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US20110287811A1 (en) * 2010-05-21 2011-11-24 Nokia Corporation Method and apparatus for an augmented reality x-ray
KR101667715B1 (ko) * 2010-06-08 2016-10-19 엘지전자 주식회사 증강현실을 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
KR101292463B1 (ko) * 2011-01-27 2013-07-31 주식회사 팬택 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
US20130116922A1 (en) * 2011-11-08 2013-05-09 Hon Hai Precision Industry Co., Ltd. Emergency guiding system, server and portable device using augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150020365A (ko) * 2013-08-12 2015-02-26 한국전자통신연구원 사회적 관계 기반 사용자 맞춤형 사물 큐레이션 생성 방법 및 장치
WO2023132444A1 (ko) * 2022-01-06 2023-07-13 삼성전자 주식회사 가상환경에서 실 세계의 외부 전자 장치를 제어할 수 있는 시스템, 전자 장치 및 방법

Also Published As

Publication number Publication date
US8847987B2 (en) 2014-09-30
US20150015610A1 (en) 2015-01-15
US20120120102A1 (en) 2012-05-17

Similar Documents

Publication Publication Date Title
JP6318269B2 (ja) 設備の制御方法、設備制御装置、コンピュータプログラム、及びコンピュータ読み取り可能記憶媒体
US8731614B2 (en) Device and method for providing application for external accessory in wireless terminal
US20120154108A1 (en) Portable terminal, method, and program of changing user interface
CN108174103B (zh) 一种拍摄提示方法及移动终端
KR101684203B1 (ko) 스트림 미디어 데이터를 방송하기 위한 방법 및 장치
CN107888765B (zh) 一种切换场景模式的方法、移动终端
KR100703330B1 (ko) 휴대단말기에서 블루투스 통신을 위한 디바이스 검색방법
CN110180181B (zh) 精彩时刻视频的截图方法、装置及计算机可读存储介质
CN111045344A (zh) 一种家居设备的控制方法及电子设备
KR20120053420A (ko) 디바이스 제어 시스템 및 방법
CN108174109B (zh) 一种拍照方法及移动终端
CN111221602A (zh) 一种界面显示方法及电子设备
CN111064888A (zh) 提示方法及电子设备
JP7400091B2 (ja) メモ情報表示方法、メモ情報送信方法及び電子機器
JP2013196223A (ja) サーバ、機器制御プログラム及び機器制御方法
CN108632470B (zh) 一种无线网络信号的显示方法及移动终端
WO2023072038A1 (zh) 图像数据的处理方法和电子设备
CN111061530A (zh) 一种图像处理方法、电子设备及存储介质
KR101642997B1 (ko) 영상표시 시스템 및 이벤트 공유 방법
KR20160095377A (ko) 디스플레이 장치 및 그의 동작 방법
CN109582200B (zh) 一种导航信息显示方法及移动终端
JP2012059090A (ja) 無線通信装置および通信装置
KR101295710B1 (ko) 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
KR100703344B1 (ko) 휴대단말기에서 블루투스 통신을 위한 디바이스 검색방법
US20170272398A1 (en) Electronic device and operation method thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid