KR20150026329A

KR20150026329A - 이동 단말기 및 그것의 제어 방법

Info

Publication number: KR20150026329A
Application number: KR20130105033A
Authority: KR
Inventors: 이윤경; 김현주; 오주현; 박준수; 김용우; 박정민
Original assignee: 엘지전자 주식회사
Priority date: 2013-09-02
Filing date: 2013-09-02
Publication date: 2015-03-11
Also published as: WO2015030411A1; EP3042505A4; EP3042505A1; US20150061841A1; KR102105463B1; EP3042505B1; US8988247B1

Abstract

본 발명은 증강 현실(Augmented Reality) 디스플레이가 가능한 이동 단말기 및 이의 제어 방법에 관한 것으로, 에어컨과 통신 가능하도록 이루어지는 무선 통신부와, 적어도 하나의 피사체에 대한 영상을 수신하는 카메라와, 상기 적어도 하나의 피사체에 각각 대응되는 적어도 하나의 그래픽 객체가 포함된 상기 영상을 출력하는 디스플레이부 및, 상기 적어도 하나의 피사체 중 어느 하나가 상기 에어컨인 경우, 상기 에어컨에 대응되는 그래픽 객체 주변에 상기 에어컨에서 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 제어부를 포함하는 것을 특징으로 한다.

Description

이동 단말기 및 그것의 제어 방법{MOBILE TERMINAL AND CONTROL METHOD FOR THE MOBILE TERMINAL}

본 발명은 증강 현실(Augmented Reality) 디스플레이가 가능한 이동 단말기 및 이의 제어 방법에 관한 것이다.

현재의 이동 단말기는 기능이 다양화됨에 따라 사진이나 동영상의 촬영 기능들을 갖춘 멀티미디어 기기 형태로 구현되고 있다. 현재 이러한 이동 단말기는 증강 현실(AR : Augmented Reality)을 구현하는 수준까지 이르러 있으며, 이러한 증강 현실을 이용하는 다양한 방법이 개발중인 상태이다.

본 발명의 일 목적은, 증강 현실을 이용하여 다양한 가전 제품을 제어하는 것이 가능한 이동 단말기 및 그 제어 방법을 제공하는 것이다.

본 발명의 일 실시 예에 따른 이동 단말기는, 에어컨과 통신 가능하도록 이루어지는 무선 통신부와, 적어도 하나의 피사체에 대한 영상을 수신하는 카메라와, 상기 적어도 하나의 피사체에 각각 대응되는 적어도 하나의 그래픽 객체가 포함된 상기 영상을 출력하는 디스플레이부, 및, 상기 적어도 하나의 피사체 중 어느 하나가 상기 에어컨인 경우, 상기 에어컨에 대응되는 그래픽 객체 주변에 상기 에어컨에서 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 상태정보가 출력된 영역에 대하여 가해지는 터치에 대응하여, 상기 에어컨을 제어하기 위한 제어신호가 상기 에어컨으로 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 상태정보가 출력된 영역에 대하여 가해지는 서로 다른 방식의 터치 및 터치의 정도 중 적어도 하나에 근거하여, 상기 에어컨을 제어하기 위한 서로 다른 제어 신호를 상기 에어컨으로 전송하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 상태정보는 상기 에어컨에서 출력되는 바람의 세기와 관련된 동작정보를 나타내는 이미지 객체를 포함하고, 상기 제어부는, 상기 이미지 객체에 대하여 핀치-인(Pinch In) 또는 핀치-아웃(Pinch Out) 방식의 터치가 가해지는 경우, 상기 바람의 세기를 제어하기 위한 제어신호를 생성하며, 상기 이미지 객체에 가해지는 상기 핀치-인 또는 핀치-아웃의 터치 정도에 따라 상기 바람의 세기가 제어되는 정도가 달라지는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 상태정보가 출력된 영역에 대하여 가해지는 드래그 터치의 터치길이 및 방향 중 적어도 하나 기초하여, 상기 에어컨에서 출력되는 바람의 방향 또는 바람이 미치는 거리를 변경하기 위한 제어신호를 생성하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 이동 단말기와 상기 에어컨의 상대적 위치를 산출하고, 상기 산출된 상대적 위치에 따라 상기 에어컨의 바람과 관련된 제어 신호를 상기 에어컨에 전송하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 상대적 위치는, 상기 에어컨과 상기 이동 단말기 간의 무선 통신 상태, 상기 에어컨 또는 상기 이동 단말기 중 어느 일방에서 타방의 영상이 수신되는 입사각 및 상기 에어컨과 상기 이동 단말기 사이의 거리, 및 상기 에어컨의 위치를 기준으로 하는 가상의 좌표 상에서 상기 이동 단말기의 위치 중 적어도 하나를 통해 산출되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 동작정보는, 상기 에어컨에서 출력되는 바람에 대응되는 이미지 객체를 포함하고, 상기 디스플레이부 상에는, 상기 에어컨에 대응되는 그래픽 객체가 출력되며, 상기 제어부는, 상기 에어컨에 대응되는 그래픽 객체 중 상기 에어컨에서 실제로 바람이 출력되는 위치와 대응되는 영역 주변에 상기 이미지 객체를 출력시키는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 에어컨에서 출력되는 바람에 대응되는 이미지는 정적 이미지 및 동적 이미지 중 적어도 하나인 것을 특징으로 한다.

일 실시 예에 있어서, 상기 에어컨에서 출력되는 바람에 대응되는 이미지는 상기 동작정보에 기초하여, 특정 형상, 모양 및 색상 중 적어도 하나로 이루어지는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 동작정보는, 상기 바람의 방향, 세기, 바람이 미치는 거리 및 바람의 온도를 포함하고, 상기 바람의 방향은 상기 바람의 방향에 따라 달라지는 화살표 이미지로 나타내어지고, 상기 바람의 세기의 따라 상기 화살표 이미지의 두께가 달라지며, 상기 바람이 미치는 거리에 따라 상기 화살표 이미지의 길이가 서로 다르고, 상기 바람의 온도에 따라 상기 화살표의 색상이 달라지는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 상태정보 중에서 상기 동작정보를 제외한 다른 상태정보를 상기 디스플레이부 상의 적어도 일 영역에 텍스트, 이미지 및 동영상 중 적어도 하나를 통해 출력시키는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 상태정보 중에서 상기 동작정보를 제외한 다른 상태정보는, 상기 에어컨에 대응되는 그래픽 객체 중에서 상기 에어컨에 실제로 디스플레이부가 배치된 영역과 대응되는 영역 상에 출력되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 사용자의 선택에 기초하여, 상기 에어컨이 최적의 상태로 동작될 수 있도록 하는 상기 에어컨의 적어도 하나의 동작 상태를 제어하기 위한 최적 상태 제어 신호가 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.

일 실시 예에 있어서,상기 제어부는, 저장부에 기 저장된 최적 상태 설정 정보에 기초하여, 상기 에어컨이 최적의 상태로 동작될 수 있도록 하는 상기 최적 상태 제어신호를 상기 에어컨으로 전송하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 현재 에어컨의 상태정보가 상기 기 저장된 최적 상태 설정 정보와 다른 경우, 상기 최적 상태 설정 정보가 존재함을 알리는 알림정보를 출력하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 최적 상태 설정 정보는, 과거 시점에 상기 에어컨에서 설정되었던 상기 에어컨의 동작 상태와 관련된 적어도 하나의 설정값들을 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 이동 단말기는, 에어컨과 통신 가능하도록 이루어지는 무선 통신부와, 시야범위 내의 피사체에 대한 영상을 수신하는 카메라와, 상기 카메라의 시야범위에 위치한 피사체에 대응되는 적어도 하나의 그래픽 객체를 출력하는 디스플레이부, 및, 상기 에어컨에서 출력되는 바람이 상기 피사체들에 도달하는 경우, 상기 적어도 하나의 그래픽 객체 주변에 상기 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 제어부를 포함하고, 상기 제어부는, 상기 에어컨이 상기 카메라의 시야범위 내에 포함되지 않더라도, 상기 상태정보를 상기 적어도 하나의 그래픽 객체 주변에 출력시키는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 에어컨으로부터 수신되는 상기 에어컨의 상태 정보에 대응되는 시각 정보를 상기 디스플레이부의 적어도 일 영역에 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 동작 정보 중 어느 하나에 대한 사용자의 터치 입력에 대응하여 상기 에어콘의 동작 상태를 변경하기 위한 제어 신호를 상기 에어컨에 전송하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 에어컨에서 출력되는 바람과 관련된 동작 정보에 대응되는 그래픽 객체를 상기 디스플레이부의 적어도 일 영역에 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, AR(Augmented Reality : 증강현실) 모드가 활성화됨에 대응하여, 상기 적어도 하나의 그래픽 객체 주변에 상기 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력시키는 것을 특징으로 한다.

본 발명에 따른, 에어컨과 통신 가능하도록 이루어지는 무선 통신부를 포함하는 이동 단말기의 제어방법은, 적어도 하나의 피사체에 대한 영상을 수신하는 단계, 상기 적어도 하나의 피사체에 각각 대응되는 적어도 하나의 그래픽 객체가 포함된 상기 영상을 디스플레이부 상에 출력하는 단계 및 상기 적어도 하나의 피사체 중 어느 하나가 상기 에어컨인 경우, 상기 에어컨에 대응되는 그래픽 객체 주변에 상기 에어컨에서 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 단계를 포함하는 것을 특징으로 한다.

실시 예에 있어서, 상기 상태정보가 출력된 영역에 대하여 터치가 가해지면, 상기 에어컨을 제어하기 위한 제어신호가 상기 에어컨으로 전송되는 것을 특징으로 하는 이동 단말기의 제어방법.

실시 예에 있어서, 상기 상태정보가 출력된 영역에 대하여 가해지는 서로 다른 방식의 터치 및 터치의 정도 중 적어도 하나에 근거하여, 상기 에어컨을 제어하기 위한 서로 다른 제어신호가 결정되는 것을 특징으로 한다.

실시 예에 있어서, 상기 상태정보는 상기 에어컨에서 출력되는 바람의 세기와 관련된 동작정보를 나타내는 이미지 객체를 포함하고, 상기 이미지 객체에 대하여 핀치-인(Pinch In) 또는 핀치-아웃(Pinch Out) 방식의 터치가 가해지는 경우, 상기 바람의 세기를 제어하기 위한 제어신호가 생성되고, 상기 이미지 객체에 가해지는 상기 핀치-인 또는 핀치-아웃의 터치 정도에 따라 상기 바람의 세기가 제어되는 정도가 달라지는 것을 특징으로 한다.

실시 예에 있어서, 상기 동작정보는, 상기 에어컨에서 출력되는 바람에 대응되는 이미지 객체를 포함하고, 상기 디스플레이부 상에는, 상기 에어컨에 대응되는 그래픽 객체가 출력되며, 상기 이미지 객체는, 상기 에어컨에 대응되는 그래픽 객체 중 상기 에어컨에서 실제로 바람이 출력되는 위치와 대응되는 영역 주변에 출력되는 것을 특징으로 한다.

실시 예에 있어서, 상기 제어신호는, 상기 에어컨이 최적의 상태로 동작될 수 있도록 하는 상기 에어컨의 적어도 하나의 동작 상태를 제어하기 위한 최적 상태 제어 신호인 것을 특징으로 한다.

본 발명에 따른 에어컨과 통신 가능하도록 이루어지는 무선 통신부를 포함하는 이동 단말기의 제어방법은 카메라를 통해 시야범위 내의 피사체에 대한 영상을 수신하는 단계, 상기 카메라의 시야범위에 위치한 피사체에 대응되는 적어도 하나의 그래픽 객체를 디스플레이부 상에 출력하는 단계 및 상기 에어컨에서 출력되는 바람이 상기 피사체들에 도달하는 경우, 상기 적어도 하나의 그래픽 객체 주변에 상기 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 단계를 포함하고, 상기 상태정보를 출력하는 단계에서는, 상기 에어컨이 상기 카메라의 시야범위 내에 포함되지 않더라도, 상기 상태정보가 상기 적어도 하나의 그래픽 객체 주변에 출력되는 것을 특징으로 한다.

실시 예에 있어서, 상기 디스플레이부의 적어도 일 영역에는, 상기 에어컨으로부터 수신되는 상기 에어컨의 상태 정보에 대응되는 시각 정보가 출력되는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 이동 단말기 및 그 제어 방법은, 증강 현실 화면을 통해 입력되는 사용자의 터치에 대응하는 제어 신호를 특정 가전기기에 전송함으로써 사용자가 증강 현실 화면을 통해 가전기기를 제어할 수 있도록 한다.

본 발명의 일 실시 예에 따른 이동 단말기 및 그 제어 방법은, 증강 현실 화면을 통해 해당 가전기기에 대한 정보를 사용자에게 제공함으로써, 사용자가 이동 단말기를 통해 해당 가전기기에 구동 상태를 확인할 수 있도록 한다.

도 1은 본 발명의 일 실시 예에 따른 이동 단말기를 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 이동 단말기의 일예를 전면에서 바라본 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 이동 단말기가 동작 가능한 시스템의 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 이동 단말기의 제어 방법을 설명하기 위한 흐름도이다.
도 5는 도 4에서 살펴본 제어 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시 예에 따른 이동 단말기에서 증강현실을 통해 에어컨의 바람 세기를 조정하는 방법을 설명하기 위한 개념도이다.
도 7a, 도 7b는 본 발명의 일 실시 예에 따른 이동 단말기에서 증강현실을 통해 에어컨의 풍향을 조정하는 방법을 설명하기 위한 개념도이다.
도 8a, 도 8b는 본 발명의 일 실시 예에 따른 이동 단말기에서 증강 현실을 통해 에어컨의 풍향을 조정하는 다른 방법을 설명하기 위한 개념도이다.
도 9는 본 발명의 일 실시 예에 따른 이동 단말기에서 증강 현실을 통해 에어컨의 풍향을 조정하는 또 다른 방법을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시 예에 따른 이동 단말기에서 에어컨이 카메라 시야에서 사라진 경우에도 에어컨의 상태 정보를 표시하는 방법을 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시 예에 따른 복수의 이동 단말기가 증강 현실을 통해 에어컨을 제어하는 방법을 설명하기 위한 개념도이다.
도 12a, 12b, 12c는 본 발명의 일 실시 예에 따른 이동 단말기에서 에어컨의 상태 정보를 증강 현실을 통해 표시하는 방법을 설명하기 위한 개념도이다.
도 13a, 13b, 13c는 본 발명의 일 실시 예에 따른 이동 단말기에서 에어컨에서 출력되는 바람과 관련된 정보를 증강 현실을 통해 표시하는 방법을 설명하기 위한 개념도이다.
도 14a, 14b, 14c는 본 발명의 일 실시 예에 따른 이동 단말기에서 기 설정된 설정값을 통해 에어컨의 동작 상태를 제어하는 방법을 설명하기 위한 개념도이다.
도 15a, 15b는 본 발명의 일 실시 예에 따른 이동 단말기에서 에어컨이 카메라 시야에서 벗어난 경우에도 에어컨의 동작 상태를 제어하는 방법을 설명하기 위한 개념도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, Pda(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 피씨(Slate Pc), Tablet Pc, Ultra book 등이 포함될 수 있다. 그러나 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1은 본 명세서에 개시된 일 실시 예에 따른 이동 단말기를 나타내는 블록도이다.

상기 이동 단말기(100)는 무선 통신부(110), a/V(audio/Video) 입력부(120), 사용자 입력부(130), 감지부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, dMb(digital Multimedia broadcasting)의 EPG(Electronic Program Guide) 또는 dVb-H(digital Video broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

상기 방송 수신 모듈(111)은, 예를 들어, dMb-T(digital Multimedia broadcasting-Terrestrial), dMb-S(digital Multimedia broadcasting-Satellite), MediaFLO(Media Forward Link Only), dVb-H(digital Video broadcast-Handheld), ISdb-T(Integrated Services digital broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLaN(Wireless LaN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave access), HSdPa(High Speed downlink Packet access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(bluetooth), RFId(Radio Frequency Identification), 적외선 통신(Infrared data association; Irda), UWb(Ultra Wideband), Zigbee 등이 이용될 수 있다.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.

도 1을 참조하면, a/V(audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 각 피사체에 대응되는 적어도 하나 이상의 피사체 이미지를 포함하는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

감지부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력부(152), 알람부(153) 및 햅틱 모듈(154) 등이 포함될 수 있다.

디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, Lcd), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT Lcd), 유기 발광 다이오드(organic light-emitting diode, OLEd), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3d display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLEd(Transparant OLEd) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디(body)의 후방에 위치한 사물을 볼 수 있다.

이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치스크린의 근처에 근접 센서가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(Receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력부(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

또한 메모리(160)는 증강 현실(AR : Augmented Reality)을 상기 디스플레이부(151)에 표시하기 위해 필요한 정보들을 저장한다. 예를 들어 상기 메모리(160)에는 상기 증강 현실을 표시하기 위해 사용되는 각종 그래픽 객체들이 저장할 수 있다.

또한 메모리(160)는 이동 단말기(100)의 상대적 위치를 산출하기 위한 정보를 저장할 수 있다. 예를 들어 상기 메모리(160)는, 기준이 될 수 있는 적어도 하나의 가전기기(예를 들어 에어컨)에 대한 좌표 정보를 저장할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 Sd 또는 Xd 메모리 등), 램(random access memory; RaM), SRaM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identify module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.

상기 인터페이스부(170)는 이동 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

또한 제어부(180)는 증강 현실(AR : Augmented Reality) 이미지를 상기 디스플레이부(151)에 표시할 수 있다. 여기서 증강 현실이라는 것은, 피사체의 영상에 가상 이미지를 겹쳐서 하나의 영상으로 출력하는 것을 말한다. 제어부(180)는 피사체에 대한 부가적인 정보를 표시하는 그래픽 객체를 상기 증강 현실 이미지에 표시하여 상기 피사체의 영상과 함께 디스플레이부(151)에 표시할 수 있다. 예를 들어 제어부(180)는 특정 가전기기의 상태 정보를 이러한 증강 현실 이미지를 통해 화면상에 출력할 수 있다.

제어부(180)는 이를 위해 상기 증강 현실 이미지를 생성하는 증강 현실 생성부(183)를 구비할 수 있다. 상기 증강 현실 생성부(183)는 제어부(180)내에 구비될 수도 있고, 또는 제어부(180)와 별도로 구비될 수도 있다.

또한 제어부(180)는 상기 증강 현실 이미지에 포함된 그래픽 객체에 대한 사용자의 터치 입력을 통해 적어도 하나의 가전기기의 동작 상태를 제어할 수도 있다. 예를 들어 제어부(180)는 전원이 오프된 가전기기의 동작 상태를 표시하는 그래픽 객체에 대한 사용자의 터치 입력에 대응하여, 상기 가전기기의 전원을 온 시키기 위한 제어 신호가 전송되도록 상기 무선 통신부(110)를 제어할 수 있다.

여기서 제어부(180)는 전원이 오프된 복수의 가전기기들에 대한 상태 정보를 그래픽 객체로 표시하고, 사용자의 터치 입력에 대응하여 상기 복수의 가전기기들 중 적어도 하나 이상의 가전기기에 제어신호를 전송할 수 있음은 물론이다.

뿐만 아니라 제어부(180)는 위치 연산부(184)를 구비할 수 있다. 여기서 위치 연산부(184)는 상기 제어부(180)의 내부에 구비될 수 있고, 또는 상기 제어부(180)의 외부에 구비될 수 있다. 상기 제어부(180)는 상기 위치 연산부(184)를 통해 이동 단말기(100)의 위치를 산출하여 이를 디스플레이부(151)에 표시할 수 있다. 여기서 상기 이동 단말기(100)의 위치는 어느 하나의 가전기기의 위치를 기준으로 하는 상대 위치일 수 있다. 예를 들어 위치 연산부(184)는 메모리(160)에 기 저장된 어느 하나의 가전기기에 대한 좌표 정보를 이용할 수 있다.

또한 제어부(180)는 상기 산출된 위치에 대한 사용자의 터치 입력에 대응하여 특정 가전기기를 제어하기 위한 제어 신호를 전송할 수도 있다. 예를 들어 제어부(180)는 산출된 이동 단말기(100)의 위치에서 에어컨까지의 거리로부터 적절한 에어컨의 풍량을 결정할 수 있다. 그리고 제어부(180)는 상기 결정된 풍량에 따라 에어컨이 바람을 출력할 수 있도록 하는 제어 신호를 상기 에어컨에 전송할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 aSIcs(application specific integrated circuits), dSPs(digital signal processors), dSPds(digital signal processing devices), PLds(programmable logic devices), FPGas(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

이하, 상기 도 1에서 살펴본 본 발명의 일 실시 예에 따른 이동 단말기 또는 이동 단말기의 구성요소들이 배치된 이동 단말기 또는 이동 단말기의 구조를 살펴본다.

도 2a는 본 발명의 이동 단말기 또는 이동 단말기의 일 예를 전면에서 바라본 사시도이고, 도 2b는 도 2a에 도시된 이동 단말기의 후면 사시도이다.

개시된 이동 단말기(200)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다.

바디는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(201)와 리어 케이스(202)로 구분될 수 있다. 프론트 케이스(201)와 리어 케이스(202)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(201)와 리어 케이스(202) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수도 있다.

케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.

단말기 바디, 주로 프론트 케이스(201)에는 디스플레이부(251), 음향출력 모듈(260), 카메라(221), 사용자 입력부(231, 232, 233) 등이 배치될 수 있다.

디스플레이부(251)는 프론트 케이스(201)의 주면의 대부분을 차지한다. 디스플레이부(251)의 양단부에는 음향 출력부(260) 및 카메라(221)가 배치된다.

한편, 디스플레이부(251)에는 다양한 종류의 시각 정보들이 표시될 수 있다. 이들 정보들은 문자, 숫자, 기호, 그래픽, 또는 아이콘 등의 형태로 표시될 수 있다.

이러한 정보의 입력을 위하여 상기 문자, 숫자, 기호, 그래픽 또는 아이콘 들 중 적어도 하나는 일정한 배열을 이루어 표시됨으로써 키패드의 형태로 구현될 수 있다. 이러한 키패드는 소위 '소프트키'라 불릴 수 있다.

디스플레이부(251)는 전체 영역으로 작동되거나, 복수의 영역들로 나뉘어져 작동될 수 있다. 후자의 경우, 상기 복수의 영역들은 서로 연관되게 작동되도록 구성될 수 있다.

사용자 입력부(130, 도 1 참조)는 휴대 단말기(200)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(231, 232, 233)을 포함할 수 있다. 조작 유닛들(231, 232, 233)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.

제1 내지 제3 조작 유닛들(231, 232, 233)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(231)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 디스플레이부(251)의 양단부 중 음향 출력부(260)가 배치되는 단부와 다른 단부에 인접한 영역에 배치된다.

제2 및 제3 조작 유닛(232, 233)은 음향 출력부(260)에서 출력되는 음향의 크기 조절 또는 디스플레이부(251)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받도록 형성된다.

본 도면을 참조하면, 이동 단말기의 일 측면에는 유/무선 헤드셋 포트(271)과 유/무선 데이터 포트(272)가 배치될 수 있다. 상기 포트들(271, 272)은 인터페이스(170, 도 1 참조)의 일 예로서 구성된다.

도 2b를 참조하면, 단말기 바디의 후면, 다시 말해서 리어 케이스(202)에는 카메라(221')가 추가로 장착될 수 있다. 카메라(221')는 카메라(221, 도 2a 참조)와 실질적으로 반대되는 촬영 방향을 가지며, 카메라(221)와 서로 다른 화소를 가지는 카메라일 수 있다.

예를 들어, 카메라(221)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저 화소를 가지며, 카메라(221')는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많기에 고 화소를 가지는 것이 바람직하다. 카메라(221,221')는 회전 또는 팝업(pop-up) 가능하게 단말기 바디에 설치될 수도 있다.

카메라(221')에 인접하게는 플래쉬(223)와 거울(224)이 추가로 배치된다. 플래쉬(223)는 카메라(221')로 피사체를 촬영하는 경우에 피사체를 향해 빛을 비추게 된다. 거울(224)은 사용자가 카메라(221')를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.

단말기 바디의 후면에는 음향 출력부이 추가로 배치될 수도 있다. 음향 출력부은 프론트 케이스의 음향 출력부(260, 도 2a 참조)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.

단말기 바디의 측면에는 통화 등을 위한 안테나 외에 방송신호 수신용 안테나가 추가적으로 배치될 수 있다. 방송 수신 모듈(111, 도 1 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 설치될 수 있다.

본 도면을 참조하면, 단말기 바디에는 마이크(222), 인터페이스등이 구비될 수 있다. 디스플레이부에서 음향 출력부(260)가 배치되는 일단부와 다른 단부로부터 인접한 영역에는 마이크(222)가 배치된다.

프론트 케이스(201) 및 리어 케이스(202)의 측면들에는 사용자 입력부(232, 233)와 연결 포트 등이 배치될 수 있다.

연결 포트는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(200) 내부의 각 구성 요소에 전달하거나, 이동 단말기(200) 내부의 데이터가 외부 기기로 전송되도록 한다. 연결 포트는, 인터페이스(170, 도 1 참조)의 일 예로서 구성될 수 있다.

단말기 바디에는 이동 단말기(200)에 전원을 공급하기 위한 전원공급부(290)가 장착된다. 전원공급부(290)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 직접 탈착될 수 있게 구성될 수 있다.

상술한 바와 같이 본 발명의 일 실시 예에 따른 이동 단말기는 증강 현실을 이용하여 사용자가 가전기기를 제어할 수 있도록 한다. 여기서 가전기기는 예를 들어 에어컨과 같이 전기를 이용한 다양한 기기를 말하는 것이다. 따라서 본 발명의 일 실시 예에 따른 이동 단말기는 얼마든지 다양한 기기를 제어하기 위해 사용될 수 있으나, 이하의 설명에서는 상기 가전기기 중 "에어컨(Air conditioner)"을 제어하기 위해 사용되는 것을 예로 들어 설명하기로 한다.

한편 도 3은 본 발명의 일 실시 예에 따른 이동 단말기가 동작 가능한 시스템의 개념도이다.

본 발명의 일 실시 예에 따른 이동 단말기(100)는, 도 3에서 보이고 있는 것과 같이 적어도 하나의 에어컨과 접속이 가능하다. 예를 들어 제어부(180)는 일정 거리 내에 적어도 하나의 에어컨이 위치하거나, 또는 일정 지역 내(예를 들어 가정)에 진입하는 경우, 해당 지역 내에 위치한 에어컨들과 자동으로 접속될 수 있다.

여기서 이동 단말기(100)는 다양한 방식으로 에어컨들(300, 310) 중 적어도 하나와 접속될 수 있다. 예를 들어, 이동 단말기(100)와 에어컨들(300, 310) 중 적어도 하나는 무선 랜(WIFI)이나 NFC(Near Field Communication), 블루투스(Bluetooth) 또는 적외선 통신(Irda)등의 무선 통신 방식을 통해 접속될 수 있다.

이러한 경우 제어부(180)는 기 설정된 조건에 따라 어느 하나의 에어컨에만 접속될 수도 있음은 물론이다. 예를 들어 제어부(180)는 거리에 따라 어느 하나의 에어컨에만 접속할 수도 있고, 또는 사용자의 선택에 따른 어느 하나의 에어컨에만 접속할 수도 있다. 또는 제어부(180)는 어느 하나의 에어컨만이 피사체로서 그 영상이 카메라(121)에 수신되는 경우에, 그 에어컨에만 접속할 수도 있다.

또한, 제어부(180)는 접속 가능한 에어컨이 있을 경우, 사용자에게 이를 알리는 알람을 출력할 수 있다. 이러한 알람은 기 설정된 이미지 및 텍스트 중 적어도 하나로 이루어진 그래픽 객체가 상기 디스플레이부(151)에 표시되는 것일 수 있다. 또한, 상기 제어부(180)는 그래픽 객체를 디스플레이부(151)에 표시하는 것에 더불어 알람부(153)를 통해 진동 및 소리 중 적어도 하나를 이용하여 상기 알람을 출력할 수도 있다.

그리고 제어부(180)는 상기 알람에 대응하여 사용자가 이동 단말기를 조작하는 경우, 예를 들어, 상기 알람을 위한 그래픽 객체가 표시된 영역에 사용자의 터치 입력이 감지 또는 기 설정된 복수의 조작 유닛들 중 어느 하나가 조작되는 경우, 카메라(121)를 구동시킬 수 있다. 그리고 제어부(180)는 어느 하나의 에어컨만이 피사체로서 그 영상이 상기 카메라(121)에 수신되는 경우에, 그 에어컨에만 접속할 수도 있다.

이를 도 3의 (a)와 (b)를 참조하여 살펴보면, 이동 단말기(100)는 도 3의 (a)에서 보이고 있는 지역 내에 진입하는 경우 에어컨들(300, 310) 모두와 접속 할 수 있다. 또는 이동 단말기(100)는 사용자의 선택에 따라 에어컨들(300, 310) 중 어느 하나에만 접속할 수 있다.

또한, 제어부(180)는 상술한 바와 같이, 상기 에어컨들(300, 310) 중 적어도 하나와 접속하기 위한 알람을 출력할 수도 있다. 그리고 상기 출력된 알람에 대응되는 사용자의 입력을 감지하면, 제어부(180)는 도 3의 (a)에서 보이고 있는 바와 같이 카메라(121)를 구동할 수 있다. 그리고 이 경우 카메라 시야각(304)내에 포함된 피사체들에 대응되는 영상은, 도 3의 (b)에서 보이고 있는 것처럼 디스플레이부(151)에 표시될 수 있다.

도 3의 (b)는 이동 단말기(100)의 디스플레이부(151)에 표시되는 영상의 예를 도시한 것이다. 도 3의 (b)를 참조하여 살펴보면, 도 3에서는 카메라(121)의 시야각(304)내에 포함된 피사체 에어컨(300)과 TV(302)에 대한 영상이 수신된 예를 보이고 있다. 이 경우 제어부(180)는 에어컨들(300, 301) 중에서 카메라 시야각(304)에 포함된 에어컨(300)에만 접속할 수 있다.

이처럼 제어부(180)는 카메라(121)가 구동되는 경우, 카메라(121)를 통해 수신되는 영상에 포함된 피사체만을 선택적으로 접속할 수 있다. 그러나 카메라(121)가 구동되지 않은 경우에도 사용자의 선택에 따라 어느 하나의 에어컨에 접속할 수 있음은 물론이다. 또한 제어부(180)는 알람이나 사용자의 카메라 구동 제어가 아니더라도, 사용자의 증강 현실(AR) 모드 선택에 대응하여 카메라(121)를 구동시킬 수도 있음은 물론이다. 이 경우 카메라(121)가 구동되면 제어부(180)는 카메라 시야각(304)에 의해 수신된 영상에 포함된 피사체들 중 어느 하나에 접속할 수 있다.

또한 상기한 도 3의 경우, 비록 에어컨들(300, 310) 중 적어도 하나에 접속할 수 있는 것을 예로 들어 설명하였으나, 이는 일 예일 뿐 반드시 에어컨에 국한되는 것은 아니다. 예를 들어 도 3의 (b)와 같이 카메라 시야각(304)에 수신된 영상에 에어컨(300) 및 TV(302)가 피사체로서 포함되어 있는 경우, 제어부(180)는 사용자의 선택에 대응하여 에어컨(300) 또는 TV(302) 중 적어도 하나에 접속하고 그에 대한 증강 현실 이미지를 디스플레이부(151)에 표시할 수도 있음은 물론이다.

이처럼 적어도 하나의 에어컨에 접속되면, 제어부(180)는 접속된 에어컨의 상태 정보를 증강 현실 이미지로 디스플레이부(151)에 출력할 수 있다. 그리고 제어부(180)는 상기 증강 현실 이미지에 포함되는 적어도 하나의 그래픽 객체에 대한 사용자의 터치에 대응하여, 상기 접속된 에어컨에 제어 신호를 전송할 수 있다.

도 4는 이러한 본 발명의 일 실시 예에 따른 이동 단말기의 제어 방법을 설명하기 위한 흐름도이다. 그리고 도 5는 도 4에서 살펴본 제어 방법을 설명하기 위한 개념도이다.

도 4를 참조하여 살펴보면, 제어부(180)는 적어도 하나의 에어컨에 접속한다(S400). 예를 들어 제어부(180)는 도 3에서 도시한 것과 같이, 일정 지역 내 또는 일정 거리 내에 위치한 에어컨들 중 적어도 하나에 자동 접속할 수 있다. 또는 알람이나 증강 현실 모드의 선택에 의해 카메라(121)가 구동되는 경우 제어부(180)는 디스플레이부(151)에 표시되는 피사체들 중 사용자의 선택에 대응되는 어느 하나에 접속할 수 있다.

그리고 제어부(180)는 접속된 에어컨으로부터 상태 정보를 수신한다(S402). 여기서 상태 정보는 에어컨의 동작 상태와 구동 상태, 또는 현재 에어컨의 주변 환경 상태에 대한 정보를 포함하는 것이다. 여기서 상기 에어컨의 동작 상태라는 것은, 에어컨에 현재 설정된 희망 온도나 현재 설정된 냉방 세기, 또는 현재까지의 가동 시간이나, 현재 예약된 가동 예약 시간에 대한 정보일 수 있다. 그리고 상기 에어컨의 구동 상태라는 것은, 에어컨에 현재 설정된 바람의 출력 방향이나, 좌우 회전 또는 상하 회전과 같은 바람 출력 형태에 대한 정보일 수 있다. 또한 상기 에어컨의 주변 환경 상태에 대한 정보라는 것은, 에어컨으로부터 측정된 주변 환경에 대한 정보, 즉 습도나 조도 또는 공기 청결 상태등에 대한 정보일 수 있다.

여기서 상태 정보는 적어도 하나의 에어컨이 접속되는 경우, 접속된 에어컨(300)으로부터 상기 제어부(180)의 요청에 의해 전송될 수 있다. 예를 들어 제어부(180)는 기 설정된 조건 또는 사용자의 선택에 따라 적어도 하나의 에어컨에 접속되면 접속된 에어컨에 상태 정보를 요청하고, 접속된 에어컨(300)은 이에 대한 응답으로 상기 상태 정보를 전송할 수 있다.

그러나 이와는 달리 상기 이동 단말기(100)와 같은 외부 디바이스가 감지되는 경우 상기 에어컨(300)이 직접 상태 정보를 외부 디바이스에 전송할 수도 있음은 물론이다.

예를 들어, 외부 디바이스가 일정 거리 내로 접근하는 경우, 또는 상기 외부 디바이스가 일정 지역 내로 진입하는 경우에, 에어컨(300)은 상기 외부 디바이스와의 무선 통신 또는 상기 외부 디바이스에서 발신되는 고유 정보등 다양한 방법으로 상기 외부 디바이스를 감지할 수 있다. 또는 기 구비된 카메라(미도시)에 상기 외부 디바이스가 포착되는 경우, 에어컨(300)은 상기 외부 디바이스를 감지할 수도 있다. 이러한 경우 에어컨(300)은 자신의 동작 상태에 대한 정보, 구동 상태에 대한 정보, 및 주변 환경에 대한 정보를 적어도 하나 포함하는 상태 정보를 상기 감지된 외부 디바이스에 전송할 수 있다.

여기서 상기 구동 상태에 대한 정보는 에어컨(300)에서 출력되는 바람의 세기 또는 방향에 대한 정보를 포함하는 정보이며, 상기 동작 상태에 대한 정보는 상기 에어컨(300)에 설정된 희망 온도 또는 가동 시간이나, 예약 가동 시간에 대한 정보를 포함하는 정보이다.

한편 제어부(180)는 수신된 상태 정보에 근거하여 현재 접속된 에어컨(300)에 대한 증강 현실 이미지를 생성한다. 여기서 증강 현실 이미지에는 상기 상태 정보에 대응되는 적어도 하나의 다양한 그래픽 객체들이 포함될 수 있다. 예를 들어 제어부(180)는 수신된 상태 정보에 포함된 풍량 정보에 대응하는 크기로 그래픽 객체를 생성할 수 있으며, 또는 에어컨(300)의 구동 상태에 따른 풍향 정보에 대응되는 방향으로 상기 그래픽 객체가 표시되도록 할 수도 있다.

제어부(180)는 사용자의 선택에 대응하여 상기 생성된 증강 현실 이미지를 디스플레이부(151)에 표시할 수 있다(S404). 예를 들어 제어부(180)는 카메라 시야각(304)에 들어오는 피사체들 중 어느 하나에 대해 이러한 증강 현실 이미지를 생성하고 이를 표시할 수 있다. 예를 들어 도 3의 (b)에서 보인 것과 같이 카메라 시야각(304)에 에어컨(300)이 포함되는 경우, 제어부(180)는 카메라(121)로부터 수신되는 영상과 함께 상기 증강 현실 이미지를 디스플레이부(151)에 출력할 수 있다.

도 5의 (a)는 이러한 예를 도시한 것이다. 도 5의 (a)를 참조하여 살펴보면, 제어부(180)는 에어컨(300)으로부터 수신된 상태 정보를 포함하는 증강 현실 이미지를 상기 에어컨(300) 주변에 디스플레이할 수 있다.

이러한 증강 현실 이미지는, 상기 에어컨(300)의 상태 정보에 대응하는 다양한 그래픽 객체들을 포함한다. 예를 들어 상기 증강 현실 이미지에는 에어컨에서 출력되는 바람의 방향 및 세기에 따라 그 크기와 모양을 달리하는 화살표 이미지가 포함될 수 있다. 즉, 제어부(180)는 도 5의 (a)에서 보이고 있는 것처럼 화살표 이미지들(500, 502, 504)을 통해 에어컨(300)에서 출력되는 바람의 풍향 및 세기를 나타낼 수 있다.

예를 들어 정면의 화살표 이미지(500)는 에어컨(300)의 정면 부분에서 출력되는 바람의 세기 및 방향을 나타낼 수 있다. 그리고 좌우 측면의 화살표 이미지들(502, 504)은 각각 에어컨(300)의 좌우 측면에서 출력되는 바람의 세기 및 방향을 나타낼 수 있다. 이러한 화살표 이미지들(500, 502, 504)은 고정된 이미지, 즉 정적 이미지의 형태로 표시될 수 있고, 또는 화살표 이미지가 표시된 영역 내에서, 화살표의 방향이나 기 설정된 형태로 움직이는 동적 이미지의 형태로도 표시될 수 있다.

뿐만 아니라, 상기 증강 현실 이미지는 텍스트를 포함하는 이미지일 수 있다. 예를 들어 제어부(180)는 에어컨의 동작 상태에 대한 정보, 즉 현재 온도나 희망 온도 또는 현재까지 가동된 시간이나, 현재 예약된 가동 시간에 대한 정보, 즉 예약 가동 시간에 대한 정보들을 텍스트 형태로 포함하는 그래픽 객체(508)를 출력시킬 수 있다.

뿐만 아니라, 제어부(180)는 기 화살표 이미지들(500, 502, 504)을 통해 표시되는 것보다 더 정확한 정보를 제공하기 위해, 상기 에어컨(300)의 구동 상태를 텍스트 정보로서 표시할 수도 있음은 물론이다. 예를 들어 제어부(180)는 도 5의 (a)에서 도시하고 있는 것처럼, 현재 풍향, 즉 전면 또는 좌우 측면 송풍구를 통해 출력되는 바람의 출력 형태에 대한 정보, 및 전면 송풍구 또는 좌우 측면 송풍구를 통해 출력되는 바람의 출력 방향에 대한 정보를 텍스트 형태로 포함하는 그래픽 객체(506)를 통해 증강 현실 이미지를 나타낼 수 있다.

증강 현실 이미지가 디스플레이부(151)상에 출력된된 경우, 제어부는, 이러한 증강 현실 이미지를 통해, 에어컨을 제어하기 위한 제어신호를 생성할 수 있다. 예를 들어, 제어부(180)는 상기 증강 현실 이미지에 대한 사용자의 입력을 감지할 수 있다. 제어부(180)는 상기 증강 현실 이미지에 포함된 어느 하나의 그래픽 객체가 표시되는 영역에 사용자의 터치 입력이 감지되는 경우, 해당 그래픽 객체에 대응되는 에어컨의 동작 상태 또는 구동 상태에 대해 사용자의 입력이 있는 것으로 인식할 수 있다.

즉, 제어부(180)는 사용자의 터치가 화살표 이미지들(500, 502, 504) 중 어느 하나가 표시된 영역에서 감지되는 경우, 상기 어느 하나의 화살표 이미지에 대응되는 바람의 출력 세기 또는 출력 방향에 대한 사용자의 입력이 있는 것으로 인식할 수 있다.

그리고 제어부(180)는 상기 사용자의 입력에 대응하여, 에어컨(300)의 구동 상태 또는 동작 상태를 제어하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다(S406). 이러한 경우 이동 단말기(100)는 상기 에어컨(300)의 리모컨처럼 사용될 수 있다. 예를 들어 제어부(180)는 사용자의 터치 입력에 대응하여, 상기 어느 하나의 화살표 이미지에 대응되는 바람의 출력 세기 또는 출력 방향을 변경시키기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

또한 상기 에어컨(300)의 상태 정보가 표시된 영역에 대한 사용자의 터치 정도에 따라, 에어컨(300)이 제어되는 정도가 달라지게 할 수도 있음은 물론이다. 예를 들어 제어부(180)는 바람의 세기에 대한 그래픽 객체가 표시된 영역에 사용자의 드래그 입력이 감지되거나, 특정한 터치 제스처 입력이 감지되는 경우 사용자의 입력에 따른 세기로 바람 세기가 변경되도록 하는 제어 신호를 전송할 수 있다.

예를 들어 제어부(180)는 화살표 이미지들(500, 502, 504) 중 어느 하나에 대한 핀치 인(Pinch In), 핀치 아웃(Pinch Out) 제스처를 통해 전면 송풍구에서 출력되는 바람 또는 좌우 측면 송풍구에서 출력되는 바람들 중 적어도 하나의 세기를 변경할 수 있다. 여기서 핀치 인 또는 핀치 아웃 제스처라는 것은 적어도 두 개의 터치 입력이 서로 가까워지거나(핀치 인), 서로 멀어지는(핀 아웃) 것으로 감지되는 사용자의 터치 제스처를 의미한다.

도 5의 (b), (c), (d)는 이러한 예를 도시한 것이다. 우선 도 5의 (b)를 참조하여 살펴보면, 우측 측면 송풍구에서 출력되는 바람에 대응되는 화살표 이미지(504)가 표시된 영역에서 사용자의 터치 입력(520A, 520B)이 감지된 경우, 제어부(180)는 사용자가 우측 측면 송풍구에서 출력되는 바람의 제어를 선택한 것으로 인식할 수 있다.

이러한 경우 제어부(180)는, 도 5의 (c)에 도시되어 있는 것과 같이 사용자의 터치 입력(520A, 520B)이 핀치 아웃 제스처를 통해 서로 멀어지는 경우(540A, 540B), 이를 감지할 수 있다. 그리고 제어부(180)는 핀치 아웃 제스처에 따른 사용자의 터치 입력(540A, 540B)에 대응하여, 상기 우측 측면 송풍구에서 출력되는 바람의 세기를 변경할 수 있다.

또한 제어부(180)는 에어컨(300)에서 출력되는 바람들 중 어느 하나만을 별도로 제어하기 위한 제어 신호를 전송할 수도 있다. 예를 들어 도 5의 (c)에 도시된 것과 같이, 우측 측면 송풍구에서 출력되는 바람에 대해 사용자의 핀치 아웃 터치 입력(540A, 540B)이 감지된 경우, 제어부(180)는 우측 측면 송풍구에서 출력되는 바람(504)에 대해서만 사용자의 핀치 아웃 터치 입력(540A, 540B)에 대응하여 그 세기가 변경되도록 할 수 있다. 그리고 도 5의 (d)에서 도시되어 있는 것과 같이, 사용자의 터치 입력에 대응하여 변경된 에어컨(300)의 동작 상태는 증강 현실 이미지를 통해 디스플레이부(151)에 표시될 수 있다.

상술한 예에서는 사용자의 핀치 아웃 제스처에 의해 바람세기가 변경되는 것을 설명하였으나, 단순히 사용자의 터치 앤드 드래그 동작에 의해서도 상기 에어컨(300)에서 출력되는 바람의 세기가 변경될 수 있음은 물론이다. 또한 에어컨(300)에서 출력되는 다수의 바람들 중 사용자의 터치 입력에 대응하는 어느 하나의 바람만이 그 세기가 변경되는 것을 설명하였으나, 어느 하나의 화살표 이미지에 대한 입력만으로 상기 에어컨(300)에서 출력되는 모든 바람의 세기가 변경될 수도 있음은 물론이다.

도 6은 이러한 예를 도시한 도면이다. 우선 도 6의 (a)에서 도시되어 있는 것과 같이, 화살표 이미지(504)가 표시된 영역에 사용자의 터치 입력(600)이 감지된 경우, 제어부(180)는 화살표 이미지(504)에 대응되는 바람, 즉 에어컨(300)의 우측 측면 송풍구에서 출력되는 바람에 대한 제어가 사용자로부터 선택된 것으로 인식할 수 있다.

이러한 상태에서, 도 6의 (b)에서 도시되어 있는 것과 같이, 사용자의 터치(600) 앤드 드래그(620) 입력이 있는 경우, 제어부(180)는 사용자의 입력에 대응되도록 에어컨(300)에서 출력되는 모든 바람의 세기를 변경할 수 있다. 그리고 에어컨(300)에서 출력되는 바람의 세기가 변경되면, 도 6의 (c)에서 보이고 있는 것과 같이, 변경이 반영된 증강 현실 이미지가 디스플레이부(151)에 표시될 수 있다.

즉, 변경된 세기에 대응되는 크기의 화살표 이미지들(630, 632, 634)이 각각의 바람에 대응되는 위치에 표시될 수 있으며, 변경된 동작 상태에 대응되는 텍스트 정보가 포함된 그래픽 객체(670)가 디스플레이부(151)에 표시될 수 있다.

따라서 본 발명의 일 실시 예에 따른 이동 단말기(100)는 상기 에어컨(300)에 대한 증강 현실 이미지를 통해 에어컨(300)의 현재 상태를 사용자가 보다 정확하게 알 수 있도록 할 뿐만 아니라, 사용자가 상기 증강 현실 이미지를 통해 에어컨의 상태를 직관적으로 확인하며 원하는 상태로 에어컨을 제어할 수 있도록 한다.

한편, 제어부(180)는 사용자의 터치 입력에 대응되는 가이드 이미지를 디스플레이부(151)에 표시할 수도 있다. 예를 들어 제어부(180)는 도 6의 (b)에 도시되어 있는 것과 같이 사용자의 터치 앤드 드래그 입력에 대응되는 크기의 화살표 이미지(630, 632, 634)를 가이드 이미지로서 디스플레이부(151)에 표시할 수 있다.

여기서 가이드 이미지는 다양한 형태로 표시될 수 있다. 예를 들어 제어부(180)는 상기 가이드 이미지를 도 6의 (b)에서 보이고 있는 것과 같이 점선 형태로 표시할 수 있으며, 또는 화살표 이미지(500, 502, 504)가 표시된 영역을 다른 색상 또는 반투명한 색상으로 표시할 수 있다. 또는 제어부(180)는 상기 가이드 이미지를 점멸하는 형태의 그래픽 객체로 표시할 수도 있음은 물론이다.

상기 가이드 이미지는 도 6의 (b)에서 보이고 있는 것과 같이, 에어컨(300)에서 출력되는 모든 화살표 이미지(500, 502, 504)에 대해 표시될 수도 있지만, 이 중 어느 하나의 화살표 이미지에 대해서만 표시될 수도 있음은 물론이다. 즉, 예를 들어 상기 도 5의 (c)에서도 사용자의 핀치 아웃(540A, 540B)에 대응되는 가이드 이미지가 디스플레이부(151)에 표시될 수 있음은 물론이다.

뿐만 아니라, 제어부(180)는 증강 현실 이미지를 통한 사용자의 입력이 감지된 경우, 이에 근거하여 에어컨(300)에서 출력되는 바람의 방향을 변경할 수도 있음은 물론이다. 예를 들어 제어부(180)는 화살표 이미지들이 표시된 영역들 중 어느 하나에 대한 사용자의 입력에 대응하여, 상기 에어컨(300)에서 출력되는 어느 하나의 바람에 대한 방향을 변경할 수 있다.

도 7a는 이러한 예를 도시한 것이다. 여기서 도 7a의 (a)는 사용자가 에어컨(300)에서 출력되는 바람들에 각각 대응되는 화살표 이미지(700, 702, 704)들 중, 화살표 이미지(700)가 표시된 영역에 사용자의 터치 입력(710)이 감지된 예를 보이고 있는 것이다.

도 7a의 (a)를 참조하여 살펴보면, 에어컨(300)의 구동 상태를 표시하는 그래픽 객체(712)를 통해, 전면 송풍구에서는 정면을 기준으로 우측 30도 방향으로 바람이 출력되고 있는 것을 알 수 있다. 따라서 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 객체인 화살표 이미지(700)는, 정면을 기준으로 우측으로 30도 기울어진 형태로 표시될 수 있다.

이러한 경우 화살표 이미지(700)가 표시된 영역에 사용자의 터치 입력(710)이 감지되면, 제어부(180)는 전면 송풍구에서 출력되는 바람에 대한 제어가 선택된 것으로 인식할 수 있다. 그리고 제어부(180)는 사용자의 입력에 대응되는 바람의 풍향에 근거하여 상기 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 이미지를 변경할 수 있다.

예를 들어, 도 7a의 (b)에서 도시하고 있는 것처럼 사용자의 터치(710)가 드래그(730)된 경우, 제어부(180)는 드래그(730)된 위치에 따라 화살표 이미지(700)의 방향을 변경할 수 있다. 그리고 제어부(180)는 변경된 화살표 이미지(700)의 방향에 따라 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향을 변경하기 위한 제어 신호를 에어컨(300)에 전송할 수 있다.

여기서 제어부(180)는 사용자의 드래그(730)에 따라 변경되는 풍향의 각도에 대한 정보를 상기 구동 상태를 표시하기 위한 그래픽 객체(712)에 텍스트 정보로 표시할 수 있다. 또는 제어부(180)는 사용자의 드래그(730)입력에 의해 변경되는 바람의 방향에 대한 정보를 별도의 그래픽 객체, 예를 들어 말 풍선 또는 사각형 박스등의 형태로 표시할 수도 있다. 이에 따라 사용자는 자신의 터치 앤드 드래그에 따라 변경되는 풍향을 텍스트 정보로도 확인할 수 있다.

또한, 제어부(180)는 드래그(730)된 위치에 따른 방향으로 상기 바람의 방향을 변경하기 위한 제어 신호를 전송할 수 있다. 즉, 도 7a의 (b)에서 사용자의 드래그(730)에 따른 터치 입력이 정면을 기준으로 좌측 30도 방향에서 감지된 경우라면, 제어부(180)는 상기 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향을 좌측 30도로 변경하기 위한 신호를 에어컨(300)에 전송할 수 있다. 그리고 에어컨(300)의 구동 상태를 표시하는 그래픽 객체(714)에는 이러한 에어컨의 변경된 구동 상태가 반영된 텍스트 정보가 포함될 수 있다.

뿐만 아니라, 본 발명의 일 실시 예에 따른 이동 단말기(100)는, 이동 단말기(100)의 현재 위치를 반영하여 사용자의 터치 입력에 대응되게 변경되는 에어컨의 풍향을 결정할 수 있다.

예를 들어 도 7a에서 보인 것과 같이, 이동 단말기(100)가 에어컨(300)의 전면에 위치하는 경우, 디스플레이부(151)를 통해 입력된 사용자의 터치(710) 앤드 드래그(730) 입력은, 카메라 시야각(770) 내에서의 에어컨(300)과 수평선상에 존재하는 가상 위치A(758)에서 가상 위치B(760)로 드래그 된 것으로 가정할 수 있다.

그리고 제어부(180)는 이동 단말기(100)의 상대 위치 연산을 통해 이동 단말기(100)가 에어컨(300)으로부터 이격된 거리를 산출할 수 있다. 그리고 이동 단말기(100)와 에어컨(300) 사이의 거리가 산출되는 경우, 제어부(180)는 이동 단말기(100)를 기준으로 상기 가상 위치A(758)와 가상 위치B(760)가 이루는 각도를 연산할 수 있다.

여기서 에어컨(300) 위치에 대한 이동 단말기(100)의 상대적 위치는 여러 가지 방법으로 산출될 수 있다. 예를 들어 이동 단말기(100)는 에어컨(300)으로부터 수신되는 신호의 세기 또는 신호의 방향을 감지하여 이를 통해 에어컨(300)으로부터의 상대적 위치를 산출할 수 있다. 또는 에어컨(300)에서 상기한 방식으로 이동 단말기(100)의 상대 위치를 산출하여 이동 단말기(100)에 전송할 수도 있다.

또는 제어부(180)는 카메라(121)에 수신되는 에어컨(300)의 영상으로부터 에어컨(300)과의 상대적 위치를 산출할 수 있다. 예를 들어 이동 단말기(100)는 피사체까지의 거리와 각도를 산출하는 소프트웨어등을 내장할 수 있다. 또는 이동 단말기(100)는 이러한 소프트웨어를 통신망등을 통해 다운로드하여 설치하거나, 이러한 기능을 가질 수 있도록 하는 어플리케이션을 설치할 수도 있다.

또는 제어부(180)는 에어컨(300)까지의 거리와, 카메라(121)에 에어컨(300)의 영상이 입사되는 방향과 에어컨(300)의 정면 방향의 사이의 각도, 즉 카메라(121)의 입사각을 이용하여 에어컨(300)으로부터 이동 단말기(100)의 상대적 위치를 산출할 수 있다. 예를 들어 카메라(121)의 입사각이 45도이고, 에어컨(300)까지의 거리가 7m인 경우, 이동 단말기(100)의 위치는 에어컨(300)의 정면 방향으로부터 45도 각도로 7m거리에 있는 것으로 산출될 수 있다.

여기서 카메라의 입사각은, 예를 들어 에어컨(300)에 전면에 구비된 카메라로부터 구해질 수 있다. 즉, 에어컨(300)의 카메라로부터 수신된 이동 단말기(100)의 영상과 초점 사이의 거리, 또는 상기한 소프트웨어나 어플리케이션을 통해 상기 이동 단말기(100)가 위치한 방향과 에어컨(300)의 정면 방향이 이루는 각도를 산출하고 이를 이동 단말기(100)의 입사각으로 이동 단말기(100)에 전송할 수도 있다. 뿐만 아니라 에어컨(300)에 구비된 카메라에서 수신된 영상으로부터 상술한 소프트웨어나 어플리케이션을 통해 상기 이동 단말기(100)의 상대 위치를 직접 산출할 수도 있음은 물론이다.

또한, 제어부(180)는 에어컨(300) 또는 이동 단말기(100)에 저장된 좌표 정보를 이용하여 이동 단말기(100)의 위치를 산출할 수도 있다. 예를 들어 이동 단말기(100)의 메모리(160)에는, 에어컨(300)과 현재 이동 단말기(100)가 위치한 지역의 맵 정보가 저장되어 있을 수 있다. 그리고 제어부(180)는 상기 맵 정보로부터 이동 단말기(100)의 현재 위치를 판단하고, 상기 에어컨(300)의 좌표 정보로부터 이동 단말기(100)의 상대적 위치를 산출할 수 있다.

한편, 이동 단말기(100)의 상대적 위치 산출 결과, 도 7b의 (a)에서 보이고 있는 것과 같이 이동 단말기(100)가 에어컨(300)으로부터 7m 거리에 있는 경우, 이동 단말기(100)의 카메라(121)가 에어컨(300)의 영상을 수신하는 방향(752)으로부터 상기 가상 위치A(758)와 가상 위치B(760)가 이루는 각도는 각각 우측 30도, 좌측 30도가 될 수 있다.

이에 따라 사용자의 터치가 감지된 위치(710)와 사용자의 드래그가 완료된 위치(730)는, 이동 단말기(100)를 기준으로 사용자의 터치가 감지된 위치(710)로부터 좌측 방향으로 60도 이동한 것이 될 수 있다. 그러므로 제어부(180)는 현재 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향(우측 30도)을, 좌측 방향으로 60도 회전하기 위한 제어 신호를 에어컨(300)에 전송할 수 있다.

이처럼, 이동 단말기(100)의 상대 위치와 사용자의 터치 앤드 드래그 입력에 따라 에어컨에서 출력되는 바람의 방향을 변경하는 방법은, 이동 단말기(100)가 에어컨(300)의 정면에 위치하지 않은 경우에도 얼마든지 적용될 수 있다. 도 7b의 (b)는 이러한 예를 도시한 것이다.

도 7b의 (b)를 참조하여 살펴보면, 제어부(180)는 다양한 방법으로 이동 단말기(100)의 위치를 산출할 수 있다. 예를 들어 도 7b의 (b)와 같은 경우 제어부(180)는, 이동 단말기(100)의 카메라(121)에 에어컨(300)의 영상이 수신되는 방향과 에어컨(300)의 정면 방향(750)이 이루는 각(예 : 좌측 45도) 및 이동 단말기(100)로부터 에어컨(300)까지의 거리(예 : 7m)를 이용하여 이동 단말기(100)의 상대적 위치를 산출할 수 있다.

이 경우, 디스플레이부(151)를 통해 입력된 사용자의 터치(710) 앤드 드래그(730) 입력은, 카메라 시야각(770)내에서의 가상 위치A(772)에서 가상 위치B(774)로 드래그 된 것으로 가정할 수 있다. 그리고 이동 단말기(100)가 에어컨(300)으로부터 7m 이격된 거리에 있는 경우, 이동 단말기(100)의 카메라(121)가 에어컨(300)의 영상을 수신하는 방향(752)으로부터 상기 가상 위치A(772)와 가상 위치B(774)가 이루는 각도는 각각 우측 10도, 좌측 20도가 될 수 있다.

여기서 제어부(180)는 사용자의 터치(710) 앤드 드래그(730) 입력에 따라 에어컨(300)의 풍향을 변경하는데 있어서, 이동 단말기(100)의 상대적 위치, 즉, 이동 단말기(100)가 위치한 방향을 고려할 수 있다. 예를 들어 이동 단말기(100)의 카메라(121)에 에어컨(300)의 영상이 수신되는 방향과 에어컨(300)의 정면 방향(750)이 이루는 각(예 : 좌측 45도)은 이동 단말기(100)가 위치한 방향이 될 수 있다.

예를 들어 제어부(180)는 이동 단말기(100)의 카메라(121)가 에어컨(300)의 영상을 수신하는 방향(752)으로부터 상기 가상 위치A(772)와 가상 위치B(774)가 이루는 각도를 산출할 수 있다. 이 경우 상기 산출된 각도가 각각 우측 10도, 좌측 20도인 경우, 제어부(180)는 이를 반영하여 에어컨(300)의 풍향을 변경할 수 있다.

예를 들어 제어부(180)는 이동 단말기(100)가 위치한 방향, 즉 에어컨(300)의 정면을 기준으로 좌측 45도의 방향에 상기 가상 위치A(772)의 사이각 우측 10도 또는 상기 가상 위치B(774)의 사이각 좌측 20도를 반영하여 에어컨(300)의 풍향을 변경할 수 있다. 예를 들어 제어부(180)는 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향을, 정면을 기준으로 좌측으로 65도 방향(좌측 45도 + 좌측 20도 = 좌측 65도)으로 변경하도록 하는 제어 신호를 전송할 수 있다.

뿐만 아니라 본 발명의 실시 예에 따른 이동 단말기는 디스플레이부(151)에 도시된 어느 하나의 피사체에 대응되는 방향에 근거하여 에어컨(300)에서 출력되는 바람의 방향을 변경할 수도 있음은 물론이다.

도 8a는 본 발명의 일 실시 예에 따른 이동 단말기에서 어느 하나의 피사체에 대응되는 방향에 근거하여 풍향이 변경되도록 하는 방법을 설명하기 위한 개념도이다.

본 발명의 일 실시 예에 따른 이동 단말기(100)의 디스플레이부(151)에는 도 8a의 (a)에서 보이고 있는 것과 같이, 에어컨(300) 및 다수의 피사체들(808, 810)을 포함하는 영상에 증강 현실 이미지가 겹쳐서 출력될 수 있다. 여기서 증강 현실 이미지는, 에어컨(300)의 동작 상태를 표시하기 위한 그래픽 객체(814)와, 에어컨(300)의 구동 상태를 표시하기 위한 그래픽 객체(812) 및, 상기 에어컨(300)의 각 송풍구에서 출력되는 바람을 표시하기 위한 그래픽 객체들(800, 802, 804)을 포함할 수 있다.

이러한 경우 제어부(180)는 센싱부(140)를 통해 상기 피사체들(808, 810) 중 어느 하나가 표시된 영역에 사용자의 터치 입력이 있는지 감지한다. 그리고 제어부(180)는 피사체(808)가 표시된 영역에 사용자의 입력이 감지된 경우, 상기 피사체(808)가 사용자에 의해 선택된 것으로 인식할 수 있다.

이러한 경우 제어부(180)는 사용자의 터치 입력에 대응되는 피사체(808)에 대해 하이라이팅(Highlighting) 표시를 할 수 있다. 예를 들어 제어부(180)는 사용자의 터치 입력에 대응되는 피사체(808)가 표시된 영역을 점멸 또는 다른 색상으로 표시하거나, 가이드 이미지(806)를 표시할 수도 있다.

그리고 제어부(180)는 상기 어느 하나의 피사체(808)에 대응하는 방향으로 에어컨(300)에서 출력되는 바람의 방향을 결정할 수 있다. 도 8a의 (b)는 이러한 예를 도시한 것이다.

도 8a의 (b)를 참조하여 살펴보면, 제어부(180)는 피사체(808)가 표시된 영역에서 사용자의 터치가 감지된 경우, 피사체(808)에 대응하는 방향(예 : 정면 기준 좌측 45도)으로 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향을 결정할 수 있다. 그리고 제어부(180)는 상기 결정된 방향에 따라 상기 에어컨(300)에서 출력되는 바람의 방향을 변경하기 위한 제어 신호를 전송할 수 있다.

여기서 제어부(180)는 직접 상기 에어컨(300)의 방향을 변경하기 위한 제어 신호를 전송할 수 있다. 또는 제어부(180)는, 상기 결정된 바람의 방향에 대한 정보, 즉 방향 정보를 상기 에어컨(300)에 전송하고, 에어컨(300)이 상기 방향 정보에 따라 풍향을 변경하도록 할 수도 있다.

이처럼 에어컨(300)에서 출력되는 바람의 방향이 변경되면, 변경된 에어컨(300)의 상태 정보를 표시하는 증강 현실 이미지 역시 변경될 수 있다. 이에 따라 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 화살표 이미지(800)는 피사체(808)에 대응되는 방향으로 그 방향이 변경될 수 있다. 그리고 에어컨(300)의 구동 상태를 표시하기 위한 그래픽 객체(820)에는, 도 8a의 (b)에서 보이고 있는 것처럼, 에어컨(300)의 변경된 구동 상태, 즉, 변경된 바람의 방향(예 : 좌 45도)이 표시될 수 있다.

이처럼 특정 피사체에 대응되는 방향으로 에어컨(300)의 풍향을 변경하기 위해 제어부(180)는 이동 단말기(100)의 상대 위치 정보를 이용할 수 있다. 이를 좀 더 구체적으로 살펴보면, 제어부(180)는 에어컨(300)을 기준으로 이동 단말기(100)의 상대적 위치를 산출하고, 이동 단말기(100)를 기준으로 피사체(808)의 상대적 위치를 산출할 수 있다. 그리고 제어부(180)는 이동 단말기(100)를 기준으로 산출된 피사체(808)의 위치와 에어컨(300)의 위치로부터, 피사체(808)의 상대적 위치를 산출할 수 있다.

도 8b의 (a)는 이러한 방법을 설명하기 위한 개념도이다. 도 8b의 (a)와 같이 에어컨(300)의 정면 방향(752)에 이동 단말기(100)가 위치하는 경우, 이동 단말기(100)는 에어컨(300)까지의 거리를 산출한다. 그리고 이동 단말기(100)는 현재 이동 단말기(100)의 위치를 기준으로 피사체(808)의 상대 위치를 산출한다.

예를 들어 피사체(808)의 위치는 에어컨(300) 및 피사체(808)를 모두 포함하는 영상으로부터 얻어질 수 있다. 즉, 제어부(180)는 에어컨(300)의 위치를 기준(예 : 카메라에서 수신되는 영상의 초점에 위치)으로 상기 피사체(808)가 상기 초점으로부터 이격된 거리 및, 상기 이동 단말기(100)와 상기 피사체(808) 사이의 실제 이격된 거리를 이용하여, 상기 피사체(808)가 위치한 방향과 상기 이동 단말기(100)의 카메라(121)에 에어컨(300)의 영상이 수신되는 방향이 이루는 각도(예 : 45도)를 산출할 수 있다.

이렇게 이동 단말기(100)를 기준으로 피사체(808)가 위치한 방향이 산출되면, 제어부(180)는 이동 단말기(100)를 기준으로 상기 피사체(808)의 상대 위치를 산출할 수 있다. 이러한 경우, 제어부(180)는 에어컨(300)으로부터, 상기 이동 단말기(100)를 기준으로 산출된 피사체(808)의 상대 위치에 이르는 가상의 연장선(850)을 도출할 수 있다. 그리고 제어부(180)는 상기 가상의 연장선(850)과 상기 에어컨(300)의 정면 방향이 이루는 각도를 산출하여 상기 피사체(808)에 대응되는 방향을 결정할 수 있다. 그리고 제어부(180)는 상기 결정된 방향 정보를 포함하는 제어 신호 또는 상기 결정된 방향 정보에 따라 상기 에어컨(300)에서 출력되는 바람의 방향을 변경하도록 하기 위한 제어 신호를 전송할 수 있다.

또한, 제어부(180)가 아니라 에어컨(300)에서 상기 피사체(808)에 대응되는 방향을 결정할 수도 있음은 물론이다. 예를 들어 에어컨(300)은 이동 단말기(100)로부터, 이동 단말기를 기준으로 하는 상기 피사체(808)의 상대 위치를 수신할 수 있다. 그리고 에어컨(300)은 이를 이용하여 에어컨(300)과 피사체(808)에 이르는 가상의 연장선(850)을 도출할 수 있다. 그리고 에어컨(300)은 상기 가상의 연장선(850)과 에어컨(300)의 정면 방향이 이루는 각도를 산출하여 상기 피사체(808)에 대응되는 방향을 결정할 수 있다. 그리고 이동 단말기(100)의 제어부(180)로부터 바람의 방향을 변경하도록 하는 제어 신호가 수신되는 경우, 상기 결정된 방향으로 바람의 방향이 변경되도록 할 수도 있다.

또한 이동 단말기(100)가 에어컨(300)의 정면 방향에 위치하지 않는 경우에도, 이처럼 피사체(808)에 대응되는 방향으로 에어컨(300)에서 출력되는 바람의 방향을 변경할 수 있음은 물론이다.

도 8b의 (b)는 이러한 예를 도시한 것이다. 예를 들어 에어컨(300)의 정면 방향과 이동 단말기(100)가 위치한 방향이 소정의 각도(예를 들어 에어컨(300) 정면 기준 좌측 45도)를 이루는 경우에도 본 발명은 적용될 수 있다.

예를 들어 상기 피사체(808)가 위치한 방향과 이동 단말기(100)가 이루는 각도가 15도이고, 이동 단말기(100)에서 상기 피사체(808)에 이르는 거리가 4m라고 가정할 때, 제어부(180)는 에어컨(300)으로부터 상기 피사체(808)에 이르는 가상의 연장선을 도출할 수 있다. 그리고 제어부(180)는 상기 이동 단말기(100)의 카메라(121)에 에어컨(300)의 영상이 수신되는 방향과 상기 가상의 연장선(854)이 이루는 각도(예 : 20도)를 산출할 수 있다.

그러면 제어부(180)는 상기 에어컨(300)의 정면 방향과 상기 이동 단말기(100)에 에어컨(300)의 영상이 수신되는 방향이 이루는 각도(예 : 45도)에, 상기 에어컨(300)의 영상이 수신되는 방향과 상기 가상의 연장선(854)이 이루는 각도(예 : 20도)를 합하여 상기 피사체(808)에 대응하는 방향(예 : 45도 + 20도 = 65도)을 산출할 수 있다. 그리고 제어부(180)는 상기 산출된 피사체(808)에 대응하는 방향에 대한 정보를 포함하는 제어 신호를 상기 에어컨(300)에 전송하거나, 또는 상기 산출된 피사체에 대응하는 방향으로 에어컨의 방향을 변경하도록 하는 제어 신호를 전송할 수 있다.

이처럼 본 발명의 실시 예에 따른 이동 단말기(100)에서는 사용자의 터치 앤드 드래그 입력, 또는 특정 피사체에 대응하는 방향으로 에어컨(300)에서 출력되는 바람의 방향을 변경하는 것 뿐만 아니라 이동 단말기(100)의 회전 방향에 따라 에어컨(300)에서 출력되는 바람의 방향을 변경할 수도 있다.

도 9는 이러한 예를 도시한 도면이다. 도 9를 참조하여 살펴보면, 도 9의 (a)에 도시되어 있는 것과 같이 이동 단말기(100)의 카메라(121)의 시야각(770)에 에어컨(300)이 포함되는 경우, 이동 단말기(100)와 에어컨(300)은 서로 페어링(paring) 될 수 있다.

이러한 경우 이동 단말기(100)의 디스플레이부(151)에는, 에어컨(300)의 영상과 함께 도 9의 (b)에서 도시하고 있는 것과 같은 증강 현실 이미지가 출력될 수 있다. 상기 증강 현실 이미지에는 상술한 바와 같이 에어컨(300)의 동작 상태를 표시하기 위한 그래픽 객체(906) 및 구동 상태를 표시하기 위한 그래픽 객체(908)가 포함될 수 있다. 그리고 에어컨(300)의 각 송풍구들에서 출력되는 각각의 바람에 대응되는 그래픽 객체들(900, 902, 904)이 포함될 수 있다.

이러한 상태에서, 이동 단말기(100)가 도 9의 (c)에서 보이고 있는 바와 같이 소정의 각도(예를 들어 30도) 만큼 회전하는 경우, 그 회전각은 에어컨(300) 또는 이동 단말기(100)에 감지될 수 있다. 예를 들어 상기 회전각은 이동 단말기(100)에서 출력되는 무선 신호의 수신 세기 또는 수신 방향의 변화등으로 감지될 수 있다. 또는 상기 회전각은 이동 단말기(100)에 구비된 자이로스코프 등과 같이 관성을 감지하기 할 수 있는 감지부 또는 소프트웨어등을 통해 감지될 수 있다. 또는 상기 회전각은 에어컨(300)을 기준(초점)으로 하는 영상으로부터 얻어질 수도 있다.

이처럼 회전각이 산출되면, 제어부(180)는 상기 회전각에 따라 변경될 바람의 방향을 결정한다. 예를 들어 상기 회전각이 좌측 방향으로 30도인 경우라면, 이에 따라 결정되는 바람의 변경 방향은 우측 방향으로 30도 일수 있다. 왜냐하면 에어컨(300)과 이동 단말기(100)는 마주보고 있는 상태이기 때문이다.

이처럼 바람의 변경 방향이 결정되면, 제어부(180)는 에어컨(300)의 풍향을 변경하기 위한 제어 신호를 상기 에어컨에 전송할 수 있다. 예를 들어 제어부(180)는 상기 회전각에 대응하는 방향 정보를 에어컨에 전송하거나, 직접 특정 방향으로 에어컨의 방향을 변경하도록 하는 제어 신호를 전송할 수도 있다.

이에 따라 에어컨(300)의 전면 송풍구에서 출력되는 바람(900)의 방향은 도 9의 (c)에서 보이고 있는 것처럼 이동 단말기(100)의 회전각에 대응하여 변경될 수 있다. 그리고 이동 단말기(100)의 디스플레이부(151)에 출력되는 증강 현실 이미지 역시 이를 반영하여 변경될 수 있다. 즉, 도 9의 (d)에서 보이고 있는 것처럼, 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 객체는 좌측으로 30도 방향이 변경되어 증강 현실 이미지에 표시될 수 있다. 또한 에어컨(300)의 구동 상태를 표시하기 위한 그래픽 객체(910)에도 이러한 변경된 풍향에 대한 정보가 포함될 수 있다.

한편, 이상의 설명에서는 이동 단말기(100)의 카메라(121) 시야각에 에어컨(300)이 포함되어 있는 경우만을 예로 들어 설명하였으나, 카메라 시야각에 에어컨(300)이 포함되지 않은 경우에도 사용자의 선택에 따라 에어컨(300)의 상태 정보는 계속 표시될 수도 있음은 물론이다.

도 10은 이러한 예를 도시한 것이다. 우선 도 10의 (a)를 참조하여 살펴보면, 도 10의 (a)는 에어컨(300)의 상태 정보를 증강 현실 이미지로 표시한 예를 도시한 것이다. 이 증강 현실 이미지에는, 에어컨(300)의 각 송풍구에서 출력되는 각각의 바람에 대응되는 그래픽 객체들(1000, 1002, 1004)이 포함될 수 있다.

이러한 경우, 제어부(180)는 에어컨(300)의 상태 정보가 출력된 영역에 대하여 가해지는 터치(1010)가 있는 경우 이를 감지할 수 있다. 그리고 사용자의 터치가 감지된 상태에서 도 10의 (b)에서 보이고 있는 것처럼, 이동 단말기의 위치(1030)가 변경(1032)되는 경우, 이동 단말기(100)의 디스플레이부(151)에는 도 10의 (c)에서 도시되어 있는 것처럼, 에어컨(300)에 대한 영상이 출력되지 않을 수 있다. 이는 카메라(121)의 시야각에서 에어컨(300)이 벗어낫기 때문이다.

하지만 이러한 경우에도 도 10의 (c)에서 도시되어 있는 것처럼, 사용자의 터치 입력이 지속되고 있는 경우(1010), 에어컨(300)의 상태 정보를 표시하는 증강 현실 이미지, 즉 그래픽 객체(1002)는 에어컨(300)이 표시되지 않는 경우에도 여전히 디스플레이부(151)의 적어도 일 영역에 표시될 수 있다. 뿐만 아니라, 사용자의 터치 입력이 지속되고 있는 경우, 제어부(180)는 이를 감지하여 상기 사용자의 터치 입력에 따라 에어컨(300)의 동작 상태를 변경할 수도 있다.

즉, 도 10의 (b)에서 보이고 있는 것과 같이, 이동 단말기(100)의 위치가 이동하였음에도 불구하고, 사용자의 터치 입력(1010)이 계속된 경우라면, 제어부(180)는 상기 터치 입력에 대응되는 그래픽 이미지(1002)는 이동 단말기(100)의 변경된 위치만큼 그 길이가 늘어난 것으로 판단할 수 있다. 따라서 제어부(180)는 늘어난 길이만큼 그래픽 객체의 길이에 대응되도록 에어컨의 상태를 변경하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

예를 들어 상기 그래픽 객체(1002)의 길이를 늘이는 것이, 상기 그래픽 객체에 대응되는 바람의 세기를 강하게 하는 것이라면, 제어부(180)는 상기 늘어난 길이에 대응되는 세기로 바람의 세기를 강하게 제어하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다. 그러면 그래픽 객체(1002)에 대응되는 바람, 즉 에어컨(300)의 좌측 측면 송풍구에서 출력되는 바람의 세기는 이에 대응되게 강해질 수 있다. 그리고 도 10의 (c)에서 보이고 있는 것처럼, 에어컨(300)의 동작 상태를 표시하기 위한 그래픽 객체(1050)에는 이러한 변경 상태가 반영될 수 있다.

위의 예에서는 사용자의 터치 입력에 대응하여 에어컨(300)에서 출력되는 바람 중 어느 하나만을 제어하는 것을 설명하였으나, 하나가 아니라 상기 에어컨(300)에서 출력되는 모든 바람이 상기 사용자의 터치 입력에 따라 제어될 수도 있음은 물론이다.

한편, 상술한 설명에서는 본 발명의 실시 예에 따른 어느 하나의 이동 단말기가 하나의 에어컨을 증강 현실을 통해 제어하는 것을 예로 들어 설명하였으나, 본 발명의 실시 예에 따른 복수의 단말기들이 어느 하나의 에어컨을 증강 현실을 통해 제어할 수도 있음은 물론이다.

도 11은 이처럼 본 발명의 일 실시 예에 따른 복수의 이동 단말기가 증강 현실을 통해 에어컨을 제어하는 방법을 설명하기 위한 개념도이다.

도 11을 참조하여 살펴보면, 도 11의 (a)에서 보이고 있는 것과 같이 일정 지역 또는 일정 거리 내에 에어컨(300)이 있는 경우 본 발명의 실시 예에 따른 복수의 이동 단말기들(1100, 1102)은 각각 에어컨(300)에 접속될 수 있다. 이러한 경우 이동 단말기들(1100, 1102)의 디스플레이부에는 각각 에어컨(300)의 상태 정보가 증강 현실 이미지로 출력될 수 있다. 즉 이동 단말기들(1100, 1102)의 각 디스플레이부에는 에어컨(300)의 동작 상태 정보, 구동 상태 정보를 표시하기 위한 그래픽 이미지들(1132, 1130)과 에어컨(300)에서 출력되는 바람들을 표시하기 위한 그래픽 이미지들(1120, 1122, 1124)이 상기 에어컨(300) 영상 주변에 표시될 수 있다.

또한 본 발명의 실시 예에 따른 이동 단말기들(1100, 1102)은 각 디스플레이부에 출력된 에어컨(300)의 증강 현실 이미지가 표시된 영역에 가해지는 사용자의 터치 입력에 대응하여 각각 에어컨(300)을 제어할 수도 있음은 물론이다. 도 11의 (b), (c). (d)는 이러한 예를 도시한 도면이다.

이 중 도 11의 (b)는, 이동 단말기(1100)의 디스플레이부에 출력된 화면을 가정한 것이고, 도 11의 (c)는 이동 단말기(1102)의 디스플레이부에 출력된 화면을 가정한 것이다.

예를 들어 이동 단말기(1100)의 제어부는, 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 이미지(1120)가 표시된 영역에서 사용자의 입력(1134)을 감지할 수 있다. 이 경우 이동 단말기(1100)의 제어부는 사용자의 터치 앤드 드래그 입력에 근거하여 상기 전면 송풍구에서 출력되는 바람의 방향을 변경하기 위한 제어 신호를 에어컨(300)에 전송할 수 있다.

또한 이동 단말기(1102)의 제어부는, 에어컨(300)의 좌측 측면 송풍구에서 출력되는 바람에 대응되는 그래픽 이미지(1122)가 표시된 영역에서 사용자의 입력(1150A 및 1150B)을 감지할 수 있다. 이 경우 이동 단말기(1102)의 제어부는 사용자의 핀치 인 또는 핀치 아웃 입력에 근거하여 상기 좌측 측면 송풍구에서 출력되는 바람의 세기를 변경하기 위한 제어 신호를 에어컨(300)에 전송할 수 있다.

따라서 에어컨(300)은 이동 단말기(1100)의 제어부 및 이동 단말기(1102)의 제어부에서 입력된 제어 신호에 따라 각각의 제어 신호에 대응되는 바람의 풍향 및 세기를 변경될 수 있다.

예를 들어 도 11의 (b), (c)에서 보인 것과 같은 사용자의 터치 입력이 있는 경우, 이동 단말기들(1100, 1102)의 제어부들에 의해 전송되는 제어 신호에 따라 에어컨(300)의 구동 상태는 도 11의 (d)에서 보이는 것과 같이 변경될 수 있다. 즉, 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향은 정면을 기준으로 우측 30도에서 좌측 30도 방향으로 변경될 수 있다. 그리고 에어컨(300)의 좌측 측면 송풍구에서 출력되는 바람의 세기는 이동 단말기(1102)에서 감지된 사용자의 입력에 대응되는 세기로 변경될 수 있다. 또한 이러한 변경을 반영하여 에어컨(300)의 구동 상태를 표시하는 그래픽 객체에 포함된 텍스트 정보 역시 변경될 수 있다.

그런데 이처럼 복수의 이동 단말기들이 하나의 에어컨을 제어하는 경우, 이동 단말기들(1100, 1102)의 제어부들은 각각 증강 현실 이미지를 디스플레이부에 표시할 때, 사용자의 입력이 감지된 그래픽 객체와 그렇지 않은 그래픽 객체가 구분될 수 있도록 표시할 수도 있음은 물론이다.

예를 들어 도 11의 (b)와 같은 경우, 이동 단말기(1100)의 제어부는 그래픽 객체(1120)에 사용자의 입력이 감지되었다는 것을 에어컨(300)에 전송할 수 있다. 그러면 에어컨의 상태 정보에는 그래픽 이미지(1120)에 사용자의 입력이 있음을 나타내는 정보가 포함될 수 있다. 그리고 이 상태 정보는 이동 단말기(1102)에 수신될 수 있다. 그러면 이동 단말기(1102)의 제어부(180)는 이동 단말기(1100)에서 사용자의 입력이 감지된 그래픽 객체(1120)를 다른 그래픽 객체와 구분되게 표시할 수 있다.

예를 들어 이동 단말기(1102)의 제어부는 다른 사용자에 의해 그 제어가 선택된 그래픽 객체(1120)가 표시된 영역을 다른 그래픽 객체들과는 다른 색상으로 표시할 수 있다. 또는 이동 단말기(1102)의 제어부는 그래픽 객체(1120)를 하이라이팅(highlighting)하여 표시할 수도 있다. 또는 그래픽 객체(1120)가 표시된 영역을 점멸하여 표시할 수도 있다.

또한 도 11의 (c)에서와 같이, 이동 단말기(1102)의 디스플레이부에 표시된 그래픽 객체들 중 어느 하나에 사용자의 입력이 감지된 경우에도, 위와 마찬가지로 사용자의 입력이 감지된 그래픽 객체가 다른 그래픽 객체들과 구분되게 이동 단말기(1100)의 디스플레이부에 표시될 수 있다. 따라서 이동 단말기(1100) 및 이동 단말기(1102)의 제어부들은, 사용자들이 동일한 그래픽 객체에 서로 다른 터치 입력을 가하는 것을 피할 수 있도록 한다.

이상에서는 적어도 하나의 이동 단말기가 증강 현실 이미지를 통해 에어컨(300)의 상태를 제어하는 방법을 설명하였다. 비록 상술한 설명에서는 적어도 하나의 이동 단말기가 어느 하나의 에어컨을 제어하는 것만을 예로 들어 설명하였으나, 하나의 이동 단말기가 복수의 에어컨을 제어할 수도 있음은 물론이다. 즉, 예를 들어 이동 단말기의 카메라 시야각에 적어도 하나의 에어컨이 포함되는 경우, 이동 단말기의 디스플레이부에는 상기 적어도 하나의 에어컨 모두에 대한 상태 정보들이 포함된 증강 현실 이미지가 출력될 수 있다. 그리고 상태 정보가 출력된 영역에 가해지는 터치에 대응하여 어느 하나의 에어컨을 제어하기 위한 제어 신호가, 해당되는 에어컨에 전송될 수 있다.

이하에서는 본 발명의 실시 예에 따른 이동 단말기(100)의 디스플레이부(151)에 출력되는 증강 현실 이미지에 대해 살펴보기로 한다. 상술한 바와 같이 상기 증강 현실 이미지에는 에어컨(300)의 동작 상태에 대한 정보, 구동 상태에 대한 정보 및 에어컨(300)의 주변 환경에 대한 정보에 대응되는 그래픽 객체들이 포함될 수 있다. 또한 상기 증강 현실 이미지에는 에어컨(300)에서 출력되는 바람들의 세기 및 방향을 표시하기 위한 그래픽 객체들이 포함될 수 있다.

도 12a, 12b, 12c는 이처럼 디스플레이부(151)에 출력되는 증강 현실 이미지의 예들을 도시한 것이다. 예를 들어 상기 증강 현실 이미지는 도 12a에서 보이고 있는 것처럼, 동작 상태에 대한 정보, 구동 상태에 대한 정보 및 에어컨의 주변 환경에 대한 정보에 대응되는 그래픽 객체들이 각각 디스플레이부의 적어도 일 영역에 표시될 수 있다.

여기서 에어컨의 동작 상태에 대한 정보에 대응되는 그래픽 객체(1200)에는 현재 온도 및 희망 온도, 그리고 현재 설정된 바람의 세기, 즉 냉방 세기와 현재까지 에어컨이 가동된 시간에 대한 정보 및 현재 가동이 예약된 시간에 대한 정보들이 포함될 수 있다. 또한 에어컨의 구동 상태에 대한 정보에 대응되는 그래픽 객체(1202)에는 현재 에어컨(300)의 각 송풍구에서 출력되는 바람의 방향과 좌우 냉방 형태 또는 상하 냉방 형태에 대한 정보들이 포함될 수 있다.

또한 에어컨의 주변 환경에 대한 정보에 대응되는 그래픽 객체(1204)에는 현재 에어컨 주변의 조도나 습도, 또는 현재의 공기청결 상태에 대한 정보들이 포함될 수 있다. 또한 현재 에어컨(300)의 각 송풍구에서 출력되는 바람의 세기 및 방향에 대응되는 그래픽 이미지들(500, 502, 504)이 에어컨(300)의 주변에 표시될 수 있다.

또한 도 12a와 도시된 것과는 다른 방식으로도 얼마든지 상기 증강 현실 이미지는 출력될 수 있음은 물론이다. 예를 들어 상기 증강 현실 이미지를 구성하는 각각의 그래픽 객체들은 실제로 에어컨(300)에서 정보가 출력되거나 또는 실제로 바람이 출력되는 위치에 표시될 수도 있다.

이를 도 12b를 참조하여 살펴보면, 에어컨(300)의 구동 상태에 대한 정보들은, 에어컨(300)의 각 송풍구에서 출력되는 바람의 위치에 표시될 수 있다. 그리고 이러한 정보들은 각 송풍구에서 출력되는 바람의 세기 및 방향에 대응되는 그래픽 이미지들에 표시될 수도 있다.

예를 들어 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 이미지(500)에는, 상기 전면 송풍구에서 출력되는 바람의 세기 및 상하 냉방 형태 그리고 풍향에 대한 텍스트 정보(1220)가 표시될 수 있다. 또한 에어컨(300)의 좌우측 측면 송풍구에서 출력되는 바람들에 대응되는 그래픽 이미지들(502, 504)에는, 상기 좌우측 측면 송풍구에서 출력되는 바람의 세기 및 좌우 냉방 형태에 대한 텍스트 정보들(1222, 1224)이 각각 표시될 수 있다.

또한 에어컨(300)의 동작 상태에 대한 정보(1228), 즉 에어컨(300)의 디스플레이부에 출력될 수 있는 정보는, 상기 에어컨(300)에 대응되는 그래픽 객체의 디스플레이부가 배치된 영역과 대응되는 영역(1226)에 표시될 수 있다. 그리고 이러한 정보에는 상기 에어컨(300)이 최대로 출력할 수 있는 바람의 세기에 대한 정보 또는 풍향에 대한 가이드 정보등이 포함될 수 있다.

또한 제어부(180)는 에어컨(300)의 상태에 대한 대략적인 정보 외에 다른 정보들은 사용자의 선택에 따라 표시되도록 할 수도 있음은 물론이다. 예를 들어 제어부(180)는 도 12c의 (a)에서 보이고 있는 것처럼, 에어컨(300)에서 출력되는 바람에 대응되는 그래픽 객체들(500, 502, 504)만이 포함된 증강 현실 이미지를 디스플레이부(151)에 출력할 수 있다. 그리고 제어부(180)는 디스플레이부(151)의 적어도 일 영역에 버튼 이미지(1250)를 표시하여, 상기 버튼 이미지(1250)가 표시된 영역에 사용자의 입력이 있는지 여부를 감지할 수 있다.

그리고 제어부(180)는 상기 버튼 이미지(1250)가 표시된 영역에서 사용자의 입력이 있는 경우에 한해 에어컨(300)의 자세한 동작 상태 및 구동 상태, 그리고 주변 환경에 대한 정보를 포함하는 화면(1270)을 디스플레이부(151)의 일 영역에 출력할 수 있다.

한편 상기 12a, 12b, 12c에서 보인 그래픽 객체들은 상태 정보의 특성에 따라 다양한 형상이나 모양 또는 색상을 가지는 이미지로 표시될 수 있다. 예를 들어 에어컨(300)에서 출력되는 바람의 풍향에 따라 화살표 이미지가 각각 방향을 달리하여 디스플레이부(151)에 출력될 수 있다. 또한 바람의 세기에 따라 상기 화살표 이미지의 두께가 다르게 표시될 수 있다. 또는 상기 에어컨(300)에서 출력되는 바람의 온도에 따라 상기 화살표 이미지는 서로 다른 색상으로 표시될 수 있다.

도 13a, 13b, 13c는 본 발명의 일 실시 예에 따른 이동 단말기에서 에어컨에서 출력되는 바람과 관련된 정보를 증강 현실을 통해 표시하는 방법을 설명하기 위한 개념도이다.

우선 도 13a는 에어컨(300)에서 출력되는 바람의 세기를 그래픽 이미지를 통해 표시하는 방법을 설명하기 위한 것이다. 예를 들어 에어컨(300)에서 출력되는 바람의 세기가 약한 경우(예를 들어 바람 세기가 "강, 중, 약"으로 구분된 경우에 "약"인 경우), 도 13a의 (a)에서 보이고 있는 것과 같은 그래픽 이미지들(500, 502, 504)이 각 에어컨의 송풍구에서 출력되는 바람에 대응되게 디스플레이부(151)에 출력될 수 있다.

여기서 도 13a의 (a)에서 보이고 있는 바와 같이 에어컨(300)의 각 송풍구 주변 영역에 표시되는 화살표 이미지는 상기 각 송풍구에서 출력되는 바람의 세기에 대응될 수 있다. 그리고 이러한 경우 상기 화살표 이미지는 그 두께 또는 길이에 따라 서로 다른 세기로 결정되는 바람 세기에 대한 정보를 표시할 수 있다.

즉, 상기 각 화살표 이미지의 두께와 길이는 상기 각 송풍구에서 출력되는 바람의 세기에 따라 달라질 수 있다. 예를 들어 에어컨(300)에서 출력되는 바람의 세기가 "약"에서 "강"으로 변경되는 경우, 상기 화살표 이미지는 변경된 바람 세기에 대응되게 변경될 수 있다.

도 13a의 (b), (c)는 이러한 예를 보이고 있는 것이다. 이 중에서 도 13a의 (b)는 화살표 이미지의 길이로 바람의 세기를 표시하고 있는 것이며, 도 13a의 (c)는 화살표 이미지의 두께로 바람의 세기를 표시하고 있는 것이다. 예를 들어 제어부(180)는 상기 그래픽 객체들(500, 502, 504) 중 어느 하나에 대한 사용자의 입력에 대응하여, 사용자의 입력에 의해 결정된 바람 세기(예 : "강")에 대응되는 그래픽 객체를 상기 그래픽 객체들(500, 502, 504)이 표시된 영역 중 적어도 하나에 표시할 수 있다.

예를 들어 도 13a의 (b)의 경우, 제어부(180)는 바람의 세기 "강"에 대응되는 길이를 가지는 화살표 이미지들(1300, 1302, 1304)을 상기 그래픽 객체들(500, 502, 504)이 표시된 영역에 대신 표시할 수 있다. 또는 도 13a의 (c)의 경우, 제어부(180)는 바람의 세기 "강"에 대응되는 두께를 가지는 화살표 이미지들(1320, 1322, 1324)을 상기 그래픽 객체들(500, 502, 504)이 표시된 영역에 대신 표시할 수 있다. 이에 따라 디스플레이부(151)에는 현재 에어컨(300)에 설정된 바람 세기에 대응되는 그래픽 이미지들이 증강 현실 이미지로 표시될 수 있고, 사용자는 이를 통해 직관적으로 바람의 세기를 인지할 수 있다.

또한 바람의 세기 뿐만 아니라 바람의 방향 역시 다양한 형상, 모양, 색상을 가지는 이미지로 표시될 수 있다. 도 13b는 이러한 예를 도시한 것이다.

우선 도 13b의 (a) 및 (b)는 에어컨(300)의 전면 송풍구에서 출력되는 바람의 상하 방향을 표시하는 그래픽 이미지의 예를 도시한 것이다. 예를 들어 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향이 수평 상태를 기준으로 소정의 각도(예 : 하향 30도 또는 상향 30도)인 경우 상기 소정의 각도에 따라 상기 출력되는 바람에 대응되는 그래픽 객체, 즉 화살표 이미지의 방향이 달라질 수 있다.

예를 들어 상기 소정의 각도가 하향 30도인 경우, 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 객체는 도 13b의 (a)에 도시된 것과 같이 아래 방향을 향하는 화살표 이미지(1340)가 될 수 있다. 또는 상기 소저의 각도가 상향 30도인 경우, 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 객체는 도 13b의 (b)에 도시된 것과 같이 위쪽 방향을 향하는 화살표 이미지(2350)가 될 수 있다. 여기서 상기 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 화살표 이미지는 3D 입체 이미지로 상기 소정의 각도에 따라 결정되는 입체적인 형태로 표시될 있음은 물론이다.

예를 들어 상기 소정의 각도가 하향 30도인 경우에 도 13b의 (a)의 화살표 이미지(1340)가 표시된다면, 상기 소정의 각도가 하향 60도인 경우에는 화살표 이미지(1340)가 수평 상태를 기준으로 도 13b의 (a)에서 도시된 것보다 더 30도 아래 방향을 향하고 있는 3D 입체 이미지의 형태로 표시될 수 있다.

또한 상기 소정의 각도가 상향 방향인 경우에도 마찬가지로 적용될 수 있음은 물론이다. 예를 들어 상기 소정의 각도가 상향 30도인 경우에 도 13b의 (b)의 화살표 이미지(1350)가 표시된다면, 상기 소정의 각도가 상향 60도인 경우 화살표 이미지(1350)는 에어컨(300) 전면 송풍구를 기준으로 위 방향으로 30도 더 회전된 3D 입체 이미지의 형태로 표시될 수 있다 .

뿐만 아니라, 바람의 좌우 방향에 따라 서로 다른 화살표 이미지가 표시될 수도 있다. 도 13b의 (c), (d)는 이러한 예를 도시한 것이다.

예를 들어 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향이 정면을 기준으로 소정의 각도(예 : 좌측 30도)인 경우, 상기 소정의 각도에 대응되는 방향을 표시하는 그래픽 객체가 상기 전면 송풍구에서 출력되는 바람에 대응하여 디스플레이부(151)에 출력될 수 있다. 즉 도 13b의 (c)에서 보이고 있는 것과 같이, 상기 소정의 각도에 대응되는 방향의 화살표 이미지(1360)가 상기 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 객체로서 디스플레이부(151)에 표시될 수 있다.

또한 상기 소정의 각도가 우측 30도인 경우에는 도 13b의 (d)에서 보이고 있는 것과 같이, 상기 전면 송풍구에서 출력되는 바람에 대응되는 그래픽 객체로서 상기 우측 30도에 대응되는 방향의 화살표 이미지(1370)가 디스플레이부(151)에 표시될 수 있다.

뿐만 아니라, 상기 에어컨(300)에서 출력되는 바람의 온도(예를 들어 희망 온도와 주변 온도의 차이) 또는 주변의 온도에 따라 서로 다른 그래픽 객체가 상기 에어컨(300)에서 출력되는 바람에 대응되는 위치에 표시될 수도 있음은 물론이다.

예를 들어 에어컨(300)에서 출력되는 바람은, 현재 에어컨(300)에서 감지되는 온도에 대응되는 색상을 가지는 그래픽 객체로 표시될 수 있다. 그리고 만약 에어컨(300)의 냉방 효과로 인해 실내 온도가 내려가는 경우, 상기 그래픽 객체는 온도 변화에 대응되는 색상을 가지는 그래픽 객체로 변경될 수 있다.

도 13c는 이러한 예를 도시한 것이다. 예를 들어 에어컨(300)을 구동하는 경우 주변의 온도와 사용자에 의해 설정된 희망 온도의 차이가 클 경우, 에어컨(300)에서 출력되는 바람의 온도는 무척 낮을 수 있다(예를 들어 섭씨 3도). 그러나 에어컨(300)의 냉방 가동에 따라 주변의 온도와 사용자에 의해 설정된 희망 온도의 차이는 점점 줄어들게 되고 이에 따라 에어컨(300)에서 출력되는 바람의 온도는 다소 높아질 수 있다(예를 들어 섭씨 7도).

이러한 경우 제어부(180)는 에어컨(300)에서 출력되는 바람의 온도에 따라 서로 다른 색상을 가지는 그래픽 객체를 상기 에어컨(300)에서 출력되는 바람에 대응되게 표시할 수 있다. 예를 들어 에어컨(300)에서 출력되는 바람의 온도가 섭씨 3도인 경우 도 13c의 (a)에서 보이고 있는 것과 같은 소정의 제 1 색상(예를 들어 파란색)으로 에어컨(300)의 각 송풍구에서 출력되는 바람에 대응되는 화살표 이미지들(1380, 1382, 1384)이 표시될 수 있다.

그리고 에어컨(300)에서 출력되는 바람의 온도가 섭씨 7도인 경우 도 13c의 (b)에서 보이고 있는 것과 같은 소정의 제2 색상(예를 들어 노란색)으로 에어컨(300)의 각 송풍구에서 출력되는 바람에 대응되는 화살표 이미지들(1390, 1392, 1394)이 표시될 수 있다.

또한 제어부(180)는 에어컨(300)에서 출력되는 바람의 온도가 아니라 주변으로부터 감지된 온도에 따라 상기 화살표 이미지들(1380, 1382, 1384, 1390, 1392, 1394)을 표시할 수도 있다.

예를 들어 에어컨(300)을 처음 가동한 경우에 감지된 온도(예를 들어 섭씨 30도)인 경우 제어부(180)는 소정의 제3 색상(예를 들어 주황색)으로 상기 화살표 이미지들(1380, 1382, 1384)을 표시할 수 있다. 또한 에어컨(300)의 가동으로 인해 소정의 시간이 지난 뒤에 감지된 온도(예를 들어 섭씨 25도)인 경우 제어부(180)는 소정의 제4 색상(예를 들어 녹색)으로 상기 화살표 이미지들(1390, 1392, 1394)을 표시할 수 있다.

상술한 설명에서는 에어컨(300)의 동작 상태에 대한 정보, 구동 상태에 대한 정보 및 에어컨(300)의 주변 환경에 대한 정보에 대응되는 그래픽 객체들과, 또한 에어컨(300)에서 출력되는 바람들의 세기 및 방향을 표시하기 위한 그래픽 객체들을 이동 단말기(100)가 생성하여 증강 현실로 표시하는 것을 가정하여 설명하였다. 그러나 이와는 달리 이러한 그래픽 객체들을 에어컨(300)이 직접 생성하여 이동 단말기(100)에 전송할 수도 있음은 물론이다.

예를 들어, 에어컨(300)은 이동 단말기(100)와 같은 외부 디바이스가 감지되는 경우, 에어컨(300)의 상태 정보가 반영된 그래픽 객체들을 상기 외부 디바이스에 전송할 수도 있다. 이러한 경우 이동 단말기(100)는 상기 그래픽 객체들을 수신하여 이를 상기 에어컨(300)의 이미지와 함께 디스플레이(151) 할 수도 있음은 물론이다.

한편 상술한 설명에서는 사용자가 증강 현실 이미지를 통해 에어컨(300)을 제어하는 방법에 대해 설명하였으나, 이와는 달리 기 설정된 설정값을 적어도 하나 이상 포함하는 설정 정보에 따라 자동으로 상기 에어컨(300)을 설정할 수도 있음은 물론이다. 이하에서는 이처럼 설정 정보를 이용하여 에어컨(300)을 제어하는 방법에 대해 설명하기로 한다.

도 14a, 14b, 14c는 본 발명의 일 실시 예에 따른 이동 단말기에서 기 설정된 설정값을 통해 에어컨의 동작 상태를 제어하는 방법을 설명하기 위한 개념도이다.

우선 도 14a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 이동 단말기(100)는 어느 하나의 에어컨(300)에 접속되는 경우 도 14a의 (a)에서 보이고 있는 것과 같이 상기 에어컨(300)의 상태 정보를 증강 현실 이미지를 통해 디스플레이부(151)에 표시할 수 있다.

이러한 경우 제어부(180)는 사용자의 선택에 근거하여 적어도 하나의 설정 정보를 수신할 수 있다. 예를 들어, 제어부(180)는 현재 에어컨의 상태정보가 상기 기 저장된 최적 상태 설정 정보와 다른 경우, 상기 최적 상태 설정 정보가 존재함을 알리는 알림정보를 출력할 수도 있다. 그리고 제어부(180)는 상기 알림정보에 대한 사용자의 선택에 대응하여 상기 설정 정보를 수신할 수 있다.

여기서 설정 정보라는 것은 에어컨(300)의 동작 상태 또는 구동 상태에 대한 적어도 하나의 설정값을 포함하는 정보를 말한다. 그리고 이러한 설정 정보는 이전 특정 시점에서 설정되었던 상기 에어컨(300)의 동작 상태 또는 구동 상태에 대한 정보가 될 수 있다.

즉, 이전 시점에 설정되었던 상기 에어컨(300)의 상태에 대한 정보등이 상기 설정 정보가 될 수 있다. 예를 들어 상기 설정 정보는 과거에 설정되었던 상기 에어컨(300)의 최적 온도를 포함할 수 있다. 이러한 경우 제어부(180)는 현재 에어컨(300)의 상태 정보와 상기 최적의 온도 정보를 함께 표시할 수 있다. 또는 상기 설정 정보는 상기 최적 온도를 만들기 위하여 필요한 상기 에어컨(300)에 대한 설정값들을 포함하는 정보일 수 있다. 이러한 설정 정보는 상기 에어컨(300) 제조사나 특정 업체에서 기 설정된 온도에 따라 미리 설정한 상기 에어컨(300)의 상태 정보일 수도 있다.

이러한 설정 정보(또는 최적 상태 설정 정보)는 이동 단말기(100)의 메모리(160)에 저장된 것일 수 있으며, 또는 상기 에어컨(300)에 저장된 것일 수 있다. 또는 외부 서버(예를 들어 클라우드 서버)등에 저장된 것일 수 있다.

제어부(180)는 사용자의 선택에 근거하여 적어도 하나의 설정 정보를 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다. 예를 들어 제어부(180)는 사용자의 선택에 대응하는 적어도 하나의 설정 정보를 에어컨(300) 또는 외부 서버로부터 수신하고, 이들 중 상기 사용자의 선택에 대응하는 어느 하나를 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다. 도 14a의 (b)는 이처럼 어느 하나의 설정 정보가 출력된 화면(1410)의 예를 도시한 것이다.

이러한 경우 제어부(180)는 사용자에게 현재 디스플레이부(151)에 출력된 화면에 대응되는 설정 정보에 따라 상기 에어컨(300)을 제어하는 것을 확인받을 수 있다. 이를 위해 제어부(180)는 사용자로부터 확인을 받기 위한 별도의 그래픽 객체(1412)를 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다.

예를 들어 도 14a의 (c)에 도시되어 있는 것처럼, 상기 별도의 그래픽 객체(1412)는 사용자로부터 확인을 받기 위한 적어도 하나의 버튼 이미지들을 포함할 수 있다. 그리고 상기 버튼 이미지들 중, 설정 정보에 따라 에어컨(300)의 상태를 제어하는 것을 허가하는 버튼 이미지(예 :"예" 버튼 이미지(1414))가 표시된 영역에서 사용자의 입력이 감지된 경우, 제어부(180)는 현재 디스플레이부(151)에 출력된 화면에 대응되는 설정 정보에 포함된 설정값들에 근거하여 상기 에어컨(300)을 제어하기 위한 제어 신호를 상기 에어컨(300)에 전송한다.

이에 따라 에어컨(300)의 구동 상태 또는 동작 상태가 변경될 수 있다, 즉 도 14a의 (d)에서 도시되어 있는 것과 같이, 에어컨(300)의 전면 송풍구에서 출력되는 바람의 방향은 상향 20도로 변경될 수 있고, 좌우 측면 송풍구에서 출력되는 바람은 상하 이동하는 형태로 변경될 수 있다. 또한 에어컨(300)의 각 송풍구에서 출력되는 바람의 세기들 역시 상기 설정 정보에 포함된 설정값에 따라 변경될 수 있다.

한편, 상기 설정 정보에 포함된 모든 설정값 중 적어도 하나가 사용자에 의해 선택될 수도 있음은 물론이다.

도 14b는 이러한 예를 도시한 것이다. 예를 들어 도 14a의 (b)에서 보이고 있는 것과 같이 설정 정보가 표시된 화면에서, 특정 설정값이 표시된 영역에 사용자의 터치 입력이 감지되는 경우, 제어부(180)는 상기 터치 입력에 대응되는 어느 하나의 설정값(예를 들어 에어컨(300)의 좌우 측면 송풍구에서 출력되는 바람에 대한 설정값)만이 사용자에 의해 선택되었다고 인식할 수 있다.

이 경우 제어부(180)는 상기 사용자에 의해 선택된 어느 하나의 설정값들에 대한 다양한 선택 항목을 사용자에게 제공할 수 있다. 예를 들어 제어부(180)는 사용자에 의해 선택된 어느 하나의 설정값에 대해, 사용자가 선택 가능한 설정들을 적어도 하나 이상 포함하는 메뉴 화면을 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다.

도 14b의 (b)는 이러한 예를 도시한 것이다. 그리고 도 14의 (b)에서 보이고 있는 것처럼, 제어부(180)는 에어컨(300)의 좌우 측면 송풍구에서 출력되는 바람의 출력 형태들을 적어도 하나 포함하는 화면을 디스플레이부(151)의 적어도 일 영역에 상기 메뉴 화면으로서 출력할 수 있다.

이러한 경우 도 14b의 (c)에서 보이고 있는 것처럼 제어부(180)는 사용자로부터 확인을 받기 위한 별도의 그래픽 객체(1434)를 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다. 그리고 상기 별도의 그래픽 객체(1434)에는 사용자기 선택한 어느 하나의 설정값에 따라 에어컨(300)의 상태를 제어하는 것을 허가하는 버튼 이미지(예 :"예" 버튼 이미지(1436))가 포함될 수 있다.

그리고 제어부(180)는 상기 버튼 이미지(1436)가 표시된 영역에서 사용자의 입력이 감지된 경우, 사용자가 선택한 어느 하나의 설정값에 근거하여 상기 에어컨(300)을 제어하기 위한 제어 신호를 상기 에어컨(300)에 전송한다.

예를 들어 제어부(180)는 상기 설정 정보에 포함된 설정값들 중 에어컨(300)의 좌우 측면 송풍구에서 출력되는 바람에 대한 설정에 대응되는 제어 신호만을 상기 에어컨(300)에 전송할 수 있다. 이에 따라 좌우 측면 송풍구에서 출력되는 바람의 냉방 형태는 상하 좌우 냉방 형태(도 14b의 (a)의 "측면" 설정값)에서 고정 냉방 형태로 변경될 수 있다.

그리고 변경된 에어컨(300)의 상태 정보가 이동 단말기(100)에 수신될 수 있다. 그리고 제어부(180)는 수신된 상태 정보에 따라 도 14b의 (d)에 도시되어 있는 것과 같이, 에어컨(300)의 변경된 동작 상태를 반영하는 그래픽 객체들(1456, 1454)을 포함하는 증강 현실 이미지를 디스플레이부(151)에 출력할 수 있다.

한편, 이러한 설정 정보는 가이드 이미지의 형태로 디스플레이부(151)에 표시될 수도 있음은 물론이다. 도 14c는 이러한 예를 도시한 것이다.

우선 도 14c를 참조하여 살펴보면, 본 발명의 실시 예에 따른 이동 단말기(100)는 어느 하나의 에어컨(300)에 접속되는 경우 도 14c의 (a)에서 보이고 있는 것과 같이 상기 에어컨(300)의 상태 정보를 증강 현실 이미지를 통해 디스플레이부(151)에 표시할 수 있다.

그리고 제어부(180)는 사용자의 선택에 근거하여 적어도 하나의 설정 정보를 수신할 수 있다. 그리고 제어부(180)는 수신된 적어도 하나의 설정 정보 중 사용자의 선택에 따른 어느 하나의 설정 정보에 포함된 적어도 하나의 설정값들에 각각 대응되는 가이드 이미지들을 생성하여 디스플레이부(151)에 표시할 수 있다.

즉, 제어부(180)는 도 14의 (b)에서 보이고 있는 것과 같이, 디스플레이부(151)에 표시된 증강 현실 이미지에 적어도 하나의 가이드 이미지들을 표시할 수 있다. 예를 들어 도 14a의 (b)에서 보인 화면에 대응되는 설정 정보가 수신된 경우, 제어부(180)는 바람의 방향이 상향 20도로 설정된 화살표 이미지를 에어컨(300)의 전면 송풍구에서 출력되는 바람에 대응되는 가이드 이미지(1460)로 생성할 수 있다. 또는 제어부(180)는 냉방 형태가 상하 이동으로 설정된 화살표 이미지들을 에어컨(300)의 좌우 측면 송풍구에서 출력되는 바람에 대응되는 가이드 이미지들(1462A, 1462B, 1464A, 1464B)로 생성할 수 있다.

여기서 상기 가이드 이미지들(1460, 1462A, 1462B, 1464A, 1464B)은 다른 그래픽 객체들과 구분되게 표시될 수 있다. 예를 들어 도 14c의 (b)에 도시되어 있는 것과 같이 상기 가이드 이미지들은 점선 형태로 표시될 수도 있고, 또는 다른 색상으로도 표시될 수 있다. 또는 상기 가이드 이미지들은 다른 그래픽 객체들과 구분될 수 있는 색상으로 표시될 수 있다. 또는 상기 가이드 이미지들은 점멸하는 형태의 그래픽 객체로 표시될 수도 있다.

이러한 경우 제어부(180)는 도 14c의 (c)에 도시되어 있는 것과 같이 사용자로부터 확인을 받기 위한 별도의 그래픽 객체(1412)를 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다. 그리고 상기 별도의 그래픽 객체(1412)에는 현재 화면에 출력된 설정 정보에 근거하여 에어컨(300)의 상태를 제어하는 것을 허가하는 버튼 이미지(예 :"예" 버튼 이미지(1414))가 포함될 수 있다.

그리고 제어부(180)는 상기 버튼 이미지(1414)가 표시된 영역에서 사용자의 입력이 감지된 경우, 현재 화면에 출력된 설정 정보에 근거하여 상기 에어컨(300)을 제어하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

이와는 달리 제어부(180)는 디스플레이부(151)에 표시된 그래픽 객체들(500, 502, 504) 중 어느 하나에 사용자의 입력이 있는지를 감지할 수 있다. 예를 들어 도 14c의 (d)에서 보이고 있는 것과 같이 그래픽 객체(504)가 표시된 영역에서 사용자의 입력(1470)이 감지되는 경우, 제어부(180)는 그래픽 객체(504)에 대응되는 에어컨(300)의 구동 상태가 사용자에 의해 선택된 것으로 인식할 수 있다.

그리고 제어부(180)는 현재 사용자에 의해 선택된 그래픽 객체(504)에 대응되는 가이드 이미지(1460)에 사용자의 입력이 있는지 여부를 감지할 수 있다. 예를 들어 제어부(180)는 그래픽 객체(504)에서 감지된 사용자의 터치 입력이 가이드 이미지(1460)가 표시된 영역으로 드래그 되었는지를 감지할 수 있다. 그리고 도 14c의 (d)에서 보이고 있는 것처럼, 사용자의 드래그 입력(1480)이 가이드 이미지(1460)가 표시된 영역에서 감지된 경우, 제어부(180)는 그래픽 객체(504)에 대응되는 에어컨(300)의 구동 상태를, 상기 가이드 이미지(1460)에 대응되는 설정값에 따라 변경하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

이에 따라 상기 에어컨(300)에는, 전면 송풍구에서 출력되는 바람의 방향을 상향 20도(예 : 도 14a의 (b)에 도시된 "정면" 설정값)로 변경하기 위한 제어 신호가 전송될 수 있다. 따라서 에어컨(300)의 구동 상태를 표시하는 그래픽 객체(1484)에는 이러한 변경 내용이 표시될 수 있다. 그리고 가이드 이미지(1460)는 실제 출력되는 바람을 표시하는 그래픽 객체의 형태로 표시될 수 있다. 즉, 예를 들어 상기 가이드 이미지(1460)는 실선 화살표 이미지(1482)의 형태로 화면에 표시될 수 있다.

이상에서는 기 설정된 설정 정보를 이용하여 에어컨(300)의 상태를 설정하는 방법을 자세히 설명하였다.

이하에서는 사용자에 의해, 이동 단말기(100)가 증강 현실 모드에 진입하는 경우, 즉, 증강 현실(AR) 모드가 활성화된 경우, 비록 에어컨(300)이 디스플레이부(151)에 도시되지 않은 경우에도 에어컨(300)의 상태 정보를 출력하고, 사용자의 터치 입력에 따라 에어컨(300)을 제어하는 방법을 자세히 설명하고자 한다.

도 15a, 15b는 본 발명의 일 실시 예에 따른 이동 단말기에서 에어컨이 카메라 시야에서 벗어난 경우에도 에어컨의 동작 상태를 제어하는 방법을 설명하기 위한 개념도이다.

도 15a를 참조하여 살펴보면, 증강 현실(AR) 모드가 활성화된 경우, 에어컨(300)이 카메라 시야에서 벗어난 상태라고 하더라도 상기 에어컨(300)의 상태 정보는 표시될 수 있다. 예를 들어 에어컨(300)이 카메라 시야에서 벗어난 경우라고 할지라도 에어컨(300)으로부터 일정 거리 또는 일정 영역에 이동 단말기(100)가 위치하는 경우 에어컨(300)의 상태 정보는 증강 현실 이미지를 통해 디스플레이부(151)에 출력될 수 있다. 도 15a의 (a)는 이러한 예를 도시한 것이다.

이 경우 제어부(180)는 에어컨(300)의 상태 정보를 표시하는 그래픽 객체들(1500, 1502) 중 어느 하나에 사용자의 입력이 있는지를 감지할 수 있다. 그리고 어느 하나의 그래픽 객체가 표시된 영역에 사용자의 입력이 감지된 경우, 이에 대응하는 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

예를 들어 도 15의 (a)에서 보이고 있는 것처럼, 에어컨(300)의 동작 상태를 표시하는 그래픽 객체(1502)가 표시된 영역에서 사용자의 입력(1504)이 감지된 경우, 제어부(180)는 사용자의 입력(1504)에 대응되는 에어컨(300)의 동작 상태(예 "냉방 세기 : 강")가 사용자에 의해 선택된 것으로 인식할 수 있다.

이러한 경우 제어부(180)는 사용자의 입력에 대응하여, 사용자에 의해 선택된 동작 상태 항목에 설정될 수 있는 적어도 하나의 설정값을 포함하는 메뉴 화면을 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다. 예를 들어 도 15a의 (b)에서 도시되어 있는 것처럼, 제어부(180)는 사용자의 입력(1504)에 대응되는 에어컨(300)의 동작 상태, 즉 냉방 세기에 대해, 다수의 설정값들이 포함된 메뉴 화면(1510)을 출력할 수 있다.

그리고 사용자가 메뉴 화면(1510)에 포함된 설정값들 중 어느 하나를 선택하는 경우, 제어부(180)는 사용자의 선택에 대응되는 설정값에 근거하여 에어컨(300)을 제어하기 위한 제어 신호를 전송할 수 있다. 즉, 제어부(180)는 사용자의 입력(1504)에 대응되는 에어컨(300)의 동작 상태(예를 들어 "냉방 세기")를, 사용자의 선택에 대응하는 설정값(예를 들어 "최강")으로 변경하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

그러면 상기 제어 신호에 따라 상기 에어컨(300)의 냉방 세기는 변경될 수 있고, 이에 따라 디스플레이부(151)에 표시되는 에어컨(300)의 상태 정보는 변경될 수 있다. 도 15a의 (c)는 이러한 예를 도시한 것이다.

즉, 도 15a의 (c)에서 보이고 있는 것과 같이, 에어컨(300)이 디스플레이부(151)에 표시되지 않는다고 하더라도, 변경된 에어컨(300)의 상태 정보에 따라 에어컨(300)의 바람 세기를 표시하는 화살표 이미지의 두께는 변경될 수 있다. 그리고 에어컨(300)의 동작 상태를 표시하는 그래픽 객체는 도 15a의 (c)에서 보이고 있는 것처럼 에어컨(300)의 변경된 동작 상태에 대한 정보를 표시할 수 있다.

또한, 제어부(180)는 사용자의 터치 앤드 드래그 입력 또는 핀치 인 핀치 아웃과 같은 터치 제스처 입력을 통해서도 상기 에어컨(300)의 동작 상태 또는 구동 상태를 변경하기 위한 제어 신호를 전송할 수도 있음은 물론이다.

예를 들어 도 15b의 (a)에서 보이고 있는 것과 같이, 에어컨(300)이 카메라 시야에서 벗어난 상태라고 하더라도 상기 에어컨(300)의 상태 정보는 디스플레이부(151)에 표시될 수 있다. 이러한 상태에서 제어부(180)는 에어컨(300)에서 출력되는 바람에 대응되는 그래픽 객체, 즉 화살표 이미지(1500)에 사용자의 핀치 인 또는 핀치 아웃 터치 제스처 입력이 있는지를 감지할 수 있다.

그리고 도 15b의 (b)에서 보이고 있는 것과 같이, 화살표 이미지(1500)가 표시된 영역에 사용자의 입력들(1550. 1552)이 감지된 경우, 제어부(180)는 사용자가 화살표 이미지(1500)에 대응되는 에어컨의 구동 상태, 즉 에어컨(300)의 좌측 측면 송풍구에서 출력되는 바람에 대한 제어를 선택한 것으로 인식할 수 있다.

그리고 제어부(180)는 도 15b의 (c)에서 보이고 있는 것과 같이 사용자의 핀치 아웃 터치 제스처에 따른 입력(1560, 1562)이 감지되는 경우, 제어부(180)는 상기 터치 제스처에 따른 입력(1560, 1562)에 대응되는 세기로 상기 좌측 측면 송풍구에서 출력되는 바람의 세기를 변경하기 위한 제어 신호를 상기 에어컨(300)에 전송할 수 있다.

그러면 에어컨(300)은 수신된 제어 신호에 근거하여 좌측 측면 송풍구에서 출력되는 바람의 세기를 변경할 수 있다. 이에 따라 도 15b의 (d)에서 도시되어 있는 것과 같이 상기 좌측 측면 송풍구에서 출력되는 바람에 대응되는 화살표 이미지의 두께는 상기 터치 제스처에 따른 입력(1560, 1562)에 대응되는 두께로 변경될 수 있다. 그리고 상기 에어컨(300)의 동작 상태를 표시하기 위한 그래픽 객체(1570) 역시 변경된 에어컨(300)의 동작 상태가 반영된 정보를 표시할 수 있다.

이처럼, 증강 현실(AR) 모드가 활성화된 경우, 에어컨(300)이 화면상에 표시되지 않았다 하더라도, 본 발명의 실시 예에 따른 이동 단말기(100)는 화면상에 표시된 에어컨(300)의 상태 정보를 이용하여 상기 에어컨(300)을 얼마든지 제어할 수 있다.

그러나 위에서 보인 것처럼 화면 상에 에어컨의 상태 정보가 표시되지 않는 경우에도 상기 에어컨(300)을 제어할 수 있는 방법도 있을 수 있다.

예를 들어, 제어부(180)는 증강 현실(AR) 모드가 활성화된 경우, 사용자의 선택에 따라 현재 에어컨(300)의 위치가 표시된 맵 정보 또는 상기 에어컨(300)이 위치한 방향을 표시하는 가이드 정보(예를 들어 에어컨(300)의 위치한 방향을 표시하는 화살표 이미지)를 화면상에 출력할 수 있다.

그리고 상기 맵 정보 또는 가이드 정보가 표시된 영역에 사용자의 터치 입력이 감지된 경우, 제어부(180)는 상기 맵 정보 또는 상기 가이드 정보에 상기 에어컨(300)의 상태 정보를 표시할 수 있다. 예를 들어 제어부(180)는 상기 에어컨(300)에서 출력되는 바람들의 방향 및 세기를 표시한 이미지를 상기 맵 정보에 상기 에어컨에 대응되는 그래픽 객체와 함께 표시할 수 있다. 또한 제어부(180)는 상기 가이드 정보에 대한 사용자의 터치 입력에 대응하여 현재 에어컨의 상태 정보를 리스트 형태로 디스플레이부(151)의 적어도 일 영역에 출력할 수 있다.

그리고 제어부(180)는, 상기 에어컨(300)에서 출력되는 바람들의 방향 및 세기를 표시한 이미지 중 적어도 하나 또는 상기 에어컨의 상태 정보를 포함하는 리스트 항목 중 적어도 하나에 사용자의 입력이 감지되는 경우, 그에 대응되는 제어 신호를 상기 에어컨(300)에 전송할 수도 있음은 물론이다. 따라서 사용자는 화면상에 에어컨(300)이 표시되지 않은 경우라고 할지라도 얼마든지 상기 에어컨(300)을 증강 현실 이미지를 통해 제어할 수 있다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 증강 현실 이미지를 통해 제어하는 가전기기로서 에어컨을 가정하여 설명하였으나, 에어컨 뿐만 아니라 다양한 가전기기들을 제어할 수도 있음은 물론이다.

예를 들어 본 발명의 실시 예에 따른 이동 단말기는 상기 에어컨 대신 로봇 청소기를 상기 증강 현실 이미지를 통해 제어할 수도 있음은 물론이다. 즉, 사용자가 상기 로봇 청소기를 카메라 시야각에 포함시키는 경우, 상기 로봇 청소기의 현재 상태에 대한 정보가 이동 단말기의 디스플레이부에 증강 현실 이미지로서 출력될 수 있다.

뿐만 아니라 사용자는 증강 현실 이미지가 출력된 디스플레이부(151)의 적어도 일 영역을 터치하여 상기 로봇 청소기의 동작을 제어할 수도 있음은 물론이다. 예를 들어 사용자는 상기 증강 현실 이미지가 디스플레이된 화면상의 일 지점을 터치하여 상기 로봇 청소기의 청소 진행 방향 또는 로봇 청소기가 청소할 구역을 상기 증강 현실 이미지를 통해 지정할 수도 있음은 물론이다.

이처럼 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

에어컨과 통신 가능하도록 이루어지는 무선 통신부;
적어도 하나의 피사체에 대한 영상을 수신하는 카메라;
상기 적어도 하나의 피사체에 각각 대응되는 적어도 하나의 그래픽 객체가 포함된 상기 영상을 출력하는 디스플레이부; 및,
상기 적어도 하나의 피사체 중 어느 하나가 상기 에어컨인 경우, 상기 에어컨에 대응되는 그래픽 객체 주변에 상기 에어컨에서 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 제어부를 포함하는 것을 특징으로 하는 이동 단말기.
제1항에 있어서, 상기 제어부는,
상기 상태정보가 출력된 영역에 대하여 가해지는 터치에 대응하여, 상기 에어컨을 제어하기 위한 제어신호가 상기 에어컨으로 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 이동 단말기.
제2항에 있어서, 상기 제어부는,
상기 상태정보가 출력된 영역에 대하여 가해지는 서로 다른 방식의 터치 및 터치의 정도 중 적어도 하나에 근거하여, 상기 에어컨을 제어하기 위한 서로 다른 제어 신호를 상기 에어컨으로 전송하는 것을 특징으로 하는 이동 단말기.
제3항에 있어서,
상기 상태정보는 상기 에어컨에서 출력되는 바람의 세기와 관련된 동작정보를 나타내는 이미지 객체를 포함하고,
상기 제어부는,
상기 이미지 객체에 대하여 핀치-인(Pinch In) 또는 핀치-아웃(Pinch Out) 방식의 터치가 가해지는 경우, 상기 바람의 세기를 제어하기 위한 제어신호를 생성하며,
상기 이미지 객체에 가해지는 상기 핀치-인 또는 핀치-아웃의 터치 정도에 따라 상기 바람의 세기가 제어되는 정도가 달라지는 것을 특징으로 하는 이동 단말기.
제3항에 있어서, 상기 제어부는,
상기 상태정보가 출력된 영역에 대하여 가해지는 드래그 터치의 터치길이 및 방향 중 적어도 하나 기초하여, 상기 에어컨에서 출력되는 바람의 방향 또는 바람이 미치는 거리를 변경하기 위한 제어신호를 생성하는 것을 특징으로 하는 이동 단말기.
제2항에 있어서, 상기 제어부는,
상기 이동 단말기와 상기 에어컨의 상대적 위치를 산출하고,
상기 산출된 상대적 위치에 따라 상기 에어컨의 바람과 관련된 제어 신호를 상기 에어컨에 전송하는 것을 특징으로 하는 이동 단말기.
제6항에 있어서, 상기 상대적 위치는,
상기 에어컨과 상기 이동 단말기 간의 무선 통신 상태,
상기 에어컨 또는 상기 이동 단말기 중 어느 일방에서 타방의 영상이 수신되는 입사각 및 상기 에어컨과 상기 이동 단말기 사이의 거리, 및
상기 에어컨의 위치를 기준으로 하는 가상의 좌표 상에서 상기 이동 단말기의 위치 중 적어도 하나를 통해 산출되는 것을 특징으로 하는 이동 단말기.
제1항에 있어서,
상기 동작정보는, 상기 에어컨에서 출력되는 바람에 대응되는 이미지 객체를 포함하고,
상기 디스플레이부 상에는, 상기 에어컨에 대응되는 그래픽 객체가 출력되며,
상기 제어부는,
상기 에어컨에 대응되는 그래픽 객체 중 상기 에어컨에서 실제로 바람이 출력되는 위치와 대응되는 영역 주변에 상기 이미지 객체를 출력시키는 것을 특징으로 하는 이동 단말기.
제8항에 있어서,
상기 에어컨에서 출력되는 바람에 대응되는 이미지는 정적 이미지 및 동적 이미지 중 적어도 하나인 것을 특징으로 하는 이동 단말기.
제9항에 있어서,
상기 에어컨에서 출력되는 바람에 대응되는 이미지는 상기 동작정보에 기초하여, 특정 형상, 모양 및 색상 중 적어도 하나로 이루어지는 것을 특징으로 하는 이동 단말기.
제10항에 있어서, 상기 동작정보는,
상기 바람의 방향, 세기, 바람이 미치는 거리 및 바람의 온도를 포함하고,
상기 바람의 방향은 상기 바람의 방향에 따라 달라지는 화살표 이미지로 나타내어지고,
상기 바람의 세기의 따라 상기 화살표 이미지의 두께가 달라지며,
상기 바람이 미치는 거리에 따라 상기 화살표 이미지의 길이가 서로 다르고,
상기 바람의 온도에 따라 상기 화살표의 색상이 달라지는 것을 특징으로 하는 이동 단말기.
제8항에 있어서, 상기 제어부는,
상기 상태정보 중에서 상기 동작정보를 제외한 다른 상태정보를 상기 디스플레이부 상의 적어도 일 영역에 텍스트, 이미지 및 동영상 중 적어도 하나를 통해 출력시키는 것을 특징으로 하는 이동 단말기.
제12항에 있어서,
상기 상태정보 중에서 상기 동작정보를 제외한 다른 상태정보는,
상기 에어컨에 대응되는 그래픽 객체 중에서 상기 에어컨에 실제로 디스플레이부가 배치된 영역과 대응되는 영역 상에 출력되는 것을 특징으로 하는 이동 단말기.
제1항에 있어서, 상기 제어부는,
사용자의 선택에 기초하여, 상기 에어컨이 최적의 상태로 동작될 수 있도록 하는 상기 에어컨의 적어도 하나의 동작 상태를 제어하기 위한 최적 상태 제어 신호가 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 이동 단말기.
제14항에 있어서, 상기 제어부는,
저장부에 기 저장된 최적 상태 설정 정보에 기초하여, 상기 에어컨이 최적의 상태로 동작될 수 있도록 하는 상기 최적 상태 제어신호를 상기 에어컨으로 전송하는 것을 특징으로 하는 이동 단말기.
제15항에 있어서, 상기 제어부는,
현재 에어컨의 상태정보가 상기 기 저장된 최적 상태 설정 정보와 다른 경우, 상기 최적 상태 설정 정보가 존재함을 알리는 알림정보를 출력하는 것을 특징으로 하는 이동 단말기.
제15항에 있어서, 상기 최적 상태 설정 정보는,
과거 시점에 상기 에어컨에서 설정되었던 상기 에어컨의 동작 상태와 관련된 적어도 하나의 설정값들을 포함하는 것을 특징으로 하는 이동 단말기.
에어컨과 통신 가능하도록 이루어지는 무선 통신부;
시야범위 내의 피사체에 대한 영상을 수신하는 카메라;
상기 카메라의 시야범위에 위치한 피사체에 대응되는 적어도 하나의 그래픽 객체를 출력하는 디스플레이부; 및,
상기 에어컨에서 출력되는 바람이 상기 피사체들에 도달하는 경우, 상기 적어도 하나의 그래픽 객체 주변에 상기 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 제어부를 포함하고,
상기 제어부는,
상기 에어컨이 상기 카메라의 시야범위 내에 포함되지 않더라도, 상기 상태정보를 상기 적어도 하나의 그래픽 객체 주변에 출력시키는 것을 특징으로 하는 이동 단말기.
제18항에 있어서, 상기 제어부는,
상기 에어컨으로부터 수신되는 상기 에어컨의 상태 정보에 대응되는 시각 정보를 상기 디스플레이부의 적어도 일 영역에 표시하는 것을 특징으로 하는 이동 단말기.
제19항에 있어서, 상기 제어부는,
상기 동작 정보 중 어느 하나에 대한 사용자의 터치 입력에 대응하여 상기 에어콘의 동작 상태를 변경하기 위한 제어 신호를 상기 에어컨에 전송하는 것을 특징으로 하는 이동 단말기.
제20항에 있어서, 상기 제어부는,
상기 에어컨에서 출력되는 바람과 관련된 동작 정보에 대응되는 그래픽 객체를 상기 디스플레이부의 적어도 일 영역에 표시하는 것을 특징으로 하는 이동 단말기.
제18항에 있어서, 상기 제어부는,
AR(Augmented Reality : 증강현실) 모드가 활성화됨에 대응하여, 상기 적어도 하나의 그래픽 객체 주변에 상기 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력시키는 것을 특징으로 하는 이동 단말기.
에어컨과 통신 가능하도록 이루어지는 무선 통신부를 포함하는 이동 단말기의 제어방법에 있어서,
적어도 하나의 피사체에 대한 영상을 수신하는 단계;
상기 적어도 하나의 피사체에 각각 대응되는 적어도 하나의 그래픽 객체가 포함된 상기 영상을 디스플레이부 상에 출력하는 단계; 및
상기 적어도 하나의 피사체 중 어느 하나가 상기 에어컨인 경우, 상기 에어컨에 대응되는 그래픽 객체 주변에 상기 에어컨에서 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 단계를 포함하는 것을 특징으로 하는 이동 단말기의 제어방법.
제23항에 있어서,
상기 상태정보가 출력된 영역에 대하여 터치가 가해지면, 상기 에어컨을 제어하기 위한 제어신호가 상기 에어컨으로 전송되는 것을 특징으로 하는 이동 단말기의 제어방법.
제24항에 있어서,
상기 상태정보가 출력된 영역에 대하여 가해지는 서로 다른 방식의 터치 및 터치의 정도 중 적어도 하나에 근거하여, 상기 에어컨을 제어하기 위한 서로 다른 제어신호가 결정되는 것을 특징으로 하는 이동 단말기의 제어방법.
제25항에 있어서,
상기 상태정보는 상기 에어컨에서 출력되는 바람의 세기와 관련된 동작정보를 나타내는 이미지 객체를 포함하고,
상기 이미지 객체에 대하여 핀치-인(Pinch In) 또는 핀치-아웃(Pinch Out) 방식의 터치가 가해지는 경우, 상기 바람의 세기를 제어하기 위한 제어신호가 생성되고,
상기 이미지 객체에 가해지는 상기 핀치-인 또는 핀치-아웃의 터치 정도에 따라 상기 바람의 세기가 제어되는 정도가 달라지는 것을 특징으로 하는 이동 단말기의 제어방법.
제23항에 있어서,
상기 동작정보는, 상기 에어컨에서 출력되는 바람에 대응되는 이미지 객체를 포함하고,
상기 디스플레이부 상에는, 상기 에어컨에 대응되는 그래픽 객체가 출력되며,
상기 이미지 객체는, 상기 에어컨에 대응되는 그래픽 객체 중 상기 에어컨에서 실제로 바람이 출력되는 위치와 대응되는 영역 주변에 출력되는 것을 특징으로 하는 이동 단말기의 제어방법.
제23항에 있어서,
상기 제어신호는,
상기 에어컨이 최적의 상태로 동작될 수 있도록 하는 상기 에어컨의 적어도 하나의 동작 상태를 제어하기 위한 최적 상태 제어 신호인 것을 특징으로 하는 이동단말기의 제어방법.
에어컨과 통신 가능하도록 이루어지는 무선 통신부를 포함하는 이동 단말기의 제어방법에 있어서,
카메라를 통해 시야범위 내의 피사체에 대한 영상을 수신하는 단계;
상기 카메라의 시야범위에 위치한 피사체에 대응되는 적어도 하나의 그래픽 객체를 디스플레이부 상에 출력하는 단계; 및
상기 에어컨에서 출력되는 바람이 상기 피사체들에 도달하는 경우, 상기 적어도 하나의 그래픽 객체 주변에 상기 출력되는 바람과 관련된 동작정보를 포함하는 상기 에어컨의 상태정보를 출력하는 단계를 포함하고,
상기 상태정보를 출력하는 단계에서는,
상기 에어컨이 상기 카메라의 시야범위 내에 포함되지 않더라도, 상기 상태정보가 상기 적어도 하나의 그래픽 객체 주변에 출력되는 것을 특징으로 하는 이동 단말기의 제어방법.
제29항에 있어서,
상기 디스플레이부의 적어도 일 영역에는,
상기 에어컨으로부터 수신되는 상기 에어컨의 상태 정보에 대응되는 시각 정보가 출력되는 것을 특징으로 하는 이동 단말기의 제어방법.