KR20230105382A

KR20230105382A - 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법

Info

Publication number: KR20230105382A
Application number: KR1020220000688A
Authority: KR
Inventors: 김벽선; 김동욱
Original assignee: 삼성전자주식회사
Priority date: 2022-01-04
Filing date: 2022-01-04
Publication date: 2023-07-11
Also published as: WO2023132461A1

Abstract

본 문서는 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 전자 장치 및 방법에 관한 것으로, 전자 장치에서 이동형 전자 장치와 통신연결을 수행하고, 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하고, 상기 이동형 전자 장치가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하면, 상기 이동형 전자 장치가 스캔한 외부 기기와 상기 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하고, 매칭에 성공한 외부 기기를 등록하고, 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력한다.

Description

등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING A USER INTERFACE FOR CONTROLLING REGISTERED ELECTRONIC DEVICE}

이하의 일 실시 예들은 등록된 외부 기기를 화면에 표시하고, 화면에 표시된 외부 기기의 주변에 해당 외부 기기를 제어하는 사용자 인터페이스를 제공하는 기술에 관한 것이다.

댁내에서 여러가지 사물인터넷(IoT; Internet of Things), 적외선(IR; infrared rays) 기기, 가전기기, 블루투스(BT; bluetooth) 기기 등의 기기를 사용하는 비율이 증가하고 있다. 또한 일반적으로 하나의 액세스 포인트(AP; access point)내에 여러 기기를 연결하여 사용한다.

일반적으로 기기를 사용할 때 사용자가 수동으로 모든 기기를 설정하기는 쉽지 않으므로, 자동으로 설정해주는 경향이 증가하고 있다.

영상 디스플레이 장치에서 일반적으로 유선으로 HDMI 케이블, 옵티컬 케이블 등을 연결하여 셋탑, 블루레이 디스크(BD; Blu-ray Disc), 사운드바(Soundbar)를 사용하는 경우 HDMI 케이블을 통해 영상 신호 및 기기 신호 정보를 받아 자동으로 인식할 수 있다. 하지만 케이블이 연결 안된 가전기기의 경우에 자동으로 기기별로 디스플레이와 호환되도록 기기 정보를 파악하여 자동으로 설정하게 하는 부분은 아직 소비자를 만족시키지 못하고 있다.

모바일 인식으로 모바일 카메라를 열어서 일일이 기기를 설정하기 위해 사용자가 이동할 수도 있겠지만, 이는 사용자에게 불편을 초래할 수 있다.

본 문서에 개시되는 실시예에 따르면, 이동형 전자 장치를 이용하여 댁내 외부 기기(또는 가전 기기)를 등록하고, 등록된 외부 기기들의 위치를 표시한 지형도를 출력하고, 화면에 표시된 외부 기기의 주변에 해당 외부 기기를 제어하는 사용자 인터페이스를 제공할 수 있다.

또한, 다양한 실시예에 따르면, 이동형 전자 장치를 이용해서 등록된 외부 기기를 제어할 수 있다.

일 실시예에 따른 전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법은, 이동형 전자 장치와 통신연결을 수행하는 동작; 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하는 동작; 상기 이동형 전자 장치가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하는 동작; 상기 이동형 전자 장치가 스캔한 외부 기기와 상기 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하는 동작; 매칭에 성공한 외부 기기를 등록하는 동작; 및 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작을 포함한다.

일 실시예에 따른 전자 장치는, 무선 통신을 통해서 연결 가능한 외부 기기를 스캔 또는 통신을 연결하고, 이동형 전자 장치와 통신을 연결하는 통신부; 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 디스플레이부; 및 상기 통신부를 통해서 이동형 전자 장치와 통신연결을 수행하고, 상기 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하도록 제어하고, 상기 이동형 전자 장치가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하면, 상기 이동형 전자 장치가 스캔한 외부 기기와 상기 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하고, 매칭에 성공한 외부 기기를 등록하고, 상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 상기 디스플레이부를 통해서 출력하도록 제어하는 프로세서를 포함한다.

본 문서는 이동형 전자 장치와 통신연결을 수행하고, 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하고, 상기 이동형 전자 장치가 이동하면서 스캔하여 생성한 지형과 스캔한 외부 기기에 관한 정보를 수신하면, 상기 이동형 전자 장치가 스캔한 외부 기기와 상기 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하고, 매칭에 성공한 외부 기기를 등록하고, 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 전자 장치에 관한 것으로, 여러 개의 외부 기기(또는 가전 기기)를 등록한 후에 등록된 외부 기기 별 사용자 인터페이스를 제공하여 사용자에게 편리한 기능을 추천해 줄 수 있다.

도 1는 일 실시 예에 따라 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 시스템을 구성을 개략적으로 도시한 도면이다.
도 2는 일 실시 예에 따른 전자 장치에서 이동형 전자 장치를 이용해서 외부 기기들을 등록하고 등록된 외부 기기를 제어하는 사용자 인터페이스를 출력하고 제어하는 과정의 일 예를 도시한 흐름도이다.
도 3은 일 실시 예에 따른 전자 장치에서 이동형 전자 장치를 이용해서 외부 기기들을 등록하고 등록된 외부 기기를 제어하는 사용자 인터페이스를 출력하고 제어하는 과정의 다른 예를 도시한 흐름도이다.
도 4는 일 실시 예에 따른 전자 장치에서 무선 통신을 통해서 연결 가능한 외부 기기와 이동형 전자 장치에서 스캔한 외부 기기를 매칭하는 과정을 도시한 흐름도이다.
도 5는 일 실시 예에 따른 전자 장치에서 사용자 인터페이스를 출력하는 화면의 일 예를 도시한 도면이다.
도 6은 일 실시 예에 따른 전자 장치에서 사용자 인터페이스를 출력하는 화면의 다른 예를 도시한 도면이다.
도 7은 일 실시 예에 따른 전자 장치에서 사용자 인터페이스를 출력하는 화면의 또 다른 예를 도시한 도면이다.
도 8은 일 실시 예에 따른 전자 장치의 블록 구성도이다.
도 9는 일 실시 예에 따른 전자 장치의 상세 블록 구성도이다.
도 10은 일 실시 예에 따른 이동형 전자 장치의 블록 구성도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

이하에서는, 본 발명의 일 실시 예에 따른 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법을 첨부된 도 1 내지 도 8을 참조하여 상세히 설명한다.

도 1는 일 실시 예에 따라 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 시스템을 구성을 개략적으로 도시한 도면이다.

도 1을 참조하면, 본 문서의 시스템은 전자 장치(110)와 이동형 전자 장치(120)로 구성될 수 있다. 이때, 도 1에 도시된 것과 같이 전자 장치(110)의 예는 텔레비전이 될 수 있고, 이동형 전자 장치(120)의 예는 로봇 청소기가 될 수 있다.

전자 장치(110)는 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하고, 이동형 전자 장치(120)가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하고, 이동형 전자 장치(120)가 스캔한 외부 기기와 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하고, 매칭에 성공한 외부 기기(151, 152, 153)를 등록하고, 등록된 외부 기기(151, 152, 153)의 리스트와 등록된 외부 기기(151, 152, 153) 각각을 제어하는 사용자 인터페이스를 화면에 출력하고, 사용자 인터페이스를 통해서 제어 명령이 선택되면, 선택된 제어 명령에 대응하는 등록된 외부 기기로 선택된 제어 명령을 송신한다. 이때, 사용자 인터페이스를 화면의 예를 아래에서 도 5에서 도 7을 참조하여 후술한다.

한편, 전자 장치(110)는 모바일 단말기(130)로 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면 송신할 수 있다.

전자 장치(110)는 사용자 인터페이스를 통한 제어 명령이 선택을 모바일 단말기(130) 또는 원격 제어 단말기(140)로부터 수신할 수 있다.

전자 장치(110)에서 외부 기기(151, 152, 153)를 등록하고, 등록된 외부 기기(151, 152, 153)의 리스트와 등록된 외부 기기(151, 152, 153) 각각을 제어하는 사용자 인터페이스를 화면에 출력하고 제어하는 구체적인 내용을 이후 도 2에서 도 8을 참조하여 보다 상세히 후술한다.

도 2는 일 실시 예에 따른 전자 장치에서 이동형 전자 장치를 이용해서 외부 기기들을 등록하고 등록된 외부 기기를 제어하는 사용자 인터페이스를 출력하고 제어하는 과정의 일 예를 도시한 흐름도이다.

도 2를 참조하면, 전자 장치(110)는 이동형 전자 장치(120)와 통신연결을 수행한다(210).

이때, 이동형 전자 장치(120)와 통신 연결은 블루투스를 이용한 통신일 수도 있고, 액세스 포인트를 통한 와이파이 통신일 수도 있으며, 그 외의 여러 통신 방법을 이용하여 통신을 연결할 수도 있다.

그리고, 전자 장치(110)는 무선 통신을 통해서 연결 가능한 외부 기기를 스캔한다(220). 220동작에서 전자 장치(110)가 스캔하는 연결 가능한 외부 기기는 예를 들어, 에어컨, 냉장고, 선풍기, 가습기, 커튼 개폐기 등의 가전기기가 될 수 있으며, 연결하는 무선 통신 방식은 와이파이, 블루투스, 적외선 통신 등으로 통신 연결을 할 수 있다. 하지만, 위의 가전기기에 한정되는 것이 아니며, 통신 방식 또한 위의 통신 방식으로 한정되지는 않는다.

그리고, 전자 장치(110)는 이동형 전자 장치(120)가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신한다(230). 이때, 이동형 전자 장치(120)가 이동하면서 스캔하여 생성한 지형도는 집의 평면도가 될 수 있다.

그리고, 전자 장치(110)는 이동형 전자 장치(120)가 스캔한 외부 기기와 무선 통신을 통해서 연결 가능한 외부 기기를 매칭한다(240). 240단계에 관한 보다 상세한 설명은 이후 도 4를 참조하여 후술한다.

그리고, 전자 장치(110)는 매칭에 성공한 외부 기기를 제어하는 장치로써 등록한다(250).

이때, 전자 장치(110)는 등록하는 외부 기기에 관해서 사용자 인터페이스를 통해서 제공할 제어 명령을 선택하도록 화면을 통해서 사용자에게 입력하도록 요청할 수 있다.

그리고, 전자 장치(110)는 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력한다(270).

270동작에서 전자 장치(110)는 이동형 전자 장치(120)가 스캔하여 생성한 지형도에 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 표시된 외부 기기 각각의 주변에 표시된 외부 기기 각각에 대응하는 사용자 인터페이스를 출력할 수 있다. 이때, 사용자 인터페이스가 출력되는 전자 장치의 주변은 지형도의 빈공간일 수 있다.

또한, 270동작에서 전자 장치(110)는 등록된 외부 기기 각각의 현재 상태도 함께 출력할 수 있다. 예를 들어, 등록된 외부 기기가 꺼져 있는지 켜져 있는지 켜져 있다면 어떤 모드로 동작 중 인지 등을 함께 표시할 수도 있다.

270동작에서 출력되는 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는, 등록된 외부 기기의 제어 명령 중에서 사용자가 선택한 제어 명령을 표시할 수 있다.

270동작에서 출력되는 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는, 등록된 외부 기기의 제어 명령 중에서 가장 많이 사용되는 제어 명령으로 사전에 기설정된 제어 명령을 표시할 수 있다.

한편, 270동작에서 전자 장치(110)는 모바일 단말기(130)로 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면 송신할 수 있다.

270동작에서 출력하는 화면의 예를 아래의 도 5에서 도 7을 참조하여 후술한다.

도 5는 일 실시 예에 따른 전자 장치에서 사용자 인터페이스를 출력하는 화면의 예를 도시한 도면이다.

도 5를 참조하면, 전자 장치(110)는 이동형 전자 장치(120)가 스캔하여 생성한 지형도(500)에 등록된 외부 기기인 에어컨(151), 가습기(152), 선풍기(153), 커튼 개폐기(511, 512, 513) 및 이동형 전자 장치인 로봇 청소기(120)의 위치를 표시하여 출력할 수 있다.

또한, 전자 장치(110)는 표시된 외부 기기(120, 151, 152, 153, 511, 512, 513) 각각의 주변에 각각에 대응하는 사용자 인터페이스(521, 522, 523, 531, 541, 551, 561, 562, 563)를 출력할 수 있다.

예를 들어, 전자 장치(110)는 커튼 개폐기(511, 512, 513)의 경우 커튼을 열거나 닫는 사용자 인터페이스(561, 562, 563)를 출력할 수 있다.

한편, 표시된 외부 기기 별로 하나의 사용자 인터페이스를 출력할 수도 있지만, 복수개의 사용자 인터페이스를 출력할 수도 있다. 에어컨(151)의 경우, 에어컨 끄기, 온도 올리기, 온도 내리기의 사용자 인터페이스(521, 522, 523)가 출력됨을 확인할 수 있다.

전자 장치(110)는 도 5와 같이 표시된 외부 기기(120, 151, 152, 153, 511, 512, 513) 각각의 주변에 각각에 대응하는 사용자 인터페이스(521, 522, 523, 531, 541, 551, 561, 562, 563)를 출력할 수도 있지만, 아래 도 6과 같이 이동형 전자 장치(120)의 주변의 외부 기기에만 사용자 인터페이스를 제공하거나, 아래 도 7과 같이 학습에 따라 사용자가 수행할 가능성이 높은 사용자 인터페이스만을 제공할 수도 있다.

도 6은 일 실시 예에 따른 전자 장치에서 사용자 인터페이스를 출력하는 화면의 다른 예를 도시한 도면이다.

도 6을 참조하면, 전자 장치(110)는 이동형 전자 장치(120)가 스캔하여 생성한 지형도(600)에 등록된 외부 기기인 에어컨(151), 가습기(152), 선풍기(153), 커튼 개폐기(511, 512, 513) 및 이동형 전자 장치인 로봇 청소기(120)의 위치를 표시하여 출력할 수 있다.

또한, 전자 장치(110)는 로봇 청소기(120)의 위치에서 로봇 청소기(120)가 제어할 수 있는 외부 기기인 에어컨(151)과 가습기(152) 각각의 주변에 각각에 대응하는 사용자 인터페이스(621, 622, 623, 631)를 출력할 수 있다.

도 7은 일 실시 예에 따른 전자 장치에서 사용자 인터페이스를 출력하는 화면의 또 다른 예를 도시한 도면이다.

도 7을 참조하면, 전자 장치(110)는 이동형 전자 장치(120)가 스캔하여 생성한 지형도(700)에 등록된 외부 기기인 에어컨(151), 가습기(152), 선풍기(153), 커튼 개폐기(511, 512, 513) 및 이동형 전자 장치인 로봇 청소기(120)의 위치를 표시하여 출력할 수 있다.

또한, 전자 장치(110)는 표시된 외부 기기(120, 151, 152, 153, 511, 512, 513) 중에서 학습을 통해 확인한 결과 현시점에서 사용자가 동작 시킬 가능성이 높은 동작을 해당하는 외부기기의 주변에 사용자 인터페이스로 출력할 수 있다. 이때, 현시점에서 사용자가 동작 시킬 가능성은 값으로 계산하고, 임계값을 초과하면 사용자 인터페이스로 출력할 정도라고 판단할 수 있다.

예를 들어, 사용자가 아침 8시에 기상하여 커튼을 여는 동작이 학습된 경우, 전자 장치(110)는 아침 8시가 되면 지형도(700)에 표시된 커튼 개폐기(511, 512, 513)의 주변에 커튼을 열는 사용자 인터페이스(761, 762, 763)를 출력할 수 있다.

다시 도 2의 설명으로 돌아와서, 전자 장치(110)는 사용자 인터페이스를 통해서 제어 명령이 선택되면(280), 선택된 제어 명령에 대응하는 등록된 외부 기기로 선택된 제어 명령을 송신한다(290).

이때, 전자 장치(110)는 선택된 제어 명령을 선택된 제어 명령에 대응하는 등록된 외부 기기로 직접 송신할 수도 있지만, 이동형 전자 장치(120)를 통해서 선택된 제어 명령을 선택된 제어 명령에 대응하는 등록된 외부 기기로 송신할 수도 있다. 즉, 전자 장치(110)에서 송신하는 제어 명령이 등록된 외부 기기로 전달이 되지 않는 경우, 이동형 전자 장치(120)를 해당 등록된 외부 기기의 위치로 이동시켜서 제어 명령을 전달하도록 할 수 있다.

도 3은 일 실시 예에 따른 전자 장치에서 이동형 전자 장치를 이용해서 외부 기기들을 등록하고 등록된 외부 기기를 제어하는 사용자 인터페이스를 출력하고 제어하는 과정의 다른 예를 도시한 흐름도이다.

도 3을 참조하면, 전자 장치(110)는 이동형 전자 장치(120)와 통신연결을 수행한다(310).

그리고, 전자 장치(110)는 무선 통신을 통해서 연결 가능한 외부 기기를 스캔한다(320). 320동작에서 전자 장치(110)가 스캔하는 연결 가능한 외부 기기는 예를 들어, 에어컨, 냉장고, 선풍기, 가습기, 커튼 개폐기 등의 가전기기가 될 수 있으며, 연결하는 무선 통신 방식은 와이파이, 블루투스, 적외선 통신 등으로 통신 연결을 할 수 있다. 하지만, 위의 가전기기에 한정되는 것이 아니며, 통신 방식 또한 위의 통신 방식으로 한정되지는 않는다.

그리고, 전자 장치(110)는 이동형 전자 장치(120)가 이동하면서 스캔하여 생성한 지형과 스캔한 외부 기기에 관한 정보를 수신한다(330). 이때, 이동형 전자 장치(120)가 이동하면서 스캔하여 생성한 지형도는 집의 평면도가 될 수 있다.

그리고, 전자 장치(110)는 이동형 전자 장치(120)가 스캔한 외부 기기와 무선 통신을 통해서 연결 가능한 외부 기기를 매칭한다(340). 340단계에 관한 보다 상세한 설명은 이후 도 4를 참조하여 후술한다.

그리고, 전자 장치(110)는 매칭에 성공한 외부 기기를 제어하는 장치로써 등록한다(350).

그리고, 전자 장치(110)는 등록된 외부 기기 각각의 제어 패턴을 학습한다(360). 이때, 제어 패턴은 등록된 외부 기기가 언제 어떤 상황에서 어떤 동작을 수행했는지를 나타낸다. 예를 들어, 특정 시간(아침 기상 시간)에 사용자가 전동 커튼을 여는 동작, 습도가 30% 이하에서 가습기를 켜는 동작, 온도가 28도가 넘어가면 에어컨을 켜는 동작 등을 기설정된 횟수 이상 반복하면 제어 패턴이 될 수 있다. 그리고, 학습은 제어 패턴을 이용해서 현시점에 어떤 동작을 수행할 가능성이 높은지 판단하기 위한 것이다.

그리고, 전자 장치(110)는 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력한다(370).

370동작에서 전자 장치(110)는 이동형 전자 장치(120)가 스캔하여 생성한 지형도에 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 표시된 외부 기기 각각의 주변에 표시된 외부 기기 각각에 대응하는 사용자 인터페이스를 출력할 수 있다.

또한, 370동작에서 전자 장치(110)는 등록된 외부 기기 각각의 현재 상태도 함께 출력할 수 있다. 예를 들어, 등록된 외부 기기가 꺼져 있는지 켜져 있는지 켜져 있다면 어떤 모드로 동작 중 인지 등을 함께 표시할 수도 있다.

370동작에서 출력되는 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는, 등록된 외부 기기의 제어 명령 중에서 사용자가 선택한 제어 명령을 표시할 수 있다.

370동작에서 출력되는 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는, 등록된 외부 기기의 제어 명령 중에서 가장 많이 사용되는 제어 명령으로 사전에 기설정된 제어 명령을 표시할 수 있다.

한편, 370동작에서 전자 장치(110)는 모바일 단말기(130)로 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면 송신할 수 있다.

예를 들어, 전자 장치(110)가 등록된 외부 기기가 에어컨이고 사용자가 온도가 30도가 넘을 때 에어컨을 켜는 제어 패턴을 기설정된 이상 수행함을 360동작에서 학습하면, 370동작에서 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면을 출력할 때, 현재 온도가 30도 이상이면, 화면으로 출력되는 에어컨의 주변에 "에어컨 On"이라는 사용자 인터페이스를 표시할 수 있다.

다른 예로, 전자 장치(110)가 등록된 외부 기기가 가습기이고 사용자가 습도가 30% 이하인 경우 가습기를 켜는 제어 패턴을 기설정된 이상 수행함을 360동작에서 학습하면, 370동작에서 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면을 출력할 때, 현재 습도가 30% 미만이면, 화면으로 출력되는 가습기의 주변에 "가습기 On"이라는 사용자 인터페이스를 표시할 수 있다.

그리고, 전자 장치(110)는 사용자 인터페이스를 통해서 제어 명령이 선택되면(380), 선택된 제어 명령에 대응하는 등록된 외부 기기로 선택된 제어 명령을 송신한다(390).

도 4는 일 실시 예에 따른 전자 장치에서 무선 통신을 통해서 연결 가능한 외부 기기와 이동형 전자 장치에서 스캔한 외부 기기를 매칭하는 과정을 도시한 흐름도이다.

도 4를 참조하면, 전자 장치(110)는 이동형 전자 장치(120)로부터 촬영된 외부 기기의 이미지를 수신하면(410), 무선 통신을 통해서 연결 가능한 외부 기기 중에서 촬영된 외부 기기와 유사도가 높은 외부 기기를 선택한다(412). 412동작에서 전자 장치(110)는 촬영된 외부 기기의 이미지를 분석해서 촬영된 외부 기기가 무엇인지 판단하고, 무선 통신을 통해서 연결 가능한 외부 기기에서 가장 유사한 분류의 장치를 선택할 수 있다. 이때, 412동작에서 유사도가 높은 외부 기기를 선택하는 것은 전자 장치(110)는 유사도를 계산하고, 유사도의 값이 가장 높은 외부 기기를 선택함을 의미할 수 있다.

그리고, 전자 장치(110)는 선택된 외부 기기를 제어하는 제어 명령을 송신한다(413). 이때, 송신하는 제어 명령은 선택된 외부 기기가 동작했는지 여부를 확인하기 용이한 명령일 수 있다. 송신하는 제어 명령의 예로 전원 ON 일 수 있다.

그리고, 전자 장치(110)는 제어 명령에 따라서 선택된 외부 기기가 제어되는지 여부를 이동형 전자 장치(120)로부터 수신하는지 확인한다(414).

이때, 이동형 전자 장치(120)에서 선택된 외부 기기가 제어되는지 여부를 확인하는 방법은, 이동 전자 장치(120)의 카메라를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 촬영된 외부 기기의 변화를 감지하여 선택된 외부 기기의 제어 여부를 확인하거나 또는, 이동 전자 장치(120)의 마이크를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 발생하는 소음을 감지하여 선택된 외부 기기의 제어 여부를 확인할 수 있다. 이동형 전자 장치(120)는 선택된 외부 기기의 제어 여부를 확인하면, 확인된 결과를 전자 장치(110)로 송신할 수 있다.

다른 방법으로, 이동형 전자 장치(120)는 이동 전자 장치(120)의 카메라를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 촬영된 외부 기기의 이미지를 전자 장치(110)로 송신하거나 또는 이동 전자 장치(120)의 마이크를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 발생하는 소음을 감지하여 전자 장치(110)로 송신하고, 이를 수신한 전자 장치(110)에서 상술한 방법으로 선택된 외부 기기의 제어 여부를 확인할 수도 있다.

414동작의 확인결과 제어 명령에 따라서 선택된 외부 기기가 제어되는지 여부를 이동형 전자 장치로부터 수신하지 못하면, 전자 장치(110)는 선택된 외부 기기를 제어하는 제어 명령을 송신하는 동작을 기설정된 횟수 반복하였는지 확인한다(416).

416동작의 확인결과 선택된 외부 기기를 제어하는 제어 명령을 송신하는 동작을 기설정된 횟수 반복하지 않았으면, 전자 장치(110)는 413동작으로 돌아간다.

416동작의 확인결과 선택된 외부 기기를 제어하는 제어 명령을 송신하는 동작을 기설정된 횟수 반복하였으면, 전자 장치(110)는 사용자가 직접적으로 등록하도록 하는 사용자 인터페이스를 제공하거나, 이동형 전자 장치(120)와의 통신 연결이 고르지 못함을 알리는 오류 보고를 할 수 있다(418).

414동작의 확인결과 제어 명령에 따라서 선택된 외부 기기가 제어되는지 여부를 이동형 전자 장치로부터 수신하면, 전자 장치(110)는 이동형 전자 장치(120)로부터 수신된 정보에 따라 제어 명령에 따라서 선택된 외부 기기가 제어되는지 확인한다(420).

420동작의 확인결과 제어 명령에 따라서 선택된 외부 기기가 제어되지 않으면, 전자 장치(110)는 연결 가능한 외부 기기와 모두 매칭 시도를 하였는지 확인한다(422).

422동작의 확인결과 연결 가능한 외부 기기와 모두 매칭 시도를 하지 않았으면, 전자 장치(110)는 412동작으로 돌아가서 일련의 과정을 반복한다.

422동작의 확인결과 연결 가능한 외부 기기와 모두 매칭 시도를 하였으면, 전자 장치(110)는 무선 통신을 통해서 연결 가능한 외부 기기 중에는 촬영한 외부 기기가 없다고 판단하고, 본 알고리즘을 종료한다. 또는, 전자 장치(110)는 사용자가 수동으로 촬영된 외부 기기를 등록할 수 있도록 사용자 인터페이스를 제공할 수도 있다.

420동작의 확인결과 제어 명령에 따라서 선택된 외부 기기가 제어되면, 전자 장치(110)는 이동 전자 장치(120)가 촬영한 외부 기기를 선택된 외부 기기와 매칭시킨다(424).

그리고, 전자 장치(110)는 이동형 전자 장치(120)가 감지한 촬영한 외부 기기의 위치를 이동형 전자 장치(120)로부터 수신하여 선택된 외부 기기의 위치로 저장한다(426).

이하, 상기와 같이 동작하는 방법을 구성하는 전자 장치와 이동형 전자 장치를 아래에서 도면을 참조하여 설명한다.

도 8은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다. 도 9는 일 실시 예에 따른 전자 장치의 상세 블록 구성도(block diagram)이다.

도 8에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(800)는, 디스플레이부(810), 프로세서(830), 통신부(850)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(800)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(800)는 구현될 수 있다. 이때, 전자 장치(800)는 TV와 같은 디스플레이 장치일 수 있다.

예를 들어, 도 9에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(800)는, 디스플레이부(810), 프로세서(830), 통신부(850) 외에, 메모리(820), 튜너부(840), 감지부(860), 입/출력부(870), 비디오 처리부(880), 오디오 처리부(815), 오디오 출력부(826), 전원부(885), 센싱부(890)를 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 살펴본다.

통신부(850)는 무선 통신을 통해서 연결 가능한 외부 기기를 스캔 또는 통신을 연결하고, 이동형 전자 장치(120)와 통신을 연결한다. 디스플레이부(810)는 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력한다. 통신부(850)와 디스플레이부(810)의 구체적인 설명은 추후 후술한다.

프로세서(830)는 통신부(850)를 통해서 이동형 전자 장치(120)와 통신연결을 수행하고, 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하도록 제어하고, 이동형 전자 장치(120)가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하면, 이동형 전자 장치(120)가 스캔한 외부 기기와 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하고, 매칭에 성공한 외부 기기를 등록하고, 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 디스플레이부(810)를 통해서 출력하도록 제어한다.

프로세서(830)는 사용자 인터페이스를 통해서 제어 명령이 선택되면, 선택된 제어 명령에 대응하는 등록된 외부 기기로 선택된 제어 명령을 송신하도록 제어할 수 있다.

프로세서(830)는 선택된 제어 명령에 대응하는 등록된 외부 기기로 선택된 제어 명령을 송신하도록 제어할 때, 선택된 제어 명령을 선택된 제어 명령에 대응하는 등록된 외부 기기로 직접 송신하거나 또는 이동형 전자 장치(120)를 통해서 선택된 제어 명령을 선택된 제어 명령에 대응하는 등록된 외부 기기로 송신하도록 제어할 수 있다. 즉, 전자 장치(110)에서 송신하는 제어 명령이 등록된 외부 기기로 전달이 되지 않는 경우, 이동형 전자 장치(120)를 해당 등록된 외부 기기의 위치로 이동시켜서 제어 명령을 전달하도록 할 수 있다.

프로세서(830)는 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력할 때, 이동형 전자 장치(120)가 스캔하여 생성한 지형도에 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 표시된 외부 기기 각각의 주변에 표시된 외부 기기 각각에 대응하는 사용자 인터페이스를 출력할 수 있다.

또한, 프로세서(830)는 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력할 때, 등록된 외부 기기 각각의 현재 상태도 함께 출력할 수 있다.

프로세서(830)는 등록된 외부 기기 각각의 제어 명령 중에서 사용자가 선택한 제어 명령을 등록된 외부 기기 각각을 제어하는 사용자 인터페이스로 표시할 수 있다.

또한, 프로세서(830)는 등록된 외부 기기 각각의 제어 패턴을 학습하고, 학습을 통해서 확인한 등록된 외부 기기 각각을 통해 현재 실행할 가능성이 가장 높은 제어 명령을 등록된 외부 기기 각각을 제어하는 사용자 인터페이스로 표시할 수 있다.

한편, 프로세서(830)는 이동형 전자 장치(120)가 스캔한 외부 기기와 연결 가능한 외부 기기를 매칭할 때, 무선 통신을 통해서 연결 가능한 외부 기기 중에서 이동형 전자 장치(120)로부터 촬영된 외부 기기의 이미지를 수신하면, 촬영된 외부 기기와 유사도고 높은 외부 기기를 선택하고, 선택된 외부 기기를 제어하는 제어 명령을 송신하고, 제어 명령에 따라서 선택된 외부 기기가 제어되는지 여부를 이동형 전자 장치(120)로부터 수신하면, 이동형 전자 장치(120)의 확인결과 제어 명령에 따라서 선택된 외부 기기가 제어되면, 선택된 외부 기기를 이동형 전자 장치(120)가 촬영한 외부 기기를 선택된 외부 기기와 매칭하고, 이동형 전자 장치(120)가 감지한 촬영한 외부 기기의 위치를 선택된 외부 기기의 위치로 저장할 수 있다.

프로세서(830)는 제어 명령에 따라서 선택된 외부 기기가 제어되는지 여부를, 이동형 전자 장치(120)의 카메라를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 촬영된 외부 기기의 변화를 감지하여 선택된 외부 기기의 제어 여부를 확인하거나 또는, 이동형 전자 장치(120)의 마이크를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 발생하는 소음을 감지하여 선택된 외부 기기의 제어 여부를 확인할 수 있다.

프로세서(830)는 모바일 단말기(130)와 연결하고, 모바일 단말기(130)로 등록된 외부 기기의 리스트와 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 송신하도록 제어할 수 있다.

한편, 프로세서(830)는 전자 장치(110)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치(110)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 전자 장치(110)의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.

프로세서(830)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(830)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(830)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.

또한, 프로세서(530)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.

일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서를 포함하는 센싱부(890)를 통해, 적어도 하나의 센서에 대응하는 적어도 하나의 센싱값을 검출할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 검출된 적어도 하나의 센싱값이 미리 설정된 임계값 이상인 것으로 판단됨에 따라, 원격 제어 장치(예를 들어, 리모콘)가 전자 장치(110)에 터치된 것으로 결정할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 검출된 적어도 하나의 센싱값과 원격 제어 장치(미도시)로부터 수신한 원격 제어 장치의 센싱값을 비교함으로써, 원격 제어 장치가 전자 장치(110)에 터치된 것으로 결정할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 원격 제어 장치의 식별 정보를 요청하고, 원격 제어 장치의 식별 정보를 수신할 수 있다. 또한, 프로세서(830)는 원격 제어 장치의 식별 정보에 기초하여, 원격 제어 장치가 전자 장치(110)에 기 등록된 장치임을 확인할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센싱값에 기초하여, 원격 제어 장치가 전자 장치(110) 상에 터치된 터치 영역을 결정할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서에 대응하여 검출된 적어도 하나의 센싱값을 비교하고, 비교 결과에 기초하여, 원격 제어 장치가 전자 장치(110) 상에 터치된 지점에 근접하게 배치된 것으로 판단되는 하나 이상의 센서를 결정할 수 있다. 또한, 프로세서(830)는, 결정된 하나 이상의 센서에 기초하여, 터치 영역을 결정할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 통신부(850)를 통해, 원격 제어 장치로부터 원격 제어 장치에서 실행 중인 동작에 관한 상태 정보를 수신할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 수신한 원격 제어 장치로의 상태 정보에 기초하여, 결정된 터치 영역에 대응하는 기 설정된 기능을 수행할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센싱값에 기초하여, 원격 제어 장치가 전자 장치(110) 상에 터치된 터치 횟수를 결정할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 터치 횟수에 대응하는 기 설정된 기능을 수행할 수 있다.

또한, 일 실시 예에 따라, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 전자 장치(110) 상의 적어도 일 터치 영역에 대응하는 기능을 미리 설정할 수 있다.

또한, 프로세서(830)는, 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 전자 장치(110) 상의 적어도 일 터치 영역에 터치된 터치 횟수에 대응하는 기능을 미리 설정할 수 있다.

메모리(820)는 프로세서(830)의 제어에 의해 전자 장치(110)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(820)는 비디오 처리부(880), 디스플레이부(810), 오디오 처리부(815), 오디오 출력부(826), 전원부(830), 튜너부(840), 통신부(850), 감지부(860), 입/출력부(870)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. 또한, 메모리(820)는 게임 타이틀 이미지로 구성된 사용자가 플레이 했던 게임의 리스트인 게임 리스트를 저장할 수 있다.

메모리(820)는 전자 장치(110) 및 프로세서(830)의 제어를 위한 오퍼레이팅 시스템(821), 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션(822), 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.

또한, 메모리(820)는 원격 제어 장치로부터의 입력 신호를 수신하고 이에 따라 입력 신호에 대응하는 채널 제어를 수행하거나 또는, 입력 신호가 미리 지정된 입력에 대응하는 경우 채널 스크롤 유저 인터페이스 모드로 진입하기 위한 하나 이상의 인스트럭션을 포함하는 TV 뷰어 모듈(823), 외부 장치(미도시)로부터 수신된 컨텐츠로부터 정보를 인식하기 위한 하나 이상의 인스트럭션을 포함하는 문자 인식 모듈(824), 외부 장치(미도시)로부터의 채널 제어를 위한 하나 이상의 인스트럭션을 포함하는 MBR 모듈(825)를 포함할 수 있다.

메모리(820)는, 롬, 램 또는 전자 장치(110)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(820)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

일 실시 예에 따라, 메모리(820)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

디스플레이부(810)는 프로세서(830)의 제어에 의해 튜너부(840)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이부(810)는 통신부(850) 또는 입/출력부(870)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부(810)는 프로세서(830)의 제어에 의해 메모리(820)에 저장된 영상을 출력할 수 있다.

디스플레이부(810)는 프로세서(830)의 제어에 의해 전자 장치(110)의 메뉴 화면과 게임기(800)의 게임 메뉴화면을 화면에 표시할 수 있다.

디스플레이부(810)는, 프로세서(830)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(810)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube), 플렉시블 디스플레이부(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이부(3D display)로 구현될 수 있다. 또한, 디스플레이부(810)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

튜너부(840)는, 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(110)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.

튜너부(840)는 사용자 입력(예를 들어, 원격 제어 장치(미도시)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.

튜너부(840)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(840)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(840)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(830)의 제어에 의해 메모리(820)에 저장될 수 있다.

전자 장치(110)의 튜너부(840)는 하나이거나 복수일 수 있다. 튜너부(840)는 전자 장치(110)와 일체형(all-in-one)으로 구현되거나, 또는 전자 장치(110)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋톱박스(set-top box, 도시되지 아니함), 입/출력부(870)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.

통신부(850)는, 프로세서(830)의 제어에 의해 전자 장치(110)를 외부 장치(예를 들어, 오디오 장치 등)(미도시)와 연결할 수 있다. 프로세서(830)는 통신부(850)를 통해 연결된 외부 장치(미도시)로 컨텐츠를 송/수신, 외부 장치(미도시)에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(850)는 전자 장치(110)의 성능 및 구조에 대응하여 무선 랜(851), 블루투스(852), 및 유선 이더넷(Ethernet, 853) 중 하나를 포함할 수 있다. 또한, 통신부(850)는 무선랜(851), 블루투스(852), 및 유선 이더넷(Ethernet, 853)의 조합을 포함할 수 있다.

또한, 통신부(850)는 이동현 전자 장치(120) 및 외부 기기(151, 152, 153)을 검색하고 이동현 전자 장치(120) 및 외부 기기(151, 152, 153)의 식별정보와 기설정된 패스워드를 통해서 통신 연결을 수행함에 있어서, 통신을 통신부(850)에 포함된 통신 기법 중에서 프로세서(830)의 제어에 의해 선택된 통신 기법을 이용해서 통신을 연결할 수 있다. 즉, 통신부(850)가 이동현 전자 장치(120) 및 외부 기기(151, 152, 153)와 연결하는 통신 기법은 와이파이일 수도 있고, 블루투스, 저전력 블루투스(BLE, 미도시) 및 지그비(미도시) 중에서 하나가 될 수도 있다.

또한, 통신부(850)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함), 지그비, 적외선 통신 등을 더 포함할 수 있다.

감지부(860)는, 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(861), 카메라부(862) 및 광 수신부(863)를 포함할 수 있다.

마이크(861)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(861)는 수신된 음성을 전기 신호로 변환하여 프로세서(830)로 출력할 수 있다. 사용자 음성은 예를 들어, 전자 장치(110)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.

일 실시 예에 따르면, 프로세서(830)는 전자 장치(110)에 내장된 마이크(861)로 사용자 발화를 수신할 뿐 아니라, 원격 제어 장치(예를 들어, 리모콘)를 통해 사용자 발화에 대응하는 데이터를 수신할 수 있다. 예를 들어, 원격 제어 장치에 설치된 마이크로 사용자 발화가 수신되고, 원격 제어 장치로부터 전자 장치(110)로 사용자 발화에 대응되는 신호가 전송될 수 있다.

다른 일 실시 예에 따르면, 외부 전자 장치에 사용자 발화를 수신하거나 전자 장치(110)를 제어하기 위한 앱 및/또는 프로그램이 설치될 수 있고, 프로세서(830)는 외부 전자 장치(예를 들어, AI 스피커)를 통해 사용자 발화에 대응하는 데이터를 수신할 수 있다.

카메라부(862)는 정지영상 또는 동영상 등의 화상 베젤을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(830) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라부(862)에서 처리된 화상 베젤은 메모리(820)에 저장되거나 통신부(850)를 통하여 외부로 전송될 수 있다. 카메라부(862)는 전자 장치(110)의 구성에 따라 2개 이상이 구비될 수도 있다.

광 수신부(863)는 외부의 원격 제어 장치로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(863)는 원격 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(830)의 제어에 의해 제어 신호가 추출될 수 있다. 예를 들어, 광 수신부(863)는 원격 제어 장치로부터 채널 전환을 위한 채널 업/다운 버튼에 대응하는 제어 신호를 수신할 수 있다.

입/출력부(870)는, 프로세서(830)의 제어에 의해 전자 장치(110)의 외부로부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(870)는, HDMI 포트(High-Definition Multimedia Interface port)(871), 컴포넌트 잭(component jack)(872), PC 포트(873), 및 USB 포트(874) 중 적어도 하나를 포함할 수 있다. 입/출력부(870)는 HDMI 포트(871), 컴포넌트 잭(872), PC 포트(873), 및 USB 포트(874) 중 적어도 하나의 조합을 포함할 수 있다. 외부 영상 제공 장치(미도시) 또는 게임기(800)는 HDMI 포트(871)을 통해 연결될 수 있다. 다만 입/출력부(870)의 포트는 다양한 포트로 구현될 수 있다. 일 례로, HDMI 포트(871)는 비디오/오디오 신호를 동시에 전송할 수 있는 포트이지만 입/출력부(870)는 HDMI 포트(871) 대신 비디오 신호와 오디오 신호를 별도로 입/출력할 수 있는 포트를 포함할 수 있다. 다른 일 례로, 전자 장치(110)는 디스플레이부(610)가 아닌 외부 장치(미도시)로 비디오/오디오 신호를 전송할 수 있고, 입/출력부(870)에는 외부 장치와 유/무선으로 신호를 송수신하기 위한 다양한 인터페이스가 포함될 수 있다.

비디오 처리부(880)는, 전자 장치(110)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(880)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 베젤 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

그래픽 처리부(581)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 감지부(860)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(810)의 디스플레이 영역 내에 표시된다.

오디오 처리부(815)는, 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(815)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(815)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.

오디오 출력부(826)는, 프로세서(830)의 제어에 의해 튜너부(840)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(826)는 통신부(850) 또는 입/출력부(870)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(826)는 프로세서(830)의 제어에 의해 메모리(820)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(826)는 스피커(827), 헤드폰 출력 단자(828) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(829) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(826)는 스피커(827), 헤드폰 출력 단자(828) 및 S/PDIF 출력 단자(829)의 적어도 하나의 조합을 포함할 수 있다.

전원부(885)는, 프로세서(830)의 제어에 의해 전자 장치(110) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(885)는 프로세서(830)의 제어에 의해 전자 장치(110) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)로부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.

센싱부(890)는, 전자 장치(110)의 상태 또는 전자 장치(110) 주변의 상태를 감지하고, 감지된 정보를 프로세서(830)로 전달할 수 있다.

센싱부(890)는, 지자기 센서(Magnetic sensor)(892), 가속도 센서(Acceleration sensor)(893), 온/습도 센서(894), 적외선 센서(895), 자이로스코프 센서(896), 위치 센서(예컨대, GPS)(897), 기압 센서(898), 근접 센서(899), 및 RGB 센서(illuminance sensor)(891) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

일 실시 예에 따른 센싱부(890)는 전자 장치(110)에 가해지는 외부 충격을 감지할 수 있다. 예를 들어, 원격 제어 장치가 전자 장치(110)에 터치됨에 따라, 전자 장치(110)의 센싱부(890)는 센싱값을 출력할 수 있다.

또한, 디스플레이부(810)를 포함하는 전자 장치(110)는 튜너부(840)를 포함하는 별도의 외부 장치(예를 들어, 셋톱 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다.

또한, 전자 장치(110)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

한편, 도시된 전자 장치(110)의 블록도는 일 실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(110)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시 예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 문서의 권리범위를 제한하지 아니한다.

도 10은 일 실시 예에 따른 이동형 전자 장치의 블록 구성도이다.

도 10을 참조하면, 이동형 전자 장치(120)는 프로세서(1010), 통신부(1020), 센서부(1030) 및 청소부(1040)를 포함하여 구성할 수 있다.

통신부(1020)는, 프로세서(1010)의 제어에 의해 이동형 전자 장치(120)를 전자 장치(110)와 연결하거나 액세스 포인트를 통해서 전자 장치(110)와 연결할 수 있다.

통신부(1020)는 무선 랜, 블루투스, 근거리 통신(NFC; near field communication), BLE(bluetooth low energy, 도시되지 아니함), 지그비 통신, 적외선 통신 등으로 전자 장치(110)와 통신할 수 있으며, 또한, 전자 장치(110)로부터 수신하는 제어 명령을 등록된 외부 기기로 송신할 수도 있다. 예를 들어, 통신부(1020)는 적외선 통신을 통해서 등록된 외부 기기로 전자 장치(110)로부터 수신한 제어 명령을 송신할 수 있다.

센서부(1030)는, 이동형 전자 장치(120)의 주행 경로 상에 위치하는 물체 또는 장애물을 정면 또는 측면 등에서 감지할 수 있다. 또한, 센서부(1030)는 이동 경로 상위 위치한 외부 기기(또는 가전 기기)들을 스캔할 수 있고, 지형을 스캔할 수 있다.

센서부(1030)는 다양한 센서를 포함할 수 있으며, 센서의 종류는 모션　센서, 이미지　센서, 적외선　센서, 전파　센서, 3차원 감지센서, 오디오 센서 등 다양한 실시예가 존재할 수 있다. 이때, 모션　센서는 움직이는 장애물의 동작을 인식하고, 장애물의 3차원 형상을 획득할 수 있으며, 이미지　센서　또한 장애물의 형상을 획득할 수 있다. 적외선　센서　또는 전파　센서는 적외선 또는 전파를 물체에 송신하여 장애물과의 거리를 측정할 수 있으며, 복수개의　센서가 마련되는 경우 1차원 상의 거리뿐 아니라, 2차원 3차원의 장애물 형상 및 위치도 감지할 수 있다. 3차원 감지센서　또한 장애물과의 거리 및 장애물의 3차원 형상을 인식할 수 있다. 1차원 상의 거리 및 형상을 인식할 수 있는　센서가 복수개 마련되는 경우, 2차원 및 3차원 형상도 감지할 수 있으므로　센서의 종류 및 개수에 따라 2차원, 3차원의 장애물도 감지할 수 있다.

청소부(1040)는 이동형 전자 장치(120)의 본체가 청소 영역을 주행할 수 있도록 마련되는 다방향 이동 휠을 포함하는 구동 장치, 먼지를 모으는 역할을 하는 브러시 유닛 및 브러시 유닛으로부터 흡입된 먼지 등 이물질을 포함한 공기를 집진하는 집진 장치로 포함하여 구성되며, 프로세서(1010)의 제어에 따라 청소를 수행한다.

프로세서(1010)는 전자 장치(110)와 무선 통신을 연결하고, 이동 경로 상위 위치한 외부 기기(또는 가전 기기)들을 스캔하여 스캔한 외부 기기의 정보를 전자 장치(110)로 제공하고, 주변 지형을 스캔하여 전자 장치(110)로 제공한다.

프로세서(1010)는 스캔한 외부 기기의 이미지를 촬영하여 전자 장치(110)로 제공하고, 전자 장치(110)로부터 제어 명령을 수신하면, 수신한 제어 명령을 스캔한 외부 기기로 송신하고, 카메라와 같은 이미지 센서를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 촬영된 외부 기기의 변화를 감지하여 선택된 외부 기기의 제어 여부를 확인하거나 또는, 마이크와 같은 오디오 센서를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 발생하는 소음을 감지하여 선택된 외부 기기의 제어 여부를 확인하고, 제어 여부에 관한 정보를 전자 장치(110)로 송신하도록 제어할 수 있다.

또는, 프로세서(1010)는 스캔한 외부 기기의 이미지를 촬영하여 전자 장치(110)로 제공하고, 전자 장치(110)로부터 제어 명령을 수신하면, 수신한 제어 명령을 스캔한 외부 기기로 송신하고, 카메라와 같은 이미지 센서를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 촬영된 외부 기기의 이미지들을 전자 장치(110)로 송신하거나 또는, 마이크와 같은 오디오 센서를 통해서 제어 명령이 송신하기 전과 제어 명령이 송신된 이후의 발생하는 소음을 감지하고, 감지된 소음에 관한 정보를 전자 장치(110)로 송신하도록 제어할 수 있다.

프로세서(1010)는 전자 장치(110)로부터 특정 위치에서 또는 특정 외부 기기로 이동해서 제공하는 제어 명령을 송신하라는 요청을 수신하면, 해당 위치 또는 특정 외부 기기를 제어할 수 있는 위치로 이동해서 제공받은 제어 명령을 송신할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

이동형 전자 장치와 통신연결을 수행하는 동작;
무선 통신을 통해서 연결 가능한 외부 기기를 스캔하는 동작;
상기 이동형 전자 장치가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하는 동작;
상기 이동형 전자 장치가 스캔한 외부 기기와 상기 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하는 동작;
매칭에 성공한 외부 기기를 등록하는 동작; 및
등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작
을 포함하는 전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 사용자 인터페이스를 통해서 제어 명령이 선택되면, 선택된 제어 명령에 대응하는 등록된 외부 기기로 상기 선택된 제어 명령을 송신하는 동작
을 더 포함하는 전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제2항에 있어서,
상기 선택된 제어 명령에 대응하는 등록된 외부 기기로 상기 선택된 제어 명령을 송신하는 동작은,
상기 선택된 제어 명령을 상기 선택된 제어 명령에 대응하는 등록된 외부 기기로 직접 송신하거나 또는 상기 이동형 전자 장치를 통해서 상기 선택된 제어 명령을 상기 선택된 제어 명령에 대응하는 등록된 외부 기기로 송신하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작은,
상기 지형도에 상기 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 표시된 외부 기기 각각의 주변에 표시된 외부 기기 각각에 대응하는 상기 사용자 인터페이스를 출력하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작은,
상기 지형도에 상기 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 상기 이동형 전자 장치의 위치에서 상기 이동형 전자 장치가 제어할 수 있는 외부 기기 대응하는 외부 기기 각각의 주변에 상기 사용자 인터페이스를 출력하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작은,
상기 등록된 외부 기기 각각의 현재 상태도 함께 출력하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는,
상기 등록된 외부 기기의 제어 명령 중에서 사용자가 선택한 제어 명령을 표시하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 등록된 외부 기기 각각의 제어 패턴을 학습하는 동작
을 더 포함하고
상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는,
상기 학습을 통해서 확인한 상기 등록된 외부 기기 각각을 통해 현재 실행할 가능성이 가장 높은 제어 명령을 표시하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 등록된 외부 기기 각각의 제어 패턴을 학습하는 동작
을 더 포함하고
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작은,
상기 지형도에 상기 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 학습한 결과 현시점에서 동작될 가능성이 기설정된 기준값을 초과하는 외부 기기의 동작을 해당 외부 기기의 주변에 상기 사용자 인터페이스로 출력하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
상기 이동형 전자 장치가 스캔한 외부 기기와 연결 가능한 외부 기기를 매칭하는 동작은,
상기 이동형 전자 장치로부터 촬영된 외부 기기의 이미지를 수신하면, 상기 무선 통신을 통해서 연결 가능한 외부 기기 중에서 상기 촬영된 외부 기기와 유사도고 높은 외부 기기를 선택하는 동작;
선택된 외부 기기를 제어하는 제어 명령을 송신하는 동작;
상기 제어 명령에 따라서 상기 선택된 외부 기기가 제어되는지 여부를 상기 이동형 전자 장치로부터 수신하는 동작; 및
상기 이동형 전자 장치의 확인결과 상기 제어 명령에 따라서 상기 선택된 외부 기기가 제어되면, 상기 선택된 외부 기기를 상기 이동형 전자 장치가 촬영한 외부 기기를 상기 선택된 외부 기기와 매칭하고, 상기 이동형 전자 장치가 감지한 상기 촬영한 외부 기기의 위치를 상기 선택된 외부 기기의 위치로 저장하는 동작
을 포함하는 전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제10항에 있어서,
상기 제어 명령에 따라서 상기 선택된 외부 기기가 제어되는지 여부를 상기 이동형 전자 장치로부터 수신하는 동작은,
상기 이동형 전자 장치의 카메라를 통해서 상기 제어 명령이 송신하기 전과 상기 제어 명령이 송신된 이후의 상기 촬영된 외부 기기의 변화를 감지하여 상기 선택된 외부 기기의 제어 여부를 확인하거나 또는,
상기 이동형 전자 장치의 마이크를 통해서 상기 제어 명령이 송신하기 전과 상기 제어 명령이 송신된 이후의 발생하는 소음을 감지하여 상기 선택된 외부 기기의 제어 여부를 확인하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
제1항에 있어서,
모바일 단말기와 연결하는 동작
을 더 포함하고,
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 동작은,
상기 모바일 단말기로 상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 송신하는
전자 장치에서 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 방법.
무선 통신을 통해서 연결 가능한 외부 기기를 스캔 또는 통신을 연결하고, 이동형 전자 장치와 통신을 연결하는 통신부;
등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력하는 디스플레이부; 및
상기 통신부를 통해서 이동형 전자 장치와 통신연결을 수행하고, 상기 무선 통신을 통해서 연결 가능한 외부 기기를 스캔하도록 제어하고, 상기 이동형 전자 장치가 이동하면서 스캔하여 생성한 지형도와 스캔한 외부 기기에 관한 정보를 수신하면, 상기 이동형 전자 장치가 스캔한 외부 기기와 상기 무선 통신을 통해서 연결 가능한 외부 기기를 매칭하고, 매칭에 성공한 외부 기기를 등록하고, 상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 상기 디스플레이부를 통해서 출력하도록 제어하는 프로세서
를 포함하는 전자 장치.
제13항에 있어서,
상기 프로세서는,
상기 사용자 인터페이스를 통해서 제어 명령이 선택되면, 선택된 제어 명령에 대응하는 등록된 외부 기기로 상기 선택된 제어 명령을 송신하도록 제어하는
전자 장치.
제14항에 있어서,
상기 프로세서는,
상기 선택된 제어 명령에 대응하는 등록된 외부 기기로 상기 선택된 제어 명령을 송신하도록 제어할 때,
상기 선택된 제어 명령을 상기 선택된 제어 명령에 대응하는 등록된 외부 기기로 직접 송신하거나 또는 상기 이동형 전자 장치를 통해서 상기 선택된 제어 명령을 상기 선택된 제어 명령에 대응하는 등록된 외부 기기로 송신하도록 제어하는
전자 장치.
제13항에 있어서,
상기 프로세서는,
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력할 때,
상기 지형도에 상기 등록된 외부 기기 각각의 위치를 표시하여 출력하고, 표시된 외부 기기 각각의 주변에 표시된 외부 기기 각각에 대응하는 상기 사용자 인터페이스를 출력하는
전자 장치.
제13항에 있어서,
상기 프로세서는,
상기 등록된 외부 기기의 리스트와 상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스를 화면에 출력할 때,
상기 등록된 외부 기기 각각의 현재 상태도 함께 출력하는
전자 장치.
제13항에 있어서,
상기 등록된 전자 장치 각각을 제어하는 사용자 인터페이스는,
상기 등록된 전자 장치의 제어 명령 중에서 사용자가 선택한 제어 명령을 표시하는
전자 장치.
제13항에 있어서,
상기 프로세서는,
상기 등록된 외부 기기 각각의 제어 패턴을 학습하고,
상기 등록된 외부 기기 각각을 제어하는 사용자 인터페이스는,
상기 학습을 통해서 확인한 상기 등록된 외부 기기 각각을 통해 현재 실행할 가능성이 가장 높은 제어 명령을 표시하는
전자 장치.
제13항에 있어서,
상기 프로세서는,
상기 이동형 전자 장치가 스캔한 외부 기기와 연결 가능한 외부 기기를 매칭할 때,
상기 무선 통신을 통해서 연결 가능한 외부 기기 중에서 상기 이동형 전자 장치로부터 촬영된 외부 기기의 이미지를 수신하면, 상기 촬영된 외부 기기와 유사도고 높은 외부 기기를 선택하고,
선택된 외부 기기를 제어하는 제어 명령을 송신하고,
상기 제어 명령에 따라서 상기 선택된 외부 기기가 제어되는지 여부를 상기 이동형 전자 장치로부터 수신하면, 상기 이동형 전자 장치의 확인결과 상기 제어 명령에 따라서 상기 선택된 외부 기기가 제어되면, 상기 선택된 외부 기기를 상기 이동형 전자 장치가 촬영한 외부 기기를 상기 선택된 외부 기기와 매칭하고, 상기 이동형 전자 장치가 감지한 상기 촬영한 외부 기기의 위치를 상기 선택된 외부 기기의 위치로 저장하는
전자 장치.
제20항에 있어서,
상기 프로세서는,
상기 제어 명령에 따라서 상기 선택된 외부 기기가 제어되는지 여부를,
상기 이동형 전자 장치의 카메라를 통해서 상기 제어 명령이 송신하기 전과 상기 제어 명령이 송신된 이후의 상기 촬영된 외부 기기의 변화를 감지하여 상기 선택된 외부 기기의 제어 여부를 확인하거나 또는,
상기 이동형 전자 장치의 마이크를 통해서 상기 제어 명령이 송신하기 전과 상기 제어 명령이 송신된 이후의 발생하는 소음을 감지하여 상기 선택된 외부 기기의 제어 여부를 확인하는
전자 장치.
제13항에 있어서,
상기 프로세서는,
모바일 단말기와 연결하고, 상기 모바일 단말기로 상기 등록된 전자 장치의 리스트와 상기 등록된 전자 장치 각각을 제어하는 사용자 인터페이스를 송신하는
전자 장치.