KR20130116107A - 단말의 원격 제어 방법 및 장치 - Google Patents

단말의 원격 제어 방법 및 장치 Download PDF

Info

Publication number
KR20130116107A
KR20130116107A KR1020120038428A KR20120038428A KR20130116107A KR 20130116107 A KR20130116107 A KR 20130116107A KR 1020120038428 A KR1020120038428 A KR 1020120038428A KR 20120038428 A KR20120038428 A KR 20120038428A KR 20130116107 A KR20130116107 A KR 20130116107A
Authority
KR
South Korea
Prior art keywords
control authority
control
terminal
agent
user
Prior art date
Application number
KR1020120038428A
Other languages
English (en)
Inventor
김현수
윤제한
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120038428A priority Critical patent/KR20130116107A/ko
Priority to US13/863,031 priority patent/US20130300546A1/en
Publication of KR20130116107A publication Critical patent/KR20130116107A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00—Electric signal transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/60—Security, fault tolerance
    • G08C2201/61—Password, biometric
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 다수의 단말 중에서 어느 하나를 제어권한을 가지는 단말로 결정하고, 상기 제어권한을 가지는 단말이 다른 단말들을 원격 제어할 수 있는 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 단말의 원격 제어 방법은 단말에 구비된 에이전트가 입력 인터페이스를 통해 사용자 입력 정보를 수신하는 단계; 상기 에이전트가 상기 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 상기 단말 또는 외부 기기에 구비된 제어권한 관리부로 전송하는 단계; 상기 에이전트가 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 상기 제어권한 관리로부터 수신하는 단계; 및 상기 제어권한 응답 메시지에 제어권한의 부여를 나타내는 정보가 포함된 경우, 상기 에이전트가 외부 기기로부터 원격 제어를 받는 수동 모드에서 외부 기기를 원격 제어하는 능동 모드로 전환하는 단계를 포함하여 이루어질 수 있다.

Description

단말의 원격 제어 방법 및 장치{APPARATUS AND METHOD FOR REMOTE CONTROLLING TERMINAL}
본 발명은 다수의 단말 중에서 어느 하나를 제어권한을 가지는 단말로 결정하고, 상기 제어권한을 가지는 단말이 다른 단말을 원격 제어할 수 있는 방법 및 장치에 관한 것이다.
현재 음성 인식 기술은 급속도로 발전하고 있으며, 단순히 음성을 텍스트로 변환하거나 단어를 인식하는 것에 그치지 않고, 사람처럼 문맥을 인식할 수 있다. 이러한 음성 인식 기술은 다양한 단말 예컨대, 스마트폰, 스마트 TV 또는 태블릿 PC 등에 적용되고 있다. 단말은 사용자의 입력 정보 특히, 음성 정보에 응답하여 다양한 기능(예, 촬영, 인터넷 접속, 음악 재생, 내비게이션 서비스 등)을 실행할 수 있다. 이러한 음성 인식 기술의 발달로 인해 사용자는 자신이 보유한 각각의 단말들을 편리하게 이용할 수 있다.
사용자의 음성 정보에 응답이 가능한 단말이 여럿인 경우, 혼선이 발생될 수 있다. 예컨대, "오늘 날씨 어때?"라는 사용자의 음성에 스마트폰과 스마트 TV 등이 모두 응답하여 날씨 정보를 사용자에게 제공할 수 있다. 즉 여러 단말이 모두 사용자의 음성에 응답하는 문제점이 발생될 수 있다. 따라서 사용자 관점에서 단말들을 개별적으로 제어해야 하는 문제점이 있다.
본 발명은 사용자의 입력 정보에 응답하여 다수의 단말 중에서 어느 하나를 다른 단말을 원격 제어할 수 있는 제어권한을 갖는 단말로 결정하는 방법 및 장치를 제공함을 목적으로 한다. 또한 본 발명은 상기 제어권한을 갖는 단말이 사용자의 입력 정보에 응답하여 다른 단말을 원격 제어할 수 있도록 한 방법 및 장치를 제공함을 목적으로 한다.
본 발명의 일 실시예에 따른 단말의 원격 제어 방법은 단말에 구비된 에이전트가 입력 인터페이스를 통해 사용자 입력 정보를 수신하는 단계; 상기 에이전트가 상기 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 상기 단말 또는 외부 기기에 구비된 제어권한 관리부로 전송하는 단계; 상기 에이전트가 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 상기 제어권한 관리로부터 수신하는 단계; 및 상기 제어권한 응답 메시지에 제어권한의 부여를 나타내는 정보가 포함된 경우, 상기 에이전트가 외부 기기로부터 원격 제어를 받는 수동 모드에서 외부 기기를 원격 제어하는 능동 모드로 전환하는 단계를 포함하여 이루어질 수 있다.
본 발명의 다른 실시예에 따른 단말의 원격 제어 방법은 단말에 구비된 에이전트가 입력 인터페이스를 통해 사용자 입력 정보를 수신하는 단계; 상기 에이전트가 상기 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 상기 단말 또는 외부 기기에 구비된 제어권한 관리부로 전송하는 단계; 상기 에이전트가 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 상기 제어권한 관리로부터 수신하는 단계; 및 상기 제어권한 응답 메시지에 제어권한의 미부여를 나타내는 정보가 포함된 경우, 상기 에이전트가 외부 기기의 원격 제어에 따라 상기 단말에 구비된 기능을 실행하는 수동 모드로 동작하는 단계를 포함하여 이루어질 수 있다.
본 발명의 또 다른 실시예에 따른 단말의 원격 제어 방법은 단말에 구비된 제어권한 관리부가 외부 기기를 원격 제어 가능한 제어권한의 요청 메시지를 상기 단말 및 적어도 하나의 외부기기에 각각 구비된 에이전트들 중 적어도 둘로부터 수신하는 단계; 상기 제어권한 관리부가 상기 요청 메시지에 포함된 제어권한의 결정과 관련된 참고 정보를 이용하여 상기 요청 메시지를 전송한 에이전트들 중 하나에게 상기 제어권한을 부여하기로 결정하는 단계; 및 상기 제어권한 관리부가 상기 제어권한의 부여를 나타내는 정보가 포함된 응답 메시지를 상기 결정된 에이전트에게 전송하는 단계를 포함하여 이루어질 수 있다.
본 발명의 일 실시예에 따른 단말은 사용자와의 상호 작용을 위한 사용자 인터페이스; 외부 기기와 통신하기 위한 무선 통신부; 및 상기 사용자 인터페이스 및 상기 무선 통신부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 사용자 인터페이스로부터 수신한 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부로부터 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 수신하며, 상기 수신한 제어권한 응답 메시지에 제어권한의 부여를 나타내는 정보가 포함된 경우, 외부 기기로부터 원격 제어를 받는 수동 모드에서 외부 기기를 원격 제어하는 능동 모도로 전환하여 동작할 수 있다.
본 발명의 다른 실시예에 따른 단말은 사용자와의 상호 작용을 위한 사용자 인터페이스; 외부 기기와 통신하기 위한 무선 통신부; 및 상기 사용자 인터페이스 및 상기 무선 통신부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 사용자 인터페이스로부터 수신한 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부로부터 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 수신하며, 상기 수신한 제어권한 응답 메시지에 제어권한의 미부여를 나타내는 정보가 포함된 경우 외부 기기의 원격 제어에 따라 단말에 구비된 기능을 실행하는 수동 모드로 동작할 수 있다.
본 발명의 또 다른 실시예에 따른 단말은 외부 기기들로부터 다른 기기를 원격 제어할 수 있도록 한 제어권한의 요청 메시지를 수신하는 무선 통신부; 및 상기 무선 통신부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 외부 기기들로부터 수신된 요청 메시지들에 각각 포함된 제어권한의 결정과 관련된 참고 정보들을 이용하여 상기 외부 기기들 중에서 하나에게 상기 제어권한을 부여하기로 결정하고, 상기 제어권한의 부여를 나타내는 정보가 포함된 응답 메시지를 상기 제어권한을 부여하기로 결정된 외부 기기에게 전송하도록 상기 무선 통신부를 제어할 수 있다.
이상으로 본 발명에 따른 단말의 원격 제어 방법 및 휴대 단말에 따르면, 본 발명은 사용자의 입력 정보에 응답하여 다수의 단말 중에서 어느 하나를 다른 단말을 원격 제어할 수 있는 제어권한을 갖는 단말로 결정할 수 있는 효과를 제공한다. 또한 본 발명은 상기 제어권한을 갖는 단말이 사용자의 입력 정보에 응답하여 다른 단말을 원격 제어할 수 있는 효과를 제공한다.
도 1은 본 발명의 일 실시예에 따른 단말의 구성을 보인 도면이다.
도 2는 본 발명의 일 실시예에 따른 에이전트 서비스 시스템의 네트워크 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 에이전트 서비스 시스템의 네트워크 구성도이다.
도 4 및 도 5는 각각, 본 발명의 일 실시예에 따른 중앙 집중 방식의 서버와 클라이언트의 구성을 보인 도면들이다.
도 6 및 도 7은 각각, 본 발명의 일 실시예에 따른 분산 처리 방식의 서버와 클라이언트의 구성을 보인 도면이다.
도 8은 본 발명의 일 실시예에 따른 제어권한 부여 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 제어권한을 부여할 에이전트를 결정하는 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 제어권한의 이전 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 제어권한 재요청 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명에 따른 에이전트 서비스의 구체적인 일 예를 설명하기 위한 흐름도이다.
도 13은 본 발명에 따른 에이전트 서비스의 구체적인 다른 예를 설명하기 위한 흐름도이다.
도 14 내지 도 16은 본 발명에 따른 에이전트 서비스의 추가적인 예들을 간략하게 설명하기 위한 도면들이다.
도 17은 본 발명에 따른 제어권한 설정을 설명하기 위한 흐름도이다.
도 18은 본 발명에 따른 단말의 환경 설정 화면에 대한 예시도이다.
본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 아래 설명과 첨부된 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
본 발명에서 '제어권한'은 어느 하나의 단말이 다른 단말들을 무선 또는 유선을 통해 원격 제어할 수 있는 권한을 의미한다. 제어권한은 사용자가 선택한 단말이 가질 수 있다. 예컨대, 사용자는 자신의 단말들(예, 태블릿 PC, 스마트폰, 스마트TV, 내비게이션 단말 등) 중에서 제어권한을 스마트폰으로 설정할 수 있다. 또한 제어권한은 단말들 간의 협의에 의해 결정될 수 있다. 예컨대, 태블릿 PC와 스마트폰이 동시에 사용자의 음성 정보 예컨대, 신호 대 잡음비(SNR; signal to noise ratio)를 검출한다. 두 단말은 신호 대 잡음비에 관한 정보를 무선 통신을 통해 공유한다. 상대적으로 스마트폰에서 검출된 SNR이 높을 경우, 스마트폰은 제어권한을 갖게 되고 이에 따라 태블릿 PC를 원격으로 제어할 수 있게 된다.
본 발명에서 '에이전트(Agent)'는 단말에 구비된 구성요소로써, 상기 제어권한을 행사할 수 있는 구성이다. 즉 에이전트는 자신이 제어권한을 가질 경우, 다른 단말을 원격 제어하는 능동모드로 동작한다. 다른 단말이 제어권한을 가질 경우 에이전트는 다른 단말의 원격 제어에 따라 자신의 단말을 제어하는 수동모드로 동작한다.
본 발명에 따른 다수의 단말의 원격 제어 방법 및 장치는 통신 기능을 가지는 단말에 적용된다. 즉 본 발명에 따른 방법 및 장치는 예컨대, 스마트폰, 태블릿 PC, 노트북 PC, 데스크탑 PC, 스마트 TV, 내비게이션 장치 및 비디오폰 등과 같은 통신 기기 및 멀티미디어 기기에 적용될 수 있다. 또한 본 발명에 따른 방법 및 장치는 통신 기기 또는 멀티미디어 기기가 융합된 기기(예, 통신 기능 및 TV를 가지는 냉장고)에도 적용될 수 있다.
이하 본 발명에 따른 다수의 단말의 원격 제어 방법 및 장치에 대해 상세히 설명한다. 단, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 단말 예컨대, 스마트폰의 구성을 보인 도면이다. 도 1을 참조하면, 본 발명에 따른 단말(100)은 입력 인터페이스(110), 출력 인터페이스(120), 저장부(130), 무선통신부(140) 및 제어부(150)를 포함하여 이루어질 수 있다. 이러한 구성들을 갖는 단말(100)은 다른 단말에게 데이터 처리를 요청하는 클라이언트로써 뿐만 아니라, 다른 단말의 요청에 따라 데이터를 처리하고 다른 단말에 대해 제어권한을 행사하는 서버로 운영될 수 있다.
본 발명에서 사용자 인터페이스는 사용자와의 상호 작용(interaction)을 위한 창구 역할을 하는 것으로써, 사용자로부터 입력 정보를 수신하는 입력 인터페이스(110)와 사용자에게 시각, 청각 또는 촉각적으로 피드백을 제공하는 출력 인터페이스(120)를 포함할 수 있다. 입력 인터페이스(110)는 예컨대, 터치패널(111), 마이크(112), 센서부(113), 카메라(114) 및 GPS 수신부(115)를 포함할 수 있다. 출력 인터페이스(120)는 표시부(121), 스피커(122) 및 진동 모터(123)를 포함하여 이루어질 수 있다.
터치패널(111)은 표시부(121)에 안착(place on the display unit)될 수 있으며, 터치패널(111)에 입력되는 사용자의 터치제스처에 응답하여 터치 데이터를 발생시켜 제어부(150)로 전달한다. 터치패널(111)은 표시부(121) 위에 위치하는 애드 온 타입(add-on type)이나 표시부(121) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다. 이에 따라 본 발명에서 터치스크린은 터치패널(111)과 표시부(121)를 포함한다. 제어부(150)는 터치 데이터를 검출하고, 터치 데이터에 응답하여 상기 구성들을 제어할 수 있다.
마이크(112)는 사용자의 음성과 같은 소리를 수신하고, 수신된 소리를 전기 신호로 변환하며, 전기 신호를 오디오 데이터로 AD(Analog to Digital) 변환하여 제어부(150)로 출력한다. 제어부(150)는 수신된 오디오 데이터에서 음성 데이터를 검출하고, 음성 데이터에 응답하여 상기 구성들을 제어할 수 있다.
센서부(113)는 단말(100)의 상태 변화를 검출하고, 검출된 상태 변화와 관련된 감지 데이터를 발생하여 제어부(150)로 출력한다. 예컨대, 센서부(113)는 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 조도 센서(luminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor) 등과 같은 다양한 센서들 중 적어도 하나의 센서를 포함하여 구성될 수 있다. 제어부(150)는 감지 데이터를 검출하고, 감지 데이터에 응답하여 상기 구성들을 제어할 수 있다.
카메라(114)는 피사체를 촬영하여 제어부(150)로 출력한다. 구체적으로 카메라(114)는 빛을 모으는 렌즈와, 모아진 빛을 전기적인 신호로 변환하는 이미지 센서와, 이미지 센서로부터 입력되는 전기 신호를 이미지 데이터로 변환하여 제어부(150)로 출력하는 프로세서(Image Signal Processor; ISP)를 포함하여 이루어질 수 있다. 여기서 프로세서(ISP)는 이미지 데이터를 가공(예컨대, 압축)하여 제어부(150)로 출력할 수 있다. 제어부(150)는 이미지 데이터를 검출하고, 감지 데이터에 응답하여 상기 구성들을 제어할 수 있다.
GPS 수신부(115)는 GPS 신호를 GPS 위성으로부터 수신하고, 수신된 GPS 신호를 이용하여 단말(100)의 위치를 계산하고, 계산된 위치 정보를 제어부(150)로 출력한다. 구체적으로 GPS 수신부(115)는 적어도 세 개 이상의 GPS 위성으로부터 송신 시간을 포함하는 GPS 신호를 수신할 수 있다. GPS 수신부(115)는 송신 시간과 GPS 신호가 수신된 수신 시간의 시간 차이를 이용하여 단말(100)과 각각의 위성들 간의 거리를 계산할 수 있다. GPS 수신부(115)는 계산된 거리 정보를 이용하여 단말(100)의 위치(예컨대, 위도 및 경도)를 계산하며, 계산된 위치 정보를 제어부(150)로 출력할 수 있다. 제어부(150)는 위치 정보를 검출하고, 위치 정보에 응답하여 상기 구성들을 제어할 수 있다.
표시부(121)는 제어부(150)로부터 입력받은 이미지 데이터를 아날로그 신호로 변환하여 표시한다. 구체적으로 표시부(112)는 단말(100)의 이용에 따른 다양한 화면들 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(이하 줄여 '앱(App)'이라 한다) 실행 화면, 메뉴 화면, 키패드 화면, 메시지 작성 화면, 인터넷 화면 등을 표시할 수 있다. 잠금 화면은 표시부(112)의 화면이 켜지면 표시되는 영상이다. 예컨대, 잠금 해제를 위한 터치 데이터가 검출되면 제어부(190)는 표시되는 영상을 잠금 화면에서 홈 화면 또는 앱 실행 화면 등으로 전환할 수 있다. 홈 화면은 다수의 앱에 각각 대응되는 다수의 앱 아이콘을 포함하는 영상이다. 다수의 앱 아이콘 중 어느 하나가 사용자에 의해 선택되면 제어부(190)는 해당 앱을 실행하고, 그 실행 화면을 표시할 수 있다. 이러한 표시부(121)는 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode) 또는 AMOLED(Active Matrix Organic Light Emitted Diode) 등과 같은 평판 표시 패널을 포함할 수 있다. 스피커(122)는 제어부(150)로부터 오디오 데이터를 소리로 변환하여 출력한다. 진동 모터(123)는 촉각(haptic)과 관련된 피드백을 제공한다. 예컨대, 제어부(150)는 터치 데이터가 검출될 경우, 진동 모터(123)를 진동시킨다.
저장부(130)는 단말(100)의 운영체제(OS; Operating System), 각종 프로그램들 및 각종 데이터들을 저장한다. 저장부(130)는 크게 데이터 영역과 프로그램 영역으로 구분될 수 있다.
저장부(130)의 데이터 영역은 상기 화면들과, 단말(100)의 운영을 위한 각종 설정값들(예, 화면 밝기, 터치 데이터 검출시 진동 여부, 화면의 자동 회전 여부 등)들을 저장할 수 있다. 또한 데이터 영역은 복사 및 붙여 넣기(Copy & Paste)를 위해 사용자가 메시지, 웹페이지, 문서 등에서 복사한 데이터를 임시 저장할 수 있다.
저장부(130)의 데이터 영역은 사용자 정보 DB(130)를 저장한다. 여기서 사용자 정보 DB(130)는 단말(100)에서 발생된 각종 데이터들(예, 카메라(114)에서 촬영된 이미지, 문자 메시지 등)과, 무선통신부(140)를 통해 외부 기기로부터 다운로드된 각종 데이터들과, 사용자의 취향 정보와, 단말(100)의 기능 실행과 관련된 이력 정보(예컨대, 인터넷에 접속한 시간, 최근 사용자가 시청한 방송 프로그램 정보, 정보 검색 정보 등)와, 등록 정보 등을 포함하여 이루어질 수 있다. 여기서 등록 정보는 본 발명의 에이전트 서비스에 참여 가능한 단말들과 관련된 정보로써 사용자에 의해 등록된 정보일 수 있다.
Figure pat00001
예컨대, 등록 정보는 표 1에 예시된 바와 같이, 등록된 단말들별로 네트워크 환경, 사용자 ID(Identification), 단말 ID(Identification), 입력 인터페이스, 출력 인터페이스, 사용 가능 기능, 사용 가능한 통신 방식, 관리권한 여부 및 제어권한 여부 등과 관련된 정보들을 포함하여 이루어질 수 있다. 네트워크 환경은 등록된 해당 단말의 네트워크 환경을 의미한다. 예컨대, 스마트폰 1, 스마트폰 2 및 태블릿 PC는 휴대 가능한 단말들이기 때문에, 홈 네트워크 환경, 오피스 네트워크 환경 및 차량 네트워크 환경에 모두 속할 수 있다. 내비게이션은 차량에 구비된 것이므로, 상기 네트워크 환경들 중 차량 네트워크 환경에만 속할 수 있다.
네트워크 환경은 사용자에 의해 설정될 수 있다. 예컨대, 단말(100)은 등록된 단말들별로 네트워크 환경을 설정하기 위한 화면을 표시할 수 있다. 사용자는 표시된 설정 화면을 통해 단말들별로 네트워크 환경을 설정하고, 단말(100)은 설정된 네트워크 환경 정보를 해당 단말과 매칭시켜 저장할 수 있다.
단말들 상호간 등록 절차가 수행될 때 네트워크 환경이 자동으로 등록될 수 있다. 예컨대, 스마트폰 1은 근거리 통신 예컨대, 블루투스(BT; Buletooth)를 이용하여 주변의 다른 단말(예컨대, 태블릿 PC)을 인식할 수 있다. 스마트폰 1은 인식된 태블릿 PC의 ID(예컨대, 기기 명칭)를 포함하는 연결 요청 메시지를 표시한다. 사용자가 연결 요청을 수락하면, 스마트폰 1은 등록 요청 메시지를 인식된 태블릿 PC로 전송한다. 이때 등록 요청 메시지에는 스마트폰 1의 등록 정보(예컨대, 네트워크 환경, 사용자 ID, 단말 ID, 입력 인터페이스, 수행 가능 기능, 특성 정보(예, 통신 방식 및 배터리의 전력 등), 관리권한을 행사할 수 있는지 여부를 나타내는 정보 및 제어권한을 행사할 수 있는지 여부를 나타내는 정보 등)가 포함될 수 있다. 태블릿 PC는 스마트폰 1의 등록 요청 메시지에 응답하여 등록 응답 메시지를 스마트폰1로 전송한다. 여기서 등록 응답 메시지에는 태블릿 PC의 등록 정보가 포함될 수 있다.
사용자 ID는 해당 단말을 사용할 수 있는 사용자의 정보를 의미한다. 예컨대, 사용자 ID는 A 라는 사람과 B라는 사람 각각의 사용자의 이름, 해당 단말의 전화번호, 사용자의 이메일 계정, 사용자의 SNS(Social Network Service) 계정, 사용자의 음성특징정보(예, 음색, 주파수, 데시벨 등), 사용자의 이미지 데이터(예컨대, 얼굴 정보) 및 사용자의 필적(handwriting) 정보 등을 포함할 수 있다. 단말 ID는 해당 단말을 식별하기 위한 정보로써 예컨대, 단말의 명칭, 제품명, 모델명, 전화번호, SSID(Service Set Identifier) 및 제조사 정보 등을 포함할 수 있다.
한편, 등록 정보는 상기한 정보들 이외에 다른 정보(예컨대, 휴대 가능 여부 등)가 포함될 수도 있고, 상기한 정보들 중 하나 이상이 포함되지 않을 수도 있다.
저장부(130)의 프로그램 영역은 단말(100)의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System)와 다양한 앱을 저장할 수 있다. 구체적으로 프로그램 영역은 인터넷에 접속하기 위한 웹 브라우저와, 음원을 재생하기 위한 MP3 플레이어와, 피사체의 촬영, 표시 및 저장을 위한 카메라 앱과, 사용자 인식 프로그램과, 인공 지능 프로그램 등을 저장할 수 있다.
사용자 인식 프로그램은 예컨대, 음성 인식 프로그램과 얼굴 인식 프로그램을 포함하여 이루어질 수 있다. 음성 인식 프로그램은 음성데이터에서 음성특징정보(예, 음색, 주파수, 데시벨 등)을 검출할 수 있다. 음성 인식 프로그램은 검출된 음성특징정보를 미리 저장된 하나 이상의 음성특징정보와 비교하고, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 또한 음성 인식 프로그램은 음성데이터를 텍스트로 변환하는 STT(Speech To Text) 기능을 구비할 수 있다. 얼굴 인식 프로그램은 카메라(114)에서 촬영된 이미지에서 사용자의 얼굴을 인식한다. 구체적으로 얼굴 인식 프로그램은 이미지 데이터에서 얼굴 정보를 추출하고, 추출된 얼굴 정보를 미리 저장된 하나 이상의 얼굴 정보와 비교하며, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 한편 사용자 인식은 상술한 음성 인식 프로그램이나 얼굴 인식 프로그램 이외에도 다양한 프로그램(예, 홍체인식(iris scan), 정맥인식(vein recognition), 지문인식(finger scan)) 등을 통해 이루어질 수 있다.
인공 지능 프로그램은 음성이나 이미지 데이터로부터 사용자의 의도를 파악하기 위한 프로그램이다. 예컨대, 인공 지능 프로그램은 음성 데이터에서 문맥을 인식하여 처리하는 자연어 처리 엔진(natural language processing engine)과, 이미지 데이터에서 사용자의 제스처의 의도를 파악하는 제스처 인식 엔진과, 인식된 문맥을 바탕으로 사용자의 의도를 추론하는 추론 엔진과, 인식된 문맥을 바탕으로 사용자와 대화하는 대화 엔진 등을 포함하여 구성될 수 있다.
무선통신부(140)는 통화, 데이터 통신 및 방송 수신을 수행할 수 있다. 구체적으로 무선통신부(140)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5(3.5-Generation)세대 이동통신모듈 또는 4(4-Generation)세대 이동통신모듈 등)과, 근거리 통신 모듈(예컨대, 지그비(Zigbee) 모듈, 와이파이(Wi-Fi) 모듈 및 블루투스(Bluetooth) 모듈)과, 방송 수신 모듈(예컨대, DMB 모듈)을 포함할 수 있다.
제어부(150)는 단말(100)의 전반적인 동작 및 단말(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(150)는 프로그램 영역에 저장된 각종 프로그램들을 실행한다.
제어부(150)는 사용자 인식부(151), 기능실행부(152), 에이전트(153) 및 제어권한 관리부(154)를 포함할 수 있다.
단말(100)은 단말(100)이 아는 사람만 사용될 수 있도록 미리 설정될 수 있다. 이를 위해 제어부(150)는 사용자 인식부(151)를 구비할 수 있다. 단말(100)이 누구나 사용할 수 있는 공용인 경우 단말(100)은 사용자 인식부(151)를 구비하지 않을 수도 있다. 사용자 인식부(151)는 입력 인터페이스(110)로부터 사용자의 입력 정보(예, 사용자 ID(Identification), 음성 데이터, 이미지 데이터 등)를 수신한다. 사용자 인식부(151)는 수신된 입력 정보를 토대로 사용자가 누구인지 인식한다. 예컨대, 사용자 인식부(151)는 수신된 음성데이터에서 음성특정정보(예, 음색, 주파수, 데시벨 등)을 검출하고, 검출된 음성특징정보를 미리 저장된 하나 이상의 음성특징정보와 비교하고, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 또한 사용자 인식부(151)는 수신된 이미지 데이터에서 얼굴 정보를 추출하고, 추출된 얼굴 정보를 미리 저장된 하나 이상의 얼굴 정보와 비교하며, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 또한 사용자 인식부(151)는 터치패널(111)로부터 사용자 ID를 수신하고, 수신된 사용자 ID를 미리 저장된 적어도 하나 이상의 사용자 ID와 비교하며, 비교 결과 토대로 사용자가 누구인지 인식할 수 있다. 사용자 인식부(151)의 인식 결과 사용자가 단말(100)이 아는 사람인 경우(예컨대, 검출된 음성특징정보가 미리 저장된 음성특징정보들 중에서 어느 하나와 일치할 경우, 추출된 얼굴 정보가 미리 저장된 얼굴 정보들 중에서 어느 하나와 일치할 경우 또는 수신된 사용자 ID가 미리 저장된 사용자 ID들 중에서 어느 하나와 일치할 경우), 제어부(150)는 사용자의 입력 정보에 응답할 수 있다. 사용자 인식부(151)의 인식 결과 사용자가 단말(100)이 모르는 사람인 경우, 제어부(150)는 사용자의 입력 정보에 응답하지 않을 수 있다.
기능 실행부(152)는 단말(100)이 가지는 각종 기능들을 실행하는 구성이다. 기능 실행부(152)가 실행할 수 있는 기능들은 단말(100)의 종류에 따라 매우 다양하다. 예를 들면, 기능 실행부(152)는 TV 시청, 방송 프로그램 녹화, 음악 재생, 인터넷 뱅킹 서비스, 길 안내, 통화, 메시지 송수신 등을 수행할 수 있다. 또한 기능 실행부(152)는 사용자의 의도를 파악하기 위하여 예컨대, 상술한 바와 같이 자연어 처리 엔진, 제스처 인식 엔진, 추론 엔진 및 대화 엔진 등을 포함하여 이루어질 수 있다.
단말(100)은 타 단말을 원격 제어할 수 있는 제어권한을 가질 수 있다. 이에 따라 제어부(150)는 타 단말에 대해 제어권한을 행사할 수 있는 에이전트(153)를 구비할 수 있다. 에이전트(153)는 사용자의 입력 정보와 관련된 기능을 실행하도록 기능 실행부(152)를 제어한다. 예컨대, 에이전트(153)는 "근처 맛 집이 어디지?"라는 음성데이터를 입력 인터페이스(110)로부터 수신한다. 에이전트(153)는 수신된 음성데이터의 문맥을 파악하여 처리하도록 음성데이터를 기능 실행부(152)로 전달한다. 기능 실행부(152)는 GPS 수신부(115)로부터 현재 위치 정보를 수신한다. 기능 실행부(152)는 사용자 정보 DB(130)에서 음식과 관련된 사용자의 취향 정보 및 인터넷 검색 정보를 확인한다. 확인 결과, 기능 실행부(152)는 최근 사용자가 선호하는 음식이 스파게티나 국수와 같은 면 종류의 음식임을 인식한다. 기능 실행부(152)는 예컨대, 맛 집을 찾아주는 어플리케이션을 실행하여 근처(예컨대, 사용자의 현재 위치에서 반경 500m 이내)에서 면과 관련된 음식점 정보(예컨대, 위치, 메뉴, 가격 등)를 수집한다. 기능 실행부(152)는 수집된 음식점 정보와 관련하여 사용자에게 피드백을 제공하도록 출력 인터페이스(120)를 제어한다. 예컨대, 표시부(121)는 지도 위에 음식점들의 위치를 표시한다. 스피커(122)는 각 음식점의 위치와 메뉴 등을 설명하는 음성을 출력한다.
에이전트(153)는 자신에게 제어권한이 있는 경우, 외부의 다른 단말을 원격 제어할 수 있다. 예컨대, 에이전트(153)는 "드라마 녹화해줘"라는 음성데이터를 입력 인터페이스(100)로부터 수신하고, 이를 기능 실행부(152)로 전달한다. 기능 실행부(152)는 음성데이터의 문맥을 파악하고 사용자가 녹화 요청한 드라마가 무엇인지 사용자 정보 DB(131)를 참조하여 추론하고, 추론 결과 정보(예컨대, CSI 과학수사대)를 에이전트(153)로 전달한다. 에이전트(153)는 CSI 과학수사대에 대한 녹화 요청 메시지를 스마트TV로 전송하도록 무선통신부(140)를 제어한다.
단말(100)은 에이전트들 중에서 누가 제어권한을 가질 것인지를 결정할 수 있다. 이를 위해 단말(100)은 제어권한 관리부(154)를 구비할 수 있다. 제어권한 관리부(154)는 하나 이상의 에이전트로부터 제어권한 요청 메시지를 수신할 수 있다. 즉 에이전트는 사용자의 입력 정보(예컨대, 터치 데이터, 음성 데이터, 이미지 데이터 등)가 검출된 경우, 제어권한 관리부(154)에게 제어권한 요청 메시지를 전송할 수 있다. 여기서 제어권한 요청 메시지는 참고 정보를 포함할 수 있다. 여기서 참고 정보는 제어권한 관리부(154)가 제어권한을 가질 단말을 결정하기 위하여 참고하는 정보를 의미한다. 이러한 참고 정보는 예컨대, 단말의 특성 정보(예, 배터리의 전력, 통신 방식, 입력 인터페이스 방식, TV 방송 수신 여부 및 수행 가능한 기능 리스트 등)와, 단말의 상태 정보(예, 작동 모드(예, 바쁜 상태(Busy state), 유휴 상태(Idle state), 수면 상태(Sleep state)), 배터리의 충전율, 현재 비과금 통신망(예, Wi-Fi)의 접속 여부 및 단말의 환경 설정(예, 와이파이 다이렉트(Wi-Fi direct) 차단 여부 등))와, 사용자 입력 정보(예, 입력 정보의 종류(예, 터치 데이터, 음성 데이터, 이미지 데이터 등) 및 SNR(입력 정보의 종류가 음성데이터인 경우) 등)와, 단말에서 수행 가능한 기능들 중에서 사용자가 요청한 기능이 무엇인지 나타내는 요청 기능 정보와, 기능을 요청한 사용자의 ID 등을 포함하여 이루어질 수 있다. 상기 참고 정보에서 특정 정보가 제외될 수 있다. 예컨대, 음성 데이터의 문맥이 파악이 안 되어 사용자가 요청한 기능이 무엇인지 인식되지 못할 경우, 요청 기능 정보는 참고 정보에 포함되지 않을 수 있다. 상기 정보들 이외에 다른 정보가 참고 정보에 포함될 수도 있다.
제어권한을 요청한 에이전트가 하나인 경우, 제어권한 관리부(154)는 해당 에이전트에게 제어권한을 부여함을 나타내는 응답 메시지를 전송할 수 있다. 예컨대, 해당 에이전트가 내부의 에이전트(153)인 경우, 제어권한 관리부(154)는 응답 메시지를 전송한다. 해당 에이전트가 외부의 에이전트인 경우, 제어권한 관리부(154)는 응답 메시지를 전송하도록 무선 통신부(140)를 제어할 수 있다.
제어권한을 요청한 에이전트가 여럿인 경우, 제어권한 관리부(154)는 에이전트들로부터 수신한 관련정보들을 바탕으로 제어권한을 부여할 에이전트를 결정할 수 있다. 예컨대, 제어권한 관리부(154)는 에이전트들 중에서 사용자의 입력 정보의 종류가 터치에 해당되는 에이전트(예, 현재 터치를 검출한 스마트폰의 에이전트)에게 제어권한을 부여할 수 있다. 제어권한 관리부(154)는 에이전트들 중에서 입력 정보의 종류가 음성에 해당되는 에이전트(예, 현재 음성을 검출한 스마트폰, 태블릿 PC 및 스마트 TV의 에이전트들)를 제어권한을 가질 수 있는 후보로 선정할 수 있다. 제어권한 관리부(154)는 선정된 후보들 중에서 예컨대, SNR이 가장 높은 스마트폰(즉, 사용자에게 가장 가까이에 있는 스마트폰)의 에이전트에게 제어권한을 부여할 수 있다. 제어권한을 부여받은 에이전트는 능동 모드로 동작한다. 제어권한을 부여받은 에이전트는 사용자가 요청한 기능(예컨대, 상기 드라마 녹화)이 완료된 경우, 제어권한을 반납할 수 있다. 즉 해당 에이전트는 제어권한 관리부(154)에게 제어권 반납 메시지를 전송할 수 있다. 제어권한을 부여 받지 못한 후보들은 수동 모드로 동작하되, 제어권한이 필요한 경우(예, 다시 음성이 검출된 경우) 제어권한을 재요청(이하, 대기 모드라 한다)할 수 있다. 제어권한 관리부(154)는 제어권한을 재요청한 후보에게 제어권한을 이전시킬 수 있다. 또한 제어권한 관리부(154)는 현재 제어권한을 가지는 에이전트로부터 제어권한의 이전을 요청하는 이전 요청 메시지를 수신할 수 있다. 이런 경우, 제어권한 관리부(154)는 대기 중인 후보에게 제어권한을 이전시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 에이전트 서비스 시스템의 네트워크 구성도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 에이전트 서비스 시스템은 다수의 단말 예컨대, 스마트TV(210), 노트북(220), 스마트폰(230), 태블릿 PC(240) 및 서버(250)와, 이들을 연결하는 네트워크(260)를 포함하여 이루어질 수 있다. 여기서 네트워크(260)는 근거리통신망(예컨대, 와이파이 통신망) 및 이동통신망(예컨대, 3세대(3-Generation) 이동통신망, 3.5(3.5-Generation)세대 이동통신망 또는 4(4-Generation)세대 이동통신망)을 포함하여 구성될 수 있다.
단말(210 내지 250)들은 도 1을 참조로 하여 설명한 구성들을 구비할 수 있다. 특히 단말들(210 내지 240) 각각에 에이전트가 독립적으로 존재할 수 있다. 단 누가 제어권한을 행사할지를 결정하는 제어권한 관리부(154)는 하나의 단말에만 구비될 수 있다. 예컨대, 서버(250)에만 제어권한 관리부(154)가 구비될 수 있다.
물론 제어권한 관리부(154)는 둘 이상의 단말에도 구비될 수 있다. 이러한 경우 단말들은 제어권한 관리를 담당할 단말을 결정하는 협의(negotiation) 과정을 수행할 수 있다. 예컨대, 단말들은 각자 미리 정해진 숫자 범위(예, 1~200)에서 하나를 선택한다. 단말들은 각자 선택한 숫자를 무선 통신을 통해 교환한다. 이에 따라 단말들은 누가 가장 큰 숫자를 선택하였는지를 인식할 수 있다. 즉 가장 큰 숫자를 선택한 단말이 제어권한을 관리할 단말로 결정될 수 있다. 여기서 단말은 숫자를 선택함에 있어, 자신의 특성 정보(예, 배터리의 전력, 배터리의 충전율 및 휴대 여부 등)를 바탕으로 숫자를 선택할 수 있다. 예컨대, 단말은 배터리의 충전율이 높을수록 큰 숫자를 선택할 수 있다. 한편, 이러한 협의 과정은 네트워크 구성이 변경될 때 수행될 수 있다. 예컨대, 사용자가 홈 네트워크가 구성된 집에 있다가, 스마트폰을 들고 내비게이션 단말이 있는 자신의 차량에 탑승할 수 있다. 이때 스마트폰과 내비게이션 단말은 상기 협의 과정을 수행하게 된다. 또한 협의 과정 없이 사용자가 설정한 단말(예, 스마트폰)이 제어권한을 관리할 단말로 결정될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 에이전트 서비스 시스템의 네트워크 구성도이다. 도 3을 참조하면, 단말들은 서버 또는 클라이언트의 역할을 수행할 수 있다. 본 발명의 다른 실시예에 따른 에이전트 서비스 시스템은 서버(310), 클라이언트들(예컨대, 스마트TV(320), 노트북(330), 스마트폰(340) 및 태블릿 PC(350)) 및 네트워크(360)를 포함하여 이루어질 수 있다.
본 발명의 다른 실시예에 따른 에이전트 서비스 시스템은 중앙 집중 방식(centralized type)과 분산 처리 방식(cloud type)으로 구분될 수 있다. 중앙 집중 방식에 따르면, 클라이언트들(320 내지 350)은 사용자와의 상호 작용(interaction)을 위한 창구 역할 즉, 사용자 인터페이스를 담당한다. 서버(310)는 클라이언트들(320 내지 350)의 원격 제어 및 데이터의 처리 기능을 담당한다. 예컨대, 서버(310)는 "드라마 녹화해줘!"라는 음성 데이터를 스마트폰(340)으로부터 수신한다. 서버(310)는 수신된 음성데이터의 문맥을 파악하고 사용자가 녹화 요청한 드라마가 무엇인지 사용자 정보 DB(예컨대, 서버(310)에 구비될 수 있음)를 참조하여 추론한다. 추론 결과에 따라 서버(310)는 스마트TV(320)에 녹화 요청 메시지를 전송한다.
분산 처리 방식에 따르면, 클라이언트들(320 내지 350)은 사용자 인터페이스를 담당한다. 나아가 클라이언트들(320 내지 350)은 서버(310)의 결정에 의하여, 제어권한을 행사할 수 있다. 서버(310)는 제어권한의 관리를 담당한다. 또한 서버(310)는 데이터의 처리 기능(예컨대, 자연어 처리, 제스처 인식, 추론, 정보 검색 등)을 담당할 수 있다.
도 4 및 도 5는 각각, 본 발명의 일 실시예에 따른 중앙 집중 방식의 서버와 클라이언트의 구성을 보인 도면들이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 서버(400)는 저장부(430), 무선통신부(440) 및 제어부(450)을 포함하여 이루어질 수 있다.
저장부(430)는 서버(400)의 운영체제(OS; Operating System), 각종 프로그램들 및 각종 데이터들을 저장한다. 특히 저장부(430)는 공통 사용자 정보 DB(431)를 저장한다. 공통 사용자 정보 DB(431)는 사용자의 취향 정보, 기능 실행과 관련된 이력 정보, 클라이언트들 각각의 특성 정보 등을 포함할 수 있다. 또한 저장부(430)는 음성이나 이미지 데이터로부터 사용자의 의도를 파악하기 위한 인공 지능 프로그램을 포함할 수 있다.
무선 통신부(440)는 클라이언트들과 데이터 통신을 수행할 수 있다. 이를 위해 무선통신부(440)는 이동통신모듈 및 근거리 통신 모듈 등을 구비할 수 있다.
제어부(450)는 서버(400)의 전반적인 동작 및 서버(400)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(450)는 프로그램 영역에 저장된 각종 프로그램들을 실행한다.
또한 제어부(450)는 원격 기능 실행부(452), 에이전트(453) 및 제어권한 관리부(454)를 포함하여 이루어질 수 있다. 원격 기능 실행부(452)는 무선 통신부(440)를 통해 클라이언트로부터 수신한 사용자의 입력 정보에 응답하여 기능을 실행한다. 특히 기능 실행부(452)는 사용자의 의도를 파악하기 위하여 자연어 처리 엔진, 제스처 인식 엔진, 추론 엔진 및 대화 엔진 등을 포함하여 이루어질 수 있다. 에이전트(453)는 클라이언트들에 대해 제어권한을 행사할 수 있다. 이러한 에이전트(453)의 기능에 대해선 앞서 도 1 내지 도 3을 참조로 하여 구체적으로 설명하였다. 한편 제어부(450)는 에이전트들 중에서 누가 제어권한을 가질 것인지를 결정하는 제어권한 관리부(454)를 더 구비할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 클라이언트(500)는 입력 인터페이스(510), 출력 인터페이스(520), 저장부(530), 무선통신부(540) 및 제어부(550)를 포함하여 이루어질 수 있다. 여기서 제어부(550)는 상기 구성들을 총괄 제어하는 것으로, 사용자 인식부(551)를 포함하여 이루어질 수 있다. 상기 구성들(510 내지 550 및 551)은 앞서 도 1 내지 도 3을 참조로 하여 구체적으로 설명하였다.
이상으로 중앙 집중 방식에 따른 서버(400)는 클라이언트들의 원격 제어 및 데이터의 처리 기능을 담당하고, 클라이언트(500)는 사용자와의 상호 작용(interaction)을 위한 창구 역할 즉, 사용자 인터페이스를 담당할 수 있다. 즉 서버(400)와 클라이언트(500)는 담당하는 기능만 다를 뿐, 도 1에 도시된 단말과 동일하게 구성될 수 있다.
도 6 및 도 7은 각각, 본 발명의 일 실시예에 따른 분산 처리 방식의 서버와 클라이언트의 구성을 보인 도면이다. 도 6을 참조하면, 본 발명의 다른 실시예에 따른 서버(600)는 저장부(630), 무선통신부(640) 및 제어부(650)을 포함하여 이루어질 수 있다. 저장부(630)는 공통 사용자 정보 DB(631)를 저장한다. 무선 통신부(640)는 클라이언트들과 데이터 통신을 수행한다. 제어부(450)는 상기 구성들을 총괄 제어하고, 원격 기능 실행부(652) 및 제어권한 관리부(654)를 포함하여 이루어질 수 있다. 이상으로 도 6의 구성들은 도 1 내지 도 5를 참조로 하여 구체적으로 설명하였다. 도 7을 참조하면, 본 발명의 다른 실시예에 따른 클라이언트(700)는 입력 인터페이스(710), 출력 인터페이스(720), 저장부(730), 무선통신부(740) 및 제어부(750)를 포함하여 이루어질 수 있다. 여기서 제어부(750)는 상기 구성들을 총괄 제어하는 것으로, 사용자 인식부(751), 기능 실행부(752) 및 에이전트(753)를 포함하여 이루어질 수 있다. 이상으로 도 7의 구성들은 앞서 도 1 내지 도 5를 참조로 하여 구체적으로 설명하였다. 이상으로 분산 처리 방식에 따른 서버(600)는 제어권한의 관리를 담당하고, 클라이언트(700)는 사용자 인터페이스를 담당한다. 즉 서버(600)와 클라이언트(700)는 담당하는 기능만 다를 뿐, 도 1에 도시된 단말과 동일하게 구성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 제어권한 부여 방법을 설명하기 위한 흐름도이다. 도 8을 참조하면, 단계 831에서 제 1 단말(810)의 제 1 에이전트(811)는 자신의 입력 인터페이스로부터 사용자 입력 정보 예컨대, 음성 데이터를 수신한다. 단계 832에서 제 1 에이전트(811)는 음성 데이터의 수신에 응답하여 제어권한 요청 메시지를 제 1 단말(810)의 제어권한 관리부(812)로 전송할 수 있다. 여기서 제어권한 관리부(812)는 제 1 단말(810)이 아닌, 제 3 의 단말에 구비될 수도 있다. 이때 제 1 단말(810)은 상술한 바와 같은 등록 절차에 의해 제 3의 단말이 관리권한을 가지고 있음을 인식하고 있는 상태이다. 제 1 단말(810)과 제 3의 단말이 모두 관리권한을 가지고 있고 누가 관리권한을 행사할지 협의(Negotiation)하지 않은 상태인 경우, 제 1 단말(810)는 상술한 협의 절차를 수행하여 자신이 관리권한을 행사하도록 결정할 수 있다. 또한 단계 832는 사용자가 누구인지 인식이 가능한 경우, 수행될 수 있다. 이러한 사용자 인식은 도 1을 참조하여 구체적으로 설명하였다. 또한 제어권한 요청 메시지에는 앞서 설명한 바와 같이, 사용자 입력 정보, 요청 기능 정보 및 사용자 ID 등이 포함될 수 있다.
단계 833에서 제 2 단말(820)의 제 2 에이전트(821)도 자신의 입력 인터페이스로부터 음성 데이터를 수신할 수 있다. 단계 834에서 제 2 에이전트(821)는 음성 데이터의 수신에 응답하여 제어권한 요청 메시지를 제어권한 관리부(812)로 전송할 수 있다.
단계 835에서 제어권한 관리부(812)는 추가 정보 요청 메시지(예, 단말의 특성 및 상태 정보 등을 요청)를 제 1 에이전트(811) 및 제 2 에이전트(821)에게 전송할 수 있다. 이에 따라 단계 836에서 제 1 및 제 2 에이전트(811, 821)는 각각, 추가 정보 응답 메시지(단말의 특성 및 상태 정보를 포함)를 제어권한 관리부(812)로 전송할 수 있다. 여기서 제 1 에이전트(811) 및 제 2 에이전트(821)는 단말에 따라 구분될 수 있다. 또한 제 1 에이전트(811) 및 제 2 에이전트(821)는 사용자에 따라 구분될 수 있다. 즉 제 1 단말(810)과 제 2 단말(820)의 사용자가 동일한 경우, 두 단말의 에이전트는 동일하며 다만 단말로 구분될 뿐이다. 제1 단말(810)과 제 2 단말(820)의 사용자가 다른 경우, 두 단말의 에이전트는 다르며 독립적으로 동작할 수 있다.
단계 835 및 836은 생략될 수 있다. 예컨대, 제 1 및 제 2 에이전트(811, 821)는 단계 832 및 834에서 각각, 특성 및 상태 정보를 제어권한 요청 메시지에 포함시켜 전송할 수 있다. 이럴 경우 제어권한 관리부(812)는 추가 정보 요청 메시지의 전송을 생략할 수 있다.
단계 837에서 제어권한 관리부(812)는 제 1 및 제 2 에이전트(811, 821)로부터 수신된 정보들을 바탕으로 제어권한을 부여할 에이전트를 결정한다. 예컨대, 제 1 및 제 2 에이전트(811, 821)로부터 수신된 사용자 ID가 틀린 경우, 제어권한 관리부(812)는 두 에이전트 모두에게 제어권한 부여를 결정할 수 있다. 예컨대, 제 1 에이전트(811)로부터 수신한 사용자 ID(예컨대, 딸의 ID)와 제 2 에이전트(821)로부터 수신한 사용자 ID(예컨대, 엄마의 ID)가 일치하지 않을 수 있다. 이럴 경우 제어권한 관리부(812)는 엄마가 사용하는 단말(예, 스마트폰)과 딸이 사용하는 단말(예, 스마트폰) 모두에게 다른 단말을 원격 제어할 수 있게끔 제어권한을 줄 수 있다. 제 1 및 제 2 에이전트(811, 821)로부터 수신된 사용자 ID가 동일한 경우, 제어권한 관리부(812)는 수신된 정보들을 토대로 제어권한을 부여할 에이전트를 결정할 수 있다. 예컨대, 제어권한 관리부(812)는 입력 정보의 종류가 터치 데이터에 해당되는 에이전트에게 제어권한 부여를 결정할 수 있다. 또한 제어권한 관리부(812)는 SNR이 가장 높은 단말에 해당되는 에이전트에게 제어권한 부여를 결정할 수 있다.
단계 838에서 제어권한 관리부(812)는 제 1 및 제 2 에이전트(811, 821)에게 제어권한 응답 메시지를 전송한다. 제어권한 응답 메시지에는 제어권한 부여 여부를 나타내는 정보(예컨대, 제어권한 응답 메시지의 제어권한 부여 필드에서 "1"은 제어권한 부여를 나타내고 "0"은 제어권한 미부여를 나타냄)를 포함할 수 있다. 제어권한을 부여받은 에이전트 예컨대, 제 1 에이전트(811)는 단계 839에서, 능동 모드로 동작한다. 제어권한 응답 메시지에는 후보 여부를 나타내는 정보(예컨대, 제어권한 응답 메시지의 후보 필드에서 "1"은 후보를 나타내고 "0"은 후보가 아님을 나타냄)를 포함할 수 있다. 제어권한을 부여받지 못한 에이전트 예컨대, 제 2 에이전트(821)는 단계 840에서, 후보 가능 여부에 따라 수동 모드 또는 대기 모드로 동작할 수 있다.
도 9는 본 발명의 일 실시예에 따른 제어권한을 부여할 에이전트를 결정하는 방법을 설명하기 위한 흐름도이다. 도 1 및 도 9를 참조하면, 제어권한 관리부(154)는 하나 이상의 에이전트로부터 제어권한 요청 메시지를 수신할 수 있다. 제어권한 관리부(154)는 하나의 에이전트(즉, 자신의 에이전트(153) 또는 외부 단말의 에이전트)로부터 제어권한 요청 메시지를 수신한 경우, 해당 에이전트에게 제어권한 부여를 결정한다. 미리 정해진 시간(예, 1sec) 이내에 동시에 둘 이상의 에이전트로부터 제어권한 요청 메시지를 수신한 경우, 제어권한 관리부(154)는 아래 과정을 수행할 수 있다.
단계 901에서 제어권한 관리부(154)는 에이전트들로부터 수신한 참고 정보(앞서 상세히 설명하였으며 예컨대, 단말의 특성 정보, 단말의 상태 정보, 사용자 입력 정보 및 요청 기능 정보 등)를 바탕으로 에이전트들 중에서 후보를 선정한다. 예컨대, 제어권한 관리부(154)는 입력 정보의 종류가 터치 데이터에 해당되는 에이전트를 후보로 선정할 수 있다. 입력 정보의 종류가 음성데이터인 경우 제어권한 관리부(154)는 해당 입력 인터페이스(즉, 마이크)를 가지는 단말들(예, 스마트폰, 태블릿 PC 및 노트북 및 스마트TV 등)의 에이전트들을 후보로 선정할 수 있다. 또한 제어권한 관리부(154)는 후보 선정에 있어, 마이크뿐만 아니라 SNR을 고려할 수 있다. 즉 제어권한 관리부(154)는 음성 데이터의 SNR이 기 설정된 임계치(예컨대, 60dB) 이상인 단말들(예, 스마트폰 및 태블릿 PC)의 에이전트들을 후보로 선정할 수 있다. 제어권한 관리부(154)는 후보 선정 시, '터치 데이터'를 최우선으로 고려할 수 있다. 즉 제어권한 관리부(154)는 터치 데이터를 검출한 단말의 에이전트를 단일 후보로 선정할 수 있다.
단계 902에서 제어권한 관리부(154)는 선정된 후보가 하나인지 여부를 판단한다. 선정된 후보가 하나인 경우 단계 903에서 제어권한 관리부(154)는 해당 에이전트에게 제어권한 부여를 결정한다.
선정된 후보가 둘 이상인 경우 단계 904에서 제어권한 관리부(154)는 후보들의 참고정보들을 수치화한다. 예컨대, 다음 표 2와 같은 상태 정보들이 수치화될 수 있다.
Figure pat00002
또한 단계 904에서 제어권한 관리부(154)는 요청 기능 정보에 따라 상태 정보별로 가중치(weight)를 부여할 수 있다. 예컨대, 사용자의 요청 서비스가 스트리밍 서비스일 수 있다. 그러면 제어권한 관리부(154)는 현재 접속된 통신망이 과금 통신망(예, 3G)일 경우 -50 점을 해당 에이전트에 추가로 부여한다. 제어권한 관리부(154)는 현재 접속된 통신망이 비과금 통신망(예, Wi-Fi)인 경우 100점을 해당 에이전트에 추가로 부여할 수 있다. 물론 사용자의 요청 기능이 파악이 안 될 경우(예, 음성 데이터의 문맥 인식 불가로 인해), 가중치 부여는 생략될 수 있다.
단계 905에서 제어권한 관리부(154)는 상기 수치화 및 가중치 부여 과정에 따라 가장 높은 점수를 획득한 에이전트에게 제어권한 부여를 결정한다. 단 표 1에 예시된 바와 같이, 배터리 충전율이 10%미만이거나 작동 모드가 바쁜 상태(Busy state; 예컨대, 통화중)인 경우, 해당 에이전트는 총점이 가장 높아도 제어권한 부여에서 제외될 수 있다. 또한 표 1에 예시된 바와 같이, 외부전원이 사용되고 있는 경우, 해당 에이전트는 총점에서 다른 에이전트보다 낮더라도 제어권한 부여가 결정될 수 있다. 한편, 제어권한 관리부(154)는 제어권한을 다른 에이전트 특히, 대기 모드로 동작 중인 후보들 중에서 어느 하나에게 이전시킬 수 있다. 제어권한 이전 방법에 대한 일 예를 도 10을 참조로 하여 설명한다. 제어권한을 부여받지 못한 에이전트 특히, 대기 모드로 동작 중인 후보는 제어권한을 제어권한 관리부(154)에게 재요청할 수 있다. 제어권한 재요청 방법에 대한 일 예를 도 11을 참조로 하여 설명한다.
도 10은 본 발명의 일 실시예에 따른 제어권한의 이전 방법을 설명하기 위한 흐름도이다. 도 10을 참조하면, 단계 1051에서 제 1 에이전트(1010)는 제어권한 관리부(1040)로부터 제어권한을 부여받아 능동 모드로 동작하는 상태일 수 있다. 다른 에이전트 예컨대, 제 2 에이전트(1020) 및 제 3 에이전트(1030)는 대기 모드로 동작하는 상태일 수 있다.
단계 1052에서 제 1 에이전트(1010)는 제어권한 이전 이벤트를 검출할 수 있다. 제어권한 이전 이벤트는 예컨대, PMU(power management unit)이 제어부에 배터리 충전 부족(예, 충전율 20%미만)을 알리는 이벤트 또는 통화 요청 이벤트(예, 터치스크린에 표시되는 통화 버튼의 선택 또는 무선통신부로부터 수신한 호(call) 연결 요청 신호 등) 등이 될 수 있다. 즉 전력을 절약할 필요가 있거나 통화가 필요한 경우, 단계 1053에서 제 1 에이전트(1010)는 제어권한 이전 요청 메시지를 제어권한 관리부(1040)에 전송할 수 있다. 또한 여러 가지 작업이 동시 진행됨에 따라 시스템 자원(예, 메모리 및 CPU 등)이 부족할 경우에도 제 1 에이전트(1010)는 제어권한 이전 요청 메시지를 제어권한 관리부(1040)에 전송할 수 있다.
제어권한 관리부(1040)는 제 1 에이전트(1010)로부터 제어권한 이전 요청 메시지를 수신할 수 있다. 이에 따라 제어권한 관리부(1040)는 다른 에이전트들 중에서 어느 하나를 선택하고, 선택된 해당 에이전트에게 제어권한을 부여할 수 있다. 특히, 제어권한 관리부(1040)는 대기 모드로 동작 중인 후보에게 제어권한을 부여함을 나타내는 메시지를 전송할 수 있다. 대기 모드로 동작 중인 후보가 둘 이상인 경우, 제어권한 관리부(1040)는 아래 과정을 수행할 수 있다.
단계 1054에서 제어권한 관리부(1040)는 단말의 상태 정보(예, 배터리 충전율이 어느 정도인지, 작동 모드가 무엇인지 및 현재 접속된 통신망이 무엇인지 등)를 요청하는 요청 메시지를 대기 모드로 동작 중인 후보들 예컨대, 제 2 에이전트(1020)와 제 3 에이전트(1030)에게 전송할 수 있다. 단계 1055에서 제어권한 관리부(1040)는 제 2 에이전트(1020) 및 제 3 에이전트(1030)로부터 각각, 상태 정보를 포함하는 응답메시지를 수신할 수 있다.
단계 1056에서 제어권한 관리부(1040)는 수신된 상태 정보들을 바탕으로 후보들 중에서 제어권한을 부여할 에이전트를 결정한다. 예컨대, 제어권한 관리부(1040)는 도 9를 참조하여 설명한 바와 같이, 상태 정보들을 수치화하고, 총점이 가장 높은 에이전트에게 제어권한 부여를 결정할 수 있다. 단계 1057에서 제어권한 관리부(1040)는 결정된 에이전트 예컨대, 제 2 에이전트(1020)에게 제어권한을 부여함을 나타내는 메시지를 전송할 수 있다. 이에 따라 단계 1058에서 제 2 에이전트(1020)는 능동모드로 동작할 수 있다. 단계 1059에서 제어권한 관리부(1040)는 제어권한 이전을 완료하였음을 알리는 응답 메시지를 제 1 에이전트(1010)로 전송한다. 이에 따라 단계 1060에서 제 1 에이전트(1010)는 대기 모드로 동작할 수 있다.
도 11은 본 발명의 일 실시예에 따른 제어권한 재요청 방법을 설명하기 위한 흐름도이다. 도 11을 참조하면, 단계 1141에서 제 1 에이전트(1110)는 대기 모드로 동작하는 상태일 수 있다. 또한 단계 1141에서 제 2 에이전트(1120)는 제어권한 관리부(1130)로부터 제어권한을 부여받아 능동 모드로 동작하는 상태일 수 있다.
단계 1142에서 제 1 에이전트(1110)는 제어권한 재요청 이벤트(예컨대, 터치 데이터, 음성 데이터 및 이미지 데이터와 같은 사용자 입력 정보)를 검출할 수 있다. 제어권한 재요청 이벤트는 예컨대, 터치 데이터, 음성 데이터, 이미지 데이터, 외부전원의 연결을 알리는 이벤트, 통화 종료 이벤트 또는 비과금 통신망의 연결을 알리는 이벤트 등이 될 수 있다. 즉 전력이나 시스템 자원이 충분하거나, 사용자 입력 정보가 검출되거나 또는 비과금 통신망에 접속한 경우 단계 1143에서 제 1 에이전트(1110)는 제어권한 재요청 메시지를 제어권한 관리부(1130)로 전송할 수 있다.
제어권한 관리부(1130)는 제 1 에이전트(1110)로부터 제어권한 재요청 메시지를 수신할 수 있다. 여기서 제어권한 재요청 메시지는 상술한 제어권한 요청 메시지와 동일할 수 있다. 즉 제어권한 재요청 메시지는 단말의 특성 정보, 단말의 상태 정보 및 사용자 입력 정보 등을 포함하여 이루어질 수 있다. 단계 1144에서 제어권한 관리부(1130)는 제어권한 이전 여부를 결정한다. 구체적으로 제어권한 관리부(1130)는 제어권한을 재요청한 제 1 에이전트(1110) 및 현재 제어권한을 가진 제 2 에이전트(1120)와 관련된 참고 정보를 분석할 수 있다. 분석 결과 제어권한의 이전이 필요한 경우, 제어권한 관리부(1130)는 제 1 에이전트(1110)에게로 제어권한 이전을 결정할 수 있다. 여기서 제어권한의 이전이 필요한 경우는 예컨대, 제 1 에이전트(1110)로부터 수신된 사용자 입력 정보가 터치 데이터인 경우(즉, 사용자가 제 1 에이전트(1110)에 해당되는 단말의 터치스크린에 대해 터치를 한 경우) 또는 두 에이전트(1110, 1120)들의 참고 정보를 앞서 예시한 바와 같이 수치화하고 그 결과 제 1 에이전트(1110)가 높은 점수를 받은 경우 등이 될 수 있다.
단계 1145에서 제어권한 관리부(1130)는 제 1 에이전트(1110)의 제어권한 이전 요청에 대한 응답 메시지를 제 1 에이전트(1110)로 전송할 수 있다. 이러한 응답메시지에는 제어권한 부여 여부를 나타내는 정보가 포함된다. 응답 메시지에 제어권한 부여를 나타내는 정보가 포함될 경우 단계 1146에서 제어권한 관리부(1130)는 제어권한 이전 통보 메시지를 제 2 에이전트(1120)에 전송할 수 있다. 이에 따라 단계 1147에서 제 2 에이전트(1120)는 대기 모드 또는 수동 모드로 동작할 수 있다. 응답 메시지에 제어권한 부여를 나타내는 정보가 포함되지 않을 경우 단계 1146 및 1147은 생략된다. 응답 메시지에 제어권한 부여를 나타내는 정보가 포함될 경우 단계 1148에서 제 1 에이전트(1110)는 능동 모드로 동작한다. 응답 메시지에 제어권한 부여를 나타내는 정보가 포함되지 않을 경우 단계 1148은 생략된다.
도 12는 본 발명에 따른 에이전트 서비스의 구체적인 일 예를 설명하기 위한 흐름도이다. 도 12를 참조하면, 스마트폰(1210)은 제 1 사용자 인터페이스(1211)와 제 1 에이전트(1212)를 포함하여 이루어질 수 있다. 차량에 탑재된 내비게이션 단말(1220)은 제 2 사용자 인터페이스(1221)와 제 2 에이전트(1222)를 포함하여 이루어질 수 있다. 서버(1230)는 제어권한 관리부(1231), 원격 기능 실행부(1232) 및 공통 사용자 정보 DB(1233)를 포함하여 이루어질 수 있다. 또한 스마트폰(1210), 네비게이션 단말(1220) 및 서버(1230)는 서로 간에, 앞서 상세히 설명한 이동 통신망이나 근거리 통신망을 통해 메시지 등을 송수신할 수 있다.
사용자는 집에서 스마트폰(1210)에 음성으로 "근처에 스파게티 집이 어디지?"라고 질의한다. 단계 1241에서 제 1 사용자 인터페이스(1211)는 "근처에 스파게티 집이 어디지?"라는 음성 데이터(즉, 사용자의 음성 명령)를 제 1 에이전트(1212)로 전달한다. 단계 1242에서 제 1 에이전트(1212)는 음성 데이터에 응답하여 제어권한 관리부(1231)로 제어권한 요청 메시지를 전송한다. 단계 1243에서 제어권한 관리부(1231)는 제어권한 요청에 응답하여 제어권한 응답 메시지(제어권한 부여를 나타내는 정보 포함)를 제 1 에이전트(1212)로 전송한다. 이때 다른 에이전트 예컨대, 제 2 에이전트(1222)가 이미 제어권한을 갖고 있는 경우 단계 1244에서 제어권한 관리부(1231)는 제 2 에이전트(1222)에게 제어권한 이전 통보 메시지를 전송할 수 있다. 제 2 에이전트(1222)는 제어권한 이전의 통보에 응답하여 대기 모드로 동작한다.
제 1 에이전트(1212)는 제어권한의 부여에 응답하여 능동 모도로 동작한다. 제어권한을 부여받은 제 1 에이전트(1212)는 단계 1245에서, 음성 명령의 파악 요청 메시지(음성 데이터 포함)를 원격 기능 실행부(1232)로 전송한다. 원격 기능 실행부(1232)는 상술한 인공 지능 엔진을 구동하여 음성 명령을 파악한다. 그리고 단계 1246에서 원격 기능 실행부(1232)는 파악된 결과 정보를 포함하는 응답 메시지를 제 1 에이전트(1212)로 전송한다. 단계 1247에서 제 1 에이전트(1212)는 결과 정보에 응답하여 현재 위치 정보를 사용자 인터페이스(1211; 예컨대, GPS 수신부)에 요청하고 현재 위치 정보를 사용자 인터페이스(1211)로부터 수신한다. 또한 단계 1247에서 제 1 에이전트(1212)는 사용자 정보(예컨대, 사용자가 선호하는 프랜차이즈 정보)를 공통 사용자 정보 DB(1233)에 요청하고, 사용자 정보를 공통 사용자 정보 DB(1233)로부터 수신한다.
단계 1248에서 제 1 에이전트(1212)는 정보 검색 요청 메시지(예컨대, 현재 위치 정보, 스파게티, 및 프랜차이즈 정보 등 포함)를 원격 기능 실행부(1232)로 전송한다. 원격 기능 실행부(1232)는 검색 엔진을 구동하여 현재 위치 정보, 스파게티 및 프랜차이즈 정보와 연관된 음식점 정보(예컨대, 스파게티를 판매하는 프랜차이즈의 위치 및 스파게티 가격 등)를 검색한다. 단계 1249에서 제 1 에이전트(1212)는 원격 기능 실행부(1232)로부터 응답 메시지(음식점 정보가 포함)를 수신한다. 단계 1250에서 제 1 에이전트(1212)는 원격 기능 실행부(1232)로부터 수신한 음식점 정보를 제 1 사용자 인터페이스(1211)로 전송한다. 제 1 사용자 인터페이스(1211)는 음식점 정보를 표시하고 음성으로도 안내할 수 있다.
사용자는 차량으로 이동하여 내비게이션 단말(1220)에 음성으로 "목적지를 아까 찾은 스파게티 집으로"라고 명령한다. 단계 1251에서 제 2 사용자 인터페이스(1221)는 "목적지를 아까 찾은 스파게티 집으로"라는 음성 데이터를 제 2 에이전트(1222)로 전달한다.
단계 1252에서 제 2 에이전트(1222)는 음성 데이터에 응답하여 제어권한 관리부(1231)로 제어권한 요청 메시지를 전송한다. 단계 1253에서 제어권한 관리부(1231)는 제어권한 요청에 응답하여 제어권한 응답 메시지(제어권한 부여를 나타내는 정보 포함)를 제 2 에이전트(1222)로 전송한다. 제 2 에이전트(1222)는 제어권한의 부여에 응답하여 능동 모도로 동작한다. 단계 1254에서 제어권한 관리부(1231)는 제 1 에이전트(1212)에게 제어권한 이전 통보 메시지를 전송한다. 제 1 에이전트(1212)는 제어권한 이전의 통보에 응답하여 대기 모드로 동작한다.
제어권한을 부여받은 제 2 에이전트(1222)는 단계 1255에서, 현재 위치 정보를 사용자 인터페이스(1221; 예컨대, GPS 수신부)에 요청하고 현재 위치 정보를 사용자 인터페이스(1221)로부터 수신한다. 또한 단계 1255에서 제 2 에이전트(1222)는 사용자 정보(예컨대, 최근 검색된 스파게티 집의 위치 정보)를 공통 사용자 정보 DB(1233)에 요청하고, 사용자 정보를 공통 사용자 정보 DB(1233)로부터 수신한다. 단계 1256에서 제 2 에이전트(1222)는 경로 요청 메시지(예컨대, 현재 위치 정보 및 스파게티 집의 위치 정보가 포함)를 원격 기능 실행부(1232)로 전송한다. 원격 기능 실행부(1232)는 검색 엔진을 구동하여 현재 위치 정보 및 스파게티 집의 위치 정보와 연관된 경로 정보를 검색한다. 단계 1257에서 제 2 에이전트(1222)는 원격 기능 실행부(1232)로부터 응답 메시지(경로 정보가 포함)를 수신한다. 단계 1258에서 제 2 에이전트(1222)는 원격 기능 실행부(1232)로부터 수신한 경로 정보를 제 2 사용자 인터페이스(1221)로 전송한다. 제 2 사용자 인터페이스(1221)는 경로 정보를 표시하고 음성으로도 안내할 수 있다.
도 13은 본 발명에 따른 에이전트 서비스의 구체적인 다른 예를 설명하기 위한 흐름도이다.
도 13을 참조하면, 스마트폰(1310)은 제 1 사용자 인터페이스(1311)와 제 1 에이전트(1312)를 포함하여 이루어질 수 있다. 스마트TV(1320)는 제 2 사용자 인터페이스(1321), 제 2 에이전트(1322) 및 기능 실행부(1323)를 포함하여 이루어질 수 있다. 서버(1330)는 제어권한 관리부(1331), 원격 기능 실행부(1332) 및 공통 사용자 정보 DB(1333)를 포함하여 이루어질 수 있다. 또한 스마트폰(1310), 스마트TV(1320) 및 서버(1330)는 서로 간에, 앞서 상세히 설명한 이동 통신망이나 근거리 통신망을 통해 메시지 등을 송수신할 수 있다.
사용자는 집에서 스마트폰(1310)에 음성으로 "드라마 녹화해줘"라고 명령한다. 단계 1341에서 제 1 사용자 인터페이스(1311)는 "드라마 녹화해줘"라는 음성 데이터를 제 1 에이전트(1312)로 전달한다.
단계 1342에서 제 1 에이전트(1312)는 음성 데이터에 응답하여 제어권한 관리부(1331)로 제어권한 요청 메시지를 전송한다. 단계 1343에서 제어권한 관리부(1331)는 제어권한 요청에 응답하여 제어권한 응답 메시지(제어권한 부여를 나타내는 정보 포함)를 제 1 에이전트(1312)로 전송한다. 이때 다른 에이전트 예컨대, 제 2 에이전트(1322)가 이미 제어권한을 갖고 있는 경우 단계 1344에서 제어권한 관리부(1231)는 제 2 에이전트(1322)에게 제어권한 이전 통보 메시지를 전송할 수 있다. 제 2 에이전트(1322)는 제어권한 이전의 통보에 응답하여 대기 모드로 동작한다.
제 1 에이전트(1312)는 제어권한의 부여에 응답하여 능동 모도로 동작한다. 제어권한을 부여받은 제 1 에이전트(1312)는 단계 1345에서, 음성 명령의 파악 요청 메시지(음성 데이터 포함)를 원격 기능 실행부(1332)로 전송한다. 원격 기능 실행부(1332)는 상술한 인공 지능 엔진을 구동하여 음성 명령을 파악한다. 그리고 단계 1346에서 원격 기능 실행부(1332)는 파악된 결과 정보를 제 1 에이전트(1312)로 전송한다. 단계 1347에서 제 1 에이전트(1312)는 사용자 정보(예컨대, 최근에 사용자가 즐겨보고 있고 드라마 정보(제목, 방송 시간 및 주연 배우 등))를 공통 사용자 정보 DB(1333)에 요청하고, 사용자 정보를 공통 사용자 정보 DB(1333)로부터 수신한다.
단계 1348에서 제 1 에이전트(1312)는 녹화 요청 메시지(예컨대, 드라마 정보가 포함)를 제 2 에이전트(1322)로 전송한다. 단계 1349에서 제 2 에이전트(1322)는 녹화 요청 메시지를 기능 실행부(1323)로 전달한다. 단계 1350에서 기능 실행부(1323)는 녹화 예약이 되었음을 알리는 응답 메시지를 제 2 에이전트(1322)로 전송한다. 단계 1351에서 제 2 에이전트(1322)는 응답 메시지를 제 1 에이전트(1312)로 전달한다. 단계 1352에서 제 1 에이전트(1312)는 녹화 예약 완료 메시지를 제 1 사용자 인터페이스(1311)로 전송한다. 제 1 사용자 인터페이스(1311)는 녹화 예약 완료 메시지를 표시하고 음성으로도 안내할 수 있다. 또한 제 1 에이전트(1312)는 녹화 예약 완료 메시지를 표시하도록 스마트TV(1320)를 원격 제어할 수 있다. 즉 단계 1353에서 제 1 에이전트(1312)는 녹화 예약 완료 메시지의 출력을 요청하는 요청 메시지를 제 2 에이전트(1322)로 전송한다. 단계 1354에서 제 2 에이전트(1322)는 녹화 예약 완료 메시지를 제 2 사용자 인터페이스(1321)로 전송한다. 제 2 사용자 인터페이스(1321)는 녹화 예약 완료 메시지를 표시하고 음성으로도 안내할 수 있다.
도 14 내지 도 16은 본 발명에 따른 에이전트 서비스의 추가적인 예들을 간략하게 설명하기 위한 도면들이다.
도 14를 참조하면, 사용자는 태블릿 PC(1410)에 표시되는 아바타(1420)에게 음성으로 "샘! 아침 7시에 깨워줘!"라고 명령한다. 여기서 아바타(1420)는 태블릿 PC(1410)의 에이전트에 대응된다. 아바타(1420)는 인공 지능 엔진을 구동하여 사용자의 음성 명령을 인식하고, 아침 7시에 알람을 울리도록 태블릿 PC(1410)를 제어한다. 또한 아바타(1420)는 아침 7시에 스마트TV(1430)를 원격 제어하여 사용자가 선호하는 방송 프로그램(예컨대, 뉴스)을 틀 수 있다.
도 15를 참조하면, 사용자는 태블릿 PC(1510)에 표시되는 아바타(1520)에게 음성으로 "샘! 은행에 로그인해줘!"라고 명령한다. 아바타(1510)는 인공 지능 엔진을 구동하여 사용자의 음성 명령을 인식하고, 사용자가 즐겨 찾는 인터넷 뱅킹 사이트에 접속하며, 사용자 정보 DB로부터 사용자 정보(예, ID 및 비밀번호)를 추출하며, 추출된 사용자 정보를 해당 인터넷 뱅킹 사이트에 입력하여 자동으로 로그인한다. 아바타(1510)는 로그인 페이지를 표시하고 "자동으로 로그인 하였습니다"라는 음성을 출력하도록 태블릿 PC(1510)를 제어할 수 있다.
도 16을 참조하면, 사용자는 태블릿 PC(1610)에 표시되는 아바타(1620)에게 음성으로 "일요일 저녁 9시에 미팅이 있어"라고 알려준다. 아바타(1620)는 인공 지능 엔진을 구동하여 사용자가 일요일 저녁 9시에 집에 부재중임을 추론하고, 사용자 정보 DB에서 사용자가 저녁 9시에 즐겨보는 방송 프로그램을 확인하며, 확인된 해당 방송 프로그램을 녹화하도록 스마트 TV(1630)을 제어한다. 아바타(1620)는 스마트TV(1630)에서 표시되고, 사용자에게 "9 뉴스를 녹화하겠습니다!"라는 음성을 출력하도록 스마트TV(1630)을 제어할 수 있다. 즉 태블릿 PC(1610)의 에이전트가 "9 뉴스를 녹화하겠습니다!"라는 음성을 출력하도록 스마트TV(1630)의 에이전트를 원격 제어하는 것이다.
도 17은 본 발명에 따른 제어권한 설정을 설명하기 위한 흐름도이다. 도 1 및 도 17을 참조하면, 단계 1701에서 제어부(150)는 홈 화면을 표시하도록 표시부(121)를 제어할 수 있다. 여기서 홈 화면에는 환경 설정에 대응되는 아이콘을 포함한다. 사용자는 환경 설정에 대응되는 아이콘을 선택할 수 있다. 단계 1702에서 제어부(150)는 홈 화면에서 환경 설정에 대응되는 아이콘에 대한 사용자의 선택을 검출한다. 단계 1703에서 제어부(150)는 단말(100)의 환경 설정 화면을 표시하도록 표시부(121)를 제어한다. 단계 1704에서 제어부(150)는 제어권한의 부여 우선순위 및 관리권한을 설정할 수 있다. 즉 환경 설정 화면이 표시된 상태에서 사용자는 예컨대, 터치패널(111)을 조작하여 휴대 단말기의 환경 특히, 제어권한과 관련한 환경을 설정할 수 있다. 설정된 정보는 휴대 단말기의 저장부(140)에 저장된다. 그리고 저장부(140)에 저장된 제어권한 설정 정보는, 단말들 중에서 제어권한 관리를 담당할 단말을 결정하는 협의(negotiation) 과정이 실행될 때 그리고 제어권한 관리부가 제어권한 부여를 결정할 때, 활용될 수 있다.
도 18은 본 발명에 따른 단말의 환경 설정 화면에 대한 예시도이다. 환경 설정 화면에 포함되는 항목들은 단말(100)의 성능 및 단말(100)에 구비된 기능에 따라 매우 다양하다. 하나의 예로 도 1 및 도 18을 참조하면, 표시부(121)는 제어부(150)의 제어 하에, 환경 설정 화면(1800)을 표시할 수 있다. 환경 설정 화면(1800)에 포함되는 항목들은 단말(100)의 성능 및 단말(100)에 구비된 기능에 따라 매우 다양하다. 하나의 예로 환경 설정 화면(1800)은 무선 네트워크(1810), 위치서비스(1820), 사운드(1830), 디스플레이(1840), 보안(1850) 및 제어권한(1860) 등과 같은 항목들을 포함할 수 있다. 사용자는 제어권한(1860)의 항목을 이용하여 단말들 중에서 제어권한 관리를 담당할 단말을 결정할 수 있다. 예컨대, 스마트폰, 태블릿PC 및 스마트TV 등과 같은 단말들 중에서 스마트폰이 관리권한을 가질 수 있다. 또한 사용자는 제어권한(1860)의 항목을 이용하여 제어권한의 우선순위를 결정할 수 있다. 예컨대, 스마트폰, 태블릿PC 및 스마트TV의 순서대로 제어권한의 우선순위가 결정될 수 있다. 예컨대, 스마트폰, 태블릿PC 및 스마트TV에서 모두 음성데이터가 검출된 경우, 스마트폰에게 제어권한이 부여될 수 있다.
다음 표 3은 본 발명의 다른 실시예에 따른 제어권한 부여 방법을 설명하기 위한 표이다.
Figure pat00003
표 3을 참조하면, 사용자는 스마트폰을 손에 든 채 거실에서 소파에 앉아, 음성으로 단말들에게 명령할 수 있다. 그러면 홈 네트워크 환경에 속한 스마트폰, 태블릿 PC 및 노트북 PC는 사용자의 음성 데이터를 검출할 수 있다. 스마트폰과 태블릿 PC의 에이전트들은 음성 데이터의 검출에 응답하여 스마트폰의 제어권한 관리부로 제어권한 요청 메시지를 전송한다. 여기서 제어권한 요청 메시지에는 상기 표 3에 예시된 바와 같이, 네트워크 환경, 입력 인터페이스, 수행 가능 기능, 특성 및 상태 등과 관련된 정보들이 포함될 수 있다. 스마트폰의 제어권한 관리부는 제어권한 요청 메시지들의 수신 시간 차이를 계산한다. 계산 결과 시간 차이가 미리 정해진 임계치(예, 1sec) 이내이면, 제어권한 관리부는 수신된 제어권한 요청 메시지들이 동일한 음성 명령에 의한 것으로 결정한다. 제어권한 관리부는 후보 선정에 있어, 요청 메시지를 전송한 단말들의 네트워크 환경이 공통적으로 홈이므로 차량 네트워크 환경에 속한 내비게이션을 제외한다. 또한 제어권한 관리부는 사용자의 명령이 음성이므로 상기 단말들 중에서 마이크를 구비하지 않은 TV를 제외한다. 또한 제어권한 관리부는 스마트폰의 경우 여유 연산량이 없으므로 후보 선택에서 제외한다. 제어권한 관리부는 상기 단말들을 후보에서 제외하고, 태블릿 PC와 노트북 PC를 최종적으로 후보로 선정한다. 제어권한 관리부는 선정된 후보들의 각 평가 요소를 수치화한다. 예컨대, 전력과 관련한 평가 점수(X)는 "전력*배터리 충전율/미리 정해진 상수(예컨대, 100)"이 될 수 있다. 입력 인터페이스와 관련한 평가 점수(Y)는 "(입력 인터페이스의 개수 *100)*여유 연산량/10"이 될 수 있다. 수행 가능 기능과 관련한 평가 점수(Z)는 "(수행 가능 개수*100)*여유 연산량/10"이 될 수 있다. 해당 후보의 총점(T)는 (a*X + b*Y + c*Z)가 될 수 있다. 여기서, a, b 및 c는 각 항목에 대한 가중치이다. 예컨대, 입력 인터페이스에 대한 가중치가 더 클 경우, b 및 c 보다 a가 더 클 수 있다. a, b 및 c가 모두 1이라는 가정 하에 태블릿 PC와 노트북 PC 각각의 총점(T)는 다음 표 4와 같다.
Figure pat00004
제어권한 관리부는 총점이 높은 노트북 PC에게 제어권한 부여를 알리는 응답 메시지를 전송한다.
상술한 바와 같은 본 발명에 따른 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다. 하드웨어 장치는 본 발명을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명에 따른 방법 및 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
100: 단말
110: 입력 인터페이스
111: 터치패널112: 마이크
113: 센서부114: 카메라
115: GPS 수신부
120: 출력 인터페이스
121: 표시부122: 스피커
123: 진동 모터
130: 저장부131: 사용자 정보 DB
140: 무선 통신부
150: 제어부
151: 사용자 인식부152: 기능 실행부
153: 에이전트154: 제어권한 관리부

Claims (20)

  1. 단말에 구비된 에이전트가 입력 인터페이스를 통해 사용자 입력 정보를 수신하는 단계;
    상기 에이전트가 상기 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 상기 단말 또는 외부 기기에 구비된 제어권한 관리부로 전송하는 단계;
    상기 에이전트가 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 상기 제어권한 관리로부터 수신하는 단계; 및
    상기 제어권한 응답 메시지에 제어권한의 부여를 나타내는 정보가 포함된 경우, 상기 에이전트가 외부 기기로부터 원격 제어를 받는 수동 모드에서 외부 기기를 원격 제어하는 능동 모드로 전환하는 단계를 포함하는 단말의 원격 제어 방법.
  2. 제 1 항에 있어서,
    상기 사용자 입력 정보는,
    음성 데이터, 터치 데이터 및 이미지 데이터 중 하나인 것임을 특징으로 하는 단말의 원격 제어 방법.
  3. 제 1 항에 있어서,
    상기 전송하는 단계는,
    상기 사용자 입력 정보가 음성 데이터인 경우, 상기 음성 데이터의 사용자가 인식될 때, 수행되는 것임을 특징으로 하는 단말의 원격 제어 방법.
  4. 제 1 항에 있어서,
    상기 전송하는 단계는 참고 정보를 상기 제어권한 요청 메시지에 포함하여 전송하는 것이고,
    상기 참고 정보는 단말의 특성 정보, 단말의 상태 정보, 상기 사용자 입력 정보, 사용자가 요청한 기능이 무엇인지 나타내는 요청 기능 정보 및 사용자 ID(Identification) 중에서 적어도 하나를 포함하는 것임을 특징으로 하는 단말의 원격 제어 방법.
  5. 제 1 항에 있어서,
    상기 에이전트가 상기 능동 모드로 동작하는 중에 제어권한 이전 이벤트를 검출하는 단계;
    상기 에이전트가 상기 제어권한 이전 이벤트에 응답하여 제어권한 이전 요청 메시지를 상기 제어권한 관리부로 전송하는 단계; 및
    상기 에이전트가 상기 제어권한 관리부로부터 제어권한 이전의 완료를 알리는 응답 메시지를 수신한 경우, 상기 능동 모드에서 외부 기기로부터 원격 제어를 받되 제어권한의 재요청이 가능한 대기 모드로 전환하는 단계를 더 포함하는 것을 특징으로 하는 단말의 원격 제어 방법.
  6. 단말에 구비된 에이전트가 입력 인터페이스를 통해 사용자 입력 정보를 수신하는 단계;
    상기 에이전트가 상기 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 상기 단말 또는 외부 기기에 구비된 제어권한 관리부로 전송하는 단계;
    상기 에이전트가 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 상기 제어권한 관리로부터 수신하는 단계; 및
    상기 제어권한 응답 메시지에 제어권한의 미부여를 나타내는 정보가 포함된 경우, 상기 에이전트가 외부 기기의 원격 제어에 따라 상기 단말에 구비된 기능을 실행하는 수동 모드로 동작하는 단계를 포함하는 단말의 원격 제어 방법.
  7. 제 6 항에 있어서,
    상기 제어권한 응답 메시지에 상기 제어권한의 후보를 나타내는 정보가 포함되어 있는 경우, 외부 기기로부터 원격 제어를 받되 제어권한의 재요청이 가능한 대기 모드로 동작하는 단계;
    상기 대기 모드로 동작하는 중에 제어권한 재요청 이벤트를 검출하는 단계; 및
    상기 제어권한 재요청 이벤트에 응답하여 상기 제어권한 관리부로 제어권한 재요청 메시지를 전송하는 단계를 더 포함하는 것을 특징으로 하는 단말의 원격 제어 방법.
  8. 단말에 구비된 제어권한 관리부가 외부 기기를 원격 제어 가능한 제어권한의 요청 메시지를 상기 단말 및 적어도 하나의 외부기기에 각각 구비된 에이전트들 중 적어도 둘로부터 수신하는 단계;
    상기 제어권한 관리부가 상기 요청 메시지에 포함된 제어권한의 결정과 관련된 참고 정보를 이용하여 상기 요청 메시지를 전송한 에이전트들 중 하나에게 상기 제어권한을 부여하기로 결정하는 단계; 및
    상기 제어권한 관리부가 상기 제어권한의 부여를 나타내는 정보가 포함된 응답 메시지를 상기 결정된 에이전트에게 전송하는 단계를 포함하는 단말의 원격 제어 방법.
  9. 제 8 항에 있어서,
    상기 결정하는 단계는,
    상기 참고 정보에 포함된 사용자 입력 정보를 이용하여 상기 에이전트들 중에서 적어도 하나의 후보를 선정하고, 상기 적어도 하나의 후보 중에서 하나에게 상기 제어권한을 부여하기로 결정하는 것임을 특징으로 하는 단말의 원격 제어 방법.
  10. 제 9 항에 있어서,
    상기 결정하는 단계는,
    상기 사용자 입력 정보로써 음성 데이터를 수신한 에이전트를 후보로 선정하는 것임을 특징으로 하는 단말의 원격 제어 방법.
  11. 제 10 항에 있어서,
    상기 결정하는 단계는,
    후보들 중에 음성 데이터의 SNR(Signal Noise Ratio)이 가장 높은 후보에게 제어권한을 부여하기로 결정하는 것임을 특징으로 하는 단말의 원격 제어 방법.
  12. 제 9 항에 있어서,
    상기 결정하는 단계는,
    선정된 후보가 다수인 경우 후보들 각각의 참고 정보를 수치화하고, 상기 수치화에 따라 가장 높은 점수를 받은 후보에게 제어권한을 부여하기로 결정하는 것임을 특징으로 하는 단말의 원격 제어 방법.
  13. 사용자와의 상호 작용을 위한 사용자 인터페이스;
    외부 기기와 통신하기 위한 무선 통신부; 및
    상기 사용자 인터페이스 및 상기 무선 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는 상기 사용자 인터페이스로부터 수신한 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부로부터 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 수신하며, 상기 수신한 제어권한 응답 메시지에 제어권한의 부여를 나타내는 정보가 포함된 경우, 외부 기기로부터 원격 제어를 받는 수동 모드에서 외부 기기를 원격 제어하는 능동 모도로 전환하여 동작하는 것임을 특징으로 하는 단말.
  14. 제 13 항에 있어서,
    상기 제어부는,
    제어권한 이전 이벤트의 검출에 응답하여 제어권한 이전 요청 메시지를 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부로부터 제어권한 이전의 완료를 알리는 응답 메시지를 수신한 경우, 상기 능동모드에서 외부 기기로부터 원격 제어를 받되 제어권한을 재요청이 가능한 대기 모드로 전환하여 동작하는 것임을 특징으로 하는 단말.
  15. 사용자와의 상호 작용을 위한 사용자 인터페이스;
    외부 기기와 통신하기 위한 무선 통신부; 및
    상기 사용자 인터페이스 및 상기 무선 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는 상기 사용자 인터페이스로부터 수신한 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부로부터 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 수신하며, 상기 수신한 제어권한 응답 메시지에 제어권한의 미부여를 나타내는 정보가 포함된 경우 외부 기기의 원격 제어에 따라 단말에 구비된 기능을 실행하는 수동 모드로 동작하는 것임을 특징으로 하는 단말.
  16. 제 15 항에 있어서,
    상기 제어부는,
    상기 제어권한 응답 메시지에 상기 제어권한의 후보를 나타내는 정보가 포함되어 있는 경우, 외부 기기로부터 원격 제어를 받되 제어권한을 재요청이 가능한 대기 모드로 동작하고, 제어권한 재요청 이벤트의 검출에 응답하여 제어권한 재요청 메시지를 전송하도록 상기 무선 통신부를 제어하는 것임을 특징으로 하는 단말.
  17. 외부 기기들로부터 다른 기기를 원격 제어할 수 있도록 한 제어권한의 요청 메시지를 수신하는 무선 통신부; 및
    상기 무선 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는 상기 외부 기기들로부터 수신된 요청 메시지들에 각각 포함된 제어권한의 결정과 관련된 참고 정보들을 이용하여 상기 외부 기기들 중에서 하나에게 상기 제어권한을 부여하기로 결정하고, 상기 제어권한의 부여를 나타내는 정보가 포함된 응답 메시지를 상기 제어권한을 부여하기로 결정된 외부 기기에게 전송하도록 상기 무선 통신부를 제어하는 것임을 특징으로 하는 단말.
  18. 제 17 항에 있어서,
    상기 제어부는,
    상기 참고 정보에 포함된 사용자 입력 정보를 이용하여 상기 외부 기기들 중에서 적어도 하나의 후보를 선정하고, 상기 적어도 하나의 후보 중에서 하나에게 상기 제어권한을 부여하기로 결정하는 것임을 특징으로 하는 단말.
  19. 제 18 항에 있어서,
    상기 제어부는,
    선정된 후보가 다수인 경우 후보들 각각의 참고 정보를 수치화하고, 상기 수치화에 따라 가장 높은 점수를 받은 후보에게 제어권한을 부여하기로 결정하는 것임을 특징으로 하는 단말.
  20. 무선 통신 기능을 가지는 단말에서 구현되는 기록 매체에 있어서,
    상기 단말에 구비된 에이전트가 입력 인터페이스를 통해 사용자 입력 정보를 수신하고, 상기 에이전트가 상기 사용자 입력 정보에 응답하여 제어권한 요청 메시지를 상기 단말 또는 외부 기기에 구비된 제어권한 관리부로 전송하며, 상기 에이전트가 상기 제어권한 요청 메시지에 대응되는 제어권한 응답 메시지를 상기 제어권한 관리로부터 수신하며, 상기 제어권한 응답 메시지에 제어권한의 부여를 나타내는 정보가 포함된 경우, 상기 에이전트가 외부 기기로부터 원격 제어를 받는 수동 모드에서 외부 기기를 원격 제어하는 능동 모드로 전환하도록 구성된 기록 매체.
KR1020120038428A 2012-04-13 2012-04-13 단말의 원격 제어 방법 및 장치 KR20130116107A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120038428A KR20130116107A (ko) 2012-04-13 2012-04-13 단말의 원격 제어 방법 및 장치
US13/863,031 US20130300546A1 (en) 2012-04-13 2013-04-15 Remote control method and apparatus for terminals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120038428A KR20130116107A (ko) 2012-04-13 2012-04-13 단말의 원격 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130116107A true KR20130116107A (ko) 2013-10-23

Family

ID=49548194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120038428A KR20130116107A (ko) 2012-04-13 2012-04-13 단말의 원격 제어 방법 및 장치

Country Status (2)

Country Link
US (1) US20130300546A1 (ko)
KR (1) KR20130116107A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170864A1 (en) * 2014-05-07 2015-11-12 Samsung Electronics Co., Ltd. Terminal device and remote control method thereof, mobile device and remote control method thereof
KR20160089145A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
KR20170014532A (ko) * 2015-07-30 2017-02-08 주식회사 케이티 사용자 권한 설정 방법 및 이를 수행하는 홈 사물 인터넷 서비스 시스템
KR20170092379A (ko) * 2016-02-03 2017-08-11 삼성전자주식회사 전자장치 및 그 제어방법
WO2019054827A1 (ko) * 2017-09-15 2019-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20190031167A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20210076622A (ko) * 2019-12-16 2021-06-24 주식회사 엔씨소프트 온라인 서비스 접속 제어 장치 및 방법
US12120121B2 (en) 2019-12-16 2024-10-15 Ncsoft Corporation Apparatus and method for online service access control

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
US9734839B1 (en) * 2012-06-20 2017-08-15 Amazon Technologies, Inc. Routing natural language commands to the appropriate applications
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
JP6065550B2 (ja) * 2012-12-03 2017-01-25 船井電機株式会社 映像装置
US8690578B1 (en) 2013-01-03 2014-04-08 Mark E. Nusbaum Mobile computing weight, diet, nutrition, and exercise tracking system with enhanced feedback and data acquisition functionality
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9953179B2 (en) 2013-05-29 2018-04-24 Sonos, Inc. Private queue indicator
US9684484B2 (en) 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
US9495076B2 (en) 2013-05-29 2016-11-15 Sonos, Inc. Playlist modification
US9798510B2 (en) * 2013-05-29 2017-10-24 Sonos, Inc. Connected state indicator
US9735978B2 (en) 2013-05-29 2017-08-15 Sonos, Inc. Playback queue control via a playlist on a mobile device
US9703521B2 (en) 2013-05-29 2017-07-11 Sonos, Inc. Moving a playback queue to a new zone
US10715973B2 (en) 2013-05-29 2020-07-14 Sonos, Inc. Playback queue control transition
US10296884B2 (en) 2013-09-30 2019-05-21 Sonos, Inc. Personalized media playback at a discovered point-of-sale display
JP6482911B2 (ja) * 2014-07-01 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
TW201610699A (zh) * 2014-09-05 2016-03-16 緯創資通股份有限公司 應用程式分享方法以及使用該方法的裝置
US10310808B2 (en) * 2014-09-08 2019-06-04 Google Llc Systems and methods for simultaneously receiving voice instructions on onboard and offboard devices
US9866388B2 (en) * 2014-11-20 2018-01-09 BluInk Ltd. Portable device interface methods and systems
KR20160142528A (ko) * 2015-06-03 2016-12-13 엘지전자 주식회사 단말 장치, 네트워크 시스템 및 그 제어 방법
CN105159523A (zh) * 2015-07-31 2015-12-16 小米科技有限责任公司 目标功能的开启方法、装置及系统
CN105302412A (zh) * 2015-09-29 2016-02-03 小米科技有限责任公司 智能设备的状态显示方法及装置
CN105407041A (zh) * 2015-11-20 2016-03-16 珠海多玩信息技术有限公司 一种添加群组或好友的方法及服务器、客户端和系统
CN105357013A (zh) * 2015-11-25 2016-02-24 广东欧珀移动通信有限公司 一种用户界面的调整方法及用户终端
CN106209601B (zh) * 2016-07-29 2020-11-10 腾讯科技（深圳）有限公司 状态更新消息的推送方法及装置
CN106878449B (zh) * 2017-03-10 2018-09-28 腾讯科技（深圳）有限公司 设备控制方法和装置
WO2018161851A1 (zh) * 2017-03-10 2018-09-13 腾讯科技（深圳）有限公司 设备控制方法、存储介质和计算机设备
US20180365175A1 (en) * 2017-06-19 2018-12-20 Lenovo (Singapore) Pte. Ltd. Systems and methods to transmit i/o between devices based on voice input
US10475332B2 (en) * 2017-10-25 2019-11-12 Sony Interactive Entertainment Inc. Spatial remote control
JP2019128747A (ja) * 2018-01-24 2019-08-01 株式会社富士通エフサス 起動制御装置、起動制御方法および起動制御プログラム
CN109949818A (zh) * 2019-02-15 2019-06-28 平安科技（深圳）有限公司 一种基于声纹识别的会议管理方法及相关设备
TWI750827B (zh) * 2020-09-28 2021-12-21 立新 陳 第三方控制多媒體呈現的方法
JP2022154330A (ja) * 2021-03-30 2022-10-13 株式会社アマダ 工作機械

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157941A (en) * 1998-03-18 2000-12-05 Oracle Corporation Architecture for client-server communication over a communication link
US6198996B1 (en) * 1999-01-28 2001-03-06 International Business Machines Corporation Method and apparatus for setting automotive performance tuned preferences set differently by a driver
US7533271B2 (en) * 2001-09-05 2009-05-12 Vixs Systems, Inc. Method and apparatus for remote control and monitoring of a multimedia system
KR100836617B1 (ko) * 2006-12-26 2008-06-10 삼성전자주식회사 이동통신 시스템의 원격 제어 장치 및 방법
JP2008233345A (ja) * 2007-03-19 2008-10-02 Toshiba Corp インタフェース装置及びインタフェース処理方法
EP2240910A2 (en) * 2008-01-09 2010-10-20 Johnson Controls Technology Company Bi-directional portable electronic device for interaction with vehicle systems
JP2009225396A (ja) * 2008-03-19 2009-10-01 Funai Electric Co Ltd 録画予約システム、表示装置
KR20110024435A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 제어 디바이스, 피제어 디바이스, 제어 시스템, 그리고 제어권한 제공방법
US8812657B2 (en) * 2010-04-15 2014-08-19 Qualcomm Incorporated Network-assisted peer discovery
US20120272062A1 (en) * 2011-04-20 2012-10-25 Icsn-Korea, Inc. Apparatus and method for controlling devices using portable terminal in device automation system
WO2012169679A1 (ko) * 2011-06-10 2012-12-13 엘지전자 주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치의 음성인식 시스템
WO2013022135A1 (en) * 2011-08-11 2013-02-14 Lg Electronics Inc. Electronic device and method of controlling the same
US20130073293A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
US8929954B2 (en) * 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170864A1 (en) * 2014-05-07 2015-11-12 Samsung Electronics Co., Ltd. Terminal device and remote control method thereof, mobile device and remote control method thereof
KR20150127479A (ko) * 2014-05-07 2015-11-17 삼성전자주식회사 단말 장치 및 단말 장치의 원격 제어 방법
US9838874B2 (en) 2014-05-07 2017-12-05 Samsung Electronics Co., Ltd. Terminal device and remote control method thereof, mobile device and remote control method thereof
KR20160089145A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
KR20170014532A (ko) * 2015-07-30 2017-02-08 주식회사 케이티 사용자 권한 설정 방법 및 이를 수행하는 홈 사물 인터넷 서비스 시스템
KR20170092379A (ko) * 2016-02-03 2017-08-11 삼성전자주식회사 전자장치 및 그 제어방법
WO2019054827A1 (ko) * 2017-09-15 2019-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20190031167A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN115016708A (zh) * 2017-09-15 2022-09-06 三星电子株式会社 电子装置及其控制方法
US11874904B2 (en) 2017-09-15 2024-01-16 Samsung Electronics Co., Ltd. Electronic device including mode for using an artificial intelligence assistant function of another electronic device
KR20210076622A (ko) * 2019-12-16 2021-06-24 주식회사 엔씨소프트 온라인 서비스 접속 제어 장치 및 방법
KR20210076884A (ko) * 2019-12-16 2021-06-24 주식회사 엔씨소프트 온라인 서비스 접속 제어 장치 및 방법
US11729173B2 (en) 2019-12-16 2023-08-15 Ncsoft Corporation Apparatus and method for online service access control
US12120121B2 (en) 2019-12-16 2024-10-15 Ncsoft Corporation Apparatus and method for online service access control

Also Published As

Publication number Publication date
US20130300546A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
KR20130116107A (ko) 단말의 원격 제어 방법 및 장치
US10834432B2 (en) Method, device and system for in-sequence live streaming
JP6064050B2 (ja) ルータアクセス制御方法、ルータアクセス制御装置、及びネットワークシステム
US10242168B2 (en) Methods and apparatuses for controlling smart device
CN105634881B (zh) 应用场景推荐方法及装置
US11568868B2 (en) Voice control method and apparatus, and computer storage medium
WO2018157721A1 (zh) 信息获取方法、提供方法、装置及系统、存储介质
WO2016185809A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11356562B2 (en) Transferring an active telephone conversation
CN103620620A (zh) 在设备交互中使用空间信息
CN110224920B (zh) 一种分享方法及终端设备
CN109313535B (zh) 提供远程键盘服务
CN106254910B (zh) 一种记录图像的方法和装置
CN103906010A (zh) 多个终端间同步消息的方法、机器可读存储介质和服务器
WO2017054585A1 (zh) 网络接入方法、装置及系统
WO2017050090A1 (zh) 生成gif文件的方法、设备及计算机可读存储介质
EP3275160A1 (en) Technologies for a seamless data streaming experience
EP3920057A1 (en) Proximity based personalization of a computing device
KR20140036532A (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
CN114761926A (zh) 一种信息获取方法、终端及计算机存储介质
CN114077227A (zh) 页面切换方法、装置、场景控制面板、设备及存储介质
CN116980851A (zh) 车机间子程序分享方法、装置、电子设备和存储介质
KR20130106691A (ko) 에이전트 서비스 방법, 이를 위한 전자 기기, 서버 및 기록 매체
JP5954067B2 (ja) 通信制御方法、情報処理システムおよびプログラム
KR102263977B1 (ko) 정보 제공을 수행하기 위한 방법, 장치, 및 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid