KR20050046580A

KR20050046580A - 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법

Info

Publication number: KR20050046580A
Application number: KR1020040092105A
Authority: KR
Inventors: 김두현; 안성호; 곽지영; 이은령; 김지용; 설동명; 비노드조셉
Original assignee: 한국전자통신연구원
Priority date: 2003-11-14
Filing date: 2004-11-11
Publication date: 2005-05-18
Also published as: US20050283532A1; US7584280B2; KR100651729B1

Abstract

홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 장치 및 방법이 개시된다. 입력처리 에이전트는 소정의 입력 장치로부터 제공되는 입력을 입력 블록, 입력 형태, 우선 순위 및 랭킹 중에서 적어도 하나의 기준에 의해 분류하여 출력한다. 입력협력 에이전트는 입력처리 에이전트로부터 제공되는 입력들에 대한 실시간 분석을 수행하여 사용자의 상황을 기초로 상응하는 입력 형태에 대해 사전에 정의된 출력동작을 획득하고, 입력처리 에이전트로부터 제공되는 입력들에 대한 개연성 추론을 수행하여 사용자의 상황을 기초로 가능성있는 출력동작을 획득한다. 에이전트 서버는 입력 협력 에이전트에 의해 획득된 출력동작을 기초로 사용자의 상황에 대응하는 홈네트워크에서 활용가능한 출력자원을 획득한다. 본 발명에 따르면, 사용자에게 사용자 입력 데이터와 보안 상황을 위한 멀티-모달 입력을 제공할 수 있고, 사용자 요구조건에 대응하여 사용자 인터페이스를 포함하는 디바이스의 설정상태를 동적으로 변경할 수 있으며, 사용자의 상황에 기초한 출력을 생성할 수 있다.

Description

홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법{System and method for multi-modal context-sensitive applications in home network environment}

본 발명은 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법에 관한 것으로, 보다 상세하게는, 다양한 사용자를 위한 멀티-모달 입력을 동적으로 관리하고 상황의 요구를 적합하게 하는 장치 및 방법에 관한 것이다.

본 발명은 Jagannathan 등의 미국특허번호 제6496871호(발명의 명치: 컴퓨터 네트워크에서 개선된 프로세스 이동성 및 통신을 갖는 분배된 에이전트 소프트웨어 시스템 및 방법)과 관련된다. 또한, 본 발명은 Abbott 등의 미국공개특허번 제2003-0046401호(발명의 명칭: 적절한 컴퓨터 사용자 인터페이스를 다이내믹하게 결정하는 방법)과 관련이 있다.

Jagannathan 등의 특허 초록에는 사용자에게 네트워크로서 접속된 복수의 잠재적으로 이종 컴퓨터가 제공된 분배된 소프트웨어 시스템 및 방법이 기재되어 있다. 시스템은 보호 도메인을 포함하는 적어도 하나의 에이전트를 포함하며, 적어도 하나의 에이전트의 보호 도메인은 복수의 컴퓨터중 적어도 2개상에 존재한다. 복수의 객체는 적어도 하나의 에이전트의 보호 도메인 내에 포함되며, 제1객체는 적어도 2개의 컴퓨터중 제1컴퓨터에 존재하며, 제2객체는 적어도 2개의 컴퓨터중 제2컴퓨터에 존재한다. 객체는 시스템의 프로그래머에 의해 적어도 2개의 컴퓨터 중에서 선택적으로 이동할 수 있다. 제1컴퓨터상의 제1객체는 위치-투명 또는 네트워크-투명 방식으로, 즉, 제2컴퓨터상의 제2객체의 물리적 주소의 인지없이, 그리고 제1컴퓨터 및 제2컴퓨터중 제1객체 또는 제2객체의 선택적인 이동에 상관없이 제2컴퓨터상의 제2객체에 접속한다. 에이전트는 네트워크내의 다른 기계나 기계들로 전체 또는 일부가 이동한다. 각각의 분배된 에이전트는 네트워크의 기계중 하나, 몇몇 또는 다수로 분배될 수 있다. 프로세스 실행동안에도 에이전트의 이동이 직접적으로 이루어지며, 이 경우에도 네트워크의 일관성이 유지된다. 특히, 다른 에이전트는 임의의 사전 통지없이 에이전트로 이동한 후에 특정 에이전트에 계속 접속한다.

Jagannathan 등에 의한 이러한 연구는 주로 네트워크 통신 시스템에서 소프트웨어 에이전트 코드 및 그것의 위치에 대한 설계를 다룬다. 그것은 객체 태스크, 에이전트 ID와 태스크 스택 및 실행 시간 시스템상의 에이전트의 호스트로의 이동을 정의한다.

Abbott 등에 의한 연구인 "적절한 컴퓨터 사용자 인터페이스를 다이내믹하게 결정하는 방법"은 사용자에게 제공될 적절한 사용자 인터페이스(User Interface : UI)를 동적으로 결정하기 위한 방법, 시스템 및 컴퓨터 판독가능 매체를 포함한다. 임의의 상황에서 현재 UI가 사용자의 현재 상황에 적절하도록 착용 컴퓨팅 디바이스의 사용자에게 제공되는 UI를 동적으로 변형하도록 결정한다. 적절한 UI를 동적으로 결정하기 위해 현재 사용자의 상황, 실행되고 있는 현재 태스크, 활용 가능한 현재 I/O 디바이스 등에 기초한 다양한 형태의 UI 요구를 특징지울 수 있다. 그리고, 현재의 최적 또는 적절한 UI의 특징을 결정하기 위해 기존재하는 다양한 UI 설계나 템플릿이 최적 또는 적절한 상황을 확인하기 위한 특징이 될 수 있으며, 그리고 나서 가장 적절한 UI중 하나가 현재 UI 요구에 기초하여 선택될 수 있다.

Abbott 등에 의한 이러한 연구는 착용 가능한 컴퓨팅 디바이스의 사용자가 상황에 적절한 몇몇의 저장된 사용자 인터페이스중 하나를 동적으로 디스플레이하는데 용이하게 한다. 그것은 사전에 정의된 상황에 기초한 동적 사용자 인터페이스를 디스플레이하는 방법을 나타내고, 적절한 UI를 선택하기 위해 UI를 사용한다. 그러나, Abbott 등에 의한 연구는 단지 사용자 인터페이스의 보안 능력의 미리 정의된 특성만을 포함한다.

본 발명이 이루고자 하는 기술적 과제는, 홈네트워크 환경에서 사용자 요구조건을 동적으로 변경할 수 있고 사용자의 상황에 기초한 출력을 생성할 수 있는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법을 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템은, 홈네트워크 환경에서 사용자가 동적으로 구성할 수 있는 출력동작을 제공하기 위한 시스템에 있어서, 소정의 입력 장치로부터 제공되는 입력을 입력 블록, 입력 형태, 우선 순위 및 랭킹 중에서 적어도 하나의 기준에 의해 분류하여 출력하는 입력처리 에이전트; 상기 입력처리 에이전트로부터 제공되는 입력들에 대한 실시간 분석을 수행하여 사용자의 상황을 기초로 상응하는 입력 형태에 대해 사전에 정의된 출력동작을 획득하고, 상기 입력처리 에이전트로부터 제공되는 입력들에 대한 개연성 추론을 수행하여 상기 사용자의 상황을 기초로 가능성있는 출력동작을 획득하는 입력 협력 에이전트; 및 상기 입력 협력 에이전트에 의해 획득된 출력동작을 기초로 상기 사용자의 상황에 대응하는 상기 홈네트워크에서 활용가능한 출력자원을 획득하는 에이전트 서버;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법은, 홈네트워크 환경에서 사용자가 동적으로 구성할 수 있는 출력동작을 제공하기 위한 방법에 있어서, (a) 소정의 입력 장치로부터 제공되는 입력을 입력 블록, 입력 형태, 우선 순위 및 랭킹 중에서 적어도 하나의 기준에 의해 분류하여 출력하는 단계; (b) 상기 입력들에 대한 실시간 분석을 수행하여 사용자의 상황을 기초로 상응하는 입력 형태에 대해 사전에 정의된 출력동작을 획득하거나 상기 입력들에 대한 개연성 추론을 수행하여 상기 사용자의 상황을 기초로 가능성있는 출력동작을 획득하는 단계; 및 (c) 상기 획득된 출력동작을 기초로 상기 사용자의 상황에 대응하는 상기 홈네트워크에서 활용가능한 출력자원을 획득하는 단계;를 포함한다.

이에 의해, 사용자에게 사용자 입력 데이터와 보안 상황을 위한 멀티-모달 입력을 제공할 수 있고, 사용자 요구조건에 대응하여 사용자 인터페이스를 포함하는 디바이스의 설정상태를 동적으로 변경할 수 있으며, 사용자의 상황에 기초한 출력을 생성할 수 있다.

에이전트는 플랫폼 상에 위치하며, 인터페이스를 통하여 환경과 통신하는 코드이다. 에이전트는 정지 또는 이동될 수 있다. 정지 에이전트는 실행할 플랫폼과 환경상에서만 실행한다. 이와 달리, 모바일 에이전트는 다른 도메인이나 플랫폼에서 실행되며, 한 시스템에서 다른 시스템으로 이동할 수 있다.

홈 서버는 가정내의 홈 네트워크를 통하여 모든 홈 네트워크 디바이스와 멀티미디어 콘텐츠 서비스를 관리하는 중추적인 역할을 하도록 개발되었다. 홈 서버는 디지털 텔레비전, 홈 서버에 부착된 카메라를 지닌 감시 장치, 메시징 서버뿐만 아니라 스트리밍 서버, 데이터 마이닝 서버 또는 사용자의 요구에 기초한 홈 제어기로서 활용될 수 있다.

입력 장치를 폭 넓게 배치함으로써 홈 네트워킹 데이터 트래픽의 개선이 촉진된다. 카메라, 마이크로폰, 스케치 인식기, 제스쳐 인식기 및/또는 텍스트와 같은 다양한 장치로부터의 가능성 있는 과도한 입력들은 동시에 관리되어야 한다. 따라서, 홈 서버는 가정에서 모든 사용자가 용이하도록 함께 동작하는 다중 집적 사용자 에이전트를 갖는 멀티-모달 입력을 용이하게 사용하도록 개선되어야만 한다. 또한, 출력은 사용자 상황에서의 변화에 기초하여 동적으로 변화되어야 한다. 디스플레이의 크기가 작아지고 사용자가 활용 가능한 일련의 특징들이 지속적으로 늘어나고 있는 기술추세에서 소형의 출력장치상에 모든 사용자를 위한 모든 특징들을 출력하는 것은 매우 어렵다. 따라서, 디스플레이는 적응적이어야 하며, 사용자의 요구에 대한 상황의 인식이 가능하여야 한다.

한편, 복수의 입력 요구로부터의 동적 상황 인식 홈 환경에서의 멀티-모달 입력의 관리는 홈 환경 서버의 현재 구조를 변화시킨다. 홈 서버에 접속된 다중 입력과 출력 디바이스가 있으면, 패스워드를 사용한 단순한 디바이스 인증 관리는 실행할 수 없게 된다. 또한, 모바일 디바이스는 모바일 에이전트를 지원하고, 사용자 입력, 국소화 및 보안 상황 인식을 위한 입력의 크기를 수집하기 위해 개선될 필요가 있다.

한편, 이와 같은 동적 기반구조에서의 보안이 시도되고 있다. 통상적인 보안 방법은 동적 상황 인식 사용자 요구조건을 관리하는데 적합하지 않다. 본 발명은 상황을 동적으로 적응시키기 위하여 모바일 에이전트 디지털 서명을 사용하여 다수의 사용자를 관리하기 위한 각각의 인터페이스 입력 디바이스에서의 모바일 에이전트를 제안한다. 에이전트들은 모바일 베이스 에이전트와 게이트웨이 에이전트를 통해 인터페이스하며, 사용자의 요구조건의 요구를 동적으로 적응시킨다.

홈네트워크 환경에서 모바일 에이전트를 사용하는 이점은 주로 과도한 디바이스가 동작하는 사용자 시나리오와 애드혹 환경의 변화에 기인한다. 모바일 에이전트는 베이스 에이전트와의 관계에서 비동시적으로, 동시적으로, 또는 자율적으로 구동되며, 출력을 홈서버에 제공한다. 또한, 상당한 메모리 제한을 갖는 다이내믹 디바이스의 존재는 모바일 에이전트를 용이하게 한다. 그것들은 상응하는 디바이스 용량에 기초하여 다운로드될 필요가 있으며, 피어(peer) 에이전트는 베이스 에이전트로부터 구동될 수 있다. 모바일 에이전트는 다른 다양한 프로토콜을 밀봉하며, 입력과 보안 상황 정보를 베이스 에이전트로 제공하기 위한 임의의 베이스 네트워크 토폴로지와 함께 끊임없이 동작할 수 있다. 모바일 에이전트는 네트워크에서 몇몇 노드로 분배될 수도 있다. 에이전트는 디바이스 구성 및 용량에 기초하여 상응하는 디바이스로 동적으로 로드된다. 입력 서브 에이전트는 사용자 구성과 디바이스 특징에 기초하여 동적으로 활성화된다. 마이크로폰, 카메라 및 텍스트 입력을 갖는 디바이스를 위해 디바이스 음성 입력 서브 에이전트, 제스처 입력 서브 에이전트, 및 텍스트 입력 서브 에이전트가 로드된다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법이 적용되는 홈네트워크 환경을 도시한 도면이다.

도 1을 참조하면, 가정에 구비된 홈서버(100)는 인터넷과 공중전화망(Public Switched Telephone Network : PSTN)을 통해 외부와 연결된다. 홈서버(100)는 랜, 무선랜, 블루투스 등 다양한 통신수단을 이용하여 가정에 구비된 장치들과 접속한다. 홈서버(100)와 연결되어 있는 장치들을 접속수단별로 구분하면 다음과 같다. 먼저, 무선랜의 엑세스 포인트(110)을 통해 PDA(112),무선전화(114), 컴퓨터(116) 및 게임기(118)가 홈서버(100)에 연결된다. 다음으로, 유선랜을 통해 컴퓨터(120), TV(122), 프로젝터(124), 복수의 센서(126, 128), 복수의 감시카메라(130, 132, 134) 등이 홈서버(100)에 연결된다. 이외에 휴대전화(140), 블루투스모듈을 탑재한 컴퓨터(150) 등이 홈서버(100)에 연결될 수 있다.

이와 같은 프로파일을 갖는 홈네트워크에 있어서 사용자는 복수의 입력 디바이스를 구성할 수 있다. 홈서버(100)는 모든 홈디바이스(112 내지 150)의 동작을 위한 중앙처리장치로서 동작한다. 사용자는 홈서버(100)에 부착된 개인 디스플레이 장치나 프로젝터(124)상으로 표시될 출력을 구성할 수 있다. 출력은 사용자 프로파일과 사용자 구성에 기초하여 단일 디스플레이나 복수의 디스플레이를 통해 출력된다.

도 1에 도시된 홈네트워크가 구비된 집에 사용자가 혼자 있을 때, 사용자가 모든 디바이스상에 디스플레이될 출력을 구성하는 시나리오를 상정할 수 있다. 침입자가 집에 들어오거나 창문을 통하여 보고 있다고 가정하면, 디스플레이는 사용자 구성에 기초하여 개인 프로파일 세팅으로 변경함에 있어서 동적으로 적응되어야 한다. 블루투스, 무선랜 등을 통해 홈서버(100)로 정보를 전송하는 감시카메라(130, 132, 134) 및/또는 센서(126, 128)와 같은 다양한 입력장치들에 의해 침입자의 존재가 감지될 수 있다. 이와 같은 홈네트워크 구조를 적용하면 사용자는 통상적인 패스워드 방식 이외에 카메라로부터의 국소화입력, 센서로부터의 센서입력 및 생체측정과 음성인식을 사용하여 침입을 감지하기 위해 함께 동작하는 많은 보안에이전트를 용이하게 구성할 수 있다.

상술한 시나리오를 확대적용하면 사용자가 가족 구성원을 감독할 수 있다. 디스플레이는 가족 프로파일을 동적으로 감지하여 사용자에 의해 주문된 가족 프로파일을 디스플레이한다. 이 때 최적의 가능성 있는 동작 유형을 결정하기 위해 모바일 에이전트와 혼성 협력 구조가 사용된다.

도 2는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템의 기본구조를 도시한 도면이다.

도 2를 참조하면, 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템(200)은 베이스 에이전트(210), 모바일 에이전트(220), 입력 에이전트(230), 복제 베이스 에이전트(240), 게이트웨이 에이전트(250), 음성 서브 에이전트(260), 및 동작 서브 에이전트(270)로 구성된다.

베이스 에이전트(210)는 홈 서버(100)내에 위치하며, 에이전트 플랫폼이 존재한다. 도 2에 도시된 기본구조는 디바이스가 입력 에이전트(230)로부터의 입력을 수신하게 하고, 대응하는 디바이스에서 출력을 모바일 에이전트(220)로 접속시킬 수 있게 한다. 출력은 요청에 기초하여 게이트웨이 에이전트(250)나 복제 베이스 에이전트(240)로 전송될 수 있다. 복제 베이스 에이전트(240)는 홈서버(100)가 정상적으로 동작하지 않는 경우에 에이전트 상태와 값의 복제를 용이하게 한다. 게이트웨이 에이전트(250)는 적절히 정의된 인터페이스를 통하여 외부 인터넷 도메인이나 PSTN에 접속한다. 게이트웨이 에이전트(250)는 외부 세계, 즉 모바일상의 사무실로부터 모바일 에이전트(220)의 원격 동작에 매우 중요하다. 그러나, 이러한 동작은 기본설정에 의해서는 가능하지 않으며, 단지 신뢰성있는 디바이스에 대해 사용자가 설정한 구성상에서만 활용가능하다.

모바일 에이전트(220)는 베이스 에이전트(210)나 사용자 구성에 기초한 복제 베이스 에이전트(240) 상에 배치될 수 있다. 예를 들면, 사용자가 홈서버(100)로의 인터페이스를 갖는 무선 전화로 작업을 한다고 가정하면, 베이스 에이전트(210)는 텍스트 입력 이외의 다른 입력을 허용하지 않는다. 사용자는 모바일 에이전트(220)의 이러한 동적 이동성으로 인하여 사용자 프로파일용 입력을 수신하기 위하여 홈서버(100)에서 카메라 입력 에이전트를 구성할 수 있다. 몇몇의 입력 에이전트(230)는 생체 인식과 국소화를 위한 카메라 입력, 일반적인 행동 패턴을 위한 텍스트 입력, 행동 기반 입력 인식을 위한 제스처 입력 및 국소화와 다른 정보를 위한 센서를 포함하는 디바이스를 위해 구성될 수 있다.

음성 서브 에이전트(260)는 기본설정에 의해 사용자의 프로파일 홈 디바이스만을 위해 활성화될 수 있다. 음성 서브-에이전트(260)는 음성 인식 용량을 갖는 임의의 구성 가능한 모바일 에이전트(220)로부터 입력을 수신하도록 변형될 수 있지만, 사용자는 동일한 입력 형태의 다중 입력을 수신하기 위하여 하나 이상의 디바이스를 구성할 수 없다. 동작 서브 에이전트(270)는 모바일 에이전트(220)로의 인식과 입력을 위해 음성 서브 에이전트(260)와 유사하게 사용될 수 있다.

이러한 시스템은 사용자가 동적 적응성 인식 및 사용을 위한 멀티-모달 입력을 용이하게 구성할 수 있다. 사용자는 사용자 특성을 정의하는 몇몇의 프로파일을 구성할 수 있으며, 각각의 프로파일은 입력 에이전트(230)로 공급된 상황 인식 데이터에 기초하여 동적으로 적응될 수 있다. 데이터는 동적으로 처리되며, 시스템은 변경된 사용자와 상황 인식 조건에 적합하게 된다.

멀티-모달 입력은 입력 처리 에이전트(212)로 공급된다. 입력 처리 에이전트(212)는 입력을 입력 형태, 입력 카테고리, 입력값으로 분류하고, 입력 문자열을 수신하며, 유사한 입력을 입력 협력 에이전트(214)로 공급한다. 입력 협력 에이전트(214)는 실시간 추론과 분석 및 혼성 협력 구조에 기초한 일련의 유사한 입력들을 처리한다. 입력 유형들을 위한 2개의 가능성 있는 동작 시나리오가 저장되며 에이전트 서버(216)로 전송된다. 에이전트 서버(216)는 출력을 비교하고, 비교 알고리즘에 기초한 가능성 있는 최적의 동작을 수행한다. 그 다음, 에이전트 서버(216)는 가능성있는 최적의 출력을 출력 디바이스로 공급한다.

도 3은 홈 기반 동작을 위한 모든 개별 모듈을 갖는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템의 구성을 도시한 도면이다. 도 3에는 게이트웨이 에이전트로의 접속을 위한 구조가 존재하지 않는다.

도 3을 참조하면, 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템(300)은 입력 모듈(310), 기본 모듈(330), 및 출력 모듈(350)를 구비한다.

입력 모듈(310)은 입력을 수신하는 디바이스이며, 출력 모듈(350)은 출력을 디스플레이하는 디바이스이다. 입력 모듈(310)과 출력 모듈(350) 및 베이스 모듈(330)은 동일한 디바이스 또는 개별적인 디바이스 상에 존재할 수 있다. 예를 들면, PDA로부터 입력을 수신하고, 홈서버에 접속된 프로젝터 상에 출력을 디스플레이 하는 경우, 입력 모듈(310)은 PDA이며, 출력 모듈(350)은 홈 서버내에 위치한다. 프로젝터는 물리적 포트상의 홈 서버에 물리적으로 접속된다. 그리고 나서, 출력 모듈(350)을 위한 소프트웨어는 에이전트 플랫폼이 위치한 기본 모듈(330) 내에 위치한다. 유사한 시나리오에 의하면 홈 환경내의 동적 모바일 에이전트의 선택이 동적 적응성 동작을 용이하게 한다는 것을 알 수 있다. 기본설정 프로파일은 동일한 디바이스 상의 입력 모듈(310)과 출력 모듈(350)을 사용하며, 홈 서버상의 기본 모듈(330)과 원격으로 상호작용한다.

입력 모듈(310)은 입력 디바이스의 부팅시 초기화부(320)를 활성화시킨다. 입력 모듈(310)은 신호를 연속적으로 구동하는 디바이스 검색 에이전트(342)로 전송한다. 유사하게, 출력 모듈(350)의 초기화부(358)는 현재 사용자 구성 및 전체 시스템을 위해 입력 및 출력 디바이스의 리스트를 활성으로 유지하는 디바이스 검색 에이전트(342)에 의해 인식된다.

기본 모듈(330)의 초기화 에이전트(344)는 플랫폼과 클래스 로더를 로드한다. 기본 모듈(330)의 보안 에이전트(340)는 디바이스 검색 에이전트(342) 상에서 활성화된 모바일 에이전트이며, 현재 사용자를 확인하기 위해 동작한다. 상이한 보안 서브 에이전트들이 디바이스를 동작시키도록 설정될 수 있다. 이러한 보안 서브 에이전트들은 사용자를 인식하기 위한 멀티-모달 입력으로 작용하며, 멀티-모달 입력의 기본설정을 로드한다. 보안 에이전트(340)는 사용자 관리 에이전트(338)에게 현재 사용자 상황을 알려주며, 사용자 관리 에이전트(338)에게 동적으로 변화하는 보안 상황을 알리기 위해 연속적으로 작업한다. 보안 상황은 사용자 프로파일에 밀도 있게 집적되도록 정의된다.

입력 모듈(310)의 보안 에이전트(318)는 보안 상황에서의 변화를 확인하기 위하여 사용자 프로파일을 위해 구성된 상이한 보안 서브 에이전트를 사용한다. 입력 디바이스를 위해 구성된 보안 서브 에이전트는 센서 서브 에이전트, 카메라 국소화 서브 에이전트, 음성 인식 서브 에이전트, 생체 인식 서브 에이전트, 지문 인증 서브 에이전트 및 텍스트 패스워드 보안 서브 에이전트를 포함한다. 출력 모듈(350)의 보안 에이전트(356)은 선택적으로 구비되며 입력 모듈(310)의 보안 에이전트(318)의 구성 및 기능과 동일하므로 상세한 설명은 생략한다.

다양한 형태의 보안 구성은 사용자 프로파일을 위해 동작하도록 정의된 보안 상황상에서 동적으로 동작하기 위한 사용자 관리 에이전트(338)의 실례인 출력 모듈(350)의 프로파일 관리자(354)와 함께 사용자 프로파일 및 상호작용내에 밀도 있게 집적된다. 사용자 관리 에이전트(338)는 현재 사용자 프로파일 및 상황 상태에 기초하여 출력을 얻기 위하여 에이전트 서버(336)에 결합된다.

에이전트 서버(336)는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템(300)의 동작에 있어서 중추적인 구성요소이며, 모든 다른 에이전트와 상호작용한다. 그에 따라 복제 모델은 여유용량(redundancy)을 가능하게 하고, 오작동의 배제가 용이하다. 에이전트 서버(336)는 디바이스 검색 에이전트(342)로부터 수신된 정보를 기초로 도메인하의 모든 디바이스의 기록을 유지한다. 복제된 베이스 에이전트나 임의의 피어 베이스 에이전트로의 복제 인터페이스는 추후 상술한다. 게이트웨이 에이전트로의 인터페이스는 피어 에이전트 인터페이스와 유사하다.

사용자의 성공적인 인증시, 상응하는 기본설정 사용자 인터페이스는 실시간 출력과 보안 근거를 용이하게 수행하도록 초기에 로드된다. 사용자는 사용자의 프로파일 세팅 변경시 디스플레이될 상황 기반 출력을 용이하게 하도록 설정할 수 있다. 기본 모듈(330)의 사용자 인터페이스 에이전트(334)는 모든 사용자 상황과 사용자를 위한 프로파일을 저장하고, 시스템적으로 정의된 동적 프로파일을 사용자들이 정의하고 사용자 요구에 기초하여 새로운 프로파일과 상황을 부가하는데 용이하도록 한다. 입력 모듈(310) 및 출력 모듈(350)의 사용자 인터페이스 에이전트(316, 352)는 기본 모듈(330)의 사용자 인터페이스 에이전트(334)의 동작 및 기능과 동일하므로 상세한 설명을 생략한다. 이후 기본 모듈(330)의 사용자 인터페이스 에이전트(334)는 모든 입력 모바일 에이전트를 모바일 디바이스로 로드한다.

로드된 입력 에이전트(312)는 사용자 구성에 기초한다. 이것은 사용자를 위해 구성된 상응하는 입력 에이전트 디바이스와 입력 디바이스를 위한 디바이스 용량에 기초하여 상이한 입력 서브 에이전트(314-1, 314-2)를 동적으로 로드한다. 이와 달리 입력 형태중 하나의 입력 서브 에이전트만 로드될 수도 있다. 입력 에이전트 시스템(332)은 입력 처리 에이전트와 도 2를 참조하여 설명한 입력 협력 에이전트를 구성한다.

도 4는 입력 처리 에이전트와 사용자 모바일 입력 에이전트의 접속관계를 도시한 도면이다.

도 4를 참조하면, 입력 처리 에이전트(400)에는 사용자 모바일 입력 에이전트(410), 기타 입력 에이전트(430) 및 입력 협력 에이전트(440)가 접속된다. 기타 입력 에이전트(430)가 사용자 모바일 입력 에이전트(410)를 위해 동작하도록 구성될 수 있다. 사용자를 위해 구성되며 대응하는 디바이스 용량에 기초하여 설정되는 음성 입력 서브 에이전트(412), 카메라 입력 서브 에이전트(414), 스케치 입력 서브 에이전트(416), 텍스트 입력 서브 에이전트(418) 및 기타 입력 서브 에이전트(420)는 입력을 입력 처리 에이전트(400)에 제공한다.

입력 처리 에이전트(400)는 사용자 입력을 위해 구성된 모든 멀티 입력을 수집하며, 입력 유형에 기초한 우선 순위를 할당한다. 입력 형태에 기초한 우선 순위는 사용자에 의해 정의된다. 단일 입력의 구성은 시스템이 정규 단일 입력 디바이스로서 동작할 수 있게 한다. 우선 순위 0이 가장 높은 우선 순위이고, 기본설정에 의해 텍스트 입력 서브 에이전트(418)가 가장 높은 우선순위로 할당된다. 사용자는 사용자의 모바일 디바이스를 위해 구성된 상이한 입력 형태를 위한 상응하는 우선 순위를 변경하도록 사용자의 프로파일 세팅을 변경할 수 있다. 입력 처리 에이전트(400)도 에이전트에 의해 수신된 입력을 위한 시스템 정의된 랭킹을 할당한다. 랭킹은 인터페이스에서 수신된 입력의 품질에 기초하여 0부터 10까지의 등급으로 주어진다.

입력 처리 에이전트(400)는 가장 높은 우선 순위 및 가장 높이 랭크된 입력을 입력 협력 에이전트(440)로 공급하고, 그 다음으로 다른 멀티-모달 입력과 랭킹 및 우선 순위를 입력 협력 에이전트(440)로 공급한다. 입력 협력 에이전트(440)는 사전 분석과 개연적 속성을 갖는 협력 알고리즘에 기초하여 입력 처리 에이전트(400)로부터 공급받은 입력들을 처리하여 가장 바람직한 동작을 생성한다. 이상의 처리를 완료한 후 입력 협력 에이전트(440)는 추가적인 동작과 자원 출력을 위해 실시간 처리에 의한 출력과 멀티-모달 분석에 의한 출력을 에이전트 서버(450)에 공급한다. 이러한 입력을 처리하기 위한 에이전트 서버(450)의 구조는 후술한다.

도 5는 에이전트 서버에 의한 자원의 접촉 및 획득절차를 도시한 도면이다.

도 5를 참조하면, 에이전트 서버(500)는 홈 자원 에이전트(520)와 게이트웨이 자원 에이전트(530)와의 접촉을 책임지는 에이전트이다. 출력 동작에 기초하여 에이전트 서버(500)는 자원요청을 자원 에이전트(510)로 출력한다.

자원 에이전트(510)는 홈 자원 에이전트(520)에 요청하기 위하여 홈 네트워크 도메인 내에서 활용가능한 출력이 존재하는지 확인한다. 그 밖에 자원 에이전트(510)는 자원요청을 외부로부터 상응하는 자원을 얻는 게이트웨이 자원 에이전트(530)로 출력한다. 자원 에이전트(510)는 요청된 자원을 활용가능하게 하도록 스레드(thread)를 에이전트 서버(500)로 분기하며, 요청된 출력을 응답 방법에 의해 에이전트 서버(500)로 복귀 전송한다. 에이전트 서버(500)는 요청 시퀀스로 응답하기 위하여 몇몇 스레드를 심의한다. 에이전트 서버(500)는 출력을 수신할 때까지 스레드 정보 베이스(502)내의 요청 상태를 유지하고, 요청 스레드를 액티브로 유지하며, 상응하는 요청 질의(504)에 대한 완전한 응답을 수신한다. 이상과 같은 자원 획득 절차는 에이전트 서버(500)와 홈 자원 에이전트(520) 및/또는 게이트웨이 자원 에이전트(530)외에도 적용된다.

도 6은 사용자 관리 에이전트를 사용하는 에이전트 서버와 출력 모듈 사이의 상호작용을 도시한 도면이다.

도 6을 참조하면, 사용자 관리 에이전트(610)와 에이전트 서버(600)는 사용자 프로파일에서의 동적 변화와 이에 대해 출력 동작에서의 상응하는 변화를 용이하게 하도록 밀집되게 결합된 인터페이스 상에서 상호작용한다. 사용자 관리 에이전트(610)의 프로파일 관리자(612)는 사용자의 선호에 기초하여 사용자 프로파일 관리를 지원한다. 사용자 프로파일은 상응하는 상황에 기초하여 동적으로 변한다.

사용자 관리 에이전트(610)와 연결된 보안 에이전트(630)는 보안 상황에서의 임의의 변화를 프로파일 관리자(612)에게 통지하며, 그 결과 사용자 관리 에이전트(610)가 상황 인식 변화에 동적으로 적응하는 것이 가능하다. 출력 모듈(620)의 프로파일 관리자(622)는 사용자를 위해 인가된 상황 프로파일에 기초한 상이한 출력을 출력 모듈(620)에 저장하며, 그 결과 디스플레이 환경에서의 고도로 동적인 변화에 용이하게 적응할 수 있게 된다. 적응적인 동적 변화는 사용자 선호에 기초하여 사용자에 의해 불가능 또는 가능하게 될 수 있다. 출력 모듈(620)의 보안 에이전트(624)는 보안 상황에서의 임의의 변화를 프로파일 관리자(622)에게 통지한다.

도 7은 입력 처리 에이전트로부터의 입력 수신시 입력 협력 에이전트의 동작을 도시한 도면이다.

도 7을 참조하면, 입력 처리 에이전트(710)는 입력 블록, 입력 형태, 우선 순위 및 랭킹에 기초하여 입력을 분류하며, 최고 우선 순위 및 최고 랭크의 입력을 실시간 분석 에이전트(726)와 멀티-모달 입력 분석 에이전트(722)로 전송한다.

실시간 분석 에이전트(726)는 입력 처리 에이전트(710)로부터의 입력 블록을 위한 최고 우선 순위 및 최고 랭크의 입력을 수신하고, 우선 입력 카테고리에 기초하여 입력을 분류한다. 그리고 나서, 입력 카테고리, 입력 값, 이전 입력 카테고리, 이전 입력 값, 이전 출력 동작 및 현재 상황과 이전 상황 상태에 기초하여 상응하는 입력 형태를 위한 사전에 정의된 출력을 확인하기 위하여 실시간 분석 정보 관리 베이스를 확인한다. 만약 상응하는 엔트리가 실시간 분석 정보 관리 베이스에서 발견된다면, 이전 출력 동작은 현재 출력 동작으로 정의된다. 그리고 나서, 실시간 분석 에이전트(726)의 출력 동작은 즉각적인 동작을 위해 에이전트 서버(700)로 직접 전송된다. 에이전트 서버(700)는 자신이 보유하고 있는 정보에 기초하여 적절한 자원을 접촉하며, 자원을 출력 모듈로 출력한다. 다음으로, 출력 자원은 사용자 프로파일 상황으로 변형되며, 몇몇 프로파일 특징은 프로파일 관리자에 의해 유지된다. 다음으로, 프로파일 관리자는 정확한 프로파일 출력을 출력 모듈에 부가하도록 보안 변화를 동적으로 적응시킨다.

만약, 문의된 요청을 위한 상응하는 엔트리가 실시간 분석 관리 정보 베이스에서 활용가능하지 않다면, 상응하는 상황에 대해 쿼리 상황 상태 절차가 수행된다(728). 쿼리 상황 상태 절차의 출력이 성공적이라면, 쿼리 상황 상태 절차의 출력은 현재 상황이다. 이와 달리, 상황 질의가 상응하는 입력 카테고리와 입력 값을 위하여 활용가능하지 않다면, 새로운 기록이 에이전트 서버에 의해 부가될 출력 설명을 용이하게 하도록 입력 서비스 기록 내에서 생성된다(732). 입력 서비스 기록은 후술하는 서비스 기록 데이터베이스의 서브세트이다.

만약, 현재 상황이 성공적으로 복귀되었다면, 상응하는 입력 및 자원 질의를 위해 에이전트 서버(700)로 전송된 출력에 대해 수행될 상응하는 동작을 동작 데이터베이스에게 문의한다. 이 때, 입력 카테고리와 입력 값에 대해 상응하는 동작이 발견되지 않으면, 새로운 기록은 에이전트 서버(700)에 의해 부가될 출력 설명을 용이하게 하도록 입력 서비스 기록 내에서 생성된다(734).

입력 협력 에이전트(720)의 동작의 중요한 부분은 혼성 협력 구조(724)이다. 최고 우선 순위, 최고 랭킹 입력은 입력 블록 기준에 기초한 다른 멀티-모달 입력과 함께 멀티-모달 입력 분석 에이전트(722)로 공급된다. 멀티-모달 입력 분석 에이전트(722)는 입력 블록의 일부로서 인식된 다른 입력을 수신하는 입력 이벤트 대기열을 갖는다. 입력 처리 에이전트(710)는 사용자를 위해 구성된 입력 에이전트 상에 기초한 입력 블록을 할당하며, 디바이스를 위한 모든 서브 에이전트로부터의 입력을 수신한다. 비활성 서브 에이전트는 멀티-모달 입력 분석 에이전트(722)를 지나서 처리되지 않은 제로 랭킹 입력을 제공한다. 그리고 나서, 멀티-모달 입력 분석 에이전트(722)는 멀티-모달 정보 관리 베이스를 질의하기 위해 개연성 추론을 행하며, 입력 시퀀스, 이전 동작 및 유사한 이전 입력 시퀀스 및 입력과 관련된 현재 및 이전 상황을 위해 취해질 가능성 있는 최선 동작을 획득한다. 또한, 멀티-모달 입력 분석 에이전트(722)는 다음의 가능성 있는 입력 시퀀스상에서 개연성 추론을 수행한다. 현재 상황에 기초한 최선 동작이 되도록 추론된 상응하는 동작은 자원 질의를 위한 에이전트 서버(700)로 공급된다.

멀티-모달 정보 관리 베이스 및 실시간 정보 관리 베이스는 정보 관리 베이스의 서브세트이다. 이것은 서비스 기록 데이터베이스로부터의 입력 서비스 기록의 속성과 유사하다.

다음으로, 멀티-모달 입력 분석 에이전트(722)는 입력을 위한 협력 및 병행 처리에 기초하여 블록화하는 혼성 협력 구조(724)에 입력 블록 기준에 기초한 상응하는 입력을 전송한다. 혼성 협력 구조(724)의 상세한 구성은 후술한다. 혼성 협력 구조(724)는 신경 처리 및 피드백 제어 시스템에 기초하며, 현재 입력, 이전 입력, 취해질 현재 동작, 취해진 이전 동작 및 입력에 의해 분배된 다른 입력 정의에 기초하여 동적으로 적응하게 된다. 입력 협력 에이전트(720)에서 이러한 처리 블록은 멀티-모달 입력 처리와 입력 및 동작의 가능성 있는 다음 수단의 동적인 개연성 추론을 위한 중요한 구성요소이다. 홈서버는 의미있는 메모리 제약을 갖지 않으므로 이상의 구성요소들은 홈 서버내에 위치한다.

도 8은 멀티-모달 입력을 위한 최적 출력을 처리하고 디스플레이하기 위하여 에이전트 서버내에서 수행되는 동작을 도시한 도면이다.

도 8을 참조하면, 자원 처리를 통해 상응하는 자원을 획득하기 위하여, 입력 협력 에이전트(800)는 실시간 사전 분석된 입력이나 실시간 계산된 입력을 수신된 실시간 입력 또는 멀티-모달 입력을 처리하는 에이전트 서버(810)로 공급한다. 자원을 위한 정보는 정보 관리 베이스 내에서 유지된다. 수신된 입력의 설명과 취해질 상응하는 동작은 서비스 기록 데이터베이스에 부가된다. 에이전트 서버(810)는 멀티-모달 입력으로부터의 최선 동작 출력을 위해 실시간으로 대기한다.

사전 분석된 멀티-모달 동작이나 멀티-모달 동작 정의된 혼성 구조의 수신시 에이전트 서버(810)는 다음의 동작을 수행한다.

먼저, 에이전트 서버(810)는 자원절차를 수행하여 입력 협력 에이전트(800)로부터 제공받은 입력에 상응하는 자원을 획득한다. 이 때, 입력 협력 에이전트(800)의 제1자원처리부(812) 및 제2자원처리부(816)는 각각 실시간 계산된 입력 및 사전 분석된 입력을 처리한다. 또한, 제1저장부(814) 및 제2저장부(818)는 제1자원처리부(812) 및 제2자원처리부(816)에 대응하여 구비되며, 입력 협력 에이전트(800)로부터 제공받은 입력값과 상응하는 동작을 저장한다. 비교부(820)는 입력값과 상응하는 동작을 실시간 분석 에이전트로부터 획득된 출력 동작과 비교한다. 이와 같은 비교를 위해 비교부(820)는 최선 케이스 정의 알고리즘이 사용되며, 에이전트 서버(810)는 비교결과에 따른 출력을 사용자 관리 에이전트(830)로 공급한다. 만약, 출력 동작이 비교를 위해 정의된 기준과 상이하지 않다면, 비교부(820)는 제1자원처리부(812)에 사용자 관리 에이전트(830)로 사전에 계산된 실시간 자원을 전송하도록 요청한다. 만약, 비교부(820)가 출력 동작에서 비유사성을 발견한다면, 멀티-모달 출력은 실시간 분석 출력 상에서 우위가 인정된다. 그리고 나서, 비교부(820)는 제2자원처리부(816)에 멀티-모달 절차에 의해 계산된 자원을 사용자 관리 에이전트(830)로 전송하도록 요청한다.

도 9는 피어 및 게이트 에이전트를 접촉하기 위해 모바일 에이전트에 의해 사용되는 인터페이스를 도시한 도면이다.

도 9를 참조하면, 홈 환경을 위해 정의된 모바일 에이전트의 구조는 리던던시를 위해 복제된 에이전트로 집중된다. 베이스 에이전트(900)는 에이전트 플랫폼 시스템을 가지며, 홈 환경 내에 존재할 수 있는 복수의 디바이스를 지원하기 위한 다양한 인터페이스를 사용한다. 인터페이스 구조는 병목현상을 방지하기 위해 병렬적으로 분배될 수 있다. 피어 에이전트(920)는 기술 변형에 따라 동적으로 증가하는 많은 홈 디바이스를 관리하도록 병행 동작을 용이하게 한다. 사용자는 홈 환경 내의 네트워크 로드에 기초하여 고도로 동적인 조건에 적응하기 위한 피어 에이전트(920)를 구성할 수 있다.

모바일 에이전트(910)에 대한 인터페이스는 Java/XML을 사용하여 생성된다. 원격 호출 인터페이스(902) 내에는 디바이스 용량 및/또는 사용자 구성에 기초하여 모바일 디바이스로 동적으로 다운로드되는 몇몇 모바일 에이전트 메쏘드(904)들이 존재한다. 에이전트 정보 베이스(908)는 에이전트들의 상태 및 위치와 활용 가능한 사례를 관리한다. 집중된 구조에서 피어 에이전트(920)로의 요청은 피어 에이전트 큐(906)를 통해 관리되며, 상이한 대기열이 상이한 피어 에이전트(또는 복제 베이스 에이전트)(920)를 위해 사용된다. 게이트웨이 에이전트가 기본설정된 구조에서 정의된대로 베이스 에이전트(900)에 접속된다고 가정하면, 게이트웨이 에이전트 큐는 에이전트간 프로세스 통신을 위해 정의되고 생성된다. 게이트웨이로의 요청은 보안 추론을 위한 네방향 초기처리(handshake)가 되도록 정의된다.

도 10은 입력 협력 에이전트에 구비된 혼성 협력 구조의 상세한 구성을 도시한 도면이다.

도 10을 참조하면, 혼성 협력 구조(1000)는 멀티-모달 입력 분석 에이전트(1060)로부터 입력 블록, 입력 카테고리, 입력 형태, 현재 상황 및 상응하는 입력 문자열에 기초한 입력을 수신한다. 입력은 일련의 병렬적인 반응 개연성 추론과 획득된 각각의 입력 형태를 위한 상응하는 동작을 통해 공급된다. 추론은 반응 추론부(1002, 1004, 1006)와 개연성 추론부(1012, 1014, 1016)에 의해 수행된다. 반응 추론부(1002, 1004, 1006)는 멀티-모달 입력분석 에이전트(1060)로부터 수신된 입력을 기초로 반응추론을 수행한다. 개연성 추론부(1012, 1014, 1016)는 반응 추론부(1002, 1004, 1006)의 추론결과를 기초로 멀티-모달 입력분석 에이전트로(1060)부터 수신된 입력에 대응하는 가능성있는 상황을 추론한다. 병렬 처리의 최대 가능 개수는 멀티-모달 입력을 위해 구성된 입력 형태에 의해 제한된다. 한편, 멀티-모달 입력 분석 에이전트(1060)는 제로 랭킹 정의를 갖는 입력을 무시한다.

추론과정의 수행 후 연속적으로 최적 동작 질의부(1022, 1024, 1026)에 의해 가능성 있는 최선 동작이 질의된다. 최적 동작 질의부(1022, 1024, 1026)는 반응추론부(1002, 1004, 1006) 및 개연성추론부(1012, 1014, 1016)에 의해 연속적으로 수행된 추론결과를 기초로 멀티-모달 입력분석 에이전트(1060)로부터 수신된 입력에 대해 가능성 있는 최선 동작을 질의한다. 가능성 있는 최선 동작은 유사 입력 데이터베이스(1040)내의 입력 블록 카테고리에 속하도록 추론되는 이전 입력과 입력 이벤트 대기큐(1030)에 도착한 최근 입력을 포함한 가능성 있는 모든 입력 형태를 위해 획득된다. 비유사 입력 추론부(1055)에 의해 유사하지 않도록 추론된 입력은 분석할 수반하는 입력 블록을 위한 비유사 입력 데이터 데이터베이스(1045)로 공급된다. 유사 입력 협력부(1050)는 입력 시퀀스를 위한 가능성 있는 최선 출력 동작을 확인한 후 에이전트 서버(1060)로 공급한다. 입력 이벤트 대기큐(1030)는 이러한 입력 블록 카테고리와 개연성 추론 관리 베이스(1035)로 복귀 공급된 추론을 위하여 초기화된다.

도 11은 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법의 개시시 입력 모듈과 기본 모듈에서 수행되는 절차를 도시한 도면이다. 이 때, 입력 모듈은 모바일 에이전트에 존재하고 기본 모듈은 베이스 에이전트에 존재한다.

도 11을 참조하면, 기본 모듈(330)의 초기화 에이전트(344)는 플랫폼과 클래스 로더를 로드한다(S1100). 또한, 초기화 에이전트(344)는 활성화된 입력 모듈(310)로부터의 입력을 대기하는 디바이스 검색 에이전트(342)를 활성화한다. 파워가 공급되는 상태의 모바일 에이전트의 입력 모듈(310)은 초기화절차를 개시한다(S1110). 또한, 입력 모듈(310)는 디바이스의 임의의 이전 설정이 존재하는지를 확인한다(S1115). 만약, 디바이스의 이전 설정이 존재하면 해당 설정을 기본 모듈로 전송한다(S1120). 기본 모듈(330)의 디바이스 검색 에이전트(342)는 인증 절차를 위해 입력 모듈(310)로부터 수신된 정보를 보안 에이전트(340)에게 통지한다. 디바이스의 리스트는 사용자 관리 에이전트(338) 내에서 액티브하게 유지된다. 보안 에이전트 디지털 서명은 개시시 신뢰성있는 디바이스에 영구히 저장되거나 동적으로 구성될 수도 있다. 입력 모듈(310)은 자체 내에 보안 에이전트(318)가 존재하는지를 확인한다(S1125). 만약 보안 에이전트(318)가 모바일 에이전트의 입력 모듈(310)에 존재하면, 저장된 에이전트가 재로드된다(S1130). 또한, 재로드된 에이전트는 동작을 개시하기 위해 입력 에이전트를 로드하기 시작한다(S1135). 기본설정된 보안 프로파일은 개시시 로드된다.

한편, 디비이스의 이전 설정이 존재하지 않거나 보안 에이전트가 존재하지 않으면 상응하는 입력 모듈(310)을 지원하기 위한 기본 모듈(330)로 디바이스의 특성을 전송한다(S1140). 디바이스의 특성을 수신한 기본 모듈(330)은 입력 모듈(310)을 위한 새로운 에이전트 시스템 및 보안 에이전트를 로드한다(S1145). 또한, 기본 모듈(330)은 새로운 모바일 에이전트 인터페이스를 생성하고, 디바이스 구성을 디바이스 검색 에이전트(342)로 전송한다. 아울러, 입력 모듈(310)은 새로운 에이전트를 생성한다(S1150).

도 12는 Talk2TV 홈 서버의 구성을 위한 샘플 그래픽 인터페이스를 도시한 도면이다.

도 12를 참조하면, 사용자는 컴퓨터 스크린(1200)상의 아이콘으로서 몇몇 디바이스를 구성하며, 사용자의 홈 도메인의 일부가 되도록 구성된 디바이스 상의 입력을 동적으로 활성화 및 비활성화시킬 수 있다. 사용자는 사용자의 도메인(1210)을 위해 구성된 홈 서버에 접속된 다른 디스플레이 디바이스에서의 디스플레이를 볼 수도 있다.

도 13은 사용자가 활용할 수 있는 가능성 있는 입력 구성 테이블을 도시한 도면이다.

도 13을 참조하면, 프로파일열에는 사용자의 도메인 내에서 동작하도록 구성된 다양한 프로파일들이 기재되어 있다. 사용자는 개인 프로파일, 가족, 기본설정에 의한 일반, 기타 프로파일 등을 가질 수 있다. 사용자는 사용자의 필요에 기초하여 사용자 자신의 프로파일을 동적으로 구성할 수도 있다. 입력 형태열에는 사용자 도메인을 위해 사용가능한 입력 형태가 기재되어 있으며, 사용가능한 입력 형태에는 음성, 카메라, 지역화, 텍스트 및 사용자를 위해 설정된 기타 입력 형태가 포함된다. 사용자는 자신의 요구에 기초하여 각각의 입력 형태에 대애 우선 순위를 할당할 수 있다. 이 때, 음성 입력에 최고 우선 순위를 부여하는 것을 기본설정으로 정의하는 것이 바람직하다. 랭킹은 입력 형태 품질의 시스템 정의된 테이블이다. 음성 입력의 품질이 나쁘고, 시스템이 가능성에 의해 내려진 명령을 명확히 확인할 수 없다면, 0의 낮은 랭킹이 특정 입력 형태에 부여된다. 랭킹은 입력 형태 품질에 기초하여 낮은 값 0에서 높은 값 3까지 변화한다.

입력 장치열에는 사용자의 프로파일 내의 구성을 위해 사용자가 활용가능한 입력 장치들이 기재된다. 상이한 입력 장치들이 사용자의 선택에 기초하여 활성화 또는 비활성화될 수 있다. 음성과 같은 대부분의 입력을 위해 단지 하나의 입력 장치만이 활성화될 수 있다. 카메라와 국소화 입력은 다중 장치로부터의 수신을 위해 구성된다.

도 14는 개시를 위해 베이스 에이전트와 모바일 에이전트의 구성요소 사이의 동작을 도시한 도면이다.

도 14를 참조하면, 초기화 에이전트, 클래스 로더 및 디바이스 검색 에이전트(1405)는 베이스 에이전트(1400) 시스템에서 개시된다. 디바이스 검색 에이전트는 모든 모바일 에이전트 디바이스(1455)로부터의 개시신호를 기다린다. 보안 에이전트는 베이스 에이전트(1400)의 보안 에이전트 객체(1410) 및 이에 상응하는 모바일 에이전트(1450)의 보안 객체 참조(1460)를 생성한다. 또한, 베이스 에이전트(1400) 및 모바일 에이전트(1450)에 대해 각각의 에이전트 보안 객체 인스턴스(1415, 1465)가 생성되며, 이들은 서로 인터페이스를 수행한다. 베이스 에이전트(1400) 및 모바일 에이전트(1450)의 다른 객체들(1420, 1425, 1430, 1470, 1475, 1480)은 그 다음에 생성되어 개시된다.

한편, 디바이스 검색 에이전트를 위한 샘플 분류 정의는 다음과 같이 코딩된다.

Sample Class definition for DeviceDiscoveryAgent

class DeviceDiscoveryAgent

{

private:

DeviceDiscoveryAgent();

~DeviceDiscoveryAgent();

void init(); //초기화 함수

public:

void addDeviceConfig(); //디바이스 설정 추가

void updateDeviceConfig(); //디바이스 설정 업데이트

void removeDeviceConfig(); //디바이스 설정 삭제

};

이와 같이 정의된 에이전트는 디바이스 구성의 추가, 디바이스 구성의 업데이트 및 디바이스 구성의 삭제를 용이하게 하도록 공지된 방법을 갖는다.

도 15는 보안 에이전트와 사용자 관리 에이전트의 구성요소 간의 상호작용을 도시한 도면이다.

도 15를 참조하면, 복수의 보안 서브 에이전트들(1512, 1514, 1516)은 개시시 활성화된 사용자의 상황에 기초하여 디바이스와 사용자를 구성할 수 있다. 이러한 보안 서브 에이전트들(1512, 1514, 1516)은 사용자를 확인하고, 인증, 인가 및 기밀성을 용이하게 하기 위한 개별 입력을 제공한다. 보안 서브 에이전트들(1512, 1514, 1516)에 의해 획득된 개별 입력은 멀티-모달 입력 분석 에이전트(1552)에서 분석되며, 상응하는 출력은 혼성 협력 보안 에이전트(1554)에 공급된다. 멀티-모달 입력 분석 에이전트(1552)는 모든 보안 입력을 수신하며, 사용자 도메인에 상응하는 것으로 입력을 분류한다. 그리고, 현재 사용자 도메인에 사응하는 입력만이 혼성 협력 보안 에이전트(1554)로 공급된다. 혼성 협력 보안 에이전트(1554)는 출력 동작의 가능성 있는 최선 수단을 획득하기 위해 협력 분석을 실행하며, 출력을 에이전트 서버(1570)와 프로파일 관리자(1556)로 공급한다. 프로파일 관리자(1556)는 사용자 상황에 상응하는 에이전트 서버(1570)로부터의 출력을 대기하며, 사용자의 상황 인식 요구에 동적으로 적응하도록 사용자를 위한 개별 프로파일 출력을 유지한다. 보안 상황과 에이전트 디지털 서명과 관련된 정보는 보안 정보 베이스(1558)에서 유지된다. 프로파일 관리자(1556)로부터의 출력은 상응하는 출력 디바이스상에 디스플레이된다.

도 16은 스마트폰을 위한 동적 적응성 상황의 사용예를 도시한 도면이다.

도 16을 참조하면, 게임 사용자는 일부 게임의 상황에 관하여 계속적으로 변하는 출력만을 공급할 것을 요구하며, 도시된 바와 같이 스마트폰상에 디스플레이될 사용자의 출력을 구성할 수 있다. 이러한 특징은 더 큰 동종제품에 의해 제공되는 편익성을 향상시키는 소형 디스플레이 디바이스를 용이하게 하는데 더욱 유용하다.

도 17 및 도 18은 각각 PDA 및 스마트폰 상에서 동적 적응성 상황의 사용을 위한 샘플 구성 스크린을 도시한 도면이다. 그리고, 도 19는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법이 갖는 주요한 이점들중 하나를 도시한 도면이다.

도 17을 참조하면, PDA 상에 개별적인 객체의 형태로 구현된 출력형태는 소형 스크린 디바이스 상에서 게임을 할 때 특히 유용하며, 이에 의해 이동하는 객체를 나타내기 위해 사용자가 직접 사용자 인터페이스를 구성할 수 있다. 또한, 도 18을 참조하면, 사용자는 소형의 스마트폰에 출력된 메뉴를 손쉽게 선택할 수 있다. 또한, 도 19를 참조하면, 사용자는 상황 시나리오에 기초하여 사용자의 기호에 적합하도록 일부 디바이스의 작은 디스플레이 크기를 동적으로 적응시킨다. 이것은 개연성 추론 데이터베이스와 관련되어 구성된다.

상술한 바와 같이 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법에 의하면 인터넷 브라우징 능력을 갖는 스마트폰이나 PDA에 주간에는 뉴스와 주식과 관련된 아이콘을 야간에는 음악과 영화와 관련된 아이콘을 동적으로 디스플레이할 수 있다. 이러한 동작은 개별 사용자의 사용 시나리오에 기초하여 추론된다. 아이콘은 이전 사용 시나리오에 기초한 사용 가능성에 기초하여 순환적으로 선택된다. 또한, 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법에 의하면 추론된 사용자 개별 선택 및 선호에 기초한 복수의 어플리케이션의 기술 경향을 디스플레이하기 위하여 새로운 기술 디바이스를 적응시킬 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법에 의하면, 사람 대 컴퓨터 상호작용이 통상적인 홈 환경에서 차세대 입력과 보안 요구조건에 동적으로 적응시키고, 인가되지 않은 사용을 방지하고 인지되지 못한 집에서 발생하는 범죄를 방지하기 위한 보안 확인을 용이하게 하는 방식을 실현할 수 있다. 또한, 사용자에게 사용자 입력 데이터와 보안 상황을 위한 멀티-모달 입력을 제공할 수 있고, 사용자 입력 시퀀스에 가능한 최선의 해법을 제공하기 위하여 실시간 분석과 결합된 병행 처리를 사용하는 혼성 구조를 사용함으로써 사용자 요구조건에 대응하여 사용자 인터페이스를 포함하는 디바이스의 설정상태를 동적으로 변경할 수 있으며, 사용자의 상황에 기초한 출력을 생성할 수 있다.

도 1은 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법이 적용되는 홈네트워크 환경을 도시한 도면,

도 2는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템의 기본구조를 도시한 도면

도 3은 홈 기반 동작을 위한 모든 개인 모듈을 갖는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템의 구성을 도시한 도면

도 4는 입력 처리 에이전트와 사용자 모바일 입력 에이전트의 접속관계를 도시한 도면,

도 5는 에이전트 서버에 의한 자원의 접촉 및 획득절차를 도시한 도면,

도 6은 사용자 관리 에이전트를 사용하는 에이전트 서버와 출력 모듈 사이의 상호작용을 도시한 도면,

도 7은 입력 처리 에이전트로부터의 입력 수신시 입력 협력 에이전트의 동작을 도시한 도면,

도 8은 멀티-모달 입력을 위한 최적 출력을 처리하고 디스플레이하기 위하여 에이전트 서버내에서 수행되는 동작을 도시한 도면,

도 9는 피어 및 게이트 에이전트를 접촉하기 위해 모바일 에이전트에 의해 사용되는 인터페이스를 도시한 도면,

도 10은 입력 협력 에이전트에 구비된 혼성 협력 구조의 상세한 구성을 도시한 도면,

도 11은 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법의 개시시 입력 모듈과 기본 모듈에서 수행되는 절차를 도시한 도면,

도 12는 Talk2TV 홈 서버의 구성을 위한 샘플 그래픽 인터페이스를 도시한 도면,

도 13은 사용자가 활용할 수 있는 가능성 있는 입력 구성 테이블을 도시한 도면,

도 14는 개시를 위해 베이스 에이전트와 모바일 에이전트의 구성요소 사이의 동작을 도시한 도면,

도 15는 보안 에이전트와 사용자 관리 에이전트의 구성요소 간의 상호작용을 도시한 도면,

도 16은 스마트폰을 위한 동적 적응성 상황의 사용예를 도시한 도면,

도 17 및 도 18은 각각 PDA 및 스마트폰 상에서 동적 적응성 상황의 사용을 위한 샘플 구성 스크린을 도시한 도면, 그리고,

도 19는 본 발명에 따른 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템 및 방법이 갖는 주요한 이점들중 하나를 도시한 도면이다.

Claims

홈네트워크 환경에서 사용자가 동적으로 구성할 수 있는 출력동작을 제공하기 위한 시스템에 있어서,

소정의 입력 장치로부터 제공되는 입력을 입력 블록, 입력 형태, 우선 순위 및 랭킹 중에서 적어도 하나의 기준에 의해 분류하여 출력하는 입력처리 에이전트;

상기 입력처리 에이전트로부터 제공되는 입력들에 대한 실시간 분석을 수행하여 사용자의 상황을 기초로 상응하는 입력 형태에 대해 사전에 정의된 출력동작을 획득하고, 상기 입력처리 에이전트로부터 제공되는 입력들에 대한 개연성 추론을 수행하여 상기 사용자의 상황을 기초로 가능성있는 출력동작을 획득하는 입력 협력 에이전트; 및

상기 입력 협력 에이전트에 의해 획득된 출력동작을 기초로 상기 사용자의 상황에 대응하는 상기 홈네트워크에서 활용가능한 출력자원을 획득하는 에이전트 서버;를 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
제 1항에 있어서,

상기 입력처리 에이전트는 음성입력 에이전트, 카메라 입력 에이전트, 스케치 입력 에이전트, 및 텍스트 입력 에이전트 중에서 적어도 하나를 포함하는 입력 에이전트로부터 제공되는 입력들을 상기 입력들에 대해 설정된 우선 순위 및 상기 입력의 품질을 기초로 결정된 랭크에 따라 순차적으로 상기 입력협력 에이전트로 공급하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
제 1항에 있어서,

상기 입력협력 에이전트는,

상기 입력처리 에이전트로부터 제공된 입력의 카테고리, 입력값, 이전 입력의 카테고리, 이전 입력값, 이전 출력동작 및 현재 상황과 이전 상황을 기초로 상응하는 입력형태에 대해 사전에 정의된 출력동작을 획득하는 실시간 분석 에이전트;

상기 입력처리 에이전트로부터 제공된 입력에 대해 개연성 추론을 수행하여 입력 시퀀스, 이전 출력동작, 유사한 이전 입력 시퀀스, 및 입력과 관련된 현재와 이전의 상황에 대해 취할 수 있는 가능성있는 출력동작을 획득하는 멀티-모달 입력분석 에이전트; 및

상기 멀티-모달 입력분석 에이전트로부터 입력 블록, 입력 카테고리, 입력 형태, 현재 상황 및 상응하는 입력 문자열에 기초한 입력을 수신하고, 수신된 입력을 기초로 반응추론 및 개연성 추론을 수행하여 상기 입력에 대한 가능성있는 출력동작을 획득하는 혼성 협력 구조;를 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
제 3항에 있어서,

상기 혼성 협력 구조는,

상기 멀티-모달 입력분석 에이전트로부터 수신된 입력을 기초로 반응추론을 수행하는 반응추론부;

상기 반응추론부의 추론결과를 기초로 상기 멀티-모달 입력분석 에이전트로부터 수신된 입력에 대응하는 가능성있는 상황을 추론하는 개연성추론부;

상기 반응추론부 및 상기 개연성추론부에 의해 연속적으로 수행된 추론결과를 기초로 상기 멀티-모달 입력분석 에이전트로부터 수신된 입력에 대해 가능성 있는 최선 동작을 질의하는 최적동작질의부; 및

상기 멀티-모달 입력분석 에이전트로부터 수신된 입력을 위한 가능성 있는 최선 출력 동작을 확인한 후 상기 에이전트 서버로 공급하는 유사입력협력부;를 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
제 1항에 있어서,

현재 사용자를 인증하고 인증된 사용자에 대응하는 프로파일 및 상황을 파악하는 보안 에이전트; 및

상기 보안 에이전트에 의해 파악된 상기 현재 사용자의 프로파일 및 상황을 상기 에이전트 서버를 통해 상기 입력협력 에이전트로 전달하고, 상기 현재 사용자의 프로파일 및 상황을 기초로 상기 현재 사용자의 상황에 대응하는 상기 홈네트워크에서 활용가능한 출력자원에 따른 사용자 인터페이스를 획득하는 사용자 관리 에이전트;를 더 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
제 1항 또는 제 5항에 있어서,

상기 홈네트워크를 통해 연결되어 있는 장치들을 검색하고, 검색된 장치들에 대한 설정정보를 획득하는 디바이스 검색 에이전트를 더 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
제 1항 또는 제 5항에 있어서,

상기 사용자의 프로파일 및 상황을 저장하고, 사용자의 요구에 기초하여 새로운 프로파일과 상황을 부가하는 사용자 인터페이스 에이전트를 더 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 시스템.
홈네트워크 환경에서 사용자가 동적으로 구성할 수 있는 출력동작을 제공하기 위한 방법에 있어서,

(a) 소정의 입력 장치로부터 제공되는 입력을 입력 블록, 입력 형태, 우선 순위 및 랭킹 중에서 적어도 하나의 기준에 의해 분류하여 출력하는 단계;

(b) 상기 입력들에 대한 실시간 분석을 수행하여 사용자의 상황을 기초로 상응하는 입력 형태에 대해 사전에 정의된 출력동작을 획득하거나 상기 입력들에 대한 개연성 추론을 수행하여 상기 사용자의 상황을 기초로 가능성있는 출력동작을 획득하는 단계; 및

(c) 상기 획득된 출력동작을 기초로 상기 사용자의 상황에 대응하는 상기 홈네트워크에서 활용가능한 출력자원을 획득하는 단계;를 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법.
제 8항에 있어서,

상기 입력장치는 음성입력 에이전트, 카메라 입력 에이전트, 스케치 입력 에이전트, 및 텍스트 입력 에이전트 중에서 적어도 하나를 포함하고,

상기 (a)단계에서 상기 입력들에 대해 설정된 우선 순위 및 상기 입력의 품질을 기초로 결정된 랭크에 따라 순차적으로 상기 입력들을 출력하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법.
제 8항에 있어서,

(d) 현재 사용자를 인증하고 인증된 사용자에 대응하는 프로파일 및 상황을 파악하는 단계; 및

(e) 상기 파악된 상기 현재 사용자의 프로파일 및 상황을 기초로 상기 현재 사용자의 상황에 대응하는 상기 홈네트워크에서 활용가능한 출력자원에 따른 사용자 인터페이스를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법.
제 8항 또는 제 10항에 있어서,

(f) 상기 홈네트워크를 통해 연결되어 있는 장치들을 검색하고, 검색된 장치들에 대한 설정정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법.
제 8항 또는 제 10항에 있어서,

(g) 상기 사용자의 프로파일 및 상황을 저장하고, 사용자의 요구에 기초하여 새로운 프로파일과 상황을 부가하는 단계를 더 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법.
제 8항에 있어서,

상기 (b)단계는,

(b1) 상기 입력 장치로부터 제공되는 입력을 기초로 반응추론을 수행하는 단계;

(b2) 상기 반응추론부의 추론결과를 기초로 상기 입력 장치로부터 제공되는 입력에 대응하는 가능성있는 상황을 추론하는 단계;

(b3) 상기 연속적으로 수행된 추론결과를 기초로 상기 입력 장치로부터 제공되는 입력에 대해 가능성 있는 최선 동작을 질의하는 단계; 및

(b4) 상기 입력 장치로부터 제공되는 입력을 위한 가능성 있는 최선 출력 동작을 확인하여 출력하는 단계;를 포함하는 것을 특징으로 하는 홈네트워크 환경에서의 멀티-모달 상황 인식 어플리케이션을 위한 방법.