KR20060093008A - 네트워크 내 장치들에 의해 이용가능하게 만들어진태스크들을 순위 매기는 방법 및 시스템 - Google Patents

네트워크 내 장치들에 의해 이용가능하게 만들어진태스크들을 순위 매기는 방법 및 시스템 Download PDF

Info

Publication number
KR20060093008A
KR20060093008A KR1020050130607A KR20050130607A KR20060093008A KR 20060093008 A KR20060093008 A KR 20060093008A KR 1020050130607 A KR1020050130607 A KR 1020050130607A KR 20050130607 A KR20050130607 A KR 20050130607A KR 20060093008 A KR20060093008 A KR 20060093008A
Authority
KR
South Korea
Prior art keywords
task
ranking
combinations
devices
tasks
Prior art date
Application number
KR1020050130607A
Other languages
English (en)
Other versions
KR100728021B1 (ko
Inventor
아누기타 군지타파탐
미툰 세사기리
알란 메써
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060093008A publication Critical patent/KR20060093008A/ko
Application granted granted Critical
Publication of KR100728021B1 publication Critical patent/KR100728021B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/281Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814Exchanging control software or macros for controlling appliance services in a home automation network

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Small-Scale Networks (AREA)

Abstract

홈 네트워크의 장치들에 걸쳐 이용 가능한 태스크들의 순위 매기기를 도모하는 방법 및 시스템. 태스크들은 사용자와 기본 장치들이 수행할 수 있는 하이-레벨 동작들에 대한 사용자 레벨 설명들이다. 어떤 사용자에 대한 태스크들을 순위 매김으로써, 본 발명은 태스크들의 유용성 및 실행 가능성을 비교 및 파악하는데 들이는 노력의 최소화를 꾀한다. 그렇게 할 때, 사용자에게 가능한 태스크들의 개수가 줄어들 수 있고, 소정 사용자 및 장치에 있어서 최고 우선 순위를 갖는 태스크가 그 사용자에게 "가장 있을 법한" 제안된 태스크로서 어플리케이션 소프트웨어에 의해 이용될 수 있다.

Description

네트워크 내 장치들에 의해 이용가능하게 만들어진 태스크들을 순위 매기는 방법 및 시스템{Method and system for prioritizing tasks made available by devices in a network}
도 1은 본 발명에 따른, 태스크들의 우선 순위 매기기에 대한 실시예를 구현하는 네트워크의 예를 도시한 것이다.
도 2는 본 발명에 따른, 태스크들을 우선 순위 매기는 제어기에 대한 실시예의 기능적 블록도를 도시한 것이다.
도 3은 본 발명에 따른, 태스크들을 우선 순위 매기는 방법의 일실시예의 흐름도를 도시한 것이다.
본 발명은 일반적으로 네트워크 내의 태스크들을 나타내는 것에 관한 것으로서, 특히 홈 네트워크와 같은 네트워크 내 장치들에 의해 이용 가능하게 만들어진 태스크들을 순위 매기는 것에 대한 것이다.
네트워크화된 다수의 소비자 가전 기기들이 사용되는 홈 네트워크 환경에서, 사용자가 실행에 이용 가능한 태스크들의 개수는 잠정적으로 크다고 할 수 있다. 이러한 이용가능한 태스크들 사이에서, 어떤 태스크들은 이들의 현재 상황으로 인해 사용자와 완전히 무관할 수도 있고, 어떤 태스크들은 나머지 태스크들과 비교할 때 비교적 덜 관련된 것이어서 사용자에 의해 실행될 가능성이 적은 것들일 수 있다. 이러한 것은 (1) 태스크가 사용자가 현재 사용중인 장치와 무관한 장치들을 이용할 수 있고, (2) 태스크가 다른 공간에 있는 여러 장치들을 이용하고, 사용자가 요청한 결과를 볼 수 있을 것 같지 않기 때문에 현재의 장치를 다른 공간에 있는 디스플레이 장치와 조합하는 것이 가능할 것 같지 않다는 것과 같은 여러 이유들에 의해 일어날 수 있다.
통상적으로, 시스템은 장치들을 발견하고 그에 따라 애드 호크(ad-hoc) 환경에서 사용 가능한 서비스들을 발견한다. 이러한 시스템은, 한데 모을 수 있는 서비스들을 더 식별하여 최종적으로 가능한 서비스 조합을 사용자에게 제시한다. 모아진 서비스 조합들을 사용자에게 제공할 때, 시스템은 어떤 사용자 설정 사항들의 집합 및 사용자의 실행 이력에 기반하여 서비스들을 점수 매기고(score) 가장 높은 점수를 가진 서비스를 사용자에게 디스플레이한다. 그러나, 이러한 시스템에서, 서비스들은 사용자의 상황을 고려하지 않고 사용자의 설정사항들 및 실행 이력에 기반해 랭크(rank)되므로 특정한 때에 사용자 의도를 반영하지 못하는 방식으로 서비스들을 순위 매기는 결과를 가져온다.
본 발명의 목적은 상술한 문제점을 극복하기 위해, 홈 네트워크의 장치들 사이에서 이용 가능한 태스크들의 순위 매기기를 도모하는 방법 및 시스템을 제공하 는 데 있다.
본 발명은 홈 네트워크의 장치들 사이에서 이용 가능한 태스크들의 순위 매기기를 도모하는 방법 및 시스템을 제공한다. 이 태스크들에는 사용자가 기본 장치들을 이용해 수행할 수 있는 하이-레벨 동작들에 대한 사용자 레벨 설명이 포함된다. 사용자를 위해 태스크들을 순위 매김하여, 본 발명은 태스크들의 유용성 및 실행 가능성을 비교 및 파악하는데 필요한 노력을 최소화하는 것을 목표로 한다. 그렇게 함으로써, 사용자에게 가능한 것으로서 보여지는 태스크들의 수가 줄어들 수 있고, 소정 사용자에 대해 가장 높은 우선 순위의 태스크로 식별된 태스크가 그 사용자에 대해 제안된 '가장 있음직한' 태스크로서 어플리케이션 소프트웨어에 의해 사용될 수 있다. 또, 하위의 우선 순위를 가진 것으로 식별된 태스크들은 어플리케이션에 의해 사용자가 가장 덜 선택할 것 같은 태스크들로서 해석될 수 있다. 예를 들어, 서로 다른 공간(rooms)에 있는 장치들과 연관되는 어떤 태스크가 있을 수는 있지만, 아마도 십중팔구는 사용자에 의해 선택되지 않을 것이다.
정확한 우선 순위를 제공하기 위해, 본 발명은 특정 사용자의 상황에 기반하여 태스크들의 우선 순위 매기기를 가능하게 하며, 일반적으로는 그 태스크들에 필요한 장치들, 시스템 내 장치들, 그리고 시스템 내 장치들의 속성들 등과 같은 요인들에 기반하여 태스크들의 우선순위 매기기를 가능하게 함으로써, 사용자가 선호하고 실행하기 가장 가능할 것 같은 태스크들을 식별할 수 있도록 한다.
본 발명의 이러한 특징들, 그리고 다른 특징들, 양태들 및 이점들은 첨부된 도면을 참조한 이하의 설명으로부터 보다 잘 이해될 수 있을 것이다.
일 실시예에서, 본 발명은 홈 네트워크 내 장치들을 통해 이용할 수 있는 태스크들의 순위 매기기를 도모하는 방법 및 시스템을 제공한다. 이 태스크들에는 기본 장치들을 이용하여 사용자가 수행할 수 있는 하이-레벨(high-level) 동작들의 사용자 레벨 설명이 포함된다. 사용자를 위한 태스크들의 우선 순위 매김을 통해, 본 발명은 태스크들의 유용성 및 실행 가능성을 비교하고 파악하는데 필요한 노력을 최소화하도록 꾀할 수 있다. 그렇게 함으로써, 사용자에게 가능하다고 보여진 태스크들의 개수가 줄어들 수 있고, 소정 사용자에게 가장 높은 우선 순위로서 식별된 태스크가, 그 사용자에게 제안된 '가장 있을 법한' 태스크로서 어플리케이션 소프트웨어에 의해 사용될 수 있다. 또, 하위의 우선 순위를 가진다고 식별된 태스크들은 어플리케이션에 의해 사용자가 선택할 가능성이 적은 태스크들이라고 해석될 수 있다. 예를 들어, 서로 다른 공간에 있는 장치들을 연계하는 태스크가 있을 수는 있으나, 십중팔구 그것은 사용자에게 선택되지 않을 것이다.
정확한 우선 순위 매기기를 제공하기 위해, 본 발명은 사용자의 상황에 기반하고, 일반적으로는 태스크에 필요한 장치들, 시스템 내 장치들, 및 시스템 내 장치들의 속성들 등과 같은 요인들에 기반하는, 특정 사용자를 위한 태스크들의 우선 순위 매기기를 가능하게 함으로써, 사용자가 가장 선호하고 실행할 가능성이 높은 태스크들을 식별할 수 있게 한다.
한 구성을 통해, 본 발명은 (1) 사용자의 위치를 포함하는 사용자의 상황, (2) 태스크들을 브라우징/선택하기 위해 사용자에 의해 사용되는 장치, (3) 각각의 태스크에 사용되는 장치들의 위치, (4) 태스크를 실행하는데 필요한 장치의 품질 및 수용능력 등과 같은 다양한 요인들에 기반하여, 한 태스크의 관련 정도를 추정하는 제어기를 사용자에게 제공한다. 제어기는 추정된 관련 정도에 기반해 각 태스크에 대한 점수를 배정하고, 그 점수에 기반해 태스크들을 순위화하고, 이 태스크들의 리스트를 클라이언트 사용자 인터페이스(UI)에서 활용을 위해 이용할 수 잇게 한다.
클라이언트 어플리케이션이, (1) 태스크 점수의 순위에 의해 사용자에게 태스크 리스트를 제공하고, 이때 리스트의 상위에 가장 관련된 것으로 식별된 것들이 오게 하고 덜 관련된 것들은 그 아래에 오게 하며, (2) 사용자에게 상위 몇 개의 태스크들만을 제공하고, (3) 사용자로부터의 최초 요청에 따라 가장 부합하는 태스크를 선택하도록 리스트를 이용하고 (가령, 사용자가 '재생' 및 '침실'을 선택했을 때, 가장 부합하는 아이템은 '침실에서 와이드 스크린으로 DVD를 재생한다'는 것이 될 것이다), (4) 리스트의 최상위 아이템을, 사용자가 가장 이용할 가능성이 큰 태스크의 권고 사항 또는 디폴트 선택사항으로서 이용하는 등의 동작을 포함하는 다양한 방식들을 통해 태스크 리스트를 이용할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 홈 네트워크와 같은 네트워크(10)의 전형적인 기능적 구성을 도시한 것으로서, 이 구성에서 홈 네트워크 내 장치들을 통해 이용 가능한 태스크들의 순위 매기기를 도모하는 방법이 구현된다. 네트워크(10)는 장치들(20)(가령 콘텐츠를 포함하는 서버 장치들) 및 장치들(30)(가령, GUI를 디스플레이하도록 비주얼 인터페이스를 가진 클라이언트 장치), 네트워크(10)를 다른 네트워크(50)(가령, 다른 홈 네트워크, 인터넷 등)와 연결하는 옵션으로서의 인터페이스(40)를 포함한다. 장치들(20 및 30)은 각각 독립된 것으로서 도시되고 있으나, 하나의 물리적 장치에 하나 이상의 클라이언트 장치들 및/또는 서버 장치들이 포함될 수도 있다.
장치들(20 및 30)은 각각, 이들 사이의 통신 및 프로토콜을 위해 HTTP 프로토콜을 구현할 수 있다. 이 명세서에서는 예로서 HTTP 프로토콜이 네트워크(10)에 의해 사용되고 있지만, 이 분야의 당업자들이라면 클라이언트-서버 모델을 이용하는 다른 네트워크 통신 프로토콜들과도 본 발명이 작동한다는 것을 알 수 있을 것이다. 서버 장치(20)의 예로서 VCR, DVD, 컴퓨터 등을 들 수 있다. 또, 클라이언트 장치(30)의 예로서 TV, 컴퓨터 등을 들 수 있다.
또 네트워크(10)는 상술한 것과 같이 다양한 요인들에 기반하여 사용자에게 어떤 태스크와의 관련 정도를 추정하는 적어도 하나의 제어기(60)를 포함한다. 도 2는 네트워크에서 클라이언트 프로그램들(가령, 클라이언트 1, 클라이언트 2,...클라이언트 N)과 상호 동작하는 제어기(60)의 기능 블록도를 도시한 것이다.
제어기(60)는 사용자에 이해 사용되는 장치 및 그 위치와 같은 사용자 상황 정보를 모으는 콘텍스트 관리자 모듈(62)을 포함한다. 이 예에서, 각 장치의 위치는 (설치시 설정된) 장치 자체나, (자신들의 위치를 제공할 수 없는 장치들을 위한) 설정(configuration) 파일 등에 의해 제공된다. 사용자의 클라이언트 프로그램을 실행하는 장치들/설정 파일들은 "쿠키(cookie)"로 불려지는 하나의 부가적 정보를 또한 포함한다. 사용자가 클라이언트 프로그램을 시작할 때, 클라이언트 프 로그램이 제어기(60)로 쿠키를 보낸다. 제어기(60)는 클라이언트 프로그램에 의해 제공된 그 쿠키를 장치 설정 파일들 안의 쿠키와 맞춰본다. 클라이언트 쿠키에 부합하는 쿠키를 가진 장치의 위치가 사용자의 위치로서 식별된다.
마지막으로, 콘텐츠 메타데이터가 콘텐츠의 위치를 포함한다. 콘텐츠 메타데이터는 콘텐츠에 대한 정보를 포함한다. 예를 들면, 한 음악 파일이 트랙 이름, 아티스트, 앨범, 트랙 번호, MIME-타입 등을 보유한다. 본 발명의 일실시예에 따르면, 시스템에 추가적 메타데이터가 제공된다. 예를 들어, 위치 정보가 콘텐츠 메타 데이터에 추가된다. 이러한 데이터는 콘텐츠의 위치를 사용자 위치와 상관시킬 수 있게 한다.
콘텐츠의 위치는 콘텐츠를 생성하거나 저장하는 장치의 위치로부터 결정된다. 위치 정보는 또한 장치상의 GPS와 같은 센서들로부터 얻어질 수도 있다. 홈네트워크 내 어떤 가전 기기들(CE)에는 위치 센서들이 부착되지 않을 것이지만, 그러한 위치 센서들의 사용을 본 발명에서 고려할 수 있다.
홈 네트워크 내 기기들이 일단 발견되면, 태스크(task) 생성 모듈(70)이 그 장치들로부터 태스크 및 장치 설명(descriptions)을 모으고 이들 설명에 기초하여 홈 네트워크에서 수행할 수 있는 태스크들을 결정한다. 태스크 생성 모듈(70)은 (1) 각각이 한 장치가 수행할 수 있는 기능을 설명한 하나 이상의 장치 기능 설명들, 및 (2) 각각이 소정 태스크가 요구하는 장치 기능을 설명하고 있는 하나 이상의 태스크 설명들을 얻는다. 그런 다음 태스크 생성 모듈(70)은 태스크들의 조합들을 생성하고, 이때 한 태스크는 한 사용자가 장치들을 사용해 수행할 수 있는 하 이-레벨 동작들의 사용자 레벨 설명을 포함한다. 일례에서, 사용자 레벨 설명은 획득된 태스크 설명들과 장치 기능 설명들에 기반하는 태스크 제안 (데이터)을 포함한다(즉, 각각의 태스크 제안은 하나 이상의 상기 획득된 장치 기능 설명들 및 태스크 설명들에 기반하는 한 사용자 태스크를 나타낸다). 조정자 모듈에 의해 생성된 태스크들의 조합은 태스크 조합들(TC, Task Combinations)이라 불리며, 한 태스크 조합을 실행하는데 필요한 장치들의 집합을 장치 조합들이라 부른다.
제어기(60)는 우선 순위 매김 모듈(64)을 더 포함한다. 우선 순위 매김 모듈(64)에 따르면, 태스크 조합들은, 장치에 의해 지원되는 사양들, 및 장치 및 사용자의 상황에 기초해 이 조합들을 점수 매기는 정책들의 집합에 기반하여 점수가 매겨진다. 이러한 랭킹의 결과가 점수의 그룹들이나 레벨들로부터 형성된 점수들의 집합이다. 각각의 점수 레벨은 상황의 중요도 레벨을 나타낸다. 그 점수 레벨 안에는, 아이템들이 장치 점수들과 같은 이차적 요인들에 따라 랭크되어 있다. 이와 같이, 상황의 부합 레벨에 맞는 최선의 장치들이 우선적으로 나타난다(즉, 그 레벨에 대한 정책에 완전히 부합하는 것들이 그 레벨의 정책의 일부에만 부합되는 다른 것들보다 상위로 랭크될 수 있다). 그렇게 하는 것이 단순한 정수들을 이용하는 점수의 범위가 산출될 수 있게 하면서, 다른 조합들의 점수들을 바뀌게 하지 않으면서 새 장치들이 홈 네트워크로 진입하고 탈퇴하는 것을 가능하게 한다.
이러한 순위 매김에 영향을 주는 요인들은 태스크/장치 못지 않게 사용자와도 관련이 있다. 따라서, 한 사용자에게 높은 우선 순위의 태스크들이라도 다른 홈 네트워크들 사이에서는 다를 수 있는데, 이는 이 홈 네트워크들이 서로 다른 장 치들을 포함할 수 있기 때문이다. 또, 한 홈 네트워크 내 한 공간에 있는 동일한 사용자는 이력(history), 환경 설정사항이나 보안/액세스 제한에 기반하여 서로 다른 태스크들을 가질 수 있다. 또, 이력이나 학습에 기반한 순위 매김이 점수를 매기는 동작이나 카테고리 분류시에 추가될 수 있다.
사용자 위치 정보에 더하여, 우선 순위 매김 모듈(64)은 다양한 장치 속성들 및 이들이 다른 속성들과 어떻게 비교되는지에 대한 정보를 제공하는 장치 제조자에 의해 제공되는 장치 설명을 이용해 장치의 기능 정보를 판단한다. 장치 설명들은 장치들의 기능들, 예를 들어, 어떤 장치가 미디어 저장매체인지의 여부나, 출력 장치(렌더러)인지의 여부 등을 제공한다. 또, 장치 설명들은 스크린 크기와 같은 속성 정보와, 속성값들 사이의 관계의 유형 및 속성값들 사이의 차의 크기의 표시(특정 속성 유형에 대한 비교 스케일)를 포함한다. 예를 들어, 스크린 크기는 인치 단위로 재어 진다. 2 인치는 1 인치의 두 배인 반면, 데시벨로 측정되는 소리에서 2 dB은 1 dB의 100 배이다.
한 동작 예에서, 장치 속성들은 태스크 생성 모듈(70)의 랭킹 방식에 의해 두 가지 타입으로 분류되는데, 그 분류 타입은 숫자 표시 속성들(NA, Numeric attributes) 및 비숫자 표시 속성들(NNA, Non-numeric attributes)을 포함한다. 예를 들어, 스크린 크기와 같은 한 NA 값은 '~ 보다 크다'는 관계를 이용해 처리된다: 단순히 NA의 크기에 따라 60 인치 TV는 30 인치 TV 보다 우선한다.
또, NNA 값들은 동일한 속성에 대해 이들과 다른 NNA 값들 사이의 상대적 점수에 의해 점수를 얻는다. 예를 들어, '보다 낫다'와 '동일하다'는 관계가 두 개 의 NNA들을 비교하는데 사용된다. NNA 설명은 또 "우수한 정도'(우수성)를 표시하는 '상대적 점수' 속성을 포함한다. 이 '상대적 점수' 및 '우수성'으로부터, NNA 값들에 대한 스케일이 계산될 수 있다. 다른 점수 매기기의 타입들 역시 사용될 수 있다.
이러한 속성 정보를 이용하여, 각각의 속성이 그와 관련된 점수를 가지는 식으로 된 테이블이 만들어진다. 스케일이 일정하도록 하기 위해, 그것은 새 장치들이나 기술들이 홈 네트워크에 진입할 때에만 그 테이블이 다시 산출되도록 저장된다(cached). 또, 테이블은 새 장치/기술이 스케일의 상위나 하위 바운드에 영향을 미칠 때에만 재산출된다. 각각의 장치에 대한 점수는 그 장치에 의해 지원되는 속성들의 점수들을 더함으로써 계산된다.
도 3의 기능 블록도를 참조하면, 네트워크의 동작 예에서, 새 장치 이벤트, 태스크 설명 및 장치 설명을 포함하는 정보가, 네트워크의 장치들(20, 30)(가령, 장치 1, 장치 2, 장치 3, 등)에 의해 제어기(60)로 주어진다. 태스크 생성 모듈(70)이 그 새 장치 이벤트들, 태스크 설명들 및 장치 설명들을 이용하여 점수화되지 않은 태스크 조합들(가령, 장치 1을 이용한 태스크 A, 장치 2를 이용한 태스크 B, 장치 3을 이용한 태스크 C 등)과, 태스크를 이루는 개별적 장치들의 점수들(가령, 장치 1(점수 100), 장치 2(점수 7), 등)을 우선 순위 매김 모듈(64)로 제공한다. 우선 순위 매김 모듈은 개별적 장치의 점수들을 이용하여 태스크 조합들을 점수화하여 점수 매겨진 태스크 조합들(가령, 장치 1(점수 100)을 이용한 태스크 A, 장치 2(점수 7)를 이용한 태스크 B, 장치 1 및 장치 2(점수 107)를 이용한 태스크 C 등)을 생성한다. 그렇게 하여 점수 매겨진 태스크 설명이 클라이언트 어플리케이션들(가령, 장치 1의 클라이언트 1, 장치 2의 클라이언트 2, 등등)로 보내지지만, 점수는 사용자 선택/상호동작의 상황에 기초해 각각의 클라이언트 프로그램 마다 조정된다. 클라이언트 1 및 클라이언트 2로 보내진 태스크 점수는 순위 매기기의 이차 레벨로 인해 우선 순위 매김 모듈(64)에 의한 점수에서 변하게 된다; 순위 매기기의 첫 번째 레벨은 그 태스크에 필요로 되는 장치들의 기능과 품질에 기반해 수행되고, 순위 매기기의 두 번째 레벨은 사용자의 상황(가령, 사용자의 위치 및 가내에서 사용가능한 태스크들을 브라우징하는데 사용되는 장치)에 기반해 수행된다.
제어기(60)의 한 예에서, 이하에서 설명될 도 4의 흐름도의 전형적 단계들이 우선 순위 매김 모듈(64)에서 사용되어 태스크 생성 모듈(70)에 의해 생성된 태스크 조합들을 점수화한다. 전형적 점수 매기기는 네트워크 내에서 가전 기기를 이용할 때의 일반적인 사람의 대화형 의미구조에 기초한다.
도 3과 함께 도 4의 흐름도를 참조할 때, 다음의 단계들이 수행된다:
1. 사용자와 무관한 상황에 기초해 장치들의 일반적 순위 매기기(ranking)를 수행한다(80 단계). 이 단계는 다음의 단계들을 더 포함한다:
1.1: 82 단계로서, 장치 위치들에 기반하여 태스크 조합들(TC)을 소팅한다. 이때 홈 네트워크의 동일한 공간에 위치된 장치들을 갖는 TC들이 가장 높게 랭크되어 제1그룹(TC-그룹 1)을 형성한다. 이 제1그룹 다음으로, 동일한 공간에 있는 장치들과 모바일 기기들을 가진 TC들을 포함하는 제2그룹(TC-그룹 2)이 뒤따 른다. 제3그룹(TC-그룹 3)은 같은 공간에는 있지 않지만 같은 층을 공유하는 장치들(이들 중 일부는 모바일 기기일 수 있다)을 가진 TC들을 포함한다. 제4그룹(TC-그룹 4)은 하나의 알려지지 않은 위치에 있는 장치들을 갖는 TC들을 포함하고, 제5그룹(TC-그룹 5)는 여러 개의 알려지지 않은 위치들에 있는 장치들을 갖는 TC들을 포함한다. 즉,
TC-그룹 1: 동일한 공간(방)에 있는 장치들
TC-그룹 2: 동일한 공간의 장치들과 모바일 기기들
TC-그룹 3: 같은 층에 있지만 다른 공간(방)에 있는 장치들
TC-그룹 4: 알려지지 않은 위치를 갖는 하나의 장치
TC-그룹 5: 알려지지 위치를 갖는 다수의 장치, 및 알려진 위치에 있지만 서로 다른 층에 있는 장치들.
1.2: 84단계로서, 장치 속성들에 기반하여 장치 조합들의 랭킹을 산출하며, 이때 TC 리스트(TCL)의 각 TC에 상술한 랭킹 체계를 이용한 장치 조합 점수가 배정된다.
2. 86단계에서 사용자 상황에 기반해 장치의 순위 매기기가 이뤄지고, 클라이언트 프로그램이 시작된 후 클라이언트-위치 및 클라이언트-장치이름이 우선 순위 매김 모듈(64)로 보내진다(88 단계). 다음의 단계들이 더 포함된다:
2.1: 90 단계에서 클라이언트 장치의 위치에 기반하는 TC들이 소팅이 이뤄지고, 여기서 그룹 1의 TC들(TC-그룹1)이 다시 순위 매겨진다. 클라이언트 장치가 위치한 공간(방)과 같은 공간을 가진 TC들이 현재의 태스크 조합 리스트의 최 상위에 오게 된다. 클라이언트 장치가 모바일 기기이면, 이 단계는 생략된다. 모바일 기기들은 보통 '알려지지 않은' 위치에 있게 되는데, 그것은 이들의 위치가 위치 센서들이 없으면 결정될 수 없기 때문이다.
2.2: 92 단계에서는 클라이언트 장치 정보를 이용하여 상기 다섯 개의 그룹들 각각을 소팅하는데, 이때 상기 다섯개의 그룹들의 각각 안에서, 클라이언트 장치의 하나 이상의 존재를 가지는 TC들이 모여 한 그룹이 되고 최상위로 올려진다. 이 단계는 그룹 당 최대 두 개의 서브 그룹들을 생성한다. 클라이언트 장치는 사용자에게 GUI를 보이는 것 외에 태스크에도 참여할 수 있다. 이와 같이, 사용자가 특정 장치를 사용하여 시스템과 대화할 때, 그 사용자는 가령 영화를 재생하거나 음악을 재생하기 위해 동일한 장치를 사용하고 싶어할 가능성이 매우 높다. 따라서, 클라이언트 장치가 개입된 태스크들이 우선 순위 리스트의 위로 올라간다.
2.3: 94 단계에서는 장치 속성들을 이용하여 하나의 서브 그룹에 속하는 TC들을 순위 매김하며, 이때 상기 단계를 소팅한 후에, 최대 다섯 개의 그룹들과 열 개의 서브 그룹들이 나온다. 이 그룹들 각각은 0 또는 그 이상의 TC들을 포함할 수 있다. 서브 그룹 안에서 TC들을 소팅하기 위해, 장치 속성들이 활용된다. 태스크 조합 랭킹 체계가 고유한 점수를 각각의 태스크 조합에 할당한다.
상술한 단계들의 결과가 카테고리들로 그룹 지어진 점수들의 집합이다(가령, 같은 공간에 있는 모든 장치들을 가진 태스크 조합들에 대해서는 100-200의 점수, 동일한 공간의 렌더러(renderer)들을 갖는 조합들에 대해서는 200-300의 점수, 등 등). 이러한 점수 매김을 통해, 사용자의 상황이 반영되어 이 사용자 상황(가령 위치)과 장치들의 상황에 가장 잘 부합하는 조합들이 다른 조합들(가령, 원거리 공간에 있는 것들)보다 높은 우선 순위를 가지게 된다.
도 2를 다시 참조하면, 제어기(60)는 태스크 생성 모듈(70)과, 클라이언트들에게 태스크 권고안을 제공하는 상황별 태스크 권고자(CTR, Contextual Task Recommender)(65)를 포함한다. 제어기(60)는 상황별 태스크들의 우선 순위 리스트를 활용하여 그에 따라 자신의 동작을 변경할 수 있는데, 예를 들면 상호 관련된 변경에 기초해 옵션사항일 수 있는 CTR(65)을 이용하는 태스크들을 제안하는 등의 동작을 수행할 수 있다. CTR(65)은 소정 정책들에 따라 태스크들을 제안한다. 예를 들면, 사용자가 그 정책의 규칙들을 바꿈으로써 시스템의 양태를 제어할 수 있다. 상황별 태스크 권고자(65)는 네트워크에서 새로운 장치나 새로운 콘텐츠가 각각 발견될 때마다 새 장치 이벤트 또는 새 콘텐츠 이벤트를 통해 작동이 유발된다. CTR(65)을 작동 유발할 수 있는 통상적 사용자 동작들에는, 가령, TV를 켠다든가, 오디오 CD를 장치에 넣는다든가 하는 등의 동작이 포함된다. 상황의 판단과 태스크들의 권고는, 어떤 주어진 시간에 사용자가 사용할 수 있는 콘텐츠 및 장치들의 정보를 계속해서 얻어냄으로써 수행된다.
여기 설명된 순위 매김 방식을 위해 구현된 일차적 실시예가 홈 네트워크 환경에 대한 것이라고 해도, 이 분야의 당업자라면 사무실 공간, 공항 등과 같은 다른 유형의 환경에서도 본 발명이 적용될 수 있음을 알 수 있을 것이다.
본 발명은 소정의 바람직한 버전들을 참조하여 상당히 자세히 설명되었지만, 다른 버전들 역시 있을 수 있다. 따라서, 첨부된 청구항들의 개념과 범위는 여기 포함된 바람직한 버전들의 설명에만 국한되어서는 안 될 것이다.
본 발명의 홈 네트워크의 장치들 사이에서 이용 가능한 태스크들의 순위 매기기를 도모하는 방법 및 시스템을 제공하여, 사용자의 상황을 고려한 우선 순위의 태스크를 결정할 수 있다.

Claims (28)

  1. 장치들의 네트워크에서 태스크(task)들을 순위 매기는 방법에 있어서,
    각각이 상기 장치들이 수행할 수 있는 태스크들의 집합을 나타내는 하나 이상의 태스크 조합들을 구하는 단계;
    한 태스크의 클라이언트에 대한 관련 정도에 기초하여 상기 태스크 조합들을 순위 매기는 단계; 및
    순위 매겨진 태스크 조합들을 상기 클라이언트에게 제공하는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  2. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 상기 클라이언트의 상황에 기초하여 태스크 조합들을 순위 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  3. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 상기 태스크 조합들을 수행하는데 필요한 장치들의 상황에 기초해 그 태스크 조합들을 순위 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  4. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 상기 네트워크 내 장치들에 기반하여 상기 태스크 조합들을 순위 매기는 단계를 포함함을 특징으 로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  5. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 네트워크 내 장치들의 속성에 기반하여 태스크 조합들의 순위를 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  6. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 사용자 클라이언트의 위치를 포함하는 사용자 클라이언트의 상황에 기반하여 태스크 조합들의 순위를 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  7. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 태스크 조합들을 브라우징 및/또는 선택하기 위해 사용자가 사용하는 장치에 기반하여 태스크 조합들을 순위 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  8. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 태스크 조합들을 수행하는데 사용되는 장치들의 위치 및/또는 타입에 기초해 태스크 조합들을 순위 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  9. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 그 태스크 조합들을 실행하는데 필요로 되는 장치들의 속성들에 기초하여 태스크 조합들을 순위 매기는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  10. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는, 클라이언트와의 추정된 관련 정도에 기초하여 각각의 태스크 조합에 대한 점수를 배정하는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  11. 제1항에 있어서, 상기 태스크 조합들의 순위 매기기 단계는,
    클라이언트와의 추정된 관련 정도에 기초하여 각각의 태스크 조합에 대한 점수를 할당하는 단계; 및
    상기 클라이언트에게, 상기 점수들에 기초하여 상기 장치 조합들을, 이용 가능한 태스크들로서 나타내는 단계를 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  12. 제1항에 있어서, 상기 각각의 태스크 조합은 하나 이상의 장치 기능 설명들 및 태스크 설명들에 기반하는 사용자 태스크들의 집합을 나타냄을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  13. 제12항에 있어서, 상기 장치 조합들을 구하는 단계는,
    각각이 한 장치가 수행할 수 있는 어떤 기능을 설명하는 하나 이상의 장치 기능 설명들을 구하는 단계;
    각각이 소정 태스크가 필요로 하는 장치 기능을 설명하는 하나 이상의 태스크 설명들을 구하는 단계;
    상기 구해진 텍스트 설명들과 장치 기능 설명들에 기반하여 태스크 조합들을 생성하는 단계를 더 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매기기 방법.
  14. 장치들의 네트워크 내에서 태스크들을 순위 매기는 제어기에 있어서,
    각각이 장치들이 수행할 수 있는 태스크들의 집합을 나타내는 하나 이상의 태스크 조합들을 생성하는 태스크 생성 모듈; 및
    클라이언트에 대한 태스크의 관련 정도에 기반하여 상기 태스크 조합들을 순위 매기는 우선 순위 매김 모듈을 포함함을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  15. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 상기 클라이언트의 상황에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  16. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 상기 태스크 조합들을 수행하는데 필요한 장치들의 상황에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  17. 제14항에 있어서, 상기 우선 순위 매김 모듈은 상기 네트워크 내 장치들에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  18. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 상기 네트워크 내 장치들의 속성에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  19. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 사용자 클라이언트의 위치를 포함하는 사용자 클라이언트의 상황에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  20. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 태스크 조합들을 브라우징 및/또는 선택하기 위해 사용자가 사용하는 장치에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  21. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 태스크 조합을 수행하는데 사용되는 장치들의 위치 및/또는 타입에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  22. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 상기 태스크 조합들을 실행하는데 필요로 되는 장치들의 속성들에 기반하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  23. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 상기 클라이언트와의 추정된 관련 정도에 기초하여 상기 태스크 조합들을 순위 매김을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  24. 제14항에 있어서, 상기 우선 순위 매김 모듈은, 상기 클라이언트와의 추정된 관련 정도에 기초하여 상기 태스크 조합들을 순위 매기고, 순위 매긴 점수들에 기초해 클라이언트에게 장치 조합들을 이용 가능한 태스크들로서 표시함을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  25. 제14항에 있어서, 상기 각 태스크 조합은, 하나 이상의 장치 기능 설명들과 태스크 설명들에 기초해 사용자 태스크들의 집합을 나타냄을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  26. 제25항에 있어서, 상기 태스크 생성 모듈은, 각각이 한 장치가 수행할 수 있는 한 기능을 나타내는 하나 이상의 장치 기능 설명들을 구하고, 각각이 소정 태스크가 필요로 하는 장치 기능을 설명하는 하나 이상의 태스크 설명들을 구하고, 상기 구해진 태스크 설명들 및 장치 기능 설명들에 기반하여 태스크 조합들을 생성함으로써, 태스크 조합들을 구함을 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  27. 제14항에 있어서,
    순위 매겨진 태스크 조합들을 클라이언트에게 제공하는 어플리케이션 모듈을 더 포함함을 특징으로 하는 특징으로 하는 네트워크 내 태스크들의 순위 매김 제어기.
  28. 통신 링크를 통해 서로 연결된 복수의 장치들;
    각각이 장치들이 수행할 수 있는 태스크들의 집합을 나타내는 하나 이상의 태스크 조합들을 생성하는 태스크 생성 모듈, 및 클라이언트에 대한 태스크의 관련 정도에 기반하여 상기 태스크 조합들을 순위 매기는 우선 순위 매김 모듈을 포함하여, 네트워크 내 태스크들을 순위 매기는 제어기를 구비함을 특징으로 하는 네트워크.
KR1020050130607A 2005-01-07 2005-12-27 네트워크 내 장치들에 의해 이용가능하게 만들어진태스크들을 순위 매기는 방법 및 시스템 KR100728021B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US64309705P 2005-01-07 2005-01-07
US60/643,097 2005-01-07
US11/200,547 US8510737B2 (en) 2005-01-07 2005-08-09 Method and system for prioritizing tasks made available by devices in a network
US11/200,547 2005-08-09

Publications (2)

Publication Number Publication Date
KR20060093008A true KR20060093008A (ko) 2006-08-23
KR100728021B1 KR100728021B1 (ko) 2007-06-13

Family

ID=36091579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050130607A KR100728021B1 (ko) 2005-01-07 2005-12-27 네트워크 내 장치들에 의해 이용가능하게 만들어진태스크들을 순위 매기는 방법 및 시스템

Country Status (5)

Country Link
US (1) US8510737B2 (ko)
EP (1) EP1679828B1 (ko)
JP (1) JP5134203B2 (ko)
KR (1) KR100728021B1 (ko)
CN (1) CN1848839B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284489B1 (ko) * 2012-01-31 2013-07-16 한국과학기술원 다중 기기 환경에서의 홈 미디어 시스템의 단일 인터페이스 제공 방법

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8099313B2 (en) * 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8185427B2 (en) * 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8412554B2 (en) * 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
US8069422B2 (en) * 2005-01-10 2011-11-29 Samsung Electronics, Co., Ltd. Contextual task recommendation system and method for determining user's context and suggesting tasks
US8205013B2 (en) * 2005-05-02 2012-06-19 Samsung Electronics Co., Ltd. Method and system for aggregating the control of middleware control points
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8028283B2 (en) * 2006-03-20 2011-09-27 Samsung Electronics Co., Ltd. Method and system for automated invocation of device functionalities in a network
JP4898269B2 (ja) * 2006-04-14 2012-03-14 キヤノン株式会社 通信装置及びそのインストール方法
US20070261055A1 (en) * 2006-05-04 2007-11-08 Samsung Electronics Co., Ltd. Method and system for the generic and flexible access of available tasks through a user interface
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8195660B2 (en) * 2007-06-29 2012-06-05 Intel Corporation Method and apparatus to reorder search results in view of identified information of interest
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
CN101651975A (zh) * 2008-08-15 2010-02-17 华为技术有限公司 控制用户设备接入的方法、系统和装置
JP4855499B2 (ja) * 2008-09-22 2012-01-18 株式会社オプティム 電化製品の種別を決定する情報処理装置、方法、サーバ
US20130262326A1 (en) * 2009-02-28 2013-10-03 Thomson Reuters (Scientific) Inc. Intellectual Property Annuity/Maintenance Payment and Mistaken Abandonment Prevention Systems
US8904394B2 (en) * 2009-06-04 2014-12-02 International Business Machines Corporation System and method for controlling heat dissipation through service level agreement analysis by modifying scheduled processing jobs
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5589570B2 (ja) * 2010-06-02 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9414183B2 (en) * 2012-03-20 2016-08-09 Nokia Technologies Oy Method and apparatus for providing group context sensing and inference
US10275727B2 (en) * 2012-04-18 2019-04-30 International Business Machines Corporation Dynamic location-aware coordination method and system
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
CN103428165B (zh) * 2012-05-15 2015-07-01 腾讯科技(深圳)有限公司 社交网络节点分组方法和装置
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9652531B2 (en) * 2013-02-14 2017-05-16 International Business Machines Corporation Prioritizing work and personal items from various data sources using a user profile
US9799005B2 (en) * 2013-03-07 2017-10-24 Samsung Electronics Co., Ltd. Computing system with contextual interaction mechanism and method of operation thereof
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの2つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9848036B1 (en) 2013-12-03 2017-12-19 Google Inc. Systems, methods, and media for causing an action to be performed on a user device
US9460423B2 (en) 2014-04-16 2016-10-04 International Business Machines Corporation Task prioritization and optimization using interconnected data sources
US9094495B1 (en) 2014-04-21 2015-07-28 Symbol Technologies, Llc System and method for energy management within a group of devices
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10834450B2 (en) * 2014-09-30 2020-11-10 Nbcuniversal Media, Llc Digital content audience matching and targeting system and method
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US10230252B2 (en) 2015-01-30 2019-03-12 Symbol Technologies, Llc Method and system for charging a battery based on an identifier of a power cable
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US11188841B2 (en) 2016-04-08 2021-11-30 Pearson Education, Inc. Personalized content distribution
US10043133B2 (en) * 2016-04-08 2018-08-07 Pearson Education, Inc. Systems and methods of event-based content provisioning
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US11195100B2 (en) 2016-08-17 2021-12-07 International Business Machines Corporation Determining applications based on interactions of different electronic devices
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10802672B2 (en) * 2017-05-05 2020-10-13 Servicenow, Inc. Software application portfolio discovery and management
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10049420B1 (en) * 2017-07-18 2018-08-14 Motorola Solutions, Inc. Digital assistant response tailored based on pan devices present
WO2019082630A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 情報処理装置、及び情報処理方法
US10818287B2 (en) 2018-01-22 2020-10-27 Microsoft Technology Licensing, Llc Automated quick task notifications via an audio channel
JP7059673B2 (ja) * 2018-02-14 2022-04-26 オムロン株式会社 制御装置、制御システム、制御方法、および、制御プログラム
US11397611B2 (en) * 2019-10-09 2022-07-26 Optum Services (Ireland) Limited Predictive scheduling of computing tasks
US11875297B2 (en) 2020-12-23 2024-01-16 International Business Machines Corporation Generation of dashboard templates for operations management
US11570176B2 (en) 2021-01-28 2023-01-31 Bank Of America Corporation System and method for prioritization of text requests in a queue based on contextual and temporal vector analysis

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012409A (en) * 1988-03-10 1991-04-30 Fletcher Mitchell S Operating system for a multi-tasking operating environment
JPH05197573A (ja) 1991-08-26 1993-08-06 Hewlett Packard Co <Hp> タスク指向パラダイムによるタスク管理システム
US5410326A (en) 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
JP3408850B2 (ja) 1992-12-09 2003-05-19 三菱電機株式会社 クライアント・サーバシステムおよびその制御方法、並びにクライアント機装置
DE69432199T2 (de) 1993-05-24 2004-01-08 Sun Microsystems, Inc., Mountain View Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen
US5812865A (en) 1993-12-03 1998-09-22 Xerox Corporation Specifying and establishing communication data paths between particular media devices in multiple media device computing systems based on context of a user or users
US5555376A (en) 1993-12-03 1996-09-10 Xerox Corporation Method for granting a user request having locational and contextual attributes consistent with user policies for devices having locational attributes consistent with the user request
US5910799A (en) 1996-04-09 1999-06-08 International Business Machines Corporation Location motion sensitive user interface
JP3857388B2 (ja) 1997-06-27 2006-12-13 富士通株式会社 移動通信端末
US6421069B1 (en) 1997-07-31 2002-07-16 Sony Corporation Method and apparatus for including self-describing information within devices
JPH11352446A (ja) 1998-06-10 1999-12-24 Sony Corp 基板組み合わせ指示装置
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
WO2000028436A1 (en) 1998-11-10 2000-05-18 Koninklijke Philips Electronics N.V. Upgrading of synergetic aspects of home networks
KR20000033089A (ko) 1998-11-19 2000-06-15 윤종용 메뉴 기능 안내 방법
US7046263B1 (en) 1998-12-18 2006-05-16 Tangis Corporation Requesting computer user's context data
US7225229B1 (en) 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US6848104B1 (en) 1998-12-21 2005-01-25 Koninklijke Philips Electronics N.V. Clustering of task-associated objects for effecting tasks among a system and its environmental devices
KR20010041425A (ko) 1998-12-29 2001-05-15 요트.게.아. 롤페즈 분포된 네트워크 장치를 갖는 홈 제어 시스템
US6957075B1 (en) 1999-02-01 2005-10-18 Intel Corporation Method and apparatus for providing a location based appliance personality
JP4258585B2 (ja) 1999-03-19 2009-04-30 株式会社エクォス・リサーチ 目的地設定装置
US6256019B1 (en) 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices
JP2002540739A (ja) 1999-03-30 2002-11-26 ソニー エレクトロニクス インク ネットワークにおけるリソースの管理方法及び装置
US6567840B1 (en) 1999-05-14 2003-05-20 Honeywell Inc. Task scheduling and message passing
US20010032132A1 (en) 2000-01-28 2001-10-18 Dan Moran System for message delivery in interactive communication networks
WO2001069380A2 (en) 2000-03-14 2001-09-20 Edapta, Inc. A system and method for enabling dynamically adaptable user interfaces for electronic devices
US7076255B2 (en) 2000-04-05 2006-07-11 Microsoft Corporation Context-aware and location-aware cellular phones and methods
JP4576675B2 (ja) 2000-06-30 2010-11-10 ソニー株式会社 制御システム、制御機器及びサーバ
AU2001276992A1 (en) 2000-07-20 2002-02-05 Aeptec Microsystems, Inc. Method, system, and protocol for location-aware mobile devices
JP2002049556A (ja) 2000-08-02 2002-02-15 Sharp Corp 家庭内メディア配信システム
JP2002063033A (ja) 2000-08-21 2002-02-28 Toko Seiki Co Ltd オントロジを備えた知識管理システム
US6931630B1 (en) 2000-09-27 2005-08-16 International Business Machines Corporation Method of, system for, and computer program product for providing automatic identification of a computer program code candidate for web deployment or a stored procedure
JP4543532B2 (ja) 2000-10-06 2010-09-15 ソニー株式会社 情報通信システム
US20030046401A1 (en) 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US7290039B1 (en) 2001-02-27 2007-10-30 Microsoft Corporation Intent based processing
US20020138327A1 (en) 2001-03-26 2002-09-26 Mello Celso Luis System for remotely managing elevator mechanic service routine
GB0111431D0 (en) 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
US20030037091A1 (en) * 2001-08-09 2003-02-20 Kozo Nishimura Task scheduling device
US7206559B2 (en) 2001-10-16 2007-04-17 Hewlett-Packard Development Company, L.P. System and method for a mobile computing device to control appliances
US6954737B2 (en) 2001-11-05 2005-10-11 Johnsondiversey, Inc. Method and apparatus for work management for facility maintenance
JP4164280B2 (ja) 2002-04-11 2008-10-15 キヤノン株式会社 周辺機器およびジョブ管理方法およびコンピュータが読み取り可能な記憶媒体およびプログラム
US7123925B2 (en) * 2002-06-18 2006-10-17 British Telecommunications Public Limited Company Method and apparatus for locating devices
US7170422B2 (en) 2002-06-24 2007-01-30 Matsushita Electric Industrial Co., Ltd. Personal programmable universal remote control
US6792323B2 (en) 2002-06-27 2004-09-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US7024256B2 (en) 2002-06-27 2006-04-04 Openpeak Inc. Method, system, and computer program product for automatically managing components within a controlled environment
US7933945B2 (en) * 2002-06-27 2011-04-26 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US8116889B2 (en) * 2002-06-27 2012-02-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
JP4015898B2 (ja) * 2002-07-26 2007-11-28 松下電器産業株式会社 プログラム実行装置
US6920632B2 (en) * 2002-08-23 2005-07-19 Xyron Corporation Dynamic multilevel task management method and apparatus
WO2004019225A1 (ja) 2002-08-26 2004-03-04 Fujitsu Limited 状況付情報を処理する装置および方法
RU2348964C2 (ru) 2002-09-30 2009-03-10 Майкрософт Корпорейшн Система и способ для обеспечения известности элементов пользовательского интерфейса для приложения и пользователя
US20040100505A1 (en) * 2002-11-21 2004-05-27 Cazier Robert Paul System for and method of prioritizing menu information
US8561069B2 (en) 2002-12-19 2013-10-15 Fujitsu Limited Task computing
CN1736080A (zh) 2003-01-06 2006-02-15 皇家飞利浦电子股份有限公司 多因素的应用程序选择
US8607280B2 (en) 2003-01-08 2013-12-10 Intel Corporation Resource and capability borrowing
US20040176118A1 (en) * 2003-02-18 2004-09-09 Michael Strittmatter Service attribute based filtering system and method
JP2004266453A (ja) 2003-02-28 2004-09-24 Toshiba Corp ネットワークシステム、サーバ機器および通信方法
FR2852173B1 (fr) 2003-03-06 2005-05-27 France Telecom Systeme de creation d'ambiance et d'environnement de personnes a l'aide d'equipements electroniques multisensoriels
KR20040080663A (ko) 2003-03-12 2004-09-20 삼성전자주식회사 유비퀴터스 서비스 기능을 가지는 사설 네트워크 시스템및 그의 동작방법
US7064675B2 (en) 2003-08-15 2006-06-20 Microsoft Corporation Context-sensitive remote controls
EP1526457B1 (en) * 2003-10-22 2013-03-13 Sony Deutschland GmbH Context-aware automatic service discovery and execution engine in mobile ad-hoc networks
KR100651729B1 (ko) 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
US7526464B2 (en) 2003-11-28 2009-04-28 Manyworlds, Inc. Adaptive fuzzy network system and method
US7496500B2 (en) 2004-03-01 2009-02-24 Microsoft Corporation Systems and methods that determine intent of data and respond to the data based on the intent
US7522549B2 (en) 2004-04-16 2009-04-21 Broadcom Corporation Registering access device multimedia content via a broadband access gateway
KR100896245B1 (ko) 2004-04-28 2009-05-08 후지쯔 가부시끼가이샤 태스크 컴퓨팅
US20050267770A1 (en) 2004-05-26 2005-12-01 International Business Machines Corporation Methods and apparatus for performing task management based on user context
US8099313B2 (en) * 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8185427B2 (en) * 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8412554B2 (en) 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
KR100622303B1 (ko) 2004-12-07 2006-09-19 한국전자통신연구원 디지털 홈 네트워크 시스템의 지능형 관리 장치 및 관리방법
US7613285B2 (en) 2004-12-07 2009-11-03 Electronics And Telecommunications Research Institute System and method for service-oriented automatic remote control, remote server, and remote control agent
KR100682995B1 (ko) 2004-12-16 2007-02-15 한국전자통신연구원 유비쿼터스 기반의 상황 정보 제공 서비스 시스템 및 그방법
US8069422B2 (en) 2005-01-10 2011-11-29 Samsung Electronics, Co., Ltd. Contextual task recommendation system and method for determining user's context and suggesting tasks
US8972872B2 (en) 2006-03-27 2015-03-03 Fujitsu Limited Building computing applications based upon metadata
US20070233287A1 (en) 2006-03-30 2007-10-04 Samsung Electronics Co., Ltd. Dynamic generation of tasks in resource constrained devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284489B1 (ko) * 2012-01-31 2013-07-16 한국과학기술원 다중 기기 환경에서의 홈 미디어 시스템의 단일 인터페이스 제공 방법

Also Published As

Publication number Publication date
JP5134203B2 (ja) 2013-01-30
EP1679828B1 (en) 2013-07-31
CN1848839B (zh) 2012-08-08
EP1679828A1 (en) 2006-07-12
US20060156307A1 (en) 2006-07-13
US8510737B2 (en) 2013-08-13
CN1848839A (zh) 2006-10-18
JP2006190304A (ja) 2006-07-20
KR100728021B1 (ko) 2007-06-13

Similar Documents

Publication Publication Date Title
KR100728021B1 (ko) 네트워크 내 장치들에 의해 이용가능하게 만들어진태스크들을 순위 매기는 방법 및 시스템
KR100754194B1 (ko) 사용자의 컨텍스트를 결정하고 태스크들을 제안하기 위한컨텍스츄얼 태스크 제안 시스템 및 방법
US20090094248A1 (en) System and method of prioritizing the downloading of media items in a media item recommendation network
JP4769889B2 (ja) 番組選択装置及び番組選択装置の制御方法
US8516135B2 (en) Providing and receiving content for computer networks using a gateway and server
US8880599B2 (en) Collection digest for a media sharing system
US7752265B2 (en) Source indicators for elements of an aggregate media collection in a media sharing system
JP4497309B2 (ja) 情報提供装置、情報提供方法および情報提供用プログラム
US20050166153A1 (en) Methods and apparatus for presenting content
US20090132654A1 (en) Service retrieval apparatus and service retrieval method
JP5578040B2 (ja) 情報処理装置および方法、情報処理システム、並びに、プログラム
US11729470B2 (en) Predictive media routing based on interrupt criteria
JP2005518740A (ja) 双方向テレビジョン用の個人チャンネルを効果的に実施するシステム及びその実施方法
WO2021027437A1 (zh) 资源调度方法及系统、计算机可读存储介质
US8531707B2 (en) Systems and methods for executing forms
US10565158B2 (en) Multi-device synchronization for immersive experiences
JP2004185607A (ja) 操作ログ連携利用装置及びその方法
JP2014013541A (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
Kumar et al. User-centric appliance aggregation
WO2007107694A1 (en) Method &amp; system for providing a menu

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130522

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140522

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170518

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 13