JP4162015B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP4162015B2
JP4162015B2 JP2006138586A JP2006138586A JP4162015B2 JP 4162015 B2 JP4162015 B2 JP 4162015B2 JP 2006138586 A JP2006138586 A JP 2006138586A JP 2006138586 A JP2006138586 A JP 2006138586A JP 4162015 B2 JP4162015 B2 JP 4162015B2
Authority
JP
Japan
Prior art keywords
information
target
operator
unit
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006138586A
Other languages
English (en)
Other versions
JP2007310620A (ja
Inventor
伸弥 大谷
浩明 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006138586A priority Critical patent/JP4162015B2/ja
Priority to KR1020070047253A priority patent/KR20070111999A/ko
Priority to DE602007001640T priority patent/DE602007001640D1/de
Priority to EP07009858A priority patent/EP1865719B1/en
Priority to US11/750,206 priority patent/US7987147B2/en
Priority to CN2007101070660A priority patent/CN101076107B/zh
Publication of JP2007310620A publication Critical patent/JP2007310620A/ja
Application granted granted Critical
Publication of JP4162015B2 publication Critical patent/JP4162015B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4663—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving probabilistic networks, e.g. Bayesian networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に、例えば、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにする情報処理装置、情報処理方法、及びプログラムに関する。
例えば、ユーザとのインタラクションを通じて、各種の処理を行うインタラクション装置がある。インタラクション装置では、ユーザの発言やジェスチャ等の行動を、インタラクションシグナルとして受け付け、そのインタラクションシグナルに対応した処理を行うことにより、ユーザの発言やジェスチャ等の行動に対応して、テレビ番組の推薦や、チャンネルの変更、その他のアクションが実行される。
ここで、以下、適宜、インタラクション装置の周囲に存在するユーザを、ターゲットという。また、以下、適宜、インタラクション装置を操作する（意思を有する）ユーザを、オペレータという。
なお、撮像部が撮像した人間の映像に基づいて、人間のジェスチャを特定し、人間の行動・意図を推定する方法がある（例えば、特許文献１参照）。
また、個人識別を行いながらジェスチャ認識をすることにより、個人のジェスチャに応じて、機器を制御するインタフェース装置がある（例えば、特許文献２参照）。
特開2005-242759号公報 国際公開第2003/025859号パンフレット
ところで、従来のインタラクション装置には、周囲に、ターゲットが１人しか存在しないことを仮定し、その１人しか存在しないターゲットを、オペレータとして、アクションを行うものがある。
かかるインタラクション装置については、周囲に、ターゲットが１人しか存在しないという仮定を維持するために、１人のターゲットしか存在し得ないように、ターゲットが存在し得る空間を、例えば、電話ボックスのような狭い空間に設計することが行われる。
さらに、そのような狭い空間に、複数のターゲットが存在してしまった場合のために、インタラクション装置では、その設計者の経験に基づいたヒューリスティック(例えば、「遠くにいる人はオペレータではない」とか、「通り過ぎていく人はオペレータではない」など)を用いて、複数のターゲットから無理矢理１人のターゲットが、オペレータに選択される。
また、周囲に、複数のターゲットが存在し得ることを想定したインタラクション装置があるが、かかるインタラクション装置では、例えば、周囲に存在する複数のターゲットのそれぞれが、いずれもオペレータであるとして、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けられる。
しかしながら、インタラクション装置において、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けられる場合には、インタラクション装置の操作を希望する真のオペレータによるインタラクション装置の操作が、そのようなオペレータではないターゲットの行動によって妨害されることが頻繁に生じることがある。
すなわち、一般に、ターゲットとなり得るユーザは、オペレータとなることを意識していなければ、インタラクション装置の周囲にいても、インタラクション装置を無視して行動することが多い。したがって、インタラクション装置では、オペレータとなることを意識していないターゲットの発話やジェスチャ等の行動が、インタラクションシグナルとして誤って受け付けられ（誤認識され）、その結果、オペレータとなることを希望しているターゲットによるインタラクション装置の操作が妨害されることがある。
そこで、インタラクション装置において、ターゲットが、オペレータであることを明示的に示す行動、すなわち、例えば、「私がユーザです。」といった発話や、特定のジェスチャをした場合に、そのターゲットを、オペレータとして選択する方法がある。
しかしながら、このように、「私がユーザです。」といった明示的な発話やジェスチャを必要とすることは、インタラクション装置の操作を開始するのに、ユーザに、面倒な行動を強いることになり、インタラクション装置を、スムースに素早く利用することが困難となる。さらに、その結果、ユーザに不便さを感じさせることになる。
すなわち、例えば、インタラクション装置が、オペレータに対して、そのオペレータの嗜好に合致したテレビ番組を推薦する機能を有する場合において、ターゲットが、インタラクション装置に番組を推薦してもらうには、発話「私がユーザです。」といった、オペレータであることを明示的に示す行動をしなければならない。したがって、例えば、インタラクション装置の周囲に、２人のターゲットが存在する場合には、その２人のターゲットのうちの一方は、他方のターゲットがオペレータになっていると、インタラクション装置に番組を推薦してもらうのに、発話「私がユーザです。」といった、オペレータであることを明示的に示す行動をしなければならず、非常に面倒である。
また、インタラクション装置では、オペレータであることを明示的に示す行動があった場合に、その行動を行ったターゲットをオペレータとして選択するインタラプト処理を、インタラクションの処理のいたるところで準備しておかなくてはならず、インタラクションの処理を、ソフトウェアで実現する場合には、そのソフトウェアの設計が面倒となる。
ところで、例えば、上述のように、オペレータに対して、そのオペレータの嗜好に合致したテレビ番組を推薦するインタラクション装置では、まず、オペレータとなり得るターゲットの嗜好を表す嗜好情報等の個人情報が記憶される。さらに、周囲に存在するターゲットのうちの１人が、オペレータに選択され、例えば、顔認識などのセンシング技術によって、オペレータが認識（特定）される。そして、その認識されたオペレータの嗜好情報に基づいて、テレビ番組が推薦される。
一方、例えば、上述したような、周囲に存在する複数のターゲットのそれぞれが、いずれもオペレータであるとして、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けるインタラクション装置では、顔認識によって、複数のターゲットそれぞれを認識することは可能であるが、その複数のターゲットそれぞれの嗜好情報を適切に利用して、テレビ番組を推薦する等のサービスを提供することが困難である。
すなわち、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けるインタラクション装置では、顔認識によって、複数のターゲットそれぞれを認識した後は、例えば、その複数のターゲットのうちのいずれかを、いわば主たるオペレータとして、そのオペレータの嗜好情報に基づいて、テレビ番組を推薦するか、あるいは、複数のターゲットそれぞれの嗜好情報を、いわば平均化し、その平均化後の嗜好情報に基づいて、テレビ番組を推薦する程度のことを行うしかない。
また、インタラクション装置の周囲に存在する複数のターゲットのそれぞれに、例えば、キーボード等を操作することによって、ターゲットの個人情報と、オペレータであることの尤度を、インタラクション装置に入力してもらう方法が考えられ、かかる方法によれば、例えば、複数のターゲットのそれぞれの嗜好情報を、複数のターゲットのそれぞれの尤度に応じた割合で用いて、テレビ番組を推薦することが可能となる。
しかしながら、ターゲットに、ターゲットの個人情報と、オペレータであることの尤度をインタラクション装置に入力してもらうのでは、インタラクション装置の周囲に存在するターゲットの増減等の状況の変更があった場合に、即座に対応することが困難であり、また、ユーザに不便を感じさせることになる。
以上のような状況の下、ターゲットであるユーザが、オペレータであることを明示的に示す行動をとるといった、煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにすることが要請されている。
本発明は、このような状況に鑑みてなされたものであり、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにするものである。
本発明の一側面の情報処理装置は、ターゲットであるユーザの状態を検知するセンサ部と、前記センサ部の出力から、１以上のターゲットそれぞれの情報を抽出する情報抽出手段と、前記情報抽出手段が抽出した情報を１以上のターゲットそれぞれごとにまとめたターゲット情報を、時系列に生成するターゲット情報生成手段と、前記ターゲット情報を構成する各要素に対応するノードと、情報処理装置自身の状態を表すノードから構成されるベイジアンネットワークに対して、前記ターゲット情報生成手段により時系列に生成された前記１以上のターゲットそれぞれごとのターゲット情報を入力し、情報処理装置自身の状態においては行われることがない内容の指令をするターゲットの確率を低くするようにして、前記１以上のターゲットそれぞれごとに、ターゲットが前記情報処理装置を操作するオペレータであるオペレータ確率を算出する確率算出手段と、前記オペレータ確率に基づいて、所定の処理を行う処理手段とを備える。
本発明の一側面の情報処理方法、又はプログラムは、ターゲットであるユーザの状態を検知するセンサ部の出力から、１以上のターゲットそれぞれの情報を抽出し、抽出した情報を１以上のターゲットそれぞれごとにまとめたターゲット情報を、時系列に生成し、前記ターゲット情報を構成する各要素に対応するノードと、情報処理装置自身の状態を表すノードから構成されるベイジアンネットワークに対して、時系列に生成した前記１以上のターゲットそれぞれごとのターゲット情報を入力し、情報処理装置自身の状態においては行われることがない内容の指令をするターゲットの確率を低くするようにして、前記１以上のターゲットそれぞれごとに、ターゲットが前記情報処理装置を操作するオペレータであるオペレータ確率を算出し、前記オペレータ確率に基づいて、所定の処理を行うステップを含む。
以上のような一側面の情報処理装置、情報処理方法、又はプログラムにおいては、ターゲットであるユーザの状態を検知するセンサ部の出力から、１以上のターゲットそれぞれの情報が抽出され、抽出された情報を１以上のターゲットそれぞれごとにまとめたターゲット情報が、時系列に生成される。また、前記ターゲット情報を構成する各要素に対応するノードと、情報処理装置自身の状態を表すノードから構成されるベイジアンネットワークに対して、時系列に生成された前記１以上のターゲットそれぞれごとのターゲット情報が入力され、情報処理装置自身の状態においては行われることがない内容の指令をするターゲットの確率を低くするようにして、前記１以上のターゲットそれぞれごとに、ターゲットが前記情報処理装置を操作するオペレータであるオペレータ確率が算出され、前記オペレータ確率に基づいて、所定の処理が行われる。
本発明の一側面によれば、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することが可能となる。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用したインタラクション装置としてのAV(Audio Visual)システムの一実施の形態の構成例を示している。
図１において、AVシステムは、ディスプレイ１、スピーカ２、及びHD(Hard Disk)レコーダ３から構成されている。
ディスプレイ１は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等で構成され、HDレコーダ３から供給される画像データ（ビデオデータ）に対応する画像を表示する。スピーカ２は、HDレコーダ３から供給される音声データ（オーディオデータ）に対応する音声を出力する。
HDレコーダ３は、記録再生部１１，TV(Television)部１２、ターゲット情報取得部１３、インタラクション部１４、及び番組推薦部１５から構成される。
記録再生部１１は、記録再生制御部２１及び記録媒体２２から構成され、画像データ及び音声データの記録と再生を行う。
すなわち、記録再生制御部２１は、TV部１２から供給される画像データ及び音声データを、記録媒体２２に記録する。また、記録再生制御部２１は、記録媒体２２から画像データ及び音声データを再生し(読み出し)、TV部１２に供給する。
記録媒体２２は、例えば、HDであり、記録再生制御部２１によって駆動され、そこには、画像データ及び音声データが記録される。
なお、記録再生制御部２１では、その他、例えば、図示しないDVD(Digital Versatile Disc)などのHDレコーダ３に着脱可能な記録媒体に対する画像データ及び音声データの記録と再生を行うことも可能である。
TV部１２は、番組受信部３１、信号処理部３２、EPG(Electronic Program Guide)記憶部３３、及び出力制御部３４から構成され、テレビ番組のデータ等を取得し、ディスプレイ１及びスピーカ２や、記録再生部１１に供給する。
すなわち、番組受信部３１は、例えば、地上波やCATV（Cable Television）を介して送信されてくるテレビジョン放送信号を受信し、信号処理部３２に供給する。あるいは、番組受信部３１は、例えば、インターネット上のサーバから、テレビ番組のデータ等を受信し、信号処理部３２に供給する。
信号処理部３２は、番組受信部３１から供給されるデータ（信号）に必要な処理を施し、そのデータから、EPGデータやテレビ番組としての画像データ及び音声データを抽出する。さらに、信号処理部３２は、EPGデータを、EPG記憶部３３に供給し、テレビ番組としての画像データ及び音声データを、出力制御部３４に供給する。
EPGデータ記憶部３３は、信号処理部３２から供給されるEPGデータを記憶する。なお、EPGデータ記憶部３３は、信号処理部３２から、新たなEPGデータが供給されるたびに、その記憶内容を、信号処理部３２からの新たなEPGデータによって更新し、これにより、常時、最新のEPGデータを記憶する。また、EPGデータ記憶部３３に記憶されたEPGデータは、適宜、必要なブロックによって参照される。
出力制御部３４は、記録再生部１１や信号処理部３２から供給される画像データを、ディスプレイ１に供給して、対応する画像を表示させるとともに、音声データをスピーカ２に供給して、対応する音声を出力させる。
また、出力制御部３４は、信号処理部３２から供給される画像データ及び音声データを、記録再生部１１に供給して記録させる。さらに、出力制御部３４は、EPG記憶部３３からEPGデータを読み出し、ディスプレイ１に供給して、対応するEPGを表示させる。
その他、出力制御部３４は、他のブロックから適宜供給されるデータを、ディスプレイ１またはスピーカ２に供給して、対応する画像を表示させ、または対応する音声を出力させる。
ターゲット情報取得部１３は、センサ部４１及びオペレータ確率算出部４２から構成され、HDレコーダ３の周囲に存在するユーザである１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、インタラクション部１４や、番組推薦部１５、その他必要なブロックに供給する。
すなわち、センサ部４１は、状態を検知し、その検知の結果得られるセンサ信号を出力する。
オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれごとに、そのターゲットの行動（状態）等を表すターゲット情報を取得する。さらに、オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれがオペレータであるオペレータ確率を算出し、ターゲットごとのターゲット情報に含めて、インタラクション部１４や、番組推薦部１５、その他必要なブロックに供給する。
インタラクション部１４は、オペレータ選択部５１、アクション選択部５２、及びアクション実行部５３から構成され、ターゲット情報取得部１３から供給されるターゲット情報に含まれるオペレータ確率等に基づいて、所定の処理を行う。
すなわち、オペレータ選択部５１は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率が最も高いターゲットを、オペレータに選択し、そのオペレータのターゲット情報を、アクション選択部５２に供給する。
アクション選択部５２は、オペレータ選択部５１から供給されるターゲット情報、つまり、オペレータの行動に対応して、行うべきアクションを選択し、そのアクションを表すアクション情報を、アクション実行部５３に供給する。
アクション実行部５３は、アクション選択部５２から供給されるアクション情報が表すアクション、つまり、アクション選択部５２が選択したアクションに対応した処理を実行する。
番組推薦部１５は、嗜好テーブル記憶部６１、嗜好情報処理部６２、及びサービス提供部６３から構成され、ターゲット情報取得部１３から供給されるターゲット情報に含まれるオペレータ確率等に基づいて、所定の処理を行う。
すなわち、嗜好テーブル記憶部６１は、ターゲットとなり得るユーザごとに、そのユーザの嗜好を表す嗜好情報が登録された嗜好テーブルを記憶する。
嗜好情報処理部６２は、ターゲットとなり得るユーザについて、例えば、そのユーザが視聴した番組や、予約録画（記録媒体２２への記録）をした番組などに基づいて、嗜好情報を生成し、嗜好テーブル記憶部６１に記憶された嗜好テーブルに登録する。ここで、ユーザ視聴した番組には、ユーザがリアルタイムで視聴した番組、及び記録媒体２２に録画した後に再生して視聴した番組が含まれる。
また、嗜好情報処理部６２は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率に基づいて、嗜好テーブル記憶部６１の嗜好テーブルに登録されたターゲット（となっているユーザ）の嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成し、サービス提供部６３に供給する。
サービス提供部６３は、嗜好情報処理部６２から供給される番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供する。
すなわち、サービス提供部６３は、例えば、推薦する番組の一覧の画像である推薦画面を生成し、TV部１２の出力制御部３４に供給して、ディスプレイ１に表示させ、あるいはスピーカ２から出力させる。
次に、図２のフローチャートを参照して、図１のインタラクション部１４の処理について説明する。
上述したように、ターゲット情報取得部１３は、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、インタラクション部１４に供給するので、インタラクション部１４のオペレータ選択部５１は、ターゲット情報取得部１３からターゲットごとのターゲット情報が供給されてくるのを待って、ステップＳ１１において、ターゲット情報取得部１３からのターゲットごとのターゲット情報を受信して、ステップＳ１２に進む。
ステップＳ１２では、オペレータ選択部５１は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率が最も高いターゲットを、オペレータに選択し、そのオペレータのターゲット情報を、アクション選択部５２に供給して、ステップＳ１３に進む。
ステップＳ１３では、アクション選択部５２は、オペレータ選択部５１からのターゲット情報が表す行動、すなわち、オペレータの行動に対応して、HDレコーダ３が行うべきアクションを選択し、そのアクションを表すアクション情報を、アクション実行部５３に供給して、ステップＳ１４に進む。
アクション実行部５３は、アクション選択部５２からのアクション情報が表すアクションに対応した処理を実行する。
すなわち、例えば、アクション情報が、受信する番組又はチャンネルを変更するアクションを表している場合、アクション実行部５３は、TV部１２の番組受信部３１を制御し、これにより、番組受信部３１が受信する番組又はチャンネルを変更させる。
その後、インタラクション部１４は、ターゲット情報取得部１３からターゲットごとのターゲット情報が再度供給されてくるのを待って、ステップＳ１１に戻り、以下、同様の処理を繰り返す。
以上のように、インタラクション部１４では、例えば、オペレータ確率が最も高いターゲットが、オペレータに選択され、そのオペレータのターゲット情報、つまり、オペレータの行動に対応して、HDレコーダ３が行うべきアクションが選択されて実行される。
したがって、オペレータ確率が最も高いターゲット以外のターゲット、つまり、オペレータである可能性が高くないターゲットの行動は無視されるので、そのようなターゲットの行動を、オペレータの行動であると誤認識することが軽減され、その結果、HDレコーダ３では、オペレータとなっているユーザとのインタラクションのための安定したアクションを行うことができる。
さらに、HDレコーダ３では、ターゲットとなっているユーザが、オペレータであることを明示的に示す行動をとるといった、煩雑な行動をしなくても、ユーザが意図したチャンネルの変更等の、ユーザに適切なサービスを提供することが可能となる。
次に、図３のフローチャートを参照して、図１の番組推薦部１５の処理について説明する。
上述したように、ターゲット情報取得部１３は、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、番組推薦部１５に供給するので、番組推薦部１５の嗜好情報処理部６２は、ターゲット情報取得部１３からターゲットごとのターゲット情報が供給されてくるのを待って、ステップＳ２１において、ターゲット情報取得部１３からのターゲットごとのターゲット情報を受信して、ステップＳ２２に進む。
ステップＳ２２では、嗜好情報処理部６２は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率に基づいて、嗜好テーブル記憶部６１の嗜好テーブルに登録されたターゲット（となっているユーザ）の嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成し、サービス提供部６３に供給して、ステップＳ２３，Ｓ２４に順次進む。
ステップＳ２３及びＳ２４では、サービス提供部６３は、嗜好情報処理部６２から供給される番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供する。
すなわち、ステップＳ２３では、サービス提供部６３は、嗜好情報処理部６２からの番
組推薦用嗜好情報と、TV部１２のEPG記憶部３３に記憶されたEPGデータとに基づき、HDレ
コーダ３の周囲に存在するターゲットに推薦する１以上の番組を決定し、ステップＳ２４
に進む。
ステップＳ２４では、サービス提供部６３は、ステップＳ２３で決定した番組を推薦する。すなわち、ステップＳ２４では、サービス提供部６３は、例えば、ステップＳ２３で決定した、ターゲットに推薦する番組の一覧の画像である推薦画面を生成し、出力制御部３４に供給して、ディスプレイ１に表示させる。
その後、番組推薦部１５は、ターゲット情報取得部１３からターゲットごとのターゲット情報が再度供給されてくるのを待って、ステップＳ２１に戻り、以下、同様の処理を繰り返す。
なお、ディスプレイ１において、推薦画面が頻繁に表示されると、番組の視聴の妨げになり得るので、推薦画面の表示は、表示モードが、推薦画面の表示を許可するモードになっている場合や、ユーザから、推薦画面の表示の要求があった場合等にのみ行うようにすることが可能である。
次に、図１の番組推薦部１５では、例えば、図１のインタラクション部１４と同様に、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組の１以上を推薦することができる。
また、図１の番組推薦部１５では、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦することができる。
そこで、図４及び図５を参照して、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦する２つの推薦方法について説明する。
ここで、以下、適宜、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組の１以上を推薦する推薦方法を、第１の推薦方法という。また、以下、適宜、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦する２つの推薦方法のうちの一方を、第２の推薦方法といい、他方を、第３の推薦方法という。
図４は、図１の番組推薦部１５の嗜好テーブル記憶部６１に記憶されている嗜好テーブルを示している。
図４において、嗜好テーブルには、N人の、ターゲットとなり得るユーザを識別するユーザラベルTi（i=1,2,・・・,N）と、そのユーザTi（ユーザラベルTiによって識別（特定）されるユーザ）の嗜好を表す嗜好情報viとが対応付けられている。
また、図４において、嗜好情報viとしては、例えば、番組の各種のカテゴリ（ジャンル）に対する嗜好の度合いを表す値をコンポーネントとするベクトルが採用されている。
いま、説明を簡単にするために、HDレコーダ３の周囲にN人のターゲット（となっているユーザ）T1,T2,・・・,TNが存在することとする。この場合、ターゲット情報取得部１３から番組推薦部１５には、N人のターゲットTiそれぞれについて、そのターゲットTiがオペレータであるオペレータ確率Piを含むターゲット情報が供給される。
第２の推薦方法では、番組推薦部１５の嗜好情報処理部６２は、ターゲット情報取得部１３からのN人のターゲットTiのターゲット情報に含まれるオペレータ確率Piに基づいて、N人のターゲットTiの嗜好情報viを合成した情報を、番組推薦用嗜好情報として生成する。
すなわち、嗜好情報処理部６２は、例えば、N人のターゲットT1,T2,・・・,TNそれぞれのオペレータ確率P1,P2,・・・,PNを重みとして、N人のターゲットT1,T2,・・・,TNそれぞれの嗜好情報v1,v2,・・・,vNを重み付け加算し、その重み付け加算の結果（P1×v1+P2×v2+・・・+PN×vN)を、番組推薦用嗜好情報として、サービス提供部６３に供給する。
この場合、サービス提供部６３は、嗜好情報処理部６２からの番組推薦用嗜好情報に合致する複数の番組を、EPG記憶部３３に記憶されたEPGデータを参照することにより決定し、その複数の番組のタイトル等の、番組に関する推薦番組情報を配置した推薦画面を、ディスプレイ１に表示させることで、番組を推薦する。
以上のような第２の推薦方法によれば、オペレータ確率がより高いターゲットの嗜好により合致した番組の推薦が行われる。
次に、第３の推薦方法では、嗜好情報処理部６２は、ターゲット情報取得部１３からターゲット情報が供給されるN人のターゲットTiのうちの、オペレータ確率Piが上位M位（M≦N)内のターゲットTiのオペレータ確率Piに基づいて、その上位M位内のターゲットTiの嗜好情報viと、その嗜好情報viに基づいて推薦する番組の数（以下、適宜、推薦数という）とを対応付けた情報を、番組推薦用嗜好情報として生成する。
すなわち、例えば、Ｍを３として、オペレータ確率Piが上位３位内のターゲットTiを、上位から、Tx,Ty,Tzと表すとともに、ターゲットTx,Ty,Tzのオペレータ確率Piを、それぞれ、Px,Py,Pzと表す。さらに、ターゲットTx,Ty,Tzの嗜好情報viを、それぞれ、vx,vy,vzと表す。また、推薦画面に推薦番組情報を配置することができる番組の数（総数）をk個とする。
この場合、嗜好情報処理部６２は、ターゲットTxの嗜好情報vxに基づいて推薦する番組の推薦数として、そのターゲットのTxのオペレータ確率Pxに対応した値、すなわち、例えば、ここでは比例した値Cx=Px×k/(Px+Py+Pz)を算出し（但し、Cxの小数点以下は、例えば切り捨て）、その推薦数Cxと嗜好情報vxとを対応付ける。
同様に、嗜好情報処理部６２は、ターゲットTyの嗜好情報vyに基づいて推薦する番組の推薦数として、そのターゲットのTyのオペレータ確率Pyに対応した値Cy=Py×k/(Px+Py+Pz)を算出し、その推薦数Cyと嗜好情報vyとを対応付けるとともに、ターゲットTzの嗜好情報vzに基づいて推薦する番組の推薦数として、そのターゲットのTzのオペレータ確率Pzに対応した値Cz=Pz×k/(Px+Py+Pz)を算出し、その推薦数Czと嗜好情報vzとを対応付ける。
そして、嗜好情報処理部６２は、推薦数Cxと嗜好情報vxのセット、推薦数Cyと嗜好情報vyのセット、及び推薦数Czと嗜好情報vzのセットを、番組推薦用嗜好情報として、サービス提供部６３に供給する。
この場合、サービス提供部６３は、EPG記憶部３３に記憶されたEPGデータを参照することにより、嗜好情報処理部６２からの番組推薦用嗜好情報に含まれる嗜好情報vxに合致する番組を、その嗜好情報vxとセットになっている推薦数Cxだけ、推薦する番組として決定する。
同様にして、サービス提供部６３は、嗜好情報vyに合致する番組を、その嗜好情報vyとセットになっている推薦数Cyだけ、推薦する番組として決定するとともに、嗜好情報vzに合致する番組を、その嗜好情報vzとセットになっている推薦数Czだけ、推薦する番組として決定する。
そして、サービス提供部６３は、例えば、図５に示すような推薦画面を生成し、この推薦画面をディスプレイ１に表示させることで、番組を推薦する。
すなわち、図５は、第３の推薦方法において、サービス提供部６３が生成する推薦画面を示している。
サービス提供部６３は、図５に示すように、嗜好情報vxに合致した推薦数Cxだけの番組の推薦番組情報、嗜好情報vyに合致した推薦数Cyだけの番組の推薦番組情報、及び嗜好情報vzに合致した推薦数Czだけの番組の推薦番組情報を、上から順番に配置した推薦画面が生成される。
以上のような第３の推薦方法によれば、オペレータ確率がより高いターゲットに対して、より多い数の番組の推薦が行われる。
以上のように、番組推薦部１５では、オペレータ確率に基づいて、番組を推薦する第１ないし第３の推薦方法のうちのいずれの方法によっても、番組の推薦を行うことができる。
そして、第１の推薦方法では、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組を推薦するので、オペレータ確率が最も高い１人のターゲットに対し、その嗜好に合致した番組を推薦することができる。
また、第２の推薦方法では、HDレコーダ３の周囲に存在する複数のターゲットのオペレータ確率に基づいて、その複数のターゲットの嗜好情報を合成した情報を、番組推薦用嗜好情報として生成し、その番組推薦用嗜好情報に合致する番組を推薦するので、オペレータ確率が最も高いオペレータとなったターゲットの他、その他のターゲットの嗜好をも考慮した番組の推薦を行うことができる。したがって、オペレータとなったターゲット以外のターゲットの興味をひく番組の推薦を行うことができる。
さらに、第３の推薦方法では、HDレコーダ３の周囲に存在する複数のターゲットのオペレータ確率に基づいて、そのオペレータ確率に対応した推薦数と、ターゲットの嗜好情報とを対応付けた情報を、番組推薦用嗜好情報として生成し、その番組推薦用嗜好情報に合致する番組を推薦するので、第２の推薦方法と同様に、オペレータ確率が最も高いオペレータとなったターゲットの他、その他のターゲットの嗜好も考慮した番組の推薦を行うことができる。したがって、オペレータとなったターゲット以外のターゲットの興味をひく番組の推薦を行うことができる。
なお、第２及び第３の推薦方法では、例えば、HDレコーダ３の周囲に２人のターゲットが存在し、その２人のターゲットのオペレータ確率が、いずれも、例えば100%(1.0)で同一であった場合には、その２人のターゲットの嗜好を同等に考慮した番組の推薦が行われる。
すなわち、第２の推薦方法では、HDレコーダ３の周囲に存在する２人のターゲットの嗜好情報を、同等の重みで合成して得られる番組推薦用嗜好情報に基づき、その２人のターゲットの嗜好を同等に考慮した番組の推薦が行われる。
また、第３の推薦方法では、HDレコーダ３の周囲に存在する２人のターゲットの嗜好に合致した番組が、同一の推薦数だけ推薦される。
ここで、オペレータ確率は、単なる一般的な非線形の尤度ではないため、複数のターゲットの嗜好情報を合成するときの重み（合成比）等の計算に親和性が高く、正規化したり線形化したりしなくても幅広い合成方法に容易に適用することができる。
そして、かかるオペレータ確率を用いることにより、複数のターゲットの嗜好情報を考慮した番組の推薦、さらには、その他の幅の広いサービスの提供が可能となる。
なお、上述した第２の推薦方法では、オペレータ確率が大であるターゲットの嗜好情報ほど、大きな重みで合成した番組推薦用嗜好情報を生成するようにしたが、その他、番組推薦用嗜好情報の生成は、オペレータ確率が小であるターゲットの嗜好情報ほど、大きな重みで合成することにより行うことができる。この場合、HDレコーダ３に興味を持っていないユーザの嗜好に合致した番組の推薦が行われ、そのようなユーザの興味をひくことができる。
同様に、第３の推薦方法でも、オペレータ確率が大であるターゲットの嗜好情報に、大の推薦数を対応付けるのではなく、オペレータ確率が小であるターゲットの嗜好情報に、大の推薦数を対応付けるようにすることにより、HDレコーダ３に興味を持っていないユーザの嗜好に合致した番組の推薦が行われ、そのようなユーザの興味をひくことができる。
なお、番組推薦部１５において、番組の推薦を、第１ないし第３の推薦方法のうちのいずれの方法によって行うかは、例えば、ユーザの操作に応じて設定することができる。また、番組の推薦の方法は、上述の第１ないし第３の推薦方法に限定するものではない。
次に、図６は、図１のターゲット情報取得部１３のセンサ部４１とオペレータ確率算出部４２の構成例を示している。
センサ部４１は、カメラ９１やマイク（マイクロフォン）９２、その他のセンサで構成され、状態を検知し、その検知の結果得られるセンサ信号を、オペレータ確率算出部４２に出力する。
すなわち、カメラ９１は、光（の状態）を検知し、その結果得られる画像データを、センサ信号として出力する。マイク９２は、音（の状態）を検知し、その結果得られる音声データを、センサ信号として出力する。
その他、センサ部４１には、赤外線を検知する赤外線センサなどを設けることができる。
オペレータ確率算出部４２は、情報抽出部１０１、ターゲット情報生成部１０２、ターゲット情報記憶部１０３、確率算出部１０４、及びモデル記憶部１０５から構成され、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在するターゲットの行動等を表すターゲット情報を取得する。さらに、オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号から取得されたターゲット情報に基づいて、HDレコーダ３の周囲に存在するターゲットがオペレータであるオペレータ確率を算出し、ターゲット情報に含めて出力する。
すなわち、情報抽出部１０１は、画像処理部１１１や音声処理部１１２、その他の、センサ信号を処理する各種の信号処理部で構成され、センサ部４１からのセンサ信号から、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれの情報を抽出し、ターゲット情報生成部１０２に供給する。
ここで、画像処理部１１１は、顔検出器１２１や、動き検出器１２２、指差し検出器１２３、視線方向検出器１２４、その他の検出器又は認識器で構成され、センサ部４１からのセンサ信号のうちの画像データを処理し、その画像データから、HDレコーダ３の周囲に存在するターゲットについて、各種の情報を抽出して、ターゲット情報生成部１０２に供給する。
すなわち、顔検出器１２１は、センサ部４１からの画像データから、ターゲットの顔が映っている画像内の領域を検出し、顔が向いている方向（顔方向）、顔の位置（顔位置）、及び顔のサイズ（顔サイズ）を求めて、ターゲット情報生成部１０２に供給する。
なお、顔検出器１２１では、センサ部４１からの画像データからターゲットの顔の認識（顔認識）も行われ、その認識結果として、ユーザを識別するユーザラベルが、ターゲット情報生成部１０２に供給される。この、顔検出器１２１での顔認識の認識結果としてのユーザラベルは、例えば、図１の番組推薦部１５において、嗜好テーブル記憶部６１に記憶されている嗜好テーブルに登録された嗜好情報の中から、顔認識がされたターゲットの嗜好情報を特定するのに用いられる。
動き検出器１２２は、センサ部４１からの画像データから、ターゲットが動いている方向（動き方向）と、その動きの大きさ（動き量）、さらには、ターゲットの動きを表す動きベクトルの始点の位置（動き位置）を抽出し、ターゲット情報生成部１０２に供給する。
指差し検出器１２３は、センサ部４１からの画像データから、ターゲットが指を差す行動をしているかどうかを検出し、ターゲットが指を差す行動をしている場合には、さらに、ターゲットが指を差している方向（指差し方向）と、その指差しを行っている手の位置（指差し位置）とを検出し、ターゲット情報生成部１０２に供給する。
視線方向検出器１２４は、センサ部４１からの画像データから、ターゲットの視線の方向（視線方向）を検出し、ターゲット情報生成部１０２に供給する。
ここで、画像を利用したインタラクション装置では、入力された画像を元にユーザ推定に利用できると考えられる情報が、各種画像処理アルゴリズムを用いて抽出されるが、画像処理部１１１でも、そのようなインタラクション装置と同様にして、各種の情報を抽出することができる。
また、画像処理部１１１では、カメラ９１が、いわゆるステレオカメラである場合には、奥行き方向の情報を抽出することができる。
音声処理部１１２は、センサ部４１からのセンサ信号のうちの音声データを処理し、その音声データから、HDレコーダ３の周囲に存在するターゲットについて、各種の情報を抽出して、ターゲット情報生成部１０２に供給する。
ここで、音声処理部１１２では、例えば、音声認識器を利用して、ターゲットの音声を認識し、その認識結果として、ターゲットの音声の音韻や韻律の情報を得ることができる。また、音声処理部１１２では、音源方向認識器を利用して、ターゲットが音声を発している方向（話しかけている方向）を得ることができる。
なお、例えば、上述したように、センサ部４１に赤外線センサが設けられている場合には、情報抽出部１０１には、その赤外線センサの出力を処理し、ターゲットの各部位の温度を抽出して、ターゲット情報生成部１０２に供給する信号処理部が設けられる。
また、センサ部４１に設けるセンサと、情報抽出部１０１に設ける信号処理部とのセットは、ターゲット情報生成部１０２において、ターゲットごとにまとめる（統合する）ことができる情報を得ることができるセットであれば、どのようなセットであっても良い。
ターゲット情報生成部１０２は、情報抽出部１０１から供給される情報を、ターゲットごとにまとめたターゲット情報を生成する。
すなわち、ターゲット情報生成部１０２は、情報抽出部１０１からの情報から、HDレコーダ３の周囲に存在するターゲットの人数を判断する（HDレコーダ３の周囲にターゲットが存在するかどうかの判断も含む）。さらに、ターゲット情報生成部１０２は、情報抽出部１０１からの情報が、どのターゲットの情報であるかを判断し、情報抽出部１０１からの情報を、ターゲットごとに分類して、ターゲットごとにまとめたターゲット情報、つまりターゲットの人数分だけのターゲット情報を生成する。
ターゲット情報生成部１０２は、所定の時間間隔で、上述したように、ターゲット情報を生成し、そのターゲット情報を、時系列に、ターゲット情報記憶部１０３に供給する。
ここで、上述のように、ターゲットごとに情報をまとめる処理は、インタラクション装置で一般的に行われている短期記憶(STM(Short Term Memory))によって行うことができる。
なお、STMには、入力される各種認識（検出）結果の場所情報や時間情報を用いて統合する様々な技術が存在する。例えば、検出位置の近さや差分時刻経過後の予想移動点からの近さなどを用いてまとめるようなSTMの技術が存在するが、ターゲット情報生成部１０２で行われるSTMの技術の種類は、HDレコーダ３が観測することができる範囲に存在するターゲットごとに各種認識結果情報をまとめることさえできれば、特に限定されるものではない。
ターゲット情報記憶部１０３は、ターゲット情報生成部１０２から時系列に供給されるターゲットごとのターゲット情報を一時記憶する。
確率算出部１０４は、モデル記憶部１０５に記憶されたモデルを用い、ターゲット情報記憶部１０３に記憶されたターゲット情報に基づいて、ターゲットごとのオペレータ確率を算出し、そのターゲットのターゲット情報に含めて出力する。
すなわち、確率算出部１０４は、例えば、確率推論計算モデル、具体的には、ベイジアンネットワーク(BN(Bayesian Network))を用い、ターゲット情報記憶部１０３に記憶されたターゲット情報を構成する各情報（以下、適宜、要素情報という）を、BNへの入力として確率計算を行うことにより、ターゲットごとに、オペレータ確率を算出（推論）する。
ここで、BNには、1時刻だけの情報を用いて確率計算をするスタティックベジアンネットワーク(Static Bayesian Network)や、過去から保存している全時刻の情報を用いて確率計算をするダイナミックベジアンネットワーク(DBN(Dynamic Bayesian Network))などがある。さらに、BNには、スタティックベジアンネットワークやDBNを細分化した様々なモデルが存在するが、オペレータ確率の算出に用いるBNは、特に限定されるものではない。
また、オペレータ確率の算出に用いるモデルは、ターゲットごとのターゲット情報の要素情報が与えられたときに、そのターゲットのオペレータ確率を推論することができるモデルであればどのようなモデルでも良く、したがって、特に、BNに限定されるものではない。
モデル記憶部１０５は、確率算出部１０４がオペレータ確率の算出に用いるモデル、すなわち、例えば、BNを記憶している。
次に、図７ないし図９を参照して、図６の画像処理部１１１の処理について、さらに説明する。
まず、図７は、カメラ９１で撮影された画像の例を示している。
図７の画像では、３人のユーザ（人）がターゲットとして映っている。すなわち、図７の画像には、手前側に座っている２人のターゲットと、奧側を左から右方向に歩いている１人のターゲットとの、合計で３人のターゲットが存在する。
図８及び図９は、画像処理部１１１において、図７の画像から抽出される情報を示している。
画像処理部１１１では、例えば図７に示した３人のターゲットが映っている画像から、その３人のターゲットについて、図８及び図９に示すように、顔方向、顔位置、顔サイズ、動き方向、動き量、指差し方向、視線方向等の情報の全部又は一部が抽出される。
次に、図１０を参照して、図６のターゲット情報生成部１０２の処理について、さらに説明する。
例えば、情報抽出部１０１からターゲット情報生成部１０２に対して、図７に示した３人のターゲットが映っている画像から抽出された、図８及び図９に示した情報が供給された場合、ターゲット情報生成部１０２は、図８及び図９に示した各情報が、図７の画像に映っている３人のターゲットのうちのいずれに属するかを判断し、その判断に基づいて、図８及び図９に示した各情報を、図１０に示すように、図７の画像に映っている３人のターゲットそれぞれごとにまとめたターゲット情報を生成する。
ターゲット情報生成部１０２は、以上のように、ターゲットごとのターゲット情報を時系列に生成し、ターゲット情報記憶部１０３（図６）に時系列に供給する。
次に、図１１は、図６のターゲット情報記憶部１０３の記憶内容を示している。
ターゲット情報記憶部１０３は、図１１に示すように、ターゲット情報生成部１０２から時系列に供給される、顔方向、顔位置、顔サイズ、動き方向、動き量、指差し方向、視線方向等の情報を要素情報とするターゲット情報を、ターゲットごとに記憶する。
次に、図１２は、図６の確率算出部１０４がオペレータ確率の算出に用いるBN、つまり、モデル記憶部１０５に記憶されているモデルを示している。
図１２では、オペレータ確率の算出に用いるBN（以下、適宜、オペレータ確率算出用DNという）として、DBNが採用されている。
図１２のオペレータ算出用BNは、ターゲット情報の要素情報（となり得る情報）のそれぞれに対応するノードを有する。なお、図１２では、図が煩雑になるのを避けるため、指差し方向、動き方向、顔位置、顔方向、顔サイズ、動き量、及び指差し位置の７つの情報が、ターゲット情報の要素情報のすべてであるとして、その７つの情報である指差し方向、動き方向、顔位置、顔方向、顔サイズ、動き量、又は指差し位置それぞれに対応するノードを図示してある。
オペレータ算出用BNは、さらに、ターゲット情報の要素情報のそれぞれに対応するノード（以下、適宜、要素情報ノードという）の他、ターゲットがオペレータである確率（オペレータ確率）を推論するために、ターゲットがオペレータであることを表すノードであるオペレータノードを有する。
なお、オペレータ算出用BNは、要素情報ノードと、オペレータノードとを有していれば、他のノード、すなわち、例えば、隠れノードや、HDレコーダ３の状態を表すノードを有していてもかまわない。
ここで、HDレコーダ３の状態を表すノードとしては、例えば、HDレコーダ３にDVDが装着されているか否かを表すノードなどを採用することができる。例えば、HDレコーダ３にDVDが装着されていない場合に、ユーザがDVDを対象とする再生や記録の操作をすることはないから、HDレコーダ３にDVDが装着されているか否かを表すノードを採用することにより、HDレコーダ３にDVDが装着されていない場合において、DVDを対象とする再生や記録の指令する行動（ジェスチャ）をしているユーザがいるときに、そのユーザについて求められるオペレータ確率を低くすることができる。
図１２のオペレータ算出用BNは、時刻t（現在時刻）についての要素情報ノード及びオペレータノードからなるBNと、その１時刻前の時刻t-1についての要素情報ノード及びオペレータノードからなるBNとを有している。
また、図１２のオペレータ算出用BNにおいて、ノードどうしを接続する太線の矢印は、初期ネットワーク(prior network)を表し、細線の矢印は、遷移ネットワーク(transition network)を表す。
ここで、図１２において、時刻tについての要素情報ノード及びオペレータノードからなるBNと、時刻t-1についての要素情報ノード及びオペレータノードからなるBNとの間の関係は、時刻t-1についての要素情報ノード及びオペレータノードからなるBNと、時刻t-2についての要素情報ノード及びオペレータノードからなるBNとの関係にも適用することができ、したがって、図１２のオペレータ算出用BNは、その関係を利用して、時刻t-1についての要素情報ノード及びオペレータノードからなるBNの左側（過去側）に、時刻t-2についての要素情報ノード及びオペレータノードからなるBNを拡張することができる。
以下、同様にして、図１２のオペレータ算出用BNは、より過去の時刻についての要素情報ノード及びオペレータノードからなるBNを拡張することができる。ある過去の時刻t-Tについての要素情報ノード及びオペレータノードからなるBNまで拡張したオペレータ算出用BNによれば、例えば、時刻t-Tから現在時刻tまでのターゲット情報の要素情報を、対応する要素情報ノードに与えるとともに、時刻t-Tから時刻t-1までのオペレータ確率を、対応するオペレータノードに与えることにより、現在時刻tのオペレータノードに対応する情報、すなわち、現在時刻tのオペレータ確率を推論することができる。
なお、現在時刻tのオペレータ確率の推論は、時刻t-Tから現在時刻tまでのターゲット情報の要素情報と、時刻t-Tから時刻t-1までのオペレータ確率とのすべてを与えなくても行うことができる。すなわち、BNによれば、現在時刻tのオペレータ確率の推論は、時刻t-Tから現在時刻tまでのターゲット情報の要素情報と、時刻t-Tから時刻t-1までのオペレータ確率とのうちの一部を与えるだけでも行うことができる。
また、BNを用いて情報の推論を行う推論アルゴリズムとしては、例えば、スタティックなBNでは厳密解を求めることが可能であるPearl πλメッセージパッシング法やJunction Treeアルゴリズム、高速に近似解を求めるアルゴリズムとしてはLoopy BPやCluster BPなどが存在する。DBNでは1.5 Junction Tree Algorithmや、これを応用したBoyen-Koller inference Algorithmなどがある。1.5 Junction Tree Algorithmによれば、厳密解を求めることができ、Boyen-Koller inference Algorithmによれば、近似解ではあるが高速に解を求めることができる。
ところで、オペレータ算出用BNを含むBNは、ネットワーク構造と確率分布表(CPT(Conditional Probability Table))と呼ばれるパラメータによって規定される。
オペレータ算出用BNを規定するネットワーク構造とCPTは、確率算出部１０４（図６）で求められるオペレータ確率に大きな影響を与えるから、ネットワーク構造とCPTの設定は注意深く行わなければならない。
かかるネットワーク構造とCPTは、例えば、HDレコーダ３の設計者が手動で設定することもできるし、ネットワーク構造とCPTの学習用の学習データを用意し、その学習データを用いて学習を行うことにより求めることもできる。
図１３は、ネットワーク構造とCPTを学習により求める学習装置の構成例を示している。
図１３において、学習装置は、構造学習部１５１、構造記憶部１５２、CPT学習部１５３、及びCPT記憶部１５４から構成されている。
構造学習部１５１には、学習データが供給される。
ここで、学習データは、図６のターゲット情報生成部１０２で生成されるのと同様のターゲット情報と、オペレータラベルとのセットからなり、以下のように収集される。
すなわち、学習データを構成するターゲット情報は、多数の人に、ターゲットとして行動してもらい、その行動をセンサ部４１と同様のセンサ部で検知し、その検知結果から、情報抽出部１０１と同様の情報抽出部、及びターゲット情報生成部１０２と同様のターゲット情報抽出部を用いて取得する。
また、学習データを構成するターゲット情報の取得時には、ターゲットがオペレータとして行動したときの、その行動から得られたターゲット情報には、ターゲットがオペレータであることを表すターゲットラベルが対応付けられ、それ以外の行動から得られたターゲット情報には、ターゲットがオペレータでないことを表すターゲットラベルが対応付けられる。
構造学習部１５１は、以上のような学習データのうちの、ターゲット情報の各要素情報を、オペレータ算出用BN（図１２）の、対応する要素情報ノードに与えるとともに、そのターゲット情報に対応付けられたターゲットラベルを、オペレータノードに与えることにより、オペレータ算出用BNのネットワーク構造を求め、構造記憶部１５２に供給して記憶させる。
また、構造学習部１５１は、オペレータ算出用BNのネットワーク構造を求めるのに用いた学習データを、CPT学習部１５３に供給する。
CPT学習部１５３は、構造記憶部１５２に記憶されたネットワーク構造と、構造学習部１５１から供給される学習データとに基づき、CPTを求め、CPT記憶部１５４に供給して記憶させる。
図６のモデル記憶部１０５には、以上のようにして構造記憶部１５２に記憶されたネットワーク構造と、CPT記憶部１５４に記憶されたCPTとで規定されるオペレータ算出用BNが記憶されている。
そして、図６の確率算出部１０４は、モデル記憶部１０５に記憶されたオペレータ算出用BNと、ターゲット情報記憶部１０３から供給されるターゲットごとのターゲット情報を用いて、オペレータ確率を、ターゲットごとに求める。
図１４は、図７の画像に映っている３人のターゲットそれぞれについて求められたオペレータ確率を示している。
図７の画像には、上述したように、手前側に座っている２人のターゲットと、奧側を歩いている１人のターゲットとの合計３人のターゲットが映っているが、いま、座っている２人のターゲットのうちの左側に位置しているターゲットを、ターゲットT1と、右側に位置しているターゲットを、ターゲットT2と、奧側の歩いている１人のターゲットを、ターゲットT3と呼ぶこととすると、図１４では、ターゲットT1のオペレータ確率が80%(0.80)と、ターゲットT2のオペレータ確率が98%(0.98)と、ターゲットT3のオペレータ確率が4%(0.04)と、それぞれ求められている。
この場合、例えば、図１のインタラクション部１４では、オペレータ選択部５１において、３人のターゲットT1,T2,T3のうちの、オペレータ確率が98%で最も高いターゲットT2が、オペレータに選択される。したがって、ユーザは、「私がユーザですよ。」といった発話をするような煩雑な行動をしなくても、オペレータとなることができる。
すなわち、ターゲットとなるユーザが２人以上存在する場合に、オペレータを交代するための行動が必要ないので、シームレスにユーザを交代することができる。
また、上述の場合には、インタラクション部１４において、オペレータ確率が最も高い１人のターゲットをオペレータとして選択するようにしたが、HDレコーダ３の設計時に、オペレータとして選択することが適切なオペレータ確率の閾値を設定しておき、インタラクション部１４では、その閾値以上のオペレータ確率のターゲットすべてを、オペレータとして選択することができる。そして、インタラクション部１４では、オペレータとして選択したターゲットの人数に応じて、HDレコーダ３が実行すべきアクションを選択することができる。
さらに、オペレータ確率は、確率であるため、比を求めることを容易に行うことができ、HDレコーダ３では、その比を利用して、柔軟なサービスを提供することができる。
すなわち、例えば、図１の番組推薦部１５では、オペレータ確率の閾値を50%などとして、その閾値以上のオペレータ確率のターゲットすべてをオペレータとして選択し、そのオペレータの嗜好を考慮した番組の推薦が可能となる。
具体的には、例えば、図１４に示したように、ターゲットT1のオペレータ確率が80%であり、ターゲットT2のオペレータ確率が98%であり、ターゲットT3のオペレータ確率が4%である場合において、閾値が50%であるときには、番組推薦部１５では、オペレータ確率が閾値(50%)以上であるターゲットT1とT2がオペレータとして選択される。
さらに、番組推薦部１５では、ターゲットT1の嗜好情報と、ターゲットT2の嗜好情報とを、ターゲットT1のオペレータ確率(80%)と、ターゲットT2のオペレータ確率(98%)との比80:98で合成し、その合成の結果得られる番組推薦用嗜好情報に合致した番組が推薦される。この場合、より場の様子にあった番組の推薦（オペレータとなる意思を表示するような行為を行っているターゲットT1とターゲットT2の嗜好に合致した番組の推薦）が可能となる。
次に、図１５のフローチャートを参照して、図６のオペレータ確率算出部４２の処理について説明する。
センサ部４１は、所定の間隔でセンサ信号をオペレータ確率算出部４２に出力しており、オペレータ確率算出部４２は、センサ部４１からセンサ信号が出力されると、そのセンサ信号を受信し、情報抽出部１０１に供給する。
情報抽出部１０１は、ステップＳ１０１において、センサ部４１からのセンサ信号を処理することにより、そのセンサ信号から、HDレコーダ３の周囲に存在するターゲットの情報を抽出し、ターゲット情報生成部１０２に供給して、ステップＳ１０２に進む。
ステップＳ１０２では、ターゲット情報生成部１０２は、例えば、STMによって、情報抽出部１０１から供給される情報を、ターゲットごとにまとめたターゲット情報を生成し、ターゲット情報記憶部１０３に供給して記憶させ、ステップＳ１０３に進む。
ステップＳ１０３では、確率算出部１０４は、モデル記憶部１０５に記憶されたオペレータ算出用BNを用い、ターゲット情報記憶部１０３に記憶されたターゲットごとのターゲット情報を、オペレータ算出用BNに与える（入力する）ことにより、ターゲットごとのオペレータ確率を算出して、ステップＳ１０４に進む。
ステップＳ１０４では、確率算出部１０４は、ステップＳ１０３で求めたターゲットごとのオペレータ確率を、そのターゲットのターゲット情報に含めて出力する。
以下、オペレータ確率算出部４２では、例えば、センサ部４１からセンサ信号が出力されるたびに、ステップＳ１０１ないしＳ１０４の処理が行われる。
次に、図１６を参照して、図１のHDレコーダ３の処理の概要について説明する。
まずステップＳ２０１において、オペレータ確率算出部４２が、センサ部４１が出力するセンサ信号から、顔方向その他の、HDレコーダ３の周囲に存在するターゲットの情報を抽出し、その情報を、ターゲットごとにまとめたターゲット情報を生成する。
さらに、オペレータ確率算出部４２は、ステップＳ２０２において、ターゲットごとのターゲット情報を、オペレータ算出用BNに与えることにより、ターゲットごとのオペレータ確率を算出し、ターゲットごとのターゲット情報に、そのターゲットのオペレータ確率を含めて出力する。
そして、例えば、インタラクション部１４は、ステップＳ２０３において、オペレータ確率算出部４２が出力したターゲットごとのターゲット情報に含まれるオペレータ確率が、例えば、最も高いターゲットを、オペレータとして選択し、オペレータ確率算出部４２が出力したターゲットごとのターゲット情報から、オペレータのターゲット情報を抽出する。
さらに、インタラクション部１４は、ステップＳ２０４において、オペレータのターゲット情報に基づき、オペレータのシーン、つまり、オペレータがどのような行動をとった場面であるのかを推定し、その推定結果に基づいて、HDレコーダ３が行うべきアクション（動作）を決定する。そして、インタラクション部１４は、その決定したアクションを行うための処理を実行する。
次に、上述したオペレータ確率算出部４２や、インタラクション部１４、番組推薦部１５の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、組み込み用のコンピュータや汎用のコンピュータ等にインストールされる。
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
以上、本発明を、AVシステムに適用した場合について説明したが、本発明は、その他、例えば、音声信号を入力として扱う電話自動応答システムや、タッチパネルを入力として扱うチケット予約システム、画像を入力として扱うテレビ番組予約システムなどのインタラクション装置等に適用可能である。
なお、オペレータ確率に基づいて所定の処理を行う処理手段は、図１に示したインタラクション部１４や番組推薦部１５に限定されるものではない。
さらに、インタラクション部１４（図１）では、オペレータ選択部５１においてオペレータに選択されたターゲット（ユーザ）を識別するユーザラベルを、出力制御部３４を介して、ディスプレイ１に表示させることができる。この場合、HDレコーダ３の周囲にいるターゲットは、だれがオペレータとなっているのかを、容易に認識することができる。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したAVシステムの一実施の形態の構成例を示すブロック図である。 インタラクション部１４の処理を説明するフローチャートである。 番組推薦部１５の処理を説明するフローチャートである。 嗜好テーブルを示す図である。 推薦画面を示す図である。 ターゲット情報取得部１３の構成例を示すブロック図である。 画像処理部１１１の処理を説明する図である。 画像処理部１１１の処理を説明する図である。 画像処理部１１１の処理を説明する図である。 ターゲット情報生成部１０２の処理を説明する図である。 ターゲット情報記憶部１０３の記憶内容を示す図である。 オペレータ確率の算出に用いるBNを示す図である。 ネットワーク構造とCPTを学習により求める学習装置の構成例を示すブロック図である。 画像に映っているターゲットについて求められたオペレータ確率を示す図である。 オペレータ確率算出部４２の処理を説明するフローチャートである。 HDレコーダ３の処理の概要を説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１ ディスプレイ， ２ スピーカ， １１ 記録再生部， １２ TV部， １３ ターゲット情報取得部， １４ インタラクション部， １５ 番組推薦部， ２１ 記録再生制御部， ２２ 記録媒体， ３１ 番組受信部， ３２ 信号処理部， ３３ EPG記憶部， ３４ 出力制御部， ４１ センサ部， ４２ オペレータ確率算出部， ５１ オペレータ選択部， ５２ アクション選択部， ５３ アクション実行部， ６１ 嗜好テーブル記憶部， ６２ 嗜好情報処理部， ６３ サービス提供部， ９１ カメラ， ９２ マイク， １０１ 情報抽出部， １０２ ターゲット情報生成部， １０３ ターゲット情報記憶部， １０４ 確率算出部， １０５ モデル記憶部， １１１ 画像処理部， １１２ 音声処理部， １２１ 顔検出器， １２２ 動き検出器， １２３ 指差し検出器， １２４ 視線方向検出器， １５１ 構造学習部， １５２ 構造記憶部， １５３ CPT学習部， １５４ CPT記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (8)

  1. ターゲットであるユーザの状態を検知するセンサ部と、
    前記センサ部の出力から、１以上のターゲットそれぞれの情報を抽出する情報抽出手段と、
    前記情報抽出手段が抽出した情報を１以上のターゲットそれぞれごとにまとめたターゲット情報を、時系列に生成するターゲット情報生成手段と、
    前記ターゲット情報を構成する各要素に対応するノードと、情報処理装置自身の状態を表すノードから構成されるベイジアンネットワークに対して、前記ターゲット情報生成手段により時系列に生成された前記１以上のターゲットそれぞれごとのターゲット情報を入力し、情報処理装置自身の状態においては行われることがない内容の指令をするターゲットの確率を低くするようにして、前記１以上のターゲットそれぞれごとに、ターゲットが前記情報処理装置を操作するオペレータであるオペレータ確率を算出する確率算出手段と、
    前記オペレータ確率に基づいて、所定の処理を行う処理手段と
    を備える情報処理装置。
  2. 前記ターゲット情報生成手段が時系列に生成するターゲット情報を記憶する記憶手段をさらに備え、
    前記確率算出手段は、前記記憶手段に記憶された時系列のターゲット情報に基づいて、前記オペレータ確率を算出する
    請求項１に記載の情報処理装置。
  3. 前記処理手段は、
    前記オペレータ確率が最も高いターゲットを、前記オペレータに選択するオペレータ選択手段と、
    前記オペレータの行動に対応して、行うべきアクションを選択するアクション選択手段と、
    前記アクション選択手段が選択したアクションに対応した処理を実行するアクション実行手段と
    を有する
    請求項１に記載の情報処理装置。
  4. 前記処理手段は、
    前記１以上のターゲットそれぞれの嗜好を表す嗜好情報を記憶する嗜好情報記憶手段と、
    前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成する嗜好情報処理手段と、
    前記番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供するサービス提供手段と
    を有する
    請求項１に記載の情報処理装置。
  5. 前記嗜好情報処理手段は、前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報を合成した情報を、前記番組推薦用嗜好情報として生成する
    請求項４に記載の情報処理装置。
  6. 前記嗜好情報処理手段は、前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報と、その嗜好情報に基づいて推薦する番組の数とを対応付けた情報を、前記番組推薦用嗜好情報として生成する
    請求項４に記載の情報処理装置。
  7. ターゲットであるユーザの状態を検知するセンサ部の出力から、１以上のターゲットそれぞれの情報を抽出し、
    抽出した情報を１以上のターゲットそれぞれごとにまとめたターゲット情報を、時系列に生成し、
    前記ターゲット情報を構成する各要素に対応するノードと、情報処理装置自身の状態を表すノードから構成されるベイジアンネットワークに対して、時系列に生成した前記１以上のターゲットそれぞれごとのターゲット情報を入力し、情報処理装置自身の状態においては行われることがない内容の指令をするターゲットの確率を低くするようにして、前記１以上のターゲットそれぞれごとに、ターゲットが前記情報処理装置を操作するオペレータであるオペレータ確率を算出し、
    前記オペレータ確率に基づいて、所定の処理を行う
    ステップを含む情報処理方法。
  8. ターゲットであるユーザの状態を検知するセンサ部の出力から、１以上のターゲットそれぞれの情報を抽出し、
    抽出した情報を１以上のターゲットそれぞれごとにまとめたターゲット情報を、時系列に生成し、
    前記ターゲット情報を構成する各要素に対応するノードと、情報処理装置自身の状態を表すノードから構成されるベイジアンネットワークに対して、時系列に生成した前記１以上のターゲットそれぞれごとのターゲット情報を入力し、情報処理装置自身の状態においては行われることがない内容の指令をするターゲットの確率を低くするようにして、前記１以上のターゲットそれぞれごとに、ターゲットが前記情報処理装置を操作するオペレータであるオペレータ確率を算出し、
    前記オペレータ確率に基づいて、所定の処理を行う
    ステップを含む情報処理をコンピュータに実行させるプログラム。
JP2006138586A 2006-05-18 2006-05-18 情報処理装置、情報処理方法、及びプログラム Expired - Fee Related JP4162015B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006138586A JP4162015B2 (ja) 2006-05-18 2006-05-18 情報処理装置、情報処理方法、及びプログラム
KR1020070047253A KR20070111999A (ko) 2006-05-18 2007-05-15 정보처리 장치, 정보처리 방법 및 프로그램
DE602007001640T DE602007001640D1 (de) 2006-05-18 2007-05-16 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
EP07009858A EP1865719B1 (en) 2006-05-18 2007-05-16 Information processing apparatus, information processing method, and program
US11/750,206 US7987147B2 (en) 2006-05-18 2007-05-17 Information processing apparatus, information processing method, and program based on operator probability using sensors
CN2007101070660A CN101076107B (zh) 2006-05-18 2007-05-18 信息处理装置和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006138586A JP4162015B2 (ja) 2006-05-18 2006-05-18 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2007310620A JP2007310620A (ja) 2007-11-29
JP4162015B2 true JP4162015B2 (ja) 2008-10-08

Family

ID=38608837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006138586A Expired - Fee Related JP4162015B2 (ja) 2006-05-18 2006-05-18 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US7987147B2 (ja)
EP (1) EP1865719B1 (ja)
JP (1) JP4162015B2 (ja)
KR (1) KR20070111999A (ja)
CN (1) CN101076107B (ja)
DE (1) DE602007001640D1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925916B (zh) * 2007-11-21 2013-06-19 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
JP5844044B2 (ja) * 2007-11-21 2016-01-13 クアルコム，インコーポレイテッド デバイスアクセス制御
EP2065678B1 (en) 2007-11-30 2016-02-10 Nissan Motor Co., Ltd. Distance measurement system and distance measurement method
ITPN20110051A1 (it) 2011-07-15 2013-01-16 Claudio Nori Mezzi sensori elettrici ed elettronici collegati con un dispositivo di interfaccia per un?apparecchiatura di elaborazione di una pluralità di programmi e funzioni operative multimediali di vario genere ad alta definizione, integrata con schermo di ri
US20110292181A1 (en) * 2008-04-16 2011-12-01 Canesta, Inc. Methods and systems using three-dimensional sensing for user interaction with applications
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN101853623A (zh) * 2009-04-03 2010-10-06 鸿富锦精密工业（深圳）有限公司 影像监控系统及具有该系统的资讯显示系统
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
JP2011033993A (ja) * 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
WO2011037761A1 (en) * 2009-09-23 2011-03-31 Rovi Technologies Corporation Systems and methods for automatically detecting users within detection regions of media devices
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
EP2421252A1 (en) 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
JP5598232B2 (ja) 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US20120169583A1 (en) * 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
CN102595075A (zh) * 2011-01-17 2012-07-18 康佳集团股份有限公司 一种电视机装置及其频道控制方法
US20120198353A1 (en) * 2011-01-28 2012-08-02 Microsoft Corporation Transferring data using a physical gesture
CN102685567A (zh) * 2011-03-18 2012-09-19 海尔集团公司 数字电视终端、热门频道的控制方法及服务器
WO2012139242A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Personalized program selection system and method
JP2013092911A (ja) * 2011-10-26 2013-05-16 Sony Corp 情報処理装置、情報処理方法、および、プログラム
CN103139611B (zh) * 2011-11-30 2016-03-30 日立麦克赛尔株式会社 设备协作内容推荐装置
KR101885295B1 (ko) 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
US20130205312A1 (en) * 2012-02-03 2013-08-08 Novatek Microelectronics Corp. Image display device and operation method therefor
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
JP6221535B2 (ja) * 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9630317B2 (en) 2014-04-03 2017-04-25 Brain Corporation Learning apparatus and methods for control of robotic devices via spoofing
US9613308B2 (en) 2014-04-03 2017-04-04 Brain Corporation Spoofing remote control apparatus and methods
KR20150137499A (ko) * 2014-05-29 2015-12-09 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US9849588B2 (en) 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9860077B2 (en) 2014-09-17 2018-01-02 Brain Corporation Home animation apparatus and methods
US9579790B2 (en) * 2014-09-17 2017-02-28 Brain Corporation Apparatus and methods for removal of learned behaviors in robots
US9821470B2 (en) 2014-09-17 2017-11-21 Brain Corporation Apparatus and methods for context determination using real time sensor data
CN105898583B (zh) * 2015-01-26 2020-06-16 北京搜狗科技发展有限公司 一种图像推荐方法及电子设备
US10295972B2 (en) 2016-04-29 2019-05-21 Brain Corporation Systems and methods to operate controllable devices with gestures and/or noises
WO2020176353A1 (en) * 2019-02-25 2020-09-03 Liveperson, Inc. Intent-driven contact center
JP7445207B2 (ja) * 2020-01-29 2024-03-07 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US20240323468A1 (en) * 2023-03-21 2024-09-26 Google Llc User interface customization in a television platform

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5945988A (en) * 1996-06-06 1999-08-31 Intel Corporation Method and apparatus for automatically determining and dynamically updating user preferences in an entertainment system
DK0932398T3 (da) * 1996-06-28 2006-09-25 Ortho Mcneil Pharm Inc Anvendelse af topiramat eller derivater deraf til fremstilling af et lægemiddel til behandling af maniodepressive bipolære forstyrrelser
JPH11327753A (ja) 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
WO2002032136A2 (en) * 2000-10-10 2002-04-18 Koninklijke Philips Electronics N.V. Device control via image-based recognition
US20020194586A1 (en) * 2001-06-15 2002-12-19 Srinivas Gutta Method and system and article of manufacture for multi-user profile generation
US7680295B2 (en) 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
EP1490941A4 (en) * 2002-03-28 2007-01-10 Robertshaw Controls Co ENERGY MANAGEMENT SYSTEM AND METHOD
US7298871B2 (en) * 2002-06-07 2007-11-20 Koninklijke Philips Electronics N.V. System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment
JP2005236354A (ja) 2004-02-17 2005-09-02 Sony Corp 受信装置
JP2005242759A (ja) 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006309448A (ja) 2005-04-27 2006-11-09 Sony Corp ユーザインターフェース装置及び方法

Also Published As

Publication number Publication date
US20070276690A1 (en) 2007-11-29
CN101076107B (zh) 2010-06-02
DE602007001640D1 (de) 2009-09-03
KR20070111999A (ko) 2007-11-22
EP1865719A2 (en) 2007-12-12
CN101076107A (zh) 2007-11-21
US7987147B2 (en) 2011-07-26
EP1865719A3 (en) 2007-12-19
EP1865719B1 (en) 2009-07-22
JP2007310620A (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
JP4162015B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US8612866B2 (en) Information processing apparatus, information processing method, and information processing program
US9208227B2 (en) Electronic apparatus, reproduction control system, reproduction control method, and program therefor
DK3175442T3 (en) SYSTEMS AND METHODS FOR PERFORMING ASR IN THE PRESENCE OF HETEROGRAPHS
US8421823B2 (en) Overlaying camera-derived viewer emotion indication on video display
JP5845801B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2014106637A (ja) 情報処理装置および方法、並びにプログラム
TWI527442B (zh) 資訊萃取方法及設備以及其電腦可讀取的媒體
KR20200092465A (ko) 추천 컨텐츠 리스트 제공 방법 및 그에 따른 전자 장치
US20220020053A1 (en) Apparatus, systems and methods for acquiring commentary about a media content event
JP2012238232A (ja) 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム
US20230036919A1 (en) Incorporating interaction actions into video display through pixel displacement
JP2005527158A (ja) プレゼンテーションシンセサイザ
KR20210051349A (ko) 전자장치 및 그 제어방법
JP2005250322A (ja) 表示装置
KR101502984B1 (ko) 콘텐츠 내 객체 정보 및 객체 기반의 응용 콘텐츠를 제공하는 방법 및 장치
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
JP2017182275A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2004139175A (ja) 情報閲覧装置、情報閲覧方法、情報閲覧プログラムおよびそのプログラムを記録したコンピュータ読取可能な記録媒体
KR20200062865A (ko) 전자 장치 및 그 동작 방법
US20240223861A1 (en) Smart content search from audio/video captures while watching tv content itself
WO2023120263A1 (ja) 情報処理装置及び情報処理方法
KR101701813B1 (ko) 디스플레이 장치 및 이의 보이스 변환 방법
JP6232304B2 (ja) 閲覧者の評価を考慮して表示の優先度を定める歌唱動画の閲覧システム
CN118606510A (zh) 一种显示设备及媒资的推荐方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees