JP5324664B2 - 学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース - Google Patents

学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース Download PDF

Info

Publication number
JP5324664B2
JP5324664B2 JP2011538645A JP2011538645A JP5324664B2 JP 5324664 B2 JP5324664 B2 JP 5324664B2 JP 2011538645 A JP2011538645 A JP 2011538645A JP 2011538645 A JP2011538645 A JP 2011538645A JP 5324664 B2 JP5324664 B2 JP 5324664B2
Authority
JP
Japan
Prior art keywords
user
program
metadata
video
audiovisual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011538645A
Other languages
English (en)
Other versions
JP2012510671A (ja
Inventor
リン ジュン ウォン
ヴィクター カルヴァジャル
ジェイミー チー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of JP2012510671A publication Critical patent/JP2012510671A/ja
Application granted granted Critical
Publication of JP5324664B2 publication Critical patent/JP5324664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • G06F16/637Administration of user profiles, e.g. generation, initialization, adaptation or distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224Monitoring of user activity on external systems, e.g. Internet browsing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

関連出願への相互参照
本出願は、2008年12月2日に出願され、引用によって全体が本明細書に組み込まれている米国特許出願番号第12/326,681号に対する優先権を請求する。
連邦政府補助研究又は開発に関する記載
該当せず
コンパクトディスク上で提出した資料の引用による組込み
該当せず
本発明は、一般的にユーザインタフェースに関し、より具体的には、学習を通じてユーザプリファレンスを取り込むユーザインタフェースに関する。
「ビデオカセット収録(VCR)」及び「デジタルビデオ収録(DVR)」の関連では、近日放送予定の番組コンテンツの番組スケジュールが表示される従来のユーザインタフェースは公知である。同様に、様々な産業の顧客サービス及び他の事業セグメントにおいて音声プロンプトは公知である(そのようなプロンプトシーケンスは、通常は「英語は1を押して下さい」又は「タッチトーンダイヤルは1を押して下さい」で始まる)。一般的に、XM(登録商標)衛星ラジオシステム及びSirius(登録商標)衛星ラジオシステムは、オーディオ番組を選択するのに視覚インタフェース(一般的に局又は近日放送予定のイベントのリスト)を使用する。
米国特許出願番号第12/326,681号
しかし、欠如しているように思われるのは、過去のユーザ対話から学習するユーザインタフェースである。そのようなインタフェースは、ユーザ対話を容易にし、そのような非学習システムを使用する時に一般的に遭遇する苛立ちを軽減すると考えられる。
本発明の態様は、ユーザに関するユーザプリファレンスセットを収集する段階と、オーディオビジュアル入力に関連付けられたメタデータストリームを準備する段階と、メタデータストリームとユーザプリファレンスセットとを比較して比較を形成する段階と、比較が、メタデータストリームがユーザプリファレンスセットの1つ又はそれよりも多くの要素と符合することを示す場合に、ユーザにメッセージを出力する段階とを含むユーザと対話する方法である。メタデータストリームは、コンテンツ番組(オーディオ、ビデオ、又はオーディオビジュアルのコンテンツ)に関連付けられてそれと共に伝達される直接メタデータを含むことができ、又はアクセス中の特定の番組におけるオーディオストリーム、ビデオストリーム、又はオーディオとビデオの両方のストリームから製作することができる。インターネット接続が存在する場合には、アクセス中の特定のコンテンツに関する遠隔サーバから付加的なメタデータをダウンロードすることができる。
一般的に、アクセスとは、ユーザによってビデオ番組だけが閲覧されること、オーディオ番組が聞かれること、更にはユーザがオーディオビジュアル番組を見ることと聞くことの両方を行うことができることを意味する。従って、本発明は、耳の不自由な人、目の不自由な人、又はこれらの知覚が大きく阻害された人に適用可能である。
本発明の別の態様では、ユーザは、メッセージを音響的又は視覚的に、又は音響と視覚の両方で、又は表示されたテキスト吹き出しを閲覧することによって視覚的に知覚することができる。これらの方法のあらゆる組合せを使用することができる。
ユーザに関するユーザプリファレンスセットを収集する段階は、異なるオーディオビジュアル入力に変更する前に、ユーザによって知覚されたオーディオビジュアル入力の時間の百分率を判断する段階を含むことができる。閲覧された時間量は、各チャンネルアセット(一般的にオーディオアセットにおける歌曲、ビデオだけのアセットにおけるスライドショー、及びオーディオビジュアルアセットにおける映画)に時間変数を割り当て、各チャンネルがアクセスされている間にクロック又は他のタイミング供給源によって時間を増分することによって計算することができる。
代替的に、使用開始時間と使用終了を記憶するのに割り込み番組を使用することができ、そこから時間増分を時間変数に加算することができる。この態様では、時間を読み取るのにクロックを使用することができる。このようにして、特定の番組が終了するまで複数のチャンネルをモニタすることができる。チャンネルが終了すると、ユーザがアクセスした合計時間を番組が利用可能であった合計時間で割算することができる。
オーディオビジュアル入力がアクセスされた時間の百分率は、オーディオビジュアル入力がユーザによって知覚された時間量をオーディオビジュアル入力が利用可能であった時間の合計の長さで割算することによって計算することができる。ユーザが実際に入力を知覚していたことは、ある一定の期間内にユーザ側にアクションが発生したことを判断することによって判断することができる。例えば、オーディオビジュアルコマーシャルは、非常に高い頻度の規則性を伴って発生するので、ユーザがデバイスを消音するか又はそうでなければ音量を変更するか又はチャンネルを変更することは、ユーザが実際に物理的に存在することを示すのに使用することができる。これは、特定のユーザがTVのような娯楽デバイスの位置にいた時間の合計量を計算するのに有利とすることができる。この場合、保護者は、閲覧するコンテンツに関わらず、特定の子供がTVをある期間にわたって使用することができる時間量を制限するように選択することができる。
ユーザによる知覚は、ユーザによる物理的に存在する知覚、ユーザによる必ずしも物理的に存在するわけではない知覚、又はその組合せとすることができる。直近のユーザ入力以来、実質的に長い時間が発生した場合には、ユーザが本当に物理的に存在しなかったことを推測することができる。例えば、ユーザが3時間の長さの映画を閲覧しており、全3時間にわたっていかなる入力も行わなかった場合には、これは、ユーザが番組に積極的にアクセスしていなかったことを意味することができる。殆どの人は、休憩なしにそれ程長く静かに座っていることができない。そのような挙動は通常的ではなく、評価アルゴリズム内で、信頼性が低いとしてあらゆるそのような評価を廃棄するように使用することができる。この挙動は、閲覧者が眠りだすか又はそうでなければ別の活動に専心するようになることによって例示することができる。
オーディオビジュアル入力が知覚された時間の百分率は、1つ又はそれよりも多くの同時に利用可能なオーディオビジュアル入力に対して維持することができ、それによってオーディオビジュアル入力の部分知覚を与える。従って、ユーザが、分割画面又はチャンネル切り替え(チャンネルの頻繁な変更)のいずれかによって2つ又はそれよりも多くの番組を同時に閲覧することを試みた場合には、特定のオーディオビジュアルストリームに費やされる部分を相対的なプリファレンスの指示として使用することができる。これは、過去のユーザプリファレンスにおいてユーザが特定の番組を既に見てそれを高く評価しており、その番組が、別の異なる番組と重複しながら再度映され、他方の異なる番組が、高く評価された番組よりも長く閲覧された場合には、この他方の異なる番組には、この特定の番組と同じ評価、又はそれよりも高い評価が割り当てられた可能性があることを推定するのに更に使用することができる。
ユーザによる知覚は、潜在的にマルチウィンドウ型のデバイス内のアクティブウィンドウを閲覧することによるものとすることができる。一般的なマルチウィンドウデバイスでは、何らかの指示は、アクティブなウィンドウで作られる。この指示は、アクティブウィンドウに関連付けられた音声(オーディオストリーム)、サブタイトル又は他の字幕、ウィンドウの強調表示、又は強調表示ボックス又はウィンドウの少なくとも一部を示す他のグラフィックを印象づけることとすることができる。
潜在的にマルチウィンドウ型のデバイス内のアクティブウィンドウは、オーバーレイを有する単に1つのウィンドウとすることもできる。この事例では、テレビジョンセットは、1つのオーディオビジュアル入力を表示する機能しか持たない可能性があるが、テキストボックスをオーバーレイ層内のオーディオビジュアル表示の上に重ね合わせることができる。そのような関連において、テキストボックスは、強調表示された時にアクティブになり、他の場合は、背景番組がアクティブウィンドウであると見なすことができる。これは、番組ガイドが閲覧されている時に、浮動ウィジェットが現れて番組ガイドを掩蔽する時に当て嵌まると考えられる。そのような事例では、浮動ウィジェットオブジェクトがアクティブウィンドウになると見なされることになる。従って、アクティブウィンドウに向けられた入力は、浮動ウィジェットオブジェクトに渡されることになる。
オーディオビジュアル入力は、オーディオ入力、ビデオ入力、関連オーディオ入力を有するビデオ入力(典型的な映画のような)、対応するビデオ表示を有するオーディオ入力(ラジオ又は他のオーディオ番組のような)、及びこれらのうちの1つ又はそれよりも多くから構成されるオーディオビジュアル入力の群から選択することができる。従って、従来のテレビジョン、従来のラジオ、音楽を有するスライドショー、関連ビデオを有するオーディオ番組、又はこれらの組合せを適切なオーディオビジュアル入力として使用することができるように考えられている。これらの入力の各々は、関連情報ストリームを有し、従って、オーディオ入力はオーディオストリームを有し、ビデオ入力は、ビデオストリームを有し、オーディオビジュアル入力は、オーディオストリーム、ビデオストリームを有することができる。全ての入力は、入力ストリーム上に重ね合わされるか、又は入力ストリームと実質的に同時に送信されるかのいずれかである関連メタデータストリームを有することができる。メタデータストリームは、番組コンテンツの説明を含むことができる。
入力メタデータストリームは、オーディオビジュアル入力に対する字幕データストリームを含むことができる。従って、特定の番組のテキストを番組のメタデータストリームの1つの成分とすることができる。例えば、2008年の北京オリンピックでは、競泳において「Phelps」という言葉が非常に頻発し、その結果番組の字幕内で非常に頻発した。従って、閲覧履歴ユーザデータベースのデータベース内での「Phelps」の検索は、近日放送予定の番組内でこの検索用語が存在する様々な競泳の推薦を生成することになる。
メタデータストリームは、オーディオビジュアル入力のオーディオ成分に対する発話認識出力ストリームを含むことができる。字幕が存在しない場合には、字幕を発生させる上で発話認識出力ストリームを使用することができ、それによって以前に説明したようにメタデータストリームに入力が与えられる。これは全く実時間のデバイスとはいかない可能性があるが、十分な処理機能があれば実現可能であるように見えるであろう。
メタデータストリームは、オーディオビジュアル入力のビデオ成分に対する映像認識出力ストリームを含むことができる。従って、Phelpsの顔がビデオセグメント内で認識された場合には、メタデータには、「Phelps」という用語が追加されている可能性がある。
ユーザと対話する方法は、ユーザプリファレンスのビンに入れられたセグメントを選択するのに、オーディオビジュアル入力がユーザによって知覚された時間の百分率を使用する段階と、オーディオビジュアル入力に関連付けられたメタデータをユーザプリファレンスデータベース内のビンに入れられた属性の中に入力する段階とを含むことができる。これらのビンに入れられた属性は、非常に好ましい番組コンテンツ、部分的に好ましい番組コンテンツ、及び好まれない番組コンテンツにそれぞれ関連付けられた5つ星、3つ星、又は星なしを含むことができる。ユーザプリファレンスにおける複雑度の増大及びより大きいメモリ記憶要件という犠牲を払って細かいビン処理を使用することができる。
付加的なビンは、「制限付き」のビンとすることができる。そのようなビンは、小さい子供には適さない特定のコンテンツとすることができる。
ビンに入れられた属性の選択は、ユーザが、ビンに入れられた属性を無効にすることを可能にする段階を含むことができる。従って、以前のビン属性が、別途自動的に行われるビン選択に関わらず、ユーザが番組にアクセスした時間の百分率に基づいて選択された場合には、ユーザは、代わりに別のビン属性を選択することができる。この例は、ユーザが初めから終わりまで全体の映画を観た場合に、「非常に好ましい」ビン又は5つ星ビンの割り当てをもたらすこととすることができる。ユーザは後に思い返して、この映画を一度観るのは良しとするが、決して二度見たいとは望まないように判断する可能性があり、「好まない」又は星なしの評価をもたらす。
ユーザと対話する方法は、各々が独立したメタデータストリームを有するユーザの知覚に対して利用可能なアセットのリストをロードする段階と、アセットのメタデータストリームのうちの少なくとも1つをユーザに関するプリファレンスセットと比較して、1つ又はそれよりも多くのユーザ推薦を作成する段階とを含むことができる。例えば、利用可能なコンテンツの長いリストを有する番組ガイド(いくつかの新しいケーブル局は、999チャンネルを可能にし、インターネット番組は、極めて幅広い番組機能を有することができる)では、現在リスト表示された番組の画面閲覧は、メタデータをダウンロードさせることができる。次に、現在リスト表示されている番組(恐らくはガイドリスト内に最初に表示されなかったものさえも)の各々に関するメタデータは、ユーザプリファレンスデータベース内に見つかるものと比較される。特定の番組に関するメタデータ要素のうちの1つが、ユーザプリファレンスデータベース内の要素に対応する場合には、メタデータ要素を有する対応する特定の番組が、共通のプリファレンス項目のユーザプリファレンス評価レベルで推薦されることになる。
従って、非常に好ましい番組が番組ガイド上に示されている時に、特定の番組が非常に好ましいと思われることを示すために浮動ウィジェットを呼び出すことができる。番組ガイドは、ガイド全体を通じて逐次方式でスクロールし、非常に好ましい番組を順次示すように作成することができる。
ユーザ推薦は、1つ又はそれよりも多くのユーザ推薦を順序付ける段階と、ユーザ推薦に対応するオーディオビジュアル入力に関するメッセージを形成する段階とによって作成することができる。順序付けることにより、一般的に最も好ましい番組が最初にくるように、メッセージリストが昇順又は降順のリストに選別するように意図している。
本発明の別の態様では、オーディオビジュアルデバイスは、オーディオ、ビデオ、又はオーディオビジュアルのそれぞれのストリームを受信し、処理することができるオーディオ、ビデオ、又はオーディオビジュアルの出力デバイスと、オーディオ、ビデオ、又はオーディオビジュアルのそれぞれのストリームに関連付けられた関連メタデータストリームを処理するための手段と、ユーザプリファレンスを発生させる手段と、ユーザプリファレンスと関連メタデータストリームとの1つ又はそれよりも多くの比較に基づいて、1つ又はそれよりも多くのメッセージをユーザに対して出力するための手段とを含むことができる。
上述のオーディオビジュアルデバイスでは、出力するための手段は、1つ又はそれよりも多くのメッセージをユーザに通信するために呼び出された時に、フェードインして現れる浮動ウィジェットオブジェクトを含むことができる。
ユーザと対話する方法は、1つ又はそれよりも多くのユーザ推薦を順序付ける段階と、ユーザ推薦に対応するオーディオビジュアル入力に関するメッセージを制限メッセージとして形成する段階とを含むことができる。制限メッセージは、NC−17、PG−13、特定の子供のような特定の番組に適する視聴者を示すことができる。
制限メッセージに対応するオーディオビジュアル入力は、アクセスを遮断することができ、それによって遮断された入力が形成される。
遮断されたそのような入力は、パスワード照会に対して成功したユーザ応答を受けて解除することができる。この解除は、本質的に一時的なもの又は特定の番組に対して永続的なものとすることができる。そうでなければ、解除は、保護者が番組を理解する程に子供が十分に成長したと考えた場合に、PG−13のような番組に対するものとすることができる。
ユーザプリファレンス装置は、上述の方法を含むことができる。
別の実施形態では、オーディオビジュアルデバイスは、a.オーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号を受信して処理することができるオーディオ、ビデオ、又はオーディオビジュアルの出力デバイスと、b.オーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号に関連付けられた関連メタデータストリームを処理するための手段と、c.ユーザプリファレンスを発生させる手段と、d.ユーザプリファレンスと関連メタデータストリームとの1つ又はそれよりも多くの比較に基づいて、1つ又はそれよりも多くのメッセージをユーザに対して出力するための手段とを含むことができる。
出力するための手段は、1つ又はそれよりも多くのメッセージをユーザに通信する時にフェードインして現れる浮動ウィジェットを含むことができる。オーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号を遮断するための手段は、メッセージのうちの1つ又はそれよりも多くに基づくとすることができる。
遮断されたオーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号を選択的に遮断解除するための手段は、成功したパスワード照会に基づくとすることができる。
上述の方法は、コンピュータ上で実行することができる実行可能なプログラムを含むコンピュータ可読媒体上に記憶することができる。
ユーザプリファレンス装置は、上記に開示した方法を含むことができる。
本発明の更に別の態様は、本明細書の以下に続く部分で明らかになり、詳細説明は、本発明の好ましい実施形態をそれらに対して制限を課すことなく完全に開示する目的のものである。
本発明は、単に例示目的のものである以下の図面を参照することによってより完全に理解されるであろう。
アセットリストを入力し、アセットリストの各エントリに関連付けられたメタデータを読み取り、アセットリストの各エントリに関連付けられたメタデータをユーザプリファレンスデータベースと比較して、ユーザインタフェースに対して未選別の出力ユーザ推薦をもたらす対応を判断するための初期化シーケンスの流れ図である。 ビデオが再生中である時を判断し、ビデオが再生される時間の百分率又は優先する直接的ユーザビデオ評価に基づいてユーザプリファレンスを更新するビデオモニタ及び評価法の流れ図である。 ビデオが再生中である時を判断し、ビデオが再生される時間の百分率又は優先する直接的ユーザビデオ評価に基づいてユーザプリファレンスを更新するビデオモニタ及び評価法の流れ図である。 図2A及び図2Bの流れ図に基づいてビデオ制限を可能にする流れ図である。 図2A及び図2Bの流れ図に基づいてビデオ制限を可能にする流れ図である。 図1で発生した未選別出力ユーザ推薦をユーザインタフェースに対して選別し、ユーザのプリファレンスデータベースとの符合を含む出力をユーザインタフェース内に作成する1つの方法の流れ図である。 番組が制限付きであり、「ユーザ」の制限がアクセスするには不十分である場合に、番組を遮断する「制限ウィジェット遮断手順」の流れ図である。 そうでなければ遮断されることになる番組のアクセスを可能にするパスワードのエントリを可能にする「制限ウィジェット解除手順」の流れ図である。
図面をより具体的に参照すると、例示目的で、本発明の態様を図1から図6に一般的に示す方法及び装置に具現化している。本明細書に開示する基本的な概念から逸脱することなく、装置は、構成及び部分の詳細内容に関して変更することができ、方法は、特定の段階及びシーケンスに関して変更することができることが認められるであろう。特に、下記の説明は単一ユーザだけに対して解説するが、当業者は、複数ユーザに適応させるのに殆ど困難がないであろう。
定義
本明細書では以下の用語を用い、従って、これらの用語を本発明の説明を理解するのに役立つように定める。当業者は、これらの用語が不変的に定義さるものではなく、更に以下に続く定義だけではなく、その変形を本発明の関連の中で適切なものとして用いて解釈すべきであることを理解するであろう。
「アクティブウィンドウ」は、現在のウィンドウマネージャ、エクスプローラ、又は他の表示デバイスにおいて現在着目されているウィンドウを意味する。異なるウィンドウマネージャは、異なる手法で現在アクティブなウィンドウを示し、ユーザが、異なる手法でウィンドウ間で切り換えを行うことを可能にする。例えば、前景ウィンドウの「背面」にあるウィンドウ上をクリックすると、選択された背景ウィンドウがアクティブになり、以前のアクティブウィンドウが背面に移動する。アクティブウィンドウは、異なる色のタイトルバー又は他の標識を有することによって示すことができる。しかし、マウスを用いてクリックすることが、アクティブウィンドウを選択する唯一の手法ではなく、一部のウィンドウマネージャは、マウスポインタの下にあるウィンドウをアクティブにし、ウィンドウを切り換えるのに単純にマウスを移動させるだけで十分であり、クリック又はダブルクリックを必要としない。
多くの場合にウィンドウマネージャは、キーボード又は他の入力デバイスをマウスの代替物として用いてアクティブウィンドウを選択する手法を提供する。1つの一般的なキーの組合せは、Windows(登録商標)によって使用される「Alt+Tab」であり、別のものは、Macintosh(登録商標)によって使用される「Function−Tab」である。適切なキーの組合せを押下することにより、一般的にあらゆる順序で全ての可視ウィンドウを通して循環されるが、他のアクションも可能である。
全部ではないが、多くのウィンドウマネージャは、画面上の各ウィンドウにおいてあらゆる種類の視覚制御器(多くの場合にボタン)を含む画面領域を提供する。一般的に、各ボタンは、ウィンドウタイトルを含み、同じくアイコンを含むことができる。一般的に、画面のこの区域は、どのウィンドウがアクティブであるかのあらゆる種類の視覚的な桁を提供し、例えば、アクティブウィンドウのボタンを「押下状態」で見せることができる。また、通常は、適切なボタン上のクリックによってアクティブウィンドウを切り換えることができる。画面のこの区域をタスクバー、ドック、又はあらゆる他の類似の用語で呼ぶことができる。
アクティブウィンドウは、常に画面上の全ての他のウィンドウの前面に位置しなくてもよいことに注意することは重要である。アクティブウィンドウは、単純にキーボード上でタイプされたキーが送られるか、又は他のアクションが向けられるウィンドウであり、アクティブウィンドウは、他のウィンドウによって掩蔽される場合がある。これは、アクティブウィンドウを変更するのにクリックを必要としないウィンドウマネージャでは特に真である。
最後に、オーディオビジュアル表示デバイスでは、1つのアクティブウィンドウしか存在しないとすることができる。リモートコントローラ又は他のデバイス内に入力される命令は、更に別のウィンドウを発生させることができ、例えば、この場合「メニュー」、「ガイド」、又は類似のボタンをクリックすることにより、メニューウィンドウ又はガイドウィンドウが新たに開かれることになる。
「オーディオストリーム」は、時間的に連続して再生される収録音声の集合を意味する。アナログの例では、レコード盤は、収録されたオーディオトラックの音響音圧の振幅を物理的に表す1つの連続的な軌溝を有するオーディオストリームの物理的な実施形態である。同様に、コンパクトディスクは、所定のサンプリング周波数でサンプリングされた収録音声のデジタル化された振幅を含むことができる。これは、関連ビデオストリーム(以下に定める)に対する音声トラックとしてデジタル多用途ディスク又はDVDに拡張することができる。最後に、アナログ又はデジタルの音声情報は、一般的なオーディオビジュアルストリーム内で適切なアナログ又はデジタルのテレビジョン放送に関連付けることができ、白黒テレビジョン、カラーテレビジョン、及び最近では高精細テレビジョンをもたらす。
「ビデオストリーム」は、一般的にビデオレコーダを用いで得られた時間的に連続して再生される映像フレームの集合を意味する。そのような映像のフレームの集合の連続再生をビデオ映像ストリーム又はビデオストリームと呼ぶことができる。そのようなビデオストリームは、映画、スライドショー、又は他の時間進行のフォトモンタージュを含むことができる。ビデオストリームに関連付けられたオーディオストリーム、例えば、映画の音声トラックが存在する場合もある。
「メタデータ」は、データに関する情報を意味する。定義では、語源「メタ」は、「〜に関して」を意味し、従って、メタデータは、「データに関して」又はより具体的には「データに関する情報」を意味する。データベースのフィールド及びフォーマット、並びにウェアハウスを説明するメタデータが存在する。ウェブページ、研究論文のような文書及び文書要素を説明するメタデータが存在する。本明細書では、メタデータは、オーディオ、ビデオ、又はオーディオビジュアルのストリームに関する情報、又はオーディオ、ビデオ、又はオーディオビジュアルのストリームによって参照される情報を指すことになる。
例えば、「Citizen Kane(登録商標)」という映画では、そのエンディングの近くで、今では有名な、「Rosebud」という名称が描かれたそりのシーンが登場する。このシーンに対するメタデータは、役者Orson Wellesが「Charles Foster Kane」の役を演じ、監督でもあり、更に、Herman J.Mankiewiczと共に脚本家のうちの1人でもあったという情報を含むことができる。また、メタデータは、母の愛の最後の残りの一滴を象徴するそりの意味を含むことができる。そのようなメタデータは、極めて満載の例では、最終的な母の愛の損失、又は母の愛の最後の思い出としての燃えるそりの心理学的な意味の監督による分析を含むことができる。
「メタデータストリーム」は、メタデータフローを意味し、メタデータは、以下に限定されるものではないが、オーディオストリーム、ビデオストリーム、又は両方のそのようなストリームのいずれかに関連付けられることを含む。
「ウィジェット」は、ユーザが対話するグラフィカルユーザインタフェース(GUI)の構成要素を意味する。一般的に、GUIは、その特定のGUIに独特の下層の処理によってサポートされる。
「浮動ウィジェットオブジェクト」は、呼び出すか又は廃棄する時にディスプレイ上の様々な位置で消失及び出現するウィジェットを意味する。
「静止映像」は、通常はビデオ映像の一部ではない単一の映像を意味する。静止映像は、静止画像とも呼ぶ場合がある。
「コンピュータ」は、以下に限定されるものではないが、マイクロプロセッサ、マイクロコントローラ、ビデオプロセッサ、デジタル状態機械、フィールドプログラマブルゲートアレイ(FGPA)、デジタル信号プロセッサ、マイクロプロセッサとアナログ又はデジタルの出力デバイスとを有する併置統合メモリシステム、マイクロプロセッサと、デジタル又はアナログの信号プロトコルによって接続したアナログ又はデジタルの出力デバイスとを有する分散メモリシステムを含む本明細書に説明する段階、方法を実施するか又は信号を生成することができるあらゆるデバイスを意味する。
「コンピュータ可読媒体」は、以下に限定されるものではないが、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、磁気読取可能記憶システムと、直接的な方法又は光学文字認識法によって読取可能なパンチカード又は印刷物のような光学読取可能記憶媒体と、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、書き換え可能CD、及び/又はDVDのような他の光学記憶媒体と、プログラマブル読取専用メモリ(PROM)、電気消去可能プログラマブル読取専用メモリ(EEPROM)、フィールドプログラマブルゲートアレイ(FGPA)、フラッシュランダムアクセスメモリ(フラッシュRAM)のような電気可読媒体とを含む本明細書に説明する段階を実施し、フロー又は信号フローをもたらし、記憶し、それに対して論理操作を実施するか又は送信するコンピュータによって処理することができる編成された情報と、以下に限定されるものではないが、無線送信、銅線、及び光ファイバを含む電磁法又は光学法によって送信される情報とのあらゆる供給源を意味する。
「ユーザプリファレンスデータベース」は、以下に限定されるものではないが、「Star Wars(登録商標)」、アクション、ロマンス、George Clooney、George Orwell、1941、William Randolph Hearst、「James Bond(登録商標)」、007(登録商標)、ドラマ、ホラー、PG17、及びSean Conneryのような例を含むユーザが行ったユーザの興味に関する選択を保持するデータ構造(データベース)を意味する。興味は、個人が、非常に好ましい、部分的に好ましい、好まないと評価するその両方のものを含むことができる。データベースは、1人より多くのユーザ又はユーザカテゴリに関する編成されたプリファレンスの集合を含むことができる。ユーザプリファレンスのカテゴリは、以下に限定されるものではないが、子供、十代、「硬派」映画、「女性向け映画」などを含むことができる。恐らくは、ユーザプリファレンスデータベースを開始するのに、そのような広範なカテゴリから構成される事前構成されたデータベースをダウンロードすることができる。ユーザプリファレンスデータベースは、エントリとその評価の間にリンクを有することになり、従って、エントリとの比較が行われる際に符合が見つかった場合には、エントリに与えられた評価を取得することができるように考えられている。同様に、所定の評価を有する全てのエントリを見つけることができる。
極めて単純なユーザプリファレンスデータベースは、星なしリスト、3つ星リスト、又は5つ星リストのような各評価属性に関連付けられたリストになる。リストのうちの1つに見られる要素は、リスト自体の評価属性を有することになる。
「データベース」は、データベースモデルに従って構造化されたデータの構造化集合を意味する。以下に限定されるものではないが、最も一般的に使用される構造は、相関モデルである。最終的にデータベースは、入力された照会に対する応答を有意なデータを用いて発生させることを可能にする。例えば、ユーザプリファレンスデータベースは、特定のユーザに関してそれぞれ好まない、部分的に好ましい、及び非常に好ましい娯楽供給源に対応する星なし、3つ星、5つ星のビデオ供給源又はオーディオ供給源のベクトルを含む。各娯楽供給源は、ユーザプリファレンスの完全なデータマイニングからもたらされる男優、女優、監督、舞台セットの位置等への他のリンクを付加的に有することができる。
星なしエントリに言及する場合に、それが意味するものは、そのエントリが、星なし値を有する評価へのリンクを有し、ユーザによって好まれていないということである。従って、メタデータ要素がユーザプリファレンスデータベースに追加される場合には、要素と、評価値への適切なリンクの両方が追加される。これらのリンクは、従来的に背景データベース保守機構(SQLなど)によって供給されるか、又は圧縮性の理由から直接符号化することができる。
「TV」は、テレビジョン又は遠隔閲覧を意味する。典型的なTVは、アナログ又はデジタルの信号を受信する独立型受信機とすることができ、この信号をユーザによる閲覧又は聴取に対して処理する。別の定義では、TVは、ビデオ、オーディオ、又は両方の信号を閲覧者に対して表示することができるハードウエアセットである。そのようなハードウエアは、ビデオ信号の閲覧、聴取、又はその両方にのみ限定することができ、又はテレビジョン受信及びビデオ、オーディオ、又はその両方の表示という使用を超えた他の使用機能を有するコンピュータシステムの一部とすることができる。更に別のものでは、テレビジョンは、ビデオモニタ、オーディオモニタ、及び入力ビデオストリームを処理するための手段を含むことができる。簡潔には、米国内の全てのテレビジョンは、「高精細TV(HDTV)」で放送されることになる。更に、そのような番組は、デジタル又はアナログのケーブル信号によって放送、転送するか又はインターネットを通じた送信に対してTCPIPパケットに再パッケージ化することができる。
1.0序論
本発明の1つの態様は、ユーザの過去の体験を反映するユーザインタフェースの更新を可能にする。例えば、ユーザが、過去にジャズトランペット演奏者のWynton Marsalisを優れた演奏者のように判断した場合には、タイトル又はメタデータ内にWynton Marsalisを含む近日放送予定の番組へのガイドが、浮動ウィジェットオブジェクトによって相応に示されることになる。浮動ウィジェットオブジェクトによる指示は、ビデオ番組ガイド内の視覚的なものとすることができ、又はオーディオガイド内の聴覚的なものとすることができる。更に別のモードでは、浮動オブジェクトは、オーディオガイド内の情報を反映するビデオウィジェット、又はビデオ情報を反映するオーディオウィジェットとすることができる。
特定のユーザが本発明と対話する時に、特定のユーザによる直接評価又は特定のビデオが再生される時間量を再生長さ全体に対する比率で判断することのいずれかによってプリファレンスを発生させることができる。
ユーザが感知するソース素材の例としては、一般的にビデオが使用される。しかし、ビデオの代わりにオーディオ素材だけを使用することができ、オーディオ素材に対してビデオインタフェースを使用することができる。実際には、ビデオは、一般的にビデオ信号ストリームと1つ又はそれよりも多くのオーディオストリームの両方、及び潜在的に1つ又はそれよりも多くのメタデータストリームから構成されることは理解されるものとする。オーディオビジュアルという用語は、全てのオーディオ、ビデオ、又はオーディオ及びビデオのソース、並びに全ての関連メタデータを含む。
1.1浮動オブジェクト
本発明の一態様では、浮動オブジェクトは、ユーザの嗜好を理解し、それをビデオ又はオーディオの利用可能なコンテンツのメタデータと比較し、ユーザプリファレンスデータベースとの比較の結果を分析した後に推薦を提供する。肯定的な結果があった場合には、浮動オブジェクトは、ビデオ(又はオーディオ)クリップ又はチャンネルの上に移動し、オーディオ出力を通じた口述音声による示唆、又は吹き出しを通じた視覚的な示唆のいずれかを与え、それによって肯定的な結果をユーザに示している。
浮動オブジェクト法は、閲覧画面上に一般的に現れるテキストボックスを読むのとは反対にコンテンツの推薦をユーザに対して面白く対話型なものにする。
この浮動ウィジェットオブジェクト機能は、TV上の適切なデータへのアクセスを有し、二重層ウィジェットプラットフォームのオーバーレイ層上に存在させることができる特殊な浮動ウィジェットとして具現化することができる。
1.1浮動オブジェクト−例
一例として、恐らく特定のユーザは、初代「American Idol(登録商標)」優勝者であるKelly Clarksonに関するあらゆるものを視聴しようという止むことのない熱情を有する。この場合、近日放送予定のイベントの番組スケジュールガイドを閲覧する時に、ユーザは、異なる提示物を有する多くのページを通じて、一部の場合には、恐らくは14日又はそれよりも多くの期間にわたって1000個又はそれよりも多くにも上るチャンネルをスクロールする可能性がある。これらの提示物の各々をアセットと呼ぶことにし、アセットに関するメタデータがダウンロードされ、ユーザプリファレンスデータベースと比較されることになる。
番組アセット内で「Kelly Clarkson」というエントリを有するメタデータが見つかった場合には、「Kelly Clarkson」が特定の番組に出演することになっていることを示すテキスト吹き出し、色変化、又は他の指示を有するウィジェットがフェードインして現れ、利用可能な番組選択肢を以下に説明する。代替的に、「Kelly Clarkson」という検索用語のいかなる指示もなしに、興味対象の何らかの種類のものだけを表示することができる。
各推薦エントリが示された後に、ユーザ入力を待って可変の時間が費やされる。ユーザがいかなる入力も行わなかった場合には、次の推薦が順に示される。推薦リストの終了時には、浮動オブジェクトはフェードアウトするか、巡回し続けるかのいずれかとすることができる。
ユーザは、強い推薦だけ、強い推薦と弱い推薦の両方、又は否定的な推薦であるものを含む全てのものという推薦番組のうちのどの程度のものを表示されるかを制御することができる。更に、ユーザは、個人的に閲覧し、評価した推薦のみを示すことができる。
別の代替的な実施形態では、ユーザは、番組提示物の長いリスト内のスクロールを終わらせたものとすることができる。この時点で、更にその後の番組に関するアセットメタデータをダウンロードすることができ、次に、「Kelly Clarkson」が登場する予定の時間及びチャンネルにガイドを移動させることにより、「Kelly Clarkson」が出る次の利用可能なショーが示されることになる。
同様に、オーディオ番組に対して、特定の日付及び時間に予定された「Kelly Clarkson」を含む歌曲を含むチャンネルからメタデータをダウンロードすることができる。この場合、オーディオ番組を示すガイドが移動されることになり、「Kelly Clarkson」が出演することをフェードインするウィジェットが示すことになる。オーディオ又はビデオのいずれの例の場合にも、ウィジェットがスケジュールを中心にフェードインし、イベントの収録又は閲覧のための容易なマーク付けを可能にする。
浮動ウィジェットオブジェクト概念は、画面上に静的な方式で現れるテキストボックスを単純に読むのとは反対に、オーディオビジュアル対話をユーザに対してより面白く対話型なものにする。
浮動ウィジェットオブジェクトは、オーディオビジュアルデバイス上の適切なデータへのアクセスを有する特殊なウィジェットであり、二重層ウィジェットプラットフォームのオーバーレイ上に存在させることができるウィジェットとして具現化することができる。
浮動ウィジェットオブジェクトの発明は、インターネットビデオ又は高付加価値コンテンツの形態としての他の上質コンテンツを除外なくターゲットにすることができる。
1.2実施態様
本発明の一態様では、浮動ウィジェットオブジェクトは、ユーザが始動又は停止することができる。あらゆる管理アクション(例えば、浮動ウィジェットの有効化又は無効化、制限レベルの設定等)をパスワード入力を必要とするように構成することができる。
浮動ウィジェットオブジェクトは、ビデオ番組ガイドと併せて、ケーブルTVオーディオビジュアルチャンネルと併せて、CD、DVD、及びブルーレイプレーヤのような周辺機器からの入力ビデオと併せて、又は外部ハードディスクドライブ(HDD)、HDDベースのデバイス(例えば、TIVO(登録商標))、及び他のストリーミングデバイスのような上に存在する番組のようなTV上に見られる他のビデオ供給源からの入力ビデオと併せて使用することができるとすることができる。
アセットのメタデータをユーザプリファレンスデータベースと比較する方法は推薦検索エンジンによって行われ、推薦検索エンジンは、ユーザが観る映画のメタデータ(映画コンテンツ自体の中からのものとすることができる)とユーザプリファレンスデータベースとの間のつながりを精査して、その後の推薦に対しての基礎を形成する高度なデータマイニングアルゴリズムを有することができる。より単純ではあるが、恐らくそれ程正確ではない他のアルゴリズムは、ユーザの閲覧習性によって設定されるユーザ嗜好にのみ基づくとすることができる。
1.3インターネットTVにおける作動シーケンス
本発明の1組の態様を実施するのに、特に、インターネットTV(IPTV)、Sonyの「最良解像度オーディオビジュアル統合アーキテクチャ」(BRAVIA)インターネットリンク(BIVL)、又はApple TV等に関して、恐らく以下の段階が発生することになる。
最初に、ユーザは、インターネットから番組コンテンツを提供するサービスを選択する。番組アセットのリストが、対応するサービスからダウンロードされ、リストの最初の部分がアセット番組ガイドとして表示され、それがアセットリストになる。
次に、推薦エンジンは、アセットリストを処理し、ユーザプリファレンスデータベースとの比較により、良好な(非常に又は部分的に好ましい)結果のリストと不良な結果(明確に好まれない)のリストとを判断する。各結果が見つかると、要素の評価属性が見つかり、使用される。次に、アニメーション浮動ウィジェットオブジェクトが、推薦アセットの各々に順番に次々と進み、ユーザに対してリストを推薦するメッセージを送り、ユーザは、それを受けてアクセス又は記録するためのアセットを選択することができる(遠隔又は他の信号送信デバイス上で)。待ち行列化された推薦アセットリストの終端において、画面は、表示した番組アセットリストの最初のページに復帰する。
明確に好まれない結果に関しては、浮動ウィジェットオブジェクトは、ユーザに対してこれらを指摘することができるか、好まれないアセットを番組リストから削除することができ、又はそのようなエントリをアセット番組ガイドの最後の数ページに移動させることができるかのいずれかである。同様に、非常に好ましい番組では、浮動ウィジェットオブジェクトは、非常に推薦するビデオリストを最初のページに同じく位置決めし直すことができる。
チャンネル推薦
浮動ウィジェットオブジェクトが提供することができる別の種類の推薦は、現在番組チャンネル推薦である。例えば、現在1つ又はそれよりも多くの好みのTVショーが送信されており、浮動ウィジェットオブジェクトが、ユーザがその番組を好ましい又は好ましい可能性があるように判断した場合には、浮動ウィジェットオブジェクトは、ユーザに対してその番組を推薦することができる。ユーザが浮動ウィジェットオブジェクト推薦に合意した場合には、ユーザは、必要に応じて閲覧又は記録に対して番組を選択することができる。そのような推薦は、1つづつのベースで、視覚的に、聴覚的に、又はその両方で行うことができる。
反対に浮動ウィジェットオブジェクトが休止状態である時には、浮動ウィジェットオブジェクトは、アクティブ画面の過度の遮蔽なしにアクティブ画面の方々に移動する僅かな可視部分しか持たずに側部に隠れるか、又は不明瞭になるまで衰退するなどの休止活動を行うことができる。
浮動ウィジェットオブジェクトは、ユーザの選択を受けて始動及び停止することができる。
更に、ナビゲーションフォーカスが浮動ウィジェットオブジェクトの近くにある時に、浮動ウィジェットオブジェクトがアセットを覆う場合には、浮動ウィジェットオブジェクトは、ナビゲーションフォーカスから移動して離れることになる。
他のウィジェット又はオブジェクトとの浮動ウィジェット通信
浮動ウィジェットオブジェクトは、アセット推薦結果へのアクセスを有し、他のウィジェット及びこれらの他のウィジェットによって把握される情報との通信を有することができる。
浮動ウィジェットオブジェクトは、一般的に二重層画面の最上位(又はオーバーレイ)層上に存在することになり、他の背景閲覧が同時に発生する。そのような背景閲覧は、現在の再生中のオーディオビジュアル番組とすることができる。この場合、背景番組をより良好に閲覧するために、ユーザが浮動ウィジェットを隠す選択を行う場合には、ユーザは、ボタンのクリックでそれを行うことができる。この最上位オーバーレイ層は、計時、気象予報、株式レポートのような他のウィジェットを含むことができる。最上位表示層を隠すことにより、全ての他の表示ウィジェットも同時に隠すことができる。代替的に、推薦を行っている浮動ウィジェットオブジェクト又は他の個別ウィジェットをユーザ指令によって別々に隠すことができる。
代替的に、浮動ウィジェットオブジェクトは、この浮動ウィジェットオブジェクトのために特別に予約された個別の層上に存在させることができ、上述の層上には、他のウィジェットが存在する。存在する層に関わらず、浮動ウィジェットオブジェクトを推薦される番組の座標に移動し、それによって対話型推薦を提供することができるように、浮動ウィジェットオブジェクトは、推薦アセットの画面座標を把握する必要もある。
ユーザの選択ツールが、浮動ウィジェットオブジェクトの近くに移動すると、浮動ウィジェットオブジェクトは、ウィジェットの背後に表示されたウィンドウの閲覧を阻害しないように移動して離れることができる。
アセットのメタデータが処理される時に、ユーザプリファレンスデータベースに対応する各要素をその特定の評価属性に対する推薦待ち行列に入れるか、又はこの評価属性を伴って共通推薦待ち行列に入ることができる。
2.0ユーザプリファレンス方法
2.1入力アセットリストからの推薦の形成
ここで、アセットリストをロードする方法100を詳描する図1を参照されたい。アセットリストは、ユーザがアクセス可能な利用可能番組情報のリストである。このリストは、過去に行われた収録、利用可能なウェブベースの番組、及び現在再生中又は後に再生する現在の放送番組又はケーブル番組のガイドのリストとすることができる。
アセットリストは、そのコンテンツ又は供給源に関わらず、読み取られるように利用可能にする必要があり、従って、ロードされる(102)。
リストの終端に達する(106)までアセットリストが読み取られ(104)、リストの終端に達した時にこの処理は終了する(108)。
アセットリストがその終端にない場合は(110)、リスト上の次のアセットが読み取られ、現在のアイテムに関連付けられたメタデータが読み取られる(112)。この場合、アセットに関連付けられたこのメタデータをアセットメタデータと呼ぶことにする。
次に、アセットメタデータは、ユーザプリファレンスデータベース(別途短くユーザプリファレンスと呼ぶ)内に見つかったランク付けと比較される(114)。アセットメタデータの全ての要素のうちで、ユーザプリファレンスデータベース内にいかなる相応要素も存在しない場合には、比較は「失敗した」と呼ぶ(116)。他の場合は、比較は「合格した」と呼ぶ(118)。
比較が「合格した」(118)場合には、得られるメタデータ及びそれに関連付けられたnデータベースランクが、「推薦待ち行列」に入れられる(120)。
「推薦待ち行列」の更に別の処理は、好まれない、部分的に好ましい、及び非常に好ましいコンテンツに対してそれぞれ赤、黄、及び緑のような星なし、3つ星、及び5つ星の各レベルに関連付けられた色を使用することができる。従って、アセットリストがユーザに対して表示される場合には、以前に解説した赤、黄、及び緑のような強調表示は、好まれない、幾分好ましい、及び非常に好ましい番組を示すことができる。このようにして、ユーザは、ユーザに対して興味対象のものになる番組を以前の体験及び評価に基づいて迅速にナビゲートすることができる。
2.2ユーザプリファレンスの取得
次に、既に初期化済み(100)で現在実行中の作動デバイスにおけるユーザプリファレンス取得法を合わせて示している図2A及び図2Bを参照されたい。この場合、デバイスは作動中であり(202)、既に初期化済みである。本方法において費やされる時間のほぼ全ては、ビデオが再生中であるか否かを判断するループ204である。ビデオが再生中ではない場合には、処理は、ビデオが再生中になる(208)まで待つ(206)。この技術をソフトウエア又はハードウエアのループ208として示しているが、この技術は、外部イベントクロック又はユーザ信号の受信のような他の割り込み発生源からの割り込み駆動式とすることができる。
外部イベントクロック(この技術は、過去に広く使用されてきたことからこの図には示していない)は、単純に周期的サンプルクロックとすることができ、又は秒、分、又はそれよりも多くの間隔にあらゆるユーザプリファレンスによって同期することができる。チャンネル切り替えのような他の活動が発生する時には、番組が再生中であるか否かを判断するイベントをトリガすることができる(204)。
番組が再生中であるイベント204の場合には、「イエス」分岐208が取られ、「待ちフラグ」が解除される(210)。この「待ちフラグ」は、ユーザが、番組にアクセスするのに割り込みを受けたか否かを判断するのに使用されることになり、これに対しては以下により詳細に説明する。次の試験は、番組が比較的短時間、この場合30%よりも短く再生されたか否かである。この短時間レベルは、百分率又は絶対量、例えば、25%又は2分であるように固定又はユーザ設定可能のあらゆるものとすることができる。
再生時間の百分率の特定は、コマーシャルを含む特定の番組の予想上映時間、例えば、2時間、3時間等に基づくものとすることができる。コマーシャルがいつ再生されているのかの特定は、音声レベルの変化又は輝度データ又は色差データの変化のいずれかから、又はいつ番組が存在し、コマーシャルが存在しないかに関する関連メタデータストリーム内に番組ストリームによって提供されるデータによって得ることができる。
番組が30%よりも短く再生された場合には、「イエス」分岐214が取られる。「イエス」分岐214は、ユーザがその番組を好まない可能性があることを仮定する(214)。この時点で「待ちフラグ」が設定される(216)。「待ちフラグ」は、以下に更に説明するように、「ユーザプリファレンスデータベース」に対する待ち行列に入れられた変更の適用を遅延させるように機能する。
「待ちフラグ」216を設定した後に、現在アクセスしている番組をユーザが好まないことが仮定され、番組メタデータは、星なしエントリとしての「ユーザプリファレンスデータベース」内への記憶に対して待ち行列内に書き込まれる。
次に、後で説明するように、「待ちフラグ」が全ての番組評価に対して設定されているか否かを調べるために「待ちフラグ」が試験される(220)。「待ちフラグ」が設定されている場合は(220)、「イエス」出口が取られ(222)、プログラムは、終了する前に可変時間量ループする(222)。その間にデバイスの電源が落とされた場合には、あらゆるそのような待ち行列化された変更は書き込まれず、決して「ユーザプリファレンスデータベース」に書き込まれないことになる。
デバイスの電源が落とされなかった場合には、「待ちフラグ設定」220ループは、規定の時間まで又はアクションが発生するまで「イエス」ループ222内で継続される。例えば、番組チャンネルが変更された場合には、ループ222は、「待ちフラグ」が設定されずに終了し(224)、次に、「ユーザプリファレンスデータベース」に対するあらゆる未処理の変更を書き込む段階226に進む。
「待ちフラグ」設定222のループ中にいずれかのチャンネル変更又はデバイスの電源停止の前にタイムアウトが発生した場合には、ユーザがデバイスにアクセスするのを停止したと考えられ、待ち行列化されたあらゆる変更が「ユーザプリファレンスデータベース」内に実施されないように選択することができる。従って、ユーザが、いずれかの他の外部イベントに起因して番組にアクセスするのを中断したと推定することができる。
いずれかの未処理の待ち行列化された変更の「ユーザプリファレンス」データベース226に対する書込の後に、再度「番組」がアクセス中であるか否かを判断する段階に戻る。
簡略化の目的で、「待ちフラグ」設定ループ222を単純に1つのループとして示している。しかし、様々なシステムクロック及びタイマ又は割り込み処理を使用することにより、別の試験及び遅延書込機構を使用することができる。これらの方法は、図2の流れ図に示しているものと同じ一般的なアクションを実施するが、幾分複雑である。
より詳細な説明のために星なし入力のための218ブロックに戻ると、番組メタデータは、「ユーザプリファレンスデータベース」における星なし評価属性を有するエントリに対してマーク付けされる。それによってメタデータ内に含まれる説明キーワード、ジャンル、配役のような情報をユーザプリファレンスデータベース内の星なし評価属性とのリンクに対して待ち行列化することができる。星なし評価属性が与えられた等しいメタデータ要素は、3つ星及び5つ星の評価属性からの削除に対して待ち行列化される。このようにして、競合エントリを削除することができる。「ユーザプリファレンスデータベース」内の各要素が単一の評価属性にしか連結されず、要素がユーザプリファレンスデータベース内に既に存在している場合には、その評価属性しか「ユーザプリファレンスデータベース」に対する待ち行列化された命令による更新を必要としないとすることができる。
代替的に、「ユーザプリファレンスデータベース」内で特定のプリファレンスが星なし評価プリファレンスを有すると判断された場合には、所定のエントリ、例えば、「Barney(登録商標)」に対して、「Barney(登録商標)」キャラクターの計数をウェブページ上の「ヒット数」と類似の増分に対して待ち行列化することができる。それによってユーザプリファレンスデータベース内に恐らく37個の星なしエントリ、5個の3つ星エントリ、及び1個の5つ星エントリが存在する。これは、ユーザが、配役メンバとしての「Barney(登録商標)」キャラクターに関連付けられた多くの場合に好まないメタデータを有することを示すことになる。小さい子供は、1個の星なしエントリ、5個の3つ星エントリ、及び37個の5つ星エントリを有する逆転されたそのような評価を有する可能性がある。
どの「ユーザプリファレンスデータベース」更新法が使用されるか(これもユーザ設定可能にすることができる)に関わらず、「ユーザプリファレンスデータベース」に対する更新の遅延待ち行列化書込のための上述の方法は、3つ星及び5つ星のエントリにおいて同様に使用することができる。
この場合「ユーザプリファレンスデータベース」は、5が最も好まれ、0が最も好まれない0個から5個の星のエントリを含む。本明細書では詳述しないが、ユーザプリファレンスにより細かい細分性を直接的な方式で与えるために、1つ星及び4つ星の評価を更に使用することができる。
星なしエントリが更新に対して待ち行列化された後に、本方法は、待ち行列化された変更を「ユーザプリファレンスデータベース」に書き込み(226)、次に、プログラムがアクセス中であるか否かを判断する段階204に戻る。
更に続けると、アクセスされた番組が30%よりも長く再生されなかった場合は(212)、「ノー」分岐224が取られる。
次に、番組が70%(又はあらゆるユーザ設定可能百分率)よりも短く再生されたか否かを判断することにより、番組が部分的に好ましいか否かが判断される(228)。この判断が真であった場合には、「イエス」分岐230が取られ、上述のように「待ちフラグ」が設定され(232)、ユーザがその番組を部分的に好ましいことが判断される(234)。次に、番組メタデータが、「ユーザプリファレンスデータベース」内での3つ星エントリとしての記憶(他のエントリはそれに応じて更新される)に対して待ち行列化され、処理は、「待ちフラグ」が設定されたか否かを判断する段階220にループして戻る。
番組が70%よりも短く再生されなかった場合には、三分法の法則によってこの番組は70%〜100%の間で再生されており、「ノー」分岐236が取られる。この場合、番組が終了まで再生されたように考えられる(238)。
この時点で、ユーザが番組を評価したいと望むか否かが判断される。ユーザが番組を評価したいと望まない場合には、「ノー」分岐242が取られ、番組を70%よりも長くアクセスしたことにより、番組が終了まで再生されたという仮定238を用いてユーザが番組を好むことが判断される(244)。この場合、番組メタデータは、5つ星エントリとしての記憶(他のエントリはそれに応じて更新される)に対して待ち行列化され(244)、続けて処理は、上述のように、「待ちフラグ」が設定されたか否かを判断する段階220に戻る。この時点で、「待ちフラグ」は設定されていないが、「待ちフラグ」を設定するようにアルゴリズムを変更することができる。
ユーザが評価を与えたいと望む場合は(240)、評価判断に対して「イエス」分岐246が取られる。最初に、ユーザが低評価を望か否かが判断される(248)。
ユーザが番組に対して低評価を与えることを望む場合は(248)、「イエス」分岐250が取られ、「ユーザプリファレンスデータベース」内への星なしエントリの下での記憶218(他のエントリはそれに応じて更新される)に対して番組メタデータが待ち行列化される。処理は、「待ちフラグ」が設定されたか否かを判断する段階220で続行される。この事例では、「待ちフラグ」は設定されず、待ち行列化された変更は、「ユーザプリファレンスデータベース」に書き込まれる(226)。
ユーザが番組に低評価を与えることを望まない場合は(248)、「ノー」分岐252が取られ、ユーザが中程度の評価を望むか否かが判断される(254)。中程度の評価254が望ましい場合には、「イエス」分岐256が取られ、「ユーザプリファレンスデータベース」内への3つ星エントリの下での記憶(他のエントリはそれに応じて更新される)に対して番組メタデータが待ち行列化される。処理は、「待ちフラグ」が設定されたか否かを判断する段階220で続行される。この場合、「待ちフラグ」は、段階210から設定解除されたままであり、従って、待ち行列化された変更は「ユーザプリファレンスデータベース」に書き込まれる(226)。処理は、番組がアクセスされているか否かを判断する段階204で続行される。
この例では、ある一定の番組に対する属性として星なし、3つ星、及び5つ星のみが割り当てられたことを示している。更に別の区別では、1つ星、2つ星、及び4つ星の評価属性を付加的に使用することができる。更に、適切なn星データベースの下での番組メタデータの記憶において反映するように、評価属性におけるユーザプリファレンスを与えるための入力として単純なスライダを使用することができる。
2.3ユーザプリファレンス制限
上記では、ある一定の番組に対する属性として星なし、3つ星、及び5つ星しか割り当てておらず、1つ星、2つ星、及び4つ星の付与も可能である。しかし、子供、十代、又は更には特定の子供(例えば、Suzieは、12才の彼女の双子のJohnnyよりも情緒的である可能性がある)のような分類又はある一定の個人にのみ適する可能性がある付加的な番組カテゴリを存在させることができる。従って、星なし、3つ星、及び5つ星の方法に加えて付加的な評価カテゴリを使用することができる。
様々なサービスプロバイダにより、ビデオ番組に対する現在の保護者制御による評価制限が送信されている。米国では、番組素材を発売する組織によって与えられる評価に基づいて、保護者制御のためにVチップが使用されている。しかし、それによって特定のカテゴリの番組が完全に排除されるか、全てのユーザに対して完全に利用可能であるかのいずれかであるから、ユーザの柔軟性は限定される。ユーザは、保護者制御を有効化又は無効化するオプションをホームメニュー上で具体的に設定しない限り、幾人かのユーザに対しては利用可能であるが、他人に対しては利用可能でないビデオを有するという選択肢を持たない。
この場合、「ユーザプリファレンスデータベース」の星なし、3つ星、5つ星カテゴリに1つ又はそれよりも多くの付加的なカテゴリを追加することができる。そのようなカテゴリは、ある一定の個人又はある分類の個人によるアクセスに関して制限を有することができる。これらの制限カテゴリは、ユーザが、小さい子供、特定の子供に適さない評価を有するビデオを阻止するが、一方、特定の年齢又は成人であるユーザに対して利用可能にするウィジェットの使用を通じて詳細な保護者制御を提供することを可能にする。
ユーザが番組(ビデオ又はオーディオのいずれか)を観ることを望む場合、コンテンツを閲覧することを望む場合には、パスワードコードを入力することが必要になる。それによってビデオを閲覧に対して常に利用可能にし、同時に依然として子供及び他の制限された人々がアクセスするのを制限することが可能になる。
次に、ユーザプリファレンス制限の一実施形態の流れ図である図3A及び図3Bを参照されたい。この場合、「ユーザプリファレンスデータベース」の星なし、3つ星、5つ星カテゴリに新しいカテゴリが追加されており、このカテゴリを「制限」カテゴリと呼ぶ。図3A及び図3Bは、図2A及び図2Bで以前に説明した流れ図を採用し、ビデオ制限方法の一実施形態を追加している。以前の図2A及び図2Bを詳細に説明したので、図2A及び図2Bの非変更部分を以前にラベル付けしたままに留める。
番組が30%よりも短くアクセスされ、その後に「待ちフラグ設定」216が行われた後に、ユーザが「番組を制限する」ことを望むか否かを調べる試験が行われる。「イエス」の場合には、304分岐がブロック306に辿られ、ここで「ユーザ」は番組を制限し、あらゆる番組メタデータが、「ユーザプリファレンスデータベース」内への「制限付きエンティティ」としての記憶に対して待ち行列に入れられる。ブロック306の後に、プログラムは「待ちフラグ」の検査220に続き、上述のように続行される。「番組を制限する」試験302から「ノー」分岐308が取られた場合には、プログラムは、上述のように変更されずにブロック218に続く。
同様に、番組が70%よりも短くアクセスされ、その後に「待ちフラグ設定」232が行われた後に、ユーザが「番組を制限する」ことを望むか否かを調べる試験が行われる(310)。「イエス」の場合には、312分岐がブロック306に辿られ、ここでユーザは番組を制限し、あらゆる番組メタデータが、「ユーザプリファレンスデータベース」内への「制限付きエンティティ」としての記憶に対して待ち行列に入れられる。ブロック306の後に、プログラムは「待ちフラグ」の検査220に続き、上述のように続行される。「番組を制限する」試験310から「ノー」分岐314が取られた場合には、プログラムは、上述のように変更されずにブロック234に続く。
最後に、ユーザがプログラムを恐らく終了まで再生した後に、ユーザは、プログラムを評価するか否かが問われる(240)。プログラムを評価する場合は(246)、ユーザが「プログラムを制限する」ことを望むか否かを調べる試験が行われる(316)。「イエス」の場合には、318分岐がブロック306に辿られ、ここでユーザは番組を制限し、あらゆる番組メタデータが、「ユーザプリファレンスデータベース」内への「制限付きエンティティ」としての記憶に対して待ち行列に入れられる。ブロック306の後に、プログラムは「待ちフラグ」の検査220に続き、上述のように続行される。「番組を制限する」試験316から「ノー」分岐320が取られた場合には、プログラムは、上述のように変更されずにブロック248に続く。
別の実施形態では、ユーザは、定められたVチップ(又はあらゆる他の既存の保護者制御方式)評価レベルをローカルなユーザ定義評価レベルに関連付けることを選択することができる。そうであった場合、番組を制限するか否かの試験316が行われる際に、Vチップから利用可能な予想価値が既に存在し、ユーザは、それに対して同意又は不同意を選択することができる。この場合、Vチップ評価は、デフォルト選択値として機能することになる。ユーザがVチップ評価に同意しない場合には、ユーザは、その代わりにビデオを個々に評価することを選択することになる。ユーザが、推薦された評価に同意する場合には、この処理は、必要とされるユーザ対話の時間を低減することになり、また、ユーザに番組の評価を最初に判断する基準を与えることにもなる。
別の実施形態では、第1の番組に対するユーザ定義の評価を他の番組に拡張するか又は推薦することができるように、第1の番組から収集されたメタデータを他の番組のメタデータに対する試験として適用することができる。2つのそのような番組のメタデータがかなりの程度の相関性を有する(恐らくは名詞及び動詞において50%を超える)場合には、これらの番組は、類似の性質のものになるように考えられることになり、それによってVチップの評価に対して不同意のものである場合がある恐らくは第1の番組のユーザ定義の評価と同じものを呼び出すことができる。この場合、ユーザは、第1の番組の推薦を別の番組に対して適用することを明示的に許可すべきである。
2.4メタデータウィジェット
次に、利用可能な番組のリストが構成された後のメタデータウィジェットの流れ図である図4を参照されたい。最初にはいかなる推薦も存在せず、従って、「推薦」待ち行列は空である。しかし、利用可能な処理のある程度の時間の後に、空ではない「推薦」待ち行列が存在する可能性がある。
最初に、「推薦」待ち行列がロードされる(402)。次に、「推薦」待ち行列は、制限付きの星なし、3つ星、5つ星カテゴリに選別される。
406で「推薦」待ち行列内に利用可能な番組のリスト内の番組に対するいかなる推薦も存在しない場合には、「ノー」分岐408が取られ、手順は終了する(410)。
406で「推薦」待ち行列内に利用可能な番組のリスト内の番組に対する推薦が存在する場合には、「イエス」分岐が取られ(412)、「推薦メッセージ」が送られる(414)。処理は、処理する推薦がなくなるまでループ処理を続ける(416)。
この時点で、これらの「推薦メッセージ」を例えば現在のユーザプリファレンスを用いて番組スケジュールガイドをカラーコーディングすることになる表示モジュールによって処理することができる。付加的に制限付き番組を示すことができる。
3.0制限の概要
ビデオ番組又はオーディオ番組のいずれの制限も、未成年者に利用可能な番組コンテンツに対する保護者制制御における重要なオプションである。一般的に、唯一可能なビデオ制限は、Vチップの使用を通じたものである。しかし、番組は評価されていない可能性があり、従って、いかなるVチップ評価ももたらされない。オーディオ番組はビデオソースではないので、いかなる場合であってもVチップ評価を持たないことになる。
更に、保護者は、自分達の子供に適用される評価標準に同意しない可能性がある。この場合、付加的なメタデータを「ユーザプリファレンスデータベース」内の「制限」カテゴリ内に入ることができ、実際に様々なそのような「制限」カテゴリを1人より多くの子供に適用可能なものとして使用することができる。
一実施形態では、この制限方法は、二重ウィジェットプラットフォーム上で利用されることになる。これらの二重ウィジェットは、「制限ウィジェット遮断手順」(遮断ウィジェット)及び「制限ウィジェット解除ウィジェット」(解除ウィジェット)になる。
デバイスの起動時に、制限は、デバイスのオプションメニューにおいてユーザによって別途特別に設定されない限り、自動的に有効にされる。
制限付き番組の選択時には、ユーザにパスワードを促すパスワードコードプロンプトが現れることになる。成功した場合には、番組制限は、再度有効にされるまで、又はAVデバイスが再起動する時まで無効にされることになる。パスワード応答が成功しなかった場合には、番組にアクセスすることができない。
番組制限設定を操作するために、ユーザは、ウィジェットプラットフォームのオーバーレイレベル上の設定を見て、「制限ウィジェット」に対する設定を必要に応じて設定することができる。これらの設定では、ユーザは、あらゆる望ましい評価を用いてオーディオコンテンツ、ビデオコンテンツ、ビデオガイド、又は外部供給源のコンテンツへのアクセスを制限するように選択することができる。
上述の概要を念頭に、次に、ウィジェットの詳細な処理を説明することができる。
3.1制限付き番組へのアクセス
次に、制限付き番組にアクセスするのに使用される手順500を詳描する図5を参照されたい。最初に、アクセスが見出される特定の番組に関する「推薦」がロードされる(520)。番組が「制限付き」である場合は(504)、「イエス」分岐が取られ(506)、現在の「ユーザ評価」が「制限レベル」と比較される(508)。この場合、「ユーザ評価」と「制限レベル」の両方は、以前に説明したPG−13、R等と類似の1つ又はそれよりも多くの値を取ることができる。
「ユーザレベル」が「制限レベル」よりも低かった場合は(508)、「失敗」510分岐が取られ、番組へのアクセスは、遮断処理512を通じて遮断される。
「ユーザレベル」が「制限レベル」よりも高かった場合は(508)、「合格」分岐514が取られ、番組アクセスは許可され(516)、処理は終了する(518)。
番組評価が現在のレベルよりも強い制限のものである場合、例えば、ビデオ評価が「R」であり、現在のレベルが「NC−16」でしかない場合には、結果は「失敗」と見なされる。この場合、遮断手順が適用される(512)。ビデオ評価が現在のレベルよりも弱い制限のものである場合には、番組を遮断してはならず、アクセスが許可される。
番組が制限付きであるか否かの試験504に戻ると、番組が制限付きではない場合には、「ノー」分岐520が取られる。次に、番組の「メタデータ」にアクセス可能か否かが判断される(522)。番組メタデータにアクセス可能な場合は(524)、番組メタデータが「ユーザプリファレンスデータベース」と比較されてアド・ホック評価が判断され(526)、ここでもまた、ユーザの評価レベルとあらゆる制限とが試験される(508)。
アド・ホック評価段階では、デバイスは、メタデータ及び番組のあらゆる利用可能なVチップ入力(オーディオ番組では存在しないことになる)を「ユーザプリファレンスデータベース」と比較し、この比較に基づいて番組の評価を判断する。比較は、メタデータ内のキーワードと「ユーザプリファレンスデータベース」内のものとの照合によって行われる。結果が「R」評価により近いものを示す場合には、ビデオはR評価と見なされる。結果が「NC−16」評価により近いものを示す場合には、ビデオはNC−16評価と見なされる。否定的な結果は、ビデオを最低の制限付き評価である「評価なし」とラベル付けすることになる。Vチップ入力と「ユーザプリファレンスデータベース」の間の比較で異なる結果をもたらす場合には、後者が優先されるであろう。それによって保護者が、自分達の子供に対して番組コンテンツをより適切に制御することが可能になる。
番組メタデータにアクセスすることができない場合は(522)、「ノー」分岐が取られ(528)、番組アクセスが許可される(516)。
遮断手順512は、制限付きビデオを静止サムネイル映像又は他のデフォルト遮断映像で置換し、遮断フラグを設定することができる。代替的に、番組に関連付けられたあらゆるメタデータを「ユーザプリファレンスデータベース」に「制限付き」として書き込むことができる。従って、ビデオが後に選択された時に、制限付きビデオへのアクセスが試行されることが既知であり、ビデオを遮断解除するのにパスワード認証が出されることになる。
ある一定の番組コンテンツに対して不十分なアクセス権しか持たないユーザを適切に審査するために、この手順500全体が、各番組変更時に完了される。
3.2制限解除ウィジェット
次に、図6を参照すると、そうでなければ制限付きの番組コンテンツを一時的にアクセスするための流れ図600が示されている。
ここで、番組アセットが選択される(602)。次に、番組が遮断されているか否かが判断される(604)。
番組が遮断されているか否かは、サムネイル映像を調べ、遮断フラグが設定されているか否かを判断することによって判断することができる。
番組が遮断されている場合は(606)、パスワード認証608が出される。ユーザは、番組を遮断解除するために正しい事前設定パスワードを入力すべきである。パスワード認証が成功した場合には、「合格」610分岐が取られ、「現在」評価が到着すると同時に「ユーザプリファレンスデータベース」を番組メタデータと比較することによって再評価するように「ユーザプリファレンスデータベース」が更新され、番組に対する制限が削除される。対応する番組サムネイル映像は、対応する遮断解除されたサムネイル映像で置換され、遮断フラグが設定解除される。
以前に説明した一実施形態では、この時点で現在の番組だけに対するアクセスが、成功したパスワード入力に対して許可される。代替的に、この「制限」レベルを有する全ての番組に、このユーザセッション又はその後の全てのそのようなユーザセッションのいずれかにおいてアクセス可能である。
最後に、番組は「遮断解除され」(614)、「番組はアクセスされ」(616)、ウィジェットは終了する(618)。
番組が以前に遮断されていなかった場合は(604)、「ノー」分岐が取られ(622)、「番組はアクセスされる」(616)。
「パスワード認証」においてユーザが不成功に終わった場合は(608)、「失敗」分岐620が取られることになり、ウィジェットは、番組へのアクセスを許可せずに終了する(618)(以前に遮断されていることから)。
異なる評価群に対応する複数のパスワードを受け入るようにパスワード認証の変形又は拡張を実施することができることに注意されたい。パスワード認証では、成功する認証は、それぞれ異なる群に対応するいずれか事前設定されたパスワードとすることができる。例えば、パスワードAが入力され、それがNC−16までの評価制限を有する群に対応する場合には、新しい現在評価は、NC−16になる。「パスワードB」が入力され、それが、制限なしに対応する場合には、新しい現在評価は、制限なしになることになる。新しい評価が古い評価よりも強い制限のものである場合、例えば、古い評価がNC−16であり、新しい評価がPGである場合を処理するために、付加的な検査及び遮断手順を行うことが必要になる。
4.0推薦
次に、「推薦待ち行列」の更に別の処理をいかに達成することができるか(300)を示す図3を参照されたい。この処理は、以前に図1で示したように、アセットリストがロードされた後に実行される。
図3では、最初に、推薦待ち行列がロードされて処理される(302)。次に、推薦待ち行列は、非常に好ましいカテゴリ、部分的に好ましいカテゴリ、及び好まれないカテゴリという個別のカテゴリに選別される(304)。次に、306でいかなる推薦も待ち行列に存在しない場合は(308)、処理は終了する(310)。
待ち行列312内に推薦が存在する場合は(312)、推薦は、メッセージをユーザに送り(314)、待ち行列内に推薦が存在するか否かが再度判断される(306)。
4.1推薦の選別
304で推薦待ち行列を選別する1つの手法は、全ての推薦を非常に好ましい推薦、部分的に好ましい推薦、及び好まれない推薦という3つの個別の待ち行列に一度に選別することである。
推薦待ち行列を選別する別の手法は、関連する結果を読み取り、関連のないものを待ち行列の後方に再度押しやることである。例えば、ユーザが、非常に好ましい推薦を検索している場合には、弱い又は否定的な推薦を有する番組は、推薦待ち行列上に押し戻されることになり、非常に好ましい推薦を有するものが処理される。本方法は、より大きなメモリ空間を節約することができる。従って、弱く否定的な結果を有する推薦は、推薦待ち行列内に留まることになり、依然として利用可能である。
否定的な推薦(以前から保持された)は、ユーザにこれらの番組を避けるように告げるなど、ユーザに情報を与えることができ、又は単純に、より良い推薦を有するものが先に示されるようにこれらの番組を呈示リストの最下位に押しやることができる。
別の実施形態では、非常に好ましい推薦を有する番組のみが処理され、部分的に好ましいか又は好まれない推薦を有する番組の番組推薦は、他の推薦目的に使用することができるが、これらの番組では何も行われない。この実施形態では、部分的に好ましいか又は好まれない推薦は単純に削除される。
4.2推薦メッセージング
浮動ウィジェットオブジェクトは、推薦を作成する時に推薦メッセージを実行する(314)。一実施形態では、対話型なアニメフィギュアが、画面上の対応するアセットまで移動することになり、ユーザに、その番組がユーザのプリファレンスに従って推薦されることを通知する。この場合、口述音声による推薦をアニメフィギュアと共に含めることができ、又はアニメフィギュアとは分離することができる。全体のビデオリストは、スクロールすることなしにその全体を画面上に示すには大き過ぎる場合があるから、推薦番組は、現在画面の先頭ページ上に示されているものに限定されない。この場合、画面は、推薦番組を含むページに移動することになる。
この時点で、ユーザは、番組にアクセスするのに単純にリモコン上で番組を「選択」することができる。ユーザは、単純に番組にアクセスするのに別の方式で番組までナビゲートする必要はない。この処理内のあらゆる時点での指示ボタンの押下は、推薦処理及び前の番組ガイドを停止するのに使用することができる。
浮動ウィジェットオブジェクトを終了すると、ナビゲーションフォーカスは、画面上の先頭の番組に戻り、ユーザがそこからナビゲーションを続けることができるようにする。
待ち行列の性質に起因して、番組推薦は、時系列順に示されていることになり、すなわち、推薦待ち行列の選別がなければ、最初の方のページ上の推薦番組は、後の方のページ上のものの前に推薦されることになることに注意すべきである。代替的に、好まれない推薦、部分的に好ましい推薦、及び非常に好ましい推薦に対して、それぞれ赤、黄、及び緑のような色を星なし、3つ星、5つ星のレベルの各レベルに関連付けることができる。従って、アセットリストがユーザに対して表示される場合には、以前に解説した赤、黄、及び緑のような強調表示は、それぞれ、好まれない、幾分好ましい、及び非常に好ましい番組を示すことができる。このようにして、ユーザは、自分に対して興味対象のものになる番組を自らの以前の体験及び評価に基づいて迅速にナビゲートすることができる。
5.更に別の実施の詳細
ユーザインタフェース(UI)層と背景作業層という浮動ウィジェットオブジェクト機能に関連付けることができる2つの層が存在する。背景作業層に対しては、推薦を発生させ、浮動ウィジェットオブジェクトを発生させるのに使用される処理として上述の第2節に説明した。
5.1ユーザインタフェース(UI)
「ユーザインタフェース」では、アニメーションビデオオブジェクトが画面の方々に移動して(従って、浮動ウィジェットオブジェクトと呼ぶ)、a)示唆及び推薦(ユーザのプリファレンス及び現在アクセスされている番組のメタデータに基づいて)、b)ヘルプ、c)丁寧な「キーが間違っています」又は「その機能は利用できません」という応答、d)ビデオ試写のサムネイルを拡大すること、休止中の演出、備忘通知、TVチャンネルで間もなく映じられる好みのTV番組のような他の対話型UI目的を提供する。
5.1.1ユーザインタフェース推薦
例えば、近日放送予定のスポーツ及びバスケットボールに関するアセットとそのような番組に関するユーザプリファレンスとの間に符合があった場合には、アニメーションオブジェクトは、そのコンテンツに対して移動し、コンテンツがスポーツ及びバスケットボールに関連することをユーザに通知することになる(視覚的に、聴覚的に、又は視覚と聴覚の両方で)。
アニメーションオブジェクトが特定の番組を推薦している時には、番組にアクセスするのにユーザがリモコン上の「選択」を押下するだけでよいように、ナビゲーションフォーカスをその番組の上に出現させることができる。このユーザ対話を首尾良く行うには、各推薦の持続時間は、相応の長さのもので恐らく5〜60秒である必要がある。この持続時間は、ユーザ設定可能にすることができる。
推薦シーケンスは、推薦番組のリストの終端に達した時、又はユーザがリモコン上のいずれかのキーを押下した場合に停止し、それによってナビゲーション制御をユーザに戻す。
推薦のリストが尽き、いかなるユーザ入力もなかった場合には、ナビゲーションフォーカスを画面上の先頭のアイテムに戻すことができる。
5.1.2ヘルプ
「ヘルプ」が押下された場合には、浮動ウィジェットオブジェクトは、アクティブウィンドウ又はウィンドウ上のオブジェクトに関するヘルプメッセージを提供することができる。メッセージは、ユーザに対して視覚的に、聴覚的に、又は視覚と聴覚の両方で与えることができる。
気象、電子メール、他のアプリケーションの警告、RSS(非常に簡単な編成)フィードのような他のポップアップ表示も、浮動ウィジェットオブジェクト方式の対話型「ユーザインタフェース(UI)」表示を利用することができる。
例えば、ユーザがビデオガイドにいる場合には、「ヘルプ」要求は、「グラフィカルユーザインタフェースへは「ホーム」キーを押して下さい、選択するには「+」キーを押して下さい、ビデオコンテンツのメッセージ内容を表示するには「表示」キーを押して下さい、「オプションメニュー」を起動するには「オプション」キーを押して下さい」のようなヘルプトピックを起動することができる。
ユーザが「オプションメニュー」にいる場合には、「ヘルプ」要求は、リスト上の各アイテム、例えば、選別機能のような目的をユーザに告げることになる。
ユーザは、リモコン上のボタンを押下することにより、いつでも「ヘルプ」機能を始動及び停止することができる。「ヘルプ」機能が始動されると、「ヘルプ」機能は、停止されるまで「作動」状態に留まることになる。
一般的に推薦機能は、「ヘルプ」機能に対して優先性を有することができる。
ユーザは、興味対象のものに即時に移動するか又は通り過ごしたものを再表示するために、「ヘルプ」オプションを通じてスクロールすることができる。
5.1.3間違ったキーへの応答
ユーザが意味のない指令セットを入力した場合には、ユーザの現在の窮状に関してユーザを助けるために、浮動ウィジェットオブジェクトの「ヘルプ」機能態様をトリガすることができる。
間違ったキーが押下された場合には、浮動ウィジェットオブジェクトは、間違ったキーが押下されたこと、又は機能が依然として利用可能ではないことを告げることができる。
ヘルプが始動されると、利用可能なキーを再表示することができる。ヘルプが停止されると、アニメーションオブジェクトは、利用可能なオプションを調べるためには「ヘルプ」を始動することをユーザに示唆することになる。
6.結論
以上により、本発明は、限定ではないが以下のものを含む様々な手法で具現化することができることが認められるであろう。
1.ユーザに関するユーザプリファレンスセットをユーザプリファレンスデータベース内に収集する段階と、オーディオビジュアル入力に関連付けられたメタデータストリームを準備する段階と、メタデータストリームとユーザプリファレンスセットとを比較して比較を形成する段階と、比較が、メタデータストリームがユーザプリファレンスセットの1つ又はそれよりも多くの要素と符合することを示す場合に、ユーザにメッセージを出力する段階とを含むユーザと対話する方法。
2.ユーザは、メッセージを音響的に知覚することを特徴とする実施形態1の方法。
3.ユーザは、メッセージを視覚的に知覚することを特徴とする実施形態1の方法。
4.ユーザは、表示されたテキスト吹き出しを閲覧することによってメッセージを視覚的に知覚することを特徴とする実施形態3のユーザと対話する方法。
5.ユーザに関するユーザプリファレンスセットを収集する段階は、異なるオーディオビジュアル入力に変更する前に、ユーザによって知覚されたオーディオビジュアル入力の時間の百分率を判断する段階を含むことを特徴とする実施形態1の方法。
6.オーディオビジュアル入力が知覚された時間の百分率は、オーディオビジュアル入力がユーザによって知覚された時間量をオーディオビジュアル入力が利用可能であった時間の合計の長さで割算することによって計算されることを特徴とする実施形態5の方法。
7.ユーザによる知覚は、ユーザによる物理的に存在する知覚であることを特徴とする実施形態5の方法。
8.ユーザによる知覚は、ユーザによる知覚に対して利用可能であるが、必ずしもユーザにより物理的に存在する知覚ではないことを含むことを特徴とする実施形態5の方法。
9.オーディオビジュアル入力が知覚された時間の百分率は、1つ又はそれよりも多くの同時に利用可能なオーディオビジュアル入力に対して維持され、それによって入力の部分閲覧に備えることを特徴とする実施形態5の方法。
10.ユーザによる知覚は、潜在的にマルチウィンドウ型のデバイス内のアクティブウィンドウを閲覧することを含むことを特徴とする実施形態5の方法。
11.潜在的にマルチウィンドウ型のデバイス内のアクティブウィンドウは、単一のウィンドウであることを特徴とする実施形態10の方法。
12.オーディオビジュアル入力は、オーディオ入力、ビデオ入力、関連オーディオ入力を有するビデオ入力(典型的な映画のような)、対応するビデオ表示を有するオーディオ入力(ラジオ又は他のオーディオ番組のような)、及びこれらのうちの1つ又はそれよりも多くから構成されるオーディオビジュアル入力の群から選択されることを特徴とする実施形態1の方法。
13.メタデータストリームは、オーディオビジュアル入力に対する字幕データストリームを含むことを特徴とする実施形態1の方法。
14.メタデータストリームは、オーディオビジュアル入力のオーディオ成分に対する発話認識出力ストリームを含むことを特徴とする実施形態1の方法。
15.メタデータストリームは、オーディオビジュアル入力のビデオ成分に対する映像認識出力ストリームを含むことを特徴とする実施形態1の方法。
16.オーディオビジュアル入力がユーザによって知覚された時間の百分率を使用して、ユーザプリファレンスデータベース内でビンに入れられた評価属性を選択する段階と、オーディオビジュアル入力に関連付けられたメタデータをビンに入れられた評価属性に関連付けられたものとしてユーザプリファレンスデータベース内に入力する段階とを含むことを特徴とする実施形態5のユーザと対話する方法。
17.ユーザが、ユーザプリファレンスのビンに入れられた評価属性を無効にすることを可能にする段階を含むことを特徴とする実施形態16のユーザと対話する方法。
18.各々が独立したメタデータストリームを有するユーザの知覚に対して利用可能なアセットのリストをロードする段階と、アセットのメタデータストリームのうちの少なくとも1つをユーザに関するプリファレンスセットと比較して1つ又はそれよりも多くのユーザ推薦を作成する段階とを更に含むことを特徴とする実施形態1の方法。
19.1つ又はそれよりも多くのユーザ推薦を順序付ける段階と、ユーザ推薦に対応するオーディオビジュアル入力に関するメッセージを制限メッセージとして形成する段階とを更に含むことを特徴とする実施形態18の方法。
20.オーディオビジュアル入力のうちで制限メッセージに対応するものを遮断し、それによって遮断された入力を形成する段階を更に含むことを特徴とする実施形態19の方法。
21.パスワード照会に対して成功したユーザ応答を受けて、遮断された入力を解除する段階を更に含むことを特徴とする実施形態20の方法。
22.実施形態1の方法を実行するためのコンピュータ上で実行可能なプログラムを含むことを特徴とするコンピュータ可読媒体。
23.実施形態1の方法を実施するためのプログラムを有するコンピュータを含むことを特徴とするユーザプリファレンス装置。
24.オーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号を受信して処理することができるオーディオ、ビデオ、又はオーディオビジュアルの出力デバイスと、オーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号に関連付けられた関連メタデータストリームを処理するための手段と、ユーザプリファレンスを発生させるための手段と、ユーザプリファレンスと関連メタデータストリームとの1つ又はそれよりも多くの比較に基づいて、1つ又はそれよりも多くのメッセージをユーザに対して出力するための手段とを含むことを特徴とするオーディオビジュアルデバイス。
25.出力するための手段は、1つ又はそれよりも多くのメッセージをユーザに通信する時にフェードインして現れる浮動ウィジェットを含むことを特徴とする実施形態24のオーディオビジュアルデバイス。
26.メッセージのうちの1つ又はそれよりも多くに基づいて、オーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号を遮断するための手段を更に含むことを特徴とする実施形態24のオーディオビジュアルデバイス。
27.成功したパスワード照会に基づいて、遮断されたオーディオ、ビデオ、又はオーディオビジュアルのそれぞれの入力信号を選択的に遮断解除するための手段を更に含むことを特徴とする実施形態26のオーディオビジュアルデバイス。
本明細書の説明は多くの詳細内容を含むが、これらの詳細内容は、本発明の範囲を限定するものと解釈すべきではなく、本発明の現時点で好ましい実施形態のうちの一部の具体例を提供するに過ぎないものであると解釈すべきである。従って、本発明の範囲が、当業者に明らかになる可能性がある他の実施形態を完全に網羅し、それに応じて本発明の範囲が、明示的に説明しない限り単数形の要素への参照が「唯一のもの」ではなく「1つ又はそれよりも多くのもの」を意味するように意図する特許請求の範囲以外のいかなるものによっても限定されるものではないことが認められるであろう。当業者に公知の上述の好ましい実施形態の全ての構造的、化学的、及び機能的な均等物は、引用によって本明細書に明示的に組み込まれており、特許請求の範囲によって含まれるように意図している。更に、デバイス又は方法は、それらが特許請求の範囲によって含まれるという理由で、本発明によって解決することが求められる各全ての問題に対処する必要はない。更に、本発明の開示におけるいかなる要素、構成要素、又は方法段階も、これらの要素、構成要素、又は方法段階が特許請求内に明示的に記載されているか否かに関わらず、公共に役立つように考えられているものではない。本出願内のいかなる請求要素も、その要素が「〜のための手段」という表現を用いて明記していない限り、「35 U.S.C. 112」第6段落の規定の下で解釈されるものではない。
100 アセットリストをロードする方法
106 リストの終端に達する
108 リストの終端に達した時に処理を終了する
110 アセットリストがその終端にない場合

Claims (22)

  1. ユーザと対話する方法であって、
    ユーザに関するユーザプリファレンスセットをユーザプリファレンスデータベース内に収集する段階と、
    番組に関連付けられた、当該番組のためのメタデータを含むメタデータストリームを準備する段階と、
    前記メタデータストリームを前記ユーザプリファレンスセットと比較して比較を形成する段階と、
    前記メタデータストリームが前記ユーザプリファレンスセットの1つ又はそれよりも多くの要素と符合することを前記比較が示す場合に、前記ユーザにメッセージを出力する段階と、
    を含み、
    前記ユーザに関するユーザプリファレンスセットを収集する段階は、異なるオーディオビジュアル入力に変更する前に、前記ユーザによって知覚された前記オーディオビジュアル入力の時間の百分率を判断する段階を含み、
    前記オーディオビジュアル入力が知覚された時間の前記百分率は、該オーディオビジュアル入力が前記ユーザによって知覚された時間量を該オーディオビジュアル入力が利用可能であった時間の合計の長さで割算することによって計算され、
    ここで、前記メッセージは、口述音声による推薦であり、
    ユーザプリファレンスの取得を実行するための命令をコンピュータ上で実行することには、
    (a)前記番組が再生されるまでループし、そして、待ちフラグを解除し、
    (b)前記番組が時間の百分率で30%よりも短く再生された場合には、
    (i)待ちフラグを設定し、
    (ii)番組メタデータを、星なしエントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iii)待ちフラグが設定されなくなるまでループし、
    (iv)前記待ち行列に入ったメタデータをユーザプリファレンスデータベースに書き込み、
    (v)ステップ(a)に戻り、
    (c)前記番組が時間の百分率で70%よりも短く再生された場合には、
    (i)待ちフラグを設定し、
    (ii)番組メタデータを、3つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iii)待ちフラグが設定されなくなるまでループし、
    (iv)前記待ち行列に入ったメタデータをユーザプリファレンスデータベースに書き込み、
    (v)ステップ(a)に戻り、
    (d)番組が終了まで再生されたとして、
    (i)ユーザが当該番組を評価したいと望まない場合には、番組メタデータを5つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (ii)ユーザが当該番組を好まないと評価した場合には、番組メタデータを星なしエントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iii)ユーザが当該番組を部分的に好ましいと評価した場合には、番組メタデータを3つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iv)ユーザが当該番組を好ましいと評価した場合には、番組メタデータを5つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (v)前記待ち行列に入ったメタデータをユーザプリファレンスデータベースに書き込み、
    (vi)ステップ(a)に戻る、
    ことを含むことを特徴とする方法。
  2. 時間の百分率は、物理的に存在していたユーザによる知覚によって決定されることを特徴とする請求項1に記載の方法。
  3. 前記ユーザによる前記知覚は、該ユーザによる知覚のために利用可能であるが、必ずしも物理的に存在するユーザによる知覚ではないことを含むことを特徴とする請求項2に記載の方法。
  4. 前記番組が知覚された時間の前記百分率は、1つ又はそれよりも多くの同時に利用可能なオーディオビジュアル入力に対して維持され、それによって該入力の部分閲覧に備えることを特徴とする請求項2に記載の方法。
  5. 前記ユーザによる前記知覚は、マルチウィンドウ型のデバイス内のアクティブウィンドウを閲覧することを含むことを特徴とする請求項2に記載の方法。
  6. 前記マルチウィンドウ型のデバイス内の前記アクティブウィンドウは、単一のウィンドウであることを特徴とする請求項5に記載の方法。
  7. 前記番組は、オーディオ入力、ビデオ入力、関連オーディオ入力を有するビデオ入力(典型的な映画のような)、対応するビデオ表示を有するオーディオ入力(ラジオ又は他のオーディオ番組のような)、及び以上のうちの1つ又はそれよりも多くから構成されるオーディオビジュアル入力の群から選択されることを特徴とする請求項1に記載の方法。
  8. 前記メタデータストリームは、前記番組に対する字幕データストリームを含むことを特徴とする請求項1に記載の方法。
  9. 前記メタデータストリームは、前記番組のオーディオ成分に対する発話認識出力ストリームを含むことを特徴とする請求項1に記載の方法。
  10. 前記メタデータストリームは、前記番組のビデオ成分に対する映像認識出力ストリームを含むことを特徴とする請求項1に記載の方法。
  11. 前記番組が前記ユーザによって知覚された時間の前記百分率を使用して、前記ユーザプリファレンスデータベース内でビンに入れられた評価属性を選択する段階と、
    前記番組に関連付けられた前記メタデータを前記ビンに入れられた評価属性に関連付けられたものとして前記ユーザプリファレンスデータベース内に入力する段階と、
    を含むことを特徴とする請求項2に記載のユーザと対話する方法。
  12. 前記ユーザが前記ユーザプリファレンスの前記ビンに入れられた評価属性を無効にすることを可能にする段階を含むことを特徴とする請求項11に記載のユーザと対話する方法。
  13. ユーザ知覚に対して利用可能であり、独立したメタデータストリームを各アセットが有するアセットのリストをロードする段階と、
    前記アセットの前記メタデータストリームのうちの少なくとも1つを、前記ユーザプリファレンスデータベースから決定される当該ユーザに関する前記プリファレンスセットと比較し、1つ又はそれよりも多くのユーザ推薦を作成する段階と、
    を更に含むことを特徴とする請求項2に記載の方法。
  14. 前記1つ又はそれよりも多くのユーザ推薦を順序付ける段階と、
    前記ユーザ推薦に対応する前記番組に関する前記メッセージを制限メッセージとして形成する段階と、
    を更に含むことを特徴とする請求項13に記載の方法。
  15. 制限メッセージに対応する前記番組を遮断し、それによって遮断された入力を形成する段階を更に含むことを特徴とする請求項14に記載の方法。
  16. パスワード照会に対して成功したユーザ応答を受けて前記遮断入力を解除する段階を更に含むことを特徴とする請求項15に記載の方法。
  17. 請求項1に記載の方法を実行するためにコンピュータ上で実行可能なプログラム、
    を含むことを特徴とするコンピュータ可読媒体。
  18. 請求項1に記載の方法を実行するためのプログラムを有するコンピュータ、
    を含むことを特徴とするユーザプリファレンス装置。
  19. オーディオビジュアルデバイスであって、
    それぞれのオーディオ、ビデオ、又はオーディオビジュアル入力信号を受信して処理することができるオーディオ、ビデオ、又はオーディオビジュアル出力デバイスと、ここで、前記入力信号は番組を含み、
    コンピュータと、
    前記コンピュータ上で実行可能な命令であって、
    前記それぞれのオーディオ、ビデオ、又はオーディオビジュアル入力信号に関連付けられたメタデータストリームを処理するステップと、ここで、前記メタデータストリームは前記入力信号のメタデータを含んでおり、
    ユーザプリファレンスを発生させるステップと、
    前記ユーザプリファレンスとメタデータストリームとの1つ又はそれよりも多くの比較に基づいて1つ又はそれよりも多くのメッセージをユーザに出力するステップと、
    を含むステップを実行するための命令を含んでおり、
    前記1つ又はそれよりも多くのメッセージは、口述音声による推薦であり、
    前記ユーザプリファレンスを発生させるステップは、
    ユーザに関するユーザプリファレンスセットをユーザプリファレンスデータベース内に収集する段階と、
    ここで、前記ユーザに関するユーザプリファレンスセットを収集する段階は、異なるオーディオビジュアル入力に変更する前に、前記ユーザによって知覚された前記オーディオビジュアル入力の時間の百分率を判断する段階を含み、
    前記オーディオビジュアル入力が知覚された時間の前記百分率は、該オーディオビジュアル入力が前記ユーザによって知覚された時間量を該オーディオビジュアル入力が利用可能であった時間の合計の長さで割算することによって計算され、
    ユーザプリファレンスの取得ステップを実行する段階と、ここで、当該取得ステップは、
    (a)前記番組が再生されるまでループし、そして、待ちフラグを解除し、
    (b)前記番組が時間の百分率で30%よりも短く再生された場合には、
    (i)待ちフラグを設定し、
    (ii)番組メタデータを、星なしエントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iii)待ちフラグが設定されなくなるまでループし、
    (iv)前記待ち行列に入ったメタデータをユーザプリファレンスデータベースに書き込み、
    (v)ステップ(a)に戻り、
    (c)前記番組が時間の百分率で70%よりも短く再生された場合には、
    (i)待ちフラグを設定し、
    (ii)番組メタデータを、3つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iii)待ちフラグが設定されなくなるまでループし、
    (iv)前記待ち行列に入ったメタデータをユーザプリファレンスデータベースに書き込み、
    (v)ステップ(a)に戻り、
    (d)番組が終了まで再生されたとして、
    (i)ユーザが当該番組を評価したいと望まない場合には、番組メタデータを5つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (ii)ユーザが当該番組を好まないと評価した場合には、番組メタデータを星なしエントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iii)ユーザが当該番組を部分的に好ましいと評価した場合には、番組メタデータを3つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (iv)ユーザが当該番組を好ましいと評価した場合には、番組メタデータを5つ星エントリとして、ユーザプリファレンスデータベースへの記憶に対して待ち行列に入れ、
    (v)前記待ち行列に入ったメタデータをユーザプリファレンスデータベースに書き込み、
    (vi)ステップ(a)に戻る、
    ことを含むことを特徴とするオーディオビジュアルデバイス。
  20. さらに、1つ又はそれよりも多くのメッセージが前記ユーザに通信される時にフェードインして現れる浮動ウィジェットを提供するよう、コンピュータ上で実行可能な命令を有することを特徴とする請求項19に記載のオーディオビジュアルデバイス。
  21. コンピュータ上で実行可能な、前記メッセージの1つ又はそれよりも多くに基づいて前記それぞれのオーディオ、ビデオ、又はオーディオビジュアル入力信号を遮断するための命令を更に含むことを特徴とする請求項19に記載のオーディオビジュアルデバイス。
  22. コンピュータ上で実行可能な、前記遮断されたそれぞれのオーディオ、ビデオ、又はオーディオビジュアル入力信号を成功したパスワード照会に基づいて選択的に遮断解除するための命令を更に含むことを特徴とする請求項21に記載のオーディオビジュアルデバイス。
JP2011538645A 2008-12-02 2009-11-23 学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース Active JP5324664B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/326,681 US8566855B2 (en) 2008-12-02 2008-12-02 Audiovisual user interface based on learned user preferences
US12/326,681 2008-12-02
PCT/US2009/065478 WO2010065363A2 (en) 2008-12-02 2009-11-23 Audiovisual user interface based on learned user preferences

Publications (2)

Publication Number Publication Date
JP2012510671A JP2012510671A (ja) 2012-05-10
JP5324664B2 true JP5324664B2 (ja) 2013-10-23

Family

ID=42223960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011538645A Active JP5324664B2 (ja) 2008-12-02 2009-11-23 学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース

Country Status (8)

Country Link
US (1) US8566855B2 (ja)
EP (1) EP2353060B1 (ja)
JP (1) JP5324664B2 (ja)
KR (1) KR101464815B1 (ja)
CN (1) CN102227695B (ja)
CA (1) CA2744696C (ja)
MX (1) MX2011004986A (ja)
WO (1) WO2010065363A2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110041148A1 (en) * 2009-08-13 2011-02-17 At&T Intellectual Property I, L.P. Blackouts of pay per view multimedia content
US9191726B2 (en) * 2009-09-30 2015-11-17 Disney Enterprises, Inc. System and method for providing media content enhancement
US9407973B2 (en) 2009-12-02 2016-08-02 At&T Intellectual Property I, L.P. System and method to identify an item depicted when media content is displayed
US10805102B2 (en) 2010-05-21 2020-10-13 Comcast Cable Communications, Llc Content recommendation system
KR101819432B1 (ko) * 2010-08-19 2018-01-16 톰슨 라이센싱 네트워크 트래픽의 모니터링에 의한 정보 콘텐츠의 개인화
EP2606628A2 (en) * 2010-08-19 2013-06-26 Thomson Licensing Personalization of information content by monitoring network traffic
US9454763B2 (en) 2010-08-24 2016-09-27 Adobe Systems Incorporated Distribution of offer to a social group by sharing based on qualifications
WO2012118976A2 (en) 2011-03-01 2012-09-07 Ebay Inc Methods and systems of providing a supplemental experience based on concurrently viewed content
US8630902B2 (en) 2011-03-02 2014-01-14 Adobe Systems Incorporated Automatic classification of consumers into micro-segments
US8700468B2 (en) 2011-03-02 2014-04-15 Adobe Systems Incorporated Micro-segment definition system
US9177327B2 (en) 2011-03-02 2015-11-03 Adobe Systems Incorporated Sequential engine that computes user and offer matching into micro-segments
US20120226562A1 (en) * 2011-03-02 2012-09-06 Adobe Systems Incorporated Persistent metadata for a user-controlled policy of personal data disclosure and usage for online advertising
US8635226B2 (en) 2011-03-02 2014-01-21 Adobe Systems Incorporated Computing user micro-segments for offer matching
US8799363B2 (en) 2011-03-29 2014-08-05 Amazon Technologies, Inc. Lending digital items to identified recipients
US8635277B2 (en) 2011-03-29 2014-01-21 Amazon Technologies, Inc. Mediated lending of digital items
US8635107B2 (en) 2011-06-03 2014-01-21 Adobe Systems Incorporated Automatic expansion of an advertisement offer inventory
US10296878B1 (en) 2011-06-28 2019-05-21 Amazon Technologies, Inc. Platform for providing generic e-content
WO2013020102A1 (en) 2011-08-04 2013-02-07 Dane Glasgow User commentary systems and methods
CN102662975A (zh) * 2012-03-12 2012-09-12 浙江大学 一种混合双向聚类好友推荐方法
CN103517100A (zh) * 2012-06-29 2014-01-15 深圳市快播科技有限公司 基于多屏互动场景的信息推送方法及装置
US9830632B2 (en) 2012-10-10 2017-11-28 Ebay Inc. System and methods for personalization and enhancement of a marketplace
US9934252B2 (en) * 2014-03-10 2018-04-03 Microsoft Technology Licensing, Llc Metadata-based photo and/or video animation
US11455086B2 (en) 2014-04-14 2022-09-27 Comcast Cable Communications, Llc System and method for content selection
US11553251B2 (en) 2014-06-20 2023-01-10 Comcast Cable Communications, Llc Content viewing tracking
US10776414B2 (en) 2014-06-20 2020-09-15 Comcast Cable Communications, Llc Dynamic content recommendations
JP6224539B2 (ja) * 2014-07-18 2017-11-01 ヤフー株式会社 情報処理装置、情報処理方法及びプログラム
EP3202069A4 (en) * 2014-09-29 2018-07-18 The Regents of the University of California Methods and apparatus for coding for interference network
US9812126B2 (en) * 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US10362978B2 (en) 2015-08-28 2019-07-30 Comcast Cable Communications, Llc Computational model for mood
US9348909B1 (en) * 2015-09-18 2016-05-24 Unreel Entertainment LLC Video indexing, search and delivery platforms, methods, systems and apparatuses
US10565259B2 (en) 2015-09-18 2020-02-18 Unreel Entertainment LLC Advertisement placement and engagement supported video indexing, search and delivery platforms, methods, systems and apparatuses
US10616299B2 (en) * 2016-03-30 2020-04-07 Accenture Global Solutions Limited Video analytics device
US10318904B2 (en) 2016-05-06 2019-06-11 General Electric Company Computing system to control the use of physical state attainment of assets to meet temporal performance criteria
CN107169019B (zh) * 2017-04-06 2020-07-24 华为技术有限公司 一种视频元数据的查询方法、设备及系统
US20180300100A1 (en) * 2017-04-17 2018-10-18 Facebook, Inc. Audio effects based on social networking data
US10231020B2 (en) 2017-05-16 2019-03-12 The Directv Group, Inc Sports recommender system utilizing content based filtering
US10448072B1 (en) * 2018-03-23 2019-10-15 Rovi Guides, Inc. Systems and methods for increasing a likelihood of media asset consumption using recommendation chains
US11403342B2 (en) 2018-06-11 2022-08-02 Snap Inc. Intent-based search
US11184672B2 (en) 2019-11-04 2021-11-23 Comcast Cable Communications, Llc Synchronizing content progress

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727174A (en) * 1992-03-23 1998-03-10 International Business Machines Corporation Graphical end-user interface for intelligent assistants
US5758257A (en) * 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
WO1998038831A1 (en) * 1997-02-28 1998-09-03 Starsight Telecast, Inc. Television control interface with electronic guide
GB2329042B (en) * 1997-09-03 2002-08-21 Ibm Presentation of help information via a computer system user interface in response to user interaction
JP4140079B2 (ja) * 1998-03-16 2008-08-27 ソニー株式会社 受信装置
US8352984B2 (en) * 1998-06-12 2013-01-08 Thomson Licensing System and method for generating and managing user preference information for scheduled and stored television programs
JP4497709B2 (ja) * 2000-12-08 2010-07-07 キヤノン株式会社 放送受信装置及びその制御方法
EP1223757B1 (en) * 2001-01-09 2006-03-22 Metabyte Networks, Inc. System, method, and software application for targeted advertising via behavioral model clustering, and preference programming based on behavioral model clusters
US20020138836A1 (en) * 2001-03-23 2002-09-26 Koninklijke Philips Electronics N.V. Method and apparatus for recommending television programming through a celebrity or using a celebrity profile
US20030084448A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Automatic viewing-history based television control system
JP2003223463A (ja) * 2001-11-01 2003-08-08 Matsushita Electric Ind Co Ltd 情報提供サーバ装置及び情報提供システム
JP2005509965A (ja) * 2001-11-16 2005-04-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メディアコンテンツの推奨に用いられるエージェントの作成
US7024626B2 (en) * 2001-11-30 2006-04-04 Apple Computer, Inc. System and method of producing user interface information messages
GB2388235B (en) * 2002-05-04 2005-09-14 Ncr Int Inc Self-service terminal
WO2004064296A2 (en) * 2003-01-07 2004-07-29 Home Box Office Integrated media viewing environment
KR100493902B1 (ko) 2003-08-28 2005-06-10 삼성전자주식회사 콘텐츠 추천방법 및 시스템
US20050086691A1 (en) * 2003-10-17 2005-04-21 Mydtv, Inc. Interactive program banners providing program segment information
US20050120366A1 (en) * 2003-11-28 2005-06-02 Canon Kabushiki Kaisha Determining viewer watching behaviour from recorded event data
CA2563107C (en) * 2004-03-29 2014-03-04 Nielsen Media Research, Inc. Methods and apparatus to detect a blank frame in a digital video broadcast signal
JP4586446B2 (ja) * 2004-07-21 2010-11-24 ソニー株式会社 コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム
JP4154612B2 (ja) * 2005-01-14 2008-09-24 ソニー株式会社 コンテンツ嗜好度算出方法、コンテンツ嗜好度更新方法およびコンテンツ受信装置
US8171515B2 (en) * 2005-11-18 2012-05-01 Microsoft Corporation Automatically generated TV favorites list
US9681105B2 (en) * 2005-12-29 2017-06-13 Rovi Guides, Inc. Interactive media guidance system having multiple devices
US20070157242A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for managing content
JP4683290B2 (ja) * 2006-01-23 2011-05-18 ソニー株式会社 表示装置、表示方法、表示プログラム
US7917583B2 (en) * 2006-02-17 2011-03-29 Verizon Patent And Licensing Inc. Television integrated chat and presence systems and methods
US7657526B2 (en) * 2006-03-06 2010-02-02 Veveo, Inc. Methods and systems for selecting and presenting content based on activity level spikes associated with the content
JP2007259012A (ja) * 2006-03-23 2007-10-04 Hakuhodo Inc コンテンツ再生装置
US8677243B2 (en) * 2006-09-01 2014-03-18 Nokia Corporation Media recommendation system and method
JP2008109313A (ja) * 2006-10-24 2008-05-08 Funai Electric Co Ltd 映像音声記録再生装置
US20080155627A1 (en) * 2006-12-04 2008-06-26 O'connor Daniel Systems and methods of searching for and presenting video and audio
US20080155602A1 (en) * 2006-12-21 2008-06-26 Jean-Luc Collet Method and system for preferred content identification

Also Published As

Publication number Publication date
EP2353060A2 (en) 2011-08-10
KR101464815B1 (ko) 2014-12-05
CA2744696A1 (en) 2010-06-10
MX2011004986A (es) 2011-05-31
CA2744696C (en) 2015-02-24
WO2010065363A3 (en) 2010-10-21
EP2353060A4 (en) 2013-05-15
EP2353060B1 (en) 2017-06-14
WO2010065363A2 (en) 2010-06-10
US20100138867A1 (en) 2010-06-03
CN102227695B (zh) 2015-07-01
CN102227695A (zh) 2011-10-26
JP2012510671A (ja) 2012-05-10
KR20110098898A (ko) 2011-09-02
US8566855B2 (en) 2013-10-22

Similar Documents

Publication Publication Date Title
JP5324664B2 (ja) 学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース
US20240267583A1 (en) User interfaces for a media browsing application
US8266690B2 (en) Temporally synchronized video display unit screensaver or wallpaper based on user preferences
KR100904151B1 (ko) 스케줄 된 컨텐츠 아이템의 선택 방법, 스케줄 된 컨텐츠 데이터에의 액세스 방법, 계층적 프로그램 가이드의 디스플레이 방법, 계층적 프로그램 가이드의 제어 방법, 컴퓨터 판독가능한 기록매체, 스케줄 된 컨텐츠 아이템의 선택 시스템, 스케줄 된 컨텐츠 데이터에의 액세스 시스템, 및 계층적 프로그램 가이드의 제어 시스템
US7900228B2 (en) Maintaining a graphical user interface state that is based on a selected piece of content
US7941819B2 (en) Time-based graphical user interface for multimedia content
TWI358948B (ja)
US20100318357A1 (en) Voice control of multimedia content
US20070223871A1 (en) Method of Generating a Content Item Having a Specific Emotional Influence on a User
WO2012094247A2 (en) Systems and methods for mixed-media content guidance
TWI587253B (zh) 提供口述影像可用性通知的方法與設備
US7823067B2 (en) Process of navigation for the selection of documents associated with identifiers, and apparatus implementing the process
US7848614B2 (en) Viewing program control method and video recording apparatus
JP5237803B2 (ja) ユーザにより定義された基準に基づきドキュメントのサマリを生成する方法及び関連するオーディオビジュアル装置
JP2008099012A (ja) コンテンツ再生システム及びコンテンツ蓄積システム
JP2008519523A (ja) テレビ番組をユーザに提案する方法及び装置
JP6215165B2 (ja) 電子機器、方法及びプログラム
CN118301428A (zh) 一种节目分类显示方法及显示设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130424

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130718

R150 Certificate of patent or registration of utility model

Ref document number: 5324664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250