JP4960571B2 - ディスプレイに動画キャラクタを提供する方法 - Google Patents

ディスプレイに動画キャラクタを提供する方法 Download PDF

Info

Publication number
JP4960571B2
JP4960571B2 JP2002535381A JP2002535381A JP4960571B2 JP 4960571 B2 JP4960571 B2 JP 4960571B2 JP 2002535381 A JP2002535381 A JP 2002535381A JP 2002535381 A JP2002535381 A JP 2002535381A JP 4960571 B2 JP4960571 B2 JP 4960571B2
Authority
JP
Japan
Prior art keywords
video
user
selection
virtual creature
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002535381A
Other languages
English (en)
Other versions
JP2004511968A (ja
Inventor
エシェルマン，ラリー
ギュッタ，スリニヴァス
ミランスキ，ジョン
ジェイ ストルビー，ヒューゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2004511968A publication Critical patent/JP2004511968A/ja
Application granted granted Critical
Publication of JP4960571B2 publication Critical patent/JP4960571B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【０００１】
［発明の背景］
［発明の技術分野］
本発明は、特にテレビジョン・セットであるメディア出力機器における動画生成のためのシステム及び方法に関する。
【０００２】
「たまごっち(Tamagotchi)」は、マイクロコントローラ、小型表示スクリーンおよび複数の押しボタンを含むキーホルダ・サイズの装置である。このコントローラ上で走るプログラムは、ディスプレイに「仮想的なペット(virtual pet)」を生成する。ユーザは、適切なボタンを押すことによって、そのペットに「餌を供給し(feed)」、それと「遊ぶ(play with)」ことができる。ユーザがペットを充分に世話すると、ペットはよく育ち成長する。ユーザがペットを無視すると、ペットは病気になり死んでしまうこともある。
【０００３】
同様な「仮想生物(virtual creature)」は、家庭用コンピュータ（例えば、ＩＢＭＰＣおよびアップル・マッキントッシュ・コンピュータ）で実行されるプログラムでも実現されている。富士通により作成されたフィンフィン(Fin fin)は、この種の仮想ペットの例である。フィンフィンは、プログラムによりユーザを「見る」および「聞く」ことを可能にするセンサ装置を有し、フィンフィンがユーザに反応することができるようにする。ユーザは、コンピュータのキーボード上のキーを押すことによって、フィンフィンと関わり合うことが可能である。フィンフィンは、知的な感情および個性を表し、ユーザとの「関係」を発展させるよう設計されている。
【０００４】
しかしながら、これら人工的ペットの「経験(experience)」の総てはユーザによって行われる（例えば、ユーザがたまごっちに餌を供給する又は遊ぶ場合や、フィンフィンに合図をする場合である。）。その結果、上述した仮想ペットはいずれもユーザとの経験を共有しない。
【０００５】
他の種類の従来の仮想生物は、マイクロソフトの「オフィス・アシスタント(office assistant)」であり、これは、多くのマイクロソフトのソフトウエア・アプリケーションの中でユーザを支援する動画化されたキャラクタである。一般的なものでは、オフィス・アシスタントは目のあるペーパー・クリップに類似するものである。オフィス・アシスタントが包含されている内容に依存して、オフィス・アシスタントの動画化された動きも異なる。オフィス・アシスタントの動作(action)は、現在走っているプログラムの内容に依存するが、その動画(animation)は、（例えば、キーボードまたはマウスを利用して）ユーザにより与えられた入力に応答して与えられたものであり、ユーザが見る情報の中で変化するものではない。
【０００６】
上述した従来技術の問題点を克服する仮想生物は、より高度の娯楽および楽しみをユーザに提供するであろう。
【０００７】
［発明の概要］
フィンフィンのような仮想ペットを想定する。しかしながら、このキャラクタは、テレビジョン内で「生活し(live)」、ＯＮが何であるかに応答して、その所有者（オーナー）と共にテレビジョン番組を鑑賞し、更なる鑑賞についての推薦を行う。また、所有者はそのペットと相互に関わり合うことが可能である。オーナーがペットに応答すれば、ペットは喜ぶ。オーナーがペットを無視すると、ペットは徐々に楽しくなくなる。例えば、ペットが番組の推薦を行う場合に、オーナーが慣例的に無視すると、ペットは落胆するようになる。本発明は、従来の相互的な人工生物形態、フィンフィンに関連するが、本システムにおける人工生物形態はシステムに付属し、例えば、現在の番組および示唆する他の観賞用番組に応答することによって、強化された機能を提供する。様々な他の種類の娯楽および有利な特徴を提供することが可能であり、以下に説明される。
【０００８】
本発明の一形態によれば、視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法が提供される。本方法では、映像番組が前記ディスプレイに表示され、前記ディスプレイの一部に動画キャラクタが生成される。鑑賞される前記番組に関連する少なくとも１つの信号が監視される。その監視に基づいて、所定の第１事象(event)が生じたことが判定され、それに従って、前記動画キャラクタが制御される。
【０００９】
本発明の他の形態は、視聴者が番組を鑑賞する間にディスプレイに動画化された視聴コンパニオン(companion)を提供する方法に関連し、その番組は音声成分および同期映像成分を有する。この方法では、番組の映像成分がディスプレイに表示され、動画化されたキャラクタがディスプレイの一部に生成される。番組の音声成分に対応する信号に基づいて、第１の所定の音声事象が生じたこと、および第２の所定の音声事象が生じたことを判定する。動画化されたキャラクタはこれらの判定に基づいて制御される。
【００１０】
本発明の他の形態によれば、視聴者が番組推奨システムを使用する場合にディスプレイに動画キャラクタを提供する方法が提供される。本方法では、前記ディスプレイに動画キャラクタが生成され、ユーザから番組の選択が受信される。ユーザの選択は、事前になされた番組選択に基づく格納済みの特性と比較される。この比較に基づいて、前記動画キャラクタが制御される。
【００１１】
［好適実施例の詳細な説明］
図１は、テレビジョン・セットのブロック図である。これは、受信機１４のような信号源を含み、アンテナ１６またはケーブル（図示せず）からの放送信号を受信する。信号源は音声及び映像出力を生成する。当然ながら、図示された受信機１４を、他の信号源（例えば、ＶＣＲ，ＤＶＤプレーヤ，ビデオ・カメラ等）に置換することも可能である。
【００１２】
信号源（例えば、受信機１４）からの音声及び映像出力は、仮想生物生成器（ＶＣＧ）１０に印加される。ＶＣＧ１０はユーザからユーザ・インターフェース入力も受信する。受信した音声および映像出力に基づいて、ＶＣＧ１０は、モニタ１２に印加する音声および映像出力を生成する。モニタ１２は、ＶＣＧ１０から受信した映像信号に基づく表示を作成し、ＶＣＧから受信した音声信号に基づいて音声出力を作成する。例えば、ＬＣＤ，ＣＲＴ，ＬＥＤ技術のような、任意の適切なモニタ技術を利用することが可能である。
【００１３】
図１の実施例は、受信機１４，ＶＣＧ１０およびモニタ１２を個別の装置として示しているが、当業者は、他の形態にあってはこれらの装置が共に一体化され得ることを認めるであろう。さらに、受信機１４，ＶＣＧ１０およびモニタ１２の間の相互接続は、様々な信号形式を利用して行い得ることも認められるであろう。例えば、ＶＣＧ１０から音声および映像信号をモニタ１２に送信する代わりに、音声および映像成分が、モニタ１２におけるＲＦ入力（図示せず）に印加される単独のＲＦ信号に結合されることも可能である。以下に説明するプログラム推奨システム１８は、選択的に、データをＶＣＧ１０に提供し、ＶＣＧ１０により作成された動画化されたマルチメディア生物による推薦を可能にする。
【００１４】
図２は、モニタ１２に現れるサンプル表示を示す。この例では、ディスプレイは、ユーザの鑑賞する場組が表示される第１領域２２を有する。好ましくは、番組が第１領域２２に表示される場合に、その番組は、従来のテレビジョン・スクリーンにおけるものと同様に見える。仮想生物２４は、第１領域２２内に含まれるウインドウ２６に表示される。仮想生物２４は、モニタ１２に供給される音声および映像信号を制御することによって、ＶＣＧ１０（図１に示される）により生成される。
【００１５】
ウインドウ２６に対する仮想生物２４の選択的な閉じこめは、適切な画像の作成を簡易化する。なぜなら、仮想生物２４以外のウインドウ２６の部分は、任意の所望の背景で満たされ得るからである。他の実施例では、ウインドウ２６が省略され、介在する背景なしに、仮想生物２４がユーザの鑑賞する番組上に直接的に生成される；言い換えれば、フル・スクリーン・モードである。
【００１６】
選択的に、仮想生物２４は、人間を含む任意の動画物または生物の描写であり得る。さらに、仮想生物２４は、トースター(toaster)のような通常は動く対象でないものの描写であり得る。そのような通常は動く対象でないものは、それらに目や口を与えることによって、又は受信機１４の映像ストリーム中に突発的な事象が示された場合に飛び出す食パンのように、それらの固有の機能に伝達的役割を与えることによって、動画化することが可能である。
【００１７】
図３は、図１のＶＣＧ１０を実現化する好適実施例のブロック図である。ＶＣＧ１０は、仮想生物２４を形成するために使用される音声および映像データを生成する動画生成器３３を有する。動画生成器の実現化に関する詳細は、当業者に周知の様々な技術に従ってなされ得る。動画生成器３３により生成される音声および映像出力は、仮想生物２４を様々な動画の状態で登場させる。選択的に、動画生成器３３は音声出力を生成し、音響効果および会話を行うために使用される。動画生成器３３は、ユーザと仮想生物２４との間の対話を模擬するための対話模擬プロセスを提供する養鶏生成される。
【００１８】
動画生成器３３の映像及び音声出力は、映像及び音声重畳器３４に印加される。映像及び音声重畳器３４は、ユーザの鑑賞する番組に対応する映像入力信号も受信する。第１領域２２（図２に示される）に対応するフレームの部分については、映像及び音声重畳器３４は、映像入力信号を、映像及び音声重畳器３４の出力に通過させるに過ぎない。しかしながら、映像及び音声重畳器３４は、現在のフレームの部分が（図２に示される）ウインドウ２６に対応し、映像及び音声重畳器３４が動画生成器３３により生成された映像信号を選択することを認識する。これにより、仮想生物２４は第１領域２２上に重畳して登場する。
【００１９】
他の実施例では、映像及び音声重畳器３４は、従来の画像内画像(picture-in-picture)技術を利用して実現され得る。この場合、仮想生物２４は、当業者に周知の様々な手法を利用して、第１領域２２内のどこかのウインドウ２６内に登場する。あるいは、仮想生物２４は、フル・スクリーン・モード（図示せず）でも提示され得る。
【００２０】
仮想生物２４に対する選択的な音響効果が実現される場合は、映像及び音声重畳器３４は、鑑賞される番組に対応する音声入力信号と、動画生成器３３からの音声信号を結合する（これは例えば、ソース音声と動画音声を共に混合することにより行われる。）。その結果の結合された音声信号は、従来の音声増幅器及びスピーカ・システムを利用して、可聴音声に変換される。
【００２１】
静的状態では、動画生成器３３は、一時的な動き(shuffle)または他のゆっくりとした動きのような邪魔にならない動画で、ディスプレイ上に仮想生物２４を描くことが好ましい。所定の事象に応答して、動画生成器３３は、その事象にふさわしい形式で仮想生物２４を動かす。好ましくは、その事象は、信号源から到着する音声入力及び／又は映像入力に基づいて検出される。
【００２２】
通常は、視聴コンパニオンとして動作する場合に、仮想生物２４は、その背中と共に第１領域２２内の画像がユーザに向かい合うように形成される。仮想生物２４が事象に応答するための手法の１つは、突然ユーザの方を振り返る容姿を提供し、および／または会話能力が与えられるならば模擬的な発声を提供することである。
【００２３】
映像認識ブロック３１を利用して、（図２に示される）第１領域２２に表示される番組に対応する映像入力信号に基づいて、事象を検出する。好ましくは、映像認識ブロック３１は、映像信号を監視し、映像信号の特徴が所定の基準に合致することを判定する。映像認識ブロック３１は、任意の形式の映像信号（例えば、複合アナログ映像信号、またはディジタル映像信号中の単独の色成分）で動作し得る。所定の事象に対応する信号の特徴を検出することは、適切なアナログ回路またはディジタル信号処理回路を利用して実現可能である。ベイズ(Bayesian)又はニューラル・ネットワーク技術のような機械的分類技術を利用することも可能である。
【００２４】
映像信号の特徴が確認されると、映像認識ブロック３１は適切な出力を動画生成器３３に提供する。例えば、映像認識ブロック３１は、場面が、非常に暗い場面から非常に明るい場面に変化したことを検出し（例えば、輝度信号の大きな一次微分係数を検出することによって）、それに応答してＤＡＲＫ＿ＴＯ＿ＬＩＧＨＴ信号を動画生成器３３に提供するようプログラムされることが可能である。より複雑なディジタル技術を利用して、文章や映像中の顔を認識することも可能である。認識された特徴を含む信号の受領に応答して、動画生成器３３は適切な動画を生成する。例えば、ＤＡＲＫ＿ＴＯ＿ＬＩＧＨＴ信号が生成されたならば、仮想生物２４が動きだし、サングラスをかける容姿を与えることが可能である。他の例では、映像認識ブロック３１は、その場面に大量の水が出現することを検出し、動画生成器３３が仮想生物２４をボートに乗せるようプログラムされることが可能である。映像認識ブロック３１から動画生成器３３への信号伝送に対しては様々なフォーマットが利用可能であり、各信号に専用のラインを有線接続すること、バスを通じてディジタル・データとして信号を動画生成器３３に伝送することを含む。長期間の間何らの特徴も認識されなかったような場合に、デフォルト(default)事象を周期的に発生させ、仮想生物２４が退屈している又は眠ろうとしている印象を与えるように動かすことが可能である。ユーザからの入力により、ユーザが部屋を去る合図(signal)を提供し（例えば、入力の１つが隣接する検出器、映像分類器等からのものである場合）、ユーザが出て行くのを眺める又は戻ってきたときにユーザを歓迎する印象を仮想生物２４に与えるような動きを提供するために使用することが可能である。
【００２５】
他の実施例では、モニタ１２の第１領域２２に表示される実際の映像情報を分析することによって動作を行う代わりに、映像認識ブロック３１が映像入力信号に含まれる非映像情報(non-video information)で動作することも可能である。例えば、映像入力信号の垂直帰線消去周期(vertical blanking period)内に、動画制御情報を挿入することも可能である。この情報は、選択的に、第１領域２２で画像を何ら変化させない種類のものであり得るが、抽出されることが可能であって仮想生物２４の動作を制御するために使用される。
【００２６】
音声認識ブロック３２は、ユーザの鑑賞するプログラムに対応する音声信号内の特徴を検出するために設けられる。音声認識ブロック３２は、音声入力信号を監視し、音声信号により表現される所定の音声の特徴を検出する。所定の事象に対応する信号の特徴を検出することは、適切なアナログ回路またはディジタル信号処理手法を利用して実現される。音声認識ブロック３２は、所定の任意の事象が生じたことを示す信号を生成する。所定の事象の認識を示す信号に応答して、動画生成器３３は対応する形式で仮想生物２４を動かす。例えば、音声認識ブロック３２が突然大きなノイズを検出した場合に、音声認識ブロック３２はＳＵＤＤＥＮ＿ＮＯＩＳＥ信号を動画生成器３３に送信することが可能である。この信号に応答して、動画生成器３３は、（例えば、後方にジャンプすることにより）仮想生物２４が驚いた様子の印象を与えるような適切な動きを生成し得る。あるいは、音声認識ブロック３２が人間の悲鳴を検出した場合に、ＳＣＲＥＡＭ信号を動画生成器３３に送信することが可能である。これに応答して、動画生成器３３は、恐怖におののく印象を与えるよう仮想生物２４を動かすような適切な動きを生成し得る。音声認識ブロック３２から動画生成器３３への信号送信には、任意の適切なフォーマットを利用することが可能であり、各信号に専用のラインのワイヤ接続をすること、またはバスを通じてディジタル・データとして信号を動画生成器３３に伝送することを含む。
【００２７】
他の実施例では、映像認識ブロック３１および音声認識ブロック３２の両者を利用する代わりに、何れか一方のブロックを省略し、残ったブロックを利用して信号源からの適切な事象を認識することも可能である。
【００２８】
好ましくは、ユーザはユーザ・インターフェース３５を通じて仮想生物２４と相互作用をする。適切なユーザ・インターフェースの例には、マイクロフォン、ビデオ・カメラ、および光検出器が含まれる。例えば、ユーザはマイクロフォンを通じて喋ることにより、ビデオ・カメラの近辺の動きにより、またはボタンを押すことによって、動画生成器３３に関わることが可能である。この目的に対して、従来技術のフィンフィンのように、専用のハードウエアを設けることも可能である。おしゃべり(chatterbox)インターフェースを利用して、対話応答を行うことも可能である。あるいは、仮想生物２４は、ユーザとジェスチャー(gesture)を含むゲームを楽しむことが可能であり、そのジェスチャーはユーザ・インターフェース３５のビデオ・カメラ（図示せず）によって認識される。あるいは、赤外線受信機にコードを送信する赤外線送信機（別々には図示せず）を利用することも可能である。この手法は、本発明がテレビジョン番組を表示するのに使用されるモニタと共に単独のキャビネットに組み込まれるような場合に特に適している。好適実施例では、仮想生物２４は、（例えば、フィンフィンやたまごっちで行われるシステムのような）「人為的な寿命(artificial life)」の技術を利用して実現され、仮想生物２４がユーザとの相互作用に基づいて適合化し得るようにする。選択的に、ユーザ・インターフェース３５を通じて受信される入力は、音声および映像認識ブロック３２，３１により処理され、映像および音声信号における事象に応答するために使用されるものと同一のアルゴリズムを使用して、仮想生物２４を動かす。
【００２９】
図２および図１を参照するに、仮想生物２４は、ユーザの行うことが何であるかに依存して、複数の異なるモードで動作するよう実現化される。第１のモードでは、ユーザがテレビジョンを鑑賞する場合に、仮想生物２４が第１領域２２に包含されるウインドウ２６内で（又は第１領域２２上に直接的に）視聴コンパニオンとして動作する。第２動作モードでは、仮想生物２４は、プログラム推奨システム１８に関連したユーザ・インターフェース支援として動作する。第３モードでは、ユーザは、彼／彼女がテレビジョンを鑑賞していない場合であっても、仮想生物２４と相互作用を行う。（従来のフィンフィンおよびたまごっち装置との相互作用に類似する。）この第３モードでは、ユーザには、２６内に仮想生物２４を置くこと、またはモニタ１２のスクリーン全体にわたるフル・スクリーン・モードで仮想生物２４を表示することの選択肢が用意される。
【００３０】
図３を参照するに、動作モードは、ユーザ・インターフェース３５を通じてユーザから受信した命令を監視することによって、モード・セレクタ３６により可干渉的に(interferentially)判定されることが好ましい。他の実施例では、動作モードは、ユーザ・インターフェース３５により明確な命令を提供することによって、ユーザにより手動で選択される。モード選択に加えて、ユーザ・インターフェース３５を利用して、様々なユーザ・オプションを設定し、各ユーザの仮想生物２４の経験をカスタマイズする。例えば、ユーザには、仮想生物２４として提供する様々な動物又は生物の選択肢が用意される（例えば、鳥、犬または猫）。ユーザには、検出された事象に応答して発生する動画シーケンスの持続時間に加えて、ディスプレイ上の生物の大きさおよび位置を設定する機能も用意される。選択的に、ユーザ・インターフェース・メニューは、ユーザの制御可能な選択肢を設定するために、（図２に示される）モニタ１２に表示され得る。
【００３１】
図４は、視聴コンパニオンモード（すなわち、ユーザがテレビジョンを鑑賞する場合）の制御に使用するのに適切なプロセスを表現する状態フロー図の例である。このモードでは、仮想生物２４は当初はデフォルト状態Ｓ１にあり、動画生成器３３により、仮想生物２４に関するデフォルトの動作が行われる。デフォルト状態Ｓ１の仮想生物２４の動作レベルは、比較的低いことが好ましい。この状態に関する適切な動作の例は、じっとし続ける又は数秒ごとに僅かに動く(shuffling)ことを含む。好適実施例では、仮想生物２４がデフォルト状態Ｓ１で表示される場合に、仮想生物２４の背中がテレビジョン視聴者に見えており、仮想生物２４が視聴者と同じ番組を鑑賞している様子を作成する。
【００３２】
事象の合図があると、仮想生物２４の状態は、複数の様々な状態の１つに切り替わる。その事象は、（図３に関連して説明したように）画像認識ブロック３１，音声認識ブロック３２および／またはユーザ・インターフェース３５により検出される。図示した例では、楽しい事象（例えば、輝かしい明るい場面）を検出すると状態Ｓ２に切り替わり、楽しい動作（例えば、微笑み）が動画生成器３３により作成され；怖い事象（例えば、人間の悲鳴）が検出されると状態Ｓ３に切り替わり、怖がる動作（例えば、おびえる）が動画生成器３３により作成され；および愉快な事象（例えば、笑い声）が検出されると状態Ｓ４に切り替わり、笑う動作が動画生成器３３により作成される。当然ながら、システムは、これら３つの事象に加えて又はこれに代えて、他の事象を認識および反応するようプログラムされ得る。
【００３３】
検出された事象が終了すると（または、所定の期間が経過すると）、仮想生物２４はデフォルト状態Ｓ１（テレビ鑑賞）に復帰する。デフォルト状態Ｓ１において仮想生物２４が視聴者に背中を向けて座っている実施例の場合は、仮想生物２４が振り返って視聴者に向かい合う容姿を与えるように、代替的状態Ｓ２−Ｓ４の各々における動作がプログラムされることが好ましい。
【００３４】
推奨システムは、視聴者が鑑賞するのを好むものを示す情報を取得および追跡する（実際の視聴パターンを観察することによりリアル・タイムで、又は適切な番組案内を利用したバッチ(batch)モードで行う。）。ユーザの視聴の好みが判定されると、新たな番組選択が、番組選択の格納された履歴と比較される。選択された番組が、事前に選択された番組と際立って異なる場合（例えば、以前の総ての選択がスポーツの事象であって、ユーザがオペラを鑑賞または記録することを選択した場合）は、ユーザはシステムから否定的な反応（例えば、しかめっ面をした動画又は驚きの表現）が提供される。また、同じユーザが非常に人気のあるスポーツ項目を選択したならば、ユーザには肯定的な反応（例えば、親指を上げた動き）が提供される。
【００３５】
図５は、番組推奨モードで使用するのに適切な状態フロー図の例である（すなわち、ユーザが番組推奨システム１８と相互作用する場合である。）。このモードでは、仮想生物２４が通常はデフォルト状態Ｓ６にあり、仮想生物２４に対するデフォルト推奨動画が、動画生成器３３により作成される。新たな選択がなされると、システムは、新たな選択と過去の選択の履歴とを比較する。動画生成器３３は、新たな選択に反応するよう仮想生物２４を動かす。
【００３６】
図示する例では、新たな選択が概ね選択履歴に合致する場合に、状態Ｓ７への遷移が生じ、動画生成器３３により楽しい動き（例えば、微笑み）が生成され；新たな選択が選択履歴と異なる場合は、状態Ｓ８への遷移が生じ、動画生成器３３により驚きの動き（例えば、めまいがする動き）が生成され；新たな選択が選択履歴に非常に一致している場合は、状態Ｓ９への遷移が生じ、動画生成器３３により極めて楽しい動き（例えば、跳び上がって喜ぶ）が生成される。
【００３７】
上述したプロセスは、適切なデータ格納媒体（例えば、半導体メモリ又は磁気ディスク若しくはテープ）に格納されたプログラムを利用して、適切にプログラムされたマイクロプロセッサおよび／またはディジタル信号プロセッサにより選択的に実行される。
【００３８】
上述した実施例が携帯用ＴＶに組み込まれている場合は（個別の実施例として示されていない）、仮想生物２４を提示する携帯ＴＶを視聴コンパニオンとして使用し、その携帯ＴＶが視聴者と共に従来の他のＴＶを鑑賞するような幻想的状況を提供することができる。同一の映像信号が、両者のＴＶおよび用意されたある機構に同時に与えられ、携帯ＴＶは、視聴コンパニオンとしての役割を果たし、同時に放送内容および仮想生物２４のディスプレイとしては働かないことを意味する。
【００３９】
本発明は、上述した好適実施例により説明されてきたが、当業者に明らかなように、本発明の精神又は範囲から逸脱することなしに、これら実施例に様々な変更がなされ、様々な均等物が置換されることは理解されるであろう。
【図面の簡単な説明】
【図１】 図１は、本発明の実施例による仮想生物生成器を組み込むテレビジョン・セットのブロック図である。
【図２】 図２は、ウインドウに表示された仮想生物に関する表示装置におけるサンプル表示の概略図である。
【図３】 図３は、図１の仮想生物生成器の詳細を示すブロック図である。
【図４】 図４は、本発明の実施例による第１動作モードを示す状態遷移図である。
【図５】 図５は、本発明の実施例による第２動作モードを示す状態遷移図である。

Claims (1)

  1. 視聴者が番組推奨システムを使用する場合にディスプレイに動画キャラクタを提供する方法であって、
    前記ディスプレイに動画キャラクタを生成するステップと、
    ユーザから番組の選択を受信するステップと、
    前記受信するステップで受信した選択を、以前になされた番組の選択に基づく格納済みの特性と比較するステップと、
    前記比較するステップでなされた比較結果に基づいて、前記動画キャラクタを制御するステップと
    を有し、前記比較するステップが、前記受信するステップで受信した前記選択が前記格納済みの特性に合致するか否かを判定するステップを有し、
    前記判定するステップにおいて前記選択が前記格納済みの特性に合致する場合、前記制御するステップにおいて、前記動画キャラクタが認可する応答を行うように制御され、
    前記判定するステップにおいて前記格納済みの特性と前記選択との合致度が判定され、
    前記制御するステップにおける前記動画キャラクタが、前記格納済みの特性と前記選択との合致度に依存して、異なる認可の度合いを示す複数の認可する応答のうちの１つを行うように制御され、
    前記判定するステップにおいて前記選択が前記格納済みの特性に合致しなかった場合、前記制御するステップにおいて、前記動画キャラクタが認可しない応答を行うよう制御される、方法。
JP2002535381A 2000-10-11 2001-09-26 ディスプレイに動画キャラクタを提供する方法 Expired - Fee Related JP4960571B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/686,831 2000-10-11
US09/686,831 US6931656B1 (en) 2000-10-11 2000-10-11 Virtual creature displayed on a television
PCT/EP2001/011173 WO2002032121A2 (en) 2000-10-11 2001-09-26 Virtual creature displayed on a television

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012015509A Division JP5149447B2 (ja) 2000-10-11 2012-01-27 ディスプレイに動画視聴コンパニオンを設ける方法及び仮想生物生成器

Publications (2)

Publication Number Publication Date
JP2004511968A JP2004511968A (ja) 2004-04-15
JP4960571B2 true JP4960571B2 (ja) 2012-06-27

Family

ID=24757938

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002535381A Expired - Fee Related JP4960571B2 (ja) 2000-10-11 2001-09-26 ディスプレイに動画キャラクタを提供する方法
JP2012015509A Expired - Fee Related JP5149447B2 (ja) 2000-10-11 2012-01-27 ディスプレイに動画視聴コンパニオンを設ける方法及び仮想生物生成器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012015509A Expired - Fee Related JP5149447B2 (ja) 2000-10-11 2012-01-27 ディスプレイに動画視聴コンパニオンを設ける方法及び仮想生物生成器

Country Status (5)

Country Link
US (1) US6931656B1 (ja)
EP (1) EP1329100A2 (ja)
JP (2) JP4960571B2 (ja)
KR (1) KR20020062325A (ja)
WO (1) WO2002032121A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003239385A1 (en) * 2002-05-10 2003-11-11 Richard R. Reisman Method and apparatus for browsing using multiple coordinated device
KR20050057280A (ko) * 2002-09-09 2005-06-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 제안에 속하는 매체 데이터를 찾는 디바이스 및 방법
KR20040092921A (ko) * 2003-04-29 2004-11-04 주식회사 엘지홈쇼핑 캐릭터를 사용한 홈쇼핑 방송 시스템 및 방법
US8489769B2 (en) * 2003-10-02 2013-07-16 Accenture Global Services Limited Intelligent collaborative expression in support of socialization of devices
US7556563B2 (en) * 2005-01-10 2009-07-07 Mattel, Inc. Internet enabled multiply interconnectable environmentally interactive character simulation module method and system
EP1693091A3 (en) * 2005-01-10 2008-02-27 Radica Games Ltd. Multiply interconnectable environmentally interactive character simulation module method and system
JP4319156B2 (ja) * 2005-03-02 2009-08-26 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP2006331503A (ja) * 2005-05-24 2006-12-07 Funai Electric Co Ltd 光ディスク記録再生装置
KR100654455B1 (ko) * 2005-05-26 2006-12-06 삼성전자주식회사 확장형 자막 파일을 이용하여 부가정보를 제공하는 장치 및방법
KR100727034B1 (ko) 2005-12-09 2007-06-12 한국전자통신연구원 3차원 공간상에서 2차원 인간형 캐릭터의 표현 및애니메이션 방법
US7692658B2 (en) * 2006-11-17 2010-04-06 Microsoft Corporation Model for layout animations
US8726154B2 (en) * 2006-11-27 2014-05-13 Sony Corporation Methods and apparatus for controlling transition behavior of graphical user interface elements based on a dynamic recording
US7903115B2 (en) 2007-01-07 2011-03-08 Apple Inc. Animations
US8128500B1 (en) * 2007-07-13 2012-03-06 Ganz System and method for generating a virtual environment for land-based and underwater virtual characters
CN101119209A (zh) * 2007-09-19 2008-02-06 腾讯科技（深圳）有限公司 虚拟宠物系统和虚拟宠物聊天方法、装置
CN102186545B (zh) * 2008-08-15 2013-05-08 美泰有限公司 电子玩具及与其交互的方法
US8515510B2 (en) 2009-03-31 2013-08-20 Covidien Lp Electroadhesive medical devices
US8742814B2 (en) 2009-07-15 2014-06-03 Yehuda Binder Sequentially operated modules
US8602833B2 (en) 2009-08-06 2013-12-10 May Patents Ltd. Puzzle with conductive path
US11330714B2 (en) 2011-08-26 2022-05-10 Sphero, Inc. Modular electronic building systems with magnetic interconnections and methods of using the same
US9597607B2 (en) 2011-08-26 2017-03-21 Littlebits Electronics Inc. Modular electronic building systems with magnetic interconnections and methods of using the same
US9019718B2 (en) 2011-08-26 2015-04-28 Littlebits Electronics Inc. Modular electronic building systems with magnetic interconnections and methods of using the same
EP2930599A4 (en) * 2012-12-04 2016-08-31 Ntt Docomo Inc INFORMATION PROCESSING DEVICE, SERVER DEVICE, DIALOG SYSTEM AND PROGRAM
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
JP6502618B2 (ja) * 2014-05-21 2019-04-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6282684B2 (ja) * 2016-04-01 2018-02-21 株式会社コーエーテクモゲームス 情報処理プログラム、情報処理装置及び情報処理方法
US11616844B2 (en) 2019-03-14 2023-03-28 Sphero, Inc. Modular electronic and digital building systems and methods of using the same
US10958973B2 (en) * 2019-06-04 2021-03-23 International Business Machines Corporation Deriving and identifying view preferences of a user consuming streaming content
CN113395530A (zh) * 2020-03-11 2021-09-14 上海佰贝科技发展股份有限公司 一种虚拟ai宠物电视互动方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4569026A (en) * 1979-02-05 1986-02-04 Best Robert M TV Movies that talk back
US5393073A (en) * 1990-11-14 1995-02-28 Best; Robert M. Talking video games
JP3478614B2 (ja) * 1994-11-11 2003-12-15 キヤノン株式会社 文書処理方法及びその装置
US5659366A (en) * 1995-05-10 1997-08-19 Matsushita Electric Corporation Of America Notification system for television receivers
JP3424055B2 (ja) * 1995-07-10 2003-07-07 松下電器産業株式会社 テレビジョン受像機
US5673401A (en) * 1995-07-31 1997-09-30 Microsoft Corporation Systems and methods for a customizable sprite-based graphical user interface
AU718608B2 (en) * 1996-03-15 2000-04-20 Gizmoz Israel (2002) Ltd. Programmable computer graphic objects
EP0896772A4 (en) * 1996-04-29 2001-12-05 Princeton Video Image Inc ELECTRONIC INSERTION OF VISUAL ELEMENTS ASSORTED WITH SOUND EFFECTS IN VIDEO SIGNALS
JPH10274921A (ja) 1997-03-31 1998-10-13 Bandai Co Ltd 生命体の育成シミュレーション装置
US5983190A (en) * 1997-05-19 1999-11-09 Microsoft Corporation Client server animation system for managing interactive user interface characters
EP0912053A1 (en) * 1997-10-24 1999-04-28 CANAL+ Société Anonyme Multichannel digital television system
JPH11220668A (ja) * 1998-02-03 1999-08-10 Toshiba Corp 放送受信装置
US6445398B1 (en) * 1998-02-04 2002-09-03 Corporate Media Partners Method and system for providing user interface for electronic program guide
US6466213B2 (en) * 1998-02-13 2002-10-15 Xerox Corporation Method and apparatus for creating personal autonomous avatars
JP3655085B2 (ja) * 1998-03-19 2005-06-02 株式会社東芝 環境駆動型情報呈示装置
US6208357B1 (en) * 1998-04-14 2001-03-27 Avid Technology, Inc. Method and apparatus for creating and animating characters having associated behavior
US6513160B2 (en) * 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
US6314569B1 (en) * 1998-11-25 2001-11-06 International Business Machines Corporation System for video, audio, and graphic presentation in tandem with video/audio play
US6513031B1 (en) * 1998-12-23 2003-01-28 Microsoft Corporation System for improving search area selection
US20020010584A1 (en) * 2000-05-24 2002-01-24 Schultz Mitchell Jay Interactive voice communication method and system for information and entertainment

Also Published As

Publication number Publication date
WO2002032121A3 (en) 2002-07-25
EP1329100A2 (en) 2003-07-23
WO2002032121A2 (en) 2002-04-18
JP5149447B2 (ja) 2013-02-20
KR20020062325A (ko) 2002-07-25
US6931656B1 (en) 2005-08-16
JP2004511968A (ja) 2004-04-15
JP2012086059A (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
JP5149447B2 (ja) ディスプレイに動画視聴コンパニオンを設ける方法及び仮想生物生成器
US20220286728A1 (en) Information processing apparatus and information processing method, display equipped with artificial intelligence function, and rendition system equipped with artificial intelligence function
US11113884B2 (en) Techniques for immersive virtual reality experiences
US11682054B2 (en) Apparatus, systems and methods for presenting content reviews in a virtual world
US9848244B2 (en) Method of providing user specific interaction using device and digital television (DTV), the DTV, and the user device
CN112154658B (zh) 图像处理装置、图像处理方法和存储介质
US9805767B1 (en) Perspective view entertainment system and method
US10166465B2 (en) Contextual user interface based on video game playback
US20140267911A1 (en) Systems and Methods for Enhanced Television Interaction
JP2020039029A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
KR20050004216A (ko) 프리젠테이션 합성기
US20220167052A1 (en) Dynamic, user-specific content adaptation
CN112040272A (zh) 体育赛事智能解说方法、服务器及显示设备
JP4513143B2 (ja) 映像表示システム
WO2012166072A1 (en) Apparatus, systems and methods for enhanced viewing experience using an avatar
WO2018136299A1 (en) Contextual user interface based on shared activities
JP2003324709A (ja) 擬似出張用情報送信方法、擬似出張用情報送信装置、擬似出張用情報送信プログラムおよび擬似出張用情報再生方法、擬似出張用情報再生装置、擬似出張用情報再生プログラム
Lee et al. Emotionally reactive television
WO2021131326A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
GB2612845A (en) Content generation system and method
WO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
CN210186424U (zh) 5d沉浸式电影主题公园
Wang et al. Co-Presence in mixed reality-mediated collaborative design space
WO2008119004A1 (en) Systems and methods for creating displays
KR102453237B1 (ko) 증강 현실 홀로그램 가상 수족관 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees