JP7071360B2 - アニメキャラクタヘッドシステム及び方法 - Google Patents

アニメキャラクタヘッドシステム及び方法 Download PDF

Info

Publication number
JP7071360B2
JP7071360B2 JP2019529217A JP2019529217A JP7071360B2 JP 7071360 B2 JP7071360 B2 JP 7071360B2 JP 2019529217 A JP2019529217 A JP 2019529217A JP 2019529217 A JP2019529217 A JP 2019529217A JP 7071360 B2 JP7071360 B2 JP 7071360B2
Authority
JP
Japan
Prior art keywords
animation
character head
performer
display
animated character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019529217A
Other languages
English (en)
Other versions
JP2020500599A5 (ja
JP2020500599A (ja
Inventor
アニーシャ ヴヤス
ケイトリン アマンダ コレル
ショーン デイヴィッド マクラッケン
ウィリアム ヴイ マギー
Original Assignee
ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー filed Critical ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Publication of JP2020500599A publication Critical patent/JP2020500599A/ja
Publication of JP2020500599A5 publication Critical patent/JP2020500599A5/ja
Application granted granted Critical
Publication of JP7071360B2 publication Critical patent/JP7071360B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63JDEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J7/00Auxiliary apparatus for artistes
    • A63J7/005Disguises for one or more persons for life-like imitations of creatures, e.g. animals, giants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Toys (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

関連出願の相互参照
本出願は、「Animated Character Head Systems and Methods(アニメキャラクタヘッドシステム及び方法)」と題する2016年11月30出願の米国仮特許出願第62/428,200号の優先権及び利益を主張するものであり、その開示内容全体は、全ての目的で引用により本明細書に組み込まれる。
本開示は、概して、遊園地の分野に関する。より具体的には、本開示の実施形態は、遊園地での体験を提供するのに利用されるシステム及び方法に関する。
遊園地及び他の娯楽施設は、他の多くのアトラクションの中でも、テーマパークのゲストと対話するアニメキャラクタを含む。例えば、アニメキャラクタは、好適な活動の中で特に、遊園地を歩き回り、娯楽を提供し、遊園地のゲストと話す又はゲストに向かって手を振る場合がある。ある特定のアニメキャラクタは、顔面を覆うアニメヘッドを備えたコスチュームをまとった演者を含む場合がある。しかしながら、演者が、このアニメヘッドを操作して、遊園地に参加しているゲストとの現実的な対話を行うことは困難であろう。
独自に権利主張する主題の範囲に相応する特定の実施形態を以下に要約する。これらの実施形態は、本開示の範囲を制限することを意図するものでなく、むしろ、これらの実施形態は、開示する特定の実施形態の概要を与えることのみを意図している。実際に、本開示は、以下に説明する実施形態と類似する又は異なる場合がある様々な形態を包含することができる。
1つの実施形態により、本システムは、入力を受け取り、該入力に基づいてアニメーション選択を行い、該アニメーション選択に基づいて第1の制御を提供するように構成された1又は2以上のプロセッサを有するアニメキャラクタヘッドを含む。また、アニメキャラクタヘッドは、該アニメキャラクタヘッドを動作させる演者による視覚化のためにアニメーション選択の表示を提供するように構成されたディスプレイを含む。
1つの実施形態により、本システムは、入力を受け取り、該入力に基づいてアニメーション選択を行い、該アニメーション選択に基づいて制御信号を供給するように構成された1又は2以上のプロセッサを有するアニメキャラクタヘッドを含む。入力は、アニメキャラクタヘッドを動作させる演者の目の動きを示す第1の信号、アニメキャラクタヘッドを動作させる演者の顔面のジェスチャを示す第2の信号、又はそれらの組み合わせを含む。
1つの実施形態により、本方法は、1又は2以上のプロセッサを使用して、アニメキャラクタヘッド内部のディスプレイ上に1又は2以上の利用可能なアニメーション選択を提示するステップと、1又は2以上のプロセッサによって、アニメキャラクタヘッドを動作させる演者の目の動き、アニメキャラクタヘッドを動作させる演者の顔面のジェスチャ、アニメキャラクタヘッドを動作させる演者の音声コマンド、又はそれらの組み合わせに基づいて、1又は2以上の利用可能なアニメーション選択のうちの第1のアニメーションの選択を受け取るステップと、1又は2以上のプロセッサを使用して、アニメキャラクタヘッド上で第1のアニメーションを実行するための制御信号を供給するステップと、を含む。
本開示のこれら及び他の特徴、態様、及び利点は、図面全体を通して同様の符号が同様の要素を表す添付図面を参照しながら以下の詳細な説明を読むとより良く理解されるであろう。
一実施形態による、アニメキャラクタヘッド及び基地局制御システムのブロック図である。 一実施形態による、演者の視点から見た図1のアニメキャラクタヘッドの内部構成要素のブロック図である。 一実施形態による、図1のアニメキャラクタヘッド用のアニメーションを出力するための方法のフローチャートである。 一実施形態による、図1のアニメキャラクタヘッドを側方から見た断面図である。
本開示は、遊園地に関する。より具体的には、本開示は、以下において各々「アニメキャラクタヘッド」と呼ばれることがあるアニメキャラクタの頭部及び/又は顔面を制御することに関連したシステム及び方法に関する。
本明細書では、遊園地に参加しているゲストの体験を高めることができ、より現実的なジェスチャを提供するための1又は2以上の機能が組み込まれたアニメキャラクタヘッドシステムが提供される。目のまばたきからジェスチャ(例えば、微笑のジェスチャなどの顔面のジェスチャ)、並びに発話(例えば、事前に録音された発話)と同期した口元の動きまで、本明細書に開示するアニメキャラクタヘッドは、キャラクタが、ゲストと対話すること及び/又はゲストに反応することを可能にする。演者は、アニメキャラクタヘッドを着用でき、このアニメキャラクタヘッドは、例えば、まばたき、眉毛の位置調整、顎の動き、及び唇の形状などの、動作及び/又は特徴の様々な組み合わせから構成された様々な現実的表現を表示することができる。これらの動作及び/又は特徴は、組み合わされて、コントローラに格納されそれからアクセスできる大きなアニメーションライブラリ(例えば、データベース又は選択メニュー)を形成でき、演者は、このアニメーションを使用してゲストと対話することができ、独特の対話型体験が提供される。
特定の実施形態では、アニメーションライブラリから選択された複数の動作及び/又は特徴は、完全な運動プロファイル(例えば、アニメキャラクタヘッドが完全に作動し、あたかもアニメキャラクタヘッドが文章を話しているかのように見えるような、完全な運動及び/又は表示プロファイル)を生成することができる。更なる実施形態では、完全な運動プロファイルは、アニメーションライブラリに格納することができる。これらの動作、特徴、及び/又は運動プロファイルの選択(例えば、アニメーション選択)は、アイトラッキング、マシンビジョン、音声コマンド、基地局制御システム(例えば、遠隔制御システム)、演者による従来型入力デバイス(例えば、スイッチ、ボタン、モーションセンサ、フットコントロール、又は筋肉入力、指輪型入力、若しくはジェスチャグローブなどの装着型入力デバイス、又はそれらの任意の組み合わせ)、又はそれらの任意の組み合わせによって行うことができる。
いくつかの実施形態では、1つのタイプの入力(例えば、アイトラッキング)が、1つのタイプの選択(例えば、まばたき、又は挨拶などの1つのタイプの発話選択)を行うのに利用でき、別のタイプの入力(例えば、従来型入力デバイス)が、別のタイプの選択(例えば、唇の形状、又は他の語句などの別のタイプの発話選択)を行うのに利用することができる。アニメキャラクタヘッドは、動作、特徴、及び/又は運動プロファイルの選択に基づいて、機械的作動(例えば、まばたき、顎の動き、唇の形状、又は同様のもの)をアニメキャラクタヘッド内部の音響機器及び/又は照明と同期させることによって「アニメ化」することになる。
以下により詳細に説明するように、特定の実施形態では、アニメキャラクタヘッドは、基地局コントローラを使用せずに、このアニメキャラクタヘッドを着用する演者によって制御することができる。更に、特定の実施形態では、演者は、アニメキャラクタヘッド内部でのシステム状態の表示(例えば、拡張現実インタフェースなどの表示デバイス上)などによって、アニメキャラクタヘッドのシステム状態(例えば、現在のアニメーション選択、次回のアニメーション選択、構成要素の故障、及び/又は現在演じているアニメーション)を認識することができる。特定の実施形態は、アニメキャラクタヘッドをスタンドアロンユニットにする(例えば、プロセッサ及びメモリデバイスを備えた内蔵コントローラを有する)モジュール式設計を含むことができる。
特定の実施形態では、アニメキャラクタヘッドは、内蔵メモリデバイスに格納された動作、特徴、及び/又は運動プロファイルを含むアニメーションライブラリに、アニメーションに関連したデータを格納するように、及び/又はアニメキャラクタヘッドの物理的構造体(例えば、顔面)上でアニメーション(例えば、選択されたアニメーション)を再生する(例えば、様々なアクチュエータ、スピーカ、光源、又は同様のものに制御信号を供給するコントローラを介して)ように構成することができる。次に、演者は、アニメキャラクタヘッドの顔面上で実行される複数のアニメーションを選択することができる。アニメーションのリストは、アニメキャラクタヘッドに、アニメーションを順番に又は同時にまとめて実行させる(例えば、最初にまばたきさせ、次に光を点滅させ、次に「ハロー」と発言させ、最後に微笑させる)ように、コントローラ内のアニメーションライブラリに格納することができる。
更なる実施形態では、選択されたアニメーション(例えば、演者によって又は基地局コントローラで選択された)は、アニメキャラクタヘッド内部で表示して、演者が、フィードバック情報として表示された次回のアニメーション選択を閲覧及び/又は確認すること(例えば、アニメーション選択を実行するようコントローラに命令する確認入力を介して)を可能にすることができる。特定の実施形態では、外部カメラ(例えば、アニメキャラクタヘッドから物理的に離れた)を設けて、現在演じているアニメーション(例えば、アニメキャラクタヘッドの現在の動作又は特徴など)の画像(例えば、静止画、又はビデオなどの動画)を取得することができ、この画像は、アニメキャラクタヘッドに中継されて(例えば、送受信機などの無線通信デバイスを経由して)、表示デバイスによって表示されて、フィードバックを提供し、演者が現在演じているアニメーションを視覚化することを可能にする。いくつかの実施形態では、選択されたアニメーション(例えば、演者によって又は基地局コントローラで選択されたアニメーションを示すテキスト、画像、グラフィック情報)は、アニメキャラクタヘッド内部で表示されて、演者が、次回のアニメーション選択を閲覧及び/又は確認すること(例えば、アニメーション選択を実行するようコントローラに命令する確認入力を介して)を可能にする。特定の実施形態では、アニメキャラクタヘッドの1又は2以上の構成要素(例えば、入力デバイス、表示デバイス、アクチュエータ、センサ、コントローラ、及び/又は他の構成要素)及び/又はアニメーション選択を行うための演者の行動は、ゲストにとって視覚的に検出不可能とすることができる。
前述の内容を考慮すると、図1は、演者が着用できるアニメキャラクタヘッド10を有するシステムの実施形態のブロック図である。特定の実施形態では、本システムは、基地局制御システム30(例えば、遠隔制御システム)を含むことができる。図示のシステムは、単に例示的であることが意図されており、特定の特徴及び構成要素は省略でき、他の様々な特徴及び構成要素は、開示された実施形態による実施を容易にするように追加できることを理解されたい。
図示のように、アニメキャラクタヘッド10は、メモリ22及びプロセッサ24を有するコントローラ20(例えば、電子コントローラ)を含む。特定の実施形態では、メモリ22は、アニメーションライブラリ(例えば、利用可能なアニメーションのデータベース又は選択メニュー)などの、命令、データ、及び/又は情報を格納するように構成される。以下でより詳細に説明するように、特定の実施形態では、プロセッサ24は、入力(例えば、1又は2以上のセンサ50からの信号)を受け取り、受け取った入力に基づいてアニメーションライブラリからアニメーション(例えば、選択されるアニメーション)を選択するように、及び/又は、受け取った入力に基づいて及び/又は選択されたアニメーションに従って、ディスプレイ14、スピーカ16、アクチュエータ18、及び/又は光源26に制御信号を供給するように構成される。このようにして、アニメキャラクタヘッド10は、演者がアニメキャラクタヘッド10のジェスチャ及び動きを制御することを可能にすることができる。
アニメキャラクタヘッド10の制御を容易にするために、アニメキャラクタヘッド10は、演者を監視するように、及び/又は演者からの入力を受け取るように構成された1又は2以上のセンサ50を含むことができる。例えば、以下で詳細に説明するように、センサ50は、演者の目の動きを監視するように構成できるアイトラッキングセンサ、演者の顔面の動きを監視するように構成できるマシンビジョンセンサ、及び演者からの口頭入力又は他の可聴入力を受け取るように構成できる音声センサ、演者からの物理的又は手動入力を受け取るように構成できる物理的入力センサ、又は同様のもの、及び/又はそれらの任意の組み合わせ含むことができる。プロセッサ24は、これらの入力を処理して、メモリ22に格納されたアニメーションライブラリからアニメーションを選択することができる。
アクチュエータ18は、電気機械アクチュエータ(例えば、リニアアクチュエータ、ロータリーアクチュエータなど)などの任意の好適なアクチュエータとすることができる。アクチュエータ18は、アニメキャラクタヘッド10の内部に配置されて、アニメキャラクタヘッド10の特定の特徴部又は部分(例えば、目、眉毛、頬、口元、唇、耳、光の特徴、又は同様のもの)を調整するように構成することができる。例えば、ロータリーアクチュエータは、アニメキャラクタヘッド10の唇の外側の尖端部に沿ってアニメキャラクタヘッド10の内側に位置決めされて、アニメキャラクタヘッド10の顔面に、制御信号(例えば、プロセッサ24からの)に応答して微笑させることができる。更に別の実施例として、アニメキャラクタヘッド10は、制御信号(例えば、プロセッサ24からの)に応答してアニメキャラクタヘッド10の眉毛の位置を(例えば、渋面に)駆動する電気リニアアクチュエータを含むことができる。図示のように、アニメキャラクタヘッド10は、光源26を含むことができ、光源26から放射される光の継続時間、輝度、色、及び/又は極性は、制御信号(例えば、プロセッサからの)に基づいて制御することができる。いくつかの実施形態では、光源26は、例えば、静止画像、動画(例えば、ビデオ)、又はアニメキャラクタヘッド10上の顔面の特徴又はジェスチャの他の可視表現を表示するために、アニメキャラクタヘッド10のスクリーン又は他の表面に光を投影するように構成することができる。いくつかの実施形態では、アクチュエータ18及び/又は光源26は、アニメキャラクタヘッド10が、様々な投影された顔面の特徴又はジェスチャ、アニマトロニクスを利用した顔面の特徴又はジェスチャ、又はそれらの組み合わせのうちのいずれかを提供することを可能にすることができる。
いくつかの実施形態では、本システムは、アニメキャラクタヘッド10を装着した演者による視覚化のために、利用可能なアニメーションの表示(例えば、メモリ22内のライブラリに格納されたアニメーションのリスト)、並びに選択された動作、特徴、及び/又はアニメーションの表示をディスプレイ14上に表示する(例えば、テキスト、画像、グラフィック情報、又は同様のものの表示)ように構成することができる。アニメキャラクタヘッド10の内側にアニメーション選択を表示することによって、演者は、視覚的表示、フィードバック信号、及び/又は選択確認を受け取ることができ、結果的に、例えば演者はより十分な事前準備することができるので、ショーの質が高くなる。例えば、作動時、ディスプレイ14は、利用可能なアニメーションのリストを提供することができ、1又は2以上のセンサ50は、演者からの入力を取得して(例えば、アイトラッキングセンサによって、演者は、特定の目の動きで入力を提供することができる)、演者が、利用可能なアニメーションのリストをスクロールすること、及び/又は利用可能なアニメーションのリストからアニメーションを選択することを可能にすることができる。いくつかの実施形態では、経時的に実行される複数のアニメーションのプリセットリスト、又は経時的に実行される演者によって選択された一連の複数のアニメーションは、ディスプレイ14上に提示することができる。いくつかの実施形態では、演者は、1又は2以上のセンサ50への様々な入力を用いてディスプレイ14上に提示される複数のアニメーションを変更、修正、転換、遅延、又は削除することができ、それによって、ゲストとの対話中、演者による効率的な更新が可能となる。いくつかの実施形態では、プロセッサ24は、視覚化を容易にして演者による将来のアニメーションの選択を容易にするために、以前に実行されたアニメーションのリストを提示するようディスプレイ14に命令するように構成することができる。
ディスプレイ14は、様々な他の情報を提供するのに利用することができる。例えば、いくつかの実施形態では、外部カメラ(例えば、アニメキャラクタヘッド10から物理的に離れた)は、現在演じているアニメーション(例えば、アニメキャラクタヘッド10の現在の動作又は特徴)の画像(例えば、静止画、又はビデオなどの動画)を取得するために設けることができ、この画像は、アニメキャラクタヘッド10に中継されて(例えば、送受信機などの無線通信デバイスを経由して)、ディスプレイ14によって表示され、フィードバックを提供し、演者が現在演じているアニメーション及び/又は周囲の環境を視覚化することを可能にすることができる。
特定の実施形態では、アニメキャラクタヘッド10は、構成要素の状態及び/又はシステムの状態を監視する(例えば、実行されたアニメーションが、選択されたアニメーションに対応していないか否かを判定する)ように構成された1又は2以上の状態センサ74を含むことができ、この状態の表示は、ディスプレイ14を用いて提供できる。例えば、状態センサ74は、各アクチュエータ18と関連しており、アクチュエータ18の位置及び/又は動作を検出するように構成でき、これらの位置及び/又は動作は、アクチュエータ18が適切に機能している(例えば、選択されたアニメーションに基づいて予想されるように動いている)か否かを示すことができる。特定の実施形態では、本システムは、ディスプレイ14を用いて演者に対して構成要素の故障、現在のアニメーション選択、次回のアニメーション選択、現在演じているアニメーションなどの表示を提供するように構成することができる。
プロセッサ24は、メモリ22に格納された命令を実行して、アニメキャラクタヘッド10の顔面上で実行するための完全な運動プロファイル(例えば、アニメーション)を決定するなどの動作を行うことができる。従って、いくつかの実施形態では、コントローラ20は、1又は2以上の汎用マイクロプロセッサ、1又は2以上の特定用途向けプロセッサ(ASIC)、1又は2以上のフィールドプログラマブルロジックアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。更に、メモリ22は、プロセッサ24によって実行可能な命令及びこのプロセッサによって処理されるデータを格納する有形の非一時的コンピュータ可読媒体とすることができる。従って、いくつかの実施形態では、メモリ22は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、書き換え可能な不揮発性メモリ、フラッシュメモリ、ハードドライブ、光ディスク、及び同様のものを含むことができる。
特定の実施形態では、操縦者(handler)は、入力デバイス38(例えば、コンピューティングデバイス、コンピュータ、タブレット、スマートフォン、又は同様のものなどの有形の入力システム)を利用して入力を提供すること及び/又はアニメーションを選択することができる。操縦者は、アニメキャラクタヘッド10を装着している演者以外の人物であり、操縦者は、演者がアニメキャラクタヘッド10を装着しているときに、この演者と共に歩き回ること及び/又はそのすぐ近くにいることができる。このような場合に、操縦者の選択(selection)は、無線で又は有線接続を用いて通信デバイス32を経由してアニメキャラクタヘッド10に送信することができる。いくつかの実施形態では、操縦者の選択は、演者に通知することができる(例えば、表示デバイス14を用いて)。いくつかの実施形態では、アニメキャラクタヘッド10は、演者が選択内容を拒否、遅延、及び/又は変更することを可能にすることができる(例えば、1又は2以上のセンサ50への入力によって)。いくつかの実施形態では、演者は、操縦者のアニメーション選択を受け入れて又はそれを承認して(例えば、「実行」を押して、1又は2以上のセンサ50への入力によって承認を指示して)、アニメーションを演じることができる。いくつかの実施形態では、選択内容は、以下に詳細に説明するように、アイトラッキングセンサ、音声コマンドセンサ、マシンビジョンセンサ、及び/又は物理的入力センサ(例えば、従来型入力デバイスへの)、或いは様々な他のセンサ50又は入力のいずれかによって提供すること、受け入れること、拒否すること、遅延すること、及び/又は変更することができる。例えば、基地局30での操縦者の入力に基づいて行われたアニメーション選択は、演者による視覚化のためにディスプレイ14上に表示されて、演者は、次に、特定の目の動き又は特定の顔面の動きによってアニメーション選択を拒否する又は受け入れる(例えば、開始する)ことができる。いくつかの実施形態では、操縦者は、演者の行動(例えば、受け入れ、拒否、遅延、又は変更)について通知され(例えば、表示デバイス34によって)、及び/又は操縦者は、システム状態情報(例えば、構成要素の故障、現在のアニメーション選択、次回のアニメーション選択、又は同様のものを示すもの)を通信デバイス12(例えば、送受信機)経由でアニメキャラクタヘッド10から受け取る。
特定の実施形態では、基地局制御システム30は、アニメキャラクタヘッド10の様々な構成要素を制御するのに使用することができ、本明細書に開示する特徴、機能、及び/又は技法は、いずれも、アニメキャラクタヘッドと基地局制御システム30との間で何らかの好適な方法で分散できることを理解されたい。図示の実施形態では、基地局制御システム30のコントローラ40は、メモリ42に格納された命令を実行して、アニメキャラクタヘッド10の顔面上で実行されるアニメーション(例えば、まばたきする、微笑する、話すなど)を選択するなどの動作を実行することができるプロセッサ44を含む。従って、いくつかの実施形態では、コントローラ40は、1又は2以上の汎用マイクロプロセッサ、1又は2以上の特定用途向けプロセッサ(ASIC)、1又は2以上のフィールドプログラマブルロジックアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。更に、メモリ42は、プロセッサ44によって実行可能な命令及びこのプロセッサによって処理されるデータを格納する有形の非一時的コンピュータ可読媒体とすることができる。従って、いくつかの実施形態では、メモリ42は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、書き換え可能な不揮発性メモリ、フラッシュメモリ、ハードドライブ、光ディスク、及び同様のものを含むことができる。
更に、通信デバイス32は、コントローラ40が、アニメキャラクタヘッド10に例示された構成要素などの他の様々な電子デバイスと接続して機能することを可能にすることができる。例えば、通信デバイス32は、コントローラ40が、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、及び/又はワイドエリアネットワーク(WAN)などのネットワークに通信可能に結合することを可能にすることができる。従って、いくつかの実施形態では、コントローラ40は、入力デバイス38からのデータを処理して、このデータを通信デバイス32経由でアニメキャラクタヘッド10に伝達することができる。例えば、操縦者は、入力デバイス38上の一組のボタン(例えば、仮想ボタン)を押すことができ、それによって、データが、通信デバイス32経由でアニメキャラクタヘッド10に無線で送信されて、アニメキャラクタヘッド10の顔面が、一連のアニメーションを出力することが可能になる(例えば、アニメキャラクタヘッド10が、まばたきすること、微笑することなどができる)。更なる構成では、通信デバイス32は、無線で又は有線接続を用いてアニメキャラクタヘッド10に接続することができる。
更に、基地局制御システム30の入力デバイス38は、操縦者が、コントローラ40と対話すること、例えば、アニメキャラクタヘッド10の顔面上でアニメーションを実行するための命令(例えば、制御コマンド)を入力することを可能にすることができる。従って、いくつかの実施形態では、入力デバイス38は、ボタン、キーボード、マウス、トラックパッド、及び同様のものを含むことができる。追加的に又は代替的に、ディスプレイ34は、操縦者によるコントローラ40へのユーザ入力を可能にするタッチコンポーネントを含むことができ、それによって、アニメーションは、ディスプレイ34のスクリーン(例えば、ディスプレイ34の表面)に接触する物体の存在及び/又は位置を検出することによって選択することができる。ユーザ入力を可能にすることに加えて、ディスプレイ34は、アニメキャラクタヘッド10によって実行されるアニメーションの完全な順番、アニメーションライブラリ、アニメキャラクタヘッド10のシステム状態(例えば、アニメキャラクタヘッド10のいずれかの構成要素が故障しているか否か)、及び/又はアニメキャラクタヘッド10の外部ライブ映像などの情報の視覚的表現を提示することができる。
更に、通信デバイス12は、コントローラ20が、基地局制御システム30の構成要素などの他の様々な電子デバイスと接続して機能することを可能にすることができる。例えば、通信デバイス12は、コントローラ20が、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、及び/又はワイドエリアネットワーク(WAN)などのネットワークに通信可能に結合することを可能にすることができる。更なる実施形態では、コントローラ20は、有線(例えば、固定電話)接続によってアニメキャラクタヘッド10及び/又は基地局制御システム30の様々な構成要素に通信可能に結合することができる。従って、いくつかの実施形態では、コントローラ20は、基地局制御システム30の入力デバイス38から通信デバイス32を経由してアニメキャラクタヘッド10に送信されて通信デバイス12で受け取ったデータを処理することができる。例えば、基地局制御システム30の操縦者は、入力デバイス38上の一組のボタンを押すことができ、それによって、データが、通信デバイス32を経由して無線でアニメキャラクタヘッド10の通信デバイス12に送信されて、アニメキャラクタヘッド10の顔面が、完全な運動プロファイルを出力することが可能になり、アニメキャラクタヘッド10が、複数のアニメーション(例えば、まばたき、微笑など)を実行できるようになる。
特定の実施形態では、基地局制御システム30の上述の構成要素は、アニメキャラクタヘッド10上の構成要素を補うことができる。従って、基地局制御システム30の操縦者は、演者(例えば、アニメキャラクタヘッド10を装着している人物)と交信して、アニメキャラクタヘッド10の顔面上で実行するのに最適な完全運動プロファイルを決定することができる。更なる実施形態では、アニメキャラクタヘッド10内部の演者の入力は、基地局制御システム30の操縦者の入力に優先することができる。いくつかの実施形態では、基地局制御システム30の操縦者の入力は、アニメキャラクタヘッド10内の演者の入力に優先することができる。
図2は、演者がアニメキャラクタヘッド10を装着しているときの、演者の視点から見たアニメキャラクタヘッド10の一実施形態の内部構成要素のブロック図である。アニメキャラクタヘッド10の内部は、演者による視覚化のために情報を表示するように構成されたディスプレイ14(例えば、拡張現実眼鏡の一部分とすることができるスクリーン)を含むことができる。例えば、ディスプレイ14は、アニメーションライブラリ60の表示を提供することができ、アニメーションライブラリ60は、例えば、第1のアニメーション選択肢61(例えば、微笑)、第2のアニメーション選択肢62(例えば、挨拶)、第3のアニメーションオプション63(例えば、笑い)、第4のアニメーション選択肢64(例えば、別れの挨拶)などの利用可能なアニメーションのリストを含むことができる。特定の実施形態では、アニメーション選択肢は、メモリ22に格納することができる。また、アニメキャラクタヘッド10は、アイトラッキングセンサ52、マシンビジョンセンサ54、音声センサ56、物理的入力センサ58、又はそれらの任意の組み合わせなどの1又は2以上のセンサ50を含むこともできる。1又は2以上のセンサ50は、演者が、例えば利用可能なアニメーションのリスト60からアニメーションをスクロール及び/又は選択することを可能にすることによって、アニメーションの選択を容易にすることができる。
更に、フィードバック情報80の表示は、演者に、アニメーションライブラリからのどのアニメーションが、現在実行されているか(例えば、現在のアニメーション)、及び/又はアニメーションライブラリからのどのアニメーションが、将来実行されることになるか(例えば、次のアニメーション)を認識させる。いくつかの実施形態では、アニメキャラクタヘッド10の外部画像68(例えば、図1に示されている外部カメラ46によって取得された)は、どのアニメーションがアニメキャラクタヘッド10の顔面上で実行されているかについての視覚的表現、及び/又はアニメキャラクタヘッド10と対話する遊園地のゲストの行動(例えば、表情)の視覚的表現を演者に与えるように表示することができる。更に、システム状態の表示70は、アニメキャラクタヘッド10の構成要素の現在の状態(例えば、正常又は異常)を示すことができる(例えば、図1に示されている状態センサ74によって生成された信号に基づいて)。
特定の実施形態では、1又は2以上のセンサ50は、目の動きを監視するセンサを含むことができる。従って、1又は2以上のセンサ50は、演者の目の動きの入力を監視して及び/又はそれを受け取って利用可能なアニメーションのリスト60からアニメーション選択を行うために利用できる、アイトラッキングセンサ52を含むことができる。例えば、アニメキャラクタヘッド10は、演者の目の動きを視覚的に追跡するように、すなわち演者の瞳孔の動きを追跡するように構成された1又は2以上のアイトラッキングセンサ52を含むことができる。アイトラッキングセンサ52は、演者の目の動きを示す信号をコントローラ20に送って第1の信号を生成するようになっており、コントローラ20は、この信号を使用して、アニメーションライブラリ(例えば、メモリ22内)に格納されたアニメーションのいずれかを含むことができる利用可能なアニメーション60のリストからアニメーションをスクロール及び/又は選択することができる。例えば、演者が、第2のアニメーション選択肢62に自身の目の焦点を合わせると、アイトラッキングセンサ52は、この目の動き(例えば、第2のアニメーション選択肢62に焦点を合わせること)を識別し、この目の動きを示す信号(例えば、電気信号)をコントローラ20に送り、コントローラ20は、この信号を処理して、利用可能なアニメーションのリスト60からこのアニメーション選択肢を選択することができる。特定の実施形態では、コントローラ20は、アイトラッキングセンサ52からの入力信号を受け取って、アニメキャラクタヘッド10の目に演者の目の動きを模倣させるアニメーション選択を行うように構成することができる。例えば、演者が、まばたきすると、コントローラ20は、アイトラッキングセンサ52からの信号を識別し、アニメキャラクタヘッド10の目にまばたきさせる(例えば、適切なアクチュエータ18への制御信号によって)アニメーション選択肢を選択でき、演者が、或る方向(例えば、上向き、下向き、左方向、又は右方向)に目を向ける場合に、コントローラ20は、アニメキャラクタヘッド10の目が同じ方向を見るようにさせるアニメーション選択を行うことができる。
追加的に又は代替的に、特定の実施形態では、1又は2以上のセンサ50は、演者の顔面の動作又は動き(例えば、顔面のジェスチャ)を視覚的に追跡するように構成されたイメージングセンサ及び/又はカメラなどのマシンビジョンセンサ54を含むことができる。このような顔面のジェスチャは、符号化してコントローラのメモリに格納することができる。マシンビジョンセンサ54は、演者の顔面を示す信号をコントローラ20に送って第1の信号を生成するようになっており、コントローラ20はこの信号を使用して、メモリ22に格納できるアニメーションライブラリからアニメーション選択を選ぶことができる。例えば、演者が、自身の口元で「O形」を作った場合、マシンビジョンセンサ54は、この顔面のジェスチャを識別して、この顔面のジェスチャを示す信号(例えば、電気信号)をコントローラ20に送り、コントローラ20は、この信号を処理して、アニメーションライブラリからアニメーション選択を選ぶことができる。例えば、演者は、自身の口元で「O形」を作ることによって、この演者の「O形」の口元を示す信号をコントローラ20に送ることができ、この信号は、アニメキャラクタヘッド10に、第1のアニメーション選択肢61及び第2のアニメーション選択肢62の両方を実行させる(例えば、それによって、アニメキャラクタヘッド10に微笑させて「ハロー」と発言させる)。
追加的に又は代替的に、特定の実施形態では、コントローラ20は、アニメキャラクタヘッド10の特定の顔面の特徴部に演者の顔面の特徴部を模倣させる入力信号をマシンビジョンセンサ54から受け取るように構成することができる。例えば、演者が、微笑した場合に、1又は2以上のマシンビジョンセンサ54は、この演者の微笑を示す信号を生成し、コントローラ20は、この信号を処理して適切なアニメーション選択を行うことができ、それによって、アニメキャラクタヘッド10が微笑する(例えば、適切なアクチュエータへの制御信号18によって)。いくつかの実施形態では、1又は2以上のマシンビジョンセンサ54は、演者の顔面の画像(例えば、静止画、又はビデオなどの動画)を取得するように構成でき、これはフィードバック情報80として表示でき、これは、演者が、所望のアニメーション選択をどのように行うかを効率的に学習することを可能にするための、演者の訓練を助長することができる。いくつかの実施形態では、アニメキャラクタヘッド10内部での演者の顔面の画像の表示は、現在アニメーションが実行されている画像の表示と同時にフィードバック情報80として提示することができ、演者の訓練を助長するようになっている。
追加的に又は代替的に、特定の実施形態では、音声コマンドは、アニメーション選択を行うのに使用でき、1又は2以上のセンサ50は、音声センサ56、又は音を識別する何らかのセンサ(例えば、音識別センサ又は音声認識センサ)を含むことができる。音声センサ56は、演者の声又は発話を検出するように構成することができる。演者の声又は発話(例えば、特定の口調)は、音声センサ56を用いてコントローラ20に信号を送ることができ、コントローラ20は、この信号を処理及び利用して、この信号に少なくとも部分的に基づいてアニメーションライブラリからのアニメーション選択(例えば、実行されると現在のアニメーションとして表示される)を行うことができる。特定の実施形態では、音声センサ56及び/又はコントローラ20は、演者の発話における様々な特定の音素を識別するように構成することができる。特定の実施形態では、コントローラ20は、アニメーション選択を行うことができ、これによりアニメキャラクタヘッド10の口元は、演者の発話を模倣すること又はそれに合致する(例えば、適切なアクチュエータ18への制御信号によって)ことができる。アニメキャラクタヘッド10から出力される音は、アニメキャラクタヘッド10内のスピーカ16(図1に示す)によって生成することができる。特定の実施形態では、コントローラ20は、アニメーション選択を行うように構成することができ、これによりアニメキャラクタヘッド10の口元は、演者の発話の抑揚及び/又は音素に対応する、及び/又はアニメキャラクタヘッド10の口元は、口合わせする(例えば、演者の発話と同期して口元を動かす)。このような口合わせは、音声センサ56、モーショントラッキングセンサ54、又はそれらの任意の組み合わせを用いて達成することができる。
追加的に又は代替的に、特定の実施形態では、1又は2以上のセンサ50は、演者の身体によって操作される物理的入力センサ58を含むことができる。物理的入力センサ58は、スイッチ、ボタン、モーションセンサ、フットコントロール、もしくは筋肉入力、リング型入力(ring input)、又はジェスチャグローブなどの何らかの好適な装着型入力デバイスとすることができる。コントローラ20は、物理的入力を利用してアニメーションライブラリからアニメーション選択を行うことができる。より具体的には、演者から物理的入力センサ58への物理的入力は、コントローラ20に信号を送ることができ、コントローラ20は、この信号を処理及び利用して、アニメーションライブラリからのアニメーション選択(例えば、実行されると現在のアニメーションとして表示される)を実行することができる。
アニメキャラクタヘッド10の演者は、上記のセンサ50(例えば、アイトラッキングセンサ52、モーショントラッキングセンサ54、音声センサ56、及び物理的入力センサ58)を任意に組み合わせて使用することができる。例えば、アニメキャラクタヘッド10は、アイトラッキングセンサ52及び物理的入力センサ58のみを有することができる。このような場合に、アニメーションライブラリからのアニメーション選択は、これらのセンサ50への入力に基づく(例えば、瞳孔の動き及び演者の手のひら上のボタンに基づく)ことになる。この実施例を更に詳細に説明すると、演者は、第3のアニメーション選択肢63に自身の視界の焦点を合わせることができる。第3のアニメーション選択肢63が強調されると(アイトラッキングセンサ52が第3のアニメーション選択肢63に演者の焦点が合っていることを検出することに応答して)、演者は、ボタンを押して(例えば、指で)、信号をコントローラ20に送ることができ、これにより、アニメキャラクタヘッド10は、第3のアニメーション選択肢63を実行することができる。
いくつかの既存のシステムは、演者の手及び指を使用して作動するスイッチを利用して、アニメキャラクタの演技を容易にすることができるが、このようなジェスチャは、観客にとって非常に目立つ場合がある。開示された実施形態は、演者の顔面及び/又は目の動きなど、露骨でなく人目につかない、及び/又は目に見えない演者の動きを利用して、ライブラリ(例えば、データベース又は選択メニュー)を指示すること、及び/又はそこから選択することができ、それによって、例えば演技の質を落とす可能性がある他のジェスチャ又は無関係のジェスチャの使用が排除及び/又は制限される。
特定の実施形態では、アニメキャラクタヘッドは、3部構成デザインを含むことができる。例えば、アニメキャラクタヘッドは、前面部、後頭部、及び眼鏡装置82(例えば、拡張現実型眼鏡)を含むことができ、これら3つの要素の各々は、相互に結合する。眼鏡装置は、アニメーションライブラリ60、外部画像68、システムス状態70、及び/又は現在のアニメーションなどのフィードバック情報80を示すように構成されたディスプレイ14を含むことができる。更に、アイトラッキングセンサ52、モーショントラッキングセンサ54、及び/又は音声センサ56などのセンサ50は、眼鏡装置82上又はその周りに配置することができる。別の実施例として、アニメキャラクタヘッドは、3層構成を含むことができ、内層は、目のための穴を備え、演者の顔面に適合する顔型とすることができ、中間層は、図2に示されている様々な構成要素からなるディスプレイ14を含むことができ、最外層は、上記で詳細に説明したように、センサ50から入力を受け取って、アクチュエータ18を用いて運動プロファイルを生成するように構成されたアニメキャラクタの顔面を含むことができる。
開示された実施形態及び上記のセンサ50は、統合拡張現実及び/又はマシンビジョン技術(例えば、アニメキャラクタヘッド10に不可欠)を含むように追加することができる。アニメキャラクタヘッド10の様々な構成要素(例えば、アクチュエータ18及び/又は光源26などの機械的構成要素)を監視するように構成された一連のセンサ50、状態センサ74、カメラ68、及び処理構成要素(例えば、プロセッサ24、44)は、内蔵コントローラ20に接続されており、構成要素の故障を検出してシステム状態70として表示すること、並びに演者及び/又は基地局制御システム30の操縦者に対して可聴的に及び/又は視覚的に通報することができる。従って、本システムは、構成要素の故障を検出すること、及び/又は演者に悪影響を及ぼさない又は演技に悪影響を与えない方法で応答することができる。例えば、特定のアクチュエータ18が適切に機能していない場合には、この特定のアクチュエータ18に依存するアニメーション選択は、例えば、利用可能なアニメーション60のリストから削除すること、及び/又はさもなければアクセス不可にすることができる。いくつかの実施形態では、このフィードバック情報(例えば、構成要素の故障などの構成要素の状態)は、ディスプレイ14によって演者に伝達すること、並びに保守技術者に無線で伝達することができる。
上述のように、アニメキャラクタヘッド10は、拡張現実インタフェース(例えば、眼鏡)、ヘッドマウントディスプレイ、光学投影システム、又は同様のものなどのディスプレイ14を含み、演者による様々な情報の視覚化を可能にする。更なる実施形態では、アニメキャラクタヘッド10は、システム状態70を監視する(例えば、実行されたアニメーションが選択されたアニメーションに対応しない場合など、1又は2以上の状態センサ74を使用して構成要素の故障を検出する)ように、及び/又はシステム状態(例えば、構成要素の故障、現在のアニメーション選択、次回のアニメーション選択、現在演じているアニメーションなどの表示)を演者に対して表示する(例えばディスプレイ14又は拡張現実インタフェース上に)ように構成することができる。更に、システム状態70は、アニメキャラクタヘッド10の全体的な機能性が正常であるか否かの表示を含むことができる。例えば、アニメキャラクタヘッド10内の構成要素(例えば、アクチュエータ18)が故障している場合には、システム状態70は、表示「異常」を表示することができる。操縦者は、図1に関して上述したように、基地局30を利用して入力を提供すること及び/又はアニメキャラクタヘッド10と対話することができることを理解されたい。
図3は、アニメキャラクタヘッド10によってアニメーションを出力するための方法90のフローチャートである。方法90は、ブロックで表される様々なステップを含む。方法90は、アニメキャラクタヘッド10及び/又は基地局制御システム30を有するシステムなどのシステムによって自動手順として実行できることに留意されたい。このフローチャートは、ステップを特定の順序で示しているが、必要に応じて、これらのステップは、任意の適切な順序で実行でき、特定のステップは、同時に実行できることを理解されたい。更に、方法90の特定のステップ又は一部分は省略でき、他のステップを追加できる。方法90は、演者の入力(例えば、1又は2以上のセンサ50による)、操縦者の入力(例えば、入力デバイス38による)、又は同様のものに応答して実行することができる。
図示のように、方法90は、1又は2以上の利用可能なアニメーション選択肢をアニメキャラクタヘッド10内部のディスプレイ14上に提示するステップ(ブロック92)と、入力を受け取るステップ(ブロック94)と、アニメーションライブラリからアニメーションを選択するステップ(ブロック96)と、出力を提供するステップ(ブロック98)とを含む。
より詳細には、方法90は、1又は2以上の利用可能なアニメーション選択肢をアニメキャラクタヘッド10内部のディスプレイ14上に提示する(ブロック92)。上記で詳細に説明したように、アニメキャラクタヘッド10が実行できるアニメーションライブラリ(例えば、メモリ22に格納された)からの利用可能なアニメーション選択肢60(例えば、微笑、渋面、笑い、話すなど)のリストが、アニメキャラクタヘッド10の内側のディスプレイ上に存在する。利用可能なアニメーション選択肢の表示は、全ての利用可能なアニメーション選択肢(例えば、微笑などの第1のアニメーション、挨拶などの第2のアニメーション、笑いなどの第3のアニメーションなど)を表示するリスト、カテゴリ(例えば、口元の動きなどの第1のカテゴリ、目の動きなどの第2のカテゴリ、音などの第3のカテゴリなど)を有するメニュー、アニメーション選択肢を表示するウェブネットワーク、又はアニメーション選択肢を表示する及び/又はアニメーション選択肢の再検討及び/又は選択を容易にする任意の他の好適な方法として構成することができる。演者が、アニメキャラクタヘッド10の顔面上で実行するアニメーションを選択するときの効率及び速度は、アニメキャラクタヘッド10の全体的な有効性を高めることができる。
方法90は、アニメーションライブラリからアニメーションを選択するための入力を受け取る(ブロック94)。この入力は、アニメキャラクタヘッド内部の演者からの目の動き(例えば、瞳孔の動き)、演者の顔面のジェスチャ(例えば、「O形」に口を動かす)、演者からの音(例えば、言葉による指示など)、物理的入力(例えば、演者の手に隠されたボタンを押すこと)、基地局制御システム30の操縦者からの入力、及び/又は何らかの好適な入力とすることができる。上記で詳細に説明したように、アニメキャラクタヘッド10内の任意の好適なセンサ50又は基地局制御システム30の何らかの好適な入力デバイス38は、入力を提供するために使用することができる。例えば、アイトラッキングセンサは、目の動きを検出及び/又は監視するのに使用でき、モーショントラッキングセンサは、顔面のジェスチャを検出及び/又は監視するのに使用でき、音声センサは、音を検出及び/又は監視するのに使用でき、ハンドヘルドセンサは、物理的入力を検出及び/又は監視するのに使用でき、及び/又は無線タッチスクリーンデバイスは、操縦者から入力を受け取るのに使用できる。センサ50及び/又は入力デバイス38は、プロセッサ(例えば、プロセッサ24、44)に提供されてアニメーションライブラリ(例えば、メモリ22、42などのメモリに格納された)からのアニメーションの選択を容易にする信号を生成することができる。
特定の実施形態では、上述のセンサは、いずれも、互いに協働して使用されて互いに補うことができる。例えば、アイトラッキングセンサ52は、瞳孔の動きを識別して、アニメーションライブラリからの利用可能なアニメーション60のリストをスクロールするのに使用でき、音声センサ56は、演者が「選択」という単語を発した場合に、どのアニメーションを実行するかについての選択を行うことができる。別の実施形態では、センサ優先度スキームを実装することができ、1つのセンサ50への入力が、別のセンサ50への入力を無効にすることができるようになる。例えば、演者によるアイトラッキングセンサ52への入力は、基地局制御システム30を制御する操縦者からの入力に優先することができる。
入力(例えば、センサ50及び/又は入力デバイス38からの信号)は、コントローラ(例えば、コントローラ20、40)で処理され、アニメーションが、アニメーションライブラリから選択される(ブロック96)。
アニメーションは、選択されると、アニメキャラクタヘッド10による出力として実行される(ブロック98)。提供される出力(ブロック98)は、アニメキャラクタヘッド10の物理的構造体(例えば、顔面)上で実行されるアニメーションの形態とすることができる。例えば、アニメキャラクタヘッド10によって提供される出力は、渋面、微笑、うなずき、まばたき、音、発光、及び同様のものとすることができ、これらの出力は、例えば、選択されたアニメーションに従ってアクチュエータ18及び/又は光源26に制御信号を供給すること(例えば、光投影又はグラフィックベースのアニメーションをもたらすため)によって生じさせることができる。いくつかの実施形態では、光源26は、例えば、静止画像、動画(例えば、ビデオ)、又はアニメキャラクタヘッド10の顔面の特徴又はジェスチャの他の可視表現を表示するために、アニメキャラクタヘッド10のスクリーン又は他の表面に光を投影するように構成することができる。いくつかの実施形態では、アクチュエータ18及び/又は光源26は、アニメキャラクタヘッド10が、様々な投影された顔面の特徴又はジェスチャ、アニマトロニクスを利用した顔面の特徴又はジェスチャ、或いはそれらの組み合わせのうちのいずれかを提供することを可能にすることができる。操縦者は、図1に関して上述したように、基地局30を利用して入力を提供すること及び/又はアニメキャラクタヘッド10と対話することができることを理解されたい。
図4は、アニメキャラクタヘッド10の一実施形態を側方から見た断面図である。図示のように、アニメキャラクタヘッド10は、演者の頭部を収容する及び/又はそれを取り囲むように構成された開口部100と、ゲストに見える外面102(例えば、顔面)とを含む。外面102は、制御信号(例えば、プロセッサ24から受け取った)に基づいてそれぞれのアクチュエータ18を用いて作動させることができる眉毛104及び口髭108などの様々な特徴部を支持することができる。特定の実施形態では、スクリーン112は、アニメキャラクタヘッド10の周りに配置され、スクリーン112への光の投影によって目106及び口元110などの特定のジェスチャ及び/又は特徴部の表示を可能にすることができる。上述のように、光源26は、制御信号(例えば、プロセッサ24から受け取った)の受信に応答して、スクリーン112上に光を投影してこのようなジェスチャ及び/又は特徴部を表示するために設けることができる。図示のように、アニメキャラクタヘッド10は、ディスプレイ14及び1又は2以上のセンサを含むことができる。例えば、ディスプレイ14は、演者に情報を提供することができ、アイトラッキングセンサ52は、ディスプレイ14に隣接して演者の目の動きを追跡することができる。
本開示の特定の特徴のみを本明細書に図示し説明したが、当業者であれば、多くの修正例及び変更例が想起されるであろう。更に、本明細書に開示する様々な実施形態の構成要素は、互いに組み合わせること又は交換することができることを理解されたい。従って、添付の特許請求の範囲は、全てのこのような修正例及び変更例を、本開示の真の精神の範囲に含まれるものとして網羅することを意図していることを理解されたい。
10 アニメキャラクタヘッド
14 ディスプレイ
16 スピーカ
18 アクチュエータ
22 メモリ
24 プロセッサ
30 基地局制御システム
34 ディスプレイ
36 スピーカ
38 入力デバイス
42 メモリ
44 プロセッサ
50 センサ
74 状態センサ

Claims (19)

  1. システムであって、アニメキャラクタヘッドを備え、
    前記アニメキャラクタヘッドは、
    前記アニメキャラクタヘッドを着用する演者の顔面のジェスチャを監視し、前記顔面のジェスチャに基づいて入力を生成するように構成されたモーショントラッキングセンサを含むセンサと、
    前記センサからの前記入力を受け取り、前記入力に基づいてディスプレイ上に表示される複数の選択肢からアニメーション選択を行い、前記アニメーション選択に基づいて制御信号を供給するように構成された1又は2以上のプロセッサと、
    を含み、
    前記ディスプレイは前記アニメキャラクタヘッド内に配置され、
    前記ディスプレイは前記アニメキャラクタヘッドを着用する演者による視覚化のためにアニメーション選択の表示を表示するように構成された、
    システム。
  2. 前記センサは、前記演者の目の動きを監視して、前記演者の目の動きに基づいて前記入力を生成するように構成されたアイトラッキングセンサを備える、請求項1に記載のシステム。
  3. 前記アニメキャラクタヘッドは、前記複数の選択肢を含むアニメーションライブラリを格納するメモリを備え、前記1又は2以上のプロセッサは、前記入力に基づいて前記アニメーションライブラリからアニメーションを選択することによって前記アニメーション選択を行うように構成される、請求項1に記載のシステム。
  4. 前記制御信号は、スピーカに、前記アニメーション選択に対応する事前にプログラムされた音声を出力させるように構成される、請求項1に記載のシステム。
  5. 前記制御信号を受信し、前記制御信号に基づいて前記アニメキャラクタヘッドの構成要素の動きを引き起こすように構成されたアクチュエータを備え、前記1又は2以上のプロセッサは、前記アクチュエータに関連する状態センサから前記アクチュエータの状態を示す状態信号を受け取り、前記状態の表示を前記ディスプレイ上に提示するように構成される、請求項1に記載のシステム。
  6. 前記システムは、前記アニメキャラクタヘッドから物理的に離れた基地局制御システムを備え、前記基地局制御システムは、追加の入力を生成して、前記追加の入力を前記1又は2以上のプロセッサに提供するように構成された入力デバイスを備える、請求項1に記載のシステム。
  7. 前記1又は2以上のプロセッサは、前記演者から確認入力を受け取って前記アニメーション選択を確認し、前記確認入力を受け取った後、前記制御信号を供給するように構成される、請求項6に記載のシステム。
  8. 前記アニメキャラクタヘッドは前記ディスプレイを含む眼鏡装置を含む、請求項1に記載のシステム。
  9. 入力を受け取り、前記入力に基づいてディスプレイに表示される複数の選択肢からアニメーション選択を行い、前記アニメーション選択に基づいて制御信号を供給するように構成された1又は2以上のプロセッサを含むアニメキャラクタヘッドを備えるシステムであって、前記入力は、前記アニメキャラクタヘッドを着用し、動作させる演者の目の動きを示す第1の信号、前記アニメキャラクタヘッドを着用し、動作させる前記演者の顔面のジェスチャを示す第2の信号、又はそれらの組み合わせを含み、前記1又は2以上のプロセッサは更に、前記アニメキャラクタヘッド内に配置されたディスプレイ前記演者による視覚化のために前記アニメーション選択の表示を表示し、さらに前記制御信号に基づいてアニメキャラクタヘッドによって実行されるアニメーションの視覚フィードバック表示を表示するように構成される、ことを特徴とするシステム。
  10. 前記アニメキャラクタヘッドは、前記複数の選択肢を含むアニメーションライブラリを格納するメモリを備え、前記1又は2以上のプロセッサは、前記入力に基づいて前記アニメーションライブラリから前記アニメーションを選択することによって前記アニメーション選択を行うように構成される、請求項9に記載のシステム。
  11. 前記アニメキャラクタヘッドは、前記演者の目の動きを示す前記第1の信号を生成するように構成されたアイトラッキングセンサを備える、請求項9に記載のシステム。
  12. 前記アニメキャラクタヘッドは、前記演者の顔面のジェスチャを示す前記第2の信号を生成するように構成されたモーショントラッキングセンサを備える、請求項9に記載のシステム。
  13. 前記1又は2以上のプロセッサは、前記演者による視覚化のために、利用可能なアニメーションのリストを表示するよう前記ディスプレイに指示する、請求項9に記載のシステム。
  14. 1又は2以上のプロセッサを使用して、アニメキャラクタヘッド内部のディスプレイ上に1又は2以上の利用可能なアニメーション選択を表示するステップと、
    前記1又は2以上のプロセッサを使用して、前記アニメキャラクタヘッドを動作させる演者の目の動き、前記アニメキャラクタヘッドを動作させる前記演者の顔面のジェスチャ、前記アニメキャラクタヘッドを動作させる前記演者の音声コマンド、又はそれらの組み合わせに基づいて、前記1又は2以上の利用可能なアニメーション選択のうちの選択されたアニメーションの選択を受け取るステップと、
    前記1又は2以上のプロセッサを使用して、前記アニメキャラクタヘッドを用いて前記選択されたアニメーションを実行するための制御信号を供給するステップと、
    前記1又は2以上のプロセッサを使用して、前記アニメキャラクタヘッド内の前記ディスプレイ前記演者による視覚化のために前記選択されたアニメーションの選択の表示を表示し、さらに前記制御信号に基づいて前記アニメキャラクタヘッドによって選択されたアニメーションの実行の視覚的フィードバック表示を表示するステップと、
    を含む方法。
  15. 前記選択されたアニメーションを実行するための制御信号を供給するステップは、前記アニメキャラクタヘッドの特徴部を物理的に調節するように構成された1又は2以上のアクチュエータに前記制御信号を供給するステップを含む、請求項14に記載の方法。
  16. 前記1又は2以上のアクチュエータのうちの一つのアクチュエータの状態を示す状態信号を、前記アクチュエータに関連する状態センサから受け取るステップと、前記1又は2以上のプロセッサを使用して、前記アクチュエータの状態の表示を表示するよう前記ディスプレイに指示するステップとを含む、請求項15に記載の方法。
  17. 前記選択されたアニメーションを実行するための制御信号を供給するステップは、前記アニメキャラクタヘッドの1又は2以上のスピーカに前記制御信号を供給して可聴出力を提供するステップを含む、請求項14に記載の方法。
  18. 前記1又は2以上のプロセッサを使用して、前記1又は2以上の利用可能なアニメーション選択のうちの追加的な選択されたアニメーションを選択するステップを含み、前記選択されたアニメーションは、前記演者の目の動きに基づいて選択され、前記追加的な選択されたアニメーションは、前記演者の音声コマンドに基づいて選択される、請求項14に記載の方法。
  19. 前記1又は2以上の利用可能なアニメーション選択は、前記アニメキャラクタヘッドから物理的に離れた基地局制御システムにおける操縦者によって設定される、請求項14に記載の方法。
JP2019529217A 2016-11-30 2017-11-28 アニメキャラクタヘッドシステム及び方法 Active JP7071360B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662428200P 2016-11-30 2016-11-30
US62/428,200 2016-11-30
US15/486,814 US10775880B2 (en) 2016-11-30 2017-04-13 Animated character head systems and methods
US15/486,814 2017-04-13
PCT/US2017/063513 WO2018102313A2 (en) 2016-11-30 2017-11-28 Animated character head systems and methods

Publications (3)

Publication Number Publication Date
JP2020500599A JP2020500599A (ja) 2020-01-16
JP2020500599A5 JP2020500599A5 (ja) 2020-11-26
JP7071360B2 true JP7071360B2 (ja) 2022-05-18

Family

ID=62192734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529217A Active JP7071360B2 (ja) 2016-11-30 2017-11-28 アニメキャラクタヘッドシステム及び方法

Country Status (10)

Country Link
US (1) US10775880B2 (ja)
EP (1) EP3548156B1 (ja)
JP (1) JP7071360B2 (ja)
KR (1) KR102400398B1 (ja)
CN (1) CN110022954B (ja)
CA (1) CA3044108C (ja)
ES (1) ES2920148T3 (ja)
MY (1) MY195593A (ja)
RU (1) RU2749000C2 (ja)
WO (1) WO2018102313A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10845975B2 (en) 2018-03-29 2020-11-24 Universal City Studios Llc Interactive animated character head systems and methods
US10679397B1 (en) 2018-12-13 2020-06-09 Universal City Studios Llc Object tracking animated figure systems and methods
JP6667878B1 (ja) 2018-12-14 2020-03-18 株式会社ポケモン 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP7329457B2 (ja) * 2018-12-14 2023-08-18 株式会社ポケモン 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
US11007451B2 (en) * 2019-01-10 2021-05-18 Universal City Studios Llc Interactive character control system
WO2021067881A1 (en) * 2019-10-04 2021-04-08 Warner Bros. Entertainment Inc. Hardware for entertainment content in vehicles
WO2022056151A1 (en) * 2020-09-09 2022-03-17 Colin Brady A system to convert expression input into a complex full body animation, in real time or from recordings, analyzed over time
JP7083380B2 (ja) * 2020-09-28 2022-06-10 グリー株式会社 コンピュータプログラム、方法及びサーバ装置
JP7203161B1 (ja) * 2021-07-26 2023-01-12 株式会社ポケモン プログラム、情報処理装置及び情報処理方法
US20230030442A1 (en) * 2021-07-31 2023-02-02 Sony Interactive Entertainment Inc. Telepresence robot

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006149805A (ja) 2004-11-30 2006-06-15 Asahi Kasei Corp Nam音対応玩具装置、nam音対応玩具システム
JP2006255147A (ja) 2005-03-17 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> キャラクター操作システム及びプログラム並びに方法
JP2010134057A (ja) 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2014191386A (ja) 2013-03-26 2014-10-06 Seiko Epson Corp 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US20160001193A1 (en) 2014-07-01 2016-01-07 Disney Enterprises, Inc. Full-duplex, wireless control system for interactive costumed characters

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4660033A (en) 1985-07-29 1987-04-21 Brandt Gordon C Animation system for walk-around costumes
US6016385A (en) * 1997-08-11 2000-01-18 Fanu America Corp Real time remotely controlled robot
US6500041B1 (en) * 1999-10-25 2002-12-31 Walter L. Crome, Jr. Animated headsets
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具
CN2598084Y (zh) 2003-01-28 2004-01-07 金耀 背包式充气气模
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
GB0702150D0 (en) * 2007-02-05 2007-03-14 Amegoworld Ltd A Communication Network and Devices
EP2070571B1 (en) * 2007-09-19 2011-12-21 On-Art Corp. Costume of large animal
US8371893B2 (en) 2008-12-04 2013-02-12 Disney Enterprises, Inc. Method and system for articulated character head actuation and control
US8647167B2 (en) * 2009-08-20 2014-02-11 Valerie J. Heilbron Lighted display devices for producing static or animated visual displays, including animated facial features
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US8874444B2 (en) 2012-02-28 2014-10-28 Disney Enterprises, Inc. Simulated conversation by pre-recorded audio navigator
US8801488B2 (en) 2012-10-15 2014-08-12 Disney Enterprises, Inc. Chin strap sensor for triggering control of walk-around characters
CN202929567U (zh) 2012-11-19 2013-05-08 深圳市数虎图像科技有限公司 虚拟角色动画表演系统
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9483115B2 (en) * 2013-05-31 2016-11-01 Disney Enterprises, Inc. Triggering control of audio for walk-around characters
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US10739817B2 (en) * 2014-08-06 2020-08-11 Gregory A. Piccionelli Flexible display screen systems and methods
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
US10810797B2 (en) * 2015-05-22 2020-10-20 Otoy, Inc Augmenting AR/VR displays with image projections
CN105022479A (zh) 2015-06-30 2015-11-04 广东欧珀移动通信有限公司 交互场景的角色控制方法、系统及设备
CN104941220B (zh) 2015-07-01 2016-08-31 朱增伟 可变化表情的大头舞面具
US20170018289A1 (en) * 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
SE1650402A1 (en) * 2016-03-29 2017-09-30 Furhat Robotics Ab Customization of robot
US10338686B2 (en) * 2016-03-31 2019-07-02 Disney Enterprises, Inc. Control system using aesthetically guided gesture recognition
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
KR102577571B1 (ko) * 2016-08-03 2023-09-14 삼성전자주식회사 로봇 장치 및 로봇 장치의 감정 표현 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006149805A (ja) 2004-11-30 2006-06-15 Asahi Kasei Corp Nam音対応玩具装置、nam音対応玩具システム
JP2006255147A (ja) 2005-03-17 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> キャラクター操作システム及びプログラム並びに方法
JP2010134057A (ja) 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2014191386A (ja) 2013-03-26 2014-10-06 Seiko Epson Corp 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US20160001193A1 (en) 2014-07-01 2016-01-07 Disney Enterprises, Inc. Full-duplex, wireless control system for interactive costumed characters

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡崎辰彦,身体性を考慮した着ぐるみ装着者支援システム,「世界のウェブアーカイブ|国立国会図書館インターネット資料収集保存事業」、WISS2011[online],2016年10月14日,https://web.archive.org/web/20161014115014/https://www.wiss.org/WISS2011Proceedings/,[2021年8月26日検索]

Also Published As

Publication number Publication date
CA3044108C (en) 2024-06-04
CN110022954A (zh) 2019-07-16
CN110022954B (zh) 2021-05-25
RU2019120179A (ru) 2021-01-11
KR20190091300A (ko) 2019-08-05
ES2920148T3 (es) 2022-08-01
JP2020500599A (ja) 2020-01-16
WO2018102313A3 (en) 2018-09-27
RU2749000C2 (ru) 2021-06-02
WO2018102313A2 (en) 2018-06-07
MY195593A (en) 2023-02-02
US10775880B2 (en) 2020-09-15
KR102400398B1 (ko) 2022-05-19
RU2019120179A3 (ja) 2021-04-22
CA3044108A1 (en) 2018-06-07
EP3548156A2 (en) 2019-10-09
US20180147728A1 (en) 2018-05-31
EP3548156B1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
JP7071360B2 (ja) アニメキャラクタヘッドシステム及び方法
US20210072888A1 (en) Interactive animated character head systems and methods
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
CN108886532B (zh) 用于操作个人代理的装置和方法
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018089227A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7416903B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
JP2019136797A (ja) コミュニケーション装置およびその制御プログラム
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6225242B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018109937A (ja) 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP2018109944A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R150 Certificate of patent or registration of utility model

Ref document number: 7071360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150