JP5495222B2 - 操作対象物制御装置、システム、方法およびプログラム - Google Patents
操作対象物制御装置、システム、方法およびプログラム Download PDFInfo
- Publication number
- JP5495222B2 JP5495222B2 JP2008113241A JP2008113241A JP5495222B2 JP 5495222 B2 JP5495222 B2 JP 5495222B2 JP 2008113241 A JP2008113241 A JP 2008113241A JP 2008113241 A JP2008113241 A JP 2008113241A JP 5495222 B2 JP5495222 B2 JP 5495222B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- user
- feature amount
- time series
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Description
図1は、本実施形態に係る操作対象物制御装置1の機能構成を示す図である。操作対象物制御装置1は、ユーザ動作取得部10、動作特徴量抽出部11、曲情報取得部12、フィルタ検索部13、動作特徴量変換部14、およびアバター動作取得部15、アバター動作データベース(以下、簡略化のためデータベースをDBとする)20、曲DB21、およびフィルタDB22を有する。本実施形態において、操作対象物制御装置1としているが、各機能部を分散させて、ネットワークにて接続し、システム構成をとってもよい。
[アバター動作DB]
[絶対座標計算]
(1)(tx,ty,tz)にRootのオフセット値を代入する。
(2)子関節のオフセット値を(x,y,z)、動作データのEuler角の値(θx,θy,θz)に代入し、式(1)を計算する。
(3)求めたν´=(x´,y´,z´,1)より、(tx,ty,tz)に(x´,y´,z´)を代入し、絶対座標を求めたい関節まで(2)(3)を繰り返す。
[動作特徴量]
[曲DB]
[フィルタDB]
[アバター動作選定処理]
[実施例]
[ハードウェア構成]
尚、編集用端末1は、本発明の原理が適用可能である限り、携帯電話、PDA(Personal Data Assistant)、ゲーム機等の様々な端末で実現してよい。
10 ユーザ動作取得部
11 動作特徴量抽出部
12 曲情報取得部
13 フィルタ検索部
14 動作特徴量変換部
15 アバター動作取得部
20 アバター動作DB
21 曲DB
22 フィルタDB
Claims (20)
- ユーザの少なくとも身体の一部の動作を検出してその動作に基づいて操作対象物の動作を選定する操作対象物制御装置であって、
前記ユーザの動作を検出する動作検出部と、
前記動作検出部により検出されたユーザの動作を所定の間隔毎に取得する動作取得部と、
前記動作取得部にて取得されたユーザの動作時系列に対して周波数変換を行って得られる周波数成分を要素とする動作特徴量を抽出する動作特徴量抽出部と、
前記動作特徴量の周波数成分に重み付けを行うフィルタを記憶するフィルタ記憶部と、
前記操作対象物の動作時系列が予め記憶されている操作対象物動作記憶部と、
前記フィルタ記憶部から前記ユーザまたは前記操作対象物の環境情報に基づいて取得されたフィルタを用いて、前記動作特徴量の変換を行う動作特徴量変換部と、
前記操作対象物動作記憶部の動作時系列から求められる操作対象物の動作特徴量が、前記動作特徴量変換部にて変換された動作特徴量に近い前記操作対象物動作記憶部の動作時系列を取得する操作対象物動作取得部と、
を備えた操作対象物制御装置。 - 操作対象物動作取得部は、前記動作特徴量変換部にて重み付けが行われた動作特徴量を逆周波数変換して得られた動作時系列と、前記操作対象物動作記憶部の動作時系列との相関係数を算出し、相関係数がもっとも1に近い前記操作対象物動作記憶部の動作時系列を取得する、請求項1に記載の操作対象物制御装置。
- 前記動作特徴量変換部は前記フィルタを周波数変換してから用いる、請求項1に記載の操作対象物制御装置。
- 前記操作対象物の動作は1以上の動作点のツリー構造にて表される、請求項1に記載の操作対象物制御装置。
- 前記操作対象物動作記憶部および前記フィルタ記憶部は、リレーショナルデータベースまたは拡張マークアップ言語(XML)データベースである、請求項4に記載の操作対象物制御装置。
- 前記ユーザまたは前記操作対象物の環境情報は、前記ユーザが動作を行っている間に再生されている曲の情報であり、
前記曲の情報が記憶されている曲情報記憶部を更に備えた、請求項1に記載の操作対象物制御装置。 - 前記ユーザの動作を取得する所定の間隔は、前記曲の1小節を1以上の数で分割した間隔である、請求項6に記載の操作対象物制御装置。
- コンピュータが、ユーザの少なくとも身体の一部の動作を検出してその動作に基づいて操作対象物の動作を選定するための方法であって、
前記コンピュータが、前記ユーザの動作を所定の間隔毎に取得するステップと、
前記コンピュータが、前記ユーザの動作時系列に対して周波数変換を行って得られる周波数成分を要素とする動作特徴量を抽出するステップと、
前記コンピュータが、前記ユーザまたは前記操作対象物の環境情報に基づいて、前記動作特徴量のうち周波数成分に重み付けを行うために予め記憶されているフィルタを取得するステップと、
前記コンピュータが、前記フィルタを用いて、前記動作特徴量の変換を行うステップと、
前記コンピュータが、予め記憶されている前記操作対象物の動作時系列から求められる操作対象物の動作特徴量が、前記変換された動作特徴量に近い前記動作時系列を取得するステップと、
を含む操作対象物の動作を選定する方法。 - 更に、前記コンピュータが、予め記憶されている前記操作対象物の動作時系列と、前記重み付けが行われた動作特徴量を逆周波数変換して得られた動作時系列と、の相関係数を算出し、相関係数がもっとも1に近い前記動作時系列を取得するステップを含む、請求項8に記載の方法。
- 前記コンピュータが、前記動作特徴量の変換を行う際に、前記フィルタを周波数変換してから用いる、請求項8に記載の方法。
- 前記操作対象物の動作は1以上の動作点のツリー構造により表される、請求項8に記載の方法。
- 前記ユーザまたは前記操作対象物の環境情報は、前記ユーザが動作を行っている間に再生されている曲の情報である、請求項8に記載の方法。
- 前記ユーザの動作を取得する所定の間隔は、前記曲の1小節を1以上の数で分割した間隔である、請求項12に記載の方法。
- ユーザの少なくとも身体の一部の動作を検出してその動作に基づいて操作対象物の動作を選定するシステムであって、
ユーザの動作を検出する動作検出部と、
前記動作検出部により検出されたユーザの動作を所定の間隔毎に取得する動作取得部と、
前記動作取得部にて取得されたユーザの動作時系列に対して周波数変換を行って得られる周波数成分を要素とする動作特徴量を抽出する動作特徴量抽出部と、
前記動作特徴量のうち周波数成分に重み付けを行うフィルタを記憶するフィルタ記憶部と、
前記操作対象物の動作時系列が予め記憶されている操作対象物動作記憶部と、
前記フィルタ記憶部から前記ユーザまたは前記操作対象物の環境情報に基づいて取得されたフィルタを用いて、前記動作特徴量の変換を行う動作特徴量変換部と、
前記操作対象物動作記憶部の動作時系列から求められる操作対象物の動作特徴量が、前記動作特徴量変換部にて変換された動作特徴量に近い前記操作対象物動作記憶部の動作時系列を取得する操作対象物動作取得部と、
を備えた操作対象物の動作を選定する操作対象物制御システム。 - 操作対象物動作取得部は、前記動作特徴量変換部にて重み付けが行われた動作特徴量を逆周波数変換して得られた動作時系列と、前記操作対象物動作記憶部の動作時系列の相関係数を算出し、相関係数がもっとも1に近い前記操作対象物動作記憶部の動作時系列を取得する請求項14に記載の操作対象物制御システム。
- 前記動作特徴量変換部は、前記フィルタを周波数変換してから用いる請求項14に記載の操作対象物制御システム。
- 前記操作対象物の動作は1以上の動作点のツリー構造により表される、請求項14に記載の操作対象物制御システム。
- 前記操作対象物動作記憶部および前記フィルタ記憶部は、リレーショナルデータベースまたは拡張マークアップ言語(XML)データベースである、請求項17に記載の操作対象物制御システム。
- コンピュータにより、ユーザの少なくとも身体の一部の動作を検出してその動作に基づいて操作対象物の動作を選定するためのプログラムであって、
前記コンピュータをして、
前記ユーザの動作を所定の間隔毎に取得するステップと、
前記ユーザの動作時系列に対して周波数変換を行って得られる周波数成分を要素とする動作特徴量を抽出するステップと、
前記ユーザまたは前記操作対象物の環境情報に基づいて、前記動作特徴量のうち周波数成分に重み付けを行うために予め記憶されているフィルタを取得するステップと、
前記フィルタを用いて、前記動作特徴量の変換を行うステップと、
予め記憶されている前記操作対象物の動作時系列から求められる操作対象物の動作特徴量が、前記変換された動作特徴量に近い前記動作時系列を取得するステップと、
を実行させる、プログラム。 - 更に、前記コンピュータをして、予め記憶されている前記操作対象物の動作時系列と、前記重み付けが行われた動作特徴量を逆周波数変換して得られた動作時系列と、の相関係数を算出し、相関係数がもっとも1に近い前記動作時系列を取得するステップを実行させる、請求項19に記載のプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008113241A JP5495222B2 (ja) | 2008-04-23 | 2008-04-23 | 操作対象物制御装置、システム、方法およびプログラム |
US12/428,523 US8416185B2 (en) | 2008-04-23 | 2009-04-23 | Operational object controlling device, system, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008113241A JP5495222B2 (ja) | 2008-04-23 | 2008-04-23 | 操作対象物制御装置、システム、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009261533A JP2009261533A (ja) | 2009-11-12 |
JP5495222B2 true JP5495222B2 (ja) | 2014-05-21 |
Family
ID=41214521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008113241A Active JP5495222B2 (ja) | 2008-04-23 | 2008-04-23 | 操作対象物制御装置、システム、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8416185B2 (ja) |
JP (1) | JP5495222B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8334842B2 (en) * | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
KR101189633B1 (ko) * | 2011-08-22 | 2012-10-10 | 성균관대학교산학협력단 | 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말 |
US8989521B1 (en) * | 2011-11-23 | 2015-03-24 | Google Inc. | Determination of dance steps based on media content |
US20150095822A1 (en) * | 2012-07-02 | 2015-04-02 | eScoreMusic, Inc. | Systems and methods for music display, collaboration, annotation, composition, and editing |
JP6287921B2 (ja) * | 2015-03-25 | 2018-03-07 | ブラザー工業株式会社 | 情報処理装置及びプログラム |
GB201621434D0 (en) | 2016-12-16 | 2017-02-01 | Palantir Technologies Inc | Processing sensor logs |
JP6699677B2 (ja) * | 2018-02-06 | 2020-05-27 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3368739B2 (ja) * | 1996-01-22 | 2003-01-20 | 三菱電機株式会社 | アニメーション制作システム |
JP2000288253A (ja) * | 1999-04-07 | 2000-10-17 | Enix Corp | ビデオゲーム装置およびプログラムを格納した記録媒体 |
JP2001276291A (ja) | 2000-03-31 | 2001-10-09 | Daiichikosho Co Ltd | ダンスゲームシステム |
JP2001299975A (ja) * | 2000-04-27 | 2001-10-30 | Hiromi Hamabe | 体感装置及び体感システム |
JP4278288B2 (ja) | 2000-07-31 | 2009-06-10 | 株式会社タイトー | 踊り映像強調合成装置 |
JP4674002B2 (ja) * | 2001-05-29 | 2011-04-20 | 株式会社アドバンテスト | 位置検出装置、位置検出方法、電子部品搬送装置及び電子ビーム露光装置 |
JP4506249B2 (ja) | 2004-04-07 | 2010-07-21 | ソニー株式会社 | ロボット装置及びその動作比較方法 |
-
2008
- 2008-04-23 JP JP2008113241A patent/JP5495222B2/ja active Active
-
2009
- 2009-04-23 US US12/428,523 patent/US8416185B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8416185B2 (en) | 2013-04-09 |
JP2009261533A (ja) | 2009-11-12 |
US20090267894A1 (en) | 2009-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5495222B2 (ja) | 操作対象物制御装置、システム、方法およびプログラム | |
KR101671900B1 (ko) | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 | |
Egges et al. | Personalised real-time idle motion synthesis | |
US11244489B2 (en) | Method and system for determining identifiers for tagging video frames | |
Jörg et al. | Data-driven finger motion synthesis for gesturing characters | |
CN110945869A (zh) | 利用运动捕捉的虚拟手的增强现实学习系统和方法 | |
JP5604225B2 (ja) | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム | |
JP2007109136A (ja) | 画像表示制御装置 | |
JP5055223B2 (ja) | 映像コンテンツ生成装置及びコンピュータプログラム | |
CN115244495A (zh) | 针对虚拟环境运动的实时式样 | |
Tilmanne et al. | Stylistic gait synthesis based on hidden Markov models | |
JP2001134615A (ja) | 3次元人体姿勢の検索方法および検索装置 | |
JP2008015713A (ja) | 動作変形システム及びその方法 | |
JP2021111299A (ja) | 学習装置、学習方法、学習プログラム、識別装置、識別方法および識別プログラム | |
Hachaj et al. | RMoCap: an R language package for processing and kinematic analyzing motion capture data | |
JP5162512B2 (ja) | 多次元時系列データ分析装置及び多次元時系列データ分析プログラム | |
Krüger et al. | Multi-mode tensor representation of motion data | |
EP4261709A1 (en) | Information processing device, information processing method, and program | |
Kim et al. | Reconstructing whole-body motions with wrist trajectories | |
JP3209196B2 (ja) | 多関節物体の表示方法及び表示装置 | |
Han et al. | Connecting users to virtual worlds within MPEG-V standardization | |
Norman | Grappling with movement models: performing arts and slippery contexts | |
WO2023210187A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2023032422A1 (ja) | 処理方法、プログラムおよび処理装置 | |
WO2023170744A1 (ja) | 画像処理装置、画像処理方法、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20140205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5495222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |