JP5611268B2 - 運動符号化画像並びにその画像処理モジュール、運動複製モジュール及び生成モジュール - Google Patents
運動符号化画像並びにその画像処理モジュール、運動複製モジュール及び生成モジュール Download PDFInfo
- Publication number
- JP5611268B2 JP5611268B2 JP2012102176A JP2012102176A JP5611268B2 JP 5611268 B2 JP5611268 B2 JP 5611268B2 JP 2012102176 A JP2012102176 A JP 2012102176A JP 2012102176 A JP2012102176 A JP 2012102176A JP 5611268 B2 JP5611268 B2 JP 5611268B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- information
- body component
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Description
尚、本発明の運動符号化画像は、音楽における五線譜と同様、マルチメンバー・ボディーの運動を記録したり、保存したり、再現したりすることが可能であり、新たな方式に基づく記録形態である。
即ち、本発明に係る運動符号化画像は、三次元運動読み取り装置によって、複数の関節(joint)またはリンク(link)を含むマルチメンバー・ボディーの運動から複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、前記身体構成部位運動情報を符号化した画像として構成されるものである。
また、請求項3に記載の本発明に係る運動符号化画像の好ましい実施例は、複数のカラーの行を備え、各カラーの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする。
即ち、本発明の好ましい実施例において、運動符号化画像は、複数のグレースケールの行を備え、各グレースケールの行は各身体構成部位に対応する。各グレースケールの行は、各身体構成部位の時間に伴う運動量の変化を表す。各グレースケールの行から言えば、異なるグレースケール値によって、運動量の変化を表現する。上述のグレースケールの行は、カラーの行に変換することも可能であり、異なる色度または色彩によって、運動量の変化を表現する。運動量は、例えば、角度である。
即ち、請求項5に記載の本発明に係る画像処理モジュールは、前記運動符号化画像の処理に用いられる画像処理モジュールであって、前記画像処理モジュールが行う処理は、画像フィルタリング(image filtering)、画像挿入(interpolation)、画像平滑化(smoothing)、画像分割(segmentation)及び画像編集(editing)の少なくとも一つを含むことを特徴とする。
即ち、前記画像処理モジュールは、上述の運動符号化画像を処理するのに用いられる。画像処理モジュールが行う処理は、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集、画像挿入及び画像分割の少なくとも一つである。
即ち、請求項6に記載の本発明に係る運動複製モジュールは、前記請求項5に記載の画像処理モジュールが処理して発生させる修正運動符号化画像または運動符号化画像及びマルチメンバー・ボディーの外形データ構造に基づいて、前記マルチメンバー・ボディーの外形データ構造が対応する前記マルチメンバー・ボディーの三次元グラフィックデータを発生させることを特徴とする。
前記運動複製モジュールは、インターフェースをも有して、運動情報をダウンロードして、実際のロボットに送ることも可能である。ロボットは、マルチメンバー・ボディー構造によって構築、形成される。すなわち、本発明は、マルチメンバー・ボディーの運動状態を完全に他のマルチメンバー・ボディーに複製して、連続する三次元動態グラフィックによって再現、または、同様の運動を実際のロボットにより出力、再現することが可能である。
また、請求項8に記載の本発明に係る運動複製モジュールの好ましい実施例においては、前記複数の特徴点の運動情報は、身体構成部位の位置を描写するのに用いられることを特徴とする。
即ち、前記運動複製モジュールは、デコードユニット、順運動学ユニット及び3G(三次元)グラフィック表示ユニットを備える。デコードユニットは、前記修正運動符号化画像(または運動符号化画像)の復号を行ない、複数の身体構成部位運動情報を得る。順運動学ユニットは、順運動学によって前記複数の身体構成部位運動情報を処理して、複数の特徴点の運動情報を得る。3G(三次元)グラフィック表示ユニットは、前記複数の特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記3G(三次元)グラフィックデータを発生させる。上述の前記複数の特徴点の運動情報は、例えば、前記複数の特徴点(例えば、マーカを配した箇所、または、コネクション・メンバーの幾何原点または身体構成部位の幾何原点)の座標位置及び方位角を含む。
即ち、請求項9に記載の本発明に係る運動符号化画像の生成モジュールは、三次元運動読み取り装置がマルチメンバー・ボディーの複数の動態画像を読み取り、複数の特徴点の運動情報を取得すると共に、逆運動学により前記複数の特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位データ構造に基づき複数の身体構成部位運動情報を発生させる逆運動学ユニットと、前記複数の身体構成部位運動情報に対して符号化を行い、前記運動符号化画像を発生させるエンコードユニットとを備えることを特徴とする。
即ち、本発明の生成モジュールは、上述の運動符号化画像を生成するのに用いられるものであり、この場合、前記三次元運動読み取り装置は、マルチメンバー・ボディーの運動に対して複数の動態画像を読み取り、複数の特徴点の運動情報を取得する。前記生成モジュールは、逆運動学ユニット及びエンコードユニットを備える。逆運動学ユニットは、逆運動学によって、前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき、複数の身体構成部位運動情報を発生させる。エンコードユニットは、前記身体構成部位運動情報に対して符号化を行い、前記運動符号化画像を発生させる。
1.マルチメンバー・ボディー外形データ構造及び運動符号化画像を結合させて、生き生きとした動作を再現させる。さらに、運動符号化画像とマルチメンバー・ボディー外形データ構造が完全に独立しており、人物甲の身体を使って人物乙が行った動作をパフォーマンスさせることができる外、人形ロボットを使用して本物の人間の動作を表現できる。また、例えば、原子力発電所の事故処理等、ロボットに危険エリアに進入させて、人間の代わりに重要な作業をさせることも可能である。
11 逆運動学ユニット
12 エンコードユニット
20 画像処理モジュール
30 運動複製モジュール
31 デコードユニット
32 順運動学ユニット
33 三次元グラフィック表示ユニット
I 運動符号化画像
I' 修正運動符号化画像
JD 身体構成部位データ構造
M マーカ
Claims (9)
- 複数の関節や複数のリンクを含むマルチメンバー・ボディーの運動を、三次元運動読み取り装置によって読み取ることにより、前記マルチメンバー・ボディーの複数の身体構成部位運動情報を取得し、この身体構成部位運動情報を符号化して成り、前記複数の身体構成部位運動情報は、前記マルチメンバー・ボディーの特徴点の運動情報と、前記マルチメンバー・ボディーが対応する身体構成部位データ構造とを用いて逆運動学の計算を行うことにより求められ、前記特徴点の運動情報は身体構成部位の位置の情報であり、前記複数のリンクの位置または前記複数の関節の角度の情報の値を表す運動量であることを特徴とする運動符号化画像。
- 前記運動符号化画像は、複数のグレースケールの行を備え、各グレースケールの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする請求項1に記載の運動符号化画像。
- 前記運動符号化画像は、複数のカラーの行を備え、各カラーの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする請求項1に記載の運動符号化画像。
- 前記運動符号化画像は、コンピューターが読み取れる記録媒体に記録されることを特徴とする請求項1に記載の運動符号化画像。
- 請求項1から請求項3のいずれかに記載の運動符号化画像の処理に用いられる画像処理モジュールであって、
前記画像処理モジュールが行う処理は、画像フィルタリング(image filtering)、画像挿入(interpolation)、画像平滑化(smoothing)、画像分割(segmentation)及び画像編集(editing)の少なくとも一つを含むことを特徴とする画像処理モジュール。 - 請求項5に記載の画像処理モジュールが処理して発生させる修正運動符号化画像または運動符号化画像及びマルチメンバー・ボディーの外形データ構造に基づいて、前記マルチメンバー・ボディーの外形データ構造が対応する前記マルチメンバー・ボディーの三次元グラフィックデータを発生させることを特徴とする運動複製モジュール。
- 前記修正運動符号化画像または前記運動符号化画像の復号を行ない、複数の身体構成部位運動情報を入手するデコードユニットと、
順運動学によって前記複数の身体構成部位運動情報を処理して、複数の特徴点の運動情報を入手する順運動学ユニットと、
前記複数の特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記3G(三次元)グラフィックデータを発生させる3G(三次元)グラフィック表示モジュールとを備えることを特徴とする請求項6に記載の運動複製モジュール。 - 前記複数の特徴点の運動情報は、身体構成部位の位置を描写するのに用いられることを特徴とする請求項7に記載の運動複製モジュール。
- 請求項1から請求項3のいずれかに記載の運動符号化画像の生成に用いられる生成モジュールであって、
三次元運動読み取り装置がマルチメンバー・ボディーの複数の動態画像を読み取り、複数の特徴点の運動情報を取得すると共に、
逆運動学により前記複数の特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位データ構造に基づき複数の身体構成部位運動情報を発生させる逆運動学ユニットと、
前記複数の身体構成部位運動情報に対して符号化を行い、前記運動符号化画像を発生させるエンコードユニットとを備えることを特徴とする運動符号化画像の生成モジュール。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100115138 | 2011-04-29 | ||
TW100115138A TWI534756B (zh) | 2011-04-29 | 2011-04-29 | 運動編碼影像及生成模組、影像處理模組及運動展示模組 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234541A JP2012234541A (ja) | 2012-11-29 |
JP5611268B2 true JP5611268B2 (ja) | 2014-10-22 |
Family
ID=45476420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012102176A Expired - Fee Related JP5611268B2 (ja) | 2011-04-29 | 2012-04-27 | 運動符号化画像並びにその画像処理モジュール、運動複製モジュール及び生成モジュール |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120277635A1 (ja) |
EP (1) | EP2518692A3 (ja) |
JP (1) | JP5611268B2 (ja) |
CN (1) | CN102761759A (ja) |
TW (1) | TWI534756B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9161708B2 (en) * | 2013-02-14 | 2015-10-20 | P3 Analytics, Inc. | Generation of personalized training regimens from motion capture data |
CN105705090B (zh) * | 2013-10-21 | 2019-06-14 | 苹果公司 | 传感器和应用 |
JP5951697B2 (ja) * | 2014-07-23 | 2016-07-13 | 株式会社コナミデジタルエンタテインメント | データ生成システム、それに用いられる制御方法及びコンピュータプログラム |
WO2020133447A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市瑞立视多媒体科技有限公司 | 一种三维轨迹数据的异常值处理方法及光学动作捕捉方法 |
CN111460871B (zh) | 2019-01-18 | 2023-12-22 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4631676A (en) * | 1983-05-25 | 1986-12-23 | Hospital For Joint Diseases Or | Computerized video gait and motion analysis system and method |
KR20010095900A (ko) * | 2000-04-12 | 2001-11-07 | 박명수 | 3차원 모션캡쳐 분석시스템 및 그 방법 |
AU2003239968A1 (en) * | 2002-06-04 | 2003-12-19 | Visen Medical, Inc. | Imaging volumes with arbitrary geometries in contact and non-contact tomography |
US9107615B2 (en) * | 2002-12-18 | 2015-08-18 | Active Protective Technologies, Inc. | Method and apparatus for body impact protection |
CN1766929B (zh) * | 2004-10-29 | 2010-05-12 | 中国科学院计算技术研究所 | 一种基于三维数据库的运动对象运动重构方法 |
US20080221487A1 (en) * | 2007-03-07 | 2008-09-11 | Motek Bv | Method for real time interactive visualization of muscle forces and joint torques in the human body |
US20100148042A1 (en) * | 2007-05-18 | 2010-06-17 | Nanyang Technological University | Sensor |
-
2011
- 2011-04-29 TW TW100115138A patent/TWI534756B/zh not_active IP Right Cessation
- 2011-10-12 CN CN2011103076456A patent/CN102761759A/zh active Pending
-
2012
- 2012-01-10 EP EP20120150661 patent/EP2518692A3/en not_active Withdrawn
- 2012-01-20 US US13/355,172 patent/US20120277635A1/en not_active Abandoned
- 2012-04-27 JP JP2012102176A patent/JP5611268B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2518692A3 (en) | 2012-12-26 |
CN102761759A (zh) | 2012-10-31 |
JP2012234541A (ja) | 2012-11-29 |
TWI534756B (zh) | 2016-05-21 |
TW201243766A (en) | 2012-11-01 |
US20120277635A1 (en) | 2012-11-01 |
EP2518692A2 (en) | 2012-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8830269B2 (en) | Method and apparatus for deforming shape of three dimensional human body model | |
CN110533752B (zh) | 一种人体动作编辑模型的生成方法、存储介质及电子设备 | |
Park et al. | Data-driven modeling of skin and muscle deformation | |
JP5611268B2 (ja) | 運動符号化画像並びにその画像処理モジュール、運動複製モジュール及び生成モジュール | |
US8180613B1 (en) | Wrinkles on fabric software | |
Dekeyser et al. | Creating stimuli for the study of biological-motion perception | |
JP2003044873A (ja) | 顔の3次元モデルの作成方法及びその変形方法 | |
Bimber et al. | Merging fossil specimens with computer-generated information | |
KR101095860B1 (ko) | 인체 모델의 형상 변형 방법 | |
Bauer et al. | Interactive visualization of muscle activity during limb movements: Towards enhanced anatomy learning | |
Kirmizibayrak et al. | Digital analysis and visualization of swimming motion | |
Ami-Williams et al. | Digitizing traditional dances under extreme clothing: The case study of eyo | |
Tejera et al. | Animation control of surface motion capture | |
CN108055479B (zh) | 一种动物行为视频的制作方法 | |
Magnenat-Thalmann et al. | Construction and Animation of a Synthetic Actress. | |
Van Wyk | Virtual human modelling and animation for real-time sign language visualisation | |
JP5843679B2 (ja) | 画像再生プログラム及びゲームシステム | |
US20230260238A1 (en) | Method for Generating a Virtual 4D Head and Teeth | |
Holmboe | The Motion Capture Pipeline | |
Zysk et al. | Bridging the uncanny valley—From 3D humanoid characters to virtual tutors | |
JPH11250284A (ja) | 人物cg制作方法 | |
Salonen | Motion capture in 3D animation | |
Ding | 3D Animation of a Human Body Reconstructed from a Single Photograph | |
Kadleček | Inverse Anatomical Modeling and Simulation of Virtual Humans | |
de Aguiar et al. | Video-driven animation of human body scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5611268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |