JP7486860B1 - 映像合成装置、映像合成方法、及びプログラム - Google Patents
映像合成装置、映像合成方法、及びプログラム Download PDFInfo
- Publication number
- JP7486860B1 JP7486860B1 JP2023127489A JP2023127489A JP7486860B1 JP 7486860 B1 JP7486860 B1 JP 7486860B1 JP 2023127489 A JP2023127489 A JP 2023127489A JP 2023127489 A JP2023127489 A JP 2023127489A JP 7486860 B1 JP7486860 B1 JP 7486860B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- guide
- target
- self
- imitated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 55
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 55
- 238000001308 synthesis method Methods 0.000 title claims description 7
- 230000009471 action Effects 0.000 claims abstract description 111
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims description 112
- 239000002131 composite material Substances 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
ガイド生成部14は、参照映像における模倣対象の大きさと、自己映像における動作対象の大きさとの関係に応じて、ユーザ30を基準とした前後方向における追従方向を示すガイドを生成してもよい。追従方向とは、例えば、動作対象を模倣対象に追従させるための移動方向であってもよい。参照映像における模倣対象に、自己映像における動作対象が適切に追従できている追従状態にある場合には、両者の大きさは同程度になると考えられる。追従状態とは、例えば、合成映像において模倣対象と動作対象とが重なるように表示されている場合であってもよい。一方、動作対象が追従状態よりも後ろ側に位置する場合には、動作対象の大きさが、模倣対象の大きさよりも大きくなる。反対に、動作対象が追従状態よりも前側に位置する場合には、動作対象の大きさが、模倣対象の大きさよりも小さくなる。したがって、ガイド生成部14は、模倣対象の大きさと動作対象の大きさとの関係、すなわち両者の大小関係に応じて、動作対象の位置を模倣対象の位置に近づけるためには、動作対象を、ユーザ30を基準とした前後方向のどちら側に移動させなければならないのかを特定することができ、その特定結果に応じてガイドを生成することができる。例えば、動作対象の大きさが模倣対象の大きさよりも大きい場合には、ガイド生成部14は、動作対象を、ユーザ30を基準とした前方側、すなわちユーザ30の奥側に移動させるためのガイドを生成してもよい。また、例えば、動作対象の大きさが模倣対象の大きさよりも小さい場合には、ガイド生成部14は、動作対象を、ユーザ30を基準とした後方側、すなわちユーザ30の手前側に移動させるためのガイドを生成してもよい。
ガイド生成部14は、参照映像における模倣対象の代表位置と、自己映像における動作対象の代表位置との位置関係に応じて、ユーザ30を基準とした上下方向及び左右方向における追従方向を示すガイドを生成してもよい。ここで、模倣対象や動作対象の代表位置は、例えば、模倣対象や動作対象の領域の重心の位置であってもよく、模倣対象や動作対象のあらかじめ決められた位置であってもよい。模倣対象や動作対象の領域は、例えば、それらの全体の領域であってもよく、一部の領域であってもよい。その領域は、例えば、上記した領域D41,D51ように特定されてもよい。あらかじめ決められた位置は、一例として、図3、図4で示される支点P41,P51の位置であってもよい。
模倣対象や動作対象が、形状が変化するものである場合には、ガイド生成部14は、参照映像に含まれる模倣対象の形状と、自己映像に含まれる動作対象の形状とを用いて、動作対象の形状を模倣対象の形状に追従させるためのガイドを生成してもよい。形状が変化する模倣対象や動作対象は、例えば、被模倣者やユーザ30の操作に応じて形状が変化するものであってもよい。形状が変化する模倣対象や動作対象は、例えば、ハサミ、鉗子、ピンセット、トングなどのように、開閉部を有しており、その開閉部が開状態と閉状態との間で形状が変化するものであってもよい。
上記(1)、(2)において説明したガイドの生成では、映像に含まれる模倣対象や動作対象の角度によっては、正確なガイドを生成できないこともある。したがって、より正確なガイドを生成するため、カメラと模倣対象及び動作対象との相対的な位置関係を用いてもよい。この場合には、ガイド生成部14は、参照映像における模倣対象の複数の特徴点を用いて、模倣対象と参照映像を撮影したカメラとの第1の相対的な位置関係を取得し、自己映像における動作対象の複数の特徴点を用いて、動作対象と自己映像を撮影したカメラとの第2の相対的な位置関係を取得し、第1及び第2の相対的な位置関係を用いて、模倣対象と動作対象との第3の相対的な位置関係を取得し、その第3の相対的な位置関係を用いてガイドを生成してもよい。
(ステップS101)合成部13は、参照映像と自己映像との合成を行うかどうか判断する。そして、合成を行う場合には、ステップS102に進み、そうでない場合には、合成を行うと判断するまで、ステップS101の処理を繰り返す。なお、合成部13は、各映像に含まれるフレームの表示間隔ごとに、合成を行うと判断してもよい。例えば、フレームレートがA(fps)である場合には、合成部13は、1/A(秒)ごとに、合成を行うと判断してもよい。
11 記憶部
12 映像取得部
13 合成部
14 ガイド生成部
15 出力部
30 ユーザ
41 模倣対象
51 動作対象
61、62 ガイド図形
Claims (7)
- ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、
前記ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部と、
前記参照映像と前記自己映像とを合成した合成映像を生成する合成部と、
前記参照映像における前記模倣対象の複数の特徴点を用いて、前記模倣対象のローカル座標系と前記参照映像を撮影したカメラのローカル座標系との第1の相対的な位置関係を取得し、前記自己映像における前記動作対象の複数の特徴点を用いて、前記動作対象のローカル座標系と前記自己映像を撮影したカメラのローカル座標系との第2の相対的な位置関係を取得し、前記第1及び第2の相対的な位置関係を用いて、前記模倣対象のローカル座標系と前記動作対象のローカル座標系との第3の相対的な位置関係を取得し、当該第3の相対的な位置関係を用いて、前記動作対象を前記模倣対象に追従させるためのガイドを生成するガイド生成部と、
前記合成映像と前記ガイドとを出力する出力部と、を備えた映像合成装置。 - ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、
前記ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部と、
前記参照映像と前記自己映像とを合成した合成映像を生成する合成部と、
前記参照映像に含まれる前記模倣対象、及び前記自己映像に含まれる前記動作対象に基づいて、前記動作対象を前記模倣対象に追従させるためのガイドを生成するガイド生成部と、
前記合成映像と前記ガイドとを出力する出力部と、を備え、
前記模倣対象及び前記動作対象は、形状が変化するものであり、
前記ガイド生成部は、前記参照映像に含まれる前記模倣対象の形状と、前記自己映像に含まれる前記動作対象の形状とを特定し、特定した両形状が一致していない場合に、前記動作対象の形状を前記模倣対象の形状に追従させるために必要な形状の変化を特定し、特定した形状の変化に応じたガイドを生成する、映像合成装置。 - 前記ガイド生成部は、前記ガイドであるガイド図形を生成し、
前記合成部は、前記ガイド図形を含む合成映像を生成し、
前記出力部は、前記ガイド図形を含む前記合成映像を出力する、請求項1または請求項2記載の映像合成装置。 - ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、映像取得部と、合成部と、ガイド生成部と、出力部とを用いて処理される映像合成方法であって、
前記映像取得部が、前記ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得するステップと、
前記合成部が、前記参照映像と前記自己映像とを合成した合成映像を生成するステップと、
前記ガイド生成部が、前記参照映像における前記模倣対象の複数の特徴点を用いて、前記模倣対象のローカル座標系と前記参照映像を撮影したカメラのローカル座標系との第1の相対的な位置関係を取得し、前記自己映像における前記動作対象の複数の特徴点を用いて、前記動作対象のローカル座標系と前記自己映像を撮影したカメラのローカル座標系との第2の相対的な位置関係を取得し、前記第1及び第2の相対的な位置関係を用いて、前記模倣対象のローカル座標系と前記動作対象のローカル座標系との第3の相対的な位置関係を取得し、当該第3の相対的な位置関係を用いて、前記動作対象を前記模倣対象に追従させるためのガイドを生成するステップと、
前記出力部が、前記合成映像と前記ガイドとを出力するステップと、を備えた映像合成方法。 - ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、映像取得部と、合成部と、ガイド生成部と、出力部とを用いて処理される映像合成方法であって、
前記映像取得部が、前記ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得するステップと、
前記合成部が、前記参照映像と前記自己映像とを合成した合成映像を生成するステップと、
前記ガイド生成部が、前記参照映像に含まれる前記模倣対象、及び前記自己映像に含まれる前記動作対象に基づいて、前記動作対象を前記模倣対象に追従させるためのガイドを生成するステップと、
前記出力部が、前記合成映像と前記ガイドとを出力するステップと、を備え、
前記模倣対象及び前記動作対象は、形状が変化するものであり、
前記ガイドを生成するステップでは、前記参照映像に含まれる前記模倣対象の形状と、前記自己映像に含まれる前記動作対象の形状とを特定し、特定した両形状が一致していない場合に、前記動作対象の形状を前記模倣対象の形状に追従させるために必要な形状の変化を特定し、特定した形状の変化に応じたガイドを生成する、映像合成方法。 - ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部にアクセス可能なコンピュータを、
前記ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部、
前記参照映像と前記自己映像とを合成した合成映像を生成する合成部、
前記参照映像における前記模倣対象の複数の特徴点を用いて、前記模倣対象のローカル座標系と前記参照映像を撮影したカメラのローカル座標系との第1の相対的な位置関係を取得し、前記自己映像における前記動作対象の複数の特徴点を用いて、前記動作対象のローカル座標系と前記自己映像を撮影したカメラのローカル座標系との第2の相対的な位置関係を取得し、前記第1及び第2の相対的な位置関係を用いて、前記模倣対象のローカル座標系と前記動作対象のローカル座標系との第3の相対的な位置関係を取得し、当該第3の相対的な位置関係を用いて、前記動作対象を前記模倣対象に追従させるためのガイドを生成するガイド生成部、
前記合成映像と前記ガイドとを出力する出力部として機能させるためのプログラム。 - ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部にアクセス可能なコンピュータを、
前記ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部、
前記参照映像と前記自己映像とを合成した合成映像を生成する合成部、
前記参照映像に含まれる前記模倣対象、及び前記自己映像に含まれる前記動作対象に基づいて、前記動作対象を前記模倣対象に追従させるためのガイドを生成するガイド生成部、
前記合成映像と前記ガイドとを出力する出力部として機能させ、
前記模倣対象及び前記動作対象は、形状が変化するものであり、
前記ガイド生成部は、前記参照映像に含まれる前記模倣対象の形状と、前記自己映像に含まれる前記動作対象の形状とを特定し、特定した両形状が一致していない場合に、前記動作対象の形状を前記模倣対象の形状に追従させるために必要な形状の変化を特定し、特定した形状の変化に応じたガイドを生成する、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023127489A JP7486860B1 (ja) | 2023-08-04 | 2023-08-04 | 映像合成装置、映像合成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023127489A JP7486860B1 (ja) | 2023-08-04 | 2023-08-04 | 映像合成装置、映像合成方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7486860B1 true JP7486860B1 (ja) | 2024-05-20 |
Family
ID=91082783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023127489A Active JP7486860B1 (ja) | 2023-08-04 | 2023-08-04 | 映像合成装置、映像合成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7486860B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015097825A1 (ja) | 2013-12-26 | 2015-07-02 | 独立行政法人科学技術振興機構 | 動き学習支援装置及び動き学習支援方法 |
JP2019012965A (ja) | 2017-06-30 | 2019-01-24 | 富士通株式会社 | 映像制御方法、映像制御装置、及び映像制御プログラム |
WO2020179128A1 (ja) | 2019-03-06 | 2020-09-10 | 株式会社日立製作所 | 学習支援システム、学習支援装置及びプログラム |
-
2023
- 2023-08-04 JP JP2023127489A patent/JP7486860B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015097825A1 (ja) | 2013-12-26 | 2015-07-02 | 独立行政法人科学技術振興機構 | 動き学習支援装置及び動き学習支援方法 |
JP2019012965A (ja) | 2017-06-30 | 2019-01-24 | 富士通株式会社 | 映像制御方法、映像制御装置、及び映像制御プログラム |
WO2020179128A1 (ja) | 2019-03-06 | 2020-09-10 | 株式会社日立製作所 | 学習支援システム、学習支援装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220108450A1 (en) | Surgical simulator providing labeled data | |
US11893670B2 (en) | Animation generation method, apparatus and system, and storage medium | |
JP2021193599A (ja) | 仮想オブジェクトのフィギュア合成方法、装置、電子機器、記憶媒体 | |
CN107274464A (zh) | 一种实时交互3d动画的方法、装置和系统 | |
US11836294B2 (en) | Spatially consistent representation of hand motion | |
KR102103939B1 (ko) | 머리 회전을 갖는 아바타 얼굴 표정 애니메이션 | |
EP2629265A1 (en) | Method and system for driving simulated virtual environments with real data | |
US9786202B2 (en) | Robot assisted surgical training | |
CN107274466A (zh) | 一种实时全身动作捕捉的方法、装置和系统 | |
WO2020197621A1 (en) | Spatially consistent representation of hand motion | |
CN109151540A (zh) | 视频图像的交互处理方法及装置 | |
Jota et al. | Constructing virtual 3D models with physical building blocks | |
US20220172447A1 (en) | Image processing device, image processing method, and program | |
JP7486860B1 (ja) | 映像合成装置、映像合成方法、及びプログラム | |
LIU et al. | A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery | |
WO2002033660A1 (fr) | Dispositif de production d'informations video | |
WO2023075682A2 (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
Nguyen et al. | Automatic generation of a 3D sign language avatar on AR glasses given 2D videos of human signers | |
JP7412826B1 (ja) | 映像合成装置、映像合成方法、及びプログラム | |
Kaswan et al. | AI‐Based AR/VR Models in Biomedical Sustainable Industry 4.0 | |
Ruttkay et al. | Facial animation by synthesis of captured and artificial data | |
Sela et al. | Real-time incision simulation using discontinuous free form deformation | |
Akinjala et al. | Animating human movement & gestures on an agent using Microsoft kinect | |
JP2022024189A (ja) | 学習用データ作成方法、学習用データ作成装置及びプログラム | |
Zhuang et al. | A modern approach to intelligent animation: theory and practice |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230804 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7486860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |