WO2019208529A1 - モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラム - Google Patents
モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラム Download PDFInfo
- Publication number
- WO2019208529A1 WO2019208529A1 PCT/JP2019/017110 JP2019017110W WO2019208529A1 WO 2019208529 A1 WO2019208529 A1 WO 2019208529A1 JP 2019017110 W JP2019017110 W JP 2019017110W WO 2019208529 A1 WO2019208529 A1 WO 2019208529A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- marker
- motion capture
- light
- capturing
- markers
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Definitions
- the present invention relates to a motion capture system, a motion capture method, a marker used in the motion capture method, and a program used in the motion capture method, and more particularly to an optical motion capture system and the like.
- Motion capture technology is a technology that digitally records the movement of an object such as a person or an object.
- development is progressing in the sports and medical fields, for example. .
- Many techniques including improved techniques have been proposed.
- Patent Documents 1, 2, and 3 The techniques of Patent Documents 1, 2, and 3 are included in what is called an optical type.
- an imaging device that is an apparatus that receives reflected light may use a dedicated machine such as an infrared camera that can shoot by limiting the frequency of light.
- a dedicated machine such as an infrared camera that can shoot by limiting the frequency of light.
- Patent Document 3 also uses infrared rays, and in any case, it is necessary to use a dedicated machine such as an infrared camera.
- a dedicated machine such as an infrared camera.
- the camera's image sensor generally needs to support a high shooting speed (the number of frames taken per second), but the faster the shooting speed, The amount to capture is reduced, making shooting difficult.
- the present invention has no problem of having a battery even if it emits light regardless of whether it is visible light or infrared light, and particularly for visible light, it is easier to recognize the shape than a self-light emitting LED marker.
- a motion capture system that can use a general-purpose digital camera instead of a dedicated machine such as an infrared camera and can capture a marker even in a dark imaging space, a motion capture method, a marker used in the motion capture method, and An object is to provide a program used in a motion capture method.
- the marker in the motion capture system capable of capturing the movement of an object to which a marker is attached, is a chemiluminescent marker that emits light spontaneously and can capture light emitted by the marker.
- the light may be visible light or infrared light.
- the marker is a flat light emitter marker.
- the marker in the first or second aspect, has a color, a shape, or a combination thereof that can specify a predetermined position in the light emitting portion. is there.
- the marker is a plurality of markers, and the plurality of markers emit light in different colors, shapes, or combinations thereof.
- the capturing means is characterized in that the marker can be labeled and captured by identifying a difference in the color, shape, or combination thereof.
- the marker in the motion capture method capable of capturing the movement of an object to which the marker is attached, is a chemiluminescent marker that emits light spontaneously, and the imaging means is light emitted from the marker.
- the image capturing unit captures the marker by performing image processing from the image captured by the image capturing unit, and captures the movement of the object.
- the light may be visible light or infrared light.
- the marker is a flat light emitting marker.
- the seventh aspect of the present invention is characterized in that, in the fifth or sixth aspect, it has a color, a shape, or a combination thereof that can specify a predetermined position in the light emitting portion.
- the eighth aspect of the present invention is a marker used in the motion capture method according to any one of the fifth to seventh aspects.
- the capturing means used in the motion capture method according to any one of the fifth to seventh aspects uses, as a computer, the color difference that the marker emits from the captured image.
- a program for executing an image processing operation to be labeled uses, as a computer, the color difference that the marker emits from the captured image.
- the marker is a marker that emits light by chemiluminescence and does not reflect the marker by applying light to the marker. Therefore, first, the device portion that applies the light becomes unnecessary, and the system can be simplified.
- the problem of directivity and irregular reflection can be solved by using a planar light emitting marker as a marker.
- the brightness and intensity (for example, luminance) of self-luminous light can be easily set to a necessary level without problems of directivity and irregular reflection by using chemiluminescence technology. It is possible to use a general-purpose device such as a digital camera that can capture an image with a wavelength of visible light instead of such a dedicated device, and it is possible to capture a marker even in a dark imaging space.
- chemiluminescence there are few restrictions on the shape of the marker that emits light (for example, a flat light emitter is possible), and this is of great significance in sports where it is desirable to avoid movement restrictions. Further, unlike LED self-emission, self-emission by chemiluminescence has the advantage that there is no problem with battery life, whether visible or infrared. Furthermore, the visible light has an advantage that the marker shape can be recognized correctly as compared with the self-emission of the LED.
- the predetermined position in the light emitting portion of the marker can be specified by the color, shape, or a combination thereof, it is possible to improve the accuracy of capturing and capturing (recognition accuracy).
- a plurality of markers can include those that emit light in different colors, shapes, or combinations thereof, and labeling can be performed by distinguishing differences in colors, shapes, or combinations. The time and burden of processing can be reduced.
- the motion capture system 1 is a system that records the movement of the person 3 who is the object.
- a plurality of imaging means called cameras 5a and 5b are used for three-dimensional measurement.
- the person 3 includes, for example, a person who is performing a group (team) competition such as badminton, soccer, or baseball in addition to an individual competition in the situation of performing sports.
- a plurality of markers such as markers 7a and 7b are attached to each person 3 of the object.
- Markers 7a and 7b are chemiluminescent self-luminous markers that can emit different colors by changing the fluorescent dye contained in the chemiluminescent solution, such as marker 7a "blue” and marker 7b "red”. It is.
- this chemiluminescence for example, light having a visible light wavelength can be obtained using techniques such as Japanese Patent Application Laid-Open No. 2016-150956, Japanese Patent Application Laid-Open No. 2016-91823, and Japanese Patent Application Publication No. It is assumed that it can emit light.
- the markers 7a and 7b are self-luminous, even if the cameras 5a and 5b are digital cameras, the color recognition function can be used to capture a small amount of light, and the marker color can be recognized even in a dark place.
- the digital cameras 5a and 5b recognize the color and shape, and when the LED is used, the LED becomes a point light source, and it is difficult to recognize the shape of the markers 7a and 7b. Unlike the case of chemiluminescence, there is a problem that shape recognition becomes difficult.
- the chemiluminescent self-luminous markers 7a and 7b capable of controlling such light are such that the brightness of the light is such that the markers 7a and 7b can be properly captured even by a general-purpose machine such as a digital camera. Since the light can be emitted by intensity (for example, luminance), the cameras 5a and 5b are configured to be a system that does not require the use of an infrared camera (dedicated device). In this way, the system can be simplified because a dedicated machine is not required. Further, the distance from the markers 7a and 7b to the cameras 5a and 5b can be set to a distance of several tens of meters depending on the setting, while the maximum distance is about 10 m in the conventional optical system using infrared reflection. As a result, it is possible to take an image from a high position in the sky and measure the movement of the entire team.
- intensity for example, luminance
- the cameras 5a and 5b are configured to be a system that does not require the use of an infrared camera (de
- chemiluminescence as self-luminescence, the flexibility of the shape of the markers 7a and 7b is increased, and even if the person 3 is a sports player, a shape that does not hinder concentration on the competition is selected. It is supposed to be possible.
- a marker that reflects infrared rays is basically spherical in terms of reflection efficiency, and a device using an infrared LED as a marker as in Patent Document 3 requires a device and is large.
- the markers 7a and 7b are planar light emitters.
- a structure in which a packaging structure having an oxidizing solution portion and a fluorescent solution portion is placed in an outer container that can be stored together with a porous sheet can be cited.
- the portion of the oxidizing solution and the portion of the fluorescent solution are broken by bending or the like, and both are chemically reacted with the porous sheet to emit light.
- a merit of a planar light-emitting body the point which is easy to attach to a body is mentioned because it can be made from a soft material, for example.
- a flat light emitter uniformly shines in accordance with its shape, and the degree of freedom of shape is higher than that of a point light emitting LED.
- a method of attaching a ring (bracelet) -shaped chemiluminescent body to the arm and there is a merit that the flexibility of responding flexibly to the competition situation and individual requests of the competitor is high.
- the motion capture system 1 also includes an image processing unit 9.
- the image processing unit 9 receives images captured by the cameras 5a and 5b and performs image processing.
- the image processing unit 9 has a capturing unit 11, and the capturing unit 11 captures the movement of the markers 7a and 7b.
- the capturing process includes a labeling process, and the labeling process is performed by distinguishing the markers using the difference in color between the markers 7a and 7b. This process is performed automatically by a program. Unlike the binarization process using the conventional infrared rays, such a difference in color eliminates the need for post-processing (human processing), and has the great advantage that the labeling process can be automated. Has been obtained.
- a labeling process is performed, the movements of the markers 7 a and 7 b are captured, and the movement of the person 3 is recorded in the storage unit 13 of the image processing unit 9.
- complex algorithm processing is performed for labeling processing.
- labeling processing using a difference in color is very simple algorithm processing, and it is also added that the advantage is great.
- a color difference For example, when capturing the movement of the joint of the elbow for one person, it is possible to automatically identify the attachment sites of the three types of color markers and capture the angle between the three points. For example, in a group sport such as soccer or volleyball, if a color is designated for each player and the positional relationship is automatically recognized, it can be used for game analysis.
- FIG. 2 is a diagram for explaining that a predetermined position in the light emitting portion of the marker is specified by color, shape, or a combination thereof.
- the light emitting portion 15 that emits yellow light, for example, of the marker 7 includes, for example, one that can be captured in a square shape, and further divides the inside into four parts, so that the upper left and the right It has a characteristic shape 17 that is shielded so as not to transmit light emitted from below.
- the center position 19 that is a predetermined position can be easily recognized with high accuracy. It can be captured. Note that if the inner square outline in FIG. 2 is thicker than the outer square outline, the video analysis may be difficult. To facilitate video analysis, the outer large square outline is changed to the inner square outline. It is preferable to make it thicker than the outline.
- the difference between a plurality of markers can be specified by the difference in color, but the difference in markers can also be specified by a difference in shape.
- markers of the same color have occurred on the arms and torso.
- the trunk side is hidden by the arm, it is difficult to distinguish the marker by the difference in color, but it can be determined by the difference in shape. That is, although the shape is characterized in FIG. 2, the marker can be distinguished even by the difference in color as described above, and the marker can be distinguished by combining them.
- the present invention may be understood as a motion capture method.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
撮像装置が赤外線カメラのような専用機ではなくデジタルカメラの汎用機の使用が可能で且つ暗い撮像空間でもマーカの撮像が可能なモーションキャプチャシステムを提供する。 モーションキャプチャシステム１は、対象物である人３の動きを記録するシステムである。ここでは、３次元計測のためにカメラ５ａ，５ｂという複数の撮像手段を用いている。人３のそれぞれには、マーカ７ａ，７ｂのように複数のマーカが取り付けられている。モーションキャプチャシステム１は画像処理部９も備え、画像処理部９はカメラ５ａ，５ｂが撮像した画像を受け取り、画像処理を行う。画像処理部９は捕捉部１１を有しており、捕捉部１１はマーカ７ａ，７ｂの動きを捕捉する。
Description
本発明は、モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラムに関し、特に光学式のモーションキャプチャシステム等に関する。
モーションキャプチャ技術は、人物や物体等の対象物の動きをデジタル的に記録する技術であり、これを活かした映画が制作されている他、例えば、スポーツ分野、医療分野などで開発が進んでいる。改良技術を含めて多数の技術が提案されており、例えば、特許文献１、２、３がある。特許文献１、２、３の技術は、所謂光学式と言われるものに含まれる。
光学式では、明るい空間で、対象物に装着したマーカに対して、例えば赤外線やＬＥＤ等の光を当て、その反射光を撮像装置であるカメラ（三次元であれば複数）で受光して、画像処理により、マーカ部分に対応するセグメントをラベリングすることにしている。そして、ラベリングした後、マーカの空間内の座標を算出し、マーカの全体軌跡及び時系列の速度及び最大速度などを表示できるようにしている。ここで、特に、マーカについては、特許文献１、２を含めて、今までの光学式と言われるものでは、基本的に、赤外線を用いて反射を行うものが想定されてきた。なお、特許文献３には、赤外線ＬＥＤを発するものも開示されており、自発光のＬＥＤマーカも提供され始めている。
しかしながら、従来の光学式では、基本的にマーカによる反射が行われることが前提となっており、光を当てる装置と、反射するマーカと、反射光を受光する装置との位置等の関係性は極めて重要である。マーカ位置を認識しやすくするためには、反射光を受光する装置である撮像装置（カメラ）は、光の周波数を制限して撮影することができる赤外線カメラというような専用機が用いられることが必要であり、その点からの大きな制約があるという問題がある。マーカが隠れてしまうという問題を克服するためには、撮像装置の台数を増やす以外に方法がなく、他の用途に流用できない専用の赤外線カメラを多数用意しなければならない。この専用機にしない場合、S/Nが悪く、ノイズも取り込み易くなり、反射するマーカの検出が難しくなってしまうという状況があり、結果的に、撮像の解析を正確に行うことができない。なお、特許文献３の技術も、赤外線を用いるものとなっており、いずれにしても、赤外線カメラというような専用機が用いられることが必要である。また、空間は明るい空間が必要という制約も生じている。空間が暗い場合には、カメラ内部の撮像素子へ光を取り込むことが難しく、撮影される映像にノイズが含まれやすくなり、発光マーカの認識精度が落ちるため、解析の精度も落ちる。また、高速な運動を計測する場合、一般的にカメラの撮像素子は、速い撮影速度（1秒間あたりの撮影フレーム数）に対応することが必要になるが、撮影速度が早くなればなるほど、光を取り込む量が少なくなり、撮影が難しくなる。
なお、特許文献３のような自発光型の赤外線ＬＥＤマーカの場合には、赤外線でなくても自発光するものとしてＬＥＤを用いていることから、以下のような問題がある。１つ目としては、可視光の場合に、通常のデジタルカメラは色と形状を認識しており、ＬＥＤを用いた場合にはＬＥＤが点光源になってしまい、マーカの形状を認識し難いという問題がある。また、２つ目としては、可視光と赤外線とを問わず、ＬＥＤで輝度をあげようとすると、電池の持ちが悪く、電池を増やすと電池の重さ分だけ重くなってしまうという問題もある。
ゆえに、本発明は、可視光及び赤外線を問わずに自発光であっても電池持ちの問題がなく、特に可視光については、自発光のＬＥＤマーカに比べて形状認識も行いやすく、さらに、撮像装置が赤外線カメラのような専用機ではなくデジタルカメラの汎用機の使用が可能で且つ暗い撮像空間でもマーカの撮像が可能なモーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラムを提供することを目的とする。
本発明の第１の観点は、マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャシステムにおいて、前記マーカは自発光する化学発光のマーカであり、前記マーカが発光する光を撮像できる撮像手段と、前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉する捕捉手段とを備えた、ものである。なお、光は、可視光でも赤外線でもよい。
本発明の第２の観点では、第１の観点において、前記マーカは平面発光体マーカである。
本発明の第３の観点では、第１又は第２の観点において、前記マーカが、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とするものである。
本発明の第４の観点は、第１から第３のいずれかの観点において、前記マーカは複数のマーカであり、前記複数のマーカの中には異なる色、形状、又は、それらの組み合わせで発光するものを含み、前記捕捉手段は、前記色、形状、又は、それらの組み合わせの違いを識別して前記マーカをラベリングして捕捉できることを特徴とするものである。
本発明の第５の観点は、マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャ方法において、前記マーカは自発光する化学発光のマーカであり、撮像手段は前記マーカが発光する光を撮像できるものであり、捕捉手段によって前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉し、前記対象物の動きを捉えるものである。なお、光は、可視光でも赤外線でもよい。
本発明の第６の観点では、第５の観点において、前記マーカは、平面発光マーカである。
本発明の第７の観点では、第５又は第６の観点において、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とするものである。
本発明の第８の観点は、第５から第７のいずれかの観点に記載のモーションキャプチャ方法に用いられる、マーカである。
本発明の第９の観点は、第５から第７のいずれかの観点に記載のモーションキャプチャ方法に用いられる捕捉手段に、コンピュータとして、撮像された画像からマーカが発光する色の違いを用いてラベリングする画像処理動作を実行させる、プログラムである。
本発明によれば、まず、マーカは化学発光による自発光するマーカであり、マーカに光を当てて反射するものではないので、まずは光を当てる装置部分が不要になり、システムを簡略化できる。また、特にマーカとして平面発光体マーカを用いることにより、指向性や乱反射の問題も解決できる。特に、自発光の光の明るさ・強さ（例えば輝度）は、化学発光の技術を用いれば指向性や乱反射の問題もなく簡単に必要なレベルにすることができ、撮像装置を赤外線カメラのような専用機ではなく可視光の波長で撮像できるデジタルカメラのような汎用機の使用が可能とでき、暗い撮像空間でもマーカの撮像が可能なものとできる。ここで、化学発光では、自発光するマーカの形状の制約が少なく（例えば、平面発光体も可能）、動きの制約になることを避けたいスポーツにおいては、大きな意義がある。さらに、ＬＥＤの自発光と異なり、化学発光による自発光のため、可視光であっても赤外線であっても電池持ちの点での不具合が生じないという利点がある。さらに、可視光については、ＬＥＤの自発光に比べてマーカの形状認識を正しく行えるという利点もある。
また、本発明によれば、色、形状、又はそれらの組み合わせによってマーカの発光部分内における所定位置を特定していけるため、撮像して捕捉していく精度（認識精度）を高めることができる。加えて、複数のマーカの中には異なる色、形状、又はそれらの組み合わせで発光するものを含めることができ、色、形状、又は組み合わせの違いを区別してラベリングができることから、複数のマーカに対するラベリング処理の手間と負担を軽減することができる。
以下に本発明の実施の形態について図面を参照して詳細に説明するが、本発明はこれに限定されるものではない。
モーションキャプチャシステム１は、対象物である人３の動きを記録するシステムである。ここでは、３次元計測のためにカメラ５ａ，５ｂという複数の撮像手段を用いている。人３は、例えば、スポーツを行っている状況で、個人競技の他、バドミントン、サッカーや野球のような団体（チーム）競技を行っている人が含まれる。対象物の人３のそれぞれには、マーカ７ａ，７ｂのように複数のマーカが取り付けられている。
マーカ７ａ，７ｂは化学発光による自発光のマーカであり、マーカ７ａが「青」、マーカ７ｂが「赤」のように、化学発光液に含まれる蛍光色素を変えて、異なる色を発光できるものである。この化学発光では、例えば、出願人により既に開発済みの特開２０１６－１５０９５６号公報、特開２０１６－９１８２３号公報、再公表ＷＯ２００５－１０３１９６号公報などの技術を用いて、可視光波長の光を発光できるものとしている。
まず、マーカ７ａ，７ｂが自発光であることから、カメラ５ａ，５ｂがデジカメであっても、色認識機能によりわずかな光でも撮影できて、暗い所でもマーカの色を認識できる。ここで、自発光のために化学発光を用いた場合の利点を例えば自発光のＬＥＤを用いた場合と比較すると、以下のことが挙げられる。１つ目としては、デジカメのカメラ５ａ，５ｂは、色と形状を認識しており、ＬＥＤを用いた場合にはＬＥＤが点光源になってしまい、マーカ７ａ，７ｂの形状を認識し難い結果、化学発光の場合と異なり、形状認識が困難になってしまうという問題がある。また、２つ目としては、ＬＥＤで輝度をあげようとすると、電池の持ちが悪く、電池を増やすと電池の重さ分だけ重くなってしまうという問題もある。特に、ＬＥＤの自発光の場合の電池持ちの問題は赤外線であっても紫外線であっても共通した問題である。これらの点は、化学発光では起こらず、実際の運用を考えると、大きなメリットといえる。そして、化学発光の自発光により、光の明るさ・強さ（例えば輝度）とその持続時間の調整も可能であり、マーカ７ａ，７ｂの認識をあげるために、例えば短時間だけでも光量を大きくすることも可能できる。このような光の制御を行うことが可能な化学発光による自発光のマーカ７ａ，７ｂは、デジタルカメラのような汎用機でもマーカ７ａ，７ｂを適切に捉えることができるような光の明るさ・強さ（例えば輝度）で自発光できることから、カメラ５ａ，５ｂは赤外線カメラ（専用機）を用いなくてもよいシステムにできている。このようにして、専用機が不要ということにより、システムの簡略化も可能にしている。さらに、マーカ７ａ，７ｂからカメラ５ａ，５ｂまでの距離は、従来の赤外線反射による光学式では最大でも１０ｍ程度に対し、設定によって数十ｍのような距離でも可能とできるようになっている。その結果、上空の高い位置から撮像することが可能になって、チーム全体の動きも測定できるものとできている。
さらに、自発光としての化学発光を用いることにより、マーカ７ａ，７ｂの形状の柔軟度はあがり、人３がスポーツをする選手であっても、競技への集中を妨げないような形を選択することができるものとしている。ここで、赤外線の反射を行うマーカは反射効率から基本的に球状であり、特許文献３のような赤外ＬＥＤをマーカに用いたものは、デバイスが必要で大型なものとなっている。
ここで、マーカ７ａ，７ｂを平面発光体とした場合を説明する。平面発光体の構造としては、例えば、酸化液の部分と蛍光液の部分を有する包装構造体を、多孔性シートと共に収納できる外装容器に入れた構造とすることが一例として挙げられる。このような構造であれば、折り曲げ等して酸化液の部分と蛍光液の部分を破れさせ、多孔性シートで両者を化学反応させて、発光させることができる。そして、平面発光体のメリットとしては、例えば、柔らかい素材とできることから身体に取り付け易い点が挙げられる。また、他のメリットしては、例えば、平面発光体は形状に合わせて満遍なく光り、点発光のＬＥＤと比べて形状の自由度が高いと言える。その他にも、腕にリング（ブレスレット）状の化学発光体を取り付ける方法もあり得、競技者の競技状況や個別のリクエストにも柔軟に対応できるという自由度が高いというメリットがある。
なお、上記では、可視光を用いたシステムとしたが、化学発光を用いた赤外線波長の光も併せて自発光するものとしてもよい。さらに、可視光を常に用いるシステムとはせずに、赤外線だけのシステムであってもよい。このように赤外線を用いれば、観客には見えないが、スポーツ選手のマーカの動きを捕捉することができる。
モーションキャプチャシステム１は、画像処理部９も備えている。画像処理部９はカメラ５ａ，５ｂが撮像した画像を受け取り、画像処理を行う。画像処理部９は捕捉部１１を有しており、捕捉部１１はマーカ７ａ，７ｂの動きを捕捉する。その捕捉処理にはラベリング処理が含まれ、マーカ７ａ，７ｂの色の違いを用いてマーカの区別を行ってラベリング処理が行われる。この処理は、プログラムにより自動化されて行われる。このような色の違いを用いる点は、従来の赤外線を用いた場合の２値化処理と異なって後処理（人的処理）は不要となり、ラベリング処理の自動化を進めることができるという大きな利点が得られている。ラベリング処理が行われ、マーカ７ａ，７ｂの動きが捕捉されて、人３の動きが画像処理部９の記憶部１３で記録される。なお、マーカレスの技術では、ラベリング処理に複雑なアルゴリズム処理が行われるが、色の違いを用いたラベリング処理はとても簡単なアルゴリズム処理で済み、その利点が大きいことも付言する。
ここで、色の違いを用いる例を具体的に挙げておく。例えば、一人に対し、肘の関節の動きを捉えるにあたり、３種類のカラーマーカの取付の部位を自動的に同定し、３点間角度を捉えることができる。また、例えば、サッカー、バレーボールなどの団体スポーツにおいて、選手ごとに色を指定しておき、位置関係を自動認識すれば、ゲーム分析に活かせる。
図２は、色、形状、又はそれらの組み合わせによってマーカの発光部分内における所定位置を特定することについて説明するための図である。
図２に示すように、マーカ７の例えば黄色に発光する発光部分１５の中において、例えば、四角の形状に捉えることができるものを含ませ、さらに、その内部を４分割にして、左上と右下とを発光する光を透過させないように遮蔽した特徴的な形状１７にしている。この形状１７とすることにより、図２（Ａ）、図２（Ｂ）、図２（Ｃ）のように移動が生じても、所定の位置である中心位置１９の認識を行い易く、精度よく捕捉できるようになる。なお、図２における内側の四角の輪郭を外側の四角の輪郭に比べて太くすると映像解析が難しくなる可能性があり、映像解析を容易にするためには外側の大きな四角の輪郭を内側の四角の輪郭に比べて太くするほうが好ましい。
ここで、上記では色の違いで複数のマーカの違いを特定できることを説明したが、形状の違いでもマーカの違いを特定できることを説明する。仮に、同じ色のマーカが腕と胴に発生してしまっていたとする。この場合、胴側が腕で隠れてしまうと、色の違いではマーカの区別が困難だが、形状の違いで判別できることになる。すなわち、図２では形状に特徴を持たせたが、上記したように色の違いでもマーカの区別はつけることができ、それらを組み合わせても、マーカの区別をつけることができる。
なお、上記では、システムを示したが、本発明をモーションキャプチャ方法として捉えてもよい。
１・・・モーションキャプチャシステム、３・・・人（対象物）、５ａ，５ｂ・・・カメラ、７ａ，７ｂ・・・マーカ、９・・・画像処理部、１１・・・捕捉部、１３・・・記憶部
Claims (9)
- マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャシステムにおいて、
前記マーカは自発光する化学発光のマーカであり、
前記マーカが発光する光を撮像できる撮像手段と、
前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉する捕捉手段とを備えた、モーションキャプチャシステム。 - 前記マーカは平面発光体マーカである、請求項１記載のモーションキャプチャシステム。
- 前記マーカは、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とする、請求項１又は２記載のモーションキャプチャシステム。
- 前記マーカは複数のマーカであり、前記複数のマーカの中には異なる色、形状、又は、それらの組み合わせで発光するものを含み、
前記捕捉手段は、前記色、形状、又は、それらの組み合わせの違いを識別して前記マーカをラベリングして捕捉できることを特徴とする、請求項１から３のいずれかに記載のモーションキャプチャシステム。 - マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャ方法において、
前記マーカは自発光する化学発光のマーカであり、
撮像手段は前記マーカが発光する光を撮像できるものであり、
捕捉手段によって前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉し、前記対象物の動きを捉える、モーションキャプチャ方法。 - 前記マーカは、平面発光マーカである、請求項５記載のモーションキャプチャ方法。
- 前記マーカは、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とする、請求項５又は６記載のモーションキャプチャ方法。
- 請求項５から７のいずれかに記載のモーションキャプチャ方法に用いられる、マーカ。
- 請求項５から７のいずれかに記載のモーションキャプチャ方法に用いられる捕捉手段に、コンピュータとして、撮像された画像からマーカが発光する色の違いを用いて前記マーカをラベリングする画像処理動作を実行させる、プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018082041A JP2019190924A (ja) | 2018-04-23 | 2018-04-23 | モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラム |
| JP2018-082041 | 2018-04-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019208529A1 true WO2019208529A1 (ja) | 2019-10-31 |
Family
ID=68295116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/017110 WO2019208529A1 (ja) | 2018-04-23 | 2019-04-23 | モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2019190924A (ja) |
| WO (1) | WO2019208529A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115414648A (zh) * | 2022-08-30 | 2022-12-02 | 北京华锐视界科技有限公司 | 一种基于动作捕捉技术的足球评测方法及足球评测系统 |
| WO2024125650A1 (en) * | 2022-12-16 | 2024-06-20 | Qualcomm Technologies, Inc. | Regulation methods and tracking methods, systems, devices, and storage media |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3101604U (ja) * | 2003-11-11 | 2004-06-17 | 吉村 恭輔 | イルミネ−ション用具 |
| JP2009544079A (ja) * | 2006-07-11 | 2009-12-10 | ソニー株式会社 | モーションピクチャ又はビデオゲームにおける量子ナノドットの使用 |
| JP2011092657A (ja) * | 2009-11-02 | 2011-05-12 | Newcom Inc | 複数の光源を使って操作を行うゲームシステム |
-
2018
- 2018-04-23 JP JP2018082041A patent/JP2019190924A/ja active Pending
-
2019
- 2019-04-23 WO PCT/JP2019/017110 patent/WO2019208529A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3101604U (ja) * | 2003-11-11 | 2004-06-17 | 吉村 恭輔 | イルミネ−ション用具 |
| JP2009544079A (ja) * | 2006-07-11 | 2009-12-10 | ソニー株式会社 | モーションピクチャ又はビデオゲームにおける量子ナノドットの使用 |
| JP2011092657A (ja) * | 2009-11-02 | 2011-05-12 | Newcom Inc | 複数の光源を使って操作を行うゲームシステム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115414648A (zh) * | 2022-08-30 | 2022-12-02 | 北京华锐视界科技有限公司 | 一种基于动作捕捉技术的足球评测方法及足球评测系统 |
| CN115414648B (zh) * | 2022-08-30 | 2023-08-25 | 北京华锐视界科技有限公司 | 一种基于动作捕捉技术的足球评测方法及足球评测系统 |
| WO2024125650A1 (en) * | 2022-12-16 | 2024-06-20 | Qualcomm Technologies, Inc. | Regulation methods and tracking methods, systems, devices, and storage media |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019190924A (ja) | 2019-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190204069A1 (en) | Endoscope system | |
| US8107682B2 (en) | Motion capture using primary and secondary markers | |
| JP4466133B2 (ja) | 移動体計測装置 | |
| JP2006030127A (ja) | カメラ校正システム及び三次元計測システム | |
| WO2019208529A1 (ja) | モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラム | |
| CN108292360A (zh) | 指纹感测及校正设备 | |
| US8638988B2 (en) | Movement analysis and/or tracking system | |
| US11419694B2 (en) | Endoscope system measuring size of subject using measurement auxiliary light | |
| CN106797692A (zh) | 照明偏好裁决 | |
| CN101479690A (zh) | 使用摄像机来生成位置信息 | |
| CN106574831B (zh) | 观察系统 | |
| US9760982B2 (en) | Automatic alignment of a contrast enhancement system | |
| CN102449641A (zh) | 用于对象跟踪的颜色校准 | |
| TWI746973B (zh) | 通過光通信裝置對能夠自主移動的機器進行導引的方法 | |
| CN106537217B (zh) | 宽视野深度成像 | |
| CN108709894B (zh) | 芯片打线检测方法 | |
| US20240029293A1 (en) | Optical tracking system and marker for optical tracking system | |
| JP2012115505A (ja) | 視線検出装置及び視線検出方法 | |
| JP2003348424A (ja) | 動きトラッキング装置およびその方法 | |
| US20190254413A1 (en) | Toothbrush Tracking Apparatus and Method | |
| WO2012060393A1 (ja) | ターゲット位置追跡装置およびターゲット発光検出装置 | |
| JP2014160017A (ja) | 管理装置、方法及びプログラム | |
| JP2008070343A (ja) | 位置計測システム | |
| US8401818B2 (en) | Golf ball movement measuring apparatus | |
| EP3830600A2 (en) | Active marker device and method of design thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19793969 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19793969 Country of ref document: EP Kind code of ref document: A1 |