WO2022075116A1 - 情報表示装置及び情報表示方法 - Google Patents

情報表示装置及び情報表示方法 Download PDF

Info

Publication number
WO2022075116A1
WO2022075116A1 PCT/JP2021/035518 JP2021035518W WO2022075116A1 WO 2022075116 A1 WO2022075116 A1 WO 2022075116A1 JP 2021035518 W JP2021035518 W JP 2021035518W WO 2022075116 A1 WO2022075116 A1 WO 2022075116A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
viewpoint
posture
degree
teacher
Prior art date
Application number
PCT/JP2021/035518
Other languages
English (en)
French (fr)
Inventor
潤爾 大山
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Publication of WO2022075116A1 publication Critical patent/WO2022075116A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a technique for displaying information about a user or an object.
  • the present invention has been made to solve such a problem, and the movement and posture of a person or object and the movement or posture of an image of a person or object to be compared, such as a goal, realization, model, or correct answer. It is an object of the present invention to provide an information display device and an information display method capable of effectively presenting a difference.
  • the present invention has a storage unit that stores teacher information indicating the model posture of the user or the object that the user wants to control, and the posture and storage indicated by the posture information indicating the current posture of the user or the object.
  • the posture shown in the teacher information stored in the unit is projected onto the two-dimensional coordinate space from multiple viewpoints, the difference in position in the above coordinate space is calculated, the degree of disagreement at each viewpoint is calculated, and the display target is displayed.
  • the viewpoint to be used is selected according to the degree of disagreement, and at least one of the posture information and the teacher information viewed from the direction of the selected viewpoint is displayed in two or three dimensions, or the posture information viewed from the selected viewpoint is displayed.
  • the teacher information is superimposed and displayed in two or three dimensions, or the information for correcting the deviation between the posture shown in the posture information and the posture shown in the teacher information from the selected viewpoint is displayed in two dimensions.
  • an information display device provided with a calculation unit for displaying in three dimensions is provided.
  • the present invention obtains the first step of acquiring the teacher information indicating the model posture of the user or the object that the user wants to control, and the posture information indicating the current posture of the user or the object.
  • the second step, the third step of projecting the posture shown in the posture information and the posture shown in the teacher information onto the two-dimensional coordinate space from multiple viewpoints, and the difference in position in the above coordinate space are calculated.
  • At least one of the teacher information is displayed in two or three dimensions, or the posture information and the teacher information viewed from the selected viewpoint are superimposed and displayed in two or three dimensions, or viewed from the selected viewpoint.
  • an information display method having a sixth step of displaying information for correcting a difference between the posture shown in the posture information and the posture shown in the teacher information in two or three dimensions.
  • an information display device and an information display method capable of effectively presenting a difference between the movement or posture of a person or object and the movement or posture of an image of a person or object to be compared. can.
  • FIG. 1 is a block diagram showing an overall configuration of an information display device 1 according to an embodiment of the present invention.
  • the information display device 1 is a display unit 2 including a terminal T, a bus B connected to the terminal T, and a monitor or the like connected to the bus B, respectively.
  • It includes an information acquisition unit 3, a calculation unit 4 including a central processing unit (CPU) and the like, a storage unit 5 including a memory and the like, and an input unit 6 including an interface for inputting a user's instruction.
  • CPU central processing unit
  • storage unit 5 including a memory and the like
  • an input unit 6 including an interface for inputting a user's instruction.
  • the information acquisition unit 3 means a part that fulfills a function of sending information indicating the posture and movement of a person or an object to the calculation unit 4 as the first stage of the information display device 1. Specifically, it is composed of an input device such as a motion capture, a camera, and a laser, and this device may be outside the information display device 1.
  • FIG. 2 is a flowchart showing an information display method according to an embodiment of the present invention.
  • the present information display method is an information display device. Needless to say, it is not limited to the case where it is realized by using 1.
  • step S1 the information display device 1 acquires teacher information indicating a model posture such as a model posture that the user wants to realize with his / her own body or an object that the user wants to control from the outside, and via the terminal T and the bus B. And store it in the storage unit 5.
  • the "posture” includes not only a stationary posture including the position, angle, and shape of a person or object in space, but also a dynamic posture (same below).
  • the information acquired by the information acquisition unit 3 may be used as the teacher information.
  • step S2 the information acquisition unit 3 acquires posture information indicating the current posture of the user or the above object. Specifically, for example, the position, angle, speed, acceleration, etc. of the user's joint or body part are measured in real time.
  • posture information may be acquired by a device (not shown) existing outside the information display device 1.
  • step S3 the calculation unit 4 sets the posture shown in the posture information acquired in step S2 and the posture shown in the above teacher information on a plane from a plurality of viewpoints, that is, a two-dimensional coordinate space. Project to.
  • the plane may be a different plane corresponding to each viewpoint.
  • the viewpoint means a viewpoint from all directions of 360 degrees including the horizontal 360 degrees and the vertical direction of the user or the object.
  • this viewpoint not only the viewpoints in all directions but also the viewpoints from some directions or the viewpoints satisfying predetermined conditions such as the same direction but different spatial positions are selectively adopted. May be.
  • the teacher information D for performing squats is shown by a broken line
  • the posture information d of a user who is actually performing squats is shown by a solid line.
  • the information obtained by projecting these information onto the plane PL1 from the viewpoint from the front of the user becomes the projection information D1 and d1, respectively.
  • the information obtained by projecting the teacher information D and the posture information d onto the plane PL2 from the viewpoint from the left side of the user becomes the projection information D2 and d2, respectively.
  • the deviation between the projection information D1 and the projection information d1 on the plane PL1 is large due to the degree of opening of the user's feet, but the lateral direction of the user. It can be seen that there is almost no deviation between the projection information D2 and the projection information d2 on the plane PL2 when viewed from the above.
  • step S4 the calculation unit 4 calculates the difference in position on the plane, calculates the degree of disagreement at each viewpoint, and stores the result in the storage unit 5.
  • the information acquisition unit 3 acquires not the three-dimensional information as the attitude information but the two-dimensional information projected on the plane from a certain viewpoint, and the calculation unit 4 uses the two-dimensional information to obtain the difference in position. May be calculated.
  • the solid line in FIG. 4 shows the projection information dx obtained by projecting the attitude information d onto a plane
  • the broken line shows the projection information Dx obtained by projecting the teacher information D onto the plane.
  • the deviation between the teacher information D and the posture information d is, for example, for each joint included in the teacher information D, specifically, between the joint Dj1 of the teacher information and the joint dj1 of the corresponding posture information.
  • the distance L1 on the plane is obtained, and similarly, the difference in the joint positions in the plane is also obtained as the deviation in the joint j2 and all other joints.
  • the degree of disagreement from the viewpoint direction is calculated from the total, product, or average of the deviations of each joint.
  • weighting is performed according to the importance of the deviation between the teacher information D and the posture information d, and the circumference of the joint Dj1 is weighted in the plane.
  • the weighting factor may be set in different ways around the joint Dj2. That is, for example, when the joint dj1 of the posture information d is included in the region of the radius r1 centered on Dj1 by the first weighting coefficient r1 around the joint Dj1, the degree of deviation mismatch is evaluated as zero.
  • the weight coefficient r2 is set, and when the weight coefficient r2 is smaller than the weight coefficient r1, that is, the importance is high, the distances L1 and L2 in the joint j1 and the joint j2 in the plane are ,
  • the joint dj2 is not included in the range from the joint Dj2 to the radius r2, and is calculated as a positive value other than zero as the discrepancy evaluation value, for example, 1 or L2.
  • the difference in joint position in the plane is obtained as a deviation.
  • the degree of disagreement from the viewpoint direction may be calculated from the total, product, or average of the deviations of each joint.
  • weighting coefficients may be set for one joint. Further, the weighting coefficient may be set to a different value corresponding to the difference in the joint position in the viewpoint direction or the depth direction as seen from the viewpoint direction.
  • the weighting coefficient is projected information shown by a broken line in which a plane from a certain viewpoint is divided into cells in a grid pattern and joints, links, and body teacher information D are projected onto the plane. From Dx, the evaluation value of the cell including the position is set to zero, the mismatch evaluation value map having a larger value is stored in the storage unit 5, and the calculation unit 4 stores the projection information dx about the posture information d.
  • the degree of disagreement of the entire posture can be determined. It may be calculated with the cell as the minimum unit.
  • the degree of disagreement is between the projection information dx obtained by projecting the attitude information d onto a certain plane and the projection information Dx obtained by projecting the teacher information D onto the plane.
  • the area of the cross-hatched deviation may be calculated and obtained.
  • step S5 the calculation unit 4 selects the viewpoint to be displayed according to the degree of disagreement. Specifically, for example, when the arithmetic unit 4 selects the viewpoint that maximizes the degree of inconsistency calculated in step S4, in the example shown in FIG. 3, the viewpoint from the front of the user and the viewpoint from the left side of the user. The viewpoints are compared and the front viewpoint that maximizes the degree of inconsistency is selected.
  • the degree of disagreement in the plane for each viewpoint may be multiplied by a coefficient corresponding to the line-of-sight direction to specify the maximum value of the viewpoint direction.
  • the calculation unit 4 may select a viewpoint whose degree of disagreement is up to the upper N (N is a natural number) th or higher than the threshold value set by the degree of disagreement.
  • step S6 the calculation unit 4 causes the display unit 2 to display at least one of the posture information and the teacher information viewed from the viewpoint selected in step S5, or from the viewpoint selected in step S5.
  • the seen posture information and the teacher information are superimposed and displayed, or the information for correcting the deviation between the posture shown in the posture information seen from the viewpoint selected in step S5 and the teacher information is displayed. ..
  • step S5 when the calculation unit 4 selects the viewpoint that maximizes the degree of disagreement as described above, in the example shown in FIG. 3, the display unit 2 is viewed from the user's front viewpoint. At least one of the posture information and the teacher information is displayed, or the posture information and the teacher information viewed from this viewpoint are superimposed and displayed, or information for performing squats in the correct posture is displayed.
  • step S5 when the calculation unit 4 selects a viewpoint whose degree of disagreement is up to the upper N (N is a natural number) th or a viewpoint whose degree of disagreement is equal to or higher than the set threshold value, the display unit 2 displays these plurality of viewpoints. At least one of the posture information and the teacher information, the superimposed display, or the information for correcting the deviation may be displayed in parallel.
  • the above threshold value when the above threshold value is set, no information is displayed when the degree of mismatch is smaller than the threshold value, and the above information is displayed only when the degree of mismatch is equal to or higher than the threshold value. You may want to switch on and off. Further, when the degree of disagreement is smaller than the threshold value, no information may be displayed and the viewpoint may be changed to another.
  • a three-dimensional image may be used in addition to the two-dimensional image. Further, these images can be displayed in a virtual reality space, an augmented reality space, a mixed reality space, or the like, in addition to the display in the real space.
  • steps S2 to S6 may be executed in real time, or may be executed at the timing instructed by the user to the input unit 6 or at the set time.
  • step S6 may be executed at each time when the degree of inconsistency exceeds a preset threshold value.
  • the teacher information D may also be acquired and updated in real time.
  • the arithmetic unit 4 updates the viewpoint to another viewpoint when the degree of inconsistency satisfies a predetermined condition or receives a viewpoint update command from the user, and then steps S3 to S6. May be executed.
  • the image seen from the right side is displayed while the deviation seen from the main viewpoint is large, and the user.
  • the image can be switched to and displayed from another viewpoint, for example, another viewpoint having the maximum degree of inconsistency, at the timing when the above-mentioned deviation becomes small and this condition is satisfied.
  • the calculation unit 4 compares the enlarged and displayed parts from the viewpoint in the space where the entire posture is not included in the display range obtained from one viewpoint and only a certain part is enlarged, and the deviation between them. You may choose the viewpoint position where is displayed at the maximum.
  • the calculation unit 4 changes the distance (magnification ratio) between a person or an object and the viewpoint from a viewpoint from one direction, and puts the whole body or enlarges only a part of the viewpoint.
  • the viewpoint with the largest deviation on the plane may be selected and displayed on the display unit 2.
  • the arithmetic unit 4 selects the viewpoint in which the deviation is displayed to the maximum from the various viewpoints in which the position of the viewpoint, the direction of the viewpoint, and the distance between the viewpoint and a person or an object are different as described above. It may be displayed on the display unit 2.
  • the calculation unit 4 may compare the two posture information with each other and display the two posture information to the user or a third party instead of comparing the posture information d of the user and the teacher information D.
  • the calculation unit 4 displays at least one of the posture information and the teacher information seen from the selected viewpoint, or when the posture information and the teacher information seen from the selected viewpoint are superimposed and displayed, the calculation unit 4 displays.
  • the mirror image may be displayed on the display unit 2.
  • the calculation unit 4 may display the information on a device (not shown) existing outside the information display device 1 instead of the display unit 2.
  • the arithmetic unit 4 displays at least one of the posture information and the teacher information viewed from the direction of the viewpoint selected in step S5 and the viewpoints around the head-mounted display or the three-dimensional display. Is displayed as a three-dimensional image, or the posture information and teacher information viewed from the viewpoint selected in step S5 are superimposed and displayed as a three-dimensional image, or are shown in the posture information viewed from the selected viewpoint. Information for correcting the deviation between the posture and the posture shown in the teacher information may be displayed in three dimensions.
  • the information display device and the information display method according to the embodiment of the present invention there is a difference in the image between the movement or posture of a person or object and the movement or posture of a person or object to be compared. Can automatically find and display large angles. This makes it easier for the user to recognize the difference between the two movements and postures, so that these movements and postures can be matched accurately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

人や物の動きや姿勢と、目標、実現、お手本、正解など、比較したい人や物の画像の動きや姿勢との差を効果的に提示することができる情報表示装置及び情報表示方法を提供することを課題とする。　本課題を解決するため、ユーザ若しくはユーザが制御したい物の模範姿勢を示す教師情報を記憶する記憶部５と、ユーザ若しくは物の現在における姿勢を示す姿勢情報に示された姿勢と記憶部５に記憶された教師情報に示された姿勢を、複数の視点から二次元座標空間に投影し、上記座標空間における位置の差を計算して各視点における不一致度を算出すると共に、表示対象とする視点を不一致度に応じて選択し、選択された視点の方向から見た姿勢情報と教師情報の少なくとも一方を二次元若しくは三次元で表示し、又は、選択された視点から見た姿勢情報と教師情報を重畳して二次元若しくは三次元で表示させ、又は、選択された視点から見た姿勢情報に示された姿勢と教師情報に示された姿勢のずれを補正するための情報を二次元若しくは三次元で表示させる演算部４を備えた情報表示装置１を提供する。

Description

情報表示装置及び情報表示方法
　本発明は、ユーザ若しくは物に関する情報を表示する技術に関するものである。
　近年においては、仮想現実（Virtual Reality：VR）空間や拡張現実（Augmented Reality：AR）空間のほか、特許文献１に示されるような複合現実（Mixed Reality：MR）空間を生成するための画像技術が種々開発されている。
特開２００４－１２６８６９号公報
　リハビリ、技能訓練、スポーツ教育や伝統芸能伝承などにおいては、人や物の位置、姿勢や動きを、正しい位置、姿勢や動きに精度よく一致させることが必要である。
　そして、精度よく一致させるためには、ある状態ともう一つの状態、例えば現在の状態と正解の状態、との差を認識し、この差がなくなるように修正していくことが重要である。しかし、見る角度や注目している部分によっては、正解の位置や姿勢との差がない、つまり正しい位置や姿勢であると誤認してしまい、上記の差を正しく認識することは難しかった。
　本発明は、このような課題を解決するためになされたもので、人や物の動きや姿勢と、目標、実現、お手本、若しくは正解など、比較したい人や物の画像の動きや姿勢との差を効果的に提示することができる情報表示装置及び情報表示方法を提供することを目的とする。
　上記課題を解決するため、本発明は、ユーザ若しくはユーザが制御したい物の模範姿勢を示す教師情報を記憶する記憶部と、ユーザ若しくは物の現在における姿勢を示す姿勢情報に示された姿勢と記憶部に記憶された教師情報に示された姿勢を、複数の視点から二次元座標空間に投影し、上記座標空間における位置の差を計算して各視点における不一致度を算出すると共に、表示対象とする視点を不一致度に応じて選択し、選択された視点の方向から見た姿勢情報と教師情報の少なくとも一方を二次元若しくは三次元で表示させ、又は、選択された視点から見た姿勢情報と教師情報を重畳して二次元若しくは三次元で表示させ、又は、選択された視点から見た姿勢情報に示された姿勢と教師情報に示された姿勢のずれを補正するための情報を二次元若しくは三次元で表示させる演算部を備えた情報表示装置を提供する。
　また、上記課題を解決するため、本発明は、ユーザ若しくはユーザが制御したい物の模範姿勢を示す教師情報を取得する第一のステップと、ユーザ若しくは物の現在における姿勢を示す姿勢情報を取得する第二のステップと、姿勢情報に示された姿勢と教師情報に示された姿勢を、複数の視点から二次元座標空間に投影する第三のステップと、上記座標空間における位置の差を計算して各視点における不一致度を算出する第四のステップと、表示対象とする視点を不一致度に応じて選択する第五のステップと、第五のステップで選択された視点の方向から見た姿勢情報と教師情報の少なくとも一方を二次元若しくは三次元で表示し、又は、選択された視点から見た姿勢情報と教師情報を二次元若しくは三次元で重畳表示し、又は、選択された視点から見た姿勢情報に示された姿勢と教師情報に示された姿勢のずれを補正するための情報を二次元若しくは三次元で表示する第六のステップを有する情報表示方法を提供する。
　本発明によれば、人や物の動きや姿勢と、比較したい人や物の画像の動きや姿勢との差を効果的に提示することができる情報表示装置及び情報表示方法を提供することができる。
本発明の実施の形態に係る情報表示装置１の全体構成を示すブロック図である。 本発明の実施の形態に係る情報表示方法を示すフローチャートである。 図２に示されたステップＳ３における平面への投影例を示す図である。 図２に示されたステップＳ４における不一致度の第一の算出方法を説明するための図である。 図２に示されたステップＳ４における不一致度の第二の算出方法を説明するための図である。 図２に示されたステップＳ４における不一致度の第三の算出方法を説明するための図である。 図２に示されたステップＳ４における不一致度の第四の算出方法を説明するための図である。 図２に示されたステップＳ４における不一致度の第五の算出方法を説明するための図である。
　以下において、本発明の実施の形態を、図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
　図１は、本発明の実施の形態に係る情報表示装置１の全体構成を示すブロック図である。図１に示されるように、本発明の実施の形態に係る情報表示装置１は、端子Ｔと、端子Ｔに接続されたバスＢと、それぞれバスＢに接続されたモニタ等からなる表示部２、情報取得部３、中央演算処理装置（ＣＰＵ）等からなる演算部４、及びメモリ等からなる記憶部５、及びユーザの指示を入力するためのインターフェイスからなる入力部６を備える。
　ここで、情報取得部３は、情報表示装置１における初段として、人や物の姿勢や動作を示す情報を演算部４へ送る機能を果たす部分を意味する。具体的には、モーションキャプチャ、カメラ、レーザーなどの入力装置により構成され、本装置は情報表示装置１の外にあっても良い。
　図２は、本発明の実施の形態に係る情報表示方法を示すフローチャートである。以下においては、本発明の実施の形態に係る情報表示方法を図１に示された情報表示装置１を用いて実現する場合を例に挙げて説明するが、本情報表示方法は、情報表示装置１を用いて実現する場合に限られないことは言うまでもない。
　ステップＳ１では、情報表示装置１は、ユーザが自分自身の体で実現したいお手本の姿勢、若しくはユーザが制御したい物などといった模範姿勢を示す教師情報を外部から取得し、端子Ｔ及びバスＢを介して記憶部５に記憶する。ここで、「姿勢」とは、空間中の人や物の位置や角度や形状などを含む静止した姿勢だけでなく、動的な姿勢である動作の意味も含む（以下同様）。なお、情報取得部３で取得した情報を上記教師情報としてもよい。
　次に、ステップＳ２では、情報取得部３が、ユーザ若しくは上記物の現在における姿勢を示す姿勢情報を取得する。具体的には、例えば、ユーザの関節や身体部位の位置、角度、速度、加速度などをリアルタイムに計測する。なお、情報取得部３の替わりに、情報表示装置１の外部に存在する装置（図示していない）によって姿勢情報を取得しても良い。
　次に、ステップＳ３では、演算部４は、ステップＳ２で取得された姿勢情報に示された姿勢と上記の教師情報に示された姿勢を、複数の視点からある平面、すなわち二次元の座標空間に投影する。なお、上記平面は、特定の平面であるほかに、各視点に対応した異なる平面であってもよい
　また、上記視点は、上記ユーザ若しくは上記物の水平３６０度と垂直方向を含む３６０度の全方向からの視点を意味する。なお、本視点としては、全方位の視点を採用するだけでなく、一部の方位からの視点や、例えば方向は同じで空間位置が異なるといった所定の条件を満たす視点だけを選択的に採用しても良い。
　ここで、上記平面への投影例を、図３を参照しつつ説明する。図３においては、スクワットを行うための上記教師情報Ｄは破線で示され、実際にスクワットを行っているユーザの上記姿勢情報ｄは実線で示される。このとき、これらの情報をユーザの正面からの視点により平面ＰＬ１へ投影した情報がそれぞれ、射影情報Ｄ１，ｄ１となる。また同様に、教師情報Ｄ及び姿勢情報ｄをユーザの左側からの視点により平面ＰＬ２へ投影した情報がそれぞれ、射影情報Ｄ２，ｄ２となる。
　図３に示された例では、ユーザの正面方向から見た場合にはユーザの足の開き具合により射影情報Ｄ１と射影情報ｄ１の平面ＰＬ１上におけるずれが大きくなっているが、ユーザの横方向から見た場合には射影情報Ｄ２と射影情報ｄ２の平面ＰＬ２上におけるずれはほとんど生じていないことが分かる。
　次に、ステップＳ４では、演算部４は、上記平面における位置の差を計算して各視点における不一致度を算出し、その結果を記憶部５に記憶させる。なお、情報取得部３において、上記姿勢情報として３次元情報ではなく、ある視点からの平面に投射された２次元情報を取得すると共に、演算部４は当該２次元情報を用いて上記位置の差を計算するようにしても良い。
　ここで、不一致度の算出においては、例えば、ユーザの筋骨格構造の中で、関節や部位によって、また、姿勢や一連の動作の中の時間によって、ある視点から見た時の物理的な位置の差に異なる重みづけをすることが考えられる。以下においては、図４から図８を参照しつつ、不一致度の算出方法の具体例について説明する。
　図４の実線は上記姿勢情報ｄがある平面に投影されて得られる射影情報ｄｘを示し、破線は上記教師情報Ｄが上記平面に投影されて得られる射影情報Ｄｘを示す。
　ここで、教師情報Ｄと姿勢情報ｄの間のずれは、例えば上記教師情報Ｄに含まれる関節毎に、具体的には教師情報の関節Ｄｊ１と、それに対応する姿勢情報の関節ｄｊ１の間の、当該平面上での距離Ｌ１として求められ、同様にして、関節ｊ２や、他の全ての関節においても、当該平面内での関節位置の差がずれとして求められる。この各関節のずれの総和、または積、または平均などからその視点方向からの不一致度を算出する。
　また、図５に示されるように、例えば上記教師情報Ｄに含まれる関節毎に、教師情報Ｄと姿勢情報ｄの間のずれの重要度に応じて重みづけを行い、当該平面において関節Ｄｊ１周りと関節Ｄｊ２周りで異なる態様で重み係数を設定しても良い。すなわち、例えば、関節Ｄｊ１周りで第一の重み係数ｒ１によって、Ｄｊ１を中心とする半径ｒ１の領域に姿勢情報ｄの関節ｄｊ１が含まれる場合、ずれの不一致度はゼロと評価する。同様の計算によって、関節ｊ２では、重み係数ｒ２と設定し、重み係数ｒ２が重み係数ｒ１より小さい、すなわち重要度が高い場合、当該平面内での関節ｊ１や関節ｊ２における上記距離Ｌ１，Ｌ２は、ほぼ同じであるが、当該平面において関節ｄｊ２は関節Ｄｊ２から半径ｒ２の範囲に含まれず、不一致度評価値としてゼロ以外のプラスの値、例えば、１やＬ２と計算される。他の全ての関節においても、当該平面内での関節位置の差がずれとして求められる。この各関節のずれの総和、または積、または平均などからその視点方向からの不一致度を算出してもよい。
　なお、１つの関節に複数の重み係数を設定しても良い。また、重み係数は、視点方向や視点方向からみた奥行き方向の関節位置の差に対応させて異なる値を設定してもよい。
　また重み係数は、図６に示されるように、ある視点からの平面を格子状（グリッド）にセルで分割し、関節やリンクや身体の教師情報Ｄを平面に投影した破線で示される射影情報Ｄｘから、その位置を含むセルの評価値をゼロ、そこから遠いセルほど大きな値を持つ不一致度評価値マップを記憶部５に格納しておき、演算部４が姿勢情報ｄについての射影情報ｄｘの関節やリンクの位置と上記マップとを照合し、両者が重なったセルの値、例えば図中黒地に白抜き数字で示された値、を積算することによって、その姿勢全体の不一致度を、セルを最小単位として算出しても良い。
　また、図７に示されるように、関節やリンクではなく、ある視点からみた人や物の形状自体のずれや、図７のクロスハッチングされたずれ部分Ｈの面積や、それに部位ごとの重み係数を乗じた値から、不一致度を算出しても良い。
　また、不一致度は、図８に示されるように、姿勢情報ｄがある平面に投影されて得られる射影情報ｄｘと、教師情報Ｄが上記平面に投影されて得られる射影情報Ｄｘとの間のクロスハッチングされたずれの面積を計算して求めるようにしても良い。
　次に、ステップＳ５において演算部４は、表示対象とする視点を不一致度に応じて選択する。具体的には例えば、演算部４は、ステップＳ４で算出された不一致度が最大になる視点を選択する場合、図３に示された例では、ユーザの正面からの視点とユーザの左側からの視点が比較され、不一致度が最大になる正面からの視点が選択されることになる。
　なお、視点方向ごとの不一致度を比較する際、視点ごとの当該平面における不一致度に視線方向に対応した係数を乗じて、最大値となる視点方向を特定するようにしてもよい。
　また、演算部４は、不一致度が上位Ｎ（Ｎは自然数）番目まで、又は、不一致度が設定した閾値以上の視点を選択しても良い。
　次に、ステップＳ６では、演算部４が表示部２に対して、ステップＳ５で選択された視点から見た姿勢情報と教師情報の少なくとも一方を表示させ、若しくは、ステップＳ５で選択された視点から見た姿勢情報と教師情報を重畳表示させ、又は、ステップＳ５で選択された視点から見た姿勢情報に示された姿勢と教師情報に示された姿勢のずれを補正するための情報を表示させる。
　従って、ステップＳ５において演算部４が上記のように、不一致度が最大になる視点を選択する場合には、図３に示された例においては、表示部２にはユーザの正面の視点から見た姿勢情報と教師情報の少なくとも一方が表示され、若しくは本視点から見た姿勢情報と教師情報が重畳表示され、又は正しい姿勢でスクワットを行うための情報が表示される。
　また、ステップＳ５において演算部４が、不一致度が上位Ｎ（Ｎは自然数）番目まで、又は、不一致度が設定した閾値以上の視点を選択する場合には、表示部２は、これら複数の視点について、姿勢情報と教師情報の少なくとも一方、若しくは上記重畳表示、又は、上記ずれを補正するための情報を並列的に表示しても良い。
　ここで、上記のような閾値を設定した場合、不一致度が当該閾値よりも小さい場合には何らの情報も表示せず、不一致度が当該閾値以上になった場合だけ上記情報を表示させるよう表示のオンとオフを切り替えるようにしても良い。また、不一致度が当該閾値よりも小さい場合には何らの情報も表示せず、視点を他に変化させるようにしても良い。
　また、表示部２による表示では、２次元画像のほか、３次元画像を使用してもよい。また、これらの画像は、現実空間のディスプレイのほか、仮想現実空間、拡張現実空間、若しくは複合現実空間等に表示させることができる。
　また、上記のステップＳ２からステップＳ６は、リアルタイムに実行するほか、入力部６へユーザが指示したタイミング、又は、設定した時間毎に実行するようにしてもよい。
　また、ステップＳ６は、上記不一致度が予め設定した閾値を上回った時点毎に実行するようにしてもよい。
　また、記憶部５には、教師情報Ｄそのものではなく、図６に示されたセルごとの評価値、すなわち教師姿勢Ｄから算出される視点方向ごとの平面内での評価値を予め視点方向ごとに求めた値、を記憶しておいてもよい。
　また、上記において、教師情報Ｄについてもリアルタイムに取得して更新するようにしてもよい。
　また、演算部４は、さらに、上記不一致度が予め定めた条件を満たし、若しくはユーザからの視点更新命令があった場合に、上記視点を他の視点へ更新した上で、ステップＳ３からステップＳ６を実行するようにしても良い。
　本機能によれば、例えば、右側の視点から見た不一致度が所定値より小さくなるという条件を予め設定した場合、本視点から見たずれが大きい間は右側から見た映像が表示され、ユーザが体を動かすことによって上記ずれが小さくなって本条件を満たしたタイミングで、他の視点、例えば上記不一致度が最大となる他の視点、からの映像に切り替えて表示することができる。
　また、これまでは、ある空間内の位置や姿勢の１点を基準点として、その点を水平垂直にとりまく３６０度方向の等距離からの視点により得られる情報同士を比較する例を示したが、演算部４は、姿勢全体が１つの視点から得られる表示範囲に含まれず、ある部分だけが拡大されるような空間内の視点から、拡大表示された部分同士を比較して、それらのずれが最大に表示される視点位置を選択するようにしてもよい。
　また、演算部４は、１つの方向からの視点で、人や物と視点の距離（拡大率）を変えて、全身を入れたり、部分だけを拡大したりする複数の視点の中で、当該平面上でのずれが一番大きくなる視点を選択して表示部２に表示させるようにしても良い。
　さらに、演算部４は、上記のような視点の位置、視点の方向、及び視点と人や物との距離が異なる種々の視点の中から、上記ずれが最大に表示される視点を選択して表示部２に表示させるようにしても良い。
　また、演算部４は、ユーザの姿勢情報ｄと教師情報Ｄを比較対象とするのではなく、２つの姿勢情報同士を比較してユーザや第三者に表示するようにしても良い。
　また、上記において演算部４は、選択された視点から見た姿勢情報と教師情報の少なくとも一方を表示させ、若しくは、選択された視点から見た姿勢情報と教師情報を重畳表示させる場合には、ユーザに鏡に映った姿と同等の情報を提供するため、表示部２へ鏡像を表示させるようにしても良い。
　また、上記において演算部４は、表示部２の替わりに情報表示装置１の外部に存在する装置（図示していない）へ当該情報を表示させても良い。
　また、図２に示されたステップＳ６において、演算部４は、ステップＳ５で選択された視点やその周辺の視点の方向から見た姿勢情報と教師情報の少なくとも一方をヘッドマウントディスプレイや３次元ディスプレイなどに三次元画像として表示させ、又は、ステップＳ５で選択された視点から見た姿勢情報と教師情報を三次元画像として重畳表示させ、又は、上記選択された視点から見た姿勢情報に示された姿勢と教師情報に示された姿勢のずれを補正するための情報を三次元で表示させても良い。
　以上より、本発明の実施の形態に係る情報表示装置及び情報表示方法によれば、人や物の動きや姿勢と、比較対象とする人や物の動きや姿勢との間の画像上における相違が大きなアングルを自動的に見出して表示することができる。これにより、ユーザにおいては、両者の動きや姿勢の違いを認識しやすくなるため、これらの動きや姿勢を精度よく一致させることができる。
１　情報表示装置、２　表示部、３　情報取得部、４　演算部、５　記憶部、Ｄ　教師情報、ｄ　姿勢情報、ＰＬ１，ＰＬ２　平面。

 

Claims (14)

  1. 　ユーザ若しくは前記ユーザが制御したい物の模範姿勢を示す教師情報を記憶する記憶部と、
    　ユーザ若しくは前記物の現在における姿勢を示す姿勢情報に示された姿勢と前記記憶部に記憶された前記教師情報に示された姿勢を、複数の視点から二次元座標空間に投影し、前記座標空間における位置の差を計算して各視点における不一致度を算出すると共に、表示対象とする視点を前記不一致度に応じて選択し、選択された前記視点の方向から見た前記姿勢情報と前記教師情報の少なくとも一方を二次元若しくは三次元で表示させ、又は、前記選択された前記視点から見た前記姿勢情報と前記教師情報を重畳して二次元若しくは三次元で表示させ、又は、前記選択された前記視点から見た前記姿勢情報に示された姿勢と前記教師情報に示された姿勢のずれを補正するための情報を二次元若しくは三次元で表示させる演算部を備えた情報表示装置。
  2. 　さらに、前記選択された前記視点から見た前記姿勢情報と前記教師情報の少なくとも一方を表示し、若しくは、前記選択された前記視点から見た前記姿勢情報と前記教師情報を重畳表示し、又は、前記選択された前記視点から見た前記姿勢情報に示された姿勢と前記教師情報に示された姿勢のずれを補正するための情報を表示する表示部を備えた、請求項１に記載の情報表示装置。
  3. 　さらに、前記姿勢情報を取得する情報取得部を備えた、請求項１に記載の情報表示装置。
  4. 　前記演算部は、さらに、前記不一致度が所定の条件を満たし、若しくは前記ユーザからの視点更新命令があったと判断した場合には、前記視点を更新した上で演算を実行する、請求項１に記載の情報表示装置。
  5. 　前記演算部は、前記差に前記位置に応じた重み係数を乗じて前記不一致度を算出する、請求項１に記載の情報表示装置。
  6. 　前記演算部は、前記不一致度が上位Ｎ（Ｎは自然数）番目まで、又は、前記不一致度が設定した閾値以上の視点を選択する、請求項１に記載の情報表示装置。
  7. 　前記演算部は、前記選択された前記視点から見た前記姿勢情報と前記教師情報の少なくとも一方を表示させ、若しくは、前記選択された前記視点から見た前記姿勢情報と前記教師情報を重畳表示させる場合には、鏡像を表示させる、請求項１に記載の情報表示装置。
  8. 　ユーザ若しくは前記ユーザが制御したい物の模範姿勢を示す教師情報を取得する第一のステップと、
    　前記ユーザ若しくは前記物の現在における姿勢を示す姿勢情報を取得する第二のステップと、
    　前記姿勢情報に示された姿勢と前記教師情報に示された姿勢を、複数の視点から二次元座標空間に投影する第三のステップと、
    　前記座標空間における位置の差を計算して各視点における不一致度を算出する第四のステップと、
    　表示対象とする視点を不一致度に応じて選択する第五のステップと、
    　前記第五のステップで選択された前記視点の方向から見た前記姿勢情報と前記教師情報の少なくとも一方を二次元若しくは三次元で表示し、又は、前記選択された前記視点から見た前記姿勢情報と前記教師情報を二次元若しくは三次元で重畳表示し、又は、前記選択された前記視点から見た前記姿勢情報に示された姿勢と前記教師情報に示された姿勢のずれを補正するための情報を二次元若しくは三次元で表示する第六のステップを有する情報表示方法。
  9. 　さらに、前記不一致度が所定の条件を満たし、若しくは前記ユーザからの視点更新命令があったか否かを判断するステップを有し、
    　前記不一致度が所定の条件を満たし、若しくは前記ユーザからの視点更新命令があった場合には、前記視点を更新した上で前記第三から第五のステップを実行する、請求項８に記載の情報表示方法。
  10. 　前記第四のステップでは、前記差に、前記位置に応じた重み係数を乗じて前記不一致度を算出する、請求項８に記載の情報表示方法。
  11. 　前記第五のステップでは、前記不一致度が上位Ｎ（Ｎは自然数）番目まで、又は、前記不一致度が設定した閾値以上の視点を選択する、請求項８に記載の情報表示方法。
  12. 　前記第六のステップは、前記不一致度が予め設定した閾値を上回った時点毎に実行する、請求項８に記載の情報表示方法。
  13. 　前記第六のステップでは、前記選択された前記視点から見た前記姿勢情報と前記教師情報の少なくとも一方を表示し、若しくは、前記選択された前記視点から見た前記姿勢情報と前記教師情報を重畳表示させる場合には、鏡像を表示する、請求項８に記載の情報表示方法。
  14. 　前記第二から第六のステップは、リアルタイム、若しくは前記ユーザの指示したタイミングに実行し、又は、設定した時間毎に実行する、請求項８に記載の情報表示方法。

     
PCT/JP2021/035518 2020-10-06 2021-09-28 情報表示装置及び情報表示方法 WO2022075116A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020169344 2020-10-06
JP2020-169344 2020-10-06

Publications (1)

Publication Number Publication Date
WO2022075116A1 true WO2022075116A1 (ja) 2022-04-14

Family

ID=81125926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035518 WO2022075116A1 (ja) 2020-10-06 2021-09-28 情報表示装置及び情報表示方法

Country Status (1)

Country Link
WO (1) WO2022075116A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010517731A (ja) * 2007-02-14 2010-05-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 身体運動を指導及び監督するフィードバック装置
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP2012247991A (ja) * 2011-05-27 2012-12-13 Kddi Corp 類似度評価装置及び方法
WO2014042121A1 (ja) * 2012-09-12 2014-03-20 独立行政法人産業技術総合研究所 動作評価装置及びそのプログラム
JP2014188146A (ja) * 2013-03-27 2014-10-06 Nippon Telegraph & Telephone East Corp 運動姿勢評価装置、運動姿勢評価方法及びコンピュータプログラム
JP2015186531A (ja) * 2014-03-26 2015-10-29 国立大学法人 東京大学 動作情報処理装置、及びプログラム
JP2019024550A (ja) * 2017-07-25 2019-02-21 株式会社クオンタム 検出装置、検出システム、処理装置、検出方法、及び検出プログラム
JP2020005192A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010517731A (ja) * 2007-02-14 2010-05-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 身体運動を指導及び監督するフィードバック装置
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP2012247991A (ja) * 2011-05-27 2012-12-13 Kddi Corp 類似度評価装置及び方法
WO2014042121A1 (ja) * 2012-09-12 2014-03-20 独立行政法人産業技術総合研究所 動作評価装置及びそのプログラム
JP2014188146A (ja) * 2013-03-27 2014-10-06 Nippon Telegraph & Telephone East Corp 運動姿勢評価装置、運動姿勢評価方法及びコンピュータプログラム
JP2015186531A (ja) * 2014-03-26 2015-10-29 国立大学法人 東京大学 動作情報処理装置、及びプログラム
JP2019024550A (ja) * 2017-07-25 2019-02-21 株式会社クオンタム 検出装置、検出システム、処理装置、検出方法、及び検出プログラム
JP2020005192A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US20190200003A1 (en) System and method for 3d space-dimension based image processing
US11967101B2 (en) Method and system for obtaining joint positions, and method and system for motion capture
JP5575652B2 (ja) レンダリングされた像の表示設定を選択するための方法及びシステム
JP7427188B2 (ja) ３ｄポーズ取得方法及び装置
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
CN102301313A (zh) 视觉目标跟踪
JP2005198818A (ja) 身体動作の学習支援システム及び学習支援方法
Martín-Gutiérrez et al. AR_Dehaes: an educational toolkit based on augmented reality technology for learning engineering graphics
JP7129839B2 (ja) 訓練装置、訓練システム、訓練方法、及びプログラム
WO2022075116A1 (ja) 情報表示装置及び情報表示方法
CN113961068B (zh) 一种基于增强现实头盔的近距离实物眼动交互方法
JP6210447B2 (ja) 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法
JP7419969B2 (ja) 生成方法、生成プログラムおよび情報処理装置
JP7370198B2 (ja) 処理システム、情報処理装置、プログラム及び処理方法
EP4260283A1 (en) Generating high fidelity spatial maps and pose evolutions
Tanaka 3D action reconstruction using virtual player to assist karate training
Zhang et al. Behavior Recognition On Multiple View Dimension
KR102239957B1 (ko) 가상 관절 구(sphere)를 이용한 모션 모델링 방법 및 그 장치
US20240221240A1 (en) Display device, method of controlling display device, and computer-readable storage medium
CN112698725B (zh) 一种基于眼动仪跟踪的穿透式屏幕系统的实现方法
CN113259649B (zh) 基于场景摄像头重定位的虚拟现实方法、系统
JPH0251008A (ja) 物体の姿勢推定方法及びその装置
JP3790253B2 (ja) 動画像処理装置
CN118135152A (zh) 一种xr系统中ar植入的虚实融合处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877417

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877417

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP