JP7467293B2 - Simulation system and simulation method - Google Patents
Simulation system and simulation method Download PDFInfo
- Publication number
- JP7467293B2 JP7467293B2 JP2020154077A JP2020154077A JP7467293B2 JP 7467293 B2 JP7467293 B2 JP 7467293B2 JP 2020154077 A JP2020154077 A JP 2020154077A JP 2020154077 A JP2020154077 A JP 2020154077A JP 7467293 B2 JP7467293 B2 JP 7467293B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- user
- hand
- target
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 title claims description 10
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 25
- 239000002131 composite material Substances 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004113 cell culture Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明はバーチャルリアリティ(VR)を利用したシミュレーションシステムとその方法に係り、詳しくは、ユーザに機材、器具、装置等の対象に対する操作を習熟させるための訓練用のシステムに関する。 The present invention relates to a simulation system and method using virtual reality (VR), and more specifically, to a training system for training users to operate objects such as equipment, tools, and devices.
近年、バーチャルリアリティ(VR)を利用した、様々なシミュレーションシステムが実現されている。この種のシステムの一例として、細胞培養工程における無菌操作トレーニング向けVRソリューションが存在する。これは、無菌室内の設備である安全キャビネットや細胞培養に使用する細胞培養用フラスコ、電動ピペッタといった専用の器具を用いた無菌操作環境を仮想空間内に仮想的に再現し、ユーザが製造時の遵守事項を、VRを通して体感学習できるようにしたものである。 In recent years, various simulation systems using virtual reality (VR) have been realized. One example of this type of system is a VR solution for training on sterile operations in cell culture processes. This virtually reproduces a sterile operation environment in a virtual space using specialized equipment such as safety cabinets, cell culture flasks, and electric pipetters, which are equipment used in sterile rooms, and allows users to experience and learn the things that must be observed during manufacturing through VR.
しかしながら、安全キャビネットに於ける現実の操作は、ウィルスによる感染や、その漏洩に警戒しなければならないなど、多くの注意、警戒を必要とするものの、パッド、スティック型のコントローラを利用しただけの訓練は、リアルさ、臨場感に欠け、訓練としては不十分である。 However, while actual operation in a safety cabinet requires great care and vigilance, such as guarding against virus infection and leakage, training using only pad and stick-type controllers lacks realism and a sense of presence, and is insufficient as training.
そこで、下記の特許文献1,2に記載されているように、実際の器具を用いて、器具に対する操作をユーザに対してトレーニングできるVRシステムが提案されている。
Therefore, as described in
VRを利用したシミュレーションシステムは、ユーザが器具を現実的に取り扱えるようにしながら、器具とユーザ(手)夫々の位置姿勢をセンサによって検出し、検出値に基づいて、仮想空間内に、器具とユーザの3次元モデルを再現する。そして、システムは、ユーザの視点、視方向から仮想空間内の3次元モデルを撮影して得られた映像を、ユーザが眼前に装着したヘッドマウントディスプレイに再生することができる。したがって、ユーザは、現実的に安全キャビネット等に触ることなく、仮想空間内に再現された仮想環境において、実際の器具を用いたかのような訓練を体験することができる。 A simulation system that uses VR detects the position and orientation of the instrument and the user (hand) using sensors while allowing the user to handle the instrument realistically, and recreates a three-dimensional model of the instrument and user in a virtual space based on the detection values. The system can then capture an image of the three-dimensional model in the virtual space from the user's viewpoint and viewing direction, and play the resulting image on a head-mounted display worn in front of the user's eyes. Thus, the user can experience training as if they were using actual instrument in a virtual environment recreated in a virtual space, without actually touching a safety cabinet or the like.
しかしながら、既述の特許文献1,2に係るVRシステム等、従来のシミュレーションシステムは、器具の位置姿勢と、器具を操作する人体の位置姿勢とを、そもそも、精度が決して十分とは言えないセンサを介して、かつ、夫々別々に検出して、仮想空間に、複数のモデルを複合させていたため、複数のモデルの位置や姿勢が整合しきれない映像を再生してしまうことが頻繁にあった。既述の安全キャビネットでの器具の取扱いなど、ユーザの繊細な動作をシミュレートさせようとすると、例えば、複数のモデル間で僅かながらにもずれがある場合、ユーザに与える違和感は決して無視できないものになっていた。
However, conventional simulation systems, such as the VR systems in the above-mentioned
そこで、本発明は、人が器具を取り扱う操作をVRに基づいてシミュレートする際、ユーザにとって違和感が無いように、ユーザ及び器具夫々の3次元モデルを仮想空間内で再現可能なシステム、方法を提供することを目的とする。 The present invention aims to provide a system and method that can reproduce three-dimensional models of a user and an appliance in a virtual space so that the user feels comfortable when simulating the operation of a person handling an appliance based on VR.
前記目的を達成するために、本発明は、コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートするシステムであって、前記コンピュータは、コントローラと、メモリと、を備え、前記コントローラは、前記メモリに記録されたバーチャルリアリティプログラムを実行して、前記対象を操作するユーザの情報を第1の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、前記対象の情報を第2の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、前記ユーザによる前記対象の操作を判定し、当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、というものである。 To achieve the above object, the present invention is a system in which a computer uses virtual reality to simulate the operation of an object by a user, the computer comprising a controller and a memory, and the controller executes a virtual reality program recorded in the memory to retrieve information about a user who operates the object from a first device, set a model of the user based on the information about the user, retrieve information about the object from a second device, set a model of the object based on the information about the object, place the user model in a virtual space based on characteristics of the user model, place the object model in the virtual space based on characteristics of the object model, determine the operation of the object by the user, adjust the placement of the user model and the object model in the virtual space based on the determination, and output an image of the user model and the object model in the virtual space captured from a virtual viewpoint to a display device.
本発明によれば、人が器具を取り扱う操作をVRに基づいてシミュレートする際、ユーザにとって違和感が無いように、ユーザ及び器具夫々の3次元モデルを仮想空間内で再現可能なシステムとその方法を提供することができる。 The present invention provides a system and method capable of reproducing three-dimensional models of a user and an appliance in a virtual space so that the user feels comfortable when simulating the operation of a person handling an appliance based on VR.
本発明に係るシミュレーションシステムは、ユーザの操作対象の機材、器具等の実物に近い模型を利用して、ユーザに、器具の操作のための訓練を提供するというものである。実施形態は、VR環境下において、ユーザに、安全キャビネットに於ける細胞の取り扱い等、危険を伴う諸操作のための訓練シミュレーションを説明する。実施形態は、電動ピペッタの実物に近い模型をユーザが実際に操作、取り扱えるようにすることを説明する。 The simulation system according to the present invention provides a user with training in operating instruments by utilizing a model that closely resembles the actual equipment, instruments, etc. that the user will operate. The embodiment describes a training simulation for various operations that involve risk, such as handling cells in a safety cabinet, in a VR environment. The embodiment describes how the user can actually operate and handle a model that closely resembles the actual electric pipettor.
シミュレーションシステムは、VRを実現するためのコンピュータを有する。コンピュータは、模型(ピペットデバイス)の位置姿勢とピペットデバイスを把持するユーザ(手)の位置姿勢とに基づいて、これらのモデルを仮想3次元空間に設定する。コンピュータは、所定の視点(仮想カメラ)から仮想空間を見た映像を、ユーザが頭部から眼前に被るヘッドマウントディスプレイ(表示装置)に、手のモデルがピペットデバイスのモデルを把持しながら操作する仮想モデルを再生する。 The simulation system has a computer for realizing VR. The computer sets these models in a virtual three-dimensional space based on the position and orientation of the model (pipette device) and the position and orientation of the user (hand) holding the pipette device. The computer plays an image of the virtual space viewed from a specific viewpoint (virtual camera) on a head-mounted display (display device) worn by the user on the head, and displays a virtual model in which the hand model holds and manipulates a model of a pipette device.
仮想カメラの位置(視点)と視方向はヘッドマウントディスプレイ内のセンサによって決定される。ピペットデバイスの位置と姿勢の情報は、ピペットデバイス内のセンサによって検出される。ピペットデバイスを掴んでいる手の位置と姿勢の情報は、ユーザが手に被せたグローブデバイスのセンサによって検出される。 The position (viewpoint) and viewing direction of the virtual camera are determined by sensors in the head-mounted display. Information on the position and orientation of the pipette device is detected by sensors in the pipette device. Information on the position and orientation of the hand holding the pipette device is detected by sensors in the glove device that the user wears on his or her hand.
ユーザは、手の位置と姿勢、各指の位置と姿勢とを調節しながらピペットデバイスを把持し、これを操作する。ところが、コンピュータは、グローブデバイスとピペットデバイスとからの情報を別々にセンシングしていることと、位置や姿勢をセンシングすることはそもそも容易ではないことから、ユーザはピペットデバイスを実際に把持しているのに、仮想空間内のモデルでは、手のモデルがピペットデバイスモデルを把持すべき位置や姿勢からずれ、これがそのまま映像となって、ユーザに視認されることが頻繁にあった。 A user grasps and operates the pipette device while adjusting the position and posture of their hand and the position and posture of each finger. However, because a computer senses information from the glove device and the pipette device separately, and because sensing position and posture is not easy in the first place, even though the user is actually holding the pipette device, in the model in the virtual space, the hand model is often shifted from the position and posture in which the pipette device model should be grasped, and this is displayed as an image and is visible to the user.
このとき、ユーザはピペットデバイスを把持しているにも拘らず、映像にずれがあると、これが強い違和感となって、ユーザの繊細であるべき操作に影響を与え、訓練に悪影響を及ぼす。安全キャビネット内での電動ピペッタの操作のように、注意を払いつつ、微細な動作が必要となるような環境のための訓練に与える、違和感の影響は決して小さいものではない。 At this time, even though the user is holding the pipette device, if there is a misalignment in the image, this creates a strong sense of discomfort, affecting the user's delicate operation and negatively impacting the training. The impact of discomfort on training in an environment that requires careful and delicate movements, such as operating an electric pipette inside a safety cabinet, is by no means small.
そこで、シミュレーションシステムは、ユーザが器具を操作可能になった際に、器具(電動ピペッタ)モデルとユーザ(手)のモデルとの間のずれを解消するようにしている。 Therefore, the simulation system is designed to eliminate the misalignment between the instrument (electric pipetter) model and the user (hand) model when the user is able to operate the instrument.
図1は、シミュレーションシステムのハードウェア構成図の一例である。シミュレーションシステム1は、コンピュータ10と、ピペットデバイス(ユーザの操作対象)12と、ユーザの左右何れかの手あるいは両手に装着するグローブデバイス14と、ヘッドマウントディスプレイ(HMD:表示装置)16とを備える。コンピュータ10は、コントローラ20、メモリ22、補助記憶装置24を備える。ピペットデバイス12、グローブデバイス14、ヘッドマウントディスプレイ16は、入力出力I/Fを介してコンピュータ10に接続されている。コントローラ20はCPU及びGPUを備える。メモリ22は、RAMおよびROMなどの記憶媒体から構成される。入力出力I/Fは、無線LAN又は有線LANに接続するためのNICとして構成される。コントローラ20は、ピペットデバイス12、そして、グローブデバイス14からの情報を取り込み、センサデータ、モデルデータ等VR処理の過程で処理されるデータをメモリ22に記録する。補助記憶装置24はコンピュータ10の外部装置として構成されてもよい。
Figure 1 is an example of a hardware configuration diagram of a simulation system. The
ピペットデバイス12は、図2に示す様に、電動ピペッタに似せた模型であり、ハンドル120と、ハンドルの上端から斜め上方に突出する本体122と、本体先端のヘッド124とを備える。ヘッド124から下方に短尺の疑似ノズル126が突出している。ユーザは、ハンドル120上端部から突出するボタンの端面に指を添えながら、ハンドルの上端部を握って、ピペットデバイスを支える。人差し指130が第1ボタンの端面に当接し、中指132が第2ボタンの端面に当接している。符号14が、ユーザの手に被せた手袋型のグローブデバイスである。図2で示す手の形態が、ユーザがピペットデバイス12を把持している典型的な姿勢である。手の姿勢は、手首の方向と、各指の方向、即ち、各指の複数の関節夫々の角度、位置によって特徴付けられる。
As shown in FIG. 2, the
ピペットデバイス12とグローブデバイス14の夫々には、センサが内蔵されている。センサは、例えば、高精度9自由度のIMUセンサ(ジャイロスコープ、加速度計、磁力計搭載の慣性計測装置)でよい。グローブデバイス14には、そのベース位置(手首の位置)と各指にセンサが設けられている。グローブデバイス14は、5本の指夫々をトラッキングすることができる。
The
コントローラ20はVRプログムを実行することによって、センサの出力に基づいて、ピペットデバイス12のモデルと手のモデル夫々の位置と姿勢を計算し、これらを仮想空間のグローバル座標にマッピングする。外部カメラを用いてピペットデバイス12およびグローブデバイス14の位置と姿勢を取得する方法を用いてもよい。図3は、仮想空間の3次元座標系にマッピングされた、ピペットデバイス12のモデル12Aと手のモデル14Aとからなる複合モデルの斜視図である。図3は、手のモデル14Aがピペットデバイスモデル12Aを、図2と同じように把持していることを示している。両モデルの位置姿勢は、位置(xp,yp,zp),姿勢(ap,bp,cp)で定義される。姿勢はオイラー角で表現してもよいし,四元数で表現してもよい。上記はオイラー角で表現されている。
The
ピペットデバイス12、グローブデバイス14に、バイブレーション機能を搭載させて、コンピュータ10は、VR体験中の各種情報を、触覚としてユーザにフィードバックさせてもよい。また、コンピュータ10は、HMD16に、手のモデル14Aとピペットデバイスモデル12Aの他、ピペットデバイスの適正操作を促す等の操作支援情報を表示することもできる。コンピュータ10は、VRを利用したアプリケーションプログラムを実行して、センサからの信号に基づいて、仮想的な安全キャビネット内で手のモデル14Aがピペットデバイスモデルを把持している映像(図3)を、HMD16を介してユーザに再現する。ピペットデバイスモデル12Aのデフォルトデータ、そして、手のモデル14Aのデフォルトデータは、夫々のローカル座標に基づいて定義され、かつ、メモリ22、又は、補助記憶装置24に保存されている。コントローラ20はセンサ情報とデフォルトデータに基づいて、モデルの特徴データ(位置、姿勢)を算出する。
The
コンピュータ10は、ユーザが対象を操作できる状態、換言すれば、ユーザが対象の操作準備状態になったことを判定して、ユーザモデルの操作対象モデルに対する配置を調整してユーザモデルと操作対象モデルとの間のずれを解消し、故に、ユーザの違和感の改善を図るようにしている。この実施形態において、コンピュータは、ユーザがピペットデバイス12を操作できる状態を、ユーザがピペットデバイス12を把持していることとして判定する。
The
図4は、コンピュータ10のソフトウェア資源の機能ブロック図である。コンピュータ10のソフトウェア資源は、ユーザモデル設定モジュール101、操作対象モデル設定モジュール102とを備える。モジュール101は、グローブデバイス14からのセンサ情報に基づいて手モデル14Aの位置と姿勢とを計算して手モデル14Aを設定し、手モデル14Aを仮想3次元空間にマッピングする。
Figure 4 is a functional block diagram of the software resources of
操作対象モデル設定モジュール102は、ピペットデバイス12からのセンサ情報に基づいてピペットデバイスモデル12Aの位置と姿勢とを計算してピペットデバイスモデル12Aを設定し、これを仮想3次元空間にマッピングする。
The operation target
さらに、コントローラ10は把持判定モジュール103を備える。把持判定モジュール103は、ユーザがピペットデバイス12を把持しているか否かを判定する。把持のための判定には、ピペットデバイス12にタッチセンサを設ける態様が例えばある。あるいは、把持判定モジュール103は、メモリ22に予め登録されている、把持のための典型的、或いは、最適な姿勢の手モデル(典型的モデル104:図3の形態の手モデル)のデータ(姿勢)を読み込み、グローブデバイス14のセンサデータに基づいて設定した手モデル14Aのデータを、ピペットデバイス12のセンサデータに基づいて設定したピペットデバイスモデル12Aのデータの相対座標系に変換した結果と、典型的モデル104のデータとを比較する。この比較については後述する。
The
コンピュータ10は、さらに、把持の有無の判定結果105と、ピペットデバイスモデル12Aと、手モデル14Aとに基づいて、ユーザモデル(手モデル)14Aが操作対象モデル(ピペットデバイスモデル)12Aを把持している複合モデルにおいて、ユーザモデル(手モデル)14Aの操作対象モデル(ピペットデバイスモデル)12Aに対する配置の調整を実行する調整モジュール108を備える。
The
さらにコンピュータ10は調整モジュール108の結果を受けて、仮想空間の複合モデルに基づいてVR処理を実行するVRモジュール111を備える。VRモジュール111は、HMD16のセンサ情報(視点位置、視線方向)に基づいて、仮想空間の複合モデルを視点座標系に変換した後レンダリングを実行し、さらに、HMD16の表示パネル用のフレームバッファに画像情報をロードする。
The
HMDは画像情報に基づいて、表示パネルにVR映像16Aを表示する。既述の図3は手のモデルがピペットモデルを把持しているVR映像の一例である。VRモジュール111は、仮想空間内に複合モデルを含めたシミュレーション環境を再現し、所定の視点から仮想空間内の安全キャビネ内部構造と複合モデルとを撮影した動画像(VR映像16A)をユーザに提供する。
The HMD displays
モジュールとは、コントローラがプログラムを実行することによって実現される機能の単位であって、手段、ユニット、処理、部、機能、エレメント等他の関連用語によって、言い換えられてもよい。モジュールの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。プログラム、テーブル、ファイル等の情報は、ハードディスクドライブ、SSD(Solid State Drive)等の記録装置、または、IC(Integrated Circuit)カード、SD(Secure Digital)メモリカード、DVD(Digital Versatile Disc)等の可搬型或いは非可搬型記録媒体に記録しておくことができる。補助記憶装置には、安全キャビネット等シミュレーション環境のための3次元データが予め記録されている。 A module is a unit of function that is realized by the controller executing a program, and may be referred to by other related terms such as means, unit, process, part, function, element, etc. A part or all of a module may be realized in hardware, for example, by designing it as an integrated circuit. Information such as programs, tables, files, etc. may be recorded in a recording device such as a hard disk drive or SSD (Solid State Drive), or in a portable or non-portable recording medium such as an IC (Integrated Circuit) card, SD (Secure Digital) memory card, or DVD (Digital Versatile Disc). Three-dimensional data for a simulation environment such as a safety cabinet is pre-recorded in the auxiliary storage device.
ユーザはシミュレーションを開始する際、頭部にHMD16を装着し、そして、利き手にあるいは両手にグローブデバイス14を装着する。次いで、HMD16は、ユーザに安全キャビネット内のピペットデバイス12を持つことを促すメッセージを表示する。この時のメッセージは、図3のモデル図を表示しながら、“ピペットデバイスを表示しているように持ってください”といった類でよい。ユーザはHMD16を介して、安全キャビネット内に置かれているピペットデバイスを認識することができる。ユーザがHMDを被ったまま、ピペットデバイスを視認し易いように、HMDを透過型液晶タイプのものにしてもよい。なお、安全キャビネット内の試薬、検体、フラスコ、チューブ等の検体/試薬容器等の関連備品は、仮想環境によって疑似的にユーザに提供されるために、不要である。コントローラ20は把持判定モジュール103と調整モジュール108とを動作させる。
When starting a simulation, the user wears the
次に、把持判定モジュール103と調整モジュール108の動作の詳細について説明する。図5は、ユーザがピペットデバイスを実際には把持しているものの、センサ情報に基づいて仮想空間にマッピングされた複合モデルにおいては、手モデル14Aがピペットデバイスモデル12Aの下方にずれて(400)、ピペットデバイスモデル12Aのボタンから指が離れてしまっていることを示している。ユーザにとっては、実際には、ピペットデバイス12を把持している筈が、VR映像16Aではそのようになっていないことに、違和感を持たざるを得ない。コンピュータ10は、この違和感を解消するために、複合モデルに於けるずれの解消を目的として、ピペットデバイスモデル12Aおよび手モデル14Aの配置を調整する。調整は、補正、変更、修正、そして、訂正を含む。
Next, the operation of the
図6は、把持判定モジュール103の動作の詳細を示すフローチャートである。このフローチャートは、ユーザがピペットデバイス12を把持しているか否かを判定するためのものであり、コントローラ20は、このフローチャートを所定時間毎に繰り返し実行する。既述のとおり、把持判定モジュール103は、センサデータに基づいて設定した手のモデル14Aの特徴(姿勢)を、センサデータに基づいて設定したピペットデバイスモデル12Aの相対座標系に変換し、その結果を、手の典型的モデル14B(図7)の特徴と比較して、同じか、近い場合に、ユーザはピペットデバイス12を正しく把持している、と決定する。
Figure 6 is a flowchart showing the details of the operation of the
この比較は例えば次の様にして行われる。把持判定モジュール103は、センサからの実測値に基づいて設定した手のモデル14Aをピペットデバイスモデル12Aのローカル座標系に変換して、図7(1)に示す様に、手のモデル14Aがピペットデバイスモデル12Aを把持している姿勢位置に実測モデル(手のモデル)14Aを配置する。同様に、把持判定モジュール103は、図7(2)に示す様に、手の典型的モデル14Bを典型的ピペットデバイスモデル12Aのローカル座標系に変換して、手の典型的モデル14Bがピペットデバイスモデル12Aを把持している姿勢位置に典型的モデル14Bを配置する。
This comparison is performed, for example, as follows. The
把持判定モジュール103は、典型的モデル14Bと実測モデル14Aとの間で、両者の姿勢距離を算出する(S600)。姿勢距離の算出は、例えば、図7(3)に示す様に、二つのモデル間で対応する関節同士の距離(L)を算出し、そして、全ての関節の距離の二乗和を合計して総和を求めることによって行う。手の典型的なモデルにおける関節の座標をPj(j(1≦j≦n、n:全関節数))とし、センサデータから計算した手のモデルにおいて、Pjの関節に対応する、関節の座標をQj(j(1≦j≦n、n:全関節数))とすると、既述の総和(姿勢距離:d)は、
d=Σn
j|Pj-Qj|2
で定義される。なお、対応する関節間で、距離の算出に代えて角度の差分を算出してもよく、又は、両方を合わせてもよい。
The
d = Σ n j |Pj-Qj| 2
It should be noted that between corresponding joints, the difference in angle may be calculated instead of the calculation of the distance, or both may be combined.
次いで、把持判定モジュール103は、姿勢距離の差分(d)をa、b(a≦b)と比較する(S602)。aは、把持判定用閾値であって、差分(d)がa以下の場合には、実測モデル12Aの関節位置が典型的モデル12Bの関節位置に近いために、両者のモデルの姿勢が実質的に同一であるといえ、これによって、把持判定モジュール103は、ユーザがピペットデバイス12を実際に正しく把持していると判定する。
Next, the
bは、非把持判定用閾値であって、差分(d)が、b以上の場合には、実測モデル(ピペットデバイス)12Aの関節位置が典型的モデル12Bの関節位置から離れているため、把持判定モジュール103は、ユーザがピペットデバイス12をまだ把持していない、あるいは、ユーザがピペットの把持をリリースしたと判定する。なお、bがaより大きいのは、bがaと同じであると、把持と非把持の切替えがVR映像16Aにおいて過敏になり、これを防ぐためである。なお、b=aであることを妨げない。
b is the threshold for non-grasping judgment, and if the difference (d) is greater than or equal to b, the joint position of the actual model (pipette device) 12A is far from the joint position of the typical model 12B, and the grasping
把持判定モジュール103が、d≦aを判定すると(S602)、把持フラグ(F1)の値に1を設定する(S604)。F1は、ユーザがピペットデバイス12を把持しているか否かの制御情報であって、メモリ22の所定領域に設定されている。“F1=1”は把持を、“F1=0”は非把持を示す。
When the
把持判定モジュール103がd≧bを判定すると(S606)、把持フラグ(F1)の値を0にリセットする(S608)。なお、VRプログラムがスタートした時点では、F1は0(非把持)に設定されている。a<d<bの場合には把持フラグ(F1)の値は変更されない。これにより、前述のように、把持と非把持の切り替えが過敏になることを防ぐことが可能である。
When the grasping
図8は、調整モジュール108の動作の詳細を示すフローチャートである。コンピュータ10は、このフローチャートを所定時間毎に繰り返し実行する。図5は手モデル14Aとピペットデバイスモデル12Aとの間にずれが存在する斜視図を示している。調整モジュール108は、後述するようにこのずれを解消する。
Figure 8 is a flowchart showing the details of the operation of the
コントローラ20は、図6のフローチャートを実行することによって、対象の操作可能状態(把持)の判定フラグ(F1)を決定する。コントローラ20は調整モジュール108を実行して、このフラグに基づいて、ずれを解消するための処理を実行する。
The
調整モジュール108は、F1をチェックして、F1=1を判定すると(S800:Y)、手モデル14Aの代表位置を算出する(S802)。代表位置とは、図9に示すように手モデル14Aとピペットデバイスモデル12Aとの接触に重要な点であり、コントローラ20は、あらかじめ手モデル14Aに設定しておく。図9では、代表点S1は中指の先端位置であり、代表点S2は人差し指の先端位置、代表点S3は手のひら上の点である。コントローラ20は、手モデル14Aの画像を特徴分析して、これら代表点を認識する。
The
次に調整モジュール108は拘束条件を算出する(S804)。図9に示すように代表点S1は対応するピペットデバイスモデル12Aの第2ボタン位置T1と一致する必要がある。同様に代表点S2は対応するピペットデバイスモデル12Aの第1ボタン位置T2と一致する必要がある。さらに、代表点S3はピペットデバイスモデル12Aの表面上に位置する必要がある。以上がS804で算出された拘束条件である。
Next, the
次に、調整モジュール108は拘束条件の解法を行う(S806)。この解法は公知の逆運動学を用いて実行できる。すなわち、調整モジュール108は、S1,S2、T1、T2の位置拘束、S3が表面上に存在するという位置拘束を満たす手モデル14Aの位置姿勢、手モデル14Aの関節角度、ピペットデバイスモデル12Aの位置姿勢を求める。
Next, the
S806において、調整モジュール108は、手モデル14Aとピペットデバイスモデル12Aとの少なくとも一方の配置を調整する。ここで、手モデル14Aの位置姿勢、ピペットデバイスモデル12Aの位置姿勢については、どちらを優先的に変更するかを指定することが可能である。例えば、手モデル14Aの位置姿勢を優先的に変更する場合にはピペットデバイスモデル12Aの位置姿勢は変更しないで、手モデル14Aの位置姿勢を変更できる。逆に、手モデル14Aの位置姿勢を優先することも可能である。
In S806, the
調整は、1フレームで完了される場合の他、複数のフレームを跨いでもよい。これは、1フレームで調整を完了させるとHMD16に表示される手モデルやピペットデバイスモデルの位置が急激に変化するために、使用者に不自然な感覚を生じさせることを防ぐためである。調整モジュール108は複数のフレームの間、ずれが解消されるまで、調整を継続する。このためには、拘束条件の解法(S806)において、手モデル14Aの位置姿勢、手モデル14Aの関節角度、ピペットデバイスモデル12Aの位置姿勢の変化量があらかじめ設定された閾値よりも大きい場合には、その閾値に変化量を制限することで実現できる。
The adjustment may be completed in one frame or may span multiple frames. This is to prevent the user from feeling unnatural because completing the adjustment in one frame would cause the positions of the hand model and pipette device model displayed on the
既述の実施形態は、ユーザが安全キャビネット内で電動ピペッタを操作することをシミュレートするコンピュータシステムであったが、これに限らず、ユーザが工場内で工作器具を操作するなど、器具の操作にユーザの経験やスキルを要する現場作業をシミュレートすることにも本発明を適用することができる。 The embodiment described above is a computer system that simulates a user operating an electric pipetter in a safety cabinet, but the present invention is not limited to this and can also be applied to simulating on-site work in which the user operates a tool in a factory, which requires the user's experience and skill to operate the tool.
既述の実施形態では、センサによって位置と姿勢を検出したが、これらをカメラによって検出してもよい。また、手の大きさをカメラ等によって検出し、手の大きさを手のモデルの姿勢、位置に反映させてもよい。 In the embodiment described above, the position and orientation are detected by a sensor, but they may also be detected by a camera. Also, the size of the hand may be detected by a camera or the like, and the size of the hand may be reflected in the orientation and position of the hand model.
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiments, but includes various modified examples. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. It is also possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to add, delete, or replace part of the configuration of each embodiment with other configurations.
1 シミュレーションシステム
10 コンピュータ
12 ピペットデバイス(第1の装置)
14 グローブデバイス(第2の装置)
16 HMD(表示装置)
20 コントローラ
22 メモリ
1
14 Glove device (second device)
16 HMD (Display Device)
20
Claims (6)
前記コンピュータは、
コントローラと、
メモリと、
を備え、
前記コントローラは、前記メモリに記録されたバーチャルリアリティプログラムを実行して、
前記対象を操作するユーザの情報を第1の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、
前記対象の情報を第2の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、
前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、
前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、
前記ユーザによる前記対象の操作を判定し、
当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、
前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、
シミュレーションシステムであって、
前記コントローラは、
前記ユーザが前記対象を把持したことに基づいて、当該ユーザによる当該対象の操作を判定し、
前記ユーザによる前記対象の把持を、前記ユーザのモデル及び前記対象のモデルと、典型的モデルとの比較に基づいて判定し、当該典型的モデルは、前記ユーザが前記対象を把持する当該ユーザのモデルであり、予め、前記メモリに記録され、
さらに、前記コントローラは、
前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルとを、位置と姿勢の少なくとも一つにおいて比較し、
前記比較の結果、前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルと、の特徴量の差分を求め、
当該差分に基づいて、前記ユーザが前記対象を把持していることを判定する、
シミュレーションシステム。 In a system in which a computer uses virtual reality to simulate the operation of an object by a user,
The computer includes:
A controller;
Memory,
Equipped with
The controller executes a virtual reality program stored in the memory,
acquiring information about a user who operates the object from a first device, and setting a model of the user based on the information about the user;
acquiring information of the object from a second device and establishing a model of the object based on the information of the object;
placing a model of the user in a virtual space based on features of the model of the user;
placing a model of the object in the virtual space based on the characteristics of the model of the object;
determining an operation of the object by the user;
adjusting a position of the model of the user and a model of the object in the virtual space based on the determination;
outputting, to a display device, an image of the user model and the target model in the virtual space captured from a virtual viewpoint;
1. A simulation system comprising:
The controller:
determining an operation of the target by the user based on the user's gripping of the target;
determining a grip of the object by the user based on a comparison of a model of the user and a model of the object with a typical model, the typical model being a model of the user gripping the object by the user, the typical model being previously stored in the memory;
Further, the controller
comparing the model of the user and the model of the object with the representative model in terms of at least one of position and pose ;
As a result of the comparison, differences in feature amounts between the user model and the target model and the typical model are obtained;
determining whether the user is gripping the object based on the difference;
Simulation system.
前記対象のモデルが前記ユーザによって把持される器具のモデルであり、
前記コントローラは、
前記手のモデルが前記器具のモデルを操作可能な位置と姿勢で表示されるように、前記仮想空間に於ける、前記手のモデル及び前記器具のモデルの配置を調整する、
請求項1記載のシミュレーションシステム。 the model of the user is a model of the user's hand;
the model of the object is a model of an instrument held by the user;
The controller:
adjusting the placement of the hand model and the tool model in the virtual space so that the hand model is displayed at a position and posture capable of manipulating the tool model;
The simulation system according to claim 1 .
前記仮想空間に於ける、前記手のモデルと前記器具のモデルとのずれが解消されるように、前記手のモデルおよび前記器具のモデルの配置を調整する、
請求項2記載のシミュレーションシステム。 The controller:
adjusting the positions of the hand model and the tool model in the virtual space so as to eliminate any misalignment between the hand model and the tool model;
The simulation system according to claim 2 .
前記コントローラは、前記第1の装置から入力された情報に基づいて設定された手のモデルの指関節と前記典型的モデルである手のモデルの指関節との間の距離を、前記特徴量の差分とする、
請求項1記載のシミュレーションシステム。 the model of the user is a model of the user's hand;
the controller determines a distance between a finger joint of a hand model set based on information input from the first device and a finger joint of the hand model that is the representative model as a difference in the feature amount;
The simulation system according to claim 1 .
請求項1のシミュレーションシステム。 When the controller determines that the user is gripping the target, the controller executes a solution of a constraint condition between the model of the user and the model of the target, and adjusts the arrangement of both models based on a result of the solution so as to eliminate a deviation between the model of the user and the model of the target.
The simulation system of claim 1 .
前記コンピュータは、
メモリに記録されたバーチャルリアリティプログラムを実行して、
前記対象を操作するユーザの情報を第1の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、
前記対象の情報を第2の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、
前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、
前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、
前記ユーザによる前記対象の操作を判定し、
当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、
前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、
シミュレーション方法であって、
前記コンピュータは、
前記ユーザが前記対象を把持したことに基づいて、当該ユーザによる当該対象の操作を判定し、
前記ユーザによる前記対象の把持を、前記ユーザのモデル及び前記対象のモデルと、典型的モデルとの比較に基づいて判定し、当該典型的モデルは、前記ユーザが前記対象を把持する当該ユーザのモデルであり、予め、前記メモリに記録され、
さらに、前記コンピュータは、
前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルとを、位置と姿勢の少なくとも一つにおいて比較し、
前記比較の結果、前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルと、の特徴量の差分を求め、
当該差分に基づいて、前記ユーザが前記対象を把持していることを判定する、
シミュレーション方法。 1. A method for simulating manipulation of an object by a user in virtual reality by a computer, comprising:
The computer includes:
Execute the virtual reality program stored in the memory,
acquiring information about a user who operates the object from a first device, and setting a model of the user based on the information about the user;
acquiring information of the object from a second device and establishing a model of the object based on the information of the object;
placing a model of the user in a virtual space based on features of the model of the user;
placing a model of the object in the virtual space based on the characteristics of the model of the object;
determining an operation of the object by the user;
adjusting a position of the model of the user and a model of the object in the virtual space based on the determination;
outputting, to a display device, an image of the user model and the target model in the virtual space captured from a virtual viewpoint;
1. A simulation method , comprising:
The computer includes:
determining an operation of the target by the user based on the user's gripping of the target;
determining a grip of the object by the user based on a comparison of a model of the user and a model of the object with a typical model, the typical model being a model of the user gripping the object by the user, the typical model being previously stored in the memory;
Furthermore, the computer
comparing the model of the user and the model of the object with the representative model in terms of at least one of position and pose ;
As a result of the comparison, differences in feature amounts between the user model and the target model and the typical model are obtained;
determining whether the user is gripping the object based on the difference;
Simulation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154077A JP7467293B2 (en) | 2020-09-14 | 2020-09-14 | Simulation system and simulation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154077A JP7467293B2 (en) | 2020-09-14 | 2020-09-14 | Simulation system and simulation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022047989A JP2022047989A (en) | 2022-03-25 |
JP7467293B2 true JP7467293B2 (en) | 2024-04-15 |
Family
ID=80781427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020154077A Active JP7467293B2 (en) | 2020-09-14 | 2020-09-14 | Simulation system and simulation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7467293B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117178296A (en) * | 2022-03-31 | 2023-12-05 | 京东方科技集团股份有限公司 | Image processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018512643A (en) | 2015-02-20 | 2018-05-17 | 株式会社ソニー・インタラクティブエンタテインメント | Magnetic tracking of glove fingertips with peripheral devices |
JP2018077732A (en) | 2016-11-10 | 2018-05-17 | キヤノン株式会社 | Image processing apparatus, and image processing method |
-
2020
- 2020-09-14 JP JP2020154077A patent/JP7467293B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018512643A (en) | 2015-02-20 | 2018-05-17 | 株式会社ソニー・インタラクティブエンタテインメント | Magnetic tracking of glove fingertips with peripheral devices |
JP2018077732A (en) | 2016-11-10 | 2018-05-17 | キヤノン株式会社 | Image processing apparatus, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2022047989A (en) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3707584B1 (en) | Method for tracking hand pose and electronic device thereof | |
Hinckley | Haptic issues for virtual manipulation | |
Khurshid et al. | Effects of grip-force, contact, and acceleration feedback on a teleoperated pick-and-place task | |
Quek et al. | Evaluation of skin deformation tactile feedback for teleoperated surgical tasks | |
Meli et al. | Combining wearable finger haptics and augmented reality: User evaluation using an external camera and the microsoft hololens | |
CN108369478A (en) | Hand for interaction feedback tracks | |
Buń et al. | Possibilities and determinants of using low-cost devices in virtual education applications | |
US11630520B1 (en) | Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems | |
CN109739360B (en) | Control system and method for simulating human soft tissue by force feedback device | |
Wei et al. | Augmented optometry training simulator with multi-point haptics | |
WO2008072756A1 (en) | Reaction force presentation method and force presentation system | |
JP7467293B2 (en) | Simulation system and simulation method | |
CA2958840A1 (en) | Medical procedure simulator | |
JP2004178222A (en) | Method for evaluating assemblability and assemblability evaluation supporting device using the method | |
RU176318U1 (en) | VIRTUAL REALITY GLOVE | |
Lu et al. | Accessible motion-capture glove calibration protocol for recording sign language data from deaf subjects | |
Kry et al. | Handnavigator: Hands-on interaction for desktop virtual reality | |
Panchaphongsaphak et al. | Three-dimensional touch interface for medical education | |
Mahdikhanlou et al. | Object manipulation and deformation using hand gestures | |
Besnea et al. | Experiments regarding implementation of a virtual training environment for automotive industry | |
Yokokubo et al. | Trackenzan: Digital flower arrangement using trackpad and stylus pen | |
RU186397U1 (en) | VIRTUAL REALITY GLOVE | |
JP2000047563A (en) | Holding action simulation device for object | |
Kron et al. | Exploration and manipulation of virtual environments using a combined hand and finger force feedback system | |
Wagner | Force feedback in surgery: physical constraints and haptic information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7467293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |