JP7371848B2 - インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム - Google Patents

インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム Download PDF

Info

Publication number
JP7371848B2
JP7371848B2 JP2019042052A JP2019042052A JP7371848B2 JP 7371848 B2 JP7371848 B2 JP 7371848B2 JP 2019042052 A JP2019042052 A JP 2019042052A JP 2019042052 A JP2019042052 A JP 2019042052A JP 7371848 B2 JP7371848 B2 JP 7371848B2
Authority
JP
Japan
Prior art keywords
actuator
simulation
model
drive control
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019042052A
Other languages
English (en)
Other versions
JP2020142341A (ja
Inventor
武士 安部
義之 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
kinawa Institute of Science and Technology Graduate University
Yamaguchi University NUC
Original Assignee
kinawa Institute of Science and Technology Graduate University
Yamaguchi University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by kinawa Institute of Science and Technology Graduate University, Yamaguchi University NUC filed Critical kinawa Institute of Science and Technology Graduate University
Priority to JP2019042052A priority Critical patent/JP7371848B2/ja
Publication of JP2020142341A publication Critical patent/JP2020142341A/ja
Application granted granted Critical
Publication of JP7371848B2 publication Critical patent/JP7371848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラムに関する。
特許文献1記載のシミュレーション環境においては、モータやセンサ等のリアル装置と、リアル装置に類似する実験室装置と、仮想のリアル装置または実験室装置であるバーチャル装置とからパフォーマンスデータを収集し、装置間の相互作用をシミュレーションすることで、リアルタイムに仮想モデルの更新を行う技術が開示されている。
US 2016/259870 A1
しかしながら、特許文献1に記載の従来のシミュレーション環境においては、装置間の相互作用をシミュレーションするものであって、取替可能なモデルのシミュレーションを実行するとともに、シミュレーション結果をもとにデバイス制御を行うことができなかったという課題があった。
本発明は、上記問題点に鑑みてなされたものであって、インシリコによる数理モデル等のモデルのシミュレーションと、実世界のロボットまたは実験装置等の機器とをネットワーク経由で双方向に連携させるシミュレーション・フレームワークを提供することができるインタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係るインタラクティブシミュレーションシステムは、アクチュエータとセンサとを備えたアクチュエータ搭載デバイス、および、記憶部と制御部とを備えたシミュレータを通信可能に接続したインタラクティブシミュレーションシステムであって、前記記憶部は、前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段、を備え、前記制御部は、前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行手段と、前記シミュレーション結果に基づいて、前記アクチュエータの駆動制御を実行する駆動制御手段と、前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得手段と、前記センサ検出値に基づいて、前記モデルを更新するモデル更新手段と、を備えたことを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記シミュレーション実行手段は、前記モデルに基づいて、シミュレーションプログラムを生成し、当該シミュレーションプログラムを用いて前記シミュレーションを実行し、前記シミュレーション結果を取得し、前記制御部は、前記シミュレーション結果に基づいて、前記アクチュエータの駆動制御指示を生成する駆動制御指示生成手段、を更に備え、前記駆動制御手段は、前記駆動制御指示を前記アクチュエータ搭載デバイスに送信し、前記アクチュエータの駆動制御を実行することを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記記憶部は、前記シミュレーションを実行するためのシミュレータAPIと、前記アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する連携記憶手段、を更に備え、前記駆動制御指示生成手段は、前記シミュレーション結果、および、前記連携データに基づいて、前記アクチュエータの前記駆動制御指示を生成することを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記シミュレーション実行手段は、更に、他のモデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、他のシミュレーション結果を取得し、前記モデル更新手段は、前記他のシミュレーション結果に基づいて、前記モデルを更新することを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記モデルは、数理モデル、物理モデル、記号モデル、および/または、論理モデルであることを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記数理モデルは、微分方程式モデルであり、前記シミュレーション実行手段は、前記微分方程式モデルに対する数値計算により、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、前記シミュレーション結果を取得することを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記駆動制御指示生成手段は、前記シミュレーション結果に基づいて、対象とする前記アクチュエータ搭載デバイスのデバイス識別子、当該アクチュエータ搭載デバイスの前記センサのセンサ識別子、設定時刻、および/または、前記アクチュエータにて変換される運動量を含む前記駆動制御指示を生成し、前記センサ検出値取得手段は、検出を実行した前記アクチュエータ搭載デバイスの前記デバイス識別子、検出を実行した前記センサの前記センサ識別子、および/または、検出時刻を含む前記センサ検出値を取得することを特徴とする。
また、本発明に係るインタラクティブシミュレーションシステムにおいて、前記駆動制御指示生成手段は、前記シミュレーション結果に基づいて、駆動制御プログラムを含む前記駆動制御指示を生成することを特徴とする。
また、本発明に係るシミュレータにおいて、アクチュエータとセンサとを備えたアクチュエータ搭載デバイスに通信可能に接続された、記憶部と制御部とを備えたシミュレータであって、前記記憶部は、前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段、を備え、前記制御部は、前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行手段と、前記シミュレーション結果に基づいて、前記アクチュエータの駆動制御を実行する駆動制御手段と、前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得手段と、前記センサ検出値に基づいて、前記モデルを更新するモデル更新手段と、を備えたことを特徴とする。
また、本発明に係るインタラクティブシミュレーション方法は、アクチュエータとセンサとを備えたアクチュエータ搭載デバイス、および、記憶部と制御部とを備えたシミュレータを通信可能に接続したインタラクティブシミュレーションシステムに実行させるためのインタラクティブシミュレーション方法であって、前記記憶部は、前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段、を備え、前記制御部で実行させる、前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行ステップと、前記シミュレーション結果に基づいて、前記アクチュエータの駆動制御を実行する駆動制御ステップと、前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得ステップと、前記センサ検出値に基づいて、前記モデルを更新するモデル更新ステップと、を含むことを特徴とする。
また、本発明に係るインタラクティブシミュレーション方法は、アクチュエータとセンサとを備えたアクチュエータ搭載デバイスに通信可能に接続された、記憶部と制御部とを備えたシミュレータに実行させるためのインタラクティブシミュレーション方法であって、前記記憶部は、前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段、を備え、前記制御部で実行させる、前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行ステップと、前記シミュレーション結果に基づいて、前記アクチュエータの駆動制御を実行する駆動制御ステップと、前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得ステップと、前記センサ検出値に基づいて、前記モデルを更新するモデル更新ステップと、を含むことを特徴とする。
また、本発明に係るインタラクティブシミュレーションプログラムは、アクチュエータとセンサとを備えたアクチュエータ搭載デバイスに通信可能に接続された、記憶部と制御部とを備えたシミュレータに実行させるためのインタラクティブシミュレーションプログラムであって、前記記憶部は、前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段、を備え、前記制御部において、前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行ステップと、前記シミュレーション結果に基づいて、前記アクチュエータの駆動制御を実行する駆動制御ステップと、前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得ステップと、前記センサ検出値に基づいて、前記モデルを更新するモデル更新ステップと、を実行させることを特徴とする。
本発明によれば、任意のダイナミカルモデルを用いた予測的機器制御が可能となるという効果を奏する。すなわち、本発明によれば、任意のモデルのシミュレーションと実世界の機器とを直接リアルタイムに連携させることができるため、モデルのシミュレーションの応用範囲が広がるという効果を奏する。また、本発明によれば、モデルベースの予測的ロボット制御、または、リアルタイム実験制御などへの応用が可能となるという効果を奏する。また、本発明によれば、シミュレーションを計算機上で単に実行するだけではなく、シミュレーションと、ロボットの制御プロセスまたは実験機器の制御プロセス等の外部プロセスとが相互に数値的に影響を与えることができる環境を提供できるという効果を奏する。また、本発明によれば、外部機器がシミュレータにネットワークを介してアクセスし、シミュレーション中のモデルに含まれる変数の値を時々刻々取得することができ、この値を使ってその外部プロセスの状態を更新制御することができるだけでなく、外部プロセスがシミュレーション中の変数に値をセットすることができるため、シミュレータにおいてシミュレーション中のモデルの状態に外部プロセスの状態を時々刻々反映させることができるという効果を奏する。また、本発明によれば、シミュレータと外部機器との間をネットワーク経由で連携させるためのAPIの要件を定義することで、このAPIを通じて、外部機器が値のget/setを行うだけではなく、シミュレータとの連携のOn/Offを制御することができ、フレキシブル且つリアルタイムな連携動作を可能とすることができるという効果を奏する。また、本発明によれば、これまで蓄積された詳細な数理モデルを汎用的にデバイス制御へつなげることができるという効果を奏する。すなわち、本発明によれば、微分方程式等を用いたダイナミカルシステムモデルであればよいため、リアルタイム予測的フィードバックに基づく高精度な生理学的・生物学的実験を実施する際の制御システム、ロボットを環境に応じてリアルタイム制御する際の制御システム、中枢パターン生成器(CPG)モデルによるロボット歩行制御システム、生理学的薬物速度論(PBPK)モデルに基づく特定臓器内の遊離薬物濃度シミュレーションと連携した投薬制御システム、詳細シグナル伝達モデルに基づく特定のタンパク質生合成過程のフィードバック制御システム、または、モデルニューロンと生体ニューロンとのハイブリッドニューラルネットワークの情報処理システム等に利用することができるという効果を奏する。また、本発明によれば、モデル化された対象の未来の状態を推定するための技術であり、且つ、計算機中でのみ実行する、すなわち、計算機中で閉じたものであったシミュレーションのデータを、直接機器制御信号とすることができることで、近未来を推定した推定結果に基づいて予測的に機器を制御することができるという効果を奏する。また、本発明によれば、汎用的なシミュレータでありながら、デバイス制御をできる仕組みを備えており、デバイスからのデータをリアルタイムに取得しつつシミュレーションを実行することができるという効果を奏する。
図1は、従来の汎用シミュレータの一例を示す図である。 図2は、本実施形態におけるインタラクティブシミュレーションシステムの一例を示す図である。 図3は、本実施形態におけるインタラクティブシミュレーションシステムの構成の一例を示すブロック図である。 図4は、本実施形態におけるインタラクティブシミュレーションシステムの処理の一例を示すフローチャートである。 図5は、本実施形態におけるインタラクティブシミュレーション処理の一例を示す図である。 図6は、本実施形態におけるインタラクティブシミュレーション処理の一例を示す図である。 図7は、本実施形態におけるインタラクティブシミュレーション処理の一例を示す図である。 図8は、本実施形態におけるデバイス制御の一例を示す図である。 図9は、本実施形態におけるデバイス制御の一例を示す図である。 図10は、本実施形態におけるデバイス制御の一例を示す図である。 図11は、本実施形態におけるデバイス制御の一例を示す図である。 図12は、本実施形態におけるデバイス制御の一例を示す図である。 図13は、本実施形態におけるセンサの一例を示す図である。
本発明の実施形態を図面に基づいて詳細に説明する。なお、本発明は本実施形態により限定されるものではない。
[1.概要]
まず、図1および図2を参照して、本発明の概要を説明する。図1は、従来の汎用シミュレータの一例を示す図である。図2は、本実施形態におけるインタラクティブシミュレーションシステムの一例を示す図である。
図1に示すように、従来の汎用シミュレータにおいては、交換可能なモデルを取り替え、モデルを数値積分等することで様々な機能をシミュレーションすることが可能であったが、シミュレーションが計算機内で閉じていたため、シミュレーションに基づいて、デバイス制御等をすることができなかった。また、従来のデバイス制御には、埋め込み型の計算システム(例えば、歩行ロボット制御のための神経回路制御システム等)が使用され、埋め込まれた機能のみシミュレーション可能であった。
一方、図2に示すように、本実施形態のシミュレータにおいては、交換可能なモデルを取り替え、モデルを数値積分等することで様々な機能のシミュレーションを実行し、交換可能なデバイスとデータ通信を行い、デバイスからネットワークを介して送信されるデータをシミュレーション中にリアルタイムに受け付け、そのデータに基づいて、モデルのパラメータを変更しシミュレーションを継続し、シミュレーション中のモデルの状態をネットワークを介してデバイスに送信することができるようにしている。このように、本実施形態においては、デバイスを取り替えることができるため、各デバイスと各モデルによるシミュレーションとの間の通信をそれぞれ開発する必要がない。
[2.インタラクティブシミュレーションシステムの構成]
本実施形態に係るデバイス(アクチュエータ搭載デバイス)100、および、シミュレータ200を通信可能に接続したインタラクティブシミュレーションシステムの構成の一例について、図3を参照して説明する。図3は、本実施形態におけるインタラクティブシミュレーションシステムの構成の一例を示すブロック図である。
[デバイス100の構成]
図3において、デバイス100は、ロボット、または、実験装置等を含む、アクチュエータ108を介して様々な物理的な動作を行う機器等であってもよい。
デバイス100は、制御部102と記憶部106とアクチュエータ108とセンサ110とを備えており、デバイス100が備えている各部は、任意の通信路を介して通信可能に接続されている。
デバイス100は、他の装置とネットワーク300を介して通信可能に接続し、他の装置とデータを通信する機能を有する。ここで、ネットワーク300は、デバイス100と他の装置とを相互に通信可能に接続する機能を有し、例えば、インターネット、Bluetooth(登録商標)、赤外線、および/または、Wi-Fi(登録商標)を含むLAN(Local Area Network)等である。
アクチュエータ108は、入力エネルギーまたは入力電気信号を、物理的運動に変換する、機械および電気回路を備えた、ソレノイド、電動機、サーボモータもしくは動力シリンダ等の圧力装置、ならびに/または、往復駆動装置等の変換機等である。
センサ110は、距離、重量、時間、位置、変位、温度、湿度、熱、音、化学物質、温度、光、赤外線、紫外線、放射線、電場、電流、電圧、電力、ニオイ、濃度、色、圧力、荷重、硬度、流量、振動、磁気、速度、回転数、角速度、および/または、加速度等の物理量を収集し、収集したデータを、機械または人間が扱うことができる別媒体の信号に置き換える機能を有していてもよい。
記憶部106には、各種のデータベース、テーブル、および/または、ファイルなどが格納される。記憶部106には、OS(Operating System)と協働してCPU(Central Processing Unit)に命令を与えて各種処理を行うためのコンピュータプログラムが記録される。記憶部106として、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、および/または、SSD(Solid State Drive)等を用いることができる。記憶部106は、センサ110にて検出されたセンサ検出値、および/または、ネットワーク300を介して受信されたデータ等を記憶していてもよい。
制御部102は、デバイス100を統括的に制御するCPU等である。制御部102は、OS等の制御プログラム・各種の処理手順等を規定したプログラム・所要データなどを格納するための内部メモリを有し、格納されているこれらのプログラムに基づいて種々の情報処理を実行する。例えば、制御部102は、アクチュエータ108の駆動(制御)、センサ110にて検出されたセンサ検出値の取得および格納、ならびに/または、ネットワーク300を介したデータ送受信等の各処理を実行してもよい。
[シミュレータ200の構成]
図3において、シミュレータ200は、パーソナルコンピュータ、または、ワークステーション等の情報処理装置であってもよい。シミュレータ200は、制御部202と記憶部206と入出力部212とを備えており、シミュレータ200が備えている各部は、任意の通信路を介して通信可能に接続されている。シミュレータ200は、ネットワーク300を介して、他の装置と相互に通信可能に接続されている。
入出力部212は、データの入出力(I/O)を行う機能を有していてもよい。ここで、入出力部212は、例えば、キー入力部、タッチパネル、コントロールパッド(例えば、タッチパッド、および、ゲームパッド等)、マウス、キーボード、および/または、音声認証に利用可能なマイク等であってもよい。また、入出力部212は、アプリケーション等の(入出力)情報を表示する表示部(例えば、液晶または有機EL等から構成されるディスプレイ、モニタ、および/または、タッチパネル等)であってもよい。また、入出力部212は、音声情報を音声として出力する音声出力部(例えば、スピーカ等)であってもよい。また、入出力部212は、指紋センサ、および/または、静脈センサ等の生体センサであってもよい。
記憶部206には、各種のデータベース、テーブル、および/または、ファイルなどが格納される。記憶部206には、OSと協働してCPUに命令を与えて各種処理を行うためのコンピュータプログラムが記録される。記憶部206は、RAM、ROM、HDD、および/または、SSD等のストレージ手段であり、各種のデータベースやテーブルを格納する。記憶部206は、機能概念的に、モデルデータベース206aと、連携データベース206bとを備えている。
モデルデータベース206aは、モデルを記憶する。ここで、モデルデータベース206aは、アクチュエータの駆動制御に関するモデルを記憶していてもよい。また、モデルは、数理モデル、物理モデル、記号モデル、および/または、論理モデルであってもよい。ここで、数理モデルは、決定論モデル、確率論モデル、または、ファジィモデル等であってもよい。すなわち、数理モデルは、微分方程式モデル、または、待ち行列モデル等であってもよい。また、物理モデルは、縮尺モデル、または、相似モデル等であってもよい。また、モデルは、XML(Extensible Markup Language)ベースのマークアップ言語であるPHML(Physiological Hierarchy Markup Language)言語仕様により記述された、デバイスとの接続を表現する構文を定義したものであってもよい。また、モデルデータベース206aは、モデルに紐付けてシミュレーション結果を記憶していてもよい。
連携データベース206bは、シミュレーションを実行するためのシミュレータAPI(Application Programming Interface)と、アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する。ここで、連携データは、シミュレータ200とデバイス100との間をネットワーク300経由で連携させるためのAPIの要件が定義されていてもよい。また、連携データは、シミュレータ200がデバイス100と値の授受を行うためのプロトコルが設計・定義されていてもよい。ここで、このプロトコル設計タスクでは、TCP/IPをベースとして、その上に通信セッション管理、データ表現、および、データ内容等に関する規定が設計されていてもよい。ここで、データ内容としては、変数名および値のリスト、値を取得した時刻、ならびに、パケットを発信した時刻等のデータを含んでいてもよい。また、データ表現としては、転送データ量を圧縮し小型化するために、バイナリ形式等を用いてもよく、各データのフィールド長等が設計されていてもよい。
制御部202は、シミュレータ200を統括的に制御するCPU等である。制御部202は、OS等の制御プログラム・各種の処理手順等を規定したプログラム・所要データなどを格納するための内部メモリを有し、格納されているこれらのプログラムに基づいて種々の情報処理を実行する。制御部202は、機能概念的に、シミュレーション実行部202aと、駆動制御指示生成部202bと、駆動制御部202cと、センサ検出値取得部202dと、モデル更新部202eとを備えている。
シミュレーション実行部202aは、デバイス100の挙動のシミュレーションを実行し、シミュレーション結果を取得する。ここで、シミュレーション実行部202aは、モデルに基づいて、デバイス100の挙動のシミュレーションを実行し、シミュレーション結果を取得してもよい。また、シミュレーション実行部202aは、モデルに基づいて、シミュレーションプログラムを生成し、当該シミュレーションプログラムを用いてシミュレーションを実行し、シミュレーション結果を取得してもよい。また、シミュレーション実行部202aは、他のモデルに基づいて、デバイス100の挙動のシミュレーションを実行し、他のシミュレーション結果を取得してもよい。また、シミュレーション実行部202aは、微分方程式モデルに対する数値計算により、デバイス100の挙動のシミュレーションを実行し、シミュレーション結果を取得してもよい。また、シミュレーション実行部202aは、シミュレーション結果をモデルデータベース206aに格納してもよい。
駆動制御指示生成部202bは、アクチュエータ108の駆動制御指示を生成する。ここで、駆動制御指示生成部202bは、シミュレーション結果、および、連携データに基づいて、アクチュエータ108の駆動制御指示を生成してもよい。また、駆動制御指示生成部202bは、シミュレーション結果に基づいて、対象とするデバイス100のデバイス識別子、当該デバイス100のセンサ110のセンサ識別子、設定時刻、および/または、アクチュエータ108にて変換される運動量等を含む駆動制御指示を生成してもよい。また、駆動制御指示生成部202bは、シミュレーション結果に基づいて、アクチュエータ108の駆動制御プログラムを含む駆動制御指示を生成してもよい。
駆動制御部202cは、デバイス100のアクチュエータ108の駆動制御を実行する。ここで、駆動制御部202cは、シミュレーション結果に基づいて、デバイス100のアクチュエータ108の駆動制御を実行してもよい。また、駆動制御部202cは、駆動制御指示をデバイス100に送信し、アクチュエータ108の駆動制御を実行してもよい。
センサ検出値取得部202dは、デバイス100のセンサ110にて検出されたセンサ検出値を取得する。ここで、センサ検出値取得部202dは、検出を実行したデバイス100のデバイス識別子、検出を実行したセンサ110のセンサ識別子、および/または、検出時刻等を含むセンサ検出値を取得してもよい。
モデル更新部202eは、モデルを更新する。ここで、モデル更新部202eは、センサ検出値に基づいて、モデルを更新してもよい。また、モデル更新部202eは、他のシミュレーション結果に基づいて、モデルを更新してもよい。
[3.インタラクティブシミュレーションシステムの処理]
本実施形態に係るインタラクティブシミュレーションシステムの処理の一例について、図4から図13を参照して説明する。図4は、本実施形態におけるインタラクティブシミュレーションシステムの処理の一例を示すフローチャートである。
図4に示すように、シミュレータ200のシミュレーション実行部202aは、ユーザにより入出力部212を介して数理モデルが入力された場合、数理モデルをモデルデータベース206aに格納する(ステップSA-1)。
そして、シミュレータ200のシミュレーション実行部202aは、モデルデータベース206aに記憶された数理モデルに対する数値計算により、デバイス100の挙動のシミュレーションを実行し、シミュレーション結果を取得し、シミュレーション結果をモデルデータベース206aに格納する(ステップSA-2)。
そして、シミュレータ200のシミュレーション実行部202aは、ユーザにより入出力部212を介してシミュレーション終了指示が入力されたか否かを判定する(ステップSA-3)。
そして、シミュレータ200のシミュレーション実行部202aは、シミュレーション終了指示が入力されたと判定した場合(ステップSA-3:Yes)、処理を終了する。
一方、シミュレータ200のシミュレーション実行部202aは、シミュレーション終了指示が入力されていないと判定した場合(ステップSA-3:No)、処理をステップSA-4に移行させる。
そして、シミュレータ200の駆動制御指示生成部202bは、シミュレーション結果、および、連携データベース206bに記憶された連携データに基づいて、アクチュエータ108の駆動制御指示を生成する(ステップSA-4)。
そして、シミュレータ200の駆動制御部202cは、駆動制御指示をデバイス100に送信し、アクチュエータ108の駆動制御を実行する(ステップSA-5)。
そして、シミュレータ200のセンサ検出値取得部202dは、デバイス100のセンサ110にて検出され、当該デバイス100から送信された当該デバイス100のデバイス識別子、当該センサ110のセンサ識別子、および、検出時刻を含むセンサ検出値を取得する(ステップSA-6)。
そして、シミュレータ200のモデル更新部202eは、センサ検出値に基づいて、数理モデルを更新し(ステップSA-7)、処理をステップSA-2に移行させる。
ここで、図5から図7を参照して、本実施形態におけるインタラクティブシミュレーション処理の具体例について説明する。図5から図7は、本実施形態におけるインタラクティブシミュレーション処理の一例を示す図である。
図5に示すように、本実施形態においては、デバイス100に出力する変数およびデバイス100からの値を取り入れる変数がPHMLで記述されたモデルが、シミュレータ(Interactive Flint)200に入力された場合、シミュレータ200にてモデルのPHMLが解読されて数値計算が実行され、シミュレータ200とデバイス100との相互作用のコネクションが形成される。そして、図5に示すように、本実施形態においては、シミュレータ200にて計算された数値解を用いてデバイス100のモータが駆動制御され、デバイス100のセンサ110にて検出されたセンサ検出値がモデルの変数および/または係数に代入されることで、シミュレーションにリアルタイムに反映される。このように、本実施形態においては、シミュレーション中にモデルの変数の値が、外部からのアクセスによって変更される。
ここで、図6に示すように、本実施形態におけるシミュレータ200においては、シミュレータ200にて生成されたデータをデバイス100上で作動するように変換するために、連携データベース206bに記憶されたInteractive Flint APIとデバイスAPIとを紐付けた連携データを呼び出すことで、アクチュエータを駆動するためのAPIを有する、研究、教育またはエンターテイメント等の様々なデバイス100との通信を可能としてもよい。なお、本実施形態におけるシミュレータ200とデバイス100との通信は、双方向であってもよく、どちらか一方向であってもよい。
更に、図7に示すように、本実施形態において、シミュレータ(Interactive Flint)200-1は、他のシミュレータ(Interactive Flint)200-2と通信することができ、他のシミュレータ200-2にて実行された異なるモデルのシミュレーションをリアルタイムに相互作用させながら、シミュレーションを実行することができる。なお、本実施形態においては、シミュレータ200-1と他のシミュレータ200-2とが、同一筐体に実装されていてもよく、他の筐体に実装されていてもよい。また、本実施形態におけるシミュレータ200-1と他のシミュレータ200-2との通信は、双方向であってもよく、どちらか一方向であってもよい。
また、図8から図13を参照して、本実施形態におけるデバイス制御の一例について説明する。図8から図12は、本実施形態におけるデバイス制御の一例を示す図である。図13は、本実施形態におけるセンサ110の一例を示す図である。
図8に示すように、本実施形態における実験デバイス制御においては、生理機能プロセスまたは生化学プロセス等の数理モデルに基づいて、シミュレータ200にて実験系の状態の近未来がシミュレーションされ、実験系が望ましくない状態に陥る前に、電動ピペットであるデバイス100が操作制御される。例えば、本実施形態においては、シミュレーション結果に基づいて、幹細胞が特定の細胞に分化できるように、電動ピペットであるデバイス100が操作制御されてもよい。
また、図9に示すように、本実施形態におけるロボット歩行制御においては、神経系および身体運動学の数理モデルに基づいて、シミュレータ200にてロボットであるデバイス100の歩行がシミュレーションされ、センサ110とモータを搭載したデバイス100が駆動制御され、センサ110にて検出されたセンサ検出値がシミュレーションにフィードバックされる。
また、図10に示すように、本実施形態におけるロボット制御においては、運動方程式の数理モデルに基づいて、シミュレータ200にて腕ロボットであるデバイス100-1および脚ロボットであるデバイス100-2の挙動がシミュレーションされ、デバイス100-1およびデバイス100-2が駆動制御される。
また、図11に示すように、本実施形態におけるロボット制御においては、グラフのモデルに基づいて、シミュレータ200にてロボットであるデバイス100-1~nの自己組織化がシミュレーションされ、デバイス100-1~nが駆動制御される。
また、図12に示すように、本実施形態におけるマウスロボット制御においては、シミュレータ200にてPHMLで記述された数理モデルに対する数値計算により、マウスロボットであるデバイス100の挙動のシミュレーションが実行され、シミュレーション結果に基づいて、デバイス100のデバイス識別子、センサ110のセンサ識別子、設定時刻、および、アクチュエータ108にて変換される左右の車輪の角速度を含む、プログラム言語C++で生成された駆動制御指示が、プログラム言語Cに変換されてデバイス100に送信され、アクチュエータ108が駆動制御されることで、デバイス100の車輪の速度が変化する。そして、図12に示すように、本実施形態におけるマウスロボット制御においては、図13に示すデバイス100の四つの光学センサからなるセンサ110にて障害物との距離が検出された場合、障害物との距離、デバイス識別子、センサ識別子、および、検出時刻を含むセンサ検出値がデバイス100(デバイスドライバ)からシミュレータ200に任意の頻度で送信され、シミュレータ200にて数理モデルが更新される。
このように、本実施形態においては、モデル共有が容易になるだけでなく、モデルの開発とシミュレーションの実行とがタスクとして完全に分離され、モデル開発者が数値計算アルゴリズムを実装する必要がなくなるため、モデル開発者がモデル開発に集中できるようになる。また、本実施形態においては、シミュレーション結果に基づいて、新薬の創出等の様々な実用的な利用へと繋げることを可能としている。
[4.他の実施形態]
本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
例えば、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
また、本明細書中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
また、デバイス100およびシミュレータ200等に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
例えば、デバイス100およびシミュレータ200等が備える処理機能、特に制御部にて行われる各処理機能については、その全部または任意の一部を、CPUおよび当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、本実施形態で説明した処理を情報処理装置に実行させるためのプログラム化された命令を含む一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてデバイス100に機械的に読み取られる。すなわち、ROMまたはHDD(Hard Disk Drive)などの記憶部などには、OSと協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
また、このコンピュータプログラムは、デバイス100およびシミュレータ200等に対して任意のネットワーク300を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
また、本実施形態で説明した処理を実行するためのプログラムを、一時的でないコンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード、フレキシブルディスク、光磁気ディスク、ROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(登録商標)(Electrically Erasable and Programmable Read Only Memory)、CD-ROM(Compact Disk Read Only Memory)、MO(Magneto-Optical disk)、DVD(Digital Versatile Disk)、および、Blu-ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。
また、「プログラム」とは、任意の言語または記述方法にて記述されたデータ処理方法であり、ソースコードまたはバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OSに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、本実施形態に示した各装置において記録媒体を読み取るための具体的な構成および読み取り手順ならびに読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
記憶部に格納される各種のデータベース等は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
また、シミュレータ200等は、既知のパーソナルコンピュータまたはワークステーション等の情報処理装置として構成してもよく、また、任意の周辺装置が接続された当該情報処理装置として構成してもよい。また、シミュレータ200等は、当該装置に本実施形態で説明した処理を実現させるソフトウェア(プログラムまたはデータ等を含む)を実装することにより実現してもよい。
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じてまたは機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
本発明は、ロボットおよび医薬品等の研究・開発、教育、ならびに、エンターテイメント等の様々な分野において有用である。
100 デバイス
102 制御部
106 記憶部
110 センサ
200 シミュレータ
202 制御部
202a シミュレーション実行部
202b 駆動制御指示生成部
202c 駆動制御部
202d センサ検出値取得部
202e モデル更新部
206 記憶部
206a モデルデータベース
206b 連携データベース
212 入出力部
300 ネットワーク

Claims (11)

  1. アクチュエータとセンサとを備えたアクチュエータ搭載デバイス、および、記憶部と制御部とを備えたシミュレータを通信可能に接続したインタラクティブシミュレーションシステムであって、
    前記記憶部は、
    前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段と、
    シミュレーションを実行するためのシミュレータAPIと、前記アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する連携記憶手段と
    を備え、
    前記制御部は、
    前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行手段と、
    前記シミュレーション結果、および、前記連携データに基づいて、前記アクチュエータの駆動制御指示を生成する駆動制御指示生成手段と、
    前記駆動制御指示を前記アクチュエータ搭載デバイスに送信し、前記アクチュエータの駆動制御を実行する駆動制御手段と、
    前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得手段と、
    前記センサ検出値に基づいて、前記モデルを更新するモデル更新手段と、
    を備えたことを特徴とするインタラクティブシミュレーションシステム。
  2. 前記シミュレーション実行手段は、
    前記モデルに基づいて、シミュレーションプログラムを生成し、当該シミュレーションプログラムを用いて前記シミュレーションを実行し、前記シミュレーション結果を取得することを特徴とする請求項1に記載のインタラクティブシミュレーションシステム。
  3. 前記シミュレーション実行手段は、
    更に、他のモデルに基づいて、前記アクチュエータ搭載デバイスの挙動のシミュレーションを実行し、他のシミュレーション結果を取得し、
    前記モデル更新手段は、
    前記他のシミュレーション結果に基づいて、前記モデルを更新することを特徴とする請求項1または2に記載のインタラクティブシミュレーションシステム。
  4. 前記モデルは、
    数理モデル、物理モデル、記号モデル、および/または、論理モデルであることを特徴とする請求項1からのいずれか一つに記載のインタラクティブシミュレーションシステム。
  5. 前記数理モデルは、
    微分方程式モデルであり、
    前記シミュレーション実行手段は、
    前記微分方程式モデルに対する数値計算により、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、前記シミュレーション結果を取得することを特徴とする請求項に記載のインタラクティブシミュレーションシステム。
  6. 前記駆動制御指示生成手段は、
    前記シミュレーション結果、および、前記連携データに基づいて、対象とする前記アクチュエータ搭載デバイスのデバイス識別子、当該アクチュエータ搭載デバイスの前記センサのセンサ識別子、設定時刻、および/または、前記アクチュエータにて変換される運動量を含む前記駆動制御指示を生成し、
    前記センサ検出値取得手段は、
    検出を実行した前記アクチュエータ搭載デバイスの前記デバイス識別子、検出を実行した前記センサの前記センサ識別子、および/または、検出時刻を含む前記センサ検出値を取得することを特徴とする請求項1から5のいずれか一つに記載のインタラクティブシミュレーションシステム。
  7. 前記駆動制御指示生成手段は、
    前記シミュレーション結果、および、前記連携データに基づいて、駆動制御プログラムを含む前記駆動制御指示を生成することを特徴とする請求項1から5のいずれか一つに記載のインタラクティブシミュレーションシステム。
  8. アクチュエータとセンサとを備えたアクチュエータ搭載デバイスに通信可能に接続された、記憶部と制御部とを備えたシミュレータであって、
    前記記憶部は、
    前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段と、
    シミュレーションを実行するためのシミュレータAPIと、前記アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する連携記憶手段と
    を備え、
    前記制御部は、
    前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行手段と、
    前記シミュレーション結果、および、前記連携データに基づいて、前記アクチュエータの駆動制御指示を生成する駆動制御指示生成手段と、
    前記駆動制御指示を前記アクチュエータ搭載デバイスに送信し、前記アクチュエータの駆動制御を実行する駆動制御手段と、
    前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得手段と、
    前記センサ検出値に基づいて、前記モデルを更新するモデル更新手段と、
    を備えたことを特徴とするシミュレータ。
  9. アクチュエータとセンサとを備えたアクチュエータ搭載デバイス、および、記憶部と制御部とを備えたシミュレータを通信可能に接続したインタラクティブシミュレーションシステムに実行させるためのインタラクティブシミュレーション方法であって、
    前記記憶部は、
    前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段と、
    シミュレーションを実行するためのシミュレータAPIと、前記アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する連携記憶手段と
    を備え、
    前記制御部で実行させる、
    前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行ステップと、
    前記シミュレーション結果、および、前記連携データに基づいて、前記アクチュエータの駆動制御指示を生成する駆動制御指示生成ステップと、
    前記駆動制御指示を前記アクチュエータ搭載デバイスに送信し、前記アクチュエータの駆動制御を実行する駆動制御ステップと、
    前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得ステップと、
    前記センサ検出値に基づいて、前記モデルを更新するモデル更新ステップと、
    を含むことを特徴とするインタラクティブシミュレーション方法。
  10. アクチュエータとセンサとを備えたアクチュエータ搭載デバイスに通信可能に接続された、記憶部と制御部とを備えたシミュレータに実行させるためのインタラクティブシミュレーション方法であって、
    前記記憶部は、
    前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段と、
    シミュレーションを実行するためのシミュレータAPIと、前記アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する連携記憶手段と
    を備え、
    前記制御部で実行させる、
    前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行ステップと、
    前記シミュレーション結果、および、前記連携データに基づいて、前記アクチュエータの駆動制御指示を生成する駆動制御指示生成ステップと、
    前記駆動制御指示を前記アクチュエータ搭載デバイスに送信し、前記アクチュエータの駆動制御を実行する駆動制御ステップと、
    前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得ステップと、
    前記センサ検出値に基づいて、前記モデルを更新するモデル更新ステップと、
    を含むことを特徴とするインタラクティブシミュレーション方法。
  11. アクチュエータとセンサとを備えたアクチュエータ搭載デバイスに通信可能に接続された、記憶部と制御部とを備えたシミュレータに実行させるためのインタラクティブシミュレーションプログラムであって、
    前記記憶部は、
    前記アクチュエータの駆動制御に関するモデルを記憶するモデル記憶手段と、
    シミュレーションを実行するためのシミュレータAPIと、前記アクチュエータを駆動するためのデバイスAPIと、を紐付けた連携データを記憶する連携記憶手段と
    を備え、
    前記制御部において、
    前記モデルに基づいて、前記アクチュエータ搭載デバイスの挙動の前記シミュレーションを実行し、シミュレーション結果を取得するシミュレーション実行ステップと、
    前記シミュレーション結果、および、前記連携データに基づいて、前記アクチュエータの駆動制御指示を生成する駆動制御指示生成ステップと、
    前記駆動制御指示を前記アクチュエータ搭載デバイスに送信し、前記アクチュエータの駆動制御を実行する駆動制御ステップと、
    前記アクチュエータ搭載デバイスの前記センサにて検出されたセンサ検出値を取得するセンサ検出値取得ステップと、
    前記センサ検出値に基づいて、前記モデルを更新するモデル更新ステップと、
    を実行させるためのインタラクティブシミュレーションプログラム。
JP2019042052A 2019-03-07 2019-03-07 インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム Active JP7371848B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019042052A JP7371848B2 (ja) 2019-03-07 2019-03-07 インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019042052A JP7371848B2 (ja) 2019-03-07 2019-03-07 インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム

Publications (2)

Publication Number Publication Date
JP2020142341A JP2020142341A (ja) 2020-09-10
JP7371848B2 true JP7371848B2 (ja) 2023-10-31

Family

ID=72355298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019042052A Active JP7371848B2 (ja) 2019-03-07 2019-03-07 インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム

Country Status (1)

Country Link
JP (1) JP7371848B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092640A (ja) 2003-09-18 2005-04-07 Ricoh Co Ltd 駆動機構のシミュレーション装置、シミュレーション方法、及びシミュレーションプログラム
JP2006236035A (ja) 2005-02-25 2006-09-07 Ricoh Co Ltd 駆動制御系設計支援装置、駆動制御系設計支援プログラム、駆動機構設計支援装置、駆動機構設計支援プログラム及び記録媒体
JP2008185029A (ja) 2007-01-26 2008-08-14 General Electric Co <Ge> カルマンフィルタを用いて動的モデルの状態を初期化するためのシステム及び方法
WO2017138164A1 (ja) 2016-02-08 2017-08-17 三菱電機株式会社 コントローラおよび搬送システム
WO2018197308A1 (en) 2017-04-26 2018-11-01 Nuovo Pignone Tecnologie Srl Method and system for modeling operations of a physical plant

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651811A (ja) * 1992-07-29 1994-02-25 Honda Motor Co Ltd シーケンスプログラムのシミュレーション方法および装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092640A (ja) 2003-09-18 2005-04-07 Ricoh Co Ltd 駆動機構のシミュレーション装置、シミュレーション方法、及びシミュレーションプログラム
JP2006236035A (ja) 2005-02-25 2006-09-07 Ricoh Co Ltd 駆動制御系設計支援装置、駆動制御系設計支援プログラム、駆動機構設計支援装置、駆動機構設計支援プログラム及び記録媒体
JP2008185029A (ja) 2007-01-26 2008-08-14 General Electric Co <Ge> カルマンフィルタを用いて動的モデルの状態を初期化するためのシステム及び方法
WO2017138164A1 (ja) 2016-02-08 2017-08-17 三菱電機株式会社 コントローラおよび搬送システム
WO2018197308A1 (en) 2017-04-26 2018-11-01 Nuovo Pignone Tecnologie Srl Method and system for modeling operations of a physical plant

Also Published As

Publication number Publication date
JP2020142341A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
WO2017159614A1 (ja) 学習サービス提供装置
Valera et al. Virtual and remote control laboratory development
Kramer et al. Development environments for autonomous mobile robots: A survey
Paszkiel et al. Computer Game in UNITY Environment for BCI Technology
Brunner et al. BCI software platforms
Dean-Leon et al. User friendly Matlab-toolbox for symbolic robot dynamic modeling used for control design
Camargo et al. Systematic literature review of realistic simulators applied in educational robotics context
US9566174B1 (en) System for controlling brain machine interfaces and neural prosthetic systems
US20180204107A1 (en) Cognitive-emotional conversational interaction system
US8666519B1 (en) Systems and methods for indirect control of processor enabled devices
Balkenius et al. Ikaros: Building cognitive models for robots
JP7371848B2 (ja) インタラクティブシミュレーションシステム、シミュレータ、インタラクティブシミュレーション方法、および、インタラクティブシミュレーションプログラム
Davoodi et al. A software tool for faster development of complex models of musculoskeletal systems and sensorimotor controllers in simulinkTM
Cao et al. Design and implementation of C-MEX S-functions in an Android-based networked control system laboratory
Szabó et al. An emotional engine model inspired by human-dog interaction
Docquier et al. Haptic devices based on real-time dynamic models of multibody systems
Tanev et al. Implementation of Actors’ Emotional Talent into Social Robots Through Capture of Human Head’s Motion and Basic Expression
US20100228695A1 (en) Computer system in which a received signal-reaction of the computer system of artificial intelligence of a cyborg or an android, an association of the computer system of artificial intelligence of a cyborg or an android, a thought of the computer system of artificial intelligence of a cyborg or an android are substantiated and the working method of this computer system of artificial intelligence of a cyborg or an android
Pavón-Pulido et al. Intelligent Control of an Exoskeleton for Rehabilitation Purposes Using a ROS-Based Software Architecture
Scherer Remote or virtual laboratory for hil (hardware-in-the-loop) testing education
Covaciu et al. VR interface for cooperative robots applied in dynamic environments
Gottipati et al. Hiking up that hill with cogment-verse: Train & operate multi-agent systems learning from humans
Dargar et al. A Voice Assisted Chatbot Framework for Real-Time Implementation in Medical Care
Kozma et al. Intentional dynamic systems: fundamental concepts and applications
Hasbulah et al. Towards eeg-based brain-controlled modular robots: Preliminary framework by interfacing openvibe, python and v-rep for simulate modular robot control

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7371848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150