JP2023539010A - コンピュータによって実現されるヒューマンマシーンインタラクション方法及びユーザインタフェース - Google Patents

Abstract

データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）の関連するブロックＢによって表される複数のシステムコンポーネントＣを有する複合システム（ＳＹＳ）の少なくとも１つのコントローラ又はアクチュエータに接続されるヒューマンマシーンインタラクションＨＭＩユーザインタフェース（１）であって、ユーザ入力コマンドを受信するよう適応される入力部（２）と、各ブロックＢ１に関連し、前記ブロックＢ１のロードされた３次元ワークスペースＷＳＢ１内において３次元座標系に配置されるバーチャルカメラＶＣＢ１によって、前記複合システム（ＳＹＳ）の対応するシステムコンポーネントＣを表す選択可能なブロックＢ１に関連する３次元ワークスペースＷＳＢ１内においてシーンを表示するよう適応される画面を有する表示部（３）であって、前記バーチャルカメラＶＣＢ１は、各ブロックＢ１に対してズーム操作を実行し、それのコンテンツエリアＣＡを明示又は隠匿するため、前記ユーザインタフェース（１）の前記入力部（２）に入力されるユーザ入力コマンドに応答して、前記関連するブロックＢ１の３次元ワークスペースＷＳＢ１において自動的に移動可能である、表示部（３）と、を含み、ズームされたブロックＢ１のコンテンツエリアＣＡは、各ブロックＢ１のネスト化されたチャイルドブロックＢ１＿１，Ｂ１＿２を含む、ユーザインタフェース（１）。

Description

本発明は、ユーザが複合システムに関する情報を抽出し、各複合システムのコンポーネントを計画、モニタリング及び制御するのを支援するのに利用されるコンピュータによって実現されるヒューマンマシーンインタラクション方法及びユーザインタフェースに関する。

製造設備や車両などの技術システムは、ますます複雑になっている。システムは、相互に関連する複数のハードウェア又はソフトウェアコンポーネントを備えることができる。システムの各コンポーネントは、それ自体、下位の階層レベルにおいて他のコンポーネントを含むことができる。システムの複雑さが増すにつれて、階層レベルの数も増加する。技術システム、特に設備などの技術システムの計画のため、システムは、各サブシステム及びコンポーネントがモデルの対応するデータオブジェクトによって表されることができる階層システムモデルによって表されることができる。それぞれのシステムの階層システムモデルは、システムを計画及び操作するために使用することができる。技術システムの動作は、システムの動作中にシステムコンポーネントを制御することを含む。さらに、システムコンポーネントは、複合技術システムの動作寿命の間、メンテナンス又は修理を必要とし得る。大部分の技術設備は、ユーザがシステムとやりとりし、その動作中に技術システムの機能を制御したり、又は、観察された危機的状況の際に修理又はメンテナンス手順をトリガすることなどの技術的作業を行うことを可能にするヒューマンマシーンインタフェースＨＭＩを有する。従来のヒューマンマシーンインタラクションユーザインタフェースは、ユーザ入力コマンドを受信するための入力部と、監視される技術システムの動作中に検出された障害などの情報をユーザに表示するための画面を有する表示部とを備える。しかしながら、ユーザインタフェースの表示部の画面は、そのサイズが制限されている。特に、ラップトップ又はタブレットのような携帯型制御デバイスの画面は、ユーザに情報データを出力するための限定的な画面領域しか含まない。画面の限られた領域における情報は、技術システム又は設備の階層システムモデル内の限られた数の階層レベルのみを同時に表示することを可能にするだけである。階層システムモデルは、ほとんどの場合、グラフの各ノードが対応する複合システムのサブシステム又はコンポーネントを表す、相互に関連するノードを有するダイアグラム又はグラフで表すことができる。システムの複雑さ及び階層レベルの数のため、複雑なダイアグラムは、技術システムの複数の階層レベルに同時に影響を及ぼすシステムの誤動作などの複雑な状況に関して透明な概略を提供しない。

技術指向のＵＭＬ、ＳＹＳＭＬ又はＢＰＭＮのようないくつかの言語は、複合システムの内部の特徴的なコンポーネントと、システムのインタフェースのような境界を介した技術システム外の他のコンポーネントとのやりとりを開発及び記述するためのデファクトスタンダードとして確立されている。システムを視覚化することを可能にする異なるツール、特に、プロセス図、タイムライン図、オルガン図又はオントロジーなどの階層図とともに、システムのコンポーネントのＣＡＤモデルなどの基本的な技術モデルを作成することを可能にする図形化ツールがある。

ツールのさらなるグループが、回路図、データ構造又はワークフローを作成及び表示するため使用することができる。このモデリングソフトウェアツールのグループは、エキスパートツールと呼ぶこともできる。これらのツールは、ドメインエキスパートがそれぞれの技術システムの管理供給サイクル及び変形例を含む複雑なデータ構造を作成するのに役立つ。

一方、多くの一般的なモデリングソフトウェアツールは、特定のドメイン又は特定の技術タスクのためのデータモデルの表現に着目している。しかしながら、領域のモデルがこれらの領域間で交換されるとき、問題が発生し得る。新しい技術的又はプロセス的な解決手段を作成する際、異なるモデル間のやりとりはかなり一般的である。他方、学習しやすく、異なるドメインで使用できるダイアグラムツールを使用することは、ソフトウェア及びハードウェア製品の開発の複雑さに対処することができない。これは、高度に熟練した専門家が、スクリーンショットを使用して、又は異なる互換性のないソース及びデータモデルを用いて互いに協働する満足できない状況につながる。比喩的に言えば、今日の技術及びシステムは、時代遅れの技術を用いて開発されることが多い。

従来のソフトウェアツールは、視覚的に異なるデータモデルの接続をサポートしておらず、これは、観察及び制御された技術システムの動作に悪影響を及ぼすエラーにつながる可能性がある完全な技術システムに対する不十分な概略のため、ユーザが相関関係を理解することを妨げる可能性がある。

従来のソフトウェアツールは、特に、限られたズーム及びネスト化能力しか有していない。いくつかの階層レベルをズームするとき、表示されるサブシステム及びコンポーネントは、画面の限定的なサイズと画面の限定的な解像度のため、表示部の画面上でますます小さくなる。低い階層レベルでは、モデルにおいて表される様々なコンポーネント又はオブジェクトは、特に、技術システム内のコントローラのような制御コンポーネントなどを表す表示されたデータオブジェクトの制御エリアが、そのような従来のヒューマンマシーンインタフェースを介してユーザによってもはや観察及び操作できないように、区別不能になる。低い階層レベルにおける関心対象のオブジェクト上の従来のソフトウェアツールを用いてズームするとき、関心対象のオブジェクトに関する情報は、観察された技術設備における危険事象などの重大な状況にユーザが反応することができないように、最終的には識別不可になる。さらに、大部分のソフトウェアツールは、視覚的ネスト化を１つ又は２つの階層レベルのみに制限する。より深い階層レベルには、異なるタブ、ドキュメント又はモデルを介して間接的にしかアクセスできない。これは、その後、システム全体の不十分な理解につながる。従来のヒューマンマシーンインタフェースのさらなる欠点は、より下位の階層レベルにおける関心対象のデータオブジェクトに直接的にジャンプすることができないことにある。

従って、本発明の課題は、複合技術システムを制御する際の信頼性を高めるため、特に、複合技術システムのコンポーネントを表す記憶されたデータモデル内の関心対象のオブジェクトへのズームを容易にするため、より効率的なヒューマンマシーンインタラクションを可能にする方法及び装置を提供することである。

この課題は、本発明の第1の態様によると、請求項１の特徴を含むコンピュータにより実現されるヒューマンマシーンインタラクション方法によって達成される。

第１の態様による発明は、ユーザがデータベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤによって表現され、ユーザインタフェースの表示部上に対応するネスト化構造として表示される複合システムＳＹＳに関する情報を抽出及び作成することを支援するのに利用されるコンピュータによって実現され、階層システムモデルは、複合システムＳＹＳを計画、監視及び／又は制御するため処理され、コンピュータにより実現されるヒューマンマシーンインタラクション方法は、以下のステップ、
第１のステップＳ１において、複合システムＳＹＳのコンポーネントを表す関連する一意的なＵＲＬを利用して、ブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１をロードすることであって、ブロックＢ１のロードされる３次元ワークスペースＷＳ_Ｂ１は、データベースＤＢに格納される階層的システムモデルＳＹＳ－ＭＯＤにおいてブロックＢ１の下位として規定され、ブロックＢ１のロードされる３次元ワークスペースＷＳ_Ｂ１に配置されるブロックＢ１のチャイルドブロックのシーンを含む、ロードすることと、
第２のステップＳ２において、ブロックＢ１の３次元ワークスペースＷＳ_Ｂ１内の３次元座標系に配置され、ブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１によって、表示部の画面上にブロックＢ１のチャイルドブロックＢ１＿ｘのシーンを投影することによって、３次元ワークスペースＷＳ_Ｂ１を表示することと、
第３のステップＳ３において、各チャイルドブロックのサイズ、表示部の画面の画面サイズ、及び、ブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１と、ブロックＢ１の各チャイルドブロックとの間の距離ｄに基づいて計算される明示／隠匿基準に依存して、ブロックＢ１の可視的な表示されたチャイルドブロックのコンテンツエリアＣＡを明示又は隠匿することと、
第４のステップＳ４において、チャイルドブロックＢ１＿１のチャイルドエリアタイプのコンテンツエリアＣＡが明示される場合、チャイルドブロックＢ１＿１上へのチャイルドブロックＢ１＿１のチャイルドブロックのシーンの中間的な仮想的投影を介し、表示部の画面上にブロックＢ１の各チャイルドブロックＢ１＿１のチャイルドブロックのシーンを投影することによって、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤの下位の階層レベルに対応するより深いネスト化されたチャイルドブロックを表示することと、
全てのチャイルドブロックと関連するコンテンツエリアＣＡとが、第３のステップと第４のステップとにおいて利用される明示／隠匿基準に従って表示されるまで、第３のステップＳ３と第４のステップＳ４とを繰り返すことと、
を繰り返し実行するヒューマンマシーンインタラクション方法を提供する。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法は、複合システムＳＹＳの階層システムモデルＳＹＳ－ＭＯＤの無限数の階層レベルにわたってズームイン又はズームアウトすることを可能にする。これは、複合システムを計画する際の効率性を増加させ、関連する複合システムの信頼できる監視及び制御を提供する。

複合システムＳＹＳの監視及び制御は、システムコンポーネントＣの現在の動作状態に対する原因であるサブシステムが、例えば、システム全体に対する概略を失うことなく、システムコンポーネントＣの重大な動作状態に対する根本原因を効率的に探索するため、即座にズーム処理可能であるという追加的な利点を提供するそれのグラフィカルな表示されたシステムモデルを介し実行可能である。

さらなる利点は、関連するブロックＢを利用したシステムコンポーネントＣの制御及び監視中、異なるブロックＢの間の関係Ｒがまた、複合システムＳＹＳ全体内の何れかの影響を受けたシステムコンポーネントＣの技術的コンテクストを同時に示す可視的なものであるということである。

これは、技術コンポーネントＣの瞬間的な動作状態の監視を可能にし、関連するブロックＢに対してユーザコマンドによりトリガされた操作を実行する際、技術コンポーネントＣの制御をよりエラーが少ないものにし、従って、制御される技術システムＳＹＳの安全性及び性能を増大させる。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な実施例では、バーチャルカメラＶＣ_Ｂ１は、ユーザインタフェースの入力部へのユーザコマンド入力に応答して、又は、コントローラから、特に対応する複合技術システムのコントローラから制御インタフェースを介し受信されるコマンドに応答して、関連するブロックＢ１の３次元ワークスペースＷＳ_Ｂ１において配置及び移動される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、所定のスイッチオーバ基準が充足される場合、ブロックＢ１に関連する現在の３次元ワークスペースＷＳ_Ｂ１とバーチャルカメラＶＣ_Ｂ１とから、ブロックＢ１のチャイルドブロックＢ１＿１に関連する他の３次元ワークスペースＷＳ_Ｂ１＿１とバーチャルカメラＶＣ_Ｂ１＿１とへの切替が、自動的又は手動でシームレスに実行され、ブロックＢ１に関連するＵＲＬからチャイルドブロックＢ１＿１に関連するＵＲＬへのＵＲＬの自動変更を伴う。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、所定のスイッチオーバ基準が充足される場合、チャイルドブロックＢ１＿１に関連する現在の３次元ワークスペースＷＳ_Ｂ１＿１とバーチャルカメラＶＣ_Ｂ１＿１とから、ブロックＢ１＿１のペアレントブロックＢ１に関連する他の３次元ワークスペースＷＳ_Ｂ１とバーチャルカメラＶＣ_Ｂ１への切替が、自動的又は手動でシームレスに実行され、ブロックＢ１＿１に関連するＵＲＬからペアレントブロックＢ１に関連するＵＲＬへのＵＲＬの自動変更を伴う。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、階層システムモデルの下位階層レベルＨＬにおける他のブロックＢ１＿１と親子関係によって接続されるデータベースＤＢに格納される階層システムモデルの階層レベルＨＬにおけるブロックＢ１は、上位の階層レベルＨＬにおけるペアレントブロックＢ１のチャイルドブロックを次に形成する下位の階層システムレベルにおける他のブロックＢ１＿１に関してペアレントブロックを形成する。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、各ブロックは、コンテンツエリアＣＡが行及び列に配置され、コンテンツエリアが明示及び／又は隠匿基準に従って明示可能又は隠匿可能である、異なるコンテンツエリアタイプの複数のコンテンツエリアＣＡを含む。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、コンテンツエリアＣＡの明示／隠匿基準は、ユーザインタフェースの表示部の画面上に表示される最適な情報量などのさらなる所定のファクタに基づく。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢのコンテンツエリアＣＡのコンテンツエリアタイプＣＡＴは、
各ブロックのより深いネスト化されたチャイルドブロックを示すよう適応される第１のコンテンツエリアタイプＣＡＴ１（チャイルド－エリア）と、
コンテンツデータ、特にテキストコンテンツデータと画像コンテンツデータなどのコンテンツを含む第２のコンテンツエリアタイプＣＡＴ２（データ－エリア）と、
ＡＰＩを介し第三者サービスによって提供されるダイナミックデータを含む第３のコンテンツエリアタイプＣＡＴ３（ダイナミック－エリア）と、
ユーザ入力感知エリアがユーザ選択コマンドに応答して選択される場合、制御信号を自動生成するよう適応されるユーザ入力感知コンテンツエリアを提供する第４のコンテンツエリアタイプＣＡＴ４（ユーザ制御入力－エリア）と、
を含む。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、より深い階層レベルの重要かつ重大な情報は、より高い階層レベルのブロックに視覚的にわたすことが可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルの各ブロックＢは、データベースＤＢに格納される階層システムモデルの階層構造を反映する一意的なブロック識別子又は名称と関連するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とを含みうる。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、各ブロックＢは、ユーザが各ブロックＢに関連するＵＲＬを介しブロックＢに関連するワークスペースＷＳ_Ｂへのリード又はライトアクセスＲ／Ｗを他のユーザに提供可能なユーザにより規定された権限管理を含む。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ユーザにより規定された権限管理の設定は、他の何れのユーザにより規定された権限管理の設定もブロックのチャイルドブロック又はより深いチャイルドブロックに適用されない限り、ブロックＢの直接のチャイルドブロックとより深いネスト化されたチャイルドブロックとに自動的にわたされる。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１は、３次元ワークスペースＷＳ_Ｂ１内のバーチャルカメラＶＣ_Ｂ１とチャイルドブロックＢ１＿１との間の距離ｄを縮小させ、各チャイルドブロックＢ１＿１とそれのコンテンツエリアＣＡとにズームインするため、ブロックＢ１のチャイルドブロックＢ１＿１に向かって、３次元ワークスペースＷＳ_Ｂ内のユーザインタフェースの入力部へのズームユーザコマンド入力に応答して移動される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１は、ブロックＢ１のチャイルドブロックにパラレルな３次元ワークスペースＷＳ_Ｂ１におけるユーザインタフェースの入力部へのパンユーザコマンド入力に応答して移動される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１は、関連するバーチャルカメラＶＣ_Ｂ１の現在のカメラ位置の周囲の３次元ワークスペースＷＳ_Ｂ１におけるユーザインタフェースの入力部への回転ユーザコマンド入力に応答して自動的に回転される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤ内のブロックＢは、各関係Ｒを記述するための関連する関係ラベルを含む関係Ｒを介し相互リンク可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤ内のブロックＢは、異なるパーツ上のブロック、すなわち、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤの階層レベルＨＬでないブロックにリンク可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、スイッチオーバ基準は、３次元ワークスペースＷＳにおける設定可能な距離閾値ＴＨに基づき、ブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１内で移動可能なバーチャルカメラＶＣ_Ｂ１と、ブロックＢ１のチャイルドブロックＢ１＿１との間の計算された距離ｄが設定可能な距離閾値ＴＨより小さくなる場合、ブロックＢ１のチャイルドブロックＢ１＿１に関連するバーチャルカメラＶＣ_Ｂ１＿１への切替が自動的に実行される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、距離閾値ＴＨは、バーチャルカメラＶＣが各チャイルドブロックに対して移動される方向、各チャイルドブロックのサイズ及びユーザインタフェースの表示部の画面の画面サイズを含むさらなる基準に基づく。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１の新たなチャイルドブロックＢ１＿ｘは、ユーザがブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内においてユーザによって作成可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、背景カラー、境界カラー及び境界半径を含むブロックＢ１のチャイルドブロックのスタイルは、ユーザが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内においてユーザによって編集可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックのサイズは、ユーザＵが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内においてユーザＵによって変更可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの位置は、ユーザＵが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内においてユーザＵによって位置を直接ドラッグ又は入力することを介し変更可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの階層位置は、ユーザＵがブロックＢ１とチャイルドブロックが移動される新たなペアレントブロックとへのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内においてユーザＵによってドラッグ又はドロップ操作を介し変更可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックのための新たなコンテンツエリアＣＡは、ユーザＵが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内においてユーザＵによって作成可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの第２のコンテンツエリアタイプＣＡＴ２のコンテンツエリアＣＡのコンテンツは、ユーザが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内において各コンテンツエリアＣＡに対するユーザ選択コマンドに応答して、ユーザＵによって編集可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの第３のコンテンツエリアタイプＣＡＴ３のコンテンツエリアＣＡのコンテンツは、関連するＡＰＩが変更されるデータを提供する場合、自動的に更新される。その反対に、ユーザが各ブロックＢ１へのライトアクセスを有し、各コンテンツエリアＣＡのデータを変更する場合、更新イベントが関連するＡＰＩに送信される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のワークスペースＷＳ_Ｂ１におけるユーザインタフェースを介した作業のためのユーザの編集アクションは、異なるユーザによるワークスペースＷＳ_Ｂ１の共同編集がサポートされるように、数分の１秒の短時間内で同じワークスペースＷＳ_Ｂ１を閲覧する他のユーザに自動的にミラーリングされる。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤは、ＵＭＬ（Ｕｎｉｆｉｅｄ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）又はＳｙｓＭＬ（Ｓｙｓｔｅｍｓ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）に基づいてユーザインタフェースの表示部の画面上に対応するネスト化構造として表示され、ＵＭＬ又はＳｙｓＭＬデータ構造としてインポート及びエクスポート可能であり、ＵＭＬ又はＳｙｓＭＬにおける構造は、ネスト化構造として３次元ワークスペース及び階層関係において表示される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、構造、動作、要件及びパラメトリックを含むＳｙｓＭＬの異なるピラーが、単一のワークスペースＷＳにおいて合成可能である。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢに関連する３次元ワークスペースＷＳ_Ｂを表示するための計算は、３次元の計算に対して最適化されるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で実行される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢの第４のコンテンツエリアタイプＣＡＴ４のコンテンツエリアＣＡが、ユーザインタフェースの入力部を介したユーザ選択コマンド入力に応答して選択される場合、少なくとも１つの制御信号ＣＲＴＬの生成が自動的にトリガされ、生成される少なくとも１つの制御信号は、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤによって表される複合技術システムＳＹＳのコンポーネントを形成するコントローラ又はアクチュエータに提供される。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢは、複合技術システムのハードウェアコンポーネント又はソフトウェアコンポーネントを表し、ブロックＢ１の各チャイルドブロックＢ１＿ｘは、各チャイルドブロックＢ１＿ｘのペアレントブロックを形成するブロックＢ１によって表されるサブコンポーネントを表す。

本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法は、ユーザ装置又はユーザ端末に一体化されるユーザインタフェースの処理部の少なくとも１つのプロセッサ上で実行されるソフトウェアツールによって実行可能である。

本発明はさらに、さらなる態様によると、請求項１４の特徴を含むヒューマンマシーンインタラクションユーザインタフェースを提供する。

本発明は、第２の態様によると、データベースＤＢに格納される階層システムモデルのブロックＢによって各々が表されるシステムコンポーネントＣを有する複合システムのコントローラ又はアクチュエータに接続されるヒューマンマシーンインタラクションユーザインタフェースであって、ユーザ入力コマンドを受信するよう適応される入力部と、各ブロックＢ１に関連し、ブロックＢ１の３次元ワークスペースＷＳ_Ｂ１内においてデカルト座標系に配置されるバーチャルカメラＶＣ_Ｂ１によって、複合システムのコンポーネントを表すブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１内においてシーンを表示するよう適応される画面を有する表示部であって、バーチャルカメラＶＣ_Ｂ１は、各ブロックＢ１とそれのコンテンツエリアＣＡとに対してズーム操作を実行するため、ユーザインタフェースの入力部へのユーザ入力コマンド入力に応答して、関連するブロックＢ１の３次元ワークスペースＷＳ_Ｂ１において自動的に移動可能である、表示部と、を含むヒューマンマシーンインタラクションユーザインタフェースを提供する。

本発明の第２の態様によるヒューマンマシーンインタラクションユーザインタフェースの可能な実施例では、ブロックＢ１は、ブロックＢ１によって表される複合技術システムのシステムコンポーネントＣ、又は、データベースＤＢに格納される階層システムモデルにおいてブロックＢ１と関係を有する他のブロックＢ’によって表される複合技術システムの他のシステムコンポーネントＣに供給される制御信号の生成をトリガするためのユーザ入力感知コンテンツエリアに適用されるユーザ起動コマンドに応答して、制御信号ＣＲＴＬを自動生成するよう適応される第４のコンテンツエリアタイプＣＡＴ４のユーザ入力感知コンテンツエリアＣＡを含む。

ヒューマンマシーンインタラクションユーザインタフェースの可能な実施例では、ユーザインタフェースの処理部、特にＧＰＵが、以下のステップ、
複合技術システムＳＹＳのシステムコンポーネントＣを表すブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１をデータメモリにロードするステップであって、ロードされる３次元ワークスペースＷＳ_Ｂ１は、データベースＤＢに格納される階層システムモデルにおいてブロックＢ１の下位として規定され、ブロックＢ１のロードされる３次元ワークスペースＷＳ_Ｂ１に配置されるブロックＢ１のチャイルドブロックのシーンを含む、ロードするステップ（Ｓ１）と、
ブロックＢ１のロードされる３次元ワークスペースＷＳ_Ｂ１に配置されるブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１によって、ヒューマンマシーンインタラクションユーザインタフェースの表示部の画面上にブロックＢ１のチャイルドブロックＢ＿ｘのシーンを投影することによって、ロードされる３次元ワークスペースＷＳ_Ｂ１を表示するステップ（Ｓ２）と、
ブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１と、ブロックＢ１の現在表示されているチャイルドブロックＢ１＿ｘとの間の一時的な計算された距離ｄに依存して、ブロックＢ１の可視的なチャイルドブロックＢ１＿ｘのコンテンツエリアＣＡを明示又は隠匿するステップ（Ｓ３）と、
チャイルドブロックＢ１＿１のチャイルドコンテンツエリアタイプＣＡＴ１のコンテンツエリアＣＡが明示される場合、チャイルドブロックＢ１＿１上へのチャイルドブロックＢ１＿１のチャイルドブロックのシーンの中間的な仮想的投影を介し、表示部の画面上にブロックＢ１のチャイルドブロックＢ１＿１のチャイルドブロックのシーンを投影することによって、データベースＤＢに格納される階層システムモデルの下位の階層レベルに対応するより深いネスト化されたチャイルドブロックを表示するステップ（Ｓ４）と、
を実行するよう繰り返し実行されるプログラムを実行するのに利用される。

以下において、本発明の異なる態様が、包含された図面を参照してより詳細に説明される。
本発明の態様による複合システムを制御するのに利用されるヒューマンマシーンインタフェースの可能な例示的な実施例を示すブロック図を示す。 本発明の更なる態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な例示的な実施例を示すフローチャートを示す。 ブロックと、データモデルのエンティティの間の関係との具体例を示す。 複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。 複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。 複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。 複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。 複合システムと対応するネスト化構造とを表す一例となる階層システムモデルを示す。 複合システムと対応するネスト化構造とを表す一例となる階層システムモデルを示す。 本発明によるユーザインタフェースの表示部の画面上へのブロックＢ１のチャイルドブロックＢ１＿ｘのシーンの投影とともに、ブロックＢ１の関連するバーチャルカメラＶＣ_Ｂ１とブロックＢ１のデカルト座標系と一緒にブロックＢ１のシーンを含むブロックＢ１の３次元ワークスペースを示す。 異なるタイプのコンテンツエリアを示すための具体例を示す。 本発明によるヒューマンマシーンインタフェースによって実行されるズーム操作を示すための具体例を示す。 本発明による方法の処理を示すため、中間的な仮想的投影を介し画面上へのより深いネスト化されたチャイルドブロックの投影の具体例を示す。 本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な一例となる実施例を示すためのさらなるフローチャートを示す。 本発明によるコンピュータにより実現される方法によって利用される異なるタイプのブロックを示す。 本発明によるコンピュータにより実現される方法によって利用される異なるタイプのブロックを示す。 本発明によるコンピュータにより実現される方法によって利用される異なるタイプのブロックを示す。

図１は、３つの主要なユニットを有する本発明の態様によるヒューマンマシーンインタフェース（ＨＭＩ）１の実施例を概略的に示している。図１の実施例に示されるヒューマンマシーンインタラクションユーザインタフェース１は、ユーザ入力コマンドを受信するように適合された入力部２と、３次元ワークスペースＷＳ内にシーンを表示するように適合された画面を有する表示部３とを備える。ヒューマンマシーンインタフェース１はさらに、入力部２に接続され、表示部３に接続された処理部４を備える。処理部４は、図１に示されるように、ローカル又はリモートデータベース５へのアクセスを有する。

入力部２は、タッチ感知画面を備えることができる。入力部２はまた、コンピュータマウス、トラックパッド、ジェスチャベースの制御デバイス、又は、他の何れかのタイプの手動操作入力エンティティを含むことができる。

表示部３は、コンピュータモニタ、スマートフォン又はタブレット画面、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ディスプレイデバイス又はＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイスを含むことができる。

処理部４は、コンピュータ、スマートフォン又はタブレットに存在しうる。それは、好ましくはＧＰＵと組み合わされ、図２のフローチャートに示されるように、コンピュータにより実現されるヒューマンマシーンインタラクション方法を実行する。ＧＰＵは、３Ｄシーンのレンダリングやレイトレーシングなどのグラフィック計算用に最適化されている。

ヒューマンマシーンインタフェース１の処理部４は、複合技術システム内のコントローラ又はアクチュエータなどの少なくとも１つのシステムコンポーネントＣに接続することができる。図示された複合技術システムＳＹＳは、例えば、相互通信する複数のマシーンを備える製品を製造するための設備又は製造工場であってもよい。図１に示すシステムコンポーネントＣは、何れかのタイプのシステムコンポーネントＣ、特に複合システムＳＹＳ内のサブシステム又は回路とすることができる。複合システムＳＹＳは、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤで表される。このような階層システムモデルＳＹＳ－ＭＯＤの具体例が図５Ａに示される。複合システムＳＹＳは、例えば、物理、論理又は機能ベースで相互にやりとりする複数の相互関連したシステムコンポーネントＣを含むことができる。物理複合システムＳＹＳの各システムコンポーネントＣは、図３、図４及び図５に示されるように、階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢによって図示又は表される対応するデータオブジェクト又はデータ構造によって表されうる。システムコンポーネントＣは、複合システム内のアクチュエータなどの他のシステムコンポーネントＣを順に制御するように適合されたコントローラを形成することができる。また、ヒューマンマシーンインタフェース１の処理部４は、複合システムＳＹＳ内のセンサコンポーネントなどのシステムコンポーネントＣのいくつかからフィードバック情報を受信し、システムコンポーネントＣの瞬間的な状態に関する状態情報を表示部３のスクリーン上にユーザに表示することもできる。

本発明によるヒューマンマシーンインタフェース１によって、複合システムＳＹＳのシステムコンポーネントＣを表すブロックＢが、同一又は異なる階層レベルＨＬにおける表示部３の画面上に表示される。ユーザＵは、複合システムＳＹＳにおける回路又はマシーンなどの関連する物理システムコンポーネントＣを表すブロックＢに対して直接処理を実行することができる。可能な実施形態では、表示部３のタッチ感知画面上に表示されたブロックＢの感知コンテンツエリアは、物理複合システムＳＹＳに統合されたそれぞれのシステムコンポーネントＣに対して制御処理を実行するためユーザの指によって押下可能である。複合システムＳＹＳにおける故障を示すユーザ入力感知コンテンツエリアＣＡは、タッチ感知画面上の感知エリアを押下することによって操作され、故障を処理するため複合システムＳＹＳにおける対応する物理システムコンポーネントＣを自動的に非アクティブ化することができる。従って、ユーザＵは、複合システムＳＹＳにおいて制御アクションをトリガするため、データベース５からロードされた複合システムＳＹＳを表すマルチレベル階層システムモデルＳＹＳ－ＭＯＤ上で直接作業可能である。さらに、本発明によるヒューマンマシーンインタフェース１及び対応するヒューマンマシーンインタラクション方法は、ユーザＵが複合システムＳＹＳ内の関心対象のシステムコンポーネントＣを表す関連ブロックＢをズームして、当該システムコンポーネントＣ及びそのサブコンポーネントに関する情報をより低い階層レベルで検索することを可能にする。

ヒューマンマシーンインタフェース１の表示部３は、ブロックＢの３次元ワークスペースＷＳ内に配置され、ブロックＢに関連するバーチャルカメラＶＣによって、複合システムＳＹＳにおけるコンポーネントＣを表すブロックＢに関連する３次元ワークスペースＷＳ内のシーンを表示するための画面を含み、バーチャルカメラＶＣは、ブロックＢとそれのコンテンツエリアＣＡとに対してズームするため、ユーザインタフェース１の入力部２へのユーザ入力命令入力に応答して、関連するブロックＢの３次元ワークスペースＷＳにおいて移動可能である。

ワークスペースＷＳは、図９にも見られるように、各ブロックＢが３つの座標ｘ、ｙ、ｚを含むため、真に３次元である。ワークスペースＷＳの座標系におけるブロックＢの位置は、各ブロックＢの表示フレームの中心点の位置である。

図２は、本発明の第２の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な例示的な実施例のフローチャートを示す。コンピュータにより実現されるヒューマンマシーンインタラクション方法は、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤによって表される、図１に示されるような複合システムＳＹＳに関する情報データを検索し、場合によっては作成するためユーザを支援するのに使用される。階層システムモデルＳＹＳ－ＭＯＤは、図５Ａ及び５Ｂにも示されるように、対応するネスト化構造として表示部３の画面上に表示することができる。データベース５からロードされた階層システムモデルＳＹＳ－ＭＯＤは、ヒューマンマシーンインタフェース１の処理部４によって処理され、複合システムＳＹＳのシステムコンポーネントＣを計画、監視及び／又は制御する。

図２の図示された実施例では、コンピュータにより実現されるヒューマンマシーンインタラクション方法は、繰り返し実行される４つの主要なステップを含む。

第１のステップＳ１では、ブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１が、ブロックＢ１の関連する一意的なＵＲＬを使用してロードされる。ブロックＢ１は、複合システムＳＹＳ内のシステムコンポーネントＣを表す。各ブロックＢ１のロードされる三次元ワークスペースＷＳ_Ｂ１は、図６にも示されるように、各ブロックＢ１のチャイルドブロックのシーンを含む。ブロックＢ１のチャイルドブロックＢ１＿１，Ｂ１＿２は、データベース５に格納された複合システムＳＹＳの階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢ１の下位として規定され、各ブロックＢ１のロードされる三次元ワークスペースＷＳ_Ｂ１に配置される。

さらなる第２のステップＳ２では、３次元ワークスペースＷＳ_Ｂ１は、ブロックＢ１の３次元ワークスペースＷＳ_Ｂ１内の３次元デカルト座標系に配置されるブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１によって、表示部３の画面上にブロックＢ１のチャイルドブロックＢ１＿１、Ｂ１＿２のシーンを投影することによって表示される。

さらなるステップＳ３では、各ブロックＢ１の可視的な表示されたチャイルドブロックのコンテンツエリアＣＡは、特に各チャイルドブロックのサイズ、表示部３の画面の画面サイズ、及び、各ブロックＢ１とブロックＢ１の各チャイルドブロックＢ１＿１、Ｂ１＿２とに関連するバーチャルカメラＶＣ_Ｂ１の距離ｄに基づいて、処理部４の少なくとも１つのマイクロプロセッサによって計算される、明示／隠匿基準に応じて自動的に明示又は隠匿される。

さらなるステップＳ４では、データベース５に格納される階層システムモデルの下位の階層レベルに対応するより深いネスト化されたチャイルドブロックが、チャイルドブロックＢ１＿１のチャイルドタイプエリアＣＡＴ１のコンテンツエリアＣＡが明示される場合、図９の具体例にも示されるように、チャイルドブロックＢ１＿１上へのブロックＢ１＿１のチャイルドブロックＢ１＿１＿１，Ｂ１＿１＿２のシーンの中間的な仮想投影を介して、表示部３お画面上へのブロックＢ１のチャイルドブロックＢ１＿１のチャイルドブロックＢ１＿１＿１，Ｂ１＿１＿２のシーンを投影することによって、表示部３の画面上に表示される。

第３のステップＳ３及び第４のステップＳ４は、全てのチャイルドブロックと関連するコンテンツエリアＣＡとが、対応するステップで使用される明示／隠匿基準に従って表示部３の画面上に表示されるまで繰り返される。

図３は、ブロックＢとブロックを接続する接続または関係とを含むモデルの具体例を示す。ブロックＢは、コンテンツエリアＣＡを作成することができるデータオブジェクト（ビルディングブロック）の主要なコンポーネントである。ブロックＢは、異なるユースケースに使用することができ、例えば、図１１に示されるようにカスタマイズすることができる。ブロックＢは、ワークスペースＷＳの三次元において変化可能な幾何学的形状として視覚的に表示される。ブロックＢは、それのカラー、境界又は形状に関してスタイル化することもできる。技術的な観点から、ブロックＢは、コンテンツのためのデータポイント及びコンテナを形成する。各ブロックＢ内において、情報又はデータは、コンテンツエリアＣＡにおいて編成することができる。コンテンツエリアＣＡは、異なるタイプの情報又はデータが記憶可能であり、表示部３の画面を介して表示することができるセクションにブロックＢを分割する。コンテンツエリアＣＡの分割は、図７にも示されるように、行及び列によって行われることが好ましい。各ブロックＢは、関連する３次元ワークスペースＷＳを含む。各ブロックＢは、可能な実施形態では、複合システムＳＹＳのシステムコンポーネントＣを表す。複合システムＳＹＳは、互いにやりとりしうる多くのコンポーネントから構成される。複合システムＳＹＳは、それらのパーツ又はコンポーネントの間及び／又は及び／又は所与のシステムとそれの環境との間の依存性、競合、関係及び他のタイプのインタラクションのためモデル化することが本来的に困難である動作を有するシステムである。何れのケースでも、ノードがコンポーネントＣを表し、リンクがコンポーネントＣ間のインタラクションを表すネットワークとして、そのようなシステムＳＹＳを表すことができる。

複合システムＳＹＳは、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤによって表される。階層システムモデルは、下位の階層レベルが連続する上位の階層レベルの単位の階層に分類されるモデルである。３次元ワークスペースＷＳは、各ブロックＢのチャイルドブロック（シーン）がヒューマンマシーンインタフェース１を介しユーザによって作成及び修正可能なブロックＢに関連付けされる。ワークスペースＷＳは、対応するブロックＢにそれぞれ関連するシーン、座標系及びバーチャルカメラＶＣを含む。

ブロックＢは、ペアレントブロック及び／又は同時に少なくとも１つの他のブロックのチャイルドブロックでありうる。ペアレントブロックは、検討中のブロックの上位の１つの階層レベルＨＬになるブロックである。ペアレントブロックとチャイルドブロックとは、親子関係Ｒに沿って相互接続される。チャイルドブロックは、検討中のブロックの下位の１つの階層レベルにあるブロックである。コンテンツエリアＣＡは、異なるタイプの情報が格納及び表示可能であるセクションにブロックＢを分割する。ブロックＢに関連する３次元ワークスペースＷＳ内の全てのチャイルドブロックは、いわゆる、シーンを形成する。各ブロックＢは、関連するバーチャルカメラＶＣを有する。ブロックＢに関連するバーチャルカメラＶＣは、ブロックＢの３次元ワークスペースＷＳに配置される。バーチャルカメラＶＣによると、ブロックＢのワークスペースＷＳのシーンが、表示部３の画面上又はブロックＢ自体に投影することができる。

各ブロックＢは、異なるコンテンツエリアタイプＣＡＴを有することができる所定数のコンテンツエリアＣＡを含む。これらのコンテンツエリアＣＡは、行及び列に配置され、コンテンツエリアは、所定の明示／隠匿基準に従って、公開可能又は非公開可能である。この明示／隠匿基準は、各チャイルドブロックのサイズ、画面の画面サイズ、及び／又は、ブロックＢに関連するバーチャルカメラＶＣとブロックＢのチャイルドブロックとの間の瞬間的な距離ｄに基づいて、ヒューマンマシーンインタフェース１の処理部４のマイクロプロセッサによってリアルタイムで計算することができる。距離ｄは、バーチャルカメラＶＣの位置とブロックＢのフレームの中心におけるブロックＢの中心点の位置との間のユークリッド距離として、処理部４のプロセッサによって計算することができる。

可能な実施例では、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤ内のブロックＢの一部を形成することができるコンテンツエリアＣＡの４つの主要な異なるコンテンツエリアタイプＣＡＴがある。

第１のコンテンツエリアタイプ（チャイルドエリアタイプ）ＣＡＴ１は、各ブロックＢのより深いネスト化されたチャイルドブロックを示すよう適合される。

第２のコンテンツエリアタイプ（データ－エリアタイプ）ＣＡＴ２は、テキストコンテンツデータ又は画像コンテンツデータなどのコンテンツデータを含む。このタイプのコンテンツエリアは、複合システムＳＹＳに関する情報を提供する何れかのタイプのコンテンツを表示するのに利用可能である。

コンテンツエリアの第３のコンテンツエリアタイプＣＡＴ３は、ＡＰＩを介し第三者サービスによって提供されるダイナミックデータを含まない。この第３のコンテンツエリアタイプはまた、ダイナミックエリアコンテンツタイプとして参照されうる。それは、関連するＡＰＩによって提供されるデータの変更を反映し、変更されたデータをＡＰＩに送り返すことができる。

ユーザ制御入力エリアタイプとも参照されうるさらなる第４のコンテンツエリアタイプＣＡＴ４は、ユーザの入力を感知するコンテンツエリアを形成し、ユーザ入力感知エリアが、ヒューマンマシーンインタフェース１のタッチ感知画面によって表示されたユーザ入力感知コンテンツエリアへのタッチなどのユーザ選択コマンドに応答して選択される場合、少なくとも１つの制御信号ＣＲＴＬを自動的に生成するように適合される。これにより、各コンテンツエリアＣＡは、異なるタイプのデータを保持することができる。

タイプＣＡＴ２のコンテンツエリアは、とりわけ、例えば、図７に表示されるようなテキスト又は画像エリアを含む。タイプＣＡＴ３のコンテンツエリアは、例えば、ＡＰＩを介して第三者サービスによって提供されるユーザにより規定された値又はデータを表示するデータエリアを形成する。特殊なタイプのコンテンツエリアは、ネスト化又は入れ子構造を示すのに使用されるタイプＣＡＴ１のコンテンツエリアである。

接続又は関係Ｒは、異なるブロックＢ間のリンクである。視覚的には、図３に示されるように、接続は表示部３の画面上にラインとして表示されうる。異なる矢印の先頭は、異なるモデル構築基準をサポートするためそれらの端部に表示することができる。さらに、ラベルは、２つのブロック間のそれぞれの接続又は関係Ｒを記述するため、手動で追加又は自動的に割り当てることができる。技術的な観点から、接続は、これら２つのブロックＢ間の様々なタイプの関係Ｒを表す。２つのブロックＢ間の関係Ｒは、システムモデルＳＹＳ－ＭＯＤにおいて、双方のブロックへのアクセス権を有するユーザＵによって割り当てることができる。関係Ｒは、同じ階層レベルにおけるレベル内関係と、異なる階層レベル間、特に隣接する階層レベル間のレベル間関係とを含むことができる。

本発明によるコンピュータにより実現される方法は、ワークスペースＷＳの３次元内でのダイアグラムの作成をサポートするように適合される。例えば、ワークスペースＷＳ内のブロックＢの位置は、デカルト座標系におけるデカルト座標ｘ、ｙ、ｚを用いて設定することができる。コンピュータにより実現される方法は、ブロックＢ間の関係又は接続をそれらの位置に従って配置することができ、３次元ワークスペースＷＳ内においてｚ軸に沿って自動的にｚ変位を考慮に入れることができる。

ブロックＢのバーチャルカメラＶＣは、ユーザインタフェース１の入力部２に入力されたユーザ命令又はジェスチャに応答して、関連するブロックＢの三次元ワークスペースＷＳにおいて配置及び移動することができる。バーチャルカメラＶＣは、複合システムＳＹＳの物理コンポーネントＣを形成し、階層システムモデルＳＹＳ－ＭＯＤにおける関連ブロックＢによって表される制御部からのコマンドに応答して、関連ブロックＢの３次元ワークスペースＷＳにおいて移動されることも可能である。

図６及び図９は、選択されたブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１のズーム動作を示す。図６及び図９のバーチャルカメラＶＣ_Ｂ１は、関連するブロックＢ１の座標系又はワークスペースＷＳ_Ｂ１内で全方向に移動することができる。ブロックＢ１の三次元ワークスペースＷＳ_Ｂ１は、ブロックＢ１のシーンを含む。さらに、ブロックＢ１の三次元ワークスペースＷＳ_Ｂ１はまた、ブロックＢ１のバーチャルカメラＶＣ_Ｂ１を含む。バーチャルカメラＶＣ_Ｂ１が、ブロックＢ１のチャイルドブロックＢ１＿１、Ｂ１＿２のシーンの投影に対して垂直なワークスペースＷＳ_Ｂ１の座標系のｚ方向に移動される場合、中間的な仮想投影を介した画面上へのより深いネスト化されたチャイルドブロックＢ１＿１＿１、Ｂ１＿１＿２、Ｂ１＿２＿１の投影は、図９に示されるように実行される。

ズーム動作中、関連するブロックに属するバーチャルカメラＶＣ_Ｂ１は、入力部２に入力されたズームユーザコマンドに応答して、各ブロックＢ１のワークスペースＷＳ_Ｂ１に移動可能である。これは、例えば、トラックパッド上又はマウスホイール操作を介して操作される２本指パンコマンドなどのスクロールジェスチャによって実行されうる。バーチャルカメラＶＣのバーチャルカメラの動きはまた、ドラッグジェスチャ又はコマンドによって制御可能である。ワークスペースＷＳにおけるバーチャルカメラＶＣを制御するための最も一般的に使用されるカメラ制御コマンドは、マップ制御と呼ぶこともでき、バーチャルカメラＶＣのビュー方向が常に回転することなくワーク面に垂直に向けられることを意味する。

バーチャルカメラＶＣに加えて、各ブロックＢは、チャイルドブロックを含むことができる。各チャイルドブロックは、チャイルドブロックがそれぞれのペアレントブロックに対して視覚的に正しく表されるように、自らのバーチャルカメラＶＣを有する。チャイルドブロックはブロックそのものであるため、他のチャイルドブロックを含むこともできる。これにより、ブロックを無限にネスト化又は入れ子にすることができる。これはまた、図９にも示されている。図示された具体例では、ブロックＢ１は、２つのチャイルドブロックＢ１＿１及びＢ１＿２を備える。２つのチャイルドブロックＢ１＿１、Ｂ１＿２の各々は、それ自体のチャイルドブロックを含む。チャイルドブロックＢ１＿１は、チャイルドブロック（グランドチャイルド）ブロックＢ１＿１＿１と、ブロックＢ１＿１＿２とを含む。また、ブロックＢ１のチャイルドブロックＢ１＿２は、１つのチャイルドブロック（グランドチャイルド）Ｂ１＿２＿１を有する。ブロックＢ１は、関連するバーチャルカメラＶＣ_Ｂ１を有するルートブロックを形成する。図９に示すように、ブロックＢ１のシーンの表示部３の画面上への投影が実行される。ブロックＢ１のチャイルドブロック（Ｂ１＿１及びＢ１＿２）は、バーチャルカメラＶＣ_Ｂ１を介して画面上に投影される。より深くネスト化されたチャイルドブロック（グランドチャイルド）は、最初にそれぞれのペアレントブロックに投影される必要がある。この投影は、主要なシーン上のより深いネスト化されたチャイルドブロックの結果として生じるより小さいサイズ及び相対位置を計算するため仮想的に実行される。この技術は、中間的投影と呼ばれる。このアプローチの利点は、性能に基づくものである。チャイルドブロックの中間的な仮想投影は、第１のレンダリング中に１回だけ計算される必要がある。メインカメラの変化は再計算を必要としない。

ブロックＢ１の仮想カメラＶＣ_Ｂ１、すなわち、メインカメラは、依然としてメインシーンにフォーカスされ、チャイルドブロックは仮想的に投影されるに過ぎず、過度に深いズーム動作は、従来の方法では、バーチャルカメラＶＣにメインシーンの平面を貫通させ、ブロックはもはや見えなくなる。従って、コンピュータにより実現されるヒューマンマシーンインタラクション方法では、所定の切替基準が満たされる場合、ブロックＢ１に関連する現在の三次元ワークスペースＷＳ_Ｂ１及びバーチャルカメラＶＣ_Ｂ１から、ブロックＢ１のチャイルドブロックＢ１＿１に関連する別の三次元ワークスペースＷＳ_Ｂ１＿１及びバーチャルカメラＶＣ_Ｂ１＿１への切替が、自動的かつシームレスに実行される。図９に示される具体例では、例えば、ブロックＢ１のワークスペースＷＳ_Ｂ１内のバーチャルカメラＶＣ_Ｂ１と投影されたチャイルドブロックＢ１＿１との間の距離ｄが、所定の距離閾値ＴＨよりも低くなるまで減少する場合、バーチャルカメラＶＣ_Ｂ１からバーチャルカメラＶＣ_Ｂ１＿１への切替が、ワークスペースにおいて自動的に実行される。これは、ブロックＢ１に関連するＵＲＬ上のＵＲＬをチャイルドブロックＢ１＿１に関連するＵＲＬに自動変更することを伴う。データベース５に記憶される階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢは、好ましい実施例において、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤの階層構造を反映する一意的なブロック識別子及びＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含む。各ブロックＢは、ブロックＢを作成し、ブロックＢがユーザによって更新されたときのタイムスタンプまたは排他的なアクセスライト権限を有するユーザのユーザＩＤなどの追加情報を含むことができる。

図９の具体例では、所定の切替基準が満たされた場合、ブロックＢ１＿１に関連する現在の三次元ワークスペースＷＳ_Ｂ１＿１及びバーチャルカメラＶＣ_Ｂ１＿１から、チャイルドブロックＢ１＿１のペアレントブロックＢ１に関連する別の三次元ワークスペースＷＳ_Ｂ１及びバーチャルカメラＶＣ_Ｂ１への切替は、自動的又は半自動的に実行可能である。これは、チャイルドブロックＢ１＿１に関連するＵＲＬからブロックＢ１に関連するＵＲＬへのＵＲＬの結果としての変更（ズームアウト）を伴いうる。その結果、コンピュータにより実現される方法は、ユーザインタフェース１の入力部２に入力されるズームユーザコマンドに応答して、効果的なズームイン動作とズームアウト動作との双方を提供する。階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１が、ブロックＢ１のチャイルドブロックＢ１＿１に対するズームユーザコマンドに応答して、３次元ワークスペース内のバーチャルカメラＶＣ_Ｂ１とチャイルドブロックＢ１＿１との間の距離ｄを小さくするよう移動される場合、図９に示されるように、投影が実行される。階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１は、可能な実施例では、三次元ワークスペースＷＳ_Ｂ１におけるユーザインタフェースの入力部に入力されたパンユーザコマンドに応答して移動可能である。各ブロックＢは、図９にも示されるように、ワークスペースＷＳにおける実際の３次元位置、すなわち、デカルト座標系における３つの座標ｘ、ｙ、ｚを含む。例えば、第１のチャイルドブロックＢ１＿１は３Ｄ位置（ｘ＝－１０; y＝０; z＝０）を有し、ブロックＢ１の他のチャイルドブロックＢ１＿２は位置（ｘ＝１０; y＝０; ｚ＝２０）を有する。

また、階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１はまた、可能な実施例では、バーチャルカメラＶＣ_Ｂ１の現在のカメラ位置を中心としたブロックＢ１の３次元ワークスペースＷＳ_Ｂ１におけるユーザインタフェース１に入力された回転ユーザ命令に応答して、回転可能である。

第１のブロックＢ１に関連する第１のバーチャルカメラＶＣ_Ｂ１から別のブロックＢ２に関連する別のバーチャルカメラＶＣ_Ｂ２へのスイッチオーバはまた、可能な実施例では、各ブロックのユニフォームリソースロケータＵＲＬを使用して、すなわち、システムモデルにおける第２のブロックＢ２のＵＲＬを選択して、自動的に実行可能である。本発明によるコンピュータにより実現される方法は、階層システムモデルにおける異なるブロックＢ間の直接的なブロックナビゲーションも可能にする。階層構造は、各ブロックＢのユニフォームリソースロケータＵＲＬによって反映されうる。これは、ブロック構造のより深いレベルが、ズーム操作を介して到達可能であるだけでなく、各ブロックＢのＵＲＬを選択することによって、あるタイプのジャンプ操作において直接到達可能であることを意味する。ブロックＵＲＬが直接アクセスされる場合、対応するブロックＢが入力可能である。これは、入力されたブロックＢの下方の階層レベルＨＬにあるブロックのみが表示されることを意味する。ＵＲＬ構造と組み合わせることにより、これは、特定レベルのブロック構造を他の参加ユーザと共有することを可能にする。

図４Ａは、ネスト化されたブロックＢ、特に、いくつかのチャイルドブロックＢ１＿１、Ｂ１＿２、Ｂ１＿３、Ｂ１＿４を備えるペアレントブロックＢ１を示す。ペアレントブロックＢ１に対してズームすると、チャイルドブロック内のネスト化されたブロックが可視化される。これは、図４Ｂにも示されている。第１のタイプＣＡＴ１のチャイルドエリアは、図４Ａに示されるように、ブロックが互いに入れ子にされ、従って、それらの間に親子関係Ｒを生成することを可能にする。ペアレントブロックに対してズームインすることによって、より深いネスト化されたチャイルドブロックが、図４Ｂに示されるように明らかになる。対照的に、ズームアウトすることによって、より深くネスト化されたチャイルドブロックが隠され、ペアレント構造が表示される。ブロックＢは、異なるスタイル又は形状、例えば、図１１Ａに関連して説明されるような丸いブロックフレームを有するブロックＢを示すことができる。

階層ブロック構造は、図４Ｃに示すように、ウェブブラウザＵＲＬによって反映することができる。例えば、ブロックＢ１４２は、ＵＲＬ：／ｂｌｏｃｋ１／ｂｌｏｃｋ１４／ｂｌｏｃｋ１４２を介して直接的に到達可能である。従って、ＵＲＬは、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤの階層構造を反映する。ブロックＢのＵＲＬを選択することによって、各ブロックＢ７及びそれのバーチャルカメラＶＣ_Ｂへの直接的なジャンプを自動的に達成することができる。

可能な実施例では、各ブロックＢは、ユーザＵが各ブロックＢに関連するＵＲＬを用いて、ブロックＢに関連するワークスペースＷＳ_Ｂに対する他の参加ユーザＵのリード又はライトアクセスを与えることができるユーザにより規定される権限管理を備える。ユーザにより規定される権限管理設定は、他のユーザにより規定される権限管理設定がブロックＢのチャイルドブロック又はより深いネスト化されたチャイルドブロックに適用されない限り、各ブロックＢの直接のチャイルドブロック及びより深いネスト化されたチャイルドブロックにわたすことができる。

可能な実施例では、階層システムモデルＳＹＳ－ＭＯＤの異なる部分に存在する２つのブロック（Ｂ５及びＢ９）は、図４Ｃに示すように、接続又は関係Ｒによって接続することができる。この場合、Ｒは階層システムモデルＳＹＳ－ＭＯＤの複数の階層レベル又は分岐をブリッジする。Ｒの両端部を観察可能にするため、Ｂ９のペアレントブロックの関連セクションにビューを開くポータルを作成することができる。

ユーザＵがブロックＢへのライトアクセスを有する場合、ユーザＵは、それのアクセス権に従って異なる操作を実行してもよい。例えば、ブロックＢの新しいチャイルドブロックは、ユーザＵがブロックＢに対するライトアクセスを受信している場合、ブロックＢに関連するワークスペースＷＳ_Ｂ内においてユーザによって作成することができる。さらに、ブロックに適用されるライトアクセスを有するユーザは、ブロックＢに関連するワークスペースＷＳ_Ｂ内においてユーザＵによって編集可能な背景カラー、境界カラー及び／又は境界半径を含むブロックＢのチャイルドブロックのスタイルを変更することができる。さらに、ブロックＢのチャイルドブロックのサイズは、このユーザＵがブロックＢへのライトアクセスを有する場合、ブロックＢに関連するワークスペースＷＳ_Ｂ内においてユーザＵによって変更可能である。さらに、ブロックＢのチャイルドブロックの位置は、ユーザＵが各ブロックＢへの必要なライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳ_Ｂ内においてユーザＵによって直接位置を入力するか、又はドラッグ操作を介して変更可能である。ブロックＢのチャイルドブロックの階層位置はまた、ユーザＵが各ブロックＢと、チャイルドブロックが移動される新たなペアレントブロックとに対するライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳ_Ｂ内においてユーザＵによるドラッグ及びドロップ操作を介し自動的に変更可能である。システムモデルＳＹＳ－ＭＯＤの階層構造においてシフトされるブロックの階層ＵＲＬは、ブロックＢの新たな位置に自動的に適合される。さらに、ブロックＢのチャイルドブロックの新たなコンテンツエリアＣＡは、ユーザＵが各ブロックＢに対する必要なライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳ_Ｂ内においてユーザＵによって作成することができる。ブロックＢのチャイルドブロックのタイプ「データ－エリア」ＣＡＴ２内のコンテンツエリアＣＡは、ユーザＵがブロックＢへの必要なライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳ_Ｂ内のコンテンツエリアＣＡ上のユーザ選択コマンドに応答して、ユーザによって編集可能である。ブロックＢのワークスペースＷＳにおいて作業するユーザＵの編集アクションは、可能な実施例では、リアルタイムでのワークスペースＷＳの共同編集が本発明によるコンピュータによって実現される方法によって可能となるように、他のユーザＵが同じワークスペースＷＳを数秒で閲覧することに対してミラーリングすることができる

データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤは、表示部３の画面上に対応するネスト化構造として表示することができる。階層システムモデルＳＹＳ－ＭＯＤは、例えば、ＵＭＬ（Ｕｎｉｆｉｅｄ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）又はＳｙｓＭＬ（Ｓｙｓｔｅｍｓ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）に基づくことができる。従って、階層システムモデルＳＹＳ－ＭＯＤはまた、データーインタフェースを介してインポート及びエクスポートすることもできる。ＵＭＬ又はＳｙｓＭＬモデルの構造は、３次元ワークスペースＷＳ及び階層関係においてネスト化構造として表示することができる。

本発明によるコンピュータによって実現されるヒューマンマシーンインタラクション方法とヒューマンマシーンインタフェース１との好適な実施例では、処理部４は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。ブロックＢに関連する３次元ワークスペースＷＳ_Ｂを表示するための計算は、３次元シーンの計算に対して最適化され、高い計算性能を提供するＧＰＵ上で実行可能である。この結果、ユーザＵによって実行される操作、特に物理複合システムＳＴＳのシステムコンポーネントＣに対する制御信号の生成がまた、リアルタイムに実行可能である。

ブロックＢのユーザ制御入力エリアタイプＣＡＴ４のコンテンツエリアＣＡがユーザ選択コマンドに応答して選択される場合、少なくとも１つの制御信号ＣＲＴＬの生成がトリガ可能であり、トリガされた制御信号ＣＲＴＬは、ヒューマンマシーンインタフェース１の処理部４によって、システムコンポーネントＣとして複合システムＳＹＳに統合されたコントローラ、又は複合技術システムＳＹＳの別のタイプのコンポーネントＣを形成するアクチュエータに供給することができる。

可能な実施例では、ブロックＢはまた、ブロックテンプレートを使用して作成することもできる。このようなブロックテンプレートは、コンテンツエリア構造の外観と、当該テンプレートを使用して作成されたブロックＢの可能な挙動とを規定する。ブロックテンプレートの変更は、当該ブロックテンプレートで作成された全てのブロックＢの自動更新をもたらしうる。ブロックテンプレートは、標準的なブロック（例えば、ＵＭＬブロック）と、特定のユースケースのためのカスタマイズされたブロックとをユーザに提供するため使用することができる。ブロックテンプレートは、ユーザＵ自身によって作成することができ、及び／又はインターネットなどのデータネットワークを介してあるタイプのブロック市場において他のユーザＵ’と交換することができる。ブロックテンプレートはまた、必要に応じてデータベース５からロードすることもできる。ユーザＵは、ブロックテンプレート選択コマンドを入力して、データベース５からブロックテンプレートを取り出すことができる。ロードされたブロックテンプレートに基づいて、ユーザＵは、ブロックＢをユースケース用にカスタマイズできる。生成されたブロックＢは、モデルＳＹＳ－ＭＯＤにおける他のブロックに割り当てられた関係Ｒを有する階層システムモデルＳＹＳ－ＭＯＤに挿入することができる。挿入された新しいブロックＢの対応する階層ＵＲＬは、自動的に生成することができる。

表示されるブロックは、好適な実施例では、ズーム感知的である。従って、ブロックＢは、例えば、図８に示されるように、それらのコンテンツエリアＣＡをより多く又はより少なく表示することによって、それらの関連するバーチャルカメラＶＣの現在のカメラ位置からの距離ｄの変化に対応することができる。画面上でブロックＢ１に対してズームをすると、ブロックＢ１は画面上でより大きく表示され、コンテンツを表示するために利用可能なより大きなスペース又はエリアが存在する。他方、ズームアウトすると、ブロックＢ１は画面上でより小さく表示され、コンテンツはそれに応じて隠される。図７及び図８の図示される具体例では、複合システムＳＹＳの技術コンポーネントＣは、複数のサブシステム及びコンポーネントからなる衛星である。技術コンポーネントに関する重要な情報が、関連するブロックＢ１上に表示される。大部分の場合、これはブロックＢの一意的な名称である。図７の具体例では、ブロックの名称は「衛星」である。図８に示されるようにブロックＢ１をズームすることによって、関連するコンポーネントである衛星に関するより多くの情報、例えば、それの現在の速度、すなわち、１００ｍｐｈなどが可視的になる。表示される情報は、所与の例において軌道内の衛星の現在の相対速度を示すリアルタイムセンサデータを含むことができる。このデータは、サービスプロバイダによって、及び／又は、システムコンポーネントＣ自身のセンサによって提供することができる。

図７は、そのようなブロックＢ１内のコンテンツエリアＣＡの異なるコンテンツエリアタイプＣＡＴを示す。図示された具体例では、ブロックＢ１は、それぞれのブロックＢ（チャイルド－エリア）（すなわち、コンテンツエリアタイプ（ＣＡＴ１））のより深いネスト化されたチャイルドブロックを示すよう適合されたコンテンツエリアＣＡ３を有する。図７の図示されたブロックＢ１では、テキストなどのコンテンツデータ、特に対応する物理コンポーネント「衛星」の名前を含む第２のコンテンツエリアタイプＣＡＴ２のコンテンツエリアＣＡ１をさらに含む。図示された具体例では、ブロックＢ１はさらに、コンテンツデータ、この例では、対応する物理コンポーネント「衛星」のピクチャ又は画像も含む、さらなるコンテンツエリアＣＡ２を備える。図７に示されるようなブロックＢ１は、他のコンテンツエリアタイプＣＡＴのさらなるコンテンツエリアＣＡ、特に、ＡＰＩを介してサードパーティサービスによって、又は監視される技術システムＳＹＳのセンサコンポーネントＣから提供されるダイナミックデータを含む第３のタイプＣＡＴ３のダイナミックコンテンツエリアを含んでもよい。さらに、図７の具体例に示されるブロックＢ１は、ユーザＵがタッチ感知コンテンツエリアタイプＣＡＴ４の表示されたコンテンツエリアＣＡにタッチするなど、ユーザ選択コマンドによって入力感知コンテンツエリアを選択する場合、少なくとも１つの制御信号ＣＲＴＬを自動的に生成するように適合されたユーザの入力感知コンテンツエリアを提供する第４のコンテンツエリアタイプＣＡＴ４を備えることができる。例えば、図７に示されるブロックＢ１は、１００ｍｐｈから１０５ｍｐｈまでの軌道速度を増加させるため、感知エリア上をスライドすることによって軌道内の衛星の相対速度を制御することを可能にするユーザ感知コンテンツエリアＣＡ４を備える。この値の変更は、ユーザインタフェース１の処理部４からデータネットワークを介して衛星基地局に供給される制御信号ＣＲＴＬを自動的にトリガし、基地局は、制御信号ＣＲＴＬを物理軌道衛星に転送して衛星の速度を変更する。従って、衛星を表すブロック図Ｂ１は、衛星の現在状態に関する情報を提供するだけでなく、軌道における衛星の物理性能パラメータ及び挙動を制御することを可能にする。さらに、軌道における衛星の表示された現在の相対速度がクリティカルになり、９５ｍｐｈなどの所定の閾値の以下に低下する場合、アラームが、物理的な衛星のセンサによって又は衛星基地局によって自動的にトリガされ、ヒューマンマシーンインタフェース１の処理部４に供給され、衛星を表すブロックＢ１の第３のタイプＣＡＴ３のダイナミックデータコンテンツエリア上に警告信号を表示することができる。地上制御のユーザ又はオペレータは、衛星の速度に影響を及ぼすシステムコンポーネントＣを示す衛星のサブシステムを表すブロックＢ１のチャイルドブロックにズームインすることができる。オペレータは、これらのサブシステムをズームして、衛星の速度問題を処理することができる。

図１１は、異なるタイプのブロックＢについての異なる具体例を示す。異なるブロックＢは、図１１Ａの円、図１１Ｂ及び図１１Ｃの矩形などの異なる形状を含むことができる。図１１Ａに示されるブロックＢは、何れのコンテンツも含まない。図１１Ｂに示されるブロックは、テキストコンテンツを形成するコンテンツ“Ｈｅｌｌｏ ｕｎｉｖｅｒｓｅ”を有するコンテンツエリアを有する。図１１Ｃに示されるブロックＢは、第１のコンテンツ領域ＣＡ１はテキストコンテンツ“Ｍｙ ｐｉｃｔｕｒｅ”を含み、第２のコンテンツエリアＣＡ２は画像を含む。

図１０は、本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法を説明するためのさらなるフローチャートを示す。図１０は、ステップＳ１、Ｓ２、Ｓ３、Ｓ４が反復的に実行されることを示す。コンピュータにより実現されるヒューマンマシーンインタラクション方法の図示された実施例では、第１のステップＳ１において、ブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１は、ブロックＢ１の関連する一意的なＵＲＬを使用してロードされる。ブロックＢ１のワークスペースＷＳ_Ｂ１は、ステップＳ２において、ブロックＢ１の関連するバーチャルカメラＶＣ_Ｂ１に表示される。

さらなるステップＳ３において、ブロックＢ１のコンテンツエリアＣＡは、可能な実施例では、表示部３の画面の画面サイズと、ブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１とブロックＢ１のチャイルドブロックとの間の現在の計算された距離ｄとに応じて、ヒューマンマシーンインタフェース１の処理部４のマイクロプロセッサによって計算された明示／隠匿基準に応じて明示又は隠匿される。

さらなるステップＳ４では、より深いネスト化されたチャイルドブロックが表示される。

さらなるステップＳ５では、ブロックＢ１のバーチャルカメラＶＣ_Ｂ１がブロックＢ１のワークスペースＷＳ_Ｂ１内に再配置されたか確認される。

さらなるステップＳ６において、所定のスイッチオーバ基準が満たされているかがチェックされる。そうでない場合、ルーチンはステップＳ１に戻る。一方、スイッチオーバ基準が満たされている場合、ステップＳ７において、他のワークスペースＷＳ及びバーチャルカメラＶＣへの自動切替が実行される。

本発明によるヒューマンマシーンインタラクションユーザインタフェース１では、処理部４は、好適な実施例において、実際の３次元シーンを計算するように最適化されたＧＰＵを含む。可能な実施例では、３Ｄエンジンが利用可能である。これは、３Ｄオブジェクト（ＣＡＤデータなど）をレンダリングし、仮想空間（拡張現実／仮想現実）におけるシーンをレンダリングすることを可能にする。

本発明によるコンピュータにより実現される方法では、階層レベルは、それらのペアレントブロック上にそれらを投影することによって表示される。本発明による方法では、デカルト座標系における三次元のオブジェクトを三次元位置（ｘ、ｙ、ｚ）に位置決めすることができる。他の座標系を使用することもできる。本発明によるコンピュータにより実現される方法では、チャイルドブロックは、ペアレントブロックのフレーム内に視覚的に表示される。このようにして、チャイルドブロックとペアレントブロックとの間の関係が明らかになる。

本発明による方法によると、データネットワークを介し共有サーバに接続された異なるユーザ端末デバイスを用いて、複数のユーザが同一のワークスペースＷＳにおいて同時に操作することが可能になる。ユーザ端末の各々は、本発明によるヒューマンマシーンインタラクションユーザインタフェース１を含むことができる。あるユーザによって実行された操作の変更は、他の何れかの参加ユーザにもすぐに見ることができる。これは、リアルタイムで共通の複合技術システムＳＹＳ上での共同作業を可能にする。

ユーザＵは、ブロックテンプレートを利用して作成したシステムモデルＳＹＳ－ＭＯＤ内のブロックＢのグループにたいしる排他的又は非排他的なライトアクセス権を有する利害関係者とすることができる。

本発明によるコンピュータにより実現される方法は、表示部３の画面の限られた実エリア上での情報の表現を可能にする。画面は、例えば、タブレット、ラップトップ、コンピュータ又はスマートフォンの画面を含むことができる。ワークスペースＷＳにおける仮想的なｚ軸は、特定のシステムコンポーネントＣと関連するメタ情報データとを指定する詳細情報を表示部３の画面上に表示するのに利用可能である。ヒューマンマシーンインタフェース１の入力部２は、例えば、スクロールホイール又はタッチパッドを有するマウスを含んでもよい。ユーザＵは、仮想的なｚ軸に沿って３次元ワークスペースＷＳにおけるブロックＢに関連するバーチャルカメラＶＣの位置を変更することができる。さらに、デカルト座標のワークスペースＷＳ内のｘ軸及びｙ軸における表示部３の画面上に表示されるカメラ位置は、ユーザによって同時に変更可能である。これにより、ユーザＵは、入力されたユーザコマンドに応じてズームイン又はズームアウトすることができる。従って、ヒューマンマシーンインタフェース１は、車両、衛星、マシーン又は設備などの何れかのタイプの技術システムＳＹＳを制御及び監視するための効率性を向上させるコンポーネントベースのダイアグラムのためのズーム表示又は非表示三次元インタフェースを提供する。その制御は、各システムの階層構造モデルに従って物理システムＳＹＳを表すダイアグラムを直接用いることで行うことができる。

コンテンツエリアＣＡの明示／隠匿基準は、表示部３の画面上に表示される情報データの最適量などのさらなる要因に基づくことができる。可能な実施例では、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤはまた、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤの異なる部分（階層レベルでない）上でブロックＢにリンク可能である。データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢは、複合技術システムＳＹＳの電子回路又はソフトウェアコンポーネントなどのハードウェアコンポーネントを表すことができ、そのようなブロックＢの各チャイルドブロックは、各チャイルドブロックのペアレントブロックを形成するブロックによって表されるサブコンポーネントを表すことができる。

本発明によるコンピュータにより実現される方法は、分散システムを計画、監視及び制御するため適用可能である。

本発明によるコンピュータにより実現される方法は、例えば、他のユーザＵ’による複合技術システムの共通の理解を作成するため、要件及び論理構造などの異なるドメイン間の関係を可視化し、ユーザＵに理解可能にするか、又はユーザＵによって利用させるモデルベースシステムエンジニアリングの複合技術システムが適用された方法を設計するのに利用可能である。

本発明によるコンピュータによって実現される方法は、例えば、モデルベース事業の方法をサポートする組織におけるプロセス及びワークフローを計画及び監視するのに利用可能である。

Claims (15)

1. ユーザ（Ｕ）がデータベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）によって表現され、ユーザインタフェース（１）の表示部（３）上に対応するネスト化構造として表示される複合システム（ＳＹＳ）に関する情報を抽出及び作成することを支援するのに利用されるコンピュータによって実現されるヒューマンマシーンインタラクション方法であって、
   前記階層システムモデル（ＳＹＳ－ＭＯＤ）は、前記複合システム（ＳＹＳ）を計画、監視及び制御するため処理され、前記コンピュータにより実現されるヒューマンマシーンインタラクション方法は、以下のステップ、
   第１のステップ（Ｓ１）において、前記複合システム（ＳＹＳ）のシステムコンポーネントＣを表す関連する一意的なＵＲＬを利用して、選択されたブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１をロードすることであって、前記ブロックＢ１の前記ロードされる３次元ワークスペースＷＳ_Ｂ１は、前記データベースＤＢ（５）に格納される前記階層的システムモデル（ＳＹＳ－ＭＯＤ）において前記ブロックＢ１の下位として規定され、前記ブロックＢ１の前記ロードされる３次元ワークスペースＷＳ_Ｂ１に配置される前記ブロックＢ１のチャイルドブロックのシーンを含む、ロードすることと、
   第２のステップ（Ｓ２）において、前記ブロックＢ１の前記ロードされる３次元ワークスペースＷＳ_Ｂ１内の３次元座標系に配置される前記ブロックＢ１に関連するバーチャルカメラＶＣ_Ｂ１によって、前記表示部（３）の画面上に前記ブロックＢ１の前記チャイルドブロックのシーンを投影することによって、前記３次元ワークスペースＷＳ_Ｂ１を表示することと、
   第３のステップ（Ｓ３）において、各チャイルドブロックのサイズ、前記表示部（３）の画面の画面サイズ、及び、前記ブロックＢ１に関連する前記バーチャルカメラＶＣ_Ｂ１と、前記ブロックＢ１の各チャイルドブロックとの間の距離ｄに基づいて計算される明示／隠匿基準に依存して、前記ブロックＢ１の可視的な表示されたチャイルドブロックのコンテンツエリア（ＣＡ）を明示又は隠匿することと、
   第４のステップ（Ｓ４）において、チャイルドブロックＢ１＿１のチャイルドエリアタイプＣＡＴ１のコンテンツエリア（ＣＡ）が明示される場合、前記チャイルドブロックＢ１＿１上へのチャイルドブロックＢ１＿１のチャイルドブロックのシーンの中間的な仮想的投影を介し、前記表示部（３）の画面上に前記ブロックＢ１の各チャイルドブロックＢ１＿１のチャイルドブロックのシーンを投影することによって、前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）の下位の階層レベルに対応するより深いネスト化されたチャイルドブロックを表示することと、
   全てのチャイルドブロックと関連するコンテンツエリア（ＣＡ）とが、前記第３のステップ（Ｓ３）と前記第４のステップ（Ｓ４）とにおいて利用される明示／隠匿基準に従って表示されるまで、前記第３のステップ（Ｓ３）と前記第４のステップ（Ｓ４）とを繰り返すことと、
   を繰り返し実行する方法。
2. 前記バーチャルカメラＶＣ_Ｂ１は、前記ユーザインタフェース（１）の入力部に入力されるユーザコマンドに応答して、又は、外部コントローラから、特に複合技術システム（ＳＹＳ）のシステムコンポーネントＣを形成するコントローラから、又は前記複合技術システム（ＳＹＳ）のセンサコンポーネントから受信されるコマンドに応答して、前記関連するブロックＢ１の３次元ワークスペースＷＳ_Ｂ１において自動的に配置及び移動される、請求項１に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
3. 所定のスイッチオーバ基準が充足される場合、前記ブロックＢ１に関連する現在の３次元ワークスペースＷＳ_Ｂ１と前記バーチャルカメラＶＣ_Ｂ１とから、前記ブロックＢ１のチャイルドブロックＢ１＿１に関連する他の３次元ワークスペースＷＳ_Ｂ１＿１と前記バーチャルカメラＶＣ_Ｂ１＿１とへの切替が、自動的、半自動的又は手動でシームレスに実行され、前記ブロックＢ１に関連するＵＲＬから前記チャイルドブロックＢ１＿１に関連するＵＲＬへのＵＲＬの自動変更を伴う、請求項１又は２に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
4. 所定のスイッチオーバ基準が充足される場合、前記ブロックＢ１＿１に関連する現在の３次元ワークスペースＷＳ_Ｂ１＿１と前記バーチャルカメラＶＣ_Ｂ１＿１とから、前記ブロックＢ１＿１のペアレントブロックＢ１に関連する他の３次元ワークスペースＷＳ_Ｂ１と前記バーチャルカメラＶＣ_Ｂ１とへの切替が、自動的、半自動的又は手動でシームレスに実行され、前記ブロックＢ１＿１に関連するＵＲＬから前記ペアレントブロックＢ１に関連するＵＲＬへのＵＲＬの変更を伴う、請求項１又は２に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
5. 前記階層システムモデル（ＳＹＳ－ＭＯＤ）の下位階層レベルＨＬにおける他のブロックと親子関係によって接続される前記データベースＤＢ（５）に格納される前記階層システムモデルの階層レベルＨＬにおけるブロックＢは、上位の階層レベルにおける前記ペアレントブロックのチャイルドブロックを次に形成する下位の階層システムレベルにおける他のブロックに関してペアレントブロックを形成する、請求項１から４の何れかの一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
6. 各ブロックＢは、前記コンテンツエリア（ＣＡ）が行及び列に配置され、前記コンテンツエリア（ＣＡ）が明示／隠匿基準に従って明示可能又は隠匿可能である、異なるコンテンツエリアタイプの複数のコンテンツエリア（ＣＡ）を含み、
   前記データベースに格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）のブロックＢのコンテンツエリアタイプＣＡＴは、
   －各ブロックのより深いネスト化されたチャイルドブロックを示すよう適応される第１のコンテンツエリアタイプＣＡＴ１（チャイルド－エリア）と、
   －コンテンツデータ、特に（限定することなく）、テキストコンテンツデータと画像コンテンツデータとを含む第２のコンテンツエリアタイプＣＡＴ２（データ－エリア）と、
   －ＡＰＩを介し第三者サービスによって提供されるダイナミックデータを含む第３のコンテンツエリアタイプＣＡＴ３（ダイナミック－エリア）と、
   －ユーザ入力感知エリアがユーザ選択コマンドに応答して選択される場合、制御信号を自動生成するよう適応されるユーザ入力感知コンテンツエリアを提供する第４のコンテンツエリアタイプ（ユーザ制御入力－エリア）と、
   を含む、請求項１から５の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
7. 前記データベースＤＢ（５）に格納される前記階層システムモデルの各ブロックＢは、前記データベースＤＢ（５）に格納される前記階層システムモデルの階層構造を反映する一意的なブロック識別子とＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とを含み、
   各ブロックＢは、前記ユーザ（Ｕ）が各ブロックＢに関連するＵＲＬを介しブロックＢに関連するワークスペースＷＳ_Ｂへのリード又はライトアクセスを他のユーザに提供可能なユーザにより規定された権限管理を含み、
   前記ユーザにより規定された権限管理の設定は、他の何れのユーザにより規定された権限管理の設定も前記ブロックＢのチャイルドブロック又はより深いチャイルドブロックに適用されない限り、ブロックＢの直接のチャイルドブロックとより深いネスト化されたチャイルドブロックとにわたされる、請求項１から６の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
8. 前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）のブロックＢ１に関連する前記バーチャルカメラＶＣ_Ｂ１は、前記３次元ワークスペースＷＳ_Ｂ１内の前記バーチャルカメラＶＣ_Ｂ１とチャイルドブロックＢ１＿１との間の距離ｄを縮小させ、各チャイルドブロックＢ１＿１とそれのコンテンツエリアＣＡとにズームインするため、前記ブロックＢのチャイルドブロックＢ１に向かって、前記３次元ワークスペースＷＳ_Ｂにおける前記ユーザインタフェース（１）の入力部（２）に入力されるズームユーザコマンドに応答して移動され、
   前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）のブロックＢ１に関連する前記バーチャルカメラＶＣ_Ｂ１は、前記ブロックＢ１のチャイルドブロックにパラレルな前記３次元ワークスペースＷＳ_Ｂ１における前記ユーザインタフェース（１）の前記入力部（２）に入力されるパンユーザコマンドに応答して自動的に移動され、
   前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）のブロックＢ１に関連する前記バーチャルカメラＶＣ_Ｂ１は、現在のカメラ位置の周囲の前記３次元ワークスペースＷＳ_Ｂにおける前記ユーザインタフェース（１）の前記入力部（２）に入力される回転ユーザコマンドに応答して回転される、請求項１から７の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
9. 前記データベースＤＢ（５）に格納される前記階層システムモデル内のブロックＢは、各関係を記述するための関連する関係ラベルを含む関係を介し相互リンク可能である、請求項１から８の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
10. 前記スイッチオーバ基準は、前記３次元ワークスペースＷＳ_Ｂ１における設定可能な距離閾値ＴＨに基づき、
    前記ブロックＢ１に関連する前記３次元ワークスペースＷＳ_Ｂ１内で移動可能なバーチャルカメラＶＣ_Ｂ１と、ブロックＢ１のチャイルドブロックＢ１＿１との間の計算された距離ｄが前記設定可能な距離閾値ＴＨより小さくなる場合、前記ブロックＢ１のチャイルドブロックＢ１＿１に関連する前記バーチャルカメラＶＣ_Ｂ１＿１への切替が自動的に実行される、請求項３から９の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
11. 前記ブロックＢ１の新たなチャイルドブロックは、前記ユーザ（Ｕ）が各ブロックＢ１へのライトアクセスを有する場合、前記ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内において前記ユーザ（Ｕ）によって作成可能であり、
    背景カラー、境界カラー及び境界半径を含む前記ブロックＢ１のチャイルドブロックのスタイルは、前記ユーザ（Ｕ）が各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連する前記ワークスペースＷＳ_Ｂ１内において前記ユーザ（Ｕ）によって編集可能であり、
    前記ブロックＢ１のチャイルドブロックのサイズは、前記ユーザ（Ｕ）が各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連する前記ワークスペースＷＳ_Ｂ１内において前記ユーザ（Ｕ）によって変更可能であり、
    前記ブロックＢ１のチャイルドブロックの位置は、前記ユーザ（Ｕ）が各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連する前記ワークスペースＷＳ_Ｂ１内において前記ユーザ（Ｕ）によって前記位置を直接ドラッグ又は入力することを介し変更可能であり、
    前記ブロックＢ１のチャイルドブロックの階層位置は、前記ユーザ（Ｕ）が前記ブロックＢ１と前記チャイルドブロックが移動される新たなペアレントブロックとへのライトアクセスを有する場合、ブロックＢ１に関連する前記ワークスペースＷＳ_Ｂ１内において前記ユーザ（Ｕ）によってドラッグ又はドロップを介し変更可能であり、
    前記ブロックＢ１のチャイルドブロックのための新たなコンテンツエリア（ＣＡ）は、前記ユーザ（Ｕ）が各ブロックＢ１へのライトアクセスを有する場合、前記ブロックＢ１に関連する前記ワークスペースＷＳ_Ｂ１内において前記ユーザ（Ｕ）によって作成可能であり、
    前記ブロックＢ１のチャイルドブロックのためのタイプ“データ－エリア”ＣＡＴ２によるコンテンツエリア（ＣＡ）のコンテンツは、前記ユーザ（Ｕ）が各ブロックＢ１へのライトアクセスを有する場合、前記ブロックＢ１に関連するワークスペースＷＳ_Ｂ１内において各コンテンツエリアＣＡを選択するためのユーザ選択コマンドに応答して、前記ユーザ（Ｕ）によって編集可能である、請求項１から１０の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
12. 選択可能なブロックＢに関連する３次元ワークスペースＷＳ_Ｂを表示するための計算は、３次元シーンの計算に対して最適化され、高性能を提供するＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で実行される、請求項１から１１の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
13. ブロックＢのタイプ入力エリアＣＡＴ４のコンテンツエリア（ＣＡ）が、前記ユーザインタフェース（１）の前記入力部（２）を介して入力されるユーザ選択コマンドに応答して選択される場合、制御信号ＣＲＴＬの生成がトリガされ、
    前記生成される制御信号は、前記データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）における対応するブロックＢによって表される複合技術システム（ＳＹＳ）のシステムコンポーネントＣを形成するコントローラ又はアクチュエータに提供される、請求項１から１２の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
14. データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）の関連するブロックＢによって表される複数のシステムコンポーネントＣを有する複合システム（ＳＹＳ）の少なくとも１つのコントローラ又はアクチュエータに接続されるヒューマンマシーンインタラクションＨＭＩユーザインタフェース（１）であって、
    ユーザ入力コマンドを受信するよう適応される入力部（２）と、
    各ブロックＢ１に関連し、前記ブロックＢ１のロードされた３次元ワークスペースＷＳ_Ｂ１内において３次元座標系に配置されるバーチャルカメラＶＣ_Ｂ１によって、前記複合システム（ＳＹＳ）の対応するシステムコンポーネントＣを表す選択可能なブロックＢ１に関連する３次元ワークスペースＷＳ_Ｂ１内においてシーンを表示するよう適応される画面を有する表示部（３）であって、前記バーチャルカメラＶＣ_Ｂ１は、各ブロックＢ１に対してズーム操作を実行し、それのコンテンツエリアＣＡを明示または隠匿するため、前記ユーザインタフェース（１）の前記入力部（２）に入力されるユーザ入力コマンドに応答して、前記関連するブロックＢ１の３次元ワークスペースＷＳ_Ｂ１において自動的に移動可能である、表示部（３）と、
    を含み、
    ズームされたブロックＢ１のコンテンツエリアＣＡは、各ブロックＢ１のネスト化されたチャイルドブロックＢ１＿１，Ｂ１＿２を含む、ユーザインタフェース（１）。
15. 前記選択されるブロックＢ１は、前記選択されるブロックＢ１によって表される複合技術システム（ＳＹＳ）のシステムコンポーネントＣ、又は、前記データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）において前記選択されるブロックＢ１と関係を有する他のブロックＢ’によって表される前記複合技術システム（ＳＹＳ）のシステムコンポーネントＣに供給される前記制御信号ＣＲＴＬの生成をトリガするための前記入力部（２）に入力されるユーザ起動コマンドに応答して、少なくとも１つの制御信号ＣＲＴＬを自動生成するよう適応されるユーザ入力感知コンテンツエリアタイプＣＡＴ４のコンテンツエリア（ＣＡ）を含む、請求項１４に記載のヒューマンマシーンインタラクションユーザインタフェース。

Images