JP6542207B2 - モニタリングのための拡張現実方法およびシステム - Google Patents

Description

本発明は、デバイスの監視のための監視画像の表示方法と監視システムとに関する。このデバイスは、産業用ツール、マシン、車両、生物、建物などであり得る。

監視は、デバイスの通常の動作モード、デバイスがテストの対象となるとき、または任意の他の特定の状況のいずれかにおいて生じ得る。

本発明は、特にモータの監視のために、より詳しくはターボマシンまたはロケットモータの監視のために、それらがテストの対象となるときに用いられ得る。

産業界では、たとえば生産ユニットなど、デバイスの動作の監視は、一般的に、監視システムを用い、監視スタッフの責任の下で行われる。

そのような監視システムは、一般的に、その画像が１つまたは複数のモニタ上に表示される１つまたは複数のカメラを備えた映像監視手段を備える。

監視システムは、また、たとえば流体循環図などの図がその上に表示されるモニタを備え得るのであって、そして、その図の上には生産ユニットの臨界パラメータの値がリアルタイムで表示される。

監視システムは、また、デバイスの異なるパラメータをモニタし任意の誤動作を知らせるアラートメッセージを送るトラッキング（またはモニタリング）システムも含み得る。これらのメッセージは、上述した流体循環図の上に表示され得る。

監視スタッフは、カメラから受信された画像と受信されたメッセージとをリアルタイムで解析する。これらのメッセージに応じて、監視スタッフは、カメラの１つの視野角を特に修正すること、または、監視されている生産ユニットの特定の部分において画像を拡大することさえも可能である。

異常または誤動作の場合には、多くのエラーまたは異常メッセージが、監視システムによって、ほとんど同時に表示される。かなりの量の情報が表示された場合、監視スタッフが情報を十分かつ迅速に消化し、関連する情報を選択して、最適な決定を行うのは困難である。

特に、重要な情報がいくつかのモニタ（カメラによって撮影された画像を示す映像モニタ、流体循環図を示すモニタ、アラートメッセージとデバイスの臨界変数の値とをオプションとして表示するモニタなど）にわたって分散され、そのことが、監視スタッフが状況を理解し必要な決定を行う際の業務を複雑にする。

仏国特許出願公開第２９５６７０１号明細書

また、本発明の第１の目的は、監視されているデバイスが監視スタッフによってより容易に理解されるように、監視されているデバイスに関する情報の最適化された表示を可能にする監視システムを用いたデバイスの監視のための表示方法を提案することである。

この目的を達成するため、本発明の第１の態様により、ディスプレイとデバイスの全体または一部を撮影できるように配置された少なくとも１つの実カメラとを備えた監視システムを用いてデバイスを監視するための監視画像表示方法が、提案される。

この表示方法は、以下のステップ：すなわち、
ａ０）デバイスの少なくとも１つ状態パラメータが取得されるステップと、
ａ１）システムが複数のカメラを備える場合には、アクティブカメラと称されるカメラが、複数のカメラから選択されるステップと、
ａ２）具体的には取得画像パラメータの１組と合成画像パラメータの１組とである２組の画像パラメータが決定されるステップであって、各組の画像パラメータが、デバイスに対する相対的なカメラ位置および向きと、カメラの１つまたは複数の光学パラメータとを含む、決定されるステップと、
ｂ２）アクティブカメラを用い、取得された画像パラメータに従って、デバイスの全体または一部を示す取得画像が取得されるステップと、
ｃ）合成画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像が計算されるステップと、
ｄ）監視画像と称される画像が、監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、取得画像と合成画像とから形成されるステップと、
ｅ）監視画像がディスプレイ上に表示されるステップと
を含む。

また、ステップａ２）において、画像パラメータが、デバイスの前記少なくとも１つの状態パラメータに応じて決定され、および／または、ステップｃ）において、合成画像が、デバイスの前記少なくとも１つの状態パラメータに応じて計算され、および／または、ステップｄ）において、監視画像が、デバイスの前記少なくとも１つの状態パラメータに応じて形成される。

好ましくは（しかし、必ずではないが）、この表示方法がリアルタイムで実行されることにより、ディスプレイ上に表示される監視画像はリアルタイムで更新されることが可能である。ディスプレイは、デバイスの変化をリアルタイムで示すフィルムまたはビデオシーケンスを表示する。

この表示方法は、２つのタイプの画像を用いる：すなわち、（実）カメラによって取得される画像である取得画像と、デバイスを示す合成画像とである。合成画像は、デバイス（または、その少なくとも一部）の３次元デジタルモデルを用いて計算される。

非常に概略的には、本発明による表示方法は、したがって、実カメラ（アクティブカメラ）を用いてデバイスの画像を取得することと、デバイスの全体または一部を示す合成画像を計算することと、次に表示される監視画像を形成するために取得画像と合成画像とを組み合わせることとから構成される。

取得画像と合成画像との組合せがデバイスに関する最重要の情報が監視画像に保持されるようになされることは、明らかである。

そのため、取得され組み合わされた画像は、単一のディスプレイまたはモニタ上に、任意の時点において、デバイスの最も関連する表現を与えるのである。

通常の動作では、表示される監視画像は、カメラの１つによって取得されるような、デバイスの外部的な全体図であり得る。

しかし、本発明による表示方法は、表示の可能性を分割し（ｄｅｍｕｌｔｉｐｌｉｅｓ）、合成画像に一体化される追加的情報をカメラから来る情報（取得画像）に追加する。結果的な監視画像は、監視されているデバイスの振る舞いに関する理解に特に有益である、極度に豊富な画像を含む。合成画像は、たとえばデバイスの隠された内部の部分を表すのに役立ち得る。

監視画像に含まれている情報の豊富さおよび量によって、デバイスの監視を確実にするのに必要なモニタの個数を減らすことが、一般的に可能である。

また、有利なことに、監視画像は、デバイスの状態に応じて形成されるのであるが、その理由は、画像パラメータの決定または合成画像の計算または監視画像の形成が、デバイスの状態パラメータに応じて行われるからである。

この目的のためには、特定の組の画像パラメータ、および／または、特定の合成画像の計算モード、および／または、特定の監視画像の形成のモードは、当然に、予め選択されるべきであって、デバイスがある所定の状態にあるときには、形成される監視画像がデバイスの状態を解釈しデバイスの監視を可能にするために特に適切であるように、構成される。

この動作モードは、特に適切な合成画像を監視者に提出することを可能にし、典型的には、監視されているデバイスの状態を解析し誤動作を識別して適当な訂正作用をトリガするために監視者によって費やされる時間を短縮する。

画像パラメータ
画像パラメータ（デバイスに対するカメラの向きおよび位置、カメラの光学パラメータ）とは、カメラの画像に何が現れるかを決定するパラメータである。画像パラメータは、実際に、カメラがどこに位置決めされるか、カメラがどの向きに配置されるか、およびカメラの光学パラメータ（ズームなど）が何であるかを特定する。

取得画像パラメータは、アクティブカメラによって取得された画像に何が現れるかを定義し、合成画像パラメータは、合成画像が計算されるステップｃ）の間にどの画像が計算されるのかを定義する。

画像パラメータは、したがって、実カメラに関係し得るか、または、仮想シーンに位置決めされている画像を生じる仮想カメラにも関係し得る。

画像パラメータが決定されるステップａ２）は、その間に、選択された（アクティブカメラ）または決定された（画像パラメータ）要素が、デフォルトの値を想定するか、または、反復されることで、監視システムによって実行されるプログラムにおいて先行するイテレーションの間に用いられた値を保持するかのいずれかである、という受動的なステップであり得る。

いくつかの場合において、アクティブカメラの選択が、それ自体により、２組の画像パラメータを決定するのであるが、これは、それら２組の（取得画像および合成画像）パラメータに関して、アクティブカメラである間に、これらの画像パラメータが取られるときである。なお、このアクティブカメラである間に画像パラメータが取られるというのが、最も多くの場合に生じることである。

しかし、取得画像パラメータと合成画像パラメータとの間には、いくつかの差異も存在し得る。

取得画像パラメータと合成画像パラメータとは、たとえば：
− アクティブカメラの位置決めおよび／もしくは向きのエラーの補償に関して異なり得るし、ならびに／または、アクティブカメラの光学パラメータにおいて異なり得るのであって、
− その理由は、合成画像はアクティブ画像の一部だけを表現するからである。

合成画像
合成画像とは、仮想カメラが提供し得るようなデバイスまたはデバイスの一部の画像である。合成画像は、実際、デバイス（またはその一部）の３次元デジタルモデルを含んでおり１つまたは複数の「仮想カメラ」が位置決めされている仮想シーンから（それ自体が知られているように）取得され、レンダリングされた画像である。

いくつかの場合には、仮想シーンと実デバイスとの間に差異が存在することが適切な場合があり得る。

たとえば、仮想シーンは、オプションとして、テストの対象となるデバイスの他に目的物のデジタルモデルを含み得る。仮想シーンは、たとえばロケットモータの動作テストであれば、モータの燃料タンクなどのモデルを含み得るのであるが、その場合、これらの目的物の表現により、監視スタッフにとって画像を理解することが容易になる。

他方で、合成画像においては、オプションではあるが、デバイスが不完全である場合があり得る（または同等に、デバイスの部分がモニタに対して透明なことがあり得る）。

他の場合には、たとえば、デバイスの構成に関するより読み取りやすい表現を可能にするために「展開された」位置にあるなど、デバイスが、仮想シーンにおいては、現実とは異なるように位置決めされることがあり得る。

また、合成画像は、一般に、デバイスのデジタルモデルの画像レンダリング上に重ねられた追加的情報によって、豊富にされる。この追加的情報は、特に、リアルタイムで変動し得る。この追加的情報は、通常、それが関係する画像の地点の近傍において、合成画像の中に一体化されている。

この追加的情報は、デバイスのいくつかのパラメータの変動範囲における、デバイス自体の上に位置決めされた表現であり得る。

この表現は、「故障の色」を用いて、すなわち、示されているパラメータの値の異なる範囲と従来関連する異なった色を用いて、完成され得る。

この追加的情報は、最終的には、象徴的な、特に言語的な情報を含み得る。

合成画像は、それが一体化している追加的情報により、および／または、それが実カメラによっては可視的でない（もしくは、はるかに見にくい）デバイスの部分を示すという事実により、監視スタッフに、デバイスにおいて進行中である物理現象をより良く理解させ、結果的にはその物理現象がどのように変化していくのかをより容易に理解させる。

取得画像と計算画像との組合せ
監視画像では、取得画像と合成画像とを、複数の異なる方法で組み合わせることが可能である。

これらの２つの画像は、部分的に透明な層を用いることによって、重ね合わせられ得る。また、合成画像と取得画像とが相補なこともあり得るのであって、たとえば、監視画像において、デバイスのある特定の箇所に関するすべてのピクセルが合成画像から来ており、それ以外のピクセルは取得画像から来ている、ということがあり得る。

監視画像は、透過性を用いて、取得画像と合成画像とにそれぞれ対応する複数の異なる層を組み合わせることができる。

当然であるが、本表示方法は、はるかにより効果的なのであって、その理由は、取得画像と合成画像とが監視画像において現実的に組み合わされるからである。

これらの２つの画像が現実的に組み合わされるという事実は、これらの２つの画像が、組み合わされるときには、合成画像によって示されるデバイスの部分が、カメラによって取得された画像によって示されるデバイス（すなわち、デバイスの残り）の部分に対し相対的に正常な位置に、または少なくとも正常に見える位置に現れる画像を形成する、ということを意味する。

この方法が実行されているときには、ステップｃ）で当初に計算された画像をカメラによって取得された画像と現実的に組み合わせることが不可能である、ということが生じ得る。

この問題を修正するために、本発明による方法のある実施形態においては、監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、ステップｄ）の間に合成画像が修正および／または再計算される。

何よりもまず、取得画像と合成画像とが完全に対応することが絶対に必要であるということに留意されたい。有利であることに、監視画像は、取得画像と合成画像との間にいくらかの差異が存在する場合であっても、その利点を保つ。

これらの差異は、何よりもまず、重要性が最小に過ぎない場合でも、合成画像の寸法再決定（ｒｅｄｉｍｅｎｓｉｏｎｉｎｇ）を実行することによって、すなわち、その２つの方向に沿った拡張または収縮とオプションであるが回転とを適用することによって、克服され得る。

取得画像と合成画像との間の差異が相当程度ある場合には、これは、アクティブカメラによる有効画像取得パラメータに関する誤差に起因し得る。

実際には、カメラの画像パラメータは、これらのパラメータの測定誤差であると知られる。したがって、取得画像に対する理論的な画像パラメータと有効な画像パラメータとの間には幅が存在し得る。

この場合、ステップｄ）において、取得画像からその取得画像の現実の画像パラメータを識別し、取得画像の有効パラメータから合成画像パラメータを更新し、更新された合成画像パラメータを考慮に入れながら合成画像を再計算し、最後に監視画像を再計算することが必要である。

本表示方法では、一般に、一定数の選択が、監視スタッフの制御の下に残される：特に、その画像がディスプレイ上に表示されるアクティブカメラと、アクティブカメラのパラメータ（位置、向き、光学パラメータ）との選択である。

いくつかの場合には、異なるカメラからのパラメータとは対応しないあるカメラ位置もしくは向きまたはさらにはカメラの光学パラメータを用いてデバイスが撮影されている監視画像を表示する、ということが決定され得る。

この場合には、監視画像表示方法は、次の通りに実行され得る：すなわち、ステップａ２）において、関連する瞬間において実カメラのどれのものでもない画像パラメータが決定され、ステップｂ２）において取得画像を取得するのに先立って、ステップｂ１）の間に、アクティブカメラのパラメータが、ステップａ２）で決定された画像パラメータと実質的に対応するように、構成される。

よって、この実施形態では、画像パラメータが、新たな好適な値を想定するように、カメラに強制される。換言すると、好適な監視画像のタイプは前もって選択され（デバイスに対するカメラの特定の位置および向き、そのズーム倍率など）、アクティブカメラがこの選択に応じて選択され、アクティブカメラは、この選択に応じて、位置決めされ、向きが決められ、調節される。

また、取得画像と合成画像とが組み合わされる方法は、一般的に、監視スタッフによって監視システムの動作の間に特定される。この方法では、たとえば、合成画像を表示するための機能を自由にすることが可能であり、合成画像においては、デバイスの特定のパラメータの機能を表示するだけでなく、見ることを望まないデバイスのコンポーネントを透明（またはモニタには見えないよう）にすることが可能である。

他方では、これらの可能性に加え、本発明による監視画像表示方法は、いくつの状況において表示を自動的に修正する能力を有する。

この目的により、監視システムは、その間にデバイスの１つまたは複数の状態パラメータが取得されるこの方法のステップａ０）によって、デバイスの変化を知らされる。監視システムは、たとえば、デバイスのトラッキングシステム（健全性トラッキングシステムまたは「健全性モニタリングシステム」と称される）によって好ましくは周期的かつリアルタイムで送信されるデバイスの状態パラメータを受信することができる。

このまたはこれらの状態パラメータの取得に続いて、そして本発明に従い、監視画像を取得する際に生じる以下の動作の少なくとも１つが、デバイスの状態パラメータに応じて行われる：
− ステップａ２）において、画像パラメータが決定され、および／または
− ステップｃ）において、合成画像が計算され、および／または
− ステップｄ）において、監視画像が形成される。

デバイスのパラメータは、時間に対して可変なパラメータである。これらのパラメータは、デバイスのデフォルトまたは誤動作情報であり得る、または、デバイスのデフォルトまたは誤動作情報を含み得る。この情報は、たとえば、デバイスのトラッキングシステムによって生成されるアラートまたはアラームメッセージであり得る。

ある実施形態では、監視システムを表示する際の変化を正当化するデバイスの状態パラメータのどのような変動の後でも、画像パラメータが調節される、ならびに／または、合成画像および／もしくは監視画像が好ましくはリアルタイムで再計算される。そのようにして、監視スタッフは、リアルタイムで、ディスプレイ上において、監視されるデバイスのどのような変化についても知らされる。

特に、ステップａ０）において取得されたデバイスの状態パラメータが所定のしきい値を超えると、ステップａ２）において画像パラメータが修正され得る、および／または、ステップｃ）において合成画像が再計算され得る、および／または、ステップｄ）で監視画像が再形成され得る。

監視画像は、したがって、それ自体、検出された異常に関係している。

本発明は、また、計算ユニットと、ディスプレイと、デバイスの少なくとも１つの状態パラメータを取得することができるデバイスのトラッキング手段と、少なくとも１つのカメラとを備えたデバイスの監視のための監視システムを備えており、計算ユニットは：
ａ）監視画像と称される画像のために、前記少なくとも１つのカメラによって撮影されるデバイスに対する相対的なカメラ位置および向きとカメラの１つまたは複数の光学パラメータとを含む画像パラメータを決定し、システムが複数の実カメラを備えるときには複数のカメラからアクティブカメラと称されるカメラの選択を行うことができる決定手段（またはモジュール）と、
ｂ２）決定手段によって決定された画像パラメータに従って、アクティブカメラの画像を取得することができる取得手段と、
ｃ）決定手段によって決定された画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像を計算することができる計算手段と、
ｄ）監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、取得画像と合成画像とから監視画像と称される画像を形成することができる画像形成手段と
を備えており、ディスプレイが監視画像を表示する（ｅ）ことができ、システムにおいては、
− 決定手段が、画像パラメータを、デバイスの前記少なくとも１つの状態パラメータに応じて決定することができ、および／または
− 計算手段が、合成画像を、デバイスの前記少なくとも１つの状態パラメータに応じて計算することができ、および／または
− 監視画像形成手段が、監視画像を、デバイスの前記少なくとも１つの状態パラメータに応じて形成することができる。

監視画像のための画像パラメータは、一般的には、ステップｂ２）で画像を取得するためと、ステップｃ）で合成画像を計算するためとに同時に用いられる、画像パラメータの１組である。

これらは、また、ステップｂ２）での画像取得のためと、ステップｃ）で合成画像形成のためとにそれぞれ用いられる、具体的には取得画像パラメータの１組と合成画像パラメータの１組という、別の２組の画像パラメータでもあり得る。

決定手段が、この後者の場合に、互換的な取得画像パラメータと合成画像パラメータとを定義できるということ、すなわち、ステップｄ）において、これらのパラメータに基づいて生成された取得画像と合成画像とを現実的に組み合わせることが可能であるということは、明らかである。

上述した点ｂ２）、ｃ）およびｄ）と同様に、計算ユニットは：
ｂ２）決定手段によって決定された画像パラメータに従って、アクティブカメラの画像を取得し、
ｃ）決定手段によって決定された画像パラメータを仮想カメラが考慮し得るように、デバイスまたはデバイスの一部の合成画像を計算し、
ｄ）監視画像を形成するように取得画像と合成画像とが現実的に組み合わされるように、監視画像と称される画像を、取得画像と合成画像とから形成する、
ように構成されることがいえる。

以下の改良も、単独でまたは組合せによって、採用され得る：
− 取得手段は、少なくとも１つの実カメラの少なくとも１つのパラメータを、前記パラメータと計算ユニットによって決定された画像パラメータとが等しくなるように、調節できることがあり得る。
− 計算および／または画像形成手段は、監視画像を形成するために取得画像とここで修正されたおよび／または再計算された画像とがステップｄ）において現実的に組み合わされるように、取得画像に応じて合成画像を修正および／または再計算できることがあり得る。
− 監視システムでは、モニタリング手段は、異常検出手段であり得る。
− 決定手段は、デバイス上で検出された異常に応じて、画像パラメータを（ステップａ２で）決定できることがあり得る。
− モニタリング手段は、この場合に、大量の入手可能な異常情報から主たる異常情報を選択できる異常インタープリタを、修正された画像をこの主たる異常情報に応じて計算するために備えた異常検出手段を備えていることがあり得る。
− 計算手段は、デバイス上で検出された異常に応じて、合成画像をステップｃ）で計算できることがあり得る。

本発明の範囲において、デバイスの全体または一部を撮影できるように配置された少なくとも１つの実カメラに接続されたコンピュータによって実行されると、上述したように定義された表示方法のステップを実行させるための命令を含むコンピュータプログラムもまた提案される。

本発明の範囲において、デバイスの全体または一部を撮影できるように配置された少なくとも１つの実カメラに接続されたコンピュータによって実行されると、上述したように定義された表示方法のステップを実行させるための命令を含むコンピュータプログラムが記録されたコンピュータ可読な記録媒体もまた提案される。

非限定的な例を通じて示された実施形態に関する以下の詳細な説明から、本発明がより良く理解され、その効果がより明瞭に浮かび上がるであろう。この説明では、添付された次の図面が参照される：

本発明による監視システムの概略図である。 ある実施形態での本発明によるプロセスのステップを例証する図である。 本発明によるプロセスが実行される間の画像計算に用いられる仮想シーンの概略図である。 取得画像および合成画像からの監視画像の形成を例証する概略図である。

本発明による監視システム１０が、ロケットモータ２０上で行われるテストを監視するためのものとして、図１に概略的に示されている。

この監視システム１０は、テストを担当する監視スタッフに、制御パネルから、モータ２０のために提供される適切なテストを制御させる。

モータ２０は、従来の方式で動作テストの対象とされるノズル２１を備えたテストロケットモータである。それは、この目的のためにテストベンチ上に配置されているが、図示されていない。

モータ２０には、このロケットモータ（またはデバイス）２０のモニタリング手段を構成する異なるセンサ２２が装備されている。センサ２２は、たとえば温度、圧力、加速度など、モータの状態パラメータを測定する。

モータ２０は、また、異なるカメラ２４の監視下に置かれる。

センサ２２は、コンピュータまたは電子制御ユニット（「ＥＣＵ」）２６に接続されている。その機能は、動作テストの間、モータ２０の変化をリアルタイムで持続的にモニタすることである。コンピュータ２６は、モータ２０の「健全なモニタリングシステム」を構成する。そのようなシステムは、たとえば、フランス特許第ＦＲ２９５６７０１号に記載されている。

監視システム１０は、モニタ（またはディスプレイ）１４とキーパッド１６とが接続された計算ユニット１２を備える。監視システムは、さらに、第２の制御モニタ１４’と第２のキーパッド１６’とを備える。

計算ユニット１２は、モニタ１４上にモータ２０の監視画像を表示することを可能にするコンピュータ表示プログラムを実行するように設計されている。この目的のために、計算ユニット１２は、アクティブカメラと画像パラメータとを決定することができる決定手段１２ａと、カメラ画像を取得するための取得手段１２ｂと、デバイスの合成画像を計算するための計算手段１２ｃと、そして最後に、取得手段と計算手段とによって供給される画像から監視画像を形成するための画像形成手段１２ｄとを備える。

取得手段１２ｂは、また、カメラ（および、その位置決めとその向きとを可能にする位置決め手段）に、好適な位置パラメータと光学パラメータとを送信することができる。したがって、これはまた、カメラパラメータの調節手段を構成する。

表示プログラムの初期化
３Ｄシーンの作成
計算ユニット１２の表示プログラムは、データとして、モータ２０の３次元デジタルモデル２０’を用いる。プログラムの初期化の間に、モータ２０のデジタルモデル２０’がその中に配置された仮想シーンが定義される。実カメラ２４のものと同一の光学（仮想）特性を有する仮想カメラ２４’が、仮想シーンの中に位置決めされる。結果的な仮想シーンが、図４によって図解されている。

プログラムのパラメータ化
また、予め定義された振る舞いの１組がプログラムされる。

それぞれの予め定義された振る舞いは：
− センサ２２によって測定された状態パラメータの関数である条件または基準（および、オプションとして時間などの他の数値）と、
− このように定義された条件または基準が満たされる場合に用いられる画像パラメータの値と
を含む。

したがって、システムが実行され、予め定義された条件または基準が満たされるとすぐに、ディスプレイとオプションであるがアクティブカメラとが、これらの条件に対して予め定義された画像パラメータを直ちに採用する。これにより、状況に最も適合した表示が、監視スタッフの注意のために直ちに表示されることが可能になる。

監視システム１０は、たとえば、モータベアリングの振動レベルの上昇を検出した場合には、以下の予め定義された振る舞いを有するように、プログラムされ得る：
− アクティブカメラがベアリングの配置位置に向けられ、最大の拡大倍率（ズーム）で画像を取得するように、画像パラメータが調節される、
− ベアリングに最も近いカメラが、アクティブカメラとして選択され、ベアリングの近くに移動され、ベアリングの方向に向けられ、その拡大倍率が最大にされる、
− 画像が、このカメラによって取得される、
− 計算手段１２ｃが、その中ではベアリングが特定の色で示されているベアリングの合成画像を計算する、
− 画像形成手段１２ｄが、ベアリングのこの合成画像とモータの残りを示す取得画像とを組み合わせて、得られた監視画像がモータの全体画像中のベアリングの合成画像を示すようにする。監視画像が形成されている間は、監視画像の中で合成画像が全体として可視的となるように、合成画像が、カメラによって取得された画像を含む層の前に配置された層の上に配置される。

監視画像１０は、たとえば、以下の予め定義された振る舞いを有するようにも、プログラムされ得る。

計算手段は、実質的にリアルタイムで、理論的なデジタルモデルを用いて、たとえば以下のような入手可能な測定値に応じて、モータにおけるいくつかのパラメータの変動を計算することができる：
− 電力消費、
− 熱伝達。

この後で、計算手段は、合成画像の中に、計算されたパラメータの変動範囲の色付きの表現を、組み入れる。この色付きの表現は、たとえ限られた数の具体的な計測値があったとしても、色勾配という形式にすることが可能である。

表示プログラムの実行
表示プログラムの主なステップが、図２によって図解されている。

表示プログラムは、以下で説明されるステップＳ０）からｅ）までをループ内で永続的に実行する反復的なプログラムであり、ステップｅ）が実行されるたびに監視画像を更新する。

ステップａ０）監視情報の更新
このプログラムの冒頭のステップａ０は、何よりもまず、モータ２０の状態パラメータの更新された値を取得することで構成される。この情報は、リアルタイムで、コンピュータ２６によって、計算ユニット１２に送られる。この情報は、計算ユニット１２の画像パラメータの決定手段１２ａによって、取得される。

この情報は、モータのパラメータ値を、および／または、異常な値がいくつかのパラメータに関して提起されるときにはコンピュータ２６からのアラートメッセージを、含む。

プログラムのステップａ０は、また、たとえばアクティブカメラの選択や、表示されている画像に関するいくつかの画像パラメータなど、監視スタッフによって特定された値または命令を取得することで構成される。特定されたパラメータは、特に、アクティブカメラに影響を与える画像パラメータ、および／または、表示される画像に組み込まれる合成画像に影響を与える合成画像パラメータから取得される。

ステップａ１）およびａ２）アクティブカメラおよび画像パラメータの決定
第１の処理ステップａ１）およびａ２）は、計算ユニット１２の決定手段１２ａによって行われる。この決定手段は、アクティブカメラを決定し、取得画像パラメータと合成画像パラメータとを決定する。次にモニタ１４上に表示される監視画像の形成を考慮すると、このステップは、したがって、以下を決定することによって構成される：
− 異なる複数のカメラ２４から、デバイスまたはその一部の写真を供給するアクティブカメラと、
− 具体的にはモータ２０に対するアクティブカメラの画像化位置および向きである、アクティブカメラによって取得画像が有することになる取得画像パラメータ、および、たとえばズーム倍率などそのカメラが取らなければならない光学パラメータと、
− 具体的にはモータ２０のデジタルモデルに対する合成画像の画像化位置および向きである、合成画像が有することになる合成画像パラメータ、空間におけるデジタルモデルの特定の位置（これは、対応する実際のものの位置とは異なり得る）、ならびに、たとえばズーム倍率などの仮想シーンの画像を生成するために仮想カメラが取らなければならない光学パラメータと
である。

最も多くの場合には、取得画像パラメータは、合成画像パラメータと同一である。しかし、システム１０によって実行されるプログラムは、取得画像のための画像パラメータと合成画像のための画像パラメータとが異なるように、提供されることがあり得る。この状況は、たとえば、好適な監視画像はモータ２０の全体画像であるにもかかわらず、たとえば小さなサイズのコンポーネントのようなモータの１つのコンポーネントだけを示す合成画像がこの全体画像に挿入される場合などにおいて、生じ得る。合成画像の画像パラメータは、合成画像が考察対象であるコンポーネントだけを示すように、特定される。

他方で、最も多くの場合に、決定手段は、（取得および合成）画像パラメータとして、以前に用いられたアクティブカメラ２４の画像パラメータを用いる。監視システム１０を操作している監視スタッフは、（システムの始動の間に用いられた）アクティブカメラをデフォルトで特定するのであるが、また、先にステップＳ０で示されたように、新たなカメラをアクティブカメラとして特定している、または、画像パラメータを修正している、ということもあり得る。

したがって、監視スタッフの命令を考慮して、決定手段は、取得画像と合成画像とのためのパラメータを定義する。

監視システム１０の特に興味深い特性は、テストの間にモータ２０が誤動作を生じた場合の、その振る舞いである。

（所定のリストの一部を形成する）特定の誤動作メッセージがコンピュータ２６によってユニット１２に送られる場合には、または、モータ２０のあるパラメータがある所定の値を超える場合には、ステップａ２）において、計算ユニット１２によって実行されるプログラムが、それ自体で、自動的に、新たな画像パラメータを定義する。

たとえば、モータ２０の重要なコンポーネントに関するある特定の誤動作メッセージが受け取られる場合には、決定手段は、（監視スタッフの介入なしに）自動的に、その誤動作が存在するコンポーネントをモニタ上に特に表示する画像パラメータを考慮する。

取得画像パラメータは、たとえば、アクティブカメラが誤動作の存在する故障したコンポーネントに最も接近し、アクティブカメラがそのコンポーネントに可能な限り接近して位置決めされそのコンポーネントの方向に向けられるように、調節される。ズーム倍率（カメラ２４において調節可能である唯一の光学パラメータ）は、その故障したコンポーネントがアクティブカメラの画像において最良の条件で見ることができるように、調節される。

ステップｂ）画像の取得
このステップは、２つの部分ステップを含む。

ｂ１）アクティブカメラの調節
画像パラメータが決定された（ステップａ２）後で、アクティブカメラのパラメータが取得画像パラメータと対応しない場合には、アクティブカメラが、そのパラメータが決定手段１２ａによって決定された好適な取得画像パラメータと対応するように、調節される。

与えられている例では、カメラ２４は、ラック２８上の垂直軸に沿って並進的に移動可能である。これらは、また、水平軸を中心として回転することにより向き付け可能でもある（矢印Ｒ）。

また、アクティブカメラ２４のパラメータを調節するために、（カメラパラメータ適合手段として機能する）取得手段１２ｂが、好適な取得画像パラメータを、アクティブカメラ２４とその位置決め手段とに送信する。位置決め手段は、このカメラを位置決めして向きを決定し、このカメラが、その内部パラメータ（特に、ズーム倍率）を送信されたパラメータと一致するように調節する。

ステップｂ２）取得画像の取得
（必要な場合に）いったんカメラが位置決めされ取得画像パラメータに調節されると、取得手段１２ｂが、アクティブカメラ２４の画像の取得を実行する。

ステップｃ）合成画像の計算
他方で、システム１０は、合成画像パラメータに従って、合成画像を計算する。この画像は、モータ２０の一部を、またはオプションであるがモータ２０全体を示す。

合成画像の特性は、一般的に、監視スタッフによってモニタすることを望むパラメータに応じて予め決定されるか、または特定される。

したがって、デフォルトの表示は、モータのコンポーネントのそれぞれに対して定義されている。このデフォルトの表示は、いくつかのパラメータの表現を含み得、たとえば、モータのノズルに関しては、デフォルトでは、振動速度が表示される。

監視スタッフは、また、特定のパラメータの表示を要求することもできる。

しかし、合成画像の特性は、また、いくつかの状況では、モータ２０の状態情報に応じても定義可能である。

このようにして、いくつかの所定の誤動作メッセージが送られる場合には、または、いくつかのパラメータがある所定の値を超える場合には、計算手段１２ｃが、合成画像に関して予め決定されている特定の特性を考慮する。これらの特定の特性は異なる種類のものであり、以下を含み得る：
− 見ることができるようにするという目的のために、いくつかのコンポーネントを透明にすること（可視的／非可視的コンポーネント）、
− 結果的に得られる視野がより優れたものとなるように、いくつかのコンポーネントを特定の位置に位置決めすること（たとえば、モータの内部が可視的になるように、モータのコンポーネントが「展開された状態」に位置決めされるように特定され得る）、
− 監視スタッフが関連の誤動作メッセージを受信する場合には、監視スタッフにとって最も重要であると考えられるパラメータの値を表示すること。パラメータの値は、モータ自体の上に（または、そのコンポーネントのいくつかの上だけに）、デジタル形式で、または、より有利には、故障を示す従来の色を用いて、表示され得る、
− 所定の従来の意味を有するいくつかの色に従って、オプションでは明滅するようにして、デフォルトのコンポーネントを表すこと。

たとえば、ノズルの１点における温度が所定の値を超える場合には、計算手段が、ノズルにおけるその温度情報が表示されるように、合成画像の特性を修正するのであり、すなわち、図４に示されているように（この図は、ノズルの高温点Ｐを包囲する等温曲線を示している）、ノズルにおける温度範囲の変動を示すように、合成画像が計算される。

ステップｄ）監視画像の形成
いったん取得画像と合成画像とが取得されると、ユニット１２の画像形成手段１２ｄが、監視画像を形成する。

最も多くの場合には、取得画像パラメータと合成画像パラメータとは対応するのであり、これは、たとえば画像パラメータが厳密に同一であるために、合成画像が取得画像と容易に組み合わされ得るということを保証することになる。

しかし、取得画像と合成画像との組合せが現実的な画像を生じない、ということが起こり得る。

２つの画像を組み合わせた後で、表示プログラムは、組合せが満足できるものであるかどうかを評価する。この評価は、２つの画像におけるリッジの抽出と２つの画像の間のリッジの対応の評価とによってなされ得る。

取得画像と合成画像との組合せが満足できるものである場合には、得られた監視画像が、モニタ１４に送られる。

逆の場合には、監視画像が再計算される。この再計算は、異なる複数の方法でなされ得る。

差異が最小限である場合には、両方向へのスケールファクタの適用（「スケール」関数）などの基本的な画像処理は、合成画像を取得画像により良く対応させるように、合成画像に適用される。取得画像と合成画像との組合せによる監視画像の決定ステップｄ）だけが、反復される。

差異がより大きな場合には、合成画像が再計算される。計算ユニットが、取得画像の有効画像パラメータにより近くなるように、新たな合成画像パラメータを決定する（ステップａ２）。

これらの新たな合成画像パラメータは、異なる複数の方法で計算され得る。

それらは、何よりもまず、取得画像自体から計算され得る。この目的のために、ターゲット（たとえば、再帰反射性の材料で作られた円形のひし形）がモータ２０の上に配置され得、計算ユニットは、単に、画像に現れるターゲットの位置から、画像の画像特性を決定するための手段を備える。

あるいは、合成画像パラメータは、ターゲットをシーンの中に組み入れることを必要とすることなく、取得画像から再計算され得る。この目的で、計算ユニットは、取得画像における輪郭の抽出を行い、抽出された輪郭に形状認識アルゴリズムを適用することによって、画像の画像特性を決定するための手段を備え得る。

新たな合成画像パラメータが固定されると、計算手段１２ｃが、これらの新たなパラメータに基づいて、合成画像を再び計算する（ステップｃ）。監視画像は、取得画像と新たな合成画像とを組み合わせることによって、形成される（ステップｄ）。

取得画像と新たな合成画像との組合せが満足できるものである場合には、新たな監視画像がモニタ１４に送信される。反対には、合成画像の改善ステップが反復される。

合成画像の形成の例が、図４に示されている。これは、カメラ２４によって取得された画像５０を示し、また、この画像はモータ２０の全体を示す。

図４は、また、合成画像５２を示し、合成画像５２は、モータのノズル２１だけを示している。このノズルは、ノズルのデジタルモデル２１’を用いて示されている。デジタルモデル２１’は、ノズルの表面温度の変動を等温曲線の形式で示す。

図４は、最後に、取得画像５０と合成画像５２との組合せによって形成された監視画像５４を示す。画像５４では、ノズルの表現は合成画像５２（そして、したがって、等温曲線を示しているデジタルモデル２１’）から来ており、画像の残りは、カメラによって取得された画像５０から来ている。

表示プログラムのある変形例では、決定手段は、合成画像パラメータを、たとえば上述したようにターゲットを用いることにより、取得画像からシステム的に決定する。

計算ユニット１２はリアルタイムに機能するのであって、すなわち、ａ１）からｅ）までのすべてのステップはリアルタイムに実行される。

Claims (9)

1. ディスプレイ（１４）と、デバイス（２０）の全体または一部を撮影できるように配置された少なくとも１つの実カメラ（２４）とを備えた監視システム（１０）を用いた、動作中のデバイスの監視のために、監視画像を表示するための方法であって、
   ａ１）システムが複数のカメラを備える場合には、アクティブカメラと称されるカメラが、複数のカメラから選択されるステップと、
   ａ２）具体的には取得画像パラメータの１組と合成画像パラメータの１組とである２組の画像パラメータが決定されるステップであって、各組の画像パラメータが、デバイスに対する相対的なカメラ位置および向きと、カメラの１つまたは複数の光学パラメータとを含む、決定されるステップと、
   ｂ２）取得された画像パラメータに従って、アクティブカメラを用いてデバイスの全体または一部を示す取得画像（５０）が取得されるステップと、
   ｃ）合成画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像（５２）が計算されるステップと、
   ｄ）監視画像（５４）と称される画像が、監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、取得画像と合成画像とから形成されるステップと、
   ｅ）監視画像がディスプレイ上に表示されるステップと
   を含んでいる方法において、
   デバイスの少なくとも１つの状態パラメータが取得されるステップａ０）をさらに含み、前記少なくとも１つの状態パラメータは、温度、圧力および加速度のうちの１つ以上を含むこと、ならびに
   − ステップａ２）において、画像パラメータが、デバイスの前記少なくとも１つの状態パラメータに応じて決定され、および／または
   − ステップｃ）において、合成画像が、デバイスの前記少なくとも１つの状態パラメータに応じて計算される
   ことを特徴とする、監視画像を表示するための方法。
2. ステップａ２）において、実カメラのどの１つのものでもない画像パラメータが決定され、ステップｂ２）において取得画像を取得するのに先立ち、ステップｂ１）の間に、アクティブカメラのパラメータが、ステップａ２）において決定される画像パラメータと実質的に対応するように構成される、請求項１に記載の表示方法。
3. 監視画像を形成するためにステップｄ）において取得画像と合成画像とが現実的に組み合わされるように、合成画像が、取得画像に応じて修正および／または再計算される、請求項１または２に記載の表示方法。
4. ステップａ０）において取得されたデバイスの状態パラメータが所定のしきい値を超えると、ステップａ２）において画像パラメータが修正される、および／または、ステップｃ）において合成画像が再計算される、および／または、ステップｄ）において監視画像が再形成される、請求項１から３のいずれか一項に記載の表示方法。
5. 計算ユニット（１２）とディスプレイ（１４）と少なくとも１つのカメラ（２４）とを備えた、動作中のデバイスの監視のための監視システム（１０）であって、計算ユニットが、
   ａ）監視画像と称される画像（５４）のために、前記少なくとも１つのカメラによって撮影されるデバイスに対する相対的なカメラ位置および向きとカメラの１つまたは複数の光学パラメータとを含む画像パラメータを決定し、システムが複数のカメラを備えるときには複数のカメラからアクティブカメラと称されるカメラの選択を行うことができる決定手段（１２ａ）と、
   ｂ２）決定手段によって決定された画像パラメータに従って、アクティブカメラを用いて動作中のデバイスの全体または一部を示す画像を取得することができる取得手段（１２ｂ）と、
   ｃ）決定手段によって決定された画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像を計算することができる計算手段（１２ｃ）と、
   ｄ）監視画像（５４）を形成するために取得画像（５０）と合成画像（５２）とが現実的に組み合わされるように、取得画像と合成画像とから前記監視画像を形成することができる画像形成手段（１２ｄ）と
   を備えており、ディスプレイが監視画像を表示する（ｅ）ことができる監視システムにおいて、
   デバイスの少なくとも１つの状態パラメータを取得することができるデバイスのモニタリング手段（２２）をさらに備え、前記少なくとも１つの状態パラメータは、温度、圧力および加速度のうちの１つ以上を含むこと、ならびに
   決定手段が、画像パラメータを、デバイスの前記少なくとも１つの状態パラメータに応じて決定することができ、および／または
   計算手段が、合成画像を、デバイスの前記少なくとも１つの状態パラメータに応じて計算することができる
   ことを特徴とする、監視システム。
6. 取得手段（１２ｂ）が、少なくとも１つの実カメラ（２４）の少なくとも１つのパラメータを調節することにより、前記パラメータが、計算ユニットによって決定される画像パラメータと等しくなるようにすることができる、請求項５に記載の監視システム。
7. 計算および／または画像形成手段が、合成画像を取得画像に応じて修正および／または再計算することにより、監視画像を形成するためにステップｄ）において取得画像とここで修正および／または再計算された画像とが現実的に組み合わされるようにできるようにする、請求項５または６に記載の監視システム。
8. デバイス（２０）の全体または一部を撮影できるように配置された少なくとも１つの実カメラ（２４）に接続されたコンピュータによって実行されると、請求項１から４のいずれか一項に記載の表示方法のステップを実行するための命令を含む、コンピュータプログラム。
9. デバイス（２０）の全体または一部を撮影できるように配置された少なくとも１つの実カメラ（２４）に接続されたコンピュータによって実行されると、請求項１から４のいずれか一項に記載の表示方法のステップを実行するための命令を含むコンピュータプログラムが記録された、コンピュータ可読な記録媒体。

Images