JP6586824B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置等に関する。

近年、作業者が作業現場で用いる端末装置の画面に、コンピュータグラフィックス等で付加情報を重畳表示させて、作業支援を行うＡＲ（Augmented Reality）技術が存在する。

図２３は、ＡＲ技術の一例を示す図である。図２３に示すように、例えば、利用者が携帯端末１０に内蔵されたカメラを用いて、マーカ１１および点検対象１２を撮影すると、携帯端末１０の表示画面１０ａに、マーカ１１に対するオブジェクト情報１３が重畳される。

このＡＲ技術を応用して、作業者がカメラで撮影した撮影画像をその場にいない遠隔支持者に送信し、遠隔支持者は送信された撮影画像を見ながら作業者に作業の指示をする従来技術１がある。例えば、従来技術１では、遠隔指示者が、撮影画像に含まれる作業対象にマーカを付与し、マーカを付与された撮影画像を、作業現場の作業者の端末装置に表示させることで、作業者の作業支援を行う。

また、手術を行う医師をサポートするべく、患者の患部の３次元モデルに危険範囲の情報を予め設定しておき、医師の手と危険範囲との距離をカメラの撮影画像に重畳して表示する従来技術２が存在する。

特開２００９−４３２４２号公報 特開２０００−２７９４２５号公報 特開２０１４−１７４５０７号公報 特開平１１−３０９２６９号公報

しかしながら、上述した従来技術では、作業支援者が作業現場の作業者の状況を容易に把握することができないという問題がある。

例えば、従来技術１では、作業者と遠隔支援者とが２次元の撮影画像を共有するものであるため、作業支援者は、作業者と作業対象との距離感等をつかむことが出来ず、作業の状況を把握することができない。

また、従来技術２では、危険範囲と作業者との局所的な距離を把握できても、作業空間全体の作業者の状況を把握できるものではない。

１つの側面では、本発明は、作業支援者が作業現場の作業者の状況を容易に把握することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

第１の案では、画像処理装置は、取得部と、判定部と、画面生成部とを有する。取得部は、予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、カメラの撮像位置から作業空間に含まれる物体までの距離を示す距離情報とを取得する。判定部は、３次元モデルと距離情報とを基にして作業者の位置を判定し、３次元モデル内の異なる領域に存在する危険領域のうち、作業者の位置に近い危険領域を判定する。画面生成部は、判定部の判定結果を基にして、危険領域の情報と、撮影画像の情報とを含む表示画面を生成する。

遠隔指示者による現場作業者の状況把握を容易にできる。

図１は、本実施例１に係る遠隔作業支援システムの構成を示す図である。 図２は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。 図３は、撮影画像と３次元距離情報に基づく画像との一例を示す図である。 図４は、３次元モデル情報、作業範囲情報、危険範囲情報を説明するための図である。 図５は、本実施例１に係る生成部が生成する表示画面の一例を示す図（１）である。 図６は、本実施例１に係る生成部が生成する表示画面の一例を示す図（２）である。 図７は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。 図８は、表示画面の情報を生成する処理手順を示すフローチャートである。 図９は、作業対象を判定する処理手順を示すフローチャートである。 図１０は、危険範囲を判定する処理手順を示すフローチャートである。 図１１は、生成部のその他の処理（１）を説明するための図である。 図１２は、撮影画像の配置位置を調整する処理を説明するための図である。 図１３は、生成部のその他の処理（１）の処理手順を示すフローチャートである。 図１４は、生成部のその他の処理（２）を説明するための図である。 図１５は、本実施例２に係る生成部が生成する表示画面の一例を示す図（１）である。 図１６は、生成部のその他の処理（２）の処理手順を示すフローチャートである。 図１７は、生成部のその他の処理（３）を説明するための図である。 図１８は、回転量テーブルのデータ構造の一例を示す図である。 図１９は、生成部のその他の処理（３）の処理手順を示すフローチャートである。 図２０は、本実施例２に係る生成部が生成する表示画面の一例を示す図（２）である。 図２１は、その他の回転軸の一例を説明するための図である。 図２２は、画像処理プログラムを実行するコンピュータの一例を示す図である。 図２３は、ＡＲ技術の一例を示す図である。

以下に、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１に係る遠隔作業支援システムの構成を示す図である。図１に示すように、このシステムは、画像処理装置１００と、遠隔支援者端末２００とを有する。例えば、画像処理装置１００および遠隔支援者端末２００は、ネットワーク５０を介して相互に接続される。

画像処理装置１００は、作業者が作業現場で利用する装置である。画像処理装置１００は、カメラで撮影した撮影画像の情報を、遠隔支援者端末２００に通知する。また、画像処理装置１００は、撮影画像の情報を遠隔支援者端末２００に送信する際に、作業空間の３次元モデルおよび距離センサの３次元距離情報から、作業者の作業位置を判定する。画像処理装置１００は、作業者の作業位置から危険領域または作業領域の方向および距離の情報を含む表示画面を生成し、撮影画像の情報と合わせて遠隔支援者端末２００に通知する。

遠隔支援者端末２００は、作業者の作業を支援する支援者が利用する装置である。例えば、遠隔支援者端末２００は、画像処理装置１００から通知される表示画面を表示することで、遠隔支援者は、作業者の作業状況を把握し、各種の支援を実行する。

図２は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、この画像処理装置１００は、通信部１１０、距離センサ１２０、カメラ１３０、入力部１４０、表示部１５０、記憶部１６０、制御部１７０を有する。例えば、距離センサ１２０およびカメラ１３０は、作業者が作業時に着用するヘルメット等に設置されるものとする。

通信部１１０は、ネットワーク５０を介して、遠隔支援者端末２００とデータ通信を実行する通信装置である。後述する制御部１７０は、通信部１１０を介して、データを送受信する。

距離センサ１２０は、距離センサ１２０から、計測範囲に含まれる物体までの３次元距離を計測するセンサである。例えば、距離センサ１２０は、三角測距方式、タイム・オブ・フライト等に基づいて、３次元距離を計測する。以下の説明では、距離センサ１２０が計測した３次元距離の情報を、３次元距離情報と表記する。距離センサ１２０は、３次元距離情報を制御部１７０に出力する。

カメラ１３０は、撮影範囲の画像を撮影する装置である。カメラが撮影した画像を、撮影画像と表記する。カメラ１３０は、撮影画像の情報を制御部１７０に出力する。例えば、カメラ１３０は、作業者が頭部に装着するＨＭＤ（Head Mounted Display）に搭載されていても良い。

図３は、撮影画像と３次元距離情報に基づく画像との一例を示す。図３において、画像１４は、撮影画像であり、画像１５は、３次元距離情報に基づく画像である。この３次元距離情報に基づく画像は、近い部分が明るくなり、遠い部分が暗くなるように表現した。画像１４の部分画像１４ａに着目すると、距離が分かりづらい。これに対して、画像１５の部分画像１５ａに着目すると、色の濃淡によって、距離を把握することができる。

入力部１４０は、画像処理装置１００に各種の情報を入力する入力装置である。入力部１４０は、タッチパネルや入力ボタン等の入力装置に対応する。

表示部１５０は、制御部１７０から出力される情報を表示する表示装置である。表示部１５０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１６０は、３次元モデル情報１６０ａと、作業範囲情報１６０ｂと、危険範囲情報１６０ｃとを有する。記憶部１６０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

３次元モデル情報１６０ａは、作業空間に含まれる複数の物体の形状をモデリングした情報である。例えば、３次元モデル情報１６０ａは、予め設定される世界座標系の原点を基準として、複数の物体を配置し、物体を配置した３次元座標や物体の形状を定義する。

作業範囲情報１６０ｂは、作業空間内で、作業者が作業を行う作業対象を定義した情報である。例えば、作業範囲情報１６０ｂは、予め設定される世界座標系の原点を基準として、作業対象を３次元座標で定義される。

危険範囲情報１６０ｃは、作業空間内の危険な領域を定義した情報である。例えば、危険範囲情報１６０ｂは、予め設定される世界座標系の原点を基準として、危険範囲を３次元座標で定義される。

図４は、３次元モデル情報、作業範囲情報、危険範囲情報を説明するための図である。図４では、３次元モデル情報１６０ａを正面から見たものを示す。図４に示すように、３次元モデル情報１６０ａは、各種の物体の３次元座標、形状が定義されている。作業範囲情報１６０ｂに対応する作業対象を、３次元モデル情報１６０ａを用いて示すと、例えば、作業対象６１となる。危険範囲情報１６０ｃに対応する危険範囲を、３次元モデル情報１６０ａを用いて示すと、例えば、危険範囲６２ａ，６２ｂとなる。

図１の説明に戻る。制御部１７０は、取得部１７０ａと、判定部１７０ｂと、生成部１７０ｃと、通知部１７０ｄとを有する。生成部１７０ｃは、画面生成部の一例である。制御部１７０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１７０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

取得部１７０ａは、通信部１１０または入力部１４０から３次元モデル情報１６０ａ、作業範囲情報１６０ｂ、危険範囲情報１６０ｃを取得する。取得部１７０ａは、取得した３次元モデル情報１６０ａ、作業範囲情報１６０ｂ、危険範囲情報１６０ｃを、記憶部１６０に格納する。

また、取得部１７０ａは、距離センサ１２０から３次元距離情報を取得し、取得した３次元距離情報を、判定部１７０ｂに出力する。取得部１７０ａは、カメラ１３０から撮影画像を取得し、取得した撮影画像を、生成部１７０ｃに出力する。

判定部１７０ｂは、３次元距離情報と３次元モデル情報１６０ａとを基にして、作業者の作業位置を判定する処理部である。判定部１７０ｂは、作業者の作業位置と、作業範囲情報１６０ｂとを基にして、作業位置に近い作業対象を判定する。判定部１７０ｂは、作業者の作業位置と、危険範囲情報１６０ｃとを基にして、作業位置に近い危険範囲を判定する。判定部１７０ｂは、判定結果を、生成部１７０ｃに出力する。以下において、判定部１７０ｂの処理の一例について説明する。

判定部１７０ｂが、作業位置を判定する処理について説明する。判定部１７０ｂは、３次元距離情報と、３次元モデル情報１６０ａとを、ＩＣＰ（Iterative Closest Point）に基づいて、３次元距離情報の各点と、３次元モデル情報１６０ａの各点との位置合わせを行うことで、カメラ１３０の３次元座標を推定する。カメラ１３０は、作業者のヘルメットに設置されている場合には、カメラ１３０の３次元座標は、作業者の頭部の位置に対応する。

また、判定部１７０ｂは、３次元距離情報と３次元モデル情報１６０ａとの差分から、作業者の手の領域を抽出する。判定部１７０ｂは、作業者の頭部の３次元座標と、抽出した手の領域の３次元座標とを組み合わせることで、作業者の作業位置を判定する。

続いて、判定部１７０ｂが、作業位置に近い作業対象を判定する処理について説明する。判定部１７０ｂは、３次元距離情報を受け付ける度に、上記手の領域を抽出する処理を繰り返し実行することで、手の進行方向を計算する。判定部１７０ｂは、手の進行方向に伸びる直線と、作業範囲情報１６０ｂに定義された作業対象の３次元座標とを比較して、直線との距離が最も近い作業対象を判定する。

なお、判定部１７０ｂは、手の領域の抽出に失敗した場合や、直線と作業対象との距離が規定距離内でない場合には、作業者の視野中心位置に基づいて、作業対象を判定する。例えば、判定部１７０ｂは、３次元距離情報の中心部分に含まれる物体の位置を視野中心位置と仮定する。判定部１７０ｂは、視野中心位置に最も近い作業対象を判定する。

続いて、判定部１７０ｂが、作業位置に近い危険範囲を判定する処理について説明する。判定部１７０ｂは、上記の処理と同様にして、手の進行方向を計算する。判定部１７０ｂは、手の進行方向に伸びる直線と、危険範囲情報１６０ｃに定義された危険範囲の３次元座標とを比較して、直線との距離が規定距離Ｄ１より近い危険範囲を判定する。

また、判定部１７０ｂは、現在の手の３次元位置との距離が規定距離Ｄ２より近い危険範囲を判定する。判定部１７０ｂは、作業者の頭部の３次元座標との距離が規定距離Ｄ３より近い危険範囲を判定する。上記の規定距離Ｄ１〜Ｄ３は、管理者が予め設定しておくものとする。例えば、規定距離Ｄ１の値を、規定距離Ｄ２の値よりも大きい値とする。また、判定部１７０ｂは、手の移動速度に応じて、規定距離Ｄ１の値を調整しても良い。例えば、判定部１７０ｂは、手の速度が速くなるほど、規定距離Ｄ１の値を小さくする。

生成部１７０ｃは、判定部１７０ｂの判定結果を基にして、遠距離支援者端末２００に表示させる表示画面を生成する処理部である。生成部１７０ｃは、生成した表示画面の情報を、通知部１７０ｄに出力する。

図５は、本実施例１に係る生成部が生成する表示画面の一例を示す図（１）である。図５に示すように、表示画面２０には、撮影画像２０ａと、３次元モデル２０ｂとが配置される。撮影画像２０ａは、カメラ１３０の撮影画像に対応し、３次元モデル２０ｂは、３次元モデル情報１６０ａに対応する。

生成部１７０ｃは、撮影画像２０ａにおいて、作業対象までの距離を示す表示コンテンツ２１と、危険範囲までの距離を示す表示コンテンツとを表示させる。生成部１７０ｃは、危険範囲までの距離を示す表示コンテンツの色を、作業者の手と危険範囲との距離に応じて変化させても良い。例えば、生成部１７０ｃは、作業者の手と危険範囲との距離が閾値未満である場合には、表示コンテンツ２２の色を赤色で表示する。生成部１７０ｃは、作業者の手と危険範囲との距離が閾値以上である場合には黄色で表示する。

生成部１７０ｃは、表示コンテンツ２１，２２が、作業者の手の位置と重ならないように、表示コンテンツ２１，２２の配置位置を調整する。

生成部１７０ｃは、３次元モデル２０ｂにおいて、危険領域を示す表示コンテンツ２３，２４と、作業者の手の位置を示す表示コンテンツ２５と、作業者を示す表示コンテンツ２６とを表示させる。また、生成部１７０ｃは、危険範囲を所定の色で表示しても良い。また、生成部１７０ｃは、撮影画像２０ａに対応する３次元モデル２０ｂの位置を明示的に示しても良い。図５に示す例では、撮影画像２０ａが、３次元モデル２０ｂの領域２７に対応する撮影画像である旨が示されている。

なお、生成部１７０ｃが生成する表示画面は、図５に示した表示画面２０に限定されるものではない。図６は、本実施例１に係る生成部が生成する表示画面の一例を示す図（２）である。例えば、表示部１７０は、３次元モデル２０ｂのうち、撮影画像２０ａに対応する範囲のみを、表示しても良い。

通知部１７０ｄは、生成部１７０ｃによって生成された表示画面の情報を、遠隔支援者端末２００に送信する処理部である。

次に、本実施例１に係る画像処理装置１００の処理手順について説明する。図７は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。図７に示すように、画像処理装置１００の取得部１７０ａは、３次元モデル情報１６０ａ、作業範囲情報１０６ｂ、危険範囲情報１６０ｃを取得する（ステップＳ１０１）。

取得部１７０ａは、カメラ１３０から撮影画像を取得し（ステップＳ１０２）、距離センサ１２０から３次元距離情報を取得する（ステップＳ１０３）。画像処理装置１００の判定部１７０ｂは、３次元距離情報と３次元モデル情報１６０ａとを基にして、作業者の作業位置を判定する（ステップＳ１０４）。

判定部１７０ｂは、作業範囲および危険範囲と、作業者の手との距離を判定する（ステップＳ１０５）。画像処理装置１００の生成部１７０ｃは、表示画面の情報を生成し（ステップＳ１０６）、画像処理装置１００の通知部１７０ｄは、表示画面の情報を、遠隔支援者端末２００に通知する（ステップＳ１０７）。

画像処理装置１００は、処理を終了する場合には（ステップＳ１０８，Ｙｅｓ）、処理を終了する。一方、画像処理装置１００は、処理を終了しない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０２に移行する。

次に、図７のステップＳ１０６に示した表示画面の情報を生成する処理の一例について説明する。図８は、表示画面の情報を生成する処理手順を示すフローチャートである。図８に示すように、画像処理装置１００の判定部１７０ｂは、作業範囲と、作業者の手との距離から、作業対象を判定する（ステップＳ２０１）。

判定部１７０ｂは、危険範囲と、作業者の手との距離から、作業者に近い危険範囲を判定する（ステップＳ２０２）。画像処理装置１００の生成部１７０ｃは、作業対象及び危険範囲に基づいて、表示コンテンツを決定する（ステップＳ２０３）。

生成部１７０ｃは、表示コンテンツの表示位置を決定する（ステップＳ２０４）。生成部１７０ｃは、表示コンテンツを表示画面の表示位置に配置することで、表示画面の情報を生成する（ステップＳ２０５）。

次に、図８のステップＳ２０１に示した作業対象を判定する処理の一例について説明する。図９は、作業対象を判定する処理手順を示すフローチャートである。図９に示すように、画像処理装置１００の判定部１７０ｂは、撮影画像内に手が存在するか否かを判定する（ステップＳ３０１）。判定部１７０ｂは、撮影画像内に手が存在しない場合には（ステップＳ３０１，Ｎｏ）、ステップＳ３０４に移行する。

一方、判定部１７０ｂは、撮影画像内に手が存在する場合には（ステップＳ３０１，Ｙｅｓ）、手の進行方向に一番近い作業対象を抽出する（ステップＳ３０２）。判定部１７０ｂは、手と作業対象との距離が所定距離以内であるか否かを判定する（ステップＳ３０３）。

判定部１７０ｂは、手と作業対象との距離が所定距離以内である場合には（ステップＳ３０３，Ｙｅｓ）、作業対象を判定する処理を終了する。例えば、ステップＳ３０３でＹｅｓとなる場合には、ステップＳ３０２で抽出した作業対象が、判定結果の作業対象となる。

一方、判定部１７０ｂは、手と作業対象との距離が所定距離以内でない場合には（ステップＳ３０３，Ｎｏ）、視野中心に一番近い作業対象を抽出する（ステップＳ３０４）。例えば、ステップＳ３０３でＮｏとなる場合には、ステップ３０４で抽出した作業対象が、判定結果の作業対象となる。

次に、図８のステップＳ２０２に示した危険範囲を判定する処理の一例について説明する。図１０は、危険範囲を判定する処理手順を示すフローチャートである。図１０に示すように、画像処理装置１００の判定部１７０ｂは、撮影画像内に手が存在するか否かを判定する（ステップＳ４０１）。判定部１７０ｂは、撮影画像内に手が存在しない場合には（ステップＳ４０１，Ｎｏ）、ステップＳ４０４に移行する。

判定部１７０ｂは、撮影画像内に手が存在する場合には（ステップＳ４０１，Ｙｅｓ）、手の進行方向から、規定距離内の危険範囲を抽出する（ステップＳ４０２）。

判定部１７０ｂは、手から規定距離内の危険範囲を抽出する（ステップＳ４０３）。判定部１７０ｂは、撮影位置から規定距離内の危険範囲を抽出する（ステップＳ４０４）。

次に、本実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、撮影画像の情報を遠隔支援端末２００に送信する際に、３次元モデル情報１６０ａおよび３次元距離情報から、作業者の作業位置を判定する。画像処理装置１００は、作業者の作業位置から危険領域または作業領域の方向および距離の情報を含む表示画面を生成し、撮影画像の情報と合わせて遠隔支援者端末２００に通知する。このため、作業者の位置だけでなく、作業者に影響を与える危険範囲や作業範囲までの距離を表示でき、遠隔支援者は、作業現場の作業者の状況把握を容易に行うことができる。

実施例１に示した画像処理装置１００の処理は一例である。本実施例２では、画像処理装置１００が実行するその他の処理について説明する。

生成部１７０ｃのその他の処理（１）について説明する。生成部１７０ｃは、撮影画像と、３次元モデルとを配置して表示画面を生成する場合に、３次元モデル上の作業者の位置に応じて、撮影画像の配置位置を調整する。例えば、生成部１７０ｃは、３次元モデル２０ｂ上の作業者の横方向の位置と、撮影画像の横方向の位置とが重複するように、撮影画像の位置を調整する。生成部１７０ｃは、作業者の位置の代わりに、作業者の視点位置を用いても良い。

図１１は、生成部のその他の処理（１）を説明するための図である。図１１では一例として、表示画面２０Ａ，２０Ｂを示す。表示画面２０Ａについて説明する。表示画面２０Ａでは、３次元モデル２０ｂの左側に作業者２６が位置しており、撮影画像２０ａは、領域２７ａに対応するものである。この場合には、生成部１７０ｃは、作業者２６の横方向の位置と重複するように、撮影画像２０ａを表示画面２０Ａの左側に配置する。

表示画面２０Ｂについて説明する。表示画面２０Ｂでは、３次元モデル２０ｂの右側に作業者２６が位置しており、撮影画像２０ａは、領域２７ｂに対応するものである。この場合には、生成部１７０ｃは、作業者２６の横方向の位置と重複するように、撮影画像２０ａを表示画面２０Ｂの右側に配置する。

ここで、生成部１７０ｃが、撮影画像の配置位置を調整する処理を具体的に説明する。図１２は、撮影画像の配置位置を調整する処理を説明するための図である。図１２に示すように、生成部１７０ｃは、３次元モデル２０ｂを、左側領域１Ａ、中央領域１Ｂ、右側領域１Ｃに分割する。生成部１７０ｃは、作業者の位置が左側領域１Ａに含まれる場合には、図１１の表示画面２０Ａに示したように、撮影画像２０ａを左側に配置する。

生成部１７０ｃは、作業者の位置が中央領域１Ｂに含まれる場合には、撮影画像２０ａの位置を調整せず、そのままの配置位置とする。生成部１７０ｃは、作業者の位置が右側領域１Ｃに含まれる場合には、図１１の表示画面２０Ｂに示したように、撮影画像２０ａを右側に配置する。

図１３は、生成部のその他の処理（１）の処理手順を示すフローチャートである。図１３では一例として、作業者の位置を用いて説明を行うが、作業者の位置の代わりに、作業者の視線位置を用いても良い。

図１３に示すように、生成部１７０ｃは、作業者の位置が３次元モデルの中央領域か否かを判定する（ステップＳ５０１）。生成部１７０ｃは、作業者の位置が３次元モデルの中央領域である場合には（ステップＳ５０１，Ｙｅｓ）、処理を終了する。

生成部１７０ｃは、作業者の位置が３次元モデルの中央領域でない場合には（ステップＳ５０１，Ｎｏ）、作業者の位置が３次元モデルの左側領域であるか否かを判定する（ステップＳ５０２）。生成部１７０ｃは、作業者の位置が３次元モデルの左側領域である場合には（ステップＳ５０２，Ｙｅｓ）、撮影画面を、表示画面の左側に配置する（ステップＳ５０３）。

一方、生成部１７０ｃは、作業者の位置が３次元モデルの右側領域である場合には（ステップＳ５０２，Ｎｏ）、撮影画面を、表画画面の右側に配置する（ステップＳ５０４）。

生成部１７０ｃが上記のように表示画面を生成することで、遠隔支援者が、３次元モデル２０ｂ上の作業者と、撮影画像とを見る場合における視線移動量を抑えることができる。また、３次元モデル２０ｂに中央領域１Ｂを設けることで、撮影画像２０ａの配置位置が頻繁に変更されることを抑止することができる。

次に、生成部１７０ｃのその他の処理（２）について説明する。生成部１７０ｃは、表示画面に３次元モデルを配置する場合に、３次元モデルの全範囲を表示する代わりに、作業者の位置を基準とする周辺範囲のみを表示しても良い。以下の説明では、作業者の位置を基準とする周辺範囲の領域を、周辺領域と表記する。

生成部１７０ｃは、予め設定された大きさの周辺領域を、３次元モデルに設定し、周辺領域に危険範囲または作業範囲が含まれるか否かを判定する。生成部１７０ｃは、周辺領域に危険範囲または作業範囲が含まれていない場合には、周辺領域を予め定められた最小表示範囲まで周辺範囲を縮小する。生成部１７０ｃは、最小表示範囲によって、３次元モデルを切り出し、表示画面に配置する。

一方、生成部１７０ｃは、周辺領域に危険範囲または作業範囲が含まれる場合には、危険範囲または作業範囲が削除されない範囲内で、周辺領域の範囲を縮小して調整する。生成部１７０ｃは、調整した周辺領域によって、３次元モデルを切り出し、表示画面に配置する。

図１４は、生成部のその他の処理（２）を説明するための図である。図１４において、生成部１７０ｃは、３次元モデル２０ｂに、作業者２６の位置を基準とする周辺領域を設定し、周辺領域の範囲を範囲２Ａとする。生成部１７０ｃは、範囲２Ａに、危険領域６２ａ，６２ｂ、作業領域６１が含まれるため、危険範囲６２ａ，６２ｂ、作業範囲６１が削除されない範囲内で、周辺領域の範囲を縮小して調整する。調整後の周辺領域の範囲は、範囲２Ｃとなる。生成部１７０ｃは、３次元モデル２０ｂのうち、範囲２Ｃの周辺領域を切り出して、表示画面に配置する。

なお、生成部１７０ｃは、範囲２Ａに、危険領域および作業範囲が含まれていない場合には、周辺領域の範囲を、最小表示範囲２Ｂまで縮小し、最小表示範囲２Ｂによって、３次元モデルを切り出し、表示画面に配置する。

図１５は、本実施例２に係る生成部が生成する表示画面の一例を示す図（１）である。図１５では一例として、表示画面２０Ｃ，２０Ｄを示す。表示画面２０Ｃでは、撮影画像２０ａと３次元モデル２０ｂとが配置されている。また、３次元モデル２０ｂとして、作業者２６の位置を基準とした、周辺領域の範囲が切り出されている。表示画面２０Ｃの３次元モデル２０ｂには、作業対象６１と、危険範囲６２ａ，６２ｂが含まれる。

表示画面２０Ｄでは、撮影画像２０ａと３次元モデル２０ｂとが配置されている。また、３次元モデル２０ｂとして、作業者２６の位置を基準とした、周辺領域の範囲が切り出されている。表示画面２０Ｄの３次元モデル２０ｂには、危険範囲６２ｂが含まれる。

図１６は、生成部のその他の処理（２）の処理手順を示すフローチャートである。図１６に示すように、生成部１７０ｃは、周辺領域の範囲を初期値に設定する（ステップＳ６０１）。生成部１７０ｃは、周辺領域の範囲に、作業範囲または危険範囲が含まれるか否かを判定する（ステップＳ６０２）。

生成部１７０ｃは、周辺領域の範囲に、作業範囲または危険範囲が含まれない場合には（ステップＳ６０２，Ｎｏ）、周辺領域の範囲を最小表示範囲に縮小して調整する（ステップＳ６０３）。

一方、生成部１７０ｃは、周辺領域の範囲に、作業範囲または危険範囲が含まれる場合には（ステップＳ６０２，Ｙｅｓ）、危険範囲または作業範囲が削除されない範囲内で、周辺領域の範囲を縮小して調整する（ステップＳ６０４）。

上記のように、生成部１７０ｃが、３次元モデルからの周辺領域の範囲を切り出して表示することで、遠隔支援者が注意すべき範囲を絞り込むことができ、遠隔支援者の負担を軽減させることができる。

ところで、生成部１７０ｃは、周辺領域の範囲をどのように調整しても良い。例えば、生成部１７０ｃは、周辺領域の初期値を、最小表示範囲とし、周辺領域の境界が、危険領域または作業領域と重なるか否かを判定する。生成部１７０ｃは、周辺領域の境界が、危険領域または作業領域と重ならない場合には、周辺領域を、最小表示範囲とする。一方、生成部１７０ｃは、周辺領域の境界が、危険領域または作業領域と重なる場合には、危険領域または作業領域を包含するまで周辺領域の範囲を拡張して調整する。

次に、生成部１７０ｃのその他の処理（３）について説明する。生成部１７０ｃは、作業者の手と、作業対象との距離が閾値未満となった場合に、３次元モデル情報１６０ａを利用して、作業者視点とは異なる視点から作業対象を見た場合の仮想的な画像を生成し、表示画面に配置しても良い。以下の説明では、作業者視点とは異なる視点から作業対象を見た場合の仮想的な画像を、他視点画像と表記する。

図１７は、生成部のその他の処理（３）を説明するための図である。生成部１７０ｃは、作業者の手２６ａの位置と、作業対象３０との距離が短くなるにつれて、距離センサ１２０の視点位置を仮想的に回転させて、回転させた仮想的な視点位置からみた場合の他視点画像を生成する。

例えば、生成部１７０ｃは、作業者の手２６ａと作業対象３０との距離が第１閾値未満になった場合には、作業者の手２６ａと作業対象３０とを結ぶ直線を軸としてカメラをθ１だけ回転させて、視点位置１２０ｂから作業対象３０を見た場合の他視点画像を生成する。また、生成部１７０ｃは、作業者の手２６ａと作業対象３０との距離が第２閾値未満になった場合には、更に前期軸周りにカメラをθ２だけ回転させて、視点位置１２０ｃから作業対象３０を見た場合の他視点画像を生成する。

なお、生成部１７０ｃは、利用者の手と作業対象との距離に限らず、作業者の手と危険範囲との距離を更に利用して、回転させる角度を判定しても良い。例えば、生成部１７０ｃは、回転量テーブルを利用して、回転させる角度を判定する。

図１８は、回転量テーブルのデータ構造の一例を示す図である。図１８に示すように、この回転量テーブルは、距離ｄ１と、距離ｄ２と、角度θとを対応付ける。距離ｄ１は、作業者の手と危険範囲との距離を示す。距離ｄ２は、作業者の手と作業対象との距離を示す。角度θは、作業者の手２６ａと作業対象３０とを結ぶ軸周りの回転角度を示す。

例えば、生成部１７０ｃは、図１９に示す処理手順と、回転量テーブルとを基にして、回転させる角度を判定する。図１９は、生成部のその他の処理（３）の処理手順を示すフローチャートである。図１９に示すように、生成部１７０ｃは、危険範囲と手との距離ｄ１が、所定閾値未満であるか否かを判定する（ステップＳ７０１）。生成部１７０ｃは、危険範囲と手との距離ｄ１が、所定閾値未満である場合には（ステップＳ７０１，Ｙｅｓ）、回転量テーブルと距離ｄ１とを基にして、視点回転角度を判定する（ステップＳ７０２）。例えば、ステップＳ７０２において、距離ｄ１が１ｃｍ以下である場合には、回転角度は「９０ｄｅｇ」となる。

一方、生成部１７０ｃは、危険範囲と手との距離ｄ１が、所定閾値未満でない場合には（ステップＳ７０１，Ｎｏ）、作業範囲と手との距離ｄ２が、所定距離未満であるか否かを判定する（ステップＳ７０３）。生成部１７０ｃは、作業範囲と手との距離ｄ２が、所定距離未満である場合には（ステップＳ７０３，Ｙｅｓ）、回転量テーブルと距離ｄ２とを基にして、視点回転角度を判定する（ステップＳ７０４）。例えば、ステップＳ７０４において、距離ｄ２が３０ｃｍである場合には、回転角度は「４０ｄｅｇ」となる。

一方、生成部１７０ｃは、作業範囲と手との距離ｄ２が、所定距離未満でない場合には（ステップＳ７０３，Ｎｏ）、視点回転量を０に設定する（ステップＳ７０５）。

なお、生成部１７０ｃは、他視点画像をどのように生成しても良い。例えば、生成部１７０ｃは、距離センサ１２０からの３次元距離情報を、図１９に基づく処理で決定した回転角度に基づく仮想的な視点位置の３次元距離情報に変換する。そして、生成部１７０ｃは、仮想的な視点位置の３次元距離情報と、３次元モデル情報１６０ａとを基にして他視点画像を生成する。生成部１７０ｃは、軸周りの回転角度が閾値以上となる場合には、３次元モデル情報１６０ａと、手の画像とを合成して、仮想的な視点位置からみた画像に変換しても良い。

図２０は、本実施例２に係る生成部が生成する表示画面の一例を示す図（２）である。図２０では一例として、表示画面２０Ｅ，２０Ｆを示す。表示画面２０Ｅでは、撮影画像２０ａと３次元モデル２０ｂと、他視点画像２０ｃとが配置されている。例えば、表示画面２０Ｅの他視点画像２０ｃは、軸周りにθ１だけ回転させた場合の、他視点画像である。

表示画面２０Ｆでは、撮影画像２０ａと３次元モデル２０ｂと、他視点画像２０ｃとが配置されている。例えば、表示画面２０Ｆの他視点画像２０ｃは、軸周りにθ１＋θ２だけ回転させた場合の、他視点画像である。

上記処理を実行することで、カメラ１３０の撮影画像からでは距離感がつかみにくい場合であっても、他視点画像を生成して遠隔支援者に通知することで、遠隔支援者は、作業者と危険範囲との距離、または、作業者と作業範囲との距離を容易に把握できる。

ところで、視点の回転軸は、図１７に示したような作業者の手２６ａと作業対象３０とを結ぶ直線以外であっても良い。図２１は、その他の回転軸の一例を説明するための図である。図２１において、手と作業対象とを結ぶ直線を、直線３１とし、カメラ１３０の視線に対応する直線３２とする。直線３１と作業対象３０との交点で、作業対象３０の接平面を平面４０とする。平面４０上で直線３２と直交する直線を直線３３とする。ここで、直線３２および直線３３と直交する平面４０上の直線３４を回転軸としても良い。なお、平面４０は、接平面ではなく、直線３１と直交する平面としても良い。

また、生成部１７０ｃは、図１８に示した回転量テーブルを基にして回転角度を判定していたが、これに限定されるものではない。例えば、生成部１７０ｃは、手と作業対象とを結ぶ直線が、作業対象と交わっている点に着目し、着目した点が手によって隠れない角度を、回転角度として判定しても良い。また、生成部１７０ｃは、手と作業対象との距離が閾値未満になった場合に、回転角度を一律９０度としても良い。

次に、上記実施例に示した画像処理装置１００と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例について説明する。図２２は、画像処理プログラムを実行するコンピュータの一例を示す図である。

図２２に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５と、カメラ３０６と、距離センサ３０７とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０８と、ハードディスク装置３０９とを有する。そして、各装置３０１〜３０９は、バス３１０に接続される。

ハードディスク装置３０９は、取得プログラム３０９ａ、判定プログラム３０９ｂ、生成プログラム３０９ｃを有する。ＣＰＵ３０１は、取得プログラム３０９ａ、判定プログラム３０９ｂ、生成プログラム３０９ｃを読み出してＲＡＭ３０８に展開する。

取得プログラム３０９ａは、取得プロセス３０８ａとして機能する。判定プログラム３０９ｂは、判定プロセス３０８ｂとして機能する。生成プログラム３０９ｃは、生成プロセス３０８ａとして機能する。

取得プロセス３０８ａの処理は、取得部１７０ａの処理に対応する。判定プロセス３０８ｂの処理は、判定部１７０ｂの処理に対応する。判定プロセス３０８ｂの処理は、判定部１７０ｂの処理に対応する。生成プロセス３０８ｃの処理は、生成部１７０ｃの処理に対応する。

なお、取得プログラム３０９ａ、判定プログラム３０９ｂ、生成プログラム３０９ｃについては、必ずしも最初からハードディスク装置３０９に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０９ａ〜３０９ｄを読み出して実行するようにしてもよい。

ところで、上記実施例１、２では、画像処理装置１００が、取得部１７０ａ、判定部１７０ｂ、生成部１７０ｃ、通知部１７０ｄを有する場合について説明したが、これに限定されるものではない。例えば、画像処理装置１００の処理の一部を、遠隔支援者端末２００が実行し、画像処理装置１００および遠隔支援者端末２００が協働して、上記の表示画面を生成し、遠隔支援者端末２００に表示するようにしても良い。例えば、画像処理装置１００が、取得部１７０ａを有し、遠隔支援者端末２００が、判定部１７０ｂ、生成部１７０ｃを有しても良い。この場合には、画像処理装置１００は、距離センサ１２０、カメラ１３０から取得した情報を、遠隔支援者端末２００に通知し、遠隔支援者端末２００は、通知された情報を用いて、表示画面を生成する。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、前記カメラの撮像位置から前記作業空間に含まれる物体までの距離を示す距離情報とを取得する取得部と、
前記３次元モデルと前記距離情報とを基にして前記作業者の位置を判定し、前記３次元モデル内の異なる領域に存在する危険領域のうち、前記作業者の位置に近い危険領域を判定する判定部と、
前記判定部の判定結果を基にして、危険領域の情報と、前記撮影画像の情報とを含む表示画面を生成する画面生成部と
を有することを特徴とする画像処理装置。

（付記２）前記判定部は、前記３次元モデル内に存在する複数の危険領域および複数の作業領域の情報を基にして、前記作業者の位置から前記危険領域までの方向および距離と、前記利用者の位置から前記作業領域までの方向および距離とを判定し、前記画面生成部は、判定結果を前記表示画面に表示することを特徴とする付記１に記載の画像処理装置。

（付記３）前記判定部は、前記３次元モデル上の前記作業者の横方向の位置を判定し、前記画面生成部は、前記撮影画像の横方向の配置領域と、前記横方向の位置とを重複させて、前記３次元モデルと前記撮影画像とを前記表示画面に配置することを特徴とする付記１に記載の画像処理装置。

（付記４）前記判定部は、前記３次元モデル上の前記作業者の位置を含む所定領域を設定し、前記所定領域の境界と前記危険領域または前記作業領域とが重なるか否かを判定し、前記画面生成部は、判定結果を基にして、前記所定領域の境界と前記危険領域または前記作業領域とが重なる場合に、前記所定領域を前記危険領域または前記作業領域を包含するまで拡張し、拡張した所定領域を、前記表示画面に表示することを特徴とする付記２に記載の画像処理装置。

（付記５）前記取得部は、前記作業者のＨＭＤ（Head Mounted Display）から前記カメラの撮影画面を取得することを特徴とする付記１に記載の画像処理装置。

（付記６）前記画面生成部は、前記作業者の位置と前記作業領域との距離を基にして、前記カメラの視点位置を仮想的に回転させた他視点位置から前記作業領域を撮影した場合の仮想的な画像を生成し、前記表示画面に配置することを特徴とする付記１に記載の画像処理装置。

（付記７）コンピュータが実行する画像処理方法であって、
予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、前記カメラの撮像位置から前記作業空間に含まれる物体までの距離を示す距離情報とを取得し、
前記３次元モデルと前記距離情報とを基にして前記作業者の位置を判定し、前記３次元モデル内の異なる領域に存在する危険領域のうち、前記作業者の位置に近い危険領域を判定し、
判定結果を基にして、危険領域の情報と、前記撮影画像の情報とを含む表示画面を生成する
処理を実行することを特徴とする画像処理方法。

（付記８）前記判定する処理は、前記３次元モデル内に存在する複数の危険領域および複数の作業領域の情報を基にして、前記作業者の位置から前記危険領域までの方向および距離と、前記利用者の位置から前記作業領域までの方向および距離とを判定し、前記生成する処理は、判定結果を前記表示画面に表示することを特徴とする付記７に記載の画像処理方法。

（付記９）前記判定する処理は、前記３次元モデル上の前記作業者の横方向の位置を判定し、前記生成する処理は、前記撮影画像の横方向の配置領域と、前記横方向の位置とを重複させて、前記３次元モデルと前記撮影画像とを前記表示画面に配置することを特徴とする付記７に記載の画像処理方法。

（付記１０）前記判定する処理は、前記３次元モデル上の前記作業者の位置を含む所定領域を設定し、前記所定領域の境界と前記危険領域または前記作業領域とが重なるか否かを判定し、前記生成する処理は、判定結果を基にして、前記所定領域の境界と前記危険領域または前記作業領域とが重なる場合に、前記所定領域を前記危険領域または前記作業領域を包含するまで拡張し、拡張した所定領域を、前記表示画面に表示することを特徴とする付記８に記載の画像処理方法。

（付記１１）前記取得する処理は、前記作業者のＨＭＤ（Head Mounted Display）から前記カメラの撮影画面を取得することを特徴とする付記７に記載の画像処理方法。

（付記１２）前記生成する処理は、前記作業者の位置と前記作業領域との距離を基にして、前記カメラの視点位置を仮想的に回転させた他視点位置から前記作業領域を撮影した場合の仮想的な画像を生成し、前記表示画面に配置することを特徴とする付記７に記載の画像処理方法。

（付記１３）コンピュータに、
予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、前記カメラの撮像位置から前記作業空間に含まれる物体までの距離を示す距離情報とを取得し、
前記３次元モデルと前記距離情報とを基にして前記作業者の位置を判定し、前記３次元モデル内の異なる領域に存在する危険領域のうち、前記作業者の位置に近い危険領域を判定し、
判定結果を基にして、危険領域の情報と、前記撮影画像の情報とを含む表示画面を生成する
処理を実行させることを特徴とする画像処理プログラム。

（付記１４）前記判定する処理は、前記３次元モデル内に存在する複数の危険領域および複数の作業領域の情報を基にして、前記作業者の位置から前記危険領域までの方向および距離と、前記利用者の位置から前記作業領域までの方向および距離とを判定し、前記生成する処理は、判定結果を前記表示画面に表示することを特徴とする付記１３に記載の画像処理プログラム。

（付記１５）前記判定する処理は、前記３次元モデル上の前記作業者の横方向の位置を判定し、前記生成する処理は、前記撮影画像の横方向の配置領域と、前記横方向の位置とを重複させて、前記３次元モデルと前記撮影画像とを前記表示画面に配置することを特徴とする付記１３に記載の画像処理プログラム。

（付記１６）前記判定する処理は、前記３次元モデル上の前記作業者の位置を含む所定領域を設定し、前記所定領域の境界と前記危険領域または前記作業領域とが重なるか否かを判定し、前記生成する処理は、判定結果を基にして、前記所定領域の境界と前記危険領域または前記作業領域とが重なる場合に、前記所定領域を前記危険領域または前記作業領域を包含するまで拡張し、拡張した所定領域を、前記表示画面に表示することを特徴とする付記１４に記載の画像処理プログラム。

（付記１７）前記取得する処理は、前記作業者のＨＭＤ（Head Mounted Display）から前記カメラの撮影画面を取得することを特徴とする付記１３に記載の画像処理プログラム。

（付記１８）前記生成する処理は、前記作業者の位置と前記作業領域との距離を基にして、前記カメラの視点位置を仮想的に回転させた他視点位置から前記作業領域を撮影した場合の仮想的な画像を生成し、前記表示画面に配置することを特徴とする付記１３に記載の画像処理プログラム。

１００ 画像処理装置
１７０ａ 取得部
１７０ｂ 判定部
１７０ｃ 生成部
１７０ｄ 通知部
２００ 遠隔支援者端末

Claims (8)

1. 予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、前記カメラの撮像位置から前記作業空間に含まれる物体までの距離を示す距離情報とを取得する取得部と、
   前記３次元モデルと前記距離情報とを基にして前記作業者の位置を判定し、前記３次元モデル内の異なる領域に存在する危険領域のうち、前記作業者の位置に近い危険領域を判定する判定部と、
   前記判定部の判定結果を基にして、危険領域の情報と、前記撮影画像の情報とを含む表示画面を生成する画面生成部と
   を有することを特徴とする画像処理装置。
2. 前記判定部は、前記３次元モデル内に存在する複数の危険領域および複数の作業領域の情報を基にして、前記作業者の位置から前記危険領域までの方向および距離と、前記作業者の位置から前記作業領域までの方向および距離とを判定し、前記画面生成部は、判定結果を前記表示画面に表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定部は、前記３次元モデル上の前記作業者の横方向の位置を判定し、前記画面生成部は、前記撮影画像の横方向の配置領域と、前記横方向の位置とを重複させて、前記３次元モデルと前記撮影画像とを前記表示画面に配置することを特徴とする請求項１に記載の画像処理装置。
4. 前記判定部は、前記３次元モデル上の前記作業者の位置を含む所定領域を設定し、前記所定領域の境界と前記危険領域または前記作業領域とが重なるか否かを判定し、前記画面生成部は、判定結果を基にして、前記所定領域の境界と前記危険領域または前記作業領域とが重なる場合に、前記所定領域を前記危険領域または前記作業領域を包含するまで拡張し、拡張した所定領域を、前記表示画面に表示することを特徴とする請求項２に記載の画像処理装置。
5. 前記取得部は、前記作業者のＨＭＤ（Head Mounted Display）から前記カメラの撮影画面を取得することを特徴とする請求項１に記載の画像処理装置。
6. 前記画面生成部は、前記作業者の位置と前記作業領域との距離を基にして、前記カメラの視点位置を仮想的に回転させた他視点位置から前記作業領域を撮影した場合の仮想的な画像を生成し、前記表示画面に配置することを特徴とする請求項２に記載の画像処理装置。
7. コンピュータが実行する画像処理方法であって、
   予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、前記カメラの撮像位置から前記作業空間に含まれる物体までの距離を示す距離情報とを取得し、
   前記３次元モデルと前記距離情報とを基にして前記作業者の位置を判定し、前記３次元モデル内の異なる領域に存在する危険領域のうち、前記作業者の位置に近い危険領域を判定し、
   判定結果を基にして、危険領域の情報と、前記撮影画像の情報とを含む表示画面を生成する
   処理を実行することを特徴とする画像処理方法。
8. コンピュータに、
   予め指定された作業空間に含まれる物体の形状をモデリングした３次元モデルと、作業者側のカメラで撮影された撮影画像と、前記カメラの撮像位置から前記作業空間に含まれる物体までの距離を示す距離情報とを取得し、
   前記３次元モデルと前記距離情報とを基にして前記作業者の位置を判定し、前記３次元モデル内の異なる領域に存在する危険領域のうち、前記作業者の位置に近い危険領域を判定し、
   判定結果を基にして、危険領域の情報と、前記撮影画像の情報とを含む表示画面を生成する
   処理を実行させることを特徴とする画像処理プログラム。

Images