JPWO2018020568A1 - ケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラム - Google Patents

Abstract

ケーブル可動域表示装置（１０）は、現実空間に関する現実空間情報を取得する現実空間情報取得部（１１）と、現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部（１２）と、配線経路の始端、通過点、及び終端を示す配線経路情報（１９ｂ，１９ｃ）とケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報（１９ｄ，１９ａ）とを受け取り、配線経路情報（１９ｂ，１９ｃ）とケーブル情報（１９ｄ，１９ａ）とからケーブル可動域を計算するシミュレーション部（１３）と、シミュレーション部（１３）によって計算されたケーブル可動域とユーザ位置姿勢推定部（１２）によって求められた位置及び姿勢とから、現実空間におけるケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部（１４）と、仮想現実感のケーブル可動域画像を表示する画像表示部（１５）とを備える。

Description

本発明は、現実空間に重ねてケーブル可動域を表示するためのケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラムに関する。

カメラ（撮像装置）又はセンサ（例えば、深度センサ）などによって取得された現実空間情報（例えば、画像データ又は被写体までの距離情報）を元に推定されたユーザの位置及び姿勢に基づいて、付加情報画像としてのＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を生成し、生成されたＣＧがあたかも現実空間に存在するかのように、現実空間に重ねてＣＧを描画する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を用いる技術が提案されている。また、カメラによって取得された２次元画像データを元に、任意の３次元座標系におけるカメラの位置及び姿勢を求め、求められたカメラの位置及び姿勢に基づいて、計算機上で３次元座標系におけるＣＧを生成し、生成されたＣＧを現実空間に重ねて描画する技術も提案されている。これらの技術をユーザ（作業員）の作業における作業支援システムに適用した場合には、作業員は、現実空間にあたかもＣＧで表示された物が存在するかのような状況を見ることができるため、直観的に且つ容易に理解することができる作業指示を受けることができる。

例えば、特許文献１は、撮影されたプラントの画像情報内の該当する設備装置部分を強調する描画情報を重畳した画像情報を生成し、生成された画像情報を表示部に表示させる情報表示装置を提案している。

特開２０１３−１１７８１２号公報（要約、段落０００９、図２）

一般に、ケーブルの配線作業におけるケーブルの配線経路は、使用されるケーブルの特性と、配線経路及びその周辺状況（障害物の位置など）とに応じて決められるが、ある程度の許容範囲内でのずれが許容される。しかし、上記従来の装置は、ケーブルの理想的な配線経路を表示するが、ケーブルの配線経路の許容範囲（以下「ケーブル可動域」とも言う）を現実空間に重ねて表示することはできないという課題がある。

本発明は、上記課題を解決するためになされたものであり、ケーブルの配線作業におけるケーブル可動域を現実空間に重ねて表示することを可能にするケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラムを提供することを目的とする。

本発明の一態様に係るケーブル可動域表示装置は、現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を表示する装置であって、前記現実空間に関する現実空間情報を取得する現実空間情報取得部と、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部と、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを受け取り、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション部と、前記シミュレーション部によって計算された前記ケーブル可動域と前記ユーザ位置姿勢推定部によって求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部と、前記仮想現実感のケーブル可動域画像を表示する画像表示部とを備えたことを特徴とする。

本発明の他の態様に係るケーブル可動域表示方法は、現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるケーブル可動域表示方法であって、前記現実空間に関する現実空間情報を取得する現実空間情報取得ステップと、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定ステップと、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーションステップと、前記シミュレーションステップにおいて計算された前記ケーブル可動域と前記ユーザ位置姿勢推定ステップにおいて求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成ステップと、前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示ステップとを有することを特徴とする。

本発明の他の態様に係るケーブル可動域表示プログラムは、現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるコンピュータに、前記現実空間に関する現実空間情報を取得する現実空間情報取得処理と、前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定処理と、前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション処理と、前記シミュレーション処理において計算された前記ケーブル可動域と前記ユーザ位置姿勢推定処理において求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成処理と、前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示処理とを実行させるものである。

本発明によれば、配線されるケーブルのケーブル可動域を現実空間に重ねて表示することができる。

本発明の実施の形態１に係るケーブル可動域表示装置の構成及び機能を示す図である。 実施の形態１に係るケーブル可動域表示装置を示すハードウェア構成図である。 実施の形態１に係るケーブル可動域表示装置における情報表示処理の一例を示すフローチャートである。 実施の形態１に係るケーブル可動域表示装置におけるケーブル可動域のシミュレーション処理の一例を示すフローチャートである。 ケーブルの長さを考慮してケーブル可動域を求める方法を示す図である。 ケーブルの使用可能な許容曲げ半径を示す図である。 本発明の実施の形態２に係るケーブル可動域表示装置の構成及び機能を示す図である。 実施の形態２に係るケーブル可動域表示装置における手の位置検出処理の一例を示すフローチャートである。 実施の形態２に係るケーブル可動域表示装置におけるケーブル可動域のシミュレーション処理の一例を示すフローチャートである。 本発明の実施の形態３に係るケーブル可動域表示装置の構成及び機能を示す図である。 実施の形態３に係るケーブル可動域表示装置におけるケーブル可動域の限定処理の一例を示すフローチャートである。 本発明の実施の形態４に係るケーブル可動域表示装置の構成及び機能を示す図である。 実施の形態４に係るケーブル可動域表示装置により表示されるケーブル可動域の表示例を示す図である。

《１》実施の形態１．
《１−１》構成
図１は、本発明の実施の形態１に係るケーブル可動域表示装置１０の構成及び機能を示す図である。ケーブル可動域表示装置１０は、ユーザ（作業員）の前の現実空間に重ねてケーブル（紐状物体）の配線経路の許容範囲を示すケーブル可動域を表示することができる情報表示装置である。また、ケーブル可動域表示装置１０は、実施の形態１に係るケーブル可動域表示方法を実施することができる装置である。

図１に示されるように、ケーブル可動域表示装置１０は、現実空間情報取得部（カメラ、センサ）１１と、ユーザ位置姿勢推定部１２と、シミュレーション部１３と、画像生成部１４と、画像表示部（表示デバイス）１５とを備える。また、ケーブル可動域表示装置１０は、ケーブルの長さ（Ｌ）１９ａ及びケーブルの許容曲げ半径（Ｒ）１９ｄなどのケーブルに関する情報（ケーブル情報）と、ケーブルの配線予定位置（始端及び終端）１９ｂ及びケーブルの通過点１９ｃなどのケーブルの配線経路に関する情報（配線経路情報）とを記憶する記憶部１９を備えてもよい。

ケーブル可動域表示装置１０は、例えば、ユーザの身体に装着されるウエアラブル型コンピュータである。また、ケーブル可動域表示装置１０は、デスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はノートＰＣなどのようなＰＣであってもよい。これらの場合には、現実空間情報取得部１１として、例えば、ユーザの頭部に装着されるカメラを用いることができ、画像表示部１５として、例えば、ユーザの目の前に装備されるシースルー型ディスプレイ（ユーザの頭部に装着されるヘッドマウント型の構造を有するヘッドマウントディスプレイ）を用いることができる。シースルー型ディスプレイを用いる場合には、ユーザは、シースルー型ディスプレイを通して現実空間を見ながら、シースルー型ディスプレイに表示された付加情報画像を見る。ただし、画像生成部１４は、現実空間情報取得部１１で取得された画像情報で現実空間を画像表示部１５に表示すると共に、付加情報画像を画像表示部１５に重畳して表示することもできる。

また、ケーブル可動域表示装置１０は、例えば、タブレット端末又はスマートフォンなどのような携帯情報端末であってもよい。この場合には、現実空間情報取得部１１として携帯情報端末に内蔵されているカメラを用いることができ、画像表示部１５として携帯情報端末の表示パネルを用いることができる。ただし、これらの場合にも、現実空間情報取得部１１として、例えば、ユーザの頭部に装着されるカメラを用い、画像表示部１５として、例えば、ユーザの目の前に装備されたシースルー型ディスプレイを用いることができる。

現実空間情報取得部１１は、現実空間に関する現実空間情報を取得する。現実空間情報取得部１１は、例えば、現実空間を撮影することによって現実空間に対応する画像データを生成するカメラである。また、現実空間情報取得部１１は、カメラに代えて又はカメラに加えて、現実空間に対応する情報を取得するセンサ（例えば、被写体までの距離情報を取得する深度センサなど）を含んでもよい。

画像表示部１５は、仮想現実感（ＡＲ）画像としてケーブル可動域のＣＧを表示するディスプレイ又はプロジェクタなどのような情報表示部である。画像表示部１５は、例えば、透明又は半透明のスクリーンを有するシースルー型ディスプレイであってもよい。ユーザは、シースルー型ディスプレイを通して現実空間を見ながら、スクリーン上に付加情報画像として表示されたＡＲ画像（ケーブル可動域のＣＧ）を、現実空間に重ねて見ることができる。さらに、画像表示部１５がプロジェクタである場合には、プロジェクタは、スクリーンを通さずに、ＡＲ画像を現実空間に直接投影することもできる。例えば、画像表示部１５としてのプロジェクタは、現実に存在する床、壁、ケーブルトレイ、設備（機器）などの上にＡＲ画像としての投射画像（ケーブル可動域を示す画像）を表示（投影）してもよい。なお、現実空間情報取得部１１と画像表示部１５とは、一体型であっても良く、又は、接続ケーブルによって互いに接続される別個の装置であってもよい。

ユーザ位置姿勢推定部１２は、現実空間情報取得部１１によって取得された現実空間情報（例えば、画像データ又は被写体までの距離データなど）から任意の３次元座標系におけるユーザの位置及び姿勢を求める処理（ユーザ位置姿勢推定処理）を行う。

記憶部１９には、ケーブルの長さ（Ｌ）１９ａ及びケーブルの許容曲げ半径（Ｒ）１９ｄなどのケーブル情報と、ケーブルの配線予定位置（始端及び終端）１９ｂ及びケーブルの通過点１９ｃなどのケーブルの配線経路情報とが記憶されている。図１では、記憶部１９は、ケーブル可動域表示装置１０の一部であるが、ケーブル情報とケーブルの配線経路情報とは、ケーブル可動域表示装置１０の外部装置から提供されてもよく、この場合にはケーブル可動域表示装置１０は記憶部１９を備える必要がない。

シミュレーション部１３は、記憶部１９からケーブルの配線予定位置（始端及び終端）１９ｂと、始端と終端との間にあるケーブルの通過点１９ｃとを示す配線経路情報と、ケーブルの許容曲げ半径（Ｒ）１９ｄ及びケーブルの長さ（Ｌ）１９ａを示すケーブル情報とを受け取り、配線経路情報とケーブル情報とからケーブル可動域の３次元画像データを算出（シミュレーション）する。

画像生成部１４は、シミュレーション部１３によって算出されたケーブル可動域（３次元画像）とユーザ位置姿勢推定部１２によって求められたユーザの位置及び姿勢とから、現実空間におけるケーブル可動域を示すＡＲ画像としてのケーブル可動域画像（２次元画像）を生成する。言い換えれば、画像生成部１４は、シミュレーション部１３で算出されたケーブル可動域に基づいて、計算機上での３次元座標系において３次元ＣＧを生成し、現実空間情報取得部１１を基に現実空間に重ねて描画（表示）するＡＲ画像を生成する。このとき、生成するＡＲ画像は、画像表示部（ディスプレイの特徴）に合わせて生成される。

図２は、実施の形態１に係るケーブル可動域表示装置１０を示すハードウェア構成図である。ただし、ケーブル可動域表示装置１０のハードウェア構成は、図２に示す例に限定されず、種々の変更が可能である。なお、図２において、符号２０，３０，４０は、後述の実施の形態２から４において参照される。

ケーブル可動域表示装置１０は、例えば、コンピュータである。ケーブル可動域表示装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２と、メインメモリ５３と、ストレージ５４（すなわち、記憶部１９）と、バス５８とを備える。さらに、ケーブル可動域表示装置１０は、カメラ５５と、センサ５６と、表示デバイス５７（すなわち、画像表示部１５）とを備える。カメラ５５とセンサ５６とは、現実空間情報取得部１１の例示である。

バス５８は、ケーブル可動域表示装置１０のハードウェア構成部分がデータを交換するために用いられるデータ転送路である。ＣＰＵ５１は、ケーブル可動域表示装置１０が各種の処理（例えば、情報表示処理）を実行するための演算装置である。ＧＰＵ５２は、画面の生成又は描画に関する処理を実行する演算装置である。

メインメモリ５３は、データの消去及び書き換えが可能な記憶装置（例えば、半導体記憶装置など）である。メインメモリ５３は、揮発性メモリであるが、ストレージ５４よりも書き込み及び読み出し速度が高速である。このため、メインメモリ５３は、使用中のデータ又は直ぐに使用される予定のあるデータを保存するために使用される。例えば、図３及び図４に示される処理を行うプログラムが、プログラム実行時にメインメモリ５３に格納される。メインメモリ５３に格納されたプログラムは、ＣＰＵ５１によって実行される。

ストレージ５４は、データの消去及び書き換えが可能な記憶装置（例えば、ハードディスク装置、半導体記憶装置など）である。ストレージ５４は、記憶部１９のデータを記憶しておくために使用されることができる。ストレージ５４に記憶されている情報は、プログラム実行時に、メインメモリ５３において展開される。

カメラ５５は、現実空間の情報を取得するために必要な画像を撮影する装置である。センサ５６は、現実空間の情報を取得するために必要な値を取得する装置である。センサ５６は、例えば、位置を計測するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度を計測する加速度センサ、方位を計測する地磁気センサ、被写体までの距離を計測する深度センサである。

表示デバイス５７は、ケーブル可動域のＡＲ画像を表示する画像表示部１５である。表示デバイス５７は、例えば、タブレット端末又はスマートフォンのディスプレイである。また、表示デバイス５７は、ヘッドマウントディスプレイ、コンピュータのモニタ、プロジェクタ、ヘッドアップディスプレイであることができる。

《１−２》動作
図３は、実施の形態１に係るケーブル可動域表示装置１０の情報表示処理の一例を示すフローチャートである。ただし、ケーブル可動域表示装置１０の情報表示処理は、図３に示される処理に限定されず、変更が可能である。なお、図３に示される情報表示処理は、ケーブル可動域表示装置１０の現実空間情報取得部１１に使用するカメラ又はセンサが現実空間の情報を取得するごとに実行される。

ステップＳ１１０では、現実空間情報取得部１１は、現実空間情報を取得する。現実空間情報取得部１１がカメラである場合には、現実空間情報は撮影画像（画像データ）である。現実空間情報取得部１１が現実空間情報を検出するセンサである場合には、現実空間情報はセンサの検出値である。

次のステップＳ１２０では、ユーザ位置姿勢推定部１２は、ステップＳ１１０で取得された現実空間情報を基に、ユーザの位置及び姿勢を計算（推定）する。このときの、ユーザの位置及び姿勢は、ケーブル可動域表示装置１０が決めた任意の３次元座標系を基準として表される。

次のステップＳ１３０では、シミュレーション部１３は、記憶部１９からケーブルの長さ１９ａ、ケーブルの配線予定位置（始端と終端）１９ｂとケーブルの通過点１９ｃ、ケーブルの許容曲げ半径１９ｄを取得する。

次のステップＳ１４０では、シミュレーション部１３は、ステップＳ１３０で取得されたケーブル情報及び配線経路情報を基に、ケーブル可動域を算出（シミュレーション）する。シミュレーション方法の一例は、後述の図４に示される。

次のステップＳ１５０では、画像生成部１４は、ステップＳ１４０で得られたシミュレーション結果であるケーブル可動域から、３次元ＣＧを生成する。次のステップＳ１６０では、画像生成部１４は、ステップＳ１５０で生成した３次元ＣＧをユーザの位置及び姿勢を考慮して幾何学的に変換し、ケーブル可動域表示装置１０が決めた任意の３次元座標系に配置する。

次のステップＳ１７０では、画像生成部１４は、画像表示部１５（表示デバイス５７）の特徴に応じて、ステップＳ１６０で３次元座標系に配置された３次元ＣＧを、２次元画像に変換する。現実空間情報取得部１１がカメラである場合、この３次元ＣＧを２次元画像に変換する方法を説明する。タブレットなどのようにカメラで撮影した画像に３次元ＣＧを合成する場合は、カメラの内部パラメータ（カメラの焦点距離など）を用いて変換することができる。画像表示部１５がシースルー型ディスプレイ（シースルー型ヘッドマウントディスプレイ）である場合には、カメラの光軸と目の光軸とが異なるので、３次元ＣＧに並進及び回転処理を加えて両方の光軸を一致させてから、カメラと同様に目の内部パラメータ（焦点距離など）を用いて変換処理を行う。画像表示部１５がプロジェクタのように、現実空間上にＡＲ画像光として投影する装置である場合には、計算機上でカメラの内部パラメータを使用して変換した画像に対して、プロジェクタの内部パラメータを用いて逆投影する方法を用いて、変換処理を行う。

次のステップＳ１８０では、画像表示部１５で、ステップＳ１７０の変換処理で得られたＡＲ画像を表示する。

図４は、図３におけるケーブル情報からケーブル可動域をシミュレーションする処理（図３におけるステップＳ１４０）の一例を示すフローチャートである。ただし、ケーブル情報からケーブル可動域をシミュレーションする処理は、図４の例に限定されず、変更が可能である。

ステップＳ２１０では、シミュレーション部１３は、ケーブルを配線する予定の位置（始端と終端）１９ｂとケーブルの通過点１９ｃを３次元座標上に設定する。

次のステップＳ２２０では、シミュレーション部１３は、図５に示されるように、ステップＳ２１０で設定した始端を楕円の焦点Ａとし、始端の次の通過点を楕円の焦点Ｂと設定する。

次のステップＳ２３０では、シミュレーション部１３は、図５に示されるように、ステップＳ２２０で設定した焦点Ａ、焦点Ｂを持ち、長軸が使用可能なケーブルの長さ［＝（ケーブルの長さ１９ａ）−（（使用したケーブルの長さ）＋（残り経路の最短距離））］となる楕円αを生成する。ここで、楕円αを生成するのは、楕円の焦点Ａと焦点Ｂと楕円の周上の点Ｃは、
（線分ＡＣ）＋（線分ＢＣ）＝一定
という特徴を持つからである。

ステップＳ２４０では、シミュレーション部１３は、ステップＳ２３０で生成した楕円αの長軸を中心軸に回転させることで楕円体βを生成する。この楕円体βは、ケーブルの長さのみ考慮されたケーブル可動域となる。しかし、図６に示されるように、ケーブルは、鋭角に折り曲げることはできず、使用可能な最小曲げ半径としての許容曲げ半径Ｒを持つ。そこで、ステップＳ２５０では、シミュレーション部１３は、ステップＳ２４０で生成された楕円体β内で、ケーブルの曲げ半径が許容曲げ半径Ｒより大きい領域のみを抽出する。

次のステップＳ２６０では、シミュレーション部１３は、焦点Ａ、焦点Ｂを次の通過点に移動する。具体的には、シミュレーション部１３は、前回の処理における焦点Ｂを，前回の次の処理における焦点Ａとし、前回の通過点の次の通過点を前回の次の処理における焦点Ｂとする。

次のステップＳ２７０では、シミュレーション部１３は、焦点Ａが終端に到達したかどうかを判断し、もしも到達していれば（判断がＹＥＳ）、処理をステップＳ２８０に進め、もしも到達していなければ（判断がＮＯ）、処理をステップＳ２３０に戻す。

次のステップＳ２８０では、シミュレーション部１３は、抽出した領域をケーブル可動域とし、画像生成部１４にケーブル可動域情報を提供する。

画像生成部１４は、シミュレーション部１３によって算出されたケーブル可動域（３次元ＣＧ）とユーザ位置姿勢推定部１２によって求められたユーザの位置及び姿勢とから、現実空間におけるケーブル可動域を示すＡＲ画像としてのケーブル可動域画像（２次元画像）を生成し、画像表示部１５に表示させる。

《１−３》効果
以上に説明したように、実施の形態１に係るケーブル可動域表示装置１０又はケーブル可動域表示方法によれば、ケーブル可動域をシミュレーションし、シミュレーションされたケーブル可動域とユーザの位置及び姿勢とからＡＲ画像を生成し、現実空間に重ねて又は現実空間画像に重ねて、ケーブル可動域のＡＲ画像を表示する。このため、ケーブルの特徴に合わせたケーブル可動域を作業員にとって直観的でわかり易く表示することができる。

《２》実施の形態２．
上記実施の形態１に係るケーブル可動域表示装置１０では、シミュレーション部１３が、ケーブル情報（ケーブルの長さ１９ａ、ケーブルの許容曲げ半径１９ｄ）と配線経路情報（配線予定位置１９ｂを示す始端及び終端、通過点１９ｃ）とからケーブル可動域を計算し、画像生成部１４が、シミュレーション部１３によって計算されたケーブル可動域からＡＲ画像を生成し、画像表示部１５に始端から終端までのケーブル可動域の３次元ＣＧ画像を表示させている、又は、画像表示部１５としてのプロジェクタによってケーブル可動域のＡＲ画像を現実空間上に投影している。

これに対し、本発明の実施の形態２に係るケーブル可動域表示装置２０では、手位置検出部２１が配線作業の途中における作業員（ユーザ）の手の位置を検出し、画像生成部１４が、手の位置から終端までのケーブル可動域を画像表示部１５上に３次元ＣＧ画像として表示する処理、又は、画像表示部１５としてのプロジェクタが現実空間上に手の位置から終端までのケーブル可動域をＡＲ画像として表示する処理を実行する。

図７は、実施の形態２に係るケーブル可動域表示装置２０の構成及び機能を示す図である。図７において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係るケーブル可動域表示装置２０は、現実空間情報取得部１１で取得した現実空間の情報を基に作業員の手の位置を検出する手位置検出部２１を備える点及びシミュレーション部２３の処理内容の点において、実施の形態１に係るケーブル可動域表示装置１０と異なる。これらの点を除いて、実施の形態２に係るケーブル可動域表示装置２０及びケーブル可動域表示方法は、実施の形態１に係るケーブル可動域表示装置１０及びケーブル可動域表示方法と同じである。

図８は、実施の形態２に係るケーブル可動域表示装置２０における手位置検出部２１の処理の一例を示すフローチャートである。ただし、手の位置検出処理は、図８に示される方法に限定されず、異なる処理であってもよい。図８に示される手の位置検出処理は、現実空間情報取得部１１がカメラを含む場合には、カメラが画像を撮影する毎に（例えば、一定時間間隔で）行われる。また、図８に示される手の位置検出処理は、現実空間情報取得部１１が深度センサを含む場合には、被写体までの距離情報が更新される毎に（例えば、一定時間間隔で）行われる。なお、図８では、現実空間情報取得部１１がカメラ及び深度センサを含む場合を説明する。

図８のステップＳ３１０では、手位置検出部２１は、現実空間情報取得部１１によって取得されたカメラ画像から手の色（手の特徴に基づいて予め決められた色）に近い色の画素を検出する。また、手位置検出部２１は、手の色に近い色の画素を検出する代わりに、熱画像から手の体温に近い画素を検出してもよい。また、手位置検出部２１は、手の色に近い色の画素と手の体温に近い画素との両方を手の位置の検出に用いてもよい。次のステップＳ３２０では、手位置検出部２１は、ステップＳ３１０で検出した画像をラベリングする。次のステップＳ３３０では、手位置検出部２１は、ステップＳ３２０でラベリングされた領域の内、ケーブル（紐状物体）が通過しているものを手と認識する。次のステップＳ３４０では、手位置検出部２１は、ステップＳ３３０で認識された手の位置を、現実空間情報取得部１１の深度センサが取得した距離情報から算出（推定）する。

図９は、実施の形態２に係るケーブル可動域表示装置２０におけるケーブル可動域のシミュレーション処理の一例を示すフローチャートである。図９において、図４（実施の形態１）に示される処理ステップと同一又は対応する処理ステップには、図４に示されるステップ記号と同じステップ記号が付される。図９に示されるシミュレーション処理は、ステップＳ２２１とＳ２２２を有する点において、図４（実施の形態１）に示されるシミュレーション処理と異なる。

ステップＳ２２１では、手位置検出部２１は、図８に示される手の位置検出処理によって手の位置を検出する。手の位置の検出に成功した場合は（ステップＳ２２１においてＹＥＳ）、シミュレーション部２３は、ステップＳ２２２で楕円の焦点Ａを手の位置に変更して、ステップＳ２３０の処理を行う。手の位置の検出に失敗した場合は（ステップＳ２２１においてＮＯ）、シミュレーション部２３は、ステップＳ２３０の処理を行う。上記以外の点において、図９のシミュレーション処理は、図４（実施の形態１）のシミュレーション処理と同じである。

以上に説明したように、実施の形態２に係るケーブル可動域表示装置２０又はケーブル可動域表示方法によれば、ケーブル可動域をシミュレーションし、シミュレーションされたケーブル可動域とユーザの位置及び姿勢とからＡＲ画像を生成し、現実空間に重ねてケーブル可動域のＡＲ画像を表示する。このため、実施の形態２においては、ケーブルの特徴に合わせたケーブル可動域を、作業員にとって直観的でわかり易く表示することができる。また、作業員が作業中であっても、実時間でケーブル可動域を表示することができるため、状況により適切に対応した表示が可能となり、作業員にとって直観的でわかり易く表示することができる。

《３》実施の形態３．
上記実施の形態２では、作業員がケーブル配線の作業中であっても、ケーブル可動域を実時間で更新するケーブル可動域表示装置２０及びケーブル可動域表示方法を説明した。しかし、ケーブルの配線経路の許容範囲を示すケーブル可動域内にケーブルの配線（設置）の障害になる障害物が存在することがあり得る。また、ケーブル可動域を更新（変更）しながら作業を進める場合には、更新後のケーブル可動域内に、当初は予定されていなかった障害物が存在することもあり得る。そこで、本発明の実施の形態３に係るケーブル可動域表示装置３０及びケーブル可動域表示方法では、シミュレーション部３３がケーブル可動域における３次元形状の箇所を障害物が存在する障害物領域として認識し、シミュレーション部３３が障害物領域をケーブル可動域から除外する処理を行う。

図１０は、実施の形態３に係るケーブル可動域表示装置３０の構成及び機能を示す図である。図１０において、図７（実施の形態２）に示される構成要素と同一又は対応する構成要素には、図７に示される符号と同じ符号が付される。実施の形態３に係るケーブル可動域表示装置３０は、シミュレーション部３３が現実空間情報取得部１１から現実空間情報を取得し、ケーブル可動域における３次元形状の箇所を障害物が存在する障害物領域として検出する点及びケーブル可動域から障害物領域を除いて新たなケーブル可動域を生成する点において、実施の形態２に係るケーブル可動域表示装置２０と異なる。これらの点を除いて、実施の形態３に係るケーブル可動域表示装置３０及びケーブル可動域表示方法は、実施の形態２に係るケーブル可動域表示装置２０及びケーブル可動域表示方法と同じである。

図１１は、実施の形態３に係るケーブル可動域表示装置３０におけるケーブル可動域の限定処理の一例を示すフローチャートである。実施の形態３におけるケーブル可動域を限定する処理は、図４又は図９におけるステップＳ２７０とＳ２８０との間で行われる処理である。ステップＳ４１０では、シミュレーション部３３は、現実空間情報取得部１１で取得した距離画像から、ケーブル可動域の周辺の３次元形状を取得する。次のステップＳ４２０では、シミュレーション部３３は、ステップＳ２５０で抽出した領域から、当該抽出した領域とステップＳ４１０で取得した３次元形状の領域との共通部分を除去して、限定後のケーブル可動域を生成する。ただし、手の位置検出処理は、図１１と異なる処理であってもよい。

以上に説明したように、実施の形態３に係るケーブル可動域表示装置３０及びケーブル可動域表示方法は、現実空間情報取得部１１からシミュレーション部１３にデータを提供することを特徴とする。この特徴によって、配線経路内に障害物が存在する場合、ケーブル可動域を限定することができるため、より状況に応じた表示が可能となり、作業員にとって直観的でわかり易く表示することができる。

《４》実施の形態４．
上記実施の形態１から３に係るケーブル可動域表示装置１０，２０，３０における画像生成部１４は、ケーブル可動域の３次元ＣＧから変換された２次元画像を画像表示部１５（表示デバイス５７）に表示させている、又は、画像表示部１５としてのプロジェクタによってケーブル可動域のＡＲ画像を現実空間上に投影している。しかし、表示デバイスの特徴（例えば、種類、画素数、解像度、画面サイズなど）によっては、３次元ＣＧを投影変換して生成された２次元画像が、奥行情報などを十分にわかり易く表示することができない場合がある。そこで、実施の形態４に係るケーブル可動域表示装置４０の画像生成部４４は、ケーブル可動域の３次元ＣＧの厚み情報に応じて、２次元画像に色情報（互いに異なる複数の色による表示、又は、複数段階の濃度の違いによる表示）を付加する機能を備えている。

図１２は、実施の形態４に係るケーブル可動域表示装置４０の構成及び機能を示す図である。図１２において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１３に示されるように、画像生成部４４が、ケーブル可動域の３次元ＣＧの厚み情報に応じて、２次元画像に色情報（互いに異なる複数の色による表示、又は、複数段階の濃度の違いによる表示）を付加する機能を備えている点において、実施の形態４に係るケーブル可動域表示装置４０は、実施の形態１に係るケーブル可動域表示装置１０と異なる。この点を除いて、実施の形態４に係るケーブル可動域表示装置４０及び可動域表示方法は、実施の形態１に係るケーブル可動域表示装置１０及び可動域表示方法と同じである。

図１３は、実施の形態４に係るケーブル可動域表示装置４０の画像生成部４４により画像表示部１５に表示されるケーブル可動域の表示例を示す図である。例えば、画像生成部４４は、３次元ＣＧにおいて最も厚みがある箇所を赤色で表示し、３次元ＣＧにおける厚みが薄くなるに伴って赤色から青色に徐々に変化させる表示方法を採用（複数色を用いて厚みを強調表示する方法）することができる。また、画像生成部４４は、３次元ＣＧにおいて最も厚みがある箇所を濃い色で表示し、３次元ＣＧにおける厚みが薄くなるに伴って濃い色を薄色に徐々に変化させる表示方法（グラデーションを用いて厚みを強調表示する方法）を採用することができる。また、画像表示部１５がプロジェクタである場合には、画像生成部４４は、現実空間上に投影されるＡＲ画像において最も厚みがある箇所を濃い色で表示し、厚みが薄くなるに伴って濃い色を薄色に徐々に変化させる表示方法（グラデーションを用いて厚みを強調表示する方法）を採用することができる。

以上に説明したように、実施の形態４に係るケーブル可動域表示装置４０及び可動域表示方法によれば、ケーブル可動域の３次元ＣＧを２次元画像に変換して画像表示部１５（表示デバイス５７）に表示する際に、異なる複数の色によって又は色の濃淡によって、ケーブル可動域の厚み情報を付加している。このような表示を採用することによって、作業員は、３次元ＣＧから変換された２次元画像だけでなく、厚みに関する色情報又は濃淡情報を知ることができる。このため、実施の形態４に係るケーブル可動域表示装置４０及び可動域表示方法によれば、作業員に直観的にわかり易いケーブル可動域の表示を提供することができる。

なお、実施の形態４における画像生成部４４の処理を、実施の形態２又は３に適用することも可能である。

１０，２０，３０，４０ ケーブル可動域表示装置（情報表示装置）、 １１ 現実空間情報取得部（カメラ、センサ）、 １２ ユーザ位置姿勢推定部、 １３，２３，３３ シミュレーション部、 １４，４４ 画像生成部、 １５ 画像表示部、 １９ 記憶部、 １９ａ ケーブルの長さ、 １９ｂ ケーブルの配線予定位置（始端及び終端）、 １９ｃ ケーブルの通過点、 １９ｄ ケーブルの許容曲げ半径、 ２１ 手位置検出部、 ５１ ＣＰＵ、 ５２ ＧＰＵ、 ５３ メインメモリ、 ５４ ストレージ、 ５５ カメラ、 ５６ センサ、 ５７ 表示デバイス、 ５８ バス。

Claims (13)

1. 現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を表示するケーブル可動域表示装置であって、
   前記現実空間に関する現実空間情報を取得する現実空間情報取得部と、
   前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定部と、
   前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを受け取り、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション部と、
   前記シミュレーション部によって計算された前記ケーブル可動域と前記ユーザ位置姿勢推定部によって求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成部と、
   前記仮想現実感のケーブル可動域画像を表示する画像表示部と
   を備えたことを特徴とするケーブル可動域表示装置。
2. 前記現実空間情報から前記ユーザの手の位置を検出する手位置検出部をさらに備え、
   前記シミュレーション部は、前記手の位置が、前記配線経路情報に含まれる前記通過点であるとみなして、前記ケーブル可動域を計算する
   ことを特徴とする請求項１に記載のケーブル可動域表示装置。
3. 前記シミュレーション部は、前記現実空間情報から前記ケーブル可動域内に存在する３次元形状の箇所を障害物が存在する障害物領域として検出し、
   前記ケーブル可動域から前記障害物領域を除いた領域を、新たなケーブル可動域として出力する
   ことを特徴とする請求項１又は２に記載のケーブル可動域表示装置。
4. 前記画像生成部は、前記仮想現実感のケーブル可動域画像に、前記ケーブル可動域の３次元形状に応じた付加情報を付加することを特徴とする請求項１から３のいずれか１項に記載のケーブル可動域表示装置。
5. 前記付加情報は、色の違い及び濃度の違いの少なくとも一方を含むことを特徴とする請求項４に記載のケーブル可動域表示装置。
6. 前記画像表示部は、光を透過させ、前記仮想現実感のケーブル可動域画像を表示するシースルー型ディスプレイを有することを特徴とする請求項１から５のいずれか１項に記載のケーブル可動域表示装置。
7. 前記画像表示部は、前記仮想現実感のケーブル可動域画像を現実空間上に投影するプロジェクタを有することを特徴とする請求項１から５のいずれか１項に記載のケーブル可動域表示装置。
8. 前記画像生成部は、前記現実空間情報取得部で取得された画像情報に基づいて前記現実空間を前記画像表示部に表示すると共に、前記仮想現実感のケーブル可動域を画像表示部に表示することを特徴とする請求項１から５のいずれか１項に記載のケーブル可動域表示装置。
9. 前記配線経路情報と前記ケーブル情報とを記憶する記憶部をさらに備え、
   前記シミュレーション部は、前記記憶部に記憶されている前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算する
   ことを特徴とする請求項１から８のいずれか１項に記載のケーブル可動域表示装置。
10. 前記現実空間情報取得部は、前記現実空間情報としての画像データを取得するカメラ及び前記現実空間情報としての検出値を取得するセンサの内の少なくとも一方を含むことを特徴とする請求項１から９のいずれか１項に記載のケーブル可動域表示装置。
11. 前記現実空間情報取得部と前記画像表示部とは、前記ユーザの頭部に装着されるヘッドマウント型の構造を有することを特徴とする請求項１から１０のいずれか１項に記載のケーブル可動域表示装置。
12. 現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるケーブル可動域表示方法であって、
    前記現実空間に関する現実空間情報を取得する現実空間情報取得ステップと、
    前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定ステップと、
    前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーションステップと、
    前記シミュレーションステップにおいて計算された前記ケーブル可動域と前記ユーザ位置姿勢推定ステップにおいて求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成ステップと、
    前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示ステップと
    を有することを特徴とするケーブル可動域表示方法。
13. 現実空間に重ねてケーブルの配線経路の許容範囲を示すケーブル可動域を画像表示部に表示させるコンピュータに、
    前記現実空間に関する現実空間情報を取得する現実空間情報取得処理と、
    前記現実空間情報からユーザの位置及び姿勢を求めるユーザ位置姿勢推定処理と、
    前記配線経路の始端、通過点、及び終端を示す配線経路情報と前記ケーブルの許容曲げ半径及び前記ケーブルの長さを示すケーブル情報とを取得し、前記配線経路情報と前記ケーブル情報とから前記ケーブル可動域を計算するシミュレーション処理と、
    前記シミュレーション処理において計算された前記ケーブル可動域と前記ユーザ位置姿勢推定処理において求められた前記位置及び姿勢とから、前記現実空間における前記ケーブル可動域を示す仮想現実感のケーブル可動域画像を生成する画像生成処理と、
    前記仮想現実感のケーブル可動域画像を画像表示部に表示させる表示処理と
    を実行させるためのケーブル可動域表示プログラム。

Images