JPWO2020217591A1 - 治具の配置を示す映像処理システム - Google Patents

Abstract

映像表示システム（１００）は、構造体（１１０）に対する部材の取付作業に用いる映像表示システムであって、構造体（１１０）に対して部材の位置決めを行う治具の配置情報を格納している格納部（１０５）と、実空間に配置された構造体（１１０）の配置を検出する構造体配置検出部（１５２）と、格納部（１０５）に格納されている治具（１２０）の配置情報と構造体配置検出部（１５２）の検出結果とに基づいて、実空間に配置された構造体（１１０）に対して治具の配置を示す表示処理、を行う制御部（１０７）と、を備える。

Description

本開示は、ユーザの作業を支援する映像を表示する映像表示システムに関する。

実空間に配置された実物体に対して仮想情報をコンピュータグラフィック等によって表示する、複合現実感（Mixed Reality；以下、「ＭＲ」という）に関する技術が知られている（例えば、特許文献１参照）。特許文献１は、実物体である建築模型を撮像した実映像と仮想映像を合成して表示する技術について記載している。

特開２００６−１８４４４号公報

ＭＲ技術の利用方法として、ＨＭＤ（Head Mount Display）等（以下、「ＭＲデバイス」という）を介して、ユーザの作業を支援する仮想映像を実物体に対応させてユーザに提供することが考えられる。例えば、鋼材の溶接作業では、図面の読み解き、鋼材への罫書き、罫書きの確認といった作業が必要である。複雑な図面では熟練技師でも理解に時間を要し、溶接部分が多ければ単純ミスによる手戻りが発生する。このため、従来の鋼材の溶接作業には、熟練の技術を要していた。そこで、ＭＲデバイスを利用して、取付部材を示す仮想物体を実物の鋼材に重畳表示することが考えられる。

しかしながら、取付部材を示す仮想物体を鋼材などの構造体に重畳表示させただけでは、取付作業の困難性が改善されない場合があった。例えば、寸法又は重量が比較的大きい取付部材を構造体に対して傾斜させた状態で、取付部材と構造体との間において溶接などの取付作業を行う場合がある。このような場合には、仮想物体の表示に合わせて取付部材を配置した状態を保ちながら上記取付作業を行うことは困難であった。

本開示は、上記の問題に鑑みてなされたものであり、構造体に対する部材の取付作業を容易に行うことができる映像表示システムを提供することを目的とする。

上記の目的を達成するために、本開示に係る映像表示システムは、構造体に対する部材の取付作業に用いる映像表示システムであって、構造体に対して部材の位置決めを行う治具の配置情報を格納している格納部と、実空間に配置された構造体の配置を検出する構造体配置検出部と、格納部に格納されている治具の配置情報と構造体配置検出部の検出結果とに基づいて、実空間に配置された構造体に対して治具の配置を示す表示処理、を行う制御部と、を備える。

本開示に係る映像表示システムでは、構造体に対して部材の位置決めを行う治具の配置情報が格納されており、実空間に配置された構造体に対して上記治具の配置を示す表示処理が行われる。ユーザは、治具の配置を示す表示処理にしたがって容易に、当該治具を配置することができる。この結果、当該治具によって構造体に対して上記部材を位置決めし、構造体に対する部材の取付作業を容易に行うことができる。

本開示によれば、構造体に対する部材の取付作業を容易に行うことができる映像表示システムを提供することができる。

一の実施形態に係る映像表示システムの機能を説明するための図である。 構造体と映像表示システムによる表示とを説明するための図である。 取付部材の一例を説明するための図である。 映像表示システムと治具とを用いて取付部材を取り付けた状態を示す図である。 取付作業における治具の配置を示す図である。 本実施形態の変形例に係る取付作業における治具の配置を示す図である。 映像表示システムによる治具の位置ズレ検出を説明するための図である。 本実施形態の変形例に係る映像表示システムによる治具の位置ズレ検出を説明するための図である。 映像表示システムによる表示選択を説明するための図である。 映像表示システムによる表示選択を説明するための図である。 映像表示システムによって行われる処理の一例を示すフローチャートである。 制御部によって行われる表示処理の一例を示すフローチャートである。 一の実施形態に係る映像表示システムのハードウェア構成を示す図である。

以下、図面と共に本開示に係る映像表示システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

［映像表示システムの概要］
まず、本実施形態に係る映像表示システムについて説明する。図１は、映像表示システムのブロック図を示す。映像表示システム１００は、実空間（ワールド座標系）に対応付けられたＣＧ（コンピュータグラフィックス）による仮想物体を表示する。映像表示システム１００は、例えば、ユーザに装着されるＨＭＤを含む情報処理端末などによって実現される。映像表示システム１００は、タブレット端末及びプロジェクションマッピングなどであってもよい。以下では、映像表示システム１００がＭＲ技術に用いられるＨＭＤであることを例に説明する。映像表示システム１００は、ハーフミラーを用いて実空間の実物体と仮想物体とをユーザに視認させる光学シースルー方式を採用している。映像表示システム１００は、実空間の映像に仮想物体を融合してユーザに視認させるビデオシースルー方式を採用してもよい。本実施形態では、映像表示システム１００は、ビデオシースルー方式である。

映像表示システム１００は、ユーザの目線と同様の撮像方向等で撮像を行う。映像表示システム１００は、撮像を行った画像に仮想物体を重畳して表示する。ユーザは、この表示を見ることで、実空間に配置された実体物の配置に応じた、現実にはない仮想物体を見ることができる。「配置」は、所定の３次元座標軸上の座標及び３次元座標軸の各軸周りの回転（３次元座標上の向き）によって規定される６自由度の状態を意味する。

映像表示システム１００は、３次元座標である仮想空間（スクリーン座標系）を用いて仮想物体を表示する。映像表示システム１００は、仮想空間上の予め設定された位置に仮想物体を配置しておき、仮想空間と実空間との対応関係を算出する。仮想物体の仮想空間上の配置を「表示配置」という。以下の説明では、仮想空間において仮想物体の位置を示す座標軸を「仮想座標軸α」という。映像表示システム１００は、実空間での撮像位置及び撮像方向に対応する仮想空間上での位置及び方向から見た画像を仮想物体の表示とする。即ち、仮想的なユーザの視線から、仮想空間上の仮想物体を見た画像を表示する。上記の仮想物体の表示は、従来のＭＲ技術を用いて実施することができる。映像表示システム１００は、ユーザの移動を検出して、ユーザの移動に応じた視線の変化にあわせるように当該移動に応じて表示処理を変化させる。

映像表示システム１００は、実空間に配置された構造体１１０に対する部材（以下、「取付部材」という）の取付作業に用いられる。図２は、映像表示システム１００がユーザに視認させる表示を示している。図３は、映像表示システム１００を用いて取付部材を取り付けた状態を示している。映像表示システム１００は、実空間に配置された実物体である構造体１１０の配置に対応してディスプレイに治具１２０の配置を示す仮想物体を表示する。換言すれば、映像表示システム１００は、実空間に配置された構造体１１０に対して治具１２０の配置を示す表示処理を行う。本実施形態では、構造体１１０は、長尺状のＨ鋼材である。

治具１２０は、構造体１１０に対して取付部材を位置決めする部材である。ユーザは、例えば、治具１２０によって取付部材を構造体１１０に対して位置決めした状態で、取付部材と構造体との間における溶接などの取付作業を行う。本実施形態では、上述した仮想物体には、実空間の構造体１１０を示す情報、構造体１１０に取り付ける予定の取付部材を示す情報、及び、基準位置から治具１２０を配置する位置までの距離を示す情報が含まれている。基準位置は、構造体１１０の端部１１０ａである。

本実施形態では、映像表示システム１００は、図２に示されるように、構造体１１０に取り付ける予定の取付部材を示す仮想取付部材２０１，２０２，２０３，２０４、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７を表示する。映像表示システム１００は、ユーザに対して、治具１２０の配置を示す仮想物体が実空間に配置された構造体１１０に重なって視認されるように表示し、構造体１１０に対して治具１２０を取り付けるべき位置を示す。図２に示されている仮想取付部材２０１は、取付部材１３１に対応している。仮想取付部材２０１が表示される配置は、取付部材１３１を取り付ける予定の配置である。図２に示されている仮想取付部材２０３は、取付部材１３２に対応している。仮想取付部材２０３が表示される配置は、取付部材１３２を取り付ける予定の配置である。

本実施形態では、映像表示システム１００は、基準位置から治具１２０を配置する位置までの距離として、構造体１１０の延在方向における端部１１０ａから取付部材までの最短距離と、構造体１１０の延在方向における端部１１０ａから取付部材までの最長距離とを表示する。図２及び図３に示されているように、映像表示システム１００によって、構造体１１０の延在方向における端部１１０ａから取付部材までの最短距離は２６０ｍｍであることが分かり、構造体１１０の延在方向における端部１１０ａから取付部材までの最長距離は３１０ｍｍであることが分かる。

映像表示システム１００は、実空間において、構造体１１０に対して配置された基準マーカ１２５によって基準位置を検出する。基準マーカ１２５は、作業を行う前に構造体１１０と予め決められた配置関係で配置される。本実施形態では、基準マーカ１２５は、構造体１１０の面板１１２上において、構造体１１０の端部１１０ａに沿って設けられている。基準マーカ１２５は、映像表示システム１００が画像認識によって実空間における基準マーカ１２５の３次元配置を識別可能な特徴点を有する。例えば、基準マーカ１２５は、このような特徴点を有する図形等（例えば、２次元コード）を含んでいてもよい。基準マーカ１２５は、映像表示システム１００が実空間における基準マーカ１２５の３次元配置を識別可能であれば、この形態に限定されない。例えば、基準マーカ１２５の上記特徴点は、基準マーカ１２５の色又は明滅によって示されてもよい。磁気信号又は音波信号などを用いる３次元位置の識別手法によって、基準マーカ１２５の３次元位置が識別されてもよい。

図４は、取付部材が構造体１１０に取り付けられた状態の一例をしている。図４では、取付部材が構造体１１０に対して傾斜して取り付けられた状態の三面図が示されている。図２から図４に示されているように、構造体１１０は、長尺方向に延在する３つの面板１１１，１１２，１１３が一体に接続されている構成を有している。面板１１１，１１２，１１３は、いずれも矩形状を呈している。

面板１１１は、互いに対向する主面１１１ａ，１１１ｂを有する。面板１１２は、互いに対向する主面１１２ａ，１１２ｂを有する。面板１１３は、互いに対向する主面１１３ａ，１１３ｂを有する。各面板１１１，１１２，１１３の主面１１１ａ，１１１ｂ，１１２ａ，１１２ｂ，１１３ａ，１１３ｂは、長尺方向に延在すると共に取付部材が接する。面板１１１は、面板１１２，１１３に対して垂直となるように接続されている。面板１１１の一対の長辺に、それぞれ、面板１１２の主面１１２ａの中央部分と面板１１３の主面１１３ａの中央部分とが接続されている。

図４は、取付部材１３１が取り付けられた構造体１１０について、面板１１２の主面１１２ｂに直交する方向から見た外観、面板１１１の主面１１１ａに直交する方向から見た外観、構造体１１０の延在方向から見た外観の関係性を示している。図４に示されているように、取付部材１３１は、平面視で台形状であり、４つの角部１３１ａ，１３１ｂ，１３１ｃ，１３１ｄを有している。図４は、同一の角部を一点鎖線で接続して示している。

図４に示されているように、取付部材１３１は、面板１１１の主面１１１ａに対して傾斜しつつ、面板１１２の主面１１２ａ及び面板１１３の主面１１３ａに対しても傾斜している。角部１３１ｂと角部１３１ｃとを接続する辺は、構造体１１０の主面１１１ａに接している。角部１３１ａと角部１３１ｂとを接続する辺は、構造体１１０の主面１１２ａに接している。角部１３１ｃと角部１３１ｄとを接続する辺は、構造体１１０の主面１１３ａに接している。この場合、構造体１１０の延在方向において、角部１３１ａの位置は、構造体１１０の端部１１０ａから最短距離の位置である。構造体１１０の延在方向において、角部１３１ｃの位置は構造体１１０の端部１１０ａから最長距離の位置である。

図５は、構造体１１０と治具１２０と映像表示システム１００の表示との配置関係を示す部分拡大図である。図５の（ａ）は、面板１１２の主面に直交する方向から見た外観を示している。図５の（ｂ）は、面板１１１の主面１１１ａに直交する方向から見た外観を示している。仮想取付部材２０１は、取付部材１３１と同一の形状を有しており、４つの角部１３１ａ，１３１ｂ，１３１ｃ，１３１ｄを有する。

図３及び図５に示されているように、治具１２０は、第一治具１２１と第二治具１２２とを含む。第一治具１２１は、平面１２１ａを有する。第二治具１２２は、平面１２２ａを有する。本実施形態では、第一治具１２１の平面１２１ａ及び第二治具１２２の平面１２２ａは、主面１１１ａ及び主面１１３ａに垂直に配置される。第一治具１２１及び第二治具１２２は、それぞれ、直方体形状を有している。第一治具１２１及び第二治具１２２は、それぞれ、少なくとも構造体１１０の主面１１１ａ及び主面１１３ａに接するように配置される。

映像表示システム１００の表示に基づいて、第一治具１２１の平面１２１ａは、構造体１１０の延在方向における端部１１０ａから取付部材１３１までの最短距離の位置に配置される。映像表示システム１００の表示に基づいて、第二治具１２２の平面１２２ａは、構造体１１０の延在方向における端部１１０ａから取付部材までの最長距離の位置に配置される。

映像表示システム１００は、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７の表示に加えて、仮想取付部材２０１も表示する。第一治具１２１は、仮想取付部材２０１のうち、構造体１１０の延在方向において端部１１０ａから最短距離に位置する部分に接するように配置される。第二治具１２２は、仮想取付部材２０１のうち、構造体１１０の延在方向において端部１１０ａから最長距離に位置する部分に接するように配置される。本実施形態では、第一治具１２１は平面１２１ａが仮想取付部材２０１の角部１３１ａに接するように配置され、第二治具１２２は平面１２２ａが仮想取付部材２０１の角部１３１ｄに接するように配置される。この際、第一治具１２１の平面１２１ａと第二治具１２２の平面１２２ａとは、互いに対向する。これによって、治具１２０は、構造体１１０の延在方向における取付部材１３１の位置と、構造体１１０の主面１１１ａに対する取付部材１３１の傾斜角度と、主面１１１ａに直交する軸に対する取付部材１３１の回転角度とを制限するように配置される。例えば、取付部材１３１が、構造体１１０の主面１１１ａと第一治具１２１の平面１２１ａと第二治具１２２の平面１２２ａとに当接するように配置することで、所望の配置で取付部材１３１が位置決めされる。

図６は、本実施形態の変形例に係る取付作業における治具の配置を示す図である。本変形例では、面板１１１の主面１１１ａと交差する方向における長さが、取付部材１３１よりも長い取付部材１３５を構造体１１０に取り付ける。取付部材１３５もまた、４つの角部１３１ａ，１３１ｂ，１３１ｃ，１３１ｄを有する。主面１１１ａに交差する方向において、取付部材１３５の長さは治具１２０の長さよりも大きい。この場合、平面１２２ａは角部１３１ｄに接するが、平面１２１ａは角部１３１ａに接し得ない。この場合、第一治具１２１は、平面１２１ａが角部１３１ａと角部１３１ｂとを接続する辺に接するように配置される。映像表示システム１００は、角部１３１ａと角部１３１ｂとを接続する辺のうち、第一治具１２１の平面１２１ａが接する部分を示す。換言すれば、映像表示システム１００は、第一治具１２１の平面１２１ａの配置を示す情報の表示として、端部１１０ａから、第一治具１２１と第二治具１２２とに挟まれる領域内の取付部材１３５までの構造体１１０の延在方向における最短距離の位置を表示する。映像表示システム１００は、第二治具１２２の平面１２２ａの配置を示す情報の表示として、端部１１０ａから、第一治具１２１と第二治具１２２とに挟まれる領域内の取付部材までの構造体１１０の延在方向における最長距離の位置を表示する。

［映像表示システムの構成］
映像表示システム１００は、図１に示されているように、撮像部１０１、慣性計測部１０２、表示部１０３、環境情報検出部１０４、格納部１０５、操作検出部１０６、及び制御部１０７を備える。撮像部１０１、慣性計測部１０２、表示部１０３、環境情報検出部１０４、格納部１０５、操作検出部１０６、及び制御部１０７は、一つの筐体に収容されていてもよいし、複数の筐体に分けて収容されていてもよい。複数の筐体に収容されている場合には、有線で接続されてもよいし、無線で接続されてもよい。

映像表示システム１００のうち、撮像部１０１及び表示部１０３の少なくとも一つは、携帯可能である。映像表示システム１００は、撮像部１０１を備えていなくてもよい。撮像部１０１を携帯せずに表示部１０３を携帯する場合には、表示部１０３と慣性計測部１０２とが一つの筐体に収容されている。例えば、映像表示システム１００は、ＨＭＤを用いる場合だけでなく、撮像部１０１が動作しないタブレットなどをユーザが携帯する場合、及び、ユーザが手元の表示部１０３で確認しながら遠隔で撮像部１０１を有する端末の動きを操作する場合にも利用可能である。本実施形態では、撮像部１０１、慣性計測部１０２、及び表示部１０３が一つの筐体に収容され、当該筐体がユーザの頭に固定されるＨＭＤが用いられる場合を主として説明する。

撮像部１０１は、実空間を撮像し、撮像した画像を逐次、環境情報検出部１０４へ送信する。本実施形態では、撮像部１０１はユーザの頭に固定され、ユーザの頭の動きに合わせて撮像部１０１の位置及び姿勢が変動する。撮像部１０１の位置は、撮像部１０１の座標位置である。撮像部１０１の姿勢は、３次元座標の各軸周りの回転（３次元座標上の向き）である。撮像部１０１は、深度カメラ、及びＲＧＢカメラ等の複数のカメラから構成されている。撮像部１０１は、ユーザの視線方向を撮像するフロントカメラだけでなく、ユーザの側方などを撮像する環境カメラも含む。

慣性計測部１０２は、撮像部１０１又は表示部１０３に働く外力を計測し、計測結果を逐次、環境情報検出部１０４へ送信する。本実施形態では、慣性計測部１０２は、ユーザの頭に固定された、加速度センサ、ジャイロセンサ、及び方位センサ等によって構成されている。

表示部１０３は、表示を行うディスプレイを含んでいる。表示部１０３は、撮像部１０１又は表示部１０３の位置及び姿勢に応じて、仮想物体含む仮想映像を表示する。本実施形態では、表示部１０３はユーザが仮想物体を適切に視認できる状態でユーザの頭に固定される。表示部１０３は、ユーザの頭の動きに合わせて表示部１０３の位置及び姿勢が変動する。表示部１０３の位置は、表示部１０３の座標位置である。表示部１０３の姿勢は、３次元座標の各軸周りの回転（３次元座標上の向き）である。本実施形態では、表示部１０３は、後述する制御部１０７からの指示に応じて、実空間の構造体１１０を示す表示、構造体１１０に取り付ける予定の取付部材を示す表示、及び、基準位置から治具１２０を配置する位置までの距離を示す情報の表示を行う。

環境情報検出部１０４は、撮像部１０１で撮像された画像及び慣性計測部１０２の計測結果の少なくとも一方に基づいて、種々の情報を検出する。映像表示システム１００は、慣性計測部１０２を備えていなくてもよい。この場合、映像表示システム１００は、撮像部１０１で撮像される画像に基づいて、環境情報検出部１０４で種々の処理を行う。映像表示システム１００が撮像部１０１を備えていない場合、映像表示システム１００は、慣性計測部１０２に基づいて、環境情報検出部１０４で種々の処理を行う。環境情報検出部１０４は、基準位置検出部１５１と、構造体配置検出部１５２と、ユーザ位置検出部１５３と、視線方向検出部１５４と、ディスプレイ配置検出部１５５と、治具配置検出部１５６とを有する。

基準位置検出部１５１は、仮想座標軸αの原点Ｎを配置する基準位置を検出する。本実施形態では、基準位置検出部１５１は、撮像部１０１で撮像された画像から、実空間における基準マーカ１２５の３次元配置を識別可能な特徴点を検出する。基準位置検出部１５１は、検出された上記特徴点から実空間における基準位置を検出する。例えば、構造体１１０の端部１１０ａに沿って基準マーカ１２５が配置された状態において、基準位置検出部１５１は、基準マーカ１２５の特徴点から面板１１２における端部１１０ａの中央を基準位置として検出する。基準位置検出部１５１による基準位置の検出結果は、例えば、撮像部１０１又はディスプレイからの基準位置の相対位置である。

基準位置検出部１５１は、基準マーカ１２５でなく、撮像部１０１によって撮像された画像における構造体１１０のエッジの配置、又は、撮像部１０１によって撮像された画像における構造体１１０の周辺環境などから基準位置を検出してもよい。基準位置検出部１５１は、実空間における基準位置を示す信号を、無線又は有線で別途取得してもよい。基準位置検出部１５１による基準位置の検出結果は、撮像部１０１で撮像された画像上の位置であってもよい。

構造体配置検出部１５２は、実空間に配置された構造体１１０の配置を検出する。本実施形態では、構造体配置検出部１５２は、基準位置検出部１５１によって検出された基準位置と、構造体１１０の向きを特定する他の特徴点とに基づいて、構造体１１０の配置を検出する。構造体１１０の向きを特定する他の特徴点は、基準マーカ１２５の向き、基準マーカ１２５とは別に構造体１１０に設けられたマーカの配置、構造体１１０のエッジの配置、又は構造体１１０の周辺環境でもよい。例えば、構造体配置検出部１５２は、撮像部１０１で撮像された画像から、実空間における構造体１１０のエッジの配置を検出する。

構造体配置検出部１５２による構造体１１０の配置の検出結果は、例えば、撮像部１０１又はディスプレイに対する構造体１１０の相対配置である。構造体配置検出部１５２は、実空間における構造体１１０の配置を示す信号を、無線又は有線で別途取得してもよい。構造体配置検出部１５２による構造体１１０の配置の検出結果は、撮像部１０１で撮像された画像上の配置であってもよい。

ユーザ位置検出部１５３は、取付作業を行うユーザの位置を検出する。本実施形態では、ユーザ位置検出部１５３は、基準位置に対する撮像部１０１の相対位置をユーザの位置として検出する。例えば、ユーザ位置検出部１５３は、撮像部１０１で撮像された画像から、周辺環境の特徴点を検出する。ユーザ位置検出部１５３は、検出された上記特徴点から実空間における撮像部１０１の位置を検出する。ユーザ位置検出部１５３は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、撮像部１０１の位置を検出してもよい。

ユーザ位置検出部１５３は、基準位置に対する表示部１０３のディスプレイの相対位置をユーザの位置として検出してもよい。ユーザ位置検出部１５３は、基準位置に対する撮像部１０１の相対位置をディスプレイの位置として検出してもよい。ユーザ位置検出部１５３は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、ディスプレイの位置を検出してもよい。ユーザ位置検出部１５３は、撮像部１０１で撮像された画像を用いずに、ディスプレイの位置を検出してもよい。ユーザ位置検出部１５３は、実空間における撮像部１０１又はディスプレイの位置を示す信号を、例えば外部の撮像部などから別途取得してもよい。

ユーザ位置検出部１５３は、基準位置に対するユーザの位置でなくとも、構造体１１０の任意の位置に対するユーザの位置を検出してもよい。ユーザ位置検出部１５３は、治具１２０に対するユーザの位置を検出してもよい。

視線方向検出部１５４は、取付作業を行うユーザの視線方向を検出する。なお、「視線方向」とは、フロントカメラが向いている方向であってもよいし、撮像された画像の中心であってもよいし、ディスプレイが向いている方向であってもよいし、ユーザの眼球の向きから計算した方向であってもよい。本実施形態では、視線方向検出部１５４は、基準位置に対する撮像部１０１の姿勢を視線方向として検出する。例えば、視線方向検出部１５４は、撮像部１０１で撮像された画像から、周辺環境の特徴点を検出する。視線方向検出部１５４は、検出された上記特徴点から実空間における撮像部１０１の姿勢を検出する。視線方向検出部１５４は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、撮像部１０１の姿勢を検出してもよい。

視線方向検出部１５４は、基準位置に対する表示部１０３のディスプレイの姿勢を視線方向として検出してもよい。視線方向検出部１５４は、基準位置に対する撮像部１０１の姿勢をディスプレイの姿勢として検出してもよい。視線方向検出部１５４は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、ディスプレイの姿勢を検出してもよい。視線方向検出部１５４は、撮像部１０１で撮像された画像を用いずに、ディスプレイの姿勢を検出してもよい。視線方向検出部１５４は、実空間における撮像部１０１又はディスプレイの姿勢を示す信号を、例えば外部に撮像部などから別途取得してもよい。

ディスプレイ配置検出部１５５は、ディスプレイの配置を検出する。本実施形態では、ディスプレイ配置検出部１５５は、ユーザ位置検出部１５３の検出結果と視線方向検出部１５４の検出結果とから、基準位置に対するディスプレイの配置を検出する。

治具配置検出部１５６は、実空間に配置された治具１２０の配置を検出する。本実施形態では、治具配置検出部１５６は、撮像部１０１で撮像された画像から、第一治具１２１及び第二治具１２２のそれぞれが有する特徴点を検出する。図７に示されているように、第一治具１２１及び第二治具１２２のそれぞれが有する特徴点は、例えば、第一治具１２１及び第二治具１２２のそれぞれに設けられたマーカ１４０であってもよい。本実施形態では、マーカ１４０にＱＲコード（登録商標）が付されている。治具配置検出部１５６は、例えば、撮像部１０１で撮像された画像からマーカ１４０のＱＲコードを認識して、第一治具１２１及び第二治具１２２の配置を演算する。マーカ１４０は、ＱＲコードでなく、他の特徴的な図柄を有していてもよい。治具配置検出部１５６は、第一治具１２１及び第二治具１２２から色、明滅又は電磁気情報などを検出して、第一治具１２１及び第二治具のそれぞれの配置を検出してもよい。

図８に示されているように、治具配置検出部１５６は、構造体１１０の両端部に配置されたレーザー距離計測装置１７１，１７２から取得した情報に基づいて、第一治具１２１及び第二治具のそれぞれの配置を検出してもよい。例えば、レーザー距離計測装置１７１は、構造体１１０の一端部からの第一治具１２１の端部までの距離を治具配置検出部１５６に送信する。治具配置検出部１５６は、構造体１１０の一端部からの第一治具１２１の端部までの距離から第一治具１２１の配置を検出する。レーザー距離計測装置１７２は、構造体１１０の他端部からの第二治具１２２の端部までの距離を治具配置検出部１５６に送信する。治具配置検出部１５６は、構造体１１０の他端部からの第二治具１２２の端部までの距離から第二治具１２２の配置を検出する。治具配置検出部１５６は、予め取得された構造体１１０の全長と第一治具１２１及び第二治具１２２の厚さとを用いて、第一治具１２１及び第二治具のそれぞれの配置を検出してもよい。映像表示システム１００は、レーザー距離計測装置１７１，１７２を含んでいてもよい。

格納部１０５は、仮想物体の表示に必要な各種情報（ＣＧデータ）を予め格納している。格納部１０５は、構造体１１０に対する治具１２０の配置情報を格納している。本実施形態では、治具１２０の配置情報は、平面１２１ａと平面１２２ａとが取付部材に接する第一治具１２１及び第二治具１２２の配置情報を含む。第一治具１２１及び第二治具１２２の配置情報は、構造体１１０の延在方向における取付部材の位置と、構造体１１０の主面１１１ａに対する取付部材の傾斜角度と、主面１１１ａに直交する軸に対する取付部材の回転角度とを制限する治具の配置情報を含む。

例えば、格納部１０５は、仮想空間における仮想座標軸αに予め対応付けられた仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７を予め格納している。格納部１０５は、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、治具１２０を配置する位置の仮想座標軸α上の座標を格納している。仮想座標軸αを実空間に対応付けることで、実空間での撮像部１０１の位置及び姿勢に対応する仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び治具１２０を配置する位置が決定される。

格納部１０５、予め定められた、実空間に配置された基準マーカ１２５と、仮想座標軸αとの配置関係も予め格納している。本実施形態では、基準マーカ１２５の実空間上の基準点Ｍの位置と、仮想座標軸αの原点Ｎを配置する基準位置とが対応付けられている。すなわち、実空間における基準マーカ１２５の配置と、仮想座標軸αの原点Ｎとが対応付けられている。

操作検出部１０６は、ユーザの操作を検出する。例えば、映像表示システム１００のタッチパネルディスプレイにおいて、ユーザがタッチした位置を検出する。操作検出部１０６は、検出された情報を制御部１０７へ逐次送信する。例えば、操作検出部１０６は、ユーザの操作に応じて、選択された仮想取付部材２０１，２０２，２０３，２０４を示す信号を制御部１０７に送信する。操作検出部１０６によって検出されるユーザの操作は、ハンドジャスチャー、瞬き、又はボタン入力であってもよい。

制御部１０７は、環境情報検出部１０４の検出結果、操作検出部１０６の検出結果、及び、格納部１０５に格納されている情報に基づいて、種々の制御を行う。制御部１０７は、基準配置設定部１５７、表示制御部１５８と、部材判断部１５９とを有している。

基準配置設定部１５７は、仮想物体の表示配置を規定する仮想座標軸αと、ユーザ位置検出部１５３及び視線方向検出部１５４で検出された撮像部１０１又はディスプレイの位置及び姿勢との関係を設定する。本実施形態では、基準配置設定部１５７は、構造体配置検出部１５２で検出された構造体１１０の配置にしたがって、実空間に仮想座標軸αを対応付ける。換言すれば、基準配置設定部１５７は、構造体配置検出部１５２で検出された検出結果に基づいて、仮想座標軸αの原点Ｎを基準位置に配置すると共に、実空間における仮想座標軸αの方向を設定する。

表示制御部１５８は、格納部１０５に格納されている治具１２０の配置情報と構造体配置検出部１５２の検出結果とに基づいて、実空間に配置された構造体１１０に対して治具１２０の配置を示す表示処理を行う。例えば、表示制御部１５８は、複数の部材の配置を示す情報の表示を表示部１０３に指示し、図２に示されているように、実空間に配置された構造体１１０に対して仮想取付部材２０１，２０２，２０３，２０４を表示部１０３に表示させる。本実施形態では、表示制御部１５８は、格納部１０５から治具１２０の配置情報を取得する。表示制御部１５８は、取得された治具１２０の配置情報に応じて、基準配置設定部１５７において実空間に対応付けられた仮想座標軸αに対して、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７の配置を対応付ける。この結果、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７の配置が、基準位置に対応付けられる。本実施形態では、表示制御部１５８は、ユーザの位置及び視線方向に応じて、基準位置に対応付けられた、仮想取付部材２０１，２０２，２０３，２０４、及び、治具１２０を配置する位置までの距離を示す情報２０６，２０７を表示部１０３に表示させる。

表示制御部１５８は、ディスプレイ配置検出部１５５で検出されたディスプレイの配置に応じて、治具１２０の配置を示す情報の表示配置を変更してもよい。例えば、ユーザがディスプレイの配置を変更した場合には、表示制御部１５８は、当該変更に応じて、ディスプレイ上における、構造体１１０の表示は位置、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、治具１２０を配置する位置までの距離を示す情報２０６，２０７の表示配置を変更させてもよい。

表示制御部１５８は、治具配置検出部１５６で検出された治具１２０の配置と格納部１０５に格納されている治具１２０の配置情報とに基づいて、治具１２０の位置ズレを示す情報を表示させる。例えば、表示制御部１５８は、治具配置検出部１５６で検出された治具１２０の配置が格納部１０５に格納されている治具１２０の配置情報から許容誤差以上ズレている場合に、当該ズレの発生を示す表示処理を表示部１０３に行う。例えば、表示制御部１５８は、上記ズレが発生していると判断した場合に、図７に示されているように、ズレが発生していることを示す情報１６０を表示部１０３に表示させる。表示制御部１５８は、上記ズレが発生していると判断した場合に、仮想取付部材の色を変えてもよい。

部材判断部１５９は、格納部１０５に格納されている複数の仮想取付部材に対応する複数の取付部材から、ユーザが取付作業を行う取付部材を判断する。例えば、部材判断部１５９は、例えば、操作検出部１０６の検出結果、構造体１１０に対するユーザの位置、及び、ユーザの視線方向のうち少なくとも一つに基づいて、上記複数の取付部材の少なくとも一つの取付部材を、ユーザが取付作業を行う取付部材として判断する。表示制御部１５８は、部材判断部１５９で判断された取付部材に対応する治具１２０の配置を示す情報を、ユーザが治具１２０の配置に用いる情報として判断し、それ以外の取付部材に対応する治具１２０の配置を示す情報について表示処理を行う。例えば、表示制御部１５８は、部材判断部１５９によって仮想取付部材２０１も対応する取付部材１３１がユーザが取付作業を行う取付部材として判断された場合、残りの取付部材に対応する治具１２０の配置を示す情報の非表示を表示部１０３に指示する。残りの治具１２０に対する表示処理は、非表示に限定されず、半透明表示、点滅表示、輪郭線表示、色の変更、及び表示濃度の変更など表示に変化を与えることを含む。残りの治具１２０に対して、当該治具１２０の距離を示す情報のみに対して表示に変化が与えてもよい。

表示制御部１５８は、部材判断部１５９で判断された取付部材に対応する治具１２０の配置を示す情報に対して、表示に変化を与えてもよい。図９では、仮想取付部材２０２，２０３，２０４に関する情報が非表示にされている状態を示している。表示制御部１５８は、非表示の状態から、部材判断部１５９で判断された取付部材に対応する治具１２０の配置を示す情報を表示部１０３に表示させてもよい。

例えば、部材判断部１５９は、操作検出部１０６の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの操作に対応する取付部材を判断する。表示制御部１５８は、判断された取付部材に対応する治具１２０の配置を示す情報の表示処理を行う。例えば、ユーザが仮想取付部材２０１をタッチした場合、部材判断部１５９は、ユーザが操作した仮想取付部材２０１に対応する取付部材１３１を、ユーザが取付作業を行う取付部材と判断する。表示制御部１５８は、構造体１１０に対して仮想取付部材２０１，２０２，２０３，２０４を表示した状態から、図９に示されているように、ユーザが操作した仮想取付部材２０１の表示とそれに対応する距離の表示とを残し、仮想取付部材２０２，２０３，２０４を非表示にさせてもよい。部材判断部１５９は、操作検出部１０６において、仮想取付部材でなく、治具１２０の距離を示す情報２０６，２０７が操作された場合に、操作された情報２０６，２０７に対応する取付部材を、ユーザが取付作業を行う取付部材として判断してもよい。

例えば、部材判断部１５９は、視線方向検出部１５４の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、視線方向検出部１５４の検出結果に対応する取付部材を判断する。表示制御部１５８は、判断された取付部材に関する治具１２０の配置を示す情報の表示処理を行う。例えば、表示制御部１５８は、図９に示されているように、視線方向検出部１５４で検出された視線方向に対応する仮想取付部材２０１の表示及びそれに対応する情報２０６，２０７の表示を残し、仮想取付部材２０２，２０３，２０４を非表示にさせてもよい。視線方向に対応する仮想取付部材は、視線方向の半直線上に位置する最も手前の仮想取付部材であってもよい。表示制御部１５８は、視線方向の延長線上に位置する仮想取付部材の色を変更して表示し、操作検出部１０６によるユーザの操作の検出結果に応じて治具１２０の配置に用いる表示を確定させてもよい。

例えば、部材判断部１５９は、ユーザ位置検出部１５３の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザ位置検出部１５３の検出結果に対応する取付部材を判断する。表示制御部１５８は、判断された取付部材に関する治具１２０の配置を示す情報の表示処理を行う。例えば、部材判断部１５９は、ユーザ位置検出部１５３の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、ユーザが構造体１１０に対して上下左右のどこにいるかを判断する。例えば、図１０に示されているように、構造体１１０の延在方向に直交する面が４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４に区分される。部材判断部１５９は、ユーザ位置検出部１５３で検出されたユーザの位置が領域Ｒ１である場合には、領域Ｒ１に対応する仮想取付部材２０２を判断結果として出力する。表示制御部１５８は、仮想取付部材２０２及びそれに対応する距離を示す情報の表示を残し、残りの情報を非表示にしてもよい。部材判断部１５９は、ユーザの位置が異なる領域の間付近に位置する場合には、双方の領域に対応する仮想取付部材を判断結果として出力する。

部材判断部１５９は、ユーザ位置検出部１５３の検出結果からユーザと構造体１１０との距離を演算し、当該距離に応じて取付部材を判断してもよい。例えば、部材判断部１５９は、ユーザから２ｍ以内にある仮想取付部材を判断結果として出力してもよい。この場合、表示制御部１５８は、例えば、ユーザから２ｍ以内に位置する仮想取付部材を青色で表示させ、ユーザから２ｍ以上離れている仮想取付部材を非表示にさせる又は半透明で表示させてもよい。表示制御部１５８は、ユーザから２ｍ以内に位置している仮想取付部材であっても、構造体１１０を挟んでユーザとは反対側に位置する仮想取付部材は非表示にさせてもよい。例えば、図９において、仮想取付部材２０２がユーザから２ｍ以内に位置していても、仮想取付部材２０２は構造体１１０を挟んでユーザとは反対側に位置しているため、表示制御部１５８は仮想取付部材２０２を非表示にさせる。部材判断部１５９は、ユーザ位置検出部１５３の検出結果からユーザと治具１２０との配置関係を取得し、当該配置関係に応じて取付部材を判断してもよい。

［映像表示システムにおける処理］
次に、図１１を参照して、映像表示システム１００において行われる処理の一例について説明する。図１１は、映像表示システム１００において行われる処理の一例を示すフローチャートである。

ステップＳ１０１において、基準位置検出部１５１が仮想座標軸αの原点Ｎを配置する基準位置を検出する。続いて、ステップＳ１０２へ処理が進められる。

ステップＳ１０２において、構造体配置検出部１５２が実空間に配置された構造体１１０の配置を検出する。続いて、ステップＳ１０３へ処理が進められる。

ステップＳ１０３において、ディスプレイ配置検出部１５５が表示部１０３のディスプレイの配置を検出する。続いて、ステップＳ１０４へ処理が進められる。

ステップＳ１０４において、治具配置検出部１５６が実空間に配置された治具１２０の配置を検出する。続いて、ステップＳ１０５へ処理が進められる。

ステップＳ１０５において、制御部１０７が、ステップＳ１０２からステップＳ１０４で検出された情報に基づいて、表示処理を行う。表示部１０３は、制御部１０７からの指示に応じて、各種の情報を表示する。

次に、図１２を参照して、制御部１０７による表示処理について説明する。図１２は、制御部１０７によって行われる表示処理を示すフローチャートである。

ステップＳ１１１において、制御部１０７は、部材の選択情報があるか否かを判断する。部材の選択情報とは、例えば、操作検出部１０６の検出結果、構造体１１０に対するユーザの位置、及び、ユーザの視線方向のうち少なくとも一つに基づいて、部材判断部１５９が判断した判断結果である。部材の選択情報がないと判断された場合（ステップＳ１１１でＮＯ）、制御部１０７はステップＳ１１２に処理を進める。部材の選択情報があると判断された場合（ステップＳ１１１でＹＥＳ）、制御部１０７はステップＳ１１３に処理を進める。

ステップＳ１１２において、制御部１０７は、表示制御部１５８によって、格納部１０５に格納されている全ての仮想取付部材を表示部１０３に表示させ、ステップＳ１１７に処理を進める。

ステップＳ１１３において、制御部１０７は、治具配置検出部１５６において治具配置が検出されたか否かを判断する。治具配置が検出されていないと判断された場合（ステップＳ１１３でＮＯ）、制御部１０７はステップＳ１１４に処理を進める。治具配置が検出されたと判断された場合（ステップＳ１１３でＹＥＳ）、制御部１０７はステップＳ１１５に処理を進める。

ステップＳ１１４において、制御部１０７は、表示制御部１５８によって、部材判断部１５９で判断された取付部材に対応する仮想取付部材を表示部１０３に表示させ、ステップＳ１１７に処理を進める。

ステップＳ１１５において、制御部１０７は、治具配置検出部１５６の検出結果に基づいて、治具配置が適切か否かを判断する。治具配置が適切と判断された場合（ステップＳ１１５でＹＥＳ）、制御部１０７はステップＳ１１４に処理を進める。治具配置が適切でないと判断された場合（ステップＳ１１５でＮＯ）、制御部１０７はステップＳ１１６に処理を進める。

ステップＳ１１６において、制御部１０７は、表示制御部１５８によって、部材判断部１５９で判断された取付部材に対応する仮想取付部材、及び、エラーを表示部１０３に表示させ、制御部１０７はステップＳ１１７に処理を進める。この場合、表示制御部１５８は、例えば、ズレが発生していることを示す情報１６０を表示部１０３に表示させる。

ステップＳ１１７において、制御部１０７は、表示処理を終了するか否かを判断する。表示処理を終了しないと判断された場合（ステップＳ１１７でＮＯ）、制御部１０７はステップＳ１１１に処理を進める。表示処理を終了すると判断された場合（ステップＳ１１７でＹＥＳ）、制御部１０７は表示処理を終了する。

［映像表示システムの作用及び効果］
次に、本実施形態に係る映像表示システム１００の主な作用及び効果について説明する。

映像表示システム１００では、構造体１１０に対して取付部材の位置決めを行う治具１２０の配置情報が格納されており、実空間に配置された構造体１１０に対して上記治具１２０の配置を示す表示処理が行われる。ユーザは、治具１２０の配置を示す表示処理にしたがって容易に、当該治具１２０を配置することができる。この結果、当該治具１２０によって構造体１１０に対して上記取付部材を位置決めし、構造体１１０に対する取付部材の取付作業を容易に行うことができる。

例えば、取付部材１３１は、面板１１１の主面１１１ａに対して傾斜しつつ、面板１１２の主面１１２ａ及び面板１１３の主面１１３ａに対しても傾斜した状態で、構造体１１０に取り付けられる。このような状態における取付作業は、非常に困難である。治具１２０は、平面１２１ａを有する第一治具１２１と、平面１２１ａに対向する平面１２２ａを有する第二治具１２２とを含む。治具１２０の配置情報は、平面１２１ａと平面１２２ａとが取付部材に当接する、治具１２０の配置情報を含む。このため、映像表示システム１００によれば、上記治具１２０を容易に適切に配置できると共に構造体１１０に対する取付部材１３１の位置決めも容易である。

構造体１１０は、所定方向に延在すると共に取付部材が接する主面１１１ａを有する。治具１２０の配置情報は、所定方向における取付部材の位置と、主面１１１ａに対する取付部材の傾斜角度と、主面１１１ａに直交する軸に対する部材の回転角度とを制限する治具１２０の配置情報を含む。このため、映像表示システム１００によれば、上記治具１２０を容易に適切に配置できると共に構造体１１０に対する取付部材１３１の位置決めも容易である。

映像表示システム１００は、表示処理による表示を行うディスプレイの配置を検出するディスプレイ配置検出部１５５を備える。制御部１０７は、ディスプレイ配置検出部１５５で検出されたディスプレイの配置に応じて、当該ディスプレイ上における構造体の表示及び治具１２０の配置を示す情報の表示配置を変更させる。このため、ユーザは、ディスプレイを動かすことで、任意の位置について構造体に対する治具１２０の配置を確認できる。

映像表示システム１００は、実空間に配置された治具１２０の配置を検出する治具配置検出部１５６を備える。制御部１０７は、治具配置検出部１５６で検出された治具１２０の配置と格納部１０５に格納されている治具１２０の配置情報とに基づいて、治具１２０の位置ズレを示す情報１６０を表示させる。このため、ユーザは、治具１２０の配置が適切か否かを容易に確認できる。

映像表示システム１００は、ユーザの操作を検出する操作検出部１０６を備える。制御部１０７は、操作検出部１０６の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの操作に対応する取付部材に関する治具の配置を示す情報の表示処理を行う。このため、ユーザは、表示する治具の配置を示す情報を選択することができる。

格納部１０５は、構造体１１０に対する複数の取付部材の配置情報を格納している。制御部１０７は、格納部１０５に格納された複数の部材の配置情報に基づいて、複数の取付部材の配置を示す情報の表示を指示する。制御部１０７は、複数の取付部材のうち、操作検出部１０６の検出結果に対応する取付部材を判断し、判断された取付部材に関する治具１２０の配置を示す表示処理を行う。このため、ユーザは、表示されている取付部材を操作することで、治具の配置を示す情報を選択することができる。

映像表示システム１００は、ユーザの位置を検出するユーザ位置検出部１５３を備える。制御部１０７は、ユーザ位置検出部１５３の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの位置に対応する取付部材に関する治具の配置を示す情報の表示処理を行う。このため、ユーザの位置に応じて、適切な治具の配置を示す情報が表示され得る。

映像表示システム１００は、ユーザの視線方向を検出する視線方向検出部１５４を備える。制御部１０７は、視線方向検出部１５４の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの視線方向に対応する取付部材に関する治具の配置を示す情報の表示処理を行う。このため、ユーザの視線方向に応じて、適切な治具の配置を示す情報が表示され得る。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）又は送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における映像表示システムは、本実施形態における処理を行うコンピュータとして機能してもよい。図１３は、本開示の一実施の形態に係る映像表示システム１００のハードウェア構成の一例を示す図である。上述の映像表示システム１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、映像表示システム１００は、上記以外にも、撮像部１０１、慣性計測部１０２に用いられるセンサ、及びディスプレイ等のハードウェアも備える。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。映像表示システム１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

映像表示システム１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、環境情報検出部１０４及び制御部１０７などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、表示部１０３、環境情報検出部１０４、操作検出部１０６、及び制御部１０７は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。 また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、映像表示システム１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated
Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（4th
generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ−Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１００…映像表示システム、１０５…格納部、１０６…操作検出部、１０７…制御部、１１０…構造体、１１１ａ…主面、１２０…治具、１２１…第一治具、１２１ａ，１２２ａ…平面、１２２…第二治具、１３１，１３２…取付部材、１５２…構造体配置検出部、１５３…ユーザ位置検出部、１５４…視線方向検出部、１５５…ディスプレイ配置検出部、１５６…治具配置検出部、２０１，２０２，２０３，２０４…仮想取付部材。

Claims (9)

1. 構造体に対する部材の取付作業に用いる映像表示システムであって、
   前記構造体に対して前記部材の位置決めを行う治具の配置情報を格納している格納部と、
   実空間に配置された前記構造体の配置を検出する構造体配置検出部と、
   前記格納部に格納されている前記治具の配置情報と前記構造体配置検出部の検出結果とに基づいて、前記実空間に配置された前記構造体に対して前記治具の配置を示す表示処理、を行う制御部と、を備える、映像表示システム。
2. 前記表示処理による表示を行うディスプレイの配置を検出するディスプレイ配置検出部を更に備え、
   前記制御部は、前記ディスプレイ配置検出部で検出された前記ディスプレイの配置に応じて、当該ディスプレイ上における前記構造体の表示配置及び前記治具の配置を示す情報の表示配置を変更させる、請求項１に記載の映像表示システム。
3. 前記実空間に配置された前記治具の配置を検出する治具配置検出部を更に備え、
   前記制御部は、前記治具配置検出部で検出された前記治具の配置と前記格納部に格納されている前記治具の配置情報とに基づいて、前記治具の位置ズレを示す情報を表示させる、請求項１又は２に記載の映像表示システム。
4. ユーザの操作を検出する操作検出部を更に備え、
   前記制御部は、前記操作検出部の検出結果と前記格納部に格納されている前記治具の配置情報とに基づいて、複数の前記部材のうち、前記ユーザの操作に対応する部材に関する前記治具の配置を示す情報の表示処理を行う、請求項１又は２に記載の映像表示システム。
5. 前記格納部は、前記構造体に対する複数の前記部材の配置情報を格納しており、
   前記制御部は、
   前記格納部に格納された複数の前記部材の配置情報に基づいて、複数の前記部材の配置を示す情報の表示を指示し、
   複数の前記部材のうち、前記操作検出部の検出結果に対応する部材を判断し、
   判断された前記部材に関する前記治具の配置を示す表示処理を行う、請求項４に記載の映像表示システム。
6. ユーザの位置を検出するユーザ位置検出部を更に備え、
   前記制御部は、前記ユーザ位置検出部の検出結果と前記格納部に格納されている前記治具の配置情報とに基づいて、複数の前記部材のうち、前記ユーザの位置に対応する部材に関する前記治具の配置を示す情報の表示処理を行う、請求項１〜５のいずれか一項に記載の映像表示システム。
7. ユーザの視線方向を検出する視線方向検出部を更に備え、
   前記制御部は、前記視線方向検出部の検出結果と前記格納部に格納されている前記治具の配置情報とに基づいて、複数の前記部材のうち、前記ユーザの視線方向に対応する部材に関する前記治具の配置を示す情報の表示処理を行う、請求項１〜６のいずれか一項に記載の映像表示システム。
8. 前記治具は、第一面を有する第一治具と、前記第一面に対向する第二面を有する第二治具とを含み、
   前記治具の配置情報は、前記第一面と前記第二面とが前記部材に当接する、前記第一及び第二治具の配置情報を含む、請求項１〜７のいずれか一項に記載の映像表示システム。
9. 前記構造体は、所定方向に延在すると共に前記部材が接する面を有し、
   前記治具の配置情報は、前記所定方向における前記部材の位置と、前記面に対する前記部材の傾斜角度と、前記面に直交する軸に対する前記部材の回転角度とを制限する前記治具の配置情報を含む、請求項１〜８のいずれか一項に記載の映像表示システム。

Images