JP6287293B2

JP6287293B2 - 表示システム、表示装置、および表示方法

Info

Publication number: JP6287293B2
Application number: JP2014022586A
Authority: JP
Inventors: 杢屋　銑一; 銑一杢屋
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2014-02-07
Filing date: 2014-02-07
Publication date: 2018-03-07
Anticipated expiration: 2034-02-07
Also published as: JP2015149011A

Description

本発明は、対象物に行う加工作業の案内画像を表示する表示システム、表示装置、および表示方法に関する。

従来から、対象物に対して適切に作業が行われるように、行うべき作業内容を作業者が視認可能な画像で表示することが行われている。一例として、作業を行う対象物を撮影し、撮影した対象物の画像に関連した作業の内容、及び作業手順を案内するマニュアル（案内画像）を、ヘッドマウントディスプレイに表示する表示装置がある（例えば、特許文献１参照）。

特開２０１１−１１４７８１号公報

しかしながら、こうした作業手順は、作業による変形または移動を伴わない対象物に対して、予め表示装置に供給あるいは記憶された画像を作業状況に応じて選択して表示するものであった。また、作業者が作業手順から外れた作業を行った場合は、その外れた作業に応じた作業手順を表示するものではなかった。

このため、従来の表示装置では、対象物の変形または移動を伴う加工作業（例えば切断作業）を行う場合において、変形した対象物に対して行うべき加工作業を作業者に案内することが難しかった。また、作業手順から外れた間違った加工作業によって変形した対象物に対して、行うべき修復可能な加工作業を作業者に案内することも難しかった。あるいは、移動した対象物に対して行うべき加工作業を作業者に案内することが難しかった。このように、作業者は変形または移動を伴う対象物に対して適切な加工作業を行うことが困難であった。

なお、こうした実情は、少なくとも、対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示システム、表示装置、および表示方法においては、概ね共通するものであった。

本発明は、上記実情に鑑みてなされたものであり、作業者が対象物を適切に加工することが容易な表示システム、表示装置、および表示方法を提供することを主な目的とする。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する表示システムは、対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示システムであって、前記対象物を撮像して前記対象物を示す画像データを取得する撮像部と、前記撮像部が取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成する形状データ生成部と、前記形状データ生成部が生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定する作業決定部と、前記作業決定部が決定した前記加工作業の案内画像を生成する画像生成部と、前記画像生成部が生成した前記加工作業の案内画像を前記対象物に表示する画像表示部と、を備える。

この構成によれば、対象物の変形後または移動後の形状に応じた加工作業を対象物に画像で表示して案内することができるので、作業者は対象物を適切に加工することが容易である。

上記表示システムにおいて、前記作業決定部が決定した前記加工作業どおりに加工されたときの前記対象物の加工後形状データを記憶する加工後形状データ記憶部と、前記形状データ生成部が生成した前記形状データが、前記加工後形状データと一致するか否かを判定する形状判定部と、を備え、前記作業決定部は、前記形状判定部が前記形状データと前記加工後形状データとは一致しないと判定した場合、前記案内画像どおりに加工された場合に決定する加工作業を修正した修正加工作業を、前記対象物に行うべき加工作業として決定することが好ましい。

この構成によれば、行われた加工作業が間違っていた場合、次に行う加工作業を修正して案内することができるので、作業者は加工間違いを修復する適切な加工作業を容易に行うことができる。

上記表示システムにおいて、前記撮像部は前記加工作業に用いられる作業道具の位置と姿勢とを示す画像データを取得し、取得された前記作業道具の画像データを用いて前記対象物に対する加工作業の着手時を検出する着手検出部と、前記着手検出部が前記着手時を検出した前記加工作業が、前記画像表示部が表示する前記案内画像どおりの加工作業であるか否かを判定する作業判定部と、を備え、前記作業判定部が前記案内画像どおりの加工作業ではない非加工作業であると判定した場合、前記画像生成部は前記非加工作業に応じた警告画像を生成し、前記画像表示部は前記警告画像を前記対象物に表示することが好ましい。

この構成によれば、案内した加工作業とは違う加工を着手する際に表示される警告によって、作業者は対象物を適切に加工することが容易である。
上記表示システムにおいて、前記撮像部は予め定められた時間間隔で対象物を撮像して前記対象物の画像データを逐次取得し、前記画像生成部は、今回取得された前記対象物の画像データが、前回取得された前記対象物の画像データとは異なる場合、今回取得された前記対象物の画像データに基づいて前記案内画像を補正し、前記画像表示部は、補正された前記案内画像を前記対象物に重畳させて表示することが好ましい。

この構成によれば、移動した対象物に対して実際に加工すべき位置を示す案内画像が対象物上に重畳されて表示されるので、作業者は、対象物が加工作業中に移動しても、対象物を適切に加工することが容易である。

上記表示システムにおいて、前記加工作業は、前記対象物を切断して複数に分離させる切断作業であり、前記状態データ生成部は、切断によって分離された複数の対象物のそれぞれの形状データを生成し、前記作業決定部は、生成されたそれぞれの前記形状データに基づいて、分離された前記複数の対象物に行うべき加工作業を決定することが好ましい。

この構成によれば、対象物が加工作業によって複数に分離しても、分離したそれぞれの対象物に対して加工作業の案内画像を表示することが可能である。したがって、作業者は適切な加工作業を容易に行うことができる。

上記課題を解決する表示装置は、対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示装置であって、前記対象物を示す画像データから前記対象物の形状データを生成する形状データ生成部と、前記形状データ生成部が生成した前記対象物の形状データに基づいて、当該対象物に行うべき加工作業を決定する作業決定部と、前記作業決定部が決定した前記加工作業の案内画像を生成する画像生成部と、前記画像生成部が生成した前記加工作業の案内画像を前記対象物に表示する画像表示部と、を備える。

この構成によれば、対象物の形状に応じた適切な加工作業を画像で案内することができるので、作業者は対象物を適切に加工することが容易である。
上記課題を解決する表示方法は、対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示方法であって、前記対象物を撮像して前記対象物を示す画像データを取得するステップと、取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成するステップと、生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定するステップと、決定した前記加工作業の案内画像を生成するステップと、生成した前記加工作業の案内画像を前記対象物に表示するステップと、を備える。

この方法によれば、対象物の形状に応じた適切な加工作業を画像で案内することができるので、作業者は対象物を適切に加工することが容易である。

実施形態の表示システムを示す構成図。実施形態の表示システムの機能ブロック図。表示システムにおいて行われる準備作業処理を示すフローチャート。（ａ）は完成品を示す斜視図、（ｂ）は完成品を構成する部品を示す斜視図、（ｃ）は表示システムに入力された部品データを示すテーブル。（ａ）は切断の対象物となる材料と切断作業の案内画像の平面図、（ｂ）は材料に案内画像が重畳表示された状態を示す説明図、（ｃ）は案内画像どおりに切断された後の材料の外形を示す平面図。表示システムにて行われる切断の本作業処理を示すフローチャート。切断開始時の切断作業の正否の確認処理を示すフローチャート。切断位置が案内画像の示す位置とは異なる場合に表示する警告画像の一例を示す斜視図。切断開始後の案内画像の投影処理を示すフローチャート。切断終了後の案内画像の投影処理を示すフローチャート。（ａ）は材料が案内画像とは異なる間違った位置で切断される一例を示す平面図、（ｂ）は間違って切断されたそれぞれの材料に投影する案内画像を示す平面図。（ａ）はヘッドマウントディスプレイに切断作業の案内画像を表示する表示システムの一部を示す構成図、（ｂ）はヘッドマウントディスプレイが備えるカメラが撮像した材料の画像を示す模式図、（ｃ）はヘッドマウントディスプレイの視野領域を示す模式図。

以下、表示システムの一実施形態について、図を参照しながら説明する。
図１に示すように、本実施形態の表示システム１１は、作業場に設置された加工の対象物としての材料５０を撮像可能な４つの撮像部１２と、キーボードやマウスなどのデータの入力機器１４や表示モニターが接続された制御装置１３と、入力された画像を投影表示するプロジェクターなどの画像表示部１５を備えている。本実施形態では、材料５０は、所定の厚さを有する木製や樹脂製、あるいは金属製の板材であり、表示システム１１は、作業道具としての鋸１６を用いて加工作業としての切断作業を行う際に切断線ＣＬを示す案内画像ＧＰ（図５（ａ）参照）などの表示画像を材料５０の主面（上面）に表示する。

各撮像部１２は、発射部１２ａから発射した赤外線やレーザー光を受光部１２ｂで受け、受光部１２ｂ（撮像部１２）から材料５０の各部分までの距離（深度）を計測可能な深度センサーと、カラー画像を映すデジタルカメラ１２ｃとを有している。そして材料５０を撮像することによって、材料５０の各部分の深度データを含むＲ，Ｇ，Ｂの画像データを取得する。この材料５０を示す画像データは、作業場における３次元の直交座標軸であるＸ，Ｙ，Ｚ軸の各座標値で示す３次元データであり、作業場における材料５０の位置と姿勢とを示すデータ（画像データ）となる。そして、本実施形態では、撮像部１２は作業場の四隅にそれぞれ設置され、異なる４つの位置から材料５０を撮像することによって、作業者によって材料５０が隠れるために生じる画像データの欠落を抑制する。

制御装置１３は、各撮像部１２から出力される材料５０を示す画像データ（「材料５０の画像データ」とも呼ぶ）を用いて、作業場のＸ，Ｙ，Ｚの各座標値で示される空間領域の所定位置に置かれた材料５０の形状データを生成する。すなわち、制御装置１３は、各撮像部１２が撮像して取得する材料５０の画像データを用いて演算し、作業場の空間領域に位置する材料５０について、表示画像が投影される投影面（主面）の形状を示す形状データを生成する。そして、制御装置１３は、生成された材料５０の形状データに応じて、画像表示部１５に投影させて材料５０上に表示させる表示画像を生成して出力する。なお、制御装置１３は、中央演算素子（ＣＰＵ）や記憶素子（ＲＡＭ，ＲＯＭ）を備えた所謂コンピューターである。

画像表示部１５は、本実施形態ではプロジェクター（投影機）であり、制御装置１３から出力された表示画像を投影する。このとき投影される表示画像は、画像表示部１５の設置位置から見た材料５０の位置と姿勢とに応じた画像とされ、画像表示部１５は、その設置位置を変更することなく、固定された設置位置から表示画像を投影して材料５０上に表示する。したがって、制御装置１３と画像表示部１５とは、表示装置として機能する。

また、本実施形態の表示システム１１では、撮像部１２は作業者が切断作業において使用する作業道具としての鋸１６を撮像して、その位置と姿勢とを示す鋸１６の画像データを取得する。そして、制御装置１３は、取得した鋸１６の画像データを用いて鋸１６と材料５０とが接触する接触位置を検出し、検出した接触位置に応じて所定の表示画像を画像表示部１５に出力する。画像表示部１５は、制御装置１３から出力されたその表示画像を材料５０上に表示する。

次に、表示システム１１における制御装置１３の機能構成について説明する。
図２に示すように、制御装置１３は、形状データ生成部３１、作業決定部３２、画像生成部３３、形状判定部３４、着手検出部３５、作業判定部３６、および部品データ記憶部３７、加工後形状データ記憶部３８を備える。各部は、制御装置１３が、記憶素子に記憶された所定のプログラムに従って動作することにより機能する。

形状データ生成部３１は、撮像部１２が取得した材料５０の位置と姿勢とを示す画像データから、材料５０の形状データを算出して生成する。作業決定部３２は、形状データ生成部が生成した材料５０の形状データと、入力機器１４によって部品データ記憶部３７に入力された形成すべき部品の形状データと数量データを含む部品データとに基づいて、部品を材料５０の主面（投影面）にレイアウトすることにより材料５０に対して行うべき切断作業を決定する。そして、決定した切断作業どおりに切断される材料５０の切断後の主面の形状を加工後形状データ記憶部３８に記憶する。画像生成部３３は、作業決定部３２が決定した切断作業を案内する案内画像ＧＰを生成したり、生成した案内画像ＧＰを補正したりする。そして、生成あるいは補正した案内画像ＧＰを表示画像（表示画像データ）として画像表示部１５に出力する。

形状判定部３４は、形状データ生成部３１が生成した形状データと、加工後形状データ記憶部３８に記憶された加工後形状データとを比較し、その比較結果を作業決定部３２や画像生成部３３へ出力する。また、形状判定部３４は、形状データ生成部３１が生成した形状データと、部品データ記憶部３７に記憶された部品の形状データとを比較し、比較結果に応じて、部品データ記憶部３７に記憶された部品データを書き換える。

また、着手検出部３５は、撮像部１２が取得する材料５０の画像データと鋸１６の位置データと用いて、鋸１６が材料５０に接触した状態を作業着手時として検出する。作業判定部３６は、作業着手時において、鋸１６の接触位置と、案内画像ＧＰに示された切断線ＣＬの位置すなわち切断位置とを比較し、比較結果を画像生成部３３に出力する。そして、画像生成部３３は、比較結果に応じて所定の警告画像を生成し、生成した警告画像を表示画像（表示画像データ）として画像表示部１５に出力する。

次に、以上のように機能構成された本実施形態の表示システム１１の作用、すなわち材料５０の切断作業における表示動作について説明する。なお、本実施形態では、実際に切断を行う本作業に着手する前に、所定の準備作業処理が行われる。以下、準備作業処理、本作業処理の順に説明する。

（準備作業処理）
図３に示すように、準備作業処理は、まずステップＳ１にて、全部品の形状データおよび数量データを入力処理する。ここでの処理は、例えば、作業者が、表示モニターに表示された入力テーブルに、切断作業によって完成させる全部品の部品データ、すなわち形状データと数量データとを、入力機器１４を用いて入力する。入力された部品データは、制御装置１３内の部品データ記憶部３７に記憶される。

図４（ａ）に示すように、本実施形態では、一例として完成品であるウッドデッキを作成するものとし、ウッドデッキを構成する全部品について、その部品データを入力する。ここでは、このウッドデッキは、大サイズの部品Ａが３つ（３枚）と、中サイズの部品Ｂが２つ（２枚）と、小サイズの部品Ｃが３つ（３枚）とから構成される。

図４（ｂ）に示すように、部品Ａ、部品Ｂ、部品Ｃは、それぞれ同じ板厚を有し、長手方向を有する矩形の板である。したがって、本実施形態では、部品Ａ、部品Ｂ、部品Ｃについて、それぞれの長辺Ｌと短辺Ｗの寸法、および数Ｎの値が部品データとして部品データ記憶部３７に記憶される。

図４（ｃ）に、部品データ記憶部３７に記憶された部品データの一例を示す。図示するように、本実施形態では、部品Ａと部品Ｂとは長辺Ｌが同じ長さ（１９０センチメートル）とされ、部品Ａの短辺Ｗと部品Ｃの長辺Ｌとが同じ長さ（６０センチメートル）とされている。また、部品Ｂと部品Ｃとは短辺Ｗが同じ長さ（１０センチメートル）とされている。そして、部品Ａの数Ｎは３（枚）、部品Ｂの数Ｎは２（枚）、部品Ｃの数Ｎは３（枚）とされ、入力テーブルに入力された時点では数Ｎは未完成数である。

図３に戻り、次のステップＳ２にて、切断される材料の位置、姿勢を取得処理する。ここでは、撮像部１２が作業場に置かれた切断対象となる材料５０（図１参照）を撮像して材料の位置、姿勢を示す画像データを取得する。次に、ステップＳ３にて、材料５０の形状データを生成処理する。ここでは、材料５０は板面（主面）方向が略水平方向となるように置かれ、形状データ生成部３１が、材料５０の画像データから、その主面（投影面）となる上面（反重力方向側の面）の形状を示す形状データを算出して生成する。

次に、ステップＳ４にて、材料の形状データと全部品の部品データとを用いて、材料に全部品をレイアウト処理する。ここでは、作業決定部３２が、例えば「長方形の詰め込み問題」として公開されている周知の手法の一つを用いて材料５０に全部品をレイアウトすることが可能であり、したがってレイアウト処理についての具体的な説明は省略する。

次に、ステップＳ５にて、レイアウトされた部品間の切断位置を示す案内画像ＧＰ（図５（ａ）参照）を生成処理し、続くステップＳ６にて、材料の位置、姿勢に合わせて案内画像を補正処理する。ここでは、画像生成部３３が、レイアウトされた各部品の位置に基づいて材料５０の切断位置を示す案内画像ＧＰを生成し、更に、生成した案内画像ＧＰを材料５０に重畳して表示されるように補正する。すなわち、画像生成部３３は、材料５０の画像データから画像表示部１５の位置から見た材料５０の位置と姿勢とを算出し、算出した材料５０の位置と姿勢に合わせて案内画像ＧＰを補正する。そして、続くステップＳ７にて、補正した案内画像ＧＰを材料５０に投影処理する。画像生成部３３は補正した案内画像ＧＰを表示画像として画像表示部１５に出力し、画像表示部１５は補正された案内画像を投射する。

図５（ａ）に、生成された案内画像ＧＰの一例を示す。この案内画像ＧＰは、レイアウトされた部品間の複数の切断線ＣＬを有する画像とされている。本実施形態では、加工される材料５０は一辺Ｈ１の長さが２００センチメートル、他辺Ｈ２の長さが２５０センチメートルの矩形板とされている。そして、案内画像ＧＰは、切断線ＣＬ１〜切断線ＣＬ８の合計８本の切断線ＣＬを有する画像であって、各切断線ＣＬは破線の直線で示された画像とされている。そして、案内画像ＧＰは、材料５０の上面全体に重畳するように投影された状態において、各切断線ＣＬは、部品Ａ、部品Ｂ、部品Ｃを材料５０にレイアウトした状態で表示する。

そして、図５（ｂ）に示すように、例えば、画像表示部１５から見た材料５０の形状が台形となる姿勢であれば、画像生成部３３は、各切断線ＣＬを示す画像が、その台形と相似形となるように案内画像ＧＰを変形補正して画像表示部１５に出力する。また、本実施形態では、画像表示部１５は設置位置から定められた投影範囲で画像を投影する構成であり、画像生成部３３は、案内画像ＧＰの変形補正に加えて、その投影範囲内において材料５０の位置に応じた位置に案内画像ＧＰを移動する移動補正を行う。その結果、画像表示部１５から投射された案内画像ＧＰは、各切断線ＣＬが台形の材料５０の上面全体に重畳して表示されるように投影される（図１参照）。

図３に戻り、次のステップＳ８にて、切断位置で切断されたときの材料の形状を加工後形状データとして記憶処理し、作業前準備処理を終了する。ここでは、作業決定部３２が、部品をレイアウト処理した状態において、案内画像ＧＰの切断線ＣＬどおりに切断された場合に形成される材料５０の加工後の形状データを、加工後形状データ記憶部３８に記憶する。

図５（ｃ）に、加工後形状データ記憶部３８に記憶された加工後形状データＫ１〜加工後形状データＫ１０を示す。図示するように、加工後形状データＫ１〜加工後形状データＫ１０は、案内画像ＧＰの複数の切断線ＣＬに沿って切断された場合に分離形成される形状であって、少なくとも一本の切断線ＣＬを有するすべての形状である。

（本作業処理）
次に、図６を参照して、材料５０を切断する本作業処理について説明する。なお、この処理は、表示システム１１において、鋸１６が撮像部１２によって撮像され、その画像データが制御装置１３に出力されることによって開始される。あるいは、作業者が、処理開始の命令データを入力機器１４から制御装置１３に入力することによって開始される。

図６に示すように、この処理が開始されると、まずステップＳ１０にて、切断開始時の作業の正否の確認処理が行われる。この処理は作業者の作業ミス（切断ミス）を抑制するための処理である。

すなわち、図７に示すように、ステップＳ１０での処理では、まずステップＳ１１にて、鋸の位置、姿勢を取得する処理を行う。ここでは、材料５０の位置、姿勢を取得する処理（図３、ステップＳ２）と同様に、撮像部１２が鋸１６を撮像して鋸１６の位置と姿勢とを示す画像データを取得する。

そして、続くステップＳ１２にて、鋸と材料とが接触したか否かを判定処理する。ここでは、着手検出部３５が、ステップＳ２において取得されている材料５０の画像データと鋸１６の画像データとを用いて鋸１６の歯の部分の位置を算出し、算出した鋸１６の歯の部分が材料５０と接触したか否かを判定する。

ステップＳ１２での判定処理の結果、鋸１６と材料５０とが接触していない場合は（ステップＳ１２：ＮＯ）、所定の時間間隔でステップＳ１１とステップＳ１２の処理を繰り返す。そして、鋸１６と材料５０とが接触した場合は（ステップＳ１２：ＹＥＳ）、続くステップＳ１３にて、鋸が材料と接触した位置は案内画像の切断位置か否かを判定処理する。ここでは、作業判定部３６が、鋸１６と材料５０との接触位置の位置データが、材料５０上に重畳して投影された案内画像ＧＰの切断線ＣＬの位置データと一致しているか否かを判定する。

判定の結果、鋸１６が案内画像ＧＰの切断位置で接触した場合は（ステップＳ１３：ＹＥＳ）ここでの処理を終了してステップＳ２０（図６）へ進む。一方、鋸１６が案内画像ＧＰの切断位置とは異なる位置で接触した場合は（ステップＳ１３：ＮＯ）、ステップＳ１４にて、材料５０に警告画像を投影処理し、ここでの処理を終了してステップＳ２０へ進む。

図８に、投影される警告画像の一例を示す。図８に示すように、鋸１６が材料５０と接触する接触位置Ｐが、切断線ＣＬの位置とは異なる位置であった場合、画像表示部１５は、鋸１６の近傍の材料５０の主面（上面）に警告画像を案内画像ＧＰと重ねて投影して表示する。本実施形態では、警告画像は「注意」という文言を含む画像とされている。このように文言を表示する場合は、その文言が作業者から見て正立している画像が好ましい。なお、作業者の位置は、例えば鋸１６の姿勢（取手位置）から推定可能である。

図６に戻り、次にステップＳ２０にて、切断開始後の材料の位置、姿勢に合わせた案内画像の投影処理が行われる。この処理は作業者が切断作業中に材料５０を移動させた場合に、切断位置を示す切断線ＣＬが材料５０に対して相対的に移動しないように表示することによって、作業ミス（切断ミス）を抑制する処理である。

すなわち、図９に示すように、ステップＳ２０での処理では、まずステップＳ２１にて、材料の位置、姿勢を取得処理する。ここでは、準備作業処理（図３、ステップＳ２）と同様に、撮像部１２が切断作業によって切断中の材料５０を撮像して、材料５０の位置と姿勢とを示す画像データを取得する。次に、ステップＳ２２にて、材料の形状データを生成処理する。ここでは、形状データ生成部３１が、材料５０の画像データから、その上面となる主面の形状を示す形状データを算出して生成する。

次に、ステップＳ２３にて、材料の形状は同じか否かを判定処理する。ここでは、作業決定部３２が、ステップＳ２２の今回の処理で生成された材料５０の形状データと、前回の処理で生成された材料５０の形状データ、すなわち一回目の処理ではステップＳ３の処理にて生成された形状データとが一致するか否かを判定する。

判定の結果、材料５０の形状が同じでない場合は（ステップＳ２３：ＮＯ）、切断作業によって材料５０が切断された状態であるので、ここでの処理を終了（リターン）して、ステップＳ３０へ移行する。一方、判定の結果、材料５０の形状が同じである場合は（ステップＳ２３：ＹＥＳ）、材料５０は未切断の状態であるので、ステップＳ２４へ進み、前回取得された材料の位置、姿勢と同じか否かを判定処理する。ここでは、画像生成部３３が、ステップＳ２１の今回の処理で取得された画像データと、前回の処理で取得された材料５０の画像データ、すなわち一回目の処理ではステップＳ２にて取得された画像データとが一致するか否かを判定する。

判定の結果、材料５０の画像データが同じ場合は（ステップＳ２４：ＹＥＳ）、切断作業において材料５０は移動していない状態であるので、そのままステップＳ２１へ戻り、ステップＳ２１からステップＳ２３の処理を繰り返す。一方、判定の結果、材料５０の画像データが異なる場合は（ステップＳ２３：ＮＯ）、材料５０は切断作業中に移動した状態であるので、ステップＳ２５へ進み、取得した材料の位置、姿勢に合わせて案内画像を補正処理する。そして、続くステップＳ２６にて補正した案内画像を材料に投影処理し、ステップＳ２１へ戻る。

ステップＳ２５およびステップＳ２６では、画像生成部３３が、ステップＳ６およびステップＳ７と同様の処理を行う。すなわち、図５（ｂ）に示すように案内画像ＧＰが移動した材料５０に重畳して表示されるように、画像表示部１５の投影範囲内において材料５０の位置と姿勢に応じた案内画像ＧＰの移動補正と変形補正を行う。したがって、案内画像ＧＰは切断作業中に移動する材料５０に追随して重畳表示され、切断線ＣＬは材料５０上に適切に表示される状態が維持される。

そして、ステップＳ２１からの繰り返し処理において、ステップＳ２２の前回の処理にて生成された材料の形状データと今回の処理にて生成された材料の形状データとが異なる場合、ステップＳ２３の判定処理において判定が「ＮＯ」とされ、ステップＳ３０へ移行する。

図６に戻り、次にステップＳ３０にて、切断終了後の材料の位置、姿勢に合わせた案内画像の投影処理が行われる。この処理は作業者が切断作業によって材料５０を切断した場合に、切断されて変形した材料５０に対して、次に行う切断作業つまり切断位置を案内する案内画像ＧＰを表示するための処理である。

すなわち、図１０に示すように、ステップＳ３０での処理では、まずステップＳ３１にて、切断された材料の形状と、未完成の部品の形状とを比較処理し、続いてステップＳ３２にて、切断された材料の形状は未完成の部品の形状と同じか否かを判定処理する。ここでは、形状判定部３４が、ステップＳ２２の処理で生成された材料５０の形状データと、部品データ記憶部３７に記憶された部品データ（サイズデータ）とを比較し、部品Ａ、部品Ｂ、部品Ｃのいずれかの部品と同じ形状か否かを判定する。なお、材料５０は切断作業によって変形、つまり複数（通常は２つ）に分離され、ステップＳ３１およびステップＳ３２の処理は、切断によって分離されたそれぞれの材料５０について行われる。

判定の結果、切断により分離（変形）した材料５０の形状がいずれかの部品と同じ形状である場合は（ステップＳ３２：ＹＥＳ）、ステップＳ３３にて、同じ形状の部品の部品データを未完成から完成に変更処理し、ステップＳ３４に進む。ここでは、形状判定部３４が、部品データ記憶部３７に記憶された部品データのうち、未完成数を示す数Ｎの値を１つ減らす処理を行う。例えば、切断された材料の形状が部品Ａの形状と同じであれば、部品Ａの数Ｎを値「３」から値「２」に書き換える。

一方、判定の結果、切断により分離（変形）した材料５０の形状がいずれの部品の形状とも異なる場合は（ステップＳ３２：ＮＯ）、ステップＳ３４に進み、材料が切断された位置は案内画像の切断位置どおりか否かを判定処理する。ここでは、形状判定部３４が、ステップＳ２２で生成された材料５０の形状データと、加工後形状データ記憶部３８に記憶された加工後形状データＫ１〜加工後形状データＫ１０のそれぞれとを比較し、同じ形状データが存在するか否かで、材料５０が切断された位置は案内画像ＧＰの切断位置どおりか否かを判定する。

判定の結果、切断位置が案内画像ＧＰの切断位置どおりである場合は（ステップＳ３４：ＹＥＳ）、ステップＳ３５に進み、切断された位置にて案内画像を分割処理してステップＳ３８に進む。ここでは、画像生成部３３が、切断前の材料５０に投影する案内画像ＧＰを、切断作業によって切断された位置の切断線ＣＬで分割し、分割したそれぞれの画像を、分離されたそれぞれの材料５０に投影する案内画像ＧＰとして生成する。

一方、判定の結果、切断位置が案内画像ＧＰの切断位置どおりでない場合は（ステップＳ３４：ＮＯ）、ステップＳ３６に進み、切断された材料の形状に合わせ、未完成部品をレイアウト処理する。ここでは、作業決定部３２が、ステップＳ４での処理と同様の手法を用いて、未完成部品をレイアウト（再レイアウト）する。そして、続くステップＳ３７にて、レイアウトされた未完成部品間の切断位置を示す案内画像を生成処理し、ステップＳ３８に進む。ステップＳ３６およびステップＳ３７での処理について、図を参照して説明する。

図１１（ａ）に示すように、例えば、作業者による切断作業が一回目であって、鋸１６が、材料５０に表示された切断線ＣＬ２に接触する接触位置Ｐから、切断線ＣＬ２に沿って切断が行われるものとする。このとき、切断線ＣＬ２は切断線ＣＬ１との当接点ＥＰまでの材料５０の途中で終了する線であるが、作業者が間違って実線矢印Ｔに示すように切断して材料５０が２つに分離された場合は、切断された位置は案内画像ＧＰが示す切断位置どおりでない場合となる。

図１１（ｂ）に示すように、このような場合は、作業決定部３２は、切断によって分離された材料５１と材料５２とに、未完成の全部品を振り分けて再レイアウトする。すなわち、材料５１には、部品Ａが２つと部品Ｂが２つレイアウトされ、材料５２には、部品Ａが１つと部品Ｃが３つレイアウトされる。そして、画像生成部３３は、新たに、切断線ＣＬ１１〜切断線ＣＬ１４を有する案内画像ＧＰ１と、切断線ＣＬ２１〜切断線ＣＬ２４を有する案内画像ＧＰ２とを、新たに案内画像ＧＰとして生成する。なお、この例では、切断線ＣＬ１１と切断線ＣＬ２１は切断線ＣＬ１と同じ切断位置であり、切断線ＣＬ１２は切断線ＣＬ３と同じ切断位置となっている。

図１０に戻り、続くステップＳ３８にて、次に切断される材料の位置、姿勢を取得処理する。ここでは、材料５１および材料５２の少なくとも一方が作業場に置かれるものとする。したがって、作業場に置かれた材料５１あるいは材料５２が、新たに切断対象の材料５０となり、ステップＳ２の処理と同様、撮像部１２が材料５０を撮像して、その位置、姿勢を示す画像データを取得する。次に、ステップＳ３９にて、切断される材料５０の位置、姿勢に合わせて案内画像ＧＰを補正処理し、続くステップＳ４０にて、補正した案内画像を切断される材料に投影処理する。これらの処理は、図３のステップＳ６，Ｓ７と同様の処理であり説明は省略する。以上で、ここでの処理を終了し（リターン）、ステップＳ４５へ進む。

図６に戻り、ステップＳ４５にて、全ての部品が完成した否かを判定処理する。ここでは、形状判定部３４が、部品データ記憶部３７に記憶された部品データの数Ｎの値が全ての部品について「ゼロ」であるか否かを判定する。そして、数Ｎの値が全ての部品について「ゼロ」でない場合は（ステップＳ４５：ＮＯ）、未完成の部品が存在するためステップＳ１０へ戻り、ステップＳ１０〜ステップＳ４５の処理を繰り返す。

この繰り返し処理において、数Ｎの値が全ての部品について「ゼロ」であれば（ステップＳ４５：ＹＥＳ）、全ての部品が完成したことになるので、本実施形態の表示システム１１での本作業を終了する。なお、ここでは説明を省略するが、ステップＳ１０〜ステップＳ４５の処理は、切断作業によって分離された材料であって切断線ＣＬが一本以上表示される全ての材料について行われる。

上記実施形態によれば、以下のような効果を得ることができる。
（１）材料５０の変形後または移動後の形状に応じた切断線ＣＬをその材料５０に画像で表示して案内することができるので、作業者は材料５０を適切に切断することが容易である。

（２）切断された位置が間違っていた場合、次に行う切断位置を修正して案内することができるので、作業者は切断間違いを修復する適切な切断作業を容易に行うことができる。

（３）案内した切断位置（切断線ＣＬの位置）とは違う位置での切断作業を着手する際に表示される警告によって、作業者は材料５０を適切に切断することが容易である。
（４）移動した材料５０に対して実際に切断すべき位置（切断線ＣＬの位置）を示す案内画像ＧＰが材料５０上に重畳されて表示されるので、作業者は、材料５０が切断作業中に移動しても、材料５０を適切に切断することが容易である。

（５）材料５０が切断作業によって複数に分離しても、分離したそれぞれの材料５０（材料５１，５２）に対して切断線ＣＬを示す案内画像ＧＰを表示することが可能である。したがって、作業者は適切な切断作業を容易に行うことができる。

なお、上記実施形態は以下のように変更してもよい。
・上記実施形態において、画像表示部１５は、必ずしもプロジェクターに限定されない。例えば、ヘッドマウントディスプレイを採用してもよい。この変形例について、図を参照して説明する。

図１２（ａ）に示すように、本変形例では、作業者は、カラー画像を撮像可能な撮像カメラ（デジタルカメラ）１７を備えたヘッドマウントディスプレイ１８を画像表示部１５として装着する。このヘッドマウントディスプレイ１８は、材料５０を直接視認可能であるとともに画像が材料５０と重なった状態で表示される所謂半透過型の表示体とを有している。なお、図１２（ａ）は、図１に示す表示システム１１とは異なる一部の構成要素が図示され、その他の構成要素は図示が省略されている。

本変形例においては、制御装置１３は、撮像カメラ１７が撮像した材料５０の画像の位置および形状に合わせて、生成した案内画像ＧＰを補正してヘッドマウントディスプレイ１８に出力する。ヘッドマウントディスプレイ１８は、作業者が材料５０を見たときに、切断線ＣＬが材料５０上に重畳するように案内画像ＧＰを表示する。

すなわち、図１２（ｂ）に示すように、撮像カメラ１７が材料５０を撮像したカメラ画像１７Ｇによって、材料５０のカメラ画像１７Ｇにおける位置と形状とが特定される。制御装置１３は、この特定された材料の位置と形状に合致するように、案内画像ＧＰを移動および変形して補正する。

そして、図１２（ｃ）に示すように、補正された案内画像ＧＰは、ヘッドマウントディスプレイ１８における作業者の視野領域１８Ｇにおいて、視認される台形の材料５０に対して重なるように表示され、材料５０の上面に切断線ＣＬを表示する。なお、本変形例においては、カメラ画像１７Ｇの画像領域と視野領域１８Ｇとは同じ領域とされることが好ましい。こうすることによって材料５０の位置と形状に対する案内画像ＧＰの補正に伴う処理負荷が軽減される。

・上記実施形態において、プロジェクターである画像表示部１５に上記変形例の撮像カメラ１７を備える構成としてもよい。この場合、画像生成部３３は、撮像部１２が取得した材料５０の画像データの代わりに、撮像カメラ１７が撮像した材料５０の画像に基づいて案内画像ＧＰを補正処理すればよい。

・上記実施形態において、対象物としての材料５０は、必ずしも板材でなく、ブロック形状の材料であってもよい。その場合は、切断線ＣＬを表示する面は、一つの面でなく、複数の面であってもよい。

・上記実施形態において、制御装置１３が部品をレイアウトする際に、例えば、材料５０が木材である場合は、板目に沿う方向を部品の長手方向とするなど、木材の板目を考慮してレイアウトするようにしてもよい。また、材料５０が延伸材料である場合は、例えば延伸方向を部品の長手方向とするなど、延伸方向を考慮してレイアウトするようにしてもよい。

・上記実施形態において、撮像部１２は必ずしも４つに限定されない。材料５０の画像データを欠けることなく取得できる個数であれば、４つより少なくてもよいし、４つより多くてもよい。

・上記実施形態において、画像表示部１５としてのプロジェクターを複数備えてもよい。また複数備える場合は、互いに異なる位置に設置されることが好ましい。こうすることによって、切断線ＣＬが鋸１６や作業者によって隠れることなく材料５０に表示される。

・上記実施形態において、加工作業は、必ずしも材料５０を切断して複数に分離させる切断作業に限らない。例えば、材料５０を削ったり、穴をあけたり、あるいは溶かしたりして、元の形状が変形する加工作業であってもよい。このような場合は、材料５０は加工作業によって複数に分離されないので、画像表示部１５は１つの材料に対して案内画像ＧＰを表示する。

・上記実施形態において、必ずしも撮像部１２は予め定められた時間間隔で材料５０を撮像して材料５０の画像データを逐次取得しなくてもよい。例えば、切断対象の材料５０が作業場に固定された状態で置かれ、切断中に移動しない場合は、投影する案内画像ＧＰを補正する必要がないので、材料５０を予め定められた時間間隔で撮影しなくてもよい。なお、この場合は、作業者が切断の終了時点ごとに、入力機器１４を用いて所定のデータを制御装置１３に入力し、制御装置１３は、その所定のデータの入力に基づいて撮像部１２に材料５０を撮像させて、材料５０の画像データを取得するようにしてもよい。

・上記実施形態において、画像表示部１５は、必ずしも文言を含む警告画像を材料５０に表示させなくてもよい。例えば、切断線ＣＬの表示色を変更したり、表示を点滅させたりすることで警告画像としてもよい。あるいは、画像表示部１５が警告画像を投影しないこととしてもよい。例えば、作業者が切断位置を間違えることなく切断作業を行う場合は、警告画像を表示する必要はない。なお、この場合は、着手検出部３５および作業判定部３６は不要であり、これらを制御装置１３に備えなくても差し支えない。

・上記実施形態において、作業決定部３２は、案内画像ＧＰが示す切断線ＣＬどおりに切断された場合に決定する切断作業を修正した修正切断作業を、材料５０に行うべき次の切断作業として決定する処理を必ずしも行わなくてもよい。例えば、作業者が切断位置を間違えることなく切断作業を行う場合は、修正切断作業は不要である。なおこの場合は、分離された材料に投影するために生成される案内画像ＧＰは、加工後形状データ記憶部３８に記憶された各加工後形状の材料のうちの一つに対応する画像であって、少なくとも１本の切断線ＣＬを有する画像となる。

１１…表示システム、１２…撮像部、１３…制御装置、１５…画像表示部、３１…形状データ生成部、３２…作業決定部、３３…画像生成部、３４…形状判定部、３５…着手検出部、３６…作業判定部、３８…加工後形状データ記憶部、Ａ，Ｂ，Ｃ…部品、ＧＰ，ＧＰ１，ＧＰ２…案内画像、Ｋ１〜Ｋ１０…加工後形状データ。

Claims

対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示システムであって、
前記対象物を撮像して前記対象物を示す画像データを取得する撮像部と、
前記撮像部が取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成する形状データ生成部と、
前記形状データ生成部が生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定する作業決定部と、
前記作業決定部が決定した前記加工作業の案内画像を生成する画像生成部と、
前記画像生成部が生成した前記加工作業の案内画像を前記対象物に表示する画像表示部と、
前記作業決定部が決定した前記加工作業どおりに加工されたときの前記対象物の加工後形状データを記憶する加工後形状データ記憶部と、
前記形状データ生成部が生成した前記形状データが、前記加工後形状データと一致するか否かを判定する形状判定部と、
を備え、
前記作業決定部は、
前記形状判定部が前記形状データと前記加工後形状データとは一致しないと判定した場合、前記案内画像どおりに加工された場合に決定する加工作業を修正した修正加工作業を、前記対象物に行うべき加工作業として決定する表示システム。
前記撮像部は前記加工作業に用いられる作業道具の位置と姿勢とを示す画像データを取得し、
取得された前記作業道具の画像データを用いて前記対象物に対する加工作業の着手時を検出する着手検出部と、
前記着手検出部が前記着手時を検出した前記加工作業が、前記画像表示部が表示する前記案内画像どおりの加工作業であるか否かを判定する作業判定部と、
を備え、
前記作業判定部が前記案内画像どおりの加工作業ではない非加工作業であると判定した場合、
前記画像生成部は前記非加工作業に応じた警告画像を生成し、
前記画像表示部は前記警告画像を前記対象物に表示する請求項１に記載の表示システム。
前記撮像部は予め定められた時間間隔で対象物を撮像して前記対象物の画像データを逐次取得し、
前記画像生成部は、今回取得された前記対象物の画像データが、前回取得された前記対象物の画像データとは異なる場合、今回取得された前記対象物の画像データに基づいて前記案内画像を補正し、
前記画像表示部は、補正された前記案内画像を前記対象物に重畳させて表示する請求項１または２に記載の表示システム。
前記加工作業は、前記対象物を切断して複数に分離させる切断作業であり、
前記形状データ生成部は、切断によって分離された複数の対象物のそれぞれの形状データを生成し、
前記作業決定部は、生成されたそれぞれの前記形状データに基づいて、分離された前記
複数の対象物に行うべき加工作業を決定する
請求項１から３のいずれか一項に記載の表示システム。
対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示装置であって、
前記対象物を示す画像データから前記対象物の形状データを生成する形状データ生成部と、
前記形状データ生成部が生成した前記対象物の形状データに基づいて、当該対象物に行うべき加工作業を決定する作業決定部と、
前記作業決定部が決定した前記加工作業の案内画像を生成する画像生成部と、
前記画像生成部が生成した前記加工作業の案内画像を前記対象物に表示する画像表示部と、
前記作業決定部が決定した前記加工作業どおりに加工されたときの前記対象物の加工後形状データを記憶する加工後形状データ記憶部と、
前記形状データ生成部が生成した前記形状データが、前記加工後形状データと一致するか否かを判定する形状判定部と、
を備え、
前記作業決定部は、
前記形状判定部が前記形状データと前記加工後形状データとは一致しないと判定した場合、前記案内画像どおりに加工された場合に決定する加工作業を修正した修正加工作業を、前記対象物に行うべき加工作業として決定する表示装置。
対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示方法であって、
前記対象物を撮像して前記対象物を示す画像データを取得するステップと、
取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成するステップと、
生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定するステップと、
決定した前記加工作業の案内画像を生成するステップと、
生成した前記加工作業の案内画像を前記対象物に表示するステップと、
前記決定した前記加工作業どおりに加工されたときの前記対象物の加工後形状データを記憶するステップと、
前記生成した前記形状データが、前記加工後形状データと一致するか否かを判定するステップと、
を備える表示方法。
対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示システムであって、
前記対象物を撮像して前記対象物を示す画像データ及び前記加工作業に用いられる作業道具の位置と姿勢とを示す画像データを取得する撮像部と、
前記撮像部が取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成する形状データ生成部と、
前記形状データ生成部が生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定する作業決定部と、
前記作業決定部が決定した前記加工作業の案内画像を生成する画像生成部と、
前記画像生成部が生成した前記加工作業の案内画像を前記対象物に表示する画像表示部と、
取得された前記作業道具の画像データを用いて、前記加工作業の各工程において、前記作業道具が前記対象物に接触した状態を作業着手時として検出する着手検出部と、
前記着手検出部が前記接触により前記作業着手時を検出した前記加工作業が、前記画像表示部が表示する前記案内画像どおりの加工作業であるか否かを判定する作業判定部と、
を備え、
前記作業判定部が前記案内画像どおりの加工作業ではない非加工作業であると判定した場合、
前記画像生成部は前記非加工作業に応じた警告画像を生成し、
前記画像表示部は前記警告画像を前記対象物に表示する表示システム。
前記作業決定部が決定した前記加工作業どおりに加工されたときの前記対象物の加工後形状データを記憶する加工後形状データ記憶部と、
前記形状データ生成部が生成した前記形状データが、前記加工後形状データと一致するか否かを判定する形状判定部と、
を備え、
前記作業決定部は、
前記形状判定部が前記形状データと前記加工後形状データとは一致しないと判定した場合、前記案内画像どおりに加工された場合に決定する加工作業を修正した修正加工作業を、前記対象物に行うべき加工作業として決定する請求項７に記載の表示システム。
前記撮像部は予め定められた時間間隔で対象物を撮像して前記対象物の画像データを逐次取得し、
前記画像生成部は、今回取得された前記対象物の画像データが、前回取得された前記対象物の画像データとは異なる場合、今回取得された前記対象物の画像データに基づいて前記案内画像を補正し、
前記画像表示部は、補正された前記案内画像を前記対象物に重畳させて表示する請求項７または８に記載の表示システム。
前記加工作業は、前記対象物を切断して複数に分離させる切断作業であり、
前記形状データ生成部は、切断によって分離された複数の対象物のそれぞれの形状データを生成し、
前記作業決定部は、生成されたそれぞれの前記形状データに基づいて、分離された前記
複数の対象物に行うべき加工作業を決定する
請求項７から９のいずれか一項に記載の表示システム。
対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示方法であって、
前記対象物を撮像して前記対象物を示す画像データ及び前記加工作業に用いられる作業道具の位置と姿勢とを示す画像データを取得するステップと、
取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成するステップと、
生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定するステップと、
決定した前記加工作業の案内画像を生成するステップと、
生成した前記加工作業の案内画像を前記対象物に表示するステップと、
取得された前記作業道具の画像データを用いて、前記加工作業の各工程において、前記作業道具が前記対象物に接触した状態を作業着手時として検出するステップと、
前記作業着手時を検出した前記加工作業が、前記表示する前記案内画像どおりの加工作業であるか否かを判定するステップと、
を備える表示方法。
対象物の変形または移動を伴う加工作業の案内画像を当該対象物に表示する表示システムであって、
前記対象物を撮像して前記対象物を示す画像データを取得する撮像部と、
前記撮像部が取得した前記対象物の画像データから前記対象物の形状を示す形状データを生成する形状データ生成部と、
前記形状データ生成部が生成した前記対象物の形状データと、前記加工作業によって形成すべき部品を示す部品データとに基づいて、当該対象物に対して行うべき加工作業を決定する作業決定部と、
前記作業決定部が決定した前記加工作業の案内画像を生成する画像生成部と、
前記画像生成部が生成した前記加工作業の案内画像を前記対象物に表示する画像表示部と、
を備え、
前記加工作業は、前記対象物を切断して複数に分離させる切断作業であり、
前記形状データ生成部は、切断によって分離された複数の対象物のそれぞれの形状データを生成し、
前記作業決定部は、生成されたそれぞれの前記形状データに基づいて、分離された前記
複数の対象物に行うべき加工作業を決定する表示システム。
前記作業決定部が決定した前記加工作業どおりに加工されたときの前記対象物の加工後形状データを記憶する加工後形状データ記憶部と、
前記形状データ生成部が生成した前記形状データが、前記加工後形状データと一致するか否かを判定する形状判定部と、
を備え、
前記作業決定部は、
前記形状判定部が前記形状データと前記加工後形状データとは一致しないと判定した場合、前記案内画像どおりに加工された場合に決定する加工作業を修正した修正加工作業を、前記対象物に行うべき加工作業として決定する請求項１２に記載の表示システム。
前記撮像部は前記加工作業に用いられる作業道具の位置と姿勢とを示す画像データを取得し、
取得された前記作業道具の画像データを用いて前記対象物に対する加工作業の着手時を検出する着手検出部と、
前記着手検出部が前記着手時を検出した前記加工作業が、前記画像表示部が表示する前記案内画像どおりの加工作業であるか否かを判定する作業判定部と、
を備え、
前記作業判定部が前記案内画像どおりの加工作業ではない非加工作業であると判定した場合、
前記画像生成部は前記非加工作業に応じた警告画像を生成し、
前記画像表示部は前記警告画像を前記対象物に表示する請求項１２または１３に記載の表示システム。
前記撮像部は予め定められた時間間隔で対象物を撮像して前記対象物の画像データを逐次取得し、
前記画像生成部は、今回取得された前記対象物の画像データが、前回取得された前記対象物の画像データとは異なる場合、今回取得された前記対象物の画像データに基づいて前記案内画像を補正し、
前記画像表示部は、補正された前記案内画像を前記対象物に重畳させて表示する請求項１２〜１４のいずれか一項に記載の表示システム。