JP7186484B1 - プログラム、情報処理装置、方法及びシステム - Google Patents

Abstract

【課題】事前の準備なく、ユーザ端末から指示対象機器を操作するためのプログラムを提供する。【解決手段】端末装置１０において、アプリケーションプログラム１８１は、プロセッサに、現実空間をカメラ１６０により撮像して得られる画像データ１８２を取得するステップと、カメラ１６０の撮像範囲を少なくとも含む現実空間に存在する物体の表面の３次元位置データ１８３を３次元スキャナ１６５により取得するステップと、画像データ１８２をディスプレイ１４１に表示させるステップと、画像データと３次元位置データとを対応付けるステップと、ディスプレイに表示された画像データのうち特定の画像データの指定を受け入れることで、物体の表面の特定箇所の指定を受け入れるステップと、カメラの位置情報、カメラの撮像方向、特定箇所の指定及び３次元位置データに基づいて、特定箇所の３次元位置データを取得するステップと、を実行させる。【選択図】図３

Description

本開示は、プログラム、情報処理装置、方法及びシステムに関する。

ユーザ端末に搭載される撮影部により取得された画像上の所定の位置を、ユーザ端末の画面上で指定し、指定した位置へ飛行体を移動させる技術がある（特許文献１）。

特開２０２１－１６２５７２号公報

特許文献１に係る技術では、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等のセンサにより、仮想空間内の三次元座標データを予め取得しておく必要がある。そのため、事前に仮想空間内の三次元座標データが取得できていない場合、特許文献１に記載の技術では、飛行体を操作できない場合があり得る。

そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、事前の準備なく、ユーザ端末から指示対象機器を操作可能にすることである。

プロセッサとメモリと撮像装置と３次元位置取得装置とを備えるコンピュータを動作させるためのプログラムである。プログラムは、プロセッサに、現実空間を撮像装置により撮像して得られる画像データを取得するステップと、撮像装置の撮像範囲を少なくとも含む現実空間に存在する物体の表面の３次元位置データを３次元位置取得装置により取得するステップと、画像データを表示装置に表示させるステップと、画像データと３次元位置データとを対応付けるステップと、表示装置に表示された画像データのうち特定の画像データの指定を受け入れることで、物体の表面の特定箇所の指定を受け入れるステップと、撮像装置の位置情報、撮像装置の撮像方向、特定箇所の指定、及び３次元位置データに基づいて、特定箇所の３次元位置データを取得するステップとを実行させる。

本開示によれば、事前の準備なく、ユーザ端末から指示対象機器を操作できる。

システムの動作の概要を説明するための図である。 システムの全体の構成を示す図である。 端末装置の機能的な構成を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 システムにおける処理流れの一例を示すフローチャートである。 システムにおける処理流れの一例を示すフローチャートである。 端末装置で表示される画面の一例を表す模式図である。 端末装置で表示される画面の別の一例を表す模式図である。 端末装置で表示される画面のまた別の一例を表す模式図である。

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。

また、以下の説明において、「プロセッサ」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。

また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

また、以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。

また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及び／又はインタフェース部などを用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。

プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。

また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。

また、以下の説明において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

＜０ システムの概要＞
図１は、本開示に係るシステムの動作の概要を示す図である。本開示のシステムでは、スマートフォン等の端末装置に備えられたカメラ等の撮像装置により、端末装置の目前にある現実空間である３次元空間を撮像して画像データを取得する。また、この撮像装置による撮像範囲を含む３次元空間に存在する物体の表面の３次元位置データを、同様に端末装置に備えられたＬｉＤＡＲ等の３次元位置取得装置により取得する。次いで、これら画像データと３次元位置データとを対応付ける。そして、端末装置のディスプレイ等の表示装置に画像データを表示させて、端末装置の所有者に、表示装置の画面をタッチさせる等の手段により画像データ内の特定箇所（画像データと３次元位置データとが対応付けられているので、この特定箇所は物体の表面の特定箇所にも対応付けられている）を指定させると、特定箇所の３次元位置データを算出することができる。

図１に示すように、例えば、端末装置１の所有者は区画線２ａが引かれた平面駐車場２にいて、自動車３をこの区画線２ａで区切られた駐車区域２ｂに駐車させようとしているとする。この場合、自動車３は、先進運転支援システム（ＡＤＡＳ：Advanced driver-assistance systems）の一例である自動駐車機能を有するものとする。

自動駐車機能は、自動車３が備える各種装置、一例として自動車３の周囲３６０°の画像を取得可能な車載カメラ、障害物が検知できる超音波センサ等の近接センサ、さらにはＧＰＳ（Global Positioning System）機器に代表されるＧＮＳＳ（Global Navigation Satellite System）機器により、自動車３自身が周囲の状況を自律的に把握し、端末装置の所有者が指定した３次元位置に向けて自動車３が自律的に走行し、駐車する機能である。類似の機能を有するシステムは既に実現されている（参考：“Clarionクラリオン｜自宅などの駐車場の周辺環境の記憶による高度な自動駐車技術「Park by Memory」を開発”，［online］，平成30年1月9日，クラリオン株式会社，［令和4年5月13日検索］，インターネット ＜URL：https://www.clarion.com/jp/ja/corp/information/news-release/2018/0109-1/index.html＞）。

端末装置１は、撮像装置の一例である図１において図略のカメラと、３次元位置取得装置の一例である同様に図１において図略のＬｉＤＡＲとが搭載されている。ＬｉＤＡＲによる物体の３次元位置取得範囲は、カメラによる撮像範囲を少なくとも含む。

自動車３を駐車区域２ｂに駐車させようとする端末装置１の所有者は、まず、端末装置１のカメラにより、自動車３の駐車を希望する駐車区域２ｂを含む領域を撮像する。カメラは、端末装置１の所有者により指定された撮像範囲を撮像し、画像データを取得する。カメラにより取得された画像データは端末装置１の画面１ａに表示される。

端末装置１のＬｉＤＡＲは、カメラにより撮像範囲を撮像した後、この撮像範囲を少なくとも含む３次元空間に存在する物体の表面の３次元位置データを取得する。この際、カメラによる画像データの取得の直後に（つまり、あまり時間を置かずに）ＬｉＤＡＲによる３次元位置データの取得を行えば、カメラによる撮像範囲とＬｉＤＡＲによる３次元位置データの取得範囲が大きくずれることがない。

この際、端末装置１の画面１ａにＬｉＤＡＲによる３次元位置データ取得動作を行っていることを明示する必要はない。つまり、カメラによる撮像動作から画面１ａに何も表示せずにＬｉＤＡＲによる３次元位置を行えば、端末装置１の所有者は、カメラによる撮像動作にある程度の時間がかかっているように見えるので、その間は端末装置１を大きく動かすと画像にブレが生じるであろうから、できるだけ端末装置１を動かさずにいようという行動に誘導することができるので、ＬｉＤＡＲにより取得した３次元位置データ取得の精度が向上する（データがブレない）とともに、カメラによる撮像範囲とＬｉＤＡＲによる３次元位置データの取得範囲との一致率がより高まってよい。

この後、カメラにより取得された画像データとＬｉＤＡＲにより取得された３次元位置データとの対応付けが行われる。対応付けの詳細については後述するが、画像データは画素単位のデータであり２次元データである一方、３次元位置データは（この時点では絶対座標ではなく端末装置１の位置を原点とする相対座標ではあるが）文字通り３次元データであるので、一例として、３次元位置データを端末装置１の画面１ａにより規定される２次元平面に射影することで対応付けを行えばよい。

次いで、端末装置１の所有者は、画面１ａをタッチする等の手法により、自動車３を駐車させたい目標位置４に対応する画面１ａ上の箇所１ｂを指定する。所有者による箇所１ｃ指定があると、端末装置１は、この箇所１ｃに対応する目標位置４の３次元位置データを特定する。好ましくは、端末装置１に搭載された、図１において図略の加速度センサ、ＧＰＳセンサにより、端末装置１の地理的位置情報（緯度、経度、高度）及び端末装置１を原点とする３次元座標を構成するＸ軸、Ｙ軸及びＺ軸周りの傾きを取得し、これにより、端末装置１の（地球上で一意に定まる）位置情報及びカメラの撮像方向を取得する。これにより、ＬｉＤＡＲによる３次元位置データを地理的位置データに変換することができ、結果として、端末装置１の所有者により指定された目標位置４の地球上で一意に定まる地理的位置データに変換することができる。

この後、端末装置１の所有者は、自動車３に目標位置４の地理的位置データを送信し、この地理的位置データ（目標位置４）に向けて駐車動作を行うように指示することができる。

＜１ システム全体の構成図＞
図２は、システムＳの全体構成の例を示すブロック図である。図２に示すシステムＳは、例えば、端末装置１０、指示対象機器２０を含む。端末装置１０及び指示対象機器２０は、例えば、ネットワーク８０を介して通信接続する。

図２において、システムＳが端末装置１０を１台含む例を示しているが、システムＳに含まれる端末装置１０の数は、１台に限定されない。端末装置１０は、指示対象機器２０が目標位置に対して所定の動作を行うように指示する際に、この目標位置を指定する者が所持する端末である。

図１に示す端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣであってもよい。また、ＨＭＤ（Head Mount Display）、腕時計型端末等のウェアラブル端末であってもよい。

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。

通信ＩＦ１２は、端末装置１０が、例えば、指示対象機器２０等のシステムＳ内の装置と通信するため、信号を入出力するためのインタフェースである。

入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。

出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカー等）である。

メモリ１５は、プログラム、及びプログラム等で処理されるデータ等一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。

プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

指示対象機器（移動体）２０は、端末装置１０から提供された目標位置に向けて何らかの動作を行うように端末装置１０の所有者から指示される対象となる機器である。指示対象機器２０の一例としては、図１に示した自動車が挙げられる。自動車の場合、端末装置１０から提供される目標位置は、一例として自動車の駐車目標位置である。端末装置１０から提供される目標位置は、指示対象機器２０の種類等によって具体的な内容は異なり、また、指示対象機器２０の種類等によってその目標位置に対して指示対象機器２０がどのような動作を行うかも異なる。

指示対象機器２０は、端末装置１０を含む外部機器から提供された目標位置に向けて何らかの動作を行う機能を有する。指示対象機器２０が自動車であれば、図１の例に示したように自動駐車機能を有する。また、指示対象機器２０が掃除ロボットであれば、目標位置として提示された部屋、さらには部屋の特定領域を認識し、この部屋において自走して掃除動作を行う機能を有する。

指示対象機器２０は、上述した機能を有する機器であれば、指示対象機器２０そのものの機能や機器の大小を含めて特段の限定はない。

＜１．１ 端末装置の機能的な構成＞
図３は、図２に示す端末装置１０の機能的な構成の例を表すブロック図である。図３に示す端末装置１０は、例えば、ＰＣ、携帯端末、またはウェアラブル端末により実現される。図３に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカー１７２と、カメラ１６０と、位置情報センサ１５０と、加速度センサ１５５と、３次元スキャナ１６５と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。

通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、指示対象機器２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

入力装置１３は、端末装置１０を操作するユーザが指示、または情報を入力するための装置である。入力装置１３は、例えば、キーボード、マウス、リーダー等により実現されてもよい。端末装置１０が携帯端末等である場合には、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、または有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカー１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカー１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

カメラ１６０は、受光素子により光を受光し、撮影信号としての画像データを出力するためのデバイスである。カメラ１６０は、端末装置１０に対して一定方向及び一定の撮像範囲にある物体（被写体）を撮像し、この物体を撮像した結果としての画像データを出力する。この際、カメラ１６０が撮像範囲、より正確には画角が調整可能な機能を有する場合、カメラ１６０はこの画角に関する情報も出力する。このような機能は、いわゆるズーム機能と呼ばれている。さらに、カメラ１６０は一例として端末装置１０の筐体に固定されることで、端末装置１０に対するカメラ１６０の撮像方向は一意に定められているものとする。

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、一般的にはＧＮＳＳ機器であり、例えばＧＰＳモジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。位置情報センサ１５０は、端末装置１０が通信部１２０を介して接続する無線基地局の位置から、端末装置１０の現在の位置を検出してもよい。

加速度センサ１５５は、端末装置１０に与えられている加速度を検出するセンサである。好ましくは、加速度センサ１５５は、端末装置１０の位置を原点とする３次元座標の各軸（Ｘ軸、Ｙ軸、Ｚ軸）周りの傾きを検出する機能を有する。このような機能を有する加速度センサ１５５は、地球に対する万有引力の重力加速度を検出することで、端末装置１０の姿勢、つまりＸ軸、Ｙ軸、Ｚ軸に対する方向を検出することができる。そして、カメラ１６０の端末装置１０に対する撮像方向が一意に定められることから、加速度センサ１５５の検出結果に基づいて、３次元空間内のカメラ６０の撮像方向を求めることができる。

３次元位置取得装置の一例である３次元スキャナ１６５は、端末装置１０に対して一定方向及び一定の検出範囲内にある物体をスキャンし、この物体の表面の３次元位置データを取得し、この３次元位置データを出力する。このような３次元スキャナ１６５の一例として、ＬｉＤＡＲが知られている。ＬｉＤＡＲは、測定対象に対して広範囲にレーザー光線を照射し（スキャンし）、反射光を受光してこの反射光の有無及び反射光の受光タイミングに基づいて測定対象の表面の３次元位置データを取得するものである。ＬｉＤＡＲが取得する３次元位置データは、レーザー光線の反射位置である３次元点群データである。３次元スキャナ１６５による３次元位置データの取得範囲（測定範囲）は、カメラ１６０による撮像範囲を少なくとも含むように設定されている。上述したように、カメラ１６０がズーム機能を有する場合は、カメラ１６０の画角が最大（つまり広角側に寄った状態）である時の撮像範囲を少なくとも含む測定範囲で３次元位置データが取得可能とされる。あるいは、３次元スキャナ１６５の測定範囲が可変であれば、カメラ１６０による撮像範囲に合わせて３次元スキャナ１６５の測定範囲を設定すれば良い。

記憶部１８０は、例えば、メモリ１５、およびストレージ１６等により実現され、端末装置１０が使用するデータ、およびプログラムを記憶する。記憶部１８０は、例えば、アプリケーションプログラム１８１、画像データ１８２、スキャンデータ１８３、画像ＤＢ（DataBase）及び指示点ＤＢ１８５を記憶する。

画像データ１８２は、カメラ１６０が被写体を撮像して得られたデータである。スキャンデータ１８３は、３次元スキャナ１６５が３次元空間をスキャンして得られたデータである。画像ＤＢ１８４は、個々の画像データ１８２がカメラ１６０により撮像された際にこの画像データ１８２に紐付けられる情報を管理するためのＤＢである。指示点ＤＢ１８５は、端末装置１０の所有者により指定された３次元空間上の物体の表面の特定箇所に紐付けられる情報を管理するためのＤＢである。画像ＤＢ１８４及び指示点ＤＢ１８５の詳細については後述する。

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるアプリケーションプログラム１８１を読み込み、アプリケーションプログラム１８１に含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１と、送受信部１９２と、提示制御部１９３と、撮像制御部１９４と、スキャナ制御部１９５と、スキャンデータ対応付け部１９６と、指定位置三次元位置取得部１９７としての機能を発揮する。

操作受付部１９１は、入力装置１３から入力される指示、または情報を受け付けるための処理を行う。具体的には、例えば、操作受付部１９１は、キーボード、マウス等から入力される指示に基づく情報を受け付ける。

また、操作受付部１９１は、マイク１７１から入力される音声指示を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタル信号に変換された音声信号を受信する。操作受付部１９１は、例えば、受信した音声信号を分析して所定の名詞を抽出することで、ユーザからの指示を取得する。

送受信部１９２は、端末装置１０が、指示対象機器２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、ユーザから入力された内容を外部機器へ送信する。また、送受信部１９２は、ユーザに関する情報を外部機器から受信する。

提示制御部１９３は、端末装置１０の各機能部が生成した情報をユーザに対して提示するため、出力装置１４を制御する。具体的には、例えば、提示制御部１９３は、端末装置１０の各機能部が生成した情報をディスプレイ１４１に表示させる。また、提示制御部１９３は、端末装置１０の各機能部が生成した情報をスピーカー１７２から出力させる。

撮像制御部１９４は、カメラ１６０の全般的制御を行う。特に、撮像制御部１９４は、本実施形態のシステムＳの動作中（アプリケーションプログラム１８１の実行中）においてカメラ１６０を動作させてカメラ１６０により被写体を撮像させ、これにより撮像信号を常時出力させ、出力された撮像信号に基づいて出力装置１４のディスプレイ１４１の画面に画像を表示させておく。

そして、撮像制御部１９４は、端末装置１０の所有者等からの指示に基づいて、カメラ１６０から出力された画像データ１８２を記憶部１８０に格納する。また、撮像制御部１９４は、カメラ１６０が画像データ１８２を取得したときの位置情報センサ１５０及び加速度センサ１５５の測定値を取得し、取得した測定値及び画像データ１８２のファイル名を画像ＤＢ１８４に格納する。この後、撮像制御部１９４は、取得した画像データ１８２を出力装置１４のディスプレイ１４１に表示させる。撮像制御部１９４は、画像データ１８２のメタデータとして測定値を記憶してもよい。

スキャナ制御部１９５は、３次元スキャナ１６５の全般的制御を行う。特に、スキャナ制御部１９５は、本実施形態のシステムＳの動作中（アプリケーションプログラム１８１の実行中）において３次元スキャナ１６５を動作させて３次元位置データを常時出力させておく。そして、スキャナ制御部１９５は、端末装置１０の所有者等からの指示に基づいて撮像制御部１９４がカメラ１６０から画像データ１８２を取得したタイミングで、３次元スキャナ１６５により取得した３次元位置データをスキャンデータ１８３に格納する。この際、スキャナ制御部１９５は、３次元スキャナ１６５による３次元位置データの取得範囲が、カメラ１６０による撮像範囲を少なくとも含む範囲であるかどうかを確認し、必要に応じて、３次元スキャナ１６５による３次元位置データの取得範囲を設定、調整する。

スキャンデータ対応付け部１９６は、撮像制御部１９４及びスキャナ制御部１９５により取得した画像データ１８２、スキャンデータ（３次元位置データ）１８３に基づいて、これら画像データ１８２とスキャンデータ１８３の対応付けを行う。

具体的には、スキャンデータ対応付け部１９６は、画像ＤＢ１８４及びスキャンデータ１８３を参照し、３次元位置データを構成する３次元点群データのそれぞれの点と、画像データ１８２を構成する画素とを対応付ける。画像データ１８２と３次元位置データとの対応付けの手法に特段の限定はないが、一例として、３次元位置データを２次元データである画像データ１８２に射影するための変換式を求める手法が挙げられる。

つまり、３次元スキャナ１６５による３次元位置データの取得範囲はカメラ１６０の撮像範囲を少なくとも含み、しかも、カメラ１６０からの画像データ１８２の取得動作に応答して３次元スキャナ１６５による３次元位置データ取得動作を行っていることから、画像データ１８２と３次元位置データとは同一の物体についてのデータであることがほぼ確定される。そこで、スキャンデータ対応付け部１９６は、３次元位置データを２次元平面データである画像データ１８２に射影し、この時の変換式を求めることにより、３次元位置データと画像データ１８２との対応付けを行う。そして、スキャンデータ対応付け部１９６は、求めた変換式を記憶部１８０に一時的に格納する。

あるいは、スキャンデータ対応付け部１９６は、撮像された被写体が単純形状であり、また、画像データ１８２に含まれる被写体の数が限定的なものであるならば、画像データ１８２に対して、この画像データ１８２にどのような形状の被写体が含まれているかを解析し、被写体の表面形状と３次元位置データとを対応付けることで、画像データ１８２と３次元位置データとの対応付けを行ってもよい。一例として、人工知能技術、特に深層学習技術において、画像データ中に存在する物体（被写体）を検出する物体検出（物体認識）技術が知られている。物体検出技術として周知であるのは、例えばＹＯＬＯ（You Only Look Once）、Ｒ－ＣＮＮ（Region Based Convolutional Neural Networks）及びその発展形としてのＦａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳＳＤ（Single Shot MultiBox Detector）などがある。物体検出技術を用いる場合、被写体（物体）が既知であることが条件となるが、一般的な物体（例えば図１に示した自動車３のような）であれば物体検出技術を用いて物体の位置及びおおよその形状を把握することができるので、画像データ１８２中の物体を検出し、３次元位置データとの対応付けを行うことができる。

指定位置三次元位置取得部１９７は、端末装置１０の所有者がディスプレイ１４１の画面をタッチすることで画像データ１８２のうち特定のデータ（特定の画素）の指定を受け入れ、これにより、カメラ１６０により撮像された物体の表面の特定箇所の指定を受け入れる。そして、指定位置三次元位置取得部１９７は、受け入れた物体の表面の特定箇所、及び、画像データ１８２に紐付けられた端末装置１０の位置情報、カメラ１６０の撮像方向、３次元位置データに基づいて、この特定箇所の３次元位置データを取得する。

具体的には、撮像制御部１９４により、カメラ１６０から出力される撮像信号に基づく画像がディスプレイ１４１に表示されているので、指定位置三次元位置取得部１９７は、ディスプレイ１４１に画像データ１８２が表示された状態で、端末装置１０の所有者からの画面のタッチを待つ。端末装置１０の所有者による画面のタッチは入力装置１３のタッチ・センシティブ・デバイス１３１により検出される。指定位置三次元位置取得部１９７は、端末装置１０の所有者による画面のタッチを受けて、所有者がタッチをした画面の位置をタッチ・センシティブ・デバイス１３１からの検出信号に基づいて検出、算出し、検出したタッチ位置が画像データ１８２のいずれの画素に対応するかを算出することで、検出したタッチ位置が画像データ１８２のいずれの位置に対応するかを検出する。指定位置三次元位置取得部１９７は、検出結果を指示点ＤＢ１８５に格納する。

次いで、指定位置三次元位置取得部１９７は、タッチ位置に対応する画像データ１８２の位置が３次元位置データ（３次元点群データ）のいずれの点の３次元位置データに対応するかを、スキャンデータ対応付け部１９６の対応付け結果に基づいて特定する。これにより、指定位置三次元位置取得部１９７は、端末装置１０の所有者がタッチした位置が３次元空間上の物体の表面のいずれの位置（つまり特定箇所の位置）であるかを検出し、この検出結果に基づいて、物体の表面の特定箇所の３次元位置データ（点としての３次元位置データ）を特定することができる。

さらに、指定位置三次元位置取得部１９７は、画像データ１８２を取得した際の端末装置１０の位置情報、カメラ１６０の撮像方向を、画像ＤＢ１８４を参照して求める。画像ＤＢ１８４の詳細については後述するが、画像ＤＢ１８４には、画像データ１８２が撮像された際の位置情報センサ１５０の検出結果及び加速度センサ１５５の検出結果が、画像データ１８２に紐付けられて格納されている。位置情報センサ１５０の検出結果は端末装置１０の位置情報であり、加速度センサ１５５の検出結果からは、画像データ１８２を取得した際の端末装置１０の姿勢（端末装置１０の位置を原点とする３次元座標のＸ軸、Ｙ軸、Ｚ軸周りの傾き）を算出することができる。カメラ１６０の端末装置１０に対する撮像方向は既知であるので、加速度センサ１５５の検出結果から、カメラ１６０の撮像方向を算出することができる。

そして、指定位置三次元位置取得部１９７は、端末装置１０の位置情報、カメラ１６０の撮像方向、及び、物体の表面の特定箇所の３次元位置データに基づいて、特定箇所の３次元位置データの絶対位置（緯度、経度、高度）を求めることができる。この後、端末装置１０の制御部１９０は、指定位置三次元位置取得部１９７により求められた特定箇所の３次元位置データの絶対位置を指示対象機器２０に提供し、この指示対象機器２０に対して、絶対位置を目標位置とする各種動作の指示を行うことができる。このような指示の例として、図１に示した例のように、指示対象機器２０が自動車であれば、絶対位置を駐車目標位置として、この目標位置に自動車を駐車させるような指示が挙げられる。

＜２ データ構造＞
図４～図５は、端末装置１０が記憶するデータベースのデータ構造を示す図である。なお、図４～図５は一例であり、記載されていないデータを除外するものではない。

図４は、画像ＤＢ１８４のデータ構造を示す図である。図４に示すように、画像ＤＢ１８４のレコードの各々は、例えば、項目「画像ＩＤ」と、項目「画像ファイル」と、項目「撮像地点情報」と、項目「撮像方向情報」とを含む。画像ＤＢ１８４が記憶する情報は、撮像制御部１９４により入力、更新される。画像ＤＢ１８４が記憶する情報は、適宜変更・更新することが可能である。

項目「画像ＩＤ」は、画像データ１８２を特定するためのＩＤである。項目「画像ファイル」は、記憶部１８０に格納されている個々の画像データ１８２のファイル名に関する情報である。項目「撮像地点情報」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０の位置に関する情報である。項目「撮像方向情報」は、画像ＩＤにより特定される画像データ１８２が撮像された際のカメラ１６０の撮像方向に関する情報である。

項目「撮像地点情報」は、項目「緯度情報」と、項目「経度情報」と、項目「高度情報」とを含む。項目「緯度情報」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０の緯度に関する情報であり、項目「経度情報」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０の経度に関する情報であり、項目「高度情報」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０の高度に関する情報である。

項目「撮像方向情報」は、項目「Ｘ軸周りの傾き」と、項目「Ｙ軸周りの傾き」と、項目「Ｚ軸周りの傾き」とを有する。項目「Ｘ軸周りの傾き」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０のＸ軸周りの傾きに関する情報であり、項目「Ｙ軸周りの傾き」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０のＹ軸周りの傾きに関する情報であり、項目「Ｚ軸周りの傾き」は、画像ＩＤにより特定される画像データ１８２が撮像された際の端末装置１０のＺ軸周りの傾きに関する情報である。

図５は、指示点ＤＢ１８５のデータ構造を示す図である。図５に示すように、指示点ＤＢ１８５のレコードの各々は、例えば、項目「指示点ＩＤ」と、項目「画面指示点」と、項目「スキャナ指示点」とを含む。指示点ＤＢ１８５が記憶する情報は、指定位置三次元位置取得部１９７により入力、修正される。指示点ＤＢ１８５が記憶する情報は、適宜変更・更新することが可能である。

項目「指示点ＩＤ」は、端末装置１０の所有者が画面をタッチすることにより、画像データ１８２の特定箇所の位置（画素）の指定を受けた際、指定を受けた（所有者により指示された）点を特定するためのＩＤである。項目「画面指示点」は、端末装置１０の所有者による指定を受けた点の画面上（画像データ１８２上の）の座標値に関する情報であり、項目「スキャナ指示点」は、端末装置１０の所有者による指定を受けた点の（３次元スキャナ１６５により取得された）３次元位置データの座標値に関する情報である。

項目「画面指示点」は、項目「Ｘ座標点」と項目「Ｙ座標点」とを有する。項目「Ｘ座標点」は、端末装置１０の所有者による指定を受けた点の画面上のＸ座標値に関する情報であり、項目「Ｙ座標点」は、端末装置１０の所有者による指定を受けた点の画面上のＹ座標値に関する情報である。

項目「スキャナ指示点」は、項目「Ｘ座標点」と項目「Ｙ座標点」と項目「Ｚ座標点」とを有する。項目「Ｘ座標点」は、端末装置１０の所有者による指定を受けた点に対応する３次元位置データのＸ座標値に関する情報であり、項目「Ｙ座標点」は、端末装置１０の所有者による指定を受けた点に対応する３次元位置データのＹ座標値に関する情報であり、項目「Ｚ座標点」は、端末装置１０の所有者による指定を受けた点に対応する３次元位置データのＺ座標値に関する情報である。

＜３ 動作例＞
以下、端末装置１０の動作の一例について説明する。

図６は、端末装置１０の動作の一例を表すフローチャートである。

ステップＳ６００において、制御部１９０は、カメラ１６０を動作させ、このカメラ１６０により撮像を行える範囲、すなわち、カメラ１６０の撮像素子によりその時点で撮像している被写体に関する撮像情報を表示させる。具体的には、例えば、制御部１９０は、撮像制御部１９４によりカメラ１６０の撮像素子から出力されている撮像信号を受け入れ、この撮像信号に基づいてディスプレイ１４１に画像を表示させる。

図８は、ステップＳ６００において端末装置１０のディスプレイ１４１に表示されている画像の一例を示す図である。端末装置１０の画面８００には、その時点でカメラ１６０の撮像素子により撮像されている撮像信号に基づく画像８０１が表示されている。また、画面８００には、端末装置１０の所有者に対して所定の動作を行う旨の指示（この場合は指示対象機器２０に対する動作指示を行う目標点を含む領域を撮像する旨の指示）が表示される領域８０２が設けられている。

ステップＳ６０１において、制御部１９０は、３次元スキャナ１６５を動作させ、カメラ１６０の撮像範囲を少なくとも含む測定範囲についてスキャンを行わせる。具体的には、制御部１９０は、スキャナ制御部１９５により３次元スキャナ１６５を動作させ、測定範囲内にある物体の表面からの反射光を受光することで、この物体を含む現実空間に対するスキャンを行う。

次いで、ステップＳ６０２において、制御部１９０は、端末装置１０のディスプレイ１４１の画面をタッチすることにより、目標位置となる物体の表面の特定箇所の指定指示入力を端末装置１０の所有者に指示する。具体的には、制御部１９０は、指定位置三次元位置取得部１９７により、端末装置１０の所有者に対して、物体の表面の特定箇所の指定入力を指示する表示をディスプレイ１４１に表示させる。そして、ステップＳ６０３において、制御部１９０は、端末装置１０の所有者による画面のタッチを待ち、所有者が画面をタッチしたことを検出したら（ステップＳ６０３においてＹＥＳ）ステップＳ６０４に移行する。

図９は、ステップＳ６０２において端末装置１０のディスプレイ１４１に表示されている画面の一例を示す図である。端末装置１０の画面９００には、その時点でカメラ１６０により撮像されている画像９０１が表示されているとともに、端末装置１０の所有者に対して所定の動作を行う旨の指示（この場合は端末装置１０の画面をタッチして目標位置となる物体の表面の特定箇所の指定を行う旨の指示）が表示される領域９０２が設けられている。

そして、図１０に示すように、端末装置１０の所有者は、指示対象機器２０に対する動作指示を行う目標点が画面１０００に入っていることを確認した上で、端末装置１０のディスプレイ１４１の画面をタッチして、目標位置となる物体の表面の特定箇所の指定入力（図１０において特定箇所１００３の指定入力）を行うと、プログラムはステップＳ６０４に移行する。

ステップＳ６０４において、制御部１９０は、カメラ１６０から出力される画像データ１８２を取得し、取得した画像データ１８２を記憶部１８０に格納するとともに、画像データ１８２を取得した時点での位置情報センサ１５０及び加速度センサ１５５の検出結果と画像データ１８２とに基づいて画像ＤＢ１８４に必要な情報を記録する。

具体的には、例えば、制御部１９０は、撮像制御部１９４によりカメラ１６０からの画像データ１８２を受け入れ、受け入れた画像データ１８２を記憶部１８０に格納する。次いで、制御部１９０は、撮像制御部１９４により、画像データ１８２を取得した時点での位置情報センサ１５０及び加速度センサ１５５の検出結果を受け入れ、受け入れた位置情報センサ１５０及び加速度センサ１５５の検出結果、及び、記憶部１８０に格納した画像データ１８２に基づいて、画像ＤＢ１８４に必要な情報を書き込む。

カメラ１６０による画像データ１８２の取得のタイミングと位置情報センサ１５０、加速度センサ１５５の検出結果の取得のタイミングとの時間間隔には特段の制限はないが、画像データ１８２の取得後に端末装置１０が大きく移動すると、物体の表面の特定箇所の３次元位置データの特定精度に影響する可能性があるので、画像データ１８２の取得直後に位置情報センサ１５０、加速度センサ１５５の検出結果を取得することが好ましい。

ステップＳ６０５において、制御部１９０は、端末装置１０から所定の測定範囲内にある現実空間の物体の表面の３次元位置データを取得する。具体的には、制御部１９０は、ステップＳ６０５においてスキャナ制御部１９５により、所定の測定範囲内にある現実空間の物体の表面の３次元位置データを３次元スキャナ１６５から取得し、取得した３次元位置データをスキャンデータ１８３として記憶部１８０に格納する。

図７に移行して、ステップＳ７００において、制御部１９０は、スキャンデータ対応付け部１９６により、ステップＳ６０４において取得した画像データ１８２とステップＳ６０５において取得したスキャンデータ１８３との対応付けを行う。スキャンデータ対応付け部１９６によるデータ対応付けの動作の詳細については既に説明したので、ここでの説明は省略する。

ステップＳ７０１において、制御部１９０は、ステップＳ６０３において指定入力のあった物体の表面の特定箇所の３次元位置データを取得する。具体的には、制御部１９０は、指定位置三次元位置取得部１９７により、指定入力があった画像データ１８２の座標位置、及び、この座標位置に対応する３次元位置データを算出する。算出した座標位置及び３次元位置データは、指定位置三次元位置取得部１９７により指示点ＤＢ１８５に格納される。次いで、指定位置三次元位置取得部１９７は、画像データ１８２に紐付けられた端末装置１０の位置情報及びカメラ１６０の撮像方向を入手、算出し、物体の表面の特定箇所の３次元位置データの絶対位置を算出する。

この後、ステップＳ７０２において、制御部１９０は、指示対象機器２０に対して、ステップＳ７０２で取得した物体の表面の特定箇所の３次元位置データの絶対位置に向けて動作をする指示を行う。

＜４ 実施形態の効果＞
以上詳細に説明したように、本実施形態のシステムＳによれば、端末装置１０の所有者からの物体の表面の特定箇所の指定入力に基づいてこの特定箇所の３次元位置データの絶対位置を取得することができる。特に、本実施形態のシステムＳによれば、ＬｉＤＡＲ等の３次元位置取得装置を用いて予め三次元座標データを取得することなく、画像データ１８２の取得とスキャンデータ１８３の取得とを一連の動作で行うことができ、特段の事前準備なく指示対象機器２０に対して目標位置への動作指示を行うことができる。

＜５ 付記＞
なお、上記した実施形態は本開示を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。

一例として、上述した実施形態のシステムＳでは、画像データ１８２取得、スキャンデータ１８３取得及び物体の表面の特定箇所の３次元位置データ取得までの全ての動作を端末装置１０により行っていたが、例えば図３におけるスキャンデータ対応付け部１９６及び指定位置三次元位置取得部１９７を、端末装置１０とは別体の情報処理装置に設ける構成であってもよい。つまり、システムＳのハードウェア構成は図２に示す構成に限定されない。

また、上述した実施形態のシステムＳでは、指示対象機器２０として自動車を例に取り、目標位置に対して自動車を駐車させるような指示を行っていたが、指示対象機器２０及び指示対象機器２０に対する指示はこれに限定されない。

一例として、医療の現場において、端末装置１０の画面をタッチすることにより処置対象、例えば切除対象となる領域の輪郭をなぞり、（遠隔）医療ロボットを指示対象機器２０として、この医療ロボットにより指定領域を切除することも可能である。現時点では医師法の制限により医療行為を行うのは医師のみであるが、医師が補助することにより、医療ロボットによる切除行為（医療行為）が可能になる。

あるいは、建設現場において、土地の法面の掘削等土木工事を行うべき領域を端末装置１０の画面をタッチすることにより指示し、ショベルカーを指示対象機器２０として、このショベルカーにより指定領域の掘削等を指示することもできる。

さらには、指示対象機器２０としてドローンのような飛行体も好適に使用可能である。指示対象機器２０としてドローンを選択した場合、このドローンの飛行経路や目的位置をシステムＳにより指示することができる。

さらに、上述した実施形態のシステムＳでは、ステップＳ６００及びＳ６０１に示すように、システムＳの動作中は常時カメラ１６０による撮像動作及び３次元スキャナ１６５による３次元位置データ取得動作を行っていたが、少なくとも端末装置１０の所有者による特定箇所の指定に応じて３次元スキャナ１６５による３次元位置データ取得動作を行い、それ以外は３次元スキャナ１６５を動作させないことも可能である。

また、ステップＳ７００における画像データ１８２とスキャンデータ１８３との対応付け動作は、３次元スキャナ１６５による３次元位置データ取得動作を常時行っている場合、常時行ってもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

以上の各実施形態で説明した事項を以下に付記する。

（付記１）
プロセッサ（１９）とメモリ（１５）と撮像装置（１６０）と３次元位置取得装置（１６５）とを備えるコンピュータ（１０）を動作させるためのプログラムであって、プログラムは、プロセッサ（１９）に、現実空間を撮像装置（１６０）により撮像して得られる画像データ（１８２）を取得するステップ（Ｓ６０４）と、撮像装置（１６０）の撮像範囲を少なくとも含む現実空間に存在する物体の表面の３次元位置データ（１８３）を３次元位置取得装置（１６５）により取得するステップ（Ｓ６０５）と、画像データ（１８２）を表示装置（１４１）に表示させるステップ（Ｓ６００）と、画像データ（１８２）と３次元位置データ（１８３）とを対応付けるステップ（Ｓ７００）と、表示装置（１４１）に表示された画像データ（１８２）の特定箇所の指定を受け入れることで、物体の表面の特定箇所の指定を受け入れるステップ（Ｓ６０３）と、撮像装置（１６０）の位置情報、撮像装置（１６０）の撮像方向、特定箇所の指定、及び３次元位置データ（１８３）に基づいて、特定箇所の３次元位置データ（１８３）を取得するステップ（Ｓ７０１）とを実行させる、プログラム。
（付記２）
プログラムは、さらに、特定箇所の３次元位置データ（１８３）に向けて移動体を移動させる指示を行うステップ（Ｓ７０２）を実行させる、付記１に記載のプログラム。
（付記３）
特定箇所の指定を受け入れるステップ（Ｓ６０３）において、複数の特定箇所の指定を受け入れ、特定箇所の３次元位置データ（１８３）を取得するステップ（Ｓ７０１）において複数の特定箇所の３次元位置データ（１８３）を取得し、移動体を移動させる指示を行うステップ（Ｓ７０２）において、複数の特定箇所の３次元位置データ（１８３）により特定される線を跨がないように移動体を移動させる指示を行う付記２に記載のプログラム。
（付記４）
特定箇所の指定を受け入れるステップ（Ｓ６０３）において、複数の特定箇所の指定を受け入れ、特定箇所の３次元位置データ（１８３）を取得するステップ（Ｓ７０１）において、複数の特定箇所の３次元位置データ（１８３）を取得し、移動体を移動させる指示を行うステップ（Ｓ７０２）において、複数の特定箇所の３次元位置データ（１８３）により特定される面に対して所定の処理を行うように移動体を動作させる指示を行う付記２に記載のプログラム。
（付記５）
プロセッサ（１９）とメモリ（１５）と撮像装置（１６０）と３次元位置取得装置（１６５）とを備えた情報処理装置（１０）であって、プロセッサ（１９）は、現実空間を撮像装置（１６０）により撮像して得られる画像データ（１８２）を取得するステップ（Ｓ６０４）と、撮像装置（１６０）の撮像範囲を少なくとも含む現実空間に存在する物体の表面の３次元位置データ（１８３）を３次元位置取得装置（１６５）により取得するステップ（Ｓ６０５）と、画像データ（１８２）を表示装置（１４１）に表示させるステップ（Ｓ６００）と、画像データ（１８２）と３次元位置データ（１８３）とを対応付けるステップ（Ｓ７００）と、表示装置（１４１）に表示された画像データ（１８２）の特定箇所の指定を受け入れることで、物体の表面の特定箇所の指定を受け入れるステップ（Ｓ６０３）と、撮像装置（１６０）の位置情報、撮像装置（１６０）の撮像方向、特定箇所の指定、及び３次元位置データ（１８３）に基づいて、特定箇所の３次元位置データ（１８３）を取得するステップ（Ｓ７０１）とを実行する、情報処理装置（１０）。
（付記６）
プロセッサ（１９）とメモリ（１５）と撮像装置（１６０）と３次元位置取得装置（１６５）とを備えたコンピュータ（１０）により実行される方法であって、プロセッサ（１９）は、現実空間を撮像装置（１６０）により撮像して得られる画像データ（１８２）を取得するステップ（Ｓ６０４）と、撮像装置（１６０）の撮像範囲を少なくとも含む現実空間に存在する物体の表面の３次元位置データ（１８３）を３次元位置取得装置（１６５）により取得するステップ（Ｓ６０５）と、画像データ（１８２）を表示装置（１４１）に表示させるステップ（Ｓ６００）と、画像データ（１８２）と３次元位置データ（１８３）とを対応付けるステップ（Ｓ７００）と、表示装置（１４１）に表示された画像データ（１８２）の特定箇所の指定を受け入れることで、物体の表面の特定箇所の指定を受け入れるステップ（Ｓ６０３）と、撮像装置（１６０）の位置情報、撮像装置（１６０）の撮像方向、特定箇所の指定、及び３次元位置データ（１８３）に基づいて、特定箇所の３次元位置データ（１８３）を取得するステップ（Ｓ７０１）とを実行する、方法。
（付記７）
現実空間を撮像装置（１６０）により撮像して得られる画像データ（１８２）を取得する手段（１９４）と、撮像装置（１６０）の撮像範囲を少なくとも含む現実空間に存在する物体の表面の３次元位置データ（１８３）を３次元位置取得装置（１６５）により取得する手段（１９５）と、画像データ（１８２）を表示装置（１４１）に表示させる手段（１９７）と、画像データ（１８２）と３次元位置データ（１８３）とを対応付ける手段（１９６）と、表示装置（１４１）に表示された画像データ（１８２）の特定箇所の指定を受け入れることで、物体の表面の特定箇所の指定を受け入れる手段（１９７）と、撮像装置（１６０）の位置情報、撮像装置（１６０）の撮像方向、特定箇所の指定、及び３次元位置データ（１８３）に基づいて、特定箇所の３次元位置データ（１８３）を取得する手段（１９７）とを具備する、システム（１）。

Ｓ、システム １０、端末装置 １２、通信ＩＦ １３、入力装置 １４、出力装置 １５、メモリ １６、ストレージ １７、音声処理部 １９、プロセッサ ２０、指示対象機器 ６０、カメラ ８０、ネットワーク １２０、通信部 １３１、タッチ・センシティブ・デバイス １４１、ディスプレイ １５０、位置情報センサ １５５、加速度センサ １６０、カメラ １６５、３次元スキャナ １８０、記憶部 １８１、アプリケーションプログラム １８２、画像データ １８３、スキャンデータ １８４、画像ＤＢ １８５、指示点ＤＢ １９０、制御部 １９１、操作受付部 １９２、送受信部 １９３、提示制御部 １９４、撮像制御部 １９５、スキャナ制御部 １９６、スキャンデータ対応付け部 １９７、指定位置三次元位置取得部

Claims (7)

1. プロセッサとメモリと撮像装置と３次元位置取得装置と加速度センサと位置情報センサとを備えるコンピュータを動作させるためのプログラムであって、
   前記プログラムは、前記プロセッサに、
   現実空間を前記撮像装置により撮像して得られる画像データを取得するステップと、
   前記撮像装置の撮像範囲を少なくとも含む前記現実空間に存在する物体の表面の３次元位置データを前記３次元位置取得装置により取得するステップと、
   前記画像データを表示装置に表示させるステップと、
   前記画像データと前記３次元位置データとを対応付けるステップと、
   前記表示装置に表示された前記画像データの特定箇所の指定を受け入れることで、前記物体の表面の特定箇所の指定を受け入れるステップと、
   前記撮像装置により前記現実空間を撮像した際の前記加速度センサの検出結果から前記撮像装置の撮像方向を算出するステップと、
   前記撮像装置により前記現実空間を撮像した際の前記位置情報センサの検出結果から前記撮像装置の位置情報を算出するステップと、
   前記撮像装置の位置情報、前記撮像装置の撮像方向、前記特定箇所の指定、及び前記３次元位置データに基づいて、前記表示装置に表示される前記物体の表面の前記特定箇所の絶対位置を取得するステップとを実行させる、プログラム。
2. 前記プログラムは、さらに、
   前記特定箇所の絶対位置に向けて移動体を移動させる指示を行うステップを実行させる、請求項１に記載のプログラム。
3. 前記特定箇所の指定を受け入れるステップにおいて、複数の前記特定箇所の指定を受け入れ、
   前記特定箇所の絶対位置を取得するステップにおいて、複数の前記特定箇所の絶対位置を取得し、
   前記移動体を移動させる指示を行うステップにおいて、前記複数の特定箇所の絶対位置により特定される線を跨がないように前記移動体を移動させる指示を行う
   請求項２に記載のプログラム。
4. 前記特定箇所の指定を受け入れるステップにおいて、複数の前記特定箇所の指定を受け入れ、
   前記特定箇所の絶対位置を取得するステップにおいて、複数の前記特定箇所の絶対位置を取得し、
   前記移動体を移動させる指示を行うステップにおいて、前記複数の特定箇所の絶対位置により特定される面に対して所定の処理を行うように前記移動体を動作させる指示を行う
   請求項２に記載のプログラム。
5. プロセッサとメモリと撮像装置と３次元位置取得装置と加速度センサと位置情報センサとを備えた情報処理装置であって、
   前記プロセッサは、
   現実空間を前記撮像装置により撮像して得られる画像データを取得するステップと、
   前記撮像装置の撮像範囲を少なくとも含む前記現実空間に存在する物体の表面の３次元位置データを前記３次元位置取得装置により取得するステップと、
   前記画像データを表示装置に表示させるステップと、
   前記画像データと前記３次元位置データとを対応付けるステップと、
   前記表示装置に表示された前記画像データの特定箇所の指定を受け入れることで、前記物体の表面の特定箇所の指定を受け入れるステップと、
   前記撮像装置により前記現実空間を撮像した際の前記加速度センサの検出結果から前記撮像装置の撮像方向を算出するステップと、
   前記撮像装置により前記現実空間を撮像した際の前記位置情報センサの検出結果から前記撮像装置の位置情報を算出するステップと、
   前記撮像装置の位置情報、前記撮像装置の撮像方向、前記特定箇所の指定、及び前記３次元位置データに基づいて、前記表示装置に表示される前記物体の表面の前記特定箇所の絶対位置を取得するステップと
   を実行する、情報処理装置。
6. プロセッサとメモリと撮像装置と３次元位置取得装置と加速度センサと位置情報センサとを備えたコンピュータにより実行される方法であって、
   前記プロセッサは、
   現実空間を前記撮像装置により撮像して得られる画像データを取得するステップと、
   前記撮像装置の撮像範囲を少なくとも含む前記現実空間に存在する物体の表面の３次元位置データを前記３次元位置取得装置により取得するステップと、
   前記画像データを表示装置に表示させるステップと、
   前記画像データと前記３次元位置データとを対応付けるステップと、
   前記表示装置に表示された前記画像データの特定箇所の指定を受け入れることで、前記物体の表面の特定箇所の指定を受け入れるステップと、
   前記撮像装置により前記現実空間を撮像した際の前記加速度センサの検出結果から前記撮像装置の撮像方向を算出するステップと、
   前記撮像装置により前記現実空間を撮像した際の前記位置情報センサの検出結果から前記撮像装置の位置情報を算出するステップと、
   前記撮像装置の位置情報、前記撮像装置の撮像方向、前記特定箇所の指定、及び前記３次元位置データに基づいて、前記表示装置に表示される前記物体の表面の前記特定箇所の絶対位置を取得するステップと
   を実行する、方法。
7. 現実空間を撮像装置により撮像して得られる画像データを取得する手段と、
   前記撮像装置の撮像範囲を少なくとも含む前記現実空間に存在する物体の表面の３次元位置データを３次元位置取得装置により取得する手段と、
   前記画像データを表示装置に表示させる手段と、
   前記画像データと前記３次元位置データとを対応付ける手段と、
   前記表示装置に表示された前記画像データの特定箇所の指定を受け入れることで、前記物体の表面の特定箇所の指定を受け入れる手段と、
   前記撮像装置により前記現実空間を撮像した際の加速度センサの検出結果から前記撮像装置の撮像方向を算出する手段と、
   前記撮像装置により前記現実空間を撮像した際の位置情報センサの検出結果から前記撮像装置の位置情報を算出するステップと、
   前記撮像装置の位置情報、前記撮像装置の撮像方向、前記特定箇所の指定、及び前記３次元位置データに基づいて、前記表示装置に表示される前記物体の表面の前記特定箇所の絶対位置を取得する手段と
   を具備する、システム。

Images