以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
(注視行動調査システム1の概要)
図1は、本実施形態の注視行動調査システム1が有する機能の概要を説明するための機能説明図である。本実施形態の注視行動調査システム1は、ユーザの位置及び注視行動を特定するために用いられる。注視行動調査システム1は、ウェアラブル装置2及びサーバ3を含む。
ウェアラブル装置2は、ユーザの頭部に装着される端末である。ウェアラブル装置2は、例えば、ゴーグル型ウェアラブル端末又は眼鏡型ウェアラブル端末である。ウェアラブル装置2は、周辺環境を撮影し且つ撮影した撮影情報を取得する撮像機能、ユーザの視線方向を検出するアイトラッキング機能、撮影機能において取得された撮影情報等を記憶する記憶機能、各種情報を記憶媒体に記憶する媒体記憶機能を少なくとも有する機器であればどのような形態でもよい。ウェアラブル装置2は、記憶媒体から各種情報を読み出す機能を有してもよい。記憶媒体は、SDメモリカード、SmartMedia(登録商標)、USB(Universal Serial Bus)メモリ等である。ウェアラブル装置2は、サーバ3との通信機能、及び各種情報の表示機能を有してもよい。サーバ3との通信機能を有するウェアラブル装置2は、各種情報を記憶媒体に記憶する記憶機能を有していなくてもよい。
サーバ3は、ウェアラブル装置2からの情報を取得可能なコンピュータであり、記憶媒体に記憶された各種情報を取得する機能、及び表示機能等を有する。サーバ3は、記憶媒体に各種情報を記憶する機能を有してもよい。サーバ3はウェアラブル装置2との通信機能を有してもよく、この場合、記憶媒体に記憶された各種情報を取得する機能、及び、記憶媒体に各種情報を記憶する機能を有していなくてもよい。以降、ウェアラブル装置2と通信可能なコンピュータとしてサーバ3について説明するが、ウェアラブル装置2と通信可能なコンピュータは、多機能携帯電話(所謂「スマートフォン」)等の端末装置、タブレット端末又はタブレットPC(Personal Computer)等でもよい。なお、ウェアラブル装置2とウェアラブル装置2からの情報を取得可能なコンピュータとは、ともにBluetooth(登録商標)等の近距離無線通信機能を有してもよい。
以下、図1を参照して、注視行動調査システム1が有する機能の概要について説明する。
ユーザに装着されたウェアラブル装置2が有するカメラ等の撮影部は、所定時間(例えば、1/30秒、1/15秒、又は1秒)ごとに特定方向の空間を撮影する。撮影部は、ユーザによって指定された任意のタイミングで撮影してもよい。特定方向は、撮影部に備えられた撮像素子の垂直方向且つ被写体方向である。
図1の(1)には、ユーザに装着されたウェアラブル装置2が、撮影地点S1において撮影を行って撮影情報IM1を取得し、且つ、撮影地点S2において撮影を行って撮影情報IM2を取得したことが示されている。撮影情報IM1及びIM2は静止画像を示す情報である。撮影情報IM1及びIM2は、動画像を示す情報であってもよい。
ウェアラブル装置2が有する視線検出部は、所定時間(例えば、1/30秒、1/15秒、又は1秒)ごとにユーザの視線方向又は注視点位置を示す視線情報を検出する。撮影部による撮影タイミングと視線検出部による検出タイミングは同時であってもよい。
ウェアラブル装置2は、記憶媒体を着脱可能に保持するスロットを備える。ウェアラブル装置2は取得した撮影情報と当該撮影情報に対応する視線情報とを、スロットに保持された記憶媒体に記憶する。撮影情報に対応する視線情報は、撮影情報が取得されたタイミング(取得時刻)に最も近いタイミングで取得された視線情報である。ウェアラブル装置2は、撮影情報と視線情報とに関連付けて、当該撮影情報に対応する取得時刻を記憶媒体に記憶してもよい。
ウェアラブル装置2は、撮影部によって撮影情報が取得されるたびに、取得された撮影情報と当該撮影情報に対応する視線情報とを、サーバ3に送信してもよい。この場合、ウェアラブル装置2は、撮影情報と視線情報とに関連付けて、当該撮影情報に対応する取得時刻をサーバ3に送信してもよい。ウェアラブル装置2は、所定の送信タイミングにおいて、未送信の撮影情報及び視線情報を、複数同時にサーバ3に送信してもよい。
サーバ3は、ウェアラブル装置2によって記憶された撮影情報を、記憶媒体を介して取得する。サーバ3は、取得した撮影情報から仮想3次元空間における周辺環境の3次元座標である位置情報と、位置情報によりその立体形状を示す仮想3次元空間モデルと、上記仮想3次元空間における撮影位置の3次元座標を示す撮影位置情報及び撮影方向とを算出する3次元情報算出処理を実行する。仮想3次元空間モデルは、例えば、仮想3次元空間の所定の座標系(モデル座標系又はワールド座標系)の3次元座標により周辺環境の立体形状を示すサーフェスモデルである。サーバ3は、ウェアラブル装置2から取得した撮影情報を受信することによって、当該撮影情報を取得してもよい。3次元情報算出処理は、例えば、連続する複数の撮影情報を用いる公知のSfM(Structure from Motion)処理に基づくものである。
図1の(2)には、3次元情報算出処理による算出結果の一例が示されている。例えば、サーバ3が当該算出結果を記憶するとともに表示部に表示する。ウェアラブル装置2が各種情報の表示機能を有する場合、記憶媒体を介してウェアラブル装置2がサーバ3から取得した算出結果(又はサーバ3から送信された算出結果)は、ウェアラブル装置2の表示部によって表示されてもよい。
図1の(2)に示されるように、撮影情報IM1及び撮影情報IM2の両者に含まれる周辺環境の外形上の特徴点が抽出され、同一と想定される特徴点が満たすべきエピポーラ幾何の拘束条件に基づいて、撮影情報IM1及び撮影情報IM2のそれぞれの撮影位置及び撮影方向と、各特徴点について仮想3次元空間における3次元座標とが復元される。
次に、復元された撮影情報IM1及び撮影情報IM2のそれぞれの撮影位置及び撮影方向に基づいて、両者の撮影情報に含まれる各画素の仮想3次元空間における3次元座標である位置情報が算出される。この位置情報は、周辺環境の立体形状を示すための仮想3次元空間における3次元座標を持つ3次元点群データである。全ての撮影情報に対して撮影位置及び撮影方向が復元されることで、全ての撮影情報に含まれる各画素の仮想3次元空間における3次元座標の特定が可能となり、全ての撮影情報の範囲内にある各種物体の位置情報が算出される。さらに、算出された位置情報である仮想3次元空間における各種物体の立体形状を示す3次元点群データに基づいて、周辺環境のサーフェスモデルである仮想3次元空間モデルが生成される。なお、復元対象の撮影位置及び撮影方向は、一部の撮影情報に対応するものであってもよい。
図1の(2)に示される仮想3次元空間における撮影位置の3次元座標を示す撮影位置情報は、例えば、先に撮影を行った撮影位置S1と次に撮影を行った撮影位置S2との間の並進ベクトル及び回転行列に基づいて算出される。
サーバ3は、複数の撮影情報に基づいて仮想3次元空間モデル及び撮影位置情報を算出すると、視線情報と算出した仮想3次元空間モデル及び撮影位置情報とに基づいて、各撮影位置においてユーザが注視している周辺環境の注視点位置の仮想3次元空間における3次元座標を示す注視点位置情報を算出する注視点算出処理を実行する。
注視点算出処理では、まず、サーバ3は、撮影位置情報及び視線情報に基づいて、撮影位置から視線情報に基づく視線方向に延長した線分を算出する。そして、サーバ3は、生成された仮想3次元空間モデルに基づいて、周辺環境の外形の表面と線分との最初の交点を注視点とし、注視点の位置の仮想3次元空間における位置座標を注視点位置情報として算出する。
図1の(3)には、仮想3次元空間モデルに基づき、任意の視点位置から対象の周辺環境を鳥瞰した3次元モデル画像と、注視点の位置とを含む表示画面の一例が示されている。当該表示画面は、例えば、サーバ3によって表示される。当該表示画面は、サーバ3からウェアラブル装置2に送信され、ウェアラブル装置2の表示部によって表示されてもよい。ウェアラブル装置2が3次元モデル画像を表示する場合は、ウェアラブル装置2の現在の位置に対応する仮想3次元空間内の視点位置からの透視投影によって、仮想3次元空間内の仮想3次元空間モデルを仮想スクリーンに投影した3次元モデル画像が表示される。
このように、注視行動調査システム1は、複数の撮影情報及び複数の視線情報により、施設内におけるどのような位置においてもウェアラブル装置2の撮影位置及びユーザの注視点を安定して取得することが可能となり、同時にユーザの周辺環境の仮想3次元空間モデルを生成することが可能となる。また、GPSが使用できない室内の施設内においても、位置特定装置を新たに設ける必要がないため、注視行動調査システム1は、ウェアラブル装置2の撮影位置及びユーザの注視点の位置の算出処理を安価に実行することが可能となる。さらに、注視行動調査システム1は、複数の撮影情報及び複数の視線情報に基づいて、周辺環境の立体形状を示す3次元モデル画像を表示するとともに、ユーザの注視点を3次元モデル画像上に表示することができる。
なお、上述した図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
(注視行動調査システム1)
図2は、注視行動調査システム1の概略構成の一例を示す図である。注視行動調査システム1は、ウェアラブル装置2と、サーバ3とを有する。以下、注視行動調査システム1は、点検作業者等のユーザが所定の施設内の複数の点検対象を点検する際に使用される場合を例に説明する。図2に示すように、ウェアラブル装置2とサーバ3との情報の受け渡しは、記憶媒体Mを介して行われる。
所定の施設は、石油、石油精製、石油化学、ガス、一般化学、電気、製鉄、原子力、石炭、造水、農業、飼料、生化学、食品、医薬品、医療、情報、通信、運輸、流通、備蓄、都市開発、上下水道、産業公害防止、災害防止、環境保全、宇宙開発、建設、土木、測量等に関する施設、紙・パルプ、窯業・セメント、金属精錬、建築資材等の製造、生産に関する施設等である。設備の点検の対象は、施設内の設備(配管、機器、機械等)からの漏れ、減肉若しくは損傷等の健全性監視、又は、振動、計器類、気温、湿度若しくは特定のガス濃度等、作業員の健康管理のためのバイタル生命センサ等を計測する地点等である。以下、所定の施設を、単に「施設」と称する場合がある。
(ウェアラブル装置2)
図3(a)は、ウェアラブル装置2の外観の一例を示す斜視図である。
図3(a)に示すウェアラブル装置2は、所定の施設内に配置される複数の設備を点検するユーザの頭部に装着される眼鏡型ウェアラブル端末である。ウェアラブル装置2は、各種情報を保存する記憶部21、施設内を撮影し且つ撮影した撮影情報を取得する撮影部22、ユーザの視線方向及び注視点位置を検出する視線検出部23、記憶媒体を着脱可能に保持する装着部24、各種情報を処理する処理部25を備える。また、ウェアラブル装置2は、各種情報を表示するためのヘッドマウントディスプレイ(Head Mounted Display,HMD)方式の表示部を備えてもよい。また、ウェアラブル装置2は、サーバ3との通信のための通信部を備えてもよい。また、ウェアラブル装置2の記憶部21、撮影部22、視線検出部23、装着部24及び処理部25は、同一の筐体内に格納される。なお、記憶部21、撮影部22、視線検出部23、装着部24及び処理部25は、それぞれ異なる筐体内に格納されてもよく、また、少なくとも2つの筐体に格納されてもよい。
図3(b)は、ウェアラブル装置2の概略構成の一例を示す図である。
記憶部21は、例えば、半導体メモリを有する。記憶部21は、処理部25での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部21は、ドライバプログラムとして、撮影部22を制御する撮影デバイスドライバプログラム、視線検出部23を制御する検出デバイスドライバプログラム、装着部24を制御する情報記録/読出デバイスドライバプログラム等を記憶する。また、記憶部21は、アプリケーションプログラムとして、記憶媒体Mに情報を記憶する記憶処理プログラム等を記憶する。また、記憶部21は、データとして、撮影部22が撮像した画像を記憶する。
撮影部22は、結像光学系、及び撮像素子等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像を出力する。撮影部22は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力する。又は、撮影部22は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。撮影部22は、画像を出力する際に、画像の取得時刻を対応付けてもよい。
視線検出部23は、例えば、ユーザの眼球に赤外線を照射するとともに角膜表面における反射像を撮影し、瞳孔中心と反射像との距離によって視線を求める角膜反射法を用いて、ユーザの視線の方向を検出する。視線検出部23は、眼電位センサを用いた眼球電位法を用いてユーザの視線の方向を検出してもよい。視線検出部23は、上述の2つの手法に限らず、ユーザの視線の方向を検出できる手法であればどのようなものを用いてもよく、また、視線検出部23はその手法を実現するための各種装置を備えてもよい。
図3(a)に示すように、視線検出部23は、ユーザの左右の眼球毎に視線の方向を検出し、両者の視線が交差した地点を注視点として算出するとともに、ウェアラブル装置2の中心位置(例えば、左右の眼球の中間位置等)から注視点に向けて結んだ直線の方向を、ユーザの視線方向として検出する。なお、撮影部22による撮影タイミングと視線検出部23による検出タイミングは同時であってもよい。
視線検出部23によって検出された視線方向は、例えば、図3(a)に示されるx軸、y軸、z軸に示される装置座標系に基づく単位ベクトルで示される。なお、装置座標系のz軸方向は撮影方向である。視線検出部23は、検出された視線方向を示す視線情報を所定時間ごとに出力する。視線検出部23は、視線情報を出力する際に、同一のタイミングにて取得された撮影情報、及び、視線情報の取得時刻、のうちの少なくとも一方を、当該視線情報に対応付けてもよい。
装着部24は、記憶媒体Mを着脱可能に保持するカードスロットを備える。例えば、記憶媒体MがSDメモリカードである場合は、装着部24はSDカードスロットを備える。装着部24は、装着された記憶媒体Mに記憶された各種情報を読み出す機能及び装着された記憶媒体Mに各種情報を記録する機能を有する。
処理部25は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部25は、ウェアラブル装置2の全体的な動作を統括的に制御するものであり、例えば、各種プログラムによって、各種処理の実行及び機器の制御等を行う回路(circuitry)であるCPU(Central Processing Unit)である。処理部25は、ウェアラブル装置2の各種処理が記憶部21に記憶されているプログラムからの出力等に応じて適切な手順で実行されるように、撮影部22、視線検出部23、装着部24等の動作を制御する。処理部25は、記憶部21に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、処理部25は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
処理部25は、取得部251と、記憶処理部252とを有する。処理部25が有するこれらの各部は、処理部25が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、処理部25が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてウェアラブル装置2に実装されてもよい。
(サーバ3)
図4は、サーバ3の概略構成の一例を示す図である。
サーバ3は、特に、ウェアラブル装置2からのデータを取得し、3次元情報算出処理、注視点算出処理、及び点検記録算出処理を実行し、各種算出処理の結果等のデータを記憶及び/又は表示する機能を有する。これらの機能を実現するために、サーバ3は、サーバ記憶部31、サーバ表示部32、サーバ装着部33、サーバ処理部34を備える。
サーバ記憶部31は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。サーバ記憶部31は、サーバ処理部34による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部31は、ドライバプログラムとして、サーバ表示部32を制御する表示デバイスドライバプログラム、サーバ装着部33を制御する情報記録/読出デバイスドライバプログラム等を記憶する。各種プログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部31にインストールされてもよい。なお、サーバ記憶部31は、データとして、後述する各種テーブル等を記憶する。
サーバ表示部32は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機ELディスプレイ等である。サーバ表示部32は、サーバ処理部34から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。
サーバ装着部33は、記憶媒体Mを着脱可能に保持するカードスロットを備える。例えば、記憶媒体MがSDメモリカードである場合は、サーバ装着部33はSDカードスロットを備える。サーバ装着部33は、装着された記憶媒体Mに記憶された各種情報を読み出す機能及び装着された記憶媒体Mに各種情報を記録する機能を有する。
サーバ処理部34は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部34は、サーバ3の全体的な動作を統括的に制御するものであり、例えば、各種プログラムによって、各種処理の実行及び機器の制御等を行う回路(circuitry)であるCPUである。サーバ処理部34は、サーバ3の各種処理がサーバ記憶部31に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ表示部32及びサーバ装着部33等の動作を制御する。サーバ処理部34は、サーバ記憶部31に記憶されているプログラム(オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、サーバ処理部34は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
サーバ処理部34は、サーバ取得部341と、算出部342と、サーバ表示処理部343と、サーバ記憶処理部344とを有する。サーバ処理部34が有するこれらの各部は、サーバ処理部34が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部34が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ3に実装されてもよい。
図5(a)は、ウェアラブル装置2の使用例を示す模式図である。
図5(a)に示されるように、ユーザは、所定の施設内の複数の点検対象を点検する場合にウェアラブル装置2を装着する。ユーザの頭部に装着されたウェアラブル装置2の撮影部22は、所定時間ごとに撮影を行う。
図5(b)及び(c)は、ウェアラブル装置2の撮影部22によって撮影された、連続する2つの撮影情報の一例である。図5(b)に示される撮影情報が、ウェアラブル装置2の撮影部22によって先に撮影されたものであり、図5(c)に示される撮影情報が、ウェアラブル装置2の撮影部22によって後に撮影されたものである。
サーバ3が、図5(b)及び(c)に示される連続する2つの撮影情報を、ウェアラブル装置2から取得すると、サーバ3は、取得した連続する2つの撮影情報に基づいて、公知のSfM処理等の3次元情報算出処理を実行する。
3次元情報算出処理において、まず、サーバ3は、2つの撮影情報のそれぞれに対して、公知の局所特徴量抽出法等を用いて、複数の特徴点を抽出して、各特徴点の局所特徴量を算出する。局所特徴量抽出法は、SURF(Speeded Up Robust Features)法又はSIFT(Scale-Invariant Feature Transform)法等である。図5(b)及び(c)には、特徴点の抽出結果が示されている。特徴点の抽出方法は、上述の方法に限らず、ヘシアン行列等の既知の方法であってもよい。
次に、サーバ3は、エピポーラ幾何の拘束条件により、2つの撮影情報のそれぞれで抽出した複数の特徴点に基づいて、図6(a)に示すようなX軸、Y軸、Z軸からなる仮想3次元空間における、撮影位置の並進ベクトルt及び回転行列Rを算出する。エピポーラ幾何の拘束条件は、次の式(1)のとおりである。
先の撮影情報に含まれる特徴点の画像平面座標は、次の式(2)のとおりである。
後の撮影情報に含まれる特徴点の画像平面座標は、次の式(3)のとおりである。
次に、サーバ3は、先の撮影情報に対応する撮影部22の内部パラメータ行列K1、後の撮影情報に対応する撮影部22の内部パラメータ行列K2と、式(1)で導出される基礎行列Fとを用いて、次の式(4)に従って基本行列Eを算出する。
次に、サーバ3は、公知の分解方法を用いて、基本行列Eを、並進ベクトルt及び回転行列Rに分解する。並進ベクトルt及び回転行列Rによって、複数の特徴点の位置、先の撮影情報に対応する撮影位置、後の撮影情報に対応する撮影位置のそれぞれについての3次元での相対位置が示される。
次に、サーバ3は、ウェアラブル装置2から取得した複数の撮影情報において、全ての連続する2の撮影情報の組合せについて、上述のように、並進ベクトルt及び回転行列Rを算出する。
例えば、サーバ3は、ウェアラブル装置2から取得した複数の撮影情報のうちの最初の撮影情報の位置を、仮想3次元空間の原点座標(X,Y,Z)=(0,0,0)とする。次に、サーバ3は、撮影情報の順番に従って、連続する2の撮影情報の組合せについて算出した並進ベクトルtを順次累積することで、連続する2の撮影情報の組合せうちの後の撮影情報の撮影位置の仮想3次元空間における座標値を算出する。次に、サーバ3は、回転行列Rを累積することで、撮影部22の姿勢(仮想3次元空間の座標系と装置座標系との回転量)を算出する。すなわち、撮影部22の装置座標系のz軸が撮影方向であるので、サーバ3は、連続する2の撮影情報の組合せについて算出した回転行列Rを用いて、各撮影情報を撮影した際の装置座標系のz軸方向(例えばz軸方向の単位ベクトル等)を仮想3次元空間の座標系に変換する。次に、サーバ3は、撮影位置の仮想3次元空間における座標値を起点とした変換後のz軸の方向を撮影方向として算出する。次に、サーバ3は、複数の撮影情報のそれぞれについて算出した仮想三次元空間における撮影位置を示す情報及び撮影方向を示す情報を、それぞれ撮影位置情報及び撮影方向情報としてサーバ記憶部31に記憶する。なお、サーバ3は、撮影情報から当該撮影情報に含まれる設備の高さ方向を算出し、仮想3次元空間の座標系のZ軸方向を算出した高さ方向となるように、撮影位置及び撮影方向を回転させてもよい。
そして、サーバ3は、公知の技術である多視点画像計測の手法を用い、複数の撮影情報に対応する撮影位置と撮影方向から、対象の施設の3次元点群計測を行う。サーバ3は、撮影位置及び撮影方向に代えて、複数の撮影情報に対応する並進ベクトルt及び回転行列Rを用いて対象の施設の3次元点群計測を行ってもよい。サーバ3は、複数枚の撮影情報(画像)の各画素を、各撮影情報の撮影位置、撮影方向から自動マッチングし、各画素に対応する仮想3次元空間における3次元座標を算出する。なお、複数の撮影情報の画素に対して算出した3次元座標が、施設の外形の表面を規定する仮想3次元空間における3次元座標である。施設の外形の表面を規定する複数の3次元座標が、施設の外形の表面を示す3次元点群データであり、サーバ3は、当該3次元点群データを設備位置情報としてサーバ記憶部31に記憶する。さらに、サーバ3は、施設の外形の表面を規定する仮想3次元空間における3次元座標である設備位置情報より、立体形状の表面認識を行うことで、施設内の設備の立体形状を示したサーフェスモデルである仮想3次元空間モデルを生成し、生成した仮想3次元空間モデルをサーバ記憶部31に記憶する。以上により、3次元情報算出処理が終了する。
図6(a)に示される例では、サーバ3は、設備位置情報に基づいて、仮想3次元空間における施設内の設備の立体形状を示す仮想3次元空間モデルを作成する。次に、サーバ3は、仮想3次元空間モデルに基づいて、任意の視点位置から対象の設備を俯瞰または仰瞰した3次元モデル画像を生成し、サーバ表示部32に表示する。サーバ3は、3次元モデル画像を表示する際に、仮想3次元空間モデルである設備のサーフェスモデルの表面に、その位置に該当する撮影情報の画像を貼り付けて表示してもよい。
3次元情報算出処理が終了すると、注視点算出処理が実行される。以下、注視点算出処理について説明する。
まず、サーバ3は、サーバ記憶部31に記憶されている各撮影情報の撮影位置から、当該撮影情報に対応する視線情報によって示される視線方向に延長した線分を算出する。なお、撮影情報に対応する視線情報は、撮影情報によって示される撮影位置において撮影が行われたタイミング(撮影情報の取得タイミング)に最も近いタイミングで取得された視線情報である。このように、視線方向に延長した線分を算出することによって、例えば、視線情報が、単位ベクトルで表現された情報である場合、仮想3次元空間モデルによって示される各設備の外形の表面と視線情報によって示されるベクトルとが交差しないことを未然に防ぐことが可能となる。
そして、サーバ3は、仮想3次元空間モデルに基づいて、各設備の外形の表面と線分との最初の交点を、注視点として算出する。サーバ3は、算出した注視点の仮想3次元座標を示す情報を注視点位置情報として記憶する。
サーバ3は撮影情報によって示される撮影位置から、各撮影情報に対応する視線情報によって示される注視点までのベクトル画像を生成して、サーバ表示部32に表示する。図6(b)に示すように、仮想3次元空間モデルに基づく3次元モデル画像とともに、撮影位置及び注視点が表示されることによって、ユーザが各設備のどの位置を、どの場所から注視していたかを把握することができる。
さらに、サーバ3は、注視点位置情報に基づいて、対象の設備の表面のうち注視点が集中している位置を抽出し、当該位置を強調表示した3次元モデル画像をサーバ表示部32に表示してもよい。例えば、サーバ3は、注視点間の距離を算出し、注視点ごとに、算出された距離が所定距離以内である他の注視点の数を算出し、算出された他の注視点の数に応じた表示態様に基づいて、各注視点をサーバ表示部32に表示してもよい。あるいは、サーバ3は、仮想3次元空間モデルの外形の表面を所定の間隔による格子状の領域に分割、分割された各領域内に含まれる注視点の数を集計し、注視点の数に応じて当該領域を階調表現で表示してもよい。
例えば、図6(b)では、注視点が集中している箇所は、注視点の集中程度に応じて☆のマークを大きく、それ以外の場所は小さく表示されている。これは、設備上の任意の箇所に対して、所定の時間間隔毎に発生する注視点の数が集計されることで、当該箇所の注視時間が算出される。すなわち、注視点の数に所定の時間間隔を乗算することで、当該注視点に対応する箇所の注視時間が算出される。従って、注視点が集中している箇所は、長時間又は高頻度で当該箇所を注視していたこととなり、重要な点検箇所であることが把握できる。このように、より注視している位置の表示態様を、他の注視点よりも明瞭に表示することで、重要な箇所を容易に提示することが可能となる。
サーバ3は、撮影位置情報に基づいて、その平面座標を使用してユーザが対象の設備を点検する際の点検経路情報を生成してもよい。点検経路情報は、撮影位置情報の平面座標を連続させた線情報として生成される。なお、点検経路情報が生成される際に用いられる撮影位置情報は、3次元情報算出処理で算出された撮影位置情報の全て又は一部であり、平面座標は、撮影位置情報に含まれる高さ情報(Z軸方向の座標値)の座標以外の2次元座標(X軸方向及びY軸方向の座標値)である。例えば、算出部X342は、3次元情報算出処理で算出された撮影位置情報の全て又は一部を抽出し、抽出された各撮影位置情報に含まれる平面座標を特定する。そして、算出部342は、各撮影位置情報の時刻に従って連続する2つの平面座標を線分で結ぶことによって生成した折れ線を示す点検経路情報を生成する。生成された点検経路情報は、サーバ表示部32の3次元モデル画像上に表示することで、サーバ3は、点検者の経路情報を明示することができる。又はウェアラブル装置2は、点検者の経路情報を表示部(図示しない)上に表示することで、ユーザは、本実施形態のウェアラブル装置2を、設備の点検時における経路情報の案内として利用することが可能となる。
さらに、サーバ3は、点検経路上の任意の地点に対して、所定の時間毎に発生する撮影位置の数を集計することで、当該地点の滞留時間を算出する。撮影位置が一部地点に集中している場所は、ユーザが点検に時間を要している場所であることから、サーバ3は、当該地点を重点点検地点として抽出し、当該地点を強調表示した3次元モデル画像をサーバ表示部32に表示してもよい。例えば、サーバ3は、複数の撮影位置相互間の距離を算出し、撮影位置ごとに、距離が所定距離以内である他の撮影位置の数を算出し、算出された他の撮影位置の数に応じた表示態様に基づいて、各撮影位置をサーバ表示部32に表示してもよい。また、ウェアラブル装置2は、サーバ3から取得した各撮影位置における他の撮影位置の数に応じた表示態様に基づいて、各撮影位置を表示部(図示しない)に表示してもよい。
また、点検作業が同一フロアで行われる場合では、撮影位置情報の高さ情報(Z軸方向の座標値)が、他の撮影位置情報の高さ情報と異なる場所は、ユーザが点検する際に体をかがませる等の体勢を変えたり、はしごや踏み台等を使ったりして点検をしている場所であることがわかる。従って、サーバ3は、撮影位置情報から該当する場所(他の撮影位置情報の高さ情報と異なる場所)を抽出し、その場所を他の撮影位置と異なる表示態様で、各撮影位置をサーバ表示部32に表示してもよい。また、ウェアラブル装置2は、サーバ3から取得した他の撮影位置情報の高さ情報と異なる場所においては、他の撮影位置と異なる表示態様で各撮影位置を表示部(図示しない)に表示してもよい。
さらに、サーバ3は、抽出した重点点検地点毎に、対応する視線情報より注視点が集中している対象の設備上の位置を重点点検箇所として抽出し、ユーザの操作により、重点点検地点と重点点検箇所とを関連付けた表示態様で、サーバ表示部32に表示してもよい。また、ウェアラブル装置2は、サーバ3から取得した重点点検地点及び重点点検箇所に基づいて、重点点検地点と重点点検箇所とを関連付けた表示態様で、表示部(図示しない)に表示してもよい。
従来から、大規模な工場及びプラント等の施設内では、定期的に作業員による設備の巡回点検が行われているが、作業員が点検すべき対象は広範囲にわたり且つ巡回点検作業が複雑であるにもかかわらず、詳細な点検マニュアルが整備されている事例は必ずしも多くない。このため、熟練した作業員が巡回点検を行う場合における巡回経路、点検地点、点検箇所を含む設備の点検手法を可視化し、点検マニュアルを整備することが望まれている。これに対し、上述のように、大規模な工場及びプラント等の施設内において注視行動調査システム1が用いられることによって、ユーザの点検経路、重点点検地点、重点点検箇所の明示が可能となり、当該注視行動調査システム1は、大規模な工場及び/又はプラント等の設備の点検手法の可視化に資するものとなる。
図7(a)には、設備配置テーブルが示されている。設備配置テーブルには、各設備について、当該設備の設備ID、3次元設計モデル情報、設備名称、設備図面、座標系等が互いに関連付けて記憶される。3次元設計モデル情報は、所定の施設内に配置された複数の設備の配置位置及び外形の形状等を示す設計モデル情報である。設備配置テーブルには、設備の他に、計器類及び気温、湿度若しくは特定のガス濃度等を計測する地点等に係る情報が記憶されてもよい。この場合、3次元設計モデル情報として、計器類又は計測地点の位置情報が記憶される。設備配置テーブルの作成対象を、重点点検箇所を対象としてもよい。
図7(b)には、点検結果テーブルが示されている。点検結果テーブルには、時刻ごとに、撮影位置情報、視線情報及び注視点位置情報等が互いに関連付けて記憶される。
(注視行動調査システム1の動作シーケンス)
図8は、注視行動調査システム1の動作シーケンスの一例を示す図である。この動作シーケンスは、予めサーバ記憶部31及び記憶部21に記憶されているプログラムに基づいて、主にサーバ処理部34及び処理部25により、サーバ3及びウェアラブル装置2の各要素と協働して実行される。
最初に、ユーザの頭部に装着されるウェアラブル装置2の撮影部22は、所定時間ごとに、特定方向の施設内を撮影する。また、ウェアラブル装置2の視線検出部23は、所定時間ごとに、ユーザの視線方向を検出する。取得部251は、撮影部22から撮影情報を取得するとともに、視線検出部23から視線情報を取得し、記憶処理部252は、取得した撮影情報と視線情報とを、装着部24に装着された記憶媒体Mに記憶する(ステップS101)。
次に、サーバ3のサーバ取得部341は、ウェアラブル装置2から記憶媒体Mを介して撮影情報及び視線情報を取得すると、取得時刻に対応する撮影情報及び視線情報を算出部342に渡すとともに、3次元情報算出処理の実行を算出部342に指示する。算出部342は、サーバ取得部341から算出処理の実行を指示されると、3次元情報算出処理を実行する(ステップS102)。3次元情報算出処理の詳細は後述する。
次に、算出部342は、3次元情報算出処理が終了すると、注視点算出処理を実行する(ステップS103)。注視点算出処理の詳細は後述する。
次に、算出部342は、注視点算出処理が終了すると、点検記録算出処理を実行する(ステップS104)。点検記録算出処理の詳細は後述する。
なお、サーバ3のサーバ表示処理部343は、システム管理者等の指示に応じて、3次元モデル画像及び注視点を、サーバ表示部32に表示してもよい。サーバ表示処理部343は、点検記録算出処理にて算出された、点検経路情報、重点点検地点、及び重点点検箇所のうちの少なくとも一方を、3次元モデル画像に代えて又は3次元モデル画像とともに表示してもよい。次に、サーバ記憶処理部344は、取得した撮影情報と視線情報とともに、算出した点検経路情報や重点点検地点、重点点検箇所とを、あるいは、点検結果テーブル及び/または設備配置テーブルに含まれる各種情報とを、サーバ装着部33に装着された記憶媒体Mに記憶する(ステップS105)。
次に、ウェアラブル装置2の取得部251は、記憶媒体Mを介してサーバ3から各種情報を取得すると、記憶処理部252は、取得した各種情報を記憶部21に記憶する(ステップS106)。
以下、ウェアラブル装置2が眼鏡型ウェアラブル端末のVRディスプレイを備える場合を例に説明する。ウェアラブル装置2の処理部25は、公知の画像照合技術を用いて、撮影情報に含まれる設備の形状と設備位置情報に含まれる設備の形状とをマッチングする。次に、処理部25は、マッチング結果に基づいて、ユーザの眼球の位置から見た場合における、各施設のVRディスプレイ上の位置を算出する。そして、処理部25は、ユーザが注視点の位置を見た場合におけるユーザの視線とディスプレイの交点に注視点を示す画像を表示する。あるいは、算出した点検経路情報、重点点検地点、重点点検箇所のうちの少なくとも一方を示す画像を表示してもよい。
また、処理部25は、3次元モデル画像を眼鏡型ウェアラブル端末のVRディスプレイに表示するとともに、3次元モデル画像の設備の形状上に、注視点位置情報によって示される注視点及び/または算出した点検経路情報、重点点検地点、重点点検箇所のうちの少なくとも一方とを示す画像を表示してもよい。
(3次元情報算出処理)
図9は、3次元情報算出処理の動作フローの一例を示す図である。図9に示す3次元情報算出処理は、図8のステップS102において実行される。
最初に、算出部342は、サーバ取得部341から受け取った撮影情報のうち、連続する2つの撮影画像を取得する(ステップS201)。
次に、算出部342は、既知の抽出方法に基づいて2つの撮影情報の中に共通して含まれる設備の特徴点を抽出する(ステップS202)。
次に、算出部342は、SfM処理等を用いて、撮影位置の並進ベクトルt及び回転行列Rを算出する(ステップS203)。
そして、算出部342は、並進ベクトルt及び回転行列Rに基づいて、先の撮影情報に対応する撮影位置と撮影方向を、後の撮影情報に対応する撮影位置と撮影方向とを仮想3次元空間における3次元座標に変換し、変換した3次元座標を示す撮影位置情報と撮影方向とを算出する。同様の処理を全ての撮影情報に対して行い、全ての撮影情報に対応する撮影位置と撮影方向とを算出する(ステップS204)。
全ての撮影情報に対応する撮影位置と撮影方向を使って、複数枚の撮影情報(画像)の各画素を、各撮影情報の撮影位置、撮影方向から自動マッチングし、各画素に対応する仮想3次元空間における3次元座標を示す設備位置情報を算出することで、施設内の設備の立体形状を示す仮想3次元空間モデルを生成し(ステップS205)、一連のステップを終了する。なお、算出部342は、算出した各種情報を、取得時刻に対応付けて点検結果テーブル等に記憶する。また、算出部342は、設備位置情報及び/又は仮想3次元空間モデルをサーバ記憶部31に記憶する。算出部342は記憶処理部の一例である。
(注視点算出処理)
図10は、注視点算出処理の動作フローの一例を示す図である。図10に示す注視点算出処理は、図8のステップS103において実行される。
最初に、算出部342は、各撮影情報に対応する撮影位置の仮想3次元空間における3次元座標から、同じタイミングで取得された視線情報によって示される視線方向に延長した線分を算出する(ステップS301)。
次に、算出部342は、設備の仮想3次元空間モデルに基づいて、各設備の外形の表面と線分との最初の交点を、注視点として算出し(ステップS302)、一連のステップを終了する。
(点検記録算出処理)
図11は、点検経路情報、重点点検地点、重点点検箇所等を含む点検記録を算出する点検記録算出処理の動作フローの一例を示す図である。図11に示す点検記録算出処理は、図8のステップS104において実行される。
全ての撮影情報の撮影位置、注視点位置が算出されたら、算出部342は、対象の設備の表面のうち注視点が集中している位置を抽出する。設備を示す仮想3次元空間モデルの外形の表面に対して、単位領域(例えば、仮想3次元空間モデルの外形の表面を、所定の間隔で分割した複数の格子状の領域等)あたりの注視点の数を集計する。算出部342は、集計した注視点の数が、所定の数を超える単位領域を重点点検箇所とする(ステップS401)。
次に、算出部342は、撮影位置情報に基づいて、その平面座標を使用して点検経路情報を生成する(ステップS402)。点検経路情報は、撮影位置情報の平面座標を連続させた線情報として生成される。
次に、算出部342は、点検経路上のうち撮影位置が集中している場所を重点点検地点として抽出する。例えば、算出部342は、複数の撮影位置相互間の距離を算出し、撮影位置ごとに、距離が所定距離以内である他の撮影位置の数を算出し、所定の数を超えるものを重点点検地点とする。また、算出部342は、併せて撮影位置情報の高さ情報(Z軸方向の座標値)が、他の撮影位置情報の高さ情報と異なる場所を抽出する(ステップS403)。
次に、算出部342は、設備配置テーブルを作成する。設備配置テーブルは、各設備について、当該設備の設備ID、3次元設計モデル情報、設備名称、設備図面、座標系等が互いに関連付けて記憶されることで作成するが、算出された重点点検地点から、その撮影場所に対応する重点点検箇所を対応させて作成してもよい(ステップS404)。
サーバ3のサーバ表示処理部343は、ステップS401~S404のように作成された点検経路情報、重点点検地点、及び重点点検箇所のうちの少なくとも一方を、システム管理者等の指示に応じて、3次元モデル画像及び注視点上に重ね合わせてサーバ表示部32で表示し(ステップS405)、一連のステップが終了する。サーバ3は、ウェアラブル装置2の表示部(図示しない)で表示できるように、点検経路情報、重点点検地点、及び重点点検箇所のうちの少なくとも一方と、3次元モデル画像及び注視点とをウェアラブル装置2に送信してもよい。
以上説明してきたように、注視行動調査システム1は、複数の撮影情報及び複数の視線情報により、どのような位置においてもウェアラブル装置2の撮影位置及びユーザの注視点を安定して取得することが可能となり、同時にユーザ周辺の仮想3次元空間モデルを生成することが可能となる。また、注視行動調査システム1では、カメラ等の光学センサ以外のセンサを用いる必要がないため、ウェアラブル装置2の撮影位置及びユーザの注視点の位置の算出処理を安価に実行することが可能となる。また、注視行動調査システム1は、複数の撮影情報及び複数の視線情報に基づいて、ユーザの周辺環境の立体形状を示す3次元モデル画像を表示するとともに、ユーザの注視点や、点検経路情報、重点点検地点、重点点検箇所を3次元モデル画像上に表示することができる。
(変形例1)
上述では、注視行動調査システム1が点検作業者等のユーザが所定の施設内の複数の点検対象を点検する際に使用される場合を例に説明したが、注視行動調査システム1の適用場所は、点検作業者が点検する施設に限らない。
例えば、注視行動調査システム1のウェアラブル装置2は、一般のユーザによって日常的に用いられてもよい。この場合、サーバ3は、ユーザが移動した際の周辺環境における注視点に対する物体(例えば、商業施設内においてユーザによって注視された商品、街路においてユーザによって注視された広告)を特定することが可能となる。
(変形例2)
また、設備の仮想3次元空間モデルとして、あらかじめCAD(Computer Aided Design)等により作成されている3次元設計モデルが使用されてもよい。この場合、サーバ3は、3次元設計モデルにおける設備の位置座標を、仮想3次元空間における位置座標に適用させた上でサーバ記憶部31に記憶させる。また、注視点は、3次元設計モデル情報と、撮影位置から視線情報に基づく視線方向に延長した線分との交点でもよい。
例えば、算出部342は、公知の立体モデルの照合処理を用いて、設備位置情報によって規定される各設備の外形の形状と、3次元設計モデル情報によって示される複数の設備の外形の形状とが略一致するように、設備位置情報における仮想3次元空間モデルの座標軸、又は、3次元設計モデル情報の座標軸を、所定距離だけ移動させるとともに所定の回転角度で回転させる。
次に、算出部342は、仮想3次元空間モデルにおける座標軸の移動及び回転の場合は、それに伴い、撮影位置情報によって示される撮影位置及び視線情報によって示される視線方向も、所定距離だけ移動させるとともに所定の回転角度で回転させる。そして、算出部342は、3次元設計モデル情報によって示される複数の設備の外形の表面と、移動及び回転後の撮影位置から、移動及び回転後の視線方向に延長した線分との交点を、注視点として算出し、算出した注視点を示す位置情報を注視点位置情報として、サーバ記憶部31に記憶する。3次元設計モデル情報の座標軸を移動及び回転した場合は、本処理は行わない。
(変形例3)
また、注視行動調査システム10は、通信ネットワークを介して相互に接続される、ウェアラブル装置20とサーバ30とを有してもよい。例えば、図12に示されるように、注視行動調査システム10が有するウェアラブル装置20とサーバ30とは、アクセスポイント4、ルータ5、及びインターネット6を介して相互に接続される。アクセスポイント4は、所定の施設内で構築される無線LAN(Local Area Network)のアクセスポイントである。サーバ30は、施設内に設置されても、施設外に設置されてもよい。なお、注視行動調査システム1は、サーバ30を制御するための外部コンピュータ(図示せず)を有してもよい。
この場合、サーバ30で実行されるプログラム(例えば、制御プログラム)と、ウェアラブル装置20で実行されるプログラム(例えば、通信プログラム)とは、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol,HTTP)等の通信プロトコルを用いて通信を行う。
ウェアラブル装置20は、図3に示すウェアラブル装置2と同様の構成を備え、更に通信部を備える。サーバ30は、図4に示すサーバ3と同様の構成を備え、更に、サーバ通信部を備える。
ウェアラブル装置20の通信部は、主に2.4GHz帯、5GHz帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信部は、無線LANのアクセスポイント4との間でIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.11規格の無線通信方式に基づいて無線通信を行う。なお、通信部の周波数帯域は、上記した周波数帯域に限定されない。そして、通信部は、アクセスポイント4から受信したデータを処理部25に供給し、処理部25から供給されたデータをアクセスポイント4に送信する。
なお、通信部は、主に2.1GHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、ウェアラブル装置20を通信ネットワーク(図示せず)に接続してもよい。この場合、通信部は、基地局(図示せず)により割り当てられるチャネルを介して、基地局との間でCDMA(Code Division Multiple Access)方式等による無線信号回線を確立し、基地局との間で通信を行う。なお、基地局との間の通信方式は、CDMA方式に限定されず、W-CDMA(Wideband Code Division Multiple Access)方式、LTE(Long Term Evolution)方式等の他の通信方式でもよく、今後使用される通信方式でもよい。また、通信部の周波数帯域は、上記した周波数帯域に限定されない。通信部は、基地局から受信したデータを処理部25に供給し、処理部25から供給されたデータを基地局に送信する。
サーバ30のサーバ通信部は、サーバ30をインターネット6に接続するための通信インターフェース回路を有する。サーバ通信部は、ウェアラブル装置20等から受信したデータをサーバ処理部34に供給する。また、サーバ通信部は、サーバ処理部34から供給されたデータをウェアラブル装置2等に送信する。
(変形例4)
また、ウェアラブル装置2又はウェアラブル装置20は表示部を備えてもよい。表示部は、動画像、静止画像等の出力が可能なHMD方式のディスプレイ装置である。表示部は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等でもよい。表示部は、処理部25から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。