以下、図面を参照しながら、放射線量分布表示システムおよび放射線量分布表示方法の実施形態について詳細に説明する。
図1の符号1は、本実施形態の放射線量分布表示システムである。この放射線量分布表示システム1は、作業現場に居る作業者Wが所持する現場端末2と、現場端末2を管理するための管理コンピュータ3とを備える。
作業者Wは、所定の作業エリアで点検または保守などの作業を行う。作業エリアは、例えば、建屋の部屋R(図5参照)の内部などである。なお、作業エリアは、屋外であっても良い。
放射線量分布表示システム1には、現場端末2と管理コンピュータ3との通信を中継する基地局4が設けられている。本実施形態では、基地局4と現場端末2とが無線通信回線により接続されている。基地局4と管理コンピュータ3とが有線通信回線により接続されている。
なお、基地局4は、作業エリアの内部、または作業エリアに近接する位置に設けられている。また、1つの作業エリアに対して複数の基地局4が設けられていても良い。つまり、現場端末2が複数の基地局4から発信される電波を受信できる環境であっても良い。
作業エリアが設けられている建屋としては、例えば、原子力プラントなどの原子力施設を例示する。このような原子力施設の放射線管理区域では、作業エリアの放射線量が予め測定される。この測定に基づいて作成された放射線量分布マップD(図6参照)が管理コンピュータ3に記憶される。作業者Wは、現場端末2を用いて放射線量分布マップDを取得し、放射線量率が高い場所を把握し、被ばくのおそれがある場所を避けるようにする。
図6に示すように、放射線量分布マップDとは、作業エリアの放射線量の分布状況がマップ化されたデータである。この放射線量分布マップDは、作業エリアとなる所定の部屋R(図5参照)の線量を平面的に表したものとなっている。つまり、放射線量分布マップDは、部屋Rの平面図と一致するように生成される。この放射線量分布マップDにより、作業エリアとなる所定の部屋Rの平面視における放射線量の分布、特に放射線量が高い場所を確認できる。つまり、放射線量分布マップDは、所定位置に作業者Wが居た場合に、想定される単位時間当たりに浴びる放射線量を示している。例えば、放射線量分布マップDは、放射線量の強度を色分けした状態で示すコンター図Cを含む。
図1に示すように、現場端末2は、作業者Wの頭部に装着されて光学透過が可能な透過型ヘッドマウントディスプレイ5を備える。例えば、作業者Wの目の部分が透過型ヘッドマウントディスプレイ5で覆われる。この現場端末2は、作業者Wが装着可能なウェアラブルコンピュータ(スマートグラス)となっている。
透過型ヘッドマウントディスプレイ5は、透過型スクリーン(例えば、ハーフミラー)と、この透過型スクリーンに画像を投影する投影機器(例えば、プロジェクタ)とを備える。
作業者Wは、透過型ヘッドマウントディスプレイ5を通して外部の風景を視認しつつ、表示される画像を視認することができる。なお、透過型ヘッドマウントディスプレイ5に表示される画像は、背景が見える所定の透過率を有する態様で表示される。なお、背景が見えなくなる非透過の態様で表示しても良い。
透過型ヘッドマウントディスプレイ5は、管理コンピュータ3から取得した作業を支援するための情報を表示する。本実施形態では、放射線量分布マップD(図6参照)に基づいて生成された線量分布画像G1(図10参照)を床面Fの領域に重ね合わせて表示する。さらに、放射線量に関する注意を促す仮想物体画像G2(図11参照)を表示する。
例えば、線量分布画像G1を実際の床面Fの像に複合現実(MR:Mixed Reality)の技術を用いて重ね合わせて表示する。つまり、透過型ヘッドマウントディスプレイ5は、現場端末2を所持した作業者Wの周囲の放射線量分布マップDを仮想的に表示する。さらに、仮想物体画像G2を仮想的な物体(仮想タグ)として表示する。
透過型ヘッドマウントディスプレイ5には、実際の床面Fに線量分布画像G1が重ね合わせて表示されるため、作業者Wは、放射線量率が高い場所を把握し、被ばくのおそれがある場所を避けることができる。つまり、線量分布画像G1が、床面Fに重なることにより、作業者Wは、自分がどの場所に居ると放射線量率が高い場所を回避することができるかを、視覚的に把握することが可能となる。
なお、現場端末2は、透過型ヘッドマウントディスプレイ5とコンピュータ本体とが分離した構造でも良い。さらに、現場端末2は、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。
現場端末2がウェアラブルコンピュータであることで、現場端末2が作業者Wとともに移動可能となっている。また、現場端末2のハンズフリー化がなされているため、現場端末2の所持が作業者Wの作業の妨げとなることがない。
管理コンピュータ3は、例えば、サーバ用のPCなどの所定のコンピュータで構成される。現場端末2と管理コンピュータ3は、基地局4を介して通信可能に接続されている。なお、管理コンピュータ3は、基地局4にインターネットを介して接続されたクラウドサーバに実装されても良い。なお、現場端末2と管理コンピュータ3とを接続するための通信回線がない場合には、放射線量分布マップDなどの情報が、予め現場端末2に記憶されるようにしても良い。
図1に示すように、現場端末2は、カメラ6と3次元測定センサ7と放射線計測センサ8と入力操作部9とを備える。これらのデバイスは、作業者Wに装着されている。
カメラ6は、現場端末2の周辺の物体を可視光により撮影する。このカメラ6を用いて作業エリアの状況、つまり、現場端末2の周囲の画像(映像)をリアルタイムで取得することができる。なお、カメラ6は、現場端末2に予め組み込まれたものでも良いし、現場端末2に着脱可能に固定されたものでも良い。
なお、本実施形態の「物体」には、作業エリアである部屋Rの床面Fが含まれる。また、床面F以外の所定の物体Bが含まれる。床面F以外の物体Bには、機器、配管、壁、天井、階段、窓、扉、構造物、他の作業者Wなどが含まれる。
本実施形態では、カメラ6を用いてマーカ27(図4参照)を撮影したり、周囲の状況を撮影したりすることで、部屋R(作業エリア)における透過型ヘッドマウントディスプレイ5(現場端末2)の3次元空間の位置(座標)および姿勢を特定する。なお、カメラ6で撮影した画像は、透過型ヘッドマウントディスプレイ5の位置および姿勢の特定に用いられるものであり、透過型ヘッドマウントディスプレイ5に表示されるものではない。尤も表示しても良い。
カメラ6は、ステレオカメラであっても良い。例えば、レンズ付きの2つの画像素子を備えていても良い。カメラ6がステレオカメラであることで、物体B,F,Kを複数の異なる2つの方向から同時に撮影することにより、その物体B,F,Kまでの奥行き方向の情報が取得可能となる。また、ステレオカメラのそれぞれの画像素子により取得される画像は2次元画像であるが、これら2つの2次元画像に写る像の差異に基づいて、立体的な空間把握が可能な立体写真の生成が可能になる。
図3に示すように、3次元測定センサ7は、作業者Wが透過型ヘッドマウントディスプレイ5を通して見える視野方向にある物体B,F,Kの3次元形状および物体B,F,Kまでの距離を測定する。つまり、3次元測定センサ7は、現場端末2の周辺の物体B,F,Kの3次元形状を測定可能となっている。3次元測定センサ7としては、例えば、深度センサが用いられる。なお、3次元測定センサ7としては、赤外線センサまたはLiDARなどのレーザセンサを用いても良い。
この3次元測定センサ7は、物体B,F,Kに赤外線29またはレーザによりドットパターン(例えば、多数の点P(図8参照))を投光し、その反射光を受光素子により受光することで、現場端末2から物体B,F,Kまでの距離を測定することができる距離センサである。例えば、3次元測定センサ7は、投光パルスに対する受光パルスの遅れ時間を距離に換算するToF(Time of Flight)方式を用いて、現場端末2から周辺の物体までの距離を測定して3次元点群化する。3次元測定センサ7は、透過型ヘッドマウントディスプレイ5(現場端末2)から物体B,F,Kの所定の点までの距離を、3次元座標の2点間の距離として測定する。
図1に示すように、カメラ6と3次元測定センサ7とは、透過型ヘッドマウントディスプレイ5と一体化された状態で搭載されている。例えば、作業者Wが被るヘルメットに、透過型ヘッドマウントディスプレイ5とカメラ6と3次元測定センサ7とが搭載されている。
また、作業者Wが透過型ヘッドマウントディスプレイ5を通して見える視野方向と、カメラ6の撮影方向と、3次元測定センサ7の測定方向(走査方向)とが一致している。つまり、作業者Wが透過型ヘッドマウントディスプレイ5を透過して見える物体B,F,Kをカメラ6で撮影でき、かつその物体B,F,Kの形状を3次元測定センサ7で測定できる。
本実施形態において、現場端末2は、自位置および自姿勢を自動的に特定することができる。この現場端末2は、まず、作業エリアの壁面Kに予め設けられたマーカ27(図4参照)が提示する基準点Q(図6参照)に基づいて、自己の位置を推定する。この自己の位置を推定するシステムには、様々な技術が適用可能である。
現場端末2は、作業エリアに対応して予め設けられた基地局4から発信される電波に基づいて、自己の位置を推定可能となっている。例えば、Wi-Fi(登録商標)などの無線通信を利用して自己の位置を推定しても良い。
なお、現場端末2は、GPS(Global Positioning System)などの位置測定システムを有していても良い。そして、GPS衛星と無線通信することで自己の位置を推定しても良い。さらに、加速度センサなどを利用する歩行者自律航法(PDR:Pedestrian Dead Reckoning)により自己の位置を推定しても良い。
なお、本実施形態の現場端末2の位置を特定するために、複数種類のシステムを用いて、いずれか1つのシステムを主とし、他のシステムを補助的に用いても良い。
また、現場端末2の自位置および自姿勢の変位の算出に用いる位置推定技術には、SLAM(Simultaneous Localization and Mapping)、SfM(Structure from Motion)などの技術を用いることができる。
本実施形態の現場端末2は、VSLAM(Visual Simultaneous Localization and Mapping)を用いて、現場端末2で撮影された画像に基づいて、その位置および姿勢の変位を算出する。つまり、現場端末2は、例えば、屋内などのGPSが使用できない場所でも自己の位置を推定することができる。
VSLAM技術では、現場端末2のカメラ6または3次元測定センサ7などの所定のデバイスで取得した情報を用いて、周囲の物体B,F,Kの特徴点を抽出する。そして、カメラ6で撮影した動画像を解析し、物体B,F,Kの特徴点(例えば、角などの物体の部分)をリアルタイムに追跡する。そして、現場端末2の位置または姿勢の3次元情報を推定する。
放射線計測センサ8は、作業者Wに装着され、現場端末2の周囲の放射線量、つまり、作業者Wが作業中に浴びる放射線量を、リアルタイムまたは所定のタイミングで計測するものである。この放射線計測センサ8にて計測された放射線量は、管理コンピュータ3に送られる。そして、作業エリアで取得された最新の情報に基づいて、管理コンピュータ3に記憶された放射線量分布マップD(図6参照)が更新される。
入力操作部9は、作業者Wに装着され、所定の情報の入力操作が行えるデバイスである。入力操作部9は、例えば、作業者Wの左腕に装着され、作業者Wの右手で入力操作が行えるようになっている。作業者Wは、この入力操作部9を用いて、透過型ヘッドマウントディスプレイ5に表示されるマウスカーソル31(図13参照)を操作したり、所定の文字情報を入力したりすることができる。
次に、現場端末2および管理コンピュータ3のシステム構成を図2に示すブロック図を参照して説明する。
本実施形態の現場端末2および管理コンピュータ3は、CPU、ROM、RAM、HDDなどのハードウェア資源を有し、CPUが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の放射線量分布表示方法は、各種プログラムをコンピュータに実行させることで実現される。
現場端末2は、透過型ヘッドマウントディスプレイ5とカメラ6と3次元測定センサ7と放射線計測センサ8と入力操作部9とに加えて、モーションセンサ10と端末記憶部11と端末通信部12と端末制御部13とを備える。
モーションセンサ10は、透過型ヘッドマウントディスプレイ5の動作を検出する。例えば、透過型ヘッドマウントディスプレイ5の視野方向、即ち、透過型ヘッドマウントディスプレイ5の傾きθ(図3参照)を検出する。なお、モーションセンサ10で検出される傾きθには、垂直軸(上下軸)に対する傾きと水平軸(左右軸)に対する傾きとが含まれる。さらに、モーションセンサ10では、透過型ヘッドマウントディスプレイ5が垂直軸を中心に回転した場合の向き(前後軸に対する傾き)を検出することができる。これらの情報に基づいて視野方向が検出可能となっている。以下の説明では、理解を助けるために、垂直軸に対する傾きθを検出した場合のみを例示する。
モーションセンサ10は、現場端末2に搭載され、透過型ヘッドマウントディスプレイ5が移動したときに生じる加速度を検出する加速度センサを含む。このモーションセンサ10により重力加速度の検出も行える。また、モーションセンサ10は、透過型ヘッドマウントディスプレイ5の姿勢が変化したときに生じる角速度を検出する角速度センサ(ジャイロセンサ)を含む。この透過型ヘッドマウントディスプレイ5の姿勢によりカメラ6の撮影方向および3次元測定センサ7の測定方向を検知することができる。このモーションセンサ10で検出された加速度情報または角速度情報は、端末制御部13に入力される。
なお、モーションセンサ10は、地磁気センサを備えても良い。つまり、慣性センサ(3軸加速度センサと3軸角速度センサ)と3軸地磁気センサを組み合わせた9軸センサであっても良い。
端末記憶部11は、管理コンピュータ3から取得した情報を記憶する。例えば、作業エリアの3次元情報と放射線量分布マップD(図6参照)とを記憶する。なお、3次元情報には、作業エリアに配置される物体の3次元形状、3次元空間の位置に関する情報が含まれる。作業エリアの3次元情報は、例えば、3D-CADデータなどで構成される。また、現場端末2で取得した各種情報を記憶することもできる。例えば、カメラ6で撮影した画像または3次元測定センサ7で測定した点群データなどを記憶しても良い。
端末通信部12は、基地局4を中継点とする通信回線を介して管理コンピュータ3と通信を行う。端末通信部12には、ネットワーク機器、例えば、無線LANのアンテナが含まれる。その他にも、LANケーブルまたはUSBケーブルを用いて、現場端末2と管理コンピュータ3とを直接接続して有線通信を行っても良い。この端末通信部12を介して現場端末2は、管理コンピュータ3にアクセスする。なお、現場端末2と管理コンピュータ3との通信は、常時行っても良いし、一定時間ごとに行っても良いし、作業開始前または作業終了後などの特定のタイミングで行っても良い。
端末制御部13は、現場端末2を統括的に制御する。この端末制御部13は、基準取得部14と物体認識部15と位置姿勢推定部16と領域特定部17と線量分布画像生成部18と仮想物体画像生成部19と表示制御部20と指定受付部21と基地局情報取得部22とを備える。これらは、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。
基準取得部14は、作業エリアに対応して予め設けられたマーカ27をカメラ6で撮影したときに、この撮影された画像と予め取得した作業エリアの3次元情報とに基づいて、作業エリアの3次元空間の基準点Q(図6参照)を取得する。
物体認識部15は、カメラ6で撮影した画像、または3次元測定センサ7により計測した周辺の物体B,F,Kの点群データに基づいて、透過型ヘッドマウントディスプレイ5の周辺(視野方向の特定範囲内)にある物体B,F,Kの認識を行う。例えば、床面Fの認識を行うことができる。また、床面F以外の物体B,Kの認識を行うこともできる。
位置姿勢推定部16は、モーションセンサ10により検出された透過型ヘッドマウントディスプレイ5の動作(位置または姿勢の変化)に基づいて、透過型ヘッドマウントディスプレイ5の位置および姿勢を推定する。
領域特定部17は、3次元測定センサ7により測定された物体B,F,Kの3次元形状、および透過型ヘッドマウントディスプレイ5から物体B,F,Kまでの距離L1に基づいて、透過型ヘッドマウントディスプレイ5の表示領域(表示画面)における床面Fの領域を特定する。
線量分布画像生成部18は、領域特定部17により特定された床面Fの領域に対応する線量分布を示す線量分布画像G1を予め取得した放射線量分布マップD(図6参照)に基づいて生成する。
仮想物体画像生成部19は、床面Fの特定位置の放射線量に関する注意を促す仮想的な物体(仮想タグ)として表示される仮想物体画像G2(図11参照)を管理コンピュータ3に記憶されたデータに基づいて生成する。
表示制御部20は、線量分布画像生成部18により生成された線量分布画像G1(図10参照)を、透過型ヘッドマウントディスプレイ5の表示領域(表示画面)における床面Fの領域に表示する制御を行う。
指定受付部21は、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの位置の指定を受け付ける。この指定は、作業者Wの入力操作部9の操作により行われる。
基地局情報取得部22は、作業エリアに対応して予め設けられた基地局4から発信される電波に基づいて、現場端末2(透過型ヘッドマウントディスプレイ5)の位置を推定する。このようにすれば、作業者Wが所持する現場端末2と基地局4との無線通信を利用して、透過型ヘッドマウントディスプレイ5の位置を推定することができる。
例えば、基地局情報取得部22は、基地局4から発信される電波に基づいて、基地局4が存在する方向を検出する処理を行う。さらに、基地局4から発信される電波に基づいて、基地局4から現場端末2(透過型ヘッドマウントディスプレイ5)までの距離を検出する処理を行う。基地局4の位置は固定されており、この基地局4が存在する方向と距離とを取得することで、現場端末2の現在位置を特定することができる。この特定される現在位置には、現場端末2の高さ位置も含まれる。さらに、複数の基地局4から発信される電波に基づいて現在位置を特定することで、精度を向上させることができる。
なお、本実施形態では、現場端末2の基地局情報取得部22が現在位置を特定する処理を行っているが、その他の態様でも良い。例えば、基地局4が現場端末2の位置を特定する処理を行い、その特定した位置を示す情報を現場端末2に送信しても良い。
また、基地局4から発信される電波に基づいて現場端末2の位置を特定する技術は、様々なものが適用可能である。例えば、複数のアクセスポイントから受信した電波強度の違いから、三点測位によって現在位置を特定する技術を用いても良い。また、GPS衛星と同じプロトコルの信号を発信する基地局4を建屋内に設置し、これらの基地局4に設定された緯度、経度、高さなどの情報を読み取って位置の特定を行う技術を用いても良い。
管理コンピュータ3は、管理制御部23と管理通信部24と管理データベース25とを備える。
管理制御部23は、管理コンピュータ3を統括的に制御する。この管理制御部23は、マップ更新部26を備える。このマップ更新部26は、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。
マップ更新部26は、作業者Wに装着された放射線計測センサ8により計測された放射線量を現場端末2から受信したときに、この受信した放射線量に基づいて放射線量分布マップD(図6参照)を更新する。
管理通信部24は、基地局4を中継点とする通信回線を介して現場端末2と通信を行う。管理通信部24には、ネットワーク機器、例えば、無線LANのアンテナが含まれる。その他にも、LANケーブルまたはUSBケーブルにより現場端末2と接続して通信を行っても良い。
管理データベース25は、メモリまたはHDDに記憶され、検索または蓄積ができるよう整理された情報の集まりである。この管理データベース25は、例えば、作業エリアとなる部屋R(図5参照)の3次元情報と放射線量分布マップD(図6参照)とを記憶する。現場端末2は、管理コンピュータ3にアクセスしたときに管理データベース25から情報を取得する。
この管理データベース25には、作業エリアとなる部屋R(建屋)の設計情報が記憶されている。例えば、設計情報に関する3D-CADデータ(3次元情報)が予め記憶されている。この3D-CADデータには、作業エリアの床面Fの高さ情報、作業エリアの機器または配管などの物体Bの3次元形状を示す形状情報、これらの物体Bが配置されている位置(座標)に関する位置情報などが含まれている。つまり、水平方向(X軸,Y軸)と垂直方向(Z軸)の位置情報が含まれる。なお、座標において、Z軸がゼロの値にある平面を床面Fとしても良い。
管理データベース25には、マーカ27を管理するためのマーカ管理テーブル(図15参照)と、仮想物体画像G2を管理するための仮想物体管理テーブル(図16参照)とが記憶されている。
図15に示すように、マーカ管理テーブルには、複数のマーカ27を個々に識別可能なマーカIDに対応付けて、マーカ27が設けられた部屋R(作業エリア)に対応して設けられて複数の基準点を個々に識別可能な基準点Qの基準点IDと、この基準点Qを原点とした場合のマーカ27の3次元座標位置を示すマーカ位置情報とが登録されている。なお、1つのマーカ27に対して1つのマーカIDが付与される。また、1つの基準点に対して1つの基準点IDが付与される。
マーカ位置情報には、水平方向(X軸,Y軸)と垂直方向(Z軸)の位置を指定する情報を含む。さらに、マーカ27の姿勢または向きに関する情報が含まれても良い。
本実施形態では、作業エリアの部屋Rの内部の出入口30の近くに1つのマーカ27が設けられている。そして、部屋Rの中心を基準点Q(原点、起点)として座標が設定される。なお、座標は、部屋Rの中心を基準点Qとしなくても良く、建屋の所定の位置を基準点Qとしても良い。また、基準点Qは、建屋の設計段階で作成された3次元CADデータ(3次元情報)に基づいて構成されても良い。
図16に示すように、仮想物体管理テーブルには、仮想物体画像G2を個々に識別可能な仮想物体IDに対応付けて、仮想物体画像G2を出現させる作業エリアに対応する基準点Qの基準点IDと、この基準点Qを原点とした場合に仮想物体画像G2が出現する3次元座標位置を示す出現位置情報と、この位置の放射線量とが登録されている。なお、1つの仮想物体画像G2に対して1つの仮想物体IDが付与される。
なお、仮想物体管理テーブルの所定の仮想物体画像G2の放射線量が、作業者Wが所持する放射線計測センサ8の計測に基づいて、適宜更新される。さらに、仮想物体画像G2の出現位置情報が、作業者Wが所持する放射線計測センサ8の計測に基づいて、適宜更新されても良い。
具体的には、放射線計測センサ8にて計測された放射線量は、通信回線を介して管理コンピュータ3に送信される。この管理コンピュータ3は、マップ更新部26を備えているため、このマップ更新部26が、管理データベース25の放射線量分布マップDにおける放射線量のデータを、放射線計測センサ8が計測した値に更新する。このようにすれば、作業エリアの現状の線量分布の状態を放射線量分布マップDに反映することができる。
さらに、放射線計測センサ8にて計測された放射線量は、仮想物体画像生成部19により生成される仮想物体画像G2の放射線量の表示に反映される。なお、仮想物体画像G2を用いずに、透過型ヘッドマウントディスプレイ5の表示領域の所定位置に複合現実(拡張現実)の技術を用いて、放射線計測センサ8にて計測された放射線量を表示しても良い。
図6に示すように、管理データベース25には、作業エリアとなる部屋Rの放射線量分布マップDが記憶されている。この放射線量分布マップDは、作業者Wが部屋Rの内部の所定の位置にいるときに周囲から受ける放射線量の強度分布を2次元的に表示するものである。2次元平面座標と、それぞれの座標において予め計測された放射線量のデータとに基づいて作成されている。なお、管理データベース25には、建屋における部屋Rの位置、および部屋Rの床面Fなどに関する情報などの情報が記憶されていても良い。
放射線量分布マップDでは、放射線量の高い領域C1が濃い色で、放射線量の低い領域C2が薄い色でそれぞれ表示されている。この放射線量分布マップDの表示態様は、例えば、3段階以上の階調で表示されても良い。また、放射線量が所定の値以下の場合(放射線量が殆ど無い場合)には、無色の表示態様となっている。
また、放射線量分布マップDは、作業エリアとなる部屋Rの床面Fに関する情報を有する。そのため、作業者Wが存在する部屋Rの床面Fに応じた放射線量分布マップDを提供することができる。
さらに、放射線量分布マップDには、それぞれの部屋Rの平面視におけるマーカ27(図5参照)に対応するマップマーカ28の3次元位置情報が設定されている。ここで、表示制御部20は、部屋Rに実際に設けられているマーカ27の位置と、放射線量分布マップDに設定されているマップマーカ28(図6参照)の位置とを一致させることにより、部屋Rの床面Fの全部または床面Fの一部に放射線量分布マップDを仮想的に重ね合わせて位置決めすることができる。
図4および図5に示すように、作業者Wは、部屋Rに到着して作業を開始するときに、まず、建屋の部屋Rの内部の出入口30の近傍の壁面Kに設けられたマーカ27をカメラ6で読み取る。すると、カメラ6によりマーカ27が撮影される。このとき現場端末2の基準取得部14は、3次元空間の基準点Q(図6参照)を取得する。本実施形態では、マーカ27から離れた所定の位置、例えば、作業エリアの中心を基準点Qとしている。なお、マーカ27の位置を基準点としても良い。
ここで、現場端末2の位置姿勢推定部16は、マーカ27が写った画像に基づいて、自位置および自姿勢を推定することができる。例えば、カメラ6がマーカ27を撮影した画像に基づいて基準点Qを取得し、現場端末2が存在する建屋の部屋Rにおける3次元空間(絶対座標系)の位置を把握する。
なお、部屋Rの出入口30の近傍でマーカ27の撮影を開始し、移動中も撮影を継続することで、部屋Rの内部で現場端末2が移動した移動経路を推定できる。このようにすれば、作業エリアの部屋Rにマーカ27を設ける簡便な作業、およびマーカ27を撮影する簡素な処理で、現場端末2の位置を特定する精度を向上させることができる。
マーカ27は、画像認識が可能な図形である。例えば、マトリックス型二次元コード、所謂QRコード(登録商標)をマーカ27として用いる。また、マーカ27には、対応するマーカ27を個々に識別可能なマーカIDを示す情報が含まれる。このようにすれば、複数のマーカ27をそれぞれ識別することができる。マーカ27は、部屋Rの外側における出入口30の近傍に設けられていても良い。また、出入口30の扉に設けられていても良い。
マーカ27を設ける態様としては、例えば、マーカ27が印刷されたパネルを作成し、このパネルを、作業開始前に部屋Rの壁面Kなどに配置しておく。なお、壁面Kなどにマーカ27を直接印刷しても良い。
管理コンピュータ3には、例えば、それぞれの部屋Rに設けられたマーカ27のマーカIDに対応して、床面Fからマーカ27までの高さ情報を含むマーカ位置情報(座標)が登録されている(図15参照)。つまり、マーカ27が床面Fからマーカ27までの高さH1(図4参照)を特定可能な情報であるマーカIDを表示する。
現場端末2は、予め管理コンピュータ3にアクセスし、マーカ管理テーブルなどのマーカ27に関する情報をダウンロードしておく。そして、作業者Wはカメラ6でマーカ27を撮影してマーカIDを取得する。ここで、マーカIDをマーカ管理テーブルと照合することで、部屋Rの床面Fからマーカ27までの高さH1(図4参照)を示す位置情報を取得することができる。現場端末2は、マーカ27に基づいて取得される基準点Qの座標と、部屋Rに対応して予め設定されている基準点Qの座標とを一致させる。
このように、マーカ27が現場端末2のカメラ6により撮影されることで、基準点Q(図6参照)の位置情報を取得することができる。具体的には、現場端末2がマーカ27を読み取ることで、このマーカ27が壁面Kに設置された部屋Rにおける絶対座標系の3次元空間の起点となる基準点Qの情報を取得することができる。
そして、マーカ27の高さH1と、このマーカ27を撮影したときの透過型ヘッドマウントディスプレイ5の傾きθと、透過型ヘッドマウントディスプレイ5からマーカ27までの距離L2とに基づいて、床面Fから透過型ヘッドマウントディスプレイ5の高さH2を示す情報を取得することができる。このようにすれば、床面Fからマーカ27までの高さH1に基づいて、透過型ヘッドマウントディスプレイ5の高さH2を算出することができる。そして、透過型ヘッドマウントディスプレイ5から床面Fまでの距離L1を取得することができる。そのため、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する精度を向上させることができる。
さらに、現場端末2の位置姿勢推定部16は、透過型ヘッドマウントディスプレイ5が移動した場合であっても、基準点Qに基づいて自己の位置および姿勢を推定することができる。具体的には、位置姿勢推定部16が、取得した基準点Qに基づいて透過型ヘッドマウントディスプレイ5の位置を推定する。このようにすれば、作業エリアに対応してマーカ27を設ける簡便な作業、およびマーカ27を撮影する簡素な処理で透過型ヘッドマウントディスプレイ5の位置および姿勢の取得精度を向上させることができる。
本実施形態では、カメラ6で撮影された画像と、モーションセンサ10が取得した加速度情報および角速度情報に基づいて現場端末2(透過型ヘッドマウントディスプレイ5)の位置および姿勢を推定する制御を行う。つまり、現場端末2に搭載されたデバイスにより得られた情報に基づいて現場端末2の位置および姿勢を推定する。この位置姿勢推定部16は、VSLAM技術を用いており、現場端末2の位置および姿勢の推定と同時に現場端末2の周辺環境の情報を含む環境地図(3次元空間モデル)の作成を行う。
つまり、位置姿勢推定部16は、3次元測定センサ7が測定した視野方向にある物体B,F,Kの3次元形状および物体B,F,Kまでの距離に基づいて透過型ヘッドマウントディスプレイ5の周辺環境の情報を含む環境地図の作成を行う。そして、この環境地図に基づいて透過型ヘッドマウントディスプレイ5の位置および姿勢を推定する。このようにすれば、透過型ヘッドマウントディスプレイ5の位置および姿勢の取得精度を向上させることができる。なお、位置姿勢推定部16は、作業の開始前に環境地図を予め作成しておいても良いし、作業の開始後の環境地図を作成するものでも良い。さらに、周囲の機器または構造物の配置または寸法情報を予め取得しても良い。
VSLAM技術では、現場端末2のカメラ6および3次元測定センサ7で取得した情報を用いて、現場端末2の周辺の物体B,F,Kの特徴点を抽出することができる。この特徴点の集合させたものを点群データ(3次元特徴点群データ)と称する。そして、カメラ6で撮影した画像(動画像)を解析し、物体B,F,Kの特徴点(例えば、箱状の物体の辺または角の部分)をリアルタイムに追跡する。この点群データに基づいて、現場端末2の位置および姿勢の3次元情報を推定することができる。
本実施形態の物体認識部15は、位置姿勢推定部16が特定した情報に基づいて、現場端末2の周辺の物体Fを認識する。例えば、一般的な床面Fは、高さ位置が一定の位置に固定され、水平方向に広がる形状となっているため、想定される床面Fの高さ位置に存在し、水平面を有する物体を床面Fとして認識する。また、床面F以外の物体B,Kを所定の機器または構造物として認識する。
ここで、図7は、透過型ヘッドマウントディスプレイ5を透過して見えている実際の風景を示している。図8は、図7に対応しており、物体B,F,Kに赤外線29またはレーザを投光したときの点群データを示している。図9は、図7に対応しており、物体認識部15が床面Fと認識した領域をハッチングで示している。
例えば、図7および図8に示すように、位置姿勢推定部16は、物体B,F,Kのそれぞれの点Pと、透過型ヘッドマウントディスプレイ5との距離L1を3次元測定センサ7の測定値に基づいて取得する。
位置姿勢推定部16は、透過型ヘッドマウントディスプレイ5の視野方向にある物体B,F,Kの点群データを所定の時間毎に検出する。そして、時系列において前後する点群データ間の変位に基づいて、透過型ヘッドマウントディスプレイ5の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自位置および自姿勢から、現在位置および現在姿勢に先立つ透過型ヘッドマウントディスプレイ5の移動経路が得られる。
具体的には、透過型ヘッドマウントディスプレイ5が移動または向きを変更した場合には、直前に取得した全ての物体B,F,Kのそれぞれの点Pの距離の変化に基づいて、その移動量または方位の変化量を算出することができる。この処理を繰り返すことで作業者Wが移動した場合も、透過型ヘッドマウントディスプレイ5の位置および姿勢の変化を、周囲の物体Fとの距離L1とに基づいて推定することができる。この変化を時系列順に連続して取得することで、現場端末2の移動経路が得られる。
つまり、位置姿勢推定部16は、3次元測定センサ7により測定された透過型ヘッドマウントディスプレイ5の視野方向にある物体B,F,Kの3次元形状および物体B,F,Kまでの距離と、予め取得した作業エリアの物体B,F,Kの3次元情報とに基づいて、透過型ヘッドマウントディスプレイ5の位置を推定する。このようにすれば、透過型ヘッドマウントディスプレイ5の位置および姿勢の推定精度を向上させることができる。なお、透過型ヘッドマウントディスプレイ5の位置および姿勢は、それぞれ算出または更新された時点の時刻と対応付けて記録される。
なお、本実施形態では、カメラ6および3次元測定センサ7で取得した情報に基づいて、現場端末2の位置および姿勢を推定するVSLAM技術を例示しているが、その他の態様であっても良い。例えば、RGBカメラ、魚眼カメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、現場端末2の位置および姿勢を推定するVSLAM技術を用いても良い。このVSLAM技術は、屋内での位置計測が可能であり、ビーコンまたはPDRなどの屋内で使用可能な位置情報計測技術の中で、最も精度よく3次元座標を算出することができる。
物体認識部15は、3次元測定センサ7にて測定した3次元形状、および基準取得部14が取得した基準点Qに基づいて、床面Fまたは床面F以外の物体B,Kを認識する。物体認識部15は、まず、実際の床面Fからマーカ27までの高さH1の情報を取得する。次に、物体認識部15は、透過型ヘッドマウントディスプレイ5の現在の位置および姿勢を位置姿勢推定部16から取得する。
次に、物体認識部15は、実際の床面Fからのマーカ27の高さH1基準とし、物体Fのそれぞれの点Pまでの距離L1と透過型ヘッドマウントディスプレイ5の傾きθとに基づいて、3次元測定センサ7が測定した物体Fの点Pの位置(高さ)を算出する。
図3および図9に示すように、物体認識部15は、この点Pの位置が実際の床面Fの位置と一致していると判断した場合は、この物体を床面Fとして認識する。なお、この点Pの位置が実際の床面Fの位置と一致していないと判断した場合は、この物体B,Kを床面F以外のものとして認識する。
領域特定部17は、物体認識部15の認識結果に基づいて、透過型ヘッドマウントディスプレイ5の視野方向に床面Fがある場合に、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する。
つまり、領域特定部17は、モーションセンサ10により検出された視野方向と、位置姿勢推定部16により推定された透過型ヘッドマウントディスプレイ5の位置と、3次元測定センサ7により測定された視野方向にある物体B,F,Kの3次元形状および物体までの距離と、基準取得部14により取得した床面Fからマーカ27までの高さ情報とに基づいて、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する。このようにすれば、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する精度を向上させることができる。
また、線量分布画像生成部18は、管理コンピュータ3から予め取得した情報に基づいて、視認方向にある床面Fの位置に対応した線量分布画像G1を生成する。さらに、表示制御部20は、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域に生成された線量分布画像G1を床面Fの像に重ね合わせて表示する(図10参照)。例えば、放射線量分布マップDのコンター図Cを床面Fの平面(水平面)に合わせるようにして表示する。つまり、実際の床面Fの高さと、管理データベース25に記憶された部屋Rの3D-CADデータ(3次元情報)の床面の高さとを一致させるようにし、3次元情報の床面に対応するコンター図Cを、実際の床面Fの位置に表示させる。
図10に示すように、表示制御部20は、部屋Rの床面Fに位置決めされた放射線量分布マップDに基づく線量分布画像G1を、透過型ヘッドマウントディスプレイ5を透過して見える床面Fの位置に、複合現実の技術を用いて重ね合わせて表示する。作業者Wには、自身が実物大の放射線量分布マップDのコンター図Cの上に立っているように視認される。
このとき、表示制御部20は、3次元測定センサ7から取得した近接物体Bと現場端末2との距離情報に基づいて、部屋Rの床面Fよりも手前(現場端末2側)に機器または構造物などの近接物体B(図3参照)が存在するか否かを判定する。ここで、床面Fよりも手前に近接物体Bが存在する場合は、この近接物体Bの像に線量分布画像G1を重ねて表示しないようにできる。このようにすれば、作業者Wによる視覚上の違和感を無くすことができる(図12参照)。
このように、表示制御部20は、透過型ヘッドマウントディスプレイ5の表示領域における床面F以外の領域に線量分布画像G1を表示させない制御を行う。このようにすれば、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域のみに線量分布画像G1が表示されるため、線量分布画像G1が作業者Wの視野を妨げることがない。つまり、放射線量分布マップDと実際の場所との関係を把握することができ、かつ作業の妨げとならないようにできる。また、作業の対象となる機器または構造物などの近接物体Bが、線量分布画像G1で隠れてしまうことがないため、作業者Wが放射線量分布マップDと実際の近接物体Bの配置との関係を把握しながら作業を進めることができる。
図11に示すように、表示制御部20は、透過型ヘッドマウントディスプレイ5に線量分布画像G1が仮想的に表示されている場合に、この線量分布画像G1の位置における放射線量に関する標識としての仮想物体画像G2を表示する。この仮想物体画像G2は、例えば、箱状を成す仮想の物体である。特に、仮想物体画像G2は、放射線量が高いことを示す注意喚起(例えば「注意!」の文字)の表示、または放射線量の数値(例えば「**μSv/h」)の表示を行う。つまり、仮想物体画像G2は、床面Fの特定位置の放射線量を示す態様で表示される。このようにすれば、作業者Wが床面Fの特定位置の放射線量を把握することができる。
なお、仮想物体画像G2は、床面Fから離れた所定の高さH3に設けられる態様で表示される。作業者Wには、仮想物体画像G2が空中に浮いているように見える。そのため、作業者Wが床面Fを見ていなくても、仮想物体画像G2を見つけ易くなっている。また、床面Fが視野に入っておらず、線量分布画像G1が表示されていない場合であっても、仮想物体画像G2のみを表示することができる。
このように、表示制御部20は、仮想物体画像生成部19により生成された仮想物体画像G2(図1参照)を透過型ヘッドマウントディスプレイ5に表示する制御を行う。このようにすれば、仮想的な物体を表示して作業者に対して放射線量の注意を促すことができる。
図12に示すように、仮想物体画像G2が表示されている位置よりも手前(現場端末2側)に機器または構造物などの近接物体B(図3参照)が存在する場合は、この近接物体Bの像に仮想物体画像G2を重ねて表示しないようにできる。つまり、仮想物体画像G2が近接物体Bに重なってしまう場合には、近接物体Bを優先的に視認させるようにする。なお、若干の視覚上の違和感があっても良い。
このように、表示制御部20は、視野方向の特定距離内に床面F以外の近接物体Bがある場合に、透過型ヘッドマウントディスプレイ5の表示領域における近接物体Bの領域に仮想物体画像G2を表示させない制御を行う。なお、特定距離は、例えば、2m~5mなどの作業者Wの近傍の範囲となる距離を予め設定しておく。このようにすれば、仮想物体画像G2が作業者の視野を妨げず、作業の邪魔にならずに済むようになる。なお、仮想物体画像G2が近接物体Bに重なってしまう場合には、仮想物体画像G2の全部を表示させないようにしても良い。
本実施形態では、現場端末2の物体認識部15が自動的に床面Fの領域を特定しているが、作業者Wの手動操作により床面Fの領域を特定しても良い。例えば、図13に示すように、透過型ヘッドマウントディスプレイ5に位置決め用のマウスカーソル31を表示させる。そして、作業者Wは、入力操作部9を操作して、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの位置にマウスカーソル31を合せてクリックする。すると、領域特定部17は、このマウスカーソル31の位置にある物体までの距離を3次元測定センサ7で測定し、この距離の位置にある物体を床面Fとして設定する。特に、この距離の位置にある水平に広がる面を床面Fとして設定する。そして、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する。
また、図14に示すように、透過型ヘッドマウントディスプレイ5に位置決め用の照準32を表示させても良い。そして、作業者Wは、自身の頭を動かし、照準32を床面Fの位置に合せるようにする。例えば、所定時間に亘って床面Fに照準32を合せ続けるようにする。すると、領域特定部17は、この照準32の位置にある物体までの距離を3次元測定センサ7で測定し、この距離の位置にある物体を床面Fとして設定する。そして、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する。
なお、現場端末2は、作業者Wが手動により床面Fの設定を行うときに、指定受付部21が位置決め用の床面手動設定処理(図17参照)を実行する。この指定受付部21が、マウスカーソル31(図13参照)または照準32(図14参照)によって、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの位置の指定を受け付ける。そして、領域特定部17は、指定された床面Fの位置を含む領域を床面Fの領域として特定する。このようにすれば、作業者Wが手動操作により透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を指定することができる。
次に、現場端末2の端末制御部13が実行する端末制御処理について図17のフローチャートを用いて説明する。なお、図2に示すブロック図を適宜参照する。
この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、現場端末2の端末制御部13で放射線量分布表示方法が実行される。なお、端末制御部13が他の処理を実行中に、この処理を割り込ませて実行しても良い。
図17に示すように、まず、ステップS11において、端末制御部13は、メイン制御処理を実行する。このメイン制御処理では、現場端末2に搭載され透過型ヘッドマウントディスプレイ5などの各種デバイスを制御する処理が行われる。
次のステップS12において、端末制御部13は、操作受付処理を実行する。この操作受付処理では、入力操作部9により所定の入力操作を受け付ける処理が行われる。
次のステップS13において、端末制御部13は、データベースアクセス処理を実行する。このデータベースアクセス処理では、管理コンピュータ3の管理データベース25にアクセスし、各種データをダウンロードする処理が行われる。例えば、作業エリアの3次元情報、放射線量分布マップD(図6参照)、マーカ管理テーブル(図15参照)、仮想物体管理テーブル(図16参照)などのデータをダウンロードする処理が行われる。
次のステップS14において、端末制御部13(基地局情報取得部22)は、基地局情報取得部処理を実行する。この基地局情報取得部処理では、作業エリアに対応して予め設けられた基地局4から発信される電波に基づいて、透過型ヘッドマウントディスプレイ5の位置を推定する処理が行われる。
次のステップS15において、端末制御部13は、後述するマーカ認識処理(図18参照)を実行する。このマーカ認識処理では、カメラ6で撮影された画像に基づいて、マーカ27を認識する処理が行われる。
次のステップS16において、端末制御部13は、後述する自己位置推定処理(図19参照)を実行する。この自己位置推定処理では、カメラ6で撮影された画像と、モーションセンサ10で検出した加速度情報および角速度情報に基づいて、透過型ヘッドマウントディスプレイ5(現場端末2)の位置および姿勢を推定する処理が行われる。この自己位置推定処理が実行されるときには、カメラ6が起動して撮影が開始される。
次のステップS17において、端末制御部13(指定受付部21)は、床面手動設定処理を実行する。この床面手動設定処理は、作業者Wが手動により床面Fの設定を行うときに実行される。そして、透過型ヘッドマウントディスプレイ5に位置決め用のマウスカーソル31を表示させて床面Fの設定を行う(図13参照)。または、透過型ヘッドマウントディスプレイ5に位置決め用の照準32を表示させて床面Fの設定を行う(図14参照)。
次のステップS18において、端末制御部13は、後述する表示制御処理(図20参照)を実行する。この表示制御処理では、透過型ヘッドマウントディスプレイ5の表示領域に線量分布画像G1または仮想物体画像G2などを表示させる制御を行う(図10および図11参照)。
次のステップS19において、端末制御部13は、放射線情報送信処理を実行する。この放射線情報送信処理では、放射線計測センサ8で計測した放射線量を管理コンピュータ3に送信する。そして、端末制御処理を終了する。
次に、現場端末2の端末制御部13が実行するマーカ認識処理について図18のフローチャートを用いて説明する。
まず、ステップS41において、端末制御部13は、カメラ6により撮影された画像を取得する。ここで、作業者Wは、例えば、透過型ヘッドマウントディスプレイ5に表示される照準32(図14参照)にマーカ27を合せるようにする。
次のステップS42において、端末制御部13は、取得した画像にマーカ27が写っているか否かを判定する。ここで、この画像にマーカ27が写っていない場合(ステップS42にてNOの場合)は、マーカ認識処理を終了する。一方、撮影画像にマーカ27が写っている場合(ステップS42にてYESの場合)は、ステップS43に進む。
次のステップS43において、端末制御部13は、マーカ27の図形に含まれるマーカIDを読み取る。
次のステップS44において、基準取得部14は、予め管理コンピュータ3の管理データベース25からダウンロードされたマーカ管理テーブル(図16参照)のデータに基づいて、読み取ったマーカIDに対応する基準点Q(図6参照)を特定する。そして、この基準点Qの位置と、マーカ27の位置と、このマーカ27を撮影したときの透過型ヘッドマウントディスプレイ5の傾きθ(撮影方向)と、透過型ヘッドマウントディスプレイ5からマーカ27までの距離L2とに基づいて、透過型ヘッドマウントディスプレイ5(現場端末2)の現在位置の取得または補正を行う。
次のステップS45において、基準取得部14は、マーカ管理テーブル(図16参照)のデータに基づいて、床面Fからマーカ27までの高さ位置の取得を行う。
次のステップS46において、基準取得部14は、取得したマーカ27の高さ位置に基づいて、床面Fから透過型ヘッドマウントディスプレイ5(現場端末2)までの高さ位置の取得を行う。このようにすれば、透過型ヘッドマウントディスプレイ5の傾きθ(図3参照)に基づいて、視野方向における透過型ヘッドマウントディスプレイ5から床面Fまでの距離が取得可能となる。そして、マーカ認識処理を終了する。
次に、現場端末2の端末制御部13が実行する自己位置推定処理について図19のフローチャートを用いて説明する。
まず、ステップS51において、位置姿勢推定部16は、座標の原点となる基準点Q(図6参照)の設定に基づく座標の確認処理を行う。例えば、前述のマーカ認識処理において、作業エリアの部屋Rの出入口30の近傍に設けられた1つのマーカ27(図5参照)の位置に基づいて基準点Qが設定される。なお、マーカ27の撮影画像が取得されるまでの間、透過型ヘッドマウントディスプレイ5にマーカ27の撮影を促す旨の表示を行っても良い。なお、基準点Qを作業者Wが手動で設定しても良い。
次のステップS52において、端末制御部13は、カメラ6により撮影された画像を取得する。
次のステップS53において、モーションセンサ10が透過型ヘッドマウントディスプレイ5の加速度(動作)を検出する。そして、位置姿勢推定部16は、モーションセンサ10で検出された加速度の値を示す加速度情報を取得する。
次のステップS54において、モーションセンサ10が透過型ヘッドマウントディスプレイ5の角速度(動作)を検出する。そして、位置姿勢推定部16は、モーションセンサ10で検出された角速度の値を示す角速度情報を取得する。
次のステップS55において、位置姿勢推定部16は、3次元測定センサ7の測定に基づいて現場端末2の周辺の物体の3次元形状を測定する。また、カメラ6により撮影された画像に基づいて現場端末2の周辺の物体の3次元形状を測定しても良い。
次のステップS56において、位置姿勢推定部16は、現場端末2の周辺環境の情報を含む環境地図を作成する。
次のステップS57において、位置姿勢推定部16は、透過型ヘッドマウントディスプレイ5(現場端末2)が移動するときに連続的に撮影された画像に基づいて、透過型ヘッドマウントディスプレイ5の位置および姿勢を推定する。この移動中の透過型ヘッドマウントディスプレイ5の位置および姿勢を時刻情報とともに記録することで、透過型ヘッドマウントディスプレイ5の移動経路が記録される。
次のステップS58において、位置姿勢推定部16は、透過型ヘッドマウントディスプレイ5(現場端末2)の現在の位置および姿勢を推定する。そして、自己位置推定処理を終了する。
次に、現場端末2の端末制御部13が実行する表示制御処理について図20のフローチャートを用いて説明する。
まず、ステップS71において、3次元測定センサ7が透過型ヘッドマウントディスプレイ5の視野方向にある物体F(図3参照)の3次元形状を測定する。そして、物体認識部15は、3次元測定センサ7で測定された3次元形状を取得する。
次のステップS72において、3次元測定センサ7が透過型ヘッドマウントディスプレイ5の視野方向にある物体F(図3参照)までの距離L1を測定する。そして、物体認識部15は、3次元測定センサ7で測定された距離L1を取得する。
次のステップS73において、物体認識部15は、視野方向にある物体Fを、予め管理コンピュータ3の管理データベース25からダウンロードされた3次元情報と比較する。
次のステップS74において、物体認識部15は、視野方向にある物体が床面Fであるか否かを判定する。ここで、視野方向に床面Fがない場合(ステップS74にてNOの場合)は、後述のステップS78に進む。一方、視野方向に床面Fがある場合(ステップS74にてYESの場合)は、ステップS75に進む。
ステップS75において、領域特定部17は、3次元測定センサ7により測定された物体Fの3次元形状および物体Fまでの距離L1に基づいて、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を特定する(図9参照)。
次のステップS76において、線量分布画像生成部18は、領域特定部17により特定された床面Fの領域に対応する放射線量の強度を示す線量分布画像G1(図10参照)を、予め管理コンピュータ3の管理データベース25からダウンロードしておいた放射線量分布マップD(図6参照)に基づいて生成する。
次のステップS77において、表示制御部20は、線量分布画像生成部18により生成された線量分布画像G1を透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域に重ね合わせて表示する制御を行う(図10参照)。なお、床面Fの領域が特定され、この特定された領域に対応した線量分布画像G1が生成されるため、床面F以外の領域に線量分布画像G1が表示されないようになっている。
次のステップS78において、端末制御部13は、予め管理コンピュータ3の管理データベース25からダウンロードしておいた仮想物体管理テーブル(図16参照)の出現位置情報を参照し、視野方向に仮想物体画像G2を表示させる設定があるか否かを判定する。ここで、仮想物体画像G2の表示設定がない場合(ステップS78にてNOの場合)は、表示制御処理を終了する。一方、仮想物体画像G2の表示設定がある場合(ステップS78にてYESの場合)は、ステップS79に進む。
次のステップS79において、仮想物体画像生成部19は、仮想物体管理テーブル(図16参照)に登録されている放射線量を参照し、床面Fの特定位置の放射線量に関する注意を促す仮想物体画像G2(図11参照)を生成する。
次のステップS80において、表示制御部20は、3次元測定センサ7から取得した周囲の物体と現場端末2との距離情報に基づいて、視野方向の特定距離内に床面F以外の近接物体B(図3参照)があるか否かを判定する。ここで、視野方向の特定距離内に近接物体Bがない場合(ステップS80にてNOの場合)は、後述のステップS82に進む。一方、視野方向の特定距離内に近接物体Bがある場合(ステップS80にてYESの場合)は、ステップS81に進む。
ステップS81において、表示制御部20は、仮想物体画像G2の修正を行う。例えば、視野方向の特定距離内にある近接物体Bに重なる領域の部分を仮想物体画像G2から削除する修正を行う。
次のステップS82において、表示制御部20は、仮想物体画像生成部19により生成された仮想物体画像G2を透過型ヘッドマウントディスプレイ5に表示する制御を行う(図11および図12参照)。そして、表示制御処理を終了する。
次に、管理コンピュータ3の管理制御部23が実行する管理制御処理について図21のフローチャートを用いて説明する。なお、図2に示すブロック図を適宜参照する。
この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、管理コンピュータ3の管理制御部23で放射線量分布表示方法が実行される。なお、管理制御部23が他の処理を実行中に、この処理を割り込ませて実行しても良い。
図21に示すように、まず、ステップS91において、管理制御部23は、メイン制御処理を実行する。このメイン制御処理では、所定の情報の入力があった場合に、各種データを管理データベース25に登録する処理が行われる。また、メイン制御処理では、現場端末2からアクセスがあった場合に、所定の情報の送受信を行う。例えば、現場端末2からアクセスがあった場合に、作業エリアの3次元情報、放射線量分布マップD(図6参照)、マーカ管理テーブル(図15参照)、仮想物体管理テーブル(図16参照)などのデータを現場端末2に送信する処理が行われる。
次のステップS92において、管理制御部23は、放射線情報受信処理を実行する。この放射線情報受信処理では、現場端末2から放射線計測センサ8で計測した放射線量を受信する処理が行われる。なお、放射線量を受信は、常時行っても良いし、一定時間ごとに行っても良いし、作業終了後などの特定のタイミングで行っても良い。
次のステップS93において、マップ更新部26は、現場端末2から受信した放射線量に基づいて放射線量分布マップD(図6参照)を更新する。そして、管理制御処理を終了する。
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
以上のように、本実施形態では、図2および図10に示すように、現場端末2が、透過型ヘッドマウントディスプレイ5と表示制御部20とを備えることで、放射線量分布マップDを実際の風景に重ね合わせて表示することができる。つまり、透過型ヘッドマウントディスプレイ5を透過して見える実際の床面Fの位置に、その位置に対応した線量分布画像G1を、複合現実の技術で重ね合わせて表示することができる。このようにすれば、作業者Wは、透過型ヘッドマウントディスプレイ5を向けた視野方向の周囲の放射線量分布を正確に把握することができる。
また、図11に示すように、透過型ヘッドマウントディスプレイ5を透過して見える実際の床面Fの位置に、線量分布画像G1が仮想的に表示されることに加えて、この線量分布画像G1の表示に、放射線量に関する情報、例えば、放射線量が高いため注意を喚起する仮想物体画像G2を仮想タグなどの複合現実の技術を用いて表示することができる。この仮想物体画像G2の表示によって、作業者Wが、放射線量が高い場所を避けることができるため、作業者Wの被ばく低減に寄与することができる。
次に、変形例について図22を用いて説明する。例えば、前述の実施形態では、マーカ27が基準点Qを示す情報と対応付けられて予め設定されている。つまり、実際の床面Fからマーカ27までの高さH1が既知の状態となっている。現場端末2は、マーカ27をカメラ6で読み取ることで、床面Fからマーカ27までの高さH1を取得している。変形例では、まず、作業の開始前にマーカ27が壁面Kの任意の高さ位置に設けられる。この時点では、実際の床面Fからマーカ27までの高さH4を未だ取得できていないものとする。
この変形例では、まず、作業者Wが、透過型ヘッドマウントディスプレイ5を透過してマーカ27を視認する。例えば、透過型ヘッドマウントディスプレイ5に表示される照準32(図14参照)にマーカ27を合せるようにする。
このときに、基準取得部14は、3次元測定センサ7により測定された透過型ヘッドマウントディスプレイ5とマーカ27までの距離L2と、この距離L2の測定時にモーションセンサ10により検出された透過型ヘッドマウントディスプレイ5の傾きθとに基づいて、透過型ヘッドマウントディスプレイ5とマーカ27との間の高さH5を求める。なお、透過型ヘッドマウントディスプレイ5の傾きθに基づいて、マーカ27が透過型ヘッドマウントディスプレイ5よりも高い位置に設けられているか、低い位置に設けられているかを判定することができる。
次に、作業者Wは、透過型ヘッドマウントディスプレイ5を透過して床面Fを視認する。例えば、透過型ヘッドマウントディスプレイ5に表示される照準32(図14参照)に床面Fを合せるようにする。
このときに、基準取得部14は、3次元測定センサ7により測定された実際の床面Fの任意の点Pから透過型ヘッドマウントディスプレイ5までの距離L1と、この距離L1の測定時にモーションセンサ10により検出された透過型ヘッドマウントディスプレイ5の傾きθとに基づいて、透過型ヘッドマウントディスプレイ5と実際の床面Fの任意の点Pとの間の距離L1を求める。そして、この距離L1と透過型ヘッドマウントディスプレイ5の傾きθとに基づいて、床面Fから透過型ヘッドマウントディスプレイ5までの高さH6を求める。
そして、基準取得部14は、透過型ヘッドマウントディスプレイ5よりもマーカ27が高い位置にある場合には、高さH5と高さH6を加算する。一方、透過型ヘッドマウントディスプレイ5よりもマーカ27が低い位置にある場合には、高さH6から高さH5を減算する。このようにして、実際の床面Fからマーカ27までの高さH4を求めることができる。なお、この求められたマーカ27の高さH4を示す情報は、管理コンピュータ3のマーカ管理テーブル(図15参照)に登録される。
つまり、変形例の基準取得部14は、カメラ6によりマーカ27を撮影しているときに、モーションセンサ10が検出した透過型ヘッドマウントディスプレイ5の傾きθを取得する。さらに、カメラ6によりマーカ27を撮影しているときに、3次元測定センサ7が測定した透過型ヘッドマウントディスプレイ5からマーカ27までの距離L2を取得する。
また、基準取得部14は、透過型ヘッドマウントディスプレイ5の視野方向に床面Fがあるときに、モーションセンサ10が検出した透過型ヘッドマウントディスプレイ5の傾きθを取得する。さらに、透過型ヘッドマウントディスプレイ5の視野方向に床面Fがあるときに、3次元測定センサ7が測定した透過型ヘッドマウントディスプレイ5から床面Fまでの距離L1を取得する。
そして、基準取得部14は、取得した情報に基づいて床面Fからマーカ27までの高さH4に関する情報を特定することができる。このようにすれば、マーカ27が任意の位置に設けられていても、床面Fからマーカ27までの高さH4に関する情報を取得することができる。
本実施形態のシステムは、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、またはCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)またはRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
なお、本実施形態のシステムで実行されるプログラムは、ROMなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD、フレキシブルディスク(FD)などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。
なお、本実施形態の現場端末2が備える透過型ヘッドマウントディスプレイ5は、人間の網膜に直接映像を投影する網膜投影型ヘッドマウントディスプレイであっても良い。つまり、透過型ヘッドマウントディスプレイとは、人間の目の前を通過する光を遮らないディスプレイであれば良い。このようにすれば、作業者の視力に左右されずにクリアな画像を見ることができる。また、画像が表示される範囲、つまり、視野角を大きくすることができる。また、ヘッドマウントディスプレイの省電力化、小型化、または軽量化を図ることができる。
なお、現場端末2が機械学習を行う人工知能(AI)を備えるコンピュータを備えても良い。そして、現場端末2が複数のパターンから特定のパターンを深層学習に基づいて抽出する深層学習部を備えても良い。そして、透過型ヘッドマウントディスプレイ5の表示領域における床面Fの領域を、人工知能に機械学習させるようにし、この機械学習に基づいて、床面Fの領域を認識させるようにしても良い。
本実施形態のコンピュータを用いた画像または点群データの解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。なお、点群データは画像の一種として処理することができる。
本実施形態の放射線量分布表示システム1は、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える1台のコンピュータで放射線量分布表示システム1を構成しても良いし、ニューラルネットワークを備える複数台のコンピュータで放射線量分布表示システム1を構成しても良い。なお、作業エリアの状況に関する情報を取得する現場端末2と、作業エリアの状況の解析を行う人工知能を備えるコンピュータとを別体で構成しても良い。
ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン(ノード)が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習(Deep Learning)により問題解決能力を取得する。
例えば、ニューラルネットワークには、6層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、300個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、ユニット数、学習率、学習回数、活性化関数を設定することができる。
なお、学習の対象となる各種情報に報酬関数を設定し、この報酬関数に基づいて価値が最も高くなるものを抽出する深層強化学習を用いても良い。
例えば、画像認識で実績のあるCNN(Convolution Neural Network)を用いる。このCNNでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に着目する領域のいずれの値を用いるかによって、画像の多少のずれも吸収することができる。
畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、CNNでは、画像の持つ情報量を大幅に圧縮(抽象化)することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。
なお、深層学習には、オートエンコーダ、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、GAN(Generative Adversarial Network)などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。
以上説明した実施形態によれば、線量分布画像を透過型ヘッドマウントディスプレイの表示領域における床面の領域に表示する制御を行う表示制御部を備えることにより、作業者が放射線量分布マップと実際の場所との関係を把握することができ、かつ作業の妨げとならないようにできる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。