JP7588977B2 - 現場映像管理システムおよび現場映像管理方法 - Google Patents

現場映像管理システムおよび現場映像管理方法 Download PDF

Info

Publication number
JP7588977B2
JP7588977B2 JP2020124342A JP2020124342A JP7588977B2 JP 7588977 B2 JP7588977 B2 JP 7588977B2 JP 2020124342 A JP2020124342 A JP 2020124342A JP 2020124342 A JP2020124342 A JP 2020124342A JP 7588977 B2 JP7588977 B2 JP 7588977B2
Authority
JP
Japan
Prior art keywords
video
terminal
image
information
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020124342A
Other languages
English (en)
Other versions
JP2022021009A (ja
Inventor
健司 尾崎
朋美 菱沼
直弥 坂本
徹郎 相川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2020124342A priority Critical patent/JP7588977B2/ja
Publication of JP2022021009A publication Critical patent/JP2022021009A/ja
Application granted granted Critical
Publication of JP7588977B2 publication Critical patent/JP7588977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

特許法第30条第2項適用 集会名:日本保全学会 第16回学術講演会、開催日:令和元年(2019年)7月24日、開催場所:リンクステーションホール青森(青森市堤町1丁目4番1号)、刊行物:日本保全学会 第16回学術講演会 要旨集、発行所:一般財団法人日本保全学会、発行日:令和元年(2019年)7月24日
本発明の実施形態は、現場映像管理技術に関する。
従来、発電所などのプラントでは、工事進捗管理または異常検知のため、定期的な巡回点検が実施される。この巡回点検では、記録用紙への確認事項を記録し、点検箇所を写真(静止画)で記録する。しかし、プラントのような似た形状の構造物が多い場所を写真で記録した場合に、巡回点検後に撮影箇所を映像から特定することが困難なことがある。また、巡回点検後に対象箇所の周辺環境がどのようになっていたかを確認したいとの要望が生じる場合もある。その場合には、点検者が再度現場に出向いて確認し、かつ記録する必要がある。
また、全方位の映像を記録した360度映像を利用して街並みを記録する技術が知られている。例えば、Google社が提供するストリートビューは、全方位カメラ(360度カメラ)を自動車上に搭載し、GPSの位置情報と連携させて、マップ上で選択した地点の360度映像を閲覧できるようにしている。
https://www.google.com/streetview https://www.google.com/maps
従来の技術では、GPSの位置情報と連携して360度映像を記録し、マップ上で選択した地点の全方位の映像を確認できる。また、同じ地点での過去の映像を表示することができ遡っての状況が確認できるようになっている。しかしながら、Google社のストリートビューでは、撮影時にGPSが利用できる環境であることが必要である。また、映像を記録してある地点が5mから10m程度の間隔となっており、その間の地点で撮影された映像を閲覧することはできない。また、記録されている映像は静止画であるため、記録された地点における短時間の状況の変化を把握することができない。そのため、この技術を前述のプラントの巡回点検の記録作業に用いることができない。
本発明の実施形態は、このような事情を考慮してなされたもので、移動する端末を用いて撮影された映像の再生時に端末の移動経路上の任意の地点の映像を表示することができる現場映像管理技術を提供することを目的とする。
本発明の実施形態に係る現場映像管理システムは、移動可能な端末に搭載されたカメラで撮影された少なくとも動画を含む映像を取得する映像取得部と、前記映像の撮影とともに前記端末の位置情報を取得する位置情報取得部と、前記映像と前記位置情報を対応付けて記録する映像記録部と、撮影現場がプラントにおいて予め登録されている点検箇所が含まれる場所であり、前記点検箇所の座標位置を特定可能な情報を取得し、この取得した前記点検箇所の前記座標位置に基づいて、前記端末が前記点検箇所にあるか否かを判定する点検箇所判定部と、前記カメラで前記動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせるものであって前記端末が前記点検箇所にある場合と前記点検箇所にない場合とで前記フレームレートを異ならせるフレームレート調整部と、前記位置情報に基づいて、前記撮影現場のレイアウトを示す地図の前記座標位置を特定し、特定された前記座標位置に前記映像を割り付ける地図割付部と、前記地図の前記座標位置の選択を受け付けて、選択された前記座標位置に割り付けられた前記映像を表示する制御を行う映像表示制御部と、を備える。
本発明の実施形態により、移動する端末を用いて撮影された映像の再生時に端末の移動経路上の任意の地点の映像を表示することができる現場映像管理技術が提供される。
現場映像管理システムを示すシステム構成図。 現場映像管理システムを示すブロック図。 現場映像管理方法を示す概念図。 魚眼レンズ付きカメラで撮影された点検現場を示す画像図。 撮影端末の移動軌跡を示す座標図。 点検現場のレイアウト地図を示す説明図。 映像閲覧用のビューワーを示す画面図。 点検情報を示す説明図。 撮影端末が実行する端末側処理を示すフローチャート。 フレームレート調整処理を示すフローチャート。 管理コンピュータが実行する管理側処理を示すフローチャート。 フレームと位置と姿勢の関係を示す説明図。 変形例1のフレームと位置と姿勢の関係を示す説明図。 変形例2のフレームと位置と姿勢の関係を示す説明図。
以下、図面を参照しながら、現場映像管理システムおよび現場映像管理方法の実施形態について詳細に説明する。
図1の符号1は、本実施形態の現場映像管理システムである。この現場映像管理システム1は、点検現場に居る作業者Wが装着する撮影端末2と、点検現場の管理を行う管理者Mが扱う管理コンピュータ3とを備える。なお、現場映像管理システム1は、他の構成を含んでいても良い。例えば、作業者Wは、点検作業に用いるタブレット端末4などを所持していても良い。
本実施形態の点検現場(撮影現場)としては、発電プラント、化学プラント、工場などがある。これらのプラントには、点検の対象となる多数の機器または構造物が配置されている。作業者Wは、点検現場に出向いて、機器または構造物を確認して所定の記録を行うとともに機器または構造物の映像を撮影する。
なお、機器には、例えば、バルブ、モータ、配電盤、電気部品、コンピュータなどが含まれる。さらに、構造物には、例えば、タンク、配管、支持部材、建物を構成する躯体、躯体に設けられた貫通孔、部屋、通路、敷地などが含まれる。以下の説明ではこれらを総称して点検対象物と称する。
作業者Wは、ヘルメット5をかぶって点検作業を行う。本実施形態では、ヘルメット5が撮影端末2の一部を構成する。このヘルメット5の頭頂部には、魚眼レンズ付きの2つのイメージセンサを有するカメラ6が搭載されている。このカメラ6により作業者Wの周囲の広い範囲を写すことができる。
なお、2つのイメージセンサは、背中合わせになるように配置され、前後の風景を同時に撮影することができる。つまり、カメラ6を用いて作業者Wの上下左右全方位の360度パノラマ画像である全天球画像(全方位の映像)の同時撮影が可能となっている。
本実施形態では、2つのイメージセンサを有するカメラ6を例示しているが、1つのイメージセンサを有するカメラを用いても良い。例えば、凸面鏡などを用いて周囲の風景を1つのイメージセンサに導き、360度パノラマ画像を撮影しても良い。つまり、1度の撮影で360度の全方位の映像を取得可能な全方位カメラをヘルメット5に搭載しても良い。全方位カメラであれば、撮影現場でカメラの向きを変化させなくても、1台のカメラで全方位の映像を撮影することができる。また、1つのイメージセンサを有するカメラを2台以上使用し、これらのカメラで撮影した映像を合成することにより、360度パノラマ画像である全天球画像を取得しても良い。なお、360度パノラマ画像は、全天球画像でなくても良く、水平方向の360度の範囲(左右全方位)を写したものでも良い。
作業者Wは、移動可能な撮影端末2を用いて作業現場で撮影を行い、その映像が管理コンピュータ3に送信される。撮影端末2で撮影される映像(画像)は、主に動画を例示する。なお、撮影端末2で静止画を撮影しても良い。
本実施形態では、「移動可能な端末」としてヘルメット5とカメラ6を備える撮影端末2を例示しているが、その他の態様であっても良い。例えば、作業者Wが手持ちする所定のカメラ自体が「移動可能な端末」であっても良い。さらに、所定のロボットがカメラ6を搭載している場合には、そのロボットが「移動可能な端末」となる。
図3に示すように、本実施形態の現場映像管理システム1では、カメラ6で撮影された映像7と、撮影時の撮影端末2の移動軌跡を示す位置情報(座標図8)と、点検現場のレイアウト地図9とを取得する。ここで、映像7と位置情報とは同期して取得される。そして、映像7を位置情報に応じてレイアウト地図9に重ね合わせて記録する。管理者Mは、映像閲覧用のビューワー13を用いて、点検現場のレイアウト地図9の任意の位置の全方位の映像7を表示して閲覧できる。
図4に示すように、魚眼レンズ付きのカメラ6で撮影された映像7には、作業者Wのヘルメット5を基点として、その周囲の風景が写り込む。そして、背中合わせに配置された2つのイメージセンサで取得された映像7を合成することで、作業者Wの周囲の全方位の映像を生成することができる。
図5に示すように、撮影端末2の位置情報は、所定の座標図8に対応して記録される。例えば、点検現場の平面図に対応するX座標とY座標の位置情報が座標図8に記録される。なお、特に図示はしないが、撮影端末2の高さ位置を示すZ座標の位置情報も座標図8に記録される。所定時間ごとに取得された位置情報により、撮影端末2の移動軌跡を把握することができる。この座標図8には、撮影端末2で映像が取得された座標が丸印で表示されている。なお、映像のみならず、点検現場をレーザスキャンすることで得られた情報(例えば、3次元特徴点群データ)を座標に対応付けて記録しても良い。
図6に示すように、点検現場のレイアウト地図9には、機器10および配管11などを示す情報とともに、作業者Wが点検を行う点検箇所12を示す情報も登録される。これらの情報は、作業者Wの点検前に予め登録される。このレイアウト地図9の座標の基準点は、撮影端末2の位置情報の基準点と一致している。本実施形態では、レイアウト地図9として平面図(2Dデータ)を例示する。なお、レイアウト地図9は、点検現場の状態を3次元的に記録した3Dデータでも良い。
撮影端末2では、撮影された映像と撮影時の位置情報とが合わせて記録される。ここで、映像の撮影時刻と位置の記録時刻とを一致させて記録する。そして、管理コンピュータ3は、互いに同一時刻に記録された映像と位置情報とをレイアウト地図9に割り付ける処理を行う。なお、レイアウト地図9に割り付ける(割り当てる)処理を撮影端末2で行っても良い。
本実施形態の「割り付ける」とは、映像(動画)をフレーム(静止画)ごとに分割し、それぞれのフレームをレイアウト地図9の座標位置に対応付けて記録することである。
映像の位置情報とレイアウト地図9は、基準点によってそれぞれの位置を合わせることができる。このようにすれば、レイアウト地図9において、撮影端末2が移動した軌跡を表示することができる。
図7に示すように、作業者Wが点検を完了した後に、管理者Mは、管理コンピュータ3を用いて点検現場の映像を閲覧することができる。例えば、映像閲覧用のビューワー13には、レイアウト地図9が表示される第1表示欄14が設けられている。そして、この第1表示欄14のレイアウト地図9の任意の箇所をマウスカーソル16により選択することで、その箇所の全方位の映像を第2表示欄15に表示させることができる。第1表示欄14と第2表示欄15とは、同時に並べて表示させることができる。
なお、魚眼レンズ付きのカメラ6で撮影された映像であっても、映像閲覧用のビューワー13に表示されるときには、通常態様の映像に補正されて表示される。また、管理者Mは、マウスカーソル16を用いて、映像の視点の変更ができる。そのため、管理者Mは、作業者Wの前後左右の状況を確認することができる。また、映像閲覧用のビューワー13を用いて、映像の替わりに、点検現場をレーザスキャンすることで得られた情報を表示させても良い。
映像閲覧用のビューワー13の第2表示欄15に表示される映像は、主に静止画を例示する。なお、第2表示欄15で動画を表示しても良い。
本実施形態では、カメラ6で撮影された映像が動画で記録され、かつ撮影端末2の移動軌跡が動画に連動して記録されている。そのため、管理者Mは、映像閲覧用のビューワー13で点検現場の任意の座標位置を選択することが可能となっている。例えば、1m以内の間隔で並べられた任意の地点を選択することが可能であり、抜けのない現場映像を確認することが可能となる。なお、映像閲覧用のビューワー13で選択可能な座標位置は、作業者Wが移動した経路上に存在するものとなっている。
また、映像閲覧用のビューワー13の第2表示欄15で動画を再生することにより、点検現場を移動している状況を確認することもできる。そのため、点検現場の状況の確認を効果的に行うことができる。さらに、本実施形態では、点検現場の状況が動画で記録されているため、撮影端末2の移動速度が遅い場合、または撮影端末2が所定の地点に留まった場合には、同じ視点において周囲の状況の変化を把握することも可能となる。
また、撮影端末2で動画を位置情報と連携して記録することにより、同じ場所における過去の映像との比較も可能となる。そのため、管理者Mは、点検現場の変化の様子を確実に把握することができる。
本実施形態の撮影端末2では、動画で撮影した場合のデータの容量を削減することができる。例えば、従来技術では、全方位の映像を動画として記録する場合、データ容量が増大されることが問題となっている。一般的に動画の変化情報を利用した画像圧縮技術が採用され、動画データの容量削減が図られている。しかし、近年の小型のカメラ6の高解像度化により動画データの容量が増大することが再び問題となっている。そこで、本実施形態では、点検作業の特徴を活用して動画データの容量の削減を行う。
例えば、点検作業は、点検対象となる機器を予め設定する場合が多い。そして、作業者Wは、点検計画に基づいてそれぞれの点検箇所を巡回していく。作業者Wは、点検箇所へ徒歩で向かう途中においても、配管の水漏れの有無など、周囲に変化がないかを確認しながら移動する。従来技術のように、点検箇所の映像のみを残す方法では、作業者Wが移動中の映像を残すことができない。そのため、管理者Mは、作業者Wが移動中の周囲の状況を把握できない。
そこで、本実施形態では、作業者Wが移動中の場合も動画を記録する。ここで、点検箇所においては、点検項目に応じた作業を行うため、作業者Wは、その場に立ち止まって作業を行うことになる。例えば、作業者Wが所定の地点に到達して、所定時間立ち止まった時点で全方位の映像の取得が完了する。作業者Wが点検箇所に長時間に亘り立ち止まる場合には、追加の映像を取得する必要がなく、撮影を一旦停止する。このように、作業者Wが、点検箇所へ向かう移動中と点検箇所に居るときで、動画の記録態様を変更することで、動画データの容量を削減することができる。
さらに、作業者Wが所定の移動速度以上で移動している場合には、周辺に異常がなく、順調に移動している場合が多い。そこで、作業者Wが所定の移動速度以上で移動している場合には、動画を撮影するときのフレームレートを下げるようにする。このように、作業者Wの状態に応じて、フレームレートを変更することで、動画データの容量を削減することができる。
図8に示すように、本実施形態では、点検箇所を個々に識別可能な点検箇所番号に対応付けて、点検箇所の座標位置を予め設定しておく。さらに、それぞれの点検箇所で行う点検項目を予め設定しておく。そして、撮影端末2は、所定の点検箇所に到達した否かを判定し、フレームレートの変更または撮影を一時停止する。これにより、点検現場の状況の把握に必要な映像を残しつつ、動画データの容量を削減することができる。
図1に示すように、管理者Mが扱う管理コンピュータ3は、例えば、デスクトップPC、ノートPC、またはタブレット型PCなどの所定のコンピュータで構成される。本実施形態では、デスクトップPCを例示する。管理コンピュータ3は、コンピュータ本体17と、管理者Mが視認を行うディスプレイ18と、撮影端末2と無線通信を行う無線通信装置19を備える。ここでは、無線通信を行う例を記載しているが、有線での通信とすることも可能である。なお、ディスプレイ18はコンピュータ本体17と別体であっても良いし、一体であっても良い。
撮影端末2は、自己位置および自己姿勢を特定することができる。例えば、GPS(Global Positioning System)などの位置測定システムを有していても良い。また、撮影端末2の自己位置および自己姿勢の変位の算出に用いる位置推定技術には、例えば、SLAM(Simultaneous Localization and Mapping)、SfM(Structure from Motion)などの公知の技術を用いることができる。このような位置推定技術により撮影端末2の移動時の3次元移動量を求めることができる。
撮影端末2は、特にVSLAM(Visual Simultaneous Localization and Mapping)を用いている。そして、撮影端末2で撮影された映像に基づいて、その位置および姿勢の変位を算出する。つまり、撮影端末2は、例えば、屋内などのGPSが使用できない場所でも自己位置を推定することができる。
VSLAM技術では、撮影端末2のカメラ6などの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ6で撮影した映像を解析し、物体の特徴点(例えば、角などの物体の部分)をリアルタイムに追跡する。そして、撮影端末2の位置または姿勢の3次元情報を推定する。このVSLAM技術を用いることにより、カメラ6のみで映像の記録と位置の記録が可能となる。そのため、作業者Wの装備を簡略化することができる。
このVSLAM技術は、全方位の映像に写っている物体の特徴点を抽出し、これらの特徴点に基づいて、撮影端末2の位置情報および姿勢情報を算出する。例えば、位置が既知の所定の箇所を起点として、その起点からの撮影端末2の移動軌跡を算出することで、撮影端末2の現在の位置および姿勢を算出する。このVSLAM技術によれば、点検現場(撮影現場)の3次元特徴点群データまたは3次元CADデータを予め取得していなくても良い。そして、点検現場において、全方位の映像を構成する複数のフレームに写っている物のそれぞれの特徴点を算出することで、その特徴点の移動量から自己位置および自己姿勢を推定することができる。
本実施形態の撮影端末2は、所定のマーカを基準点(起点)として自己位置および自己姿勢を推定する。例えば、点検現場となる建物の出入口には、本実施形態の特定被写体としてのマーカが配置される。作業者Wは、作業を開始するときに、まず、撮影端末2でマーカを撮影する。ここで、撮影端末2は、マーカが写った映像に基づいて、自己位置および自己姿勢の基準点を取得する。このマーカを撮影し、移動中も撮影を継続することで、基準点から撮影端末2が移動した移動経路を推定できる。
マーカは、基準となる所定の位置に固定された状態で設けられている。なお、マーカは、画像認識が可能な図形である。例えば、マトリックス型2次元コード、所謂QRコード(登録商標)をマーカとして用いる。また、建物または機器などの場所を特定できる情報をマーカとして用いても良い。例えば、出入口の銘板、部屋の銘板、機器の機器番号または名称を記載した銘板などをマーカとして用いても良い。銘板とは、小型の平板に銘柄を表示したものである。
撮影端末2の位置は、マーカを基準とする3次元座標に基づいて特定される。このとき、マーカの寸法または予め距離の分かっている部分の映像を用いて、撮影端末2の移動距離を算出する。撮影端末2の姿勢(撮影方向)は、撮影時の位置での水平面内の方位(ヨー角)と撮影端末2のピッチ角、ロール角に基づいて求められる。
本実施形態の撮影端末2は、GPSを利用できない環境で映像と位置情報を連携して記録し、かつ映像を動画で記録することができる。また、撮影端末2で撮影された映像は、管理コンピュータ3に送信される。なお、管理コンピュータ3に対する映像の送信タイミングは、作業中であっても良いし、作業終了後であっても良い。
また、点検現場の3次元特徴点群データまたは3次元CADデータを予め取得している場合には、全方位の映像を構成する1つのフレームに基づいて、撮影端末2の位置情報および姿勢情報を算出することができる。なお、点検現場の3次元特徴点群データは、前回の点検作業で取得した映像に基づいて生成されたもので良い。3次元CADデータは、点検現場の設計図に基づいて生成されたもので良い。
ここで、撮影端末2は、全方位の映像を構成する1つのフレームに写る物体の特徴点と、予め取得した3次元特徴点群データまたは3次元CADデータの特徴点とを比較する。そして、互いにマッチングする部分を特定する。例えば、撮影した映像のフレームに写る物体の特徴点と同じ部分、または、似ている部分を探す。マッチング可能な部分が特定されることで、その映像のフレームを撮影したときの撮影端末2の位置および姿勢を推定することができる。
なお、点検現場の3次元特徴点群データまたは3次元CADデータを予め取得している場合には、マーカを基準点(起点)とする必要がないばかりか、撮影端末2の移動中に撮影を継続する必要もない。
また、点検現場の3次元特徴点群データまたは3次元CADデータを予め取得している場合には、1つのフレームのみならず、複数のフレームに基づいて、撮影端末2の位置および姿勢を推定しても良い。
次に、現場映像管理システム1のシステム構成を図2に示すブロック図を参照して説明する。
本実施形態の現場映像管理システム1は、CPU、ROM、RAM、HDDなどのハードウェア資源を有し、CPUが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の現場映像管理方法は、各種プログラムをコンピュータに実行させることで実現される。
撮影端末2は、カメラ6とモーションセンサ20と記憶部21と通信部22と端末制御部23とを備える。
カメラ6は、撮影端末2に搭載され、撮影端末2の周辺の物体を可視光により撮影する。なお、カメラ6で撮影された映像は、端末制御部23に入力される。このカメラ6は、所定のフレームレートで動画の撮影を行う。
また、端末制御部23の制御に基づいて、カメラ6の撮影時のフレームレートが調整可能となっている。カメラ6は、例えば、1FPS、5FPS、10FPS、30FPS、60FPSのいずれかのフレームレートで撮影が行える。なお、通常の撮影時のフレームレートは、30FPSとなっている。端末制御部23の制御に基づいて、カメラ6の撮影時のフレームレートを上げたり下げたりすることができる。
なお、本実施形態の「動画」は、一定のフレームレートで撮影された映像のみならず、フレームレートが撮影の途中で変化して記録された映像を含む。また、「動画」は、少なくとも一部に1FPS以上で撮影された映像を含む。例えば、作業者Wの歩行時の移動速度が1m/s程度であるとした場合に、1FPS以上で撮影すれば、1m以下の間隔で点検現場の状況を記録することができる。また、1FPS以上で撮影された映像であれば、映像に写る対象の動作を記録しておくことができる。また、「動画」には、その一部に1FPS未満で撮影された映像、つまり、静止画を連続的に撮影した映像が含まれても良い。
モーションセンサ20は、慣性センサ(3軸加速度センサと3軸角速度センサ)と3軸地磁気センサを組み合わせた9軸センサとなっている。このモーションセンサ20は、撮影端末2に搭載され、この撮影端末2が移動したときに生じる加速度を検出する。また、このモーションセンサ20により重力加速度の検出も行える。さらに、モーションセンサ20は、この撮影端末2の筐体の姿勢が変化したときに生じる角速度を検出する。この角速度の値と加速度の値とを合わせて、この撮影端末2の筐体の姿勢を特定することで、カメラ6の撮影方向を把握することができる。なお、地磁気によりカメラ6の姿勢を把握することもできる。モーションセンサ20で検出された加速度の値と角速度の値は、端末制御部23に入力される。
記憶部21は、カメラ6で撮影した映像を記憶する。なお、記憶部21に記憶される映像は、動画であっても良いし、静止画であっても良い。さらに、記憶部21は、映像に関連する所定のデータを記憶する。例えば、記憶部21は、点検現場の3次元特徴点群データまたは3次元CADデータ、点検箇所の座標位置を特定可能な情報を記憶する。
通信部22は、通信回線を介して管理コンピュータ3と通信を行う。本実施形態の通信部22には、ネットワーク機器、例えば、無線LANのアンテナが含まれる。その他にも、LANケーブルまたはUSBケーブルを用いて通信を行う場合もある。この通信部22を介して撮影端末2は、管理コンピュータ3にアクセスする。
なお、特に図示はしないが、撮影端末2は、3次元測定センサを備えても良い。3次元測定センサは、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、撮影端末2から物体までの距離を測定することができる。カメラ6による撮像方向と3次元測定センサによる測定方向は一致している。3次元測定センサは、投光パルスに対する受光パルスの遅れ時間を距離に換算するToF(Time of Flight)方式を用いて、撮影端末2から周辺の物体までの距離を測定して3次元点群化することができる。
端末制御部23は、撮影端末2を統括的に制御する。この端末制御部23は、映像取得部24と映像合成部25と映像記録部26とデータ配信部27と位置情報取得部28と姿勢情報取得部29と環境地図作成部30とフレームレート調整部31と移動速度取得部32と点検箇所判定部33とを備える。これらは、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。
映像取得部24は、撮影端末2に搭載されたカメラ6で撮影された少なくとも動画を含む映像を取得する。
映像合成部25は、複数のイメージセンサで撮影されたそれぞれの映像を繋ぎ合わせて360度の全方位の映像を合成する。本実施形態では、1台のカメラ6が2つのイメージセンサを搭載しており、これらのイメージセンサで撮影されたそれぞれの映像に基づいて、全方位の映像を合成する。なお、2台のカメラを背中合わせになるように配置し、これらのカメラで撮影されたそれぞれの映像に基づいて、全方位の映像を合成しても良い。このようにすれば、一般的なカメラを用いて全方位の映像を取得することができる。なお、映像合成部25は、管理コンピュータ3が備えていても良い。
映像記録部26は、カメラ6で撮影された映像を記憶部21に記録する制御を行う。なお、映像記録部26は、映像に対応付けて位置情報および姿勢情報を記憶部21に記録する制御を行う。
データ配信部27は、撮影端末2で取得した映像と位置情報と姿勢情報とを含むデータを管理コンピュータ3に送信する制御を行う。
位置情報取得部28は、モーションセンサ20で取得された情報、またはSLAM技術で取得した情報に基づいて、カメラ6による映像の撮影時の撮影端末2の位置(座標)を取得する。この撮影端末2の位置(撮影位置)を示す位置情報は、カメラ6による映像の撮影とともに取得される。この位置情報は、算出または更新された時点の時刻と対応付けて、記憶部21に記憶される。
なお、位置情報取得部28は、VSLAM技術を用いることで、カメラ6で撮影された映像の少なくとも1つのフレームに基づいて、位置情報を取得することができる。このようにすれば、カメラ6で撮影された映像のみを利用して撮影端末2の位置情報を取得することができる。
姿勢情報取得部29は、モーションセンサ20で取得された情報、またはSLAM技術で取得した情報に基づいて、カメラ6による映像の撮影時の撮影端末2の姿勢を取得する。この撮影端末2の姿勢(撮影方向)を示す姿勢情報は、カメラ6による映像の撮影とともに取得される。この姿勢情報は、算出または更新された時点の時刻と対応付けて、記憶部21に記憶される。
なお、姿勢情報取得部29は、VSLAM技術を用いることで、カメラ6で撮影された映像の少なくとも1つのフレームに基づいて、姿勢情報を取得することができる。このようにすれば、カメラ6で撮影された映像のみを利用して撮影端末2の姿勢情報を取得することができる。
環境地図作成部30は、SLAM技術またはVSLAM技術を用いて、撮影端末2の周辺環境の情報を含む環境地図の作成を行う。このようにすれば、映像の撮影時の撮影端末2の位置(撮影位置)および筐体の向き(撮影方向)の取得精度を向上させることができる。
本実施形態のSLAM技術では、撮影端末2のカメラ6で取得した情報のみを用いて、撮影端末2の周辺の物体の特徴点を抽出する。なお、カメラ6および3次元測定センサで取得した情報を用いて、撮影端末2の周辺の物体の特徴点を抽出することもできる。なお、特徴点の集合させたものを3次元特徴点群データと称する。端末制御部23は、カメラ6で撮影した映像を解析し、物体の特徴点(例えば、箱状の物体の辺または角の部分)をリアルタイムに追跡する。この3次元特徴点群データに基づいて、撮影端末2の位置および姿勢の3次元情報を推定することができる。このとき、マーカの寸法または予め距離の分かっている部分の映像を用いて、撮影端末2の移動距離を算出する。
また、撮影端末2の周辺の物体の3次元特徴点群データを所定の時間毎に検出し、時系列において前後する3次元特徴点群データ間の変位に基づいて、撮影端末2の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自己位置および自己姿勢から、現在位置および現在姿勢に先立つ撮影端末2の移動経路が得られる。
つまり、端末制御部23は、基準点から撮影端末2が移動するときに連続的に撮影された撮影画像に基づいて、撮影端末2の位置および姿勢を取得する制御を行う。このようにすれば、基準点から撮影端末2が移動した経路を映像により推定できるので、撮影端末2の位置および姿勢の推定精度を向上させることができる。
なお、本実施形態では、カメラ6を用いたSLAM技術を例示しているが、その他の態様であっても良い。例えば、ステレオカメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、撮影端末2の自己位置および自己姿勢を推定しても良い。なお、本実施形態のSLAM技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法(PDR:Pedestrian Dead Reckoning)などの屋内で使用可能な位置情報計測技術の中で、最も精度よく3次元座標を算出することができる。
なお、環境地図に基づく位置情報または姿勢情報と、基準点に基づく位置情報または姿勢情報とに誤差がある場合には、基準点に基づく位置情報または姿勢情報を優先的に適用しても良い。このようにすれば、作業者Wが作業現場にてマーカを撮影することで、情報の補正を行うことができる。VSLAM技術は、相対的な移動量を算出する手法であるため、長時間の使用により誤差が蓄積されてしまう場合がある。そこで、基準点となるマーカを撮影端末2で読み込むことで、点検現場における位置情報を正確に把握することができる。
フレームレート調整部31は、カメラ6で動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせる制御を行う。このようにすれば、撮影期間に応じてフレームレートを調整することができる。
また、フレームレート調整部31は、カメラ6で動画を撮影するときに、撮影端末2の移動速度に応じてフレームレートを異ならせる制御を行う。このようにすれば、動画データの容量を削減することができる。例えば、撮影端末2の移動中にフレームレートを下げて動画データの容量を削減することができる。
点検箇所で点検作業などを行うときには、撮影端末2が移動せず、周囲の状況が変化しないため、撮影を一旦停止する。なお、撮影端末2が点検箇所にある場合において、フレームレートを上げても良い。このようにすれば、点検作業の動画を精細に取得することができる。
移動速度取得部32は、モーションセンサ20による加速度および角速度の検出に基づいて、撮影端末2の移動速度を取得する。なお、移動速度取得部32は、VSLAM技術を用いることで、撮影端末2の移動速度を取得することもできる。
点検箇所判定部33は、撮影端末2が点検箇所にあるか否かを判定する。なお、この判定に応じて、フレームレート調整部31が、撮影端末2が点検箇所にある場合と点検箇所にない場合とでフレームレートを異ならせる制御を行う。このようにすれば、点検箇所と点検場所以外とでフレームレートを調整することができる。なお、撮影端末2は、点検の開始前に管理コンピュータ3にアクセスし、予め点検箇所の座標位置を特定可能な情報(図8)を取得する。この取得した点検箇所の座標位置に基づいて、点検箇所判定部33が判定を行う。なお、点検箇所とは、所定の1点に限らず、所定の面積(範囲)を有する箇所をいう。つまり、点検箇所判定部33は、撮影端末2が点検箇所の範囲内にあるか否かを判定する。
図2に示すように、管理コンピュータ3は、通信部34と記憶部35と入力部36とディスプレイ18と管理制御部37とを備える。
本実施形態の管理コンピュータ3のシステム構成は、必ずしも1つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて1つのシステムを実現しても良い。
通信部34は、通信回線を介して撮影端末2と通信を行う。この通信部34は、無線通信装置19に搭載されている。また、通信部34は、所定のネットワーク機器、例えば、無線LANアクセスポイントまたはアンテナに搭載されても良い。なお、通信部34は、WAN(Wide Area Network)、インターネット回線、または携帯通信網を介して撮影端末2と通信を行っても良い。なお、通信部34は、通信回線を介して他のコンピュータと通信を行っても良い。
記憶部35は、撮影端末2から送られた映像を記録する。また、映像に対応付けられた位置情報および姿勢情報を記録する。さらに、事前に設定されたレイアウト地図(図6)なども記録する。
なお、記憶部35は、データベースを備えても良い。データベースは、メモリまたはHDDに記憶され、検索または蓄積ができるよう整理された情報の集まりである。
入力部36は、管理コンピュータ3を使用する管理者Mの操作に応じて所定の情報が入力される。この入力部36には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が入力部36に入力される。本実施形態の入力操作には、マウスを用いたクリック操作、またはタッチパネルを用いたタッチ操作が含まれる。つまり、これら入力装置の操作に応じて所定の情報が管理コンピュータ3に入力される。
ディスプレイ18は、所定の情報の出力を行う装置である。例えば、映像閲覧用のビューワー13(図7)の表示を行う装置である。管理コンピュータ3は、ディスプレイ18に表示される映像の制御を行う。なお、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される映像の制御を管理コンピュータ3が行っても良い。
なお、本実施形態では、映像の表示を行う装置としてディスプレイ18を例示するが、その他の態様であっても良い。例えば、ヘッドマウントディスプレイまたはプロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、管理コンピュータ3が制御する対象として、ヘッドマウントディスプレイ、プロジェクタまたはプリンタが含まれても良い。
管理制御部37は、管理コンピュータ3を統括的に制御する。この管理制御部37は、データ取得部38と地図割付部39と映像表示制御部40とを備える。これらは、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。
データ取得部38は、映像と位置情報と姿勢情報とを含むデータを撮影端末2から受信する制御を行う。撮影端末2から受信したデータは、記憶部35に記憶される。なお、データ取得部38は、予めレイアウト地図9などの点検現場に関する情報を取得する。そして、レイアウト地図9などの情報を記憶部35に記録する処理を行う。
地図割付部39は、位置情報に基づいて、点検現場(撮影現場)のレイアウト地図9(図6)の座標位置を特定し、特定された座標位置に映像を割り付ける処理を実行する。つまり、特定された座標位置に対応付けて映像を記録する処理を行う。
なお、地図割付部39は、姿勢情報に基づいて、撮影時の撮影端末2の筐体の向きを特定し、特定された向きに応じて映像を割り付ける処理を実行する。つまり、撮影時の撮影端末2の筐体の向きに対応付けて映像を記録する処理を行う。
映像表示制御部40は、映像閲覧用のビューワー13(図7)をディスプレイ18に表示する制御を行う。さらに、映像表示制御部40は、映像閲覧用のビューワー13によりレイアウト地図9の座標位置の選択を受け付けて、選択された座標位置に割り付けられた映像を表示する制御を行う。例えば、図7に示すように、管理者Mは、映像閲覧用のビューワー13の第1表示欄14の所定の点検箇所12を選択する。この選択に基づいて、選択された点検箇所12の映像が第2表示欄15に表示される。
次に、現場映像管理システム1の撮影端末2が実行する端末側処理について図9のフローチャートを用いて説明する。前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、現場映像管理方法が実行される。なお、撮影端末2が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。以下のステップは、端末側処理に含まれる少なくとも一部の処理であり、他のステップが端末側処理に含まれても良い。
まず、ステップS11において、端末制御部23は、自己位置推定処理を実行する。この自己位置推定処理では、モーションセンサ20で取得された情報、またはSLAM技術で取得した情報に基づいて、撮影端末2の位置および姿勢を推定する処理が行われる。この自己位置推定処理が実行されるときには、カメラ6が起動して撮影が開始される。ここで、位置情報取得部28が撮影端末2の位置情報を取得する。姿勢情報取得部29が撮影端末2の姿勢情報を取得する。環境地図作成部30が撮影端末2の周辺環境の情報を含む環境地図の作成を行う。
次のステップS12において、端末制御部23(フレームレート調整部31)は、後述のフレームレート調整処理(図10)を実行する。
次のステップS13において、映像取得部24は、映像取得処理を実行する。この映像取得処理では、まず、撮影端末2に搭載されたカメラ6で少なくとも動画を含む映像の撮影を行う。そして、映像取得部24は、カメラ6で撮影された映像を取得する処理を行う。
次のステップS14において、映像合成部25は、映像合成処理を実行する。この映像合成処理では、カメラ6の複数のイメージセンサで撮影されたそれぞれの映像を繋ぎ合わせて360度の全方位の映像を合成する。なお、2台のカメラを用いる場合には、これらのカメラで撮影された映像を繋ぎ合わせて360度の全方位の映像を合成する。なお、この映像合成処理は、管理コンピュータ3で実行しても良い。
次のステップS15において、映像記録部26は、映像記録処理を実行する。この映像記録処理では、映像取得部24で取得した映像を記憶部21に記録する。ここで、映像記録部26は、映像と位置情報と姿勢情報とを対応付けて記録する。
次のステップS16において、データ配信部27は、データ配信処理を実行する。このデータ配信処理では、撮影端末2で取得した映像と位置情報と姿勢情報とを含むデータを管理コンピュータ3に送信する。そして、撮影端末2は、端末側処理を終了する。
次に、端末制御部23(フレームレート調整部31)が実行するフレームレート調整処理について図10のフローチャートを用いて説明する。
まず、ステップS21において、点検箇所判定部33は、位置情報取得部28が取得した位置情報に基づいて、撮影端末2の現在位置が点検箇所であるか否かを判定する。ここで、撮影端末2の現在位置が点検箇所である場合(ステップS21でYESの場合)は、後述のステップS25に進む。一方、撮影端末2の現在位置が点検箇所でない場合(ステップS21でNOの場合)は、ステップS22に進む。
ステップS22において、移動速度取得部32は、モーションセンサ20による加速度および角速度の検出に基づいて、撮影端末2の移動速度を取得する。なお、移動速度取得部32は、VSLAM技術を用いることで、撮影端末2の移動速度を取得することもできる。
次のステップS23において、フレームレート調整部31は、移動速度取得部32が取得した移動速度が予め設定された閾値以上であるか否かを判定する。ここで、移動速度が閾値未満である場合(ステップS23でNOの場合)は、後述のステップS25に進む。一方、移動速度が閾値以上である場合(ステップS23でYESの場合)は、ステップS24に進む。
ステップS24において、フレームレート調整部31は、カメラ6の撮影時のフレームレートを下げる。例えば、通常のフレームレートが30FPSの場合に、そのフレームレートを10FPSに下げる。また、移動速度が段階的に上がるたびにフレームレートを段階的に下げても良い。そして、端末制御部23は、フレームレート調整処理を終了する。
前述のステップS21でYESまたはステップS23でNOの場合に進むステップS25において、フレームレート調整部31は、撮影端末2が移動をしないで一定時間以上に亘ってその場に停止中であるか否かを判定する。つまり、移動速度がほぼゼロの状態が一定時間以上続いているか否かを判定する。なお、判定に用いる一定時間は予め任意の時間を設定する。ここで、一定時間以上停止中でない場合(ステップS25でNOの場合)は、後述のステップS27に進む。一方、一定時間以上停止中である場合(ステップS25でYESの場合)は、ステップS26に進む。
ステップS26において、フレームレート調整部31は、カメラ6による撮影を停止する。なお、カメラ6の撮影時のフレームレートを1FPS以下に下げるようにしても良い。そして、端末制御部23は、フレームレート調整処理を終了する。
前述のステップS25でNOの場合に進むステップS27において、フレームレート調整部31は、カメラ6の撮影時のフレームレートを通常のフレームレート(例えば、30FPS)にして撮影を行う。そして、端末制御部23は、フレームレート調整処理を終了する。
次に、現場映像管理システム1の管理コンピュータ3が実行する管理側処理について11のフローチャートを用いて説明する。前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、現場映像管理方法が実行される。なお、管理コンピュータ3が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。以下のステップは、管理側処理に含まれる少なくとも一部の処理であり、他のステップが管理側処理に含まれても良い。
まず、ステップS31において、データ取得部38は、データ取得処理を実行する。このデータ取得処理では、映像と位置情報と姿勢情報とを含むデータを撮影端末2から受信する。
次のステップS32において、地図割付部39は、地図割付処理を実行する。この地図割付処理では、位置情報に基づいて、点検現場のレイアウト地図9(図6)の座標位置を特定し、特定された座標位置に映像を割り付ける。
次のステップS33において、映像表示制御部40は、映像表示制御処理を実行する。この映像表示制御処理では、まず、ディスプレイ18に映像閲覧用のビューワー13(図7)を表示する。また、第1表示欄14の所定の点検箇所12の選択を受け付ける。さらに、選択された点検箇所12で取得された映像を第2表示欄15に表示する。そして、管理コンピュータ3は、管理側処理を終了する。
次に、映像合成処理、映像記録処理、地図割付処理における映像(動画)を構成する各フレームと位置情報と姿勢情報の関係を図12から図14を参照して説明する。
図12に示すように、全方位の映像の各フレームが撮影時刻に対応付けて記録される。また、撮影端末2の位置情報(座標位置)がその記録時刻に対応付けて記録される。さらに、撮影端末2の姿勢情報がその記録時刻に対応付けて記録される。
映像記録処理では、フレームの撮影時刻に対応する記録時刻を特定し、この特定された記録時刻に対応する位置情報および姿勢情報を、フレームに対応する位置情報および姿勢情報であるとして記録を行う。
また、地図割付処理では、フレームに対応する位置情報に基づいて、レイアウト地図(図6)の座標位置を特定する。さらに、フレームに対応する姿勢情報に基づいて、フレームの再生時の向きを特定する。そして、レイアウト地図における特定された座標位置にフレームを割り付ける。
図13の変形例1に示すように、映像記録処理では、映像の撮影時に各フレームに対応付けて位置情報および姿勢情報を記録しても良い。このようにすれば、撮影時刻および記録時刻に基づいて、フレームと位置情報と姿勢情報とを一致させる処理を行う必要がなくなる。
図14の変形例2では、作業者Wの額に1台の魚眼レンズ付きのカメラ6を取り付けて撮影を行う態様を例示する。このカメラ6は、作業者Wの前方側を撮影するものとする。
例えば、作業者Wが点検箇所に向かう往路では、作業者Wが北方向に向かって歩くものとする。そして、作業者Wが点検箇所から戻る復路では、作業者Wが南方向に向かって歩くものとする。すると、作業者Wの額に取り付けられたカメラ6は、所定の位置における北方向と南方向の両方の映像を撮影することになる。そして、同一位置における往路と復路の映像を合成することで、その位置における全方位の映像を取得することができる。
変形例2の映像記録処理では、映像の撮影時に各フレームに対応付けて位置情報および姿勢情報を記録する。そして、映像合成処理では、往路の撮影時の位置情報と復路の撮影時の位置情報とで一致するものを特定する。そして、位置情報が一致しているフレーム同士を合成して全方位の映像を生成する。
一般的な動画の再生の態様は、撮影された時系列順にフレームを再生するものである。しかし、本実施形態では、動画の時間軸を無視し、撮影時の位置順(座標軸順)にフレームを再生する。このようにすれば、動画の撮影に基づいて、撮影現場の状況を確認するためのシステムを構築することができる。
なお、本実施形態において、基準値(閾値または一定時間)を用いた任意の値(移動速度または移動停止時間)の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
本実施形態のシステムは、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、またはCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)またはRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
なお、本実施形態のシステムで実行されるプログラムは、ROMなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD、フレキシブルディスク(FD)などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。
なお、本実施形態では、ヘルメット5に搭載されたカメラ6によって映像と位置情報を取得しているが、その他の態様であっても良い。例えば、タブレット端末4に搭載されているカメラ6によって映像と位置情報を取得しても良い。
なお、本実施形態では、撮影端末2の位置をSLAM技術で取得しているが、その他の態様であっても良い。例えば、点検現場が屋外である場合には、GPSを用いて撮影端末2の位置を取得しても良い。
以上説明した実施形態によれば、地図の座標位置の選択を受け付けて、選択された座標位置に割り付けられた映像を表示する制御を行う映像表示制御部を備えることにより、移動する端末を用いて撮影された映像の再生時に端末の移動経路上の任意の地点の映像を表示することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…現場映像管理システム、2…撮影端末、3…管理コンピュータ、4…タブレット端末、5…ヘルメット、6…カメラ、7…映像、8…座標図、9…レイアウト地図、10…機器、11…配管、12…点検箇所、13…ビューワー、14…第1表示欄、15…第2表示欄、16…マウスカーソル、17…コンピュータ本体、18…ディスプレイ、19…無線通信装置、20…モーションセンサ、21…記憶部、22…通信部、23…端末制御部、24…映像取得部、25…映像合成部、26…映像記録部、27…データ配信部、28…位置情報取得部、29…姿勢情報取得部、30…環境地図作成部、31…フレームレート調整部、32…移動速度取得部、33…点検箇所判定部、34…通信部、35…記憶部、36…入力部、37…管理制御部、38…データ取得部、39…地図割付部、40…映像表示制御部、M…管理者、W…作業者。

Claims (8)

  1. 移動可能な端末に搭載されたカメラで撮影された少なくとも動画を含む映像を取得する映像取得部と、
    前記映像の撮影とともに前記端末の位置情報を取得する位置情報取得部と、
    前記映像と前記位置情報を対応付けて記録する映像記録部と、
    撮影現場がプラントにおいて予め登録されている点検箇所が含まれる場所であり、前記点検箇所の座標位置を特定可能な情報を取得し、この取得した前記点検箇所の前記座標位置に基づいて、前記端末が前記点検箇所にあるか否かを判定する点検箇所判定部と、
    前記カメラで前記動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせるものであって前記端末が前記点検箇所にある場合と前記点検箇所にない場合とで前記フレームレートを異ならせるフレームレート調整部と、
    前記位置情報に基づいて、前記撮影現場のレイアウトを示す地図の前記座標位置を特定し、特定された前記座標位置に前記映像を割り付ける地図割付部と、
    前記地図の前記座標位置の選択を受け付けて、選択された前記座標位置に割り付けられた前記映像を表示する制御を行う映像表示制御部と、
    を備える、
    現場映像管理システム。
  2. 前記端末の移動速度を取得する移動速度取得部を備え、
    前記フレームレート調整部は、前記移動速度に応じて前記フレームレートを異ならせる、
    請求項に記載の現場映像管理システム。
  3. 前記地図割付部は、前記映像に映っている基準点を基にして推定した前記位置情報に基づいて、前記座標位置を特定する、
    請求項1または請求項に記載の現場映像管理システム。
  4. 複数の前記カメラで撮影されたそれぞれの前記映像を繋ぎ合わせて360度の全方位の前記映像を合成する映像合成部を備える、
    請求項1から請求項のいずれか1項に記載の現場映像管理システム。
  5. 前記位置情報取得部は、前記カメラで撮影された前記映像の少なくとも1つのフレームに基づいて、前記位置情報を取得する、
    請求項1から請求項のいずれか1項に記載の現場映像管理システム。
  6. 前記動画は、少なくとも一部に1FPS以上で撮影されたものを含む、
    請求項1から請求項のいずれか1項に記載の現場映像管理システム。
  7. 前記端末に搭載されたデバイスにより得られた情報に基づいて、前記端末の周辺環境の情報を含む環境地図の作成を行う環境地図作成部を備える、
    請求項1から請求項のいずれか1項に記載の現場映像管理システム。
  8. 移動可能な端末に搭載されたカメラで撮影された少なくとも動画を含む映像を取得するステップと、
    前記映像の撮影とともに前記端末の位置情報を取得するステップと、
    前記映像と前記位置情報を対応付けて記録するステップと、
    撮影現場がプラントにおいて予め登録されている点検箇所が含まれる場所であり、前記点検箇所の座標位置を特定可能な情報を取得し、この取得した前記点検箇所の前記座標位置に基づいて、前記端末が前記点検箇所にあるか否かを判定するステップと、
    前記カメラで前記動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせるステップであって前記端末が前記点検箇所にある場合と前記点検箇所にない場合とで前記フレームレートを異ならせるステップと、
    前記位置情報に基づいて、前記撮影現場のレイアウトを示す地図の前記座標位置を特定し、特定された前記座標位置に前記映像を割り付けるステップと、
    前記地図の前記座標位置の選択を受け付けて、選択された前記座標位置に割り付けられた前記映像を表示する制御を行うステップと、
    を含む、
    現場映像管理方法。
JP2020124342A 2020-07-21 2020-07-21 現場映像管理システムおよび現場映像管理方法 Active JP7588977B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020124342A JP7588977B2 (ja) 2020-07-21 2020-07-21 現場映像管理システムおよび現場映像管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020124342A JP7588977B2 (ja) 2020-07-21 2020-07-21 現場映像管理システムおよび現場映像管理方法

Publications (2)

Publication Number Publication Date
JP2022021009A JP2022021009A (ja) 2022-02-02
JP7588977B2 true JP7588977B2 (ja) 2024-11-25

Family

ID=80220114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020124342A Active JP7588977B2 (ja) 2020-07-21 2020-07-21 現場映像管理システムおよび現場映像管理方法

Country Status (1)

Country Link
JP (1) JP7588977B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374253B2 (ja) * 2022-04-15 2023-11-06 株式会社トスコ 生成装置、生成方法および生成プログラム
JP2024000529A (ja) * 2022-06-20 2024-01-05 株式会社SoftRoid 情報処理装置
JP2024107947A (ja) * 2023-01-30 2024-08-09 株式会社東芝 移動体位置推定システムおよび移動体位置推定方法
WO2024190673A1 (ja) * 2023-03-16 2024-09-19 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、及び情報処理プログラム
KR102831269B1 (ko) * 2024-03-08 2025-07-08 플로리젠로보틱스 주식회사 마커를 이용한 실내 위치 추정 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009205386A (ja) 2008-02-27 2009-09-10 Nikon Corp 車載カメラシステムおよびその制御方法
JP2010128799A (ja) 2008-11-27 2010-06-10 Mitsubishi Electric Corp 複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラム
JP2015001756A (ja) 2013-06-13 2015-01-05 株式会社日立製作所 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末
JP2016111393A (ja) 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2017108356A (ja) 2015-12-11 2017-06-15 株式会社リコー 画像管理システム、画像管理方法、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127921B1 (ko) * 2018-09-13 2020-06-29 (주)이노시스 공사 현장에 단계적으로 적용하기 위한 실시간 다중 영상 정보제공시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009205386A (ja) 2008-02-27 2009-09-10 Nikon Corp 車載カメラシステムおよびその制御方法
JP2010128799A (ja) 2008-11-27 2010-06-10 Mitsubishi Electric Corp 複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラム
JP2015001756A (ja) 2013-06-13 2015-01-05 株式会社日立製作所 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末
JP2016111393A (ja) 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2017108356A (ja) 2015-12-11 2017-06-15 株式会社リコー 画像管理システム、画像管理方法、プログラム

Also Published As

Publication number Publication date
JP2022021009A (ja) 2022-02-02

Similar Documents

Publication Publication Date Title
JP7588977B2 (ja) 現場映像管理システムおよび現場映像管理方法
US11979547B2 (en) Multi-dimensional data capture of an environment using plural devices
US11381758B2 (en) System and method for acquiring virtual and augmented reality scenes by a user
JP7337654B2 (ja) 保全活動サポートシステムおよび保全活動サポート方法
US8699005B2 (en) Indoor surveying apparatus
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US20170230633A1 (en) Method and apparatus for generating projection image, method for mapping between image pixel and depth value
WO2018116790A1 (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
CN118339424A (zh) 用于真实世界测绘的物体和相机定位系统以及定位方法
CN114299390A (zh) 一种确定维修部件演示视频的方法及装置、安全帽
JPWO2019171557A1 (ja) 画像表示システム
CN112074705A (zh) 光学惯性跟踪运动物体的方法和系统
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
US20180082119A1 (en) System and method for remotely assisted user-orientation
JP7467206B2 (ja) 映像管理支援システムおよび映像管理支援方法
JP7508271B2 (ja) 画像特定システムおよび画像特定方法
WO2022129646A1 (en) Virtual reality environment
TWI814624B (zh) 環景影像的地標識別標註系統及其方法
JP7564737B2 (ja) 撮影処理装置、及び撮影処理方法
JP2025080543A (ja) 3次元データ処理システムおよび3次元データ処理方法
KR20250125909A (ko) 현장점검시스템에서 드론과 인터랙션을 수행하는 방법 및 현장점검단말기
JP2024072072A (ja) 情報処理装置
Gervais Towards high-accuracy augmented reality GIS for architecture and geo-engineering

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200814

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240819

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241113

R150 Certificate of patent or registration of utility model

Ref document number: 7588977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150