JP7179583B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7179583B2
JP7179583B2 JP2018207918A JP2018207918A JP7179583B2 JP 7179583 B2 JP7179583 B2 JP 7179583B2 JP 2018207918 A JP2018207918 A JP 2018207918A JP 2018207918 A JP2018207918 A JP 2018207918A JP 7179583 B2 JP7179583 B2 JP 7179583B2
Authority
JP
Japan
Prior art keywords
image
target
target portion
site
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018207918A
Other languages
English (en)
Other versions
JP2020077898A (ja
Inventor
健司 尾崎
朋美 菱沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018207918A priority Critical patent/JP7179583B2/ja
Publication of JP2020077898A publication Critical patent/JP2020077898A/ja
Application granted granted Critical
Publication of JP7179583B2 publication Critical patent/JP7179583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。
従来、画像により所定の情報の漏洩を防止する技術がある。例えば、美術館などの展示物の盗撮妨害を目的とした技術が知られている。また、飛行ロボットに取り付けたカメラで監視場所を撮影するときに許可された場所以外での撮影を禁止する技術が知られている。また、撮影許可または撮影禁止の対象物を自動で判定し、この対象物の画像の保存可否を制御する技術が知られている。
特開2011-257759号公報 特開2014-177162号公報 特開2014-192753号公報 特許第5731083号公報
プラントなどの大型施設の建設または保守の現場では、現場の作業者と遠隔地の支援者が連絡を取りながら作業をする場合がある。例えば、現場の作業者が所持する端末を用いて画像を撮影し、その画像を遠隔地の支援者に伝送する場合がある。このような場合に、機密に関する情報または忌避すべき情報などの特定情報が画像に写ってしまった状態で伝送されてしまうと、特定情報が外部に漏洩されてしまうという課題がある。
本発明の実施形態は、このような事情を考慮してなされたもので、現場で撮影された画像を通じて特定情報が外部に漏洩されてしまうことを抑制することができる画像処理技術を提供することを目的とする。
本発明の実施形態に係る画像処理装置は、原子力プラントの作業現場に居る作業者が所持する現場端末で撮影され、前記現場端末から伝送される現場画像を受信する現場画像受信部と、受信した前記現場画像における特定情報に関連する対象部分を抽出する対象抽出部と、前記現場画像における前記対象部分の画像を変更して処理後画像を生成する画像処理部と、前記処理後画像を外部装置に伝送する処理後画像伝送部と、を備え、前記作業現場が前記原子力プラントの敷地内の管理区域として予め定められた特定エリア内にあり、前記特定情報が前記特定エリア内で管理される情報であり、前記外部装置が前記特定エリア外にあり、前記特定エリア内で前記作業者の監視または支援を行う第1監視者が視認するディスプレイの画面には、前記現場画像が表示され、前記特定エリア外で前記作業者の監視または支援を行う第2監視者が視認する前記外部装置のディスプレイの画面には、前記処理後画像が表示される、ように構成されている
本発明の実施形態により、現場で撮影された画像を通じて特定情報が外部に漏洩されてしまうことを抑制することができる画像処理技術が提供される。
画像撮影システムを示すシステム構成図。 画像撮影システムを示すブロック図。 現場画像を示す画像図。 対象部分にマーカを設けた場合の現場画像を示す画像図。 処理後画像を示す画像図。 画像処理方法を示すフローチャート。
以下、図面を参照しながら、本実施形態の画像撮影システムの実施形態について詳細に説明する。図1の符号1は、本実施形態の画像撮影システムである。
図1に示すように、本実施形態の画像撮影システム1は、作業現場に居る作業者Wが所持する現場端末2と、作業者Wの監視または支援を特定エリア内で行う第1監視者M1が扱う第1監視装置3と、作業者Wの監視または支援を特定エリア外で行う第2監視者M2が扱う第2監視装置4とを備える。
本実施形態では、現場端末2と第1監視装置3と第2監視装置4とがそれぞれ1台ずつで構成される形態を例示している。なお、現場端末2と第1監視装置3と第2監視装置4とがそれぞれ複数台存在しても良い。
画像撮影システム1は、原子力プラントまたは工場などの作業現場において、作業者Wの状況を監視者M1,M2が監視をして、作業者Wに対して的確な指示を行えるようにしている。特に、作業現場で撮影された画像を作業者Wと監視者M1,M2とで共有することで、より正確に状況を把握することができ、効率的な作業を進めることができる。
作業現場が予め定められた特定エリア内にある。特定エリアは、例えば、原子力プラントの敷地内の管理区域である。この特定エリア内で、機密に関する情報または忌避すべき情報などの特定情報が管理される。この特定情報には、特定エリア内に設けられる施設または機器に関する情報が含まれる。なお、特定エリア外とは、原子力プラントの敷地内であっても管理区域の外側にある区域である。また、特定エリア外が原子力プラントの敷地外の遠隔地であっても良い。
本実施形態では、画像処理装置としての第1監視装置3とが特定エリア内に配置される。また、外部装置としての第2監視装置4が特定エリア外に配置される。このようにすれば、特定エリア内で管理される特定情報が特定エリア外に漏洩されてしまうことを抑制することができる。
従来、原子力プラントでは、保安上のリスク低減または技術情報の漏洩防止を目的として、特定情報に関するものを撮影し、その画像を管理区域外へ持ち出すことを禁止している場合がある。特に、撮影機材を持ち出す際には、内部メモリをチェックして情報管理をしている。しかしながら、作業現場に居る作業者Wが身に着けた現場端末2で撮影した画像をリアルタイムに外部に伝送する場合がある。その場合には、作業者Wに特定情報を漏洩させる意図が無くても、特定情報に関する画像が管理区域外へ伝送されてしまう懸念がある。
本実施形態では、現場端末2で撮影された現場画像5(図3参照)に、特定情報に関する対象部分6が含まれる場合に、その対象部分6をマスク7で隠す処理を施した処理後画像8(図5参照)を生成する。そして、この処理後画像8を特定エリア外に伝送することで、効率的な作業を進めつつ、特定情報が外部に漏洩されてしまうことを抑制するようにしている。
なお、マスク7は、現場画像5の一部の範囲の画素を変更することで不鮮明にした部分を示す。また、マスク7は、対象部分6が見えなくなるものであれば良い。本実施形態の「マスク」という用語には、モザイクまたはボカシが含まれる。また、対象部分6が写った範囲を別の画像で上書きすることで、対象部分6を隠す態様を含む。
作業者Wは、現場端末2を用いて作業現場で撮影を行い、この現場画像5(図3参照)が第1監視装置3に伝送される。本実施形態の画像は、いわゆる映像であって、ビデオ映像(動画像)または静止画像のいずれでも良い。
第1監視装置3は、現場画像5(図3参照)を受信すると、画像処理を行って対象部分6にマスク7を施した処理後画像8(図5参照)を生成する。そして、第1監視装置3は、処理後画像8を第2監視装置4に伝送する。特定エリア外にいる第2監視者は、処理後画像8のみを見ることができる。そのため、特定情報が外部に漏洩されずに済む。
第2監視装置4には、現場画像5が伝送されず、作業現場で撮影された画像中に対象部分6が含まれるか否かの判定を行わない。そのため、第2監視装置4が遠隔地などの特定エリア外にあっても、情報漏洩のリスクが少ない。なお、特定エリア内にある第1監視装置3が実行する画像処理は、比較的計算負荷の小さいマスク処理のみなので、即時的な処理が可能となる。
現場端末2は、作業者Wが作業現場に立ち入る際に所持する小型軽量の計算機である。この現場端末2は、携帯電話、スマートフォン、タブレット型PC、ノートPCなどの機器で実現される。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。また、作業者Wが身に着けるウエアラブルカメラまたはカメラスマートグラスのような機器でも良い。なお現場端末2として一般的な端末を利用することが可能である。最低限の搭載部品として、中央処理部(CPU)、記憶装置(メモリ、ストレージ)、信号入力用インターフェース(USBポート)、通信インターフェース(無線通信用アンテナ)の機能を有するものであれば良い。
第1監視装置3は、第1監視者M1が扱うコンピュータ9と、第1監視者M1が視認を行うディスプレイ10と、現場端末2と無線通信を行う無線通信装置11を備える。また、第2監視装置4は、第2監視者M2が扱うコンピュータ12と、第2監視者M2が視認を行うディスプレイ13とを備える。なお、本実施形態のコンピュータ9,12は、例えば、デスクトップPCでも良いし、ノートPCでも良い。
さらに、作業者Wと監視者M1,M2とは、それぞれヘッドセット14,15,16を装着する。これらのヘッドセット14,15,16は、マイクおよびスピーカを備える。特に図示はしないが、それぞれのヘッドセット14,15,16は、所定の機器および回線を通じて互いに接続される。作業者Wと監視者M1,M2とは、ヘッドセット14,15,16を介して互いの対話が可能となっている。なお、現場端末2と第1監視装置3と第2監視装置4とを介して互いの対話を可能としても良い。
次に、画像撮影システム1のシステム構成を図2に示すブロック図を参照して説明する。
現場端末2は、カメラ20と現場画像取得部21と現場画像記憶部22と撮影方向取得部23と端末位置取得部24と端末通信部25と端末制御部26とを備える。
カメラ20は、レンズとCCDなどの撮像素子から成る。また、現場画像取得部21は、カメラ20で撮影された現場画像5を取得する。
現場端末2の現場画像記憶部22は、現場画像取得部21が取得した現場画像5が一時的に記憶される。この現場画像記憶部22は、メモリまたはHDDから成る。
撮影方向取得部23は、現場端末2のカメラ20が向いている方向、即ち撮影方向を取得する。この撮影方向取得部23は、ジャイロセンサ(角速度センサ)などの方向を計測可能なセンサを有する。また、撮影方向取得部23は、重力加速度に基づく鉛直方向の計測および現場端末2の移動方向を計測可能な加速度センサを有している。
端末位置取得部24は、現場端末2がある位置を取得する。また、端末位置取得部24は、GPS(Global Positioning System)などの位置測定システムを有していても良い。
なお、端末位置取得部24は、屋内などのGPSが使用できない場所でも使用可能なVSLAM(Visual Simultaneous Localization and Mapping)などの自己位置推定システムを有していても良い。
VSLAM技術では、現場端末2のカメラ20およびセンサで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ20で撮影した動画像を解析し、物体の特徴点(例えば角などの物体の部分)をリアルタイムに追跡する。そして、現場端末2の位置または姿勢の3次元情報を推定する。例えば、2つのRGBカメラとジャイロセンサを用いる方法と、RGBカメラ、魚眼カメラ、ジャイロセンサ、赤外線センサを用いる方法がある。このVSLAM技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法(PDR:Pedestrian Dead Reckoning)などの屋内で使用可能な位置情報計測技術の中で、最も精度よく3次元座標を算出することができる。
現場端末2が、撮影方向取得部23および端末位置取得部24を備えることで、どの場所でどの方位に向けて撮影をしたときの現場画像5であるかを把握することができる。これら撮影方向取得部23および端末位置取得部24で計測された情報は、現場画像5とともに端末通信部25を介して第1監視装置3に伝送される。
端末通信部25は、通信回線を介して第1監視装置3と通信を行う。ここで、通信回線は、有線LAN(Local Area Network)、無線LAN、携帯通信網が代表的なものある。本実施形態の端末通信部25には、ネットワーク機器、例えば、無線LANのアンテナが含まれる。この端末通信部25を介して現場画像5を含む各種データが第1監視装置3に伝送される。なお、現場画像5は、リアルタイムで伝送されても良いし、一時的に現場画像記憶部22に記憶されて所定時間経過後に伝送されても良い。
端末制御部26は、カメラ20と現場画像取得部21と現場画像記憶部22と撮影方向取得部23と端末位置取得部24と端末通信部25と統括的に制御する。この端末制御部26は、現場端末2を所持する作業者Wの操作により現場画像5の伝送制御を行う。なお、第1監視装置3からの遠隔操作により現場画像5の伝送制御を行っても良い。
画像処理装置としての第1監視装置3は、エリア内通信部30と第1監視表示部31と現場画像記憶部32と指定操作部33と対象抽出部34と画像処理部35と処理後画像記憶部36と対象関連データベース37と第1監視通信部38と第1監視制御部39とを備える。
現場画像受信部としてのエリア内通信部30は、通信回線を介して現場端末2と通信を行う。このエリア内通信部30は、無線通信装置11に搭載されている。また、エリア内通信部30は、所定のネットワーク機器、例えば、無線LANアクセスポイントまたはアンテナに搭載されても良い。
第1監視表示部31は、表示部としてのディスプレイ10の表示画面を制御して画像を表示させる。本実施形態では、エリア内通信部30により現場端末2から受信された現場画像5がディスプレイ10に表示される。
第1監視装置3の現場画像記憶部32は、エリア内通信部30により現場端末2から受信された現場画像5を記憶する。この現場画像記憶部32は、メモリまたはHDDから成る。
指定操作部33は、第1監視表示部31によりディスプレイ10に表示された現場画像5(図3参照)における対象部分6を指定する操作を受け付ける。例えば、第1監視者M1がマウスなどの入力装置を用いてディスプレイ10に表示されたマウスカーソルを操作する。そして、現場画像5の対象部分6が写った範囲をマウスカーソルで選択することで、対象部分6の指定を行うことができる。この指定された範囲にマスク7が施される(図5参照)。このようにすれば、人手により対象部分6を指定することができるので、確実に対象部分6を抽出することができる。なお、対象部分6を指定する操作をディスプレイ10に重畳されて配置されたタッチパネルを用いて行っても良い。
対象抽出部34は、エリア内通信部30により現場端末2から受信された現場画像5における対象部分6を抽出する。なお、対象抽出部34は、自動的に対象部分6の抽出を行っても良いし、指定操作部33により手動で指定された部分を対象部分6として抽出しても良い。
自動的に対象部分6の抽出を行う場合には、対象関連データベース37に予め記憶された対象部分6に関する情報に基づいて対象部分6を抽出する。このようにすれば、対象部分6を抽出する処理の効率を向上させることができる。なお、対象部分6に関する情報は、対象部分6の画像または対象部分6の位置を示す情報を含む。
対象関連データベース37は、対象部分6に関する情報が予め記憶される。特定エリア内には、多数の対象部分6が存在しており、これら全ての対象部分6に関する情報が対象関連データベース37に蓄積される。なお、作業現場での作業中に新たに生じた対象部分6に関する情報を対象関連データベース37に記憶させても良い。
この対象関連データベース37は、例えば、対象部分6に関する物体を写した対象画像を記憶する。この対象画像は、作業開始前に予め作業現場で撮影された対象部分6に関する物体の画像である。なお、実際の作業現場に置かれる物体を撮影した画像以外に、作業現場以外で同型の物体を撮影した画像を用いて良い。
対象抽出部34は、現場画像5と対象画像とを比較して、現場画像5に含まれる対象部分6を抽出する。このようにすれば、現場画像5に含まれる対象画像に基づいて対象部分6に関する物体を判別できるので、画像の処理のみの実行で対象部分6に関する物体を判別できる。
なお、対象部分6に関する物体を撮影するときには、異なる距離または異なる方位から複数回撮影をし、このとき取得した複数の対象画像を対象関連データベース37に記憶させる。このようにすれば、対象画像を用いた対象部分6の抽出精度を向上させることができる。
また、対象関連データベース37は、例えば、対象部分6に関する物体の3次元形状データを記憶する。3次元形状データは、例えば、3D-CADまたはコンピュータグラフィクスにて作成した3次元形状の画像である。また、3次元形状データは、レーザスキャナを用いて取得したアズビルドの3次元情報で構成されても良い。
対象抽出部34は、現場画像5と3次元形状データとを比較して、現場画像5に含まれる対象部分6を抽出する。このようにすれば、3次元形状データに基づいて対象部分6に関する物体を判別できるので、現場端末2により様々な角度から対象部分6に関する物体が写されたとしても、対象部分6を抽出することができる。
また、対象抽出部34は、現場端末2の撮影時の位置と撮影方向との少なくともいずれか一方に基づいて対象部分6を抽出する。そして、対象関連データベース37は、対象部分6の位置に関する情報を記憶する。
対象抽出部34は、対象関連データベース37を参照し、現場端末2の撮影時の位置と撮影方向とに基づいて、撮影された現場画像5に対象部分6が含まれるか否かを判定する。そして、対象部分6が含まれていると判定された場合には、その部分を対象部分6として抽出する。
このようにすれば、現場画像5に写った情報に依存せずに、現場端末2の撮影時の位置または撮影方向により対象部分6を抽出することができる。そのため、現場画像5が不鮮明である場合でも、確実に対象部分6を抽出することができる。対象関連データベース37に記憶される対象部分6に関する情報には、対象部分6が設けられる施設または建築物の3次元形状データが含まれる。
なお、現場端末2の撮影時の位置が、そもそも撮影禁止の場所である場合には、現場画像5の全ての範囲を対象部分6として抽出しても良いし、第2監視装置4に対する処理後画像8の伝送を一時的に中止しても良い。
また、作業現場における対象部分6または対象部分6の近接位置にマーカ17(図4参照)を設けるようにしても良い。なお、マーカ17は、画像認識が可能な図形である。例えば、マトリックス型二次元コードをマーカ17として用いる。また、マーカ17には、対応する対象部分6を個々に識別可能なマーカIDを示す情報が含まれる。対象関連データベース37には、各マーカIDに対応して対象部分6に関する情報が記憶される。
マーカ17を設ける態様としては、例えば、マーカ17を所定の用紙に印刷しておき、この用紙を作業開始前に作業現場の対象部分6またはその近接位置に貼り付けておく。なお、対象部分6またはその近接位置にマーカ17を直接印刷しても良い。
対象抽出部34は、現場画像5に写されたマーカ17に基づいて対象部分6を抽出する。例えば、マーカ17を中心として所定の範囲を対象部分6として抽出しても良い。このようにすれば、マーカ17により対象部分6を判別できるので、確実に対象部分6を抽出することができる。また、マーカ17の用紙を対象部分6またはその近接位置に貼り付けておくだけで、対象部分6を指定する作業を容易に行うことができる。なお、対象部分6の近接位置とは、現場端末2により対象部分6を撮影したときに対象部分6と同時に写る範囲内にある位置のことを示す。
画像処理部35は、現場画像5における対象部分6の画像を変更して処理後画像8を生成する。この画像処理部35は、対象抽出部34により抽出された対象部分6の画像を変更する。
なお、第1監視装置3の少なくとも対象抽出部34と画像処理部35とは、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。
第1監視装置3の処理後画像記憶部36は、画像処理部35により処理された処理後画像8を記憶する。この処理後画像記憶部36は、メモリまたはHDDから成る。なお、現場画像記憶部32を構成するメモリまたはHDDとは、異なるメモリまたはHDDに処理後画像記憶部36を設けるようにしても良い。
処理後画像伝送部としての第1監視通信部38は、有線LANなどの通信回線を介して第2監視装置4と通信を行う。なお、処理後画像8は、リアルタイムで伝送されても良いし、一時的に処理後画像記憶部36に記憶されて所定時間経過後に伝送されても良い。
第1監視制御部39は、第1監視表示部31と現場画像記憶部32と指定操作部33と対象抽出部34と画像処理部35と処理後画像記憶部36とエリア内通信部30と第1監視通信部38と対象関連データベース37とを統括的に制御する。
外部装置としての第2監視装置4は、第2監視通信部40と第2監視表示部41と処理後画像記憶部42と第2監視制御部43とを備える。
第2監視通信部40は、有線LANなどの通信回線を介して第1監視装置3と通信を行う。なお、第2監視通信部40は、WAN(Wide Area Network)またはインターネット回線を介して第1監視装置3と通信を行っても良い。
第2監視表示部41は、ディスプレイ13の表示画面を制御して画像を表示させる。本実施形態では、第2監視通信部40により第1監視装置3から受信された処理後画像8がディスプレイ13に表示される。
第2監視装置4の処理後画像記憶部42は、第2監視通信部40により第1監視装置3から受信された処理後画像8を記憶する。この処理後画像記憶部42は、メモリまたはHDDから成る。
第2監視制御部43は、第2監視表示部41と処理後画像記憶部42と第2監視通信部40と第2監視制御部43とを統括的に制御する。
第2監視装置4には、処理後画像8のみが伝送される。特定エリア外にいる第2監視者は、処理後画像8のみが視認可能となる。そのため、対象部分6などの外部に開示したくない部分が写った画像が第2監視者M2に視認されることがないし、第2監視装置4に保存されることがない。
本実施形態のシステムは、CPU、ROM、RAM、HDDなどのハードウェア資源を有し、CPUが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の画像処理方法は、プログラムをコンピュータに実行させることで実現される。
次に、第1監視装置3が実行する画像処理について図6のフローチャートを用いて説明する。なお、図2に示すブロック図を適宜参照する。この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、第1監視装置3で画像処理方法が実行される。なお、第1監視装置3が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。
図6に示すように、まず、ステップS11において、第1監視装置3の第1監視制御部39は、エリア内通信部30により現場端末2から現場画像5を含むデータを受信したか否かを判定する。ここで、現場画像5を含むデータを受信していない場合(ステップS11がNO)は、処理を終了する。一方、現場画像5を含むデータを受信した場合(ステップS11がYES)は、ステップS12に進む。なお、現場画像記憶部32に現場画像5を記憶させても良い。
次のステップS12において、第1監視表示部31は、現場端末2から受信された現場画像5をディスプレイ10に表示する。
次のステップS13において、第1監視制御部39は、第1監視者M1により指定操作部33が操作されることで、対象部分6を指定する操作が受け付けられたか否かを判定する。ここで、対象部分6を指定する操作が受け付けられていない場合(ステップS13がNO)は、後述のステップS15に進む。一方、対象部分6を指定する操作が受け付けられた場合(ステップS13がYES)は、ステップS14に進む。
次のステップS14において、対象抽出部34は、指定操作部33により手動で指定された部分を対象部分6として抽出し、この対象部分6を画像処理の対象として設定する。
次のステップS15において、対象抽出部34は、撮影位置と撮影方向に基づく対象抽出処理を実行する。ここで、対象抽出部34は、まず、対象関連データベース37を参照する。そして、対象抽出部34は、現場端末2の撮影時の位置と撮影方向との少なくともいずれか一方に基づいて対象部分6を抽出し、この対象部分6を画像処理の対象として設定する。
次のステップS16において、対象抽出部34は、対象画像に基づく対象抽出処理を実行する。ここで、対象抽出部34は、まず、対象関連データベース37に記憶された対象部分6に関する物体を写した対象画像を参照する。そして、対象抽出部34は、現場画像5と対象画像とを比較して、現場画像5に含まれる対象部分6を抽出し、この対象部分6を画像処理の対象として設定する。
次のステップS17において、対象抽出部34は、3次元形状データに基づく対象抽出処理を実行する。ここで、対象抽出部34は、まず、対象関連データベース37に記憶された対象部分6に関する物体の3次元形状データを参照する。そして、対象抽出部34は、現場画像5と3次元形状データとを比較して、現場画像5に含まれる対象部分6を抽出し、この対象部分6を画像処理の対象として設定する。
次のステップS18において、対象抽出部34は、マーカに基づく対象抽出処理を実行する。ここで、対象抽出部34は、まず、対象関連データベース37に記憶されたマーカIDを参照する。そして、対象抽出部34は、現場画像5に写されたマーカ17に基づいて対象部分6を抽出し、この対象部分6を画像処理の対象として設定する。
次のステップS19において、画像処理部35は、現場画像5の画像処理の対象として設定された対象部分6の画像を変更して処理後画像8を生成する。なお、処理後画像記憶部36に処理後画像8を記憶させても良い。
次のステップS20において、第1監視制御部39は、第1監視通信部38により第2監視装置4に向けて処理後画像8を含むデータを伝送する。そして、処理を終了する。
なお、ステップS15からステップS18において、前述の処理で対象部分6が既に抽出され、画像処理の対象として設定済みである場合は、再び同じ対象部分6を画像処理の対象として設定する必要はない。
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
本実施形態のシステムは、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、またはCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)またはRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
なお、本実施形態のシステムで実行されるプログラムは、ROMなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD、フレキシブルディスク(FD)などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。
なお、現場端末2が魚眼レンズ付カメラを備えても良い。例えば、2つの魚眼レンズ付カメラを用いて作業者Wの上下左右全方位の360度パノラマ画像である全天球画像の同時撮影を行っても良い。そして、全天球画像に写る対象部分6の画像処理を行っても良い。
なお、第1監視装置3が機械学習を行う人工知能(AI)を備えるコンピュータを備えても良い。そして、第1監視装置3が複数のパターンから特定のパターンを深層学習に基づいて抽出する深層学習部を備えても良い。そして、現場画像5に写った対象部分6に関する対象画像を人工知能に機械学習させるようにし、この機械学習に基づいて、現場画像5に写った対象部分6を認識させて抽出するようにしても良い。
以上説明した実施形態によれば、現場画像における対象部分の画像を変更して処理後画像を生成する画像処理部を備えることにより、現場で撮影された画像を通じて特定情報が外部に漏洩されてしまうことを抑制することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…画像撮影システム、2…現場端末、3…第1監視装置、4…第2監視装置、5…現場画像、6…対象部分、7…マスク、8…処理後画像、9…コンピュータ、10…ディスプレイ、11…無線通信装置、12…コンピュータ、13…ディスプレイ、14,15,16…ヘッドセット、17…マーカ、20…カメラ、21…現場画像取得部、22…現場画像記憶部、23…撮影方向取得部、24…端末位置取得部、25…端末通信部、26…端末制御部、30…エリア内通信部、31…第1監視表示部、32…現場画像記憶部、33…指定操作部、34…対象抽出部、35…画像処理部、36…処理後画像記憶部、37…対象関連データベース、38…第1監視通信部、39…第1監視制御部、40…第2監視通信部、41…第2監視表示部、42…処理後画像記憶部、43…第2監視制御部、M1…第1監視者、M2…第2監視者、W…作業者。

Claims (8)

  1. 原子力プラントの作業現場に居る作業者が所持する現場端末で撮影され、前記現場端末から伝送される現場画像を受信する現場画像受信部と、
    受信した前記現場画像における特定情報に関連する対象部分を抽出する対象抽出部と、
    前記現場画像における前記対象部分の画像を変更して処理後画像を生成する画像処理部と、
    前記処理後画像を外部装置に伝送する処理後画像伝送部と、
    を備え
    前記作業現場が前記原子力プラントの敷地内の管理区域として予め定められた特定エリア内にあり、前記特定情報が前記特定エリア内で管理される情報であり、前記外部装置が前記特定エリア外にあり、
    前記特定エリア内で前記作業者の監視または支援を行う第1監視者が視認するディスプレイの画面には、前記現場画像が表示され、
    前記特定エリア外で前記作業者の監視または支援を行う第2監視者が視認する前記外部装置のディスプレイの画面には、前記処理後画像が表示される、
    ように構成されている、
    画像処理装置。
  2. 前記現場端末は、
    前記現場端末の撮影時の位置を取得する端末位置取得部と、
    前記現場端末の撮影方向を取得する撮影方向取得部と、
    を備え、
    前記端末位置取得部は、少なくともSimultaneous Localization and Mappingにより自己位置の推定を行うものであり、
    前記対象抽出部は、前記撮影時の位置と前記撮影方向との少なくともいずれか一方に基づいて前記対象部分を抽出する請求項1に記載の画像処理装置。
  3. 前記現場画像を表示する表示部と、
    前記表示部に表示される前記現場画像における前記対象部分を指定する操作が可能な指定操作部と、
    を備え、
    前記対象抽出部は、前記指定操作部による指定に基づいて前記対象部分を抽出する請求項1または請求項2に記載の画像処理装置。
  4. 前記対象部分に関する情報が予め記憶された対象関連データベースを備え、
    前記対象抽出部は、前記対象関連データベースに基づいて前記対象部分を抽出する請求項1から請求項のいずれか1項に記載の画像処理装置。
  5. 前記対象関連データベースが前記対象部分に関する物体を写した対象画像を記憶し、
    前記対象抽出部は、前記対象関連データベースに記憶された前記対象画像に基づいて前記対象部分を抽出する請求項に記載の画像処理装置。
  6. 前記対象関連データベースが前記対象部分に関する物体の3次元形状データを記憶し、
    前記対象抽出部は、前記対象関連データベースに記憶された前記3次元形状データに基づいて前記対象部分を抽出する請求項または請求項に記載の画像処理装置。
  7. 前記対象部分または前記対象部分の近接位置にマーカが設けられ、
    前記対象抽出部は、前記現場画像に写された前記マーカに基づいて前記対象部分を抽出する請求項1から請求項のいずれか1項に記載の画像処理装置。
  8. 原子力プラントの作業現場に居る作業者が所持する現場端末で撮影され、前記現場端末から伝送される現場画像を受信するステップと、
    受信した前記現場画像における特定情報に関連する対象部分を抽出するステップと、
    前記現場画像における前記対象部分の画像を変更して処理後画像を生成するステップと、
    前記処理後画像を外部装置に伝送するステップと、
    を含み、
    前記作業現場が前記原子力プラントの敷地内の管理区域として予め定められた特定エリア内にあり、前記特定情報が前記特定エリア内で管理される情報であり、前記外部装置が前記特定エリア外にあり、
    前記特定エリア内で前記作業者の監視または支援を行う第1監視者が視認するディスプレイの画面には、前記現場画像が表示され、
    前記特定エリア外で前記作業者の監視または支援を行う第2監視者が視認する前記外部装置のディスプレイの画面には、前記処理後画像が表示される、
    画像処理方法。
JP2018207918A 2018-11-05 2018-11-05 画像処理装置および画像処理方法 Active JP7179583B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018207918A JP7179583B2 (ja) 2018-11-05 2018-11-05 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018207918A JP7179583B2 (ja) 2018-11-05 2018-11-05 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2020077898A JP2020077898A (ja) 2020-05-21
JP7179583B2 true JP7179583B2 (ja) 2022-11-29

Family

ID=70724476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018207918A Active JP7179583B2 (ja) 2018-11-05 2018-11-05 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP7179583B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7294667B2 (ja) * 2020-10-27 2023-06-20 Necフィールディング株式会社 映像送信システム、映像送信システムの動作方法及び映像送信システムの動作プログラム
CN113917920B (zh) * 2021-09-30 2024-05-03 江西省通讯终端产业技术研究院有限公司 基于vslam的自主控制棒导向筒开口销检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153252A (ja) 2001-11-13 2003-05-23 Toshiba Corp 遠隔監視システム及び画像処理装置
JP2003198918A (ja) 2001-12-25 2003-07-11 Sony Corp 画像記録再生装置および方法
JP2004357126A (ja) 2003-05-30 2004-12-16 Toshiba Corp 撮像装置、撮像システム及び撮像方法
JP2010206290A (ja) 2009-02-27 2010-09-16 Panasonic Corp 撮像装置及びマスク方法
JP2012054891A (ja) 2010-09-03 2012-03-15 Nec Corp 画像処理装置、方法及びプログラム
JP2014158244A (ja) 2013-02-18 2014-08-28 Ntt Data Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2017211766A (ja) 2016-05-24 2017-11-30 株式会社Screenホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
JP2018036812A (ja) 2016-08-31 2018-03-08 株式会社日立システムズ It運用作業遠隔支援システム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153252A (ja) 2001-11-13 2003-05-23 Toshiba Corp 遠隔監視システム及び画像処理装置
JP2003198918A (ja) 2001-12-25 2003-07-11 Sony Corp 画像記録再生装置および方法
JP2004357126A (ja) 2003-05-30 2004-12-16 Toshiba Corp 撮像装置、撮像システム及び撮像方法
JP2010206290A (ja) 2009-02-27 2010-09-16 Panasonic Corp 撮像装置及びマスク方法
JP2012054891A (ja) 2010-09-03 2012-03-15 Nec Corp 画像処理装置、方法及びプログラム
JP2014158244A (ja) 2013-02-18 2014-08-28 Ntt Data Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2017211766A (ja) 2016-05-24 2017-11-30 株式会社Screenホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
JP2018036812A (ja) 2016-08-31 2018-03-08 株式会社日立システムズ It運用作業遠隔支援システム及び方法

Also Published As

Publication number Publication date
JP2020077898A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
KR101871764B1 (ko) 가상현실 기반의 시설관리 플랫폼 구축 시스템
CN106931945B (zh) 机器人导航方法和系统
US20160124501A1 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
KR102289745B1 (ko) 실시간 현장 작업 모니터링 방법 및 시스템
US20130194305A1 (en) Mixed reality display system, image providing server, display device and display program
JP6321570B2 (ja) 屋内位置情報測位システム及び屋内位置情報測位方法
JP7040580B2 (ja) 映像収集システム、映像収集方法及びプログラム
CN106612417B (zh) 网络相机、监视服务器和控制监视系统的方法
JP7179583B2 (ja) 画像処理装置および画像処理方法
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
TWI831951B (zh) 維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像
JP2024012472A (ja) 監視対象識別装置、監視対象識別システム、および、監視対象識別方法
JP5152281B2 (ja) 画像処理装置、方法及びプログラム
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
KR20160073491A (ko) 모바일 단말기를 이용한 인터렉티브 건설 공정 관리 시스템 및 사용자 인터페이스
JP2019179527A (ja) 管制装置
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
JP7097207B2 (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
JP2022105568A (ja) 3dツアーの比較表示システム及び方法
JP2021190729A (ja) 画像特定システムおよび画像特定方法
JP7106327B2 (ja) 管制装置
JP6849582B2 (ja) Ar情報提供システム及び情報処理装置
WO2024018973A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
WO2023189690A1 (ja) リアルタイムコミュニケーション支援システム及びその方法、携帯端末、サーバ並びにコンピュータ可読媒体
JP2019139642A (ja) 位置検出装置、位置検出システム、及び位置検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221116

R150 Certificate of patent or registration of utility model

Ref document number: 7179583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150