JPWO2020021858A1 - 撮像支援装置及び撮像支援方法 - Google Patents

撮像支援装置及び撮像支援方法 Download PDF

Info

Publication number
JPWO2020021858A1
JPWO2020021858A1 JP2020532190A JP2020532190A JPWO2020021858A1 JP WO2020021858 A1 JPWO2020021858 A1 JP WO2020021858A1 JP 2020532190 A JP2020532190 A JP 2020532190A JP 2020532190 A JP2020532190 A JP 2020532190A JP WO2020021858 A1 JPWO2020021858 A1 JP WO2020021858A1
Authority
JP
Japan
Prior art keywords
image
imaging
unit
captured
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020532190A
Other languages
English (en)
Other versions
JPWO2020021858A5 (ja
Inventor
潤一 今村
潤一 今村
圭介 立林
圭介 立林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2020021858A1 publication Critical patent/JPWO2020021858A1/ja
Publication of JPWO2020021858A5 publication Critical patent/JPWO2020021858A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/02Investigating fluid-tightness of structures by using fluid or vacuum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/38Investigating fluid-tightness of structures by using light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

撮像支援装置(300)は、カメラ(200)によって撮像された過去の撮像画像及びその撮像画像が撮像されたときのカメラ(200)の過去の位置情報と、現在のカメラ(200)の撮像画像及び位置情報と、を用いて、現在のカメラ(200)の撮像位置及び撮像方向が過去の撮像位置及び撮像方向と同じになるように操作者を案内する案内画像を生成する表示制御部(302)と、生成された案内画像を含む画像を表示する表示部(303)と、を有する。

Description

本発明は、例えばガス監視システムに用いられる撮像支援装置及び撮像支援方法に関する。
従来、天然ガスのガス井戸やガス処理プラントなどでのガス漏れを監視するガス監視システムが開発され、使用されている(例えば特許文献1参照)。このようなガス監視システムにおいては、ガスを可視化可能な監視カメラを用いてガス漏れを検知する。この監視カメラとしては一般に赤外線カメラが用いられる。
特開2006−030214号公報
ところで、カメラによって予め決められた撮像対象物を撮像する一つの方法として、カメラを予め決められた所定位置に固定する方法がある。
一方、別の方法として、操作者(検査員と言ってもよい)がポータブル型のカメラを持ちながら現場を巡回移動し、撮像すべきポイントで撮像を行う方法がある。ガス井戸の場合、このような操作者がポータブル型のカメラを持ち運んでの巡回検査は、例えば四半期(つまり3ヶ月)に1回の頻度で行われる。この方法によれば、予め決められた所定位置にカメラを固定する方法と比較して、1つの対象を複数の角度から撮影する等、より柔軟性のある細やかな撮像を行うことができ、さらに操作者が実際に現場を巡回するので、ガス漏れを発見できる確率も上がると考えられる。
ここで、ガス漏れの有無、漏れ量、漏れ方の挙動(以下これらを「ガス漏れ状態」と呼ぶ)を把握するためには、前回の撮像画像と今回の撮像画像とを比較することが有効である。
しかしながら、上述したポータブル型のカメラを用いて現場を巡回して撮像する方法では、撮像ポイントや撮像方向が巡回検査の度に変わってしまう可能性が高く、その結果、記録された撮像画像の対比がし難くなり、ガス漏れ状態を把握し難くなる欠点がある。特に、ガス井戸やガス処理プラントは、広大な敷地内に配設されているので、操作者が過去に撮像したのと同じ撮像ポイントで同じ方向にカメラを向けて撮像を行うことは甚だ困難である。ましてや、今回の検査の操作者が前回の検査の操作者から変った場合には、過去の撮像と同様の位置及び方向から撮像対象物を撮像するのはより一層困難となる。この結果、ガス漏れ状態の変化を的確に把握できなくなるおそれがあり、検査品質が低下するおそれがある。
本発明の目的は、可搬型の撮像部を利用する操作者に、過去の撮像と同様の位置及び方向から撮像対象物を撮像させることができる撮像支援装置及び撮像支援方法を提供する。
本発明の撮像支援装置の一つの態様は、
撮像部によって撮像された過去の撮像画像及びその撮像画像が撮像されたときの前記撮像部の過去の位置情報と、現在の撮像部の撮像画像及び位置情報と、を用いて、現在の撮像部の撮像位置及び撮像方向が過去の撮像位置及び撮像方向と同じになるように操作者を案内する案内画像を生成する案内画像生成部と、
生成された前記案内画像を含む画像を表示する表示部と、
を具備する。
本発明の撮像支援方法の一つの態様は、
撮像部によって撮像された撮像画像と、その撮像画像が撮像されたときの前記撮像部の位置情報とを関連付けて記憶し、
現在の前記撮像部の位置情報と記憶された前記撮像部の位置情報とを比較することで第1の比較結果を得、かつ、現在の前記撮像部の撮像画像と記憶された撮像画像とを比較することで第2の比較結果を得、
前記第1の比較結果に基づいて前記現在の前記撮像部の位置を案内するための第1の案内画像を表示し、
前記第1の案内画像の表示後に、前記第2の比較結果に基づいて現在の前記撮像部の方向を案内するための第2の案内画像を表示する。
本発明によれば、可搬型の撮像部を利用する操作者に、過去の撮像と同様の位置及び方向から撮像対象物を撮像させることができる撮像支援装置及び撮像支援方法を実現できる。
実施の形態に係るガス監視システムの概略構成を示す外観図 実施の形態のガス監視システムの要部構成を示すブロック図 ガス井戸採掘エリア内での撮像ポイント及び撮像方向を示した図 図4Aはカメラを撮像ポイント付近に移動させたときに表示部に表示される画像を示した図、図4Bはカメラを撮像ポイントに移動させたときに表示部に表示される画像を示した図 図5Aは現画像が過去画像に対して右方向及び下方向にずれているときに表示部に表示される画像例を示した図、図5Bは現画像が過去画像に対して下方向にずれているときに表示部に表示される画像例を示した図、図5Cは現画像が過去画像に対して左右方向及び上下方向にずれていないとききに表示部に表示される画像例を示した図 撮像支援装置により実行される撮像支援方法の処理手順を示すフローチャート 撮像ポイント及び撮像方向のマップ表示を示す図
以下、本発明の実施の形態を、図面を参照して説明する。
<1>構成
図1は、本発明の実施の形態に係るガス監視システム100の概略構成を示す外観図である。ガス監視システム100は、ポータブル型のカメラ200と、撮像支援装置300と、を有する。カメラ200と撮像支援装置300とはケーブル10によって接続される。本実施の形態の場合、撮像支援装置300はタブレット型の表示端末によって具現化されている。
図2は、ガス監視システム100の要部構成を示すブロック図である。
カメラ200は、赤外線カメラ201と、可視カメラ202と、位置センサー203と、角度センサー204と、を有する。
赤外線カメラ201は漏出ガスが可視化された撮像画像(赤外線画像)を得る。なお、ガスを可視化可能な赤外線カメラの構成は既知であるため、ここでの説明は省略する。可視カメラ202は可視光を撮像することで一般的な撮像画像(可視画像)を得る。
位置センサー203は、GPSセンサーによって具現化されている。角度センサー204は、加速度センサーによって具現化される。カメラ200は、位置センサー203を有することにより、自装置の位置情報を得ることができる。また、カメラ200は、角度センサー204を有することにより、カメラが撮像している撮像方向の情報を得ることができる。なお、位置センサー203としてはGPSセンサー以外のものを用いてもよく、角度センサー204としては加速度センサー以外のものを用いてもよい。要は、カメラ200の位置及び撮像方向を得ることができればよい。
撮像支援装置300は、画像処理部301と、表示制御部302と、表示部303と、記憶部304と、比較部305と、を有する。
画像処理部301は、赤外線カメラ201及び可視カメラ202により得られた撮像画像を入力し、これらに画像処理を施すことで、操作者がガス漏れ箇所を認識し易い画像を形成する。例えば、画像処理部301は、赤外線カメラ201からの撮像画像に基づいて熱分布画像(温度情報)を形成し、その画像からガス流出と思われる部分を抽出する。さらに、画像処理部301は、このガス流出画像と、可視カメラ202により得られた撮像画像に重ねる。このようにして、画像処理部301は、どの場所でガス漏れが起こっているかが分かり易い画像を形成する。なお、ここで説明したのは画像処理部301による画像処理の一例であってこれに限定されるものではない。画像処理部301による画像処理後の画像は、表示制御部302を介して表示部303に表示される。
また、画像処理部301による画像処理後の画像は、記憶部304及び比較部305に入力される。さらに、記憶部304及び比較部305には、カメラ200により得られた位置情報及び撮像方向情報が入力される。なお、記憶部304及び比較部305には、画像処理部301による画像処理後の画像に代えて、あるいは画像処理部301による画像処理後の画像に加えて、カメラ200からの撮像画像が入力されてもよい。
この結果、記憶部304には、過去に撮像された撮像画像と、過去の撮像位置及び撮像方向の情報が記憶される。
比較部305は、記憶部304に記憶された過去の撮像位置及び撮像方向の情報と、現在のカメラ200の撮像位置及び撮像方向の情報とを比較し、比較結果を表示制御部302に出力する。
表示制御部302は、比較部305の比較結果に基づいて、カメラ200の操作者を撮像対象物に案内するための案内画像を表示部303に表示させる。つまり、表示制御部302は、案内画像生成部として機能する。具体的には、表示制御部302は、現在のカメラ200の撮像位置及び撮像方向が過去の撮像位置及び撮像方向と同じになるように操作者を案内する案内画像を生成し、この案内画像を表示部303に表示させる。
なお、図中の点線で囲まれた画像処理部301、表示制御部302及び比較部305による処理は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備えたコンピューターによりプログラムに基づいて実現してもよい。つまり、CPUは、ROMから処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムと協働して、上述した画像処理部301、表示制御部302及び比較部305と同様の処理を行う。
<2>動作
次に、本実施の形態のガス監視システム100の動作について説明する。
図3は、ガス井戸採掘エリア内での撮像ポイント及び撮像方向を示した図である。図3の例では、ガス井戸採掘エリア内に、タンク設置領域、コンプレッサー設置領域、セパレーター設置領域、及び、ウェルヘッド設置領域が存在する。操作者はガス監視システム100を持って移動し、図中の撮像ポイントP1〜P12で、図中の扇形で示した撮像方向にカメラ200を向けて撮像対象物を撮像する。この撮像ポイントP1〜P12及び撮像方向は、ガス漏れが発生し易い箇所や重要箇所などを考慮して、予め決められる。操作者は、撮像ポイントP1→P2→P3→……→P10→P11→P12の順に巡回しながら、各撮像ポイントの位置で撮像対象物を撮像する。
図4及び図5は、表示部303の表示例を示す図である。
本実施の形態の場合、表示部303には、現画像と過去画像とが表示される。現画像とは現在カメラ200によって撮像されている画像であり、過去画像とは記憶部304に記憶されている画像である。過去画像は、前回の巡回時に撮像した画像でもよく、最初の巡回時に撮像した画像でもよく、過去の画像の中から操作者が選択した画像でもよい。過去画像は、今回の撮像撮像の基準となる画像であり、基準画像と言うこともできる。
先ず、操作者がガス監視システム100を携帯しながら撮像ポイントP1に近づくと、図4Aに示したように、表示部303には「撮像ポイントP1(タンクP1)付近です」といったメッセージが表示され、これにより操作者はカメラ200が撮影ポイントP1の近くにあることを認識できる。実際上、このような表示は、比較部305が現在の位置センサー203からの位置情報と記憶部304に記憶されている撮像ポイントP1の位置情報とを比較し、その位置情報の差が所定範囲内になったときに、表示制御部302により行われる。
次に、上記位置情報の差がほぼ0になると、表示部303には、図4Bに示したように、撮像ポイントP1(タンクP1)です」といったメッセージが表示され、これにより操作者はカメラ200が撮影ポイントP1に配置されたことを認識できる。
操作者は、図4Bに示したようなメッセージによりカメラ200が撮影ポイントP1に配置されたことを認識すると、カメラ200を三脚などに固定する。
このようにカメラ200が所定の撮像ポイントに固定されると、表示部303には、図5に示したように、カメラ200の撮像方向を案内するための矢印401、402が表示される。図5Aは、現画像が過去画像(基準画像)に対して右方向及び下方向にずれているときに表示部303に表示される画像例を示したものである。この場合、表示部303には、図5Aに示してように、カメラ200の方向を右方向にずらすことを指示する矢印401と下方向にずらすことを指示する矢印402が表示される。つまり、表示部303には、記憶部304に記憶された撮像画像に対する、現在のカメラ200の撮像画像のずれ方向が表示される。
この撮像方向のずれは、比較部305が、(i)記憶部304に記憶された過去画像(基準画像)撮像時の角度センサー204による撮像方向情報と、現在の角度センサー204による撮像方向情報とを比較して求めてもよく、(ii)記憶部304に記憶された過去画像(基準画像)と現画像との画像比較により求めてもよい。また、撮像方向のずれは、(i)と(ii)の両方により求めてもよい。(ii)の方法を用いると(i)の方法を用いた場合よりも精度良くずれを検出できると考えられるが、撮像方向が非常に大きくずれた場合には比較対象画像が存在しなくなるので、ずれ方向の検出が不可能となる。よって、(i)と(ii)を併用して撮像方向のずれを検出すると好適である。
さらに、本実施の形態では、赤外線カメラ201による赤外線画像と、可視カメラ202による可視画像とを取得しているので、(ii)の方法を行う場合に、これら両方の画像について、過去画像(基準画像)と現画像との画像比較を行うことにより、撮像画像のずれをより精度良く検出できる。例えば気象条件が悪い場合や、暗い環境下で撮像を行う場合には、可視画像だけでは画像比較によるずれ方向の検出が困難になるが、このような場合でも赤外線画像を用いることで画像比較によるずれ方向の検出が可能となる。
図5Aの状態から操作者によってカメラ200の方向を右にずらすと、カメラの左右方向のずれは解消され、表示部303には、図5Bに示したように、矢印401が消えてカメラ200を下方向にずらすことを指示する矢印402のみが表示される。次に、図5Bの状態から操作者によってカメラ200の方向が下にずらされると、カメラ200の上下方向のずれは解消され、表示部303には、図5Cに示したように、カメラ200の方向をずらすことを指示する矢印は表示されなくなる。つまり、図5Cは、現画像が過去画像に対して左右方向及び上下方向にずれていないときに表示部303に表示される画像例を示した図である。
なお、本実施の形態の場合、表示部303は、図4及び図5に示したように、現画像及び過去画像の中央にターゲットマークを表示する。これにより、操作者は、現画像とターゲットマークとの位置関係が過去画像とターゲットマークとの位置関係と同じになるように撮像方向を移動させることで、過去画像と同様の構図の撮像画像を撮像し易くなる。
図6は、撮像支援装置300により実行される撮像支援方法の処理手順を示すフローチャートである。
撮像支援装置300は、ステップST11において、カメラ200によって撮像された撮像画像と、その撮像画像が撮像されたときのカメラ200の位置情報とを関連付けて記憶部304に記憶する。
撮像支援装置300は、続くステップST12において、現在のカメラ200の位置情報と記憶されたカメラ200の位置情報を比較することで位置に関する比較結果を得、かつ、現在のカメラ200の撮像画像と記憶されたカメラ200の撮像画像とを比較することで方向に関する比較結果を得る。この比較は、比較部305によって行われる。
撮像支援装置300は、続くステップST13において、位置に関する比較結果に基づいて現在のカメラ200の位置を案内するための表示を行う。
撮像支援装置300は、続くステップST14において、方向に関する比較結果に基づいて現在のカメラ200の方向を案内するための表示を行う。
このようにして、カメラ200の位置及び方向が案内され、カメラ200によって過去の撮像と同様の位置及び方向から撮像対象物が撮像される。
<3>効果
以上説明したように、本実施の形態によれば、カメラ200によって撮像された過去の撮像画像及びその撮像画像が撮像されたときのカメラ200の過去の位置情報と、現在のカメラ200の撮像画像及び位置情報と、を用いて、現在のカメラ200の撮像位置及び撮像方向が過去の撮像位置及び撮像方向と同じになるように操作者を案内する案内画像を生成する表示制御部302(案内画像生成部と言ってもよい)と、生成された案内画像を含む画像を表示する表示部303と、を設けたことにより、可搬型のカメラ200を利用する操作者に、過去の撮像と同様の位置及び方向から撮像対象物を撮像させることができる(換言すれば、過去の画像と同じ位置で同じ構図の撮像画像を撮像させることができる)撮像支援装置300を実現できる。この結果、記録された撮像画像の対比がし易くなり、ガス漏れ状態の変化を的確に把握できるようになる。
また、カメラ200が可視カメラ202及び赤外線カメラ201を有することで撮像画像として可視画像及び赤外線画像を得、比較部305が可視画像及び赤外線画像のそれぞれについて、記憶部304に記憶された撮像画像と現在のカメラ200の撮像画像とを比較するようにしたことにより、例えば気象条件が悪い場合や暗い環境下でも、撮像画像のずれをより精度良く検出でき、適切な案内画像を得ることができるようになる。
また、表示部303は、比較部305の比較結果に基づいて現在のカメラ200の位置を案内する表示を行った後に、比較部305の比較結果に基づいて現在のカメラ200の方向を案内する表示を行うようにしたことにより、スムーズに、過去の撮像と同様の位置及び方向から撮像対象物を撮像させることができるようになる。
<4>他の実施の形態
上述の実施の形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することの無い範囲で、様々な形で実施することができる。
<4−1>上述の実施の形態では、操作者を撮像対象物に誘導するための案内画像として、過去画像、メッセージ、記号などを表示する場合について述べた。
これに加えて、撮像支援装置300が表示部303に例えば図7に示したようなマップを表示してもよい。マップ上には、撮像すべき撮像ポイントP1〜P12、撮像すべき撮像方向(図中の扇形の領域)、現在の撮像ポイントP0、現在の撮像方向(図中の撮像ポイントP0を頂点とする扇形の領域)が表示される。操作者は、このようなマップを見ることで、現在の撮像ポイントP0及び現在の撮像方向が撮像すべき撮像ポイントP1〜P12及び、撮像すべき撮像方向からどの程度ずれているかを一目で認識できる。図7に示したようなマップは、操作者が撮像支援装置300の操作部(図示せず)を操作することで、操作者の必要に応じて表示されるようにすればよい。これにより、操作者は、図7に示したようなマップ表示に基づいて撮像ポイント及び撮像方向の大まかな調整を行うことができるとともに、上述の実施の形態のような比較部305の比較結果によるメッセージ及び記号表示に基づいて撮像ポイント及び撮像方向の微調整を行うことができる。また、撮影が終了するとその結果をマップ上に表示することで、検査ポイントの抜けや間違いを防止することもできる。
<4−2>上述の実施の形態に加えて、撮像支援装置300は、記憶部304に位置情報に関連付けて撮像対象物の名称を記憶しておき、記憶部304から現在のカメラ200の位置情報に基づく撮像対象物の名称を読み出して、当該撮像対象物の名称を表示部303に表示するようにしてもよい。このようにすれば、操作者は、ある撮像ポイントの位置で撮像対象物の名称を一度入力すれば、次からはその撮像ポイントにカメラ200を配置すれば撮像対象物の名称が記憶部304から読み出されるので撮像対象物の名称を再度入力する必要がなくなる。このように読み出された撮像対象物の名称は、例えば検査レポートなどに反映させることもでき、これにより、検査レポートの作成の手間を減らすことができる。
<4−3>カメラ200にパン・チルト機構を設け、このパン・チルト機構を比較部305により得られた方向に関するずれ量だけ制御するようにしてもよい。このようにすれば、カメラ200固定後の撮像方向の合わせ込みを自動的に行うことができるようになる。
<4−4>上述の実施の形態では、過去の撮像画像及び過去の位置情報とを関連付けて記憶する記憶部304を撮像支援装置300に設けた場合について述べたが、記憶部304は、例えばクラウドサーバーなどの撮像支援装置とは別の装置に設けられていてもよい。この場合、比較部305は外部から過去の撮像画像及び過去の位置情報を取得すればよい。
<4−5>上述の実施の形態では、撮像支援装置300がカメラ200とは別体のタブレット型の表示端末によって具現化されている場合について述べたが、本発明の撮像支援装置はカメラ200に組み込まれてもよい。
<4−6>上述の実施の形態では、本発明による撮像支援装置をガス監視システムに適用した場合について述べたが、本発明はガス監視システムに限らず、過去の撮像と同様の位置及び方向から撮像対象物を撮像させるための撮像支援装置及び方法として広く適用可能であり、可搬型のカメラを用いた定点観測を行う場合に有用である。
2018年7月24日出願の特願2018−138173の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、例えばガス監視システムに適用し得る。
10 ケーブル
100 ガス監視システム
200 カメラ
201 赤外線カメラ
202 可視カメラ
203 位置センサー
204 角度センサー
300 撮像支援装置
301 画像処理部
302 表示制御部
303 表示部
304 記憶部
305 比較部
401、402 矢印
P0〜P12 撮像ポイント

Claims (15)

  1. 撮像部によって撮像された過去の撮像画像及びその撮像画像が撮像されたときの前記撮像部の過去の位置情報と、現在の撮像部の撮像画像及び位置情報と、を用いて、現在の撮像部の撮像位置及び撮像方向が過去の撮像位置及び撮像方向と同じになるように操作者を案内する案内画像を生成する案内画像生成部と、
    生成された前記案内画像を含む画像を表示する表示部と、
    を具備する撮像支援装置。
  2. 前記過去の撮像画像と前記過去の位置情報とを関連付けて記憶する記憶部を、さらに具備する、
    請求項1に記載の撮像支援置。
  3. 前記案内画像は、前記過去の撮像画像を含む、
    請求項1又は請求項2に記載の撮像支援装置。
  4. 前記案内画像は、前記撮像部の位置及び撮像方向を案内するためのメッセージ及び又は記号を含む、
    請求項1から請求項3のいずれか一項に記載の撮像支援装置。
  5. 前記過去の位置情報及び撮像画像と、前記現在の位置情報及び撮像画像と、を比較する比較部を、さらに具備し、
    前記表示部は、前記比較部の比較結果に基づいて、前記現在の撮像部の位置及び撮像方向を案内するためのメッセージ及び又は記号を前記案内画像として表示する、
    請求項1から請求項4のいずれか一項に記載の撮像支援装置。
  6. 前記表示部は、前記比較部の比較結果に基づいて前記現在の撮像部の位置を案内する前記案内画像を表示した後に、前記比較部の比較結果に基づいて前記現在の撮像部の方向を案内する前記案内画像を表示する、
    請求項5に記載の撮像支援装置。
  7. 前記比較部は、前記過去の位置情報と、前記現在の位置情報とを比較し、
    前記表示部は、前記現在の位置情報により示される位置が前記過去の位置情報により示される位置に対して所定範囲内に入ったことを示す比較結果が前記比較部によって得られたときに、操作者にこのことを知らせる前記案内画像を表示する、
    請求項5又は請求項6に記載の撮像支援装置。
  8. 前記比較部は、前記過去の撮像画像と、前記現在の撮像画像とを比較し、
    前記表示部は、前記過去の撮像画像に対する、前記現在の撮像画像のずれ方向を示す前記案内画像を表示する、
    請求項5から請求項7のいずれか一項に記載の撮像支援装置。
  9. 前記表示部は、前記案内画像として、撮像すべき撮像ポイントをマップ上に表示する、
    請求項1から請求項8のいずれか一項に記載の撮像支援装置。
  10. 前記表示部は、前記マップ上に前記撮像ポイントに加えて撮像すべき撮像方向を表示する、
    請求項9に記載の撮像支援装置。
  11. 前記過去の位置情報に関連付けて前記撮像対象物の名称が記憶されており、
    記憶された前記撮像対象物の中から、前記現在の位置情報に対応する前記撮像対象物の名称を読み出し、当該撮像対象物の名称を前記表示部に表示する、
    請求項1から請求項10のいずれか一項に記載の撮像支援装置。
  12. 前記撮像部は、可視画像及び赤外線画像を撮像可能である、
    請求項1から請求項11のいずれか一項に記載の撮像支援装置。
  13. 前記撮像部は、可視画像及び赤外線画像を撮像可能であり、
    前記比較部は、前記可視画像及び前記赤外線画像のそれぞれについて、前記過去の撮像画像と、前記現在の撮像画像と、を比較する、
    請求項5から請求項8のいずれか一項に記載の撮像支援装置。
  14. 撮像部によって撮像された撮像画像と、その撮像画像が撮像されたときの前記撮像部の位置情報とを関連付けて記憶し、
    現在の前記撮像部の位置情報と記憶された前記撮像部の位置情報とを比較することで第1の比較結果を得、かつ、現在の前記撮像部の撮像画像と記憶された撮像画像とを比較することで第2の比較結果を得、
    前記第1の比較結果に基づいて前記現在の前記撮像部の位置を案内するための第1の案内画像を表示し、
    前記第1の案内画像の表示後に、前記第2の比較結果に基づいて現在の前記撮像部の方向を案内するための第2の案内画像を表示する、
    撮像支援方法。
  15. コンピューターに、
    撮像部によって撮像された撮像画像と、その撮像画像が撮像されたときの前記撮像部の位置情報とを関連付けて記憶する処理と、
    現在の前記撮像部の位置情報と記憶された前記撮像部の位置情報とを比較することで第1の比較結果を得、かつ、現在の前記撮像部の撮像画像と記憶された撮像画像とを比較することで第2の比較結果を得る処理と、
    前記第1の比較結果に基づいて前記現在の前記撮像部の位置を案内するための第1の案内画像を表示する処理と、
    前記第1の案内画像の表示後に、前記第2の比較結果に基づいて現在の前記撮像部の方向を案内するための第2の案内画像を表示する処理と、
    を実行させる撮像支援プログラム。
JP2020532190A 2018-07-24 2019-05-31 撮像支援装置及び撮像支援方法 Pending JPWO2020021858A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018138173 2018-07-24
JP2018138173 2018-07-24
PCT/JP2019/021785 WO2020021858A1 (ja) 2018-07-24 2019-05-31 撮像支援装置及び撮像支援方法

Publications (2)

Publication Number Publication Date
JPWO2020021858A1 true JPWO2020021858A1 (ja) 2021-08-05
JPWO2020021858A5 JPWO2020021858A5 (ja) 2022-04-26

Family

ID=69181690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532190A Pending JPWO2020021858A1 (ja) 2018-07-24 2019-05-31 撮像支援装置及び撮像支援方法

Country Status (3)

Country Link
US (1) US20210235023A1 (ja)
JP (1) JPWO2020021858A1 (ja)
WO (1) WO2020021858A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467206B2 (ja) * 2020-04-03 2024-04-15 株式会社東芝 映像管理支援システムおよび映像管理支援方法
US11716531B2 (en) * 2021-03-22 2023-08-01 International Business Machines Corporation Quality of multimedia
JP2023027650A (ja) * 2021-08-17 2023-03-02 富士フイルムビジネスイノベーション株式会社 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005122089A1 (ja) * 2004-06-09 2005-12-22 Matsushita Electric Industrial Co., Ltd. 画像処理方法および画像処理装置、画像拡大方法、サーバークライアントシステム、並びに表示端末
JP2010136223A (ja) * 2008-12-05 2010-06-17 Sony Corp 撮像装置及び撮像方法
JP2012032339A (ja) * 2010-08-02 2012-02-16 Mega Chips Corp デジタルカメラ
JP2012047975A (ja) * 2010-08-26 2012-03-08 Canon Inc 撮像装置
JP2012151886A (ja) * 2012-03-16 2012-08-09 Sanyo Electric Co Ltd 電子カメラ
JP2013074376A (ja) * 2011-09-27 2013-04-22 Sony Corp 撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
JP2014115388A (ja) * 2012-12-07 2014-06-26 Canon Marketing Japan Inc 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2014150409A (ja) * 2013-02-01 2014-08-21 Canon Inc 画像処理装置、撮像装置および画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005122089A1 (ja) * 2004-06-09 2005-12-22 Matsushita Electric Industrial Co., Ltd. 画像処理方法および画像処理装置、画像拡大方法、サーバークライアントシステム、並びに表示端末
JP2010136223A (ja) * 2008-12-05 2010-06-17 Sony Corp 撮像装置及び撮像方法
JP2012032339A (ja) * 2010-08-02 2012-02-16 Mega Chips Corp デジタルカメラ
JP2012047975A (ja) * 2010-08-26 2012-03-08 Canon Inc 撮像装置
JP2013074376A (ja) * 2011-09-27 2013-04-22 Sony Corp 撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
JP2012151886A (ja) * 2012-03-16 2012-08-09 Sanyo Electric Co Ltd 電子カメラ
JP2014115388A (ja) * 2012-12-07 2014-06-26 Canon Marketing Japan Inc 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2014150409A (ja) * 2013-02-01 2014-08-21 Canon Inc 画像処理装置、撮像装置および画像処理プログラム

Also Published As

Publication number Publication date
WO2020021858A1 (ja) 2020-01-30
US20210235023A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
JPWO2020021858A1 (ja) 撮像支援装置及び撮像支援方法
JP4930927B2 (ja) ブレ測定システムおよびブレ測定方法
US10809148B2 (en) Combined gas leakage detection and quantification
JP5980611B2 (ja) 計測内視鏡装置およびプログラム
JP2019088025A5 (ja) 画像処理装置、画像処理方法、およびプログラム
US20200021727A1 (en) Camera parameter estimation device, method, and program
JP7238778B2 (ja) ガス撮像装置及び画像取得方法
JP2017163445A (ja) 点検支援システム、点検支援方法、およびプログラム
JP5307407B2 (ja) 内視鏡装置およびプログラム
US20220337746A1 (en) Image processing device, control method and storage medium
JPWO2020021858A5 (ja) 撮像支援装置、撮像支援方法及び撮像支援プログラム
US10817123B2 (en) Operation assistance apparatus and operation assistance method
US20200074655A1 (en) Image acquisition device and method of operating image acquisition device
JP5950100B2 (ja) X線検査装置
JP2007010419A (ja) 対象物の3次元形状検証システム。
JP7292344B2 (ja) 溶接システム、溶接方法及びプログラム
JP2020155067A (ja) 制御プログラム、制御方法及び無人移動体
JP2016219980A (ja) 対象物情報表示装置
JP2019219852A (ja) 消防指令補助装置、方法、およびプログラム
WO2020262463A1 (ja) ガス検出端末装置及びガス検出システム
JP6400767B2 (ja) 計測内視鏡装置
CN112578145A (zh) 风力测定方法、装置、计算机设备和存储介质
JPWO2020110411A1 (ja) ガス流量推定装置、ガス流量推定方法、及び、ガス流量推定プログラム
WO2021002263A1 (ja) ガス検出端末装置
JP6918194B1 (ja) 表示装置、プログラム、ガス漏洩検知システム及びガス漏洩検知方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230509