JP7051616B2 - 画像表示システムおよび方法 - Google Patents

画像表示システムおよび方法 Download PDF

Info

Publication number
JP7051616B2
JP7051616B2 JP2018124978A JP2018124978A JP7051616B2 JP 7051616 B2 JP7051616 B2 JP 7051616B2 JP 2018124978 A JP2018124978 A JP 2018124978A JP 2018124978 A JP2018124978 A JP 2018124978A JP 7051616 B2 JP7051616 B2 JP 7051616B2
Authority
JP
Japan
Prior art keywords
image
image display
group
adjacent
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018124978A
Other languages
English (en)
Other versions
JP2020005186A (ja
Inventor
真人 仲村柄
良一 植田
健太郎 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2018124978A priority Critical patent/JP7051616B2/ja
Priority to PCT/JP2018/031364 priority patent/WO2020003548A1/ja
Priority to CN201880001267.9A priority patent/CN110915201B/zh
Priority to SG11201808735TA priority patent/SG11201808735TA/en
Publication of JP2020005186A publication Critical patent/JP2020005186A/ja
Application granted granted Critical
Publication of JP7051616B2 publication Critical patent/JP7051616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、画像群の処理や表示の技術に関する。また、本発明は、構造物の劣化検査支援等に適用して有用な技術に関する。
各種の用途において、ユーザは、カメラを用いて画像群(動画または複数の静止画)を撮影し、PC等の計算機に入力する。ユーザは、計算機で処理した画像群や、画像群から選択した個別の画像を、表示画面に表示する。ユーザは、表示画面で、画像群や個別の画像を確認し、用途に応じた作業を行う。作業は、例えば一般的な写真画像の編集作業が挙げられる。
上記画像群を扱う用途の一例として、構造物の表面を撮影した画像から、構造物の表面の劣化等の状態を検査や診断するためのシステムや機能(構造物劣化検査等と記載する場合がある)が挙げられる。保守点検作業を行う作業者であるユーザは、人手によって、あるいはドローンやロボット等を用いて、保守点検対象の構造物の表面をカメラで撮影する。構造物は、各種の建築物やインフラ設備等が挙げられる。ユーザは、カメラで撮影した画像群を、計算機に入力し、計算機で処理した画像群を、表示画面に表示する。ユーザは、表示画面で、画像群から検査対象の個別の画像を選択して表示画面に表示する。ユーザは、例えば目視検査の作業を行う。その場合、ユーザは、表示画面の個別の画像を見て、ひび割れや腐食や剥離等の状態(総称して劣化と記載する場合がある)の有無や箇所を目視で確認し検出する。
上記画像群を扱う用途の他の一例としては、構造物の表面を撮影した画像から、公知のSFM(Structure For Motion)等の処理に基づいて、構造物の3次元モデルを生成、取得し、表示画面に表示するシステムや機能(構造物3次元モデル生成等と記載する場合がある)が挙げられる。
上記画像表示に係わる先行技術例としては、特開2000-90232号公報(特許文献1)が挙げられる。特許文献1には、パノラマ画像合成装置等として、デジタルカメラで画像の一部が重複するように被写体像を複数に分割して撮像し、撮像して得られた複数の画像を合成してパノラマ画像を生成するステップ、パノラマ画像の全体プレビューと部分プレビューを同一ウィンドウに同時表示するステップ等について記載されている。
また、上記構造物劣化検査に係わる先行技術例としては、特開平11-132961号公報(特許文献2)が挙げられる。特許文献2には、構造物用検査装置として、被検査物を複数に分割して撮像し、撮像された複数の画像データに、対応する位置情報や撮影情報を付加した画像データを記憶し、被検査物の検査位置を指定することにより、画像データを選択し、検査位置およびその周辺の複数の画像データをつなぎ合わせた画像として表示する旨が記載されている。
特開2000-90232号公報 特開平11-132961号公報
従来の画像表示システムでは、ユーザが表示画面で画像群から所定の用途のための個別の画像を選択する際に、好適な画像の選択が難しい場合や、作業の手間が大きい場合がある。例えば、構造物劣化検査支援の用途の場合に、ユーザが表示画面で多数の画像から検査対象画像を選択する必要がある。その際、画像間で重複(オーバーラップ)する部分が少ない好適な画像の選択が難しい場合があり、劣化検査作業の手間が大きい。
本発明の目的は、画像表示技術に関して、カメラで撮影した画像群から所定の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる技術を提供することである。
本発明のうち代表的な実施の形態は、画像表示システムであって、以下に示す構成を有することを特徴とする。一実施の形態の画像表示システムは、計算機システムによって構成される画像表示システムであって、前記計算機システムは、撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力し、前記画像群の一覧を一覧画面に表示し、ユーザの操作に基づいて前記画像群から選択された第1画像を個別画面に表示し、前記第1画像と前記第1画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、前記第1画像に対する隣接画像を判断し、前記個別画面で、前記ユーザの操作に基づいて、前記第1画像に対する前記隣接画像を第2画像として選択し、前記第2画像を新たな前記第1画像として表示する。
本発明のうち代表的な実施の形態によれば、画像表示技術に関して、カメラで撮影した画像群から所定の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる。
本発明の実施の形態の画像表示システムを含む、構造物劣化検査支援システムの構成を示す図である。 実施の形態で、ドローンと計算機システムとの連携の構成を示す図である。 実施の形態の画像表示システムの構成を示す図である。 実施の形態の画像表示システムの処理フローを示す図である。 実施の形態で、構造物の空撮の方式の第1例を示す図である。 実施の形態で、構造物の空撮の方式の第2例を示す図である。 実施の形態で、撮影範囲について示す図である。 実施の形態で、空撮進行方向での画像間の重複について示す図である。 実施の形態で、画像平面視での画像間の重複について示す図である。 実施の形態で、隣接画像および重複の例について示す図である。 実施の形態で、撮影範囲における重複状態について示す図である。 実施の形態で、隣接画像における重複状態について示す図である。 実施の形態で、SFMについて示す図である。 実施の形態で、一覧画面の第1例を示す図である。 実施の形態で、個別画面の第1例を示す図である。 実施の形態で、個別画面の第2例を示す図である。 実施の形態で、個別画面の第3例を示す図である。 実施の形態で、個別画面の第4例を示す図である。 実施の形態で、個別画面の第5例を示す図である。 実施の形態で、個別画面の第6例を示す図である。 実施の形態で、個別画面(劣化検査画面)の例を示す図である。 実施の形態で、構造物3次元モデル画面の例を示す図である。 実施の形態で、一覧画面の第2例を示す図である。 実施の形態で、一覧画面の第3例を示す図である。 実施の形態で、構造物の側面間の画像関係の例を示す図である。 実施の形態で、構造物の側面間の画像選択について示す図である。 実施の形態で、構造物の空撮の方式の第3例を示す図である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
[課題等]
前提技術や課題等について補足説明する。従来、例えば構造物劣化検査支援の用途やそのシステムにおいては、以下のような作業や処理が行われる。作業者であるユーザは、検査対象となる構造物がある現地に出向き、構造物の表面を、カメラを用いて撮影する。その際、構造物の表面の全領域を撮影する場合もあるし、一部の領域に絞り込んで撮影する場合もある。特に、事前に、構造物に関して知識を持つ人(専門技術者)が、構造物の設計図面等から、劣化が生じやすいと考えられる箇所を絞り込み、その箇所を撮影対象箇所とする場合がある。この場合、撮影箇所および画像数を限定して、作業の手間を低減できる。
ユーザは、撮影した画像群のデータを事務所等に持ち帰り、PC等の計算機に入力する。ユーザは、表示画面で、画像群の一覧から、検査対象画像となる個別の画像を選択し、表示画面に表示する。目視検査を行う場合、ユーザは、画像一枚毎に、目視で、ひび割れ等の劣化状態の有無や箇所を、画像内から探索する。
上記のような人手による構造物の撮影作業や劣化検査作業は、手間が大きい。また、専門技術者等の人員不足や、高コスト等の一般的な課題もある。そこで、対策として、ドローンやUAV等の飛行体、またはロボット等を用いて、構造物撮影を行う技術もある。この技術の例では、ドローンを自律航行させながら、ドローンに搭載のカメラによって、構造物の表面領域を例えば網羅的に撮影して、自動的に画像群を得る。これにより、ユーザによる検査対象箇所絞り込み作業や現地での人手による撮影作業等を低減することができる。そして、構造物の保守点検および劣化検査の業務の効率化を図ることができる。
また、画像群から構造物の3次元モデルを生成する用途の場合においても、同様に、人手による撮影作業等には手間がかかる。この場合にも、ドローン等の利用によって、撮影作業等を低減することができる。計算機は、入力の画像群から、SFM処理に基づいて、構造物の3次元モデルを生成する。これにより、例えば、2次元の設計図面しか無い構造物の場合でも、3次元モデルを得て表示画面に表示することができ、構造物管理等に活用することができる。
上記人手またはドローン等によって得られた画像群は、対象物の表面領域を例えば網羅的に撮影した画像群であり、画像間で重複する領域を持つ場合が多い。すなわち、ある1枚の画像と、その画像に対して空間的な位置関係で周囲にある他の1枚の画像とでは、画像内容において、同じ箇所を写した一部領域が重複している。劣化検査の用途で、構造物の表面領域を漏れ無く検査する場合には、画像群の撮影時に、撮影漏れ領域が無いように、余裕を持たせて一部領域が重複するように撮影される。また、特に、3次元モデル生成の用途では、公知のSFM処理を適用するために必要な条件として、画像間で十分な重複を持つ画像群が必要である。例えば、カメラの動きの方向に対応する画像の横方向では80%以上の重複が必要であり、縦方向では60%以上の重複が必要である。
また、構造物の外観の表面領域では、建築構造や壁面デザイン等から、類似形状箇所も多い。すなわち、画像群の画像内容においては類似箇所が多くなる。そのため、ユーザが、ある画像を見た場合に、どの箇所を撮影した画像であるか認識しにくい場合がある。また、ある画像に対して周辺にある画像がどれか、空間的な位置関係が把握しにくい場合がある。
そのため、ユーザは、表示画面の画像群の一覧から、作業の対象となる個別の画像を選択する際に、好適な画像の選択が難しい場合がある。例えば、劣化検査の用途では、ユーザは、ある1枚の画像内の領域を目視検査した後、次に、その画像の領域に隣接している領域を対象として目視検査したい。しかし、ユーザは、画像間の画像内容の類似が多く異同がわかりにくいことや、画像間の位置関係がわかりにくいことから、隣接領域の画像を選択しにくい。また、ユーザが、画像群の一覧から、ある画像の次の画像を単純に順次に選択する場合、その選択された画像は、隣接領域の画像であるとは限らず、離れた位置の画像となる場合もある。
また、ユーザが、表示画面で、ある画像(第1画像)から、自分で画像内容や空間的な位置関係を判断して、次画像(第2画像)を選択したとする。例えば2枚の画像で同じ物が写っている等の判断がされる。その場合でも、その次画像は、第1画像で既に検査済みの領域が、重複領域として含まれている場合が多い。構造物の表面領域を網羅的に細かく撮影する場合や、3次元モデル生成を行う場合等、用途や場合に応じて、画像群の内容には、画像間での重複領域が生じている。そのため、次画像のうちの重複領域が、再度、目視検査の対象として含まれてしまい、ユーザの負担が増えてしまう。多数の画像の各画像に重複領域があるので、劣化検査等の作業が非効率的になってしまう。
上記のように、従来の画像表示システムでは、例えば構造物の劣化検査支援や3次元モデル生成の用途の場合に、画像群から個別の画像を選択する際の難しさや手間があった。すなわち、従来のシステムでは、ユーザの作業の支援や効率の点で課題があった。
上記課題等を踏まえて、実施の形態の画像表示システムでは、用途に応じて、ユーザが表示画面で画像群から個別の画像を選択する際に、好適な画像を容易に選択でき、作業の手間を低減できるようにユーザを支援する仕組みを提供する。その仕組みは、グラフィカル・ユーザ・インタフェース(GUI)を含む。本画像表示システムでは、画像群のうちのある画像から次の対象画像を選択する際に、画像間の重複状態を考慮して、次画像へナビゲーション、リンクさせる仕組みを有する。本画像表示システムは、例えば重複度合いが最小となる画像(隣接画像)を自動的に判断して、その画像を簡単に選択できるようにするリンク画像を提示する。
実施の形態の画像表示システムは、例えば構造物の表面領域を網羅的に画像間で一部重複するように撮影した画像群のデータを入力とする。この画像群は、撮影の日時、位置、および方向等が異なる複数の画像を含む場合がある。本画像表示システムは、GUI画面で、画像群の一覧を表示する。本画像表示システムは、画面からユーザ操作によって個別の画像(第1画像)が選択された場合、選択された第1画像を画面に表示する。本画像表示システムは、第1画像に対し、空間的に周辺にある各画像(候補画像)について、画像間(第1画像と候補画像との組)での空間的な位置関係を判断し、画像間での撮影範囲の重複状態を判断する。本画像表示システムは、特に、その重複状態を、重複率として計算する。また、本画像表示システムは、画像間の空間的な位置関係を、画像の位置情報等を用いて判断する。本画像表示システムは、重複率および位置関係等に基づいて、第1画像に対する隣接画像等の画像を判断する。例えば、本画像表示システムは、候補画像のうち、画像間の重複率が、所定の重複率閾値以下で最小となる画像を、隣接画像として選択する。
本画像表示システムは、その隣接画像等の画像を、ユーザが次に対象として選択する候補となる画像(次画像)として提示する。その際、本画像表示システムは、画面で、第1画像に対し、次画像の存在や位置関係を表すリンク画像を表示する。本画像表示システムは、リンク画像が選択操作された場合、そのリンク画像に対応付けられた次画像(第2画像)を、個別の画像(新たな第1画像)として表示する。
上記画像表示システムにより、ユーザは、ある画像から、重複が少ない好適な画像を容易に選択でき、劣化検査等の作業を効率的に行うことができる。第1画像と候補画像(隣接画像等)とでは、空間的な位置関係として、撮影範囲が配置されている面や方向が異なっていてもよい。その場合でも、ユーザは、画面で、第1画像から、リンク画像の操作によって、異なる方向にある第2画像を選択して表示できる。
(実施の形態)
図1~図27を用いて、本発明の実施の形態の画像表示システムについて説明する。
[構造物劣化検査支援システム]
図1は、実施の形態の画像表示システムを含む、構造物劣化検査支援システムの全体の構成を示す。実施の形態の画像表示システムは、計算機システム1によって構成されている。図1の劣化検査支援システムは、画像表示システムである計算機システム1と、飛行体であるドローン10と、劣化検査等の対象物である構造物5とを含む。計算機システム1とドローン10とが無線通信で接続されている。計算機システム1は、例えばPC2とサーバ3とを有するクライアントサーバシステムで構成される場合を示す。PC2とサーバ3とが通信網6を介して接続されている。ユーザ(作業者)は、PC2を操作して本ステムを利用する。ユーザは、PC2のGUI画面22で、本システムに対する指示入力やユーザ設定等を行い、作業の状態や結果等を確認できる。
図1の構造物劣化検査支援システムは、劣化検査支援機能を有し、この劣化検査支援機能は、3次元モデル生成機能を含む。劣化検査支援機能は、劣化検査支援ソフトウェア100等で実現されている。劣化検査支援機能は、ユーザ(作業者)による構造物5の劣化検査の作業を支援するGUI画面を提供する機能である。この劣化検査は、カメラ4で撮影された画像に対するユーザの目視による劣化状態の目視検査を含む。この劣化検査は、さらに、計算機による自動診断を含めてもよい。3次元モデル生成機能は、カメラ4の画像群から、SFM処理に基づいて、構造物5の3次元モデルを生成し、表示する画面を提供する機能である。
PC2は、ドローン制御機能21等を有する計算機であり、個々のユーザ(作業者)が使用するクライアント端末装置である。サーバ3は、例えば事業者のクラウドコンピューティングシステムやデータセンタ等におけるサーバ装置であり、PC2と連携して計算処理を行う。サーバ3に対し、複数のユーザの複数のPC2等が同様に接続されてもよい。PC2は、ドローン10の航行制御およびカメラ4の撮影制御を無線通信で行う。PC2は、航行制御情報や撮影設定情報等を、ドローン10へ送信する。
構造物5は、劣化検査および3次元モデル生成の対象物であり、ドローン10のカメラ4の撮影の被写体である。構造物5は、例として建築物またはインフラ設備等である。建築物は、一般的なビルや住宅や公共建築物等が挙げられる。インフラ設備は、例えば、電力設備、道路交通設備、通信設備、橋梁等が挙げられる。構造物5の表面の所定の領域が対象領域となる。
ドローン10は、PC2からの無線通信での遠隔制御に基づいて自律航行を行う飛行体である。ドローン10は、構造物5の周囲空間において、設定されたルート上を自律航行する。予め、計算機システム1では、撮影計画データd2に基づいて、構造物5の対象領域を空撮できるように、ドローン10の自律航行および空撮に関する制御情報が、空撮設定情報として作成および設定される。空撮設定情報は、ドローン10の航行のルート、撮影タイミング(撮影日時)、およびカメラ4の撮影設定情報、等を含む。
なお、変形例としては、ユーザがPC2等からドローン10の航行を操縦する形態としてもよい。
ドローン10は、カメラ4や各種のセンサ等を搭載している。ドローン10は、ルート上の航行時に、カメラ4によって構造物5を空撮する。ドローン10は、撮影時の画像データやセンサデータ等を、無線通信でPC2へ送信する。ドローン10の公知のセンサ群では、センサデータとして、ドローン10の位置、方向、速度、加速度等が検出可能である。位置は、3次元座標情報を含み、例えばGPS、高度センサ、あるいは他の測位システムに基づいて、緯度、経度、高度(地表からの高さ)等の形式で得られる。なお、GPSを用いる場合、十分な測位精度を前提とする。
カメラ4は、撮影設定情報として、カメラ方向(撮影方向)、撮影タイミング、撮影条件等を含む。カメラ方向は、カメラ位置を基準として対象物5の表面の箇所を向く方向である。撮影タイミングは、連続的な複数の画像(静止画)を撮像するタイミングであり、撮影間隔等で規定される。撮影条件は、露光等の公知のパラメータで規定される。
PC2は、ドローン制御機能21、クライアントプログラム20、GUI画面22等を有する。ドローン制御機能21は、ドローン10の航行やカメラ4の撮影を制御する機能である。クライアントプログラム20は、劣化検査支援ソフトウェア100のうちのクライアントプログラムである。クライアントプログラム20は、サーバプログラム30とクライアントサーバ通信で連携して処理を行う。クライアントプログラム20は、ドローン制御機能21や画像表示機能、GUI画面22等を制御する。PC2のメモリには、クライアントプログラム20等が処理に用いる各種のデータや情報が記憶される。メモリには、ドローン10の制御情報や、ドローン10から取得される画像データやセンサデータ、サーバ3から取得される各種データ等が記憶される。
サーバ3は、サーバプログラム30、DB31等を有する。サーバプログラム30は、劣化検査支援ソフトウェア100のうちのサーバプログラムである。サーバプログラム30は、特に、劣化検査支援処理や3次元モデル生成処理等の計算処理負荷が高い処理を担当する。サーバプログラム30は、クライアントプログラム20からの要求に応じて、所定の処理を実行し、処理結果情報を応答する。
DB31には、サーバプログラム30およびクライアントプログラム20が処理に用いる各種のデータや情報が記憶される。DB31は、DBサーバ等で実現されてもよい。DB31には、例えば、構造物データd1、撮影計画データd2、画像データd3、検査データd4等が格納されている。
構造物データd1は、構造物5に関する基本情報や管理情報、設計図面データや3次元データ等を含む。本画像表示システムでは、3次元データは、3次元モデル生成機能によって生成された3次元モデルデータを含む。3次元データは、これに限らず、既存の3次元CADシステム等で作成されたデータがある場合にはそれを利用可能である。
撮影計画データd2は、劣化検査および空撮に関する計画のデータである。撮影計画データに基づいて、実際のドローン10による空撮設定情報が作成および設定される。画像データd3は、カメラ4で撮影された画像群のデータである。検査データd4は、劣化検査の状態や結果等を表すデータである。
計算機システム1の実装構成は、上記例に限らず可能である。例えば、PC2とサーバ3とが1つの計算機として統合されている形態でもよいし、機能毎に複数の装置に分離されている形態でもよい。PC2とは別にドローン制御装置を有する形態でもよい。ドローン10に限らず、他の飛行体やロボット等も適用可能である。ドローン10は、汎用的なドローンを適用できるが、本画像表示システムのための専用の機能を実装した専用のドローンを適用してもよい。
[ドローン、計算機]
図2は、ドローン10および計算機システム1におけるドローン制御機能21に関する概要構成を示す。ドローン10は、プロペラ駆動部11、航行制御部12、センサ13、ジンバル14、カメラ4、画像記憶部15、無線通信部16、バッテリ17等を有する。プロペラ駆動部11は、複数のプロペラを駆動する。航行制御部12は、PC2の航行制御部102からの航行制御情報に従って、ドローン10の航行を制御する。そのために、航行制御部12は、センサ13の情報を用いながら、プロペラ駆動部11を駆動制御する。センサ13は、公知のGPS受信器、電子コンパス、ジャイロセンサ、加速度センサ等のセンサ群であり、所定のセンサデータを出力する。ジンバル14は、カメラ4を保持する公知の機構であり、航行時にカメラ4がぶれずに一定の状態になるように自動的に維持する機構である。ドローン10、ジンバル14、およびカメラ4の各方向および各位置は、基本的には独立しているパラメータである。
カメラ4は、PC2の撮影制御部104からの撮影制御情報および撮影設定情報に従って、対象物5を空撮し、画像データを出力する。画像記憶部15は、画像データ等を記憶する。無線通信部16は、無線通信インタフェース装置を含み、所定の無線通信インタフェースで計算機システム1と無線通信を行う。バッテリ17は各部へ電力を供給する。
計算機システム1は、プロセッサ111、メモリ112、通信装置113、入力装置114、表示装置115等を有し、それらがバス等で相互に接続されている。プロセッサ11は、メモリ112に読み出されたプログラムに従った処理を実行する。これにより、劣化検査支援ソフトウェア100の各機能、GUI部101等の各部が実現される。
計算機システム1は、GUI部101、空撮設定部107、航行制御部102、撮影制御部104、センサデータ記憶部103、画像データ記憶部105、無線通信部106、劣化検査支援部121、3次元モデル生成部122、画像表示制御部123等を有する。
GUI部101は、OS、ミドルウェア、Webブラウザ等のアプリケーションに基づいて、ユーザに対するGUI画面22を構成し、表示装置114(例えばタッチパネル)において表示する。ユーザは、GUI画面23に対し、ユーザ設定や指示入力の操作が可能であり、機能毎の状態や結果等を確認可能である。ユーザ設定としては、本画像表示システムの各機能に関する利用有無等の設定や、機能毎の制御用の閾値等の設定が可能である。GUI部101は、後述の一覧画面や個別画面等の画面に対応する画面データを生成する。
空撮設定部107は、ユーザの操作および撮影計画データd2に基づいて、空撮設定情報を作成し、計算機システム1およびドローン10に設定する。航行制御部102は、空撮設定情報に基づいて、ドローン10の航行を制御する。航行制御部102は、無線通信を通じて、ドローン10へ航行制御情報d101を送信し、ドローン10から航行状態を表すセンサデータd102等を受信する。撮影制御部104は、空撮設定情報に基づいて、カメラ4による撮影を制御する。撮影制御部104は、無線通信を通じて、ドローン10へ撮影制御情報d103を送信し、ドローン10から画像データd104等を受信する。
画像データ記憶部105は、ドローン10から取得される画像データを記憶する。画像データには、撮影日時、センサデータ、撮影設定情報等が適宜に関連付けられて情報管理される。無線通信部106は、無線通信インタフェース装置を含み、所定の無線通信インタフェースで、ドローン10と無線通信を行う。
劣化検査支援部121は、劣化検査支援機能に対応する処理を行う。劣化検査支援部121は、例えば目視検査の支援処理、あるいは自動診断処理を行う。3次元モデル生成部122は、3次元モデル生成機能に対応する処理を行う。画像表示制御部123は、画像群の空間的な位置関係の判断や、画像選択に関する制御を行う。
[画像表示システム]
図3は、実施の形態の画像表示システム(計算機システム1)の構成を示す。画像表示システムは、入力(記憶等を含む)としては、画像データd3に基づいた画像群201および画像情報202、構造物データd1、撮影計画データd2等を有する。実施の形態では、入力の画像データd3(画像群201)は、主にドローン10のカメラ4によって得られるが、これに限らず、作業者の人手で撮影された画像群としてもよいし、各種の手段で得られる画像群の組み合わせでもよい。画像群201は、各画像の本体のデータである。画像情報202は、画像毎に関連付けられた、例えば公知のExif等の形式のメタデータやプロパティ情報である。画像情報202は、例えば、ID(識別情報)、撮影日時、カメラ位置、カメラ方向、カメラ機種、焦点距離、画角、画像サイズ(画素数)、等の情報を有する。なお、カメラ位置およびカメラ方向は、SFM処理部122Aによって生成されたものを用いる。
画像表示システムは、処理(対応する処理部)としては、一覧表示部301、個別表示部302、画像表示制御部123、劣化検査支援部121、3次元モデル生成部122等を有する。画像表示制御部123は、隣接画像判断部303、重複率計算部304を含む。画像表示システムは、出力(表示、記憶等を含む)としては、一覧画面401、個別画面402等の画面を出力する。
一覧表示部301は、画像群201および画像情報202(例えばID、撮影日時)に基づいて、一覧画面401を表示する。一覧画面401では、画像群201の複数の画像が、ID等を用いた順序で並列に配置されて表示される。
個別表示部302は、画像群201、および一覧画面401での第1画像選択情報321に基づいて、個別画面402を表示する。個別表示部302は、その個別画面402内に、ユーザが選択した第1画像322を表示する。また、個別表示部302は、個別画面402内でのリンク画像選択情報323に基づいて、リンク画像に対応付けられた第2画像324を表示する。
画像表示制御部123は、隣接画像判断部303等を用いて、画像間の空間的な位置関係や重複度合いを把握し、画像間のリンクや次画像の選択を制御する。
隣接画像判断部303は、画像情報202と、第1画像選択情報321またはリンク画像選択情報323(すなわち第2画像選択情報)とに基づいて、第1画像に対する周辺にある候補画像、隣接画像等を判断する。隣接画像は、重複度合いが最小で隣接している画像である。隣接画像判断部303は、画像情報202のうちの特に位置情報(カメラ位置等)や方向情報(カメラ方向等)を用いて、画像間の位置関係を判断する。また、隣接画像判断部303は、重複率計算部304で計算した重複率の情報を用いて、隣接画像を判断する。隣接画像判断部303は、ある画像(第1画像)とその周辺にある別の画像との位置間の距離を判断し、また、各画像の方向(対応するカメラ方向や、画像の撮影範囲が配置されている面の方向等)の同異を判断する。
重複率計算部304は、第1画像選択情報321等と、隣接画像判断部303の判断による候補画像情報等とに基づいて、画像間の重複率を計算する。
画像表示制御部123は、隣接画像判断部303で判断された隣接画像等の画像に対応するリンク画像325を、個別画面402内に表示する。リンク画像325は、第1画像の次に選択する候補となる画像(次画像)をナビゲーションするためのリンク画像(GUI部品)である。
劣化検査支援部121は、個別画面402を劣化検査画面として、ユーザ操作に基づいて、目視検査の支援処理等を行い、処理の状態や結果を劣化検査画面に表示し、処理の状態や結果を表す検査データd4を作成して保存する。
3次元モデル生成部122は、SFM処理部122Aを含む。SFM処理部122Aは、画像群201を入力としてSFM処理を行うことで、構造物5の3次元モデルとカメラ方向およびカメラ位置の情報とを生成し、対応する3次元モデルデータd5を作成する。3次元モデル生成部122は、3次元モデルデータd5に基づいて、構造物3次元モデル画面を表示する。3次元モデル生成部122は、得たカメラ方向およびカメラ位置の情報を、画像情報202に記述するか、または画像データd3と関連付けて情報管理する。
ユーザは、一覧画面401に対し、画像群から所望の画像を第1画像として選択する操作(第1画像選択操作)OP1を行う。また、ユーザは、個別画面402に対し、リンク画像を選択する操作(第2画像選択操作=リンク画像選択操作)OP2を行う。また、ユーザは、個別画面402(劣化検査画面)の画像に対し、劣化検査操作OP3を行う。
[処理フロー]
図4は、実施の形態の画像表示システムを含む、構造物劣化検査支援システムの処理フローを示す。図4のフローは、ステップS1~S13を有する。以下、ステップの順に説明する。
(S1) 計算機システム1は、ユーザ操作および構造物5の撮影計画データd2等に基づいて、ドローン10の空撮設定情報を作成して設定する。その空撮設定情報に基づいて、ドローン10による空撮が実行される。その空撮によって、カメラ4の撮影による画像データ等が、PC2に送信される。PC2は、画像データ等を、サーバ3に送信する。サーバ3は、DB31に、画像データd3等を格納する。
(S2) 計算機システム1は、DB31等から画像データd3(画像データ201、画像情報202)等を読み出して処理用のメモリに保持する。
(S3) 計算機システム1(特に一覧表示部301)は、画像データd3(画像群201、画像情報202)に基づいて、一覧画面401(図14)に、画像群の一覧を表示する。
(S4) 計算機システム1は、一覧画面401でのユーザ操作を受け付け、所定の操作(第1画像選択操作OP1)を受けた場合、第1画像選択情報321を得て、第1画像を選択する。第1画像選択操作OP1は、例えば1枚の画像のクリック、タップ等である。
(S5) 計算機システム1(特に個別表示部302)は、S4の操作および第1画像選択情報321に基づいて、個別画面402(図15)に、選択された第1画像322を表示する。ユーザは、この個別画面402を劣化検査画面(図21)として劣化検査作業を行うことができる。
(S6) 計算機システム1(特に隣接画像判断部303)は、画像情報202および第1画像選択情報321(またはリンク画像選択情報323)に基づいて、第1画像に対する周辺にある各画像(候補画像)を探索する。その際、隣接画像判断部303は、画像のカメラ位置やカメラ方向等の情報を用いて、画像間の位置関係を判断する。特に、隣接画像判断部303は、第1画像と候補画像との位置間の距離を計算し、その距離に基づいて、第1画像に対する候補画像をピックアップする。その際、隣接画像判断部303は、距離が小さい順に、候補画像をピックアップする。また、その際、隣接画像判断部303は、予め設定された距離閾値を用いて、距離が距離閾値以内である範囲で、候補画像を絞り込む。なお、この時点では、まだ隣接画像は決定されていない。
また、特に、本処理例では、隣接画像判断部303は、候補画像をピックアップする際に、まず、画像のカメラ方向が概略同じである画像、例えば同じ面内に配置されている画像を、先に候補画像としてピックアップする。
(S7) 計算機システム1(特に重複率計算部304)は、S6で得た候補画像毎に、順に、第1画像と候補画像との組で、画像間の重複率(OLとする)を計算する。その際、重複率計算部304は、後述のように、画像毎の撮影範囲を計算し(図7)、その撮影範囲等を用いて、重複率OLを計算する(図12等)。
(S8) 計算機システム1(特に隣接画像判断部303)は、S7で得た重複率OLを、予め設定されている所定の重複率閾値(TOLとする)と比較することで、重複状態を判断する。本処理例では、隣接画像判断部303は、候補画像に関するOL値が、TOL値以下で0よりも大きく、最小となるかどうかを判断する。計算機システム1は、その条件を満たす候補画像を、隣接画像(重複が最小で隣接している画像)として選択する。計算機システム1は、面内の上下左右等の方向毎に、同様に、隣接画像を判断する。
なお、予め、重複率閾値TOLが、劣化検査支援ソフトウェア100のプログラムに設定済みである。これに限らず、TOL値をユーザ設定できるようにしてもよい。
(S9) 計算機システム1は、S8の結果で、重複状態の条件を満たす隣接画像が見つかったかどうかを確認し、見つかった場合(Y)にはS11へ進み、見つからなかった場合(N)にはS10へ進む。ここで見つからなかった場合とは、画像のカメラ方向が概略同じである画像、例えば同じ面内に配置されている画像からは見つからなかった場合に対応する。
(S10) S10では、計算機システム1は、探索済みの画像以外で、画像の位置間の距離が最も小さい候補画像を、次画像として選択する。後述するが、例えば、この次画像は、第1画像に対してカメラ方向が異なる、別の面(側面等)に配置されている画像となる。あるいは、この次画像は、第1画像と同じ面内であっても重複が無く離れた位置にある画像となる。
(S11) 計算機システム1(画像表示制御部123)は、個別画面402内に、S8またはS10で選択された画像(次画像)についてのリンク画像325(図15のリンク画像403、図16のリンク画像404等)を表示する。特に、画像表示制御部123は、第1画像に対する各方向で、次画像の種類に応じたリンク画像325を表示する。
(S12) 計算機システム1は、個別画面402で、リンク画像325に対するユーザの所定の操作(第2画像選択操作OP2)を受け付ける。第2画像選択操作OP2は、リンク画像に対するクリック、タップ等である。また、計算機システム1は、個別画面402で、一覧画面401に戻るための操作や終了操作等の他の操作を受け付ける。計算機システム1は、リンク画像325に対する選択操作(第2画像選択操作OP2)を受けた場合(Y)、S13へ進み、一覧画面401に戻るための操作を受けた場合、S3へ戻る。
(S13) S13では、計算機システム1(特に個別表示部302)は、S12のリンク画像選択情報(第2画像選択情報)324に基づいて、個別画面402に、選択されたリンク画像325で表される次画像(第2画像)を、新たな第1画像として表示する。S13の後、S6に戻り、同様の繰り返しの処理である。ユーザは、個別画面402(劣化検査画面)でその新たな第1画像を見て劣化検査作業が可能である。以後同様に、画像群におけるある画像から他の画像への選択および表示遷移が可能である。
[空撮方式(1)]
図5は、ドローン10を用いた構造物5の空撮の方式の第1例を示す。空撮の方式は、これに限らない。この空撮の方式は、画像表示システムでの処理や特徴を考慮して、好適な方式が選択されている。計算機システム1のドローン制御機能21を用いて、撮影計画データd2等に基づいて、ドローン10による空撮のルートや、カメラ4の撮影設定等が、空撮設定情報として設定される。空撮設定情報は、DB31等に保持される。
図5の(A)は、構造物5が概略的に長方体である場合における、Z方向の俯瞰の構成を示す。この構造物5は、鉛直に立つ4つの側面A1~A4を有する。本画像表示システムは、例えばこれらの側面A1~A4の全表面領域を、網羅的に撮影して劣化検査対象とする。また、構造物5は、例えば角部501のように、異なる方向の側面同士が接続されている角部を有する。
本例では、対象物5の側面毎にグループ(側面グループ)として分けて空撮が行われる。本例では、4つの側面A1~A4に対応して4つのグループに分けられ、対応して4つのルートR1~R4が設定され、4回に分けて空撮が行われる。本例では、各グループのルートは、基本的に直線状のルート(破線矢印で示す)とされ、カメラ方向(一点鎖線矢印で示す)および対象距離D0が概略一定となるように制御される。
例えば、最初、側面A1のグループは、ルートR1で空撮が行われる。ルートR1では、カメラ方向がY方向(手前から奥への方向Y1)である。次に、側面A2のグループでは、ルートR2で空撮が行われる。ルートR2では、カメラ方向がX方向(右から左の方向X1)である。側面A3のルートR3、側面A4のルートR4についても同様である。
図5の(B)は、(A)に対応して、構造物5および空撮のルートを斜視で示す。特に、側面A1のグループを空撮するルートR1における詳しい設定例を示す。本例では、側面A1(X-Z平面)の全領域を網羅的に撮影するにあたり、いわゆる線順次走査方式と同様の方式を用いている。この方式では、まず、ドローン10を、水平方向であるX方向において、側面A1の一方端から他方端まで、主走査のように直線状に移動させる。この水平方向の移動の際に、カメラ4の方向および対象距離D0が概略一定になるように制御される。ドローン10が側面A1の他方端に到達した後、次に、ドローン10を、鉛直方向(Z方向)で、副走査のように直線状に移動させる。次に、同様に、X方向で反対方向に折り返すように、側面A1の他方端から一方端まで、主走査のように直線状に移動させる。その後も同様に主走査、副走査が繰り返される。
なお、実施の形態の例では、主に鉛直に立つ側面を対象として説明しているが、構造物5の屋上等の水平面についても、同様に対象として処理することが可能である。その場合、空撮時のカメラ4の方向は、例えばZ方向下方となる。また、実施の形態の例では、空撮時のカメラ4の方向としては、側面を平面視する水平方向であるX方向やY方向とする場合を説明しているが、これに限らず、例えば斜め下方向等にしても、同様に処理することが可能である。
空撮の設定の際には、予め、3次元モデル生成機能のSFM処理を考慮して、画像間の重複状態が好適になるように、ドローン10のルート、カメラ4の撮影タイミング(間隔)等が設定される。例えば、ドローン10およびカメラ4の進行方向での重複状態が80%程度となるように設定される。この設定に基づいた空撮により、好適な重複状態の画像群が得られる。この画像群を入力としてSFM処理を確実に行うことができ、高精度の3次元モデルを得ることができる。
ただし、上記3次元モデル生成の用途に対応した画像群を、劣化検査にも用いる場合、画像間の重複領域が多いので、各画像の劣化検査の際に、検査済み領域(すなわち重複領域)が多く、再度検査する領域が多くなってしまい、非効率的である。そのため、効率的な劣化検査を行うためには、それらの画像群から、画像間の重複がなるべく少ない画像群を、劣化検査対象の画像群として選択することが好ましい。しかしながら、この画像選択を人手で行うことには、難しさがあり、手間が多大である。そこで、本画像表示システムでは、この画像選択を支援および効率化できるGUI等の仕組みを提供している。
[空撮方式(2)]
図6は、ドローン10を用いた構造物5の空撮の方式の第2例を同様に示す。構造物5の形状等に応じて、このような空撮の方式が適宜に選択される。図6の(A)の構造物5は、本例では、図5の直方体の構造物5の側面A1に対し、さらに、右側(方向X2)の一部の手前側(方向Y2)に、別の直方体の部分が追加接続されたような形状を有する。この構造物5は、6つの側面a1~a6を有し、それらの全表面領域が検査対象であるとする。また、この構造物5は、角部601、角部602、角部603等の角部を有する。角部601は、X方向に延在する側面a1と、Y方向に延在する側面a2とが接続されている部分であり、ドローン10からみて凹状になっている角部である。角部602は、Y方向に延在する側面a2と、X方向に延在する側面a3とが接続されている部分であり、ドローン10からみて凸状になっている角部である。角部603は、X方向に延在する側面a3と、Y方向に延在する側面a4とが接続されている部分であり、凸状になっている角部である。
本例では、同様に、対象物5の側面毎にグループとして分けて空撮が行われる。本例では、6つの側面a1~a6に対応して6つのグループに分けられ、対応して6つのルートr1~r6が設定され、6回に分けて空撮が行われる。各グループのルートは、直線状のルートとされ、カメラ方向および対象距離D0が概略一定となるように制御される。全体で、カメラ方向は、方向Y1,方向Y2,方向X1,方向X2の4種類に分けられる。例えば、側面a1のグループのルートr1では、カメラ方向がY方向(方向Y1)である。側面a2のグループのルートr2ででは、カメラ方向がX方向(方向X2)である。側面a3のルートr3では、カメラ方向がY方向(方向Y1)である。側面a4のルートr4では、カメラ方向がX方向(方向X1)である。他の側面のルートについても同様である。
図6の(B)は、(A)に対応して、構造物5および空撮のルートを斜視で示す。特に、側面a1のルートr1や側面a3のルートr3等における詳しい設定例を示す。図5の(B)と同様に、側面毎に、線順次走査方式と同様の方式を用いている。
[撮影範囲]
図7は、画像の撮影範囲等について模式図を示す。画像表示システムの画像表示制御部123は、以下のように、画像の撮影範囲を計算する。この撮影範囲は、重複率の計算に用いられる。撮影範囲は、画像の縦横の長さ等で規定される、現実世界でのサイズである。撮影範囲の計算のために、焦点距離(Fとする)、センササイズ(SSとする)、対象距離(Dとする)等を用いる。図7では、Z方向の俯瞰で、構造物5の壁面701(例えば側面A1)、ドローン10の空撮のルートの一部における進行方向K1(例えばX方向)、カメラ4の位置(カメラ位置Cとする)、カメラ4の方向(カメラ方向Vとする)、カメラ4のセンサ702、画像の撮影範囲(SAとする。特にX方向の幅を示す。)等を示す。
センサ702は、カメラ4の撮像素子であり、図7ではX方向の幅の部分を示す。センサ702は、所定のセンササイズSS(特にX方向の幅を示す)を有する。センササイズSSは、カメラ機種に応じたものであり、幅、高さ、対角距離等で規定される。センササイズSSは、画像情報202に含まれているか、または含まれていなくてもカメラ機種や他の情報から把握可能である。センサ702の中央位置を、カメラ位置Cとして示す。センサ702およびカメラ位置Cから、例えばY方向にカメラ方向V(一点鎖線矢印で示す)がある。カメラ方向Vが壁面701と交わる位置を位置Qで示す。位置Qは、画像および撮影範囲SAの中心位置に対応する。カメラ方向Vにおける、カメラ位置Cから壁面701(側面A1)の位置Qまでの距離において、焦点距離Fと対象距離Dとがある。焦点距離Fは、画像情報202から得られる。対象距離Dは、対象物までの距離である。対象距離Dは、撮影計画データd2に基づいて得られる。例えば図5の対象距離D0から対象距離Dが得られる。
計算機システム1(特に重複率計算部304)は、センササイズSS、焦点距離F、対象距離D等を用いて、撮影範囲SAを計算する。基本的な計算式は、[撮影範囲SA]=[センササイズSS]÷[焦点距離F]×[対象距離D]である。具体例は以下である。センササイズSSとして、横(幅)が23.5mm、縦(高さ)が15.6mmであるとする。焦点距離Fが35mmであるとする。対象距離Dが5m(=5000mm)であるとする。撮影範囲SAにおいて、横(X方向)の幅をSAX、縦(Z方向)の高さをSAZとした場合に、SAX=(23.5/35)×5000≒3357mm、SAZ=(15.6/35)×5000≒2229mmとして計算できる。
計算機システム1は、画像群の各画像の撮影範囲SAを同様に計算する。計算機システム1(重複率計算部304)は、各画像の撮影範囲SA等を用いて、画像間の重複率を計算する。また、計算機システム1(隣接画像判断部303)は、カメラ位置C、カメラ方向V、撮影範囲SA等の情報を用いて、画像間の位置関係を判断する。
[カメラ位置およびカメラ方向]
計算機システム1は、カメラ位置Cやカメラ方向Vの情報を処理に用いる。カメラ位置Cやカメラ方向Vの情報は、例えば以下のような各方式で得ることができる。
(1)計算機システム1は、画像情報202内または空撮時のセンサデータ内に、カメラ位置Cやカメラ方向Vの情報を含んでいる場合には、そのカメラ位置Cやカメラ方向Vの情報を参照する。例えば、カメラ4自体に、カメラ位置Cやカメラ方向Vを検出できるセンサを備えてもよい。その場合、カメラ4で撮影した画像の画像データに、その検出したカメラ位置Cやカメラ方向Vの情報を関連付けることで、その情報を参照可能である。
(2)計算機システム1は、画像情報202内にカメラ位置Cやカメラ方向Vの情報を含んでいない場合、他の情報から、カメラ位置Cやカメラ方向Vを計算する。例えば、計算機システム1は、空撮時のセンサデータに基づいて、ドローン10の位置および方向と、ジンバル14の位置および方向との各情報を得る。計算機システム1は、それらの情報を用いて、計算によって、カメラ位置Cおよびカメラ方向Vを得る。ドローン10に設置されているジンバル14の相対的位置関係と、ジンバル14に設置されているカメラ4の相対的位置関係とを合わせることで、カメラ位置C等を計算できる。
(3)計算機システム1は、画像群(例えば連続する3枚の画像)から、SFM処理によって、カメラ位置Cおよびカメラ方向Vを得る。実施の形態の画像表示システムでは、この方式を用いる。3次元モデル生成部122のSFM処理部122Aは、入力の画像群に対するSFM処理を行うことで、カメラ位置Cおよびカメラ方向Vを得る。
[画像間の重複(1)]
図8は、空撮進行方向での画像間および撮影範囲間の重複について示す。図8では、Z方向の俯瞰で、壁面701に対するルートの一部を示す。空撮時のドローン10の進行方向K1は、例えば図5のルートR1の主走査の方向X2や、図6のルートr1の主走査の方向X2である。カメラ方向Cは、方向Y1である。進行方向K1上において、ドローン10の位置Pの例として、位置P1~P7を点で示す。対応して、カメラ位置Cの例として位置C1~C7を点で示す。各位置での対象距離D0は一定である。位置P1~P7や位置C1~C7は、時系列の順序を持つ。また、位置C1~C7等に対応して、画像および撮影範囲の側における中心位置を、位置Q1~Q7の点で示す。例えば、画像g1~g7、撮影範囲SA1~SA7を有する。ここでの撮影範囲は、X方向の幅を示す。例えば、位置P1および位置C1で撮影された画像g1の撮影範囲SAが撮影範囲SA1であり、中心位置が位置Q1である。図8の例では、画像g1~g7における撮影範囲SA1~SA7は、進行方向K1において、それぞれの画像間で80%程度重複している場合を示す。
[画像間の重複(2)]
図9は、図8の例と対応して、平面視(X-Z平面、例えば側面A1)での画像間の重複について示す。図9では、画像g1~g7について、重なりの様子がわかりやすいように、Z方向(進行サイド方向K2)でも少しずれがある場合を図示している。進行方向K1は、図8と同様に方向X2である場合を示し、進行サイド方向K2は、進行方向K1に対して垂直な鉛直方向である。進行方向K3は、進行方向K1に進行サイド方向K2のずれ(移動成分)を加えた場合の方向である。本例で、斜線パターンで示す重複領域901は、画像g1(撮影範囲SA1)と画像g2(撮影範囲SA2)との組における重複する領域を示す。重複領域902は、画像g1と画像g6(撮影範囲SA6)との組における重複する領域を示す。
本例で、画像g1~g7は、3次元モデル生成用に必要な重複率(例えば80%程度)を確保するように撮影された画像群である。例えば、画像g1とその次の画像g2との組では、重複率OLが80%以上(例えば85%)となっている。同様に、画像g1に対する重複率OLは、画像g3では65%、画像g4では45%、画像g5では25%、画像g6では5%となっている。画像g1と画像g7の組では、重複が無く、画像間に隙間がある。
劣化検査用に設定された重複率閾値TOLが例えば20%であるとする。画像g1に関して、右側(方向X1)にある各候補画像(画像g2~g7等)を考えた場合、前述(図4、S8)の重複率の条件を満たす画像として、画像g6が選択される。画像g1に対する画像g6の重複率OL(=5%)は、重複率閾値TOL(=20%)以下で0より大きい範囲内で最小となっている。
なお、進行方向K1(X方向、画像の横方向)での重複率を考えるだけでなく、進行サイド方向K2(画像の縦方向)での重複率を同様に考えることができる。本画像表示システムは、進行サイド方向K2についても所定の重複率閾値を用いて同様に処理する。
[画像間の重複(3)]
図10は、図9の例と対応して、平面視(X-Z平面、例えば側面A1)での隣接画像の例について示す。ユーザが選択した第1画像が例えば画像g1であるとする。本画像表示システムは、画像g1に対し、3次元の空間的に周辺にある各画像を候補画像として調べる。図10の例では、画像g1に対し、右方向(方向X2)には、図9と同様に画像g2~g7等がある。画像g1の右方向に関しては、図9のように重複が最小となる画像(隣接画像)として画像g6が選択される。右方向の隣接画像である画像g6を画像gaとしても示す。画像gaの位置Qaは、画像g6の位置Q6である。画像表示システムは、個別画面402に、画像gaを表すリンク画像を表示する。
画像g1に対し、左方向(方向X1)には、隣接画像として例えば画像gb(位置Qb)がある。画像g1と画像gbとの間にある各画像については省略している。同様に、画像g1に対し、上方向(方向Z1)には、隣接画像として例えば画像gc(位置Qc)がある。画像g1に対し、下方向(方向Z2)には、隣接画像として例えば画像gd(位置Qd)がある。同様に、画像g1に対し、右斜め下方向には、隣接画像として例えば画像ge(位置Qe)がある。画像g1に対し、右斜め上方向、左斜め上方向、左斜め下方向にも、図示省略するが、隣接画像がある。ユーザは、個別画面402で、第1画像に対して各方向に表示されるリンク画像(対応する隣接画像)から所望の次画像(第2画像)を選択することができる。
また、本画像表示システムで、ある第1画像(例えば画像g1)に対し、斜め方向にある画像、例えば右斜め下の位置Qeの画像geを判断する際には、以下の方式を用いてもよい。第1方式としては、位置Q1の画像g1に対し、直接的に斜め方向にある画像を探索し、画像g1と斜め方向にある画像との重複率を計算し、所定の重複率閾値(斜め方向用に設定される)を用いて、隣接画像を判断する。別の第2方式としては、位置Q1の画像g1に対し、先に、左右や上下にある隣接画像を判断し、その判断で得られた隣接画像(例えば画像ga、画像gd)に対し、さらに、上下や左右にある隣接画像を判断するようにしてもよい。すなわち、第1画像からの2段階で2方向の同様の判断の結果によって、斜め方向の隣接画像を得てもよい。
[重複率の計算(1)]
図11~図12を用いて、重複率の計算について説明する。重複率の基本的な定義に関しては以下である。理想的には、構造物5の表面領域(対応する撮影範囲SA)における重複の状態を考える。計算機システム1は、図7の位置Qを中心位置とした画像における表面領域において、画像間で重複する領域を考える。計算機システム1は、画像および重複領域のサイズを計算する。画像間での重複領域の重複度合いを表す率が、重複率として定義される。計算機システム1は、画像および重複領域のサイズに基づいて、重複率を計算する。撮影時のカメラ4と構造物5の表面との距離(対象距離D0)を一定とする場合、各画像内に写っている領域のサイズは、現実世界の物体のサイズと殆ど対応している。よって、その場合、画像の領域のサイズを用いて重複率を計算すれば、十分な効果が得られる。
図11は、まず、2枚の画像の撮影範囲SAにおける重複状態について示す。図11では、Z方向の俯瞰で示す。側面A1等を対象として、カメラ位置C1から撮影した画像G1と、カメラ位置C2から撮影した画像G2とを示す。画像G1の位置Q1、画像G2の位置Q2を示す。位置C1や位置Q1等は、それぞれ、3次元の位置座標を有する。画像G1の撮影範囲SAにおけるX方向の幅W1と、画像G2の撮影範囲SAにおけるX方向の幅W2とを示す。画像G1と画像G2との組における重複領域の幅を幅W12で示す。例えば、画像G1と画像G2とにおけるX方向での重複率は、画像G1の幅W1と、重複領域の幅W12とを用いて計算できる。
なお、ドローン10のルートの航行上、風を受けて揺らされること等から、ドローン10の位置、カメラ4の位置、およびカメラ方向等には、揺れやずれが生じ得る。すなわち、各画像のカメラ方向Cが異なる場合がある。その場合でも、構造物5の表面での画像の撮影範囲SAや重複率を同様に計算可能である。
[重複率の計算(2)]
図12は、図11に対応して、平面視(X-Z平面)の画像における重複状態について示す。また、本例では、位置Q1の画像G1と位置Q2の画像G2とで、画像サイズが異なる場合を示す。位置Q1の画像G1と位置Q2の画像G2との画像の組における重複領域1201(斜線パターン)を示す。画像G1は、X方向の幅Wとして、幅W1を有し、Z方向の高さHとして、高さH1を有する。画像G2は、幅W2を有し、高さH2を有する。画像G1と画像G2との組で、重複領域1201の幅W12、重複領域1201の高さH12を示す。画像G1の非重複部分の幅NW1、高さNH1、画像G1の非重複部分の幅NW2、高さNH2も示す。
重複率OLとして、ここでは、画像の横方向(X方向)の重複率(OLWとする)と、画像の縦方向(Z方向)の重複率(OLHとする)とを考える。重複率OLは、第1画像に関して、元の長さに対する重複部分の長さの比率で定義できる。本例では、横(X方向)の重複率OLWは、OLW=W12/W1で、縦(Z方向)の重複率OLHは、OLH=H12/H1で計算できる。なお、3次元位置座標(X,Y,Z)は、2次元画像の処理上では適宜に2次元位置座標(x,y)に変換して処理される。
図12の例で、画像G1の位置Q1の座標を(X1,Y1,Z1)、画像G2の位置Q2の座標を(X2,Y2,Z2)とする。画像G1の撮影範囲SAにおける、X方向の左端の位置をX3、右端の位置をX4とする。画像G2の撮影範囲SAにおける、X方向の左端の位置をX5、右端の位置をX6とする。画像G1の撮影範囲SAにおける、Z方向の上端の位置をZ3、下端の位置をZ4とする。画像G2の撮影範囲SAにおける、Z方向の上端の位置をZ5、下端の位置をZ6とする。本例ではY方向の位置は同じである。
画像G1の上下左右の各端(辺)の位置は、中心の位置Q1、幅W1、高さH1を用いて以下のように得られる。画像G1の左端の位置X3は、X3=X1-(W1/2)で得られる。画像G1の右端の位置X4は、X4=X1+(W1/2)で得られる。画像G1の上端の位置Z3は、Z3=Z1-(H1/2)で得られる。画像G1の下端の位置Z4は、Z4=Z1+(W1/2)で得られる。同様にして、画像G2の各端の位置(X5,X6,Z5,Z6)を得ることができる。各画像の各端の位置を用いて、重複領域1201の幅W12および高さH12等を計算できる。例えば、W12=X4-X5、H12=Z5-Z4である。
計算の具体例として以下である。画像G1のサイズ(画素数で表される)が、W1=339、H1=252、画像G2のサイズが、W2=373、H2=244、とする。位置Q1の座標(X1,Z1)が(1420,2395)、位置Q2の座標(X2,Z2)が(1510,2376)とする。各画像端の座標として、X3=1251,X4=1589,X5=1324,X6=1696,Z3=2520,Z4=2269,Z5=2497,Z6=2254とする。これらの情報を用いて、重複領域1201の幅W12および高さH12は、W12=265、H12=228、として得られる。横の重複率OLWは、OLW=265/339≒0.78、すなわち78%となる。縦の重複率OLHは、OLH=228/252≒0.90、すなわち90%となる。
重複率は、上記方式に限らず、例えば以下のような方式で処理してもよい。画像に写っている画像内容における、画素の色や特徴点等で表される表面領域の物の状態を考える。公知の画像処理によって、画像から特徴点や色領域等を抽出可能である。計算機システム1は、各画像内での同じ物(特徴点等で表される)の位置を判断し、その同じ物の位置を基準として、画像間での重複領域を判断する。計算機システム1は、その重複領域のサイズ(画素数で表される)から、重複率を計算する。
[SFM処理]
図13は、公知のSFMについての説明図を示す。SFMは、同じ対象物(複数の特徴点で表される)を、複数の視点(カメラ位置)から撮影した複数の画像を用いて、対象物の3次元座標と、カメラ方向およびカメラ位置の情報(カメラパラメータ)とを取得する方式である。例えば、3個のカメラ位置からの3枚の画像を用いて、それらの情報を取得可能である。SFMでは、カメラの動きに基づいた視差を利用して、対象物の同じ特徴点が、どれだけ変位したかに基づいて、3次元座標を推定計算する。計算された3次元座標が、対象物の構造や形状を表す。図13の例では、対象物OB(例えば立方体)に関して、連続的に撮影された3枚の画像PIC1~PIC3を示す。対象物OBの特徴点の例として、特徴点A,Bを示す。画像PIC1~PIC3を入力としたSFM処理では、各画像から特徴点群(例えば特徴点A,B)が抽出され、因子分解法等によって、特徴点群の3次元座標が得られる。例えば特徴点Aの座標(Xa,Ya,Za)、特徴点Bの座標(Xb,Yb,Zb)が得られる。それと共に、カメラ方向(例えば方向J1~J3)およびカメラ位置(例えば位置E1~E3)が推定される。なお、構造物3次元モデル生成機能に関しては、SFM方式をベースとした各種の応用的な方式や、他の方式についても、同様に適用可能である。
[一覧画面(1)]
図14は、実施の形態で、一覧画面401の第1例を示す。一覧画面401では、画像群の一覧が表示される。本例では、画像情報202におけるIDや撮影日時を用いた順序で、画像群201の複数の画像(例えば#1~#24等で示す)が、それぞれサムネイル形式で、縦横に並列に配置されて表示されている。これらの画像群は、例えば3次元モデル生成のために所定の重複率を考慮して撮影された画像群である。他の表示例としては、画像毎に、サムネイルだけでなく、画像情報201の情報を表示してもよい。
[個別画面(1)]
図15は、個別画面402の第1例を示す。個別画面402では、一覧画面401からユーザが選択した第1画像が、十分に大きな主要領域の枠1501に表示される。また、個別画面402でリンク画像の選択によって第2画像が選択された場合にも、その第2画像が枠1501に表示される。なお、個別画面402内の「一覧に戻る」ボタン1502の押下等の所定の操作によって、一覧画面401に戻ることもできる。
個別画面402内で、第1画像の周辺には、リンク画像403が表示される。リンク画像403は、言い換えると、ナビゲーション画像である。図15の例では、第1画像(枠1501)の外側において、上下左右、および各斜め(右上、右下、左上、左下)の位置に、それぞれ、リンク画像403が表示されている。リンク画像403は、矢印形状である場合を示すが、これに限らず、所定の形状のGUI部品、アイコン画像等とすることができる。リンク画像403の他の例としては、サムネイル画像としてもよい。
これらのリンク画像403は、矢印で表す方向にある隣接画像を次画像として選択するための画像、部品である。これらのリンク画像403は、ある平面内における隣接画像を選択するための画像、部品である。ユーザは、リンク画像403を選択する操作(タップ等)が可能である。
図15のGUI例では、これらのリンク画像403は、各方向での実際の隣接画像の有無に係わらず、各方向で全部が表示される。ユーザが、所望のリンク画像403(例えば右矢印)を選択操作する。その場合、その選択したリンク画像403で表す方向に、隣接画像が存在する場合には、その隣接画像が第2画像として選択される。すなわち、個別画面402の枠1501内の第1画像に代わり、その選択された第2画像が表示されるように、画面表示状態が遷移される。第2画像は新たな第1画像の扱いとなり、同様にリンク画像403が表示される。また、ユーザが選択操作したリンク画像403で表す方向に、隣接画像が無い場合には、遷移しない。
また、このGUI例では、ユーザが、所望のリンク画像403(例えば右矢印)を選択操作した場合において、第1画像がある同一の平面(例えば側面A1)内で、そのリンク画像403が表す方向に、隣接画像がある場合には、その隣接画像が選択される。また、そのリンク画像403が表す方向に、同一の平面内での隣接画像が無く、前述の角部を介在して、奥や手前の方向に、他の面内の画像がある場合には、その画像が選択される。
他のGUI例としては、リンク画像403を、枠1501内の画像上に重ねて表示してもよい。
他のGUI例としては、リンク画像403を表示せずに、予めユーザ設定等で規定された所定の操作に応じて、隣接画像(第2画像)を選択させるようにしてもよい。例えば、キーボードのキー毎に、各方向のリンクとしての機能が割り当てられてもよい。
他のGUI例としては、リンク画像403の代わりに、枠1501の線の位置に対する所定の操作によって、その位置に応じた方向の隣接画像を選択可能としてもよい。例えば、枠1501の右辺付近を選択操作した場合、右矢印の選択操作と同様の機能を果たす。
他のGUI例としては、リンク画像403の代わりに、公知のドラッグやスワイプ等の操作としてもよい。例えば、枠1501内で、右から左へのスワイプ操作がされた場合に、右矢印の選択操作と同様の機能を果たす。
[個別画面(2)]
図16は、個別画面の第2例を示す。図16のGUI例では、第1画像に対し、周辺に、角部を介在する他の面の画像(隣接画像に相当する一番近い画像)が存在する場合に、その種類の画像および方向を表す特定のリンク画像404が表示される。このリンク画像404は、リンク画像403とは形状が異なる。例えば、第1画像に対し、同じ側面内の右側には隣接画像が無く、角部を介在して手前や奥にある他の側面に画像がある場合に、そのことを表すリンク画像404が表示される。本例では、第1画像に対し、右奥方向に隣接画像がある場合(例えば図25の角部602の付近で側面a2の画像#3に対する側面a3の画像#21)に、右奥方向を表すリンク画像404が表示される。また、第1画像に対し、右前方向に隣接画像がある場合(例えば図25の角部601の付近で側面a1の画像に対する側面a2の画像)には、右前方向を表すリンク画像404が表示される。
他のリンク画像の例として、リンク画像405を示す。第1画像に対し、同じ面内で、Z方向の上側(方向Z1)に隣接画像がある場合、その上方向を表す矢印のリンク画像403が表示される。第1画像に対し、同じ面内で、Z方向の上側(方向Z1)に、隣接画像が無く、構造物5の屋上等の水平面に対応する画像が存在する場合、そのことを表すリンク画像405が表示される。このリンク画像405は、上奥方向を表す形状(例えば斜めに曲がった形状)を持つ。このリンク画像405の選択操作によって、その上奥方向にある画像を次画像として選択可能である。
他のリンク画像の例として、リンク画像406を示す。リンク画像406は、第1画像に対し、同じ面内のある方向で、重複が最小となる隣接画像が無いが、重複せずに離れた位置に画像がある場合に、そのことを表すリンク画像として表示される。リンク画像406は、リンク画像403とは異なる形状を持つ。例えば、第1画像に対し、下側(方向Z2)に、隣接画像が無いが、離れた位置に画像がある場合、下方向で離れた位置を表すリンク画像406が表示される。このリンク画像406の選択操作によって、その離れた位置にある画像を選択可能である。
[個別画面(3)]
図17は、個別画面の第3例を示す。この個別画面402のGUI例では、リンク画像403を、隣接画像の有無に応じて、限定的に表示する。本例では、第1画像に対し、同一面内の隣接画像として、左、下、および左下の各位置に隣接画像が存在し、他の位置には存在しないとする。この場合に、図示のように、左、下、および左下を表す3つの矢印のリンク画像403が表示されている。また、本例では、第1画像の右側で、特に右奥の位置に、他の側面での画像が存在する場合に、図示のように、右奥を表す矢印のリンク画像404が表示されている。このGUI例では、表示情報量が限定されるので、ユーザがより作業をしやすい。
[個別画面(4)]
図18は、個別画面の第4例を示す。この個別画面402では、枠1501内に第1画像を表示する際に、隣接画像との重複領域の画像内容をそのまま表示するのではなく、その重複領域を削除(言い換えるとマスク)した状態で表示する。具体的には、その重複領域は、例えば黒塗りや網掛け等の表現で表示される。本例では、第1画像(または第2画像)は、重複領域408を有する。この重複領域408は、1つ前に選択されていた前画像(説明のためにその領域を破線で示す)の右辺付近に対し、次画像として選択されて枠1501内に表示された画像の左辺付近が重複している領域である。
このように重複領域408を削除表示することで、ユーザは、選択した画像のうちの重複領域408については、画像内容を見る必要が無く、視覚的な情報量が低減されているので、作業がしやすい。本例では、ユーザは、この画像の重複領域408が、前画像で劣化検査済みであることがわかるので、この画像の劣化検査の際に、この重複領域408を再度劣化検査する必要が無い。よって、劣化検査作業の効率化が図れる。
他のGUI例としては、重複領域408に、さらに、劣化検査済みであることを表す情報を付与して表示してもよい。他のGUI例としては、重複領域408を、枠線の表現で表示してもよい。
[個別画面(5)]
図19は、個別画面の第5例を示す。この個別画面402では、未撮影領域(欠損領域)を、ユーザにわかるように所定の表現で表示する。未撮影領域(欠損領域)は、対応する画像が存在しない領域である。図19の(A)は、2枚の画像の関係の例を示す。画像191と画像192とが重複しており、重複率が大きい場合を示す。未撮影領域193は、これらの2枚の画像の外側にある領域であり、これらの2枚の画像を含む画像群では撮影されていない領域の例である。構造物5の側面等の領域のうち、この未撮影領域193は、画像としては存在しない。よって、この未撮影領域193は、劣化検査等の対象にできない。個別画面402では、このような未撮影領域193の箇所がユーザにわかるように表示する。これにより、ユーザは、未撮影領域193の箇所がわかり、劣化検査漏れ箇所等を認識でき、別途この箇所を撮影して劣化検査を行うといった対応も可能となる。
また、他の例の未撮影領域193bを示す。この未撮影領域193bは、画像192と画像194との隙間がある場合の領域である。基本的には画像間で重複させるように撮影するが、何らかの理由(例えば空撮時のエラー)で、このように隙間が生じて未撮影領域193bが生じる場合が考えられる。この場合にも同様に、未撮影領域193bの存在がわかるように表示される。
図19の(B)および(C)は、(A)に対応して、個別画面402での未撮影領域193の表示例を示す。まず、(B)の例は、枠1501内に、選択された画像191を、そのまま画像191の画像サイズで表示する例を示す。説明上、重複している画像192も枠線で示す。この際、枠1501の外側に、未撮影領域193が存在する。このように、枠1501の外側に、未撮影領域193がある場合に、未撮影領域193を表す画像を所定の表現(例えばドットパターン)で表示してもよい。
(C)の例は、(B)の状態から、ユーザの所定の操作に応じて、画像191をシフト(平行移動)して表示した場合を示す。本画像表示システムは、個別画面402で枠1501内に表示する画像をシフトする機能や、拡大/縮小して表示する機能等も有する。例えば、第1画像に対するドラッグまたはスワイプ等の操作によって、このシフト表示を可能とし、第1画像に対するピンチ操作等によって拡大/縮小表示を可能とする。
本例では、(B)の状態から、シフトの操作によって、画像191の中心位置(位置Q1a)が、例えば左のやや上の位置Q1bに移動されている。このシフトによって、枠1501内には、画像191の一部、未撮影領域193の一部193c、画像192の一部192cが入っている状態となる。この個別画面402では、枠1501内に入っている画像部分が表示されると共に、未撮影領域193の一部193cも所定の表現で表示される。
[個別画面(6)]
図20は、個別画面の第6例を示す。この個別画面402では、ある第1画像に対し、重複している隣接画像がある場合に、その隣接画像の存在がユーザにわかるように、枠線等の表現で表示する。本例では、枠1501内の第1画像に対し、右側の位置に隣接画像がある場合に、リンク画像403だけでなく、その隣接画像の輪郭(辺)を表す輪郭画像409(例えば破線)を表示する。これにより、ユーザは、第1画像に対し、例えば右側に隣接画像があることがわかり、重複度合いもわかる。ユーザは、その隣接画像を選択したい場合、リンク画像403またはその輪郭画像409を選択操作する。これにより、その隣接画像が選択され、枠1501内に表示される。
また、図20の例では、個別画面402内に、重複率閾値TOLのユーザ設定用のGUI部品(重複率閾値設定欄)1503を表示している。このGUI部品1503では、現在設定されている重複率閾値TOLを表示し、そのTOL値をユーザが可変できるように、スライドバー等が設けられている。本例では、ユーザは、個別画面402でTOL値の状態を確認できる。また、ユーザは、用途や作業状態等に応じて、このGUI部品1503の操作によって、TOL値の設定を変更できる。また、図20の例のように、第1画像と隣接画像との実際の重複率を表示してもよい。
また、重複率閾値TOLの設定については、1つの値だけでなく、2つの値で範囲を設定するようにしてもよい。例えば、重複率の範囲が、40%以上で60%以下といったように設定され、その場合、その範囲に該当する画像が選択可能となる。
[劣化検査画面]
図21は、劣化検査画面の例を示す。実施の形態の画像表示システムでは、個別画面402がそのまま劣化検査画面である。ユーザは、個別画面402で個別の画像が選択された状態で、そのままその画像を対象として、劣化検査作業を行うことができる。劣化検査画面で、枠1501内には、選択された画像が劣化検査対象画像として表示されている。
劣化検査は、例えば人による目視検査と、計算機による自動診断とがある。本画像表示システムでは、それらの両方の機能に対応している。本例では、ユーザは、劣化検査画面内の画像に対する目視検査を行う。ユーザは、この画像を目視して、劣化の有無や箇所を判断する。例えば、画像内にひび割れ等の劣化箇所2101がある場合を示す。この劣化検査画面では、劣化検査支援処理の例として、ユーザが目視検査で見つけた劣化箇所を、マーキングして表示することができる。ユーザは、例えば、劣化箇所2101に対し、所定の操作でマーキングを行う。マーキング操作例は、ドラッグ等によって枠で囲む操作である。マーキング画像例としては、赤色の枠2102が表示される。
また、枠1501外には、画像情報や構造物情報等を表示してもよい。枠1501外には、劣化検査のチェック項目(検査済み/未検査の状態が入力可能)、劣化有無項目、コメント入力欄等を設けてもよい。
自動診断機能を用いる場合、計算機システム1は、対象画像を入力として、劣化箇所を推定する。画像表示システムは、劣化検査画面で、計算機システム1による自動診断結果情報を表示する。例えば、推定された劣化箇所が、所定の表現で表示される。ユーザは、その結果情報を見て確認や最終判断を行う。
なお、変形例の画像表示システムでは、個別画面402とは別に、劣化検査画面を設けて、所定の操作(例えばダブルタップ等)に基づいてそれらの画面間で遷移させるようにしてもよい。
[構造物3次元モデル画面]
図22は、構造物3次元モデル画面の例を示す。本画像表示システムは、一覧画面401等で、所定の操作を受けた場合、構造物3次元モデル画面を表示する。本画像表示システムは、3次元モデルデータd5に基づいて、構造物3次元モデルを、この画面内の領域に表示し、構造物情報等を合わせて表示する。この領域では、例えば地図(敷地等)上に構造物3次元モデルを重ねて斜視で表示される。この画面に対する所定の操作に応じて、構造物3次元モデルを見る方向や位置等が変更可能である。
さらに、この構造物3次元モデルに対し、ユーザの所定の操作によって、側面等の領域を選択、指定可能としてもよい。本画像表示システムは、例えばある側面が選択、指定された場合、その側面に対応付けられる画像群を、一覧画面401に表示する。あるいは、構造物3次元モデルのうちのある位置が選択、指定された場合に、その位置に対応付けられる画像を、個別画面402に表示するようにしてもよい。
[一覧画面(2)]
図23は、一覧画面の第2例を示す。この一覧画面401では、元の画像群のうち、劣化検査対象の画像群が、一覧で表示される。先に、ユーザが、前述の個別画面402を通じて、劣化検査対象の画像群を選択する。その後、画像表示システムは、一覧画面401で、それらの劣化検査対象の画像群(選択画像群)を、一覧で表示する。一覧画面401内での所定の操作(例えば選択画像群表示ボタン押下)によって、その選択画像群を表示するようにしてもよい。また、この画面では、劣化検査対象の画像群(選択画像群)について、画像毎に、劣化検査情報(例えば検査済み、劣化有無等)を合わせて表示してもよい。
[一覧画面(3)]
図24は、一覧画面の第3例を示す。この一覧画面401は、図23の一覧画面401に対する変形例として、劣化検査対象の画像群の一覧を表示する際の別の方式を示す。この一覧画面401では、劣化検査対象の画像群を、構造物5の表面領域の形状(または生成した構造物3次元モデル)に沿った位置関係で配置して表示する。例えば、この一覧画面401内の領域2401では、選択された側面グループ毎に、劣化検査対象の画像群(隣接画像群)を表示している。例えば、図25の側面a2に関して、隣接画像群として画像#1~#12がある。この領域内には、まず、選択されたグループの側面(すなわち一部平面領域)に対応する領域2401が表示される。その領域2401内に、複数の隣接画像(画像#1~#12)が、実際の位置関係に合わせて配列されて表示される。また、画像(サムネイル)毎に、検査済みや劣化有無等の状態がわかるように、所定の表現で表示するようにしてもよい。領域2401内の1つの画像が選択操作された場合、個別画面402でその画像が表示される。
また、領域2401に、他の側面グループを選択するためのリンク画像2402を表示してもよい。例えば、右矢印のリンク画像2402が選択操作されると、側面a3のグループが選択され、領域2401内に同様に表示される。また、図24の側面グループ単位でのリンク画像2402を表示する際の例では、左右の矢印形状としているが、これに限らず各種の表現とすることが可能である。例えば、リンク画像2402は、図16のリンク画像404の例と同様に、3次元の空間で奥や前の方向に変化することを表す矢印形状としてもよい。例えば、側面a2から側面a3へのリンクのためのリンク画像2402は、右奥を表す曲がった矢印形状で表示される。
[隣接画像の判断]
図25や図26を用いて、空間的な位置関係での隣接画像(次画像)の判断およびGUI等について説明する。特に、図6の例のように、構造物5の角部を介在する側面同士での画像間の位置関係や次画像の選択判断を行う場合について説明する。複数の画像(および撮影範囲)は、3次元の空間内に配置されている。3次元の構造物5における角部、異なる側面、曲面等を撮影した画像群を扱う場合、対応して、各画像のカメラ方向Cが異なる場合がある。そのようにカメラ方向Cが異なる画像同士では、重複率や隣接画像の判断が難しい場合がある。そのため、本画像表示システム(特に隣接画像判断部303)では、画像の位置および方向の情報(例えばカメラ方向Cおよびカメラ方向V)を用いて、カメラ方向Cが異なる場合でも、画像間の位置関係を判断し、ある画像に対する次画像を判断する機能を持つ。本画像表示システムでは、空間内の画像の組での重複率を計算する際に、効率性も考慮して、画像の位置情報を用いて、画像の組を判断する。
図25は、図6の例に対応した、構造物5の側面間の画像関係の例を示す。本例では、構造物5の側面a2および側面a3における隣接画像の例を示す。ここでの隣接画像とは、劣化検査用に好適な画像として選択される画像群を示す。各画像を破線枠で示すが、実際には各画像同士で端部同士が一部重複している。
側面a2では、面内の左側、Y方向の奥側(方向Y1)に、角部601があり、面内の右側、Y方向の手前側(方向Y2)に、角部602がある。側面a3では、面内の左側(方向X1)に、角部602があり、面内の右側(方向X2)に、角部603がある。側面a2のグループのルートr2において、前述の走査のような空撮によって、画像群が撮影されている。それらの画像群のうち、重複が最小となるように選択された隣接画像群の例を、画像#1~#12で示す。同様に、側面a3のグループのルートr3において、前述の走査のような空撮によって、画像群が撮影されている。それらの画像群のうち、重複が最小となるように選択された隣接画像群の例を、画像#21~#32で示す。これらの画像番号は、撮影日時の順序とも対応している。重複率が大きいために選択されなかった画像については図示を省略している。
本画像表示システムは、個別画面402で、ユーザが選択した1枚の画像を表示する。例えば、第1画像として画像#3が選択されたとする。その場合、側面a2のY-Z平面内のみで考えると、隣接画像としては、画像#2,#4,#5がある。ここで、3次元の空間で考えると、図示のように、角部602において、側面a2の右端部には側面a3の左端部が接続されている。ユーザが個別画面402で画像#3をみた場合に、画像#3に対し、そのまま右側(方向Y2)には、構造物5が無いので隣接画像が無い。しかしながら、構造物5の表面形状に沿って、側面a2から側面a3へと曲がる方向を含めて、3次元の位置関係を考えた場合、画像#3に対して右奥に進む方向には、側面a3の画像#21が存在する。同様に、側面a3の画像#21からみた場合、左奥に進む方向には、側面a2の画像#3が存在する。
劣化検査等の用途では、上記画像#3と画像#21との位置関係のような場合にも、これらの画像間での選択や表示を行うことができると有用である。そこで、本画像表示システムでは、このように、ある側面の画像と別の側面の画像とが連なっている場合(カメラ方向が異なる位置が近い画像がある場合)でも、画像間での選択や表示を可能とする機能を有する。このため、本画像表示システムでは、画像の位置や方向の情報を用いて、画像間の3次元の位置関係を判断し(図26)、側面間での隣接画像も判断して、リンク画像として提示する。例えば、個別画面402で画像#3が表示された場合、リンク画像としては、左や下を表すリンク画像だけでなく、右奥を表すリンク画像(図17、リンク画像404)も表示される。
なお、このように側面間での隣接画像の場合、画像間で重複する領域が無い場合がある。そのため、本画像表示システムは、この側面間での隣接画像の判断の際には、同じ平面内での重複率の判断ではなく、3次元の位置関係や距離の判断を主として行う(図4のS10等)。
同様に、側面a2と側面a3との関係では、隣接画像として、画像#4と画像#26との組、画像#9と画像#27との組、画像#10と画像#32との組、が得られる。同様に、他の角部を介在する側面同士においても、それぞれ、隣接画像が得られる。
図26は、図25に対応して、構造物5の側面間での画像選択判断の例について示す。図26では、側面a1、側面a2、側面a3、角部601、角部602等を俯瞰で示す。側面a1のルートr1で、撮影時のカメラ位置Cの例として、位置c1,c2,c3を示す。これらの位置は、側面a1の角部601に近い位置である。いずれの位置でも、カメラ方向は方向Y1であり、対象距離D0は一定である。例えば位置c3で撮影した時の画像g11(特に撮影範囲の幅)を示す。また、側面a2のルートr2で、撮影時のカメラ位置Cの例として、位置c4,c5,c6等を示す。これらの位置は、側面a2の角部601に近い位置である。いずれの位置でも、カメラ方向は方向X2であり、対象距離D0は一定である。例えば位置c4(位置c3と殆ど同じ位置であるとする)で撮影した時の画像g12(特に撮影範囲の幅)を示す。
本画像表示システムは、側面a1の画像g11に対し、隣接画像として、同じ側面内の隣接画像だけでなく、異なる側面の画像(画像g12)を判断する。その際、本画像表示システムは、各画像のカメラ位置Cの位置情報を用いて、カメラ位置C間の距離を計算して判断する。本画像表示システムは、例えば、画像g11の位置c3に対し、同じ側面内の画像(位置c1,c2等の画像)を除いて、カメラ位置C間の距離が最も小さくなる画像を判断する。本例では、位置c3に対し、位置c4が、距離が最も小さい。よって、位置c4の画像g12が、側面間の隣接画像としてピックアップされる。本画像表示システムは、画像g11に対し、画像g12を、側面間の隣接画像(側面間の場合では重複が無くても隣接画像と称する)として関連付け、対応するリンク画像を表示させる。
なお、他の処理例として、本画像表示システムは、カメラ位置Cを用いるのではなく、近似的に、ドローン位置Pの情報を用いて、上記距離を判断してもよい。また、他の処理例として、本画像表示システムは、カメラ位置Cではなく、対応する画像および撮影範囲の中心の位置Qの情報を用いて、上記距離を判断してもよい。例えば、画像g11の中心位置が位置q3、画像g12の中心位置が位置q4であるとする。本画像表示システムは、同じ側面内の画像以外で、画像の中心位置間の距離が最も小さくなる画像を判断する。本例では、位置q3に対し、位置q4が最も距離が小さい。よって、位置q4の画像g12が、側面間の隣接画像としてピックアップされる。
角部602を介在する側面a2と側面a3との関係でも、上記と同様に、隣接画像を判断可能である。例えば、側面a2における位置c13(または位置q13)の画像g13を第1画像とした場合に、隣接画像として、側面a3における位置c14(または位置q14)の画像g14をピックアップできる。
個別画面402で、画像g11が表示されている場合、リンク画像としては、右前(方向Y2)を表すリンク画像が表示される。このリンク画像の選択によって画像g12に遷移可能である。個別画面402で、画像g12が表示されている場合、リンク画像としては、左前(方向X1)を表すリンク画像が表示される。このリンク画像の選択によって画像g11に遷移可能である。個別画面402で、画像g13が表示されている場合、リンク画像としては、右奥(方向X2)を表すリンク画像が表示される。このリンク画像の選択によって画像g14に遷移可能である。個別画面402で、画像g14が表示されている場合、リンク画像としては、左奥(方向Y1)を表すリンク画像が表示される。このリンク画像の選択によって画像g13に遷移可能である。
なお、このようなリンク画像を介した表示画像遷移は、カメラ方向Cの変更に対応するユーザ視線方向の変更と対応している。本画像表示システムのGUIでは、このような3次元の構造物5の表面形状に沿った方向での画像選択および表示画像遷移を可能としている。これにより、ユーザは、劣化検査等の用途に応じた作業をより効率的にできる。
なお、上記のように画像の位置や方向の情報を用いて画像の位置関係を判断する形態に限らず可能である。変形例としては、画像処理によって画像内から抽出される特徴点等の判断に基づいて、画像の位置関係を判断するようにしてもよい。
[空撮方式(3)]
図27は、応用例として、他の構造物5の空撮の方式の第3例を示す。本例の構造物5は、円柱形状を有する場合を示す。この構造物5の曲面を持つ側面A30の領域を、劣化検査対象とする場合に、以下のような空撮方式を用いる。図27の(A)は斜視、(B)はZ方向の俯瞰を示す。この方式の空撮設定例では、図示のように、曲面の側面A30に対し、ドローン10およびカメラ4を、対象距離D0を概略一定とするようにして、例えば水平方向に円周状に移動させるルートR30とする。このルートR30では、カメラ方向については、曲面の側面A30に対して例えば垂直に向くように制御される。例えば、ルートR30上のカメラ位置c31での画像g31、カメラ位置c32での画像g32、カメラ位置c33での画像g33等を示す。
このような空撮方式で得られた画像群の場合にも、同様に、本画像表示システムの処理が適用可能であり、概略同様の効果が得られる。本画像表示システムは、側面A30に沿って形成されている複数の画像(撮影範囲)について、同様に、重複率、隣接画像等を判断する。この場合、個別画面402では、側面A30に沿った方向で、各画像を選択可能である。この空撮方式の場合、特に、対象距離D0を一定とすることで、劣化検査がしやすく、また、SFM処理の精度を確保できる。この空撮方式に限らず、前述のように複数の直線状のルートに分ける方式としてもよい。
[処理タイミング]
実施の形態の画像表示システムでは、計算機システム1は、図4のフロー(S6)のように、ユーザ操作によってある第1画像が選択されたタイミング毎に、重複率や隣接画像判断の処理を実行している。処理タイミングは、これに限らず可能である。変形例では、計算機システム1(例えばサーバ3)は、予め、画像群のデータが入力されたタイミングや、ユーザによって一括処理実行が指定されたタイミングで、その画像群に対する重複率計算や隣接画像判断処理を一括処理として実行する。この処理の結果、元の画像群に関して、劣化検査等の用途に応じて、対象画像群をまとめて選択可能である。例えば、図25の例のように、3次元の空間での位置関係を持つ隣接画像群を構成することができる。計算機システム1は、この処理で構成した隣接画像群の情報を、構造物5の3次元モデルデータ等と合わせて管理する。そして、計算機システム1は、ユーザの操作に応じて、GUI画面(例えば図23、図24)に、その隣接画像群の情報を表示することができる。
また、入力の画像群は、変更される場合がある。例えば、一部の画像が後から追加される場合もある。例えば、最初の撮影での未撮影領域がある場合に、2回目の撮影でその未撮影領域を対象として撮影される。そのような場合、計算機システム1は、その追加された画像に対し、同様に処理を実行する。すなわち、計算機システム1は、その追加画像を第1画像とし、処理済みの画像群を候補画像として、同様の重複率計算や隣接画像判断処理を再実行する。これにより、その追加画像に関して隣接画像群が構成され、画像群の関係が再構築、更新される。
[効果等]
上記のように、実施の形態の画像表示システムによれば、ドローン10のカメラ4で撮影した画像群から劣化検査等の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる。用途に応じて、ユーザは、ある画像(第1画像)を見て確認や作業を行い、次にその画像の周囲にある画像から選択し、その画像(第2画像)を見て確認や作業を行う、といった場合が多い。そのような場合に、本画像表示システムでは、画像群の選択や作業を効率的に実現できる。実施の形態では、劣化検査の用途で、ユーザが目視検査の作業を効率的に実現できる。計算機による自動診断を行う場合でも、計算機が、選択画像群に対する処理を効率的に行うことができる。
上記のように、実施の形態の画像表示システムでは、3次元空間内での位置関係を持つ複数の2次元画像を対象として、画像内の物体に関する重複状態を判断する仕組みを有し、また、その重複状態に応じて画像間の選択や遷移をナビゲーションするGUI等の仕組みを有する。特に、本画像表示システムでは、構造物5の表面の3次元形状に沿った位置関係や方向での画像の選択や遷移が可能である。
本画像表示システムでは、ユーザが第1画像を選択して個別画面402に表示した際に、その第1画像の周囲にある画像を探索して、重複率に基づいて隣接画像を判断し、対応するリンク画像を提示する。このように、本画像表示システムでは、処理を効率的に行うので、ユーザの待ち時間も少なくすることができる。
本画像表示システムは、劣化検査や3次元モデル生成の用途に限らず、他の用途にも適用可能である。他の用途に適用する場合でも、画像群および画像間で、用途に応じた重複率に従って好適な画像を選択でき、用途に応じた作業や処理を効率的に行うことができる。
変形例の画像表示システムとしては、3次元モデル生成機能を持たない形態も可能である。
本画像表示システムでは、人手またはドローン10を用いて入力の画像群を得る構成としたが、これに限らず、入力の画像群は、任意の手段で得られたものとしてもよい。また、本画像表示システムでは、特に、劣化検査と3次元モデル生成との両方の用途に使用される画像群を扱う場合を説明した。特に、3次元モデル生成が可能なように撮影された画像群から、劣化検査用に好適な一部の画像群を選択する場合について説明した。これに限らず、ある第1用途のために撮影された第1画像群から、別の第2用途のための第2画像群を選択する場合に、本画像表示システムは有効である。
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。
1…計算機システム、201…画像群、202…画像情報、d1…構造物データ、d2…撮影計画データ、d4…検査データ、d5…3次元モデルデータ、121…劣化検査支援部、122…3次元モデル生成部、122A…SFM処理部、123…画像表示制御部、301…一覧表示部、302…個別表示部、303…隣接画像判断部、304…重複率計算部、401…一覧画面、402…個別画面。

Claims (30)

  1. 計算機システムによって構成される画像表示システムであって、
    前記計算機システムは、
    撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力し、
    前記画像群の一覧を一覧画面に表示し、
    ユーザの操作に基づいて前記画像群から選択された第1画像を個別画面に表示し、
    前記第1画像と前記第1画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、前記第1画像に対する隣接画像を判断し、
    前記個別画面で、前記ユーザの操作に基づいて、前記第1画像に対する前記隣接画像を第2画像として選択し、前記第2画像を新たな前記第1画像として表示する、
    画像表示システム。
  2. 請求項1記載の画像表示システムにおいて、
    前記計算機システムは、前記個別画面で、前記第1画像に対し、前記隣接画像の存在および方向を表すリンク画像を表示し、前記リンク画像に対する前記ユーザの操作に基づいて、前記隣接画像を前記第2画像として選択し、前記第2画像を新たな前記第1画像として表示する、
    画像表示システム。
  3. 請求項1記載の画像表示システムにおいて、
    前記計算機システムは、前記第1画像と前記候補画像との組で、前記重複状態として、前記撮影範囲の重複率を計算し、前記重複率が重複率閾値の範囲内で最小となる前記候補画像を、前記隣接画像として選択する、
    画像表示システム。
  4. 請求項1記載の画像表示システムにおいて、
    前記計算機システムは、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第1画像と前記候補画像との組で、前記空間的な位置関係として、前記第1画像の位置と前記候補画像の位置との距離を計算し、前記距離が最も小さい前記候補画像を、前記隣接画像として選択する、
    画像表示システム。
  5. 請求項1記載の画像表示システムにおいて、
    前記計算機システムは、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第1画像と前記候補画像との組で、前記空間的な位置関係として、前記第1画像の撮影の方向と前記候補画像の撮影の方向とが概略同じである場合と、異なる場合とに分けて、それぞれの場合で前記隣接画像を判断する、
    画像表示システム。
  6. 請求項2記載の画像表示システムにおいて、
    前記計算機システムは、前記個別画面で、前記リンク画像として、前記第1画像に対する前記隣接画像が存在する方向を表す形状を持つリンク画像を表示する、
    画像表示システム。
  7. 請求項2記載の画像表示システムにおいて、
    前記空間的な位置関係として、前記第1画像の前記撮影範囲が配置されている第1面内の第1方向に対し、前記隣接画像の前記撮影範囲が配置されている第2面内の第2方向がある場合に、
    前記計算機システムは、前記個別画面で、前記リンク画像として、前記第1方向から前記第2方向への変化を表す形状を持つリンク画像を表示する、
    画像表示システム。
  8. 請求項1記載の画像表示システムにおいて、
    前記第1画像と前記隣接画像との重複領域がある場合に、
    前記計算機システムは、前記個別画面で、前記第1画像のうちの前記重複領域を、画像内容を削除した所定の表現で表示する、
    画像表示システム。
  9. 請求項1記載の画像表示システムにおいて、
    前記第1画像の周辺に未撮影領域がある場合に、
    前記計算機システムは、前記個別画面で、前記第1画像の周辺の前記未撮影領域を、前記未撮影領域であることを表す所定の表現で表示する、
    画像表示システム。
  10. 請求項1記載の画像表示システムにおいて、
    前記第1画像と前記隣接画像との重複領域がある場合に、
    前記計算機システムは、前記個別画面で、前記第1画像のうちの前記重複領域を、前記重複領域の輪郭線または前記重複領域を表す所定の表現で表示する、
    画像表示システム。
  11. 請求項1記載の画像表示システムにおいて、
    前記計算機システムは、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群の一覧を、前記一覧画面に表示する、
    画像表示システム。
  12. 請求項1記載の画像表示システムにおいて、
    前記計算機システムは、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群を、前記空間的な位置関係に合わせて配置し、前記一覧画面に表示する、
    画像表示システム。
  13. 請求項1記載の画像表示システムにおいて、
    前記画像群は、構造物の表面領域の劣化検査の用途のためにカメラで撮影された画像群であり、
    前記個別画面は、前記ユーザの前記劣化検査の作業のための操作を受け付ける劣化検査画面である、
    画像表示システム。
  14. 請求項1記載の画像表示システムにおいて、
    前記画像群は、構造物の3次元モデル生成の用途のためにカメラで撮影された画像群である、
    画像表示システム。
  15. 請求項1記載の画像表示システムにおいて、
    前記画像群は、カメラを搭載した飛行体によって空撮された画像群である、
    画像表示システム。
  16. 計算機システムによって構成される画像表示システムにおける画像表示方法であって、
    前記計算機システムにおいて実行されるステップとして、
    撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力するステップと、
    前記画像群の一覧を一覧画面に表示するステップと、
    ユーザの操作に基づいて前記画像群から選択された第1画像を個別画面に表示するステップと、
    前記第1画像と前記第1画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、前記第1画像に対する隣接画像を判断するステップと、
    前記個別画面で、前記ユーザの操作に基づいて、前記第1画像に対する前記隣接画像を第2画像として選択し、前記第2画像を新たな前記第1画像として表示するステップと、
    を有する、画像表示方法。
  17. 請求項16記載の画像表示方法において、
    前記計算機システムが、前記個別画面で、前記第1画像に対し、前記隣接画像の存在および方向を表すリンク画像を表示し、前記リンク画像に対する前記ユーザの操作に基づいて、前記隣接画像を前記第2画像として選択し、前記第2画像を新たな前記第1画像として表示するステップを有する、
    画像表示方法。
  18. 請求項16記載の画像表示方法において、
    前記計算機システムが、前記第1画像と前記候補画像との組で、前記重複状態として、前記撮影範囲の重複率を計算し、前記重複率が重複率閾値の範囲内で最小となる前記候補画像を、前記隣接画像として選択するステップを有する、
    画像表示方法。
  19. 請求項16記載の画像表示方法において、
    前記計算機システムが、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第1画像と前記候補画像との組で、前記空間的な位置関係として、前記第1画像の位置と前記候補画像の位置との距離を計算し、前記距離が最も小さい前記候補画像を、前記隣接画像として選択するステップを有する、
    画像表示方法。
  20. 請求項16記載の画像表示方法において、
    前記計算機システムが、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第1画像と前記候補画像との組で、前記空間的な位置関係として、前記第1画像の撮影の方向と前記候補画像の撮影の方向とが概略同じである場合と、異なる場合とに分けて、それぞれの場合で前記隣接画像を判断するステップを有する、
    画像表示方法。
  21. 請求項17記載の画像表示方法において、
    前記計算機システムが、前記個別画面で、前記リンク画像として、前記第1画像に対する前記隣接画像が存在する方向を表す形状を持つリンク画像を表示するステップを有する、
    画像表示方法。
  22. 請求項17記載の画像表示方法において、
    前記空間的な位置関係として、前記第1画像の前記撮影範囲が配置されている第1面内の第1方向に対し、前記隣接画像の前記撮影範囲が配置されている第2面内の第2方向がある場合に、
    前記計算機システムが、前記個別画面で、前記リンク画像として、前記第1方向から前記第2方向への変化を表す形状を持つリンク画像を表示するステップを有する、
    画像表示方法。
  23. 請求項16記載の画像表示方法において、
    前記第1画像と前記隣接画像との重複領域がある場合に、
    前記計算機システムが、前記個別画面で、前記第1画像のうちの前記重複領域を、画像内容を削除した所定の表現で表示するステップを有する、
    画像表示方法。
  24. 請求項16記載の画像表示方法において、
    前記第1画像の周辺に未撮影領域がある場合に、
    前記計算機システムは、前記個別画面で、前記第1画像の周辺の前記未撮影領域を、前記未撮影領域であることを表す所定の表現で表示するステップを有する、
    画像表示方法。
  25. 請求項16記載の画像表示方法において、
    前記第1画像と前記隣接画像との重複領域がある場合に、
    前記計算機システムが、前記個別画面で、前記第1画像のうちの前記重複領域を、前記重複領域の輪郭線または前記重複領域を表す所定の表現で表示するステップを有する、
    画像表示方法。
  26. 請求項16記載の画像表示方法において、
    前記計算機システムが、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群の一覧を、前記一覧画面に表示するステップを有する、
    画像表示方法。
  27. 請求項16記載の画像表示方法において、
    前記計算機システムが、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群を、前記空間的な位置関係に合わせて配置し、前記一覧画面に表示するステップを有する、
    画像表示方法。
  28. 請求項16記載の画像表示方法において、
    前記画像群は、構造物の表面領域の劣化検査の用途のためにカメラで撮影された画像群であり、
    前記個別画面は、前記ユーザの前記劣化検査の作業のための操作を受け付ける劣化検査画面である、
    画像表示方法。
  29. 請求項16記載の画像表示方法において、
    前記画像群は、構造物の3次元モデル生成の用途のためにカメラで撮影された画像群である、
    画像表示方法。
  30. 請求項16記載の画像表示方法において、
    前記画像群は、カメラを搭載した飛行体によって空撮された画像群である、
    画像表示方法。
JP2018124978A 2018-06-29 2018-06-29 画像表示システムおよび方法 Active JP7051616B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018124978A JP7051616B2 (ja) 2018-06-29 2018-06-29 画像表示システムおよび方法
PCT/JP2018/031364 WO2020003548A1 (ja) 2018-06-29 2018-08-24 画像表示システムおよび方法
CN201880001267.9A CN110915201B (zh) 2018-06-29 2018-08-24 图像显示系统以及方法
SG11201808735TA SG11201808735TA (en) 2018-06-29 2018-08-24 Image display system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018124978A JP7051616B2 (ja) 2018-06-29 2018-06-29 画像表示システムおよび方法

Publications (2)

Publication Number Publication Date
JP2020005186A JP2020005186A (ja) 2020-01-09
JP7051616B2 true JP7051616B2 (ja) 2022-04-11

Family

ID=68985372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018124978A Active JP7051616B2 (ja) 2018-06-29 2018-06-29 画像表示システムおよび方法

Country Status (4)

Country Link
JP (1) JP7051616B2 (ja)
CN (1) CN110915201B (ja)
SG (1) SG11201808735TA (ja)
WO (1) WO2020003548A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510678B (zh) * 2020-04-21 2021-12-24 上海歌尔泰克机器人有限公司 一种无人机图像传输控制方法、装置和系统
JP7003352B1 (ja) 2021-04-12 2022-01-20 株式会社三井E&Sマシナリー 構造物の点検データ管理システム
WO2022244206A1 (ja) * 2021-05-20 2022-11-24 日本電気株式会社 測定条件最適化システム、三次元データ測定システム、測定条件最適化方法、及び非一時的なコンピュータ可読媒体
WO2023188510A1 (ja) * 2022-03-29 2023-10-05 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN114778558B (zh) * 2022-06-07 2022-09-09 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090232A (ja) 1998-09-08 2000-03-31 Olympus Optical Co Ltd パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP2006099497A (ja) 2004-09-30 2006-04-13 Seiko Epson Corp パノラマ画像の合成
JP2006098256A (ja) 2004-09-30 2006-04-13 Ricoh Co Ltd 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
JP2013058124A (ja) 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2018074757A (ja) 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819752B (zh) * 2012-08-16 2015-04-22 北京理工大学 基于分布式和倒排文件的室外大规模物体识别方法和系统
WO2017056942A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090232A (ja) 1998-09-08 2000-03-31 Olympus Optical Co Ltd パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP2006099497A (ja) 2004-09-30 2006-04-13 Seiko Epson Corp パノラマ画像の合成
JP2006098256A (ja) 2004-09-30 2006-04-13 Ricoh Co Ltd 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
JP2013058124A (ja) 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2018074757A (ja) 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Also Published As

Publication number Publication date
WO2020003548A1 (ja) 2020-01-02
JP2020005186A (ja) 2020-01-09
SG11201808735TA (en) 2020-01-30
CN110915201A (zh) 2020-03-24
CN110915201B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
JP7051616B2 (ja) 画像表示システムおよび方法
JP6918672B2 (ja) 劣化診断システム
US11783543B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
US10818099B2 (en) Image processing method, display device, and inspection system
EP3683647B1 (en) Method and apparatus for planning sample points for surveying and mapping
KR101871764B1 (ko) 가상현실 기반의 시설관리 플랫폼 구축 시스템
JP7332353B2 (ja) 点検システム及び点検方法
US10977857B2 (en) Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images
JP2017182695A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP6144364B2 (ja) 作業支援用データ作成プログラム
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
EP2636022A1 (en) Rapid 3d modeling
JP2018004541A (ja) 情報処理装置、情報処理方法及びプログラム
JP2008275341A (ja) 情報処理装置、情報処理方法
JP4588369B2 (ja) 撮影装置及び撮影方法
US20210029497A1 (en) Field cooperation system and management device
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
JP7334460B2 (ja) 作業支援装置及び作業支援方法
US20230326098A1 (en) Generating a digital twin representation of an environment or object
JP2020021465A (ja) 点検システム及び点検方法
JP2020060907A (ja) 避雷保護範囲生成システムおよびプログラム
JP6940670B1 (ja) 無人飛行体の飛行経路作成方法及びシステム
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
KR200488998Y1 (ko) 실내 지도 구축 장치
JP6950301B2 (ja) 画像出力システム、画像出力方法及び画像出力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7051616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150