WO2023188510A1

WO2023188510A1 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: WO2023188510A1
Application number: PCT/JP2022/041770
Authority: WO
Inventors: 康彦金子
Original assignee: 富士フイルム株式会社
Priority date: 2022-03-29
Filing date: 2022-11-09
Publication date: 2023-10-05
Also published as: CN118901086A

Abstract

画像処理装置は、プロセッサを備える。プロセッサは、実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と３次元画像とを対比可能な状態で画面に表示し、与えられた選択指示に従って、複数の２次元画像から注目２次元画像を選択し、複数の部分のうちの注目２次元画像に対応する注目部分を視覚的に特定可能な状態で画面に表示する。

Description

画像処理装置、画像処理方法、及びプログラム

　本開示の技術は、画像処理装置、画像処理方法、及びプログラムに関する。

　特開２０２０－００５１８６号公報には、計算機システムによって構成される画像表示システムが開示されている。計算機システムは、撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力し、画像群の一覧を一覧画面に表示し、ユーザの操作に基づいて画像群から選択された第１画像を個別画面に表示する。また、計算機システムは、第１画像と第１画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、第１画像に対する隣接画像を判断し、個別画面で、ユーザの操作に基づいて、第１画像に対する隣接画像を第２画像として選択し、第２画像を新たな第１画像として表示する。

　特開２００７－０９３６６１号公報には、自動車に搭載され、第一の地図と当該第一の地図と表現形態の異なる第二の地図とを同時に表示するナビゲーション装置が開示されている。ナビゲーション装置は、表示装置と、地図表示手段と、現在位置算出手段と、現在位置表示手段と、位置指定受付手段とを備える。地図表示手段は、第一の地図と第二の地図を、表示装置の異なる表示領域に表示する。現在位置算出手段は、現在位置を算出する。現在位置表示手段は、現在位置算出手段が算出した現在位置を表す現在位置マークを、地図表示手段が表示した第一の地図と第二の地図のうちの少なくとも一方の地図上に表示する。位置指定受付手段は、第一の地図が表示されている表示領域上の位置の指定をユーザから受け付ける。地図表示手段は、位置指定手段が指定を受け付けた位置に対応する第一の地図上の地点と同じ地点を表す第二の地図上の位置を識別可能な形態で、当該第二の地図を表示する。

　特開２０１０－２０００２４号公報には、立体画像表示装置が開示されている。立体画像表示装置は、表示手段と、指示入力手段と、位置合わせ手段と、表示制御手段とを備える。表示手段は、複数の視点で撮像された撮像画像を立体表示する前に、撮像画像から生成されたサムネイル画像を一覧で表示する。指示入力手段は、一覧中のサムネイル画像を選択する選択指示が入力される。位置合わせ手段は、選択指示が入力されて撮像画像を立体表示するときに、選択されたサムネイル画像に対応する複数視点の撮像画像を、撮像画像中の特定対象の検出領域にて互いに位置合わせする。表示制御手段は、特定対象の検出領域を示す検出領域情報をサムネイル画像中に付加する。

　本開示の技術に係る一つの実施形態は、一例として、各２次元画像と、対象物のうちの各２次元画像に対応する領域との対応関係を視覚的に把握することができる画像処理装置、画像処理方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と３次元画像とを対比可能な状態で画面に表示し、与えられた選択指示に従って、複数の２次元画像から注目２次元画像を選択し、複数の部分のうちの注目２次元画像に対応する注目部分を視覚的に特定可能な状態で画面に表示する画像処理装置である。

　本開示の技術に係る第２の態様は、第１の態様に係る画像処理装置において、複数の２次元画像と３次元画像とを対比可能な状態とは、複数の２次元画像を含む第１領域と３次元画像を含む第２領域とが並んだ状態である画像処理装置である。

　本開示の技術に係る第３の態様は、第１の態様又は第２の態様に係る画像処理装置において、注目部分を視覚的に特定可能な状態とは、注目部分が複数の部分のうちの残りの部分とは区別可能な状態を含む画像処理装置である。

　本開示の技術に係る第４の態様は、第１の態様から第３の態様の何れか一つの態様に係る画像処理装置において、注目部分を視覚的に特定可能な状態とは、注目２次元画像が複数の２次元画像のうちの残りの２次元画像とは区別可能な状態を含む画像処理装置である。

　本開示の技術に係る第５の態様は、第１の態様から第４の態様の何れか一つの態様に係る画像処理装置において、プロセッサは、複数の２次元画像を得るための撮像が行われた複数の撮像位置を特定可能な複数の位置特定画像を３次元画像と対比可能な状態で画面に表示し、選択指示に従って、複数の位置特定画像から選択された注目位置特定画像に対応する撮像位置を注目撮像位置として複数の撮像位置から選択し、注目撮像位置から撮像が行われることによって得られた２次元画像を注目２次元画像として複数の２次元画像から選択する画像処理装置である。

　本開示の技術に係る第６の態様は、第５の態様に係る画像処理装置において、複数の位置特定画像と３次元画像とを対比可能な状態とは、複数の位置特定画像と３次元画像とを対向させた状態を含む画像処理装置である。

　本開示の技術に係る第７の態様は、第５の態様又は第６の態様に係る画像処理装置において、複数の２次元画像と３次元画像とを対比可能な状態とは、複数の２次元画像を含む第３領域と、複数の位置特定画像と３次元画像とを対向させた態様を示す画像を含む第４領域とが並んだ状態である画像処理装置である。

　本開示の技術に係る第８の態様は、第５の態様から第７の態様の何れか一つの態様に係る画像処理装置において、注目部分を視覚的に特定可能な状態とは、注目位置特定画像が複数の位置特定画像のうちの残りの位置特定画像とは区別可能な状態を含む画像処理装置である。

　本開示の技術に係る第９の態様は、第５の態様から第８の態様の何れか一つの態様に係る画像処理装置において、画像処理装置は、複数の２次元画像と３次元画像とを対比可能な状態で画面に表示する第１動作モードと、複数の位置特定画像を３次元画像と対比可能な状態で画面に表示する第２動作モードとを有し、プロセッサは、与えられた設定指示に従って、第１動作モード及び第２動作モードの何れかの動作モードを設定する画像処理装置である。

　本開示の技術に係る第１０の態様は、第５の態様から第９の態様の何れか一つの態様に係る画像処理装置において、３次元画像は、注目２次元画像に対応する視点で、画面に表示される画像処理装置である。

　本開示の技術に係る第１１の態様は、プロセッサを備え、プロセッサは、実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と３次元画像とを対比可能な状態で画面に表示し、与えられた選択指示に従って、複数の部分から注目部分を選択し、複数の２次元画像のうちの注目部分に対応する注目２次元画像を選択し、注目２次元画像を複数の２次元画像のうちの残りの２次元画像とは区別可能な状態で画面に表示する画像処理装置である。

　本開示の技術に係る第１２の態様は、第１１の態様に係る画像処理装置において、プロセッサは、複数の２次元画像を得るための撮像が行われた複数の撮像位置を特定可能な複数の位置特定画像を３次元画像と対比可能な状態で画面に表示し、選択指示に従って、複数の位置特定画像から注目位置特定画像を選択し、注目位置特定画像から特定される撮像位置から撮像が行われることによって得られた２次元画像を注目２次元画像として複数の２次元画像から選択する画像処理装置である。

　本開示の技術に係る第１３の態様は、実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と３次元画像とを対比可能な状態で画面に表示すること、与えられた選択指示に従って、複数の２次元画像から注目２次元画像を選択すること、及び、複数の部分のうちの注目２次元画像に対応する注目部分を視覚的に特定可能な状態で画面に表示することを備える画像処理方法である。

　本開示の技術に係る第１４の態様は、実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と３次元画像とを対比可能な状態で画面に表示すること、与えられた選択指示に従って、複数の２次元画像から注目２次元画像を選択すること、及び、複数の部分のうちの注目２次元画像に対応する注目部分を視覚的に特定可能な状態で画面に表示することを含む処理をコンピュータに実行させるためのプログラムである。

第１実施形態に係る点検システムの一例を示す斜視図である。第１実施形態に係る検査支援装置の一例を示すブロック図である。第１実施形態に係る撮像装置の一例を示すブロック図である。第１実施形態に係る点検支援情報生成処理を実現するための機能的な構成の一例を示すブロック図である。第１実施形態に係る撮像装置から点検支援装置に送信されるデータの一例を示すブロック図である。第１実施形態に係る取得部及び３次元画像生成部の動作の一例を示すブロック図である。第１実施形態に係る３次元画像生成部及び点検支援情報生成部の動作の一例を示すブロック図である。第１実施形態に係る点検支援処理を実現するための機能的な構成の一例を示すブロック図である。第１実施形態に係る動作モード設定部、第１モード処理部、第２モード処理部、及び第３モード処理部の動作の一例を示すブロック図である。第１実施形態に係る第１表示制御部の動作の一例を示すブロック図である。第１実施形態に係る第１画像選択部の動作の一例を示すブロック図である。第１実施形態に係る第１画素抽出部及び第１画像生成部の動作の一例を示すブロック図である。第１実施形態に係る第１画像生成部及び第１表示制御部の動作の一例を示すブロック図である。第１実施形態に係る第２表示制御部の動作の一例を示すブロック図である。第１実施形態に係る第２画像選択部の動作の一例を示すブロック図である。第１実施形態に係る第２画素抽出部及び第２画像生成部の動作の一例を示すブロック図である。第１実施形態に係る第２画像生成部及び第２表示制御部の動作の一例を示すブロック図である。第１実施形態に係る第３表示制御部の動作の一例を示すブロック図である。第１実施形態に係る第３画像選択部の動作の一例を示すブロック図である。第１実施形態に係る第３画像生成部の動作の一例を示すブロック図である。第１実施形態に係る第３画像生成部及び第３表示制御部の動作の一例を示すブロック図である。第１実施形態に係る点検支援情報生成処理の流れの一例を示すフローチャートである。第１実施形態に係る点検支援処理のうちのモード設定処理の流れの一例を示すフローチャートである。第１実施形態に係る点検支援処理のうちの第１モード処理の流れの一例を示すフローチャートである。第１実施形態に係る点検支援処理のうちの第２モード処理の流れの一例を示すフローチャートである。第１実施形態に係る点検支援処理のうちの第３モード処理の流れの一例を示すフローチャートである。第２実施形態に係る第４表示制御部の動作の一例を示すブロック図である。第２実施形態に係る第４画像選択部の動作の一例を示すブロック図である。第２実施形態に係る第４画素抽出部及び第４画像生成部の動作の一例を示すブロック図である。第２実施形態に係る第４画像生成部及び第４表示制御部の動作の一例を示すブロック図である。第２実施形態に係る点検支援処理の一例を示すフローチャートである。

　以下、添付図面に従って本開示の技術に係る画像処理装置、画像処理方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＥＬとは、“Electro Luminescence”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＧＮＳＳとは、“Global Navigation Satellite System”の略称を指す。ＧＰＳとは、“Global Positioning System”の略称を指す。ＳｆＭとは、“Structure from Motion”の略称を指す。ＭＶＳとは、“Multi-View Stereo”の略称を指す。ＴＰＵとは、“Tensor Processing Unit”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。

　［第１実施形態］
　はじめに、本開示の第１実施形態について説明する。

　一例として図１に示すように、点検システムＳは、点検支援装置１０及び撮像装置１００を備えている。点検システムＳは、実空間上の対象物４を点検するためのシステムである。対象物４は、本開示の技術の「対象物」の一例である。

　一例として、対象物４は、鉄筋コンクリート製の橋脚である。ここでは、対象物４の一例として、橋脚が挙げられているが、対象物４は、橋脚以外の道路設備であってもよい。道路設備としては、例えば、路面、トンネル、ガードレール、信号機、及び／又は、防風フェンス等が挙げられる。対象物４は、道路設備以外の社会的なインフラストラクチャ（例えば、空港設備、港湾設備、貯水設備、ガス設備、医療設備、消防設備、及び／又は、教育設備等）であってもよいし、私的な所有物であってもよい。また、対象物４は、土地（例えば、国有地及び／又は私有地等）であってもよい。対象物４として例示している橋脚は、鉄筋コンクリート製以外の橋脚でもよい。第１実施形態において、点検とは、例えば、対象物４の状態の点検を指す。例えば、対象物４の損傷の有無及び／又は損傷の程度等が点検システムＳによって点検される。

　点検支援装置１０は、本開示の技術に係る「画像処理装置」の一例である。点検支援装置１０は、例えば、デスクトップ型パーソナルコンピュータである。ここでは、点検支援装置１０として、デスクトップ型パーソナルコンピュータを例示しているが、これは、あくまでも一例に過ぎず、ノート型パーソナルコンピュータであってもよい。また、パーソナルコンピュータに限らず、サーバであってもよい。サーバは、オンプレミスで点検支援装置１０と共に用いられるメインフレームであってもよいし、クラウドコンピューティングによって実現される外部サーバであってもよい。また、サーバは、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現される外部サーバであってもよい。点検支援装置１０は、撮像装置１００に対して通信可能に接続されている。点検支援装置１０は、点検者６によって使用される。点検支援装置１０は、対象物４が設置されている現場で使用されてもよいし、対象物４が設置されている現場とは別の場所で使用されてもよい。

　撮像装置１００は、例えば、レンズ交換式のデジタルカメラである。ここでは、撮像装置１００として、レンズ交換式のデジタルカメラを例示しているが、これは、あくまでも一例に過ぎず、スマートデバイス又はウェアラブル端末等の各種の電子機器に内蔵されるデジタルカメラであってもよい。また、撮像装置１００は、眼鏡型のアイウェア端末でもよく、頭部に装着するヘッドマウントディスプレイ端末でもよい。撮像装置１００は、撮像者８によって使用される。

　一例として図２に示すように、点検支援装置１０は、コンピュータ１２、受付装置１４、ディスプレイ１６、及び通信装置１８を備えている。

　コンピュータ１２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ１２は、プロセッサ２０、ストレージ２２、及びＲＡＭ２４を備えている。プロセッサ２０は、本開示の技術に係る「プロセッサ」の一例である。プロセッサ２０、ストレージ２２、ＲＡＭ２４、受付装置１４、ディスプレイ１６、及び通信装置１８は、バス２６に接続されている。

　プロセッサ２０は、例えば、ＣＰＵを有しており、点検支援装置１０の全体を制御する。ここでは、プロセッサ２０がＣＰＵを有する例を挙げているが、これは、あくまでも一例に過ぎない。例えば、プロセッサ２０は、ＣＰＵ及びＧＰＵを有していてもよい。この場合、例えば、ＧＰＵは、ＣＰＵの制御下で動作し、画像処理の実行を担う。

　ストレージ２２は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ２２としては、例えば、ＨＤＤ及びＳＳＤが挙げられる。なお、ＨＤＤ及びＳＳＤは、あくまでも一例に過ぎず、ＨＤＤ及び／又はＳＳＤに代えて、或いは、ＨＤＤ及び／又はＳＳＤと共に、フラッシュメモリ、磁気抵抗メモリ、及び／又は強誘電体メモリを用いてもよい。

　ＲＡＭ２４は、一時的に情報が記憶されるメモリであり、プロセッサ２０によってワークメモリとして用いられる。ＲＡＭ２４としては、例えば、ＤＲＡＭ及び／又はＳＲＡＭ等が挙げられる。

　受付装置１４は、キーボード、マウス、及びタッチパネル等（いずれも図示省略）を有しており、点検者６からの各種指示を受け付ける。ディスプレイ１６は、画面１６Ａを有する。画面１６Ａは、本開示の技術に係る「画面」の一例である。ディスプレイ１６は、プロセッサ２０の制御下で、各種情報（例えば、画像及び文字等）を画面１６Ａに表示する。ディスプレイ１６としては、例えば、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。なお、ＥＬディスプレイに限らず、液晶ディスプレイ等の他の種類のディスプレイであってもよい。

　通信装置１８は、撮像装置１００と通信可能に接続されている。ここでは、通信装置１８が既定の無線通信規格で撮像装置１００と無線通信可能に接続されている。既定の無線通信規格とは、例えば、Ｗｉ－Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。通信装置１８は、点検支援装置１０との間の情報の授受を司る。例えば、通信装置１８は、プロセッサ２０からの要求に応じた情報を撮像装置１００に送信する。また、通信装置１８は、撮像装置１００から送信された情報を受信し、受信した情報を、バス２６を介してプロセッサ２０に出力する。なお、通信装置１８は、撮像装置１００と有線により通信可能に接続されてもよい。

　一例として図３に示すように、撮像装置１００は、コンピュータ１０２、イメージセンサ１０４、測位ユニット１０６、加速度センサ１０８、角速度センサ１１０、及び通信装置１１２を備えている。

　コンピュータ１０２は、プロセッサ１１４、ストレージ１１６、及びＲＡＭ１１８を備える。プロセッサ１１４、ストレージ１１６、ＲＡＭ１１８、イメージセンサ１０４、測位ユニット１０６、加速度センサ１０８、角速度センサ１１０、及び通信装置１１２は、バス１２０に接続されている。プロセッサ１１４、ストレージ１１６、及びＲＡＭ１１８は、例えば、上述の点検支援装置１０に備えられたプロセッサ２０、ストレージ２２、及びＲＡＭ２４と同様のハードウェアによって実現される。

　イメージセンサ１０４は、例えば、ＣＭＯＳイメージセンサである。なお、ここでは、イメージセンサ１０４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。イメージセンサ１０４は、被写体（一例として、対象物４）を撮像し、撮像することで得た画像データを出力する。

　測位ユニット１０６は、撮像装置１００の位置を検出する装置である。撮像装置１００の位置は、例えば、ＧＮＳＳ（例えば、ＧＰＳ）を用いて検出される。測位ユニット１０６は、ＧＮＳＳ受信機（図示省略）を有する。ＧＮＳＳ受信機は、例えば、複数の衛星から送信された電波を受信する。測位ユニット１０６は、ＧＮＳＳ受信機で受信された電波に基づいて撮像装置１００の位置を検出し、検出した位置に応じた測位データ（例えば、緯度、経度、及び高度を示すデータ）を出力する。

　加速度センサ１０８は、撮像装置１００のピッチ軸、ヨー軸、及びロール軸の各軸方向の加速度を検出する。加速度センサ１０８は、撮像装置１００の各軸方向の加速度に応じた加速度データを出力する。角速度センサ１１０は、撮像装置１００のピッチ軸、ヨー軸、及びロール軸の各軸周りの角速度を検出する。角速度センサ１１０は、撮像装置１００の各軸周りの角速度に応じた角速度データを出力する。

　プロセッサ１１４は、測位データ及び／又は加速度データに基づいて撮像装置１００の位置を取得し、取得した位置を示す位置データを生成する。また、プロセッサ１１４は、角速度データに基づいて撮像装置１００の姿勢（すなわち、相対座標系に定められた基準姿勢に対する姿勢の変化量）を取得し、取得した姿勢を示す姿勢データを生成する。以下、撮像装置１００の位置を「撮像位置」と称し、撮像装置１００の姿勢を「撮像姿勢」と称する。

　なお、プロセッサ１１４が測位データのみに基づいて撮像位置を取得する場合には、加速度センサ１０８が省かれてもよい。一方、プロセッサ１１４が加速度データのみに基づいて撮像位置を取得する場合には、測位ユニット１０６が省かれてもよい。プロセッサ１１４が測位データに基づいて撮像位置を取得する場合には、絶対座標系における撮像位置が測位データに基づいて導出される。一方、プロセッサ１１４が加速度データに基づいて撮像位置を取得する場合には、相対座標系に定められた基準位置に対する撮像位置の変化量が加速度データに基づいて導出される。

　通信装置１１２は、点検支援装置１０と通信可能に接続されている。通信装置１１２は、例えば、上述の点検支援装置１０に備えられた通信装置１８と同様のハードウェアによって実現される。

　撮像装置１００は、画像データ、位置データ、及び姿勢データを点検支援装置１０に対して送信する。画像データは、撮像装置１００によって対象物４が撮像されることで得られた２次元画像５０を示すデータである。位置データは、撮像装置１００が撮像を行った場合の撮像位置を示すデータであり、画像データと対応付けられている。同様に、姿勢データは、撮像装置１００が撮像を行った場合の撮像姿勢を示すデータであり、画像データと対応付けられている。すなわち、位置データ及び姿勢データは、画像データに付帯された付帯データである。

　ところで、例えば、撮像装置１００によって複数の撮像位置から対象物４が撮像されることで得られた複数の２次元画像５０のみが、点検支援装置１０に備えられたディスプレイ１６の画面１６Ａに表示される場合、画面１６Ａに表示された複数の２次元画像５０に基づいて、各２次元画像５０と、対象物４のうちの各２次元画像５０に対応する領域との対応関係を把握する作業には手間がかかる。そして、複数の２次元画像５０のフレーム数が多くなる程、対応関係を把握する作業の煩雑さは増す。このような事情に鑑み、第１実施形態では、点検支援装置１０が、点検支援情報生成処理及び点検支援処理を行う。以下、点検支援装置１０によって行われる点検支援情報生成処理及び点検支援処理について詳述する。

　一例として図４に示すように、点検支援装置１０のストレージ２２には、点検支援情報生成プログラム３０が記憶されている。点検支援装置１０のプロセッサ２０は、ストレージ２２から点検支援情報生成プログラム３０を読み出し、読み出した点検支援情報生成プログラム３０をＲＡＭ２４上で実行する。プロセッサ２０は、ＲＡＭ２４上で実行する点検支援情報生成プログラム３０に従って、点検支援情報５６を生成するための点検支援情報生成処理を行う。

　点検支援情報生成処理は、プロセッサ２０が点検支援情報生成プログラム３０に従って、取得部３２、３次元画像生成部３４、及び点検支援情報生成部３６として動作することで実現される。

　一例として図５に示すように、対象物４の周方向に位置する複数の点Ｐ１は、撮像装置１００による撮像位置を示している。撮像者８は、対象物４の周囲を移動しながら、対象物４の周方向の複数の撮像位置から撮像装置１００によって対象物４を撮像する。一例として、撮像者８は、各撮像位置から撮像装置１００によって対象物４のうちの異なる領域を撮像する。各撮像位置から撮像装置１００によって対象物４のうちの異なる領域が撮像されることにより、複数の領域を含む対象物４の全体が撮像される。

　撮像装置１００によって撮像されることで得られた各２次元画像５０に対応する撮像位置（すなわち、点Ｐ１）は、対象物４に注がれる視線Ｌの起点に相当し、各２次元画像５０に対応する撮像姿勢は、対象物４に注がれる視線Ｌの向きに相当する。対象物４と視線Ｌとが交わる点Ｐ２は、視線Ｌで対象物４を見た場合の視点に相当する。各撮像位置から撮像装置１００によって対象物４が撮像されることにより、各視点に対応する２次元画像５０が得られる。各２次元画像５０は、対象物４のうちの各領域に対応する画像である。

　なお、ここでは、撮像者８が対象物４の周囲を移動しながら各撮像位置から撮像装置１００によって対象物４を撮像する例が挙げられているが、撮像装置１００が移動体に搭載され、移動体が対象物４の周囲を移動している場合に、各撮像位置から撮像装置１００によって対象物４が撮像されてもよい。また、移動体は、例えば、ドローン、ゴンドラ、台車、高所作業車両、無人搬送車、又はその他の車両等でもよい。

　撮像装置１００は、各撮像位置から撮像することで得た２次元画像５０を示す画像データと、撮像を行った場合の撮像位置を示す位置データと、撮像を行った場合の撮像姿勢を示す姿勢データとを対応付ける。そして、撮像装置１００は、各画像データと、各画像データに対応付けられた位置データ及び姿勢データとを点検支援装置１０に対して送信する。

　一例として図６に示すように、取得部３２は、点検支援装置１０で受信された各画像データに基づいて２次元画像５０を取得する。また、取得部３２は、点検支援装置１０で受信された各位置データに基づいて、各２次元画像５０に対応する撮像位置を取得する。さらに、取得部３２は、点検支援装置１０で受信された各姿勢データに基づいて、各２次元画像５０に対応する撮像姿勢を取得する。

　３次元画像生成部３４は、取得部３２によって取得された複数の２次元画像５０に基づいて、対象物４を示す３次元画像５２を生成する。複数の２次元画像５０に基づいて３次元画像５２を生成する画像処理技術としては、ＳｆＭ、ＭＶＳ、エピポーラ幾何、及びステレオマッチング処理等が挙げられる。３次元画像５２に含まれる複数の画素の位置は、複数の２次元画像５０から得られた複数の３次元座標によって特定される。３次元画像５２は、複数の３次元座標によって規定される３次元モデルである。

　一例として図７に示すように、３次元画像生成部３４によって生成された３次元画像５２は、各２次元画像５０に対応する複数の部分５４を有する。各部分５４は、各２次元画像５０に対応する画素の集合である画素群によって形成されている。点検支援情報生成部３６は、取得部３２によって取得された各２次元画像５０と、各２次元画像５０に対応する撮像位置と、各２次元画像５０に対応する撮像姿勢と、各２次元画像５０に対応する部分５４とを対応付けた情報である点検支援情報５６を生成する。点検支援情報５６は、ストレージ２２に記憶される。

　一例として図８に示すように、点検支援装置１０のストレージ２２には、点検支援プログラム４０が記憶されている。点検支援プログラム４０は、本開示の技術に係る「プログラム」の一例である。プロセッサ２０は、ストレージ２２から点検支援プログラム４０を読み出し、読み出した点検支援プログラム４０をＲＡＭ２４上で実行する。プロセッサ２０は、ＲＡＭ２４上で実行する点検支援プログラム４０に従って、点検者６（図１参照）による点検を支援するための点検支援処理を行う。

　点検支援処理は、プロセッサ２０が点検支援プログラム４０に従って、動作モード設定部４２、第１モード処理部４４、第２モード処理部４６、及び第３モード処理部４８として動作することで実現される。

　点検支援装置１０は、動作モードとして、第１モード、第２モード、及び第３モードを有する。動作モード設定部４２は、点検支援装置１０の動作モードとして、第１モード、第２モード、及び第３モードを選択的に設定するモード設定処理を行う。

　モード設定処理において、動作モード設定部４２によって点検支援装置１０の動作モードが第１モードに設定された場合、プロセッサ２０は、第１モード処理部４４として動作する。第１モード処理部４４は、第１モード処理を行う。第１モード処理は、第１モード処理部４４が、第１表示制御部４４Ａ、第１画像選択部４４Ｂ、第１画素抽出部４４Ｃ、及び第１画像生成部４４Ｄとして動作することで実現される。

　モード設定処理において、動作モード設定部４２によって点検支援装置１０の動作モードが第２モードに設定された場合、プロセッサ２０は、第２モード処理部４６として動作する。第２モード処理部４６は、第２モード処理を行う。第２モード処理は、第２モード処理部４６が、第２表示制御部４６Ａ、第２画像選択部４６Ｂ、第２画素抽出部４６Ｃ、及び第２画像生成部４６Ｄとして動作することで実現される。

　モード設定処理において、動作モード設定部４２によって点検支援装置１０の動作モードが第３モードに設定された場合、プロセッサ２０は、第３モード処理部４８として動作する。第３モード処理部４８は、第３モード処理を行う。第３モード処理は、第３モード処理部４８が、第３表示制御部４８Ａ、第３画像選択部４８Ｂ、及び第３画像生成部４８Ｃとして動作することで実現される。

　一例として図９に示すように、動作モード設定部４２は、デフォルトでは、点検支援装置１０の動作モードとして、第１モードを設定する。動作モード設定部４２によって点検支援装置１０の動作モードが第１モードに設定された場合に、第１表示制御部４４Ａは、第１画像６１を画面１６Ａに表示する。第１画像６１の詳細については、後述するが、第１画像６１には、ソフトキーとして第２モード設定ボタン７２及び第３モード設定ボタン７３が含まれる。

　第１画像６１が画面１６Ａに表示されている状態で、第２モード設定ボタン７２を押す指示である設定指示が受付装置１４によって受け付けられた場合、受付装置１４は、第２モード設定指示信号をプロセッサ２０に対して出力する。同様に、第１画像６１が画面１６Ａに表示されている状態で、第３モード設定ボタン７３を押す指示である設定指示が受付装置１４によって受け付けられた場合、受付装置１４は、第３モード設定指示信号をプロセッサ２０に対して出力する。

　動作モード設定部４２は、点検支援装置１０の動作モードが第１モードに設定されている場合に、第２モード設定指示信号又は第３モード設定指示信号がプロセッサ２０に入力されたか否かを判定する。第２モード設定指示信号がプロセッサ２０に入力された場合、動作モード設定部４２は、点検支援装置１０の動作モードとして、第２モードを設定する。一方、第３モード設定指示信号がプロセッサ２０に入力された場合、動作モード設定部４２は、点検支援装置１０の動作モードとして、第３モードを設定する。

　動作モード設定部４２によって点検支援装置１０の動作モードが第２モードに設定された場合に、第２表示制御部４６Ａは、第２画像６２を画面１６Ａに表示する。第２画像６２の詳細については、後述するが、第２画像６２には、ソフトキーとして第１モード設定ボタン７１及び第３モード設定ボタン７３が含まれる。

　第２画像６２が画面１６Ａに表示されている状態で、第１モード設定ボタン７１を押す指示である設定指示が受付装置１４によって受け付けられた場合、受付装置１４は、第１モード設定指示信号をプロセッサ２０に対して出力する。同様に、第２画像６２が画面１６Ａに表示されている状態で、第３モード設定ボタン７３を押す指示である設定指示が受付装置１４によって受け付けられた場合、受付装置１４は、第３モード設定指示信号をプロセッサ２０に対して出力する。

　動作モード設定部４２は、点検支援装置１０の動作モードが第２モードに設定されている場合に、第１モード設定指示信号又は第３モード設定指示信号がプロセッサ２０に入力されたか否かを判定する。第１モード設定指示信号がプロセッサ２０に入力された場合、動作モード設定部４２は、点検支援装置１０の動作モードとして、第１モードを設定する。一方、第３モード設定指示信号がプロセッサ２０に入力された場合、動作モード設定部４２は、点検支援装置１０の動作モードとして、第３モードを設定する。

　動作モード設定部４２によって点検支援装置１０の動作モードが第３モードに設定された場合に、第３表示制御部４８Ａは、第３画像６３を画面１６Ａに表示する。第３画像６３の詳細については、後述するが、第３画像６３には、第１モード設定ボタン７１及び第２モード設定ボタン７２が含まれる。

　第３画像６３が画面１６Ａに表示されている状態で、第１モード設定ボタン７１を押す指示である設定指示が受付装置１４によって受け付けられた場合、受付装置１４は、第１モード設定指示信号をプロセッサ２０に対して出力する。同様に、第３画像６３が画面１６Ａに表示されている状態で、第３モード設定ボタン７３を押す指示である設定指示が受付装置１４によって受け付けられた場合、受付装置１４は、第３モード設定指示信号をプロセッサ２０に対して出力する。

　動作モード設定部４２は、点検支援装置１０の動作モードが第３モードに設定されている場合に、第１モード設定指示信号又は第２モード設定指示信号がプロセッサ２０に入力されたか否かを判定する。第１モード設定指示信号がプロセッサ２０に入力された場合、動作モード設定部４２は、点検支援装置１０の動作モードとして、第１モードを設定する。一方、第２モード設定指示信号がプロセッサ２０に入力された場合、動作モード設定部４２は、点検支援装置１０の動作モードとして、第２モードを設定する。

　以下、第１モード設定指示信号、第２モード設定指示信号、及び第３モード設定指示信号を区別して説明する必要がない場合、第１モード設定指示信号、第２モード設定指示信号、及び第３モード設定指示信号を「モード設定指示信号」と称する。

　点検支援装置１０の複数の動作モードのうちの第２モードは、本開示の技術に係る「第１動作モード」の一例である。点検支援装置１０の複数の動作モードのうちの第３モードは、本開示の技術に係る「第２動作モード」の一例である。

　一例として図１０には、第１画像６１が画面１６Ａに表示されている状態が示されている。第１画像６１は、第１画像領域８１と、第２画像領域８２とを含む。一例として、第１画像領域８１と第２画像領域８２とは、第１画像６１の左右方向に並んだ状態で画面１６Ａに表示される。第１画像領域８１は、複数の２次元画像５０を含んでおり、第２画像領域８２は、３次元画像５２を含んでいる。

　第１表示制御部４４Ａは、点検支援情報５６に含まれる複数の２次元画像５０に基づいて、第１画像領域８１に複数の２次元画像５０を含める。また、第１表示制御部４４Ａは、点検支援情報５６に含まれる３次元画像５２に基づいて、第２画像領域８２に３次元画像５２を含める。

　第１画像領域８１には、複数の２次元画像５０のうちの既定数の２次元画像５０が含まれる。既定数は、例えば、点検者６が既定数を指定する指示を受付装置１４（図９参照）に対して付与することにより設定される。また、例えば、点検者６が第１画像領域８１をスクロールする指示を受付装置１４に対して付与することにより、第１画像領域８１がスクロールされ、これにより、第１画像領域８１に含まれる２次元画像５０が変更される。

　第２画像領域８２には、３次元画像５２がレンダリングされることにより２次元画像化された状態で含まれる。例えば、点検者６が３次元画像５２の大きさを変更する指示を受付装置１４（図９参照）に対して付与することにより、３次元画像５２の大きさが変更される。また、例えば、点検者６が３次元画像５２を回転させる指示を受付装置１４に対して付与することにより、３次元画像５２が回転する。

　複数の２次元画像５０を含む第１画像領域８１と、３次元画像５２を含む第２画像領域８２とが並んだ状態で画面１６Ａに表示されることにより、複数の２次元画像５０と３次元画像５２とが対比可能な状態になる。なお、図１０に示す例では、第１画像領域８１と第２画像領域８２とが第１画像６１の左右方向に並んだ状態で画面１６Ａに表示される例が示されているが、例えば、第１画像領域８１と第２画像領域８２とが第１画像６１の上下方向に並んだ状態で画面１６Ａに表示されてもよく、また、第１画像領域８１が第２画像領域８２の一部に組み込まれた状態で第１画像領域８１と第２画像領域８２とが画面１６Ａに表示されてもよい。

　２次元画像５０は、本開示の技術に係る「２次元画像」の一例である。３次元画像５２は、本開示の技術に係る「３次元画像」の一例である。第１画像領域８１は、本開示の技術に係る「第１領域」の一例である。第２画像領域８２は、本開示の技術に係る「第２領域」の一例である。

　一例として図１１に示すように、第１画像６１が画面１６Ａに表示されている状態で、第１画像領域８１に含まれる複数の２次元画像５０のうちのいずれかの２次元画像５０を選択する指示である選択指示が受付装置１４によって受け付けられた場合、受付装置１４は、選択指示を示す選択指示信号をプロセッサ２０に対して出力する。選択指示は、本開示の技術に係る「選択指示」の一例である。

　第１画像選択部４４Ｂは、選択指示信号がプロセッサ２０に入力された場合、選択指示信号により示される選択指示に従って、点検支援情報５６に含まれる複数の２次元画像５０から選択指示に対応する２次元画像５０（以下、「注目２次元画像５０Ａ」と称する）を選択する。注目２次元画像５０Ａは、本開示の技術に係る「注目２次元画像」の一例である。

　一例として図１２に示すように、第１画素抽出部４４Ｃは、点検支援情報５６から注目２次元画像５０Ａに対応する撮像位置及び撮像姿勢を取得する。また、第１画素抽出部４４Ｃは、取得した撮像位置及び撮像姿勢に基づいて注目２次元画像５０Ａに対応する視点を導出する。そして、第１画素抽出部４４Ｃは、導出した視点で３次元画像５２を第２画像領域８２に含めるための画素を、点検支援情報５６に含まれる３次元画像５２から抽出する。また、第１画素抽出部４４Ｃは、３次元画像５２から画素を抽出する場合に、３次元画像５２の全体を第２画像領域８２に収める大きさで含めるための画素を３次元画像５２から抽出する。

　第１画像生成部４４Ｄは、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。また、第１画像生成部４４Ｄは、第１画素抽出部４４Ｃによって抽出された画素に基づいて、注目２次元画像５０Ａに対応する視点で第２画像領域８２に全体が収まる大きさを有する３次元画像５２を含む第２画像領域８２を生成する。例えば、３次元画像５２は、注目２次元画像５０Ａに対応する視点が第２画像領域８２の中心８２Ｃに位置するように第２画像領域８２に含められる。

　一例として図１３に示すように、第１画像生成部４４Ｄは、生成した第１画像領域８１及び第２画像領域８２を合成することにより第１画像６１を生成する。

　第１表示制御部４４Ａは、第１画像生成部４４Ｄによって生成された第１画像６１を示す第１画像データをディスプレイ１６に対して出力する。これにより、第１画像６１がディスプレイ１６の画面１６Ａに表示される。具体的には、複数の２次元画像５０のうちの既定数の２次元画像５０が第１画像領域８１に含められた状態で画面１６Ａに表示され、かつ注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示される。注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示されることにより、注目２次元画像５０Ａが複数の２次元画像５０のうちの残りの２次元画像５０とは区別可能な状態になる。

　また、３次元画像５２は、注目２次元画像５０Ａに対応する視点で、かつ第２画像領域８２に全体が収まる大きさで画面１６Ａに表示される。３次元画像５２が注目２次元画像５０Ａに対応する視点で画面１６Ａに表示されることにより、３次元画像５２のうちの注目２次元画像５０Ａに対応する部分５４（以下、「注目部分５４Ａ」と称する）が視覚的に特定可能な状態になる。「部分５４」は、本開示の技術に係る「部分」の一例であり、３次元画像５２のうちの注目部分５４Ａは、本開示の技術に係る「注目部分」の一例である。

　なお、図１３に示す例では、注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示される。しかしながら、注目２次元画像５０Ａは、他の態様により残りの２次元画像５０とは区別可能な状態で画面１６Ａに表示されてもよい。例えば、注目２次元画像５０Ａが残りの２次元画像５０とは異なる色で表された態様、注目２次元画像５０Ａに模様が付された態様、又は、注目２次元画像５０Ａが残りの２次元画像５０よりも輝度が高められた態様等で画面１６Ａに表示されてもよい。このような例によっても、注目２次元画像５０Ａが残りの２次元画像５０とは区別可能な状態になる。

　一例として図１４には、第２画像６２が画面１６Ａに表示されている状態が示されている。第２画像６２は、第１画像領域８１と、第３画像領域８３とを含む。一例として、第１画像領域８１と第３画像領域８３とは、第２画像６２の左右方向に並んだ状態で画面１６Ａに表示される。第１画像領域８１は、第１画像６１（図１０参照）の第１画像領域８１と同様である。第３画像領域８３は、３次元画像５２を含んでいる。第３画像領域８３は、本開示の技術に係る「第２領域」の一例である。

　第２表示制御部４６Ａは、点検支援情報５６に含まれる複数の２次元画像５０に基づいて、第１画像領域８１に複数の２次元画像５０を含める。また、第２表示制御部４６Ａは、点検支援情報５６に含まれる３次元画像５２に基づいて、第３画像領域８３に３次元画像５２を含める。

　第３画像領域８３には、３次元画像５２がレンダリングされることにより２次元画像化された状態で含まれる。例えば、点検者６が３次元画像５２の大きさを変更する指示を受付装置１４（図９参照）に対して付与することにより、３次元画像５２の大きさが変更される。また、例えば、点検者６が３次元画像５２を回転させる指示を受付装置１４に対して付与することにより、３次元画像５２が回転する。

　複数の２次元画像５０を含む第１画像領域８１と、３次元画像５２を含む第３画像領域８３とが並んだ状態で画面１６Ａに表示されることにより、複数の２次元画像５０と３次元画像５２とが対比可能な状態になる。

　なお、図１４では、第１画像領域８１と第３画像領域８３とが第２画像６２の左右方向に並んだ状態で画面１６Ａに表示される例が示されているが、例えば、第１画像領域８１と第３画像領域８３とが第２画像６２の上下方向に並んだ状態で画面１６Ａに表示されてもよく、また、第１画像領域８１が第３画像領域８３の一部に組み込まれた状態で第１画像領域８１と第３画像領域８３とが画面１６Ａに表示されてもよい。

　一例として図１５に示すように、第２画像６２が画面１６Ａに表示されている状態で、第１画像領域８１に含まれる複数の２次元画像５０のうちのいずれかの２次元画像５０を選択する指示である選択指示が受付装置１４によって受け付けられた場合、受付装置１４は、選択指示を示す選択指示信号をプロセッサ２０に対して出力する。

　第２画像選択部４６Ｂは、選択指示信号がプロセッサ２０に入力された場合、選択指示信号により示される選択指示に従って、点検支援情報５６に含まれる複数の２次元画像５０から選択指示に対応する注目２次元画像５０Ａを選択する。

　一例として図１６に示すように、第２画素抽出部４６Ｃは、点検支援情報５６に含まれる３次元画像５２から、注目２次元画像５０Ａに対応付けされた注目部分５４Ａを抽出する。

　第２画像生成部４６Ｄは、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。また、第２画像生成部４６Ｄは、第２画素抽出部４６Ｃによって抽出された注目部分５４Ａに基づいて、３次元画像５２のうちの注目部分５４Ａを含む第３画像領域８３を生成する。

　一例として図１７に示すように、第２画像生成部４６Ｄは、生成した第１画像領域８１及び第３画像領域８３を合成することにより第２画像６２を生成する。

　第２表示制御部４６Ａは、第２画像生成部４６Ｄによって生成された第２画像６２を示す第２画像データをディスプレイ１６に対して出力する。これにより、第２画像６２がディスプレイ１６の画面１６Ａに表示される。具体的には、複数の２次元画像５０のうちの既定数の２次元画像５０が第１画像領域８１に含められた状態で画面１６Ａに表示され、かつ注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示される。

　また、３次元画像５２のうちの注目部分５４Ａが拡大された状態で画面１６Ａに表示される。３次元画像５２のうちの注目部分５４Ａが拡大された状態で画面１６Ａに表示されることにより、３次元画像５２のうちの注目部分５４Ａが視覚的に特定可能な状態になる。すなわち、３次元画像５２のうちの注目部分５４Ａが拡大された状態で画面１６Ａに表示されることにより、注目部分５４Ａが３次元画像５２を形成する複数の部分５４のうちの残りの部分５４とは区別可能な状態になる。これにより、３次元画像５２のうちの注目部分５４Ａが視覚的に特定可能な状態になる。

　また、注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示されることにより、注目２次元画像５０Ａが複数の２次元画像５０のうちの残りの２次元画像５０とは区別可能な状態になる。これにより、注目２次元画像５０Ａと、３次元画像５２のうちの注目部分５４Ａとの対応関係が視覚的に特定可能な状態になる。

　なお、図１７に示す例では、３次元画像５２のうちの注目部分５４Ａが拡大された状態で画面１６Ａに表示される。しかしながら、３次元画像５２の全体が第３画像領域８３に収まる大きさで画面１６Ａに表示され、かつ３次元画像５２のうちの注目部分５４Ａが他の態様により残りの部分５４とは区別可能な状態で画面１６Ａに表示されてもよい。例えば、注目部分５４Ａが残りの部分５４とは異なる色で表された態様、注目部分５４Ａに模様が付された態様、注目部分５４Ａが枠で囲われた態様、又は、注目部分５４Ａの輪郭を形成する画素が周辺の画素よりも輝度が高められた態様等で画面１６Ａに表示されてもよい。このような例によっても、３次元画像５２のうちの注目部分５４Ａが視覚的に特定可能な状態になる。

　一例として図１８には、第３画像６３が画面１６Ａに表示されている状態が示されている。第３画像６３は、第１画像領域８１と、第４画像領域８４とを含む。一例として、第１画像領域８１と第４画像領域８４とは、第３画像６３の左右方向に並んだ状態で画面１６Ａに表示される。第１画像領域８１は、第１画像６１（図１０参照）の第１画像領域８１と同様である。第４画像領域８４は、３次元画像５２と、複数の位置特定画像９２とを含む。各位置特定画像９２は、複数の２次元画像５０を得るための撮像が行われた複数の撮像位置を特定するための画像であり、各２次元画像５０に対応する撮像位置を示す。

　第３表示制御部４８Ａは、点検支援情報５６に含まれる複数の２次元画像５０に基づいて、第１画像領域８１に複数の２次元画像５０を含める。また、第３表示制御部４８Ａは、点検支援情報５６に含まれる３次元画像５２に基づいて、第４画像領域８４に３次元画像５２を含める。

　第４画像領域８４には、３次元画像５２がレンダリングされることにより２次元画像化された状態で含まれる。例えば、点検者６が３次元画像５２の大きさを変更する指示を受付装置１４（図９参照）に対して付与することにより、３次元画像５２の大きさが変更される。また、例えば、点検者６が３次元画像５２を回転させる指示を受付装置１４に対して付与することにより、３次元画像５２が回転する。

　また、第３表示制御部４８Ａは、点検支援情報５６に含まれる各撮像位置に基づいて、第４画像領域８４に複数の位置特定画像９２を含める。各位置特定画像９２は、一例として、プレート状に表されている。複数の位置特定画像９２は、３次元画像５２と対比可能な状態で第４画像領域８４に含められる。具体的には、複数の位置特定画像９２は、３次元画像５２の周囲に配置されることで３次元画像５２と対向した状態で第４画像領域８４に含められる。つまり、第４画像領域８４は、複数の位置特定画像９２と３次元画像５２とが対向した態様を示す画像を含む。

　第１画像領域８１と第４画像領域８４とが並んだ状態で画面１６Ａに表示されることにより、複数の２次元画像５０と３次元画像５２とが対比可能な状態になり、かつ複数の２次元画像５０と複数の位置特定画像９２とが対比可能な状態になる。

　なお、図１８では、第１画像領域８１と第４画像領域８４とが第３画像６３の左右方向に並んだ状態で画面１６Ａに表示される例が示されているが、例えば、第１画像領域８１と第４画像領域８４とが第３画像６３の上下方向に並んだ状態で画面１６Ａに表示されてもよく、また、第１画像領域８１が第４画像領域８４の一部に組み込まれた状態で第１画像領域８１と第４画像領域８４とが画面１６Ａに表示されてもよい。

　第１画像領域８１は、本開示の技術に係る「第１領域」及び「第３領域」の一例である。第４画像領域８４は、本開示の技術に係る「第２領域」及び「第４領域」の一例である。位置特定画像９２は、本開示の技術に係る「位置特定画像」の一例である。

　一例として図１９に示すように、第３画像６３が画面１６Ａに表示されている状態で、第４画像領域８４に含まれる複数の位置特定画像９２のうちのいずれかの位置特定画像９２を選択する指示である選択指示が受付装置１４によって受け付けられた場合、受付装置１４は、選択指示を示す選択指示信号をプロセッサ２０に対して出力する。なお、以下、複数の位置特定画像９２のうちの選択された位置特定画像９２を「注目位置特定画像９２Ａ」と称する。

　第３画像選択部４８Ｂは、選択指示信号がプロセッサ２０に入力された場合、選択指示信号により示される選択指示に従って、点検支援情報５６に含まれる複数の撮像位置から注目位置特定画像９２Ａに対応する撮像位置（以下、「注目撮像位置」と称する）を選択する。そして、第３画像選択部４８Ｂは、点検支援情報５６に含まれる複数の２次元画像５０から注目撮像位置に対応する注目２次元画像５０Ａを選択する。注目２次元画像５０Ａは、注目撮像位置から撮像が行われることによって得られた２次元画像５０である。注目位置特定画像９２Ａは、本開示の技術に係る「注目位置特定画像」の一例である。注目撮像位置は、本開示の技術に係る「注目撮像位置」の一例である。

　一例として図２０に示すように、第３画像生成部４８Ｃは、点検支援情報５６に含まれる３次元画像５２に基づいて、３次元画像５２を含む第４画像領域８４を生成する。また、第３画像生成部４８Ｃは、点検支援情報５６に含まれる撮像位置及び撮像姿勢に基づいて、複数の位置特定画像９２を第４画像領域８４に含める。複数の位置特定画像９２は、３次元画像５２の周囲に配置されることにより３次元画像５２と対向した状態で第４画像領域８４に含められる。各位置特定画像９２は、各撮像位置に対応する位置に各撮像姿勢に対応する姿勢で配置される。

　また、第３画像生成部４８Ｃは、複数の位置特定画像９２のうちの注目撮像位置に対応する注目位置特定画像９２Ａを第４画像領域８４に含める。注目位置特定画像９２Ａは、複数の位置特定画像９２のうちの残りの位置特定画像９２とは区別可能な状態で第４画像領域８４に含められる。図２０に示す例では、注目位置特定画像９２Ａが残りの位置特定画像９２とは区別可能な状態の一例として、注目位置特定画像９２Ａが残りの位置特定画像９２とは異なる色で表されている。なお、注目位置特定画像９２Ａは、枠で囲われてもよく、注目位置特定画像９２Ａに模様が付されてもよい。また、注目位置特定画像９２Ａの輪郭を形成する画素が周辺の画素よりも輝度が高められてもよい。

　さらに、第３画像生成部４８Ｃは、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。

　一例として図２１に示すように、第３画像生成部４８Ｃは、生成した第１画像領域８１及び第４画像領域８４を合成することにより第３画像６３を生成する。

　第３表示制御部４８Ａは、第３画像生成部４８Ｃによって生成された第３画像６３を示す第３画像データをディスプレイ１６に対して出力する。これにより、第３画像６３がディスプレイ１６の画面１６Ａに表示される。具体的には、複数の２次元画像５０のうちの既定数の２次元画像５０が第１画像領域８１に含められた状態で画面１６Ａに表示され、かつ注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示される。また、３次元画像５２が画面１６Ａに表示される。

　さらに、複数の位置特定画像９２は、３次元画像５２の周囲に配置されることで３次元画像５２と対向した状態で画面１６Ａに表示され、注目位置特定画像９２Ａは、複数の位置特定画像９２のうちの残りの位置特定画像９２とは区別可能な状態で画面１６Ａに表示される。注目位置特定画像９２Ａが残りの位置特定画像９２とは区別可能な状態で画面１６Ａに表示されることにより、３次元画像５２のうちの注目位置特定画像９２Ａに対応する注目部分５４Ａが視覚的に特定可能な状態になる。すなわち、注目位置特定画像９２Ａによって撮像位置及び撮像姿勢が特定され、特定された撮像位置及び撮像姿勢と３次元画像５２のうちの注目部分５４Ａとの対応関係が視覚的に特定可能な状態になる。これにより、３次元画像５２のうちの注目部分５４Ａが視覚的に特定可能な状態になる。

　なお、図２１に示す例では、３次元画像５２の全体が第４画像領域８４に収まる大きさで画面１６Ａに表示される。しかしながら、３次元画像５２のうちの注目部分５４Ａが拡大された状態で画面１６Ａに表示されてもよい。このような例によっても、３次元画像５２のうちの注目部分５４Ａが視覚的に特定可能な状態になる。

　次に、第１実施形態に係る点検支援装置１０の作用について図２２から図２６を参照しながら説明する。

　はじめに、図２２を参照しながら、点検支援装置１０のプロセッサ２０によって行われる点検支援情報生成処理の流れの一例について説明する。

　図２２に示す点検支援情報生成処理では、先ず、ステップＳＴ１０で、取得部３２（図６参照）は、点検支援装置１０で受信された各画像データに基づいて２次元画像５０を取得する。また、取得部３２は、点検支援装置１０で受信された各位置データに基づいて、各２次元画像５０に対応する撮像位置を取得する。さらに、取得部３２は、点検支援装置１０で受信された各姿勢データに基づいて、各２次元画像５０に対応する撮像姿勢を取得する。ステップＳＴ１０の処理が実行された後、点検支援情報生成処理は、ステップＳＴ１２へ移行する。

　ステップＳＴ１２で、３次元画像生成部３４（図６参照）は、ステップＳＴ１０で取得された複数の２次元画像５０に基づいて、対象物４を示す３次元画像５２を生成する。ステップＳＴ１２の処理が実行された後、点検支援情報生成処理は、ステップＳＴ１４へ移行する。

　ステップＳＴ１４で、点検支援情報生成部３６（図７参照）は、ステップＳＴ１０で取得された各２次元画像５０と、各２次元画像５０に対応する撮像位置と、各２次元画像５０に対応する撮像姿勢と、各２次元画像５０に対応する部分５４とを対応付けた情報である点検支援情報５６を生成する。ステップＳＴ１４の処理が実行された後、点検支援情報生成処理は終了する。

　次に、図２３から図２６を参照しながら、点検支援装置１０のプロセッサ２０によって行われる点検支援処理の流れの一例について説明する。はじめに、図２３を参照しながら、点検支援処理のうちのモード設定処理の流れの一例について説明する。

　図２３に示すモード設定処理では、先ず、ステップＳＴ２０で、動作モード設定部４２（図９参照）は、モード設定指示信号がプロセッサ２０に入力されたか否かを判定する。ステップＳＴ２０において、モード設定指示信号がプロセッサ２０に入力された場合、判定が肯定されて、点検支援処理は、ステップＳＴ２２へ移行する。ステップＳＴ２０において、モード設定指示信号がプロセッサ２０に入力されていない場合、判定が否定されて、モード設定処理は、ステップＳＴ３２へ移行する。

　ステップＳＴ２２で、動作モード設定部４２は、ステップＳＴ２０でプロセッサ２０に入力されたモード設定指示信号が第１モード設定信号か否かを判定する。ステップＳＴ２２において、モード設定指示信号が第１モード設定信号である場合、判定が肯定されて、点検支援処理は、ステップＳＴ２４へ移行する。ステップＳＴ２２において、モード設定指示信号が第１モード設定信号でない場合、判定が否定されて、モード設定処理は、ステップＳＴ２６へ移行する。

　ステップＳＴ２４で、動作モード設定部４２は、点検支援装置１０の動作モードとして、第１モードを設定する。これにより、第１モード処理が実行される。ステップＳＴ２４の処理が実行された後、モード設定処理は、ステップＳＴ３２へ移行する。

　ステップＳＴ２６で、動作モード設定部４２は、ステップＳＴ２０でプロセッサ２０に入力されたモード設定指示信号が第２モード設定信号か否かを判定する。ステップＳＴ２６において、モード設定指示信号が第２モード設定信号である場合、判定が肯定されて、点検支援処理は、ステップＳＴ２８へ移行する。ステップＳＴ２６において、モード設定指示信号が第２モード設定信号でない場合、判定が否定されて、モード設定処理は、ステップＳＴ３０へ移行する。

　ステップＳＴ２８で、動作モード設定部４２は、点検支援装置１０の動作モードとして、第２モードを設定する。これにより、第２モード処理が実行される。ステップＳＴ２８の処理が実行された後、モード設定処理は、ステップＳＴ３２へ移行する。

　ステップＳＴ３０で、動作モード設定部４２は、点検支援装置１０の動作モードとして、第３モードを設定する。これにより、第３モード処理が実行される。ステップＳＴ３０の処理が実行された後、モード設定処理は、ステップＳＴ３２へ移行する。

　ステップＳＴ３２で、プロセッサ２０は、モード設定処理が終了する条件（以下、「モード設定処理終了条件」と称する）が成立したか否かを判定する。モード設定処理終了条件の一例としては、点検者６からの終了指示が受付装置１４によって受け付けられることにより、受付装置１４からの終了指示信号がプロセッサ２０に入力されたという条件等が挙げられる。ステップＳＴ３２において、モード設定処理終了条件が成立していない場合は、判定が否定されて、モード設定処理は、ステップＳＴ２０へ移行する。ステップＳＴ３２において、モード設定処理終了条件が成立した場合は、判定が肯定されて、モード設定処理を含む点検支援処理は終了する。

　次に、図２４を参照しながら、点検支援処理のうちの第１モード処理の流れの一例について説明する。

　図２４に示す第１モード処理では、先ず、ステップＳＴ４０で、第１表示制御部４４Ａ（図１０参照）は、第１画像６１を画面１６Ａに表示する。ステップＳＴ４０の処理が実行された後、第１モード処理は、ステップＳＴ４２へ移行する。

　ステップＳＴ４２で、第１画像選択部４４Ｂ（図１１参照）は、複数の２次元画像５０のうちのいずれかの２次元画像５０を選択する指示である選択指示を示す選択指示信号がプロセッサ２０に入力されたか否かを判定する。ステップＳＴ４２において、選択指示を示す選択指示信号がプロセッサ２０に入力された場合、判定が肯定されて、第１モード処理は、ステップＳＴ４４へ移行する。ステップＳＴ４２において、選択指示を示す選択指示信号がプロセッサ２０に入力されていない場合、判定が否定されて、第１モード処理は、ステップＳＴ５２へ移行する。

　ステップＳＴ４４で、第１画像選択部４４Ｂは、点検支援情報５６に含まれる複数の２次元画像５０から、選択指示信号により示される選択指示に対応する注目２次元画像５０Ａを選択する。ステップＳＴ４４の処理が実行された後、第１モード処理は、ステップＳＴ４６へ移行する。

　ステップＳＴ４６で、第１画素抽出部４４Ｃ（図１２参照）は、ステップＳＴ４４で選択された注目２次元画像５０Ａに対応する撮像位置及び撮像姿勢を点検支援情報５６から取得する。また、第１画素抽出部４４Ｃは、取得した撮像位置及び撮像姿勢に基づいて注目２次元画像５０Ａに対応する視点を導出する。そして、第１画素抽出部４４Ｃは、導出した視点で３次元画像５２を第２画像領域８２に含めるための画素を、点検支援情報５６に含まれる３次元画像５２から抽出する。ステップＳＴ４６の処理が実行された後、第１モード処理は、ステップＳＴ４８へ移行する。

　ステップＳＴ４８で、第１画像生成部４４Ｄ（図１２参照）は、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。また、第１画像生成部４４Ｄは、ステップＳＴ４６で抽出された画素に基づいて、注目２次元画像５０Ａに対応する視点で第２画像領域８２に全体が収まる大きさを有する３次元画像５２を含む第２画像領域８２を生成する。そして、第１画像生成部４４Ｄ（図１３参照）は、生成した第１画像領域８１及び第２画像領域８２を合成することにより第１画像６１を生成する。ステップＳＴ４８の処理が実行された後、第１モード処理は、ステップＳＴ５０へ移行する。

　ステップＳＴ５０で、第１表示制御部４４Ａ（図１３参照）は、ステップＳＴ４８で生成された第１画像６１を示す第１画像データをディスプレイ１６に対して出力する。これにより、第１画像６１がディスプレイ１６の画面１６Ａに表示される。ステップＳＴ５０の処理が実行された後、第１モード処理は、ステップＳＴ５２へ移行する。

　ステップＳＴ５２で、プロセッサ２０は、第１モード処理が終了する条件（以下、「第１モード処理終了条件」と称する）が成立したか否かを判定する。第１モード処理終了条件の一例としては、点検者６からの終了指示が受付装置１４によって受け付けられることにより、受付装置１４からの終了指示信号がプロセッサ２０に入力されたという条件、又は、第１モードと異なる動作モードを設定する指示を示すモード設定指示信号がプロセッサ２０に入力されたという条件等が挙げられる。ステップＳＴ５２において、第１モード処理終了条件が成立していない場合は、判定が否定されて、第１モード処理は、ステップＳＴ４２へ移行する。ステップＳＴ５２において、第１モード処理終了条件が成立した場合は、判定が肯定されて、第１モード処理は終了する。

　次に、図２５を参照しながら、点検支援処理のうちの第２モード処理の流れの一例について説明する。

　図２５に示す第２モード処理では、先ず、ステップＳＴ６０で、第２表示制御部４６Ａ（図１４参照）は、第２画像６２を画面１６Ａに表示する。ステップＳＴ６０の処理が実行された後、第２モード処理は、ステップＳＴ６２へ移行する。

　ステップＳＴ６２で、第２画像選択部４６Ｂ（図１５参照）は、複数の２次元画像５０のうちのいずれかの２次元画像５０を選択する指示である選択指示信号がプロセッサ２０に入力されたか否かを判定する。ステップＳＴ６２において、選択指示を示す選択指示信号がプロセッサ２０に入力された場合、判定が肯定されて、第２モード処理は、ステップＳＴ６４へ移行する。ステップＳＴ６２において、選択指示を示す選択指示信号がプロセッサ２０に入力されていない場合、判定が否定されて、第２モード処理は、ステップＳＴ７２へ移行する。

　ステップＳＴ６４で、第２画像選択部４６Ｂは、点検支援情報５６に含まれる複数の２次元画像５０から、選択指示信号により示される選択指示に対応する注目２次元画像５０Ａを選択する。ステップＳＴ６４の処理が実行された後、第２モード処理は、ステップＳＴ６６へ移行する。

　ステップＳＴ６６で、第２画素抽出部４６Ｃ（図１６参照）は、点検支援情報５６に含まれる３次元画像５２から、注目２次元画像５０Ａに対応付けされた注目部分５４Ａを抽出する。ステップＳＴ６６の処理が実行された後、第２モード処理は、ステップＳＴ６８へ移行する。

　ステップＳＴ６８で、第２画像生成部４６Ｄ（図１６参照）は、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。また、第２画像生成部４６Ｄは、ステップＳＴ６６で抽出された注目部分５４Ａに基づいて、３次元画像５２のうちの注目部分５４Ａを含む第３画像領域８３を生成する。そして、第２画像生成部４６Ｄ（図１７参照）は、生成した第１画像領域８１及び第３画像領域８３を合成することにより第２画像６２を生成する。ステップＳＴ６８の処理が実行された後、第２モード処理は、ステップＳＴ７０へ移行する。

　ステップＳＴ７０で、第２表示制御部４６Ａ（図１７参照）は、ステップＳＴ６８で生成された第２画像６２を示す第２画像データをディスプレイ１６に対して出力する。これにより、第２画像６２がディスプレイ１６の画面１６Ａに表示される。ステップＳＴ７０の処理が実行された後、第２モード処理は、ステップＳＴ７２へ移行する。

　ステップＳＴ７２で、プロセッサ２０は、第２モード処理が終了する条件（以下、「第２モード処理終了条件」と称する）が成立したか否かを判定する。第２モード処理終了条件の一例としては、点検者６からの終了指示が受付装置１４によって受け付けられることにより、受付装置１４からの終了指示信号がプロセッサ２０に入力されたという条件、又は、第２モードと異なる動作モードを設定する指示を示すモード設定指示信号がプロセッサ２０に入力されたという条件等が挙げられる。ステップＳＴ７２において、第２モード処理終了条件が成立していない場合は、判定が否定されて、第２モード処理は、ステップＳＴ６２へ移行する。ステップＳＴ７２において、第２モード処理終了条件が成立した場合は、判定が肯定されて、第２モード処理は終了する。

　次に、図２６を参照しながら、点検支援処理のうちの第３モード処理の流れの一例について説明する。

　図２６に示す第３モード処理では、先ず、ステップＳＴ８０で、第３表示制御部４８Ａ（図１８参照）は、第３画像６３を画面１６Ａに表示する。ステップＳＴ８０の処理が実行された後、第３モード処理は、ステップＳＴ８２へ移行する。

　ステップＳＴ８２で、第３画像選択部４８Ｂ（図１９参照）は、複数の位置特定画像９２のうちの注目位置特定画像９２Ａを選択する指示である選択指示を示す選択指示信号がプロセッサ２０に入力されたか否かを判定する。ステップＳＴ８２において、選択指示を示す選択指示信号がプロセッサ２０に入力された場合、判定が肯定されて、第３モード処理は、ステップＳＴ８４へ移行する。ステップＳＴ８２において、選択指示を示す選択指示信号がプロセッサ２０に入力されていない場合、判定が否定されて、第３モード処理は、ステップＳＴ９０へ移行する。

　ステップＳＴ８４で、第３画像選択部４８Ｂは、選択指示信号により示される選択指示に従って、点検支援情報５６に含まれる複数の撮像位置から注目位置特定画像９２Ａに対応する注目撮像位置を選択する。そして、第３画像選択部４８Ｂは、点検支援情報５６に含まれる複数の２次元画像５０から注目撮像位置に対応する注目２次元画像５０Ａを選択する。ステップＳＴ８４の処理が実行された後、第３モード処理は、ステップＳＴ８６へ移行する。

　ステップＳＴ８６で、第３画像生成部４８Ｃ（図２０参照）は、点検支援情報５６に含まれる３次元画像５２に基づいて、３次元画像５２を含む第４画像領域８４を生成する。また、第３画像生成部４８Ｃは、点検支援情報５６に含まれる撮像位置及び撮像姿勢に基づいて、複数の位置特定画像９２を第４画像領域８４に含める。さらに、第３画像生成部４８Ｃは、ステップＳＴ８４で選択された注目撮像位置に対応する注目位置特定画像９２Ａを第４画像領域８４に含める。そして、第３画像生成部４８Ｃ（図２１参照）は、生成した第１画像領域８１及び第４画像領域８４を合成することにより第３画像６３を生成する。ステップＳＴ８６の処理が実行された後、第３モード処理は、ステップＳＴ８８へ移行する。

　ステップＳＴ８８で、第３表示制御部４８Ａ（図２１参照）は、ステップＳＴ８６で生成された第３画像６３を示す第３画像データをディスプレイ１６に対して出力する。これにより、第３画像６３がディスプレイ１６の画面１６Ａに表示される。ステップＳＴ８８の処理が実行された後、第３モード処理は、ステップＳＴ９０へ移行する。

　ステップＳＴ９０で、プロセッサ２０は、第３モード処理が終了する条件（以下、「第３モード処理終了条件」と称する）が成立したか否かを判定する。第３モード処理終了条件の一例としては、点検者６からの終了指示が受付装置１４によって受け付けられることにより、受付装置１４からの終了指示信号がプロセッサ２０に入力されたという条件、又は、第３モードと異なる動作モードを設定する指示を示すモード設定指示信号がプロセッサ２０に入力されたという条件等が挙げられる。ステップＳＴ９０において、第３モード処理終了条件が成立していない場合は、判定が否定されて、第３モード処理は、ステップＳＴ８２へ移行する。ステップＳＴ９０において、第３モード処理終了条件が成立した場合は、判定が肯定されて、第３モード処理は終了する。なお、上述の点検支援装置１０の作用として説明した点検支援方法は、本開示の技術に係る「画像処理方法」の一例である。

　以上説明したように、第１実施形態に係る点検支援装置１０では、プロセッサ２０は、実空間上の対象物４を示す３次元画像５２の生成に用いられた複数の２次元画像５０であって、３次元画像５２のうちの複数の部分５４と対応付けられた複数の２次元画像５０と３次元画像５２とを対比可能な状態で画面１６Ａに表示する（図１０、図１４、及び図１８参照）。また、プロセッサ２０は、与えられた選択指示に従って、複数の２次元画像５０から注目２次元画像５０Ａを選択する（図１１、図１５、及び図１９参照）。そして、プロセッサ２０は、複数の部分５４のうちの注目２次元画像５０Ａに対応する注目部分５４Ａを視覚的に特定可能な状態で画面１６Ａに表示する（図１３、図１７、及び図２１参照）。したがって、各２次元画像５０と、対象物４のうちの各２次元画像５０に対応する領域との対応関係を視覚的に把握することができる。

　また、複数の２次元画像５０と３次元画像５２とを対比可能な状態とは、複数の２次元画像５０を含む第１画像領域８１と、３次元画像５２を含む画像領域（すなわち、第２画像領域８２、第３画像領域８３、又は第４画像領域８４）とが並んだ状態である（図１０、図１４、及び図１８参照）。したがって、複数の２次元画像５０と３次元画像５２とを視覚的に対比することができる。

　また、注目部分５４Ａを視覚的に特定可能な状態とは、注目部分５４Ａが複数の部分５４のうちの残りの部分５４とは区別可能な状態を含む（図１７及び図２１参照）。したがって、例えば、注目部分５４Ａが残りの部分５４とは区別されていない場合に比して、注目部分５４Ａの視認性を高めることができる。

　また、注目部分５４Ａを視覚的に特定可能な状態とは、注目２次元画像５０Ａが複数の２次元画像５０のうちの残りの２次元画像５０とは区別可能な状態を含む（図１３、図１７、及び図２１参照）。したがって、例えば、注目２次元画像５０Ａが残りの２次元画像５０とは区別されていない場合に比して、注目部分５４Ａの視認性を高めることができる。また、複数の２次元画像５０と３次元画像５２とが対比可能な状態で、かつ注目部分５４Ａが残りの部分５４とは区別可能な状態で画面１６Ａに表示されている場合（図１７及び図２１参照）には、注目２次元画像５０Ａと注目部分５４Ａとの対応関係を視覚的に特定することができる。

　また、プロセッサ２０は、複数の２次元画像５０を得るための撮像が行われた複数の撮像位置を特定可能な複数の位置特定画像９２を３次元画像５２と対比可能な状態で画面１６Ａに表示する（図１８参照）。また、プロセッサ２０は、選択指示に従って、複数の位置特定画像９２から選択された注目位置特定画像９２Ａに対応する撮像位置を注目撮像位置として複数の撮像位置から選択する（図１９参照）。そして、プロセッサ２０は、注目撮像位置から撮像が行われることによって得られた２次元画像５０を注目２次元画像５０Ａとして複数の２次元画像５０から選択する（図１９参照）。したがって、複数の位置特定画像９２から注目位置特定画像９２Ａを選択することにより、複数の２次元画像５０から注目２次元画像５０Ａを選択することができる。

　また、複数の位置特定画像９２と３次元画像５２とを対比可能な状態とは、複数の位置特定画像９２と３次元画像５２とを対向させた状態を含む（図１９参照）。したがって、複数の位置特定画像９２と３次元画像５２とが対向した状態に基づいて、３次元画像５２のうちの注目部分５４Ａに対応する注目位置特定画像９２Ａを複数の位置特定画像９２から選択することができる。

　また、複数の２次元画像５０と３次元画像５２とを対比可能な状態とは、複数の２次元画像５０を含む第１画像領域８１と、第４画像領域８４（すなわち、複数の位置特定画像９２と３次元画像５２とを対向させた態様を示す画像を含む画像領域）とが並んだ状態である（図１８及び図１９参照）。したがって、複数の２次元画像５０と、３次元画像５２のうちの複数の部分５４と、複数の位置特定画像９２とを視覚的に対比することができる。

　また、注目部分５４Ａを視覚的に特定可能な状態とは、注目位置特定画像９２Ａが複数の位置特定画像９２のうちの残りの位置特定画像９２とは区別可能な状態を含む。したがって、例えば、注目位置特定画像９２Ａが残りの位置特定画像９２とは区別されていない場合に比して、注目部分５４Ａの視認性を高めることができる。

　また、点検支援装置１０（図９参照）は、複数の２次元画像５０と３次元画像５２とを対比可能な状態で画面１６Ａに表示する動作モード（例えば、第１モード及び第２モード）と、複数の位置特定画像９２を３次元画像５２と対比可能な状態で画面１６Ａに表示する動作モード（すなわち、第３モード）とを有する。そして、プロセッサ２０は、与えられた設定指示に従って動作モードを設定する。したがって、例えば、注目部分５４Ａに応じて、画面１６Ａを、複数の２次元画像５０と３次元画像５２とが対比可能な状態と、複数の位置特定画像９２が３次元画像５２と対比可能な状態とに選択的に切り替えることができる。

　また、第１モードにおいて、３次元画像５２は、注目２次元画像５０Ａに対応する視点で、画面１６Ａに表示される（図１３参照）。したがって、注目２次元画像５０Ａに対応する視点に基づいて、複数の部分５４のうちの注目２次元画像５０Ａに対応する注目部分５４Ａを視覚的に特定することができる。

　なお、第１実施形態に係る点検支援装置１０は、第１モード、第２モード、及び第３モードを有するが、第１モード、第２モード、及び第３モードのうちのいずれかの動作モードは省かれてもよい。また、第１実施形態に係る点検支援装置１０は、第１モード、第２モード、及び第３モードのうちの１つの動作モードのみを有していてもよい。

　［第２実施形態］
　次に、本開示の第２実施形態について説明する。

　第２実施形態において、点検支援装置１０は、第１実施形態に対して、次のように構成が変更されている。

　一例として図２７に示すように、プロセッサ２０は、第４表示制御部９４Ａとして動作する。第４表示制御部９４Ａは、第４画像６４を画面１６Ａに表示する。第４画像６４は、第１画像領域８１と、第５画像領域８５とを含む。一例として、第１画像領域８１と第５画像領域８５とは、第５画像の左右方向に並んだ状態で画面１６Ａに表示される。第１画像領域８１は、第１画像６１（図１０参照）の第１画像領域８１と同様である。第５画像領域８５は、３次元画像５２を含んでいる。

　第４表示制御部９４Ａは、点検支援情報５６に含まれる複数の２次元画像５０に基づいて、第１画像領域８１に複数の２次元画像５０を含める。また、第４表示制御部９４Ａは、点検支援情報５６に含まれる３次元画像５２に基づいて、第５画像領域８５に３次元画像５２を含める。

　第５画像領域８５には、３次元画像５２がレンダリングされることにより２次元画像化された状態で含まれる。例えば、点検者６が３次元画像５２の大きさを変更する指示を受付装置１４（図９参照）に対して付与することにより、３次元画像５２の大きさが変更される。また、例えば、点検者６が３次元画像５２を回転させる指示を受付装置１４に対して付与することにより、３次元画像５２が回転する。

　複数の２次元画像５０を含む第１画像領域８１と、３次元画像５２を含む第５画像領域８５とが並んだ状態で画面１６Ａに表示されることにより、複数の２次元画像５０と３次元画像５２とが対比可能な状態になる。

　なお、図２７では、第１画像領域８１と第５画像領域８５とが第４画像６４の左右方向に並んだ状態で画面１６Ａに表示される例が示されているが、例えば、第１画像領域８１と第５画像領域８５とが第４画像６４の上下方向に並んだ状態で画面１６Ａに表示されてもよく、また、第１画像領域８１が第５画像領域８５の一部に組み込まれた状態で第１画像領域８１と第５画像領域８５とが画面１６Ａに表示されてもよい。

　第１画像領域８１は、本開示の技術に係る「第１領域」の一例である。第５画像領域８５は、本開示の技術に係る「第２領域」の一例である。

　一例として図２８に示すように、第４画像６４が画面１６Ａに表示されている状態で、第５画像領域８５に含まれる３次元画像５２のうちのいずれかの部分５４を選択する指示である選択指示が受付装置１４によって受け付けられた場合、受付装置１４は、選択指示を示す選択指示信号をプロセッサ２０に対して出力する。

　プロセッサ２０は、第４画像選択部９４Ｂとして動作する。第４画像選択部９４Ｂは、選択指示信号がプロセッサ２０に入力された場合、選択指示信号により示される選択指示に従って、点検支援情報５６に含まれる複数の部分５４から選択指示に対応する部分５４（すなわち、注目部分５４Ａ）を選択する。また、第４画像選択部９４Ｂは、点検支援情報５６に含まれる複数の２次元画像５０から注目部分５４Ａに対応する２次元画像５０（すなわち、注目２次元画像５０Ａ）を選択する。

　一例として図２９に示すように、プロセッサ２０は、第４画素抽出部９４Ｃ及び第４画像生成部９４Ｄとして動作する。第４画素抽出部９４Ｃは、点検支援情報５６に含まれる３次元画像５２から、注目２次元画像５０Ａに対応する注目部分５４Ａを抽出する。

　第４画像生成部９４Ｄは、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。また、第４画像生成部９４Ｄは、点検支援情報５６に含まれる３次元画像５２に基づいて、３次元画像５２を含む第５画像領域８５を生成する。さらに、第４画像生成部９４Ｄは、第４画素抽出部９４Ｃによって抽出された注目部分５４Ａを残りの部分５４とは区別可能な状態で第５画像領域８５に含める。例えば、第４画像生成部９４Ｄは、注目部分５４Ａを残りの部分５４と異なる色で表された態様で第５画像領域８５に含める。

　一例として図３０に示すように、第４画像生成部９４Ｄは、生成した第１画像領域８１及び第５画像領域８５を合成することにより第４画像６４を生成する。

　第４表示制御部９４Ａは、第４画像生成部９４Ｄによって生成された第４画像６４を示す第４画像データをディスプレイ１６に対して出力する。これにより、第４画像６４がディスプレイ１６の画面１６Ａに表示される。具体的には、複数の２次元画像５０のうちの既定数の２次元画像５０が第１画像領域８１に含められた状態で画面１６Ａに表示され、かつ注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示される。注目２次元画像５０Ａが枠９０で囲われた状態で画面１６Ａに表示されることにより、注目２次元画像５０Ａが複数の２次元画像５０のうちの残りの２次元画像５０とは区別可能な状態になる。

　また、３次元画像５２に含まれる注目部分５４Ａは、残りの部分５４とは区別可能な状態で画面１６Ａに表示される。注目部分５４Ａが残りの部分５４とは区別可能な状態で画面１６Ａに表示されることにより、３次元画像５２のうちの注目部分５４Ａが視覚的に特定可能な状態になる。

　なお、図３０に示す例では、注目部分５４Ａが残りの部分５４とは異なる色で表示される。しかしながら、注目部分５４Ａは、他の態様により残りの部分５４とは区別可能な状態で画面１６Ａに表示されてもよい。例えば、注目部分５４Ａが枠で囲われた態様、注目部分５４Ａに模様が付された態様、又は、注目部分５４Ａが残りの部分５４よりも輝度が高められた態様等で画面１６Ａに表示されてもよい。このような例によっても、注目部分５４Ａが残りの部分５４とは区別可能な状態になる。

　次に、第２実施形態に係る点検支援装置１０の作用について図３１を参照しながら説明する。図３１には、第２実施形態に係る点検支援処理の流れの一例が示されている。

　図３１に示す点検支援処理では、先ず、ステップＳＴ１００で、第４表示制御部９４Ａ（図２７参照）は、第４画像６４を画面１６Ａに表示する。ステップＳＴ１００の処理が実行された後、点検支援処理は、ステップＳＴ１０２へ移行する。

　ステップＳＴ１０２で、第４画像選択部９４Ｂ（図２８参照）は、３次元画像５２のうちのいずれかの部分５４を選択する指示である選択指示を示す選択指示信号がプロセッサ２０に入力されたか否かを判定する。ステップＳＴ１０２において、選択指示を示す選択指示信号がプロセッサ２０に入力された場合、判定が肯定されて、点検支援処理は、ステップＳＴ１０４へ移行する。ステップＳＴ１０２において、選択指示を示す選択指示信号がプロセッサ２０に入力されていない場合、判定が否定されて、点検支援処理は、ステップＳＴ１１２へ移行する。

　ステップＳＴ１０４で、第４画像選択部９４Ｂは、点検支援情報５６に含まれる複数の部分５４から、選択指示信号により示される選択指示に対応する注目部分５４Ａを選択する。また、第４画像選択部９４Ｂは、点検支援情報５６に含まれる複数の２次元画像５０から注目部分５４Ａに対応する注目２次元画像５０Ａを選択する。ステップＳＴ１０４の処理が実行された後、点検支援処理は、ステップＳＴ１０６へ移行する。

　ステップＳＴ１０６で、第４画素抽出部９４Ｃ（図２９参照）は、点検支援情報５６に含まれる３次元画像５２から、注目２次元画像５０Ａに対応する注目部分５４Ａを抽出する。ステップＳＴ１０６の処理が実行された後、点検支援処理は、ステップＳＴ１０８へ移行する。

　ステップＳＴ１０８で、第４画像生成部９４Ｄ（図３０参照）は、点検支援情報５６に含まれる複数の２次元画像５０のうちの既定数の２次元画像５０を含み、かつ注目２次元画像５０Ａが枠９０で囲われた態様の第１画像領域８１を生成する。また、第４画像生成部９４Ｄは、点検支援情報５６に含まれる３次元画像５２に基づいて、３次元画像５２を含む第５画像領域８５を生成する。さらに、第４画像生成部９４Ｄは、ステップＳＴ１０６で抽出された注目部分５４Ａを残りの部分５４とは区別可能な状態で第５画像領域８５に含める。そして、第４画像生成部９４Ｄは、生成した第１画像領域８１及び第５画像領域８５を合成することにより第４画像６４を生成する。ステップＳＴ１０８の処理が実行された後、点検支援処理は、ステップＳＴ１１０へ移行する。

　ステップＳＴ１１０で、第４表示制御部９４Ａ（図３０参照）は、ステップＳＴ１０８で生成された第４画像６４を示す第４画像データをディスプレイ１６に対して出力する。これにより、第４画像６４がディスプレイ１６の画面１６Ａに表示される。ステップＳＴ１１０の処理が実行された後、点検支援処理は、ステップＳＴ１１２へ移行する。

　ステップＳＴ１１２で、プロセッサ２０は、点検支援処理が終了する条件（以下、「終了条件」と称する）が成立したか否かを判定する。終了条件の一例としては、点検者６からの終了指示が受付装置１４によって受け付けられることにより、受付装置１４からの終了指示信号がプロセッサ２０に入力されたという条件等が挙げられる。ステップＳＴ１１２において、終了条件が成立していない場合は、判定が否定されて、点検支援処理は、ステップＳＴ１０２へ移行する。ステップＳＴ１１２において、終了条件が成立した場合は、判定が肯定されて、点検支援処理は終了する。

　以上説明したように、第２実施形態に係る点検支援装置１０では、プロセッサ２０は、実空間上の対象物４を示す３次元画像５２の生成に用いられた複数の２次元画像５０であって、３次元画像５２のうちの複数の部分５４と対応付けられた複数の２次元画像５０と３次元画像５２とを対比可能な状態で画面１６Ａに表示する（図２７参照）。また、プロセッサ２０は、与えられた選択指示に従って、複数の部分５４から注目部分５４Ａを選択し、複数の２次元画像５０のうちの注目部分５４Ａに対応する注目２次元画像５０Ａを選択する（図２８参照）。そして、プロセッサ２０は、注目２次元画像５０Ａを複数の２次元画像５０のうちの残りの２次元画像５０とは区別可能な状態で画面１６Ａに表示する。したがって、各２次元画像５０と、対象物４のうちの各２次元画像５０に対応する領域との対応関係を視覚的に把握することができる。

　また、プロセッサ２０は、注目部分５４Ａを視覚的に特定可能な状態で画面１６Ａに表示する（図３０参照）。したがって、注目２次元画像５０Ａと注目部分５４Ａとの対応関係を視覚的に特定することができる。

　また、注目部分５４Ａを視覚的に特定可能な状態とは、注目部分５４Ａが複数の部分５４のうちの残りの部分５４とは区別可能な状態を含む（図３０参照）。したがって、例えば、注目部分５４Ａが残りの部分５４とは区別されていない場合に比して、注目部分５４Ａの視認性を高めることができる。

　なお、第２実施形態に係る点検支援装置１０の動作モードは、第４モードとして第１実施形態に係る点検支援装置１０の動作モードに追加されてもよい。

　また、上記実施形態では、プロセッサ２０を例示したが、プロセッサ２０に代えて、又は、プロセッサ２０と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

　また、上記実施形態では、ストレージ２２に点検支援情報生成プログラム３０及び点検支援プログラム４０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、点検支援情報生成プログラム３０及び／又は点検支援プログラム４０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されている点検支援情報生成プログラム３０及び／又は点検支援プログラム４０は、点検支援装置１０のコンピュータ１２にインストールされてもよい。

　また、ネットワークを介して点検支援装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に点検支援情報生成プログラム３０及び／又は点検支援プログラム４０を記憶させておき、点検支援装置１０の要求に応じて点検支援情報生成プログラム３０及び／又は点検支援プログラム４０がダウンロードされ、コンピュータ１２にインストールされてもよい。

　また、点検支援装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ２２に点検支援情報生成プログラム３０及び／又は点検支援プログラム４０の全てを記憶させておく必要はなく、点検支援情報生成プログラム３０及び／又は点検支援プログラム４０の一部を記憶させておいてもよい。

　また、点検支援装置１０には、コンピュータ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ１２が点検支援装置１０の外部に設けられるようにしてもよい。

　また、上記実施形態では、プロセッサ２０、ストレージ２２、及びＲＡＭ２４を含むコンピュータ１２が例示されているが、本開示の技術はこれに限定されず、コンピュータ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　また、上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　プロセッサを備え、
　前記プロセッサは、
　実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、前記３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と前記３次元画像とを対比可能な状態で画面に表示し、
　与えられた選択指示に従って、前記複数の２次元画像から注目２次元画像を選択し、
　前記複数の部分のうちの前記注目２次元画像に対応する注目部分を視覚的に特定可能な状態で前記画面に表示する
　画像処理装置。
　前記複数の２次元画像と前記３次元画像とを対比可能な状態とは、前記複数の２次元画像を含む第１領域と前記３次元画像を含む第２領域とが並んだ状態である
　請求項１に記載の画像処理装置。
　前記注目部分を視覚的に特定可能な状態とは、前記注目部分が前記複数の部分のうちの残りの部分とは区別可能な状態を含む
　請求項１又は請求項２に記載の画像処理装置。
　前記注目部分を視覚的に特定可能な状態とは、前記注目２次元画像が前記複数の２次元画像のうちの残りの２次元画像とは区別可能な状態を含む
　請求項１から請求項３の何れか一項に記載の画像処理装置。
　前記プロセッサは、
　前記複数の２次元画像を得るための撮像が行われた複数の撮像位置を特定可能な複数の位置特定画像を前記３次元画像と対比可能な状態で前記画面に表示し、
　前記選択指示に従って、前記複数の位置特定画像から選択された注目位置特定画像に対応する撮像位置を注目撮像位置として前記複数の撮像位置から選択し、
　前記注目撮像位置から前記撮像が行われることによって得られた２次元画像を前記注目２次元画像として前記複数の２次元画像から選択する
　請求項１から請求項４の何れか一項に記載の画像処理装置。
　前記複数の位置特定画像と前記３次元画像とを対比可能な状態とは、前記複数の位置特定画像と前記３次元画像とを対向させた状態を含む
　請求項５に記載の画像処理装置。
　前記複数の２次元画像と前記３次元画像とを対比可能な状態とは、前記複数の２次元画像を含む第３領域と、前記複数の位置特定画像と前記３次元画像とを対向させた態様を示す画像を含む第４領域とが並んだ状態である
　請求項５又は請求項６に記載の画像処理装置。
　前記注目部分を視覚的に特定可能な状態とは、前記注目位置特定画像が前記複数の位置特定画像のうちの残りの位置特定画像とは区別可能な状態を含む
　請求項５から請求項７の何れか一項に記載の画像処理装置。
　前記画像処理装置は、前記複数の２次元画像と前記３次元画像とを対比可能な状態で前記画面に表示する第１動作モードと、前記複数の位置特定画像を前記３次元画像と対比可能な状態で前記画面に表示する第２動作モードとを有し、
　前記プロセッサは、与えられた設定指示に従って、前記第１動作モード及び前記第２動作モードの何れかの動作モードを設定する
　請求項５から請求項８の何れか一項に記載の画像処理装置。
　前記３次元画像は、前記注目２次元画像に対応する視点で、前記画面に表示される
　請求項５から請求項９の何れか一項に記載の画像処理装置。
　プロセッサを備え、
　前記プロセッサは、
　実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、前記３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と前記３次元画像とを対比可能な状態で画面に表示し、
　与えられた選択指示に従って、前記複数の部分から注目部分を選択し、
　前記複数の２次元画像のうちの前記注目部分に対応する注目２次元画像を選択し、
　前記注目２次元画像を前記複数の２次元画像のうちの残りの２次元画像とは区別可能な状態で前記画面に表示する
　画像処理装置。
　前記プロセッサは、
　前記複数の２次元画像を得るための撮像が行われた複数の撮像位置を特定可能な複数の位置特定画像を前記３次元画像と対比可能な状態で前記画面に表示し、
　前記選択指示に従って、前記複数の位置特定画像から注目位置特定画像を選択し、
　前記注目位置特定画像から特定される前記撮像位置から前記撮像が行われることによって得られた前記２次元画像を前記注目２次元画像として前記複数の２次元画像から選択する
　請求項１１に記載の画像処理装置。
　実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、前記３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と前記３次元画像とを対比可能な状態で画面に表示すること、
　与えられた選択指示に従って、前記複数の２次元画像から注目２次元画像を選択すること、及び、
　前記複数の部分のうちの前記注目２次元画像に対応する注目部分を視覚的に特定可能な状態で前記画面に表示すること
　を備える画像処理方法。
　実空間上の対象物を示す３次元画像の生成に用いられた複数の２次元画像であって、前記３次元画像のうちの複数の部分と対応付けられた複数の２次元画像と前記３次元画像とを対比可能な状態で画面に表示すること、
　与えられた選択指示に従って、前記複数の２次元画像から注目２次元画像を選択すること、及び、
　前記複数の部分のうちの前記注目２次元画像に対応する注目部分を視覚的に特定可能な状態で前記画面に表示すること
　を含む処理をコンピュータに実行させるためのプログラム。