JP6947098B2 - 画像処理装置、方法、及びプログラム - Google Patents

画像処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP6947098B2
JP6947098B2 JP2018058704A JP2018058704A JP6947098B2 JP 6947098 B2 JP6947098 B2 JP 6947098B2 JP 2018058704 A JP2018058704 A JP 2018058704A JP 2018058704 A JP2018058704 A JP 2018058704A JP 6947098 B2 JP6947098 B2 JP 6947098B2
Authority
JP
Japan
Prior art keywords
image
divided
displayed
unit
divided image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018058704A
Other languages
English (en)
Other versions
JP2019169108A (ja
Inventor
学 中尾
学 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018058704A priority Critical patent/JP6947098B2/ja
Publication of JP2019169108A publication Critical patent/JP2019169108A/ja
Application granted granted Critical
Publication of JP6947098B2 publication Critical patent/JP6947098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

開示の技術は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
社会インフラの老朽化や人口減少を背景に、橋梁等のインフラの点検業務の効率化の必要性が高まっている。例えば、橋梁等の構造物の点検では、点検箇所に人がアクセスすることが困難な場合がある。
そこで、撮影装置を備えたドローンなどのロボットが点検箇所にアクセスして、構造物を近接撮影し、撮影された画像を人が目視確認することにより、点検を行うことが考えられる。しかし、構造物に生じたひび割れなどの損傷を画像上で確認するためには、高解像度の画像を取得する必要がある。また、点検箇所の面積が大きい場合には、その高解像度の画像を複数に分けて撮影し、撮影された各画像を結合して、点検箇所全体の画像を取得することになる。このような場合、点検箇所全体の画像は、データサイズが大きくなり、画像表示時にコンピュータのメモリを多く消費し、かつ描画処理が遅くなる問題がある。
画像サイズの大きな画像の表示に関連する技術として、地図データの表示領域の変更を迅速に行うための表示方法が提案されている。この表示方法では、所定の領域の地図データを取得し、取得された地図データを表示する表示画面、表示画面に重ねられて設けられるタッチパネルを有する表示部に表示する。そして、地図データを表示している表示部に対して物体の接近が検知された場合、表示されている領域以外の地図データを取得し、物体の接触が検知された場合、物体の接近に伴って取得された領域の地図データを表示する。
特開2011−118006号公報
従来技術では、表示部に指などの物体が接近したことを検知して、次に表示すべき画像部分のデータの読み込みを開始している。しかし、画像サイズが大きい場合には、画像のデータサイズも大きいため、読み込みに時間がかかる。そのため、表示部への物体の接近をトリガとして読み込みを開始したのでは、実際に表示を指示したタイミング(表示部へ物体が接触したとき)までに、次に表示すべき画像の読み込みが完了していない可能性が高く、円滑な表示を実現することができない。
一つの側面として、データサイズの大きな画像の表示を円滑に行うことができる画像処理装置、方法、及びプログラムを提供することを目的とする。
一つの態様として、開示の技術は、点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割する分割部を備える。また、開示の技術は、前記画像に含まれる点検対象の特徴のうち、表示中の1又は複数の第1の分割画像群に含まれる前記点検対象の特徴の延伸方向に基づいて、次に表示する第2の分割画像を予測する予測部を備える。また、開示の技術は、前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の1又は複数の第1の分割画像群と前記第2の分割画像との合成画像を生成する合成部を備える。また、開示の技術は、所定のタイミングで、前記合成部により生成された前記合成画像を表示装置に表示する表示制御部を備える。
一つの側面として、開示の技術は、データサイズの大きな画像の表示を円滑に行うことができる、という効果を有する。
第1実施形態に係る画像処理装置の機能ブロック図である。 分割画像への分割を説明するための図である。 ひび割れの抽出を説明するための図である。 境界情報の生成を説明するための図である。 ひび割れ情報データベースの一例を示す図である。 次に表示する分割画像の予測を説明するための図である。 第1実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。 第1実施形態における事前処理の一例を示すフローチャートである。 第1実施形態における表示処理の一例を示すフローチャートである。 次に表示する画像の予測の一例を説明するための図である。 合成画像の表示の一例を説明するための図である。 合成画像の表示の他の例を説明するための図である。 第2実施形態に係る画像処理装置の機能ブロック図である。 第2実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。 第2実施形態における事前処理の一例を示すフローチャートである。 第2実施形態における表示処理の一例を示すフローチャートである。 次に表示する画像の予測の一例を説明するための図である。 第3実施形態に係る画像処理装置の機能ブロック図である。 4分木による分割画像への分割を説明するための図である。 第3実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。 第3実施形態における事前処理の一例を示すフローチャートである。 点検対象物の撮影を説明するための図である。
以下の各実施形態では、橋梁等の構造物を点検対象物とし、点検対象物に生じたひび割れを点検対象の特徴とする場合について説明する。
まず、各実施形態の詳細を説明する前に、点検対象物の撮影、及び点検対象物を撮影した画像の表示の問題点について説明する。
点検対象物の撮影は、例えば、図22に示すように、撮影装置を備えたドローンなどのロボットが、構造物などの点検対象物から一定の距離を保ちながら行う。この際、点検対象物に生じたひび割れなどの点検対象の特徴を画像上で判別可能な高解像度の画像を取得するために、点検対象物に対して近接して撮影が行われる。また、図22に示すように、点検対象物を漏れなく点検するために、ロボットが、点検対象物の点検対象面を掃引するように移動しながら撮影を行う。そして、掃引しながら撮影した複数の画像を結合し、点検対象面の全体画像を取得する。
しかし、各画像が高解像度であるため、これらの画像を結合した点検対象面の全体画像は、データサイズが大きくなる。また、点検対象面の面積が広い場合には、点検対象面の全体画像の画像サイズ(縦サイズ×横サイズ)も大きくなることから、さらにデータサイズが大きくなる。例えば、10m×30mの大きさの点検対象面を、1画素0.1mmピッチで撮影して結合した場合、点検対象面の全体画像の画像サイズは10万画素×30万画素となる。この場合、コンピュータのメモリ上に画像データ全てを読み込むには、1画素当たり3バイトのデータ量とすると、90GBのメモリ容量が必要となる。
そこで、点検対象面の全体画像を複数に分割し、ユーザが見たい範囲だけを表示装置に表示することを考える。この場合、見たい範囲を切り替えるには、その範囲に相当する画像を読み込んで表示することになるが、見たい範囲が指示されてから、その範囲に相当する画像を読み込んでいたのでは、指示されてから画像が表示されるまでのレスポンスが悪くなる。そこで、上述の従来技術では、表示部への指などの物体の接近をトリガとして、次に表示する画像を先読みしている。
しかし、上述したように、点検対象物に生じたひび割れを画像上で確認するために、点検対象面は高解像度で撮影されている。例えば、4K画像(画素数約4,000×2,000、メモリに展開したサイズ24MB)程度の高精細画像の場合、高精細画像をハードディスクから読み込んでメモリに展開し、画像を表示装置に表示するまでには、数秒の時間がかかる。
そこで、以下の各実施形態では、点検対象である「ひび割れ」を確認する場合には、「ひび割れ」に沿って画像を確認していくという用途を考慮して、ひび割れに沿って画像を先行取得する。
以下、図面を参照して、開示の技術の一例である各実施形態について詳細に説明する。
<第1実施形態>
図1に示すように、第1実施形態に係る画像処理装置10には、点検対象面の全体画像21が入力され、画像処理装置10で処理された全体画像21が部分毎に表示装置30に表示される。
画像処理装置10は、機能的には、図1に示すように、分割部11と、生成部12と、予測部13と、合成部14と、表示制御部15とを含む。また、画像処理装置10の所定の記憶領域には、分割画像データベース(DB)22、及びひび割れ情報DB23が記憶される記憶領域と、合成画像記憶部24とが含まれる。
以下、各機能部及び各データベースについて詳述する。
分割部11は、図2に示すように、点検対象物を撮影した全体画像21を、予め定めた大きさの複数の分割画像に分割する。分割画像の大きさは、表示装置30の表示サイズや解像度などに応じて決定すればよい。また、分割部11は、分割画像の各々に、分割画像を識別するための分割画像IDを付与する。以下では、分割画像IDがiの分割画像を「分割画像i」と表記する。なお、図2において、分割画像を表す枠内の数字が、その分割画像の分割画像IDである。以下の図においても同様である。
分割部11は、各分割画像について、全体画像21における位置と、分割画像の画像データとを、その分割画像の分割画像IDと対応付けて、分割画像DB22に記憶する。
生成部12は、図3に示すように、全体画像21から、ひび割れを示す画像部分(以下、単に「ひび割れ」ともいう)を抽出する。ひび割れの抽出方法は、エッジ検出等、従来既知の手法を用いることができるため、ここでは詳細な説明を省略する。生成部12は、一続きのひび割れ毎に、ひび割れを識別するためのひび割れIDを付与する。以下では、ひび割れIDがiのひび割れを「ひび割れi」と表記する。また、生成部12は、各ひび割れを示す画像部分に含まれる各画素の座標を特定し、特定した座標をひび割れIDと対応付けて、ひび割れ情報DB23に記憶する。
さらに、生成部12は、ひび割れの各々が、複数の分割画像のいずれの分割画像間を跨ぐかを示す境界情報を生成する。具体的には、生成部12は、図4に示すように、抽出したひび割れがいずれの分割画像内に存在するかを特定し、分割画像間の境界をひび割れが跨ぐ場合に、その分割画像のペアを特定する情報を境界情報として生成する。例えば、図4に示す「ひび割れ2」は、分割画像106と分割画像109とを跨いでいるため、生成部12は、この分割画像の分割画像IDをペアにして、「(106,109)」のような境界情報を生成することができる。生成部12は、生成した境界情報をひび割れIDと対応付けて、ひび割れ情報DB23に記憶する。
図5に、ひび割れ情報DB23の一例を示す。図5の例では、各ひび割れについて、「ひび割れID」に、座標と境界情報とが対応付けて記憶されている。図5の例では、ひび割れID=1に対応付けられた境界情報は、ひび割れ1が、以下の境界を跨ぐことを表している。
分割画像105と分割画像106との境界
分割画像106と分割画像103との境界
分割画像103と分割画像102との境界
分割画像103と分割画像99との境界
予測部13は、全体画像21に含まれるひび割れのうち、表示装置30に表示中の合成画像(詳細は後述)に含まれるひび割れの延伸方向に基づいて、次に表示する分割画像を予測する。
ここで、例えば、図6に示すように、表示している最新の分割画像(合成画像に含まれる分割画像のうち、直近で追加された分割画像。詳細は後述)において、ひび割れが、その分割画像の右の境界(右辺)まで伸びているとする。この場合、点検を行うユーザは、ひび割れの続きを点検するために、現在表示している分割画像の右の分割画像を見たいと思うことが想定される。そこで、予測部13は、ひび割れの延伸方向に沿って、現在表示している分割画像と隣接する分割画像を、次に表示する分割画像として予測する。
具体的には、予測部13は、全体画像21に含まれるひび割れのうち、ユーザにより選択された点検対象のひび割れを示すひび割れ選択情報を受け付ける。ひび割れの選択は、例えば、表示画面上でのひび割れへのタッチ操作や、マウスでのクリック操作などにより行うことができる。予測部13は、例えば、タッチ操作やクリック操作などの操作が行われた座標を、ひび割れ選択情報として受け付ける。予測部13は、ひび割れ情報DB23を参照して、受け付けたひび割れ選択情報が示す座標に対応するひび割れIDを特定する。
予測部13は、ひび割れ情報DB23を参照して、特定したひび割れIDに対応付けられた境界情報のうち、現在表示している最新の分割画像の分割画像IDを含む境界情報を抽出する。そして、予測部13は、抽出した境界情報において、現在表示している最新の分割画像の分割画像IDとペアになっている分割画像IDが示す分割画像を、次に表示する分割画像として予測する。なお、抽出した境界情報において、現在表示している最新の分割画像の分割画像IDとペアになっている分割画像IDが複数存在する場合、複数の分割画像が次に表示する分割画像として予測されることになる。
合成部14は、予測部13で予測された分割画像を分割画像DB22から読み込み、読み込んだ分割画像と、表示装置30に現在表示中の合成画像とを繋ぎ合わせるように合成して、次に表示する合成画像として生成する。なお、予測部13により、次に表示する分割画像が複数予測された場合、合成部14は、予測された分割画像の各々と、表示装置30に現在表示中の合成画像との合成画像をそれぞれ生成する。
また、合成部14は、表示制御部15から表示方向情報(詳細は後述)が通知された場合には、現在表示中の合成画像に含まれる最新の分割画像に対して、通知された表示方向情報が示す方向に隣接する分割画像を分割画像DB22から読み込む。そして、合成部14は、読み込んだ分割画像と、表示装置30に現在表示中の合成画像とを繋ぎ合わせるように合成して、次に表示する合成画像として生成する。
合成部14は、現在表示中の合成画像、予測された分割画像を用いて生成した合成画像、及び表示方向情報に基づいて生成した合成画像の各々を、合成画像記憶部24に記憶する。
表示制御部15は、所定のタイミングで、合成部14により生成された合成画像が表示装置30に表示されるように制御する。
具体的には、表示制御部15は、ユーザにより指示された、次に表示したい分割画像が存在する方向を示す表示方向情報を受け付ける。表示方向の指示は、例えば、画面上でのいずれかの端部(上端部、下端部、左端部、及び右端部)へのタッチ操作、いずれかの方向へのスワイプ操作、十字キーでの方向の入力操作などにより行うことができる。表示制御部15は、これらの操作により指示された方向(上方向、下方向、左方向、又は右方向)を、表示方向情報として受け付ける。なお、表示方向情報を受け付けたタイミングは、開示の技術の「所定のタイミング」の一例である。
表示制御部15は、受け付けた表示方向情報が示す方向と、点検対象のひび割れの延伸方向、すなわち、現在表示している最新の分割画像に対して予測部13が予測した分割画像が隣接する方向とが一致するか否かを判定する。一致する場合には、表示制御部15は、合成部14により予め生成された、予測された分割画像と、現在表示中の合成画像との合成画像を表示装置30に表示する。
表示方向情報が示す方向と、点検対象のひび割れの延伸方向とが一致しない場合には、表示制御部15は、表示方向情報を合成部14に通知する。そして、表示制御部15は、合成部14により、表示方向情報に基づいて読み込まれた分割画像を用いて生成された合成画像を表示装置30に表示する。
なお、予測された分割画像が複数存在し、合成部14により複数の合成画像が生成されている場合には、表示方向情報が示す方向と、予測された分割画像のいずれかの方向とが一致する場合に、上記の「一致する場合」と同様に処理すればよい。予測されたいずれの分割画像の方向とも一致しない場合には、上記の「一致しない場合」と同様に処理すればよい。
画像処理装置10は、例えば図7に示すコンピュータ40で実現することができる。コンピュータ40は、CPU(Central Processing Unit)41と、一時記憶領域としてのメモリ42と、不揮発性の記憶部43とを備える。また、コンピュータ40は、入力装置、表示装置30等の入出力装置44と、記憶媒体49に対するデータの読み込み及び書き込みを制御するR/W(Read/Write)部45と、インターネット等のネットワークに接続される通信I/F(Interface)46とを備える。CPU41、メモリ42、記憶部43、入出力装置44、R/W部45、及び通信I/F46は、バス47を介して互いに接続される。
記憶部43は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を、画像処理装置10として機能させるための画像処理プログラム50が記憶される。画像処理プログラム50は、分割プロセス51と、生成プロセス52と、予測プロセス53と、合成プロセス54と、表示制御プロセス55とを有する。また、記憶部43は、分割画像DB22、及びひび割れ情報DB23の各々を構成する情報が記憶される情報記憶領域60を有する。また、情報記憶領域60の一部は、合成画像記憶部24に相当する。
CPU41は、画像処理プログラム50を記憶部43から読み出してメモリ42に展開し、画像処理プログラム50が有するプロセスを順次実行する。CPU41は、分割プロセス51を実行することで、図1に示す分割部11として動作する。また、CPU41は、生成プロセス52を実行することで、図1に示す生成部12として動作する。また、CPU41は、予測プロセス53を実行することで、図1に示す予測部13として動作する。また、CPU41は、合成プロセス54を実行することで、図1に示す合成部14として動作する。また、CPU41は、表示制御プロセス55を実行することで、図1に示す表示制御部15として動作する。
また、CPU41は、情報記憶領域60から情報を読み出して、分割画像DB22、ひび割れ情報DB23、及び合成画像の各々をメモリ42に展開する。これにより、画像処理プログラム50を実行したコンピュータ40が、画像処理装置10として機能することになる。なお、プログラムを実行するCPU41はハードウェアである。
なお、分割画像DB22、及びひび割れ情報DB23の各々を構成する情報と、合成画像記憶部24とは、情報記憶領域60に記憶される場合に限らない。これらの情報は、外部の記憶装置や記憶媒体49に記憶されていてもよい。この場合、画像処理プログラム50の実行時に、R/W部45や通信I/F46を介して、外部の記憶装置や記憶媒体49から、分割画像DB22、及びひび割れ情報DB23の各々を構成する情報と、合成画像とを取得し、メモリ42に展開すればよい。
また、画像処理プログラム50により実現される機能は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、第1実施形態に係る画像処理装置10の作用について説明する。
画像処理装置10に点検対象物の全体画像21が入力されると、画像処理装置10において、図8に示す事前処理が実行される。そして、事前処理が完了した状態で、画像処理装置10に画像の表示指示が入力されると、画像処理装置10において、図9に示す表示処理が実行される。なお、事前処理及び表示処理は、開示の技術の画像処理方法の一例である。以下、事前処理及び表示処理の各々について説明する。
まず、事前処理について説明する。
図8のステップS11で、分割部11が、図2に示すように、画像処理装置10に入力された全体画像21を、予め定めた大きさの複数の分割画像に分割する。そして、分割部11が、分割画像の各々に分割画像IDを付与し、分割画像の位置情報及び画像データと共に、分割画像DB22に記憶する。
次に、ステップS12で、生成部12が、図3に示すように、全体画像21から、ひび割れを抽出し、一続きのひび割れ毎にひび割れIDを付与する。そして、生成部12は、各ひび割れを示す画像部分に含まれる各画素の座標を特定し、特定した座標をひび割れIDと対応付けて、ひび割れ情報DB23に記憶する。
次に、ステップS13で、生成部12が、ひび割れの各々が、複数の分割画像のいずれの分割画像間を跨ぐかを示す境界情報を生成する。そして、生成部12は、生成した境界情報をひび割れIDと対応付けて、ひび割れ情報DB23に記憶し、事前処理は終了する。
図9のステップS21で、表示制御部15が、全体画像21を分割した分割画像の中から、1つの分割画像を選択し、表示装置30に表示する。選択する分割画像は、全体画像21の中央や左角など、予め定めた位置の分割画像としてもよいし、全体画像21を表示し、ユーザから指定を受け付けた位置を含む分割画像としてもよい。また、事前処理においてひび割れが抽出されている分割画像の中から選択してもよい。
次に、ステップS22で、予測部13が、ひび割れ選択情報を受け付けたか否かに基づいて、上記ステップS21で表示した分割画像から、ユーザによりひび割れが選択されたか否かを判定する。ひび割れが選択された場合には、処理はステップS23へ移行し、所定時間経過してもひび割れが選択されない場合には、処理はステップS21に戻り、表示中の分割画像を変更する。ここでは、図10中のAに示すように、分割画像105が表示されている状態で、ひび割れ1が選択されたものとする。
ステップS23では、予測部13が、ひび割れ情報DB23を参照して、受け付けたひび割れ選択情報が示す座標に対応するひび割れIDを特定する。そして、予測部13は、ひび割れ情報DB23を参照して、特定したひび割れIDに対応付けられた境界情報のうち、現在表示している最新の分割画像の分割画像IDを含む境界情報を抽出する。例えば、図10の例では、図5に示すひび割れ情報DB23から、境界情報(105,106)が抽出される(図10中のB)。そして、予測部13は、抽出した境界情報において、現在表示している分割画像の分割画像IDとペアになっている分割画像IDが示す分割画像を、次に表示する分割画像として予測する。ここでは、分割画像106が次に表示する分割画像として予測される。
次に、ステップS24で、合成部14が、上記ステップS23で予測された分割画像が存在するか否かを判定する。予測された分割画像が存在する場合には、処理はステップS25へ移行し、存在しない場合には、処理はステップS26へ移行する。予測された分割画像が存在しない場合とは、ひび割れ情報DB23の「境界情報」に選択可能な境界情報が存在しなくなった場合である。選択可能な境界情報とは、現在表示している最新の分割画像の分割画像IDを含む境界情報であって、その分割画像IDとペアの分割画像IDが示す分割画像が、表示中の合成画像に含まれていない境界情報である。
ステップS25では、合成部14は、予測部13で予測された分割画像を分割画像DB22から読み込み、読み込んだ分割画像と、表示装置30に現在表示中の合成画像とを合成して、次に表示する合成画像として生成する。ここでは、図10中のCに示すように、分割画像105と分割画像106との合成画像が生成される。以下では、合成画像に含まれる分割画像の分割画像IDを用いて、分割画像iと分割画像jとの合成画像を、「合成画像(i+j)」と表記する。
次に、ステップS26で、ユーザから表示方向が指示されるまで待機する。そして、表示制御部15が、表示方向情報を受け付けると、処理はステップS27へ移行する。
ステップS27では、上記ステップS26で受け付けた表示方向情報が示す方向と、上記ステップS23で予測した分割画像が存在する方向とが一致するか否かを判定する。方向が一致する場合には、処理はステップS28へ移行し、表示制御部15が、上記ステップS25で予め生成していた合成画像を表示装置30に表示する。
図10の例では、分割画像105が表示されている状態で、右方向を示す表示方向情報が受け付けられた場合、合成画像(105+106)が表示装置30に表示される
一方、方向が一致しない場合には、処理はステップS29へ移行し、合成部14が、現在表示中の合成画像に含まれる最新の分割画像に対して、上記ステップS26で受け付けられた表示方向情報が示す方向に隣接する分割画像を分割画像DB22から読み込む。そして、合成部14は、読み込んだ分割画像と、表示装置30に現在表示中の合成画像との合成画像を生成し、生成した合成画像を表示装置30に表示する。
次に、ステップS30で、予測部13が、表示している合成画像に追加された最新の分割画像において、点検対象のひび割れが端部に到達したか否かを判定する。上記ステップS24で、予測された分割画像が存在しないと判定されている場合には、ひび割れが端部に到達したと判定することができる。
ひび割れが端部に到達していない場合には、処理はステップS23に戻り、端部に到達した場合には、処理はステップS31へ移行する。
ここでは、合成画像(105+106)に含まれる分割画像106において、ひび割れは端部に到達していないため、ステップS23に戻る。そして、ステップS23で、境界情報(106,103)に基づいて、次に表示する分割画像として、分割画像103が予測され(図10中のD)、合成画像(105+106+103)が生成される(図10中のE)。そして、ステップS26で、上方向を示す表示方向情報が受け付けられると、ステップS28で、合成画像(105+106+103)が表示される。
分割画像103においても、ひび割れは端部に到達していないため、ステップS23に戻る。そして、ステップS23で、境界情報(103,102)及び(103,99)に基づいて、次に表示する分割画像として、分割画像102及び分割画像99が予測され(図10中のF及びG)。そして、合成画像(105+106+103+102)、及び合成画像(105+106+103+99)が生成される(図10中のH及びI)。
この場合、図11に示すように、ステップS26で、左方向を示す表示方向情報が受け付けられると(図11中の破線部)、ステップS28で、予め生成された合成画像のうち、合成画像(105+106+103+102)が表示される。一方、ステップS26で、上方向を示す表示方向情報が受け付けられると(図11中の一点破線部)、ステップS28で、予め生成された合成画像のうち、合成画像(105+106+103+99)が表示される。予め生成した合成画像のうち、表示しなかった合成画像は、合成画像記憶部24から削除してもよいし、メモリ容量が許す範囲で保存しておいてもよい。
ステップS31では、表示制御部15が、画像表示を終了する旨の指示を受け付けたか否かを判定する。終了の指示を受け付けていない場合には、処理はステップS21に戻る。なお、上記ステップS28で、予め生成した合成画像のうち、表示しなかった合成画像が存在する場合には、表示しなかった合成画像を表示して、ステップS23に戻るようにしてもよい。
例えば、図11に示すように、ステップS28で合成画像(105+106+103+102)を表示し、その後ひび割れが端部に到達し、その後も表示を継続する場合には、合成画像(105+106+103+99)を表示して、ステップS23に戻ってもよい。
上記ステップS31で、終了の指示を受け付けた場合には、表示処理は終了する。
以上説明したように、第1実施形態に係る画像処理装置10によれば、全体画像を複数に分割した分割画像のうち、ひび割れの延伸方向に沿って予め生成した、ひび割れが跨ぐ分割画像間を示す境界情報に基づいて、次に表示する分割画像を予測する。そして、予測した分割画像と現在表示中の合成画像との合成画像を、次に表示する合成画像として予め生成しておく。これにより、ユーザが次に見たいと思う可能性が高い方向の分割画像を含む合成画像を、前の合成画像を表示した直後から準備しておくことができるため、点検対象が撮影されたデータサイズの大きな画像の表示を円滑に行うことができる。
なお、第1実施形態では、予測した分割画像の方向と、ユーザが指示した方向とが一致する場合に、予め生成しておいた合成画像を表示する場合について説明したが、これに限定されない。方向の一致を判断することなく、所定のタイミングで、予め生成しておいた合成画像を表示するようにしてもよい。この場合の所定のタイミングは、例えば、表示中の画像を表示開始してから所定時間経過したタイミングや、ユーザが指示(Enterキーの押下など、方向の指示を伴わない指示)したタイミングなどとすることができる。
この場合、図10中のF及びGに示すように、予測された分割画像が複数存在する場合、図12に示すように、複数の分割画像を全て追加した合成画像を生成して表示してもよい。
<第2実施形態>
次に、第2実施形態について説明する。第1実施形態では、事前に生成した境界情報に基づいて、次に表示する分割画像を予測する場合について説明した。第2実施形態では、合成画像を表示する際に、ひび割れの延伸方向を判断して、次に表示する分割画像を予測する場合について説明する。なお、第2実施形態に係る画像処理装置において、第1実施形態に係る画像処理装置10と同様の部分については、同一の符号を付して、詳細な説明を省略する。
図13に示すように、画像処理装置210は、機能的には、分割部11と、抽出部216と、予測部213と、合成部14と、表示制御部15とを含む。また、画像処理装置210の所定の記憶領域には、分割画像DB22が記憶される記憶領域と、合成画像記憶部24とが含まれる。
抽出部216は、表示装置30に表示中の合成画像に含まれる最新の分割画像からひび割れを抽出する。
予測部213は、第1実施形態における予測部13と同様に、ひび割れ選択情報を受け付け、抽出部216で抽出されたひび割れのうち、点検対象のひび割れを特定する。また、予測部213は、表示中の合成画像に含まれる最新の分割画像の上辺、下辺、左辺、及び右辺のいずれかの辺のうち、点検対象のひび割れが跨ぐ辺(境界)で隣接する分割画像を、次に表示する分割画像として予測する。
画像処理装置210は、例えば図14に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を、画像処理装置210として機能させるための画像処理プログラム250が記憶される。画像処理プログラム250は、分割プロセス51と、抽出プロセス256と、予測プロセス253と、合成プロセス54と、表示制御プロセス55とを有する。また、記憶部43は、情報記憶領域60を有する。
CPU41は、画像処理プログラム250を記憶部43から読み出してメモリ42に展開し、画像処理プログラム250が有するプロセスを順次実行する。CPU41は、抽出プロセス256を実行することで、図13に示す抽出部216として動作する。また、CPU41は、予測プロセス253を実行することで、図13に示す予測部213として動作する。分割プロセス51、合成プロセス54、表示制御プロセス55、及び情報記憶領域60に記憶された情報については、第1実施形態に係る画像処理プログラム50と同様である。これにより、画像処理プログラム250を実行したコンピュータ40が、画像処理装置210として機能することになる。
なお、画像処理プログラム250により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第2実施形態に係る画像処理装置210の作用について説明する。
画像処理装置210では、図15に示す事前処理、及び図16に示す表示処理が実行される。なお、事前処理及び表示処理は、開示の技術の画像処理方法の一例である。以下、事前処理及び表示処理の各々について説明する。なお、第2実施形態に係る事前処理及び表示処理において、第1実施形態に係る事前処理及び表示処理と同様の処理については、同一符号を付して、詳細な説明を省略する。
まず、事前処理について説明する。
図15のステップS11で、第1実施形態と同様に、分割部11が、画像処理装置210に入力された全体画像21を、予め定めた大きさの複数の分割画像に分割する。そして、分割部11が、分割画像の各々に分割画像IDを付与し、分割画像の位置情報及び画像データと共に、分割画像DB22に記憶し、事前処理は終了する。
第1実施形態と異なり、ひび割れの境界情報を事前に生成する処理は、第2実施形態では行わない。
次に、表示処理について説明する。
図16のステップS21で、表示制御部15が、全体画像21を分割した分割画像の中から、1つの分割画像を選択し、表示装置30に表示する。ここでは、分割画像105が表示されたものとする。
次に、ステップS221で、抽出部216が、図17中のAに示すように、表示された分割画像からひび割れを抽出する。
次に、ステップS22で、表示中の分割画像105から、点検対象のひび割れが選択されると、処理はステップS222へ移行する。ステップS222では、予測部213が、上記ステップS21で表示された分割画像の上辺、下辺、左辺、及び右辺のいずれかの辺のうち、点検対象のひび割れが跨ぐ辺(境界)で隣接する分割画像を、次に表示する分割画像として予測する。以下、第1実施形態と同様に、ステップS24〜S31が実行される。
ステップS30で否定判定されると、処理はステップS223へ移行し、抽出部216が、上記ステップS28又はステップS29で表示した合成画像に含まれる最新の分割画像からひび割れを抽出する。そして、処理はステップS222に戻る。
また、ステップS31で否定判定されると、処理はステップS224へ移行し、上記ステップS21で表示した分割画像を、上記ステップS221でひび割れが抽出された状態で表示し、ステップS22に戻る。
図17の例では、ステップS22で、分割画像105から点検対象のひび割れが選択されると、ひび割れは右の境界(右辺)まで伸びているため、ステップS222で、予測部213が、分割画像105の右辺で隣接する分割画像の方向へひび割れが延伸していると判断する(図17中のB)。そして、予測部213は、ひび割れの延伸方向(右方向)の分割画像106を次に表示する分割画像として予測する。
そして、ステップS28で、表示制御部15が合成画像(105+106)を表示すると、ステップS223で、抽出部216が、合成画像(105+106)に含まれる分割画像106から、ひび割れを抽出する(図17中のC)。
次に、分割画像106において、ひび割れは上の境界(上辺)まで伸びているため(図17中のD)、ステップS222で、予測部213が、分割画像106の上辺で隣接する分割画像103を次に表示する分割画像として予測する。
次に、ステップS28で、表示制御部15が合成画像(105+106+103)を表示すると、ステップS223で、抽出部216が、合成画像(105+106+103)に含まれる分割画像103から、ひび割れを抽出する(図17中のE)。
次に、分割画像103において、ひび割れは左の境界(左辺)及び上の境界(上辺)まで伸びている(図17中のF及びG)。そこで、ステップS222で、予測部213が、分割画像103の左辺で隣接する分割画像102、及び分割画像103の上辺で隣接する分割画像99を次に表示する分割画像として予測する。
次に、ステップS25で、合成部14が合成画像(105+106+103+102)と、合成画像(105+106+103+99)とを生成する(図17中のH及びI)。そして、例えば、ステップS28で、合成画像(105+106+103+99)を表示した場合、ステップS223で、抽出部216が、合成画像(105+106+103+99)に含まれる分割画像99から、ひび割れを抽出する。
以上説明したように、第2実施形態に係る画像処理装置210によれば、全体画像を複数の分割画像に分割する。そして、複数の分割画像のうち、表示している分割画像上から抽出したひび割れの延伸方向に沿って、現在表示している分割画像と隣接する分割画像を、次に表示する分割画像として予測する。そして、予測した分割画像と現在表示中の合成画像との合成画像を、次に表示する合成画像として予め生成しておく。これにより、ユーザが次に見たいと思う可能性が高い方向の分割画像を含む合成画像を、前の合成画像を表示した直後から準備しておくことができるため、点検対象が撮影されたデータサイズの大きな画像の表示を円滑に行うことができる。
<第3実施形態>
次に、第3実施形態について説明する。なお、第3実施形態に係る画像処理装置において、第1実施形態に係る画像処理装置10と同様の部分については、同一の符号を付して、詳細な説明を省略する。
図18に示すように、画像処理装置310は、機能的には、抽出部316と、分割部311と、生成部312と、予測部13と、合成部14と、表示制御部15とを含む。また、画像処理装置310の所定の記憶領域には、分割画像DB22及びひび割れ情報DB23が記憶される記憶領域と、合成画像記憶部24とが含まれる。
抽出部316は、画像処理装置310に入力された全体画像21からひび割れを抽出する。
分割部311は、図19に示すように、ひび割れの有無を基準に、全体画像21を四分木により分割画像に分割する。具体的には、分割部311は、全体画像21を4分割し、各分割画像の中に、抽出部316により抽出されたひび割れが含まれる場合には、その分割画像をさらに4分割する。ひび割れが含まれない分割画像については、それ以上の分割を行わない。分割部311は、上記の4分割を、最小の分割画像のサイズが所定のサイズになるまで繰り返す。
生成部312は、第1実施形態に係る生成部12と同様に、抽出部316により抽出された各ひび割れにひび割れIDを付し、各ひび割れの座標を特定し、ひび割れIDと座標とを対応付けて、ひび割れ情報DB23に記憶する。また、生成部312は、抽出部316により抽出されたひび割れと、分割部311により分割された分割画像とに基づいて、第1実施形態と同様の境界情報を生成し、ひび割れIDと境界情報とを対応付けて、ひび割れ情報DB23に記憶する。
画像処理装置310は、例えば図20に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を、画像処理装置310として機能させるための画像処理プログラム350が記憶される。画像処理プログラム350は、抽出プロセス356と、分割プロセス351と、生成プロセス352と、予測プロセス53と、合成プロセス54と、表示制御プロセス55とを有する。また、記憶部43は、情報記憶領域60を有する。
CPU41は、画像処理プログラム350を記憶部43から読み出してメモリ42に展開し、画像処理プログラム350が有するプロセスを順次実行する。CPU41は、抽出プロセス356を実行することで、図18に示す抽出部316として動作する。また、CPU41は、分割プロセス351を実行することで、図18に示す分割部311として動作する。また、CPU41は、生成プロセス352を実行することで、図18に示す生成部312として動作する。予測プロセス53、合成プロセス54、表示制御プロセス55、及び情報記憶領域60に記憶された情報については、第1実施形態に係る画像処理プログラム50と同様である。これにより、画像処理プログラム350を実行したコンピュータ40が、画像処理装置310として機能することになる。
なお、画像処理プログラム350により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第3実施形態に係る画像処理装置310の作用について説明する。
画像処理装置310では、図21に示す事前処理、及び第1実施形態と同様の図9に示す表示処理が実行される。なお、事前処理及び表示処理は、開示の技術の画像処理方法の一例である。以下、事前処理について説明する。なお、第3実施形態に係る事前処理において、第1実施形態に係る事前処理と同様の処理については、同一符号を付して、詳細な説明を省略する。
図21のステップS311で、抽出部316が、画像処理装置310に入力された全体画像21からひび割れを抽出する。
次に、ステップS312で、分割部311が、図19に示すように、ひび割れの有無を基準に、全体画像21を四分木により分割画像に分割する。
次に、ステップS313で、生成部312が、抽出部316により抽出された各ひび割れにひび割れIDを付し、各ひび割れの座標を特定し、ひび割れIDと座標とを対応付けて、ひび割れ情報DB23に記憶する。
次に、ステップS314で、生成部312が、抽出部316により抽出されたひび割れと、分割部311により分割された分割画像とに基づいて境界情報を生成し、ひび割れIDと境界情報とを対応付けて、ひび割れ情報DB23に記憶する。そして、事前処理は終了する。
以上説明したように、第3実施形態に係る画像処理装置310によれば、ひび割れの有無を基準に、全体画像を四分木により分割画像に分割する。これにより、ひび割れがない領域は大きな分割画像に、ひび割れがある領域は小さな分割画像に分割することができる。ひび割れがある領域、すなわちユーザが点検したい領域を小さな分割画像に分割することで、分割画像のデータサイズを小さくすることができ、ハードディスクからの読み込みや、表示装置30への表示速度を速くすることができる。また、全体画像の全てを小さな分割画像に分割する場合に比べ、分割画像の数を少なくすることができるため、分割画像の管理を簡素化することができる。
なお、上記の各実施形態では、点検対象の特徴が構造物などの点検対象物に生じたひび割れの場合について説明したが、これに限定されない。ひび割れ以外にも、延伸する特徴を有する腐食など、他の損傷を点検対象としてもよい。また、損傷以外にも、構造物の外縁や、構造物に含まれる柱、配管、配線等、全体画像を複数の画像に分割した際に、複数の分割画像に跨って延伸する特徴のあるものであれば、開示の技術を適用することができる。
また、上記の各実施形態では、ユーザから、点検対象のひび割れの選択を受け付ける場合について説明したが、これに限定されない。例えば、表示した分割画像にひび割れが1つしか存在しない場合には、ユーザからの選択を受け付けることなく、そのひび割れを点検対象としてもよい。また、表示した分割画像内における長さが最も長いひび割れを点検対象として選択するなど、所定の条件で点検対象のひび割れを選択してもよい。
また、上記実施形態では、画像処理プログラムが記憶部に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD−ROM、DVD−ROM、USBメモリ等の記憶媒体に記憶された形態で提供することも可能である。
以上の各実施形態に関し、さらに以下の付記を開示する。
(付記1)
点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割する分割部と、
前記画像に含まれる点検対象の特徴のうち、表示中の1以上の第1の分割画像群に含まれる前記点検対象の特徴の前記画像における位置の延伸方向に基づいて、次に表示する第2の分割画像を予測する予測部と、
前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の前記第1の分割画像群と前記第2の分割画像との合成画像を生成する合成部と、
所定のタイミングで、前記合成部により生成された前記合成画像を表示装置に表示する表示制御部と、
を含む画像処理装置。
(付記2)
前記画像に含まれる前記点検対象の特徴の各々が、前記複数の分割画像のいずれの分割画像間を跨ぐかを示す境界情報を生成する生成部を含み、
前記予測部は、前記生成部により生成された前記境界情報に基づいて、前記第2の分割画像を予測する
付記1に記載の画像処理装置。
(付記3)
前記第1の分割画像群のうち直近で表示された分割画像から、前記点検対象の特徴を抽出する抽出部を含み、
前記予測部は、表示中の前記第1の分割画像群のうち直近で表示された分割画像の上辺、下辺、左辺、及び右辺のいずれかの辺のうち、前記抽出部により抽出された前記点検対象の特徴が跨ぐ辺で隣接する分割画像を、前記第2の分割画像として予測する
付記1に記載の画像処理装置。
(付記4)
前記表示制御部は、次に表示する分割画像の方向の指示を受け付け、受け付けた方向の分割画像と、前記第2の分割画像とが一致する場合に、前記合成部で生成された合成画像を表示し、一致しない場合には、前記合成部に、前記第1の分割画像群と、受け付けた方向の分割画像との合成画像を生成させ、生成された合成画像を表示する付記1〜付記3のいずれか1項に記載の画像処理装置。
(付記5)
前記予測部は、表示中の前記第1の分割画像群に含まれる前記点検対象の特徴のうち、ユーザにより指定された前記点検対象の特徴の延伸方向に基づいて、前記第2の分割画像を予測する付記1〜付記4のいずれか1項に記載の画像処理装置。
(付記6)
前記合成部は、前記予測部により前記第2の分割画像が複数予測された場合、複数の前記第2の分割画像の各々と前記第1の分割画像群との合成画像をそれぞれ生成し、
前記表示制御部は、ユーザにより表示方向の指示を受け付けたタイミングで、指示された前記表示方向に対応する前記第2の分割画像を含む合成画像を表示する
付記1〜付記5のいずれか1項に記載の画像処理装置。
(付記7)
前記分割部は、前記画像において、前記点検対象の特徴が存在する領域を所定の画像サイズとなるまで四分木により分割画像に分割する付記1〜付記6のいずれか1項に記載の画像処理装置。
(付記8)
前記点検対象の特徴は、前記点検対象物に生じたひび割れである付記1〜付記7のいずれか1項に記載の画像処理装置。
(付記9)
点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割し、
前記画像に含まれる点検対象の特徴のうち、表示中の1又は複数の第1の分割画像群に含まれる前記点検対象の特徴の延伸方向に基づいて、次に表示する第2の分割画像を予測し、
前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の1又は複数の第1の分割画像群と前記第2の分割画像との合成画像を生成し、
所定のタイミングで、生成された前記合成画像を表示装置に表示する
ことを含む処理をコンピュータが実行する画像処理方法。
(付記10)
前記画像に含まれる前記点検対象の特徴の各々が、前記複数の分割画像のいずれの分割画像間を跨ぐかを示す境界情報を生成することをさらに含む処理を前記コンピュータが実行し、
生成された前記境界情報に基づいて、前記第2の分割画像を予測する
付記9に記載の画像処理方法。
(付記11)
前記第1の分割画像群のうち直近で表示された分割画像から、前記点検対象の特徴を抽出することをさらに含む処理を前記コンピュータが実行し、
表示中の前記第1の分割画像群のうち直近で表示された分割画像の上辺、下辺、左辺、及び右辺のいずれかの辺のうち、抽出された前記点検対象の特徴が跨ぐ辺で隣接する分割画像を、前記第2の分割画像として予測する
付記9に記載の画像処理方法。
(付記12)
次に表示する分割画像の方向の指示を受け付け、受け付けた方向の分割画像と、前記第2の分割画像とが一致する場合に、生成された合成画像を表示し、一致しない場合には、前記第1の分割画像群と、受け付けた方向の分割画像との合成画像を生成させ、生成された合成画像を表示する付記9〜付記11のいずれか1項に記載の画像処理方法。
(付記13)
表示中の前記第1の分割画像群に含まれる前記点検対象の特徴のうち、ユーザにより指定された前記点検対象の特徴の延伸方向に基づいて、前記第2の分割画像を予測する付記9〜付記12のいずれか1項に記載の画像処理方法。
(付記14)
前記第2の分割画像が複数予測された場合、複数の前記第2の分割画像の各々と前記第1の分割画像群との合成画像をそれぞれ生成し、
ユーザにより表示方向の指示を受け付けたタイミングで、指示された前記表示方向に対応する前記第2の分割画像を含む合成画像を表示する
付記9〜付記13のいずれか1項に記載の画像処理方法。
(付記15)
前記画像において、前記点検対象の特徴が存在する領域を所定の画像サイズとなるまで四分木により分割画像に分割する付記9〜付記14のいずれか1項に記載の画像処理方法。
(付記16)
前記点検対象の特徴は、前記点検対象物に生じたひび割れである付記9〜付記15のいずれか1項に記載の画像処理方法。
(付記17)
点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割し、
前記画像に含まれる点検対象の特徴のうち、表示中の1又は複数の第1の分割画像群に含まれる前記点検対象の特徴の延伸方向に基づいて、次に表示する第2の分割画像を予測し、
前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の1又は複数の第1の分割画像群と前記第2の分割画像との合成画像を生成し、
所定のタイミングで、生成された前記合成画像を表示装置に表示する
ことを含む処理をコンピュータに実行させるための画像処理プログラム。
(付記18)
前記画像に含まれる前記点検対象の特徴の各々が、前記複数の分割画像のいずれの分割画像間を跨ぐかを示す境界情報を生成することをさらに含む処理を前記コンピュータに実行させ、
生成された前記境界情報に基づいて、前記第2の分割画像を予測する
付記17に記載の画像処理プログラム。
(付記19)
前記第1の分割画像群のうち直近で表示された分割画像から、前記点検対象の特徴を抽出することをさらに含む処理を前記コンピュータに実行させ、
表示中の前記第1の分割画像群のうち直近で表示された分割画像の上辺、下辺、左辺、及び右辺のいずれかの辺のうち、抽出された前記点検対象の特徴が跨ぐ辺で隣接する分割画像を、前記第2の分割画像として予測する
付記17に記載の画像処理プログラム。
(付記20)
点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割し、
前記画像に含まれる点検対象の特徴のうち、表示中の1又は複数の第1の分割画像群に含まれる前記点検対象の特徴の延伸方向に基づいて、次に表示する第2の分割画像を予測し、
前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の1又は複数の第1の分割画像群と前記第2の分割画像との合成画像を生成し、
所定のタイミングで、生成された前記合成画像を表示装置に表示する
ことを含む処理をコンピュータに実行させるための画像処理プログラムを記憶した記憶媒体。
10、210、310 画像処理装置
11、311 分割部
12、312 生成部
13、213 予測部
14 合成部
15 表示制御部
216、316 抽出部
21 全体画像
22 分割画像DB
23 ひび割れ情報DB
24 合成画像記憶部
30 表示装置
40 コンピュータ
41 CPU
42 メモリ
43 記憶部
50、250、350 画像処理プログラム

Claims (10)

  1. 点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割する分割部と、
    前記画像に含まれる点検対象の特徴のうち、表示中の1以上の第1の分割画像群に含まれる前記点検対象の特徴の前記画像における位置の延伸方向に基づいて、次に表示する第2の分割画像を予測する予測部と、
    前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の前記第1の分割画像群と前記第2の分割画像との合成画像を生成する合成部と、
    所定のタイミングで、前記合成部により生成された前記合成画像を表示装置に表示する表示制御部と、
    を含む画像処理装置。
  2. 前記画像に含まれる前記点検対象の特徴の各々が、前記複数の分割画像のいずれの分割画像間を跨ぐかを示す境界情報を生成する生成部を含み、
    前記予測部は、前記生成部により生成された前記境界情報に基づいて、前記第2の分割画像を予測する
    請求項1に記載の画像処理装置。
  3. 前記第1の分割画像群のうち直近で表示された分割画像から、前記点検対象の特徴を抽出する抽出部を含み、
    前記予測部は、表示中の前記第1の分割画像群のうち直近で表示された分割画像の上辺、下辺、左辺、及び右辺のいずれかの辺のうち、前記抽出部により抽出された前記点検対象の特徴が跨ぐ辺で隣接する分割画像を、前記第2の分割画像として予測する
    請求項1に記載の画像処理装置。
  4. 前記表示制御部は、次に表示する分割画像の方向の指示を受け付け、受け付けた方向の分割画像と、前記第2の分割画像とが一致する場合に、前記合成部で生成された合成画像を表示し、一致しない場合には、前記合成部に、前記第1の分割画像群と、受け付けた方向の分割画像との合成画像を生成させ、生成された合成画像を表示する請求項1〜請求項3のいずれか1項に記載の画像処理装置。
  5. 前記予測部は、表示中の前記第1の分割画像群に含まれる前記点検対象の特徴のうち、ユーザにより指定された前記点検対象の特徴の延伸方向に基づいて、前記第2の分割画像を予測する請求項1〜請求項4のいずれか1項に記載の画像処理装置。
  6. 前記合成部は、前記予測部により前記第2の分割画像が複数予測された場合、複数の前記第2の分割画像の各々と前記第1の分割画像群との合成画像をそれぞれ生成し、
    前記表示制御部は、ユーザにより表示方向の指示を受け付けたタイミングで、指示された前記表示方向に対応する前記第2の分割画像を含む合成画像を表示する
    請求項1〜請求項5のいずれか1項に記載の画像処理装置。
  7. 前記分割部は、前記画像において、前記点検対象の特徴が存在する領域を所定の画像サイズとなるまで四分木により分割画像に分割する請求項1〜請求項6のいずれか1項に記載の画像処理装置。
  8. 前記点検対象の特徴は、前記点検対象物に生じたひび割れである請求項1〜請求項7のいずれか1項に記載の画像処理装置。
  9. 点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割し、
    前記画像に含まれる点検対象の特徴のうち、表示中の1以上の第1の分割画像群に含まれる前記点検対象の特徴の前記画像における位置の延伸方向に基づいて、次に表示する第2の分割画像を予測し、
    前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の前記第1の分割画像群と前記第2の分割画像との合成画像を生成し、
    所定のタイミングで、生成された前記合成画像を表示装置に表示する
    ことを含む処理をコンピュータが実行する画像処理方法。
  10. 点検対象物を撮影した画像を、予め定めた大きさの複数の分割画像に分割し、
    前記画像に含まれる点検対象の特徴のうち、表示中の1以上の第1の分割画像群に含まれる前記点検対象の特徴の前記画像における位置の延伸方向に基づいて、次に表示する第2の分割画像を予測し、
    前記複数の分割画像が記憶された記憶部から前記第2の分割画像を読み出し、前記表示中の前記第1の分割画像群と前記第2の分割画像との合成画像を生成し、
    所定のタイミングで、生成された前記合成画像を表示装置に表示する
    ことを含む処理をコンピュータに実行させるための画像処理プログラム。
JP2018058704A 2018-03-26 2018-03-26 画像処理装置、方法、及びプログラム Active JP6947098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018058704A JP6947098B2 (ja) 2018-03-26 2018-03-26 画像処理装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018058704A JP6947098B2 (ja) 2018-03-26 2018-03-26 画像処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019169108A JP2019169108A (ja) 2019-10-03
JP6947098B2 true JP6947098B2 (ja) 2021-10-13

Family

ID=68108381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018058704A Active JP6947098B2 (ja) 2018-03-26 2018-03-26 画像処理装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6947098B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171839A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 画像表示装置、画像表示方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04288593A (ja) * 1991-02-14 1992-10-13 Mitsubishi Electric Corp 画像表示装置
JP5645730B2 (ja) * 2011-03-25 2014-12-24 公益財団法人鉄道総合技術研究所 コンクリート表面の閉合ひび割れ検出方法
US10460075B2 (en) * 2012-06-14 2019-10-29 Sony Corporation Information processing apparatus and method to move a display area of a needle biopsy image
JP2015220606A (ja) * 2014-05-16 2015-12-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP6633454B2 (ja) * 2016-05-26 2020-01-22 東急建設株式会社 変状部の検出方法

Also Published As

Publication number Publication date
JP2019169108A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US10424341B2 (en) Dynamic video summarization
JP5885309B2 (ja) ジェスチャ認識のためのユーザ・インタフェース、装置および方法
US20110273474A1 (en) Image display apparatus and image display method
JP6609057B2 (ja) 画像処理装置
KR20100051648A (ko) 디지털 영상의 영역들을 조작하는 방법
JP2007041866A (ja) 情報処理装置及び情報処理方法並びにプログラム
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
JP2015504220A (ja) Ocrキャッシュ更新
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
WO2019009214A1 (ja) 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
CN111768483A (zh) 信息处理设备和累积图像选择方法
US9298079B2 (en) Sonar preview mode
JP6947098B2 (ja) 画像処理装置、方法、及びプログラム
JP2023054206A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20220141441A1 (en) Image display apparatus, image display method, and image display program
TWI420381B (zh) 應用程式管理系統及方法,及其電腦程式產品
KR20180027917A (ko) 디스플레이장치 및 그 제어방법
JP5612457B2 (ja) 動画像表示装置と動画像オブジェクト探索システムと動画像表示方法とプログラム
JP5804817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5751898B2 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
US20220406018A1 (en) Three-dimensional display device, three-dimensional display method, and three-dimensional display program
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
CN110580274B (zh) 一种gis数据渲染方法
JP2022056219A (ja) 情報処理装置、情報処理方法及びプログラム
JP6790886B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

R150 Certificate of patent or registration of utility model

Ref document number: 6947098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150