JP2024040370A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2024040370A
JP2024040370A JP2024019398A JP2024019398A JP2024040370A JP 2024040370 A JP2024040370 A JP 2024040370A JP 2024019398 A JP2024019398 A JP 2024019398A JP 2024019398 A JP2024019398 A JP 2024019398A JP 2024040370 A JP2024040370 A JP 2024040370A
Authority
JP
Japan
Prior art keywords
image
display
information
deformation
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024019398A
Other languages
English (en)
Other versions
JP2024040370A5 (ja
Inventor
康平 岩渕
Kohei Iwabuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018156331A external-priority patent/JP2019053050A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2024040370A publication Critical patent/JP2024040370A/ja
Publication of JP2024040370A5 publication Critical patent/JP2024040370A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】点検業務に先立つ手間を少なくすることを課題とする。【解決手段】情報処理装置は、第1の対象画像の情報と、第1の対象画像から特定された変状の位置および大きさとを含む参照情報を生成し、その生成した1つ以上の参照情報からいずれかを選択し、その選択した参照情報に基づいて、第1の対象画像の少なくとも一部である参照画像を表示する。さらに情報処理装置は、参照画像の表示に関する第1の表示パラメータを取得し、その取得した第1の表示パラメータに基づいて、変状を点検する対象である対象画像の表示に関する第2の表示パラメータを設定する。そして情報処理装置は、その設定された第2の表示パラメータを基に表示パラメータを調整した対象画像を、参照画像と比較可能に表示デバイスに表示する。【選択図】図2

Description

本発明は、画像を用いた対象物の点検業務等に用いられる技術に関する。
構造物等の対象物を点検する点検業務では、現地へ赴き構造物の撮影が行われる。その後、事務所等に戻り、撮影した画像を仔細に観察してコンクリート表面のひび割れや浮き、剥離等の変状を判定して、点検帳票が作成される。ここで変状の判定とは、画像に写っている変状について、その種類と程度を特定する行為を指す。例えば、ある変状について、その変状が「ひび割れ」という種類であることと、その変状の程度が「ひび割れの幅が0.2(mm)」であることなどを特定する行為が変状の判定にあたる。
変状を判定する際には、同じ種類で同程度の変状であっても、被写体の材質や撮影環境などによって大きく見え方が変わるため、点検者は判定に関して一定の基準を持つことが難しい。また、点検対象である構造物が大きい場合、点検者が確認しなければならない画像の量は膨大になりがちである。以上のような理由のため、構造物の点検業務において、一貫した変状判定を続けることは難しく、判定結果にはばらつきが発生しやすい。
このような画像の観察による異常部の判定や診断における判断基準の一貫性維持にまつわる課題に対し、特許文献1には、電子部品の検査において、比較対象として参照する基準画像と検査画像とを比較する方法が開示されている。それに加えて、特許文献1では、基準画像から見え方を調節するパラメータを取得し、検査画像の撮影時に基準画像との見え方を合わせるように撮影を行うことで両者を比較しやすくすることも開示されている。また、特許文献2は、CT(コンピュータ断層撮影)画像から病変の見え方を調節するパラメータをプリセットとして保持し、そのプリセットを適用することで指定された関心領域の見え方を調節して、一貫した判断を行いやすくする技術が開示されている。
特開2016-65875号公報 特開2002-165786号公報
しかしながら、特許文献1に開示された技術では、異常部の種類や程度ごとに基準画像を用意しなければならないため手間が掛かる。また、特許文献2に開示された技術においても予めパラメータのプリセットを用意しておかなければならないため手間が掛かる。
そこで、本発明は、点検業務に先立つ手間を少なくすることを可能にすることを目的とする。
本発明は、第1の対象画像の情報と、前記第1の対象画像から特定された変状の位置および大きさとを含む参照情報を生成する生成手段と、前記生成手段によって生成された1つ以上の前記参照情報からいずれかを選択する選択手段と、前記選択手段によって選択された前記参照情報に基づいて、前記第1の対象画像の少なくとも一部である参照画像を表示する表示手段と、前記参照画像の表示に関する第1の表示パラメータを取得する第1の取得手段と、前記第1の取得手段によって取得された前記第1の表示パラメータに基づいて、前記変状を点検する対象である対象画像の表示に関する第2の表示パラメータを設定する設定手段と、を有し、前記表示手段は、前記設定手段によって設定された前記第2の表示パラメータを基に表示パラメータを調整した前記対象画像を、前記参照画像と比較可能に表示デバイスに表示することを特徴とする。
本発明によれば、点検業務に先立つ手間を少なくすることが可能となる。
実施形態の情報処理装置の全体構成を示す図である。 第一の実施形態の構造物点検処理の機能ブロック図である。 第一の実施形態の参照情報を格納するテーブルを示す図である。 第一の実施形態の画面構成を説明する図である。 第一の実施形態の画面構成の代替例を説明する図である。 参照情報選択に応じた画像調整処理のフローチャートである。 参照情報生成処理を説明するフローチャートである。 第二の実施形態の構造物点検処理の機能ブロック図である。 対象画像へのユーザ操作に応じた画像調整処理のフローチャートである。 第三の実施形態の構造物点検処理の機能ブロック図である。 第三の実施形態の参照情報を格納するテーブルを示す図である。 第三の実施形態の画面構成を説明する図である。 第三の実施形態の画像調整処理のフローチャートである。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。
以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明はそれらの構成に限定されるものではない。本実施形態では、例えば建築物などの構造物を点検の対象物として撮影した画像を用い、その構造物における変状を点検する構造物点検業務を例に挙げて説明する。
<第一の実施形態>
図1は、第一の実施形態にかかる情報処理装置の概略的なハードウェア構成図である。CPU101は、コンピュータシステムの制御を司る中央演算装置である。CPU101が、制御プログラムや本実施形態にかかる処理プログラムに基づいて、情報の演算や加工、各ハードウェアの制御等を実行することにより、後述する構造物点検処理を含む各種処理、各機能ブロックの構成を実現する。RAM102は、ランダムアクセスメモリであり、CPU101の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ROM103は、CPU101の動作処理手順を規定する制御プログラムや本実施形態にかかる処理プログラムを記録しているリードオンリーメモリである。ROM103には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト(OS)を記録したプログラムROMとシステムを稼動するために必要な情報などが記録されたデータROMとが含まれる。ROM103の代わりに後述のHDD107を用いる場合もある。NETIF104は、ネットワークインターフェースであり、ネットワークを介して送受信される画像などのデータの入出力制御を行う。本実施形態にかかるプログラムは、NETIF104を介してダウンロードされてHDD107等に記録されてもよい。表示デバイス105は、例えばCRTディスプレイや液晶ディスプレイ等である。入力デバイス106は、ユーザからの操作指示を受け付けるための操作入力部であり、例えば、タッチパネル、キーボード、マウスなどである。HDD107は、ハードディスクドライブであり、記憶装置である。HDD107は、アプリケーションプログラムや、画像などのデータ保存用に用いられる。バス108は、上述した各ユニット間を接続するための入出力バス(アドレスバス、データバス、及び制御バス)である。
図2は、本実施形態の情報処理装置において、点検の対象物である構造物の撮影画像を用いて、その構造物の点検を行う際の構造物点検処理を実現する機能ブロックを示した図である。本実施形態では、この図2の機能ブロックによる構造物点検処理を実行することで、構造物における変状の判定基準のばらつきを抑制しつつ、点検業務に先立つ手間を少なくすることをも可能としている。図2に示す各機能ブロックによる構造物点検処理は、例えば図1のCPU101が本実施形態にかかるプログラムを実行および各部を制御することにより実現される。なお、図2に示す機能ブロックは、ハードウェア構成により実現されてもよいし、ソフトウェア構成により実現されてもよく、またハードウェア構成とソフトウェア構成の組み合わせにより実現されてもよい。このことは後述する各実施形態の機能ブロックにおいても同様である。
対象画像入力部201は、NETIF104またはHDD107から、点検対象の構造物を撮影した画像(以下、対象画像と記す)を取得する。
対象画像表示部202は、対象画像入力部201に入力された対象画像の部分領域を、表示デバイス105の画面の所定の表示領域に表示させる。部分領域は、ユーザが入力デバイス106を介してスクロールやズームイン・ズームアウト等により対象画像のなかで領域指定を行うことにより決定される。
変状指定部203では、対象画像表示部202にて表示された対象画像の部分領域内の変状を、入力デバイス106を介したユーザからの入力に基づいて指定する。本実施形態において、変状とは、構造物の表面に発生する、例えば、ひび割れ、浮き、剥離、エフロレッセンス、コールドジョイント、ジャンカ(豆板)、表面気泡、砂筋、錆汁などである。本実施形態において、変状の指定は、対象画像内で変状と思われる領域について、ユーザが入力デバイス106を介して矩形や楕円形で囲むこと、その輪郭をなぞることなどにより行われる。変状がひび割れのように線状である場合、その線状の変状の上をなぞることで変状が指定されてもよい。変状指定部203は、そのようにして指定された変状を、変状を囲う矩形や、変状の輪郭、変状自体をなぞったポリラインとして表す情報を、対象画像表示部202に送る。これにより、対象画像表示部202は、それら変状を囲う矩形、変状の輪郭、ポリラインなどを対象画像上に表示する。なお、ポリラインはデータ量が多くなりがちであるため、変状指定部203は、ポリラインの外接矩形を算出し、変状領域を矩形として表す情報を、対象画像表示部202に送ってもよい。このようにして矩形により指定された変状は、例えば、その矩形の左上の座標とサイズ(幅と高さ)により表され、これにより、当該対象画像内において一意に位置と範囲の特定が可能となる。本実施形態においては、前述のように矩形で変状を囲むことによって変状を指定することとする。対象画像の部分領域や、その対象画像内で変状を指定する矩形についての具体的な表示例等は後述する。
変状判定部204は、変状指定部203により変状の指定がなされた対象画像の部分領域に対して、ユーザが入力デバイス106を介して入力した変状判定の結果を取得する。本実施形態において、ユーザが入力する変状判定の結果には、例えば、変状の種類とその変状の程度が含まれる。ユーザによる変状判定と、その判定結果の具体例については後述する。
参照情報表示部207は、後述する参照情報保持部206が管理している参照情報を、表示デバイス105に表示する。参照情報とは、対象画像の変状判定を行う際に参考となる参照画像に対して、その参照画像の少なくとも変状の種類およびその変状の程度を表す情報を関連付けた情報である。本実施形態において参照画像には、対象画像のうち、変状指定部203によって指定された変状を含む部分画像を含む。参照情報には、部分領域において変状判定部204によって判定された変状判定の結果を示す情報が含まれる。また参照画像に関連付けられる情報には、後述の表示パラメータ取得部205によって、参照情報保持部206から取得された表示パラメータや、変状指定部203で指定された部分領域から取得された表示パラメータが含まれていてもよい。本実施形態の場合、複数の参照情報が、例えばHDD107やNETIF104を介した外部の記録装置等に保持されており、参照情報保持部206は、それら保持された複数の参照情報を管理している。
参照情報選択部209は、参照情報保持部206が管理している複数の参照情報の一覧を、表示デバイス105の所定の表示領域に表示させ、ユーザに対し、その中の一つを選択させる。一覧表示では、参照情報に基づいて参照画像を取得し、その参照画像に適切なトリミング、あるいは縮小処理を施して作成したサムネイル画像を並べて表示してもよいし、参照画像を一意に特定可能な文字列を並べて表示してもよい。参照情報の一覧の具体的表示例については後述する。
また、参照情報の一覧表示の際には、各参照情報に含まれる変状の種類や程度によって、それぞれ参照情報をグルーピングしたり、ソートしたり、フィルタリングしたりして表示してもよい。この場合、参照情報選択部209は、複数の参照情報を、各々の参照情報の種類や程度を基にグルーピングするグループ化機能、参照情報の種類や程度を基にソートするソート機能、参照情報の種類や程度を基にフィルタリングするフィルタ処理機能を有する。
そして、一覧表示のなかから、入力デバイス106を介してユーザにより一つの参照情報が選択されると、参照情報表示部207は、選択された参照情報に基づいて参照画像を取得し、表示デバイス105の所定の表示領域に表示させる。参照画像の表示の具体例については後述する。
ここで、本実施形態の情報処理装置は、対象画像の部分領域について変状指定と変状判定が行われる場合、前述した対象画像の部分領域と参照画像とを、ユーザが目視で比較可能となるように表示デバイス105に表示する。本実施形態の情報処理装置は、これら対象画像の部分領域と参照画像とを比較可能に表示する際に、対象画像と参照画像の表示上の見え方(表示の仕方)を一致させるような調整処理を行う。第一の実施形態では、対象画像の表示の仕方を、参照画像の表示の仕方に合わせることにより、対象画像と参照画像の表示上での見え方を一致させるような調整処理を実現している。
このため、表示パラメータ取得部205は、参照情報選択部209によって選択された参照情報に基づく参照画像から表示パラメータを取得する。また、選択された参照情報に既に表示パラメータが含まれている場合、表示パラメータ取得部205は、参照情報保持部206から、その選択された参照情報に含まれている表示パラメータを取得する。本実施形態において、表示パラメータとは、見え方が異なる画像同士の表示の仕方を揃え、表示上での見え方を合わせるために使用されるパラメータのことである。
本実施形態は、対象画像と参照画像を比較可能に表示することで、参照画像において既に特定されている変状と、対象画像に含まれる判定前の変状の候補との比較が容易となり、対象画像における変状を判定する作業が支援されるものである。従って、本実施形態において「表示上での見え方を合わせる」とは、対象画像と参照画像をより比較しやすいように、それぞれの表示上の環境を同等に揃えることである。例えば、両者のズーム倍率を一致させる。本実施形態では、参照画像には対象画像のうち既に変状が判定されている部分画像を含むので、対象画像のズーム倍率と参照画像のズーム倍率を一致させることで、対象画像と参照画像のそれぞれに同じ幅の変状が写っていた場合、それら表示上も同じ幅に見える。表示パラメータの詳細については、図6において具体例を用いて後述する。そして、表示パラメータ取得部205は、取得した表示パラメータを表示パラメータ適用部208に送る。
表示パラメータ適用部208は、表示パラメータを対象画像の部分領域に対して適用することにより、表示パラメータの取得元である画像(参照画像)と表示パラメータの適用先である画像(対象画像)との見え方を一致させるような画像の調整を行う。表示パラメータの適用の具体例については後述する。
また本実施形態の参照情報保持部206は、対象画像の部分領域の変状指定と変状判定が行われた場合、その部分領域に対し、その変状判定結果(変状の種類および程度等)を関連付けた情報を、新たな参照情報として生成および管理する。そして、参照情報保持部206は、その新たに生成した参照情報を、例えばHDD107やNETIF104を介した外部の記録装置等に保持させる。すなわち、本実施形態では、ユーザによる変状の判定がなされた対象画像内の部分領域に関する参照情報は、その後さらに、この対象画像の変状判定が行われる際の参照情報として使用可能となされる。
図3は、参照情報保持部206が、保持している参照情報を管理するのに用いる参照情報テーブルを例示した図である。以下では、構造物点検で扱う変状のうち、特にひび割れを対象とした例を挙げて説明を行う。
図3において、参照情報テーブルの参照ID項目301には、参照情報テーブルに格納された参照情報を一意に識別するための参照IDが記述される。
座標項目302には、対象画像内において、変状の領域を表す矩形の相対座標が記述される。本実施形態において座標項目302に記述される座標としては、対象画像内の矩形の左上の相対座標を用いることを想定しているが、これに限らず矩形の中心座標や右下の座標であってもよい。
サイズ項目303には、変状の領域を表す矩形のサイズが記述される。ここで、矩形のサイズは、矩形の幅と高さからなる。
種類項目304には、変状の種類を表す文字列が記述される。程度項目305には、変状の程度を表す値が記述される。本実施形態の例においては、変状の程度を表す値として、ひび割れの幅が記述されている例を挙げている。
表示パラメータ項目306には、表示パラメータが記述される。表示パラメータは、座標項目302の座標及びサイズ項目303のサイズで特定される参照画像に対して、前述したように他の画像(本実施形態の場合は部分領域)の見え方を合わせるために使用される。本実施形態では、表示パラメータの一例として、ズーム倍率を採用した場合を例に挙げて説明する。
図4(a)および図4(b)は、本実施形態の情報処理装置において構造物点検処理を実行している際の表示デバイス105における表示の一例を説明する図である。なお、図4(a)と図4(b)の差異は参照情報一覧の表現方法が異なっていることである。
対象画像読込ボタン401は、対象画像入力部201によって対象画像を読み込む際にユーザにより操作されるボタンである。
対象画像表示領域402は、対象画像表示部202によって対象画像が表示される表示領域である。ユーザは、1つの対象画像を取得したあと、スクロールやズームイン・ズームアウトにより、表示領域402に表示される部分領域を動かしながら、変状を判定する作業を行い、対象画像の必要な範囲を点検することができる。例えば、スクロールバー409およびスクロールバー410は、部分領域を動かす操作に利用できる。このほか、対象画像表示領域402上での所定操作(例えば右クリック、ダブルタップ等)に応じて、
ズーム倍率、明度調整値、色相調整値、ガンマ値などの表示パラメータを変化させるためのインタフェースを表示してもよい。
参照画像表示領域403は、参照情報表示部207によって参照画像が表示される表示領域である。
変状領域指示矩形404は、変状指定部203によって指定された変状の領域を表した矩形である。
変状判定ボタン405は、変状領域指示矩形404で示されている変状について、変状判定部204によって変状の種類および程度をユーザが入力する際に操作されるボタンである。図示は省略しているが、変状判定ボタン405が押されたタイミングで、情報処理装置は、変状の種類と程度を入力するためのダイアログウィンドウ等を画面上に表示して、ユーザにそれらの入力を促す。
図4(a)の参照情報一覧領域406は、参照情報保持部206が管理している参照情報の一覧が表示される領域である。これにより、ユーザは、一覧から参照情報を選択することができる。
参照サムネイル画像407は、参照画像を表すサムネイル画像であり、参照情報に基づいて取得した参照画像を適切にトリミング、あるいは縮小あるいは拡大することで作成されている。図4(a)の例は、変状が判定された時に、変状指定部203によって指定されていた変状領域指示矩形404に相当する部分画像をトリミングし、縮小したサムネイル画像が参照情報一覧領域406に表示される。
図4(a)には、参照情報に含まれる変状の種類と程度(この例ではひび割れのひび幅)に基づいて、参照サムネイル画像407がグルーピングされて、参照情報一覧領域406に一覧表示された例を示している。
図4(b)の参照情報一覧領域408は、参照情報保持部206が管理している参照情報の一覧が表示される領域である。図4(a)に例示した参照情報一覧領域406には参照画像を表すサムネイル画像が一覧表示されているが、図4(b)の参照情報一覧領域408には、参照画像を一意に特定可能な文字列が一覧表示されている。この参照画像を一意に特定可能な文字列としては、例えば「変状_(参照ID)」のような文字列を挙げることができる。
図4(b)には、参照情報に含まれる種類と程度(ひび割れのひび幅)に基づいて、参照画像を一意に特定可能な文字列がグルーピングされて、参照情報一覧領域408に一覧表示された例を示している。
図4(a)と図4(b)では、対象画像表示領域402と参照画像表示領域403をサイドバイサイドに並んで表示させることで両者を比較可能に表示した例を挙げたが、例えば図5のような表示がなされてもよい。図5は、対象画像表示領域402と参照画像表示領域403を、画面上の同一領域に(同じ表示領域)に両者を重畳させて配置し、両者の可視状態を切り替えることによって比較可能とした表示例を示している。
図5の例において、点検・参照画像表示領域501は、対象画像表示領域402と参照画像表示領域403を切り替えて表示するための表示領域である。点検・参照画像表示領域501における対象画像表示領域402と参照画像表示領域403の切り替え表示は、例えば、点検・参照画像切替ボタン502のようなトグルボタンの切り替え操作に応じて行われる。なお、図5において、対象画像読込ボタン401、変状判定ボタン405、参照情報一覧領域406、参照サムネイル画像407は、図4(a)と同様のものである。
以下、図6を用いて、対象画像と参照画像の表示の仕方を揃える処理(見え方を合わせる処理)について説明する。また、図7を用いて、ユーザによる変状判定結果に基づいて、新たな参照情報を生成する処理について説明する。
図6は、本実施形態の情報処理装置において、参照情報一覧の中から参照情報が選択された場合に実行される処理を説明するフローチャートである。本実施形態において参照情報は、後述の図7で説明するように、対象画像表示部202にて表示された対象画像内の変状に基づいて生成されたものであるとする。以下の図6や図7のフローチャートに示す処理は、図1のCPU101が本実施形態にかかるプログラムを実行することにより実現されるとする。また、以下の説明では、ステップS601~ステップS604、ステップS701、ステップS702をそれぞれS601~S604、S701、S702のように略記する。これらことについては後述する他のフローチャートにおいても同様とする。
S601において、参照情報選択部209は、前述のような参照情報一覧領域(406または408)のなかからユーザによって何れかが選択されると、その選択に応じた参照情報を、参照情報保持部206から取得する。
次にS602において、表示パラメータ取得部205は、S601で取得された参照情報から表示パラメータを取得する。ここでは表示パラメータの一例として、前述のズーム倍率が取得される。
次にS603において、参照情報表示部207は、S601で取得された参照情報に基づいて、参照画像表示領域403に参照画像を表示させる。このとき、参照情報表示部207は、先ず、選択された参照情報から変状を囲う矩形の左上の座標、サイズを取得する。そして、参照情報表示部207は、参照情報の生成元である画像(つまり対象画像表示部202によって表示されている対象画像)から、矩形の左上の座標とサイズを基に矩形画像を切り出す。さらに、参照情報表示部207は、切り出した矩形画像に対し、S602で表示パラメータ取得部205により取得されたズーム倍率を適用して、参照情報が生成された際の変状判定の時点の表示の仕方を再現する。表示の仕方を再現は、その切り出された矩形画像に対し、ズーム倍率に基づいて作成したスケール変換行列を適用することで実現できる。そして、参照情報表示部207は、その表示の仕方を再現した矩形画像を、参照画像として参照画像表示領域403に表示する。
なお本実施形態では、参照情報が生成された際の変状を囲う矩形(変状領域指示矩形404の内部)の表示の仕方を再現した矩形画像が、参照画像表示領域403よりも小さい場合は、変状を囲う矩形の周囲も含めて表示する。その結果として、参照サムネイル画像407が選択された場合に、参照画像表示領域403に表示される参照画像は、対象画像のうち、その変状が判定された時に、対象画像表示領域402の全体に表示されていた部分となる。ただし、これに限らない。例えば、参照情報が生成された際の変状を囲う矩形が参照画像表示領域403の中心に位置するように表示してもよい。また、変状を囲う矩形が参照画像表示領域403よりも小さい場合は、矩形の外側を空白としても構わない。
次にS604において、表示パラメータ適用部208は、対象画像表示部202にて表示されている対象画像に対して、S602で表示パラメータ取得部205にて取得されたズーム倍率を適用することで、参照画像と同様の表示の仕方を再現する。これにより、対象画像と参照画像の見え方(表示パラメータ)を一致させる画像の調整が実現されることになる。この場合も前述同様、対象画像に対して、ズーム倍率に基づいて作成したスケール変換行列を適用すればよい。選択された参照画像が対象画像の部分画像である場合、対象画像のズーム倍率と参照画像のズーム倍率を一致させることで、対象画像と参照画像のそれぞれに写る同じ幅の変状は、表示装置上での見た目の幅も一致する。ただし、本実施形態では、参照画像を選択し、対象画像の表示パラメータが情報処理装置によって変更された後であっても、ユーザは、スクロールやズームイン・ズームアウトにより、表示される部分領域を動かし、ズーム倍率を変更することが可能である。例えば、参照画像と同じズーム倍率で表示されることで、参照した変状と同程度の幅を持つ変状が対象画像に含まれることを確認した後、任意にズームアウトすることで、その変状の長さを確認することもできる。そして、任意にズームアウトをした状態で変状の判定が行われた場合、その判定に伴って新たに生成される参照画像の参照情報としては、ズームアウトにより微調整されたズーム倍率が保持される。第1の実施形態では、対象画像の表示パラメータがユーザによって変更された場合、その変更は参照画像に影響しない。
なお、本実施形態においては、対象画像と参照画像についてズーム倍率を揃えることによって両者の見え方を合わせる例を挙げたが、ズーム倍率以外の表示パラメータを利用してもよい。この場合の表示パラメータとしては、例えば、明度調整値、色相調整値、ガンマ値などが考えられる。また、用いられる表示パラメータは、それらズーム倍率、明度調整値、色相調整値、ガンマ値のいずれか一つだけでなく、それらの組み合わせであってもよい。
例えば、表示パラメータとして明度調整値を用いる場合、S602において、表示パラメータ取得部205は参照画像から明度を取得して明度調整値を生成する。そして、S604において、表示パラメータ適用部208は、その明度調整値を用いて、対象画像の明度を調整すればよい。また、例えばHSV色空間が使われているような場合、RGBの内、最大のものが明度調整値Vとなり、この場合の表示パラメータ適用部208は、参照画像の明度調整値Vrに対し、対象画像の明度調整値Viを合わせるようにする。なおこのとき、対象画像の明度調整値Viの変化に従って、Vi以外の値(例えばRがViならば、GおよびB)も変化前のRGBの比率を崩さないように変化させる必要がある。いずれの表示パラメータが採用される場合も、対象画像と表示画像を表示する環境を揃え、参照画像において既に特定されている変状と、対象画像に含まれる判定前の変更の候補とをより比較しやすくすることができる。
本実施形態では、参照情報一覧から参照情報が選択されるたびに以上のような処理が行われる。
図7は、本実施形態の情報処理装置において、変状判定ボタン405が押されたときに実行される、新たな参照情報の生成処理を説明するフローチャートである。
S701において、変状判定部204は、変状判定ボタン405が押された場合、その時に変状判定された対象画像の部分領域と、変状の種類及び程度を示す情報とを、新たな参照情報として生成して、参照情報保持部206に格納する。この場合、参照情報保持部206には、前述した図3の参照情報テーブルの各項目に参照情報を記述する。また、この時の参照情報には、表示パラメータ取得部205によって取得された、現時点の対象画像のズーム倍率が含まれる。
なお、表示パラメータの種類によっては、必ずしもこのタイミングで表示パラメータの取得・保存を行わなくてもよい。例えば、前述の表示パラメータの一例として説明した明度調整値の場合、参照情報の生成時に明度調整値を算出し、参照情報の一部として保存してもよいが、参照画像が選択されたタイミングで明度調整値を算出してもよい。
次にS702において、参照情報表示部207は、S701で生成された参照情報に基づいて生成した表示要素を、例えば図4(a)の参照情報一覧領域406に追加表示する。具体的には、参照情報表示部207は、新たな参照情報に基づいて生成された参照画像のうち変状部分を例えばサムネイル画像のサイズまでリサイズし、参照情報一覧領域406に追加表示する。または、参照情報表示部207は、参照情報を示す参照IDに基づく適当な文字列を生成し、例えば図4(b)の参照情報一覧領域408に追加表示してもよい。
なお、図7のフローチャートは、変状判定ボタン405が押されたタイミングだけでなく、ユーザが変状を指定したタイミングなど任意のタイミングで起動してもよい。
ここで、図14を参照して、本実施形態の情報処理装置において構造物点検処理が実行される際の、表示デバイス105における表示状態の遷移の例を説明する。
図14(a)~(d)は、図4(a)に示した画面を使って、ユーザが構造物点検の作業を行うことで生じる表示状態の変化を時系列に表している。
図14(a)では、図4(a)で示したように、ユーザが対象画像表示領域402の中に、変状指定領域404を設定している。
ここで、参照画像としてはサムネイル画像1400が選択された状態にあり、その結果、参照画像表示領域403には、サムネイル画像1400に基づく参照画像が表示されている。図14(a)では、選択された状態にあるサムネイル画像1400の外枠が太く縁どられることで、他のサムネイル画像を識別可能に明示されている。さらに図14(a)では、ユーザにより判定ボタン405が操作され、変状領域指示矩形404の内側が幅5.0mmのひびとして登録されたとする。その結果、サムネイル画像1401が、参照情報一覧領域406に加わる。
図14(b)は、さらにユーザが作業を進めるにあたり、参照情報一覧領域406から幅0.2mmの変状としてグルーピングされているサムネイル画像1402を選択した状態を表す。選択された状態にあるサムネイル画像1402の外枠が太く縁どられることで、他のサムネイル画像を識別可能に明示されている。
参照画像表示領域403には、選択されたサムネイル画像1402に基づく参照画像が表示されている。
ここで、参照画像表示領域403に表示された参照画像全体のうち、サムネイル画像1402として切り出されている領域は、右下に当たる部分である。参照画像が変わったことに応じて、対象画像表示領域402では、対象画像のズーム倍率が変更され、図14(a)の状態よりもより拡大されている。
図14(b)で対象画像として表示されているのは、図14(a)で表示されていた対象画像のうち変状指定領域404で選択されている部分の下側にあたる。ユーザは、例えば、図14(a)の状態(幅0.5mmの変状が参照されていた)に比べて、より細い幅の変状に着目して作業を行いたい場合に、幅0.2mmの変状と比較するために、図14(b)のようにサムネイル画像1402を選択する。情報処理装置は、サムネイル画像1402が選択されたことに応じて、対象画像をズームインする。この結果、ユーザは、対象画像のうち新たに着目した細かい変状と幅0.2mmの変状とを同じズーム倍率で容易に比較可能となる。
図14(c)は、ユーザが、対象画像表示領域402の中に、新たに変状指定領域1403を設定し、判定ボタン405を押し、幅0.2mmの変状を登録した状態である。これにより、参照情報一覧領域406のうち幅0.2mmのグルーピングの中に、サムネイル画像1403が加わる。サムネイル画像1404は、対象画像のうち変状指定領域1403で囲われた部分が切り出され、縮小された画像となっている。
このように本実施形態では、参照情報一覧領域406から、サムネイル画像が選択されるたびに、対象画像表示領域402内の表示パラメータ(例えばズーム倍率)が変更される。また、対象画像において新たに変状が判定されるたびに、参照情報が生成される。その際、表示状態においては、参照情報一覧領域406に参照情報を一意に特定可能な文字列が追加される。
なお、図14(b)および図14(c)では、幅0.2mmの変状の参照画像を参照しながら、対象画像において幅0.2mmの変状を判定する作業を例示したが、必ずしも同じ幅の変状を参照していることは必要ない。例えば幅0.5mmの変状の参照画像と比較したとき、対象画像の変状が参照画像の変状より細いことを確認し、結果として幅0.2mmの変状を判定するといったこともあり得る。つまり、参照情報一覧に、新しくサムネイル画像が追加される時、必ずしも選択された状態にあるサムネイル画像と同じグループに追加されるとは限らない。
本実施形態において新たに生成された参照情報は、その後に行われる変状判定の作業において、参照するために選択することができる。
例えば、図14(d)は、図14(a)において新たに追加されたサムネイル画像1401が選択された状態を表す。
参照画像表示領域403には、図14(a)において変状指定領域404に対する変状判定が行われた時に表示されていた対象画像の部分画像が、参照画像として表示されている。またこのとき、対象画像表示領域402では、図14(a)において変状指定領域404に対する変状判定が行われた時に表示されていた対象画像のズーム倍率で対象画像が表示される。その結果、図14(a)及び図14(d)では、対象画像表示領域402と参照画像表示領域403に表示される画像の見た目が全く同じになっている。
ただし、本実施形態ではこれに限らない。例えば、参照画像表示領域403では、選択されているサムネイル画像1401で切り出されている領域が中心となるような参照画像が表示されてもよい。また例えば、対象画像表示領域402では、ズーム倍率が変更される直前に表示されていた部分画像を中心とするように表示される部分の位置合わせが行われてもよい。
このように、第一の本実施形態においては、ユーザの変状判定結果に基づいて、対象画像から新たな参照画像を生成することができる。これにより、第一の実施形態によれば、変状の種類や程度ごとにあらかじめ参照画像を用意しておく手間を省くことが可能となる。また、第一の実施形態においては、対象画像と、過去に判定した変状画像(参照画像)との見え方の条件(環境)を揃えることができる。具体的には、対象画像と、対象画像の一部である参照画像を、より比較しやすい状態で表示するために、それぞれの表示パラメータを一致させる。これにより、第一の実施形態によれば、過去に判定した変状画像(参照画像)における変状を参考にして新たな変状を判定できるようになり、変状判定に一貫性を持たせることが可能となる。
<第二の実施形態>
前述の第一の実施形態では、ユーザによって選択された参照情報に基づいて、対象画像の見え方の条件が揃えられている。また、対象画像に対してユーザが見え方を変更する操作を加えた場合、その影響は参照画像に及ばなかった。これに対し、以下の第二の実施形態では、対象画像表示領域402に対するズーム倍率の変更等のユーザ操作により、対象画像の表示の仕方が変化した場合に、参照画像の表示態様にその変化を反映する場合の動作について説明する。つまり、第二の実施形態では、対象画像に基づいて参照画像の見え方の条件(環境)を揃えるために、表示パラメータを調整する処理が行われる。
図8は、第二の実施形態の情報処理装置において構造物点検処理を実現する機能ブロックを示した図である。対象画像入力部201~変状判定部204、参照情報保持部206~参照情報選択部209は、図2の対応した各部と同様であるため、それらの説明は省略する。第二の実施形態における表示パラメータ取得部801は、対象画像または対象画像表示部202から表示パラメータを取得する。
また、図9(a)と図9(b)は、第二の実施形態の情報処理装置における構造物点検処理において、ユーザ操作により対象画像の表示の仕方が変化した場合に実行される2種類の処理を表すフローチャートである。以下の図9(a)と図9(b)のフローチャートの処理は、ユーザによって対象画像表示領域402のパラメータが変更されたことをきっかけに開始される。
図9(a)のフローチャートは、対象画像において変更された表示パラメータを、選択されている1つの参照画像の表示パラメータとして適用することで両者の見え方を合わせる処理を表す。
S901において、表示パラメータ取得部801は、対象画像表示部202に設定された現在の表示パラメータを取得する。第2の実施形態でも、表示パラメータは、例えばズーム倍率、明度調整値、色相調整値、ガンマ値等である。
次にS902において、表示パラメータ適用部208は、参照情報表示部207に表示された参照画像のズーム倍率を、S901で取得したズーム倍率に変更する。
ここで、図15を参照して、図9(a)のフローチャートの処理が実行される際の、表示デバイス105における表示状態の遷移の例を説明する。図15(a)~(b)は、第2の実施形態において、ユーザが構造物点検の作業を行う場合に図9(a)のフローチャートの処理が実行されることで生じる表示状態の変化を時系列に表している。
図15(a)は、図14(b)と同じ状態を表す。
参照画像表示領域403には、選択状態にあるサムネイル画像1402に基づいた参照画像が表示される。
また、図15(a)では、対象画像表示領域402の中に、ズーム倍率変更ボタン1501が表示されている。ズーム倍率変更ボタン1501は、例えば、対象画像表示領域402内でのクリックやダブルタップなどの所定の操作に応じて呼び出し可能な、表示パラメータの操作用インタフェースの一例である。ユーザは、ズーム倍率変更ボタン1501を操作することで、対象画像のズーム倍率を任意に変更することができる。
図15(b)は、対象画像表示領域402の内部がユーザ操作に応じてさらにズームインされた状態を表す。本実施形態では、対象画像に対するユーザ操作があったことに応じて、参照画像表示領域403においても、対象画像と同じ表示パラメータの変化が反映される。
図15(b)の場合、参照画像もズームインされている。本実施形態では、特に参照画像にズームイン(拡大)の処理を加える場合は、参照画像中の変状を見失うことがないように、表示される部分領域に必ず既に判定された変状が含まれるように位置合わせする。その結果、図15(b)の参照画像表示領域403には、サムネイル画像1402に切り出されている変状が拡大されて表示されている。
図9(b)のフローチャートは、対象画像において変更された表示パラメータを、選択されている参照画像だけでなく、表示情報一覧に含まれる全ての参照情報に反映の表示パラメータとして適用する処理を表す。ただし、図9(b)の説明において、参照情報一覧は、各参照情報に基づいて得られる参照画像を、トリミングせずに縮小あるいは拡大したサムネイル画像から成ることとする。
図9(b)のS901の処理は、図9(a)のS901の処理と同様であるため説明は省略する。
次にS903において、参照情報選択部209は、参照情報保持部206に格納されているすべての参照情報について、後段のS904、S905の処理が完了したかを判定する。参照情報選択部209は、S903において処理が完了していると判定した場合には図9(b)のフローチャートの処理を終了する。一方、参照情報選択部209は、S903において処理が完了していないと判定した場合にはS904に処理を進める。
S904に進むと、参照情報選択部209は、参照情報保持部206から、後段のS904、S905の処理が完了していない参照情報を一件取得する。
次に、S905において、参照情報選択部209は、S904で取得した参照情報を基に、S603で説明したような方法で参照画像を得る。そして、参照情報選択部209は、その参照画像に対して、S901で取得したズーム倍率に基づいて作成したスケール変換行列を適用し、その後、サムネイル画像のサイズまでリサイズする。ただし、この方法の場合、二度のリサイズ処理を行わなければならず、計算量が増加する。このため、S901で取得したズーム倍率と、参照画像とサムネイル画像のサイズ比から求めたサムネイル化のためのスケール係数を合わせて、一度のリサイズ処理で済むようにしてもよい。
なお、図9(b)のフローチャートの処理の完了後に、参照情報一覧の中からサムネイル画像が選択されると、図9(a)のフローチャートの処理が実行されるようにしてもよい。
ここで、図15(c)及び図15(d)を参照して、図9(b)のフローチャートの処理が実行される際の、表示デバイス105における表示状態の遷移の例を説明する。
図15(c)~(d)は、第2の実施形態において、ユーザが構造物点検の作業を行う場合に図9(a)のフローチャートの処理が実行されることで生じる表示状態の変化を時系列に表している。
図15(c)において、対象画像表示領域402の状態は図15(a)と同じである。参照画像表示領域403には、選択状態にあるサムネイル画像1503に基づいた参照画像が表示されている。ここで、サムネイル画像1503に対応する参照画像は、図15(a)におけるサムネイル画像1402と同じである。ただし、図15(c)では、参照情報一覧領域406に表示されているサムネイル画像が、参照画像そのものを縮小したものになっている。ユーザは、この場合にも、ズーム倍率変更ボタン1501を操作することで、対象画像のズーム倍率を任意に変更することができる。
図15(d)は、対象画像表示領域402の内部がユーザ操作に応じてさらにズームインされた状態を表す。本実施形態では、対象画像に対するユーザ操作があったことに応じて、参照情報一覧領域406に表示されているサムネイル画像のそれぞれがズームインされる。図15(d)の場合、さらに図9(a)の処理を施すことで、参照画像もズームインされている。
このように、第二の実施形態の情報処理装置によれば、対象画像に対するユーザ操作に基づいて、参照画像の見え方を常に対象画像と合うように揃えることができ、これによりユーザは迅速に変状を判定することが可能となる。
<第三の実施形態>
前述の第一の実施形態では、表示中の対象画像から参照画像を生成していた。これに対して、第三の実施形態においては、過去に生成された参照情報を読み込む(外部からの読込も含む)構成とする。ここで、本来、変状部分の撮影にあたっては、所定の解像度で撮影することが推奨されるが、撮影現場の状況によっては必ずしもこれが満たされるとは限らない。第三の実施形態のように過去に生成された参照情報を読み込むようにした場合、その読み込んだ参照情報に基づく参照画像の解像度と、撮影された対象画像の解像度とが異なることが起こり得る。このように対象画像と参照画像の解像度が異なっていると、前述のように単純にズーム倍率を合わせても両者の表示の仕方を揃えることが難しい。
図10は、第三の実施形態の情報処理装置における構造物点検処理を実現する機能ブロック図である。対象画像表示部202~参照情報選択部209は、図2の対応した各部と同様であるため、それらの説明は省略する。
図10において、対象画像入力部1001は、HDD107やNETIF104から対象画像を取得する。その際、対象画像入力部1001は、入力しようとする対象画像の解像度(単位はピクセル/mm)をユーザに求めることとする。ユーザによって入力された対象画像の解像度は、その対象画像が対象画像表示部202に表示されている間、一時データとして保持(例えばRAM102の所定の領域に保持)される。
参照情報入力部1002は、HDD107やNETIF104から参照情報を取得する。この場合の参照情報は、ファイルとして保存されていてもよいし、データベースに格納されていてもよい。なお、これから点検しようとする対象画像に対して、適切な参照情報を入力するために、複数の参照情報は、検索可能なように構造化されていてもよい。この場合、参照情報入力部1002は、例えば参照情報の種類や程度によって検索する検索機能を有している。また、この場合の検索キーとしては、変状が現れた構造物の種類やその材質、変状が現れた位置、判定を行った人物などが利用できる。参照情報入力部1002によって取得された参照情報は、例えば参照情報保持部206により一時的に保持される。
参照情報出力部1003は、第三の実施形態の情報処理装置において新たに生成された参照情報を、HDD107やNETIF104へ出力する。なお、出力された参照情報は、ファイルとして保存されてもよいし、データベースに格納されてもよい。
図11は、第三の実施形態において、参照情報保持部206が管理する参照情報テーブルを例示する図である。参照ID項目301~表示パラメータ項目306は図3の対応する各項目と同様であるため、それらの説明を省略する。
図11の参照情報テーブルには、画像パス項目1101と、解像度項目1102が用意されている。
画像パス項目1101には、参照される変状が写り込んでいる画像を示すパスが記述される。
解像度項目1102には、画像パス項目1101のパスが示す画像(参照される変状が写りこんでいる画像)の解像度が記述される。
図12は、第三の実施形態の情報処理装置における表示画面の一例を説明する図である。対象画像読込ボタン401~参照サムネイル画像407は、図4の対応する各表示要素と同様であるため、それらの説明は省略する。
参照情報入力ボタン1201は、参照情報入力部1002によって参照情報を入力する際にユーザにより操作されるボタンである。
参照情報出力ボタン1202は、参照情報出力部1003によって参照情報を出力する際にユーザにより操作されるボタンである。
図13は、本実施形態の情報処理装置で実現される構造物点検処理において、過去に生成された参照情報一覧のなかから参照情報が選択された場合に実行される処理を説明するフローチャートである。S601は、図6の対応するステップと同様であるため、その説明は省略する。図13のフローチャートの場合、S601の後、S1301の処理に進む。
S1301において、参照情報選択部209は、ユーザにより選択された参照情報から、変状が写り込んでいる画像のパスと解像度、変状判定時のズーム倍率を取得する。
次にS1302において、対象画像表示部202は、表示されている対象画像の解像度を取得する。対象画像の解像度は、対象画像表示部202に表示中の対象画像に付随する一時データとして保持されているとする。
次にS1303において、対象画像表示部202は、表示している対象画像と、S1301でパスと解像度、ズーム倍率が取得された画像(変状が写りこんでいる画像のなかから特定された参照画像)との、表示上での見え方(見た目の解像度)を合わせる。具体的には、対象画像表示部202は、後述する式(1)で求められるスケール係数を、それら二枚の画像のうち解像度が高い方に適用する。
ここで、画像サイズのスケール係数Sは、S1301で取得した解像度をresとし、S1302で取得した解像度をresとすると、式(1)のように求められる。
Figure 2024040370000002
なお、ここでは、解像度が高い方の画像を適切にスケールすることで、もう一方の画像と表示上での見え方(見た目の解像度)を合わせているが、解像度が低い方の画像を適切にスケールさせてもう一方の画像と表示上における見た目の解像度を合わせてもよい。その場合、下記の式(2)で求められるスケール係数Sを解像度が低い方の画像に適用すればよい。
Figure 2024040370000003
次にS1304において、表示パラメータ適用部208は、S1303で両者の表示上での見え方(見た目の解像度)を合わせた後に、S1301で取得したズーム倍率を、対象画像表示部202にて表示されている対象画像に適用する。
このように、第三の実施形態においては、他ユーザが本実施形態の情報処理装置を用いて点検作業を行った際に作成された参照情報を流用することができる。これにより、第三の実施形態によれば、点検作業に熟練したユーザ(熟練者)によって生成された参照情報を、熟練していない初級のユーザ(初級者)が利用可能となり、初級者でも熟練者の判定基準に合わせた判定を行うことが可能となる。
なお、第三の本実施形態では、対象画像の表示の仕方を参照画像に対して揃えているが、もちろん、参照画像の表示の仕方を対象画像に対して揃えてもよい。この場合の処理は、基本的には図9(a)あるいは図9(b)のフローチャートで説明した通りであるが、S1303のように予め両者の見た目の解像度を揃えておく必要がある。また、第三の実施形態では、過去に生成された参照情報を一覧表示して選択する例を挙げたが、一覧表示される参照情報には過去に生成された参照情報と前述の実施形態のように対象画像から新たに生成した参照情報の両者が含まれていてもよい。
以上説明したように、本発明にかかる前述した各実施形態によれば、ユーザの変状判定結果に基づいて、変状判定の際に参照する参照画像を自動的に生成することが可能となる。また、各実施形態によれば、点検対象の画像と変状判定の参照画像との見え方を合わせることで、両者の比較をしやすくすることが可能となっている。
<その他の実施形態>
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101:CPU、102:RAM、103:ROM、104:NETIF、105:表示デバイス、106:入力デバイス、402:対象画像表示領域、403:参照画像表示領域、406,408:参照情報一覧領域

Claims (20)

  1. 第1の対象画像の情報と、前記第1の対象画像から特定された変状の位置および大きさとを含む参照情報を生成する生成手段と、
    前記生成手段によって生成された1つ以上の前記参照情報からいずれかを選択する選択手段と、
    前記選択手段によって選択された前記参照情報に基づいて、前記第1の対象画像の少なくとも一部である参照画像を表示する表示手段と、
    前記参照画像の表示に関する第1の表示パラメータを取得する第1の取得手段と、
    前記第1の取得手段によって取得された前記第1の表示パラメータに基づいて、前記変状を点検する対象である対象画像の表示に関する第2の表示パラメータを設定する設定手段と、を有し、
    前記表示手段は、前記設定手段によって設定された前記第2の表示パラメータを基に表示パラメータを調整した前記対象画像を、前記参照画像と比較可能に表示デバイスに表示することを特徴とする情報処理装置。
  2. 前記表示手段によって表示された前記対象画像から部分領域を指定する指定手段を有し、
    前記生成手段は、前記指定手段によって指定された前記部分領域に基づいて、新たな参照情報を生成することを特徴とする請求項1に記載の情報処理装置。
  3. 前記対象画像の前記表示デバイスにおける表示に関する表示パラメータを取得する第2の取得手段と、
    前記第2の取得手段によって取得された前記表示パラメータに基づいて、前記参照画像の前記表示デバイスにおける表示に関する表示パラメータを調整する調整手段をさらに備え、
    前記表示手段は、前記調整手段によって調整された表示パラメータを反映した状態で、前記対象画像と前記参照画像とを前記比較可能に表示することを特徴とする請求項1に記載の情報処理装置。
  4. 前記表示パラメータは、ズーム倍率、明度調整値、色相調整値、ガンマ値、画像の解像度の、少なくともいずれかを含むことを特徴とする請求項1または2に記載の情報処理装置。
  5. 前記表示デバイスに表示される前記対象画像とは、作業の対象物である構造物を撮影した写真のうちの少なくとも一部の領域であって、ユーザによるスクロール、ズームイン、ズームアウトの少なくとも1つの操作によって前記対象画像として表示される領域は変更されることが可能であって、
    前記生成手段は、前記指定手段によって前記対象画像として表示される領域に含まれる変状が指定された時点での前記対象画像として表示される領域のズーム倍率を、前記新たな参照画像に関する表示パラメータとして前記参照画像に関連付けることを特徴とする請求項2に記載の情報処理装置。
  6. 前記参照画像は、参照情報に基づいて前記対象画像のなかで特定される部分領域であり、
    前記参照情報は、前記変状の位置およびサイズを表す情報と、前記変状の種類を表す情報と、前記変状の程度を表す情報とを含み、前記対象画像のなかに含まれる変状を表した情報であることを特徴とする請求項2に記載の情報処理装置。
  7. 前記参照画像は、当該参照画像に含まれる変状を指定するユーザの操作が前記指定手段によって受け付けられたときに、前記対象画像として前記表示デバイスに表示されていた画像に相当することを特徴とする請求項6に記載の情報処理装置。
  8. 前記参照画像は、参照情報の生成元である画像から当該参照情報に基づいて特定される領域であり、
    前記参照情報は、当該参照情報の生成元である画像を表すパスと、前記変状の位置およびサイズを表す情報と、前記変状の種類を表す情報と、前記変状の程度を表す情報とを含み、前記参照情報の生成元である画像のなかに含まれる変状を表した情報であることを特徴とする請求項1に記載の情報処理装置。
  9. 前記指定手段は、前記ユーザが入力する前記指定された変状の種類及び前記指定された変状の程度を表す情報を取得し、
    前記生成手段は、前記指定手段によって取得された変状の種類及び変状の程度を表す情報に基づいて、前記参照情報を生成することを特徴とする請求項7に記載の情報処理装置。
  10. 前記選択手段は、前記表示デバイスに一覧として表示される前記参照情報を表すサムネイル画像のいずれかを選択するユーザの指示に基づいて、前記参照画像を選択することを特徴とする請求項7または8に記載の情報処理装置。
  11. 前記表示デバイスに一覧として表示される前記サムネイル画像のそれぞれは、前記参照画像のうち変状が指定された部分をトリミングした画像を縮小した画像に相当することを特徴とする請求項10に記載の情報処理装置。
  12. 前記選択手段は、前記表示デバイスに一覧として表示される前記参照情報を表す文字列のいずれかを選択するユーザの指示に基づいて、前記参照画像を選択することを特徴とする請求項7または8に記載の情報処理装置。
  13. 前記一覧として表示される前記参照情報を、前記変状の種類と程度の少なくともいずれかに基づいて、ソートするソート手段を有することを特徴とする請求項10に記載の情報処理装置。
  14. 前記一覧として表示される前記参照情報を、前記変状の種類と程度の少なくともいずれかに基づいて、グルーピングするグループ化手段を有することを特徴とする請求項10に記載の情報処理装置。
  15. 前記生成手段によって新たに生成された参照画像を特定する参照情報は、
    前記一覧において、前記グループ化手段によってグルーピングされたグループのいずれかの最後に追加されることを特徴とする請求項14に記載の情報処理装置。
  16. 前記表示手段は、前記対象画像と前記参照画像を、前記表示デバイスにおいてサイドバイサイドに表示することによって、前記対象画像と前記参照画像を比較可能に表示することを特徴とする請求項1に記載の情報処理装置。
  17. 前記表示手段は、前記表示デバイスの同一領域において前記対象画像と前記参照画像を所定時間毎に切り替えながら表示することによって、前記対象画像と前記参照画像を比較可能に表示することを特徴とする請求項1に記載の情報処理装置。
  18. 前記変状は、対象物の表面に発生する、ひび割れ、浮き、剥離、エフロレッセンス、コールドジョイント、ジャンカ、表面気泡、砂筋、錆汁の、少なくともいずれかを含むことを特徴とする請求項1に記載の情報処理装置。
  19. 第1の対象画像の情報と、前記第1の対象画像から特定された変状の位置および大きさとを含む参照情報を生成する生成工程と、
    前記生成工程によって生成された1つ以上の前記参照情報からいずれかを選択する選択工程と、
    前記選択工程によって選択された前記参照情報に基づいて、前記第1の対象画像の少なくとも一部である参照画像を表示する表示工程と、
    前記参照画像の表示に関する第1の表示パラメータを取得する第1の取得工程と、
    前記第1の取得工程によって取得された前記第1の表示パラメータに基づいて、前記変状を点検する対象である対象画像の表示に関する第2の表示パラメータを設定する設定工程と、を有し、
    前記表示工程では、前記設定工程によって設定された前記第2の表示パラメータを基に表示パラメータを調整した前記対象画像を、前記参照画像と比較可能に表示デバイスに表示することを特徴とする情報処理方法。
  20. コンピュータを、請求項1から18のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2024019398A 2017-09-13 2024-02-13 情報処理装置、情報処理方法、及びプログラム Pending JP2024040370A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017175806 2017-09-13
JP2017175806 2017-09-13
JP2018156331A JP2019053050A (ja) 2017-09-13 2018-08-23 情報処理装置、情報処理方法、及びプログラム
JP2023016681A JP2023054012A (ja) 2017-09-13 2023-02-07 情報処理装置、情報処理方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023016681A Division JP2023054012A (ja) 2017-09-13 2023-02-07 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2024040370A true JP2024040370A (ja) 2024-03-25
JP2024040370A5 JP2024040370A5 (ja) 2024-04-22

Family

ID=65722630

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023016681A Pending JP2023054012A (ja) 2017-09-13 2023-02-07 情報処理装置、情報処理方法、及びプログラム
JP2024019398A Pending JP2024040370A (ja) 2017-09-13 2024-02-13 情報処理装置、情報処理方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2023016681A Pending JP2023054012A (ja) 2017-09-13 2023-02-07 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (2) JP2023054012A (ja)
WO (1) WO2019054235A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229836B (zh) * 2020-09-15 2022-02-15 华南农业大学 水稻实粒与空粒检测装置及检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3893765B2 (ja) * 1998-09-25 2007-03-14 株式会社日立製作所 レビュー装置
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
KR20010101697A (ko) * 1999-11-29 2001-11-14 기시모토 마사도시 결함검사시스템
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP2004078690A (ja) * 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP4633322B2 (ja) * 2002-08-20 2011-02-16 オリンパス株式会社 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP4753711B2 (ja) * 2005-12-22 2011-08-24 株式会社キーエンス 3次元画像表示装置、3次元画像表示装置の操作方法、3次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2015200554A (ja) * 2014-04-08 2015-11-12 三菱電機株式会社 目視検査方法及び目視検査支援装置
JP6192880B2 (ja) * 2015-05-26 2017-09-06 三菱電機株式会社 検出装置および検出方法

Also Published As

Publication number Publication date
JP2023054012A (ja) 2023-04-13
WO2019054235A1 (ja) 2019-03-21

Similar Documents

Publication Publication Date Title
US20210372939A1 (en) Information processing apparatus, information processing method and program
US11430107B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
JP2024040370A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6688602B2 (ja) 検査支援装置および検査システム
US20130187954A1 (en) Image data generation apparatus and image data generation method
US11836961B2 (en) Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing
JPH11132961A (ja) 構造物用検査装置
JP6958872B2 (ja) ひび割れ幅測定装置、ひび割れ幅測定プログラムおよびひび割れ幅測定方法
WO2014073521A1 (ja) 画像表示装置及び方法並びにプログラム
JP2024019350A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7479528B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2024019350A5 (ja) 情報処理装置、サーバ装置、情報処理装置の制御方法、サーバ装置の制御方法、及びプログラム
JP2023063324A5 (ja)
US11927540B2 (en) Information processing apparatus, information processing method, and recording medium
JP2020170257A (ja) 画像処理装置およびその制御方法
RU2730373C1 (ru) Способ и система отображения текущих результатов в процессе обработки изображения
US20230368364A1 (en) Image processing apparatus and control method
WO2021014751A1 (ja) 画像表示装置、方法及びプログラム
JP2023156209A (ja) 赤外線情報処理システム、赤外線情報処理装置、赤外線情報処理方法、プログラムおよび赤外線診断システム
JP2000105167A (ja) 画質検査装置のアドレス・キャリブレーション方法
WO2020031222A1 (ja) データ作成支援装置、データ作成支援方法およびデータ作成支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240412