WO2023248573A1

WO2023248573A1 - 表示制御装置、表示制御方法、及び表示制御プログラム

Info

Publication number: WO2023248573A1
Application number: PCT/JP2023/013732
Authority: WO
Inventors: 誓哉稲木; 遼池田; 伸治林
Original assignee: 富士フイルム株式会社
Priority date: 2022-06-24
Filing date: 2023-03-31
Publication date: 2023-12-28

Abstract

表示制御装置は、検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う場合、構造情報に基づく表示制御を行う際の視点方向と複数の検査画像それぞれの撮影方向とが対応付けられた対応付け情報に基づいて表示制御を行う。

Description

表示制御装置、表示制御方法、及び表示制御プログラム

　本開示は、表示制御装置、表示制御方法、及び表示制御プログラムに関する。

　特開２０２１－１３５１５３号公報には、検査対象物を撮影して得られた複数のＸ線画像の情報を用いて検査対象物の３次元データを作成する技術が開示されている。この技術では、その検査対象物の３次元データを用いて、検査対象物における検査対象箇所の形状を所望の観察対象面の２次元形状として示すユーザー確認用画像を作成し、かつ表示する。

　非破壊検査において、検査対象物に対して放射線を照射することにより撮影された２次元の検査画像におけるきずの情報と、検査対象物の３次元構造におけるきずの位置とを対応付けることができると、好ましい。これは、２次元の検査画像のきずの形状及びテクスチャ情報と検査対象物の３次元構造におけるきずの位置とを合わせて参照することによって、検査効率を向上させることができるためである。

　本開示は、以上の事情を鑑みてなされたものであり、非破壊検査の検査効率を向上させることができる表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。

　第１の態様の表示制御装置は、少なくとも一つのプロセッサを備え、かつ検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う表示制御装置であって、プロセッサは、構造情報に基づく表示制御を行う際の視点方向と複数の検査画像それぞれの撮影方向とが対応付けられた対応付け情報に基づいて表示制御を行う。

　第２の態様の表示制御装置は、第１の態様の表示制御装置において、プロセッサは、対応付け情報に基づいて、少なくとも１枚の検査画像と構造情報に基づく仮想の検査対象物とを表示する制御を行う。

　第３の態様の表示制御装置は、第２の態様の表示制御装置において、プロセッサは、対応付け情報に基づいて、少なくとも複数の検査画像の表示態様を変更する。

　第４の態様の表示制御装置は、第３の態様の表示制御装置において、プロセッサは、視点方向に基づいて、検査画像の表示態様を変更する。

　第５の態様の表示制御装置は、第４の態様の表示制御装置において、プロセッサは、視点方向と撮影方向とがなす角の角度に基づいて複数の検査画像から１枚の検査画像を選択し、選択した検査画像の表示態様を変更する。

　第６の態様の表示制御装置は、第４の態様の表示制御装置において、プロセッサは、構造情報を視点方向に沿って射影することにより得られる２次元画像と、検査画像との類似度に基づいて複数の検査画像から１枚の検査画像を選択し、選択した検査画像の表示態様を変更する。

　第７の態様の表示制御装置は、第５の態様又は第６の態様の表示制御装置において、プロセッサは、選択した検査画像を強調表示する制御を行う。

　第８の態様の表示制御装置は、第５の態様又は第６の態様の表示制御装置において、プロセッサは、選択した検査画像の表示位置を変更する。

　第９の態様の表示制御装置は、第５の態様又は第６の態様の表示制御装置において、プロセッサは、複数の検査画像のうち、選択した検査画像のみを表示する制御を行う。

　第１０の態様の表示制御装置は、第４の態様の表示制御装置において、プロセッサは、複数の検査画像を表示する制御を行う際に、視点方向と各検査画像の撮影方向とがなす角の角度に応じた位置に各検査画像を配置する。

　第１１の態様の表示制御装置は、第４の態様の表示制御装置において、プロセッサは、複数の検査画像を表示する制御を行う際に、各検査画像の属性情報に従った順序で各検査画像を配置する。

　第１２の態様の表示制御装置は、第４の態様の表示制御装置において、プロセッサは、複数の検査画像を表示する制御を行う際に、視点方向と各検査画像の撮影方向とがなす角の角度に応じた順序、又は構造情報を視点方向に沿って射影することにより得られる二次元画像と各検査画像との類似度に応じた順序で各検査画像を配置する。

　第１３の態様の表示制御装置は、第２の態様から第１２の態様の何れか１態様の表示制御装置において、プロセッサは、複数の検査画像の表示領域内の選択された位置に応じた撮影方向に基づいて、仮想の検査対象物の表示態様を変更する。

　第１４の態様の表示制御装置は、第１３の態様の表示制御装置において、プロセッサは、選択された検査画像の撮影方向と等しい方向に視点方向を変更する。

　第１５の態様の表示制御装置は、第１３の態様の表示制御装置において、プロセッサは、選択された検査画像を移動させる操作に応じて、その移動させる操作と同じ方向又は逆の方向に、視点方向を変更する。

　第１６の態様の表示制御装置は、第１３の態様の表示制御装置において、プロセッサは、選択された位置が複数の検査画像の間の位置である場合、選択された位置と、選択された位置の周囲に配置された検査画像との相対位置関係が、視点方向と周囲に配置された検査画像との相対位置関係に近づくように視点方向を変更する。

　第１７の態様の表示制御装置は、第２の態様から第１６の態様の何れか１態様の表示制御装置において、プロセッサは、対応付け情報に基づいて、構造情報と複数の検査画像との対応関係を表す情報を、仮想の検査対象物及び検査画像の少なくとも一方に合成して表示する制御を行う。

　第１８の態様の表示制御装置は、第１７の態様の表示制御装置において、プロセッサは、仮想の検査対象物の周囲であり、かつ各検査画像の撮影方向に対応する方向に、検査画像が存在することを表すオブジェクトを表示する制御を行う。

　第１９の態様の表示制御装置は、第１８の態様の表示制御装置において、プロセッサは、選択された検査画像が存在することを表すオブジェクトを強調表示する制御を行う。

　第２０の態様の表示制御装置は、第１７の態様の表示制御装置において、プロセッサは、選択された検査画像に対しては、格子状の補助線を合成して表示する制御を行い、かつ仮想の検査対象物に対しては、選択された検査画像の撮影方向に対応する方向に直交する面に、補助線と同間隔の格子状の補助線を合成して表示する制御を行う。

　第２１の態様の表示制御装置は、第１７の態様の表示制御装置において、プロセッサは、選択された検査画像と仮想の検査対象物との対応する特徴点を、検査画像及び仮想の検査対象物に合成して表示する制御を行う。

　第２２の態様の表示制御装置は、第１７の態様の表示制御装置において、プロセッサは、選択された検査画像上のきずの位置に対応する仮想の検査対象物上の位置にきずを表すオブジェクトを合成して表示する制御を行う。

　第２３の態様の表示制御装置は、第２の態様から第２２の態様の何れか１態様の表示制御装置において、検査画像に写るきずの位置情報と、構造情報におけるきずの位置情報とが対応付けられ、プロセッサは、検査画像又は構造情報において選択されたきずの位置情報に基づいて、仮想の検査対象物の表示態様及び検査画像の表示態様の少なくとも一方を変更する。

　第２４の態様の表示制御装置は、第２３の態様の表示制御装置において、プロセッサは、複数のきずのうちの選択されたきずの位置と、選択されたきず以外のきずの位置との距離に基づいて検査画像の表示態様を変更する。

　第２５の態様の表示制御装置は、第２３の態様の表示制御装置において、プロセッサは、選択されたきずの領域の画素値の平均値と、そのきずの領域の周辺領域の画素値の平均値との比に基づいて検査画像の表示態様を変更する。

　第２６の態様の表示制御装置は、第２３の態様の表示制御装置において、プロセッサは、選択されたきずの周辺領域の画素値の平滑度に基づいて検査画像の表示態様を変更する。

　第２７の態様の表示制御装置は、第２３の態様の表示制御装置において、プロセッサは、選択されたきずが画面の中心かつ手前側に位置するように、視点方向を変更する。

　第２８の態様の表示制御装置は、第２３の態様の表示制御装置において、プロセッサは、選択されたきずの位置において、視点方向に沿った検査対象物の厚みが最も薄くなるように視点方向を変更する。

　第２９の態様の表示制御方法は、少なくとも一つのプロセッサを備え、かつ検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う表示制御装置のプロセッサが実行する表示制御方法であって、構造情報に基づく表示制御を行う際の視点方向と複数の検査画像それぞれの撮影方向とが対応付けられた対応付け情報に基づいて表示制御を行うものである。

　第３０の態様の表示制御プログラムは、少なくとも一つのプロセッサを備え、かつ検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う表示制御装置のプロセッサに実行させるための表示制御プログラムであって、構造情報に基づく表示制御を行う際の視点方向と複数の検査画像それぞれの撮影方向とが対応付けられた対応付け情報に基づいて表示制御を行うものである。

　本開示によれば、非破壊検査の検査効率を向上させることができる。

放射線画像撮影装置の概略構成を示すブロック図である。表示制御装置のハードウェア構成の一例を示すブロック図である。構造情報を説明するための図である。検査画像情報の一例を示す図である。きず位置情報の一例を示す図である。表示制御装置の機能的な構成の一例を示すブロック図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示制御処理の一例を示すフローチャートである。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。

　以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

　まず、図１を参照して、本実施形態に係る放射線画像撮影装置１の構成を説明する。放射線画像撮影装置１は、検査対象物の非破壊検査に用いられる。図１に示すように、放射線画像撮影装置１は、表示制御装置１０、放射線源１２、及び放射線検出器１４を含む。表示制御装置１０、放射線源１２、及び放射線検出器１４は、互いに通信可能な状態で接続される。表示制御装置１０は、例えば、パーソナルコンピュータ又はサーバコンピュータ等のコンピュータである。

　放射線源１２は、例えばＸ線等の放射線Ｒを検査対象物Ｏに照射する。本実施形態に係る放射線源１２は、コーンビーム状の放射線Ｒを照射する。放射線源１２から、検査対象物Ｏを透過した放射線Ｒが到達した放射線検出器１４上の一点への方向を「撮影方向Ｄ」という。本実施形態では、放射線源１２から検査対象物Ｏの中心を透過した放射線Ｒが到達した放射線検出器１４上の一点への方向を撮影方向Ｄとした場合を例に説明する。

　放射線検出器１４は、放射線Ｒが照射されることにより光を発する発光層の一例としてのシンチレータ及びＴＦＴ（Thin Film Transistor）基板を含む。シンチレータ及びＴＦＴ基板は放射線Ｒの照射方向、すなわち、撮影方向Ｄに沿って積層されている。ＴＦＴ基板は二次元状に配置された複数の画素を備え、各画素は、照射される放射線量の増加に伴って発生する電荷が増加する変換素子の一例としてのセンサ部及び電界効果型薄膜トランジスタを備える。センサ部は、シンチレータが発する光を吸収して電荷を発生させ、発生させた電荷を蓄積する。電界効果型薄膜トランジスタは、センサ部に蓄積された電荷を電気信号に変換して出力する。以上の構成により、放射線検出器１４は、放射線源１２から検査対象物Ｏに対して照射され、かつ検査対象物Ｏを透過した放射線Ｒの放射線量に応じた２次元の放射線画像を生成し、生成した放射線画像を表示制御装置１０に出力する。

　このように、放射線画像撮影装置１では、放射線源１２から検査対象物Ｏに対して放射線Ｒを照射することにより撮影された放射線画像が表示制御装置１０に保存される。以下では、検査対象物Ｏに対して放射線Ｒを照射することにより撮影された放射線画像を「検査画像」という。

　次に、図２を参照して、本実施形態に係る表示制御装置１０のハードウェア構成を説明する。図２に示すように、表示制御装置１０は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、表示制御装置１０は、液晶ディスプレイ等のディスプレイ２３、キーボードとマウス等の入力装置２４、及びネットワークに接続されるネットワークＩ／Ｆ（InterFace）２５を含む。また、表示制御装置１０は、放射線源１２及び放射線検出器１４が接続される外部Ｉ／Ｆ２６を含む。ＣＰＵ２０、メモリ２１、記憶部２２、ディスプレイ２３、入力装置２４、ネットワークＩ／Ｆ２５、及び外部Ｉ／Ｆ２６は、バス２７に接続される。ＣＰＵ２０は、開示の技術に係るプロセッサの一例である。

　記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、表示制御プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から表示制御プログラム３０を読み出してからメモリ２１に展開し、展開した表示制御プログラム３０を実行する。

　また、記憶部２２には、構造情報３２、検査画像情報３４、及びきず位置情報３６が記憶される。構造情報３２は、検査対象物Ｏの３次元構造を表す情報を含む。一例として図３に示すように、本実施形態に係る構造情報３２は、ディスプレイ２３に仮想の検査対象物Ｏが表示される際に用いられる情報であり、検査対象物Ｏの３次元構造をＸ軸、Ｙ軸、及びＺ軸の３軸で構成される直交座標系の座標で表した情報である。また、構造情報３２は、検査対象物Ｏを構成する各部品の素材も含む。部品の素材によって、その部品の放射線Ｒの透過率が特定される。構造情報３２の例としては、ＣＡＤデータ等の設計情報が挙げられる。

　一例として図４に示すように、検査画像情報３４は、検査対象物Ｏに対して異なる複数の撮影方向Ｄから放射線Ｒを照射することにより撮影された複数の検査画像を含む。図４では、撮影方向Ｄが４方向、すなわち、検査画像が４枚の例を示している。撮影方向Ｄの数、及び撮影方向Ｄをどの方向とするかは、検査対象物Ｏの形状及び素材等に応じてユーザーにより設定される。

　また、図４に示すように、検査画像情報３４には、各検査画像に対応付けられた検査画像を識別するためのＩＤ、各検査画像が撮影された際の撮影方向Ｄ、及び各検査画像から検出された検査対象物Ｏのきずに関する情報が含まれる。検査画像情報３４に含まれる撮影方向Ｄは、構造情報３２の直交座標系の座標に変換されている。検査画像情報３４に含まれる撮影方向Ｄの座標から原点（０、０、０）を通る方向が、検査画像が撮影された際の撮影方向Ｄである。

　検査画像情報３４に含まれるきずに関する情報は、検査画像から検出されたきずを識別するためのＩＤ、及びその検査画像におけるきずの位置情報を含む。図４の例では、３つのきずが検出され、それぞれのきずのＩＤが「Ａ」、「Ｂ」、及び「Ｃ」であることを示している。また、本実施形態では、検査画像におけるきずの位置情報は、２次元の検査画像の特定の点（例えば、左上の角の点）を原点とし、かつＸ軸及びＹ軸の２軸で構成された直交座標系の座標で表される。本明細書における「きず」とは、非破壊検査の用語として定義されているものであり、気泡、異物、及び亀裂等の不連続部を意味する。

　一例として図５に示すように、きず位置情報３６は、きずを識別するためのＩＤ及びきずの位置情報を含む。きず位置情報３６に含まれるＩＤは、検査画像情報３４のきずに関する情報に含まれるＩＤと同じものである。きず位置情報３６に含まれるきずの位置情報は、検査画像情報３４に含まれる検査画像におけるきずの位置情報が、構造情報３２の直交座標系の座標に変換されたものである。すなわち、検査画像に写るきずの位置情報である検査画像情報３４に含まれるきずの位置情報と、構造情報３２におけるきずの位置情報とは、きずを識別するためのＩＤで対応付けられている。

　次に、図６を参照して、本実施形態に係る表示制御装置１０の機能的な構成について説明する。図６に示すように、表示制御装置１０は、受付部４０、選択部４２、及び表示制御部４４を含む。ＣＰＵ２０が表示制御プログラム３０を実行することにより、受付部４０、選択部４２、及び表示制御部４４として機能する。

　受付部４０は、後述する表示制御部４４による制御によってディスプレイ２３に表示された画面へのユーザーによる操作を受け付ける。例えば、ユーザーは、ディスプレイ２３に表示された複数の検査画像のうちの１枚を選択する操作、ディスプレイ２３に表示された仮想の検査対象物Ｏを回転させる操作、及びディスプレイ２３に表示されたきずを選択する操作等を行う。

　選択部４２は、表示制御部４４が構造情報３２に基づく表示制御を行う際の視点方向と、各検査画像の撮影方向Ｄとがなす角の角度に基づいて、複数の検査画像から１枚の検査画像を選択する。視点方向とは、仮想の検査対象物Ｏの表示画面において、仮想の検査対象物Ｏから見た表示画面の方向である。視点方向は、例えば、構造情報３２の直交座標系の座標で表される。すなわち、視点方向と検査画像情報３４に含まれる撮影方向Ｄとは、同じ直交座標系の座標により対応付けられている。

　また、視点方向を表す座標から原点への方向を見た場合の仮想の検査対象物Ｏが表示画面に正対することになる。すなわち、例えば、ユーザーがディスプレイ２３に表示された検査対象物Ｏを回転させる操作を行うと、視点方向が変更される。また、視点方向が変更されると、その視点方向に正対する面が表示画面に正対するように仮想の検査対象物Ｏの姿勢が変更される。

　具体的には、選択部４２は、検査画像情報３４に基づいて、視点方向と、各検査画像の撮影方向Ｄとがなす角の角度を算出し、算出した角度が最も小さい検査画像を選択する。

　なお、選択部４２は、構造情報３２を視点方向に沿って射影することにより得られる２次元画像と、各検査画像との類似度を算出してもよい。この場合、選択部４２は、算出した類似度に基づいて複数の検査画像から１枚の検査画像を選択する。具体的には、選択部４２は、算出した類似度が最も高い検査画像を選択する。

　図７に示すように、表示制御部４４は、構造情報３２及び検査画像情報３４に基づいて、仮想の検査対象物Ｏ及び複数の検査画像をディスプレイ２３に表示する制御を行う。図７に示すように、表示制御部４４による表示制御により表示される画面は、仮想の検査対象物Ｏが表示される第１の表示領域Ａ１及び複数の検査画像が表示される第２の表示領域Ａ２を含む。図７の例では、複数の検査画像がタイル状に並べられて表示されているが、複数の検査画像は、画面の縦方向又は横方向に一列に並べられて表示されてもよい。

　また、図７に示すように、表示制御部４４は、更に、きず位置情報３６に基づいて、仮想の検査対象物Ｏ上にきずを表すオブジェクトを表示する制御を行う。図７の例では、きずが黒色の丸印で表されている。きずを表すオブジェクトは、特に限定されず、例えば、予め定められたマークでもよいし、アイコンでもよい。また、例えば、きずを表すオブジェクトは、検査画像におけるきずの領域部分の画像でもよい。また、例えば、きずを表すオブジェクトの色をきず毎に異ならせてもよい。

　表示制御部４４は、受付部４０により仮想の検査対象物Ｏを回転させる操作が受け付けられた場合、その操作の回転量に応じて視点方向を変更することによって、仮想の検査対象物Ｏを回転させる。この場合、表示制御部４４は、変更後の視点方向に基づいて、検査画像の表示態様を変更する。具体的には、表示制御部４４は、変更後の視点方向に基づいて選択部４２により選択された検査画像の表示態様を変更する。

　一例として図８に示すように、表示制御部４４は、選択部４２により選択された検査画像の輪郭を赤色等の予め設定された色を用いて描画することによって、選択部４２により選択された検査画像を強調表示する制御を行う。図８では、左上に配置された検査画像が選択部４２により選択された例を示している。

　なお、図９に示すように、表示制御部４４は、選択部４２により選択された検査画像を他の検査画像よりも大きいサイズで表示する制御を行うことによって、選択部４２により選択された検査画像を強調表示する制御を行ってもよい。

　また、図１０に示すように、表示制御部４４は、選択部４２により選択された検査画像の表示位置を変更してもよい。図１０の例では、表示領域Ａ２に複数の検査画像が縦方向に沿って並べられて配置され、選択部４２により選択された検査画像の表示位置が一番上に変更された状態を示している。

　また、図１１に示すように、表示制御部４４は、複数の検査画像のうち、選択部４２により選択された検査画像のみを表示する制御を行ってもよい。この場合、表示制御部４４は、スクロール操作等のユーザーによる表示対象の検査画像を切り替える操作に応じて、表示領域Ａ２に表示する１枚の検査画像を切り替える。

　また、図１２に示すように、表示制御部４４は、複数の検査画像を表示する制御を行う際に、視点方向と各検査画像の撮影方向Ｄとがなす角の角度に応じた位置に各検査画像を配置してもよい。この場合、ユーザーは、各検査画像が撮影された際の撮影方向Ｄを把握しやすくなる。図１２の例では、各検査画像が撮影された際の撮影方向Ｄをユーザーがより把握しやすくするために、球体上に各検査画像が配置されている。

　また、図１３に示すように、表示制御部４４は、視点方向と各検査画像の撮影方向Ｄとがなす角の角度に応じた位置に各検査画像を配置する場合、視点方向と撮影方向Ｄとのなす角の角度が最も小さい検査画像を表示領域Ａ２の中央に配置してもよい。この場合、表示制御部４４は、表示領域Ａ２の中央に配置した検査画像以外の検査画像については、その検査画像との撮影方向Ｄと表示領域Ａ２の中央に配置した検査画像の撮影方向Ｄとのなす角の角度に応じて配置する。また、図１３の例では、表示制御部４４は、表示領域Ａ２の中央に配置した検査画像を、他の検査画像よりも大きく表示する制御を行っている。

　また、表示制御部４４は、複数の検査画像を表示する制御を行う際に、各検査画像の属性情報に従った順序で各検査画像を配置してもよい。例えば、図１０に示す表示画面の表示領域Ａ２において、表示制御部４４は、撮影日時が表示時点に近い順に上から検査画像を配置する。また、この場合の属性情報は、撮影日時に限定されず、撮影者又は検査者等でもよい。

　また、表示制御部４４は、複数の検査画像を表示する制御を行う際に、視点方向と各検査画像の撮影方向Ｄとがなす角の角度に応じた順序で各検査画像を配置してもよい。例えば、図１０に示す表示画面の表示領域Ａ２において、表示制御部４４は、視点方向と検査画像の撮影方向Ｄとがなす角の角度が大きい順に上から検査画像を配置する。

　また、表示制御部４４は、複数の検査画像を表示する制御を行う際に、構造情報３２を視点方向に沿って射影することにより得られる２次元画像と各検査画像との類似度に応じた順序で各検査画像を配置してもよい。例えば、図１０に示す表示画面の表示領域Ａ２において、構造情報３２を視点方向に沿って射影することにより得られる２次元画像と検査画像との類似度が高い順に上から検査画像を配置する。

　表示制御部４４は、受付部４０により複数の画像の表示領域Ａ２内の位置が選択される操作が受け付けられた場合、表示領域Ａ２内の選択された位置に応じた撮影方向Ｄに基づいて、仮想の検査対象物Ｏの表示態様を変更する。この場合の操作の例としては、検査画像自体が選択される操作、及び検査画像の間の位置が選択される操作等が挙げられる。

　具体的には、表示制御部４４は、選択された検査画像の撮影方向Ｄと等しい方向に視点方向を変更する。この場合、仮想の検査対象物Ｏを撮影方向Ｄから見た面が表示画面に正対した状態で、仮想の検査対象物Ｏが表示領域Ａ１に表示される。

　なお、図１２又は図１３の例において、表示制御部４４は、選択された検査画像を移動させる操作に応じて、その移動させる操作と同じ方向又は逆の方向に、視点方向を変更してもよい。この場合、検査画像を移動させる操作に応じて、仮想の検査対象物Ｏが回転する。また、この際、表示制御部４４は、検査画像を移動させる速度と、視点方向の移動速度とを同期させてもよい。

　また、図１２又は図１３の例において、表示制御部４４は、選択された位置が複数の検査画像の間の位置である場合、選択された位置と、選択された位置の周囲に配置された検査画像との相対位置関係が、視点方向と周囲に配置された検査画像との相対位置関係に近づくように視点方向を変更してもよい。この場合、選択された位置に応じた仮想の検査対象物Ｏの面が表示画面に正対した状態で、仮想の検査対象物Ｏが表示領域Ａ１に表示される。

　次に、図１４を参照して、本実施形態に係る表示制御装置１０の作用を説明する。ＣＰＵ２０が表示制御プログラム３０を実行することによって、図１４に示す表示制御処理が実行される。図１４に示す表示制御処理は、例えば、ユーザーにより実行開始の指示が入力された場合に実行される。

　図１４のステップＳ１０で、表示制御部４４は、構造情報３２及び検査画像情報３４に基づいて、仮想の検査対象物Ｏ及び複数の検査画像をディスプレイ２３に表示する制御を行う。更に、表示制御部４４は、きず位置情報３６に基づいて、仮想の検査対象物Ｏ上にきずを表すオブジェクトを表示する制御を行う。このステップＳ１０での初期表示画面において仮想の検査対象物Ｏが表示される際の視点方向は、初期設定値の視点方向でもよいし、前回に仮想の検査対象物Ｏが表示された際の視点方向を引き継いでもよい。また、複数の検査画像の表示状態も、初期設定値に従ってもよいし、前回に複数の検査画像が表示された際の表示状態を引き継いでもよい。

　ステップＳ１２で、受付部４０は、直前に実行されたステップＳ１０、ステップＳ２０、又はステップＳ２２での制御により表示された画面へのユーザーによる操作を受け付けるまで待機する。受付部４０がユーザーによる操作を受け付けると、ステップＳ１２の判定が肯定判定となり、処理はステップＳ１４に移行する。

　ステップＳ１４で、受付部４０は、ステップＳ１２で受け付けられた操作が仮想の検査対象物Ｏを回転させる操作であるか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ１６に移行する。

　ステップＳ１６で、表示制御部４４は、ステップＳ１２で受け付けられた操作の回転量に応じて視点方向を変更することによって、仮想の検査対象物Ｏを回転させる。ステップＳ１８で、選択部４２は、前述したように、ステップＳ１６の処理による変更後の視点方向と、各検査画像の撮影方向Ｄとがなす角の角度に基づいて、複数の検査画像から１枚の検査画像を選択する。ステップＳ２０で、表示制御部４４は、前述したように、ステップＳ１８で選択された検査画像を強調表示する制御を行う。ステップＳ２０の処理が終了すると、処理はステップＳ１２に戻る。

　一方、ステップＳ１２で受け付けられた操作が複数の画像の表示領域Ａ２内の位置が選択される操作である場合、ステップＳ１４の判定が否定判定となり、処理はステップＳ２２に移行する。ステップＳ２２で、表示制御部４４は、前述したように、ステップＳ１２で受け付けられた操作によって選択された検査画像の撮影方向Ｄと等しい方向に視点方向を変更する。ステップＳ２２の処理が終了すると、処理はステップＳ１２に戻る。ユーザーにより画面の表示終了の指示が入力されると、表示制御処理が終了する。

　以上説明したように、本実施形態によれば、２次元の検査画像におけるきずの情報と、検査対象物Ｏの３次元構造におけるきずの位置とを対応付け、かつ２次元の検査画像の表示と、３次元の仮想の検査対象物Ｏの表示とが連携する。これにより、非破壊検査の検査効率を向上させることができる。

　なお、上記実施形態において、表示制御部４４は、構造情報３２及び検査画像情報３４に基づいて、構造情報３２と複数の検査画像との対応関係を表す情報を、仮想の検査対象物Ｏ及び検査画像の少なくとも一方に合成して表示する制御を行ってもよい。

　具体的には、一例として図１５に示すように、表示制御部４４は、仮想の検査対象物Ｏの周囲であり、かつ各検査画像の撮影方向Ｄに対応する方向に、検査画像が存在することを表すオブジェクトを合成してディスプレイ２３に表示する制御を行ってもよい。図１５では、検査画像が存在することを表すオブジェクトとして、検査画像のサムネイル画像を適用した例を示している。この場合、図１６に示すように、検査画像が存在することを表すオブジェクトとして、検査画像の撮影方向Ｄを表す矢印を適用してもよい。また、この場合、検査画像が存在することを表すオブジェクトとして、検査画像を表すマーク又はアイコン等を適用してもよい。また、この場合、表示制御部４４は、表示領域Ａ２において、ユーザーにより検査画像が選択された場合、その検査画像が存在することを表すオブジェクトを強調表示する制御を行ってもよい。

　また、図１７に示すように、表示制御部４４は、選択された検査画像に対しては、格子状の補助線を合成して表示する制御を行い、かつ仮想の検査対象物Ｏに対しては、選択された検査画像の撮影方向Ｄに対応する方向に直交する面に、補助線と同間隔の格子状の補助線を合成して表示する制御を行ってもよい。

　また、図１８に示すように、表示制御部４４は、選択された検査画像と仮想の検査対象物Ｏとの対応する特徴点を、検査画像及び仮想の検査対象物Ｏに合成して表示する制御を行ってもよい。図１８では、検査画像と仮想の検査対象物Ｏとの対応する特徴点が、それぞれ丸、三角、及び四角のマークで表されている。

　また、表示制御部４４は、選択された検査画像上のきずの位置に対応する仮想の検査対象物Ｏ上の位置にきずを表すオブジェクトを合成して表示する制御を行ってもよい。

　また、上記実施形態において、表示制御部４４は、受付部４０により検査画像のきず又は仮想の検査対象物Ｏのきずを表すオブジェクトが選択される操作が受け付けられた場合、選択されたきずの位置情報に基づいて、仮想の検査対象物Ｏの表示態様及び検査画像の表示態様の少なくとも一方を変更してもよい。

　具体的には、まず、選択部４２は、複数のきずのうちのユーザーにより選択されたきずの位置と、選択されたきず以外のきずの位置との距離に基づいて複数の検査画像から１枚の検査画像を選択する。より具体的には、選択部４２は、上記距離が最も長い１枚の検査画像を選択する。表示制御部４４は、選択部４２により選択された検査画像を強調表示する制御を行う。これにより、きずときずとが比較的離れた検査画像、すなわち、きずの状態が比較的見易い検査画像をユーザーが参照しやすくなる。

　また、この場合、選択部４２は、ユーザーにより選択されたきずの領域の画素値の平均値と、そのきずの領域の周辺領域の画素値の平均値との比に基づいて複数の検査画像から１枚の検査画像を選択してもよい。具体的には、選択部４２は、上記比が最も大きい１枚の検査画像を選択する。表示制御部４４は、選択部４２により選択された検査画像を強調表示する制御を行う。これにより、きずの領域が比較的見易い検査画像をユーザーが参照しやすくなる。

　また、この場合、選択部４２は、ユーザーにより選択されたきずの周辺領域の画素値の平滑度に基づいて複数の検査画像から１枚の検査画像を選択してもよい。具体的には、選択部４２は、上記平滑度が最も高い１枚の検査画像を選択する。表示制御部４４は、選択部４２により選択された検査画像を強調表示する制御を行う。これにより、きずの領域が比較的見易い検査画像をユーザーが参照しやすくなる。

　また、図１９に示すように、表示制御部４４は、ユーザーにより選択されたきずが画面の中心かつ手前側に位置するように、視点方向を変更してもよい。

　また、図２０に示すように、ユーザーにより選択されたきずの位置において、視点方向に沿った検査対象物Ｏの厚みが最も薄くなるように視点方向を変更してもよい。

　また、上記実施形態において、表示制御部４４は、きず位置情報３６に基づいて、仮想の検査対象物Ｏ上にきずを表すオブジェクトを表示する制御を行わなくてもよい。この場合、表示制御装置１０は、きず位置情報３６を保持しなくてもよい。

　また、上記実施形態において、例えば、受付部４０、選択部４２、及び表示制御部４４といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

　また、上記実施形態では、表示制御プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。表示制御プログラム３０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

　２０２２年６月２４日に出願された日本国特許出願２０２２－１０１８３１号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　少なくとも一つのプロセッサを備え、かつ検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、前記検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う表示制御装置であって、
　前記プロセッサは、
　前記構造情報に基づく表示制御を行う際の視点方向と前記複数の検査画像それぞれの前記撮影方向とが対応付けられた対応付け情報に基づいて前記表示制御を行う
　表示制御装置。
　前記プロセッサは、
　前記対応付け情報に基づいて、少なくとも１枚の前記検査画像と前記構造情報に基づく仮想の検査対象物とを表示する制御を行う
　請求項１に記載の表示制御装置。
　前記プロセッサは、
　前記対応付け情報に基づいて、少なくとも前記複数の検査画像の表示態様を変更する
　請求項２に記載の表示制御装置。
　前記プロセッサは、
　前記視点方向に基づいて、前記検査画像の表示態様を変更する
　請求項３に記載の表示制御装置。
　前記プロセッサは、
　前記視点方向と前記撮影方向とがなす角の角度に基づいて前記複数の検査画像から１枚の検査画像を選択し、
　選択した検査画像の表示態様を変更する
　請求項４に記載の表示制御装置。
　前記プロセッサは、
　前記構造情報を前記視点方向に沿って射影することにより得られる２次元画像と、前記検査画像との類似度に基づいて前記複数の検査画像から１枚の検査画像を選択し、
　選択した検査画像の表示態様を変更する
　請求項４に記載の表示制御装置。
　前記プロセッサは、
　選択した検査画像を強調表示する制御を行う
　請求項５又は請求項６に記載の表示制御装置。
　前記プロセッサは、
　選択した検査画像の表示位置を変更する
　請求項５又は請求項６に記載の表示制御装置。
　前記プロセッサは、
　前記複数の検査画像のうち、選択した検査画像のみを表示する制御を行う
　請求項５又は請求項６に記載の表示制御装置。
　前記プロセッサは、
　前記複数の検査画像を表示する制御を行う際に、前記視点方向と各検査画像の前記撮影方向とがなす角の角度に応じた位置に各検査画像を配置する
　請求項４に記載の表示制御装置。
　前記プロセッサは、
　前記複数の検査画像を表示する制御を行う際に、各検査画像の属性情報に従った順序で各検査画像を配置する
　請求項４に記載の表示制御装置。
　前記プロセッサは、
　前記複数の検査画像を表示する制御を行う際に、前記視点方向と各検査画像の前記撮影方向とがなす角の角度に応じた順序、又は前記構造情報を前記視点方向に沿って射影することにより得られる二次元画像と各検査画像との類似度に応じた順序で各検査画像を配置する
　請求項４に記載の表示制御装置。
　前記プロセッサは、
　前記複数の検査画像の表示領域内の選択された位置に応じた前記撮影方向に基づいて、前記仮想の検査対象物の表示態様を変更する
　請求項２から請求項６の何れか１項に記載の表示制御装置。
　前記プロセッサは、
　選択された前記検査画像の前記撮影方向と等しい方向に前記視点方向を変更する
　請求項１３に記載の表示制御装置。
　前記プロセッサは、
　選択された前記検査画像を移動させる操作に応じて、その移動させる操作と同じ方向又は逆の方向に、前記視点方向を変更する
　請求項１３に記載の表示制御装置。
　前記プロセッサは、
　選択された位置が前記複数の検査画像の間の位置である場合、選択された位置と、選択された位置の周囲に配置された前記検査画像との相対位置関係が、前記視点方向と前記周囲に配置された前記検査画像との相対位置関係に近づくように前記視点方向を変更する
　請求項１３に記載の表示制御装置。
　前記プロセッサは、
　前記対応付け情報に基づいて、前記構造情報と前記複数の検査画像との対応関係を表す情報を、前記仮想の検査対象物及び前記検査画像の少なくとも一方に合成して表示する制御を行う
　請求項２から請求項６の何れか１項に記載の表示制御装置。
　前記プロセッサは、
　前記仮想の検査対象物の周囲であり、かつ各検査画像の前記撮影方向に対応する方向に、前記検査画像が存在することを表すオブジェクトを表示する制御を行う
　請求項１７に記載の表示制御装置。
　前記プロセッサは、
　選択された前記検査画像が存在することを表すオブジェクトを強調表示する制御を行う
　請求項１８に記載の表示制御装置。
　前記プロセッサは、
　選択された前記検査画像に対しては、格子状の補助線を合成して表示する制御を行い、かつ前記仮想の検査対象物に対しては、選択された前記検査画像の前記撮影方向に対応する方向に直交する面に、前記補助線と同間隔の格子状の補助線を合成して表示する制御を行う
　請求項１７に記載の表示制御装置。
　前記プロセッサは、
　選択された前記検査画像と前記仮想の検査対象物との対応する特徴点を、前記検査画像及び前記仮想の検査対象物に合成して表示する制御を行う
　請求項１７に記載の表示制御装置。
　前記プロセッサは、
　選択された前記検査画像上のきずの位置に対応する仮想の検査対象物上の位置にきずを表すオブジェクトを合成して表示する制御を行う
　請求項１７に記載の表示制御装置。
　前記検査画像に写るきずの位置情報と、前記構造情報におけるきずの位置情報とが対応付けられ、
　前記プロセッサは、
　前記検査画像又は前記構造情報において選択された前記きずの位置情報に基づいて、前記仮想の検査対象物の表示態様及び前記検査画像の表示態様の少なくとも一方を変更する
　請求項２から請求項６の何れか１項に記載の表示制御装置。
　前記プロセッサは、
　複数の前記きずのうちの選択されたきずの位置と、選択されたきず以外のきずの位置との距離に基づいて前記検査画像の表示態様を変更する
　請求項２３に記載の表示制御装置。
　前記プロセッサは、
　選択された前記きずの領域の画素値の平均値と、そのきずの領域の周辺領域の画素値の平均値との比に基づいて前記検査画像の表示態様を変更する
　請求項２３に記載の表示制御装置。
　前記プロセッサは、
　選択された前記きずの周辺領域の画素値の平滑度に基づいて前記検査画像の表示態様を変更する
　請求項２３に記載の表示制御装置。
　前記プロセッサは、
　選択された前記きずが画面の中心かつ手前側に位置するように、前記視点方向を変更する
　請求項２３に記載の表示制御装置。
　前記プロセッサは、
　選択された前記きずの位置において、前記視点方向に沿った前記検査対象物の厚みが最も薄くなるように前記視点方向を変更する
　請求項２３に記載の表示制御装置。
　少なくとも一つのプロセッサを備え、かつ検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、前記検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う表示制御装置の前記プロセッサが実行する表示制御方法であって、
　前記構造情報に基づく表示制御を行う際の視点方向と前記複数の検査画像それぞれの前記撮影方向とが対応付けられた対応付け情報に基づいて前記表示制御を行う
　表示制御方法。
　少なくとも一つのプロセッサを備え、かつ検査対象物に対して異なる複数の撮影方向から放射線を照射することにより撮影された複数の検査画像と、前記検査対象物の３次元構造を表す構造情報とに基づく表示制御を行う表示制御装置の前記プロセッサに実行させるための表示制御プログラムであって、
　前記構造情報に基づく表示制御を行う際の視点方向と前記複数の検査画像それぞれの前記撮影方向とが対応付けられた対応付け情報に基づいて前記表示制御を行う
　表示制御プログラム。