JPWO2019220871A1 - 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 - Google Patents

Abstract

異常表示制御装置のコンピュータが、対象胸部Ｘ線画像を取得し（Ｓ５０）、対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し（Ｓ１００）、構造物から異常状態を判定するための指標を算出し、指標と予め求められた基準指標とを比較し、比較結果に基づいて構造物が異常状態であるか否かを判定し（Ｓ２００）、構造物が異常状態であると判定されると、対象胸部Ｘ線画像のうち異常状態であると判定された構造物を含む領域の画像と、構造物の異常状態の内容と、をディスプレイに表示する（Ｓ３００）異常表示制御方法。

Description

本開示は、医用画像の処理技術に関し、さらに詳しくは胸部Ｘ線画像の異常判定技術に関する。

近年、医用画像を解析処理することで病変領域を検出する装置、ソフトウェア等が開発されている。そのような装置、ソフトウェア、または、それらを用いた診断は、コンピュータ支援検出（ＣＡＤ）と呼ばれ、医師の読影作業の負担を軽減することができると期待されている。

また、医用画像のなかでも、胸部Ｘ線画像は、撮影機器及び撮影コストが安価で、普及率も高く、胸部疾患を診断する際の第一選択方法となっている。

胸部Ｘ線画像のＣＡＤ技術としては、例えば非特許文献１に開示されるように、検出すべき疾患の病変画像を機械学習する方法が主流となっている。しかしながら、胸部Ｘ線画像では、奥行き方向に複数の解剖学的構造が重なって描出される。このため、それらの解剖学的構造物と病変とが重なった場合には、病変が明確に視認できないという事態が生じる。病変が解剖学的構造と重なって明確に視認できない症例にも対応する技術として、特許文献１が提案されている。

特許文献１は、肋骨により囲まれる肺野領域（即ち肋間領域）に着目し、左右の肋間距離に差があれば病変の可能性を疑う、という医師の知見を工学的に実現する技術である。この技術であれば、病変自体が明確に視認できなくても、病変によってもたらされる解剖学的構造の変化（つまり左右の肋間距離の差異）を検出することにより、異常を推定することができる。

Ｘ．Ｗａｎｇ，Ｙ．Ｐｅｎｇ，Ｌ．Ｌｕ，Ｚ．Ｌｕ，Ｍ．Ｂａｇｈｅｒｉ，Ｒ．Ｓｕｍｍｅｒｓ， Ｃｈｅｓｔ Ｘ−Ｒａｙ８： Ｈｏｓｐｉｔａｌ−Ｓｃａｌｅ Ｃｈｅｓｔ Ｘ−Ｒａｙ Ｄａｔａｂａｓｅ ａｎｄ Ｂｅｎｃｈｍａｒｋｓ ｏｎ Ｗｅａｋｌｙ−Ｓｕｐｅｒｖｉｓｅｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ Ｃｏｍｍｏｎ Ｔｈｏｒａｘ Ｄｉｓｅａｓｅｓ， ＣＶＰＲ２０１７ Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ， Ｐ．Ｆｉｓｃｈｅｒ， ａｎｄ Ｔ．Ｂｒｏｘ， Ｕ−Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ， Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）， Ｓｐｒｉｎｇｅｒ， ＬＮＣＳ， Ｖｏｌ．９３５１： ２３４−−２４１， ２０１５ Ｌ．Ｌｏｎｇ， Ｅ．Ｓｈｅｌｈａｍｅｒ， Ｔ．Ｄａｒｒｅｌｌ， Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ， Ｉｎ ＣＶＰＲ． ２０１５． Ｊｉｎｗｏｎ Ａｎ， Ｓｕｎｇｚｏｏｎ Ｃｈｏ， Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｎｄｅｒ ｂａｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｐｒｏｂａｂｉｌｉｔｙ， Ｄｅｃｅｍｂｅｒ ２７， ２０１５ ＳＮＵ Ｄａｔａ Ｍｉｎｉｎｇ Ｃｅｎｔｅｒ ２０１５−２ Ｓｐｅｃｉａｌ Ｌｅｃｔｕｒｅ ｏｎ ＩＥ

国際公開第２０１０／０３５５１７号

しかしながら、上記従来技術では、特定の解剖学的構造に依存することなく統一的な枠組みで、多様な異常状態を判定するという点において、更なる改善が必要とされていた。

本開示の一態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定し、
前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、をディスプレイに表示する胸部Ｘ線画像の異常表示制御方法である。

この包括的又は具体的な態様は、装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。

上記態様により、更なる改善が実現できる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

第１実施形態における異常表示制御装置のブロック図 第１実施形態における院内ネットワーク構成のブロック図 第１実施形態におけるフローチャート 下行大動脈の陰影を含む胸部Ｘ線画像を示す図 下行大動脈の陰影のマスク画像を示す図 胸部Ｘ線画像にマスク画像を重畳した画像を示す図 右背側横隔膜の陰影を含む胸部Ｘ線画像を示す図 右背側横隔膜の陰影のマスク画像を示す図 胸部Ｘ線画像にマスク画像を重畳した画像を示す図 第１胸椎を含む胸部Ｘ線画像を示す図 第１胸椎のマスク画像を示す図 胸部Ｘ線画像にマスク画像を重畳した画像を示す図 Ｕ−Ｎｅｔのアーキテクチャを概略的に示す図 第１実施形態における異常判定処理を示すフローチャート 第１実施形態における異常判定処理を示すフローチャート 構造物毎に実行されるステップが定義された実行情報を示す図 正常モデルの一例である確率密度分布を概略的に示す図 次元削減による異常表示制御方法を説明する図 積層オートエンコーダのネットワーク構成を示す図 変分オートエンコーダのネットワーク構成を示す図 構造物の位置が正常の例を示す図 構造物の位置が異常の例を示す図 ２つの線構造の角度算出を説明する図 ２つの線構造の角度が正常の例を示す図 ２つの線構造の角度が異常の例を示す図 ２つの線構造の間の距離が正常の例を示す図 ２つの線構造の間の距離が異常の例を示す図 線構造の面積が正常の例を示す図 線構造の面積が異常の例を示す図 線構造の幅が正常の例を示す図 線構造の幅が異常の例を示す図 対象胸部Ｘ線画像のサンプルの画像を示す図 構造物のマスク画像を示す図 構造物のマスク画像を示す図 対象胸部Ｘ線画像にマスク画像を重畳した画像を示す図 構造物のマスク画像を重畳した状態での切り出し画像を示す図 構造物のマスク画像を重畳しない状態での切り出し画像を示す図 線構造に挟まれた領域が正常の例を示す図 線構造に挟まれた領域が異常の例を示す図 対象胸部Ｘ線画像のサンプルの画像を示す図 構造物のマスク画像を示す図 対象胸部Ｘ線画像にマスク画像を重畳した画像を示す図 構造物のマスク画像を重畳した状態での切り出し画像を示す図 構造物のマスク画像を重畳しない状態での切り出し画像を示す図 第１実施形態におけるディスプレイの表示例を示す図 第２実施形態における異常表示制御装置の構成を示すブロック図 第２実施形態における構造物検出処理を示すフローチャート 解像度情報を概略的に示す図。 図２５のステップＳ１０３〜ステップＳ１０６の処理を概略的に示す図 第３実施形態における異常表示制御装置の構成を示すブロック図 第３実施形態におけるフローチャート 異常所見情報を概略的に示す図 第３実施形態におけるディスプレイの表示例を示す図 第４実施形態における院内ネットワーク構成のブロック図 ２つの線構造Ｐ，Ｑから、頂点ＶＴおよび、線構造Ｐ側の接線ＴＬｐ及び線構造Ｑ側の接線ＴＬｑを算出する方法を説明する図

（本開示の基礎となった知見）
非特許文献１の方法では、前述したように、明確に視認できない病変を検出するのは困難である。また、特許文献１の方法では、肋間領域の面積又は距離に差が表れる異常以外の異常に対応するのは困難である。そこで、本発明者は、胸部Ｘ線画像に描出される様々な局所構造に着目し、肋間領域等の特定の解剖学的構造に依存せずに統一的な枠組みで、病変が明確に視認できない場合も含めた多様な異常の有無を判定可能な、以下の各態様を想到するに至った。

本開示の第１態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定し、
前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、をディスプレイに表示する胸部Ｘ線画像の異常表示制御方法である。

本開示の第２態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータを、
前記対象胸部Ｘ線画像を取得する取得部、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定する判定部、
前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、をディスプレイに表示する表示制御部、
として機能させる異常表示制御プログラムである。

本開示の第３態様は、
ディスプレイと、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定する判定部と、
前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、を前記ディスプレイに表示する表示制御部と、
を備える異常表示制御装置である。

この第１態様又は第２態様又は第３態様では、読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。第１線状領域または第２線状領域からなる線構造を含む構造物から異常状態を判定するための指標が算出され、指標と予め定められた基準指標とが比較され、比較結果に基づいて構造物が異常状態であるか否かが判定される。第１線状領域及び第２線状領域は、解剖学的構造の種類又は対象胸部Ｘ線画像における解剖学的構造の位置に関係なく、検出されることとなる。したがって、第１態様又は第２態様又は第３態様によれば、特定の解剖学的構造に依存することなく統一的な枠組みで、多様な異常状態を判定することができる。また、構造物が異常状態であると判定されると、対象胸部Ｘ線画像のうち異常状態であると判定された構造物を含む領域の画像と、構造物の異常状態の内容と、がディスプレイに表示される。このため、有益な情報をユーザに提示することができる。その結果、読影医だけでなく、臨床医又は放射線技師の診断又は自己学習、及び、医学生の教育又は自己学習にも利用することが可能である。

上記第１態様において、例えば、
前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において前記構造物が検出されるように学習されたモデルであってもよい。

この態様では、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において構造物が検出されるように学習されたモデルを用いて、構造物が検出される。したがって、画素単位で予測が行われるため、第１線状領域または第２線状領域からなる線構造を含む構造物を高精度で検出することができる。

上記第１態様において、例えば、
前記検出では、
前記対象胸部Ｘ線画像を前記対象胸部Ｘ線画像の解像度より低い第１解像度に変換して第１Ｘ線画像を作成し、
前記対象胸部Ｘ線画像を前記第１解像度より高く、かつ前記対象胸部Ｘ線画像の解像度以下の第２解像度に変換して第２Ｘ線画像を作成し、
前記第１Ｘ線画像から第１サイズの前記構造物を検出し、
前記第１サイズの前記構造物の検出結果に基づき、前記第２Ｘ線画像において前記第２Ｘ線画像より小さい探索領域を設定し、
前記探索領域から、前記第１サイズより小さい第２サイズの前記構造物を検出してもよい。

この態様では、第１解像度の第１Ｘ線画像から第１サイズの構造物が検出される。第１解像度より高い第２解像度の第２Ｘ線画像には探索領域が設定され、この探索領域から第１サイズより小さい第２サイズの構造物が検出される。したがって、この態様によれば、高解像の画像を用いるときは、対象胸部Ｘ線画像のサイズより小さいサイズの探索領域を設定している。このため、メモリの使用量が低減される。その結果、メモリ量が少ない場合でも、構造物検出性能の低下を抑制することができる。

上記第１態様において、例えば、
前記第１サイズの前記構造物の検出では、前記第１Ｘ線画像から前記第１サイズの前記構造物として解剖学的構造を検出し、
前記第２サイズの前記構造物の検出では、前記第２Ｘ線画像の前記探索領域から前記第２サイズの前記構造物として前記線構造を検出してもよい。

この態様によれば、解剖学的構造は、比較的大きい第１サイズであるので、比較的低い第１解像度の第１Ｘ線画像から、好適に検出することができる。また、線構造は、比較的小さい第２サイズであるので、比較的高い第２解像度の第２Ｘ線画像のうち設定された探索領域から、好適に検出することができる。

上記第１態様において、例えば、
前記探索領域の設定では、前記第１サイズの前記構造物と前記第２サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定してもよい。

この態様によれば、第１検出サブステップの検出結果として得られた第１サイズの構造物の位置と、第１サイズの構造物と第２サイズの構造物との相対位置関係とから、第２サイズの構造物の位置を把握することができる。したがって、把握した第２サイズの構造物の位置が含まれるように探索領域を設定することにより、第２サイズの構造物を確実に検出することができる。

上記第１態様において、例えば、
前記判定では、前記線構造の位置を前記指標として算出してもよい。

この態様によれば、線構造の位置が正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、２つの前記線構造のなす角度を前記指標として算出してもよい。

この態様によれば、線構造の角度が正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、２つの前記線構造の間の距離を前記指標として算出してもよい。

この態様によれば、２つの線構造の間の距離が正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、前記線構造の面積を前記指標として算出してもよい。

この態様によれば、線構造の面積が正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、前記線構造の幅を前記指標として算出してもよい。

この態様によれば、線構造の幅が正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、２以上の前記線構造で挟まれた領域の画像パタンを前記指標として算出してもよい。

この態様によれば、２つの線構造で挟まれた領域の画像パタンが正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、前記線構造の近傍領域の画像パタンを前記指標として算出してもよい。

この態様によれば、線構造の近傍領域の画像パタンが正常状態と異なる場合に、異常状態であると判定することができる。

上記第１態様において、例えば、
前記判定では、複数の正常状態の胸部Ｘ線画像においてそれぞれ検出された前記構造物から算出された前記指標が前記基準指標として予め保存された基準メモリから読み出した前記基準指標と、前記対象胸部Ｘ線画像から算出された前記指標との差異に基づき、前記構造物が異常状態であるか否かを判定してもよい。

この態様によれば、複数の正常状態の胸部Ｘ線画像においてそれぞれ検出された構造物から算出された指標が基準指標として予め保存されているため、正常状態の基準指標との差異に基づき、構造物が異常状態であるか否かを精度良く判定することができる。

上記第１態様において、例えば、
更に、
単一または複数の前記構造物の異常状態と胸部Ｘ線画像に対する異常所見との対応関係が予め保存された異常所見メモリから前記対応関係を読み出して、前記判定された前記構造物毎の異常状態から前記対応関係を用いて前記対象胸部Ｘ線画像の異常所見を判定し、
判定された前記対象胸部Ｘ線画像の異常所見を前記ディスプレイに表示してもよい。

この態様によれば、判定された構造物毎の異常状態から、異常所見メモリに予め保存された対応関係を用いて、対象胸部Ｘ線画像の異常所見が判定される。判定された対象胸部Ｘ線画像の異常所見が、ディスプレイに表示される。したがって、ユーザに有益な情報を提示することができる。また、構造物の異常状態の内容と対象胸部Ｘ線画像の異常所見とが、ディスプレイに表示されるため、臨床医、放射線技師、医学生等のユーザの診断、教育、自己学習にも利用することが可能である。

本開示の第４態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物から異常状態を判定するための指標を算出し、前記指標と予め定められた基準値とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定する判定部と、
前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、を外部の端末装置に送信する通信制御部と、
を備えるサーバ装置である。

この第４態様では、読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。第１線状領域または第２線状領域からなる線構造を含む構造物から異常状態を判定するための指標が算出され、指標と予め定められた基準指標とが比較され、比較結果に基づいて構造物が異常状態であるか否かが判定される。第１線状領域又は第２線状領域は、解剖学的構造の種類又は対象胸部Ｘ線画像における解剖学的構造の位置に関係なく、検出されることとなる。したがって、第４態様によれば、特定の解剖学的構造に依存することなく統一的な枠組みで、多様な異常状態を判定することができる。また、構造物が異常状態であると判定されると、対象胸部Ｘ線画像のうち異常状態であると判定された構造物を含む領域の画像と、構造物の異常状態の内容とが、外部の端末装置に送信される。このため、有益な情報を端末装置のユーザに提供することができる。その結果、読影医だけでなく、臨床医又は放射線技師の診断又は自己学習、及び、医学生の教育又は自己学習にも利用することが可能である。

（実施の形態）
以下、本開示の実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素には同じ符号が用いられ、適宜、説明は省略される。

（第１実施形態）
図１は、第１実施形態における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００の構成を概略的に示すブロック図である。図２は、医療機関内のネットワーク構成４１０を概略的に示すブロック図である。

図２に示されるように、医療機関内のネットワーク構成４１０は、イントラネットワーク４００を含む。このイントラネットワーク４００には、異常表示制御装置１００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００と、が接続されている。医用画像管理システム２００は、胸部Ｘ線画像、コンピュータ断層撮影（ＣＴ）画像、核磁気共鳴画像法（ＭＲＩ）による画像等を保存し、管理する。胸部Ｘ線画像撮影装置３００は、患者又は健康診断受診者の胸部Ｘ線画像を撮影する。胸部Ｘ線画像撮影装置３００により撮影された胸部Ｘ線画像は、医用画像管理システム２００に送信されて保存される。

なお、異常表示制御装置１００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００とは、必ずしも、同一の医療機関内のイントラネットワーク４００上に接続されている必要はない。異常表示制御装置１００、及び、医用画像管理システム２００は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。胸部Ｘ線画像撮影装置３００は、病院内に設置されていても良いし、健康診断等で使用される巡回車の中に設置されていても良い。医用画像管理システム２００として、例えば画像保存通信システム（ＰＡＣＳ）が採用される。

図１に示されるように、異常表示制御装置１００は、正常モデル格納部１０３、画像メモリ１０６、通信部１０７、ディスプレイ１０８、中央演算処理装置（ＣＰＵ）１２０、メモリ１２１を備えている。異常表示制御装置１００は、例えばパーソナルコンピュータで構成される。

通信部１０７は、イントラネットワーク４００を介して、医用画像管理システム２００等と通信を行う。正常モデル格納部１０３は、例えばハードディスク又は半導体メモリ等により構成される。正常モデル格納部１０３（基準メモリの一例に相当）は、予め定義された複数の構造物（後述）の正常状態をモデルとして格納する。画像メモリ１０６は、例えばハードディスク又は半導体メモリ等により構成される。画像メモリ１０６は、取得された対象胸部Ｘ線画像を格納する。ディスプレイ１０８は、例えば、液晶モニタにより構成され、ユーザである医師又は放射線技師が、画像診断又は画像撮影後の画像確認を行う対象胸部Ｘ線画像を表示する。また、ディスプレイ１０８は、対象胸部Ｘ線画像が撮影された患者のカルテ情報、画像診断の結果を記入するレポート入力画面などを表示する。

メモリ１２１は、例えば半導体メモリ等により構成される。メモリ１２１は、例えばリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的に消去書き換え可能なＲＯＭ（ＥＥＰＲＯＭ）などを含む。メモリ１２１のＲＯＭは、ＣＰＵ１２０を動作させる第１実施形態の制御プログラムを記憶する。

ＣＰＵ１２０は、メモリ１２１に記憶されている第１実施形態の制御プログラムを実行することによって、構造物検出部１０１、構造物異常判定部１０２、表示制御部１２２、通信制御部１２３として機能する。構造物検出部１０１（検出部の一例に相当）は、画像メモリ１０６に保存された対象胸部Ｘ線画像から、予め定義された複数の構造物を検出する。構造物異常判定部１０２（判定部の一例に相当）は、構造物検出部１０１により検出された構造物毎に、正常モデル格納部１０３に格納された正常モデルを参照することにより、異常状態であるか否かを判定する。表示制御部１２２、通信制御部１２３の機能は、それぞれ、後述される。

図３は、第１実施形態に係る異常表示制御装置１００により実行される処理手順を概略的に示すフローチャートである。まず、ステップＳ５０において、通信制御部１２３（取得部の一例に相当）は、通信部１０７を介して、読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を医用画像管理システム２００から取得し、取得した対象胸部Ｘ線画像を画像メモリ１０６に保存する。ステップＳ１００において、構造物検出部１０１は、対象胸部Ｘ線画像を画像メモリ１０６から読み出して、その対象胸部Ｘ線画像から、予め定義された１個以上の構造物を検出する。

「１個以上の構造物」のそれぞれは（i）人体の解剖学的構造が胸部Ｘ線画像に描出された線または領域、または、（ii）解剖学的構造の一部が胸部Ｘ線画像に描出された線または領域、または、（iii）Ｘ線透過率が異なる複数の解剖学的構造の境界が胸部Ｘ線画像に描出された境界線である。

「１個以上の構造物」のそれぞれは「線構造」または「領域構造」に分類される。「線構造」は、胸部Ｘ線画像に描出された境界線、解剖学的構造が胸部Ｘ線画像に描出された線、および解剖学的構造の一部が胸部Ｘ線画像に描出された線を含む。

線構造ではない構造物、すなわち、線状とは見做せない構造物が「領域構造」と定義される。線構造であっても、画像上では幅として１画素よりも大きいものがあるため「線構造」と「領域構造」の差は不明確になる恐れがある。そこで、例えば、構造物の（長軸方向長さ）／（短軸方向長さ）が閾値以上である構造物が「線構造」と定義されることも可能である。この閾値は、構造物が線状であると見做せるような適切な値に設定されればよく、例えば１０又は１００又は１０００でもよい。線構造の例が図４Ａ〜４Ｃと図５Ａ〜５Ｃとに示され、領域構造の例が図６Ａ〜６Ｃに示される。

図４Ａは、下行大動脈の陰影（即ち、下行大動脈と肺実質との間のＸ線透過率の違いにより描出される境界線、第１線状領域の一例に相当）を含む胸部Ｘ線画像Ｉｘを示す図である。図４Ｂは、下行大動脈の陰影のマスク画像Ｐｘを示す図である。図４Ｃは、図４Ａの胸部Ｘ線画像Ｉｘに図４Ｂのマスク画像Ｐｘを重畳して表示した画像を示す図である。図５Ａは、右背側横隔膜（右背側肺底部）の陰影（即ち、肺実質の背側底部と腹側臓器との間のＸ線透過率の違いにより描出される境界線、第１線状領域の一例に相当）を含む胸部Ｘ線画像Ｉｘを示す図である。図５Ｂは、右背側横隔膜の陰影のマスク画像Ｐｙを示す図である。図５Ｃは、図５Ａの胸部Ｘ線画像Ｉｘに図５Ｂのマスク画像Ｐｙを重畳して表示した画像を示す図である。図６Ａは、第一胸椎が投影された領域を含む胸部Ｘ線画像Ｉｘを示す図である。図６Ｂは、第１胸椎のマスク画像Ｐｚを示す図である。図６Ｃは、図６Ａの胸部Ｘ線画像Ｉｘに図６Ｂのマスク画像Ｐｚを重畳して表示した画像を示す図である。

マスク画像は、対応する胸部Ｘ線画像における構造物の占める領域を二値あるいはグレイスケールで表現した画像である。本実施形態では二値マスク画像として説明が行われる。このマスク画像は、構造物検出部１０１を機械学習する際の学習データとして、医学知識を持った人により作成され、用意される。また、学習後の構造物検出部１０１は、対象胸部Ｘ線画像を処理した結果として、マスク画像を出力する。

本実施の形態では、構造物検出部１０１を機械学習する手段として、人工ニューラルネットワークが用いられる。具体的には、対象画像から画素単位で対象領域を抽出するセマンティックセグメンテーションを行う人工ニューラルネットワークとして、非特許文献２に開示されているＵ−Ｎｅｔが用いられる。セマンティックセグメンテーションは、画像を画素単位で領域分割することを意味する。

図７は、Ｕ−Ｎｅｔのアーキテクチャを概略的に示す図である。Ｕ−Ｎｅｔは、図７に示されるようなエンコーダＥＣＤ及びデコーダＤＣＤを備える畳み込みニューラルネットワークであり、Ｕ−ｎｅｔに入力画像が入力層ＩＬに入力されると、Ｕ−ｎｅｔから出力画像が出力層ＯＬに出力される。図４Ａ、図５Ａ、図６Ａのような入力画像と図４Ｂ、図５Ｂ、図６Ｂのようなマスク画像との組を大量に与えて機械学習が行われる。

具体的には、図４Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図４Ｂのようなマスク画像Ｐｘが出力されるように機械学習させて、下行大動脈の陰影用の構造物検出部１０１が生成される。また、図５Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図５Ｂのようなマスク画像Ｐｙが出力されるように機械学習させて、右背側横隔膜の陰影用の構造物検出部１０１が生成される。また、図６Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図６Ｂのようなマスク画像Ｐｚが出力されるように機械学習させて、第１胸椎用の構造物検出部１０１が生成される。そして、機械学習後の、例えば、下行大動脈の陰影用の構造物検出部１０１に対象胸部Ｘ線画像が入力されると、機械学習させた構造物の領域として下行大動脈の陰影が検出されることとなる。

本実施の形態では、予め定義された総計Ｎ（Ｎは１以上の整数）個の構造物について、それぞれ構造物検出を行うＵ−Ｎｅｔを予め機械学習させてＮ個の学習済みのＵ−Ｎｅｔを準備しておき、それらＮ個の学習済みのＵ−Ｎｅｔが、構造物検出部１０１として用いられる。なお、セマンティックセグメンテーションを行う人工ニューラルネットワークとして、Ｕ−Ｎｅｔに代えて、非特許文献３に開示されるような他のニューラルネットワークが用いられてもよい。

図３に戻って、ステップＳ２００において、構造物異常判定部１０２は、検出された構造物毎に、異常状態であるか否かを判定する。

図８Ａ，８Ｂは、ステップＳ２００（図３）における異常判定処理手順を概略的に示すフローチャートである。図９は、構造物毎に実行される図８Ａ，８Ｂのステップが定義された実行情報９００を概略的に示す図である。図９に示されるように、実行情報９００は、縦軸に設定されたステップ欄９０１と、横軸に設定された構造物ＩＤ欄９０２と、を含む。

図８Ａ，８Ｂに示されるように、構造物異常判定部１０２は、検出された構造物毎に、構造物の位置に基づく判定処理（ステップＳ２０１）、構造物間の角度に基づく判定処理（ステップＳ２０２）、構造物間の距離に基づく判定処理（ステップＳ２０３）、構造物の面積に基づく判定処理（ステップＳ２０４）、構造物の太さに基づく判定処理（ステップＳ２０５）、構造物で挟まれた領域の画像パタンに基づく判定処理（ステップＳ２０６）、構造物の近傍領域の画像パタンに基づく判定処理（ステップＳ２０７）、を行う。それぞれの判定処理は、後に詳述される。

各判定処理において、正常又は異常を判定するための指標は、構造物毎に異なる。このため、図９に示されるような実行情報９００が、医学知見を基に予め用意されて、メモリ１２１に保存されている。この理由は、構造物毎に、異常時の異常の現れ方が異なるからである。この実行情報９００から、構造物異常判定部１０２は、構造物毎に、図８Ａ，８Ｂのフローチャートの各ステップを実行するか否か、他の構造物と比較して実行する場合はどの構造物と比較するか、の情報を得る。

図９に示される実行情報９００の構造物ＩＤ欄９０２に、〇または構造物ＩＤが記されている場合は、対応する構造物において、そのステップが実行される。例えば、構造物１に関しては、ステップＳ２０１〜Ｓ２０３、Ｓ２０７が実行され、ステップＳ２０４〜Ｓ２０６は実行されない。即ち、構造物１に関しては、構造物１の位置、構造物１と構造物８との角度、構造物１と構造物４との距離、及び、構造物１の近傍領域の画像パタンを基に、異常状態であるか否かが判定される。例えば、構造物Ｎに関しては、ステップＳ２０２、Ｓ２０４〜Ｓ２０６が実行され、ステップＳ２０１、Ｓ２０３、Ｓ２０７は実行されない。即ち、構造物Ｎに関しては、構造物Ｎの角度、構造物Ｎの面積、構造物Ｎの幅、及び、構造物Ｎと構造物１２とで挟まれた領域の画像パタンを基に、異常状態であるか否かが判定される。

なお、本実施の形態においては、ステップＳ２０１〜Ｓ２０７にて正常又は異常を判定する共通の方法として、事前に大量の正常データから正常モデルを構築しておき、対象胸部Ｘ線画像から検出された構造物が、この正常モデルと比較される。事前に構築された正常モデルは、正常モデル格納部１０３に予め格納されている。

図１０は、正常モデルの一例である確率密度分布ＰＤＤを概略的に示す図である。構造物から抽出される指標が１次元の場合には、構造物異常判定部１０２は、例えば図１０のような確率密度分布ＰＤＤを用いて異常状態か否かを判定する。構造物異常判定部１０２は、対象とする指標に関し、上述の正常モデルにおける指標の確率密度分布ＰＤＤに対し、構造物から抽出された指標に対応する確率の値で正常らしさを判定する。例えば図１０においては、抽出された指標Ｐ１、Ｐ２の正常らしさは、それぞれＱ１、Ｑ２である。そこで、構造物異常判定部１０２は、指標Ｐ２は正常らしいと判定し、指標Ｐ１は異常らしい、と判定する。

確率密度分布ＰＤＤを表す方法としては、比較的少数のパラメータによるパラメトリックモデルを用いて表す方法、特定の関数型を仮定せず、個々のデータにより分布の形を特定するノンパラメトリックモデルを用いて表す方法などがある。構造物から抽出される指標が少数次元であれば、構造物異常判定部１０２は、この確率密度分布を用いて異常状態か否かを判定する。例えばパラメトリックモデルを用いる場合は、正常モデルとして、確率密度分布を表すパラメータ（例えば正規分布の平均及び標準偏差）を正常モデル格納部１０３に格納する。一方、構造物から抽出される指標が画像のような高次元の場合は、次元削減による異常判定方法を用いることができる。

図１１は、次元削減時の再構成誤差を利用した異常判定方法を説明する図である。正常モデルを構築する機械学習時に、学習用データセットが分布する元の高次元オリジナル空間ＨＤＯＳから、次元が削減された低次元部分空間ＬＤＰＳを求めておく。ここで、正常データのみで学習用データセットを構成して低次元部分空間ＬＤＰＳを求めた場合、得られた低次元部分空間ＬＤＰＳは、正常データの特徴を反映した空間になっていると考えられる。構造物から抽出される指標を、この低次元部分空間ＬＤＰＳに投影した際、元の学習データと素性が近ければ（すなわち正常データであれば）、所定の閾値未満の再構成誤差ＥＲ１が得られることとなる。一方、異常なデータであれば、所定の閾値以上の再構成誤差ＥＲ２が得られることとなる。構造物異常判定部１０２は、これを利用して、異常状態であるか否かの判定を行う。再構成誤差は、構造物から抽出される指標を低次元部分空間ＬＤＰＳに投影した（つまり次元圧縮した）際のベクトルと、元の高次元オリジナル空間ＨＤＯＳにおけるベクトルとの距離で計算できる。次元削減を行う方法としては、主成分分析、積層オートエンコーダ、変分オートエンコーダ等の手法を用いることができる。図１２は、積層オートエンコーダ１２００のネットワーク構成を示す図である。積層オートエンコーダ１２００は、図１２に示されるように、入力層ＩＬ、出力層ＯＬ、２以上の中間層ＭＬを備え、中間層ＭＬのニューロン数を入力層ＩＬ、出力層ＯＬに比べて絞った砂時計型のフィードフォワードネットワークである。積層オートエンコーダ１２００では、入力を再現するような出力を得るように、自己を教師データとして学習する。学習終了後には、中間層ＭＬは、学習データセットの素性を良く表現できるような特徴表現になっている。このため、例えば中間層ＭＬ（ｉ）の出力を次元削減データとすることができる。

図１３は、変分オートエンコーダ１３００のネットワーク構成を示す図である。変分オートエンコーダ１３００は、図１３に示されるように、入力層ＩＬ、出力層ＯＬ、２以上の中間層を備え、積層オートエンコーダ１２００（図１２）と同様に、中間層のニューロン数を入力層ＩＬ、出力層ＯＬに比べて絞った砂時計型のネットワークである。変分オートエンコーダは、例えば非特許文献４に開示されている。図１３は、非特許文献４の図２又は図３に相当する。

変分オートエンコーダ１３００では、エンコーダＥＣＤが、画像ｘを入力として、画像ｘを生成する基となる潜在変数ＬＶであるｚの分布ｑφ（ｚ｜ｘ）のパラメータを出力する。デコーダＤＣＤは、分布ｑφ（ｚ｜ｘ）からサンプリングしたｚを基に、生成画像の分布ｐθ（ｘ｜ｚ）を出力する。変分オートエンコーダ１３００における学習は、データセットの各点ｘの対数周辺尤度ｌｏｇｐθ（ｘ）の変分下界の最大化により行われる。非特許文献４では、学習アルゴリズムは、アルゴリズム３として、説明されている。

変分オートエンコーダ１３００を用いた異常判定は、以下のようにして行われる。対象胸部Ｘ線画像ｙを学習済のエンコーダＥＣＤに入力し、潜在変数ＬＶの値がｚの分布ｆ（ｚ｜ｙ）を得る。この分布からサンプリングして潜在変数ｚを得て、得られた潜在変数ｚを用いて対象胸部Ｘ線画像ｙの尤度ｐθ（ｙ｜ｚ）を求める。構造物異常判定部１０２は、その尤度ｐθ（ｙ｜ｚ）により、異常または正常を判定する。非特許文献４では、判定アルゴリズムは、アルゴリズム４として、説明されている。

主成分分析の場合は、正常モデルとして、次元削減を行う行列を正常モデル格納部１０３に格納する。積層オートエンコーダ、変分オートエンコーダの場合は、正常モデルとして、学習後のネットワーク構造およびパラメータを正常モデル格納部１０３に格納する。

以上で、ステップＳ２０１〜Ｓ２０７において、正常状態又は異常状態を判定する共通の方法が説明された。ここからは、各ステップでの具体的な実現方法が説明される。

図８ＡのステップＳ２０１において、構造物異常判定部１０２は、構造物の位置に関して正常か否かを判定する。異常と判定されると（ステップＳ２０１でＮＯ）、処理はステップＳ２１１に進む。一方、正常と判定されると（ステップＳ２０１でＹＥＳ）、処理はステップＳ２１２に進む。ステップＳ２１１，Ｓ２１２の後、処理は、ステップＳ２０２に進む。

ステップＳ２０１の事前の準備として、予め、図４Ｂ、図５Ｂ、図６Ｂに示されるような二値マスク画像を学習用として大量に用意しておく。構造物Ｐｐ毎に、かつサンプルｊ毎に、マスク領域の重心座標（ＧＸｐｊ，ＧＹｐｊ）を算出しておき、この２次元重心座標を正常状態又は異常状態を判定するための指標とする。このようにして学習用の二値マスク画像から算出した重心座標（ＧＸｐｊ，ＧＹｐｊ）の二次元確率密度分布を求めて、正常モデルとして正常モデル格納部１０３に格納しておく。

なお、胸部Ｘ線画像撮影装置３００における撮影時の位置ずれ、被写体の体格差を吸収するため、肺野に比べて疾患による影響を受けづらく、かつ、撮影時の被写体の姿勢によっても影響を受けづらい骨（肋骨、胸椎など）を検出した後、標準的な位置及び体格に正規化して、正規化された重心座標（ＮＧＸｐｊ，ＮＧＹｐｊ）を求めて、正常モデルとして正常モデル格納部１０３に格納してもよい。

構造物異常判定部１０２は、構造物検出部１０１により検出され出力された構造物Ｐｐのマスク画像から重心座標を算出する。構造物異常判定部１０２は、算出した重心座標と、正常モデル格納部１０３に保存されている、構造物Ｐｐに対応する２次元確率密度分布とを比較することにより異常判定を行う。ここで、判定可能な異常の例が、図１４Ａ，１４Ｂに示される。

図１４Ａ，１４Ｂは、気管の左壁及び右壁がそれぞれ構造物として定義された例を示す図である。図１４Ａは、気管の右壁に対応する構造物Ｐ１４ａ（第１線状領域と第２線状領域との組合せから構成される一例に相当）と、気管の左壁に対応する構造物Ｑ１４ａ（第１線状領域の一例に相当）とが、正常な場所に位置する例を示す。図１４Ｂは、気管の右壁に対応する構造物Ｐ１４ｂと、気管の左壁に対応する構造物Ｑ１４ｂとが、疾患により体に対して右に（画像上では左に）シフトした例を示す。

本実施形態では、気管の左右壁が、それぞれ線構造の構造物として定義されている。すなわち、気管の殆どの領域は、縦隔の中にあり、その部分の気管支壁については、第１線状領域の一例に相当する。気管が気管支に分岐する付近にて、気管または気管支が右肺野と隣接するようになれば、その気管または気管支の右壁は、第２線状領域の一例に相当することとなる。一方、気管の左壁については、気管支に分岐する付近になっても下行大動脈が存在するために、第１線状領域の一例に相当することとなる。代替的に、気管の占める領域が、領域構造の構造物として定義されてもよい。

図８Ａに戻って、ステップＳ２０２において、構造物異常判定部１０２は、構造物と構造物との間の角度に関して正常か否かを判定する。異常と判定されると（ステップＳ２０２でＮＯ）、処理はステップＳ２２１に進む。一方、正常と判定されると（ステップＳ２０２でＹＥＳ）、処理はステップＳ２２２に進む。ステップＳ２２１，Ｓ２２２の後、処理は、ステップＳ２０３に進む。

ステップＳ２０２の角度に関する異常判定を行う対象としては、気管支が分岐する部分の角度である気管分岐角、肋骨横隔膜角等がある。

図１５は、互いに角度をなす２つの線構造Ｐ，Ｑの角度算出を説明する図である。異常判定に角度を用いる場合は、図１５に示されるように、構造物として、互いに角度をなす２つの線構造Ｐ，Ｑが用いられる。事前の準備として、予め、互いに角度をなす２つの線構造Ｐ，Ｑの二値マスク画像を学習用として大量に用意しておく。そして、サンプルｊごとに、その２つの線構造Ｐ，Ｑの頂点ＶＴが算出され、頂点ＶＴの近傍において、線構造Ｐ側の接線ＴＬｐ及び線構造Ｑ側の接線ＴＬｑが算出されて、接線ＴＬｐと接線ＴＬｑとのなす角度θｐｑが算出される。この角度が正常状態又は異常状態を判定するための指標とされる。このようにして学習用の二値マスク画像から算出した角度θｐｑの一次元確率密度分布が求められて、正常モデルとして、正常モデル格納部１０３に予め格納される。

ここで、２つの線構造Ｐ，Ｑから、頂点ＶＴおよび、線構造Ｐ側の接線ＴＬｐ及び線構造Ｑ側の接線ＴＬｑを算出する方法について、図３３を用いながら説明する。図３３のＡ−１は、処理対象の胸部Ｘ線画像（説明に必要な部分を中心にトリミング済）であり、図３３のＡ−２は、図３３のＡ−１における領域Ｒ１をさらに切り出し、気管が視認し易いようにコントラスト調整を行った画像である。図３３のＡ−３は、図１５における線構造Ｐ，Ｑをそれぞれ領域抽出した領域ＰＡ３、ＱＡ３を示す画像である。図１５における角度θｐｑは、胸部Ｘ線画像上で気管が分岐する角度を表す気管分岐角であり、点ＶＴは、気管分岐角の頂点である。下向きの気管から、気管支として左右に分岐して左右の肺に入るため、正常の気管支は、図３３に示すようにわずかに下に凸の形状の緩やかな曲線として胸部Ｘ線画像上に描出される。よって、頂点ＶＴからの線構造Ｐ，Ｑへの接線として、線構造Ｐ，Ｑの頂点ＶＴに近い部分を直線近似して求めることができる。線構造Ｐ，Ｑは、左右気管支の下側の境界であるが、頂点ＶＴからどこまでをＰ，Ｑとして、Ｕ−Ｎｅｔに教示するかは、設計側で決定できる。今回は、胸椎、下行大動脈を含む、中央陰影（胸部Ｘ線画像上の中央のＸ線吸収の大きい部分）と重なる左右気管支の下側の境界として教示した。今回は、「線構造Ｐ，Ｑの頂点ＶＴに近い部分」として、線構造Ｐ，Ｑの中央寄り１／３の領域を用いる。前述したように、線構造であっても、画像上では幅として１画素よりも大きいものがあるため、まず、２つの線構造Ｐ，Ｑをそれぞれ細線化する。細線化アルゴリズムとしては、Zhang-Suen、田村、Nagendraprasad-Wang-Gupta、Hilditchなどの方法があるが、任意の方法でよい。例えば、比較的高速なZhang-Suenの方法を用いることができる。図３３のＡ−４は、図３３のＡ−３の領域ＰＡ３、ＱＡ３を細線化し、幅１画素の連結成分である領域ＰＡ４，ＱＡ４を示す。次に、図３３のＡ−５のように、領域ＰＡ４、ＱＡ４に対し、画像の中央寄りから１／３の長さ（画素の連結数）の領域ＰＡ５，ＱＡ５を求める。次に、ＰＡ５とＱＡ５を、ハフ変換などの手法を用いて直線近似する。直線近似後の２直線の式を用いて、角度θｐｑが算出できる。

なお、図３３のでは、線構造Ｐ，Ｑが、図１５、図１６Ａ，図１６Ｂと異なり、互いに接していないように表現したが、互いに接しているか離れているかに関わらず、上記の方法は適用可能である。

構造物異常判定部１０２は、構造物検出部１０１により検出され出力された線構造Ｐ，Ｑのマスク画像のなす角度を算出する。構造物異常判定部１０２は、算出した角度と、正常モデル格納部１０３に保存されている、線構造Ｐ，Ｑに対応する一次元確率密度分布とを比較することにより異常判定を行う。ここで、判定可能な異常の例が、図１６Ａ，１６Ｂに示される。

図１６Ａ，１６Ｂは、気管支の分岐部分の２つの下側境界線がそれぞれ線構造として定義された例を示す図である。図１６Ａは、線構造Ｐ１６ａ（第１線状領域の一例に相当）と線構造Ｑ１６ａ（第１線状領域の一例に相当）とのなす気管分岐角が正常な例を示す。図１６Ｂは、線構造Ｐ１６ｂ（第１線状領域の一例に相当）と線構造Ｑ１６ｂ（第１線状領域の一例に相当）とのなす気管分岐角が疾患により拡大した例を示す。

図８Ａに戻って、ステップＳ２０３において、構造物異常判定部１０２は、構造物と構造物との間の距離に関して正常か否かを判定する。異常と判定されると（ステップＳ２０３でＮＯ）、処理はステップＳ２３１に進む。一方、正常と判定されると（ステップＳ２０３でＹＥＳ）、処理はステップＳ２３２に進む。ステップＳ２３１，Ｓ２３２の後、処理は、ステップＳ２０４に進む。

異常判定に距離を用いる場合は、２つの構造物が用いられる。事前の準備として、予め、図４Ｂ、図５Ｂ、図６Ｂに示されるような二値マスク画像を学習用として大量に用意しておく。互いの距離を求める構造物Ｐｐ，Ｑｑ毎に、かつサンプルｊ毎に、構造物Ｐｐのマスク画像と構造物Ｑｑのマスク画像との間の距離Ｄｐｑｊを算出する。この距離が正常状態又は異常状態を判定するための指標とされる。このようにして学習用の二値マスク画像から算出した距離Ｄｐｑｊの一次元確率密度分布が求められて、正常モデルとして、正常モデル格納部１０３に予め格納される。

構造物異常判定部１０２は、構造物検出部１０１により検出され出力された構造物Ｐｐ，Ｑｑのマスク画像から距離を算出する。構造物異常判定部１０２は、算出した距離と、正常モデル格納部１０３に保存されている、構造物Ｐｐ，Ｑｑに対応する一次元確率密度分布とを比較することにより異常判定を行う。距離としては、構造物Ｐｐの重心と構造物Ｑｑの重心との間の距離を用いることができる。ここで、判定可能な異常の例が、図１７Ａ，１７Ｂに示される。

図１７Ａ，１７Ｂは、心陰影の左側境界線と右側境界線とがそれぞれ線構造として定義された例を示す図である。図１７Ａは、右心陰影の線構造Ｐ１７ａ（第１線状領域の一例に相当）と、左心陰影の線構造Ｑ１７ａ（第１線状領域の一例に相当）との間の距離が正常な例を示す。図１７Ｂは、右心陰影の線構造Ｐ１７ｂ（第１線状領域の一例に相当）と、左心陰影の線構造Ｑ１７ｂ（第１線状領域の一例に相当）との間の距離が、疾患により拡大した例を示す。なお、距離を定義する２つの線構造のどちらか、あるいは、両方が、ステップＳ２０１での位置に関する異常判定で異常状態と判定される可能性もある。

図８Ａに戻って、ステップＳ２０４において、構造物異常判定部１０２は、構造物の面積に関して正常か否かを判定する。異常と判定されると（ステップＳ２０４でＮＯ）、処理はステップＳ２４１に進む。一方、正常と判定されると（ステップＳ２０４でＹＥＳ）、処理はステップＳ２４２に進む。ステップＳ２４１，Ｓ２４２の後、処理は、ステップＳ２０５（図８Ｂ）に進む。

事前の準備として、予め、図４Ｂ、図５Ｂ、図６Ｂに示されるような二値マスク画像を学習用として大量に用意しておく。構造物Ｐｐ毎に、かつサンプルｊ毎に、マスク画像の面積Ａｐｊが算出される。この面積が正常状態又は異常状態を判定するための指標とされる。このようにして学習用の二値マスク画像から算出した面積Ａｐｊの一次元確率密度分布が求められて、正常モデルとして、正常モデル格納部１０３に予め格納される。

構造物異常判定部１０２は、構造物検出部１０１により検出され出力された構造物Ｐｐのマスク画像から面積を算出する。構造物異常判定部１０２は、算出した面積と、正常モデル格納部１０３に保存されている、構造物Ｐｐに対応する一次元確率密度分布とを比較することにより異常判定を行う。面積としては、構造物Ｐｐを構成する画素の面積を用いることができる。代替的に、面積として、構造物Ｐｐを構成する画素の個数を用いてもよい。ここで、判定可能な異常の例が、図１８Ａ，１８Ｂに示される。

図１８Ａ，１８Ｂは、左（画像上では右）の横隔膜ドーム陰影が線構造として定義された例を示す図である。図１８Ａは、横隔膜ドーム陰影に対応する線構造Ｐ１８ａ（第１線状領域の一例に相当）が正常である例を示す。図１８Ｂは、横隔膜ドーム陰影に対応する線構造が疾患により視認しづらくなった例を示す。図１８Ｂのような場合、構造物検出部１０１は、目的とする構造物（ここでは横隔膜ドーム陰影）の一部または全部が検出できなくなる。このため、構造物異常判定部１０２は、構造物検出部１０１により検出された構造物の面積を指標として、異常判定を行うことができる。

図８ＢのステップＳ２０５において、構造物異常判定部１０２は、線構造の太さ（幅）に関して正常か否かを判定する。異常と判定されると（ステップＳ２０５でＮＯ）、処理はステップＳ２５１に進む。一方、正常と判定されると（ステップＳ２０５でＹＥＳ）、処理はステップＳ２５２に進む。ステップＳ２５１，Ｓ２５２の後、処理は、ステップＳ２０６に進む。

事前の準備として、予め、図４Ｂ、図５Ｂに示されるような線構造の二値マスク画像を学習用として大量に用意しておく。線構造Ｐ毎に、かつサンプルｊ毎に、マスク画像の幅Ｗｐｊを算出する。この幅が正常状態又は異常状態を判定するための指標とされる。このようにして学習用の二値マスク画像から算出した幅Ｗｐｊの一次元確率密度分布が求められて、正常モデルとして、正常モデル格納部１０３に予め格納される。

構造物異常判定部１０２は、構造物検出部１０１により検出され出力された構造物Ｐｐのマスク画像から幅を算出する。構造物異常判定部１０２は、算出した幅と、構造物Ｐｐに対応する一次元確率密度分布とを比較することにより異常判定を行う。マスク画像からの幅の算出方法としては、線構造のマスク画像の長軸方向及び短軸方向を決定し、短軸方向の長さの平均値、最頻値、又は最大値を幅と決定する方法を採用することができる。ここで、判定可能な異常の例が、図１９Ａ，１９Ｂに示される。

図１９Ａ，１９Ｂは、気管の右側壁（画像上では左側）が線構造として定義された例を示す図である。図１９Ａは、気管の右側壁に対応する線構造Ｐ１９ａ（第２線状領域の一例に相当）が正常な幅を有する例を示す。図１９Ｂは、気管の右側壁に対応する線構造Ｐ１９ｂ（第２線状領域の一例に相当）の幅が疾患により広くなった（太くなった）例を示す。

図８Ｂに戻って、ステップＳ２０６において、構造物異常判定部１０２は、構造物で挟まれた領域の画像パタンに関して正常か否かを判定する。異常と判定されると（ステップＳ２０６でＮＯ）、処理はステップＳ２６１に進む。一方、正常と判定されると（ステップＳ２０６でＹＥＳ）、処理はステップＳ２６２に進む。ステップＳ２６１，Ｓ２６２の後、処理は、ステップＳ２０７に進む。

異常判定に構造物で挟まれた領域の画像パタンを用いる場合は、本実施形態では、２つの構造物が用いられる。事前の準備として、予め、図４Ｂ、図５Ｂ、図６Ｂに示されるような構造物（線構造を含む）の二値マスク画像を学習用として大量に用意しておく。構造物Ｐｐ，Ｑｑのサンプルｊ毎に、構造物で挟まれた領域として、原画像から画像Ｉｐｑｊが切り出される。切り出される画像Ｉｐｑｊの領域としては、構造物Ｐｐのマスク画像と構造物Ｑｑのマスク画像との両方を含む、外接矩形として決定することができる。図２０Ａ〜２０Ｆを用いて、構造物で挟まれた領域が説明される。

図２０Ａは、対象胸部Ｘ線画像のサンプルｊの画像ＩＸｊを示す図である。図２０Ｂは、図２０Ａに対応する構造物Ｐ２０ｂ（第１線状領域の一例に相当）のマスク画像を示す図である。図２０Ｃは、図２０Ａに対応する構造物Ｑ２０ｃ（第１線状領域の一例に相当）のマスク画像を示す図である。図２０Ｄは、対象胸部Ｘ線画像のサンプルｊの画像ＩＸｊ上に構造物Ｐ２０ｂ，Ｑ２０ｃのマスク画像をそれぞれ重畳した画像を示す図である。図２０Ｅは、説明のため、構造物Ｐ２０ｂ，Ｑ２０ｃのマスク画像を重畳した状態での切り出し画像ＩＸＣ１を示す図である。図２０Ｆは、実際に利用する、構造物Ｐ２０ｂ，Ｑ２０ｃのマスク画像を重畳しない状態での切り出し画像ＩＸＣ２を示す図である。

図２０Ｆに示されるように、対象胸部Ｘ線画像の局所領域が切り出された後は、構造物異常判定部１０２は、例えば上記図１１に示されるような、次元削減時の再構成誤差を利用して、異常状態であるか否かを判定する。ここで、判定可能な異常の例が、図２１Ａ，２１Ｂに示される。

図２１Ａ，２１Ｂは、２つの線構造としての右心陰影に対応する線構造と左心陰影に対応する線構造とに挟まれた領域として心陰影が定義された例を示す図である。図２１Ａは、右心陰影に対応する線構造Ｐ２１ａ（第１線状領域の一例に相当）と、左心陰影に対応する線構造Ｑ２１ａ（第１線状領域の一例に相当）と、に挟まれた心陰影が正常である例を示す図である。図２１Ａでは、心陰影上に血管影が見えている。図２１Ｂは、右心陰影に対応する線構造Ｐ２１ｂ（第１線状領域の一例に相当）と、左心陰影に対応する線構造Ｑ２１ｂ（第１線状領域の一例に相当）と、に挟まれた心陰影上に、心陰影に重なる疾患により血管影が見えなくなった異常である例を示す図である。

図８Ｂに戻って、ステップＳ２０７において、構造物異常判定部１０２は、構造物の近傍領域の画像パタンに関して正常か否かを判定する。異常と判定されると（ステップＳ２０７でＮＯ）、処理はステップＳ２７１に進む。一方、正常と判定されると（ステップＳ２０７でＹＥＳ）、処理はステップＳ２７２に進む。

事前の準備として、予め、図４Ｂ、図５Ｂ、図６Ｂに示されるような構造物（線構造を含む）の二値マスク画像を学習用として大量に用意しておく。構造物Ｐｐのサンプルｊ毎に、構造物の近傍領域として、原画像から画像Ｉｐｊが切り出される。切り出される画像Ｉｐｊの領域としては、構造物Ｐｐのマスク画像の外接矩形として決定することができる。図２２Ａ〜２２Ｅを用いて、構造物の近傍領域が説明される。

図２２Ａは、対象胸部Ｘ線画像のサンプルｊの画像ＩＸｊを示す図である。図２２Ｂは、図２２Ａに対応する構造物Ｐ２２ｂ（第１線状領域の一例に相当）のマスク画像を示す図である。図２２Ｃは、対象胸部Ｘ線画像のサンプルｊの画像ＩＸｊ上に構造物Ｐ２２ｂのマスク画像を重畳した画像を示す図である。図２２Ｄは、説明のため、構造物Ｐ２２ｂのマスク画像を重畳した状態での切り出し画像ＩＸＣ３を示す図である。図２２Ｅは、実際に利用する、構造物Ｐ２２ｂのマスク画像を重畳しない状態での切り出し画像ＩＸＣ４を示す図である。

図２２Ｅに示されるように、対象胸部Ｘ線画像の局所領域が切り出された後は、構造物異常判定部１０２は、例えば図１１に示されるような、次元削減時の再構成誤差を利用して、異常状態であるか否かを判定する。なお、構造物Ｐ２２ｂの近傍領域として切り出される領域は、マスク画像の外接矩形に限られない。例えば、図２２Ｄに示されるように、マスク画像の外接矩形をさらに周囲に拡大した領域としてもよい。或いは、マスク画像の領域をモルフォロジー演算の膨張処理で拡大させた領域としてもよい。モルフォロジー演算とは、入力画像（二値）に対し、所定のカーネルを畳み込み演算をしながら、走査する処理のことを指す。例えば、形状が３×３で、値が全て１のカーネルを用いて１回演算をすると、１画素分膨張した出力画像（二値）を得ることができる。より膨張させようとすれば、このカーネルを複数回適用したり、より大きな形状のカーネルを用いることができる。

図８ＡのステップＳ２１１において、構造物異常判定部１０２は、異常判定結果（つまり異常状態と判定した構造物及び異常の内容）をメモリ１２１に保存する。図８ＡのステップＳ２１２において、構造物異常判定部１０２は、正常判定結果（つまり正常状態と判定した構造物）をメモリ１２１に保存する。

図８Ａ，８ＢのステップＳ２２１，Ｓ２３１，Ｓ２４１，Ｓ２５１，Ｓ２６１，Ｓ２７１においても、ステップＳ２１１と同様に、構造物異常判定部１０２は、異常判定結果（つまり異常状態と判定した構造物及び異常の内容）をメモリ１２１に保存する。図８Ａ，８ＢのステップＳ２２２，Ｓ２３２，Ｓ２４２，Ｓ２５２，Ｓ２６２，Ｓ２７２においても、ステップＳ２１２と同様に、構造物異常判定部１０２は、正常判定結果（つまり正常状態と判定した構造物）をメモリ１２１に保存する。図８ＢのステップＳ２７１，Ｓ２７２が終了すると、図８Ａ，８Ｂの動作（つまり図３のステップＳ２００の動作）は終了する。

なお、図８Ａ，８ＢのステップＳ２１２，Ｓ２２２，Ｓ２３２，Ｓ２４２，Ｓ２５２，Ｓ２６２，Ｓ２７２を省略してもよい。すなわち、構造物異常判定部１０２は、異常判定結果のみをメモリ１２１に保存するようにしてもよい。

図３に戻って、ステップＳ３００において、表示制御部１２２は、ステップＳ２００にて異常状態と判定された構造物、及び、構造物の異常の内容をディスプレイ１０８に表示する。

図２３は、ディスプレイ１０８の表示例を概略的に示す図である。図２３に示されるように、表示制御部１２２は、対象胸部Ｘ線画像Ｉｘと、異常状態と判定された構造物Ｐｘａ，Ｑｘａと、構造物Ｐｘａ，Ｑｘａの異常状態の内容を表すメッセージＭｓとをディスプレイ１０８に表示する。構造物の名称及びメッセージＭｓは、予め定義されてメモリ１２１に保存されている。

以上のように、本開示の第１実施形態によれば、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、検出した構造物から異常状態を判定するための指標を算出し、算出した指標と予め定められた基準値とを比較し、比較結果に基づいて構造物が異常状態であるか否かを判定し、異常状態であると判定された構造物を含む領域と、構造物の異常状態の内容とをディスプレイ１０８に表示する、という統一的な枠組みで、胸部Ｘ線画像の様々な異常を判定することができる。

また、単に、検出した病変の位置及び／または病名を表示するのではなく、どの構造物がどのように正常状態と異なるかという情報をユーザに提示できる。したがって、ユーザにとって有益であり、読影医だけでなく、臨床医及び放射線技師の診断及び自己学習、または医学生の教育及び自己学習にも利用可能である。

（第２実施形態）
図２４は、第２実施形態における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００Ａの構成を概略的に示すブロック図である。図２４の異常表示制御装置１００Ａは、図１の異常表示制御装置１００と比較して、ＣＰＵ１２０に代えてＣＰＵ１２０Ａを備え、メモリ１２１に代えてメモリ１２１Ａを備える。

第２実施形態の正常モデル格納部１０３（位置メモリの一例に相当）は、構造物間の相対位置関係に関する情報を予め格納している。メモリ１２１Ａは、メモリ１２１と同様に構成され、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１２１ＡのＲＯＭは、ＣＰＵ１２０Ａを動作させる第２実施形態の制御プログラムを記憶する。

ＣＰＵ１２０Ａは、メモリ１２１Ａに記憶されている第２実施形態の制御プログラムを実行することによって、構造物検出部１０１、構造物異常判定部１０２、表示制御部１２２、通信制御部１２３、解像度変換部１０９、探索領域設定部１１０として機能する。

解像度変換部１０９は、対象胸部Ｘ線画像に対し、複数段階の縮小変換を行い、互いに異なる解像度を有する画像群を作成する。解像度変換部１０９は、作成した画像群を、画像メモリ１０６に格納する。探索領域設定部１１０は、構造物検出部１０１による低解像度の画像に対する構造物の検出結果、及び、正常モデル格納部１０３に格納された構造物間の相対位置関係に関する情報を利用して、より高解像度の画像に対して、構造物の探索領域を設定する。

次に、第２実施形態に係る異常表示制御装置１００Ａにより実行される処理手順が説明される。なお、全体の処理手順は、図３のフローチャートを用いて説明された第１実施形態と同様である。

図２５は、ステップＳ１００（図３）において、第２実施形態に係る異常表示制御装置１００Ａにより実行される構造物検出処理手順を概略的に示すフローチャートである。図２６は、解像度情報２６００を概略的に示す図である。

図２５のステップＳ１０１において、解像度変換部１０９は、ステップＳ５０（図３）で取得された対象胸部Ｘ線画像に対し、Ｒ（本実施形態では、例えばＲ＝３）段階の縮小画像を作成する。胸部Ｘ線画像の解像度は、一般に、一辺が２０００〜３０００画素で構成される。第２実施形態では、対象胸部Ｘ線画像の解像度は、例えば、２０４８×２０４８である。また、解像度変換部１０９により作成される３段階の縮小画像の解像度は、例えば、１０２４×１０２４、５１２×５１２、２５６×２５６である。

この第２実施形態では、最も低解像の画像から順に、解像度ｉが「０，１，２，３」と定められる。すなわち、２５６×２５６の画像の解像度ｉは「０」であり、５１２×５１２の画像の解像度ｉは「１」であり、１０２４×１０２４の画像の解像度ｉは「２」であり、２０４８×２０４８の画像（つまり元画像）の解像度ｉは「３」である。解像度変換部１０９は、作成した低解像度の縮小画像を、画像メモリ１０６に格納する。

次に、ステップＳ１０２において、構造物検出部１０１は、解像度ｉ＝０（即ち最も低解像の２５６×２５６）の画像を、構造物検出対象画像として画像メモリ１０６から読み出す。次に、ステップＳ１０３において、構造物検出部１０１は、解像度情報２６００（図２６）に基づき、解像度ｉの画像（最初のステップＳ１０３ではｉ＝０の画像）に対応づけられた構造物を検出する。

図２６に示されるように、解像度情報２６００は、構造物ＩＤ欄２６０１と、解像度ｉ欄２６０２とを備える。構造物ＩＤ欄２６０１には、第１実施形態で定義されている構造物ＩＤが「１」〜「Ｎ」のＮ個の構造物が設定されている。解像度ｉ欄２６０２には、構造物ＩＤ欄２６０１の構造物に対応して、構造物を検出する際に用いる画像の解像度が定義されている。例えば、構造物ＩＤが「１」の構造物は、解像度ｉが「０」、つまり解像度が２５６×２５６の画像から検出される。なお、図２６では、構造物に対して解像度は１つのみが設定されているが、これに限られない。例えば、構造物によっては、２種類以上の解像度を設定しておき、対応する構造物が、それぞれの解像度の画像で検出されるようにしてもよい。

構造物検出部１０１は、第１実施形態と同様に、非特許文献２に開示されているＵ−Ｎｅｔを用いて、構造物を検出する。Ｕ−Ｎｅｔは、上述のように畳み込みニューラルネットワークの一種である。畳み込みニューラルネットワークは、ディープニューラルネットワークの一種である。２層以上の中間層を備えるニューラルネットワークが、ディープニューラルネットワークと称される。ディープニューラルネットワークの機械学習時及び構造物検出時には、画像処理ユニット（ＧＰＵ）を用いて処理を高速化することが多い。この時、ＧＰＵの搭載メモリ量の制限により、高解像の画像は扱えない場合がある。そのような場合、原画像を縮小して解像度を低下させた画像がＵ−Ｎｅｔに入力されることになる。しかし、その場合には、特に線構造のようなサイズが小さい構造物に対する検出性能が低下する恐れがある。このため、本第２実施形態では、構造物検出部１０１は、低解像の画像から比較的大きいサイズ（第１サイズの一例に相当）の構造物を検出し、高解像の画像に対しトリミングすることで探索範囲を限定して比較的小さいサイズ（第２サイズの一例に相当）の構造物を検出する。

図２５に戻って、ステップＳ１０４において、構造物検出部１０１は、解像度ｉをインクリメントする。最初のステップＳ１０４ではｉ＝１になる。ステップＳ１０５において、構造物検出部１０１は、解像度ｉが解像度の上限を超えた（つまりｉ＝Ｒ＋１）か否かを判定する。解像度ｉが解像度の上限を超えていれば（ステップＳ１０５でＹＥＳ）、図２５の処理が終了し、ステップＳ１００（図３）の処理が終了する。一方、解像度ｉが解像度の上限を超えていなければ（ステップＳ１０５でＮＯ）、処理はステップＳ１０６に進む。

ステップＳ１０６において、探索領域設定部１１０は、図２６の解像度情報２６００に基づいて、解像度ｉ（最初のステップＳ１０６ではｉ＝１）に対応付けられた構造物を全て選定し、解像度ｉの画像に対し、対応する構造物毎に探索領域を設定する。事前の準備として、図４Ｂ、図５Ｂ、図６Ｂに示されるような構造物の二値マスク画像を学習用として大量に用意しておく。この学習用の二値マスク画像から予め構造物同士の相対位置関係を求めて正常モデル格納部１０３（位置メモリの一例に相当）に事前に保存しておく。探索領域設定部１１０は、正常モデル格納部１０３に保存されている相対位置関係を読み出して、探索領域の設定に利用する。ステップＳ１０６が終了すると、処理はステップＳ１０３に戻る。２回目のステップＳ１０３において、構造物検出部１０１は、解像度情報２６００（図２６）に基づき、解像度ｉの画像（２回目のステップＳ１０３ではｉ＝１の画像）に対応づけられた構造物を検出する。以降は、解像度ｉが解像度の上限を超えない間（ステップＳ１０５でＮＯ）、ステップＳ１０３〜Ｓ１０６が繰り返される。

図２７は、図２５のステップＳ１０３〜Ｓ１０６の処理を概略的に示す図である。図２７において、まず、低解像（ｉ＝０）の胸部Ｘ線画像Ｉａから、構造物検出部１０１によって、構造物Ｐａ，Ｐｂが検出される（ステップＳ１０３）。図２７の例では、構造物Ｐａは、右肺野であり、構造物Ｐｂは、左肺野である。本実施形態において、胸部Ｘ線画像Ｉａは、第１Ｘ線画像の一例に相当し、解像度ｉ＝０（２５６×２５６）は、第１解像度の一例に相当し、構造物Ｐａ，Ｐｂのサイズは、第１サイズの一例に相当する。

次に、解像度ｉがインクリメントされて（ステップＳ１０４）、中解像（ｉ＝１）の胸部Ｘ線画像Ｉｂにおいて、探索領域設定部１１０によって、探索領域が設定される（ステップＳ１０６）。図２７の例では、探索領域ＳＡ１のみが示されているが、ステップＳ１０６では、解像度ｉに対応する構造物ＩＤ毎に、それぞれ、探索領域が設定される。また、正常モデル格納部１０３に保存されている、検出対象の構造物ＩＤと、既に検出された構造物（図２７の例では構造物Ｐａ又は構造物Ｐｂ）との位置関係を用いて、それぞれ、探索領域が設定される。

次に、中解像（ｉ＝１）の胸部Ｘ線画像Ｉｂにおいて、探索領域から、構造物検出部１０１によって、構造物が検出される（ステップＳ１０３）。図２７の例では、探索領域ＳＡ１から検出された構造物Ｐｃのみが示されているが、ステップＳ１０３では、探索領域ごとに、検出対象の構造物が検出される。本実施形態において、胸部Ｘ線画像Ｉｂは、第２Ｘ線画像の一例に相当し、解像度ｉ＝１（５１２×５１２）は、第２解像度の一例に相当し、構造物Ｐｃのサイズは、第２サイズの一例に相当する。

次に、解像度ｉがインクリメントされて（ステップＳ１０４）、高解像（ｉ＝２）の胸部Ｘ線画像Ｉｃにおいて、探索領域設定部１１０によって、探索領域が設定される（ステップＳ１０６）。図２７の例では、探索領域ＳＡ２のみが示されているが、ステップＳ１０６では、解像度ｉに対応する構造物ＩＤ毎に、それぞれ、探索領域が設定される。また、正常モデル格納部１０３に保存されている、検出対象の構造物ＩＤと、既に検出された構造物（図２７の例では構造物Ｐａ又は構造物Ｐｂ）との位置関係を用いて、それぞれ、探索領域が設定される。

次に、高解像（ｉ＝２）の胸部Ｘ線画像Ｉｃにおいて、探索領域から、構造物検出部１０１によって、構造物が検出される（ステップＳ１０３）。図２７の例では、探索領域ＳＡ２から検出された構造物Ｐｄのみが示されているが、ステップＳ１０３では、探索領域ごとに、検出対象の構造物が検出される。

以上のように、本開示の第２実施形態によれば、構造物検出部１０１として、Ｕ−Ｎｅｔ等のディープニューラルネットワークを用いる場合、ＧＰＵのメモリ量が少ない場合でも、高解像の画像を用いるときは、対象胸部Ｘ線画像のサイズより小さいサイズの探索領域を設定しているため、構造物検出性能の低下を抑制することができる。

（第３実施形態）
図２８は、第３実施形態における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００Ｂの構成を概略的に示すブロック図である。図２８の異常表示制御装置１００Ｂは、図１の異常表示制御装置１００と比較して、異常所見情報格納部１０４を新たに備え、かつ、ＣＰＵ１２０に代えてＣＰＵ１２０Ｂを備え、メモリ１２１に代えてメモリ１２１Ｂを備える。

異常所見情報格納部１０４（異常所見メモリの一例に相当）は、例えばハードディスク又は半導体メモリ等により構成される。異常所見情報格納部１０４の記憶内容の一例は後述される。メモリ１２１Ｂは、メモリ１２１と同様に構成され、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１２１ＢのＲＯＭは、ＣＰＵ１２０Ｂを動作させる第３実施形態の制御プログラムを記憶する。

ＣＰＵ１２０Ｂは、メモリ１２１Ｂに記憶されている第３実施形態の制御プログラムを実行することによって、構造物検出部１０１、構造物異常判定部１０２、表示制御部１２２Ｂ、通信制御部１２３、画像異常判定部１０５として機能する。画像異常判定部１０５は、構造物検出部１０１と構造物異常判定部１０２との処理結果、及び、正常モデル格納部１０３と異常所見情報格納部１０４とに格納されている情報に基づいて、対象胸部Ｘ線画像の全体に関する異常所見を判定する。表示制御部１２２Ｂは、表示制御部１２２の機能に加えて、画像異常判定部１０５によって判定された異常所見と、疑われる病名と、をディスプレイ１０８に表示する。

図２９は、第３実施形態に係る異常表示制御装置１００Ｂにより実行される処理手順を概略的に示すフローチャートである。図２９のステップＳ５０，Ｓ１００，Ｓ２００は、図３のステップＳ５０，Ｓ１００，Ｓ２００と同じである。ステップＳ２００に続くステップＳ４００において、画像異常判定部１０５は、ステップＳ２００で判定された、１以上の構造物の異常状態と、異常所見情報格納部１０４に格納されている異常所見情報３０００（図３０）と、に基づいて、対象胸部Ｘ線画像の異常所見を判定する。

図３０は、異常所見情報格納部１０４に格納されている異常所見情報３０００を概略的に示す図である。異常所見情報３０００は、図３０に示されるように、構造物ＩＤ欄３００１と、指標欄３００２と、異常所見欄３００３と、疾患欄３００４と、を含む。構造物ＩＤ欄３００１には、異常状態と判定される構造物ＩＤが記載されている。指標欄３００２には、対応する構造物ＩＤが異常状態と判定される指標が記載されている。異常所見欄３００３には、対応する構造物ＩＤが、対応する指標で異常状態と判定されるときの所見が記載されている。疾患欄３００４には、異常所見欄３００３に記載された所見によって疑われる疾患が記載されている。

画像異常判定部１０５は、例えば、構造物１，８の間の角度が異常であると構造物異常判定部１０２によって判定されると、異常所見情報格納部１０４に格納されている異常所見情報３０００に基づいて、異常所見が「Ｘ２」であり、疑われる疾患が「Ｙ３」であると判定する。

図２９に戻って、ステップＳ５００において、表示制御部１２２Ｂは、対象胸部Ｘ線画像と、構造物異常判定部１０２により異常状態と判定された構造物及び異常の内容と、画像異常判定部１０５により判定された異常所見及び疑われる疾患名と、をディスプレイ１０８に表示する。ステップＳ５００が終了すると、図２９の動作は終了する。

図３１は、ディスプレイ１０８の表示例を概略的に示す図である。図３１に示されるように、表示制御部１２２Ｂは、対象胸部Ｘ線画像Ｉｘと、異常状態と判定された構造物Ｐｘａ，Ｑｘａと、判定された異常所見Ｍｆと、異常所見Ｍｆの根拠としての構造物Ｐｘａ，Ｑｘａの異常の内容を表すメッセージＭｓと、疑われる疾患名Ｄｓと、をディスプレイ１０８に表示する。例えば、図３１では、異常状態と判定された構造物Ｐｘａ，Ｑｘａがそれぞれ右心陰影及び左心陰影であり、異常状態と判定された指標が距離であるので、ディスプレイ１０８には、異常所見Ｍｆとして「心拡大」が表示され、疑われる疾患名Ｄｓとして、「高血圧症」が表示されている。

以上のように、本開示の第３実施形態によれば、胸部Ｘ線画像の異常所見、その根拠としての構造物の位置、構造物の異常状態の内容、疑われる病名がユーザに提示される。このように、単に、検出した病変の位置及び／または病名を表示するのではなく、どの構造物がどのように正常状態と異なるかというユーザにとって有益な情報をユーザに提示できる。その結果、読影医だけでなく、臨床医又は放射線技師の診断又は自己学習、及び、医学生の教育又は自己学習にも利用することが可能である。

（第４実施形態）
図３２は、第４実施形態における、医療機関内のネットワーク構成４１０Ａを概略的に示すブロック図である。第４実施形態では、図３２に示されるように、医療機関のイントラネットワーク４００には、サーバ装置５００と、表示制御装置６００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００と、が接続されている。

なお、サーバ装置５００と、表示制御装置６００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００とは、必ずしも、同一の医療機関内のイントラネットワーク４００上に接続されている必要はない。表示制御装置６００、及び、医用画像管理システム２００は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。

図３２に示されるように、サーバ装置５００は、正常モデル格納部１０３、画像メモリ１０６、通信部１０７、ＣＰＵ１３０、メモリ１３１を備えている。メモリ１３１は、例えば半導体メモリ等により構成される。メモリ１３１は、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１３１のＲＯＭは、ＣＰＵ１３０を動作させる制御プログラムを記憶する。

ＣＰＵ１３０は、メモリ１３１に記憶されている制御プログラムを実行することによって、構造物検出部１０１（検出部の一例に相当）、構造物異常判定部１０２（判定部の一例に相当）、通信制御部１２３Ａ（取得部の一例に相当）として機能する。通信制御部１２３Ａは、通信部１０７を介して、対象胸部Ｘ線画像を医用画像管理システム２００から取得し、取得した対象胸部Ｘ線画像を画像メモリ１０６に保存する。通信制御部１２３Ａは、通信部１０７を介して、構造物検出部１０１の検出結果と、構造物異常判定部１０２の判定結果とを、表示制御装置６００へ送信する。

表示制御装置６００（端末装置の一例に相当）は、例えば、タブレット型コンピュータで構成され、医師又は放射線技師などの医療従事者が保持する。図３２に示されるように、表示制御装置６００は、ＣＰＵ１４０と、メモリ１４１と、画像メモリ１４２と、通信部１４３と、ディスプレイ１０８と、を備える。

メモリ１４１は、例えば半導体メモリ等により構成される。メモリ１４１は、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１４１のＲＯＭは、ＣＰＵ１４０を動作させる制御プログラムを記憶する。ＣＰＵ１４０は、メモリ１４１に記憶されている制御プログラムを実行することによって、表示制御部１２２、通信制御部１２３Ｂとして機能する。

通信制御部１２３Ｂは、通信部１４３を介して、サーバ装置５００から送信された対象胸部Ｘ線画像のデータを受信し、受信したデータを画像メモリ１４２に格納する。また、通信制御部１２３Ｂは、通信部１４３を介して、サーバ装置５００から送信された、異常状態と判定された構造物Ｐｘａ，Ｑｘａのデータと、構造物Ｐｘａ，Ｑｘａの異常の内容を表すメッセージＭｓとを受信して、受信したデータをメモリ１４１に格納する。表示制御部１２２は、サーバ装置５００から送信された情報に基づき、図２３と同様の画面を、ディスプレイ１０８に表示する。

この第４実施形態によれば、上記第１実施形態と同様の効果を得ることができる。代替的に、サーバ装置５００のＣＰＵ１３０は、構造物検出部１０１、構造物異常判定部１０２、通信制御部１２３、解像度変換部１０９（図２４）、探索領域設定部１１０（図２４）として機能するようにしてもよい。この場合には、上記第２実施形態と同様の効果を得ることができる。さらに代替的に、サーバ装置５００のＣＰＵ１３０は、構造物検出部１０１、構造物異常判定部１０２、通信制御部１２３、画像異常判定部１０５（図２８）として機能し、表示制御装置６００のＣＰＵ１４０は、表示制御部１２２Ｂ（図２８）として機能するようにしてもよい。この場合には、上記第３実施形態と同様の効果を得ることができる。

本開示によれば、読影対象である胸部Ｘ線画像の診断支援システム、および医学生又は研修医のための読影教育システムに利用可能である。

１００ 異常表示制御装置
１０１ 構造物検出部
１０２ 構造物異常判定部
１０３ 正常モデル格納部
１０４ 異常所見情報格納部
１０５ 画像異常判定部
１０６ 画像メモリ
１０７ 通信部
１０８ ディスプレイ
１０９ 解像度変換部
１１０ 探索領域設定部
１２２ 表示制御部
１２３，１２３Ａ 通信制御部
２００ 医用情報管理システム
３００ 胸部Ｘ線画像撮影装置
４００ イントラネットワーク
５００ サーバ装置
６００ 表示制御装置

Claims (17)

1. 読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータが、
   前記対象胸部Ｘ線画像を取得し、
   前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
   前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定し、
   前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、をディスプレイに表示する、
   胸部Ｘ線画像の異常表示制御方法。
2. 前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において前記構造物が検出されるように学習されたモデルである、
   請求項１記載の胸部Ｘ線画像の異常表示制御方法。
3. 前記検出では、
   前記対象胸部Ｘ線画像を前記対象胸部Ｘ線画像の解像度より低い第１解像度に変換して第１Ｘ線画像を作成し、
   前記対象胸部Ｘ線画像を前記第１解像度より高く、かつ前記対象胸部Ｘ線画像の解像度以下の第２解像度に変換して第２Ｘ線画像を作成し、
   前記第１Ｘ線画像から第１サイズの前記構造物を検出し、
   前記第１サイズの前記構造物の検出結果に基づき、前記第２Ｘ線画像において前記第２Ｘ線画像より小さい探索領域を設定し、
   前記探索領域から、前記第１サイズより小さい第２サイズの前記構造物を検出する、
   請求項２記載の胸部Ｘ線画像の異常表示制御方法。
4. 前記第１サイズの前記構造物の検出では、前記第１Ｘ線画像から前記第１サイズの前記構造物として解剖学的構造を検出し、
   前記第２サイズの前記構造物の検出では、前記第２Ｘ線画像の前記探索領域から前記第２サイズの前記構造物として前記線構造を検出する、
   請求項３記載の胸部Ｘ線画像の異常表示制御方法。
5. 前記探索領域の設定では、前記第１サイズの前記構造物と前記第２サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定する、
   請求項３又は４に記載の胸部Ｘ線画像の異常表示制御方法。
6. 前記判定では、前記線構造の位置を前記指標として算出する、
   請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
7. 前記判定では、２つの前記線構造のなす角度を前記指標として算出する、
   請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
8. 前記判定では、２つの前記線構造の間の距離を前記指標として算出する、
   請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
9. 前記判定では、前記線構造の面積を前記指標として算出する、
   請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
10. 前記判定では、前記線構造の幅を前記指標として算出する、
    請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
11. 前記判定では、２以上の前記線構造で挟まれた領域の画像パタンを前記指標として算出する、
    請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
12. 前記判定では、前記線構造の近傍領域の画像パタンを前記指標として算出する、
    請求項１から５のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
13. 前記判定では、複数の正常状態の胸部Ｘ線画像においてそれぞれ検出された前記構造物から算出された前記指標が前記基準指標として予め保存された基準メモリから読み出した前記基準指標と、前記対象胸部Ｘ線画像から算出された前記指標との差異に基づき、前記構造物が異常状態であるか否かを判定する、
    請求項６から１２のいずれかに記載の胸部Ｘ線画像の異常表示制御方法。
14. 更に、
    単一または複数の前記構造物の異常状態と胸部Ｘ線画像に対する異常所見との対応関係が予め保存された異常所見メモリから前記対応関係を読み出して、前記判定された前記構造物毎の異常状態から前記対応関係を用いて前記対象胸部Ｘ線画像の異常所見を判定し、
    判定された前記対象胸部Ｘ線画像の異常所見を前記ディスプレイに表示する、
    請求項１から１３のいずれか１項に記載の胸部Ｘ線画像の異常表示制御方法。
15. 読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータを、
    前記対象胸部Ｘ線画像を取得する取得部、
    前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
    前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定する判定部、
    前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、をディスプレイに表示する表示制御部、
    として機能させる異常表示制御プログラム。
16. ディスプレイと、
    読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
    前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
    前記構造物から異常状態を判定するための指標を算出し、前記指標と予め求められた基準指標とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定する判定部と、
    前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、を前記ディスプレイに表示する表示制御部と、
    を備える異常表示制御装置。
17. 読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
    前記対象胸部Ｘ線画像において、Ｘ線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第１線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第２線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
    前記構造物から異常状態を判定するための指標を算出し、前記指標と予め定められた基準値とを比較し、比較結果に基づいて前記構造物が異常状態であるか否かを判定する判定部と、
    前記構造物が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記構造物を含む領域の画像と、前記構造物の異常状態の内容と、を外部の端末装置に送信する通信制御部と、
    を備えるサーバ装置。

Images