JPH09192106A - 画像重ね合わせ方法 - Google Patents

Abstract

(57)【要約】 【課題】 異なる日時の医療モダリティ画像を比較読影
で診断する際に画像の位置合わせを省力化し医療診断の
効率化を図る画像位置合わせ方法を提供する。 【解決手段】 受診者毎に、個人ＩＤ、位置合わせに適
した医療モダリティ画像中の座標及びその位置合わせに
適する度合いの順位で構成する候補群、位置合わせに不
適切な領域の候補群を、初診時に調べて予め医療情報デ
ーターベースを構築しておく。次に、異なる日時のモダ
リティ画像中の特徴点群についてデータベース中の位置
合わせに適した座標点の候補群と相対位置配置が類似と
なる組み合わせを求める。次に、その中でデータベース
中の位置合わせに不適切な領域に対応する特徴点が存在
し、かつ、データベース中の位置合わせに適する度合い
が上位のものの相対位置配置の類似度合いが最も高い組
み合わせを求め、候補点、特徴点を対応つけてこれらの
医療モダリティ画像を重ね合わせる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】医療モダリティ情報、例えば
眼底画像、胸部Ｘ線画像を用いて治療ないし健康診断を
行なう場合に、術前と術後等の投薬、治療、或は時間経
過に伴う変化、即ち進行度合い、ないし治癒状況を正確
に把握することが重要である。本発明は、このような行
為（医療におけるいわゆる比較読影）を医師が行なうに
あたり、これをコンピュータによる画像処理等で撮影時
間の経過に伴う変化を検出することにより支援し、より
診断業務の効率化を図る場合に、まず必要な異なる時間
に撮影した同一モダリティの画像を正確に位置合わせす
る作業を省力化することに利用する画像データの処理技
術に関するものである。

【０００２】

【従来の技術】医療画像は、人をはじめとする生体が対
象となるため、個体間の差異が顕著である。コンピュー
タによる画像処理によって疾患の検出を行なうことを考
えた場合に、この個体差が処理性能を達成する場合にお
いて大きな障害となる。

【０００３】例えば、製造物である車両などでは、その
種別は有限個のモデルに限定されるため、その中で代表
的な事例を予め登録し、これと比較して最も類似度の高
いものを選び出す等の手法が可能である。ところが、生
体が対象となる医療画像では、製造物とは異なり個体差
が著しいため、疾患例を有限個に限定することは事実上
不可能なので、代表的な事例を予め登録する方法は効果
が低い。

【０００４】そのため、臨床におけるいわゆる比較読影
と呼ばれる医療行為の様に、医師（即ち人手）による場
合でも、同一検診者の異なる時間に撮影した医療画像を
比較して、変化を見つけ、それが疾患によるものかを判
断するという手法が用いられてきた。この手法では、比
較読影において変化を正しく検出するためには、変化が
ない、或は変化が殆ど無いとして扱って良い部分を正し
くその通りに判断できる必要がある。

【０００５】従って、コンピュータによる画像処理によ
って比較読影を支援する場合には、比較対象となる同一
受診者の同一モダリティ画像を位置合わせすることがま
ず不可欠となる。これまで、各々の画像から位置を合わ
せるための候補点を自動でまず決定し、これを用い、い
わゆる座標変換を用いて写像して重ね合わせようとする
試みがなされている。

【０００６】この場合、（１）変化があったのにそれが
変化があったとして検出できない、ないし、（２）変化
が無視できる程度なのに変化があったとして検出してし
まう、といったことがあった場合、比較読影の効率化が
できないことになる。

【０００７】よって正しく重ね合わせを行なうにあた
り、（１）位置合わせのための候補の自動検出、（２）
位置合わせのための候補の画像間での対応つけ、を誤り
なく行なわなくてはならない。ところが、個体間の差異
が顕著なため、これを確実に簡単な手法で実現できず、
現在臨床で医師のみによって人手で行なわれている行為
を省力化する方法は本発明の開示以前にはなかった。

【０００８】

【発明が解決しようとする課題】本発明以前に試みられ
てきた画像重ね合わせ方法では、位置合わせの基準とな
る候補点をコンピュータによる画像処理（例えばエッジ
抽出などのフィルタリング操作）で自動抽出する等の手
段を用いており、その操作におけるパラメータを制御し
ても、位置合わせに必要な点だけを得ることが極めて困
難であった。

【０００９】例えば、検診において重要な科目の１つで
ある眼底検診での画像の重ね合わせは、形態的な特徴を
把握しやすい網膜血管の分岐点等を位置合わせに用いて
いる。この場合に、画像処理におけるパラメータを制御
しても、画像パターンとして局所的に似ている限り、血
管の内外を問わず同様な処理結果となって検出されてし
まう。もし仮に、血管外の点を位置合わせに用いる血管
内の点と一緒に検出してしまった場合には、これを改め
て処理して除く等の操作が必要となる。ところが、画像
中から血管領域を簡単に検出する操作自体が困難なた
め、血管外の点だけを除くことは困難である。

【００１０】即ち、（１）必要な血管の分岐点の抽出失
敗、（２）不要な網膜上特徴点（例えば乳頭、視神経な
ど）の抽出、を伴うため、重ね合わせを行なう画像間で
誤った対応つけをしてしまい、変化が無視できる程度な
のに変化があったとして検出してしまうことが発生し、
比較読影による診断を行なおうとする場合にコンピュー
タによる支援で十分な効率化を達成することが出来なか
った。

【００１１】そこで本発明は、医療モダリティ画像に対
し撮影時間の経過に伴う変化を検出するために医師等が
比較読影を行なうにあたり、異なる時間に撮影した同一
種類のモダリティ画像を正確に位置合わせする作業を省
力化して診断業務等の効率化に貢献できる画像重ね合わ
せ方法を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明は、診察ないし健
康診断の受診者ごとに、その個人ＩＤと、医療モダリテ
ィ画像ごとの位置合わせに適した医療画像中の座標点及
びその位置合わせに適する度合いの順位で構成する候補
群と、位置合わせに不適切な医療画像中の座標領域候補
群と、を初診時に複数調べて予め記憶させて医療情報デ
ーターベースを構築しておく段階と、異なる時間に撮影
した同一種類の医療モダリティ画像の中で画像処理によ
って得られた特徴点群について前記予め記憶しておいた
位置合わせに適した医療画像中の座標点の候補群と相対
位置配置が類似となる組み合わせを求める段階と、前記
組み合わせの中で、予め記憶しておいた位置合わせに不
適切な座標領域に対応する領域中に特徴点が存在し、か
つ、予め記憶しておいた位置合わせに適した座標点のう
ち位置合わせに適する度合いの上位となるものについて
の相対位置配置の類似度合いが最も高い組み合わせを求
める段階と、前記求めた類似度合いが最も高い組み合わ
せにおける特徴点と位置合わせに適した座標点の候補群
とを対応つけて前記異なる時間に撮影した同一種類の医
療モダリティ画像を重ね合わせる段階と、を有すること
を特徴とする画像重ね合わせ方法を、前記目的の達成手
段とする。

【００１３】上記の画像重ね合わせ方法では、位置合わ
せに適した座標点および特徴点として、血管の分岐点お
よび交差点を用い、前記交差点の方の位置合わせに適す
る度合いを前記分岐点よりも高くするのが、画像の重ね
合わせの正確さを向上させる点で好適である。

【００１４】また、上記の画像重ね合わせ方法では、異
なる時間に撮影した同一種類の医療モダリティ画像を重
ね合わせる段階において、血管の交差点を他の候補点及
び特徴点に優先させて組み合わせまたは対応つけを行う
のが、さらに、画像の重ね合わせの正確さを向上させる
点で好適である。

【００１５】本発明では、画像重ね合わせに適した候補
点以外に、重ね合わせに不適切な領域を予めデータベー
スに登録し、重ね合わせする画像に写像したその重ね合
わせに不適切な領域内の特徴点を除外することで、画像
重ね合わせに適した候補点と特徴点の対応つけにより正
確な重ね合わせを実現する。

【００１６】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を詳しく説明する。

【００１７】医療モダリティ画像情報として様々なもの
が臨床で用いられているが、検診において重要な科目の
１つに眼底検査がある。眼底は非侵襲で人間の血管を観
察できる唯一の部位であり、その画像を診断することに
より、眼底疾患のみならず、高血圧、糖尿病を始めとす
る循環器系等の重大な疾患を見い出すことができる。従
って眼底画像の比較読影をコンピュータによって支援し
て、医師による診断業務の効率化を図ることができれ
ば、その意義は大きいと考えて良い。そこで、本発明の
一実施形態例として眼底画像のいわゆる比較読影を例に
とり、異なる日時等に撮影した同一患者の２枚の眼底画
像の重ね合わせ作業を省力化する方法を以下に説明す
る。

【００１８】図１は、本発明の一実施形態例を示すフロ
ーチャートであり、（ａ）は初診時の処理手順を示し、
（ｂ）はその後の検診時の処理手順を示している。

【００１９】まず、初診時の処理手順を説明する。

【００２０】眼底画像の構成要素は視神経乳頭、黄斑
部、網膜と網膜中心動脈／静脈である。黄斑部は眼底画
像のほぼ中心にあり、その中心は視覚感度が最もよい。
動脈／静脈は視神経乳頭から出入りし、この乳頭を基点
として上下左右に普通４対の動脈／静脈が分岐してい
る。さらに疾患があった場合、様々な病変が斑点、ある
いは、血管径の変化として現れる。

【００２１】このような眼底画像において、時間経過の
ある２枚の画像の比較読影を行なうために、網膜血管が
うまく重なるように位置を合わせることを考え、位置合
わせの対応付けが容易な点を複数選ぶことを行なう。そ
の位置合わせ点として、各種の特徴点を用いることが可
能であるが、本実施形態例では、血管分岐点、及び血管
交差点を使うものとする。即ち、画像中で線状に走行す
る血管が枝わかれしている位置、及び動脈／静脈が交差
している位置を使う。

【００２２】このような位置を画像処理によって得るに
は、例えば、いわゆるエッジ強調フィルタを施し、その
結果をしきい値処理して応答の顕著な場所を得、次に、
２値化し、細線化して、得られた心線について３×３画
素のマスク処理により枝わかれしている点を候補点とし
て抽出すればよい。ここで以上の画像処理は血管の位置
等を区別することなく、眼底画像全体に施すものとす
る。その処理過程を図２、図３に示す。図２は初診時の
原画像の例であり、図３（ａ）は図２の眼底画像を上記
の画像処理で２値化し、細線化した例である。

【００２３】以上の画像処理により、血管上の分岐点、
及び交差点の全部なしい一部を得ることは可能である
が、同時に視神経乳頭、黄斑部等にも分岐／交差点と似
通った点が検出される。ここで、交差点は分岐点に比べ
て一般的に候補数が少いため、位置合わせに使うのに対
応つけが容易と考えられる。そこで、交差点に対し高い
重ね合わせに適する度合いを与えたり、得られた候補点
のうち交差点の対応つけを優先させたりすることが望ま
しいと考えられる。

【００２４】図３（ａ）は、処理結果そのままの例であ
り、血管上の分岐点、及び交差点に加えて視神経乳頭、
黄斑部等にも分岐／交差点と似通った点が検出されるこ
とを示している。

【００２５】本実施形態例では、視神経乳頭、黄斑部等
に検出される候補点は血管形状に比較して、顕著な形態
ではなく、通常位置合わせに用いないのもとし、これを
候補点から削除するものとする。図３（ｂ）は、上記の
処理結果から人手（手作業）で視神経乳頭、黄斑部等
（正方形部内）を除去した例を示したもので、残った線
状図形の中の分岐点、及び交差点を候補点として使い、
各座標と属性（分岐、交差などの種別情報）を計算し、
重ね合わせに適する度合い、例えば候補としての適正度
順位つけを行い、重ね合わせのための制御点情報として
データベースに登録するものとする。

【００２６】以上の説明を踏まえ、本発明を眼底画像の
位置合わせに適用した実施形態例を図示すると、図４の
上側に示すようになる。即ち、まず眼底検診の受診者が
初診の際に、データーベース１に、 ・受診者のＩＤ、 ・医療モダリティ種別：眼底、 ・位置合わせ候補点（血管分岐／交差点）の座標、 −交差点に位置合わせ適度１（最大）、 −分岐点に位置合わせ適度２、 ・位置合わせに不適切な領域として視神経乳頭、黄斑部
を囲む座標、を予め登録する。図１（ａ）で示した画像
処理の後は、例えば人手（手作業）で上記データーベー
ス１への登録を行なえば良い。本操作は検診ごとにでは
なく、検診初診時のみでよい。

【００２７】このように、本実施形態例では、眼底画像
について、受診者の個人ＩＤと、医療モダリティ画像ご
との位置合わせに適した医療画像中の座標点及びその位
置合わせに適する度合いの順位で構成する候補群と、位
置合わせに不適切な医療画像中の座標領域候補群を初診
時に複数調べて予め記憶して医療情報データーベース１
を構築する。

【００２８】次に、図１（ｂ）に示す、本実施形態例に
おける再検診時の画像の重ね合わせの処理手順を説明す
る。

【００２９】前記のようにして図４のデーターベース１
への登録がなされた後に、時間を経て同一受診者の眼底
検診がなされた場合、初診時の画像２とその後に撮影し
た画像３において、図１（ａ）で述べたものと同様な画
像処理を施し、画像処理結果直後の位置合わせの候補点
（特徴点）をまず抽出する。

【００３０】しかる後に、各候補点（特徴点）の座標と
属性（分岐、交差などの種別情報）を計算し、初診時の
画像中の位置合わせの候補点とその後に撮影した画像の
位置合わせの候補点（特徴点）との対応つけを行なう。
現在実用化されている眼底カメラの撮影方法では、人体
の眼内レンズ系（角膜、水晶体）などが、撮影時の体調
などの影響で全く同じ状態になり得ないため、撮影され
た眼底画像におけるスケールや位置は一般的にずれる。
従って、経時変化に伴って撮影した２枚の画像間の拡大
縮小比や、位置ずれ、回転角度を考慮して対応つけを行
う。

【００３１】対応つけの決定は、一部の点を用いて仮の
対応つけを行い、残りの点の対応つけでの適正度合いを
計算する。この仮の対応つけを例えば総当たり法で行
い、最も、残りの点の対応つけの適正度合いが大きい組
み合わせを選び出す。

【００３２】まず、一部の点を用いた対応つけでは、重
ね合わせのための制御点情報データベースに登録されて
いる制御点（候補点）のうち、候補としての適正度合い
が上位である制御点を数箇所選び、それぞれに対応する
候補点の組み合わせを仮に決める。

【００３３】次に、その対応関係を元に重ね合わせを行
うための座標変換の写像関係を計算して求める。例え
ば、拡大縮小、位置ずれ、回転角度を考慮した写像関係
としてアフィン変換などがあり（例えば、文献：高木幹
雄他「画像処理アルゴリズムの最新動向」、株式会社新
技術コミュニケーションズ刊行、ｐｐ．１９０−参
照）、対応すべき点の座標から求められる。

【００３４】得られた（即ち、仮の組み合わせから推定
された）写像関係により、残りの制御点座標を変換し、
再診時の画像から抽出した候補点（特徴点）の座標との
ずれを調べる。もし仮の組み合わせから推定された写像
関係が適切でない、即ち、仮の組み合わせが間違ってい
る場合には、座標として近い位置に候補点が存在しない
はずである。そこで、例えば、残りの点に対する位置ず
れの２乗誤差の平均値を適当なしきい値で比較すれば、
仮の組み合わせが間違っていたかどうかを判定できる。

【００３５】ここで、重ね合わせのための制御点情報デ
ータベースにおいて対応つけに不適正な領域を写像関係
により再診時の画像上での領域に変換できる。再診時の
画像については対応つけに不適正な領域を手作業で決定
しないため、候補点がその領域から多数発生する。これ
は眼底画像において、乳頭部、黄斑部では線上の組織が
比較的集中しているためであり、そのまま、仮の対応つ
けに用いるとその組み合わせが膨大になるケースがあ
る。

【００３６】そこで本実施形態例による方法では、適当
なしきい値以下であった場合で、かつ、重ね合わせのた
めの制御点情報データベースにおいて対応つけに不適正
な領域を写像関係により再診時の画像上での領域に変換
し、その領域内での候補点は除外することで／組み合わ
せを減らし、対応つけの処理量を削減することができ
る。

【００３７】このようにして組み合わせを決定し、この
基準点を重ね合わせることは自動で行なえる。以上を踏
まえて図示したものが図４の下側である。すなわち、デ
ーターベース１を参照し、異なる時間に撮影した同一医
療モダリティ画像の中で画像処理によって得られた特徴
点群について予め記憶しておいた位置合わせに不適切な
座標領域に対応する領域中に特徴点が存在し、かつ、予
め記憶しておいた位置合わせに適した座標点のうち位置
合わせに適する度合いの上位となるものについて相対位
置配置の類似度合いが最も高い組み合わせを求めること
で、異なる時間に撮影した同一医療モダリティ画像の重
ね合わせを行う。

【００３８】図５は、本実施形態例により２枚の画像が
正確に重ね合わせられた状態を示した画像の模写図であ
る。よって、２枚の画像の重ね合わせを、初診より後は
自動で行なうことができ、医師の比較読影支援を効率良
く行なうことができる。

【００３９】なお、上記実施形態例では、眼底画像を例
に説明したが、コンピュータ断層画像等の他の医療モダ
リティ画像に適用できることは言うまでもない。

【００４０】

【発明の効果】以上で説明したように、本発明によれ
ば、眼底画像等の医療モダリティ画像のいわゆる比較読
影において、初診時に予め位置合わせに適切な候補の座
標、及び不適切な座標領域を記憶しておき、これを参照
することにより異なる時刻に撮影された同一種類のモダ
リティ画像の重ね合わせを自動的に正確に行なうことが
でき、 ・誤った対応点の組み合わせを抑制して正しい組み合わ
せをより容易に決定できる。

【００４１】・位置合わせに適切な特徴点だけを自動抽
出するよりも、位置合わせに不適切な特徴点を含んだま
ま自動抽出する方がパラメータの設定範囲を緩くでき
る。

【００４２】その結果、位置合わせのための処理の頑健
性を向上できる。従って、その操作を自動化して臨床に
提供することが容易となり、比較読影による検診業務の
効率化が図れ、その波及効果として検診の普及に貢献で
きる。

【図面の簡単な説明】

【図１】本発明の一実施形態例を示すフローチャートで
あり、（ａ）は初診時の手順を示し、（ｂ）はその後の
検診時の画像重ね合わせの手順を示す図である。

【図２】上記実施形態例による画像重ね合わせ方法を説
明するための原画像の例を示す画像の模写図である。

【図３】上記実施形態例における眼底画像の重ね合わせ
を実施する際の位置合わせ候補決定過程を説明するため
の図面代用の画像写真であって、（ａ）は位置合わせに
不適な候補領域を含む位置合わせ候補を示す画像写真で
あり、（ｂ）は位置合わせに不適な候補領域を示す画像
写真である。

【図４】上記実施形態例における眼底画像の重ね合わせ
を実施する構成の例を説明する図である。

【図５】上記実施形態例により異なる時間に撮影した同
一患者の眼底画像の位置合わせした状態の例を示す画像
の模写図である。

【符号の説明】

１…データベース ２…初診時の画像 ３…その後の検診時の画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田邊 勝義 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 診察ないし健康診断の受診者ごとに、そ
   の個人ＩＤと、医療モダリティ画像ごとの位置合わせに
   適した医療画像中の座標点及びその位置合わせに適する
   度合いの順位で構成する候補群と、位置合わせに不適切
   な医療画像中の座標領域候補群と、を初診時に複数調べ
   て予め記憶させて医療情報データーベースを構築してお
   く段階と、 異なる時間に撮影した同一種類の医療モダリティ画像の
   中で画像処理によって得られた特徴点群について前記予
   め記憶しておいた位置合わせに適した医療画像中の座標
   点の候補群と相対位置配置が類似となる組み合わせを求
   める段階と、 前記組み合わせの中で、予め記憶しておいた位置合わせ
   に不適切な座標領域に対応する領域中に特徴点が存在
   し、かつ、予め記憶しておいた位置合わせに適した座標
   点のうち位置合わせに適する度合いの上位となるものに
   ついての相対位置配置の類似度合いが最も高い組み合わ
   せを求める段階と、 前記求めた類似度合いが最も高い組み合わせにおける特
   徴点と位置合わせに適した座標点の候補群とを対応つけ
   て前記異なる時間に撮影した同一種類の医療モダリティ
   画像を重ね合わせる段階と、 を有することを特徴とする画像重ね合わせ方法。
2. 【請求項２】 位置合わせに適した座標点および特徴点
   として、血管の分岐点および交差点を用い、 前記交差点の方の位置合わせに適する度合いを前記分岐
   点よりも高くすることを特徴とする請求項１記載の画像
   重ね合わせ方法。
3. 【請求項３】 異なる時間に撮影した同一種類の医療モ
   ダリティ画像を重ね合わせる段階において、 血管の交差点を他の候補点及び特徴点に優先させて組み
   合わせまたは対応つけを行うことを特徴とする請求項２
   記載の画像重ね合わせ方法。