JP7471629B2 - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

画像処理装置、画像処理プログラム、画像処理方法 Download PDF

Info

Publication number
JP7471629B2
JP7471629B2 JP2020026450A JP2020026450A JP7471629B2 JP 7471629 B2 JP7471629 B2 JP 7471629B2 JP 2020026450 A JP2020026450 A JP 2020026450A JP 2020026450 A JP2020026450 A JP 2020026450A JP 7471629 B2 JP7471629 B2 JP 7471629B2
Authority
JP
Japan
Prior art keywords
image
edge
specific
pixel
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020026450A
Other languages
English (en)
Other versions
JP2021131703A (ja
JP2021131703A5 (ja
Inventor
英治 内野
雄貴 岡見
眞志保 向田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaguchi University NUC
Original Assignee
Yamaguchi University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaguchi University NUC filed Critical Yamaguchi University NUC
Priority to JP2020026450A priority Critical patent/JP7471629B2/ja
Publication of JP2021131703A publication Critical patent/JP2021131703A/ja
Publication of JP2021131703A5 publication Critical patent/JP2021131703A5/ja
Application granted granted Critical
Publication of JP7471629B2 publication Critical patent/JP7471629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置と画像処理プログラムと画像処理方法とに関する。
脳内の血管障害の早期発見には、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)のような人体の内側を可視化する医療機器が使用されている。しかし、これらの医療機器は、高額である。そのため、設備投資の負荷が大きく、これらの医療機器を有する病院は限られる。また、医療費も高額になるため、患者の医療費負担も大きい。
脳と眼とは発生学的に同一の器官であり、眼底の網膜血管の状態から、脳内の血管の状態が推測できる。そこで、脳内の血管障害のリスク診断には、前述の医療機器を必要としない眼底検査が用いられてきている。近年、第3期特定健康診断の改訂により、眼底検査が内科の検査項目に取り入れられている。しかし、眼底検査には判定医の経験と技量とが大きく寄与するため、専門医ではない内科医にとって、精度の良い眼底検査は困難である。そのため、眼底検査の自動化が求められている。眼底検査の自動化には、眼底を撮像した撮像画像から血管を正確に抽出する画像処理技術が必要である。
これまでにも、撮像画像から血管を抽出する画像処理技術が提案されている(例えば、非特許文献1と非特許文献2とを参照)。
非特許文献1に開示されている技術は、CNN(Convolutional Neural Network)を用いて、動脈と静脈とを分類する。同技術は、教師データに公開されているデータベースを用いることで教師データの作成負担を軽減する。
非特許文献2に開示されている技術は、エネルギー関数を用いた探索により、血管壁の解候補を選出し、血管壁との類似度が最大の解候補を血管輪郭線として抽出する。
向田眞志保,他4名,"専門家の知識を必要としない教師データの作成とCNNによる眼底血管の動静脈分類",Proceedings of the 27th Annual Conference of the SICE Chugoku Chapter (SICE 2018),3E-1,2018/12/1,p.149-150 岡見雄貴,他3名,"白内障患者の眼底血管の口径算出",第50回日本人間工学会中国・四国支部大会講演論文集,2017/12/9,p.49-50
本発明は、撮像画像から血管を抽出可能な新たな画像処理技術を提供することを目的とする。
本発明にかかる画像処理装置は、管体である特定被写体と、特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、特定被写体のエッジ線を特定する画像処理装置であって、撮像画像と、撮像画像内の特定被写体の領域に対応する特定被写体領域の特定エッジ線と、撮像画像内の非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、特定被写体領域と非特定被写体領域のうち、特定被写体領域のみが強調領域として強調された強調画像と、を記憶する記憶部と、エッジ画像と強調画像とに基づいて、特定エッジ線と非特定エッジ線のうち、特定エッジ線のみが強調された特定エッジ画像を生成する特定エッジ画像生成部と、を有してなる、ことを特徴とする。
本発明によれば、撮像画像から血管を抽出可能な新たな画像処理技術を提供できる。
本発明にかかる画像処理装置の実施の形態を示すネットワーク接続図である。 図1の画像処理装置の実施の形態を示す機能ブロック図である。 本発明にかかる画像処理方法が処理する撮像画像の例を示す模式図である。 図3の画像処理方法の実施の形態を示すフローチャートである。 図3の画像処理方法が有する特定エッジ画像生成処理のフローチャートである。 図5の処理において用いられる各画像の関係を示す模式図である。 図5の処理において生成される特定マップの例を示す模式図である。 図5の処理において生成される非特定マップの例を示す模式図である。 図5の処理において生成される強調画像の例を示す模式図である。 図5の処理において生成されるエッジ画像の例を示す模式図である。 図5の処理において生成される特定エッジ画像の例を示す模式図である。 図3の画像処理方法が有する部分領域特定処理のフローチャートである。 図12の処理において用いられる各画像の関係を示す模式図である。 図12の処理において生成される被マスク画像の例を示す模式図である。 図12の処理において用いられるマスク画像が重畳された被マスク画像の例を示す模式図である。 図12の処理において用いられる起点画素の位置情報の特定方法の例を示す模式図である。 図3の画像処理方法が有する輪郭線決定処理のフローチャートである。 図17の処理において用いられる各画像の関係を示す模式図である。 図17の処理において抽出される範囲エッジ画像の例を示す模式図である。 図17の処理において用いられるフィルタ画像の例を示す模式図である。 図17の処理において用いられる新たなフィルタ画像の例を示す模式図である。 図21のフィルタ画像が有するフィルタ範囲内において部分エッジ線が断線している状態を示す模式図である。 図17の処理において決定される連結線の例を示す模式図である。 図17の処理において決定される輪郭線の例を示す模式図である。 図3の画像処理方法が有する輪郭線補正処理のフローチャートである。 図25の処理が実行される前の輪郭線の例を示す模式図である。 図25の処理において補正画素が決定される様子を示す模式図である。 図25の処理において補正画素が決定される様子を示す別の模式図である。 図25の処理において補正画素が決定される様子を示すさらに別の模式図である。 図25の処理において補正画素が決定される様子を示すさらに別の模式図である。 図25の処理において補正画素が決定される様子を示すさらに別の模式図である。 本方法の実施例に用いられる撮像画像の例を示す図である。 図32の撮像画像に基づいて生成された強調画像の例を示す図である。 図32の撮像画像に基づいて生成されたエッジ画像の例を示す図である。 図33の強調画像と図34のエッジ画像とに基づいて生成された特定エッジ画像i4の例を示す図である。 図32の撮像画像に輪郭線を重畳させた状態の例を示す図である。
以下、図面を参照しながら、本発明にかかる画像処理装置(以下「本装置」という。)と画像処理プログラム(以下「本プログラム」という。)と画像処理方法(以下「本方法」という。)との実施の形態について説明する。
本発明は、撮像画像に撮像された複数種の管体を識別し、特定の管体のエッジ線を強調して特定する。また、本発明は、管体の一部が覆われることにより、同管体が分離したように撮像されているとき、分離した管体の部分同士を特定する。さらに、本発明は、管体の強調されたエッジ線に基づいて、管体の覆われている部分のエッジ線を決定し、分離された管体の部分同士を含む管体の輪郭線を決定する。さらに、本発明は、決定した輪郭線の補正をする。
以下に説明する実施の形態は、静脈と動脈とが撮像された眼底画像を撮像画像の例として、本発明の説明をする。すなわち、静脈と動脈それぞれは本発明における管体の例であり、静脈は本発明における特定被写体の例であり、動脈は本発明における非特定被写体の例である。撮像画像は、動脈と静脈それぞれの一部が交叉することにより、静脈の一部が動脈の一部により覆われて撮像されていない部分(以下「交叉部」という。)を含むものとする。
「撮像画像」は、例えば、眼底カメラで撮像された眼底画像、X線撮像装置で撮像されたX線画像、CT装置で撮像されたCT画像、の他、通常の光学カメラで撮像された画像も含む。本発明において、撮像画像には、少なくとも1種の管体が被写体として撮像される。前述のとおり、本実施の形態において、撮像画像は、眼底画像である。
「管体」は、中空状の細長い構造体である。管体は、例えば、動物の血管(静脈、動脈)、リンパ管、一部の骨、植物の導管、電気配線の被覆管、建築物の配管を含む。前述のとおり、本実施の形態において、管体は、人の眼底の血管である。
「被写体」は、撮像画像に撮像される対象である。本実施の形態において、被写体は、管体(血管)である。被写体は、特定被写体と非特定被写体とを含む。
「特定被写体」は、本発明においてエッジ線が強調される被写体である。前述のとおり、本実施の形態において、特定被写体は、人の眼底の静脈である。
「非特定被写体」は、特定被写体と異なる被写体である。本実施の形態において、非特定被写体は、人の眼底の動脈である。
「エッジ」は、各画像内において隣接する画素から色調が急激に変化している領域(画素)である。換言すれば、エッジは、被写体の輪郭線を表す領域(画素)である。
「輪郭線」は、被写体の周囲を縁取る(なぞる)線である。
●画像処理装置●
先ず、本装置の実施の形態について説明する。
図1は、本装置の実施の形態を示すネットワーク接続図である。
同図は、本装置1が、有線通信方式または無線通信方式を利用するネットワーク(通信回線)Nを介して、撮像装置2に接続されていることを示す。
本装置1は、前述のとおり、特定被写体(静脈)のエッジ線の強調、分離した特定被写体の部分同士の特定、特定被写体の覆われている部分のエッジ線の決定、および/または、特定被写体の輪郭の決定・補正、を実行する。本装置1の具体的な構成と動作とは、後述する。
撮像装置2は、撮像画像i1を撮像する。撮像装置2は、例えば、眼底カメラである。
ネットワークNは、例えば、インターネット、移動体通信網、LAN(Local Area Network)、WAN(Wide Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)のような通信網である。
●画像処理装置の構成
図2は、本装置1の実施の形態を示す機能ブロック図である。
本装置1は、例えば、パーソナルコンピュータで実現される。本装置1では、本プログラムが動作して、本プログラムが本装置1のハードウェア資源と協働して、本方法を実現する。
ここで、図示しないコンピュータに本プログラムを実行させることで、本プログラムは、同コンピュータを本装置1と同様に機能させて、同コンピュータに本方法を実行させ得る。
本装置1は、通信部11と、記憶部12と、マップ生成部13と、エッジ画像生成部14と、強調画像生成部15と、特定エッジ画像生成部16と、被マスク画像生成部17と、マスク処理部18と、領域特定部19と、範囲エッジ画像抽出部20と、部分エッジ線特定部21と、画素選択部22と、フィルタ画像生成部23と、連結線決定部24と、輪郭線決定部25と、輪郭線補正部26と、を有してなる。
通信部11は、ネットワークNを介して、撮像装置2から撮像画像i1を取得する。通信部11は、例えば、通信モジュールとアンテナとにより構成される。撮像画像i1は、記憶部12に記憶される。
記憶部12は、本装置1が後述する本方法を実行するために必要な情報を記憶する。記憶部12は、例えば、本装置1が備えるHDD(Hard Disk Drive)またはSSD(Solid State Drive)のような記録装置、RAM(Random Access Memory)のような揮発性メモリ、および/または、フラッシュメモリのような可搬性記憶媒体、により構成される。
マップ生成部13は、撮像画像i1に基づいてマップMを生成し、マップMに基づいてマップ画像Miを生成する。マップ生成部13の具体的な構成と動作とは、後述する。
「マップM」は、撮像画像i1の画素ごとに付与される値(画素が特定被写体と非特定被写体とのいずれかである確率に応じた値:確率値)の集合である。マップMは、特定マップM1と非特定マップM2とを含む。本実施の形態において、付与される値は、各確率に応じて「0.0-1.0」の範囲で算出される。「マップ画像Mi」は、マップMに基づいて生成される画像である。マップ画像Miは、特定マップ画像Mi1と非特定マップ画像Mi2とを含む。
「特定マップM1」は、撮像画像i1の画素ごとに、同画素が特定被写体である確率に応じた値(確率値)の集合(画素ごとに確率値が割り当てられた配列情報)である。「特定マップ画像Mi1」は、特定マップM1に基づいて、生成される画像である。
「非特定マップM2」は、撮像画像i1の画素ごとに、同画素が非特定被写体である確率に応じた値(確率値)の集合(画素ごとに確率値が割り当てられた配列情報)である。「非特定マップ画像Mi2」は、非特定マップM2に基づいて生成される画像である。
エッジ画像生成部14は、撮像画像i1に基づいて、エッジ画像i2を生成する。エッジ画像生成部14の具体的な構成と動作とは、後述する。
「エッジ画像i2」は、撮像画像i1内の特定被写体の領域(以下「特定被写体領域R11」という。)のエッジ線(以下「特定エッジ線L21」という。)と、撮像画像i1内の非特定被写体の領域(以下「非特定被写体領域R12」という。)のエッジ線(以下「非特定エッジ線L22」という。)と、が特定された画像である。
強調画像生成部15は、特定マップ画像Mi1と非特定マップ画像Mi2とに基づいて、強調画像i3を生成する。強調画像生成部15の具体的な構成と動作とは、後述する。
「強調画像i3」は、特定被写体領域R11と非特定被写体領域R12のうち、特定被写体領域R11のみが強調領域R31として強調された画像である。具体的には、強調画像i3は、特定被写体領域R11のうち、特定被写体領域R11であることが曖昧な領域が除去され(背景として取り扱われ)、特定被写体領域R11であることが明確な領域が強調された画像である。換言すれば、強調画像i3では、特定被写体領域R11であることが曖昧な領域と、非特定被写体領域R12とは、背景として取り扱われる。
「強調領域R31」は、前述のとおり、特定被写体領域R11のうち、強調画像生成部15により強調された領域(特定被写体領域R11であることが明確な領域)である。
「背景」は、撮像画像i1に撮像された被写体のうち、特定被写体と非特定被写体とを除いた部分、すなわち、例えば、筋肉や脂肪などの生体組織である。
特定エッジ画像生成部16は、エッジ画像i2と強調画像i3とに基づいて、特定エッジ画像i4を生成する。特定エッジ画像生成部16の具体的な構成と動作とは、後述する。
「特定エッジ画像i4」は、特定エッジ線L21と非特定エッジ線L22のうち、特定エッジ線L21のみが強調された画像である。具体的には、特定エッジ画像i4は、特定エッジ線L21のうち、特定エッジ線L21であることが曖昧な領域が除去され、特定エッジ線L21であることが明確な領域が強調された画像である。換言すれば、特定エッジ画像i4では、特定エッジ線L21であることが曖昧な領域と、非特定エッジ線L22とは、背景として取り扱われる。
被マスク画像生成部17は、撮像画像i1に基づいて、被マスク画像i5を生成する。被マスク画像生成部17の具体的な構成と動作とは、後述する。
「被マスク画像i5」は、本方法の後述する部分領域特定処理(S200)が実行される画像である。本実施の形態において、被マスク画像i5は、特定マップ画像Mi1から抽出される。本実施の形態において、被マスク画像i5の範囲は、特定被写体と非特定被写体それぞれの一部が交叉することにより、特定被写体の一部が非特定被写体の一部により覆い隠されて、撮像されていない領域(交叉部Px)を中心とする所定の範囲である。被マスク画像i5は、部分特定被写体領域r11,r12に対応する複数(本実施の形態では2つ)の部分領域r51,r52を含む。
「部分特定被写体領域r11,r12」は、撮像画像i1内に分離して配置される特定被写体領域R11の一部である。本実施の形態において、部分特定被写体領域r11,r12は、特定被写体の一部が非特定被写体に覆い隠されることにより、撮像画像i1内に分離して配置された特定被写体領域R11の一部である。換言すれば、部分特定被写体領域r11,r12は、非特定被写体により分離されたように配置される特定被写体領域R11の残部である。すなわち、複数の部分特定被写体領域r11-r1n(n:整数)が存在する場合、その中の2つの部分特定被写体領域r11,r12は、覆い隠された部分(分離された部分)を介して互いに繋がる領域(接続領域)である。
「繋がる領域」は、部分特定被写体領域r11,r12を分離している要因が無ければ、一連の特定被写体領域R11となる領域である。換言すれば、繋がる領域は、特定被写体を覆い隠す要因が無ければ、一連の特定被写体として撮像される特定被写体の部分である。
「部分領域r51,r52」は、前述のとおり、被マスク画像i5において、撮像画像i1の部分特定被写体領域r11,r12に対応する領域である。部分領域r51,r52は、被マスク画像i5内に分離して配置される。部分領域r51,r52は、特定マップ画像Mi1内の撮像画像i1の部分特定被写体領域r11,r12に対応する領域(部分特定マップ領域Mr11,Mr12)である。
マスク処理部18は、被マスク画像i5に対するマスク画像Msを用いたマスク処理により、非マスク領域NMRを決定する。マスク処理部18の具体的な構成と動作と、マスク画像Msとは、後述する。
「非マスク領域NMR」は、被マスク画像i5において、マスク画像Msにマスクされていない領域である。
領域特定部19は、複数の部分領域r51-r5n(n:整数)のうち、2つの部分領域r51,r52の一部を、互いに繋がる接続領域として特定する。領域特定部19の具体的な構成と動作とは、後述する。
「接続領域」は、被マスク画像i5において、部分特定被写体領域r11,r12を分離している要因が無ければ、一連の特定被写体領域R11となる領域、に対応する領域である。
範囲エッジ画像抽出部20は、特定エッジ画像i4から範囲エッジ画像i6を抽出する。範囲エッジ画像抽出部20の具体的な構成と動作とは、後述する。
「範囲エッジ画像i6」は、特定エッジ画像i4のうち、被マスク画像i5に対応する範囲の画像である。
部分エッジ線特定部21は、範囲エッジ画像i6において、2つの部分領域r51,r52それぞれに対応する部分エッジ線を特定する。部分エッジ線特定部21の具体的な構成と動作とは、後述する。
「部分エッジ線」は、特定エッジ画像i4(範囲エッジ画像i6)において、部分領域r51,r52に対応する強調された特定エッジ線の部分である。特定被写体は管体であるため、各部分領域r51,r52に対応する部分エッジ線の数は、2つである。すなわち、2つの部分領域r51,r52それぞれに対応する部分エッジ線の数は、4つである。
画素選択部22は、フィルタ画像Fiに基づいて、範囲エッジ画像i6に含まれる画素のうち、所定の画素をエッジ線候補画素として選択する。画素選択部22の具体的な構成と動作とは、後述する。
「フィルタ画像Fi」は、後述する追跡処理において、重畳される範囲エッジ画像i6に対してフィルタ処理を実行し、エッジ線候補画素を選択するためのフィルタである。フィルタ画像Fiの詳細については、後述する。
「エッジ線候補画素」は、範囲エッジ画像i6に含まれる画素のうち、部分エッジ線に対応する画素の候補となる画素である。
フィルタ画像生成部23は、部分エッジ線に基づいて、範囲エッジ画像i6に重畳されるフィルタ画像Fiを生成する。フィルタ画像生成部23の具体的な構成と動作とは、後述する。
連結線決定部24は、範囲エッジ画像i6において、連結線を決定する。連結線決定部24の具体的な構成と動作とは、後述する。
「連結線」は、範囲エッジ画像i6において、2つの部分領域r51,r52それぞれに対応する部分エッジ線同士を結ぶと推定される線である。連結線は、4つの部分エッジ線のうち、一方の部分領域r51の1の部分エッジ線と、他方の部分領域r52の1の部分エッジ線とを結ぶ。
輪郭線決定部25は、特定被写体の輪郭線の一部を決定する。輪郭線決定部25の具体的な構成と動作とは、後述する。
「輪郭線」は、前述のとおり、特定被写体の周囲を縁取る(なぞる)線であり、例えば、撮像画像i1に重畳される線である。
輪郭線補正部26は、撮像画像i1に含まれる画素の画素値に基づいて、輪郭線の補正をする。輪郭線補正部26の具体的な構成と動作とは、後述する。
マップ生成部13と、エッジ画像生成部14と、強調画像生成部15と、特定エッジ画像生成部16と、被マスク画像生成部17と、マスク処理部18と、領域特定部19と、範囲エッジ画像抽出部20と、部分エッジ線特定部21と、画素選択部22と、フィルタ画像生成部23と、連結線決定部24と、輪郭線決定部25と、輪郭線補正部26とは、例えば、本装置1が備えるCPU(Central Processing Unit)と、CPUの作業領域として機能するRAMのような揮発性メモリと、本プログラムなどの各種情報を記憶するROM(Read Only Memory)のような不揮発性メモリと、により構成される。
なお、マップ生成部と、エッジ画像生成部と、強調画像生成部と、特定エッジ画像生成部と、被マスク画像生成部と、マスク処理部と、領域特定部と、範囲エッジ画像抽出部と、部分エッジ線特定部と、画素選択部と、フィルタ画像生成部と、連結線決定部と、輪郭線決定部と、輪郭線補正部とは、CPUに加え、または、CPUに代えて、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、または、FPGA(Field Programmable Gate Array)、などのハードウェアを含んで構成されてもよい。
また、マップ生成部と、エッジ画像生成部と、強調画像生成部と、特定エッジ画像生成部と、被マスク画像生成部と、マスク処理部と、領域特定部と、範囲エッジ画像抽出部と、部分エッジ線特定部と、画素選択部と、フィルタ画像生成部と、連結線決定部と、輪郭線決定部と、輪郭線補正部とは、共通するハードウェアにより構成されてもよく、あるいは、個別のハードウェアにより構成されてもよい。
●画像処理方法(画像処理装置の動作)●
次に、本装置1の動作、すなわち、本装置1が実行する本方法の実施の形態について、図2も参照しつつ説明する。
以下の説明において、本装置1はネットワークNを介して撮像装置2から撮像画像を取得し、記憶部12に記憶しているものとする。また、以下の説明で用いられる撮像画像では、特定被写体(静脈)と非特定被写体(動脈)それぞれの一部が交叉することにより、特定被写体の一部が非特定被写体の一部により覆い隠されて、撮像されていないものとする。
図3は、撮像画像i1の例を示す模式図である。
同図は、特定被写体と非特定被写体それぞれの一部が交叉することにより、特定被写体領域R11の一部が非特定被写体領域R12の一部により覆い隠されて、撮像されていないことを示す。
図4は、本方法の実施の形態を示すフローチャートである。
本方法は、特定エッジ画像生成処理(S100)と、部分領域特定処理(S200)と、輪郭線決定処理(S300)と、輪郭線補正処理(S400)と、を有してなる。
●特定エッジ画像生成処理
先ず、本装置1は、特定エッジ画像生成処理(S100)を実行する。
図5は、特定エッジ画像生成処理(S100)のフローチャートである。
図6は、特定エッジ画像生成処理(S100)において用いられる各画像の関係を示す模式図である。図6は、説明の便宜上、特定マップ画像Mi1と非特定マップ画像Mi2とを撮像画像i1と同じ形状で示す。
「特定エッジ画像生成処理(S100)」は、撮像画像i1に基づいて、特定エッジ画像i4を生成する処理である。
先ず、マップ生成部13とエッジ画像生成部14それぞれは、記憶部12から撮像画像i1を読み出す(S101)。
次いで、マップ生成部13は、撮像画像i1に公知の画像処理を実行して、特定マップM1と非特定マップM2とを生成する(S102)。生成された特定マップM1と非特定マップM2とは、記憶部12に記憶される。
「公知の画像処理」は、例えば、特定被写体と非特定被写体それぞれがラベル付けされた教師データを用いた畳み込みニューラルネットワーク(CNN:例えば、VGG19)による画像処理である。
図7は、特定マップM1の例を示す模式図である。
同図の各セルは、特定マップM1の画素に相当する。各セルに割り当てられた数値は、同セルに対応する撮像画像i1の画素に撮像されている物体が特定被写体である確率に応じた数値(確率値)を示す。すなわち、例えば、数値「1.0」のセルは、同画素に撮像されている物体が100%の確率で特定被写体であるとみなされる画素である。
図8は、非特定マップM2の例を示す模式図である。
同図の各セルは、非特定マップの画素に相当する。各セルに割り当てられた数値は、同セルに対応する撮像画像i1の画素に撮像されている物体が非特定被写体である確率に応じた数値(確率値)を示す。すなわち、例えば、数値「0.5」のセルは、同画素に撮像されている物体が50%の確率で非特定被写体であるとみなされるセルである。
図5と図6とに戻る。
次いで、マップ生成部13は、特定マップM1に基づいて特定マップ画像Mi1を生成すると共に、非特定マップM2に基づいて非特定マップ画像Mi2を生成する(S103)。具体的には、マップ生成部13は、特定マップM1と非特定マップM2それぞれの各セルに割り当てられた確率値に255を乗算して、確率値(0.0-1.0)を8ビットの画素値(0-255)に変換する。生成された特定マップ画像Mi1と非特定マップ画像Mi2とは、記憶部12に記憶される。
次いで、強調画像生成部15は、特定マップ画像Mi1と非特定マップ画像Mi2とに基づいて、強調画像i3を生成する(S104)。具体的には、強調画像生成部15は、画素ごとに、以下の式(1),式(2)を用いて特定被写体領域R11が強調されるように演算し、以下の式(3)を用いて強調画像i3の画素値を算出する。
ReLU(X)={X if≧0,0 if<0} (1)
式1は、一般的なランプ関数であり、「X」の値が負の値である場合には0を返し、正の値である場合にはその値を返す。
V′=(ReLU(V1-V2)) (2)
式(2)中、「V′」は、画素ごとに算出された算出値であり、同画素が特定被写体である確率が高いほど大きくなる。「V1」は特定マップ画像Mi1の画素値(0-255)であり、「V2」は非特定マップ画像の画素値(0-255)である。式(2)は、特定マップ画像Mi1の画素値から非特定マップ画像Mi2の画素値を減算し、減算値が負の値である場合には「0」を算出する。すなわち、非特定被写体である確率が特定被写体である確率よりも高い画素は、背景として取り扱われる(除去される)。また、式(2)は、減算値を二乗することにより、特定被写体領域R11のうち、特定被写体である確率が高い画素に割り当てられた値を相対的に大きくし、特定被写体である確率が低い画素の値を相対的に小さくする。すなわち、特定被写体である確率が低い画素は、背景に近似する画素として取り扱われる。換言すれば、特定被写体である確率が高い画素以外の画素は、背景として取り扱われる。
V=Blur(255×(V′/max(V′))) (3)
式(3)中、「Blur(x)」は、7×7の単純平滑化フィルタ処理をn回実行したことを示す。単純平滑化フィルタ処理を複数回(本実施の形態では5回)実行することにより、不連続な部分が平滑化され、微細な断線の数が減少する。式(3)において、「V/max(V′)」に255を乗算することにより、算出値「V′」は、「V′」の最大値が最大輝度となる8ビットの画素値「V」に変換される。その結果、強調画像i3が生成される。生成された強調画像i3は、記憶部12に記憶される。
前述のとおり、撮像画像i1は、特定被写体と非特定被写体それぞれの一部が交叉する部分(交叉部Px)を含む。強調画像i3において、交叉部Pxに相当する領域は、背景として取り扱われる領域である。そのため、強調画像i3において、一部の強調領域R31は、2つに分離して配置される。この2つに分離して配置される強調領域R31の一部は、部分強調領域r311,r312である。すなわち、強調画像i3は、2つの部分強調領域r311,r312を含む。
図9は、強調画像i3の例を示す模式図である。
同図は、非特定被写体領域R12(図6参照)が背景として取り扱われ(取り除かれ)ていることを示す。また、同図は、特定被写体領域R11(図6参照)のうち、特定マップ画像Mi1(図6参照)において画素値が大きい画素は明るいまま、画素値が小さい画素は暗くなっていることを示す。すなわち、同図は、特定被写体領域R11の一部の領域が強調されていることを示す。
なお、強調画像生成部は、式(1)-(3)に代えて、シグモイド関数により特定被写体である確率が高い画素を強調し、ガウシアンフィルタにより平滑化してもよい。
また、単純平滑化フィルタは、7×7に限定されない。すなわち、単純平滑化フィルタは、3×3または、5×5でもよい。さらに単純平滑化処理の回数は、「5」に限定されない。
図5と図6とに戻る。
一方、エッジ画像生成部14は、撮像画像i1に公知の画像処理を実行して、エッジ画像i2を生成する(S105)。生成されたエッジ画像i2は、記憶部12に記憶される。
「公知の画像処理」は、例えば、ブラックトップハット(BTH)変換処理とCanny法である。前述のとおり、被写体は血管であり、撮像画像i1において血管は背景よりも暗く映る。そのため、エッジ画像生成部14は、BTH変換処理により暗い領域を強調することで撮像画像i1から暗い領域(血管)を抽出できる。また、エッジ画像生成部14は、血管が抽出された画像にCanny法を適用することで血管のエッジを特定できる。すなわち、例えば、エッジ画像生成部14は、撮像画像i1のG成分に対してBTH変換処理を実行して特定領被写体域と非特定被写体領域それぞれを強調させる。次いで、エッジ画像生成部14は、BTH変換処理後の画像に対してCanny法を適用して、特定エッジ線L21と非特定エッジ線L22とを特定する。
なお、エッジ画像生成部が用いる公知の画像処理は、本実施の形態に限定されない。すなわち、例えば、エッジ画像生成部は、Canny法に代えて、ソーベルフィルタやラプラシアンフィルタを用いてもよい。
また、エッジ画像生成部は、被写体と背景との明暗関係などに応じて、撮像画像のR成分やB成分に対してBTH変換処理を実行してもよい。
図10は、エッジ画像i2の例を示す模式図である。
同図は、特定エッジ線L21と非特定エッジ線L22それぞれが特定されていることを示す。
図5と図6とに戻る。
次いで、特定エッジ画像生成部16は、記憶部12からエッジ画像i2と強調画像i3とを読み出して(S106)、エッジ画像i2と強調画像i3とに基づいて、特定エッジ画像i4を生成する(S107)。具体的には、特定エッジ画像生成部16は、エッジ画像i2に対する強調画像i3を用いたフィルタ処理により、特定エッジ画像i4を生成する。例えば、特定エッジ画像生成部16は、画素ごとに、エッジ画像i2の画素値(0または1)に強調画像i3の画素値(0-255)を乗算し、その結果画像を平滑化することにより、特定エッジ画像i4を生成する。生成された特定エッジ画像i4は、記憶部12に記憶される。このような平滑化処理により、特定エッジ画像生成部16は、微細な断線部を線状に繋げることができる。
なお、特定エッジ画像生成部は、フィルタ処理において平滑化処理を実行することが望ましいが、平滑化に代えて、膨張と収縮とにより微細な断線部を線状に繋げる処理を実行してもよい。
図11は、特定エッジ画像i4の例を示す模式図である。
同図は、強調画像i3(図6参照)の強調領域R31のうち、特定エッジ線L21(図6参照)と重複する部分のみが強調され特定強調エッジ線L41として抽出(特定)されていることを示す。
図5と図6とに戻る。
このように、本装置1は、撮像画像i1に基づいてエッジ画像i2と強調画像i3とを生成し、エッジ画像i2と強調画像i3とに基づいて特定エッジ画像i4を生成する。
なお、エッジ画像の生成は、マップ画像の生成と並列で実行されてもよく、あるいは、マップ画像(または強調画像)の生成の前後のいずれかで順に実行されてもよい。
●部分領域特定処理
図4に戻る。
次いで、本装置1は、部分領域特定処理(S200)を実行する。
図12は、部分領域特定処理(S200)のフローチャートである。
図13は、部分領域特定処理(S200)において用いられる各画像の関係を示す模式図である。
「部分領域特定処理(S200)」は、被マスク画像i5に分離して配置される複数の部分領域r51-r5nのうち、2つの部分領域r51,r52を互いに繋がる接続領域として特定する処理である。
先ず、被マスク画像生成部17は、撮像画像i1と、撮像画像i1に対応する特定マップ画像Mi1と、を記憶部12から読み出す(S201)。次いで、被マスク画像生成部17は、撮像画像i1に公知の画像処理を実行することにより、交叉部Pxを撮像画像i1から特定する(S202)。次いで、被マスク画像生成部17は、特定した交叉部Pxを中心とする所定の範囲の領域(注目領域)を特定する(S203)。次いで、被マスク画像生成部17は、特定マップ画像Mi1のうち注目領域に対応する領域を被マスク画像i5として抽出する(S204)。
このように、被マスク画像生成部17は、撮像画像i1と特定マップ画像Mi1とに基づいて、被マスク画像i5を生成する(被マスク画像生成処理)。換言すれば、被マスク画像生成部17は、撮像画像i1に基づいて、被マスク画像i5を生成する。
図14は、被マスク画像i5の例を示す模式図である。
同図は、説明の便宜上、非特定被写体に対応する領域(非特定マップ領域MR2)も二点鎖線で示す。同図は、1つのライン状の特定被写体に対応する領域(特定マップ領域MR1)の一部が非特定マップ領域MR2の一部により覆われて、2つの部分領域r51,r52(部分特定マップ領域Mr11,Mr12)として分離して配置されることを示す。
図12と図13とに戻る。
次いで、マスク処理部18は、被マスク画像i5に対するマスク画像Msを用いたマスク処理により、被マスク画像i5において、非マスク領域NMRを決定する(S205)。マスク画像Msは、例えば、予め記憶部12に記憶されている。
図15は、マスク画像Msが重畳された被マスク画像i5の例を示す模式図である。
「マスク画像Ms」は、被マスク画像i5に重畳されて、交叉部Pxを中心とする所定の領域をマスクする画像である。マスク画像Msは、第1マスク画像Ms1と、第2マスク画像Ms2と、を含む。第1マスク画像Ms1は、例えば、平均的な非特定被写体の口径(以下「平均口径」という。)の約3倍の長さの半径を有し、交叉部Pxを中心とする円の内側の領域をマスクする画像である。第2マスク画像Ms2は、例えば、平均口径の約5倍の長さの半径を有し、交叉部Pxを中心とする円の外側の領域をマスクする画像である。したがって、非マスク領域NMRは、被マスク画像i5のうち、平均口径の約2倍の長さの幅を有し、交叉部Pxを中心とするリング状の領域である。
ここで、交叉部Pxの近傍の領域は、特定被写体が撮像されていない領域である。第1マスク画像Ms1は、被マスク画像i5内の特定被写体が撮像されていない領域をマスクする。また、被写体である血管は、様々な形状に折れ曲がる。そのため、交叉部Pxから離れるほど、血管は、非マスク領域NMR内に配置され難くなる。マスク画像Msは、交叉部Pxに近すぎず、かつ、交叉部Pxから遠すぎない領域を非マスク領域NMRとして残す。その結果、非マスク領域NMR内には、部分領域r51,r52が確実に配置される。
図12と図13とに戻る。
次いで、領域特定部19は、非マスク領域NMRを二値化して、非マスク領域NMR内に分離して配置されている複数の部分領域r51,r52それぞれの一部を非マスク部分領域r511,r521として特定する(S206)。
次いで、領域特定部19は、特定された非マスク部分領域r511,r521の中から1つの非マスク部分領域r511を選択領域として選択する(S207)。次いで、領域特定部19は、非マスク領域NMRに対してフィルタを設定する(S208)。
「フィルタ」は、交叉部Pxから選択領域の重心に向かうベクトルを0°としたとき、同重心から非マスク領域NMRの周方向に180°の位置に向けて「0」から「1」まで連続的に変化する値を有する。
具体的には、領域特定部19は、非マスク領域NMR内の各画素の画素値にフィルタの値を乗算する。その結果、非マスク領域NMRの周方向において、180°の位置から0°の位置に向けて、非マスク領域NMR内の各画素の画素値が小さくなる。
次いで、領域特定部19は、フィルタが設定された非マスク領域NMRにおいて、最も画素値の大きい非マスク部分領域(本実施の形態では、非マスク部分領域r521)を、選択領域から最も離れた位置に配置された非マスク部分領域として特定する(S209)。
次いで、領域特定部19は、処理(S209)で特定された非マスク部分領域r521を選択領域として選択する(S210)。次いで、領域特定部19は、非マスク領域NMRに対してフィルタを設定する(S211)。次いで、領域特定部19は、フィルタが設定された非マスク領域NMRにおいて、最も画素値の大きい非マスク部分領域(本実施の形態では、非マスク部分領域r511)を、選択領域から最も離れた位置(180°に近い位置)に配置された非マスク部分領域として特定する(S212)。
次いで、領域特定部19は、処理(S212)において特定された非マスク部分領域と、処理(S207)において選択された選択領域と、が同じ領域か否かを判定する(S213)。両領域が同じとき(S213の「Yes」)、領域特定部19は、両領域を接続領域として特定する(S214)。一方、両領域が異なるとき(S213の「No」)、領域特定部19は、処理(S209)で特定された非マスク部分領域を除外して、処理(S209-S213)を繰り返す。
このように、非マスク領域NMRにフィルタが設定されることで、領域特定部19は、非マスク領域NMRのうち、選択領域と、選択領域から最も離れた位置に配置された非マスク部分領域と、を接続領域として特定する。換言すれば、領域特定部19は、第1マスク画像Ms1を挟む位置に配置された2つの非マスク部分領域r511,r521を接続領域として特定する。この場合、第1マスク画像Ms1は、本発明における分離領域マスク画像の例である。また、非マスク部分領域r511,r521の間に配置された交叉部Pxを含む領域は、本発明における分離領域の例である。
次いで、領域特定部19は、接続領域として特定された2の非マスク部分領域r511,r521それぞれの重心を算出する(S215)。重心は、非マスク部分領域r511,r521に対応する画素の画素値による重み付を加味して算出される。
次いで、領域特定部19は、輪郭線決定処理(S300:図4参照)において、最初の起点画素(後述)となる画素の位置情報を特定する(S216)。
図16は、位置情報の特定方法の例を示す模式図である。
具体的には、領域特定部19は、非マスク部分領域r511の重心x1と交叉部Pxとを結ぶ線分Lx1を引き、重心x1を通る線分Lx1の垂線を引く。次いで、領域特定部19は、同垂線と非マスク部分領域r511の境界とが交わる点に対応する画素P1,P2を特定する。同様に、領域特定部19は、非マスク部分領域r521の重心x2と交叉部Pxとを結ぶ線分Lx2を引き、重心x2を通る線分Lx2の垂線を引く。次いで、領域特定部19は、同垂線と非マスク部分領域r521の境界とが交わる点に対応する画素P3,P4を特定する。画素P1-P4の位置情報は、記憶部12に記憶される。
次いで、領域特定部19は、接続領域として特定された2つの非マスク部分領域r511,r521を含む2つの部分領域r51,r52を特定する(S217)。
●輪郭線決定処理
図4に戻る。
次いで、本装置1は、輪郭線決定処理(S300)を実行する。
図17は、輪郭線決定処理(S300)のフローチャートである。
図18は、輪郭線決定処理(S300)において用いられる各画像の関係を示す模式図である。
先ず、範囲エッジ画像抽出部20は、記憶部12から特定エッジ画像i4と被マスク画像i5とを読み出す(S301)。次いで、範囲エッジ画像抽出部20は、特定エッジ画像i4から被マスク画像i5に対応する範囲の範囲エッジ画像i6を抽出する(範囲エッジ画像抽出処理:S302)。
次いで、部分エッジ線特定部21は、範囲エッジ画像i6において、処理(S218)において特定された2つの部分領域r51,r52それぞれに対応する部分エッジ線L211,L212,L213,L214を特定する(部分エッジ線特定処理:S303)。部分エッジ線L211,L212は、本発明における第1部分エッジ線の例である。部分エッジ線L213,L214は、本発明における第2部分エッジ線の例である。
次いで、画素選択部22は、処理(S216)で特定された画素P1,P2,P3,P4の位置情報を記憶部12から読み出す(S304)。次いで、画素選択部22は、範囲エッジ画像i6において、画素P1,P2,P3,P4の位置情報に対応する画素P11,P21,P31,P41を特定する(S305)。画素P11-P41は、本発明におけるエッジ線候補画素の例であり、本発明における最初の起点画素の例である。
図19は、処理(S305)における範囲エッジ画像i6の例を示す模式図である。
同図は、画素P11が部分エッジ線L211上に配置され、画素P21が部分エッジ線L212上に配置され、画素P31が部分エッジ線L213上に配置され、画素P41が部分エッジ線L214上に配置される、ことを示す。
図17-図19に戻る。
次いで、画素選択部22は、画素P11-P41のうち、輪郭線Loを決定するための最初の起点画素の対(例えば、画素P11,P31)を特定する(S306)。最初の起点画素の対は、例えば、処理(S216)において特定された各位置情報、または、重心x1,x2から各画素P1-P4(図16参照)に向かうベクトルの向きに基づいて、特定される。
次いで、フィルタ画像生成部23は、範囲エッジ画像i6に重畳される2つのフィルタ画像(第1フィルタ画像Fi1,第2フィルタ画像Fi2)を生成する(S307)。
図20は、2つのフィルタ画像Fi1,Fi2の例を示す模式図である。
同図は、説明の便宜上、範囲エッジ画像i6に2つのフィルタ画像Fi1,Fi2を重畳させた状態を示す。
第1フィルタ画像Fi1は、1の起点画素P11を起点とする所定の第1フィルタ範囲を有する。第2フィルタ画像Fi2は、1の起点画素P31を起点とする所定の第2フィルタ範囲を有する。
「フィルタ範囲」は、起点画素P11,P31を起点として、例えば、中心角が90°で、半径が7画素の四半円状(扇状)の範囲であり、半径が4画素の四半円状の領域は除かれる範囲である。すなわち、フィルタ範囲は、中心角が90°で、半径が4画素から7画素までの長さの扇状である。フィルタ範囲には、範囲エッジ画像i6の画素値に乗算されるフィルタ値が設定される。フィルタ値は、起点画素P11,P31を通りフィルタ範囲を2等分する線分(中心線)上において「1」である。フィルタ値は、フィルタ範囲の周方向において、中心線から遠ざかるほど小さくなり、最終的に「0」となる。すなわち、フィルタ値は、中心線からの相対距離に応じて決定される。
第1フィルタ画像Fi1の中心線は、常に、第2フィルタ画像Fi2の最初の起点画素P31に向けられる。すなわち、第1フィルタ画像Fi1は、第2フィルタ画像Fi2の最初の起点画素P31に基づいて決定される第1フィルタ範囲を有する。一方、第2フィルタ画像Fi2の中心線は、常に、第1フィルタ画像Fi1の最初の起点画素P11に向けられる。すなわち、第2フィルタ画像Fi2は、第1フィルタ画像Fi1の最初の起点画素P11に基づいて決定されるフィルタ範囲を有する。
図17と図18と図20とに戻る。
次いで、画素選択部22は、範囲エッジ画像i6に対するフィルタ画像Fi1,Fi2を用いたフィルタ処理により、フィルタ範囲内の画素値の平均値を算出する(S308)。具体的には、画素選択部22は、フィルタ範囲内において、範囲エッジ画像i6の画素値にフィルタ値を乗算し、乗算後の各画素値の平均値を算出する。次いで、画素選択部22は、算出した平均値を所定の閾値と比較する(S309)。所定の閾値は、例えば、記憶部12に予め記憶されている。
平均値が所定の閾値より大きいとき(S309の「Yes」)、画素選択部22は、部分エッジ線に対応する画素の候補であるエッジ線候補画素Pa1を選択する(S310)。具体的には、画素選択部22は、フィルタ範囲内において、乗算後の各画素値を考慮した重心を算出し、算出した重心に最も近い画素をエッジ線候補画素Pa1として選択する。すなわち、画素選択部22は、範囲エッジ画像i6に含まれる画素のうち、フィルタ範囲内であって、最初の起点画素P11,P31から所定の距離(4画素以上7画素以内)離れた画素をエッジ線候補画素Pa1として選択する。換言すれば、画素選択部22は、範囲エッジ画像i6に含まれる画素のうち、最初の起点画素P11,P31以外の画素をエッジ線候補画素Pa1として選択する。エッジ線候補画素Pa1は、本発明における第1エッジ線候補画素の例であり、本発明における第2エッジ線候補画素の例である。
なお、画素選択部は、部分エッジ線に対応する画素であって、算出した重心に最も近い画素をエッジ線候補画素として選択してもよい。
次いで、フィルタ画像生成部23は、新たに選択されたエッジ線候補画素Pa1を新たな起点画素とする新たなフィルタ画像Fi1,Fi2を生成する(S311)。
図21は、新たなフィルタ画像Fi1,Fi2の例を示す模式図である。
同図は、新たなフィルタ画像Fi1,Fi2がエッジ線候補画素Pa1を起点画素としている状態を示す。
図17と図18と図21とに戻る。
次いで、画素選択部22は、新たなフィルタ画像Fi1,Fi2を用いて、フィルタ範囲内の画素値の平均値の算出と、次のエッジ線候補画素Pa1の選択と、を実行する(S308-S310)。
一方、平均値が所定の閾値以下のとき(S309の「No」)、すなわち、フィルタ範囲内において部分エッジ線L211,L213が断線しているとき、画素選択部22は、新たなエッジ線候補画素Pa1を選択しない。
図22は、フィルタ範囲内において部分エッジ線L211,L213が断線している状態を示す模式図である。同図は、最新のエッジ線候補画素Pa1が部分エッジ線L211,L213の端部に配置され、フィルタ画像Fi1,Fi2のフィルタ範囲内に部分エッジ線L211,L213が存在しない状態を示す。
図17と図18と図22とに戻る。
このとき、連結線決定部24は、処理(S308-S310)において選択されたエッジ線候補画素Pa1の集合に基づいて、部分エッジ線L211,L213同士を結ぶ連結線Lcを決定する(連結線決定処理:S312)。具体的には、連結線決定部24は、処理(S308-S310)において、第1フィルタ画像Fi1を用いて選択された全てのエッジ線候補画素Pa1を用いたファジィ推論を実行して、第1連結線(不図示)を推定する。同様に、連結線決定部24は、処理(S308-S310)において、第2フィルタ画像Fi2を用いて選択された全てのエッジ線候補画素Pa1を用いたファジィ推論を実行して、第2連結線(不図示)を推定する。次いで、連結線決定部24は、第1連結線と第2連結線とに基づいて、連結線Lcを決定する。
図23は、連結線Lcの例を示す模式図である。
同図は、説明の便宜上、フィルタ画像Fi1,Fi2と、エッジ線候補画素Pa1と、連結線候補画素Pa2と、も合わせて示す。
図17と図18と図23とに戻る。
次いで、画素選択部22は、例えば、連結線Lcに対応する画素の画素値を最大値と仮定して、フィルタ画像Fi1,Fi2を用いて、連結線Lcに対応する画素の候補である連結線候補画素Pa2を選択する(S313)。連結線候補画素Pa2は、本発明における第1連結線候補画素の例であり、本発明における第2連結線候補画素の例である。次いで、画素選択部22は、所定の基準点から最初の起点画素P11,P31までのベクトル同士の差分と、同基準点から連結線候補画素Pa2までのベクトル同士の差分と、の内積を算出する(S314)。次いで、画素選択部22は、算出した内積が「正」か「負」かを判定する(S315)。
内積が「正」のとき(S315の「正」)、フィルタ画像生成部23は、新たに選択された連結線候補画素Pa2を新たな起点画素とする新たなフィルタ画像Fi1,Fi2を生成する(S316)。次いで、画素選択部22は、新たなフィルタ画像Fi1,Fi2を用いて、次の連結線候補画素Pa2を選択する(S313)。
一方、内積が「負」のとき(S315の「負」)、輪郭線決定部25は、処理(S310)で選択した全てのエッジ線候補画素Pa1と、処理(S313)で選択した全ての連結線候補画素Pa2と、の集合に基づいて、部分領域r51,r52の輪郭線Lo(すなわち、特定被写体領域R11の輪郭線の一部)を決定する(S316)。具体的には、輪郭線決定部25は、エッジ線候補画素Pa1と連結線候補画素Pa2とを通る曲線を算出し、同曲線を輪郭線Loとして決定する。エッジ線候補画素Pa1と連結線候補画素Pa2と連結線Lcと輪郭線Loとは、記憶部12に記憶される。
次いで、画素選択部22は、画素P11-P41のうち、次の輪郭線Loを決定するための最初の起点画素の対(例えば、画素P21,P41)を特定する(S317)。次いで、本装置1は、処理(S307-S317)を実行して次の輪郭線Loを決定する。
図24は、決定した輪郭線Loの例を示す模式図である。
同図は、説明の便宜上、輪郭線Loを撮像画像i1に重畳させ、非特定被写体領域の一部を切り欠いた状態を示す。同図の太線は輪郭線Loを示し、同図の破線は特定被写体領域R11を示す。同図は、非特定被写体領域R12により覆い隠された特定被写体領域R11の一部の形状が推定され、特定被写体領域R11の輪郭線と連続した輪郭線Loが決定されていること、を示す。
このように、輪郭線決定処理(S300)において、本装置1は、フィルタ画像Fi1,Fi2により部分エッジ線を追跡して複数のエッジ線候補画素Pa1を選択する。次いで、本装置1は、ファジィ推論を実行して、連結線Lcを推定・決定する。次いで、本装置1は、フィルタ画像Fi1,Fi2により連結線Lcを追跡して複数の連結線候補画素Pa2を選択する。次いで、本装置1は、エッジ線候補画素Pa1と連結線候補画素Pa2とに基づいて、輪郭線Loを決定する。
●輪郭線補正処理
図4に戻る。
次に、本装置1は、輪郭線補正処理(S400)を実行する。
図25は、輪郭線補正処理(S400)のフローチャートである。
図26は、輪郭線補正処理(S400)が実行される前の輪郭線Loの例を示す模式図である。図26は、説明の便宜上、1つの部分エッジ線に対応するエッジ線候補画素Pa1と、連結線候補画素Pa2と、輪郭線Loと、を撮像画像i1に重畳させた状態を示す。
「輪郭線補正処理(S400)」は、撮像画像i1の画素値に基づいて、輪郭線決定処理(S300)で決定した輪郭線Lo(エッジ線候補画素Pa1と連結線候補画素Pa2それぞれの位置)の補正をする処理である。
先ず、輪郭線補正部26は、撮像画像i1と、エッジ線候補画素Pa1と、連結線候補画素Pa2と、輪郭線Loと、を記憶部12から読み出す(S401)。このとき、輪郭線補正部26は、エッジ線候補画素Pa1と、連結線候補画素Pa2と、輪郭線Loと、を撮像画像i1に重畳させる。
次いで、輪郭線補正部26は、輪郭線Loを決定する画素のうち、最初に選択したエッジ線候補画素Pa11(最初の起点画素P11の隣のエッジ線候補画素Pa1)を補正対象画素として選択する(S402)。次いで、輪郭線補正部26は、輪郭線Loを決定する画素のうち、補正対象画素の隣に配置されている最初の起点画素P11とエッジ線候補画素Pa12とを隣接画素として選択する(S403)。次いで、輪郭線補正部26は、隣接画素同士を結ぶ線分Lnを引き、その線分Lnの中点において線分Lnに直交する線Lmを引く(S404)。
図27-図31は、輪郭線補正処理(S400)において補正画素が決定される様子を示す模式図である。同図らは、輪郭線Loを決定する画素それぞれの補正画素(Pa11a,Pa12a,Pa13a,Pa14a)が順に決定されている状態を示す。
図25-図27に戻る。
次いで、輪郭線補正部26は、撮像画像i1において線Lm上に配置される各画素の画素値(輝度値)を読み出し、隣接する画素の画素値よりも画素値の変化量の大きい画素(変化量の勾配が大きい画素)を抽出する(S405)。前述のとおり、撮像画像i1において、被写体である血管は、背景よりも暗く撮像される。そのため、画素値の変化量の大きい画素は、血管のエッジに相当する画素であるとみなすことができる。通常、線Lm上には、画素値の変化量の大きい画素は、血管のエッジに合わせて2つ配置される。
次いで、輪郭線補正部26は、画素値の変化量の大きい画素のうち、補正対象画素に近い画素を補正対象画素の補正先の補正画素Pa11aとして決定する(S406)。
次いで、輪郭線補正部26は、隣接画素のうち、最初の起点画素P11から遠い画素(エッジ線候補画素Pa12)を次の補正対象画素として選択する(S407)。次いで、輪郭線補正部26は、補正対象画素の隣に配置されているエッジ線候補画素Pa11,Pa13を次の隣接画素として選択する(S408)。次いで、輪郭線補正部26は、処理(S404-S406)を実行して、次の補正先の補正画素を決定する。
次いで、輪郭線補正部26は、全てのエッジ線候補画素Pa1と連結線候補画素Pa2とに対して、処理(S404-S408)を実行して、補正先の補正画素を決定する(S409)。
次いで、輪郭線補正部26は、エッジ線候補画素Pa1と連結線候補画素Pa2とに代えて、補正画素を輪郭線Loに対応する画素として決定する(S410)。
●実施例●
次に、眼底写真に本方法を適用した実施例について説明する。
図32は、本方法の実施例に用いられる撮像画像i1の例を示す図である。
図33は、図32の撮像画像i1に基づいて生成された強調画像i3の例を示す図である。
図34は、図32の撮像画像i1に基づいて生成されたエッジ画像i2の例を示す図である。
図35は、図33の強調画像i3と図34のエッジ画像i2とに基づいて生成された特定エッジ画像i4の例を示す図である。
図36は、図32の撮像画像i1に輪郭線Loを重畳させた状態の例を示す図である。
図35に示されるとおり、本方法は、撮像画像i1から特定被写体(静脈)の強調されたエッジ線のみを特定エッジ画像として生成できる。また、図36に示されるとおり、本方法は、動脈で覆い隠された部分を含めて、静脈の輪郭線Loを精度よく特定できる。
●まとめ
以上説明した実施の形態によれば、本装置1は、エッジ画像i2と強調画像i3とに基づいて、特定エッジ画像i4を生成する特定エッジ画像生成部16を有してなる。特定エッジ画像i4は、特定エッジ線L21と非特定エッジ線L22のうち、特定エッジ線L21のみが強調された画像である。具体的には、特定エッジ画像i4は、特定エッジ線L21のうち、特定エッジ線L21であることが曖昧な領域が除去され、特定エッジ線L21であることが明確な領域が強調された画像である。このように、本装置1は、撮像画像i1から特定被写体(静脈)のみを強調して抽出できる新たな画像処理技術を提供する。
また、以上説明した実施の形態によれば、本装置1は、特定マップ画像Mi1と非特定マップ画像Mi2とに基づいて、強調画像i3を生成する強調画像生成部15を有してなる。強調画像生成部15は、ランプ関数と平滑化処理という処理負荷の小さい簡易な演算により、強調画像i3を生成する。強調画像i3は、特定被写体領域R11と非特定被写体領域R12のうち、特定被写体領域R11のみが強調領域R31として強調された画像である。この構成によれば、本装置1は、処理負荷の小さい簡易な演算により、特定被写体領域R11のみが強調されて残る強調画像i3を生成する。
さらに、以上説明した実施の形態によれば、本装置1は、強調画像i3の基になる特定マップM1と非特定マップM2とを生成するマップ生成部13を有してなる。マップ生成部13は、RGBの画素値で表される撮像画像i1を、確率値に基づく画素値で表されるマップ画像Miに変換する。この構成によれば、本装置1は、ランプ関数と平滑化処理という演算により、強調画像i3を生成できる。
さらにまた、以上説明した実施の形態によれば、本装置1は、エッジ画像i2に対する強調画像i3を用いたフィルタ処理により、容易に特定エッジ画像i4を生成できる。
さらにまた、以上説明した実施の形態によれば、本装置1は、被マスク画像i5に含まれる2つの部分領域r51,r52を互いに繋がる接続領域として特定する領域特定部19と、を有してなる。この構成によれば、本装置1は、非特定被写体の一部により覆われることで撮像画像i1に分離して配置された部分特定被写体領域r11,r12を、互いに繋がる領域として特定できる。
さらにまた、以上説明した実施の形態によれば、本装置1は、被マスク画像i5に対するマスク画像Msを用いたマスク処理により、マスク画像Msによりマスクされない非マスク領域NMRを決定するマスク処理部18を有してなる。領域特定部19は、非マスク領域NMR内に分離して配置される2つの非マスク部分領域r511,r521を接続領域として特定する。この構成によれば、本装置1は、マスク画像Msを適切に設定するだけで、非マスク領域NMR内に非マスク部分領域r511,r521を確実に配置できる。
さらにまた、以上説明した実施の形態によれば、領域特定部19は、複数の被マスク部分領域のうち、選択領域と、選択領域から最も離れた位置に配置された非マスク部分領域と、を接続領域として特定する。また、領域特定部19は、複数の非マスク部分領域のうち、第1マスク画像Ms1を挟む位置に配置された2つの非マスク部分領域を接続領域として特定する。これらの構成によれば、領域特定部19は、非マスク領域NMRに3以上の非マスク部分領域が存在しても、容易に接続領域を特定できる。
さらにまた、以上説明した実施の形態によれば、本装置1は、分離して配置された部分エッジ線同士を結ぶ連結線Lcを決定する連結線決定部24を有してなる。この構成によれば、交叉部Pxにおいて撮像されていない特定被写体の輪郭線Loの下地となる連結線Lcをファジィ推論により容易に推定できる。
さらにまた、以上説明した実施の形態によれば、本装置1は、フィルタ画像Fiを生成するフィルタ画像生成部23と、フィルタ画像Fiに基づいてエッジ線候補画素Pa1を選択する画素選択部22と、を有してなる。この構成によれば、連結線決定部24は、連続的に選択されるエッジ線候補画素Pa1を用いたファジィ推論を実行して、連結線Lcを決定できる。
さらにまた、以上説明した実施の形態によれば、画素選択部22は、フィルタ範囲内において、新たなエッジ線候補画素Pa1を選択する。この構成によれば、画素選択部22は、フィルタ範囲を適切に設定することにより、部分エッジ線から大きく外れることなく、エッジ線候補画素Pa1を選択できる。すなわち、本装置1は、部分エッジ線から大きく外れることなく、部分エッジ線を追跡できる。
さらにまた、以上説明した実施の形態によれば、画素選択部22は、フィルタ画像Fiに含まれるフィルタ値に基づいて、エッジ線候補画素Pa1を選択する。フィルタ値は、フィルタ範囲の中心線からの相対距離に応じて決定される。この構成によれば、フィルタ範囲において、中心線から離れるほど画素値が小さくなるフィルタ値が設定されることにより、画素選択部22は、部分エッジ線から大きく外れることなく、エッジ線候補画素Pa1を選択できる。すなわち、本装置1は、部分エッジ線から大きく外れることなく、部分エッジ線を追跡できる。
さらにまた、以上説明した実施の形態によれば、第1フィルタ画像Fi1は、第2フィルタ画像Fi2の基準画素(第2基準画素)に基づいて決定される第1フィルタ範囲を有する。第2フィルタ画像Fi2は、第1フィルタ画像Fi1の基準画素(第1基準画素)に基づいて決定される第2フィルタ範囲を有する。具体的には、第1フィルタ範囲の中心線は第2基準画素を向き、第2フィルタ範囲の中心線は第1基準画素を向く。換言すれば、第1フィルタ画像Fi1は常に第2基準画素を向き、第2フィルタ画像Fi2は常に第1基準画素を向く。この構成によれば、画素選択部22は、部分エッジ線から大きく外れることなくエッジ線候補画素Pa1を選択できる。
さらにまた、以上説明した実施の形態によれば、輪郭線決定部25は、エッジ線候補画素Pa1と連結線候補画素Pa2とに基づいて、輪郭線Loの一部を決定する。この構成によれば、本装置1は、交叉して撮像されていない部分を含めて、特定被写体領域R11からのずれの少ない輪郭線Loを決定できる。
さらにまた、以上説明した実施の形態によれば、本装置1は、撮像画像i1に含まれる画素の画素値に基づいて、輪郭線Loの補正をする輪郭線補正部26を有してなる。輪郭線補正部26は、撮像画像に含まれる画素のうち、2つの隣接画素それぞれから等距離の位置に配置された複数の画素の画素値に基づいて、候補画素の補正先の補正画素を決定する。また、輪郭線補正部26は、エッジ線候補画素Pa1と連結線候補画素Pa2とに代えて補正画素を輪郭線に対応する画素とする。この構成によれば、本装置1は、決定した輪郭線Loの位置を容易に補正できる。
なお、以上説明した実施の形態によれば、本装置1は、部分領域特定処理(S200)において、被マスク画像i5として特定マップ画像Mi1の一部の領域を抽出していた。これに代えて、本装置1は、部分領域特定処理において、被マスク画像として強調画像の一部の領域を抽出してもよい。すなわち、例えば、被マスク画像生成部は、撮像画像と強調画像とに基づいて、被マスク画像を生成してもよい。この場合、強調領域は、複数の部分特定被写体領域それぞれに対応する複数の部分強調領域を含む。被マスク画像は、複数の部分強調領域を部分領域として含む。
また、本発明における特定被写体は静脈、本発明における非特定被写体は動脈、に限定されない。すなわち、例えば、本発明における特定被写体は動脈、本発明における非特定被写体は静脈でもよい。
さらに、本方法の部分領域特定処理において、注目領域は、交叉部に限定されない。すなわち、例えば、注目領域は、特定被写体領域のうち、他の被写体に覆い隠されていない領域でもよい。
さらにまた、本方法の輪郭線決定処理は、連続している部分エッジ線上(断線の無い部分エッジ線上)のみで実行されてもよい。
1 画像処理装置
12 記憶部
13 マップ生成部
15 強調画像生成部
16 特定エッジ画像生成部
17 被マスク画像生成部
18 マスク処理部
19 領域特定部
20 範囲エッジ画像抽出部
21 部分エッジ線特定部
22 画素選択部
23 フィルタ画像生成部
24 連結線決定部
25 輪郭線決定部
26 輪郭線補正部
i1 撮像画像
R11 特定被写体領域
R12 非特定被写体領域
r11 部分特定被写体領域
r12 部分特定被写体領域
i2 エッジ画像
L21 特定エッジ線
L22 非特定エッジ線
i3 強調画像
i4 特定エッジ画像
i5 被マスク画像
r51 部分領域
r52 部分領域
r511 非マスク部分領域
r521 非マスク部分領域
i6 範囲エッジ画像
M マップ
M1 特定マップ
M2 非特定マップ
Ms マスク画像
Ms1 第1マスク画像(分離領域マスク画像)
Fi フィルタ画像
Fi1 第1フィルタ画像
Fi2 第2フィルタ画像

Claims (8)

  1. 管体である特定被写体と、前記特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、前記特定被写体のエッジ線を特定する画像処理装置であって、
    前記撮像画像と、
    前記撮像画像内の前記特定被写体の領域に対応する特定被写体領域の特定エッジ線と、前記撮像画像内の前記非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、
    前記特定被写体領域と前記非特定被写体領域のうち、前記特定被写体領域のみが強調領域として強調された強調画像と、
    を記憶する記憶部と、
    前記エッジ画像と前記強調画像とに基づいて、前記特定エッジ線と前記非特定エッジ線のうち、前記特定エッジ線のみが強調された特定エッジ画像を生成する特定エッジ画像生成部と、
    を有してな
    前記特定被写体領域は
    前記撮像画像内に分離して配置される複数の部分特定被写体領域、
    を含み、
    前記画像処理装置は、
    前記撮像画像に基づいて、複数の前記部分特定被写体領域それぞれに対応する複数の部分領域を含む被マスク画像を生成する被マスク画像生成部と、
    前記被マスク画像に対するマスク画像を用いたマスク処理により、前記マスク画像によりマスクされない非マスク領域を決定するマスク処理部と、
    前記非マスク領域に基づいて、複数の前記部分領域のうち、2つの前記部分領域の一部を、互いに繋がる接続領域として特定する領域特定部と、
    前記特定エッジ画像から前記被マスク画像に対応する範囲の範囲エッジ画像を抽出する範囲エッジ画像抽出部と、
    前記範囲エッジ画像において、2つの前記部分領域それぞれに対応する部分エッジ線を特定する部分エッジ線特定部と、
    前記部分エッジ線同士を結ぶ連結線を決定する連結線決定部と、
    前記部分エッジ線に基づいて、前記範囲エッジ画像に重畳されるフィルタ画像を生成するフィルタ画像生成部と、
    前記フィルタ画像に基づいて、前記範囲エッジ画像に含まれる画素のうち、所定の画素を前記部分エッジ線に対応する画素の候補であるエッジ線候補画素として選択する画素選択部と、
    を有してなり、
    前記フィルタ画像は、
    前記範囲エッジ画像に含まれる画素のうち、1の起点画素を起点とする所定のフィルタ範囲、
    を有して、
    前記フィルタ画像生成部は、新たに選択された前記エッジ線候補画素を新たな前記起点画素とする新たな前記フィルタ画像を生成して、
    前記画素選択部は、新たな前記フィルタ画像ごとに新たな前記エッジ線候補画素を選択して、
    前記連結線決定部は、前記エッジ線候補画素の集合に基づいて、前記連結線を決定する、
    ことを特徴とする画像処理装置。
  2. 前記撮像画像の画素ごとに付与される値の集合であるマップに基づいて、前記強調画像を生成する強調画像生成部、
    を有してなり、
    前記画素ごとに付与される値は、前記画素が前記特定被写体と前記非特定被写体とのいずれかである確率に応じた値であり、
    前記マップは、
    前記画素が前記特定被写体である確率に応じた値の集合である特定マップと、
    前記画素が前記非特定被写体である確率に応じた値の集合である非特定マップと、
    を含み、
    前記強調画像生成部は、前記特定マップと前記非特定マップとに基づいて、前記強調画像を生成する、
    請求項1記載の画像処理装置。
  3. 前記撮像画像に基づいて、前記特定マップと前記非特定マップとを生成するマップ生成部、
    を有してなる、
    請求項2記載の画像処理装置。
  4. 前記部分エッジ線と前記連結線とに基づいて、前記特定被写体の輪郭線の一部を決定する輪郭線決定部、
    を有してなる、
    請求項記載の画像処理装置。
  5. 前記撮像画像に含まれる画素の画素値に基づいて、前記輪郭線の補正をする輪郭線補正部、
    を有してなり、
    前記輪郭線補正部は、
    前記輪郭線を決定する画素の中から、補正の候補となる候補画素と、前記候補画素の隣に配置される2つの隣接画素と、を選択し、
    前記撮像画像に含まれる画素のうち、2つの前記隣接画素それぞれから等距離の位置に配置された複数の画素の画素値に基づいて、前記候補画素の補正先の補正画素を決定し、
    前記候補画素に代えて前記補正画素を前記輪郭線に対応する画素とする、
    請求項記載の画像処理装置。
  6. コンピュータを、請求項1記載の画像処理装置として機能させる、
    ことを特徴とする画像処理プログラム。
  7. 管体である特定被写体と、前記特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、前記特定被写体のエッジ線を特定する画像処理装置により実行される画像処理方法であって、
    前記画像処理装置は、
    前記撮像画像と、
    前記撮像画像内の前記特定被写体の領域に対応する特定被写体領域の特定エッジ線と、前記撮像画像内の前記非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、
    前記特定被写体領域と前記非特定被写体領域のうち、前記特定被写体領域のみが強調領域として強調された強調画像と、
    を記憶する記憶部、
    を備え、
    前記特定被写体領域は、
    前記撮像画像内に分離して配置される複数の部分特定被写体領域、
    を含み、
    前記画像処理方法は、
    前記エッジ画像と前記強調画像とに基づいて、前記特定エッジ線と前記非特定エッジ線のうち、前記特定エッジ線のみが強調された特定エッジ画像を生成する、特定エッジ画像生成処理
    前記撮像画像に基づいて、複数の前記部分特定被写体領域それぞれに対応する複数の部分領域を含む被マスク画像を生成する被マスク画像生成処理と、
    前記被マスク画像に対するマスク画像を用いたマスク処理により、前記マスク画像によりマスクされない非マスク領域を決定する非マスク領域決定処理と、
    前記非マスク領域に基づいて、複数の前記部分領域のうち、2つの前記部分領域の一部を、互いに繋がる接続領域として特定する領域特定処理と、
    前記特定エッジ画像から前記被マスク画像に対応する範囲の範囲エッジ画像を抽出する範囲エッジ画像抽出処理と、
    前記範囲エッジ画像において、2つの前記部分領域それぞれに対応する部分エッジ線を特定する部分エッジ線特定処理と、
    前記部分エッジ線同士を結ぶ連結線を決定する連結線決定処理と、
    前記部分エッジ線に基づいて、前記範囲エッジ画像に重畳されるフィルタ画像を生成するフィルタ画像生成処理と、
    前記フィルタ画像に基づいて、前記範囲エッジ画像に含まれる画素のうち、所定の画素を前記部分エッジ線に対応する画素の候補であるエッジ線候補画素として選択する画素選択処理と、
    を有してなり、
    前記フィルタ画像は、
    前記範囲エッジ画像に含まれる画素のうち、1の起点画素を起点とする所定のフィルタ範囲、
    を有して、
    前記フィルタ画像生成処理は、新たに選択された前記エッジ線候補画素を新たな前記起点画素とする新たな前記フィルタ画像を生成して、
    前記画素選択処理は、新たな前記フィルタ画像ごとに新たな前記エッジ線候補画素を選択して、
    前記連結線決定処理は、前記エッジ線候補画素の集合に基づいて、前記連結線を決定する、
    ことを特徴とする画像処理方法。
  8. 管体である特定被写体と、前記特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、前記特定被写体のエッジ線を特定する画像処理装置であって、
    前記撮像画像と、
    前記撮像画像内の前記特定被写体の領域に対応する特定被写体領域の特定エッジ線と、前記撮像画像内の前記非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、
    前記特定被写体領域と前記非特定被写体領域のうち、前記特定被写体領域のみが強調領域として強調された強調画像と、
    を記憶する記憶部と、
    前記エッジ画像と前記強調画像とに基づいて、前記特定エッジ線と前記非特定エッジ線のうち、前記特定エッジ線のみが強調された特定エッジ画像を生成する特定エッジ画像生成部と、
    を有してなり、
    前記特定被写体領域は
    前記撮像画像内に分離して配置される複数の部分特定被写体領域、
    を含み、
    前記画像処理装置は、
    前記撮像画像に基づいて、複数の前記部分特定被写体領域それぞれに対応する複数の部分領域を含む被マスク画像を生成する被マスク画像生成部と、
    前記被マスク画像に対するマスク画像を用いたマスク処理により、前記マスク画像によりマスクされない非マスク領域を決定するマスク処理部と、
    前記非マスク領域に基づいて、複数の前記部分領域のうち、2つの前記部分領域の一部を、互いに繋がる接続領域として特定する領域特定部と、
    前記特定エッジ画像から前記被マスク画像に対応する範囲の範囲エッジ画像を抽出する範囲エッジ画像抽出部と、
    前記範囲エッジ画像において、2つの前記部分領域それぞれに対応する部分エッジ線を特定する部分エッジ線特定部と、
    前記部分エッジ線同士を結ぶ連結線を決定する連結線決定部と、
    前記部分エッジ線と前記連結線とに基づいて、前記特定被写体の輪郭線の一部を決定する輪郭線決定部と、
    前記撮像画像に含まれる画素の画素値に基づいて、前記輪郭線の補正をする輪郭線補正部と、
    を有してなり、
    前記輪郭線補正部は、
    前記輪郭線を決定する画素の中から、補正の候補となる候補画素と、前記候補画素の隣に配置される2つの隣接画素と、を選択して、
    前記撮像画像に含まれる画素のうち、2つの前記隣接画素それぞれから等距離の位置に配置された複数の画素の画素値に基づいて、前記候補画素の補正先の補正画素を決定して、
    前記候補画素に代えて前記補正画素を前記輪郭線に対応する画素とする、
    ことを特徴とする画像処理装置。
JP2020026450A 2020-02-19 2020-02-19 画像処理装置、画像処理プログラム、画像処理方法 Active JP7471629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020026450A JP7471629B2 (ja) 2020-02-19 2020-02-19 画像処理装置、画像処理プログラム、画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020026450A JP7471629B2 (ja) 2020-02-19 2020-02-19 画像処理装置、画像処理プログラム、画像処理方法

Publications (3)

Publication Number Publication Date
JP2021131703A JP2021131703A (ja) 2021-09-09
JP2021131703A5 JP2021131703A5 (ja) 2023-01-25
JP7471629B2 true JP7471629B2 (ja) 2024-04-22

Family

ID=77551011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020026450A Active JP7471629B2 (ja) 2020-02-19 2020-02-19 画像処理装置、画像処理プログラム、画像処理方法

Country Status (1)

Country Link
JP (1) JP7471629B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079682A (ja) 2006-09-26 2008-04-10 Gifu Univ 画像解析装置及び画像解析プログラム
JP2010061478A (ja) 2008-09-04 2010-03-18 Sony Computer Entertainment Inc 画像処理装置、対象物追跡装置および画像処理方法
JP2018171177A (ja) 2017-03-31 2018-11-08 大日本印刷株式会社 眼底画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079682A (ja) 2006-09-26 2008-04-10 Gifu Univ 画像解析装置及び画像解析プログラム
JP2010061478A (ja) 2008-09-04 2010-03-18 Sony Computer Entertainment Inc 画像処理装置、対象物追跡装置および画像処理方法
JP2018171177A (ja) 2017-03-31 2018-11-08 大日本印刷株式会社 眼底画像処理装置

Also Published As

Publication number Publication date
JP2021131703A (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
Nagasato et al. Deep neural network-based method for detecting central retinal vein occlusion using ultrawide-field fundus ophthalmoscopy
Suzani et al. Fast automatic vertebrae detection and localization in pathological ct scans-a deep learning approach
Song et al. Automated wound identification system based on image segmentation and artificial neural networks
US20110144480A1 (en) Stent marker detection using a learning based classifier in medical imaging
US20220284584A1 (en) Computerised tomography image processing
Goyal et al. A refined deep learning architecture for diabetic foot ulcers detection
CN112308846B (zh) 血管分割方法、装置及电子设备
JP2006325937A (ja) 画像判定装置、画像判定方法およびそのプログラム
JP2006006359A (ja) 画像生成装置、画像生成装置方法、およびそのプログラム
CN113436070B (zh) 一种基于深度神经网络的眼底图像拼接方法
CN109671066A (zh) 一种基于头颅ct影像的脑梗死判断的方法及系统
JP2018114031A (ja) 眼底画像処理装置
CN113012093B (zh) 青光眼图像特征提取的训练方法及训练系统
JP7471629B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
Zhao et al. Automated analysis of femoral artery calcification using machine learning techniques
JP2011161104A (ja) 画像生成装置、画像生成方法、及びそのプログラム
Bhattacharyya et al. Hybrid machine intelligence for medical image analysis
Hemmati et al. Segmentation of carotid arteries in computed tomography angiography images using fast marching and graph cut methods
Oloumi et al. Digital image processing for ophthalmology: Detection and modeling of retinal vascular architecture
Xiao et al. Adaptive ridge point refinement for seeds detection in x-ray coronary angiogram
JP2018102586A (ja) 眼底画像処理装置
Chaichana et al. Automatic location of blood vessel bifurcations in digital eye fundus images
CN112766332A (zh) 医学影像检测模型训练方法、医学影像检测方法及装置
Sharmila et al. Detection and classification of GI-tract anomalies from endoscopic images using deep learning
CN111310669B (zh) 胎儿头围实时测量方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403