JP7203952B2 - 関節画像展開装置、方法およびプログラム - Google Patents
関節画像展開装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7203952B2 JP7203952B2 JP2021508950A JP2021508950A JP7203952B2 JP 7203952 B2 JP7203952 B2 JP 7203952B2 JP 2021508950 A JP2021508950 A JP 2021508950A JP 2021508950 A JP2021508950 A JP 2021508950A JP 7203952 B2 JP7203952 B2 JP 7203952B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- joint
- cartilage
- region
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011161 development Methods 0.000 title claims description 87
- 238000000034 method Methods 0.000 title claims description 43
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 210000000845 cartilage Anatomy 0.000 claims description 195
- 238000011002 quantification Methods 0.000 claims description 45
- 238000013507 mapping Methods 0.000 claims description 34
- 210000000629 knee joint Anatomy 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 5
- 210000002310 elbow joint Anatomy 0.000 claims description 3
- 210000004394 hip joint Anatomy 0.000 claims description 3
- 210000000323 shoulder joint Anatomy 0.000 claims description 3
- 210000002517 zygapophyseal joint Anatomy 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 description 68
- 210000000689 upper leg Anatomy 0.000 description 43
- 238000010586 diagram Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 20
- 238000002595 magnetic resonance imaging Methods 0.000 description 13
- 210000000988 bone and bone Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 210000002303 tibia Anatomy 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 4
- 210000005065 subchondral bone plate Anatomy 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 201000008482 osteoarthritis Diseases 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000022159 cartilage development Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000005499 meniscus Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 208000003947 Knee Osteoarthritis Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004417 patella Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4514—Cartilage
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4585—Evaluating the knee
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/08—Gnomonic or central projection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/021—Flattening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Physical Education & Sports Medicine (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- High Energy & Nuclear Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本開示は、関節を含む３次元画像から関節における軟骨の展開画像を生成する関節画像展開装置、方法およびプログラムに関するものである。
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。ここで、３次元画像は多数の２次元画像から構成され情報量が多いため、医師が所望の観察部位を見つけ診断することに時間を要する場合がある。そこで、注目する臓器を認識し、注目する臓器を含む３次元画像から、例えば最大値投影法（ＭＩＰ（Maximum Intensity Projection）法）および最小値投影法（ＭｉｎＩＰ（Minimum Intensity Projection）法）等の方法を用いて、注目する臓器を抽出してＭＩＰ表示等を行ったり、３次元画像のボリュームレンダリング（ＶＲ（Volume Rendering））表示を行ったりすることにより、臓器全体や病変の視認性を高め、診断の効率化を図ることが行われている。
一方、変形性関節症は、高齢者に多く発症する疾病であり、とくに変形性膝関節症は、膝関節の痛みおよび動作範囲の減少を引き起こし、症状が進行すると歩けなくなることもある。このような変形性関節症の診断には、膝関節の軟骨を質的に評価する必要がある。このため、３次元画像を用いて関節の軟骨を定量化する手法が種々提案されている。例えば、特許文献１においては、ＭＲＩ画像から抽出された軟骨領域の投影方向を決定し、決定した投影方向に軟骨領域を投影して投影画像を生成し、投影画像上において軟骨領域の定量値を導出する手法が提案されている。特許文献１に記載された手法を用いることにより、軟骨領域を定量化するための領域を適切に定めることができるため、軟骨について安定した診断結果を得ることができる。とくに、軟骨の厚さを定量値とすることにより、軟骨の厚さの評価を行うことが可能となる。
また、膝関節の軟骨を質的に評価するための画像として、ＭＲＩ画像の機能画像が公知である。機能画像の１つであるＴ２マップ画像は、組織における水との相関性を信号値として表した画像である。このような機能画像を参照することにより、関節の軟骨の質的な評価を行うことが可能となる。
また、このような機能画像を機能画像ではないＭＲＩ画像に重畳して表示することにより、軟骨の質的変化を視覚的に診断可能とする手法が提案されている。例えば、特許文献２においては、ＭＲＩ画像から軟骨領域を抽出し、機能画像ではないＭＲＩ画像と機能画像とを位置合わせし、軟骨領域の厚さ方向における中間位置と位置合わせ結果とに基づいて、機能画像をＭＲＩ画像にマッピングしたマッピング画像を生成する手法が提案されている。なお、特許文献２に記載された手法において、マッピング画像を投影した投影画像を表示して、軟骨の評価が行われることとなる。
しかしながら、関節は曲面を含むため、特許文献１に記載された手法においては投影画像を用いているため、関節における曲面の接線方向と投影方向とが一致するような部分においては、軟骨領域の定量化の誤差が大きくなる。例えば、図２３に示すように、関節９０の曲面上のある位置における接線方向に軟骨９１が存在している部分と軟骨９１が欠損している部分９３とが並んで存在しているとする。この場合において、関節９０の３次元画像を、上記接線方向に平行な投影方向９２に投影すると、投影画像におけるその投影位置においては、軟骨９１が存在している部分と欠損している部分９３とが重なることから、軟骨が存在するように定量化がなされる。このような場合、投影画像において軟骨９１が欠損している部分９３の情報を反映させることができず、その結果、軟骨の定量化を精度よく行うことが困難となる。また、特許文献２に記載された手法において、マッピング画像は投影画像として表示される。このため、関節における軟骨の全体像を観察するためには、マッピング画像を回転等する操作が必要となる。
本開示は上記事情に鑑みなされたものであり、関節における軟骨全体の情報を精度よく確認できるようにすることを目的とする。
本開示による関節画像展開装置は、軟骨を有する関節の３次元画像を取得する画像取得部と、
関節における特定の基準軸を基準として、３次元画像に含まれる軟骨を展開して展開画像を生成する展開部とを備える。
関節における特定の基準軸を基準として、３次元画像に含まれる軟骨を展開して展開画像を生成する展開部とを備える。
なお、本開示による関節画像展開装置においては、展開画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による関節画像展開装置においては、関節の解剖学的特徴に基づいて決定される、関節の両側面のそれぞれに中心位置を設定し、それぞれの中心位置を結ぶ軸を基準軸に設定する基準軸設定部をさらに備えるものであってもよい。
また、本開示による関節画像展開装置においては、展開部は、基準軸の中心位置、および基準軸の中心位置を挟んで関節面とは反対側に設定された基準点を通る解剖軸を設定し、基準軸および解剖軸を通る平面を基準として、展開画像を生成するものであってもよい。
また、本開示による関節画像展開装置においては、展開画像上において、軟骨の定量値を導出する定量化部をさらに備えるものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、展開画像上の関心領域において、定量値を導出するものであってもよい。
また、本開示による関節画像展開装置においては、展開部は、関節における軟骨が存在すべき領域を規定する輪郭に基づいて関心領域を設定するものであってもよい。
「軟骨が存在すべき領域を規定する輪郭」とは、関節において実際に軟骨が存在する領域ではなく、関節において解剖学的に軟骨が存在すべき領域を規定する輪郭を意味する。
例えば、大腿骨においては、関節において軟骨が存在すべき領域の輪郭が、関節面に凸状部分として含まれる。このため、大腿骨においては、この凸状部分を「軟骨が存在すべき領域を規定する輪郭」とすることができる。
例えば、大腿骨においては、関節において軟骨が存在すべき領域の輪郭が、関節面に凸状部分として含まれる。このため、大腿骨においては、この凸状部分を「軟骨が存在すべき領域を規定する輪郭」とすることができる。
また、本開示による関節画像展開装置においては、定量化部は、関心領域内における軟骨の被覆率を、定量値として導出するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、関心領域における軟骨の欠損面積を、定量値として導出するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、関心領域内の各位置における軟骨の厚さの代表値を、定量値として導出するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、関心領域内の各位置における軟骨の厚さを、定量値として導出するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、関心領域における軟骨の厚さマップを生成するものであってもよい。
また、本開示による関節画像展開装置においては、厚さマップを表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、関心領域における軟骨の厚さが、あらかじめ定められたしきい値以上となる領域においてのみ、定量値を導出するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、展開画像上の関心領域を分割し、分割により得られる各領域において、定量値を導出するものであってもよい。
また、本開示による関節画像展開装置においては、３次元画像を取得した被検体と同一の被検体についての撮影時期が異なる他の３次元画像から導出した他の定量値の導出結果が存在する場合、定量化部は、他の定量値を導出した際と同一位置に関心領域を設定するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、展開画像上の軟骨の面積を定量値として導出するものであってもよい。
また、本開示による関節画像展開装置においては、定量化部は、展開画像上の軟骨の体積を定量値として導出するものであってもよい。
また、本開示による関節画像展開装置においては、３次元画像を取得した被検体と同一の被検体についての撮影時期が異なる他の３次元画像から生成した他の展開画像が存在する場合、展開部は、他の展開画像を生成した場合と同一の基準軸を基準として展開画像を生成するものであってもよい。
また、本開示による関節画像展開装置においては、関節についての機能画像を展開画像にマッピングしたマッピング画像を生成するマッピング部をさらに備えるものであってもよい。
「機能画像」とは、被検体の関節において、水およびコラーゲン等の含有される物質の量または相関性等に応じた信号値を有する画像である。具体的には、ＭＲＩにより取得されるＴ１マップ、Ｔ２マップ、Ｔ２＊マップ、Ｔ１ρマップ、およびＣＥＳＴ(Chemical Exchange Saturation Transfer)等を機能画像として用いることができる。
また、本開示による関節画像展開装置においては、マッピング画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による関節画像展開装置においては、関節は、膝関節、肘関節、股関節、肩関節または椎間関節であってもよい。
本開示による関節画像展開方法は、軟骨を有する関節の３次元画像を取得し、
関節における特定の基準軸を基準として、３次元画像に含まれる軟骨を展開して展開画像を生成する。
関節における特定の基準軸を基準として、３次元画像に含まれる軟骨を展開して展開画像を生成する。
なお、本開示による関節画像展開方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の関節画像展開装置は、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
軟骨を有する関節の３次元画像を取得し、
関節における特定の基準軸を基準として、３次元画像に含まれる軟骨を展開して展開画像を生成する処理を実行する。
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
軟骨を有する関節の３次元画像を取得し、
関節における特定の基準軸を基準として、３次元画像に含まれる軟骨を展開して展開画像を生成する処理を実行する。
本開示によれば、関節表面上の軟骨の情報を精度よく確認することができる。また、展開画像を見れば、展開画像を回転させることなく、関節の全表面における軟骨の状況を容易に確認することができる。
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による関節画像展開装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による関節画像展開装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は膝関節であり、３次元画像撮影装置２はＭＲＩ装置であり、３次元画像撮影装置２において、被検体の膝関節のＭＲＩ画像が３次元画像として生成されるものとする。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像等の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
関節画像展開装置１は、１台のコンピュータに、本開示の関節画像展開プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。関節画像展開プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに関節画像展開プログラムをインストールすることにより実現される、本開示の第１の実施形態による関節画像展開装置の概略構成を示す図である。図２に示すように、関節画像展開装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、関節画像展開装置１には、表示部１４並びにマウスおよびキーボード等の入力部１５が接続されている。
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の３次元画像、および処理に必要な情報を含む各種情報が記憶されている。なお、本実施形態においては、被検体についての膝関節を診断対象部位とする３次元画像Ｇ０がストレージ１３に記憶されているものとする。
また、メモリ１２には、関節画像展開プログラムが記憶されている。この場合、メモリ１２は不揮発性のメモリにより構成される。関節画像展開プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像Ｇ０を取得する画像取得処理、後述する展開画像を生成する際の基準となる基準軸を設定する基準軸設定処理、基準軸を基準として、３次元画像Ｇ０に含まれる関節の軟骨を展開して展開画像を生成する展開処理、展開画像上において、軟骨の定量値を導出する定量化処理、定量化により導出された後述する厚さマップを表示部１４に表示する表示制御処理を規定する。また、関節画像展開プログラムはストレージ１３に記憶され、ＣＰＵによりメモリ１２上に一時的に展開され実行されてもよい。この場合、メモリ１２は不揮発性のメモリで構成される。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、基準軸設定部２２、展開部２３、定量化部２４および表示制御部２５として機能する。
画像取得部２１は、被検体の膝関節の３次元画像Ｇ０を画像保管サーバ３から取得する。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。図３は膝関節の３次元画像Ｇ０を示す図である。図３に示すように、３次元画像Ｇ０には、大腿骨３０および脛骨３１が含まれている。なお、図３においては、説明のために膝蓋骨は省略している。大腿骨３０の脛骨３１と面する部分には軟骨３２が、脛骨３１の大腿骨３０と面する部分には軟骨３３が存在する。また、軟骨３２と軟骨３３との間には半月板３４が存在する。本実施形態においては、３次元画像Ｇ０はＭＲＩ画像であり、骨、軟骨、半月板、並びにこれら以外の筋肉および脂肪等領域のそれぞれにおいて、３次元画像Ｇ０における信号値（ボクセル値）の範囲が異なるものとなる。画像取得部２１は、信号値に対するしきい値処理により３次元画像Ｇ０から骨領域および軟骨領域を抽出する。具体的には、３次元画像Ｇ０において、骨の信号値となる範囲の領域を骨領域として抽出する。また、３次元画像Ｇ０において、軟骨の信号値となる範囲の領域を軟骨領域として抽出する。骨領域には大腿骨３０および脛骨３１が含まれ、軟骨領域には軟骨３２，３３が含まれる。なお、本実施形態においては、画像取得部２１が３次元画像Ｇ０から骨領域および軟骨領域を抽出しているが、これに限定されるものではない。３次元画像Ｇ０から骨領域および軟骨領域を抽出する手段を別途設けるようにしてもよい。なお、本実施形態においては、大腿骨３０の軟骨３２を軟骨領域として抽出するものとする。また、３次元画像Ｇ０からの骨領域および軟骨領域の抽出はしきい値処理に限定されるものではない。例えば、３次元画像Ｇ０から骨領域および軟骨領域を抽出するように、ディープラーニング等により機械学習がなされた判別器を用いてもよい。
基準軸設定部２２は、大腿骨３０の関節の解剖学的特徴に基づいて決定される、関節の両側面のそれぞれに中心位置を設定し、それぞれの中心位置を結ぶ軸を基準軸に設定する。なお、側面とは、関節を人体の正面から見た際の側面を意味する。以下、基準軸の設定について説明する。基準軸設定部２２は、まず３次元画像Ｇ０から抽出された大腿骨３０を、関節を含むあらかじめ定められた長さに切断する。切断する長さは例えば１０ｃｍ程度とすればよいが、これに限定されるものではない。そして、切断した大腿骨３０Ａについて、内側顆および外側顆を下側にして平面上に載置した際に、その平面に接触する大腿骨３０Ａ上の３点を求める。
図４は切断した大腿骨３０Ａを平面に載置した状態を示す図である。図４に示すように、内側顆３５および外側顆３６を下側にして、大腿骨３０Ａを平面４０上に載置すると、内側顆３５、外側顆３６および切断面３７の周囲のそれぞれにおける３つの点Ｐ１～Ｐ３が平面４０に接触する。
次いで、基準軸設定部２２は、図５に示すように、３点Ｐ１～Ｐ３を通る平面４０上における大腿骨３０Ａの関節側に、平面４０に直交し、かつ大腿骨３０Ａと少なくとも２点において接触する平面４１を設定する。図５に示すように、平面４１は平面４０に垂直であり、かつ大腿骨３０Ａの内側顆３５および外側顆３６のそれぞれにおける点Ｐ４，Ｐ５と接触している。
基準軸設定部２２は、図６に示すように平面４１を平面４１に直交する矢印Ａ方向に移動させる。そして、図６に示すように、平面４１に平行な方向から大腿骨３０Ａを見たときに、平面４１が大腿骨３０Ａと最も長く交わる平面４１の位置Ｐ６を求める。なお、図６に示す大腿骨３０Ａを見る視線方向を第１の方向、第１の方向とは反対側から大腿骨３０Ａを見る視線方向を第２の方向と称する。
基準軸設定部２２は、平面４１が位置Ｐ６にあるときに、図７に示すように、大腿骨３０Ａを第１の方向から見た場合に大腿骨３０Ａと交わる範囲にある線分を、後述する楕円フィッティングを行う際の長軸４２に設定する。また、長軸４２の中心位置を通り、長軸４２に対してあらかじめ定められた長さ（例えば長軸４２の０．８倍）の短軸４３を設定する。
そして、基準軸設定部２２は、図８に示すように、設定した長軸４２および短軸４３を初期値とする楕円を用いて、第１の方向から見た大腿骨３０Ａに対して楕円フィッティングを行う。また、基準軸設定部２２は、フィッティングされた楕円４４の中心位置Ｐ７を求める。次いで、基準軸設定部２２は、図９に示すように第１の方向とは反対側の第２の方向から見た場合における大腿骨３０Ａに対して楕円フィッティングを行い、フィッティングされた楕円４５の中心位置Ｐ８を求める。そして、基準軸設定部２２は、中心位置Ｐ７，Ｐ８を通る直線を基準軸４６に設定する。
展開部２３は、基準軸設定部２２が設定した基準軸４６を基準として、３次元画像Ｇ０に含まれる軟骨を展開して展開画像を生成する。このために、展開部２３は、まず、図１０に示すように、基準軸４６の中心位置Ｐ９を求める。中心位置Ｐ９は、基準軸４６上における点Ｐ７と点Ｐ８との中点の位置である。また、展開部２３は、大腿骨３０に沿って基準軸４６から関節面とは反対側にあらかじめ定められた距離離れた位置において、大腿骨３０に直交する断面の中心位置Ｐ１０を基準点として求める。そして、展開部２３は、中心位置Ｐ９，Ｐ１０を通る直線を解剖軸４７に設定する。展開部２３は、さらに基準軸４６および解剖軸４７を通る平面４８を設定する。図１１は、解剖軸４７を設定した大腿骨３０を第１の方向から見た図である。図１１において、解剖軸４７と平面４８とは一致する。
図１２は、解剖軸４７を設定した大腿骨３０を第１および第２の方向に直交する方向（例えば、人体の正面）から見た図である。そして、展開部２３は、平面４８において基準軸４６と直交する方向（図１２における矢印Ｂ方向）を、展開画像を生成する際の基準位置に設定する。ここで、基準位置とは、基準軸４６の周りに軟骨を展開する際の基準位置であり、基準位置となる基準軸４６の周りの角度を０度に設定する。
展開部２３は、基準位置を０度として、大腿骨３０における軟骨３２を、基準軸４６を基準として、すなわち基準軸４６の周りに展開して展開画像を生成する。図１３および図１４は軟骨３２の展開を説明するための図である。図１３および図１４に示すように、基準軸４６上の局所的な位置毎に、基準軸４６を中心として、大腿骨３０における軟骨３２を平面に展開して２次元の展開画像５０を生成する。展開画像５０は軟骨領域５１を含む。図１３においては、展開画像５０に基準軸４６の周囲の角度を示している。なお、上述したように、０度は基準軸４６の周りにおける基準位置における角度である。また、図１４においては、説明のために基準軸４６上の局所的な位置毎に下方に矢印を付与して示しているが、実際には基準軸４６上における１画素間隔で、基準軸４６を中心として軟骨３２が展開されることとなる。
さらに展開部２３は、展開画像５０上に関心領域を設定する。本実施形態においては、関節における軟骨下骨領域に対応する領域を関心領域５２として設定する。軟骨下骨領域とは、大腿骨３０の関節において、脛骨３１の関節と擦り合う領域である。展開画像５０における軟骨領域５１の周辺部は、脛骨３１の関節とは擦り合わない。このため、展開部２３は、展開画像５０の軟骨領域５１の縁部からあらかじめ定められた範囲にある領域を除外した領域を、軟骨下骨領域として抽出し、抽出した軟骨下骨領域を関心領域５２に設定する。また、展開部２３は、展開画像５０を角度範囲に分割する。例えば、展開画像５０を、－１５０度以上－１２０度未満の角度範囲の領域５０Ａ、－１２０度以上－９０度未満の角度範囲の領域５０Ｂ、－９０度以上－６０度未満の角度範囲の領域５０Ｃ、－６０度以上－３０度未満の角度範囲の領域５０Ｄ、－３０度以上度未満の角度範囲の領域５０Ｅ、０度以上３０度未満の角度範囲の領域５０Ｆ、３０度以上６０度未満の角度範囲の領域５０Ｇ、６０度以上９０度未満の角度範囲の領域５０Ｈ、９０度以上１２０度未満の角度範囲の領域５０Ｉ、および１２０度以上１５０度未満の角度範囲の領域５０Ｊの１０の領域に分割する。なお、関心領域５２は、展開部２３ではなく、後述する定量化部２４が設定してもよい。
一方、大腿骨３０においては、図１５に示すように、関節において軟骨が存在すべき領域を規定する輪郭が、関節面に凸状部分６０として含まれる。なお、図１５においては凸状部分６０を破線で示している。この凸状部分６０は、関節において軟骨が存在すべき範囲の輪郭を規定するものとなる。このため、関節面における凸状部分６０により囲まれる領域を軟骨領域５１と見なして、関心領域５２を設定してもよい。
定量化部２４は、展開画像５０上における軟骨領域５１の定量値を導出する。具体的には、展開画像５０上の関心領域５２において定量値を導出する。定量値の導出は、展開画像５０における１０個の領域５０Ａ～５０Ｊ毎に行う。なお、関心領域５２の全領域についての定量値を導出してもよい。
まず、定量化部２４は、領域５０Ａ～５０Ｊ毎に、関心領域５２の面積、および関心領域５２における軟骨領域５１の面積を導出する。なお、展開画像５０においては、１画素当たりの面積が分かる。このため、定量化部２４は、各領域５０Ａ～５０Ｊにおける関心領域５２および軟骨領域５１の画素数をカウントし、１画素当たりの面積をカウントした画素数に乗算することにより、軟骨領域５１および関心領域５２の面積を導出する。軟骨領域５１の面積は定量値の１つである。
また、定量化部２４は、各領域５０Ａ～５０Ｊにおける軟骨領域５１の厚さを定量値として導出する。ここで、展開画像５０の各画素位置と、３次元画像Ｇ０における大腿骨３０における軟骨３２の位置とは対応づけることができる。定量化部２４は、展開画像５０の関心領域５２における各画素位置を、３次元画像Ｇ０における大腿骨３０における軟骨３２の各画素位置と対応づける。そして、軟骨３２の画素位置における法線方向において、軟骨３２の表面と大腿骨３０の骨部の表面との間の画素数を導出する。そして、導出した画素数に１画素当たりの長さを乗算することにより、軟骨領域５１の厚さを導出する。
また、定量化部２４は、各領域５０Ａ～５０Ｊにおける軟骨領域５１の体積を定量値として導出する。軟骨領域５１の体積は、各領域５０Ａ～５０Ｊにおける軟骨領域５１の面積に厚さを乗算することにより導出することができる。
また、定量化部２４は、各領域５０Ａ～５０Ｊにおける軟骨領域５１の面積および厚さから、他の定量値を導出する。具体的には、関心領域５２内における軟骨領域５１の被覆率、関心領域５２における軟骨領域５１の欠損面積、および関心領域５２内の各位置における軟骨領域５１の厚さの代表値を定量値として導出する。
関心領域５２内における軟骨領域５１の被覆率としては、関心領域５２内の領域５０Ａ～５０Ｊ毎に、（関心領域５２内における軟骨領域５１の面積）／（関心領域５２の面積）を導出する。
関心領域５２における軟骨領域５１の欠損面積としては、定量化部２４は、領域５０Ａ～５０Ｊ毎に軟骨領域５１が存在しない領域の面積を導出する。例えば、図１３に示す領域５３は軟骨が存在しない領域であるため、領域５０Ｆ，５０Ｇにおける軟骨が存在しない領域５３の面積が軟骨領域５１の欠損面積となる。
関心領域５２内の各位置における軟骨領域５１の厚さの代表値としては、定量化部２４は、関心領域５２内の各領域５０Ａ～５０Ｊのそれぞれにおける軟骨領域５１の厚さの平均値、中間値、最小値または最大値等を導出する。
また、定量化部２４は、関心領域５２内の各位置における軟骨領域５１の厚さから、厚さマップを生成する。図１６は厚さマップを示す図である。図１６に示すように厚さマップＭ０は、関心領域５２における軟骨領域５１の厚さの分布が６段階の色により示されている。厚さマップＭ０においては、色が濃いほど軟骨領域５１が薄いことを示している。なお、図１６においては色の相違をハッチングの相違により示している。また、マップＭ０には、色と厚さとの関係を示すレファレンス６１が含まれる。レファレンス６１を参照することにより、厚さマップＭ０において、関心領域５２における軟骨領域５１の厚さの分布を視覚的に容易に認識することができる。
なお、定量化部２４は、展開画像５０において、軟骨領域５１の厚さがしきい値以上となる画素位置のみを用いて定量値を導出してもよい。例えば、展開画像５０において、軟骨領域５１の厚さが０．５ｍｍ以上となる画素位置のみを用いて定量値を導出してもよい。この場合、軟骨の厚さが０．５ｍｍ未満となる画素位置については、定量値の導出から除外する。これにより、厚さが薄く、軟骨として機能していない領域を定量値の導出から外すことができる。なお、欠損面積を定量値とした場合、軟骨の厚さが０．５ｍｍ未満となる画素位置を、軟骨が欠損している画素位置として欠損面積を導出すればよい。
なお、導出された定量値は、患者名、撮影日時、関心領域５２の位置、および展開画像５０等の情報と併せて、３次元画像Ｇ０と対応づけられて画像保管サーバ３に送信され、保存される。
表示制御部２５は、厚さマップＭ０を表示部１４に表示する。
次いで、第１の実施形態において行われる処理について説明する。図１７は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０を取得し（ステップＳＴ１）、３次元画像Ｇ０から骨領域および軟骨領域を抽出する（ステップＳＴ２）。次いで、基準軸設定部２２が、大腿骨３０の関節の解剖学的特徴に基づいて決定される、関節の両側面のそれぞれに中心位置を設定し、それぞれの中心位置を結ぶ軸を基準軸４６に設定する（ステップＳＴ３）。
次いで、展開部２３が、基準軸設定部２２が設定した基準軸４６を基準として、３次元画像Ｇ０に含まれる軟骨３２を展開して展開画像５０を生成する（ステップＳＴ４）。そして、定量化部２４が、展開画像５０上において、軟骨領域５１の定量値を導出し（ステップＳＴ５）、導出された定量値から厚さマップＭ０を生成する（ステップＳＴ６）。さらに、表示制御部２５が厚さマップＭ０を表示部１４に表示し（ステップＳＴ７）、処理を終了する。
このように、本実施形態においては、関節における特定の基準軸４６を基準として、３次元画像Ｇ０に含まれる軟骨３２を展開して展開画像５０を生成するようにした。このため、展開画像５０上においては、関節の部分領域が重なることがなくなるため、関節表面上の軟骨の情報を精度よく確認することができる。また、軟骨の投影画像を用いた場合、関節における軟骨の全領域を確認するためには、投影画像を回転等するための操作を行う必要がある。本実施形態において生成される展開画像５０を見れば、回転等の操作を行うことなく、関節の全表面における軟骨の状況を容易に確認することができる。
次いで、本開示の第２の実施形態について説明する。図１８は本開示の第２の実施形態による関節画像展開装置の概略構成を示す図である。なお、図１８において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１８に示すように第２の実施形態による関節画像展開装置１Ａは、関節についての機能画像を展開画像にマッピングしたマッピング画像を生成するマッピング部２６をさらに備えた点が第１の実施形態と異なる。なお、図１８においては、定量化部２４を備えるものとしているが、第２の実施形態による関節画像展開装置１Ａは、定量化部２４を備えないものであってよい。
なお、第２の実施形態においては、画像取得部２１は３次元画像Ｇ０に加えて、膝関節の機能画像Ｆ０を取得する。第２の実施形態においては、機能画像Ｆ０としてＴ２マップ画像を用いる。Ｔ２マップ画像はＭＲＩ画像の一種であり、膝関節における水との相関性を信号値として表したものである。Ｔ２マップ画像においては、例えば、水との相関性が高いほど各画素における信号値が大きくなる。
第２の実施形態においては、機能画像Ｆ０に対しても、第１の実施形態と同様に、基準軸設定部２２が設定した基準軸４６を基準として、展開部２３が展開画像を生成する。機能画像Ｆ０の展開画像を機能展開画像７０と称する。ここで、大腿骨３０における軟骨３２は厚さを有するため、機能画像Ｆ０においては、軟骨３２の厚さ方向において信号値が異なるものとなる。第２の実施形態においては、展開部２３は、軟骨３２の厚さ方向に中間面を設定し、中間面における機能画像Ｆ０の信号値を展開して機能展開画像７０を生成するものとする。なお、軟骨３２の厚さ方向における信号値の平均値、最大値、最小値および中間値等の代表値を用いて機能展開画像７０を生成してもよい。
ここで、３次元画像Ｇ０と機能画像Ｆ０とでは、含まれる部位は同一の膝関節であるが、撮影時間が異なる。このため、マッピング部２６は、展開画像５０と機能展開画像７０との位置合わせを行う。位置合わせの手法としては、剛体位置合わせおよび非剛体位置合わせ等、周知の任意の手法を用いることができる。なお、マッピング部２６は、展開画像５０を機能展開画像７０に一致させるように変形して位置合わせを行うものであってもよく、機能展開画像７０を展開画像５０に一致させるように変形して位置合わせを行うものであってもよい。そして、マッピング部２６は、機能展開画像７０を展開画像５０にマッピングしたマッピング画像Ｍ１を生成する。
図１９はマッピング画像Ｍ１を示す図である。図１９に示すように、マッピング画像Ｍ１は、大腿骨３０の軟骨３２における水との相関性の大きさが６段階の色により示されている。マッピング画像Ｍ１においては、色が濃いほど水との相関性が低いことを示している。なお、図１９においては色の相違をハッチングの相違により示している。また、マッピング画像Ｍ１には、色と水との相関性との関係を示すレファレンス６２が含まれる。レファレンス６２を参照することにより、軟骨３２の水との相関性を視覚的に容易に認識することができる。なお、図１６に示すマッピング画像Ｍ１においては関心領域５２を設定していないが、第１の実施形態と同様に関心領域５２を設定し、関心領域５２のみにおいてマッピング画像Ｍ１を生成してもよい。
次いで、第２の実施形態において行われる処理について説明する。図２０は第２の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０および機能画像Ｆ０を取得し（ステップＳＴ１１）、３次元画像Ｇ０から骨領域および軟骨領域を抽出する（ステップＳＴ１２）。次いで、基準軸設定部２２が、大腿骨３０の関節の解剖学的特徴に基づいて決定される、関節の両側面のそれぞれに中心位置を設定し、それぞれの中心位置を結ぶ軸を基準軸４６に設定する（ステップＳＴ１３）。
次いで、展開部２３が、基準軸設定部２２が設定した基準軸４６を基準として、３次元画像Ｇ０に含まれる軟骨３２を展開して展開画像５０を生成する（ステップＳＴ１４）。また、展開部２３が、基準軸設定部２２が設定した基準軸４６を基準として、機能展開画像７０を展開して機能展開画像７０を生成する（ステップＳＴ１５）。そして、マッピング部２６が、機能展開画像７０を展開画像５０にマッピングしたマッピング画像Ｍ１を生成する（ステップＳＴ１６）。さらに、表示制御部２５がマッピング画像Ｍ１を表示部１４に表示し（ステップＳＴ１７）、処理を終了する。
次いで、本開示の第３の実施形態について説明する。なお、第３の実施形態による関節像展開装置の構成は、上記第１および第２の実施形態による関節画像展開装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第３の実施形態による関節画像展開装置においては、展開部２３が生成した展開画像５０を表示制御部２５が表示部１４に表示するようにした点が第１および第２の実施形態と異なる。
次いで、第３の実施形態において行われる処理について説明する。図２１は第３の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０および機能画像Ｆ０を取得し（ステップＳＴ２１）、３次元画像Ｇ０から骨領域および軟骨領域を抽出する（ステップＳＴ２２）。次いで、基準軸設定部２２が、大腿骨３０の関節の解剖学的特徴に基づいて決定される、関節の両側面のそれぞれに中心位置を設定し、それぞれの中心位置を結ぶ軸を基準軸４６に設定する（ステップＳＴ２３）。
次いで、展開部２３が、基準軸設定部２２が設定した基準軸４６を基準として、３次元画像Ｇ０に含まれる軟骨３２を展開して展開画像５０を生成する（ステップＳＴ２４）。そして、表示制御部２５が展開画像５０を表示部１４に表示し（ステップＳＴ２５）、処理を終了する。
次いで、本開示の第４の実施形態について説明する。上記第１から第３の実施形態においては、２次元の展開画像５０を生成しているが、第４の実施形態においては、３次元の展開画像を生成するようにした点が第１から第３の実施形態と異なる。図２２は、第４の実施形態における３次元の展開画像の生成を説明するための図である。図２２に示すように、大腿骨３０の関節において軟骨３２はある厚さを持って存在している。展開部２３は、図１３および図１４に示したような基準軸４６を中心とした放射方向において軟骨３２の厚さ方向における中心位置を求める。図２２において軟骨３２の厚さ方向における中心位置を結んだ線を中心線７２として示している。
そして、展開部２３は、基準軸４６上の局所的な位置において、基準軸４６を基準として、大腿骨３０における軟骨３２を、中心線７２を平面上に展開して３次元の展開画像８０を生成する。３次元の展開画像８０は３次元の軟骨領域８１を含む。なお，第１の実施形態と同様に、軟骨領域８１において関心領域を設定してもよい。図２２においては、図１３と同様に、展開画像８０に基準軸４６の周囲の角度を示している。また、図２２においては、展開画像８０の平面図と大腿骨３０における第１の方向から見た軟骨領域８１の側面図を示している。
このようにして生成した３次元の展開画像８０に対しても、上述したように定量値を導出し、厚さマップＭ０を生成することが可能である。また、第２の実施形態と同様に、３次元の展開画像８０に機能画像Ｆ０を重畳したマッピング画像Ｍ１を生成することも可能である。また、第３の実施形態と同様に、３次元の展開画像８０を、例えばボリュームレンダリング表示等により表示部１４に表示することも可能である。
なお、同一の被検体について、撮影時期が異なる複数の３次元画像を比較して経過観察を行う場合がある。このような場合において、撮影時期が過去の第１の３次元画像Ｇ１において展開画像が生成されている場合、撮影時期が新しい第２の３次元画像Ｇ２においても展開画像を生成して経過観察を行うことが好ましい。なお、第１の３次元画像Ｇ１が本開示の他の３次元画像に対応する。この場合、軟骨は経時によってすり減ることはあるが、関節の形状が変形することはない。このため、第１の３次元画像Ｇ１について展開画像を生成した際に、基準軸の位置を表す情報を画像保管サーバ３に保存しておき、第２の３次元画像Ｇ２の展開画像を生成する際には、同一被検体について保存されている基準軸の情報を取得し、取得した基準軸の情報を用いて展開画像を生成することが好ましい。
これにより、第２の３次元画像Ｇ２の展開画像を生成する際の演算量を低減することができる。また、この場合において、第１の３次元画像Ｇ１の展開画像に関心領域５２が設定されている場合には、第２の３次元画像Ｇ２の展開画像に対して、第１の３次元画像Ｇ１の展開画像と同一の関心領域を設定することが好ましい。これにより、第１の３次元画像Ｇ１の軟骨の状態と第２の３次元画像Ｇ２における軟骨の状態との比較を容易に行うことができる。
また、複数の異なる被検体の３次元画像Ｇ０から展開画像を生成するに際して、同一の基準軸を設定するようにしてもよい。この場合、さらに展開画像を生成する際の基準位置を複数の異なる被検体の３次元画像Ｇ０において同一とすることが好ましい。これにより、被検体毎に形状が異なる軟骨の展開画像において、関節上の位置を一致させることができる。このため、被検体間の軟骨の状態の比較を容易に行うことができる。
なお、上記各実施形態においては、展開画像を３０度単位の角度毎に複数の領域に分割しているが、分割数はこれに限定されるものではなく、これよりも細かい角度単位で分割してもよく、これよりも大きい角度単位で分割してもよい。また、また、展開画像の領域分割を行うことなく、関心領域５２の全体において定量値を導出してもよい。また、展開画像を表示部１４に表示し、操作者が関心領域５２を指定するようにしてもよい。
また、上記各実施形態においては、展開画像５０に含まれる関心領域５２において定量値を導出しているが、関心領域５２を設定することなく、展開画像５０に含まれる軟骨領域５１の全体において定量値を導出するようにしてもよい。
また、上記各実施形態においては、軟骨領域５１の面積、関心領域５２における軟骨領域５１の面積、軟骨領域５１の厚さ、軟骨領域５１の体積、関心領域５２内における軟骨領域５１の被覆率、関心領域５２における軟骨領域５１の欠損面積、および関心領域５２内の各位置における軟骨領域５１の厚さの代表値を定量値として導出している。しかしながら、これらの定量値のうちのいずれか１つ、または任意の組み合わせの定量値を導出するようにしてもよい。
また、上記実施形態においては、膝関節の軟骨の定量値を導出しているが、これに限定されるものではなく、肘関節、股関節、肩関節または椎間関節等の軟骨の定量値を導出する際に本開示を提供できることはもちろんである。
また、上記各実施形態において、例えば、画像取得部２１、基準軸設定部２２、展開部２３、定量化部２４、表示制御部２５およびマッピング部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable
Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１，１Ａ 関節画像展開装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 基準軸設定部
２３ 展開部
２４ 定量化部
２５ 表示制御部
２６ マッピング部
３０ 大腿骨
３０Ａ 切断した大腿骨
３１ 脛骨
３２，３３ 軟骨
３４ 半月板
３５ 内側顆
３６ 外側顆
３７ 切断面
４０，４１，４８ 平面
４２ 長軸
４３ 短軸
４４，４５ 楕円
４６ 基準軸
４７ 解剖軸
５０ 展開画像
５０Ａ～５０Ｊ 領域
５１ 軟骨領域
５２ 関心領域
５３ 欠損領域
６０ 凸状部分
６１，６２ レファレンス
７０ 機能展開画像
７２ 中心線
８０ ３次元の展開画像
８１ ３次元の軟骨領域
Ｆ０ 機能画像
Ｇ０，Ｇ１，Ｇ２ ３次元画像
Ｍ０ マップ
Ｍ１ マッピング画像
Ｐ１，Ｐ４，Ｐ５ 点
Ｐ６ 位置
Ｐ７～Ｐ１０ 中心位置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 基準軸設定部
２３ 展開部
２４ 定量化部
２５ 表示制御部
２６ マッピング部
３０ 大腿骨
３０Ａ 切断した大腿骨
３１ 脛骨
３２，３３ 軟骨
３４ 半月板
３５ 内側顆
３６ 外側顆
３７ 切断面
４０，４１，４８ 平面
４２ 長軸
４３ 短軸
４４，４５ 楕円
４６ 基準軸
４７ 解剖軸
５０ 展開画像
５０Ａ～５０Ｊ 領域
５１ 軟骨領域
５２ 関心領域
５３ 欠損領域
６０ 凸状部分
６１，６２ レファレンス
７０ 機能展開画像
７２ 中心線
８０ ３次元の展開画像
８１ ３次元の軟骨領域
Ｆ０ 機能画像
Ｇ０，Ｇ１，Ｇ２ ３次元画像
Ｍ０ マップ
Ｍ１ マッピング画像
Ｐ１，Ｐ４，Ｐ５ 点
Ｐ６ 位置
Ｐ７～Ｐ１０ 中心位置
Claims (29)
- 軟骨を有する関節の３次元画像を取得する画像取得部と、
前記関節の解剖学的特徴に基づいて決定される、前記関節の両側面のそれぞれに中心位置を設定し、該それぞれの中心位置を結ぶ軸を前記関節における特定の基準軸に設定する基準軸設定部と、
前記基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する展開部とを備えた関節画像展開装置。 - 軟骨を有する関節の３次元画像を取得する画像取得部と、
前記関節における特定の基準軸の中心位置、および該基準軸の中心位置を挟んで関節面とは反対側に設定された基準点を通る解剖軸を設定し、前記基準軸および前記解剖軸を通る平面を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する展開部とを備えた関節画像展開装置。 - 軟骨を有する関節の３次元画像を取得する画像取得部と、
前記関節における特定の基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する展開部と、
前記展開画像上において、前記軟骨の定量値を導出する定量化部とを備えた関節画像展開装置。 - 前記定量化部は、前記展開画像上の関心領域において、前記定量値を導出する請求項３に記載の関節画像展開装置。
- 前記展開部は、前記関節における軟骨が存在すべき領域を規定する輪郭に基づいて前記関心領域を設定する請求項４に記載の関節画像展開装置。
- 前記定量化部は、前記関心領域内における前記軟骨の被覆率を、前記定量値として導出する請求項４または５に記載の関節画像展開装置。
- 前記定量化部は、前記関心領域における前記軟骨の欠損面積を、前記定量値として導出する請求項４から６のいずれか１項に記載の関節画像展開装置。
- 前記定量化部は、前記関心領域内の各位置における前記軟骨の厚さの代表値を、前記定量値として導出する請求項４から７のいずれか１項に記載の関節画像展開装置。
- 前記定量化部は、前記関心領域内の各位置における前記軟骨の厚さを、前記定量値として導出する請求項４から７のいずれか１項に記載の関節画像展開装置。
- 前記定量化部は、前記関心領域における前記軟骨の厚さマップを生成する請求項９に記載の関節画像展開装置。
- 前記厚さマップを表示部に表示する表示制御部をさらに備えた請求項１０記載の関節画像展開装置。
- 前記定量化部は、前記関心領域における前記軟骨の厚さが、あらかじめ定められたしきい値以上となる領域においてのみ、前記定量値を導出する請求項４から１１のいずれか１項に記載の関節画像展開装置。
- 前記定量化部は、前記展開画像上の前記関心領域を分割し、分割により得られる各領域において、前記定量値を導出する請求項４から１２のいずれか１項に記載の関節画像展開装置。
- 前記３次元画像を取得した被検体と同一の被検体についての撮影時期が異なる他の３次元画像から導出した他の定量値の導出結果が存在する場合、前記定量化部は、前記他の定量値を導出した際と同一位置に関心領域を設定する請求項４から１３のいずれか１項に記載の関節画像展開装置。
- 前記定量化部は、前記展開画像上の前記軟骨の面積を前記定量値として導出する請求項３から１４のいずれか１項に記載の関節画像展開装置。
- 前記定量化部は、前記展開画像上の前記軟骨の体積を前記定量値として導出する請求項３から１５のいずれか１項に記載の関節画像展開装置。
- 軟骨を有する関節の３次元画像を取得する画像取得部と、
前記関節における特定の基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する展開部であって、前記３次元画像を取得した被検体と同一の被検体についての撮影時期が異なる他の３次元画像から生成した他の展開画像が存在する場合、前記他の展開画像を生成した場合と同一の基準軸を基準として前記展開画像を生成する展開部とを備えた関節画像展開装置。 - 前記展開画像を表示部に表示する表示制御部をさらに備えた請求項１から１７のいずれか１項に記載の関節画像展開装置。
- 前記関節についての機能画像を前記展開画像にマッピングしたマッピング画像を生成するマッピング部をさらに備えた請求項１から１７のいずれか１項に記載の関節画像展開装置。
- 前記マッピング画像を表示部に表示する表示制御部をさらに備えた請求項１９に記載の関節画像展開装置。
- 前記関節は、膝関節、肘関節、股関節、肩関節または椎間関節である請求項１から２０のいずれか１項に記載の関節画像展開装置。
- 軟骨を有する関節の３次元画像を取得し、
前記関節の解剖学的特徴に基づいて決定される、前記関節の両側面のそれぞれに中心位置を設定し、該それぞれの中心位置を結ぶ軸を前記関節における特定の基準軸に設定し、
前記基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する関節画像展開方法。 - 軟骨を有する関節の３次元画像を取得する手順と、
前記関節の解剖学的特徴に基づいて決定される、前記関節の両側面のそれぞれに中心位置を設定し、該それぞれの中心位置を結ぶ軸を前記関節における特定の基準軸に設定する手順と、
前記基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する手順とをコンピュータに実行させる関節画像展開プログラム。 - 軟骨を有する関節の３次元画像を取得し、
前記関節における特定の基準軸の中心位置、および該基準軸の中心位置を挟んで関節面とは反対側に設定された基準点を通る解剖軸を設定し、前記基準軸および前記解剖軸を通る平面を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する関節画像展開方法。 - 軟骨を有する関節の３次元画像を取得する手順と、
前記関節における特定の基準軸の中心位置、および該基準軸の中心位置を挟んで関節面とは反対側に設定された基準点を通る解剖軸を設定し、前記基準軸および前記解剖軸を通る平面を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する手順とをコンピュータに実行させる関節画像展開プログラム。 - 軟骨を有する関節の３次元画像を取得し、
前記関節における特定の基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成し、
前記展開画像上において、前記軟骨の定量値を導出する関節画像展開方法。 - 軟骨を有する関節の３次元画像を取得する手順と、
前記関節における特定の基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成する手順と、
前記展開画像上において、前記軟骨の定量値を導出する手順とをコンピュータに実行させる関節画像展開プログラム。 - 軟骨を有する関節の３次元画像を取得し、
前記関節における特定の基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成するに際し、前記３次元画像を取得した被検体と同一の被検体についての撮影時期が異なる他の３次元画像から生成した他の展開画像が存在する場合、前記他の展開画像を生成した場合と同一の基準軸を基準として前記展開画像を生成する関節画像展開方法。 - 軟骨を有する関節の３次元画像を取得する手順と、
前記関節における特定の基準軸を基準として、前記３次元画像に含まれる軟骨を展開して展開画像を生成するに際し、前記３次元画像を取得した被検体と同一の被検体についての撮影時期が異なる他の３次元画像から生成した他の展開画像が存在する場合、前記他の展開画像を生成した場合と同一の基準軸を基準として前記展開画像を生成する手順とをコンピュータに実行させる関節画像展開プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019054896 | 2019-03-22 | ||
| JP2019054896 | 2019-03-22 | ||
| PCT/JP2020/009880 WO2020195729A1 (ja) | 2019-03-22 | 2020-03-06 | 関節画像展開装置、方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020195729A1 JPWO2020195729A1 (ja) | 2021-10-14 |
| JP7203952B2 true JP7203952B2 (ja) | 2023-01-13 |
Family
ID=72611403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021508950A Active JP7203952B2 (ja) | 2019-03-22 | 2020-03-06 | 関節画像展開装置、方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210390764A1 (ja) |
| JP (1) | JP7203952B2 (ja) |
| WO (1) | WO2020195729A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7273425B2 (ja) * | 2021-10-08 | 2023-05-15 | 学校法人大阪産業大学 | 診断情報表示装置、診断情報表示方法及び診断情報表示プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008043759A (ja) | 2006-08-15 | 2008-02-28 | General Electric Co <Ge> | 相互作用方式の画像位置合わせのシステム及び方法 |
| JP2018138071A (ja) | 2017-02-24 | 2018-09-06 | 富士フイルム株式会社 | マッピング画像生成装置、方法およびプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1230561B1 (en) * | 1999-11-01 | 2005-10-26 | Arthrovision, Inc. | Evaluating disease progression using magnetic resonance imaging |
| JP6659501B2 (ja) * | 2016-09-14 | 2020-03-04 | 富士フイルム株式会社 | 軟骨定量化装置、方法およびプログラム |
-
2020
- 2020-03-06 WO PCT/JP2020/009880 patent/WO2020195729A1/ja active Application Filing
- 2020-03-06 JP JP2021508950A patent/JP7203952B2/ja active Active
-
2021
- 2021-08-29 US US17/460,291 patent/US20210390764A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008043759A (ja) | 2006-08-15 | 2008-02-28 | General Electric Co <Ge> | 相互作用方式の画像位置合わせのシステム及び方法 |
| JP2018138071A (ja) | 2017-02-24 | 2018-09-06 | 富士フイルム株式会社 | マッピング画像生成装置、方法およびプログラム |
Non-Patent Citations (1)
| Title |
|---|
| KRAEUTLER, M J et al.，Variability in the Clock Face View Description of Femoral Tunnel Placement in ACL Reconstruction Usi，J Knee Surg，2018年02月08日，Vol.31, No.10，p.965-969，DOI: 10.1055/s-0038-1626736 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020195729A1 (ja) | 2021-10-14 |
| US20210390764A1 (en) | 2021-12-16 |
| WO2020195729A1 (ja) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11704872B2 (en) | Surface and image integration for model evaluation and landmark determination | |
| Galibarov et al. | A method to reconstruct patient-specific proximal femur surface models from planar pre-operative radiographs | |
| US20140278322A1 (en) | Systems and methods for using generic anatomy models in surgical planning | |
| US8938109B2 (en) | Image data processing systems for estimating the thickness of human/animal tissue structures | |
| JP6659501B2 (ja) | 軟骨定量化装置、方法およびプログラム | |
| JP2020025786A (ja) | 画像処理装置、方法及びプログラム | |
| JP2005169118A (ja) | 断層画像データのセグメント化方法および画像処理システム | |
| US12062183B2 (en) | Closed surface fitting for segmentation of orthopedic medical image data | |
| Pietrobelli et al. | Comparability of skeletal fibulae surfaces generated by different source scanning (dual‐energy CT scan vs. high resolution laser scanning) and 3D geometric morphometric validation | |
| JP7203952B2 (ja) | 関節画像展開装置、方法およびプログラム | |
| US10580136B2 (en) | Mapping image generation device, method, and program | |
| Bousigues et al. | 3D reconstruction of the scapula from biplanar X-rays for pose estimation and morphological analysis | |
| JP2019129951A (ja) | 肋骨展開画像生成装置、方法およびプログラム | |
| JP7242852B2 (ja) | 関節投影面設定装置、方法およびプログラム | |
| Valstar et al. | Towards computer-assisted surgery in shoulder joint replacement | |
| JP7230240B2 (ja) | 半月板投影面設定装置、方法およびプログラム | |
| JP7317563B2 (ja) | 医用画像処理装置および医用画像処理方法 | |
| Liu et al. | Model-based 3D segmentation of the bones of joints in medical images | |
| Jayakar et al. | Cortical volumetry using 3D reconstruction of metacarpal bone from multi-view images | |
| Anas | Registration of preoperative CT to intraoperative ultrasound via a statistical wrist model for scaphoid fracture fixation | |
| Udupa et al. | Rigid model-based 3D segmentation of the bones of joints in MR and CT images for motion analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7203952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |