JP7016944B2 - ３次元超音波画像の表示方法 - Google Patents
３次元超音波画像の表示方法 Download PDFInfo
- Publication number
- JP7016944B2 JP7016944B2 JP2020501253A JP2020501253A JP7016944B2 JP 7016944 B2 JP7016944 B2 JP 7016944B2 JP 2020501253 A JP2020501253 A JP 2020501253A JP 2020501253 A JP2020501253 A JP 2020501253A JP 7016944 B2 JP7016944 B2 JP 7016944B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- original
- cross
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012545 processing Methods 0.000 claims description 13
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 7
- 206010039722 scoliosis Diseases 0.000 description 7
- 238000012216 screening Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
- A61B8/4461—Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/06—Curved planar reformation of 3D line structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/008—Cut plane or projection plane definition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Description
本発明は、超音波イメージングの分野に関し、より具体的には、３次元超音波画像の表示方法に関する。
脊柱側湾とは、患者の脊柱が一方から他方に湾曲し、回旋することもある医学的状態をいう。通常、脊柱側湾の特定にはＸ線による評価が用いられる。しかし、治療又は監視周期においては、脊柱側湾患者について多くのＸ線写真を撮る必要があり、患者は大量の放射線に晒されることになる。そのため、こうした技術は児童や青少年には適さない。
近年、３次元超音波イメージング技術が医療や研究に幅広く応用されている。大部分の３次元超音波イメージングシステムは、空間位置及び角度情報を有する一連の２次元画像（即ち、Ｂモード画像）を取得することで実現され、手動走査又は機械による自動走査が可能である。例えば、胎児を観察するための３次元超音波システムは機械走査により実現されるが、脊柱の３次元超音波イメージングシステムは一般的に手動で走査する。
取得した空間位置及び角度情報を有する一連の２次元超音波画像には、現在のところ２種類の表示方式がある。第１の方式は、対応する空間位置及び角度の２次元超音波画像を３次元空間にそのまま表示する方式であり、１枚又は複数枚を表示可能である。しかし、この種の方法では、別の断面画像の情報は提供できない。第２の方式は、対応する空間情報から取得した２次元画像を利用して全ての画像を再構成する方式である。再構成の過程では、２次元画像に走査されていない部位を補足することで、比較的完全な２次元画像情報を取得する。しかし、画像には平滑化処理も施されるため、形成される画像の質は元の２次元画像の質ほど良くはない。且つ、画像処理によって元の情報の一部が失われることもある。
本発明が解決しようとする技術的課題は、元の画質を維持しつつ、３次元画像を容易に表示及び分析可能とする３次元超音波画像の表示方法を提供することである。
上記の技術的課題を解決するために、本発明は以下の技術方案を提供する。
３次元超音波画像の表示方法であて、以下のステップを含む。
Ｓ１：自動又は手動走査方式で、空間位置及び角度情報を有する一連の元２次元画像を取得する。
Ｓ２：前記元２次元画像で画像を再構成し、３次元立体画像を取得する。
Ｓ３：前記３次元立体画像から前記元２次元画像と交差する１つ又は複数の断面画像を取得し、画像処理によって１つ又は複数の再構成２次元画像を取得する。
Ｓ４：１つ又は複数の前記元２次元画像と１つ又は複数の前記断面画像を３次元空間に一緒に表示する。
Ｓ５：前記３次元空間において、前記元２次元画像に基づき、特徴点、特徴線及び特徴面の選択及び表示を行う。
更に、前記方法は、前記元２次元画像、前記断面画像及び前記再構成２次元画像について画像強調又はカラーレンダリングを行うことで、前記元２次元画像と前記再構成２次元画像の表示の詳細を強調する。
更に、前記ステップＳ５は、前記特徴点、特徴線及び特徴面を選択する際に、以下のステップを含む。
Ｓ５－１：前記元２次元画像、断面画像又は再構成２次元画像のいずれかに、前記特徴点、特徴線又は特徴面の情報をマークする。
Ｓ５－２：前記元２次元画像、断面画像及び再構成２次元画像上に、前記Ｓ５－１で特定した特徴点、特徴線又は特徴面の情報を自動で表示する。
Ｓ５－３：前記元２次元画像、断面画像及び再構成２次元画像にマークした前記特徴点、特徴線又は特徴面の情報が正しいか否かを判断する。
Ｓ５－４：前記Ｓ５－３で発見した正しくないマークについて相応の調整を行う。
Ｓ５－５：前記元２次元画像、断面画像又は再構成２次元画像にマークした前記特徴点、特徴線又は特徴面の情報が確認されるまで、前記ステップＳ５－２からＳ５－４を繰り返す。
更に、ステップＳ３における前記断面画像の取得は、手動又は自動でマーキングポイントを選択及びマークすることで行われ、前記元２次元画像又は再構成２次元画像上に一連のマーキングポイントを配置してから、平滑曲線で前記マーキングポイントを接続する。前記平滑曲線は、元２次元画像又は再構成２次元画像上における前記断面画像と前記元２次元画像又は再構成２次元画像との交差位置を表す。
更に、前記マーキングポイントの位置を単独で調整すると、平滑曲線が、前記マーキングポイントにフィットするよう前記マーキングポイントの調整に応じて自動的に調整される。
更に、前記元２次元画像に、前記断面画像又は前記再構成２次元画像の相対位置をマークする。
更に、前記断面画像又は前記再構成２次元画像上に、前記元２次元画像の相対位置をマークする。
更に、前記ステップＳ５では、更に、前記特徴点が１つの前記断面画像上で指示又は移動した場合、前記特徴点は、その他の前記断面画像、元２次元画像又は再構成２次元画像の対応位置においても同時に指示又は移動する。
更に、前記特徴点は、マーキングポイントとして前記断面画像上にマーク可能である。
更に、前記ステップＳ５では、更に、前記元２次元画像、断面画像又は再構成２次元画像のいずれかにおいて特定の前記特徴点が選択されると、表示されている全ての前記元２次元画像、断面画像又は再構成２次元画像において前記特徴点が新たに選択されて表示される。
更に、前記断面画像は平面又は３次元曲面である。
更に、前記ステップＳ３において、前記画像処理は投影又は平均のアルゴリズムを含む。
更に、ステップＳ３における前記再構成２次元画像は、各画素の輝度によって超音波エコー信号の強度を表す。また、各画素の輝度は、超音波のエコーが人体組織の相対的又は絶対的深さで発生したことを表す。
更に、前記断面画像又は再構成２次元画像は、前記元２次元画像又は前記特徴線又は特徴面の回旋情報も表示する。
本発明の有益な効果は以下の通りである。
本発明で提供する超音波３次元画像の表示方法では、３次元画像を表示すると同時に、３次元空間に元２次元画像を表示しつつ、１つ又は複数の断面画像も表示する。この方式によれば、各断面の画像を表示可能であるとともに、画像情報を一切失うことなく元２次元画像と空間位置及び方向を表示することも可能である。前記特徴点、特徴線及び特徴面を選択する際には、元２次元画像の情報を使用するとともに、前記断面画像の情報を利用することで、より正確な判断が可能となる。この新たな方法では、より効率的且つ高精度の３次元画像の表示方法が提供される。この方法は、１つの面で画像及び空間情報を取得してから３次元画像を取得せねばならないあらゆるシステムを含む超音波等の３次元イメージング方式に幅広く応用可能である。本発明はＸ線を必要としないため、児童に対する現場でのスクリーニング検査や大規模なスクリーニング検査が可能となり、脊柱の治療において長期な監視手段が提供される。
本発明が解決しようとする技術的課題、技術方案及び有益な効果をより明瞭とするために、以下に、図面と実施例を組み合わせて、本発明につき更に詳細に説明する。なお、ここで記載する具体的実施例は本発明を説明するためのものにすぎず、本発明を限定するものではないと解釈すべきである。
本発明では、各種器官を超音波走査することで３次元画像を表示可能である。本実施例では、脊柱の場合を例示して、３次元超音波画像の表示方法の具体的ステップにつき詳述する。本発明における３次元超音波画像の表示方法のフローチャートである図１に示すように、当該方法は以下のステップを含む。
Ｓ１：自動又は手動走査方式で、空間位置及び角度情報を有する一連の元２次元画像を取得する。
Ｓ２：前記元２次元画像で画像を再構成し、３次元立体画像を取得する。
Ｓ３：前記３次元立体画像から前記元２次元画像と交差する１つ又は複数の断面画像を取得し、画像処理によって１つ又は複数の再構成２次元画像を取得する。
Ｓ４：１つ又は複数の前記元２次元画像、１つ又は複数の前記断面画像及び１つ又は複数の前記再構成２次元画像を３次元空間に一緒に表示する。
Ｓ５：前記３次元空間において、前記元２次元画像に基づき、特徴点、特徴線及び特徴面の選択及び表示を行う。
ステップＳ１における元２次元画像とは、脊柱３次元超音波イメージングシステムを用いて脊柱を手動又は機械で走査したときに得られる空間位置及び角度情報を有する一連の超音波２次元画像である。元２次元画像は平滑化又はその他の処理を経ないため、画像情報が失われることはない。なお、脊柱３次元超音波イメージングシステムについては別の特許に開示されているため、ここでは詳述しない。
ステップＳ２における３次元立体画像は、元２次元画像の空間位置及び角度情報を利用して画像を再構成することで得られる。再構成の過程では、元２次元画像に記録されていない部位を補間アルゴリズムで補足することで、完全な３次元立体画像を取得する。
３次元立体画像には、ステップＳ３における複数の断面画像が含まれる。断面画像の画質は元２次元画像ほど良くはなく、且つ、元情報の一部が失われている可能性がある。
元２次元画像又は断面画像にエッジ検出を施して脊柱構造のエッジを検出することで、脊柱の３次元立体画像を取得することが可能である。
超音波で脊柱を走査することで取得した任意の面の投影図は、３次元で立体表示することが可能である。これは、投影図の各画素はいずれも３次元空間における特定位置のボクセル（ｖｏｘｅｌ，即ち３次元空間における画素）を投影することで得られるため、各画素の３次元空間における位置は既知だからである。
ステップＳ３における断面画像とは、３次元立体画像から得られる元２次元画像と交差する画像である。この断面画像としては、平面、単純曲面（即ち、一方向に上昇して平面となり得る曲面）又は３次元曲面が考えられる。
ステップＳ３における再構成２次元画像は、一定領域内の元２次元画像情報を総合的に処理して得られる。即ち、断面画像を特定の面に投影することで再構成２次元画像を取得する。
ステップＳ３における前記再構成２次元画像は、各画素の輝度によって超音波エコー信号の強度を表す。各画素の輝度は、超音波のエコーが人体組織の相対的又は絶対的深さで発生したことを表す。なお、絶対的とは体表を起点とすることを意味し、相対的とは、例えば体内の骨の位置等の任意の位置を基準位置とすることを意味する。
ステップＳ３における画像処理には、一定の領域内で光度が最大の画素を選択する最大光度投影法、一定の領域の全ての画素を平均する平均投影法、画素の光度値に基づいて透明度を設定する透明投影法が含まれる。情報を総合的に処理する上記一定の領域は、元２次元画像ごとにマーク可能である。図２、図３及び図４に示すように、元２次元画像上に、実線を用いて任意の再構成２次元画像と元２次元画像との交差位置をマーク可能である。実線両側の点線は、当該再構成２次元画像を再構成するために必要な情報の領域範囲を表す。
また、元２次元画像上に、断面画像又は再構成２次元画像の相対位置をマークしてもよい。引き続き図２、図３及び図４を参照して、図中の四角形が元２次元画像を表す場合、図中の実線は断面画像又は再構成２次元画像と元２次元画像との交差位置を表す。図２又は図３に示すように、断面画像又は再構成２次元画像と元２次元画像との交差位置は、元２次元画像の対向する任意の二辺と平行である。また、図４に示すように、断面画像又は再構成２次元画像と元２次元画像との交差位置は、元２次元画像の対向する任意の二辺と平行でなく、一定の角度で傾斜していてもよい。即ち、断面画像又は再構成２次元画像と元２次元画像との交差位置は、元２次元画像の対向する任意の二辺に対し０°超９０°未満の角度を形成する。
同様に、前記断面画像又は再構成２次元画像上に、前記元２次元画像の相対位置をマークしてもよい。
検出波と検出される脊柱の間には傾斜角度が存在することから、図２、図３及び図４の３本の線は分離する。仮に、検出波と検出される脊柱が完全に直交する場合には、上記３本の線は１本の線に合わさる。
また、断面画像上に元２次元画像の相対位置をマークしてもよい。図５に示すように、図中の四角形が断面画像を表し、点線が断面画像と元２次元画像との交差位置を表す場合、図中の２本の実線は元２次元画像の対向する二辺の相対位置を表す。
断面画像は元２次元画像と直交していてもよいし、元２次元画像と直交していなくともよい。即ち、断面画像と元２次元画像は０°超９０°未満の角度を形成する。
断面画像は平面であってもよいし曲面であってもよい。断面画像が曲面の場合、図６に示すように、この曲面は上下が一致する単純曲面であってもよいし、図７に示すように、上下が一致しない３次元形状であってもよい。図６及び図７の２つの菱形は、元２次元画像の平行な平面を表している。
断面画像と元２次元画像又は再構成２次元画像との交差位置が元２次元画像又は再構成２次元画像の対向する任意の二辺となす角度、及び、断面画像が元２次元画像又は再構成２次元画像と直交するか否か、及び、断面画像が平面であるか曲面であるかは、いずれも断面画像の取得により決定される。
図８及び図９に示すように、ステップＳ３における前記断面画像の取得は、手動又は自動でマーキングポイントを選択及びマークすることで行われる。具体的に、元２次元画像又は再構成２次元画像上に一連のマーキングポイントを配置し、平滑曲線で前記マーキングポイントを接続する。平滑曲線は、元２次元画像又は再構成２次元画像上における断面画像と当該元２次元画像又は当該再構成２次元画像との交差位置を表す。また、前記断面画像が位置する面は、元２次元画像又は再構成２次元画像が位置する平面と直交する。前記元２次元画像又は再構成２次元画像の場合、この元２次元画像又は再構成２次元画像の直交面に、図８及び図９に示すような曲面の断面画像が得られる。図８の元２次元画像又は再構成２次元画像が位置する平面は図８が位置する平面と平行であり、断面画像が位置する面は図８が位置する平面と直交する。
ここでいう自動とは、画像内の特徴に基づいて、ソフトウエアにより一連のマーキングポイントを自動で選択することを意味する。例えば、画像内の人体の表面、骨の向き、脊柱の形状、椎骨の特徴点等に基づいて、必要なマーキングポイントを識別可能である。例えば、図１４の第１再構成２次元画像のうち、図中央の黒色部分を上から下に自動で検出可能である。また、第２再構成２次元画像のうち図右側に位置する体表情報を自動検出に利用可能である。
上記で選択したマーキングポイントは、単独で位置を調整可能である。図１０及び図１１に示すように、前記平滑曲線は、前記マーキングポイントにフィットするよう、マーキングポイントの調整に応じて自動的に調整される。また、図１２及び図１３に示すように、平滑曲線全体をマウス制御で移動させてもよい。
ステップＳ３では、元２次元画像、断面画像及び再構成２次元画像について画像強調又はカラーレンダリングを行うことで、元２次元画像と再構成２次元画像の表示の詳細を強調する。
ステップＳ４では、１つ又は複数の前記元２次元画像と１つ又は複数の前記断面画像を３次元空間に一緒に表示する。図１５では、元２次元画像と２枚の断面画像を３次元空間に一緒に表示している。
ステップＳ５において、前記特徴点、特徴線及び特徴面を選択する際には、更に以下のステップを含む。
Ｓ５－１：元２次元画像、断面画像又は再構成２次元画像のいずれかに、特徴点、特徴線又は特徴面の情報をマークする。
Ｓ５－２：元２次元画像、断面画像及び前記再構成２次元画像上に、Ｓ５－１で特定した前記特徴点、特徴線又は特徴面の情報を自動で表示する。
Ｓ５－３：前記元２次元画像、断面画像及び前記再構成２次元画像にマークした前記特徴点、特徴線又は特徴面の情報が正しいか否かを判断する。
Ｓ５－４：Ｓ５－３で発見した正しくないマークについて相応の調整を行う。
Ｓ５－５：前記元２次元画像、断面画像又は再構成２次元画像にマークした前記特徴点、特徴線又は特徴面の情報が確認されるまで、Ｓ５－２からＳ５－４を繰り返す。
３次元イメージングでいうところの特徴点とは、３次元モデルにおいて、一部隣接領域の関係性及び特性を表すものであって、一定の幾何学的意味を持つ重要な３次元座標点である。特徴点マトリックスは、３次元モデルの幾何学的輪郭、生理学的特徴等の属性情報を記憶又は表示することが可能である。例えば、脊椎の特徴には、エッジ、棘突起及び横突起の頂点が含まれる。
特徴点、特徴線及び特徴面の抽出は、２次元画像又は３次元立体画像において、手動、半自動又は自動で所望のデータ位置をマークする。
本実施例において、ステップＳ５では、更に、前記特徴点が１つの前記断面画像上で指示又は移動した場合、前記特徴点は、その他の前記断面画像、元２次元画像又は再構成２次元画像の対応位置においても同時に指示又は移動する。
前記特徴点がマークされたあと、例えばマウスを左クリックすると、この特徴点がマーキングポイントとなって当該画像上にマークされる。これにより、マウスをその他の画像に移動させて操作することが可能となる。マーキングポイントの位置は右クリックで再びアクティブとなって、当該画像上の特徴点を再び移動させることが可能となる。
ステップＳ５では、更に、前記元２次元画像、断面画像又は再構成２次元画像のいずれかにおいて特定の前記特徴点が選択されると、表示されている全ての前記元２次元画像、断面画像又は再構成２次元画像において前記特徴点が新たに選択されて表示される。また、特定の位置が選択されると、特定の位置に基づいて、既存の脊柱モデルのモデル形状が検出された脊柱に適応するよう調整される。
本方法について更に説明するために、任意の元２次元画像を示す図１４、元２次元画像と第１断面画像及び第２断面画像を３次元空間に一緒に表示した図１５、第１再構成２次元画像を示す図１６、及び第２再構成２次元画像を示す図１７を参照する。第１再構成２次元画像は、第１断面画像を任意の平面に投影した画像であり、第２再構成２次元画像は、第２断面画像を他の平面に投影した画像である。
図１４は、任意の元２次元画像を示す図である。図１４のＫは、第１断面画像と元２次元画像との境界線である（境界線の両側に、別の２本の線によって第１再構成２次元画像の投影処理時の範囲をマークしてもよい）。図１４のＬは、第２断面画像と元２次元画像との境界線である（この両側に、別の２本の線によって第２再構成２次元画像の投影処理時の範囲をマークしてもよい）。
図１５は、元２次元画像と第１断面画像、第２断面画像を３次元空間に一緒に表示した図である。図中のＨは第１断面画像である。断面画像の四方の中央に位置する１本の線は第１断面画像の位置を示しており、その他２本の線は、形成される第１再構成２次元画像を投影処理する際の範囲をマークしている。また、図中のＩは第２断面画像である。断面画像の四方の中央に位置する１本の線は第２断面画像の位置を示しており、その他２本の線は、形成される第２再構成２次元画像を投影処理する際の範囲をマークしている。また、図中のＪは図１４に示した元２次元画像である。
図１６は、第１再構成２次元画像を示す図である。具体的に、第１再構成２次元画像は、図１５における第１断面画像をｘｙ平面に投影した画像である。図中のＥは、図１４に示した関連する元２次元画像の位置を第１再構成２次元画像上にマークしたものである。中央の１本の線は、元２次元画像と第１再構成２次元画像との境界線を示しており、近傍の２本の線は、元２次元画像の二辺を第１再構成２次元画像に投影したものである。図中のＦは、第１再構成２次元画像上の一連のマーキングポイント及びフィッティング曲線である。この曲線により第２断面画像が決定されて、更には、図１７に示す第２再構成２次元画像が決定される。Ｇは、第１再構成２次元画像上に、図１４に示した元２次元画像におけるフィッティング曲線に対する領域をマークしたものである。この領域によって、第２再構成２次元画像の最大画素値の投影又は画素の平均値等の投影処理の範囲が決定される。図中の断面画像又は再構成２次元画像は、更に、元２次元画像又は前記特徴線又は特徴面の回旋情報も表示する。具体的に、Ｐは、Ｆに対する第１再構成２次元画像上のマークの曲線である。Ｆからのこの曲線の偏移位置は、元２次元画像又は取得される特徴線、特徴面の軸方向における回旋量を示し、Ｆからの一方又は他方への偏移が回旋の方向を示す。同様の方法を、図１７にも適用可能である。
図１７は、第２再構成２次元画像を示す図である。具体的に、第２再構成２次元画像は、図１５における第２断面画像をｙｚ平面に投影した画像である。図中のＭは、関連する元２次元画像の位置を第２再構成２次元画像上にマークしたものである。中央の１本の線は、元２次元画像と第２再構成２次元画像との境界線を示しており、近傍の２本の線は、元２次元画像の二辺を第２再構成２次元画像に投影したものである。また、Ｎは、第２再構成２次元画像上の一連のマーキングポイント及びフィッティング曲線である。この曲線により第１断面画像が決定されて、更には、第１再構成２次元画像が決定される。Ｏは、第２再構成２次元画像上に、図１４に示した元２次元画像におけるフィッティング曲線に対する領域をマークしたものである。この領域によって、第１再構成２次元画像の最大画素値の投影又は画素の平均値等の投影処理の範囲が決定される。
本願では、脊柱側湾の場合を例示して本発明の方法について記載した。しかし、本発明は脊柱側湾の検査への応用に限らず、１つの面で画像及び空間情報を取得してから３次元画像を取得せねばならないあらゆるシステムを含むその他の超音波３次元イメージング方式にも幅広く応用可能である。
本発明はＸ線を必要としないため、児童に対する現場でのスクリーニング検査や大規模なスクリーニング検査も可能となり、脊柱側湾の治療において長期な監視が実現される。本方法では有害な放射線による操作が必要ないため、時間や頻度を限定することなくあらゆる患者に適用可能である。よって、毎月、毎週又は毎日でも脊柱側湾を評価することが可能となる。脊柱側湾の治療過程では、連続的な結果の監視が非常に重要である。これに対し、標準的なＸ線による評価では、被ばく被害を理由として連続評価の間隔が３～９か月に制限されている。
上記の内容は本発明の好ましい実施例にすぎず、当業者であれば、本発明の思想に基づき、具体的実施形態及び応用の範囲において様々な変形が可能である。これらの変形は本発明の構想を逸脱しない限り、いずれも本発明による保護の範囲に属する。
Claims (12)
- 自動又は手動走査方式で、空間位置及び角度情報を有する一連の元２次元画像を取得するステップＳ１と、
前記元２次元画像で画像を再構成し、３次元立体画像を取得するステップＳ２と、
前記３次元立体画像から前記元２次元画像と交差する１つ又は複数の断面画像を取得し、前記断面画像を平面に投影することによって１つ又は複数の再構成２次元画像を取得するステップＳ３と、
１つ又は複数の前記元２次元画像と１つ又は複数の前記断面画像を３次元空間に一緒に表示するステップＳ４と、
前記３次元空間において、前記元２次元画像に基づき、特徴点、特徴線及び特徴面の選択及び表示を行うステップＳ５、を含むことを特徴とする３次元超音波画像の表示方法。 - 更に、前記元２次元画像、前記断面画像及び前記再構成２次元画像について画像強調又はカラーレンダリングを行うことで、前記元２次元画像と前記再構成２次元画像の表示を強調することを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 前記ステップＳ５は、前記特徴点、特徴線及び特徴面を選択する際に、更に、
前記元２次元画像、断面画像又は再構成２次元画像のいずれかに、前記特徴点、特徴線又は特徴面の情報をマークするステップＳ５－１と、
前記元２次元画像、断面画像及び再構成２次元画像上に、前記Ｓ５－１で特定した特徴点、特徴線又は特徴面の情報を自動で表示するステップＳ５－２と、を含むことを特徴とする請求項１に記載の３次元超音波画像の表示方法。 - 更に、前記元２次元画像に、前記断面画像又は前記再構成２次元画像の相対位置をマークすることを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 更に、前記断面画像又は前記再構成２次元画像上に、前記元２次元画像の相対位置をマークすることを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 前記ステップＳ５では、更に、前記特徴点が１つの前記断面画像上で指示又は移動した場合、前記特徴点は、特徴点が指示又は移動された前記断面画像以外の前記断面画像の対応位置、元２次元画像の対応位置又は再構成２次元画像の対応位置においても同時に指示又は移動することを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 前記特徴点は、マーキングポイントとして前記断面画像上にマーク可能であることを特徴とする請求項６に記載の３次元超音波画像の表示方法。
- 前記ステップＳ５では、更に、前記元２次元画像、断面画像又は再構成２次元画像のいずれかにおいて特定の前記特徴点が選択されると、表示されている全ての前記元２次元画像、断面画像又は再構成２次元画像において前記特徴点が新たに選択されて表示されることを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 前記断面画像は、平面又は３次元曲面であることを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 前記ステップＳ３において、前記画像処理は投影又は平均のアルゴリズムを含むことを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- ステップＳ３における前記再構成２次元画像は、各画素の輝度によって超音波エコー信号の強度を表し、各画素の輝度は、超音波のエコーが人体組織の相対的又は絶対的深さで発生したことを表すことを特徴とする請求項１に記載の３次元超音波画像の表示方法。
- 前記断面画像又は再構成２次元画像は、更に、前記元２次元画像又は前記特徴線又は特徴面の回旋情報も表示することを特徴とする請求項１に記載の３次元超音波画像の表示方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710559995.9A CN109242947B (zh) | 2017-07-11 | 2017-07-11 | 三维超声图像显示方法 |
| CN201710559995.9 | 2017-07-11 | ||
| PCT/CN2018/094311 WO2019011160A1 (zh) | 2017-07-11 | 2018-07-03 | 三维超声图像显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020528302A JP2020528302A (ja) | 2020-09-24 |
| JP7016944B2 true JP7016944B2 (ja) | 2022-02-07 |
Family
ID=65001576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020501253A Active JP7016944B2 (ja) | 2017-07-11 | 2018-07-03 | ３次元超音波画像の表示方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11288848B2 (ja) |
| EP (1) | EP3654292A4 (ja) |
| JP (1) | JP7016944B2 (ja) |
| CN (1) | CN109242947B (ja) |
| AU (1) | AU2018301580B2 (ja) |
| CA (1) | CA3069590A1 (ja) |
| WO (1) | WO2019011160A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114503166A (zh) * | 2019-12-18 | 2022-05-13 | 深圳迈瑞生物医疗电子股份有限公司 | 三维体数据的测量方法、测量系统、医疗器械及存储介质 |
| CN111556255B (zh) * | 2020-04-30 | 2021-10-01 | 华为技术有限公司 | 图像生成方法及装置 |
| CN112818991B (zh) * | 2021-02-18 | 2024-04-09 | 长江存储科技有限责任公司 | 图像处理方法及图像处理装置、电子设备、可读存储介质 |
| CN114209354A (zh) * | 2021-12-20 | 2022-03-22 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像的显示方法、装置、设备及可读存储介质 |
| CN115661285B (zh) * | 2022-10-27 | 2023-09-22 | 东莘电磁科技(成都)有限公司 | 一种规则曲面所受天线时谐近场感应特征图像生成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005118162A (ja) | 2003-10-14 | 2005-05-12 | Olympus Corp | 超音波診断装置 |
| JP2013500089A (ja) | 2009-07-27 | 2013-01-07 | 香港ポリテクニック大学 | 側弯症評価のための三次元（３ｄ）超音波撮像システム |
| JP2013135869A (ja) | 2013-02-18 | 2013-07-11 | Toshiba Corp | 医用画像処理装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2395880B (en) * | 2002-11-27 | 2005-02-02 | Voxar Ltd | Curved multi-planar reformatting of three-dimensional volume data sets |
| EP2353147B1 (en) * | 2008-11-28 | 2021-05-19 | Fujifilm Medical Systems U.S.A. Inc. | System and method for propagation of spine labeling |
| RU2563158C2 (ru) * | 2009-09-11 | 2015-09-20 | Конинклейке Филипс Электроникс Н.В. | Усовершенствования для планарного преобразования криволинейной структуры |
| JP2011182075A (ja) * | 2010-02-26 | 2011-09-15 | Hitachi Consumer Electronics Co Ltd | 画像処理装置 |
| US20120245465A1 (en) * | 2011-03-25 | 2012-09-27 | Joger Hansegard | Method and system for displaying intersection information on a volumetric ultrasound image |
| US9713508B2 (en) * | 2012-04-30 | 2017-07-25 | Christopher Schlenger | Ultrasonic systems and methods for examining and treating spinal conditions |
| CN103417243B (zh) * | 2012-05-24 | 2015-05-27 | 中慧医学成像有限公司 | 一种三维超声成像装置、系统和方法 |
| KR101501518B1 (ko) * | 2012-06-11 | 2015-03-11 | 삼성메디슨 주식회사 | 3차원(3ｄ) 초음파 영상과 2차원(2ｄ) 초음파 영상을 디스플레이하는 방법 및 장치 |
| CN102688071A (zh) * | 2012-06-15 | 2012-09-26 | 华东医院 | 超声浅表组织与器官容积扫描断层成像方法 |
| CN104095651B (zh) * | 2013-04-02 | 2016-01-13 | 中慧医学成像有限公司 | 三维超声成像系统 |
| US20140140598A1 (en) * | 2012-11-21 | 2014-05-22 | General Electric Company | Systems and methods for 2d and 3d image integration and synchronization |
| EP2961324B1 (en) * | 2013-02-28 | 2023-01-11 | Rivanna Medical, Inc. | Systems and methods for ultrasound imaging |
| US9349220B2 (en) * | 2013-03-12 | 2016-05-24 | Kabushiki Kaisha Toshiba | Curve correction in volume data sets |
| CN106061424B (zh) * | 2013-12-20 | 2019-04-30 | 皇家飞利浦有限公司 | 用于跟踪穿刺器械的系统和方法 |
| CN104306021B (zh) * | 2014-10-15 | 2016-08-24 | 北京理工大学 | 全局匹配优化的超声图像三维重建方法 |
| CN105232084B (zh) * | 2015-10-28 | 2017-12-12 | 深圳开立生物医疗科技股份有限公司 | 一种超声三维成像控制方法、成像方法及系统 |
| CN109223045A (zh) * | 2017-07-11 | 2019-01-18 | 中慧医学成像有限公司 | 一种矫形支具的调整方法 |
-
2017
- 2017-07-11 CN CN201710559995.9A patent/CN109242947B/zh active Active
-
2018
- 2018-07-03 CA CA3069590A patent/CA3069590A1/en active Pending
- 2018-07-03 AU AU2018301580A patent/AU2018301580B2/en active Active
- 2018-07-03 WO PCT/CN2018/094311 patent/WO2019011160A1/zh unknown
- 2018-07-03 JP JP2020501253A patent/JP7016944B2/ja active Active
- 2018-07-03 EP EP18831411.6A patent/EP3654292A4/en active Pending
- 2018-07-03 US US16/629,586 patent/US11288848B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005118162A (ja) | 2003-10-14 | 2005-05-12 | Olympus Corp | 超音波診断装置 |
| JP2013500089A (ja) | 2009-07-27 | 2013-01-07 | 香港ポリテクニック大学 | 側弯症評価のための三次元（３ｄ）超音波撮像システム |
| JP2013135869A (ja) | 2013-02-18 | 2013-07-11 | Toshiba Corp | 医用画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020528302A (ja) | 2020-09-24 |
| US11288848B2 (en) | 2022-03-29 |
| US20210110580A1 (en) | 2021-04-15 |
| CN109242947A (zh) | 2019-01-18 |
| WO2019011160A1 (zh) | 2019-01-17 |
| CA3069590A1 (en) | 2019-01-17 |
| AU2018301580A1 (en) | 2020-02-27 |
| CN109242947B (zh) | 2023-07-21 |
| AU2018301580B2 (en) | 2022-08-25 |
| EP3654292A4 (en) | 2021-05-05 |
| EP3654292A1 (en) | 2020-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7016944B2 (ja) | ３次元超音波画像の表示方法 | |
| JP6225235B2 (ja) | 表面走査情報を用いることによる歯科用３次元ｘ線データセットからのアーチファクトの低減及び除去 | |
| CN105705096B (zh) | 用于显示医学图像的方法和设备 | |
| EP1815388B1 (en) | Matching geometry generation and display of mammograms and tomosynthesis images | |
| US20190295250A1 (en) | Method, apparatus and system for reconstructing images of 3d surface | |
| US10049467B2 (en) | Apparatus and method for reconstructing medical image | |
| Xi et al. | Validation of a novel semi-automated method for three-dimensional surface rendering of condyles using cone beam computed tomography data | |
| US20170135655A1 (en) | Facial texture mapping to volume image | |
| DE112016005720T5 (de) | 3D-Visualisierung während Chirurgie mit verringerter Strahlenbelastung | |
| US10470726B2 (en) | Method and apparatus for x-ray scan of occlusal dental casts | |
| US11227415B2 (en) | Method for creating a composite cephalometric image | |
| KR102096561B1 (ko) | 의료 영상 재구성 장치 및 그 방법 | |
| Moore et al. | Dynamic background correction in 3Dt body surface sensing and visualisation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210510 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211122 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211122 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211214 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220126 |