JP6574532B2 - 超音波胎児撮像に対する３ｄ画像合成 - Google Patents

超音波胎児撮像に対する３ｄ画像合成 Download PDF

Info

Publication number
JP6574532B2
JP6574532B2 JP2018555674A JP2018555674A JP6574532B2 JP 6574532 B2 JP6574532 B2 JP 6574532B2 JP 2018555674 A JP2018555674 A JP 2018555674A JP 2018555674 A JP2018555674 A JP 2018555674A JP 6574532 B2 JP6574532 B2 JP 6574532B2
Authority
JP
Japan
Prior art keywords
image
ultrasound
fetus
fetal
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555674A
Other languages
English (en)
Other versions
JP2019514512A (ja
Inventor
トビアス クリンデル
トビアス クリンデル
クリスティアン ローレンツ
クリスティアン ローレンツ
シュテール イリナ ウェヒテル
シュテール イリナ ウェヒテル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019514512A publication Critical patent/JP2019514512A/ja
Application granted granted Critical
Publication of JP6574532B2 publication Critical patent/JP6574532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52098—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging related to workflow protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、胎児を有する対象の体積を検査する超音波撮像装置に関し、特に三次元（３Ｄ）超音波画像データを組み合わせて胎児の空間的に合成された３Ｄ画像にするように構成された超音波撮像装置に関する。本発明は、更に、胎児の３Ｄ超音波画像データを組み合わせて胎児の空間的に合成された３Ｄ画像にする方法に関する。
胎児撮像は、３Ｄ超音波撮像に向けて現在開発している。胎児のより後の在胎期間において、超音波トランスデューサの視野は、図１に示されるように、もはや完全な胎児をカバーしない。結果として、身体の異なる部分が、別々に取得される（例えば、脳、腹部、大腿骨、図３参照）。１つの合成されたビューを得るために、画像縫い合わせ（image stitching）又はモザイキング（mosaicking）は、２Ｄ撮像（例えば、カメラ写真に対するパノラマ表示）に対して広く使用されている既知の技術である。
画像合成に対する１つの主な違いは、胎児撮像の場合、撮像されるのが、静止したシーンではなく、２つの取得の間に（時々広範囲に）動く胎児であるという事実である。これは、画像合成（画像縫い合わせ）を妨げるのみならず、（特に四肢の大きな動きの場合に）モザイキングがもはや実行可能又は妥当ではないシナリオを作成することもできる。この状況は、図４に示され、図４Ａの例において、胎児の腕は、腹部の前に位置するのに対し、図４Ｂの例において、腕は、胎児の顔の前に位置する。この状況において、異なる向きにおいて取得された画像を空間的に縫い合わせることによる標準的な画像合成は、良好な品質の合成画像を提供しない。
したがって、本発明の目的は、位置及び動きに関わりなく胎児の合成３Ｄ画像を提供するために取得された３Ｄ画像データのセットを評価するように構成された改良された超音波撮像システムを提供することである。
本発明の一態様によると、胎児の空間的に合成された画像を生成する超音波撮像システムは、
胎児を有する体積領域の複数の三次元（３Ｄ）超音波画像フレームを受信する入力部であって、各３Ｄ超音波画像フレームが、胎児に対する異なる視線方向（look direction）において超音波プローブにより取得される、前記入力部と、
前記複数の３Ｄ超音波画像フレームに応答する超音波画像プロセッサであって、
前記取得された複数の３Ｄ超音波画像フレーム及び多関節（articulated）胎児モデルを記憶し、前記多関節胎児モデルが共通胎児構造及び少なくとも１つの関節‐肢関係を含み、
前記多関節胎児モデルに基づいて各３Ｄ画像をセグメント化し、前記超音波画像プロセッサは、前記複数の３Ｄ画像フレームの中の他の３Ｄ画像フレームと比較して前記共通胎児構造の変形が検出されるとき、３Ｄ画像フレームに適用される前記多関節胎児モデルを適応させるように更に構成され、
前記セグメント化された画像の前記視線方向に対する前記胎児の識別された相対的な向きを持つ前記体積領域の複数の３Ｄ画像を提供し、
セグメンテーションユニットに結合され、前記多関節胎児モデルに基づいて、前記複数の３Ｄ画像の総合的な信頼値を決定するように分析し、画像品質分析器が、前記総合的な信頼値を画像合成閾値と比較するように更に構成される。
本発明の超音波システムは、所定の体積領域に対して取得された胎児の３Ｄ画像の総合的な品質を評価することを可能にする。この評価は、各３Ｄフレーム取得中に胎児により取られる関節位置の組み込まれた情報に基づいて前記複数の３Ｄ画像の総合的な信頼値を決定することにより行われる。各超音波３Ｄフレームをセグメント化する間に、他の３Ｄ画像フレームと比較した所定の３Ｄフレームにおける前記共通胎児構造の変化は、前記超音波撮像システムが前記所定の３Ｄ画像フレームに適用される前記多関節胎児モデルを適応させることを可能にする場合に、検出されることができる。場合により、胎児の相対的な向きは、３Ｄ画像ごとに実質的に反対の方向の間で変化しうる。このような場合に対して、一部の３Ｄ画像フレームを再取得することは、ユーザに低品質の合成画像を与えるより良いかもしれない。したがって、前記システムの前記画像品質分析器は、前記決定された総合的な信頼値を画像合成閾値と比較するように構成され、前記閾値の上では、胎児の空間的に合成された３Ｄ画像が、前記体積領域の改良された視覚化を提供する。本発明のシステムは、前記ユーザに、いつ前記総合的な信頼値が前記画像合成閾値より低いかを通知するユーザフィードバック機能を更に含んでもよい。これは、ユーザに、追加の３Ｄ画像フレーム取得を実行するか又は時間が制限要因である場合に選択された診断プロトコルの残りを続行するかのいずれかの追加の柔軟性を提供する。
この超音波システムの利益は、前記共通胎児構造及び少なくとも１つの関節‐肢関係を含む前記多関節胎児モデルを、前記３Ｄ画像フレームのセグメンテーションプロセス中の前記モデルの後の適応と組み合わせて、使用することにある。これは、前記超音波システムが、前記複数の三次元（３Ｄ）超音波画像フレームの取得中に生じたかもしれない胎児姿勢変化の程度を自動的に評価することを可能にする。後に取得されたフレーム間の前記共通胎児構造が、実質的に異なり、前記モデルの適応が、前記複数の３Ｄ画像の前記総合的な信頼値の低減を引き起こす場合、前記ユーザは、通知されうる。
本発明の他の態様によると、前記超音波撮像システムは、前記総合的な信頼値が前記画像合成閾値の上である場合に、胎児の空間的に合成された３Ｄ画像を提供するように構成された空間画像結合器を更に有し、前記合成された３Ｄ画像の異なる領域は、前記複数の３Ｄ画像からの寄与に基づいて形成される。
本発明の他の態様によると、胎児を有する体積領域を検査する医療撮像方法が、提供され、前記方法は、
‐胎児を持つ体積領域の複数の三次元（３Ｄ）超音波画像フレームを受信するステップであって、各３Ｄ超音波画像フレームが、超音波プローブから、前記胎児に対する異なる視線方向において取得される、ステップと、
‐前記取得された複数の３Ｄ超音波画像フレーム及び共通胎児構造を持つ多関節胎児モデルを記憶するステップであって、前記多関節胎児モデルが、共通胎児構造及び少なくとも１つの関節‐肢関係を含む、ステップと、
‐前記多関節胎児モデルに基づいて各３Ｄ画像をセグメント化するステップと、
‐前記複数の３Ｄ画像フレームの中の他の３Ｄ画像フレームと比較した前記共通胎児構造の変化が検出される場合に、３Ｄ画像フレームに対して適用される前記多関節胎児モデルを適応させるステップと、
‐前記セグメント化された画像の前記視線方向に対する前記胎児の識別された相対的な向きを持つ前記体積領域の複数の３Ｄ画像を提供するステップと、
‐前記胎児の空間的に合成された３Ｄ画像を提供するステップであって、前記合成された３Ｄ画像の異なる領域が、前記複数の３Ｄ画像からの寄与に基づいて形成される、ステップと、
を有する。
本発明の好適な実施例は、従属請求項において規定される。請求された方法が、従属請求項において規定されるように、請求された装置と同様の及び／又は同一の好適な実施例を持つと、理解されるべきである。
本発明は、改良された画像品質を持つ胎児の合成された３Ｄ画像を生成する新規の方法を更に提供する。提案された方法は、前記取得された３Ｄ画像フレーム間の胎児の動きに対してロバストである。本発明による超音波システムは、胎児身体の可変部分が胴体に対する相対的な位置を変化しうる極端な胎児の動きさえ補償することを可能にし、この胎児の改良された合成された３Ｄ画像を提供する。これは、各３Ｄフレーム取得中に胎児により取られる関節位置に関する情報を組み込むことにより達成される。前記多関節胎児モデルは、前記共通胎児構造及び少なくとも１つの関節‐肢関係、このようにして胎児に対する詳細を含み、動き及び前記総合的な信頼値に対する前記動きの効果が、評価されることができる。これらの動きは、関節‐肢の動きのような比較的小さな姿勢変化又は反対方向への胎児の向きの変化を含むことができる。この情報は、本発明の超音波システムが複数の３Ｄ超音波画像を提供することを可能にし、前記視線方向に対する前記胎児の相対的な向きは、各３Ｄフレームに対して識別される。更に、一度前記総合的な信頼値が前記画像合成閾値の上であると、前記システムは、前記空間的に合成された３Ｄ画像を生成するように構成され、異なる領域は、前記複数の３Ｄ超音波画像からの寄与に基づいて形成される。結果的に、前記胎児の高品質の合成された超音波画像が、少ない技術的努力でリアルタイムで提供されることができ、前記超音波画像の取得が、より快適になり、品質が増大される。
本発明の他の実施例において、前記総合的な信頼値は、信頼値の空間的結合を含み、各信頼値は、前記複数の３Ｄ画像からの３Ｄ画像に対応し、前記空間画像結合器は、前記胎児の前記空間的に合成された３Ｄ画像を提供するように構成され、前記合成された３Ｄ画像の異なる領域は、前記複数の３Ｄ画像からの前記３Ｄ画像の異なる信頼値に基づいて重みづけされる。
この実施例において、前記システムは、所定の共通胎児構造に対する異なる３Ｄフレームに対する信頼値を決定することができる。前記画像品質分析器は、更に、各取得された３Ｄフレームの画像品質を分析し、この分析に基づいて対応する信頼値を決定してもよい。この実施例において、前記システムは、前記合成された３Ｄ画像を提供し、これに寄与する各３Ｄ画像は、その信頼値によって重みづけされる。したがって、アーチファクトによる誤った臨床診断は、減少されることができ、胎児超音波撮像の信頼性は、増大される。
他の実施例において、前記複数の３Ｄ超音波画像フレームは、更に、部分的３Ｄ画像フレームの集合を有し、各部分的３Ｄ超音波画像フレームは、前記胎児の一部を含む前記体積領域に対応する。
この実施例は、全ての取得された３Ｄ超音波フレームにおいて、胎児が完全に視覚化されるわけではない可能性を考慮に入れる。これらの部分的３Ｄ画像フレームは、胎児の一部のみを含む。
他の実施例において、前記超音波画像プロセッサは、各フレームに含まれる胎児の部分に基づいて前記部分的３Ｄ画像フレームの各々に適用される前記多関節胎児モデルを適応させるように構成される胎児セグメンテーションユニットを有する。
この実施例は、前記部分的フレームの各々において視覚化される胎児生体構造の部分によって、前記セグメンテーションに対して使用される、前記多関節モデルを適応させることにより前記合成された３Ｄ画像品質の更なる改良を提供する。このステップは、前記部分的３Ｄ画像フレームから生じるそれぞれの３Ｄ画像に対応する信頼値をより詳細に決定することを可能にする。前記多関節胎児モデルの適応は、例えば、前記共通胎児構造の関節‐肢関係を変化させることを含んでもよい。
他の実施例において、前記システムは、前記超音波画像プロセッサに結合され、前記３Ｄ画像フレーム内の少なくとも１つのアンカーランドマーク（anchor landmark）のユーザ手動識別に応答するユーザインタフェースを更に有し、前記ユーザインタフェースは、前記多関節胎児モデルの適応に対する入力として前記３Ｄ画像フレーム内の車軸関節のような前記アンカーランドマークの識別された場所を提供するように構成される。
この実施例は、前記システムが前記多関節胎児モデルの適応に対してユーザの入力を使用することを可能にする。前記ユーザは、前記３Ｄ画像フレーム内のアンカーランドマークを識別することができる。手動入力の可能性は、前記多関節胎児モデルのより正確かつ迅速な適応を容易化しうる。
他の実施例において、前記超音波画像プロセッサは、異なる胎児関節を用いてセグメント化された３Ｄフレームから生じる３Ｄ画像に対応する信頼値に対して比較的高い、同じ胎児関節を用いてセグメント化された３Ｄフレームから生じる前記３Ｄ画像の信頼値を決定するように構成された画像品質分析器を有する。
改良された合成３Ｄ画像は、同じ胎児姿勢を持つ３Ｄ画像（同じ関節を持つ胎児画像）を結合することにより達成されることができる。したがって、この実施例の利点は、前記合成された３Ｄ画像に対して使用される、（前記フレーム取得間の胎児の動きにより）所定の胎児構造とは異なる胎児構造を持つ３Ｄ画像が、識別され、低い信頼値を与えられることができることである。これらの比較的低い信頼値を持つ３Ｄ画像の重みは、前記合成された３Ｄ画像において適宜に減少される。
他の実施例において、前記システムは、前記合成された３Ｄ画像及び前記体積領域に対する前記胎児の基準向きモデルを表示するように動作されるディスプレイを更に有する。
この実施例は、前記胎児の基準向きモデルを表示することにより前記合成された３Ｄ画像の視覚化を改良する。前記基準向きモデルは、前記合成された３Ｄ画像の隣に別の窓内に示されるか、又は前記合成された３Ｄ画像に挿入されるかのいずれかであることができる。このようにして、前記ユーザは、前記プローブに対する前記胎児の位置及び向きのより良い空間的感覚を得てもよい。
他の実施例において、前記システムは、前記超音波画像プロセッサに結合されたユーザインタフェースを更に有し、前記ユーザインタフェースは、前記ユーザが、表示された前記空間的に合成された３Ｄ画像に基づいて前記胎児のバイオメトリクス測定を実行することを可能にするように構成される。
本発明によって提供される改良された品質の合成された３Ｄ画像は、前記システムが、産科超音波において使用される胎児のより正確なバイオメトリクス測定を実行する可能性を前記ユーザに提供することを可能にする。
本発明のこれら及び他の態様は、以下に記載される実施例を参照して説明され、明らかになる。
胎児を含む患者の身体の体積をスキャンするのに使用する超音波撮像システムの概略的表現を示す。 異なる視線（視野）方向において取得された胎児を有する体積領域の異なる超音波フレームの概略図を示す。 異なる視線（視野）方向において取得された胎児を有する体積領域の異なる部分的３Ｄフレームの概略図を示す。 胎児の異なる関節構造を示す。 胎児の異なる関節構造を示す。 本発明の原理によって構成された超音波診断撮像システムをブロック図形式で示す。 胎児の関節モデルの表現を示す。 本発明の実施における取得された３Ｄ画像フレーム記憶に対して使用されるデュアルポートメモリを示す。 識別されたアンカーランドマークを持つ胎児の代表的な医療画像を示す。 識別されたアンカーランドマークを持つ胎児の代表的な医療画像を示す。 ユーザに対して表示される胎児の基準向きモデルを示す。 本発明による方法のワークフロー図である。
図１は、概して１００により示される一実施例による超音波撮像システムの概略図を示す。超音波撮像システム１００は、解剖学的サイト、特に胎児８を含む患者１３の解剖学的サイトの体積領域を検査するのに使用される。超音波撮像システム１００は、超音波を送信及び／又は受信する多数のトランスデューサ素子を持つ少なくとも１つのトランスデューサアレイを持つ超音波プローブ１０を有する。前記トランスデューサ素子は、好ましくは、前記体積領域の三次元超音波画像フレームが提供されるように前記体積領域内で超音波ビームを電子的にステアリングするように構成される二次元（２Ｄ）アレイに配置される。代わりに、前記アレイは、三次元超音波画像フレームを提供するために前記体積領域を機械的にステアリングされるように構成された一次元（１Ｄ）アレイであってもよい。プローブ１０は、特定の方向において超音波を送信し、超音波プローブ１０の所定の３Ｄ画像フレームに対する視野６を形成する特定の方向からの超音波を受信するように構成される。
図１に示される実施例において、患者１３は、妊娠した人であり、検査されるべき解剖学的対象は、胎児８であり、胎児８の一部は、視野６内に配置される。
胎児は、非静止対象を表すので、その位置は、３Ｄ画像フレームごとに変化することができる。加えて、組織内の超音波伝搬の物理によって、一部の領域は、超音波伝搬経路内の他の解剖学的構造により陰にされうる又はマスクされうるので、視野６内の特定の領域は、胎児８の解剖学的構造を反映しないかもしれない。更に、胎児のより遅い在胎期間において、前記超音波トランスデューサの視野６は、もはや全体的な胎児身体を含まない。以下に記載されるように、本発明による超音波システム１００は、所定の診断プロトコルに対して取得された前記３Ｄ画像フレームの総合的な品質を評価することができる。一度総合的な信頼値により表される前記評価された品質が、前記胎児の合成された３Ｄ画像の生成に対して十分であると、本発明の超音波システムは、画像品質欠陥の量が減少されることができるように異なる視野方向において取得された複数の３Ｄ画像フレームから生じる３Ｄ超音波画像を結合することにより合成された３Ｄ超音波画像を生成するように構成される。
ステアリングされたビームの異なるプローブ位置又は角度でプローブ１０により取得された超音波データが、品質のばらつきを持ち、したがって診断において異なる信頼値を表す超音波画像フレームを生じることは、産科検査において一般的である。超音波撮像システム１００は、前記プローブ又はプローブ１０により取得された超音波画像データが受信される入力部のいずれかを有してもよい。前記システムは、超音波システム１００を介する超音波画像の提供を制御する制御ユニットのような超音波撮像装置２００を更に有してもよい。以下に更に説明されるように、超音波撮像装置２００は、超音波プローブ１０のトランスデューサアレイからの入力により超音波画像データを受信してもよく、胎児８の異なる超音波データセットから得られた合成三次元（３Ｄ）超音波画像を提供する。
超音波撮像システム１００は、超音波撮像装置２００から受信された超音波画像を表示するディスプレイ５０を更に有してもよい。更に、キー又はキーボード及び入力装置を有してもよく、ディスプレイ５０に又は直接的に超音波撮像装置２００に接続されてもよいユーザインタフェース２０が、設けられてもよい。
図２において、胎児８を有する体積領域に対する異なる視野方向からの超音波画像フレームの取得を説明する概略的な斜視図が示される。プローブ１０は、胎児８が視野６、６'内で異なる向きにされるように異なる視野方向から異なる超音波フレーム２６、２８を取得するために矢印２５により示されるように患者身体１３の周りでシフトされる。これらの３Ｄフレームは、前記胎児が前記プローブのシフト中に動いた場合に、前記胎児の異なる姿勢を獲得してもよく、前記フレームは、減少されることができる超音波の伝搬方向によって陰にされる又は暗くされる異なる領域を有してもよい。代替的なワークフロー実施例において、胎児に対する異なる視線方向における複数の画像の取得は、前記患者の身体に対して固定されたプローブの位置において実行される超音波ビームステアリング（電子的又は機械的のいずれか）を用いて達成されうる。
高品質超音波画像を提供するために、超音波撮像装置２００は、視野６、６'において識別された異なる空間的基準に基づいて、異なる視線（視野）方向の異なる超音波フレーム２６、２８を結合して、合成された３Ｄ超音波画像にするように構成される。前記空間的基準は、以下に詳細に記載されるように胎児８のセグメント化された解剖学的構造に基づいて識別される。
図３を参照すると、超音波プローブ１０は、１、２、３及び４により示され、胎児に対する異なる視線方向に対応する複数の３Ｄ超音波画像フレームを取得することができる。全てのフレーム又はこれらのフレームの一部（集合）は、部分的３Ｄ画像フレームであってもよく、前記部分的フレームの各々は、図３に示されるように前記胎児の一部を含む。これらの部分的３Ｄ画像フレームは、所定の視線方向に対する視野に含まれる前記胎児の特定の生体構造の画像データを有する。この状況は、胎児サイズが前記プローブの視野より大きいかもしれない場合に、より遅い在胎期間においてしばしば生じうる。
前記３Ｄ画像フレームは、所定のフレームの視野により視覚化される胎児生体構造の部分に依存して画像品質が変化しうる。加えて、胎児姿勢（関節）は、図４Ａ−Ｂに示されるようにフレーム間で変化することができる。図５において詳細に以下に記載されるように、本発明の超音波システムは、前記取得された３Ｄ画像フレーム間の胎児の動きに対してロバストである、改良された画像品質を持つ前記胎児の合成された３Ｄ画像を生成することを可能にする。超音波システム１００は、前記取得された複数の３Ｄ超音波画像フレーム及び共通胎児構造を持つ多関節胎児モデルのデータを記憶するように構成された合成画像メモリ３２を有する。
前記多関節胎児モデルは、胎児身体の総合的な向き及び関節構成の可変性を考慮に入れる。このモデルは、胎児骨格の最も重要な関節をカバーし、動きの範囲（最小／最大角度）を含む関節ごとの自由度を規定する。前記モデルの実装は、一般的に関節（ｊ）−肢（Ｌ）関係を使用して行われる。前記共通胎児構造を規定することにより、胎児を有する三次元データセットが、セグメント化されることができる。このアイデアは、合成例に対して図６に示される。前記多関節胎児モデルは、各関節に対してそれぞれの関節パラメータ（回転点及び角度）を与え、したがって総合的な構成を規定する。このモデルにおいて、以下の仮定が、使用されうる。各肢は、形状を持ち、各肢は、販売可能（saleable）であることができ、親関節を持つことができ、子関節のリストを持つことができる。各関節は、蝶番又は球関節であることができ、（この関節に対する）静止した肢を持ち、柔軟な肢を持つ。したがって、関節は、回転点、回転軸及び角度値の最小／最大により規定されることができる。胎児位置は、それぞれの関節の場所及び回転パラメータを規定する座標系により与えられる。この入力に基づいて、医療画像内の実際の胎児姿勢位置（関節）は、所望の位置にフィットするように逆運動学を使用して決定されることができる。逆問題を解く場合、自由度は、関節ごとに考慮される。
図５は、本発明によって構成された超音波撮像システム１００の詳細な概略的ブロック図を示す。トランスデューサアレイ１２を含むプローブ１０は、破線の長方形及び平行四辺形により示される画像フィールド上に異なる角度でビームを送信する。この例において、複数の画像フレームを形成するスキャンラインの３つのグループは、Ａ、Ｂ及びＣとラベル付けされて、図面に示され、各グループは、前記プローブに対して異なる角度でステアリングされる。図３に示された例と対照的に、１、２、３及び４として示される３Ｄフレームは、（図２の場合と同様に）プローブ１０をシフトすることにより取得され、図５においてＡ、Ｂ及びＣとしてラベル付けされた３Ｄ画像フレームは、電子的にステアリングされる超音波ビームにより取得される。前記ビームの送信は、所定の角度で前記アレイに沿って所定の原点から各ビームを送信するように前記アレイトランスデューサの素子の各々の作動の位相整合及び時間を制御する送信器１４により制御される。各スキャンラインに沿って返されるエコーは、前記アレイの素子により受信され、アナログ・デジタル変換によりデジタル化され、デジタルビームフォーマ１６に結合される。前記デジタルビームフォーマは、前記アレイ素子からのエコーを遅延及び合計し、各スキャンラインに沿ったフォーカスされたコヒーレントデジタルエコーサンプルのシーケンスを形成する。送信器１４及びビームフォーマ１６は、前記超音波システムの使用により動作されるユーザインタフェース２０上の制御の設定に応答するシステムコントローラ１８の制御下で動作される。前記システムコントローラは、所望の角度、送信エネルギ及び周波数における所望の数のスキャンライングループを送信するように前記送信器を制御する。前記システムコントローラは、使用される開口及び画像深度に対する受信されたエコー信号を適切に遅延及び結合するように前記デジタルビームフォーマをも制御する。スキャンラインエコー信号は、関心のある周波数の帯域を規定するプログラム可能デジタルフィルタ２２によりフィルタリングされる。高調波造影剤を撮像する又は組織高調波撮像を実行する場合、フィルタ２２の通過帯域は、送信帯域の高調波を通過するように設定される。前記フィルタリングされた信号は、この場合、検出器２４により検出される。好適な実施例において、前記フィルタ及び検出器は、前記受信された信号が、複数の通過帯域に分離され、個別に検出され、周波数合成により画像スペックルを減少するように再結合されるように複数のフィルタ及び検出器を含む。Ｂモード撮像に対して、検出器２４は、エコー信号エンベロープの振幅検出を実行する。ドップラ撮像に対して、エコーのアンサンブルが、前記画像内の各点に対してアセンブルされ、ドップラシフト又はドップラパワー強度を推定するようにドップラ処理される。
本発明の原理によると、デジタルエコー信号は、超音波画像プロセッサ３０において空間的に合成することにより処理される。図５に示される実施例において、前記超音波画像プロセッサは、合成画像メモリ３２ユニットを有する。他のシステムの実現において、このユニットは、プロセッサ３０の外側に配置されることもできる。合成画像メモリ３２は、３Ｄフレーム記憶バッファであり、同時に書き込まれ、読み出されることができるデュアルポートメモリ１６０として実装されることができる（図７）。このようなＲ／Ｗメモリの使用は、前記メモリに以前に記憶された他の３Ｄ画像フレームのデータが読み出され、分析される間に、新しい３Ｄ超音波画像フレームが、前記トランスデューサアレイ及びビームフォーマにより取得され、前記Ｒ／Ｗメモリの１つの領域に書き込まれることを可能にする。メモリ１６０内への新しいスライス画像データの書き込みは、書き込みアドレスコントローラ１６２ａにより制御され、前記メモリ内の他の場所からのスライス画像データの読み出しは、読み出しアドレスコントローラ１６２ｂの制御下である。この実施例は、どのようにしてリアルタイム画像分析及び合成が実行されうるかを示す。合成画像メモリユニット３２は、更に、規定された共通胎児構造を持つ前記多関節胎児モデルを記憶する。
前記超音波画像プロセッサは、メモリユニット３２に記憶された前記多関節胎児モデルに基づいて各３Ｄ画像フレームをセグメント化するように構成されたセグメンテーションユニット３４を有してもよい。セグメンテーションユニット３４モデルは、これにより、前記体積領域の前記複数の３Ｄフレーム（図５に示されるＡ、Ｂ及びＣ又は図３に示される１、２、３、４）から生じる複数の３Ｄ画像を提供し、前記視線方向に対する前記胎児の相対的な向きは、各３Ｄ画像に対して識別される。前記３Ｄ画像にリンクづけされた前記胎児の相対的な向きは、前記取得された３Ｄフレーム間の空間的関係を与える。セグメンテーションユニット３４は、更に、前記複数の３Ｄ画像フレームの中の他の３Ｄ画像フレームと比較した前記共通胎児構造の変化が検出される場合に、異なる３Ｄ画像に適用される前記多関節胎児モデルを適応させることを可能にする。前記多関節胎児モデルは、前記共通胎児構造及び少なくとも１つの関節‐肢関係、このようにして前記胎児の詳細を含み、動き及び前記総合的な画像品質に対する前記動きの効果のセットが、評価されることができる。これらの動きは、関節‐肢関係のような比較的小さな姿勢変化又は反対方向への胎児の向きの変化を含むことができる。
この複数の空間的に関連付けられた３Ｄ画像は、前記複数の３Ｄ画像の総合的な信頼値を決定するように構成された画像品質分析器３４により更に処理されてもよい。前記取得された３Ｄフレームの画像品質は、視線ごとに異なりうる。超音波画像プロセッサ３０は、超音波システム１００が、前記複数の三次元（３Ｄ）超音波画像フレームの取得中に生じたかもしれない胎児姿勢変化の程度を自動的に評価することを可能にする。後で取得されたフレーム間の前記共通胎児構造が、実質的に変化し、前記モデルの適応が、前記複数の３Ｄ画像の総合的な信頼値の低減を引き起こす場合、前記ユーザは、通知されうる。前記胎児の解剖学的フィーチャの一部は、送信及び反射されたエコー信号の変化により所定の３Ｄフレームに対してあまりはっきりしなくてもよい。したがって、特定の胎児生体構造観察（例えば、神経超音波検査（neurosonogram））を対象とするユーザにより選択された診断プロトコルに依存して、品質分析器３４は、これらの３Ｄ画像に対して比較的低い信頼値を示してもよく、前記特定の生体構造は、完全には視覚化されない。前記特定の生体構造が良好に顕著であるフレームに対応する３Ｄ画像が、比較的高い信頼値を示されてもよい。従来のシステムと比較して、前記品質分析器は、胎児関節情報をセグメンテーションステップ内に実装することにより改良される。更に、品質分析器３４は、また、前記３Ｄフレーム取得中に又はその合間に生じうる起こりうる胎児の動きを識別するようにも構成される。所定の３Ｄ画像フレームに対する胎児構造が、前記複数の３Ｄ画像フレームの残りに対して識別された前記共通胎児構造と比較して変化する場合、品質分析器３４は、前記３Ｄ画像に対して比較的低い信頼値を示し、前記動きが識別される。したがって、同じ胎児関節を用いてセグメント化された３Ｄフレームから生じる３Ｄ画像は、異なる胎児関節を用いてセグメント化された３Ｄフレームから生じる３Ｄ画像と比較して相対的に高い信頼値を持つ。分析器３４により決定された前記複数の３Ｄ画像の総合的な信頼値は、前記３Ｄ画像フレームから生じる信頼値の空間的結合に基づき、各値は、前記複数の３Ｄ画像からの３Ｄ画像に対応する。前記総合的な信頼値を得るために、これらの信頼値は、前記体積領域を通して合計されるか又は平均されるかのいずれかでありうる。画像品質分析器３４は、前記決定された総合的な信頼値を画像合成閾値と比較するように更に構成される。この閾値は、下限を反映することができ、前記下限の下で、空間的に合成された３Ｄ画像は、診断に対して改良された品質を提供しない。前記閾値は、選択された診断プロトコル及び前記プロトコルにより実行された特定の胎児生体構造（検査中に視覚化されることを期待される解剖学的フィーチャ）の観察に対する画像品質要件により規定されることができる。したがって、前記超音波画像プロセッサにより提供される前記総合的な信頼値は、異なる診断プロトコルが選択される場合に、同じ複数の３Ｄ画像フレームに対して異なってもよい。本発明のシステムは、画像品質評価において追加の柔軟性を持ち、前記取得された複数の画像の診断目的が、自動的に考慮に入れられる。一部の診断プロトコルに対して、前記取得中の胎児の動きの発生は、前記診断の品質に影響を与えうるが、他の診断プロトコルに対して、同じ動きは、実質的な影響を持たない。
前記総合的な信頼値が、前記画像合成閾値の下であると決定される場合、本発明の超音波システムは、前記ユーザに、前記取得された３Ｄフレームの品質が前記３Ｄ画像合成に対して十分ではないことを示すフィードバックを提供するように構成される。この段階において、前記ユーザは、再び３Ｄフレーム取得を実行するか又は前記プロトコルの次に進むかを決定することができる。品質分析の後に、前記空間的３Ｄ画像は、空間的画像結合器３８により合成される。結合は、合計、平均、ピーク検出、又は他の結合手段を有してもよい。前記結合器は、前記胎児の空間的に合成された３Ｄ画像を提供するように構成され、前記合成された３Ｄ画像の異なる領域は、前記複数の３Ｄ画像からの寄与に基づいて形成される。結合される前記画像は、前記処理のこのステップにおいて結合する前に信頼値に基づいて重みづけされてもよい。所定の胎児構造とは異なる胎児構造を持つ３Ｄ画像及び／又はあまりはっきりしない所望の胎児構造を持つ３Ｄ画像は、低い信頼値を持つ。これらの３Ｄ画像の重みは、前記合成された３Ｄ画像において適宜に低減されうる。したがって、前記胎児の改良された品質の合成された３Ｄ画像を提供する。これは、アーチファクトによる誤った臨床診断が減少され、胎児超音波撮像の信頼性を増大させる結果となる。
最後に、後処理が、前記プロセッサにより実行される。前記プロセッサは、前記結合された値を表示範囲の値に正規化する。この処理は、ルックアップテーブルにより最も容易に実施されることができ、前記合成された画像の表示に対して適切な値の範囲に対する合成値の範囲の圧縮及びマッピングを同時に実行することができる。合成プロセスは、推定データ空間において又は表示画素空間において実行されてもよい。後処理に加えて、レイライン（raylines）が、体積レンダリングに対するレイキャスティング（raycasting）の様式で複数の３Ｄ画像を通して数学的に投影されることができる。本発明の空間的に合成された３Ｄ画像は、胎児の体積レンダリングに適した改良された画像品質データを提供する。好適な実施例において、スキャン変換は、スキャンコンバータ４０により前記合成プロセスに続いて行われる。前記合成された画像は、推定又は表示画素形式のいずれかでシネループメモリ４２に記憶されてもよい。推定形式で記憶される場合、前記画像は、表示のために前記シネループメモリから再生されるときにスキャン変換されうる。前記スキャンコンバータ及びシネループメモリは、米国特許５４８５８４２号及び第５８６０９２４号に記載されるように、空間的に合成された画像の三次元表現をレンダリングするのに使用されてもよい。スキャン変換に続いて、前記空間的に合成された画像は、ビデオプロセッサ４４により表示のために処理され、画像ディスプレイ５０に表示される。
前記合成された３Ｄ画像の品質の改良は、異なる３Ｄ画像に適用される前記多関節胎児モデルを適応させることにより達成されることができる。これは、前記複数の３Ｄ画像フレームが、胎児の一部を含む体積領域に対応する部分的３Ｄ画像フレームの集合を持つ場合に有益である。この場合、胎児セグメンテーションユニットは、これらの部分的フレームを検出し、このフレームに含まれる胎児の一部（生体構造）に基づいて前記部分的フレームに対して前記多関節モデルを適応させる。
この実施例において、前記多関節モデル適応は、前記モデルを前記部分的画像により取得された解剖学的情報にフィットするように総合的な配置を見つけることを含む。前記モデルを適応させる１つの可能性は、前記ユーザに（ユーザインタフェース２０を介して）前記画像内のアンカーランドマーク、例えば車軸関節を手動で識別するようにさせることによる。このランドマークは、各詳細に対して前記多関節胎児モデルの適応のためにセグメンテーションユニット３４に対する入力として更に使用される。前記多関節モデル適応の一例は、図８Ａ及び８Ｂにおいて磁気共鳴画像に対して示される。これらの図は、アンカーランドマークに対する前記配置モデルの適応を示す。これらのランドマーク（十字）は、手動又は自動のいずれかで識別されることができる。前記ランドマークに対して前記モデルを適応させることにより、図９に示される総合的な構成が、見つけられる。
前記多関節モデルにおいて獲得された予備知識を用いて、更に、前記決定された構成が前記モデルと一致することを保証することにより、一部のランドマークが誤ってセットされる／欠けている場合でさえ、前記モデルを適応させることを可能にする。同様のワークフローは、前記部分的３Ｄ画像において使用される前記多関節モデル適応に対して実行されることができる。
前記モデル適応は、正確な与えられた問題に依存して別々に行われることができる。例えば、肢ごとに検出された複数のランドマークが存在することができ、ランドマークは、ラベル付けされる又はラベル付けされないことが可能である（すなわち、前記ランドマークがいずれの解剖学的構造に属するかが既知である）、又は前記検出されたランドマークは、どれくらいの可能性でこのランドマークが解剖学的構造に属するかの確率を持つことができる。正確な問題とは独立に、適応は、階層的に実行される。根（root）から始めて、適応は、肢ごとに連続的に実行され、各ステップにおいて、現在の肢が見つけられたランドマークにマッチするように変換が推定される。再び、前記変換の推定のために、様々な可能性が存在し、例えば、前記肢において規定され、目標ランドマークに対応するランドマーク間の二乗距離の和の閉形式解を見つけること又は反復的最適化である。
前記合成された３Ｄ画像は、胎児の合成に対して使用される前記多関節モデルと一緒に表示されてもよい。代わりに、前記合成された３Ｄ画像は、体積レンダリングされた胎児画像と一緒に表示されてもよい。前記多関節胎児モデル（又はレンダリングされた体積画像）は、前記合成された３Ｄ画像の隣の別の窓に示されるか、又は前記合成された３Ｄ画像に挿入されるかのいずれかあることができる。このようにして、前記ユーザは、前記プローブに対する前記胎児の位置及び向きのより良い空間的感覚を得るかもしれない。
前記ディスプレイは、更に、前記合成された３Ｄ画像の異なる領域内の信頼値分布を視覚化する。前記信頼値分布は、例えば、色表示により与えられることができ、色スケールは、低信頼値を持つ３Ｄ画像により合成された領域に対応する赤から、高信頼値を持つ３Ｄ画像により合成された領域に対応する緑まで変化する。前記ユーザは、総合的な合成された３Ｄ画像を視覚的に評価する機会を与えられる。前記ユーザは、前記合成された画像内の特定の領域が、低信頼値を持つ画像に基づいて合成された場合には、常に新しい３Ｄフレーム取得を実行することを決定することができる。
図１０において、本発明による方法３００のワークフロー図が、示される。ステップ３０１において、胎児を有する体積領域の複数の３Ｄ超音波画像フレームが、取得され、代替的には、前記超音波システムは、前記入力部を介して前記複数の３Ｄ超音波画像フレームを受信してもよい。各３Ｄ超音波画像フレームは、前記胎児に対して異なる視線方向において取得される。ステップ３０２において、前記取得された複数の３Ｄ超音波画像フレームは、共通胎児構造を持つ多関節胎児モデルと一緒に、合成画像メモリ３２に記憶される。ステップ３０３において、前記多関節胎児モデルに基づく各３Ｄ画像フレームのセグメンテーションが、実行される。このステップにおいて、前記セグメント化された画像の前記視線方向に対する前記胎児の識別された相対的な向きを持つ前記体積領域の複数の３Ｄ画像が、実行される。セグメンテーションに加えて、前記複数の３Ｄ画像フレームの中の他の３Ｄ画像フレームと比較して３Ｄフレームの前記共通胎児構造の変化の検出が、ステップ３０８において実行され、更にこのステップにおいて、各部分的フレームに対して使用される前記多関節モデルは、前記フレームに含まれる胎児生体構造の一部に基づいて適応されることができる。
ステップ３０４において、前記システムは、前記多関節胎児モデルに基づいて総合的な信頼値を決定する。前記総合的な信頼値は、画像合成閾値と比較される。前記総合的な値が、前記画像合成閾値の下である場合、ステップ３０５において、前記システムは、３Ｄ画像合成の目的に対して低品質の３Ｄフレームが取得されたという事実に関して通知するフィードバックを前記ユーザに与える。この段階において、前記ユーザは、前記ステップのシーケンスを最初から繰り返すことを決定することができる。前記総合的な値が、前記画像合成閾値の上である場合、ステップ３０６において、前記システムは、前記共通胎児構造に対して前記３Ｄ画像の各々を重みづけ及び位置合わせしてもよい。
最終的に、ステップ３０７において、前記胎児の空間的に合成された３Ｄ画像が、提供される。この空間的に合成された３Ｄ画像において、異なる領域は、前記複数の３Ｄ画像からの寄与に基づいて形成される。ステップ３０６が実行される場合、前記胎児の前記空間的に合成された３Ｄ画像は、ステップ３０６において決定された前記３Ｄ画像からの重みづけされた寄与に基づいて前記合成された３Ｄ画像の異なる領域の形成を含む。
本発明は、図面及び先行する記載において詳細に図示及び記載されているが、このような図示及び記載は、限定的ではなく、説明用又は典型的であると見なされるべきであり、本発明は、開示された実施例に限定されない。開示された実施例に対する他の変形例は、図面、開示及び添付の請求項の検討から、請求された発明を実施する当業者により理解及び達成されることができる。
請求項において、単語「有する」は、他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は、複数を除外しない。単一の要素又は他のユニットが、請求項に記載された複数のアイテムの機能を満たしてもよい。特定の方策が相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組み合わせが有利に使用されることができないことを示さない。
コンピュータプログラムは、他のハードウェアと一緒に又は一部として供給される光記憶媒体又は半導体媒体のような適切な媒体に記憶／分配されてもよいが、インターネット又は他の有線若しくは無線電気通信システムを介するような他の形式で分配されてもよい。
請求項内のいかなる参照符号も、範囲を限定すると解釈されるべきではない。

Claims (17)

  1. 胎児の空間的に合成された画像を生成する超音波撮像システムにおいて、
    前記胎児を有する体積領域の複数の三次元（３Ｄ）超音波画像フレームを受信する入力部であって、各３Ｄ超音波画像フレームが、超音波プローブを用いて前記胎児に対して異なる視線方向において取得される、前記入力部と、
    前記複数の３Ｄ超音波画像フレームに応答する超音波画像プロセッサであって、前記プロセッサが、
    前記取得された複数の３Ｄ超音波画像フレーム及び多関節胎児モデルを記憶し、前記多関節胎児モデルが、少なくとも１つの関節‐肢関係を含み、
    前記多関節胎児モデルに基づいて各３Ｄ画像フレームをセグメント化し、前記超音波画像プロセッサは、前記３Ｄ画像フレームに含まれる胎児構造に基づいて前記３Ｄ画像フレームに適用される前記多関節胎児モデルを適応させるように構成され、
    前記セグメント化された画像の前記視線方向に対する前記胎児の識別された相対的な向きを持つ前記体積領域の複数の３Ｄ画像を提供し、
    前記多関節胎児モデルに基づいて、前記複数の３Ｄ画像の総合的な信頼値を分析し、画像品質分析器が、前記総合的な信頼値を画像合成閾値と比較するように構成される、
    ように構成される、
    超音波撮像システム。
  2. 前記総合的な信頼値が前記画像合成閾値の上である場合に、前記胎児の空間的に合成された３Ｄ画像を提供するように構成され、前記合成された３Ｄ画像の異なる領域が、前記複数の３Ｄ画像からの寄与に基づいて形成される、
    請求項１に記載の超音波撮像システム。
  3. 前記総合的な信頼値が、信頼値の空間的結合を含み、各信頼値が、前記複数の３Ｄ画像からの３Ｄ画像に対応し、前記超音波撮像システムが、前記胎児の前記空間的に合成された３Ｄ画像を提供するように構成された空間画像結合器を有し、前記合成された３Ｄ画像の異なる領域が、前記複数の３Ｄ画像からの前記３Ｄ画像の異なる信頼値に基づいて重みづけされる、請求項２に記載の超音波撮像システム。
  4. 前記超音波撮像システムが、前記超音波画像プロセッサに結合され、診断プロトコルのユーザ手動選択に応答するユーザインタフェースを有し、前記超音波画像プロセッサが、前記多関節胎児モデル及び前記ユーザ手動選択により選択された診断プロトコルに基づいて、前記複数の３Ｄ画像の総合的な信頼値を分析するように構成され、前記画像品質分析器が、前記総合的な信頼値を画像合成閾値と比較するように構成される、請求項１に記載の超音波撮像システム。
  5. 前記複数の３Ｄ超音波画像フレームが、部分的３Ｄ画像フレームの集合を有し、各部分的３Ｄ画像フレームが、前記胎児の一部を含む前記体積領域に対応する、請求項１に記載の超音波撮像システム。
  6. 前記超音波画像プロセッサが、それぞれのフレームに含まれる前記胎児の一部に基づいて部分的３Ｄ画像フレームに適用される前記多関節胎児モデルを適応させるように構成される、請求項５に記載の超音波撮像システム。
  7. 前記超音波画像プロセッサが、前記関節‐肢関係を変化させることにより前記多関節胎児モデルを適応させるように構成される、請求項１又は６に記載の超音波撮像システム。
  8. 前記関節‐肢関係を変化させることが、少なくとも１つの車軸関節位置及び前記車軸関節位置に関連する少なくとも１つの肢角度値を変化させることを含む、請求項７に記載の超音波撮像システム。
  9. 前記超音波撮像システムが、前記超音波画像プロセッサに結合され、前記３Ｄ画像フレーム内の少なくとも１つのアンカーランドマークのユーザ手動識別に応答するユーザインタフェースを有し、前記ユーザインタフェースが、前記多関節胎児モデルの適応に対する入力として、前記３Ｄ画像フレーム内の車軸関節のような前記アンカーランドマークの識別された位置を提供するように構成される、請求項６又は８に記載の超音波撮像システム。
  10. 前記多関節胎児モデルが、胎児関節のセットを有し、各胎児関節が、所定の胎児姿勢に対応し、
    前記超音波画像プロセッサが、前記複数の三次元（３Ｄ）超音波画像フレームの取得中に生じる胎児姿勢変化に基づく前記胎児構造の変化を検出するように構成される、
    請求項３に記載の超音波撮像システム。
  11. 前記画像品質分析器が、異なる胎児関節を用いてセグメント化された３Ｄフレームから生じる３Ｄ画像に対応する信頼値に対して比較的高い、同じ胎児関節を用いてセグメント化された３Ｄフレームから生じる３Ｄ画像の信頼値を決定するように構成される、請求項１０に記載の超音波撮像システム。
  12. 前記超音波撮像システムは、前記総合的な信頼値が前記画像合成閾値の下である場合に、ユーザフィードバックを与えるように動作されるディスプレイを有する、請求項１に記載の超音波撮像システム。
  13. 前記超音波撮像システムが、前記体積領域に対する前記合成された３Ｄ画像及び前記多関節胎児モデルを表示するように動作されるディスプレイを有する、請求項２に記載の超音波撮像システム。
  14. 前記空間的に合成された３Ｄ画像を表示するように構成されたディスプレイと、
    前記超音波画像プロセッサに結合されたユーザインタフェースであって、ユーザが前記表示された空間的に合成された３Ｄ画像に基づいて前記胎児のバイオメトリクス測定を実行することを可能にするように構成される、前記ユーザインタフェースと、
    を有する、請求項２に記載の超音波撮像システム。
  15. 前記超音波撮像システムが、前記入力部に結合された前記超音波プローブを有し、前記プローブが、前記胎児を有する体積領域の前記複数の三次元（３Ｄ）超音波画像フレームを取得するように動作可能な超音波トランスデューサアレイを有する、請求項１乃至１４のいずれか一項に記載の超音波撮像システム。
  16. 胎児を有する体積領域を検査する医療撮像方法において、
    前記胎児を持つ体積領域の複数の三次元（３Ｄ）超音波画像フレームを受信するステップであって、各３Ｄ超音波画像フレームが、超音波プローブにより、前記胎児に対する異なる視線方向において取得される、ステップと、
    前記取得された複数の３Ｄ超音波画像フレーム及び多関節胎児モデルを記憶するステップであって、前記多関節胎児モデルが、少なくとも１つの関節‐肢関係を含む、ステップと、
    前記多関節胎児モデルに基づいて各３Ｄ画像フレームをセグメント化するステップと、
    前記３Ｄ画像フレームに含まれる胎児構造に基づいて前記３Ｄ画像フレームに適用される前記多関節胎児モデルを適応させるステップと、
    前記セグメント化された画像の前記視線方向に対する前記胎児の識別された相対的な向きを持つ前記体積領域の複数の３Ｄ画像を提供するステップと、
    前記胎児の空間的に合成された３Ｄ画像を提供するステップであって、前記合成された３Ｄ画像の異なる領域が、前記複数の３Ｄ画像からの寄与に基づいて形成される、ステップと、
    を有する、方法。
  17. 前記３Ｄ画像の各々を重みづけし、前記胎児構造に対して位置合わせするステップであって、前記胎児の前記空間的に合成された３Ｄ画像を提供するステップが、前記複数の３Ｄ画像の中の前記３Ｄ画像からの重みづけされた寄与に基づいて前記合成された３Ｄ画像の異なる領域の形成を含む、ステップと、
    を有する、請求項１６に記載の方法。
JP2018555674A 2016-04-26 2017-04-13 超音波胎児撮像に対する３ｄ画像合成 Active JP6574532B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16167041 2016-04-26
EP16167041.9 2016-04-26
PCT/EP2017/059018 WO2017186518A1 (en) 2016-04-26 2017-04-13 3d image compounding for ultrasound fetal imaging

Publications (2)

Publication Number Publication Date
JP2019514512A JP2019514512A (ja) 2019-06-06
JP6574532B2 true JP6574532B2 (ja) 2019-09-11

Family

ID=55809047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555674A Active JP6574532B2 (ja) 2016-04-26 2017-04-13 超音波胎児撮像に対する３ｄ画像合成

Country Status (5)

Country Link
US (1) US11413006B2 (ja)
EP (1) EP3448264B1 (ja)
JP (1) JP6574532B2 (ja)
CN (1) CN109069119B (ja)
WO (1) WO2017186518A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692205B2 (en) * 2017-09-27 2020-06-23 The Boeing Company Generation of aggregate ultrasound images based on detection of constellations in overlapping ultrasound images
TW201923776A (zh) 2017-10-27 2019-06-16 美商蝴蝶網路公司 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器
JP7112492B2 (ja) 2018-07-13 2022-08-03 古野電気株式会社 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム
EP3711677A1 (en) * 2019-03-18 2020-09-23 Koninklijke Philips N.V. Methods and systems for acquiring composite 3d ultrasound images
CN110192895A (zh) * 2019-05-28 2019-09-03 西安工业大学 一种超声波探头及超声波诊断装置
US20210015449A1 (en) * 2019-07-16 2021-01-21 GE Precision Healthcare LLC Methods and systems for processing and displaying fetal images from ultrasound imaging data
CN110598675B (zh) * 2019-09-24 2022-10-11 深圳度影医疗科技有限公司 一种超声胎儿姿态的识别方法、存储介质及电子设备
US20210100530A1 (en) * 2019-10-04 2021-04-08 GE Precision Healthcare LLC Methods and systems for diagnosing tendon damage via ultrasound imaging
CN111462060A (zh) * 2020-03-24 2020-07-28 湖南大学 胎儿超声图像中标准切面图像的检测方法和装置
US11457891B2 (en) 2020-08-17 2022-10-04 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation
CN111882515B (zh) * 2020-09-28 2020-12-29 深圳华声医疗技术股份有限公司 超声信号处理方法、超声信号处理设备及存储介质
US11450053B1 (en) * 2021-04-13 2022-09-20 Sony Group Corporation Efficient 5G transmission of volumetric data using 3D character rigging techniques
CN113842166A (zh) * 2021-10-25 2021-12-28 上海交通大学医学院 基于超声影像设备的超声图像采集方法以及相关装置
CN116687452B (zh) * 2023-07-28 2023-11-03 首都医科大学附属北京妇产医院 一种早孕期胎儿超声自主扫查方法、系统及设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485842A (en) 1994-11-30 1996-01-23 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic scan conversion for three dimensional display processing
US5899861A (en) * 1995-03-31 1999-05-04 Siemens Medical Systems, Inc. 3-dimensional volume by aggregating ultrasound fields of view
US5860924A (en) 1996-11-26 1999-01-19 Advanced Technology Laboratories, Inc. Three dimensional ultrasonic diagnostic image rendering from tissue and flow images
US6416477B1 (en) 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
US6635019B2 (en) * 2001-08-14 2003-10-21 Koninklijke Philips Electronics Nv Scanhead assembly for ultrasonic imaging having an integral beamformer and demountable array
US6554771B1 (en) * 2001-12-18 2003-04-29 Koninklijke Philips Electronics N.V. Position sensor in ultrasound transducer probe
US7033320B2 (en) 2003-08-05 2006-04-25 Siemens Medical Solutions Usa, Inc. Extended volume ultrasound data acquisition
DE10357205A1 (de) * 2003-12-08 2005-07-14 Siemens Ag Verfahren zur Erzeugung von Ergebnis-Bildern eines Untersuchungsobjekts
KR100686289B1 (ko) * 2004-04-01 2007-02-23 주식회사 메디슨 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법
KR100806331B1 (ko) 2005-08-11 2008-02-27 주식회사 메디슨 초음파영상 합성방법
KR100870412B1 (ko) 2005-12-01 2008-11-26 주식회사 메디슨 Ｓｖｍ 기반 질감분류를 이용하여 추출된 태아의 표면영상을 기초로 태아의 3차원 초음파 영상을 형성하는초음파 시스템 및 방법
US7855723B2 (en) * 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
US9612142B2 (en) * 2006-04-27 2017-04-04 General Electric Company Method and system for measuring flow through a heart valve
US8461978B2 (en) * 2007-06-01 2013-06-11 Koninklijke Philips Electronics N.V. Wireless ultrasound probe asset tracking
US8556814B2 (en) * 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
US8425422B2 (en) * 2008-06-06 2013-04-23 Siemens Medical Solutions Usa, Inc. Adaptive volume rendering for ultrasound color flow diagnostic imaging
JP2012506283A (ja) * 2008-10-22 2012-03-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元超音波画像化
JP5491836B2 (ja) * 2009-01-30 2014-05-14 株式会社東芝 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
JP5462598B2 (ja) 2009-11-18 2014-04-02 日立アロカメディカル株式会社 超音波診断システム
US20130289407A1 (en) 2010-09-14 2013-10-31 Samsung Medison Co., Ltd. 3d ultrasound system for extending view of image and method for operating the 3d ultrasound system
CN102639063B (zh) * 2010-09-30 2015-03-18 柯尼卡美能达株式会社 超声波诊断装置
CA2850990C (en) * 2011-10-21 2017-07-04 Mindchild Medical Inc. Non-invasive fetal monitoring
US20130150718A1 (en) * 2011-12-07 2013-06-13 General Electric Company Ultrasound imaging system and method for imaging an endometrium
US20130150719A1 (en) * 2011-12-08 2013-06-13 General Electric Company Ultrasound imaging system and method
US8831311B2 (en) * 2012-12-31 2014-09-09 General Electric Company Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images
CN105073014B (zh) * 2013-03-25 2017-08-22 株式会社日立制作所 超声波摄像装置以及超声波图像显示方法
JP2015061592A (ja) * 2013-08-21 2015-04-02 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法およびコンピュータ読み取り可能な非一時的な記録媒体
JP6441335B2 (ja) * 2013-11-05 2018-12-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リアルタイム超音波イメージングのトリプレーン画像の自動セグメント化
JP2015171476A (ja) * 2014-03-12 2015-10-01 日立アロカメディカル株式会社 超音波診断装置及び超音波画像処理方法
US10376241B2 (en) * 2014-05-09 2019-08-13 Koninklijke Philips N.V. Imaging systems and methods for positioning a 3D ultrasound volume in a desired orientation
US10993700B2 (en) * 2014-06-12 2021-05-04 Koninklijke Philips N.V. Medical image processing device and method
CN106470612B (zh) * 2014-06-30 2020-03-24 皇家飞利浦有限公司 响应于解剖定性而平移超声阵列
WO2016015994A1 (en) * 2014-07-29 2016-02-04 Koninklijke Philips N.V. Ultrasound imaging apparatus
US10368833B2 (en) * 2014-09-12 2019-08-06 General Electric Company Method and system for fetal visualization by computing and displaying an ultrasound measurement and graphical model

Also Published As

Publication number Publication date
JP2019514512A (ja) 2019-06-06
EP3448264B1 (en) 2019-09-18
WO2017186518A1 (en) 2017-11-02
CN109069119B (zh) 2021-10-22
US20190117186A1 (en) 2019-04-25
EP3448264A1 (en) 2019-03-06
US11413006B2 (en) 2022-08-16
CN109069119A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
JP6574532B2 (ja) 超音波胎児撮像に対する３ｄ画像合成
US10410409B2 (en) Automatic positioning of standard planes for real-time fetal heart evaluation
US9241684B2 (en) Ultrasonic diagnosis arrangements for comparing same time phase images of a periodically moving target
US6447450B1 (en) ECG gated ultrasonic image compounding
US6500123B1 (en) Methods and systems for aligning views of image data
US20060034513A1 (en) View assistance in three-dimensional ultrasound imaging
JP6009015B2 (ja) 医用超音波診断における３次元再灌流マッピングのための動き同期破壊
JP5462598B2 (ja) 超音波診断システム
US20050288589A1 (en) Surface model parametric ultrasound imaging
CN109310399B (zh) 医学超声图像处理设备
JP2009535152A (ja) 拡張ボリューム超音波データの表示および測定方法
EP2934328A1 (en) Anatomically intelligent echocardiography for point-of-care
JP2012531933A (ja) 非ｅｃｇの生体同期収集による三次元胎児心臓撮像方法を用いた超音波画像診断システム及び方法
JP7240405B2 (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
CN112386278A (zh) 用于相机辅助超声扫描设置和控制的方法和系统
JP2020501713A (ja) 胎児超音波撮像
JP4764209B2 (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
JP2007143606A (ja) 超音波診断装置
JP2002177273A (ja) 超音波診断装置
JP3894586B2 (ja) 解剖学的ｍ−モード表示を生成する方法および超音波映像装置並びに超音波映像装置の使用方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190816

R150 Certificate of patent or registration of utility model

Ref document number: 6574532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250