JPWO2008044441A1 - 医用画像診断装置、医用画像計測方法、医用画像計測プログラム - Google Patents

医用画像診断装置、医用画像計測方法、医用画像計測プログラム Download PDF

Info

Publication number
JPWO2008044441A1
JPWO2008044441A1 JP2008538614A JP2008538614A JPWO2008044441A1 JP WO2008044441 A1 JPWO2008044441 A1 JP WO2008044441A1 JP 2008538614 A JP2008538614 A JP 2008538614A JP 2008538614 A JP2008538614 A JP 2008538614A JP WO2008044441 A1 JPWO2008044441 A1 JP WO2008044441A1
Authority
JP
Japan
Prior art keywords
image
measurement
measurement position
information
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008538614A
Other languages
English (en)
Other versions
JP4934143B2 (ja
Inventor
智章 長野
智章 長野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2008538614A priority Critical patent/JP4934143B2/ja
Publication of JPWO2008044441A1 publication Critical patent/JPWO2008044441A1/ja
Application granted granted Critical
Publication of JP4934143B2 publication Critical patent/JP4934143B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】医用画像を用いて計測処理を行う際の操作負担を軽減することを可能とする医用画像診断装置を提供する。【解決手段】超音波診断装置100は、被検体の画像データである入力画像情報を取得して記憶部3に保持する。画像選択部8は、入力画像情報と画像計測データベース7の過去の画像情報との間で画像認識計算を行う。画像認識成功の場合、計測位置設定部9は、入力画像情報と最も類似する過去の画像情報を有する画像計測情報のレコードを参照し、当該レコードの計測位置情報を取り出して計測位置を設定する。計測位置設定処理部6は、当該計測位置を入力画像情報21と重畳して表示部12に表示する。計測計算部11は、計測位置設定部9が設定した計測位置について計測計算を行い、計測結果を表示部12に表示する。計測位置設定処理部6は、入力画像情報や計測位置設定部9が設定した計測位置等に基づいて、画像計測データベース7を更新する。

Description

本発明は、画像を用いて生体組織の計測を行う医用画像診断装置に関する。
従来の医用画像診断装置では、操作者は、取得した画像上でマウスやトラックボール等の入力機器を用いて計測位置を指定する。その後、医用画像診断装置は、計測計算を行って計測結果を画面表示する。
計測位置の指定には、計測アプリケーションが用いられる。操作者が画像上で複数点を指定すると、計測アプリケーションは、その計測点間の距離や面積や容積を計測する。操作者が画像上で所定領域を設定すると、計測アプリケーションは、その領域内の計測値を計算する。
操作者の主要操作は、計測対象の医用画像を取得して表示すること、医用画像において計測位置を指定すること、である。これらの操作は、日々大量の医用画像を検査する操作者にとって負担が大きい作業である。
そこで、胎児計測の設定自動化を図る超音波診断装置が提案されている([特許文献1]参照。)。この超音波診断装置は、対象患者の過去の計測位置をデータベース化して装置に保持する。超音波診断装置は、対象患者のIDと入力画像内でのおおまかな計測位置を初期設定する。超音波診断装置は、初期設定に基づいて尤もらしい計測点をデータベース内から見つけ出してその位置を画像上に表示する。
また、過去の医用画像や計測位置を参照して、医用画像の断面種類や計測位置を自動的に設定する医用画像処理装置が提案されている。例えば、心臓の断面画像がどの断面種類であるかをパターンマッチング法を用いて認識する医用画像処理装置が提案されている([特許文献2]参照。)。この医用画像処理装置は、過去に取得済の断面画像を辞書画像として保持し、入力画像と辞書画像との間でパターンマッチング処理を行い、最も類似している辞書画像の断面の情報を用いる。
特開2005−224465号公報 特開2002−140689号公報
しかしながら、計測位置の指定は、操作が煩雑であり、日々大量の画像を検査する操作者には負担が大きい。また、操作者の主観によって計測位置が異なったり、画質や計測経験の程度等によって計測位置の指定が困難な場合がある。上記特許文献では、上記課題が解決されていない。
また、従来の医用画像処理装置は、適正な断面種類の医用画像が入力されることが前提となっているので、計測対象以外の医用画像が入力されると、正確な計測を行うことができない可能性がある。尚、計測対象以外の医用画像は、例えば、生体組織自体が含まれない画像、適正でない断面種類の医用画像、標準断面からずれた医用画像である。
本発明は、以上の問題点に鑑みてなされたものであり、医用画像を用いて計測処理を行う際の操作負担を軽減することを可能とする医用画像診断装置を提供することを目的とする。
前述した目的を達成するために第1の発明は、被検体の画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された画像情報を表示する表示部と、前記表示部に表示された画像情報に基づいて計測計算を行う計測計算手段と、を備える医用画像診断装置において、過去に取得した画像情報と当該画像情報に対して設定された過去の計測位置情報とを対応付けて保持する記憶手段と、入力画像情報と最も類似した過去の画像情報を認識して選択する画像選択手段と、前記画像選択手段によって選択された過去の画像情報に対応する過去の計測位置情報に基づいて、前記入力画像情報に対して計測位置を設定する計測位置設定手段と、前記計測位置設定手段によって設定された計測位置を前記入力画像情報と共に表示する計測位置表示手段と、を具備することを特徴とする医用画像診断装置である。
第1の発明の医用画像診断装置は、過去に取得した画像情報と当該画像情報に対して設定された過去の計測位置情報とをデータベース化して保持する。医用画像診断装置は、入力画像情報とデータベースに保持される過去の画像情報との間で画像認識計算を行い、入力画像情報と最も類似した過去の画像情報を選択する。医用画像診断装置は、選択した過去の画像情報に対応する過去の計測位置情報に基づいて計測位置を設定し、入力画像情報に重畳して表示する。医用画像診断装置は、設定した計測位置における生体組織の計測計算を行い計測結果を表示する。医用画像診断装置は、例えば、超音波診断装置やX線CT診断装置やMRI診断装置である。
これにより、医用画像診断装置は、操作者が事前に初期設定することなく、入力画像情報に基づいて、過去の画像計測情報を探索し、計測位置を自動的に設定することができる。操作者の操作負担を軽減することができる。
また、入力画像情報と記憶手段に保持される全ての過去の画像情報との間で画像認識計算を行うようにしてもよい。
これにより、過去の全ての画像情報と計測位置情報とに基づいて、最適な計測位置を設定することができる。
また、カテゴリ毎に過去の画像情報を分類すると共にカテゴリを代表する代表画像情報をデータベースに保持し、最初に、入力画像情報と代表画像情報との間で画像認識計算を行って入力画像情報のカテゴリを決定し、次に、入力画像情報と決定されたカテゴリに属する過去の画像情報との間で画像認識計算を行うようにしてもよい。
これにより、医用画像診断装置は、入力画像情報について先に大分類を行って次に小分類を行うので、認識率及び処理効率が向上する。また、医用画像診断装置は、入力画像情報のカテゴリを認識することができるので、入力画像情報の分類と計測とを同時に行うことができ、計測結果を自動的に分類して整理することができる。
また、過去の計測条件情報を過去の画像情報に対応付けてデータベースに保持し、入力計測条件情報と過去の計測条件情報との間で計測条件認識計算を行って入力計測条件情報と最も類似した過去の計測条件を認識して選択し、選択された過去の計測条件情報に対応する過去の計測位置情報に基づいて、計測位置を設定するようにしてもよい。
計測条件は、計測に係る各種条件である。計測条件は、例えば、初期設定や計測項目だけでなく、計測タイミング、時系列フレーム番号、被検体の年齢や性別、被検体に関する診断情報、計測対象や被検体の分類である。
これにより、入力画像情報だけでなく入力計測条件に基づいて、過去の画像計測情報を探索し、計測位置を自動的に設定することができる。入力画像情報だけでなく入力計測条件に応じて正確な計測位置を設定することができる。例えば、操作者が選択した計測項目に応じた計測位置に自動的に切り替えて設定することができる。
また、入力画像情報の画像特徴量に基づいて、設定された計測位置の適否を評価し、設定された計測位置が適正でない場合、入力画像情報の画像特徴量に基づいて、設定された計測位置を補正することが望ましい。
また、入力画像情報に設定された計測位置近傍においてエッジ強度を算出し、算出されたエッジ強度が最大の位置に設定された計測位置を補正してもよい。
また、入力画像情報に設定された計測位置周辺の画像情報と過去の計測位置情報が示す計測位置周辺の画像情報の間の変位に基づいて設定された計測位置を補正してもよい。
これにより、入力画像情報と類似した過去の画像情報がデータベースに存在せず、設定された計測位置が適正でない場合であっても、入力画像情報に基づいて計測位置を補正することができる。また、補正後の計測位置が適正でない場合には、操作者が計測位置を手動補正可能としてもよい。
また、設定された計測位置に基づいて関心領域を設定し、入力画像情報と共に表示するようにしてもよい。
これにより、入力画像情報を表示させることにより、関心領域が自動的に設定され、当該関心領域についての計測結果が表示される。計測点だけでなく関心領域も自動的に設定されるので、操作負担を軽減すると共に、診断に要する時間を短縮することができる。
また、入力画像情報から設定された計測位置を含む所定範囲の画像部位を選択し、当該画像部位の動きを追跡することにより設定された計測位置を移動させるようにしてもよい。
これにより、医用画像診断装置は、所定の時点のフレーム画像について、過去の画像情報及び計測位置情報に基づいて計測点を設定し、以降のフレーム画像については、画像の一致度に基づいて計測点を追跡する。従って、計測位置を自動的に設定することができると共に、当該計測点を組織の動きに応じて移動させて組織動態(心筋等の各組織の動き)の計測を精度よく行うことができる。
また、画像認識が成功した場合、入力画像情報に関する画像認識結果を表示するようにしてもよい。
これにより、現在画面に表示されている生体組織部位や断層像の種類を確認することができる。
また、画像認識が失敗した場合、警告処理や入力画像情報の再入力処理を実行するようにしてもよい。
これにより、画像認識不可能である場合に、入力画像情報の再取得を操作者に促したり、自動的に再取得したりすることができる。
また、新たに入力された画像情報と当該画像情報に設定された計測位置とをデータベースに登録して更新することが望ましい。
これにより、データベースの情報量が増加し、次回新たに画像情報を入力する際に画像認識率を向上させるといった学習効果を得ることができる。
また、過去に取得した複数の断面画像の輝度情報と断面種類とを対応付けて記憶手段に保持し、入力画像と記憶手段に保持された複数の断面画像との間の類似度を計算し、入力画像と最も類似する断面画像との間の類似度と、入力画像と他の断面画像との間の類似度と、の差分である類似度差分を計算し、類似度及び類似度差分に対して閾値処理を行って入力画像の棄却判定を行うようにしてもよい。
これにより、入力画像が2種類の標準断面画像に類似するあいまいな面像である場合、入力画像を棄却した上で、操作者に対して計測に必要な断面種類の入力画像の再取得を促し、迅速かつ効率的に処理を行うことができる。
また、入力画像の輝度統計量を計算して閾値処理を行い、計測対象の生体組織画像に特有の統計的性質を持っているか否かを判定して入力画像の棄却判定を行ってもよい。
このように、入力画像の統計的性質を棄却基準とすることにより、計測対象の生体組織が描画されていない入力画像を棄却することができる。
また、閾値に代えて棄却率や誤認識率を設定し、これらの棄却率や誤認識率に対応する閾値を用いて閾値処理を行って、入力画像の棄却判定を行ってもよい。
このように、閾値に代えて棄却率や誤認識率を用いることにより、操作者の操作感覚に適応させることができる。
また、設定された計測項目に基づいて分類対象とする断面種類の数や範囲を決定してもよい。
これにより、計測項目に応じて必要な分類数の断面種類を分類対象とすることにより、認識率を向上させて計測操作における操作性を向上させることができる。
第2の発明は、被検体の画像情報を取得し、前記取得した画像情報を表示し、前記表示した画像情報に基づいて計測計算を行う医用画像計測方法において、過去に取得した画像情報と当該画像情報に対して設定された過去の計測位置情報とを対応付けて記憶装置に保持するステップと、入力画像情報と最も類似した過去の画像情報を認識して選択する画像選択ステップと、前記画像選択ステップによって選択された過去の画像情報に対応する過去の計測位置情報に基づいて、前記入力画像情報に対して計測位置を設定する計測位置設定ステップと、前記計測位置設定ステップにより設定された計測位置を前記入力画像情報と共に表示する計測位置表示ステップと、を具備することを特徴とする医用画像計測方法である。
第2の発明は、被検体の画像情報を取得し、前記取得した画像情報を表示し、前記表示した画像情報に基づいて計測計算を行う医用画像計測方法に関する発明である。
本発明によれば、医用画像を用いて計測処理を行う際の操作負担を軽減することを可能とする医用画像診断装置を提供することができる。
超音波診断装置100の構成図 画像計測データベース7の一態様を示す図 計測処理設定処理部6の動作を示すフローチャート 表示部12における表示画面31の一態様を示す図 表示部12における表示画面34の一態様を示す図 画像計測データベース7の一態様を示す図 計測処理設定処理部6の動作を示すフローチャート 画像計測データベース7の一態様を示す図 計測処理設定処理部6の動作を示すフローチャート 計測位置補正部10の動作を示すフローチャート 計測位置補正処理における表示画面51の一態様を示す図 計測位置補正処理における表示画面51の一態様を示す図 超音波画像61における関心領域79の設定を示す図 超音波画像における計測点の追跡を示す図 超音波診断装置150の構成図 画像輝度データベース171が保持するレコードの一態様を示す図 入力画像の画像輝度統計量に基づく棄却処理を示すフローチャート 表示部12に表示される画面228及び超音波画像229を示す図 類似度に基づく棄却処理を示すフローチャート 入力画像220と標準断面画像との類似度を断面種類毎に示す図 類似度差分に基づく棄却処理を示すフローチャート 入力画像220と標準断面画像との類似度を断面種類毎に示す図 表示部12が表示する画面250の一態様を示す図 表示部12における画面260及び画面264を示す図 類似度に基づく棄却処理を示すフローチャート 心臓の断面種類を示す図 計測項目及び分類対象を示す図
符号の説明
100………超音波診断装置
1………超音波プローブ
2………画像生成部
3………記憶部
4………操作部
5………計測項目設定部
6………計測位置設定処理部
7………画像計測データベース
8………画像選択部
9………計測位置設定部
10………計測位置補正部
11………計測計算部
12………表示部
13………計測条件選択部
14………追跡部
21………入力画像情報
22………画像計測情報
23………計測位置情報
26、28………計測位置周辺の画像情報
24………画像情報
25………計測条件情報
31、34、51………表示画面
32、35、52………画像
33、37………計測点
36………計測項目
38………計測領域
41………分類画像計測データベース
42………代表画像情報
43………入力計測条件
53、83、88………左心室内膜
54、55、57………補正前の計測点
56、58………補正後の計測点
61、81、86………超音波画像
62………頸動脈
63、64………壁面
71〜78………計測点
79………関心領域
82、87………心筋
84………移動前の計測点
85………切り出し画像
89………局所画像
91………移動後の計測点
150………超音波診断装置
160………画像輝度抽出部
170………断面認識処理部
171………画像輝度データベース
172………類似度計算部
173………断面種類判定部
180………棄却処理部
181………画像輝度統計量計算部
182………類似度差分計算部
183………閾値設定部
184………棄却判定部
220………入力画像
221………断面種類
222………標準断面画像情報
223………計測項目
224………計測位置
228、250、260、264………画面
229、251、262、266………超音波画像
252………断面種類表示
253………類似度表示
254………グラフ表示
261、265、281、283………計測項目
263………計測点
267………計測領域
270………心臓
271〜276………標準断面画像
以下添付図面を参照しながら、本発明に係る医用画像診断装置の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
本発明の医用画像診断装置は、超音波診断装置、X線CT診断装置、MRI診断装置やこれらを組み合わせたシステムに適用可能である。以下、医用画像診断装置として超音波診断装置を取り上げ、心臓の断面画像に基づく計測について説明する。尚、心臓以外の生体組織についても適用可能である。また、断面画像以外の画像についても適用可能である。
(1.超音波診断装置の構成)
最初に、図1を参照しながら、超音波診断装置100の構成について説明する。
図1は、超音波診断装置100の構成図である。
超音波診断装置100は、超音波の送受信を行う超音波プローブ1と、超音波信号から画像を生成する画像生成部2と、この画像を保存する記憶領域である記憶部3と、操作者が入力機器を用いて装置の操作を行う操作部4と、計測項目を設定する計測項目設定部5と、計測位置を自動設定する計測位置設定処理部6と、計測位置を用いて計測計算を行う計測計算部11と、計測位置や計測結果を表示する表示部12と、追跡部14を備える。
計測位置設定処理部6は、過去の少なくとも画像情報と計測位置と計測位置周辺の画像情報を含む画像計測データベース7と、入力画像情報と画像計測データベース7とを用いて画像認識処理を行い画像を選択する画像選択部8と、認識した画像と対応する計測位置を設定する計測位置設定部9と、計測位置設定部9で指定した位置を評価し補正する計測位置補正部10と、入力計測条件と画像計測データベース7とを用いて計測条件認識処理を行い計測条件を選択する計測条件選択部13を備える。
超音波プローブ1は、被検体に対して超音波を送受信する装置である。超音波プローブ1は、セクタ型、リニア型、コンベックス型等の形状を有する。超音波プローブ1は、被検体からの反射超音波を受信し、電気信号に変換して画像生成部2に入力する。
画像生成部2は、超音波プローブ1から入力信号に基づいて、Bモード画像を生成する装置である。入力信号は、整相加算器、対数増幅器、包絡線検波器、A/D変換器、スキャンコンバータを通してBモード画像に変換される。
記憶部3は、取得した画像を記憶する装置である。記憶部3は、例えば、ハードディスク、汎用メモリ、フレームメモリ、シネメモリである。
操作部4は、キーボード、マウス、トラックボール等の入力機器である。操作者は、操作部4を用いて、画質調整や計測指示や情報入力を行う。
計測項目設定部5は、操作者が希望する計測項目を選択する装置である。計測項目は、例えば、特定部位の距離、容積、心筋壁厚、ドップラである。
計測位置設定処理部6は、入力画像情報とデータベース間の画像認識処理を行い、計測位置を設定する装置である。
画像計測データベース7は、過去の計測位置情報及び画像情報及び計測位置周辺の画像情報を有するレコードの集合である。尚、データ容量を少なくするために符号圧縮化して保持してもよい。また、画像計測データベース7は、計測条件情報を対応付けて保持する。計測条件情報については、後述する。
画像選択部8は、画像計測データベース7を用いて、入力画像情報の画像認識計算を行う装置である。画像選択部8は、画像認識計算を行って、画像計測データベース7内から入力画像情報と最も近似した画像情報を選択する。尚、画像認識計算としては、相関計算等のパターンマッチング計算を用いることができる。
計測条件選択部13は、画像計測データベース7を用いて、入力計測条件の計測条件認識計算を行う装置である。計測条件選択部13は、計測条件認識計算を行って、画像計測データベース7内から入力計測条件と最も近似した計測条件情報を選択する。
計測位置設定部9は、画像計測データベース7から選択した画像情報のレコードに含まれる計測位置情報に基づいて、計測位置を設定する装置である。尚、計測位置設定部9は、計測項目設定部5で指定した計測項目に必要な情報のみ選択して計測位置を設定することが望ましい。
計測位置補正部10は、計測位置設定部9が設定した計測位置を補正する装置である。計測位置補正部10は、計測位置の評価を行い、設定された計測位置が適正であるか否かを判断する。計測位置補正部10は、設定された計測位置が適正な計測位置でない場合には計測位置を補正する。
計測位置の評価に関しては、例えば、エッジ強度を評価量として用いることができる。位置ずれの補正に関しては、例えば、エッジ検出法を用いることができる。また、画像計測データベース7の計測位置情報が示す計測位置周辺の画像情報と、設定された計測位置周辺の画像情報との間の変位を用いて補正することができる。また、入力機器を介して計測位置を手動補正してもよい。
計測計算部11は、設定された計測位置を用いて各種計測を行う装置である。計測計算部11が行う計測は、例えば、距離及び容積の計算やドプラ法による計測、ストレスエコー、造影剤モード時の時間輝度曲線の構築、ストレイン計測等である。
表示部12は、CRTディスプレイや液晶ディスプレイ等の表示装置である。表示部12は、入力画像上に設定した計測位置を重畳表示したり、認識結果を表示したり、計測計算の結果を表示する。
追跡部14は、表示部12に表示される動画像の生体組織の動きを追跡する装置である。
(2.第1の実施形態)
次に、図2〜図5を参照しながら、第1の実施形態における計測位置設定処理部6の動作について説明する。
(2−1.画像計測データベース7)
図2は、画像計測データベース7の一態様を示す図である。
画像計測データベース7は、複数の画像計測情報22のレコードを保持する。画像計測情報22は、過去に計測に用いた画像や計測位置等に関する情報である。画像計測情報22は、ある1つの計測に対して、計測位置情報23と画像情報24と計測条件情報25とが対応付けられ、1つのレコードとして保持されている。さらに、画像計測情報22に計測位置情報23が示す計測位置周辺の画像情報26を対応付けて保持するようにしてもよい。
計測位置情報23は、計測位置に関する情報であり、例えば、計測点や計測領域の輪郭点群を示す座標値である。表示部12における表示画面31に画像32及び計測点33が重畳して表示されている図4を用いて、計測位置情報23を説明する。過去の計測に用いた画像32には、例えば心臓の壁に沿って複数の計測点33が設定されている。これらの複数の計測点33は、上述した計測領域の輪郭点群である。これらの計測点33の座標(X1、Y1)、座標(X2、Y2)・・・で示される座標値が、計測位置情報23として、それぞれ画像計測データベース7に保持されている。尚、上記ではX−Y座標で座標値が画像計測データベース7に保持されているが、r−θ座標で示される座標値で、複数の計測点33の計測位置情報23がそれぞれ画像計測データベース7に保持されていてもよい。
計測位置周辺の画像情報26は、計測位置情報23が示す計測位置周辺に関する画像情報である。計測位置情報26は、例えば、計測点周辺の輝度値や計測領域の輪郭点群周辺の輝度値である。計測点周辺の輝度値とは、計測点を中心として縦横1cm〜2cmで作成された矩形領域の輝度値である。尚、この領域は、楕円領域や円形領域であってもよい。
画像情報24は、図4の画像32に関する情報、例えば、画像32の輝度値そのものか、符号圧縮化された輝度値である。過去の計測に用いた画像32は、座標(X,Y)毎に輝度値が分布されている。座標値を輝度値に対応させ、画像32全体の輝度値が画像情報24として画像計測データベース7に保持されている。符号圧縮化された輝度値とは、例えば、各走査線の輝度値、2画素のうち1画素を任意に選択して、圧縮した輝度値である。座標値を圧縮した輝度値に対応させて記憶させることで、画像計測データベース7に保持させておくレコードのデータ量を抑えることができる。さらに、画像32全体または上記で圧縮した輝度値に主成分分析を施し、輝度値の性質を特徴づける主成分値のみを記憶させることでさらにデータ量を抑えることもできる。
尚、上記ではX−Y座標で座標値と輝度値が画像計測データベース7に保持されているが、r−θ座標で示される座標値で、座標値と輝度値を画像計測データベース7に保持されていてもよい。
計測条件情報25は、計測環境や計測対象に関する情報である。計測条件情報25は、例えば、初期設定、計測項目、計測タイミング、時系列フレーム番号、被検体の年齢や性別、被検体に関する診断情報、計測対象や被検体の分類である。
(2−2.計測位置設定処理部6の動作)
図3は、計測処理設定処理部6の動作を示すフローチャートである。
超音波診断装置100は、被検体の画像データである入力画像情報21を取得して記憶部3に保持する。入力画像情報21に関しては、超音波プローブ1を用いて画像生成部2により生成された画像データを入力してもよいし、異なる医用画像診断装置により生成された画像データを入力するようにしてもよい(S1001)。
画像選択部8は、入力画像情報21と画像計測データベース7の画像情報24との間で画像認識計算を行う(S1002)。画像認識計算としては、相関計算等のパターンマッチング計算を用いることができる。画像選択部8は、例えば、座標値と輝度値が対応して記憶されている複数の画像情報24と入力画像情報21を対比(相関演算や類似度演算など)することによって得られる相関値を算出し、相関値が所定の閾値よりも大きいか否か判断する。
そして、画像選択部8は、画像認識計算の成否を判定する(S1003)。例えば、画像選択部8は、認識計算結果(例えば、相関係数や類似度)が所定の閾値を超えた場合に画像認識成功とし、所定の閾値を超えない場合には画像認識失敗とする。そして、画像選択部8は、入力画像情報21と最も類似した過去の画像情報24を選択する。
画像認識成功の場合(S1003のYes)、計測位置設定部9は、入力画像情報21と最も類似する画像情報24を有する画像計測情報22の1つのレコード(計測位置情報23と画像情報24と計測条件情報25と計測位置周辺の画像情報26とが対応付けられている。)を抽出する。計測位置設定部9は、当該画像計測情報22のレコードが保持する計測位置情報23を取り出して設定する。
また、計測位置設定部9は、所定の計測項目に応じた情報を計測位置情報23から取り出す。具体的に、計測項目には、例えば、四腔、二腔、長軸、基部短軸、中部短軸、尖部短軸などがある。それぞれの計測項目には、計測位置情報23(計測点と計測領域の輪郭点群を示す座標値)が予め定められている。例えば、二腔では、計測点が画像32の中央付近で上方向に凸のU字型に配置されるように、計測位置情報23が定められている。また、尖部短軸では、計測点が画像32の中央付近で円形に配置されるように、計測位置情報23が定められている。操作者は、計測項目設定部5を操作して計測項目を選択し、その計測項目に対応して記憶された計測位置情報23を読み出すことによって、当該計測項目に対応した計測位置情報23を取り出すことができる。
計測位置補正部10は、入力画像情報21に基づいて、計測位置設定部9が取り出した計測位置情報23を補正する(S1004)。尚、計測位置補正処理の詳細については後述する。
計測位置設定処理部6は、補正後の計測位置情報23に基づいて計測位置を設定する。計測位置設定処理部6は、当該計測位置を入力画像情報21と重畳して表示部12に表示する(S1005)。尚、計測位置設定処理部6は、画像計測情報22の計測条件情報25に基づいて初期設定を行うことが望ましい。
計測計算部11は、計測位置設定部9が設定した計測位置について計測計算を行い、計測結果を表示部12に表示する(S1006)。
計測位置設定処理部6は、入力画像情報21や計測位置設定部9が設定した計測位置等に基づいて、画像計測データベース7を更新する(S1007)。
尚、画像認識成功の場合(S1003のYes)、計測位置設定処理部6は、画像認識結果を表示部12に表示する。画像認識結果として、例えば、現在画面に表示されている生体組織部位や断層像の種類が表示される。
一方、画像認識失敗の場合(S1003のNo)、計測位置設定処理部6は、操作者に入力画像情報21を再取得するように警告を行う(S1011)。警告は、表示部12への表示や音声等により行うことができる。また、計測位置設定処理部6は、自動的にS1001からの処理を繰り返すようにしてもよい。
図4は、表示部12における表示画面31の一態様を示す図である。
表示画面31には、画像32及び計測点33が重畳して表示される。画像32は、入力画像情報21に基づく画像である。画像32は、心臓の断層像である。計測点33は、計測位置を示す点である。計測点33の位置は、補正後の計測位置情報23に基づいて設定される。
図5は、表示部12における表示画面34の一態様を示す図である。
図5(a)に示すように、表示画面34において、操作者が計測項目36として「項目A」を選択すると、当該計測項目に対応する計測点37が画像35と重畳して表示される。図5(b)に示すように、表示画面34において、操作者が計測項目36として「項目B」を選択すると、当該計測項目に対応する計測領域38が画像35と重畳して表示される。
以上の過程を経て、計測位置設定処理部6は、入力画像情報21をキーとして、データベース7の画像計測情報22を用いて1対1で画像認識計算を行う。計測位置設定処理部6は、入力画像情報21に最も類似する画像情報24の画像計測情報22を画像計測データベース7から探索する。計測位置設定処理部6は、探索した画像計測情報22のレコードに含まれる過去の計測位置情報23に基づいて、入力画像情報21における計測位置を設定する。
以上説明したように、第1の実施形態では、超音波診断装置は、操作者が事前に初期設定することなく、入力画像情報に基づいて、過去の画像計測情報を探索し、計測位置を自動的に設定することができる。また、操作者が選択した計測項目に応じた計測位置に自動的に切り替えて設定することができる。さらに、超音波診断装置は、画像認識計算を高速化することにより、操作者による超音波プローブ1の操作に応じてリアルタイムに計測位置を更新することができる。
超音波診断装置は、対象患者に関わらず過去の計測位置情報と画像情報(例えば、輝度情報)をデータベース化して記憶装置に保持する。超音波診断装置は、患者IDやおおまかな計測位置をキーとするのではなく、入力画像情報をキーとしてデータベース内の画像情報との画像認識処理を利用することにより、初期設定を行うことなく計測位置を設定することができる。
(3.第2の実施形態)
次に、図6及び図7を参照しながら、第2の実施形態について説明する。
第1の実施形態では、入力画像情報21と画像計測データベース7の画像情報24との間で1対1の画像認識計算を行うものとして説明した。第2の実施形態では、画像情報24との間で1対1の画像認識計算を行う前に、カテゴリを代表する代表画像情報42との間で画像認識計算が行われる。
(3−1.画像計測データベース7)
図6は、画像計測データベース7の一態様を示す図である。
画像計測データベース7は、複数の分類画像計測データベース41−1、41−2、…を保持する。各分類画像計測データベース41−1、41−2、…は、それぞれ、代表画像情報42及び複数の画像計測情報22のレコードを保持する。
分類画像計測データベース41−1、41−2、…は、画像計測情報22を所定のカテゴリ毎に分類して保持するデータベースである。所定のカテゴリは、被検体や計測対象に関するカテゴリである。所定のカテゴリは、例えば、心臓の断層像の計測項目(「長軸」「短軸」「二腔」「四腔」等)、被検体の年齢や性別、疾患の種類である。所定のカテゴリは、画像計測情報22の計測条件情報25のフィールドに保持される。例えば、分類画像計測データベース41−1は、「長軸」像に分類された画像計測情報22を保持する。
代表画像情報42は、各所定のカテゴリを代表する画像情報である。各分類画像計測データベース41−1、41−2、…は、少なくとも1つの代表画像情報42を保持する。代表画像情報42は、各分類画像計測データベース41−1、41−2、…が保持する画像計測情報22に基づいて作成される。
(3−2.計測位置設定処理部6の動作)
図7は、計測処理設定処理部6の動作を示すフローチャートである。
超音波診断装置100は、被検体の画像データである入力画像情報21を取得して記憶部3に保持する(S2001)。
画像選択部8は、入力画像情報21と分類画像計測データベース41−1、41−2、…の代表画像情報42−1、42−2、…との間で画像認識計算を行う(S2002)。画像認識計算としては、相関計算等のパターンマッチング計算を用いることができる。画像選択部8は、画像認識計算の成否を判定する(S2003)。
画像認識成功の場合(S2003のYes)、画像選択部8は、入力画像情報21と最も類似する代表画像情報42が属するカテゴリに、入力画像情報21を分類する。
S2004〜S2009及びS2011の処理は、画像計測データベース7に代えて分類画像計測データベース41を用いること以外は、図3のS1002〜S1007及びS1011の処理と同様である。
尚、入力画像情報21は、S2002〜S2003の処理で決定した分類画像計測データベース41に保持される。また、入力画像情報21と既存の画像情報24とに基づいて、新たな代表画像情報42を作成して分類画像計測データベース41に保持するようにしてもよい。
以上の過程を経て、計測位置設定処理部6は、最初に、入力画像情報21とカテゴリを代表する代表画像情報42との間で画像認識計算を行ってカテゴリを決定する。次に、計測位置設定処理部6は、入力画像情報21をキーとして、当該カテゴリの分類画像計測データベース41の画像計測情報22を用いて1対1で画像認識計算を行う。尚、各カテゴリをさらに複数のカテゴリに分類して3段階以上の処理を行うようにしてもよい。
以上説明したように、第2の実施形態では、超音波診断装置は、入力画像情報について先に大分類を行って次に小分類を行うので、認識率及び処理効率が向上する。また、超音波診断装置は、入力画像情報のカテゴリを認識することができるので、入力画像情報の分類と計測とを同時に行うことができ、計測結果を自動的に分類して整理することができる。
(4.第3の実施形態)
次に、図8及び図9を参照しながら、第3の実施形態について説明する。
第1の実施形態では、入力画像情報21と画像計測データベース7の画像情報24との間で1対1の画像認識計算を行うものとして説明した。第3の実施形態では、さらに、入力計測条件43と画像計測データベース7の計測条件情報25との間で計測条件認識計算が行われる。
(4−1.画像計測データベース7)
図8は、画像計測データベース7の一態様を示す図である。
第3の実施形態における画像計測データベース7は、第1の実施形態における画像計測データベース7と同様のものである。第3の実施形態では、入力画像情報21及び入力計測条件43と画像計測情報22の各レコードとの間で認識計算が行われる。
(4−2.計測位置設定処理部6の動作)
図9は、計測処理設定処理部6の動作を示すフローチャートである。
S3001〜S3003の処理は、図3のS1001〜S1003の処理と同様である。
画像認識成功の場合(S1003のYes)、超音波診断装置100は、入力計測条件43を取得して記憶部3に保持する(S3004)。計測条件は、計測に係る各種条件である。計測条件は、例えば、初期設定や計測項目だけでなく、計測タイミング、時系列フレーム番号、被検体の年齢や性別、被検体に関する診断情報、計測対象や被検体の分類である。入力計測条件43に関しては、操作者が操作部4や計測項目設定部5を用いて入力した情報を取得するようにしてもよい。
計測条件選択部13は、入力計測条件43と画像計測データベース7の計測条件情報25との間で計測条件認識計算を行う(S3005)。具体的には、初期設定、計測項目、計測タイミング、時系列フレーム番号、被検体の年齢や性別、被検体に関する診断情報、計測対象、被検体の分類などに優先順位が与えられており、計測条件選択部13は、優先順位の順に比較を行う。そして、計測条件選択部13は、優先順位の順に比較を行い、画像計測データベース7の計測条件情報25と入力計測条件43が合致しないと項目になったら、計測条件認識計算を終了する。計測条件選択部13は、計測条件認識計算の成否を判定する(S3006)。
計測条件認識成功の場合(S3006のYes)、計測位置設定部9は、入力画像情報21と最も合致する項目が多い、すなわち最も類似する画像情報24を有し、かつ、入力計測条件43と最も類似する計測条件情報25を有する画像計測情報22のレコードを選択する。計測位置設定部9は、当該画像計測情報22のレコードが保持する計測位置情報23を取り出して設定する。
S3007〜S3010、S3011の処理は、図3のS1004〜S1007、S1011の処理と同様である。
以上の過程を経て、計測位置設定処理部6は、入力画像情報21及び入力計測条件43をキーとして、データベース7の画像計測情報22を用いて画像認識計算及び計測条件認識計算を行う。計測位置設定処理部6は、入力画像情報21に最も類似する画像情報24を有し、かつ、入力計測条件43に最も類似する計測条件情報25を有する画像計測情報22を画像計測データベース7から探索する。計測位置設定処理部6は、探索した画像計測情報22のレコードに含まれる過去の計測位置情報23に基づいて、入力画像情報21における計測位置を設定する。
以上説明したように、第3の実施形態では、超音波診断装置は、入力画像情報だけでなく入力計測条件に基づいて、過去の画像計測情報を探索し、計測位置を自動的に設定することができる。入力画像情報だけでなく入力計測条件に応じて正確な計測位置を設定することができる。
(5.第4の実施形態:計測位置補正)
次に、図10及び図11を参照しながら、第4の実施形態について説明する。第4の実施形態は、計測位置補正(図3のS1004、図7のS2006、図9のS3007)に関する。
第1の実施形態〜第3の実施形態では、入力画像情報21と類似した画像情報24がデータベース7に存在すれば、精度よく計測位置を設定することができる。しかしながら、入力画像情報21と類似した画像情報24がデータベース7に存在しない場合、精度よく計測位置を設定することができない場合がある。従って、計測位置補正処理を行うことが望ましい。
(5−1.計測位置補正部10の動作)
図10は、計測位置補正部10の動作を示すフローチャートである。
画像認識計算あるいは計測条件認識計算が終了して計測位置が決定すると、計測位置補正部10は、計測位置の適否を評価する。計測位置補正部10は、計測位置が適正でない場合、画像特徴量を用いて計測位置の自動補正を行う(S4001)。計測位置補正部10は、自動補正後の計測位置を表示部12に表示する(S4002)。尚、自動補正前の計測位置を併せて表示部12に表示するようにしてもよい。
操作者は、自動補正後の計測位置を観察して適正でないと判断した場合(S4003のNo)、計測位置を手動補正する(S4004)。計測位置補正部10は、手動補正後の計測位置を表示部12に表示する(S4005)。
(5−2.エッジ強度による計測位置の補正)
図11は、計測位置補正処理における表示画面51の一態様を示す図である。図11(a)は、計測位置補正前を示す図である。図11(b)は、計測位置補正後を示す図である。
図11(a)の表示画面51には、画像52及び補正前の計測点54及び計測点55が重畳して表示される。計測点54は、概ね左心室内膜53の輪郭上に設定される。しかしながら、計測点55は、左心室内膜53の輪郭上から離れた位置に表示されている。
図11(b)の表示画面51には、画像52及び補正後の計測点56が重畳して表示される。補正後の計測点56は、補正前の計測点55に対して計測位置補正された計測点である。補正後の計測点56は、左心室内膜53の輪郭上に表示される。
計測位置補正部10は、計測点を配置すると、全ての計測点に対して計測位置の適否を評価する。図11では左心室内膜53に計測点を配置するので、計測位置の評価に関しては、画像特徴量をエッジ強度として計算することが望ましい。
エッジ強度が高ければ計測位置は適正であり、エッジ強度が低ければ計測位置は適正でない。計測位置補正部10は、エッジ強度が高くなるように計測点55を計測点56に補正する。計測位置補正に関しては、計測点55近傍のエッジ強度を計算して最大強度の位置を探索し、計測点56を算出することができる。
尚、計測点の配置位置や配置対象によって、画像特徴量を適宜変更することが望ましい。また、自動補正後の計測位置が適正でない場合、操作者は、マウス等の入力機器を操作して計測位置を手動補正することができる。
(5−3.計測位置周辺の画像情報による計測位置の補正)
また、計測位置補正部10は、図12に示すように、画像計測データベース7のレコードの中の計測位置情報23と当該計測位置情報23が示す計測位置周辺の画像情報26を用いる。
例えば、心臓の左心室内膜53の膜面に計測位置を設定しようとする時、画像計測データベース7が保持する画像計測情報22を参照すると、計測位置情報23が示す計測位置は計測点27である。
画像計測情報22と入力画像情報21とを比較すると、計測点27周辺の画像情報26と計測点57周辺の画像情報28との間にズレを生じる場合がある。尚、入力画像情報21における計測点57の座標は、画像計測情報22における計測点27の座標と同一位置に設定される。また、計測点27周辺の画像情報26と計測点57周辺の画像情報28の形状は四角形としているが形状は問わない。
入力画像情報21において最初に設定された計測点57を本来設定すべき計測点58に補正するために、このズレの変位を計算する。変位の計算方法は、例えば、ブロックマッチング法等の画像相関処理を用いることができる。計測点27周辺の画像情報26と計測点57周辺の画像情報28との間で画像相関処理等を行ってズレの変位を計算した後、最初に設定された計測点57を変位分だけ移動させて正しい計測点58に補正する。
また、計測点27周辺の画像情報26と計測点57周辺の画像情報28との間の類似度を計算し、これを画像エネルギーとした動的輪郭モデル(非特許文献 M.Kass et al. Snakes:Active Contour Models,International Journal of Computer Vision,321−331,1988)を用いて、補正する方法を用いることもできる。式(1)のように計測点をv(s)として、画像エネルギーEimageに前記類似度やエッジ強度を、内部エネルギーEintに曲率等の輪郭形状に関する特徴量を設定し、全体のエネルギーEを最小化することにより、特に壁面のような滑らかな面にフィットさせることが可能である。これにより、計測位置設定の精度が向上するだけでなく、生体組織の滑らかさを考慮した設定が可能となる。
Figure 2008044441
また、動的な画像処理を用いた他の例としてActive Shape ModelやActive Appearance Modelによる輪郭の補正処理を行うこともできる。
以上説明したように、第4の実施形態では、計測位置補正処理を行うことにより、過去の画像計測情報に基づいて設定された計測位置が適正でない場合であっても、入力画像情報に基づいて計測位置を補正することができる。また、補正後の計測位置が適正でない場合には、操作者が計測位置を手動補正することができる。
(6.第5の実施形態:関心領域の設定)
次に、図13を参照しながら、第5の実施形態について説明する。
第1の実施形態〜第4の実施形態では、計測位置として計測点が設定・表示されるものとして説明したが、第5の実施形態では、計測点に基づいて関心領域が設定・表示される。
図13は、超音波画像61における関心領域79の設定を示す図である。
超音波画像61には、頸動脈62が表示される。頸動脈62は、矢印65の方向に血液が流れる血管である。頸動脈62の壁面63及び壁面64は、超音波画像61上ではエッジが明確に描出される部位である。
画像計測データベース7に過去の頚動脈の画像情報と計測点情報が記録されている場合には、第1の実施形態〜第4の実施形態と同様の処理により、頸動脈の超音波画像上に計測点を配置することができる。具体的な計測点の配置に関しては、第1の実施形態〜第4の実施形態等で説明したので、ここでは説明を省略する。
計測位置設定部9は、画像計測データベース7が保持する過去の頚動脈の画像情報と計測点情報に基づいて、頸動脈62の超音波画像61上に計測点71〜計測点78を配置する。
計測位置設定処理部6は、角部の計測点71及び計測点74及び計測点78及び計測点75を結んで関心領域79を設定する。関心領域79の枠は、例えば、破線で表示部12に表示される。計測計算部11は、設定された関心領域79について所定の計測計算を行い、計測結果を表示部12に表示する。例えば、計測計算部11は、関心領域79についてドプラ演算を行い、CFM(カラーフローマッピング)処理を行って血流像をカラー表示する。
尚、図13では、計測位置設定処理部6は、角部の計測点71及び計測点74及び計測点78及び計測点75を結んで長方形の関心領域79を設定したが、これに限定されない。全ての計測点71〜計測点78を結んで関心領域を設定してもよい。また、角部以外の計測点である計測点72及び計測点73及び計測点76及び計測点77だけを選択して部分的に関心領域を設定してもよい。
以上説明したように、第5の実施形態では、超音波プローブ1を被検体に当てて超音波信号を得て超音波画像を表示させれば、操作部4のトラックボール等の操作をすることなく関心領域79が自動的に設定され、設定された関心領域79内に例えば血流像が表示される。この結果、操作部4のトラックボール等の操作が不要となるため、超音波画像診断装置を用いた診断に要する時間を短くできる。また、血管に沿って関心領域が正確に設定されるため、血管外などにおける無用なCFM処理がなくなることにより、フレームレートを大きく悪化させることなく、超音波画像を表示できる。
(7.第6の実施形態:組織動態の計測)
次に、図14を参照しながら、第6の実施形態について説明する。第6の実施形態は、心筋等の各組織の動きである組織動態の計測に関する。
図14は、超音波画像における計測点の追跡を示す図である。
画像計測データベース7に過去の心筋の画像情報と計測点情報が記録されている場合には、第1の実施形態〜第4の実施形態と同様の処理により、心筋の超音波画像上に計測点を配置することができる。具体的な計測点の配置に関しては、第1の実施形態〜第4の実施形態等で説明したので、ここでは説明を省略する。
図14(a)に示すように、計測位置設定処理部9は、記憶部3から所定の時点のフレーム画像を読み出し、表示部12に超音波画像81を表示する。超音波画像81には心筋82の画像が含まれる。
計測位置設定部9は、画像計測データベース7が保持する過去の心筋の画像情報と計測点情報に基づいて、心筋82の超音波画像81上に計測点84を配置する。計測点84は、心筋82の左心室内膜83に沿って配置される。
追跡部14は、計測点84を含む所定範囲の切り出し画像85を設定する。
図14(b)に示すように、追跡部14は、記憶部3から次のフレーム画像を読み出し、表示部12に超音波画像86を表示する。超音波画像86には心筋87の画像が含まれる。心筋82は、組織の移動により心筋87となる。心筋82の左心室内膜83は、心筋87の左心室内膜88に拡大する。
追跡部14は、超音波画像86において、切り出し画像85と同一サイズの局所画像89−1、89−2、…を順次抽出する。追跡部14は、局所画像89−1、89−2、…と切り出し画像85との画像の一致度を算出する。画像の一致度の算出に関しては、例えば、ブロックマッチング法等の画像相関処理を用いることができる。
図14(c)に示すように、追跡部14は、画像の一致度が最も高い局所画像89の位置(図14(c)では局所画像89−4)を選択する。追跡部14は、選択した局所画像89の位置を移動後の計測点91として算出する。追跡部14は、超音波画像86の心筋87と重畳して計測点91を表示する。計測点91は、左心室内膜83から拡大した左心室内膜88に沿って配置される。
以上説明したように、第6の実施形態によれば、超音波診断装置は、所定の時点のフレーム画像について、過去の画像情報及び計測位置情報に基づいて計測点を設定し、以降のフレーム画像については、画像の一致度に基づいて計測点を追跡する。従って、計測位置を自動的に設定することができると共に、当該計測点を組織の動きに応じて移動させて組織動態の計測を精度よく行うことができる。
尚、追跡部14による計測点の追跡に代えて、時系列が前後する各フレーム画像について、第1の実施形態〜第4の実施形態等と同様の処理を行ってもよい。すなわち、計測位置設定処理部6は、過去の心筋の画像情報と過去の計測点情報に基づいて、各フレーム毎に計測点を設定するようにしてもよい。
(8.その他)
上述の各実施形態は、リアルタイムに表示される画像、シネメモリに蓄積された画像、動画ファイル形式(例えば、AVI形式)で記憶装置に保存された画像等に適用可能である。
計測位置設定は、ECG(Electrocardiogram)のある時相に合わせて1心拍に1回または複数回のタイミング、操作部のフリーズボタンを押して画像取得を一旦停止したタイミング、フリーズ後にシネメモリ内に保存したフレーム群からユーザが選択するタイミング、記憶装置内の動画ファイルに保存したフレーム群からユーザが選択するタイミング等で行うことができる。この場合、上記タイミングに合わせた画像情報を持つデータベースに保持することが望ましい。
また、長軸断層像、短軸断層像、四腔断層像、二腔断層像への分類が可能であるので、ストレスエコーに適用する際に、操作者に代わって自動的に断層像の種類の分類を行ってユーザの負担を軽減させる。さらに、データベースに心筋分画(例えば、ASE(American Society of Echocardiography)が推奨する分画)の位置を保持しておき、これを設定位置として表示すれば、心筋の分画位置が一目で理解でき、操作者の操作を補助する機能となる。従って、操作者は超音波プローブを操作して点数を付ける操作のみでよく、画像分類の煩雑さが軽減され、操作手順(画像を取得する順序等)の自由度が向上する。
造影剤モードにおいては、TIC(Time Intensity Curve)によって、ある組織の輝度の時間変化を解析する。このとき、計測したい時間のフレームと対象組織の位置を、フレーム毎にトラックボール等の入力機器を操作者が操作して設定する必要がある。造影剤使用時のデータベースを保持しておけば、自動的に輝度の計測位置が設定されるので、操作者の負担が軽減される。
他にも、ドップラ計測の際のウィンドウやストレイン計測の際の計測領域をデータベースに保持しておけば、これらの計測の自動化も同様に可能である。
(9.第7の実施形態)
次に、図15〜図24を参照しながら第7の実施形態について説明する。
(9−1.超音波診断装置の構成)
図15を参照しながら、超音波診断装置150の構成について説明する。
図15は、超音波診断装置150の構成図である。
超音波診断装置150は、超音波の送受信を行う超音波プローブ1と、超音波信号から画像を生成する画像生成部2と、この画像を保存する記憶領域である記憶部3と、操作者が入力機器を用いて装置の操作を行う操作部4と、計測項目を設定する計測項目設定部5と、画像から輝度値を抽出する画像輝度抽出部160と、断面認識処理部170と、棄却処理部180と、計測位置を設定する計測位置設定処理部6と、設定した計測位置に基づいて計測計算を行う計測計算部11と、計測位置や計測結果を表示する表示部12を備える。
図15の超音波プローブ1、画像生成部2、記憶部3、操作部4、計測項目設定部5、計測位置設定処理部6、計測計算部11、表示部12は、図1と同様のものであるので説明を省略する。
画像輝度抽出部160は、画像内で心臓が描画されている範囲の輝度値を取り出す装置である。
断面認識処理部170は、画像輝度抽出部160で得られた輝度値のパターンを用いて、入力画像の断面種類を認識する装置である。
入力画像は、超音波プローブ1及び画像生成部2によって取得された画像の中から入力された画像である。尚、記憶部3に記憶された画像を入力画像として用いることもできる。
断面認識処理部170は、画像輝度データベース171と、類似度計算部172と、断面種類判定部173を備える。
画像輝度データベース171は、標準断面画像の輝度値と断面種類をデータベース化して保存する装置である。尚、画像輝度データベース171については、後述する。
類似度計算部172は、画像輝度抽出部160で得られた輝度値と画像輝度データベース171内の標準断面画像の輝度値との間の類似度を断面種類毎に計算する装置である。類似度の計算結果は、スカラまたはベクトルで表示される。
断面種類判定部173は、類似度計算部172が計算した各断面種類についての類似度を比較して最も類似している断面種類を判定する装置である。
棄却処理部180は、類似度計算部172で得られた類似度等に基づいて、入力画像の棄却を行う装置である。棄却処理部180は、画像輝度統計量計算部181と、類似度差分計算部182と、閾値設定部183と、棄却判定部184を備える。
画像輝度統計量計算部181は、画像輝度抽出部160で得られた輝度値の統計量を計算する装置である。統計量は、例えば、標準統計量(例えば、平均や分散)や2次のテクスチャ統計量である。
類似度差分計算部182は、類似度計算部172で計算された類似度について、最も類似している標準断面画像の類似度と、次に類似している標準断面画像の類似度との差分を計算する装置である。この類似度差分を用いて入力画像の断面種類があいまいであるか否かが判定される。
閾値設定部183は、棄却処理を行うための閾値を設定する装置である。閾値設定部183は、画像輝度統計量計算部181で得られる画像輝度統計量、類似度計算部172で得られる類似度、類似度差分計算部182で得られる類似度差分について、それぞれ、閾値を設定する。尚、デフォルト値を閾値として設定してもよいし、操作者が入力機器を介して個別に設定してもよい。
棄却判定部184は、画像輝度統計量計算部181で得られる統計量、類似度計算部172で得られる類似度、類似度差分計算部182で得られる類似度差分について、閾値設定部183で設定された閾値を用いて閾値処理を行い、入力画像を棄却するか否かを判定する装置である。
尚、表示部12は、例えば、断面種類判定部173の結果や棄却判定部184の結果、断面種類の名称、類似度および類似度を示すグラフ、棄却及び入力画像再取得の警告を表示する。
また、操作者は、表示部12に表示された断面種類に誤りがある場合には、操作部4を介して手動で断面種類を設定することができる。
(9−2.画像輝度データベース171)
図16は、画像輝度データベース171が保持するレコードの一態様を示す図である。
画像輝度データベース171は、断面種類毎に標準断面画像に関する情報を保持する。標準断面画像に関する情報は、輝度値や所定の処理が施された画像データである。所定の処理は、例えば、部分空間法等のパターン認識処理による特徴抽出処理や符号圧縮化処理である。尚、画像輝度データベース171は、過去に取得した画像をデータベース化して保持するようにしてもよい。
図16に示す画像輝度データベース171は、断面種類221及び標準断面画像情報222及び計測項目223及び計測位置224を対応付けて保持する。断面種類221は、画像の種類を示す。断面種類221は、例えば、「長軸」「短軸」「二腔」「四腔」である。標準断面画像情報222は、断面種類221に属する標準断面画像に関する情報(輝度値等)を示す。計測項目223は、断面種類221に対応する計測項目を示す。計測位置224は、計測位置に関する情報である。計測位置224は、例えば、計測点や計測領域や計測領域を示す輪郭点群を示す座標値である。
(9−3.心臓描画の有無に基づく棄却処理)
図17は、入力画像の画像輝度統計量に基づく棄却処理を示すフローチャートである。
超音波診断装置150は、被検体の画像データである入力画像220を取得して記憶部3に保持する。入力画像220に関しては、超音波プローブ1を用いて画像生成部2により生成された画像データを入力してもよいし、異なる医用画像診断装置により生成された画像データを入力するようにしてもよいし、過去に取得して記憶部3の例えばハードディスク等に記憶しておいた画像データを入力するようにしてもよい。
図18は、表示部12に表示される画面228及び超音波画像229を示す図である。
画像輝度抽出部160は、入力画像220の輝度値を抽出する(S5001)。尚、画像輝度抽出部160は、図18の超音波画像229における、プローブの視野角内全体の輝度値を抽出してもよいし、超音波画像229の一部の輝度値を抽出してもよい。
画像輝度統計量計算部181は、S5001の処理で抽出した入力画像220の輝度値の統計量を計算する(S5002)。統計量は、標準統計量(例えば、平均、分散、歪度、尖度)や2次テクスチャ統計量(例えば、濃度共起行列の特徴量)である。
心臓の超音波画像は、心腔及び心筋及び他の領域の輝度確率分布が混合した画像である。心臓の超音波画像の画像輝度統計量は、特徴的な値を示す。超音波プローブ1が被検体の体表に接しておらず、入力画像220に心臓の画像が描画されていない場合には、超音波画像に特有の統計量を得ることができず、ノイズに特有の統計量が得られる。
閾値設定部183は、入力画像220の画像輝度統計量に閾値を設定する(S5003)。棄却判定部184は、閾値処理を行い、入力画像220に心臓の超音波画像が描画されているか否か判定する(S5004)。
棄却判定部184が入力画像220に心臓の超音波画像が描画されていないと判断した場合(S5004のNo)、表示部12は、断面認識結果として入力画像220を棄却した旨を表示し、操作者に入力画像220の再取得を促す(S5005)。
棄却判定部184が入力画像220に心臓の超音波画像が描画されていると判断した場合(S5004のYes)、図19以降の処理へ移行する。
以上の過程を経て、超音波診断装置150は、入力画像220の輝度値を抽出し、入力画像220の画像輝度統計量を計算し、この画像輝度統計量の閾値に基づいて入力画像220に心臓の超音波画像が描画されているか否か判定し、入力画像220に心臓の超音波画像が描画されていないと判定した場合には当該入力画像220を棄却し、操作者に入力画像220の再取得を促す。
このように、入力画像の統計的性質が心臓の超音波画像の性質に合致するか否かを棄却基準とすることにより、操作者が正しくプローブを操作して心臓の超音波画像を取得したか否かを判定することができる。また、この時点で入力画像を棄却することにより、当該入力画像について断面種類の認識処理を行う必要がない。従って、迅速かつ効率的に処理を行うことができる。
尚、操作者は、入力機器を用いて閾値を入力してもよいし、予め設定された初期値を閾値として用いてもよい。
また、閾値を変化させることによって、棄却率及び誤認識率が変化する。棄却率が高い場合には誤認識率が低くなるが、少しでも標準断面画像からずれた画像に関しては断面種類が認識されないので、操作性が悪化する。一方、棄却率が低い場合には多少標準断面画像からずれた画像であっても断面種類が認識されるが、誤認識率が高くなる。そこで、閾値に代えて棄却率や誤認識率を用いることにより、操作者の操作感覚に適応させてもよい。この場合、閾値から推定される棄却率あるいは誤認識率を表示してもよい。
(9−4.類似度に基づく棄却処理)
図19は、類似度に基づく棄却処理を示すフローチャートである。
図17のS5004のYesに続いて、図19のS6001以降の処理が実行される。
類似度計算部172は、断面種類毎に、入力画像220と画像計測データベース6が保持する標準断面画像との類似度を計算する(S6001)。
閾値設定部183は、類似度に閾値を設定する(S6002)。棄却判定部184は、閾値処理を行い、入力画像220と類似する標準断面画像が存在するか否か判定する(S6003)。
棄却判定部184が入力画像220と類似する標準断面画像が存在しないと判定した場合(S6003のNo)、表示部12は、断面認識結果として入力画像220を棄却した旨を表示し、操作者に入力画像220の再取得を促す(S6004)。尚、操作者自身が入力画像220の断面種類を特定可能であれば、入力機器を介して手動操作により、入力画像220の断面種類を選択及び修正することができる(S6005)。
棄却判定部184が入力画像220と類似する標準断面画像が存在すると判定した場合(S6003のYes)、図21以降の処理へ移行する。
図20は、入力画像220と標準断面画像との類似度を断面種類毎に示す図である。
以下説明のため、類似度はスカラで算出され、類似度の値が大きいほど類似し、類似度の値が小さいほど類似しないと定義する。
図20では、入力画像220について、PLA(傍胸骨長軸像)、PSA(傍胸骨短軸像)、A2C(心尖部二腔像)、A3C(心尖部長軸像)、A4C(心尖部四腔像)の5つの断面種類の標準断面画像との間で類似度が計算されて点231〜点235がプロットされる。点231〜点235が示す類似度は、全て、閾値設定部183が設定した閾値「t」より小さい。従って、上記5つの断面種類の標準断面画像の中に入力画像220と類似する標準断面画像がなく、棄却判定部184は、入力画像220の棄却を判定する(S6003のNo)。
以上の過程を経て、超音波診断装置150は、断面種類毎に、入力画像220と画像計測データベース6が保持する標準断面画像との類似度を計算し、類似度の閾値に基づいて、入力画像220と類似する標準断面画像が存在するか否か判定し、入力画像220と類似する標準断面画像が存在しないと判定した場合、断面認識結果として入力画像220を棄却した旨を表示し、操作者に入力画像220の再取得を促す。
このように、心臓の超音波画像を取得したものの、計測に必要な断面種類でない場合(入力画像が全ての断面種類の標準断面画像からずれている場合)、入力画像を棄却した上で、操作者に対して計測に必要な断面種類の入力画像の再取得を促し、迅速かつ効率的に処理を行うことができる。
尚、閾値の設定は、類似度に閾値を設けてもよいし、棄却率あるいは誤認識率に閾値を設定してもよい。
(9−5.類似度差分に基づく棄却処理)
図21は、類似度差分に基づく棄却処理を示すフローチャートである。
図19のS6003のYesに続いて、図21のS7001以降の処理が実行される。
類似度差分計算部182は、類似度計算部172の結果を用いて、入力画像220と最も類似している標準断面画像の類似度と、次に類似している標準断面画像の類似度との差分を計算する(S7001)。類似度差分は、入力画像220が2種類の標準断面画像に類似して断面種類があいまいであるか否かを示す指標である。
閾値設定部183は、類似度差分に閾値を設定する(S7002)。棄却判定部184は、閾値処理を行い、入力画像220の断面種類があいまいであるか否か判定する(S7003)。
棄却判定部184が入力画像220の断面種類があいまいであると判定した場合(S7003のYes)、表示部12は、断面認識結果として入力画像220を棄却した旨を表示し、操作者に入力画像220の再取得を促す(S7004)。尚、操作者自身が入力画像220の断面種類を特定可能であれば、入力機器を介して手動操作により、入力画像220の断面種類を選択及び修正することができる(S7005)。
棄却判定部184が入力画像220の断面種類があいまいでないと判定した場合(S7003のNo)、表示部12は、断面認識結果として、入力画像220の最終的な断面種類や各断面種類の標準断面画像との間の類似度等を表示する(S7006)。
図22は、入力画像220と標準断面画像との類似度を断面種類毎に示す図である。
図22では、入力画像220について、PLA(傍胸骨長軸像)、PSA(傍胸骨短軸像)、A2C(心尖部二腔像)、A3C(心尖部長軸像)、A4C(心尖部四腔像)の5つの断面種類の標準断面画像との間で類似度が計算されて点241〜点245がプロットされる。点245は最も類似度が大きく、点244は次に類似度が大きい。類似度差分計算部182は、点244と点245との類似度差分「Δd」を計算する。棄却判定部184は、類似度差分「Δd」が、閾値設定部183が設定した閾値より小さい場合には、入力画像220の断面種類があいまいであると判定し、当該入力画像220を棄却する(S7003のYes)。
以上の過程を経て、超音波診断装置150は、入力画像220と最も類似している標準断面画像の類似度と、次に類似している標準断面画像の類似度との差分を計算し、この類似度差分の閾値に基づいて、入力画像220の断面種類があいまいであるか否か判定し、入力画像220の断面種類があいまいであると判定した場合、断面認識結果として入力画像220を棄却した旨を表示し、操作者に入力画像220の再取得を促す。
このように、心臓の超音波画像を取得し、入力画像が2種類の標準断面画像に類似するあいまいな画像である場合、入力画像を棄却した上で、操作者に対して計測に必要な断面種類の入力画像の再取得を促し、迅速かつ効率的に処理を行うことができる。
尚、閾値の設定は、類似度差分に閾値を設けてもよいし、棄却率あるいは誤認識率に閾値を設定してもよい。
(9−6.画面表示)
図23は、表示部12が表示する画面250の一態様を示す図である。
画面250には、超音波画像251が表示される。超音波画像251には、A4C像(心尖部四腔像)が描画される。
断面種類表示252には、断面認識結果が表示される。断面種類表示252には、例えば、「A4C」が表示される。尚、入力画像220が棄却された場合には、断面種類表示252には、例えば、「棄却」が表示される。
類似度表示253には、断面種類毎に類似度が表示される。図23では、「A4C」の類似度が「40」であり、最も類似度の値が大きい(最も類似する)。
グラフ表示254には、類似度表示253の内容がグラフ化されて表示される。これにより、入力画像220がどの断面種類の標準断面画像に類似しているかを視覚的に把握することができる。
断面認識処理を行うタイミングに制限はなく、例えば、ECG(Electrocardiogram)のR波毎に断面認識処理を行う場合、断面種類表示252、類似度表示253、グラフ表示254は、R波毎に更新される。操作者は、これらの表示を見ながら、超音波プローブ1の位置や角度を調整して、計測対象の断面種類の画像を描画することができる。
(9−7.計測位置設定)
図24は、表示部12における画面260及び画面264を示す図である。
図24(a)に示すように、画面260において、操作者が計測項目261として「項目A」を選択すると、当該計測項目に対応する計測点263が超音波画像262と重畳して表示される。
図24(b)に示すように、画面264において、操作者が計測項目265として「項目B」を選択すると、当該計測項目に対応する計測領域267が超音波画像266と重畳して表示される。
尚、計測項目設定部5は、計測項目を設定し、計測位置設定処理部6は、画像輝度データベース171の断面種類221及び計測項目223及び計測位置224に基づいて、計測点263や計測領域267の設定を行う。計測計算部11は、設定された計測点263や計測領域267について計測を行い、計測計算結果を表示部12に表示する。
このように、超音波診断装置150は、断面認識処理により認識された断面種類に応じた計測メニューを構築することができる。例えば、入力画像の断面種類が「PSA(傍胸骨短軸像)」と認識されれば、「PSA(傍胸骨短軸像)」で使用する計測メニューだけに絞り込むことにより、計測項目を選択する手間を軽減することができる。
(9−8.第7の実施形態の効果)
以上説明したように、第7の実施形態によれば、超音波診断装置150は、入力画像の画像輝度統計量、入力画像と標準断面画像との類似度、入力画像と2つの標準断面画像についての類似度差分を算出し、これらの画像輝度統計量及び類似度及び類似度差分について閾値や棄却率や誤認識率を設定して棄却処理を行うので、計測に必要な断面種類の入力画像を迅速かつ効率的に取得することができる。
従来、ストレスエコー検査において、複数の断面種類の入力画像を撮像する場合には、断面種類毎に撮像順序を事前に決定する必要がある。一方、本発明の超音波診断装置150は、入力画像の断面種類を自動的に認識して振り分けて分類するので、撮像順序が自由であり、設定の手間が軽減され操作性を向上させることができる。
(10.第8の実施形態)
次に、図25〜図27を参照しながら、第8の実施形態について説明する。
図25は、類似度に基づく棄却処理を示すフローチャートである。
図17のS5004のYesに続いて、図25のS8001以降の処理が実行される。
第7の実施形態(図19)では、画像輝度データベース171が保持する全ての断面種類を分類対象としたが、第8の実施形態(図25)では、計測項目に基づいて分類対象とする断面種類が決定される。
超音波診断装置150は、計測項目設定部5により計測項目の入力を受け付ける(S8001)。超音波診断装置150は、画像輝度データベース171を参照して、計測項目223に対応する断面種類221を抽出し、抽出した断面種類221を分類対象とする(S8002)。
S8003〜S8007の処理は、図19のS6001〜S6005の処理と同様である。
図26は、心臓の断面種類を示す図である。
図27は、計測項目及び分類対象を示す図である。
図26の心臓270には、標準断面画像271(四腔)、標準断面画像272(二腔)、標準断面画像273(長軸)、標準断面画像274(基部短軸)、標準断面画像275(中部短軸)、標準断面画像276(尖部短軸)の6種類の標準断面画像が設定される。
図27に示すように、超音波診断装置150は、計測項目281(計測項目A)が設定されると、標準断面画像271〜標準断面画像276が属する6種類の断面種類を分類対象とし、計測項目283(計測項目B)が設定されると、標準断面画像271〜標準断面画像273が属する3種類の断面種類を分類対象とする。
このように、第8の実施形態では、計測項目に基づいて入力画像の分類数を可変とすることができる。計測項目に応じて必要な分類数、例えば、計測メニューを絞り込むために、「PLA(傍胸骨長軸像)」「PSA(傍胸骨短軸像)」「A3C(心尖部長軸像)」の3種類に分類することにより、4種類以上に分類するよりも認識率を向上させることができ、計測操作における操作性を向上させることができる。
(11.その他)
超音波診断装置150は、入力画像の画像輝度統計量(図17)及び類似度(図19)及び類似度差分(図21)に基づいて棄却処理を行うものとして説明したが、適宜選択して組み合わせて棄却処理を行うことも当然可能である。尚、断面認識処理における誤認識を防止するには、入力画像の画像輝度統計量(図17)及び類似度(図19)及び類似度差分(図21)の全てに基づいて棄却処理を行うことが望ましい。
また、超音波診断装置が撮像した入力画像について、リアルタイムで断面認識処理及び棄却処理を実行するものとして説明したが、超音波診断装置が撮像した画像を動画像形式で保存し、オフラインで断面認識処理及び棄却処理を実行してもよい。
以上、添付図面を参照しながら、本発明に係る医用画像診断装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

Claims (20)

  1. 被検体の画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された画像情報を表示する表示部と、前記表示部に表示された画像情報に基づいて計測計算を行う計測計算手段と、を備える医用画像診断装置において、
    過去に取得した画像情報と当該画像情報に対して設定された過去の計測位置情報とを対応付けて保持する記憶手段と、
    入力画像情報と最も類似した過去の画像情報を認識して選択する画像選択手段と、
    前記画像選択手段によって選択された過去の画像情報に対応する過去の計測位置情報に基づいて、前記入力画像情報に対して計測位置を設定する計測位置設定手段と、
    を具備することを特徴とする医用画像診断装置。
  2. 前記画像選択手段は、前記入力画像情報と前記記憶手段に保持される全ての過去の画像情報との間で画像認識計算を行うことを特徴とする請求項1に記載の医用画像診断装置。
  3. 前記記憶手段には、計測項目毎に前記計測位置が保持され、
    前記計測項目を選択する選択手段を備え、前記計測位置設定手段は、選択された計測項目に対応した前記計測位置を読み出し、前記計測位置を設定することを特徴とする請求項1に記載の医用画像診断装置。
  4. 前記記憶手段には、カテゴリ毎に前記過去の画像情報が分類されると共に前記カテゴリを代表する代表画像情報が保持され、
    前記画像選択手段は、前記入力画像情報と前記記憶手段に保持される前記代表画像情報との間で画像認識計算を行って前記入力画像情報のカテゴリを決定し、前記入力画像情報と前記決定されたカテゴリに属する過去の画像情報との間で画像認識計算を行うことを特徴とする請求項1に記載の医用画像診断装置。
  5. 前記記憶手段には、過去の計測条件情報が過去の画像情報に対応付けて保持され、
    入力計測条件情報と前記記憶手段に保持される過去の計測条件情報との間で計測条件認識計算を行って前記入力計測条件情報と最も類似した過去の計測条件を認識して選択する計測条件選択手段を具備し、
    前記計測位置設定手段は、前記計測条件選択手段によって選択された過去の計測条件情報に対応する過去の計測位置情報に基づいて、前記計測位置を設定することを特徴とする請求項1に記載の医用画像診断装置。
  6. 前記入力画像情報の画像特徴量に基づいて、前記計測位置設定手段によって設定された計測位置の適否を評価する計測位置評価手段と、
    前記計測位置評価手段によって、前記設定された計測位置が適正でないと判断された場合、前記入力画像情報の画像特徴量に基づいて、前記設定された計測位置を補正する計測位置補正手段と、
    を具備することを特徴とする請求項1に記載の医用画像診断装置。
  7. 前記入力画像情報に設定された計測位置近傍においてエッジ強度を算出し、前記算出されたエッジ強度が最大の位置に前記設定された計測位置を補正する計測位置補正手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  8. 前記入力画像情報に設定された計測位置周辺の画像情報と前記過去の計測位置情報が示す計測位置周辺の画像情報との間の変位に基づいて前記設定された計測位置を補正する計測位置補正手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  9. 前記計測位置設定手段によって設定された計測位置に基づいて関心領域を設定する関心領域設定手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  10. 前記入力画像情報から前記計測位置設定手段によって設定された計測位置を含む所定範囲の画像部位を選択し、当該画像部位の動きを追跡することにより前記設定された計測位置を移動させる計測位置追跡手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  11. 前記画像選択手段による画像認識が成功した場合、前記入力画像情報に関する画像認識結果を前記表示部に表示させる画像認識結果表示手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  12. 前記画像選択手段による画像認識が失敗した場合、警告処理または前記入力画像情報の再入力処理の少なくともいずれかを実行する警告処理手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  13. 前記入力画像情報と当該入力画像情報に対して設定された計測位置とを前記記憶手段に登録して更新する計測位置更新手段を具備することを特徴とする請求項1に記載の医用画像診断装置。
  14. 前記記憶手段は、過去に取得した複数の断面画像の輝度情報と断面種類とを対応付けて保持し、
    前記画像取得手段で取得された画像の中から入力された入力画像と前記記憶部が保持する前記複数の断面画像との間の類似度を計算する類似度計算手段と、
    前記入力画像と最も類似する断面画像との間の類似度と前記入力画像と他の断面画像との間の類似度との差分である類似度差分を計算する類似度差分計算手段と、
    前記類似度及び前記類似度差分に対して閾値処理を行って前記入力画像の棄却判定を行う棄却判定手段と、
    を具備することを特徴とする請求項1に記載の医用画像診断装置。
  15. 前記入力画像の輝度統計量を計算する画像輝度統計量計算手段を具備し、
    前記棄却判定手段は、前記入力画像の輝度統計量に対して閾値処理を行って前記入力画像の棄却判定を行うことを特徴とする請求項14に記載の医用画像診断装置。
  16. 前記棄却判定における棄却率を設定する棄却率設定手段を具備し、
    前記棄却判定手段は、前記棄却率設定手段によって設定された棄却率に対応する閾値を用いて閾値処理を行って、前記入力画像の棄却判定を行うことを特徴とする請求項14に記載の医用画像診断装置。
  17. 計測項目を設定する計測項目設定手段と、
    前記計測項目設定手段によって設定された計測項目に基づいて分類対象とする断面種類を決定する分類対象決定手段と、
    を具備することを特徴とする請求項14に記載の医用画像診断装置。
  18. 前記入力画像に最も類似する断面画像の断面種類に前記入力画像を分類する分類手段を具備することを特徴とする請求項14に記載の医用画像診断装置。
  19. 被検体の画像情報を表示し、前記表示した画像情報に基づいて計測計算を行う医用画像計測方法において、
    過去に取得した画像情報と当該画像情報に対して設定された過去の計測位置情報とを対応付けて記憶装置に保持するステップと、
    入力画像情報と最も類似した過去の画像情報を認識して選択する画像選択ステップと、
    前記画像認識ステップによって選択された過去の画像情報に対応する過去の計測位置情報に基づいて、前記入力画像情報に対して計測位置を設定する計測位置設定ステップと、
    を具備することを特徴とする医用画像計測方法。
  20. 被検体の画像情報を取得し、前記取得した画像情報を表示し、前記表示した画像情報に基づいて計測計算をコンピュータに実行させる医用画像計測プログラムにおいて、
    過去に取得した画像情報と当該画像情報に対して設定された過去の計測位置情報とを対応付けて記憶装置に保持するステップと、
    入力画像情報と最も類似した過去の画像情報を認識して選択する画像選択ステップと、
    前記画像認識ステップによって選択された過去の画像情報に対応する過去の計測位置情報に基づいて、前記入力画像情報に対して計測位置を設定する計測位置設定ステップと、
    をコンピュータに実行させることを特徴とする医用画像計測プログラム。
JP2008538614A 2006-10-10 2007-09-19 医用画像診断装置、医用画像計測方法 Active JP4934143B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008538614A JP4934143B2 (ja) 2006-10-10 2007-09-19 医用画像診断装置、医用画像計測方法

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2006275956 2006-10-10
JP2006275956 2006-10-10
JP2006287085 2006-10-23
JP2006287085 2006-10-23
JP2007067967 2007-03-16
JP2007067967 2007-03-16
JP2008538614A JP4934143B2 (ja) 2006-10-10 2007-09-19 医用画像診断装置、医用画像計測方法
PCT/JP2007/068156 WO2008044441A1 (en) 2006-10-10 2007-09-19 Medical image diagnostic apparatus, medical image measuring method, and medical image measuring program

Publications (2)

Publication Number Publication Date
JPWO2008044441A1 true JPWO2008044441A1 (ja) 2010-02-04
JP4934143B2 JP4934143B2 (ja) 2012-05-16

Family

ID=39282649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008538614A Active JP4934143B2 (ja) 2006-10-10 2007-09-19 医用画像診断装置、医用画像計測方法

Country Status (5)

Country Link
US (1) US20100036248A1 (ja)
EP (1) EP2072013A4 (ja)
JP (1) JP4934143B2 (ja)
CN (1) CN101522107B (ja)
WO (1) WO2008044441A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171755A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理プログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073215B2 (en) * 2007-09-18 2011-12-06 Siemens Medical Solutions Usa, Inc. Automated detection of planes from three-dimensional echocardiographic data
US20160206292A1 (en) * 2008-08-05 2016-07-21 Guardsman Scientific, Inc. Systems and methods for managing a patient
US20220370041A1 (en) * 2008-08-05 2022-11-24 Guardsman Scientific, Inc. Systems and methods for managing a patient
KR101051567B1 (ko) * 2008-11-19 2011-07-22 삼성메디슨 주식회사 표준 단면 정보를 제공하는 초음파 시스템 및 방법
EP2417913A4 (en) * 2009-04-06 2014-07-23 Hitachi Medical Corp DIAGNOSTIC APPARATUS FOR DISPLAYING MEDICAL IMAGES, METHOD FOR SETTING INTERESTS, DEVICE FOR PROCESSING MEDICAL PICTURES AND A PROGRAM FOR SETTING INTERESTS
JP5459832B2 (ja) * 2009-06-02 2014-04-02 東芝メディカルシステムズ株式会社 超音波診断装置
JP5366678B2 (ja) * 2009-06-25 2013-12-11 株式会社東芝 3次元超音波診断装置及びプログラム
JP5586203B2 (ja) * 2009-10-08 2014-09-10 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
CN102695457B (zh) * 2010-02-10 2014-12-31 柯尼卡美能达株式会社 超声波诊断装置及测量内中膜的厚度的方法
JP5846755B2 (ja) * 2010-05-14 2016-01-20 株式会社東芝 画像診断装置及び医用画像表示装置
WO2011158352A1 (ja) * 2010-06-16 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
JP5209026B2 (ja) * 2010-10-27 2013-06-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP5294340B2 (ja) 2010-10-27 2013-09-18 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
CN102151151B (zh) * 2011-04-14 2012-09-26 武汉超信电子工程有限公司 具有机器参数校正功能的超声诊断仪
KR101323329B1 (ko) * 2011-11-22 2013-10-29 삼성메디슨 주식회사 초음파 영상 표시 방법 및 초음파 영상 표시 장치
KR101446780B1 (ko) * 2012-06-01 2014-10-01 삼성메디슨 주식회사 초음파 영상과 초음파 영상에 관련된 정보를 디스플레이하기 위한 방법 및 장치
US8897532B2 (en) * 2012-07-11 2014-11-25 General Electric Company Systems and methods for performing image type recognition
JP5892656B2 (ja) * 2012-07-17 2016-03-23 富士通株式会社 描画処理プログラム、描画処理方法及び描画処理装置
JP2014064708A (ja) * 2012-09-25 2014-04-17 Toshiba Corp 超音波診断装置、及び、画像処理装置
WO2014155825A1 (ja) * 2013-03-29 2014-10-02 日立アロカメディカル株式会社 医療用診断装置およびその計測方法
WO2014171159A1 (ja) * 2013-04-18 2014-10-23 日立アロカメディカル株式会社 医療画像処理装置
KR20150082945A (ko) * 2014-01-08 2015-07-16 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
CN105555198B (zh) * 2014-03-20 2019-12-24 深圳迈瑞生物医疗电子股份有限公司 自动识别测量项的方法、装置及一种超声成像设备
WO2016045008A1 (zh) * 2014-09-24 2016-03-31 通用电气公司 超声扫描图像的存储方法和超声设备
WO2016194161A1 (ja) * 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法
KR102656542B1 (ko) * 2015-12-22 2024-04-12 삼성메디슨 주식회사 초음파 영상들을 디스플레이하는 방법 및 장치.
JP6821403B2 (ja) * 2016-01-29 2021-01-27 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム。
WO2017158998A1 (ja) * 2016-03-14 2017-09-21 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
US10675004B2 (en) * 2016-07-20 2020-06-09 Fujifilm Sonosite, Inc. Ultrasound imaging apparatus with image selector
EP3487410A4 (en) * 2016-08-01 2020-04-08 Cordance Medical Inc. ULTRASONIC OPENING OF THE BLOOD BRAIN CABINET
US10467202B2 (en) 2017-07-21 2019-11-05 Bank Of America Corporation System for multi-release and parallel development of a database
CN111225619B (zh) * 2017-10-17 2023-04-04 富士胶片株式会社 声波诊断装置及声波诊断装置的控制方法
CN111770730B (zh) 2018-02-23 2023-04-28 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
WO2020016069A1 (en) * 2018-07-18 2020-01-23 Koninklijke Philips N.V. Acquisition workflow and status indicators in a handheld medical scanning device
WO2020095343A1 (ja) * 2018-11-05 2020-05-14 株式会社島津製作所 X線撮像装置
US11969291B2 (en) * 2019-04-18 2024-04-30 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and ultrasonic diagnostic method
JP7446139B2 (ja) * 2019-04-18 2024-03-08 キヤノンメディカルシステムズ株式会社 超音波診断装置及びプログラム
US10957444B2 (en) * 2019-05-06 2021-03-23 Wisconsin Alumni Research Foundation Apparatus for tomography repeat rate/reject rate capture
CN113974686A (zh) * 2021-12-03 2022-01-28 深圳迈瑞动物医疗科技有限公司 一种超声成像设备
CN116596919B (zh) * 2023-07-11 2023-11-07 浙江华诺康科技有限公司 内镜图像质控方法、装置、系统、计算机设备和存储介质
KR102696140B1 (ko) * 2023-07-14 2024-08-16 연세대학교 산학협력단 인공지능 모델 이용 서비스 제공 방법 및 이를 수행하는 서버

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005173A (ja) * 1998-06-24 2000-01-11 Ge Yokogawa Medical Systems Ltd 超音波撮像方法および装置
JP2002306481A (ja) * 2001-04-17 2002-10-22 Olympus Optical Co Ltd 超音波画像処理装置
JP2004174220A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体
JP2004229924A (ja) * 2003-01-30 2004-08-19 Aloka System Engineering Co Ltd 超音波診断システム、超音波診断装置及び画像データ処理装置
JP2004290404A (ja) * 2003-03-27 2004-10-21 Ge Medical Systems Global Technology Co Llc 超音波撮像方法および超音波診断装置
JP2005193017A (ja) * 2003-12-15 2005-07-21 General Electric Co <Ge> 乳房患部分類の方法及びシステム
JP2005348807A (ja) * 2004-06-08 2005-12-22 Shimadzu Corp 超音波診断装置
JP2006000127A (ja) * 2004-06-15 2006-01-05 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006122686A (ja) * 2004-10-28 2006-05-18 Sonosite Inc 超音波血管測定装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603144B2 (ja) * 1990-01-17 1997-04-23 富士写真フイルム株式会社 画像ファイリング装置
JP3026712B2 (ja) * 1993-12-09 2000-03-27 キヤノン株式会社 画像検索方法及びその装置
JPH10191020A (ja) * 1996-12-20 1998-07-21 Canon Inc 被写体画像切出し方法及び装置
JP2002140689A (ja) 2000-10-31 2002-05-17 Toshiba Corp 医用画像処理装置及びその方法
JP4167162B2 (ja) * 2003-10-14 2008-10-15 アロカ株式会社 超音波診断装置
JP4214061B2 (ja) 2004-02-16 2009-01-28 アロカ株式会社 超音波診断装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005173A (ja) * 1998-06-24 2000-01-11 Ge Yokogawa Medical Systems Ltd 超音波撮像方法および装置
JP2002306481A (ja) * 2001-04-17 2002-10-22 Olympus Optical Co Ltd 超音波画像処理装置
JP2004174220A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体
JP2004229924A (ja) * 2003-01-30 2004-08-19 Aloka System Engineering Co Ltd 超音波診断システム、超音波診断装置及び画像データ処理装置
JP2004290404A (ja) * 2003-03-27 2004-10-21 Ge Medical Systems Global Technology Co Llc 超音波撮像方法および超音波診断装置
JP2005193017A (ja) * 2003-12-15 2005-07-21 General Electric Co <Ge> 乳房患部分類の方法及びシステム
JP2005348807A (ja) * 2004-06-08 2005-12-22 Shimadzu Corp 超音波診断装置
JP2006000127A (ja) * 2004-06-15 2006-01-05 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006122686A (ja) * 2004-10-28 2006-05-18 Sonosite Inc 超音波血管測定装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171755A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
CN101522107B (zh) 2014-02-05
EP2072013A1 (en) 2009-06-24
EP2072013A4 (en) 2014-12-03
CN101522107A (zh) 2009-09-02
WO2008044441A1 (en) 2008-04-17
US20100036248A1 (en) 2010-02-11
JP4934143B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4934143B2 (ja) 医用画像診断装置、医用画像計測方法
CN108701354B (zh) 识别超声图像中感兴趣区域轮廓的方法及系统
WO2017206023A1 (zh) 一种心脏容积识别分析系统和方法
US9514531B2 (en) Medical image diagnostic device and method for setting region of interest therefor
EP2965263B1 (en) Multimodal segmentation in intravascular images
US9125622B2 (en) Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analyzing program stored therein
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
US8073215B2 (en) Automated detection of planes from three-dimensional echocardiographic data
CN102056547B (zh) 医用图像处理装置及医用图像处理方法
CN110584714A (zh) 超声融合成像方法、超声装置及存储介质
US20190159762A1 (en) System and method for ultrasound elastography and method for dynamically processing frames in real time
US11069059B2 (en) Prenatal ultrasound imaging
US20210022715A1 (en) Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography
US20240156431A1 (en) Image-Based Diagnostic Systems
JP5558727B2 (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
US20060100518A1 (en) Automated diastolic function analysis with ultrasound
JP2017169793A (ja) 超音波診断装置及び超音波画像処理方法
US10776666B2 (en) Apparatus and method for diagnosis of medical image
US20220370046A1 (en) Robust view classification and measurement in ultrasound imaging
US20240078664A1 (en) Ultrasonic imaging apparatus and program
CN116138807A (zh) 一种超声成像设备及腹主动脉的超声检测方法
CN118557220A (zh) 超声成像系统及超声图像分析方法
Kakadiaris et al. Quo vadis cardiovascular informatics?

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120217

R150 Certificate of patent or registration of utility model

Ref document number: 4934143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350