JP7209630B2 - 音響波計測装置及び音響波計測装置の作動方法 - Google Patents

音響波計測装置及び音響波計測装置の作動方法 Download PDF

Info

Publication number
JP7209630B2
JP7209630B2 JP2019537935A JP2019537935A JP7209630B2 JP 7209630 B2 JP7209630 B2 JP 7209630B2 JP 2019537935 A JP2019537935 A JP 2019537935A JP 2019537935 A JP2019537935 A JP 2019537935A JP 7209630 B2 JP7209630 B2 JP 7209630B2
Authority
JP
Japan
Prior art keywords
measurement
unit
detection
acoustic wave
reception unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019537935A
Other languages
English (en)
Other versions
JPWO2019039028A1 (ja
Inventor
剛 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019039028A1 publication Critical patent/JPWO2019039028A1/ja
Priority to JP2021091401A priority Critical patent/JP7195374B2/ja
Application granted granted Critical
Publication of JP7209630B2 publication Critical patent/JP7209630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、音響波を使用した医用画像診断装置であって、表示装置に表示された音響波画像上の臓器や病変等の計測を行う音響波計測装置及び音響波計測装置の作動方法に関する。
近年、医用音響波計測装置においては、取得した音響波画像内に含まれる様々な臓器や病変等に対して、長さや面積等の計測を行う計測機能を有することが一般的になっている。計測対象を計測するためには、通常、操作者がトラックパッドやトラックボール、マウス等の座標を入力する入力装置を用いてキャリパすなわちカーソルを操作し、表示画像上に計測点や関心領域等の設定をすることが行われている。
特許文献1には、計測する部位の種別、計測中の画像モード及び操作者が入力する計測点の設定順序に応じて最適な計測項目を自動判別することで、操作者が操作に戸惑うことなく、診断に集中することが可能な超音波診断装置が開示されている。また特許文献2には、超音波診断画像を表示する表示手段と計測処理を指示する表示・受付手段とを別々に備えることにより、表示手段への指紋の付着による汚れを防ぎ、超音波診断画像や計測結果が見難くなるという問題を解消する技術が開示されている。
特開2010-240198号公報 特開2010-148811号公報
特許文献1及び特許文献2においてはいずれも、計測点の入力を手動による入力操作のみで行っているので、計測対象に計測点を合わせるための手間や時間を要している。また操作者によって計測点の入力にバラつきが生じる場合があり、計測結果にもバラつきが生じてしまう恐れがある。
一方、1つの計測対象に対して複数の計測方法がある場合、例えば胆嚢短軸画像においては、縦方向に測る方法と横方向に測る方法がある場合には、予めどの方法で計測するのかを操作者が指定しておくか、または全ての計測方法で計測しておいて後から計測結果を選択する必要があり、手間を要していた。
本発明はかかる問題点に鑑みてなされたもので、操作者による計測方法や計測結果の選択作業を削減し、少ない手数で迅速かつ簡単に計測対象の計測を行い、さらに操作者によるバラつきを低減した計測を行うことができる音響波計測装置及び音響波計測装置の作動方法を提供することを目的とする。
本発明の音響波計測装置は、音響波画像を表示する画像表示部と、
計測対象の指定を受け付ける計測対象指定受付部と、
画像表示部に表示された音響波画像上の計測対象の位置の指定を受け付ける位置指定受付部と、
計測方法を示す計測方法情報を受け付ける計測方法情報受付部と、
計測対象指定受付部が受け付けた計測対象と、計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定する検出計測アルゴリズム設定部と、
位置指定受付部により受け付けた位置と検出計測アルゴリズム設定部により設定された検出計測アルゴリズムとに基づいて、計測対象を検出し、かつ検出した計測対象について計測を行う計測部と、を備える。
本発明において「音響波」とは、超音波及び光音響波を含む用語である。また「検出計測アルゴリズム」は、検出するためのアルゴリズムと計測するためのアルゴリズムとを含むアルゴリズムである。
また本発明において「計測方法」とは、計測対象の長さや面積等のいずれを計測するのか、長さを計測する場合にはどの方向を計測するのか等を意味する。
また本発明の音響波計測装置は、位置指定受付部による計測対象の位置の指定の受付と計測方法情報受付部による計測方法情報の受付とが別体的であってもよい。
また本発明の音響波計測装置は、位置指定受付部による計測対象の位置の指定の受付と計測方法情報受付部による計測方法情報の受付とが一体的であってもよい。
また本発明の音響波計測装置は、計測部は、位置指定受付部が受け付けた位置に基づいて検出を行う検出範囲の位置を決定してもよい。
なお本発明において「検出範囲」は、検出処理を行う音響波画像上の領域を意味し、「検出範囲の位置」は、上記領域の存在する位置を意味する。
また本発明の音響波計測装置は、計測部が、位置指定受付部が受け付けた位置に基づいて計測を行う計測の位置を決定してもよい。
なお本発明において「計測の位置」は、計測点が配置される場所を意味する。なお「計測点」は計測対象において2点間の距離を計測する場合には、この2点をそれぞれ計測点という。
また本発明の音響波計測装置は、計測対象指定受付部が受け付けた計測対象において計測可能な計測方法が1つのみである場合、
検出計測アルゴリズム設定部は、計測方法情報を無視して計測可能な計測方法に基づいて検出計測アルゴリズムを設定する。
なお本発明において、「計測可能な計測方法」とは、計測対象毎に予め設定されている計測方法を意味する。
また本発明の音響波計測装置は、計測対象指定受付部が受け付けた計測対象において計測可能な計測方法が1つのみである場合、計測可能な計測方法を示す情報を報知する報知部を備える。
また本発明の音響波計測装置は、検出計測アルゴリズム設定部が、計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定できなかった場合、警告を報知する警告報知部を備える。
また本発明の音響波計測装置は、計測対象について検出を行う条件を位置指定受付部が受け付けた位置及び計測対象指定受付部が受け付けた計測対象の少なくとも1つに基づいて設定する検出条件設定部をさらに備え、
計測部は、検出条件設定部が設定した条件に基づいて検出を行ってもよい。
また本発明の音響波計測装置は、検出条件設定部が、検出を行う条件として、検出範囲の形状、検出範囲の大きさ、検出精度及び検出順序の少なくも1つを決定してもよい。
また本発明の音響波計測装置は、音響波画像が超音波画像であってもよい。
また本発明の音響波計測装置は、音響波画像が光音響波画像であってもよい。
本発明の音響波計測装置の作動方法は、画像表示部と計測対象指定受付部と位置指定受付部と計測方法情報受付部と検出計測アルゴリズム設定部と計測部とを備える音響波計測装置の作動方法であって、
画像表示部は、音響波画像を表示し、
計測対象指定受付部は、計測対象の指定を受け付け、
位置指定受付部は、画像表示部に表示された音響波画像上の計測対象の位置の指定を受け付け、
計測方法情報受付部は、計測方法を示す計測方法情報を受け付け、
検出計測アルゴリズム設定部は、計測対象指定受付部が受け付けた計測対象と、計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定し、
計測部は、位置指定受付部により受け付けた位置と検出計測アルゴリズム設定部により設定された検出計測アルゴリズムとに基づいて、計測対象を検出し、かつ検出した計測対象について計測を行う。
本発明の音響波計測装置及び音響波計測装置の作動方法によれば、音響波画像を表示する画像表示部と、計測対象の指定を受け付ける計測対象指定受付部と、画像表示部に表示された音響波画像上の計測対象の位置の指定を受け付ける位置指定受付部と、計測方法を示す計測方法情報を受け付ける計測方法情報受付部と、計測対象指定受付部が受け付けた計測対象と、計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定する検出計測アルゴリズム設定部と、位置指定受付部により受け付けた位置と検出計測アルゴリズム設定部により設定された検出計測アルゴリズムとに基づいて、計測対象を検出し、かつ検出した計測対象について計測を行う計測部とを備えるので、操作者が画像表示部に表示された音響波画像上の計測対象のおおまかな位置を指定し、縦方向に直線を入力したり、横方向に直線に入力したり等、計測方向等の計測方法を示す情報を入力すると計測部が自動的に計測対象を検出して計測する。これにより操作者による計測方法や計測結果の選択作業を削減し、少ない手数で迅速かつ簡単に計測対象の計測を行い、さらに操作者によるバラつきを低減した計測を行うことができる。
本発明の第1の実施形態に係る音響波計測装置を備えた音響波画像撮影装置を示す斜視図 図1の音響波画像撮影装置の全体構成を示す概略図 超音波画像の表示の一例を示す図 超音波画像上の計測項目の一覧の表示の一例を示す図 超音波画像上に表示された計測項目の一覧における選択の一例を示す図 超音波画像上における位置の指定の一例を示す図 異なる計測方法を説明する図(その1) 異なる計測方法を説明する図(その2) 超音波画像上における点入力の一例を示す図 超音波画像上における線入力の一例を示す図 超音波画像上における円入力の一例を示す図 超音波画像上に表示される計測結果の一例を示す図 図2の音響波計測装置の一連の処理方法を示すフローチャート 本発明の第2の実施形態に係る音響波計測装置を備えた音響波画像撮影装置の全体構成を示す概略図 本発明の第3の実施形態に係る音響波計測装置を備えた音響波画像撮影装置の全体構成を示す概略図 本発明の第4の実施形態に係る音響波計測装置を備えた音響波画像撮影装置の全体構成を示す概略図 図16の音響波計測装置による処理を説明するための図 超音波画像上の検出範囲の大きさの一例を示す図 超音波画像上の検出範囲の大きさの他の一例を示す図 超音波画像上の検出範囲の位置の一例を示す図 超音波画像上の検出範囲の位置の他の一例を示す図 検出範囲内の検出精度を説明するための図 超音波画像上の検出順序の一例を示す図 超音波画像上の検出順序の他の一例を示す図 図16の音響波計測装置の一連の処理方法を示すフローチャート
以下、図面を参照して、本発明の第1の実施形態に係る音響波計測装置1を備えた音響波画像撮影装置10について詳しく説明する。図1は本発明の第1の実施形態に係る音響波計測装置1を備えた音響波画像撮影装置10を示す斜視図、図2は図1の音響波画像撮影装置10の全体構成を示す概略図、図3は超音波画像Ibの表示の一例を示す図、図4は超音波画像Ib上の計測対象の一覧Nの表示の一例を示す図、図5は超音波画像Ib上に表示された計測対象の一覧Nにおける選択の一例を示す図、図6は超音波画像Ib上における位置の指定の一例を示す図、図7及び図8はそれぞれ異なる計測方法を説明する図、図9は超音波画像上における点入力の一例を示す図、図10は超音波画像上における線入力の一例を示す図、図11は超音波画像上における円入力の一例を示す図、図12は超音波画像Ib上に表示される計測結果Rの一例を示す図である。
本実施形態に係る音響波画像撮影装置10は、一例として、反射超音波検出信号に基づいて超音波画像を生成する機能のみを有する。本発明の音響波計測装置は、光音響信号に基づいて光音響画像を生成する機能のみを有する装置に搭載してもよいし、光音響画像を生成する機能と超音波画像を生成する機能の両方を有する装置に搭載してもよいし、両方の上記機能を有さなくても、2次元画像の光音響画像及び超音波画像の少なくとも一方の画像データを入力又は記憶可能であり、入力又は記憶された上記画像データを表示可能な装置であれば搭載することができる。
音響波画像撮影装置10は一例として、図1に示すように、いわゆる携帯型であるノートパソコン型の装置として構成されている。なお本実施形態の音響波画像撮影装置10はノートパソコン型としたが、本発明はこれに限られず、タブレット型等であってもよい。音響波画像撮影装置10は、図1及び図2に示すように、超音波探触子からなるプローブ11、超音波ユニット12、画像表示部14及び入力部15を備えている。超音波ユニット12は、図1の筐体内部に収容される。画像表示部14はより具体的には、例えば液晶表示装置等からなる画像表示画面であり、操作者によって直接入力が可能なタッチパネルで構成されている。本実施形態の画像表示部14は入力部15としても機能する。画像表示部14及び入力部15は、それぞれカラー画像が表示可能に構成されている。以下、音響波画像撮影装置10の構成要素について順次説明する。
プローブ11は、例えば生体である被検体Mに向けて測定光及び超音波を出射する機能を有する。なお図2において、プローブ11の形状は概略的に示してある。また、プローブ11は、被検体M内を伝搬する音響波Uを検出する機能を有する。プローブ11は、被検体Mに対して超音波(音響波)を出射(送信)し、被検体Mで反射して戻って来た反射超音波(反射音響波)を検出(受信)する。
本明細書において「音響波」とは、超音波や光音響波を含み、「超音波」とはプローブにより送信された弾性波及びその反射波(反射超音波)を意味する。プローブ11が発する音響波は超音波に限定されるものでは無く、被検対象や測定条件等に応じて適切な周波数を選択してさえいれば、可聴周波数の音響波を用いてもよい。
プローブ11は、例えばセクタ走査対応のプローブ、リニア走査対応のプローブ、又は、コンベックス走査対応のプローブとして構成される。音響波画像の取得に使用されるプローブのタイプは、撮像部位などに応じて適宜選択される。プローブ11は、音響波検出器である振動子アレイ20を有し、振動子アレイ20は筐体50の内部に収容される。本実施形態において振動子アレイ20は、超音波送信素子としても機能する。振動子アレイ20は、図示外の配線を介して、超音波送信用の回路及び音響波受信用の回路等と接続されている。
振動子アレイ20は、一方向に並設された複数の超音波振動子を有する。超音波振動子は、電気音響変換素子である。超音波振動子は、例えば圧電セラミクスから構成された圧電素子である。又は、超音波振動子は、ポリフッ化ビニリデン(PVDF:PolyVinylidene DiFluoride)のような高分子フィルムから構成された圧電素子であってもよい。超音波振動子は、受信した音響波Uを電気信号に変換する。
なお、振動子アレイ20は、上記では、複数の超音波振動子が一次元に配列されている例について説明したが、これには限定されない。振動子アレイ20において、複数の超音波振動子が二次元に配列されていてもよい。
振動子アレイ20において、超音波振動子に交番電圧が印加されると、超音波振動子は交番電圧の周波数に対応した周波数の超音波を発生させ、振動子アレイ20から超音波が送信される。なお、超音波の送信と受信は互いに分離させてもよい。つまり、例えばプローブ11とは異なる位置から超音波の送信を行い、その送信された超音波に対する反射超音波をプローブ11で受信してもよい。
超音波ユニット12は、受信回路21、受信メモリ22、超音波画像生成部25、画像処理・記憶部26、表示制御部27、計測対象指定受付部28、検出計測アルゴリズム設定部29、位置指定受付部30、計測部31、送信制御回路34、制御部35及び計測方法情報受付部36を有する。本実施形態においては、画像表示部14、入力部15、画像処理・記憶部26、表示制御部27、計測対象指定受付部28、検出計測アルゴリズム設定部29、位置指定受付部30、計測部31、制御部35及び計測方法情報受付部36によって本発明の一実施形態である音響波計測装置1が構成される。超音波ユニット12は、典型的にはプロセッサ、メモリ、およびバスなどを有する。超音波ユニット12には、超音波画像生成処理などに関するプログラムがメモリに組み込まれている。なお、超音波ユニット12のハードウェアの構成は特に限定されるものではなく、複数のIC(Integrated Circuit)、プロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、およびメモリなどを適宜組み合わせることによって実現することができる。
制御部35は、音響波計測装置1の各部を制御し、かつ音響波画像撮影装置10の各部を制御する。例えば、プロセッサにより構成される制御部35によってプログラムが動作することにより、受信回路21、超音波画像生成部25、画像処理・記憶部26、表示制御部27、計測対象指定受付部28、検出計測アルゴリズム設定部29、位置指定受付部30、計測部31、送信制御回路34、計測方法情報受付部36などの機能が実現される。すなわち、これらの各部は、プログラムが組み込まれたメモリとプロセッサにより構成されている。制御部35は、超音波画像を取得する場合は、送信制御回路34に超音波送信を指示する超音波トリガ信号を送信する。送信制御回路34は、超音波トリガ信号を受けると、プローブ11から超音波を送信させる。制御部35は、超音波送信のタイミングに合わせて受信回路21にサンプリングトリガ信号を送信し、反射超音波信号のサンプリングを開始させる。
受信回路21は、プローブ11の振動子アレイ20が出力する反射超音波検出信号を受信し、受信した検出信号を受信メモリ22に格納する。受信回路21は典型的には、低ノイズアンプ、可変ゲインアンプ、ローパスフィルタ、及びAD変換器を含んで構成される。プローブ11が出力する反射超音波検出信号は、低ノイズアンプで増幅された後に、可変ゲインアンプで深度に応じたゲイン調整がなされ、ローパスフィルタで高周波成分がカットされた後にAD変換器でデジタル信号に変換され、受信メモリ22に格納される。受信回路21は、例えば1つのIC(Integrated Circuit)で構成される。なお、上記ローパスフィルタは、AD変換時に折り返し雑音が発生することを防止するために設けられている。ローパスフィルタのカットオフ周波数は、一般に、AD変換のサンプリング周波数の半分程度の周波数に設定される。ローパスフィルタのカットオフ周波数は、具体的には10MHz~30MHz程度に設定される。
受信メモリ22には、デジタル化された反射超音波検出信号が格納される。なお、詳しくいえば、上記反射超音波検出信号は、被検体Mに向けて出射された音響波である超音波が被検体M内で反射した反射音響波を検出して得られた信号である。
超音波画像生成部25は、受信メモリ22から受信した反射超音波検出信号を再構成して、超音波画像(断層画像)を生成する。具体的には、超音波画像生成部25は、振動子アレイ20の各超音波振動子の位置に応じた遅延時間で各超音波振動子から出力された信号に基づく反射超音波検出信号を加算し、1ライン分の反射超音波検出信号を生成する(遅延加算法)。超音波画像生成部25は、遅延加算法に代えて、CBP法(Circular Back Projection)により再構成を行ってもよい。あるいは超音波画像生成部25は、ハフ変換法又はフーリエ変換法を用いて再構成を行ってもよい。再構成された複数ライン分の反射超音波検出信号は、検波処理及び対数変換処理等の信号処理を受けてから、被検体Mのある断面に関する超音波画像(断層画像)を表示する信号として、画像処理・記憶部26を経て表示制御部27に送られる。
画像処理・記憶部26は、超音波画像の画像データに対して、明るさ補正、階調補正、シャープネス補正、及び色補正等の画質補正処理等の画質向上のための各種処理を行う。なお本実施形態の画像処理・記憶部26は各種データベースを記憶する記憶部及び超音波画像生成部25で生成された画像を表示する信号を画像データとして記憶する記憶部としても機能する。本実施形態の音響波計測装置1及び音響波画像撮影装置10の画像処理・記憶部26は画像処理機能と記憶部としての機能の両方を備えるものとしたが、本発明の音響波計測装置においては画像処理機能を備えずに記憶部としての機能のみを備えていてもよい。
表示制御部27は、上記の超音波画像を表示する信号に基づいて図3に示すように超音波画像Ibを画像表示部14に表示させる。
計測対象指定受付部28は、計測対象の指定を受け付ける。具体的には操作者によりUI(User Interface:ユーザーインターフェース)アプリ上で計測機能が立ち上げられると、図4に示すように、画像表示部14に計測対象の一覧Nが表示される。計測対象の一覧Nに表示される各計測対象は、臓器の名前が記載されており、例えば腹部大動脈N1、胆嚢N2、腎臓N3等が表示される。本実施形態では計測対象として、臓器の名前のみを表示させるが、本発明はこれに限られるものではなく、臓器の名前に限られず、腫瘍、のう胞、出血等の病変の名前や異常に関する項目のみを表示させてもよいし、表示内容は適宜変更することができる。
図4に示すように、画像表示部14に計測対象の一覧Nが表示されると、図5に示すように、操作者が指Pで計測対象の一覧Nから所望する計測対象として例えば胆嚢N2を選択し、計測対象指定受付部28は操作者に選択された胆嚢N2を計測対象として受け付ける。計測対象指定受付部28は、受け付けた計測対象毎に認識番号すなわちID(identification)を付与する。本実施形態の計測対象指定受付部28は、タッチパネルによって選択された選択項目を受け付けるが、本発明はこれに限られるものではなく、例えばマウスやトラックパッド、トラックボール等の入力装置を入力部とし、この入力部によって選択された選択項目を受け付けてもよい。
位置指定受付部30は、画像表示部14に表示された超音波画像Ib上の計測対象の位置の指定を受け付ける。具体的には計測対象指定受付部28が受け付けた計測項目が胆嚢N2である場合には、操作者は胆嚢の計測を所望するので、計測対象は胆嚢となる。そして操作者は、図6に示すように、操作者自身が超音波画像Ib上の胆嚢が存在すると思う位置、例えば図6中の矢印の先を指Pで指定する。位置指定受付部30は操作者が指定した位置を計測対象の位置として受け付ける。
計測方法情報受付部36は、計測方法を示す計測方法情報を受け付ける。一般的に様々な臓器において、例えば直径を計測する場合に、計測する施設や検査者等、操作者によって計測方法が異なる場合がある。例えば図7の左図に示すように、縦方向の直径(線K3)を計測する場合と、図7の右図に示すように、横方向の直径(線K3)を計測する場合がある。また同じ臓器であっても、異なる項目を計測することがある。例えば図8の左図に示すように、直径(線K3)を計測する場合と、図8の右図に示すように、面積(領域K4)を計測する場合等がある。このように1つの臓器に対して複数の計測方法が存在する。
そこで計測方法情報受付部36は、画像表示部14に表示された超音波画像Ib上における操作者の指Pの動きを座標情報として受け取り、受け取った座標情報に基づいて操作者の所望する計測方法を判別する。具体的には、操作者が図9に示すように、操作者自身が超音波画像Ib上の胆嚢が存在すると思う位置において、指Pで点を入力した場合、指Pで指定された座標は始点(x1,y1)と終点(x2,y2)が等しい座標となるので、計測方法情報受付部36は1点が入力されたと判断する。
また操作者が図10に示すように、操作者自身が超音波画像Ib上の胆嚢が存在すると思う位置において、指Pで線を入力した場合、指Pで入力された座標は始点(x1,y1)と終点(xn,yn)が異なる座標となり、点(x2,2)~点(x(n-1),y(n-1))が直線状に存在することになるので、計測方法情報受付部36は直線が入力されたと判断する。
また操作者が図11に示すように、操作者自身が超音波画像Ib上の胆嚢が存在すると思う位置において、指Pで円を入力した場合、指Pで入力された座標は始点(x1,y1)と終点(xn,yn)が等しい座標となり、点(x2,2)~点(x(n-1),y(n-1))が非直線状に存在することになるので、計測方法情報受付部36は閉ループが入力されたと判断する。
また図示はしないが、操作者自身が超音波画像Ib上の胆嚢が存在すると思う位置において、指Pで曲線を入力した場合、指Pで入力された座標は始点(x1,y1)と終点(xn,yn)が異なる座標となり、点(x2,2)~点(x(n-1),y(n-1))が非直線状に存在することになるので、計測方法情報受付部36は曲線が入力されたと判断する。
さらに、操作者の指Pの動きに基づく複数の座標情報からベクトル情報(r,θ)を算出することにより、操作者が入力した直線の、縦方向、横方向、右斜め方法等の方向を算出する。また上記複数の座標情報から面積を算出してもよいし、座標の移動時間と距離を検出して指Pの動きの速度を算出してもよい。面積を算出する場合には、後述する検出計測アルゴリズム設定部29においてROI(Region of Interest:関心領域)内でスケールを変化させながら計測対象M1を検出する処理を行う際に、算出した面積を基準としてROIの基準スケールを設定することができ、例えば操作者に指定された位置の周辺で細かくROIスケールを変化させて検出処理を行うことで、検出精度と処理速度の両方を向上させることができる。また速度を算出する場合には、後述する検出計測アルゴリズム設定部29において、速度に応じて精度、すなわち計算量の異なるアルゴリズムを切り替えることができる。例えば比較的指Pの動きがゆっくりの場合には操作者が時間を気にせずじっくり精緻に計測したいと考えていると想定し、パラメータを細かく振りながら精度優先で検出計測するか、または高度なアルゴリズム、例えばヒストグラム解析よりも計算時間はかかるが高精度であるパターンマッチングを自動選択する。逆に比較的指Pの動きが素早い場合には操作者が迅速に計測結果を知りたいと考えていると想定し、パラメータを粗く振って速度優先で検出計測するか、または軽いアルゴリズム、例えばパターンマッチングよりも精度は劣るが計算時間が早いヒストグラム解析を自動選択する。
計測方法情報受付部36は、操作者の指Pの動きの情報に基づいて、例えば点が入力されたと判断した場合にはID1、横方向の直線が入力されたと判断した場合にはID2、右斜め方向の直線が入力されたと判断した場合にはID3等、計測方法を示す計測方法情報として認識番号すなわちIDを付与する。なお計測方法情報受付部36がID1すなわち点が入力されたと判断した場合には、操作者に所望する計測方法がないと判断し、入力された位置において予め設定されたデフォルトの計測方法が採用される。
なお本実施形態においては、操作者は超音波画像Ib上の計測対象上において指Pを動かしているが、本発明はこれに限られるものではない。位置指定受付部30において予め超音波画像Ib上の計測対象の位置の指定を受け付けている場合には画像表示部14の画面上の計測対象以外の領域で指Pを動かしてもよい。例えば測定対象が比較的小さい領域のものである場合に、指Pの動きが小さくなるため、指Pの動きすなわち計測方法情報を取得し難い。これに対して、計測対象以外の領域で指Pを動かすことにより、指Pの移動量の制約が低減するので、指Pの動きすなわち計測方法情報を取得し易くなる。なおこの場合、位置指定受付部30において超音波画像Ib上の計測対象の位置の指定を受け付けた際に、指定された位置を含む予め設定された大きさの領域を画像表示部14に拡大表示し、拡大表示された領域上で指Pを動かすようにしてもよい。これにより計測対象上での指Pの移動量を多くすることができる。また例えばタッチパネルとトラックパッドの両方を入力部15として備えている場合には、位置指定受付部30における計測対象の位置の指定をタッチパネルで行い、計測方法情報の入力をトラックパッドで行ってもよい。
また本実施形態においては、位置指定受付部30による計測対象の位置の指定と計測方法情報受付部36による計測方法情報の指定とを操作者による別の動作として行っている、すなわち位置指定受付部30による計測対象の位置の指定の受付と計測方法情報受付部36による計測方法情報の受付とが別体的に受け付けられるが、本発明はこれに限られるものではなく、位置指定受付部30による計測対象の位置の指定と計測方法情報受付部36による計測方法の指定とを一連の動作として行ってもよい。すなわち、位置指定受付部30による計測対象の位置の指定の受付と計測方法情報受付部36による計測方法情報の受付とが一体的に受け付けられてもよい。この場合、計測方法情報受付部36に位置指定受付部30の機能を備えさせることができる。
検出計測アルゴリズム設定部29は、計測対象指定受付部28が受け付けた計測対象のIDと計測方法情報受付部36が受け付けた計測方法を示す計測方法情報のIDに基づいて検出のアルゴリズム及び計測のアルゴリズムのIDを設定する。一般的に臓器や病変等の種類によって、画像上から計測対象を検出するためのアルゴリズムが異なる。また径を計測するのか、大きさを計測するのか、又は長さを計測するのか等の計測内容によっても、画像上において計測対象を計測するためのアルゴリズムが異なる。検出計測アルゴリズム設定部29は、各計測対象に対応するアルゴリズム及び各計測内容に対応するアルゴリズムのIDを対応付けテーブルとして記憶しておき、計測対象指定受付部28が計測対象を受け付け、計測方法情報受付部36が計測方法情報を受け付けると、上記対応付けテーブルを参照して検出計測アルゴリズムのIDを設定する。例えば計測対象として大動脈(ID1)を受け付け、計測方法情報としてID2すなわち横方向の直線が入力されたという情報を受け付けた場合には、検出計測アルゴリズムは大動脈の水平方向測定を示すID2を設定する。ここで計測対象指定受付部28が受け付けた計測対象において計測可能な計測方法が1つのみである場合、検出計測アルゴリズム設定部29は、計測方法情報受付部36が受け付けた計測方法情報を無視して計測可能な計測方法に基づいて検出計測アルゴリズムを設定する。なお検出計測アルゴリズムに関しては、一般的に使用される公知のアルゴリズムを使用することができる。ここでいうアルゴリズムとは、ある目的(検出や計測)を達成するための手順(計算手順)を定めたものであって、たとえば、ソフトウェアのプログラムとして装置に実装され、プロセッサにより実行されるものである。
例えば、計測対象の検出のアルゴリズムについては、典型的なパターンデータをテンプレートとして予め記憶しておき、画像内をテンプレートでサーチしながらパターンデータに対する類似度を算出し、類似度が所定の閾値以上かつ最大となった場所に対象が存在するとみなす方法がある。類似度の算出には、単純なテンプレートマッチングの他に、例えば、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74 (2004) に記載されている機械学習手法、あるいは、Krizhevsk et al.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, pp.1106-1114 (2012) に記載されているDeep Learningを用いた一般画像認識手法等を用いることができる。
計測部31は、位置指定受付部30が受け付けた計測対象の位置と検出計測アルゴリズム設定部29により設定された検出計測アルゴリズムに基づいて計測対象を検出し、検出した計測対象について計測を行う。計測部31は上記受け付けた位置に基づいて計測対象を検出する検出範囲の位置を決定し、決定した位置における検出範囲内を検出する。なお検出範囲の大きさは予め計測部31に設定されているが、操作者によって設定変更することができる。
具体的には計測対象指定受付部28が受け付けた計測項目が胆嚢N2である場合には、計測部31はまず超音波画像Ib上の胆嚢を検出計測アルゴリズム設定部29により設定された検出アルゴリズムに基づいて検出範囲内において検出する。計測部31は超音波画像Ib上の胆嚢の正確な位置及び領域を検出する。次に計測部31は、検出計測アルゴリズム設定部29により設定された計測アルゴリズムに基づいて、検出した胆嚢に対して、最適な計測点を決定する。具体的には、計測部31は、図12に示すように、超音波画像Ib上の胆嚢の領域を囲む境界上の最も距離の長い2点を計測点K1、K2として決定し、この計測点K1、K2を結ぶ線K3の長さを計測する。図12においては線K3の長さは56mmである。計測部31は計測点K1、K2及び線K3と、計測結果Rとして計測対象と長さ、すなわち胆嚢:56mmを、画像処理・記憶部26及び表示制御部27を介して画像表示部14に表示させる。
本実施形態においては、計測部31は位置指定受付部30が受け付けた位置に基づいて計測対象を検出する検出範囲の位置を決定したが、本発明はこれに限られるものではなく、計測部31はさらに計測対象の計測を行う計測の位置すなわち計測点K1,K2の位置を決定してもよい。例えば計測対象が血管等の長いものである場合に、どこの径を計測するのかを上記受け付けた位置に基づいて決定する。例えば上記受け付けた位置を通る最短の線を線K3とし、この線K3の両端の点を計測点K1、K2として決定することができる。
また計測対象を検出する検出範囲が超音波画像Ib全体である場合には、計測部31は計測対象を検出する範囲の位置を決定する必要はないので、計測部31は計測対象の計測を行う計測の位置すなわち計測点K1,K2の位置のみを決定してもよい。
次に、以上説明した音響波画像撮影装置10において、音響波計測装置1が画像表示部14に表示された超音波画像Ibにおいて計測対象を計測する音響波計測装置の作動方法について説明する。図13は図2の音響波計測装置1の一連の処理方法を示すフローチャートである。
音響波計測装置1は、図8に示すように、画像処理・記憶部26が、超音波画像生成部25が生成した超音波画像Ibの画像データを受信して記憶することにより超音波画像Ibを取得する(ステップS1)。本実施形態においては、画像処理・記憶部26が、超音波画像生成部25が生成した超音波画像Ibの画像データを受信して記憶することにより超音波画像Ibを取得したが、本発明はこれに限られるものではなく、音響波計測装置1に設けられた図示しない入出力部から外部記憶手段に予め記憶された超音波画像Ibの画像データを入力することにより取得してもよい。なお本発明は、超音波画像生成部25が生成した超音波画像Ibの画像データが、一旦画像処理・記憶部26に記憶されることなく表示制御部27によって画像表示部14に表示される場合においても、適用可能である。
次に表示制御部27が、画像処理・記憶部26が記憶し、各種画像処理を施した超音波画像Ibの画像データを画像表示部14に表示させ(ステップS2)、さらに操作者によりUIアプリ上で計測機能が立ち上げられると、図4に示すように、画像表示部14に計測対象の一覧Nを表示させる(ステップS3)。
画像表示部14に計測対象の一覧Nが表示されると、図5に示すように、操作者が指Pで計測対象の一覧Nから所望する計測対象として胆嚢N2を指定し、計測対象指定受付部28が操作者に選択された胆嚢N2を計測対象として受け付ける(ステップS4)。
次に位置指定受付部30は、画像表示部14に表示された超音波画像Ib上の計測対象すなわち胆嚢の位置の指定を受け付け(ステップS5)、計測方法情報受付部36は上述したようにして計測方法情報、ここでは縦方向の直線入力を受け付ける(ステップS6)。次に検出計測アルゴリズム設定部29は、胆嚢の縦方向のサイズの検出計測アルゴリズムを設定する(ステップS7)。
次に計測部31が検出計測アルゴリズム設定部29により設定された検出アルゴリズムに基づいて検出範囲内を検出し、超音波画像Ib上の胆嚢の正確な位置及び領域を検出する。計測部31は、検出した胆嚢に対して、最適な計測点K1、K2を決定し、この計測点K1、K2を結ぶ線K3の長さを計測する(ステップS8)。そして計測部31は計測点K1、K2及び線K3と、計測結果Rとして計測対象と長さ、すなわち胆嚢:56mmを、画像処理・記憶部26及び表示制御部27を介して画像表示部14に表示させる(ステップS9)。以上により音響波計測装置1は計測対象の計測を行う。
本実施形態の音響波計測装置1及び音響波計測装置1の作動方法によれば、操作者が画像表示部14に表示された音響波画像上の計測対象M1のおおまかな位置を指定し、縦方向に直線を入力したり、横方向に直線を入力したりする等、計測方向等の計測方法を示す情報を入力すると計測部が自動的に計測対象を検出して計測する。これにより操作者による計測方法や計測結果の選択作業を削減し、少ない手数で迅速かつ簡単に計測対象の計測を行い、さらに操作者によるバラつきを低減した計測を行うことができる。
次に図面を参照して、本発明の第2の実施形態に係る音響波計測装置1-2を備えた音響波画像撮影装置10-2について詳しく説明する。図14は本発明の第2の実施形態に係る音響波計測装置1-2を備えた音響波画像撮影装置10-2の全体構成を示す概略図である。なお図14の音響波計測装置1-2は、図1の音響波計測装置1にさらに報知部37を設けたものであり、その他の構成は図1の音響波計測装置1と同様であるため、同じ構成については便宜上同一の符号を付与してここでの説明は省略する。
図14の音響波計測装置1-2は、報知部37を備えている。報知部37は、計測対象指定受付部28が受け付けた計測対象において計測可能な計測方法が1つのみである場合、計測可能な計測方法に関する情報を計測前に操作者に報知する。具体的には、例えば計測方法が横方向の計測のみ存在する場合、計測方法情報受付部36が計測方法を受け付ける前に、報知部37が画像表示部14に「この計測対象は横方向にのみ計測できます」のテキスト表示を表示させる。なお報知部37はGUI(Graphical User Interface)表示で報知してもよいし、図示しないスピーカー等を用いて音声で報知してもよいし適宜変更することができる。報知部37がGUI表示で報知する場合、報知部37の機能は、例えば、プロセッサにより構成される制御部35によってプログラムが動作し、画像表示部14にGUI表示をさせることにより実現される。報知部37が音声で報知する場合、報知部37の機能は、例えば、プロセッサにより構成される制御部35によってプログラムが動作し、スピーカー等に音声を出させることにより実現される。このように報知部37を備えることにより、操作者が間違った計測方法を入力するのを防止することができる。
次に図面を参照して、本発明の第3の実施形態に係る音響波計測装置1-3を備えた音響波画像撮影装置10-3について詳しく説明する。図15は本発明の第3の実施形態に係る音響波計測装置1-3を備えた音響波画像撮影装置10-3の全体構成を示す概略図である。なお図15の音響波計測装置1-3は、図1の音響波計測装置1にさらに警告報知部38を設けたものであり、その他の構成は図1の音響波計測装置1と同様であるため、同じ構成については便宜上同一の符号を付与してここでの説明は省略する。
図15の音響波計測装置1-3は、警告報知部38を備えている。警告報知部38は、検出計測アルゴリズム設定部29が、計測方法情報受付部36が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定できなかった場合、警告を報知する。具体的には、例えば計測方法として縦方向の計測と面積の計測の2つが存在する場合に、計測方法情報受付部36が受け付ける計測方法情報が縦方向の計測及び面積の計測とは異なる計測方法、例えば横方向の計測等であった場合、警告報知部38が画像表示部14に「この計測対象は縦方向の計測と面積の計測に対応しています」のテキスト表示を表示させる。また計測方法としてサイズの計測のみ、すなわち縦方向や横方向、斜め方向等、長さの計測のみ存在する場合に、計測方法情報受付部36が受け付ける計測方法情報が面積の計測であった場合、警告報知部38が画像表示部14に「この計測対象は長さの計測のみ対応しています」のテキスト表示を表示させる。この場合、装置側は、操作者の入力(ジェスチャー(例えば、指の動き))が横方向の計測であると認知したり、横方向に対応する計測方法を検索したり等をする必要はなく、あくまで記憶されている縦方向と面積の計測方法情報つまり計測対象に予め設定されている計測方法情報以外であることを識別できていればよい。
上記のように、検出計測アルゴリズム設定部29が実行可能な計測方法を通知することにより、操作者がどのような計測方法を選択可能であるかを把握しやすく、ユーザフレンドリである。ただし、本発明はこれに限られるものではなく、装置側が横方向の計測であるとか、面積の計測であるとかを認知できる場合、すなわち装置側で計測方法情報(予め設定された型のジェスチャー(例えば、指の動き))を認知できる場合には、例えば「この計測対象は横方向には計測できません」や「この計測対象は面積は計測できません」等の警告をしても良い。この場合には、操作者が計測方法の種類について知識があることを前提とする。なお上記認知の具体的な方法としては、例えば、図示しない記憶部にジェスチャーの型を記憶させておき、操作者の入力したジェスチャーと照合させて認知させることができる。
なお警告報知部38はGUIの色を変えて表示させる等、視覚的に報知してもよいし、図示しないスピーカー等を用いて音声等で聴覚的に報知してもよいし、図示しない振動部等を用いてバイブレーション等で触覚的に報知してもよいし、適宜変更することができる。警告報知部38の機能は、例えば、報知部37と同様に制御部35によって実現される。振動部は、例えば、振動モーター等によって構成される。このように警告報知部38を備えることにより、操作者が間違った計測方法を迅速に変更することができる。
次に図面を参照して、本発明の第4の実施形態に係る音響波計測装置1-4を備えた音響波画像撮影装置10-4について詳しく説明する。図16は本発明の第4の実施形態に係る音響波計測装置1-4を備えた音響波画像撮影装置10-4の全体構成を示す概略図、図17は図16の音響波計測装置1-4による処理を説明するための図、図18は超音波画像Ib上の検出範囲の大きさの一例を示す図、図19は超音波画像Ib上の検出範囲の大きさの他の一例を示す図、図20は超音波画像Ib上の検出範囲の位置の一例を示す図、図21は超音波画像Ib上の検出範囲の位置の他の一例を示す図、図22は検出範囲内の検出精度を説明するための図、図23は超音波画像Ib上の検出順序の一例を示す図、図24は超音波画像Ib上の検出順序の他の一例を示す図である。なお図16の音響波計測装置1-4は、図2の音響波計測装置1にさらに検出条件設定部32を設けたものであり、その他の構成は図2の音響波計測装置1と同様であるため、同じ構成については便宜上同一の符号を付与してここでの説明は省略する。
図16の音響波計測装置1-4は、検出条件設定部32を備えている。検出条件設定部32は、位置指定受付部30が受け付けた図17に示す超音波画像Ib上の位置P1及び計測対象指定受付部28が受け付けた計測項目の少なくとも1つに基づいて計測対象M1の検出範囲Aの位置、大きさ、検出精度及び検出順序の少なくとも1つを決定する。例えば、プロセッサにより構成される制御部35によってプログラムが動作することにより、検出条件設定部32の機能が実現される。
具体的には、検出条件設定部32は、計測項目に基づいて計測対象M1の検出範囲Aの大きさを決定する。例えば計測対象M1が腎臓等の比較的大きな臓器であるときには、計測部31は、図18に示すように、上記受け付けた位置P1を中心として例えば縦横100ピクセルの四角形の検出範囲AL内を検出する。
一方、計測対象M1が総胆管や大動脈等の比較的小さな臓器であるときには、計測部31は、図19に示すように、上記受け付けた位置P1を中心として例えば縦横20ピクセルの四角形の検出範囲AS内を検出する。計測対象M1の大きさの違いにより計測対象M1の存在が仮定される範囲が異なるので、計測対象M1の大きさに応じて検出範囲Aの大きさを変えることで、計測対象M1を検出するのに要する処理時間を短くすることができる。
また検出条件設定部32は、位置指定受付部30が受け付けた図17に示す超音波画像Ib上の位置P1に基づいて計測対象M1の検出範囲Aの位置を決定する。例えば図20に示すように、位置P1が超音波画像Ibの中心付近に存在する場合には、計測部31は位置P1を中心として上下左右対称な四角形の検出範囲AC内を検出する。
一方、例えば図21に示すように、位置P1が超音波画像Ibの右端部付近に存在する場合には、計測部31は位置P1を中心として超音波画像Ibからはみ出さないように上下対称でかつ左右非対称な四角形の検出範囲AE内を検出する。計測対象M1の大きさの違いにより計測対象M1の存在が仮定される範囲が異なるので、位置指定受付部30が受け付けた位置P1に応じて検出範囲Aの位置を変えることで、検出範囲Aの大きさが小さくなる場合があり、検出範囲Aの大きさいが小さくなると計測対象M1を検出するのに要する処理時間を短くすることができる。
また検出条件設定部32は、計測項目に基づいて計測対象M1の検出範囲Aの検出精度を決定する。例えば計測対象M1が腎臓等の比較的大きな臓器であるときには、計測部31は、図22に示すように、例えば検出範囲AL内を10ピクセルの領域を縦横6つずつで粗く検出する。
一方、計測対象M1が総胆管や大動脈等の比較的小さな臓器であるときには、計測部31は、図22に示すように、例えば検出範囲AS内を3ピクセルの領域を縦横6つずつで細かく検出する。計測対象M1の大きさの違いにより計測対象M1の存在が仮定される範囲が異なるので、計測対象M1の大きさに応じて検出範囲A内の検出精度を変えることで、計測対象M1を検出するのに要する処理時間と検出精度のバランスを向上させることができる。なお本実施形態においては計測対象M1の大きさに基づいて検出精度を変更する場合に、検出範囲の大きさも計測対象M1の大きさに基づいて変更しているが、本発明はこれに限られず、検出精度のみを変更してもよい。
さらに検出条件設定部32は、位置指定受付部30が受け付けた位置P1、計測対象及び計測方法情報受付部36が受け付けた計測方法に基づいて計測対象M1の検出順序を決定する。例えば計測対象及び計測方法が胆嚢短軸面サイズや腹部大動脈短軸径等の丸い臓器である場合には、図23に示すように、位置P1を中心として中心から外側に向かって渦状に走査線S1に示す順序で検出していく。なお走査線S1の間隔は等間隔であってもよいし、外側へ向かうにつれて間隔を大きくしてもよいし、適宜変更することができる。また走査は右回りであってもよいし、左回りであってもよいし、適宜変更することができる。なお本実施形態は渦状としたが、本発明はこれに限られるものではなく、例えば位置P1を中心として外側に向かうにつれて大きくなる複数の四角形を走査線としてもよい。この場合、走査線の間隔は等間隔であってもよいし、外側へ向かうにつれて間隔を大きくしてもよいし適宜変更することができる。また走査は右回りで行ってもよいし、左回りで行ってもよいし、四角形毎に回転方向を変更してもよいし、適宜変更することができる。また走査線の形状は四角形に限られるものではなく、形状は適宜変更することができる。
一方、計測対象が下大動脈や総胆管等の横長の臓器である場合には、図24に示すように、横方向(図中の矢印S2)の検出を行ってから縦方向の検出を行う。この場合、位置P1を通る横方向の検出を左方向、右方向の順で行い、次に上に移動して横方向の検出を左方向、右方向の順で行い、さらに位置P1よりも下に移動して横方向の検出を左方向、右方向の順で行い、上方向下方向の順で位置P1から離れる方向に向かって検出を行う。なお検出の順序はこれに限られるものではなく、上側の横方向を全て検出してから下側の横方向を検出してもよいし、適宜変更することができる。計測対象M1の形状に応じて検出順序を決定することにより、計測対象M1を見つける速度を早くすることができる。なお本実施形態において検出条件設定部32は、上述した検出範囲の大きさや検出精度を変更し、さらに位置指定受付部30が受け付けた位置P1、計測対象及び計測方法に基づいて計測対象M1の検出順序を決定しているが、本発明の検出条件設定部32はこれに限られず、検出条件設定部32は上述した検出範囲の大きさや検出精度のみを変更するものであってもよいし、計測対象M1の検出順序のみを決定するものであってもよい。
次に、以上説明した音響波画像撮影装置10-4において、音響波計測装置1-4が画像表示部14に表示された超音波画像Ibにおいて計測対象を計測する音響波計測装置の作動方法について説明する。図25は図16の音響波計測装置1-4の一連の処理方法を示すフローチャートである。なお図25のS21~S27のステップは図8のフローチャートのS1~S17のステップと同様の処理を行うため、ここでの説明は省略する。
音響波計測装置1-4は、図25に示すように、検出計測アルゴリズム設定部29により検出計測アルゴリズムが設定される(ステップS27)と、検出条件設定部32が、位置指定受付部30が受け付けた超音波画像Ib上の位置P1及び計測対象指定受付部28が受け付けた計測対象及び計測方法情報受付部36が受け付けた計測方法の少なくとも1つに基づいて、上述したようにして計測対象M1の検出範囲Aの位置、大きさ、検出精度及び検出順序の少なくとも1つを決定する(S28)。次に計測部31が検出計測アルゴリズム設定部29により設定された検出アルゴリズムに基づいて、検出条件設定部32が設定した検出範囲内を検出し、超音波画像Ib上の計測対象M1の正確な位置及び領域を検出する。計測部31は、検出した計測対象M1に対して、図17に示すように、最適な計測点K1、K2を決定し、この計測点K1、K2を結ぶ線K3の長さを計測する(ステップS29)。そして計測部31は計測点K1、K2及び線K3と、計測結果Rとして計測対象M1と計測対象M1の大きさや長さ等を、画像処理・記憶部26及び表示制御部27を介して画像表示部14に表示させる(ステップS30)。以上により音響波計測装置1-4は計測対象の計測を行う。
なお本実施形態の音響波計測装置1-4に、さらに上述した報知部37や警告報知部38を設けても良い。
以上、本発明における音響波画像として超音波画像Ibだけを表示するようにした実施形態について説明したが、音響波画像として光音響波画像を表示させた場合にも本発明が奏する効果を得ることができる。また音響波画像として、超音波画像と光音響波画像とを重畳させて合成した画像を表示させてもよく、この場合にも本発明が奏する効果を得ることができる。
なお本発明の音響波計測装置は、上記実施形態に限られるものではなく、発明の趣旨を逸脱しない限りにおいて適宜変更することができる。
1,1-2,1-3,1-4 音響波計測装置
10,10-2,10-3,10-4 音響波画像撮影装置
10C 筐体
11 プローブ
12 超音波ユニット
14 画像表示部
15 入力部(タッチパネル)
20 振動子アレイ
21 受信回路
22 受信メモリ
25 超音波画像生成部
26 画像処理部
27 表示制御部
28 計測対象指定受付部
29 検出計測アルゴリズム設定部
30 位置指定受付部
31 計測部
32 検出条件設定部
34 送信制御回路
35 制御部
36 計測方法情報受付部
37 報知部
38 警告報知部
40 光出射部
50 筺体
Ib 超音波画像
M 被検体
M1 計測対象
N 計測対象の一覧
P 操作者の指

Claims (14)

  1. 音響波画像を表示する画像表示部と、
    計測対象の指定を受け付ける計測対象指定受付部と、
    前記画像表示部に表示された前記音響波画像上の計測対象の位置の指定を受け付ける位置指定受付部と、
    計測方法を示す計測方法情報を受け付ける計測方法情報受付部と、
    前記計測対象指定受付部が受け付けた計測対象と、前記計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定する検出計測アルゴリズム設定部と、
    前記位置指定受付部により受け付けた位置と前記検出計測アルゴリズム設定部により設定された検出計測アルゴリズムとに基づいて、前記計測対象を検出し、かつ該検出した計測対象について計測を行う計測部と、
    を備え、
    前記画像表示部は、前記音響波画像を表示し、かつ、操作者の入力を受け付けるタッチパネルであり、
    前記計測方法情報受付部は、前記タッチパネルにおける操作者の入力を座標情報として受け取り、受け取った座標情報から動きの情報を抽出し、該抽出された動きの情報に基づいて操作者の所望する計測方法を複数の計測方法から選択する
    音響波計測装置。
  2. 前記位置指定受付部による前記位置の指定の受付と前記計測方法情報受付部による前記計測方法情報の受付とが別体的である請求項1記載の音響波計測装置。
  3. 前記位置指定受付部による前記位置の指定の受付と前記計測方法情報受付部による前記計測方法情報の受付とが一体的である請求項1記載の音響波計測装置。
  4. 前記計測部は、前記位置指定受付部が受け付けた位置に基づいて前記検出を行う検出範囲の位置を決定する請求項1~3いずれか1項記載の音響波計測装置。
  5. 前記計測部は、前記位置指定受付部が受け付けた位置に基づいて前記計測を行う計測の位置を決定する請求項1~4いずれか1項記載の音響波計測装置。
  6. 前記計測対象指定受付部が受け付けた計測対象において計測可能な計測方法が1つのみである場合、
    前記検出計測アルゴリズム設定部は、前記計測方法情報を無視して前記計測可能な計測方法に基づいて前記検出計測アルゴリズムを設定する請求項1~5いずれか1項記載の音響波計測装置。
  7. 前記計測対象指定受付部が受け付けた計測対象において計測可能な計測方法が1つのみである場合、前記計測可能な計測方法を示す情報を報知する報知部を備える請求項1~5いずれか1項記載の音響波計測装置。
  8. 前記検出計測アルゴリズム設定部が、前記計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定できなかった場合、警告を報知する警告報知部を備える請求項1~5いずれか1項記載の音響波計測装置。
  9. 計測対象について前記検出を行う条件を前記位置指定受付部が受け付けた位置及び前記計測対象指定受付部が受け付けた計測対象の少なくとも1つに基づいて設定する検出条件設定部をさらに備え、
    前記計測部は、該検出条件設定部が設定した条件に基づいて検出を行う請求項1~8いずれか1項記載の音響波計測装置。
  10. 前記検出条件設定部は、前記検出を行う条件として、検出範囲の形状、検出範囲の大きさ、検出精度及び検出順序の少なくも1つを設定する請求項9記載の音響波計測装置。
  11. 前記音響波画像が超音波画像である請求項1~10いずれか1項記載の音響波計測装置。
  12. 前記音響波画像が光音響波画像である請求項1~10いずれか1項記載の音響波計測装置。
  13. 前記計測方法情報受付部は、操作者の入力を座標情報として受け取り、受け取った座標情報の始点および終点の座標が等しいか否か、および、始点と終点以外の座標が直線上に存在するか否かに基づいて、1点、直線、閉ループ、および、曲線のいずれが入力されたかを前記動きの情報として抽出し、該抽出された動きの情報に基づいて操作者の所望する計測方法を判別する
    請求項1~12いずれか1項記載の音響波計測装置。
  14. 画像表示部と計測対象指定受付部と位置指定受付部と計測方法情報受付部と検出計測アルゴリズム設定部と計測部とを備える音響波計測装置の作動方法であって、
    前記画像表示部は、音響波画像を表示し、
    前記計測対象指定受付部は、計測対象の指定を受け付け、
    前記位置指定受付部は、前記画像表示部に表示された前記音響波画像上の計測対象の位置の指定を受け付け、
    前記計測方法情報受付部は、計測方法を示す計測方法情報を受け付け、
    前記検出計測アルゴリズム設定部は、前記計測対象指定受付部が受け付けた計測対象と、前記計測方法情報受付部が受け付けた計測方法情報に基づいて、検出計測アルゴリズムを設定し、
    前記計測部は、前記位置指定受付部により受け付けた位置と前記検出計測アルゴリズム設定部により設定された検出計測アルゴリズムに基づいて、前記計測対象を検出し、かつ該検出した計測対象について計測を行い、
    前記画像表示部は、前記音響波画像を表示し、かつ、操作者の入力を受け付けるタッチパネルであり、
    前記計測方法情報受付部は、前記タッチパネルにおける操作者の入力を座標情報として受け取り、受け取った座標情報から動きの情報を抽出し、該抽出された動きの情報に基づいて操作者の所望する計測方法を複数の計測方法から選択する音響波計測装置の作動方法。
JP2019537935A 2017-08-24 2018-05-30 音響波計測装置及び音響波計測装置の作動方法 Active JP7209630B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021091401A JP7195374B2 (ja) 2017-08-24 2021-05-31 音響波計測装置及び音響波計測装置の作動方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017161262 2017-08-24
JP2017161262 2017-08-24
PCT/JP2018/020680 WO2019039028A1 (ja) 2017-08-24 2018-05-30 音響波計測装置及び音響波計測装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021091401A Division JP7195374B2 (ja) 2017-08-24 2021-05-31 音響波計測装置及び音響波計測装置の作動方法

Publications (2)

Publication Number Publication Date
JPWO2019039028A1 JPWO2019039028A1 (ja) 2020-09-03
JP7209630B2 true JP7209630B2 (ja) 2023-01-20

Family

ID=65440007

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019537935A Active JP7209630B2 (ja) 2017-08-24 2018-05-30 音響波計測装置及び音響波計測装置の作動方法
JP2021091401A Active JP7195374B2 (ja) 2017-08-24 2021-05-31 音響波計測装置及び音響波計測装置の作動方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021091401A Active JP7195374B2 (ja) 2017-08-24 2021-05-31 音響波計測装置及び音響波計測装置の作動方法

Country Status (5)

Country Link
US (2) US11864883B2 (ja)
EP (1) EP3673815B1 (ja)
JP (2) JP7209630B2 (ja)
CN (1) CN111065343B (ja)
WO (1) WO2019039028A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024039865A (ja) 2022-09-12 2024-03-25 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2024039871A (ja) 2022-09-12 2024-03-25 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000185038A (ja) 1998-12-24 2000-07-04 Toshiba Corp 超音波画像診断装置及びその計測方法
JP5127819B2 (ja) 2006-03-31 2013-01-23 ヘレン オブ トロイ リミテッド 密封可能な蓋を備えた容器
US20140046185A1 (en) 2012-08-10 2014-02-13 Ruoli Mo Apparatuses and methods for user interactions during ultrasound imaging
JP6055565B1 (ja) 2016-03-15 2016-12-27 株式会社日立製作所 超音波診断装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127819A (ja) * 1991-10-31 1993-05-25 Nec Corp ストロークコマンド支援方式
JP4702968B2 (ja) * 1999-08-25 2011-06-15 株式会社東芝 超音波診断装置
US8485976B2 (en) 2008-08-29 2013-07-16 Hitachi Medical Corporation Ultrasonic diagnostic apparatus
JP2010148811A (ja) 2008-12-26 2010-07-08 Panasonic Corp 超音波診断装置
JP2010240198A (ja) 2009-04-07 2010-10-28 Toshiba Corp 超音波診断装置
JP5575534B2 (ja) * 2010-04-30 2014-08-20 株式会社東芝 超音波診断装置
JP5936330B2 (ja) * 2011-11-04 2016-06-22 キヤノン株式会社 音響波測定装置および音響波測定装置の制御方法
JP2013111434A (ja) 2011-12-01 2013-06-10 Toshiba Corp 画像処理装置、超音波診断装置及び画像処理プログラム
JP6228969B2 (ja) * 2013-03-29 2017-11-08 株式会社日立製作所 医療用診断装置およびその計測方法
KR102243032B1 (ko) * 2014-03-18 2021-04-21 삼성메디슨 주식회사 초음파 장치 및 초음파 장치의 측정 방법
CN106470614B (zh) * 2014-07-08 2020-10-30 富士胶片株式会社 光声图像生成装置及插入件
JP6134986B2 (ja) * 2014-09-01 2017-05-31 富士フイルム株式会社 医用画像計測装置およびその作動方法並びに医用画像計測プログラム
JP6769173B2 (ja) * 2015-12-15 2020-10-14 コニカミノルタ株式会社 超音波画像診断装置、超音波画像計測方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000185038A (ja) 1998-12-24 2000-07-04 Toshiba Corp 超音波画像診断装置及びその計測方法
JP5127819B2 (ja) 2006-03-31 2013-01-23 ヘレン オブ トロイ リミテッド 密封可能な蓋を備えた容器
US20140046185A1 (en) 2012-08-10 2014-02-13 Ruoli Mo Apparatuses and methods for user interactions during ultrasound imaging
JP6055565B1 (ja) 2016-03-15 2016-12-27 株式会社日立製作所 超音波診断装置

Also Published As

Publication number Publication date
CN111065343B (zh) 2022-10-14
WO2019039028A1 (ja) 2019-02-28
EP3673815B1 (en) 2022-08-17
US20240081680A1 (en) 2024-03-14
EP3673815A1 (en) 2020-07-01
US20200178846A1 (en) 2020-06-11
JP2021130035A (ja) 2021-09-09
JP7195374B2 (ja) 2022-12-23
JPWO2019039028A1 (ja) 2020-09-03
CN111065343A (zh) 2020-04-24
US11864883B2 (en) 2024-01-09
EP3673815A4 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
US20240081680A1 (en) Acoustic wave measurement apparatus and operation method of acoustic wave measurement apparatus
EP2460472A1 (en) Ultrasonic diagnostic device
JP6058295B2 (ja) 超音波診断装置、医用画像処理装置、医用画像処理方法、および医用画像処理プログラム
US20150164482A1 (en) Ultrasound diagnostic apparatus, ultrasound image recording method, and non-transitory computer readable recording medium
US11170519B2 (en) Acoustic wave diagnostic apparatus and control method of acoustic wave diagnostic apparatus
US11337677B2 (en) Volume rendered ultrasound imaging
US20200397409A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20220031288A1 (en) Ultrasound diagnostic apparatus, control method of ultrasound diagnostic apparatus, and processor for ultrasound diagnostic apparatus
CN109923432A (zh) 利用关于跟踪可靠性的反馈跟踪介入仪器的系统和方法
EP3742973A1 (en) Device and method for obtaining anatomical measurements from an ultrasound image
JP2023160986A (ja) 超音波診断装置及び解析装置
US20210267569A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US11534143B2 (en) Acoustic wave diagnostic apparatus and control method of acoustic wave diagnostic apparatus
KR102243022B1 (ko) 선택 정보에 기초하여 관심 영역에 포함된 혈류에 대한 정보를 출력하는 방법, 장치 및 시스템.
WO2021192925A1 (ja) 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
US20200359989A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP7159025B2 (ja) 診断装置及び診断方法
US20220079553A1 (en) Ultrasound diagnosis apparatus, measurement condition setting method, and non-transitory computer-readable storage medium
CN113545806A (zh) 前列腺弹性成像方法和超声弹性成像系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220104

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220111

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220408

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220412

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220719

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221122

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221220

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230110

R150 Certificate of patent or registration of utility model

Ref document number: 7209630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150