JP7159025B2 - 診断装置及び診断方法 - Google Patents

診断装置及び診断方法 Download PDF

Info

Publication number
JP7159025B2
JP7159025B2 JP2018225650A JP2018225650A JP7159025B2 JP 7159025 B2 JP7159025 B2 JP 7159025B2 JP 2018225650 A JP2018225650 A JP 2018225650A JP 2018225650 A JP2018225650 A JP 2018225650A JP 7159025 B2 JP7159025 B2 JP 7159025B2
Authority
JP
Japan
Prior art keywords
lesion
tomographic image
analysis
diagnostic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018225650A
Other languages
English (en)
Other versions
JP2020081742A (ja
Inventor
喜実 野口
真紀 ▲桑▼山
佳子 山本
典子 板橋
直之 村山
洋子 藤原
Original Assignee
富士フイルムヘルスケア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルムヘルスケア株式会社 filed Critical 富士フイルムヘルスケア株式会社
Priority to JP2018225650A priority Critical patent/JP7159025B2/ja
Priority to US16/695,503 priority patent/US20200170624A1/en
Priority to CN201911207226.8A priority patent/CN111260606B/zh
Publication of JP2020081742A publication Critical patent/JP2020081742A/ja
Application granted granted Critical
Publication of JP7159025B2 publication Critical patent/JP7159025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Description

本発明は、医療分野における画像診断装置及び画像診断方法に関する。
乳がんの検診では、一般的にマンモグラフィ検査が行われる。しかし、マンモグラフィ検査では、アジア人に多いとされる高濃度乳せん(デンスブレスト)の検診者における病変の検出率が低下するという問題がある。このような課題に対し、超音波検査を併用することで病変の検出率を向上させる取り組みが行われている。
超音波検査では大量の超音波画像を読影する必要があり、検査者の負担が大きさ及び検査者による病変の検出率のばらつき等の課題があり、コンピュータ診断支援技術(CAD:Computer-Aided Diagnosis/Detection)の開発が期待されている。
コンピュータ診断支援技術としては、特許文献1に記載の技術が知られている。特許文献1には、「医療映像内で病変候補を検出する病変候補検出段階と、医療映像内で解剖学的客体を検出する周辺客体検出段階と、病変候補を病変候補の位置と解剖学的客体の位置との関係情報を含む解剖学的脈絡情報に基づいて検証する病変候補検証段階と、検証結果に基づいて、病変候補のうち、偽陽性病変候補を除去する偽陽性除去段階と、」を含む装置が記載されている。
特開2015-154918号公報
リアルタイム性の優れた超音波診断装置を用いて、検査中に病変の検出結果を自動的に得たいというニーズがある。
特許文献1に記載の技術では、予め機械学習を実行して検出器を構築する必要がある。検出器の精度を向上させるためには、大量の学習データが必要となり、また、最適なアルゴリズムを設定する必要がある。また、病変等を検出するための処理時間及び処理コストが高い。そのため、特許文献1に記載の技術では、前述のようなニーズに十分対応できない可能性がある。
本発明は、超音波画像を用いた診断において、高い精度で自動的に病変を検出可能な装置及び方法を提供する。
本願において開示される発明の代表的な一例を示せば以下の通りである。被検体の断層画像を用いた診断を行う診断装置であって、前記被検体から取得されたデータに基づいて前記断層画像を生成する画像生成部と、前記断層画像から病変を検出する処理を実行する検出部と、を備え、前記検出部は、前記断層画像を用いて、前記断層画像から異常が疑われる組織領域を抽出するためのフィルタマップを生成し、前記断層画像及び前記フィルタマップを用いて、前記断層画像に含まれる病変を検出し、前記病変の検出結果を含む検出情報を出力する。
本発明の一形態によれば、診断装置は高い精度で病変を自動的に検出できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例1の超音波診断装置の構成例を示す図である。 実施例1の超音波診断装置によって生成される断層画像の一例を示す図である。 実施例1の病変検出部が実行する処理を説明するフローチャートである。 実施例1のフィルタマップの生成方法の一例を説明する図である。 実施例1のフィルタマップの生成方法の一例を説明する図である。 実施例1のフィルタマップの生成方法の一例を説明する図である。 実施例1の病変検出部が実行する処理の流れの一例を示す図である。 実施例1の表示部によって提示される病変の検出結果の一例を示す図である。 実施例2の超音波診断装置の構成例を示す図である。 実施例2の超音波診断装置が病変の形状を解析する方法を示す図である。 実施例2の超音波診断装置が病変の形状を解析する方法を示す図である。 実施例2の超音波診断装置が病変の良悪性及びカテゴリを解析する方法を示す図である。 実施例3の表示部によって提示される画面の一例を示す図である。 実施例3の表示部によって提示される画面の一例を示す図である。 実施例3の表示部によって提示される画面の一例を示す図である。
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
図1は、実施例1の超音波診断装置の構成例を示す図である。図2は、実施例1の超音波診断装置によって生成される断層画像の一例を示す図である。
超音波診断装置100は、被検体に対して超音波を出力し、反射した超音波の信号(エコー信号)から断層画像(エコー画像)を生成する。さらに、超音波診断装置100は、断層画像から病変を検出するための検出処理を実行し、病変の検出結果を医療従事者等のユーザに提示する。
超音波診断装置100は、CPU101、主記憶装置102、副記憶装置103、探触子104、送信回路105、受信回路106、整相加算器107、入力装置108、及び出力装置109を備える。各ハードウェアはバス等を介して互いに接続される。
CPU101は、主記憶装置102に格納されるプログラムを実行する。CPU101がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部(モジュール)として動作する。以下の説明では、機能部を主語に処理を説明する場合、CPU101が当該機能部を実現するプログラムを実行していることを示す。本実施例のCPU101は、回路制御部110及び画像処理部120として動作する。各機能部の詳細は後述する。
主記憶装置102は、メモリ等の記憶装置であり、CPU101が実行するプログラム及び情報を格納する記憶装置である。副記憶装置103は、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等の記憶装置であり、データを永続的に格納する。
本実施例の主記憶装置102には、回路制御部110及び画像処理部120を実現するプログラムが格納される。また、本実施例の副記憶装置103には、断層画像及び被検体情報等が格納される。被検体情報は被検体の年齢及び性別等を含む情報である。
なお、主記憶装置102に格納されるプログラム及び情報は、副記憶装置103に格納されてもよい。この場合、CPU101が、副記憶装置103からプログラム及び情報を読み出して、主記憶装置102にロードし、主記憶装置102にロードされたプログラムを実行する。
なお、データ及び情報を格納する記憶装置は、使用目的、処理性能、及び記憶容量等に応じて、適宜変更できる。
探触子104は、超音波を発生させ、被検体の内部で反射した超音波を受信し、受信した超音波をエコー信号に変換する。探触子104は、超音波を発生させる超音波振動子を有する。なお、探触子104は、超音波を受信できる形態であれば、どのような形態でもよい。例えば、通常の手持ち式探触子でもよいし、ABUS(Automate Breast Ultrasound System)等の機械による自動走査式探触子でもよい。
送信回路105は、一定の周期で、探触子104に超音波の送信信号を出力する。受信回路106は、探触子104からエコー信号を受信する。
整相加算器107は、時系列のエコー信号を整相加算することによって、時系列のRF信号フレームデータを生成する。整相加算器107はアナログデジタル(A/D)変換器を内蔵する。RF信号フレームデータは、観測データとして主記憶装置102又は副記憶装置103に蓄積される。
入力装置108は、ユーザが情報を入力するための装置であり、例えば、キーボード、マウス、タッチパネル、及びボタン等である。
出力装置109は、ユーザに対して情報を出力するための装置であり、例えば、ディスプレイ、プリンタ、及びスピーカ等である。本実施例の出力装置109は、断層画像及び病変の検出結果等を出力する。
ここで、回路制御部110及び画像処理部120について説明する。
回路制御部110は、送信回路105及び受信回路106を制御する。例えば、回路制御部110は、送信回路105に対して、超音波の放射方向及び送信信号の出力周期等を調整するための制御を実行する。
画像処理部120は、整相加算器107によって生成されたRF信号フレームデータを用いて断層画像を生成し、断層画像に対してフィルタ処理及び病変の検出処理等の画像処理を実行する。また、画像処理部120は、断層画像とともに、病変の検出結果等を副記憶装置103に格納する。病変の検出結果には、病変の有無、画像内の病変の位置、及び検出された時間等が含まれる。なお、探触子104に磁気センサ等の位置を検出するセンサが搭載されている場合、病変の検出結果には空間位置情報が含まれてもよい。
画像処理部120は、例えば、図2に示すような断層画像200を生成する。断層画像200の層201は皮膚に対応する層を表し、層202は脂肪に対応する層を表し、層203は乳腺に対応する層を表し、層204は大胸筋に対応する層を表す。また、オブジェクト205は病変を表す。
本実施例の画像処理部120は、画像生成部121、病変検出部122、及び表示部123から構成される。なお、画像処理部120は他の機能部を有してもよい。
画像生成部121は、RF信号フレームデータに対して走査変換処理を実行することによって、断層画像を生成する。画像生成部121は、副記憶装置103に、生成された断層画像を格納する。走査変換処理は公知の技術であるため詳細な説明は省略する。
病変検出部122は、断層画像から病変を検出するための検出処理を実行し、検出処理の結果を検出情報として出力する。病変検出部122は、副記憶装置103に、断層画像と対応づけた検出情報を格納する。病変検出部122が実行する処理の詳細は後述する。
表示部123は、断層画像及び病変の検出結果等を表示するための表示データを生成する。病変の検出結果の提示方法の詳細は後述する。
回路制御部110、探触子104、送信回路105、受信回路106、及び整相加算器107は、超音波を用いて被検体を観察する観測部として機能し、画像処理部120、主記憶装置102、副記憶装置103、入力装置108、及び出力装置109は、画像を処理するデータ処理部として機能する。なお、観測部及びデータ処理部は、別々の装置を用いて実現してもよい。
図3は、実施例1の病変検出部122が実行する処理を説明するフローチャートである。図4A、図4B、及び図4Cは、実施例1のフィルタマップの生成方法の一例を説明する図である。図5は、実施例1の病変検出部122が実行する処理の流れの一例を示す図である。
病変検出部122は、画像生成部121によって断層画像が生成された場合、以下で説明する処理を開始する。なお、本実施例は処理の実行タイミングに限定されない。例えば、断層画像が生成される度に処理が実行されてもよいし、所定数の断層画像が蓄積された後に処理が実行してもよい。
病変検出部122は、一つの断層画像を用いて一つのフィルタマップを生成する(ステップS101)。具体的には、以下のような処理が実行される。
(処理A1)病変検出部122は、断層画像に対して、任意の深さの解析層を、任意の角度及び任意の間隔で設定する。解析層の設定角度は、断層画像の向き又はビームの向きに基づいて決定される。解析層の深さ及び設定間隔は、検出精度及び処理コスト等に基づいて決定される。以下の説明では、角度、深さ、及び間隔を解析条件とも記載する。
図4Aは、断層画像200に対して、一画素の深さの解析層を、断層画像の水平方向に平行かつ1画素間隔で設定された状態を示す。すなわち、垂直方向の画素数と同じ数だけ解析層が設定された状態を示す。図4Bは、断層画像200に対して、一画素の深さの解析層を、断層画像の垂直方向に平行かつ1画素間隔で設定された状態を示す。すなわち、水平方向の画素数と同じ数だけ解析層が設定された状態を示す。
(処理A2)病変検出部122は、各解析層について、解析層に含まれる複数の画素の特徴量の平均値を算出する。病変検出部122は、各解析層における特徴量の平均値の分布を算出する。さらに、病変検出部122は、高周波成分を除去するため、特徴量の平均値の分布に対して平滑化フィルタ処理を実行し、平滑化分布を算出する。
断層画像の特徴量としては、輝度、分散、テクスチャ、及び共起特徴等が考えられる。なお、複数の特徴量を組み合わせた値の平均値を算出してもよい。本実施例では、特徴量として輝度を扱うものとする。また、平滑化フィルタは、移動平均フィルタ、ガウシアンフィルタ、及びメディアンフィルタ等が考えられる。なお、複数の平滑化フィルタを組み合わせてもよい。
なお、病変検出部122は、断層画像を所定の特徴量から構成される画像に変換した後に、特徴量の平均値を算出してもよい。例えば、輝度を反転させた画像に変換する処理が考えられる。
図4Aに示す解析層からは平滑化分布400が算出され、図4Bに示す解析層からは平滑化分布401が算出される。なお、横軸は解析層に対応し、縦軸は解析層における特徴量の平均値に対応する。
(処理A3)病変検出部122は、平滑化分布を断層画像と同じサイズの画像に投影することによってフィルタマップを生成する。具体的には、病変検出部122は、一つの解析層に含まれる画素に、当該解析層における特徴量の平均値を設定する。なお、解析層と画素列との対応関係は、解析層の方向、深さ、及び数に基づいて決定される。図4A及び図4Bでは、解析層と画素列が一対一に対応している。
図4Aの解析層を設定した断層画像からはフィルタマップ420-1が生成され、図4Bの解析層を設定した断層画像からはフィルタマップ420-2が生成される。
なお、病変検出部122は、平滑化分布400に閾値410を設定して、検出候補領域の絞り込みを行ってもよい。特に、断層画像200の下方は、大胸筋及び肺領域に対応する層であり輝度が低い。そこで、病変検出部122は、閾値410以下の領域(解析層群)を検出対象領域から除外する。また、病変検出部122は、平滑化分布401に閾値411を設定して、乳頭及び病変に起因して発生するシャドーの領域430及び乳房から探触子104が離れたことにより発生するシャドーの領域431を検出し、領域430、431をフィルタマップ420-2から除外してもよい。閾値は、予め設定されてもよいし、平滑化分布401の平均値を設定してもよい。
なお、病変検出部122は、解析条件が異なる解析層から生成されたフィルタマップを合成して、合成フィルタマップを生成してもよい。この場合、解析条件毎に扱う特徴量を変更してもよい。同一の特徴量から生成されたフィルタマップを合成する場合、病変検出部122は、重み付き加算の演算を実行することによって合成フィルタマップを生成する。例えば、フィルタマップ420-1、420-2を重み付き加算の演算を実行することによって、合成フィルタマップ420-3が生成される。以下の説明では、フィルタマップ及び合成フィルタマップを区別しない場合、単に、フィルタマップと記載する。
人体の内部は図2に示すように組織が層状になっている。解析層に含まれる画素群の特徴量の平均値は層状の組織を特徴づける値である。解析層に含まれる画素群に対する病変に対応する画素の数は少ないため、解析層に含まれる画素群の特徴量の平均値は病変の影響が小さい。したがって、フィルタマップは、人体の正常な組織領域を表す画像として扱うことができる。
以上がステップS101の処理の説明である。
次に、病変検出部122は、断層画像及びフィルタマップを用いて診断マップを生成する(ステップS102)。診断マップは、断層画像から正常な組織領域を除去した画像、すなわち、異常が疑われる組織領域を表す画像である。
具体的には、病変検出部122は、断層画像の各画素の特徴量と、フィルタマップの各画像の特徴量との差分を算出することによって診断マップを生成する。ここで、フィルタマップは人体の正常な組織を表す画像である。したがって、断層画像及びフィルタマップの差分を算出することによって、異常が疑われる組織領域を表す画像が診断マップとして生成される。このように、フィルタマップは、断層画像から病変候補となり得る領域を抽出する一種のフィルタとして作用する。
なお、病変検出部122は、診断マップに対して正規化処理を実行してよい。病変検出部122は、例えば、診断マップの最大値及び最小値から適切な値の範囲に線形又は非線形な変換を行う。
なお、病変検出部122は、診断マップの各画素の値を、フィルタマップの各画素の特徴量で除算してもよい。これによって、フィルタマップに対する相対値から構成される診断マップに変換できる。
図2の断層画像200及び図4Cの合成フィルタマップ420-3からは図5に示すような診断マップ500が生成される。
次に、病変検出部122は、診断マップに基づいて病変候補を検出する(ステップS103)。病変候補を検出する方法は様々考えられる。
例えば、病変検出部122は、閾値を用いて診断マップ500を2値化した画像510を生成する。病変検出部122は、画像510の白い部分を病変候補として検出する。閾値は、ユーザが設定してもよいし、診断マップの値の最大値に対する割合又は平均値等を用いてもよい。
次に、病変検出部122は、病変の誤検出を抑制するために誤検出抑制処理を実行する(ステップS104)。病変検出部122は、検出された病変に関する情報を出力し、処理を終了する。
例えば、病変検出部122は、病変候補に対応する領域の面積及び縦横比、診断マップの値の平均値、機械学習により生成された識別器に診断マップを入力することによって算出された尤度等の指標に基づいて、検出された病変候補の中から病変を絞り込む。なお、病変検出部122は、複数の指標を組み合わせて、病変の絞り込みを行ってもよい。
なお、診断マップに含まれる病変候補と病変との一致度が高い場合、誤検出抑制処理は実行されなくてもよい。
図5では、病変検出部122は、画像510から検出された三つの病変候補の中の一つの病変が含まれる画像520を、検出された病変に関する情報として出力する。
次に、病変の検出結果の表示方法について説明する。
図6は、実施例1の表示部123によって提示される病変の検出結果の一例を示す図である。
表示部123は、断層画像及び検出情報に基づいて、(表示1)、(表示2)、(表示3)、(表示4)、(表示5)に示すような画像を、病変の検出結果として表示するための表示データを生成する。
(表示1)では、輪郭形状を用いて断層画像200に含まれる病変205が提示される。(表示2)では、病変205を包含する矩形を用いて断層画像200に含まれる病変205が提示される。(表示3)では、病変205を包含する円又は楕円を用いて断層画像200に含まれる病変205が提示される。(表示4)では、病変205を示す矢印を用いて断層画像200に含まれる病変205が提示される。(表示5)では、断層画像200の検出対象から除外された領域601及びシャドー領域602が提示される。
なお、表示部123は、病変の検出を通知するための音及び振動を出力装置109から出力するためのデータを生成してもよい。
以上のように、実施例1の超音波診断装置100は、断層画像から自動的に病変を検出することができる。これによって、超音波検査において医療従事者の負担を低減できる。また、医療従事者による病変の見落とし及び誤検出等を抑制できるため、超音波検査における病変の検出率を向上できる。
実施例2では、超音波診断装置100が、検出された病変を解析し、病変の詳細な情報を提示する。以下実施例1との差異を中心に実施例2について説明する。
図7は、実施例2の超音波診断装置100の構成例を示す図である。図8A及び図8Bは、実施例2の超音波診断装置100が病変の形状を解析する方法を示す図である。図9は、実施例2の超音波診断装置100が病変の良悪性及びカテゴリを解析する方法を示す図である。
実施例2の超音波診断装置100のハードウェア構成及びソフトウェア構成は実施例1の超音波診断装置100と同一である。ただし、実施例2では、画像処理部120の内部構成が異なる。具体的には、実施例2の画像処理部120は、新たに、病変解析部700を含む。
病変解析部700は、病変検出部122によって検出された病変の解析処理を実行し、解析処理の結果を解析情報として出力する。病変解析部700は、副記憶装置103に、断層画像と対応づけた解析情報を格納する。ここで、解析処理の具体例を説明する。
(処理B1)病変解析部700は、病変として検出された領域に基づいて、病変の境界を算出する。境界の算出は、閾値処理、Watershed法に基づく処理、及び機械学習により生成された識別器を用いた領域分割処理等を用いることができる。
なお、病変解析部700は、ユーザによって指定された病変の境界に関する情報を受け付けてもよい。この場合、(処理B1)の処理は省略できる。
(処理B2)病変解析部700は、病変の境界に基づいて、病変の幅及び高さを算出する。また、病変解析部700は、エントロピーを用いて最大長を示す角度を算出し、当該角度から病変の最大長を算出する。さらに、病変解析部700は、病変の境界の形状を解析する。病変の境界は、複雑度及びフーリエ記述子等に基づいて解析することができる。なお、複雑度は式(1)で与えられる。
Figure 0007159025000001
フーリエ記述子は、図8Aに示すように、病変の境界800の周囲長をLとした場合、始点801からの距離lの注目点802における接線の角度として与えられる。θ(l)は偏角関数とよばれ、一般には、式(2)に示す正規化偏角関数をフーリエ級数展開した係数を特徴量として用いる。
Figure 0007159025000002
また、図8Bに示すように、病変の境界800に囲まれた領域の重心803から角度θの方向にある境界までの距離Dを特徴量として用いることもできる。
(処理B3)病変解析部700は、病変の大きさ、病変の縦横比、及び境界の形状等の病変の解析結果、並びに、病変の画像等を用いて、病変の良悪性及びカテゴリを解析する。例えば、ロジスティック回帰、サポートベクタマシン、ランダムフォレスト、ニューラルネットワークなどの機械学習アルゴリズムに基づいて生成された推定モデルを用いた解析手法が考えられる。推定モデルは、複数の機械学習アルゴリズムを組み合わせて生成されてもよい。なお、教師データありの機械学習アルゴリズムを用いる場合、断層画像、病変の検出結果、及び病変の解析結果から構成されるデータを学習データとして用いればよい。
ここで、ニューラルネットワークを用いた病変の良悪性及びカテゴリの解析アルゴリズムについて説明する。
病変解析部700は、畳み込みニューラルネットワーク(CNN)900及び識別器901を含む。識別器901は、ロジスティック回帰、サポートベクタマシン、ランダムフォレスト、及びニューラルネットワーク等の機械学習アルゴリズムに基づいて生成されたものである。なお、複数の機械学習アルゴリズムを組み合わせて識別器901を生成してもよい。
病変解析部700は、CNN900に断層画像及び診断マップを入力し、特徴量を算出する。次に、病変解析部700は、特徴量、解析情報、及び被検体情報を識別器901に入力する。識別器901からは、病変の良悪性及びカテゴリに関する識別結果が出力される。
実施例2によれば、ユーザは、病変の検出結果とともに、病変の解析結果を確認できる。これによって質の高い診断を実現できる。
実施例3では、超音波診断装置100が、一連の検査の終了後に、時系列で病変の検出結果等を提示する。以下、実施例2との差異を中心に実施例3について説明する。
実施例3の超音波診断装置100の構成は、実施例2の超音波診断装置100の構成と同一であるため、説明を省略する。
実施例2では、超音波診断装置100が、断層画像が入力される度に、病変の検出結果及び病変の解析結果を出力していた。実施例3では、超音波診断装置100は、主記憶装置102に病変の検出結果及び病変の解析結果を蓄積し、一連の検査の終了後、時系列で病変の検出結果及び病変の解析結果を提示する。
なお、実施例3の検出処理は、実施例1の検出処理と同一であり、実施例3の解析処理は、実施例2の解析処理と同一である。
図10A、図10B、及び図10Cは、実施例3の表示部123によって提示される画面の一例を示す図である。
図10Aに示す画面1000は、時間選択欄1010、検出結果表示欄1020、解析結果表示欄1030、位置情報表示欄1040、編集ボタン1050、及び削除ボタン1060を含む。
時間選択欄1010は、確認する断層画像を指定する欄である。図10Aでは、時刻を指定するためのスライドバーが表示される。当該スライドバーでは病変が検出された断層画像に対応する時刻が強調表示される。
ユーザは、ポインタ1011を操作することによって、確認する断層画像を選択できる。表示部123は、ポインタ1011に対応する時刻の断層画像を取得し、また、当該断層画像に対応づけられる検出情報及び解析情報を取得する。
検出結果表示欄1020は、時間選択欄1010を用いて選択された時刻の断層画像に対応づけられる検出情報を表示する欄である。
解析結果表示欄1030は、時間選択欄1010を用いて選択された時刻の断層画像に対応づけられる解析情報を表示する欄である。
位置情報表示欄1040は、時間選択欄1010を用いて選択された時刻の断層画像が取得された被検体の位置の情報を表示する欄である。位置情報表示欄1040には、検出情報に含まれる空間位置情報に基づく画像等が表示される。例えば、位置情報表示欄1040には、乳房における探触子104の位置を示す画像等が表示される。
編集ボタン1050は、検出情報及び解析情報の少なくともいずれかを編集するための操作ボタンである。ユーザが編集ボタン1050を操作した場合、表示部123は、編集モードに移行し、検出結果表示欄1020への入力を受け付ける。
例えば、病変の輪郭を修正する場合、ユーザは、図10Bに示すように検出結果表示欄1020を操作する。具体的には、ユーザは、病変の輪郭を指定する制御点を設定する。制御点は等角度で設定してもよいし、輪郭の変化点に設定してもよい。表示部123は、ユーザの入力に基づいて、検出情報を更新する。この場合、表示部123は、再度、病変の解析するために、病変解析部700に当該検出情報を入力してもよい。
削除ボタン1060は、検出情報及び解析情報を削除するための操作ボタンである。ユーザが削除ボタン1060を操作した場合、表示部123は、検出情報及び解析情報を削除する。この場合、表示部123は、再度、病変の検出を行うために、指定された断層画像200を病変検出部122に入力してもよい。
図10Cに示す画面1000は、時間選択欄1010の代わりに、サムネイル表示欄1090を含む。
サムネイル表示欄1090では、サムネイル1091及び送りボタン1092、1093が表示される。なお、サムネイル表示欄1090内に全てのサムネイル1091を表示できる場合、送りボタン1092、1093は表示されなくてもよい。
ユーザは、サムネイル1091を選択することによって、確認する断層画像を選択できる。表示部123は、サムネイル1091に対応する断層画像を取得し、また、当該断層画像に対応づけられる検出情報及び解析情報を取得する。なお、表示部123は、図10Cに示すように、選択されたサムネイル1091を強調表示してもよい。
なお、図10A、図10B、及び図10Cで説明した画面1000のレイアウトは一例であって、表示欄の位置、大きさ、表示方法等を任意に設定できる。
実施例3によれば、ユーザは、一連の検査における病変の検出結果及び病変の解析結果を確認し、必要に応じて結果及び修正することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Python、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
100 超音波診断装置
101 CPU
102 主記憶装置
103 副記憶装置
104 探触子
105 送信回路
106 受信回路
107 整相加算器
108 入力装置
109 出力装置
110 回路制御部
120 画像処理部
121 画像生成部
122 病変検出部
123 表示部
700 病変解析部

Claims (10)

  1. 被検体の断層画像を用いた診断を行う診断装置であって、
    前記被検体から取得されたデータに基づいて前記断層画像を生成する画像生成部と、前記断層画像から病変を検出する処理を実行する検出部と、を備え、
    前記検出部は、
    前記断層画像に対して、任意の方向に複数の解析層を設定し、
    前記複数の解析層の各々に含まれる複数の画素群の特徴量の平均値を算出し、
    前記複数の解析層の各々に含まれる複数の画素群の前記特徴量の平均値が設定された画素群の層から構成される画像を、前記断層画像から異常が疑われる組織領域を抽出するためのフィルタマップとして生成し、
    前記断層画像及び前記フィルタマップを用いて、前記断層画像に含まれる病変を検出し、前記病変の検出結果を含む検出情報を出力することを特徴とする診断装置。
  2. 請求項1に記載の診断装置であって、
    前記検出部は、
    前記断層画像の特徴量及び前記フィルタマップの特徴量の差分を算出することによって診断マップを生成し、
    前記診断マップに基づいて、前記断層画像に含まれる病変を検出することを特徴とする診断装置。
  3. 請求項1に記載の診断装置であって、
    病変が検出された前記断層画像を解析する解析部を備え、
    前記解析部は、前記断層画像、前記検出結果、及び前記病変の解析結果から構成される学習データを用いた学習処理によって生成された推定モデルに基づいて、前記病変が検出された断層画像を解析し、前記病変の解析結果を含む解析情報を出力することを特徴とする診断装置。
  4. 請求項に記載の診断装置であって、
    前記検出情報及び前記解析情報をユーザに対して提示するための表示データを生成する表示部を備え、
    前記表示部は、前記表示データに基づいて表示された操作画面を介した操作を受け付けた場合、当該操作に基づいて、前記検出情報及び前記解析情報の少なくともいずれかを更新することを特徴とする診断装置。
  5. 請求項1乃至請求項のいずれか一項に記載の診断装置であって、
    前記画像生成部は、前記被検体に放射された超音波の反射を計測することによって得られたデータに基づいて、前記断層画像を生成することを特徴とする診断装置。
  6. 被検体の断層画像を用いた診断を行う診断装置が実行する診断方法であって、
    前記診断装置は、前記被検体から取得されたデータに基づいて前記断層画像を生成する画像生成部と、前記断層画像から病変を検出する処理を実行する検出部と、を有し、
    前記診断方法は、
    前記検出部が、前記断層画像に対して、任意の方向に複数の解析層を設定し、前記複数の解析層の各々に含まれる複数の画素群の特徴量の平均値を算出し、前記複数の解析層の各々に含まれる複数の画素群の前記特徴量の平均値が設定された画素群の層から構成される画像を、前記断層画像から異常が疑われる組織領域を抽出するためのフィルタマップとして生成する第1のステップと、
    前記検出部が、前記断層画像及び前記フィルタマップを用いて、前記断層画像に含まれる病変を検出し、前記病変の検出結果を含む検出情報を出力する第2のステップと、を含むことを特徴とする診断方法。
  7. 請求項に記載の診断方法であって、
    前記第2のステップは、
    前記検出部が、前記断層画像の特徴量及び前記フィルタマップの特徴量の差分を算出することによって診断マップを生成するステップと、
    前記検出部が、前記診断マップに基づいて、前記断層画像に含まれる病変を検出するステップと、を含むことを特徴とする診断方法。
  8. 請求項に記載の診断方法であって、
    前記診断装置は、病変が検出された前記断層画像を解析する解析部を有し、
    前記診断方法は、前記解析部が、前記断層画像、前記検出結果、及び前記病変の解析結果から構成される学習データを用いた学習処理によって生成された推定モデルに基づいて、前記病変が検出された断層画像を解析し、前記病変の解析結果を含む解析情報を出力するステップを含むことを特徴とする診断方法。
  9. 請求項に記載の診断方法であって、
    前記診断装置は、前記検出情報及び前記解析情報をユーザに対して提示するための表示データを生成する表示部を有し、
    前記診断方法は、前記表示部が、前記表示データに基づいて表示された操作画面を介した操作を受け付けた場合、当該操作に基づいて、前記検出情報及び前記解析情報の少なくともいずれかを更新するステップを含むことを特徴とする診断方法。
  10. 請求項乃至請求項のいずれか一項に記載の診断方法であって、
    前記画像生成部が、前記被検体に放射された超音波の反射を計測することによって得られたデータに基づいて、前記断層画像を生成するステップを含むことを特徴とする診断方法。
JP2018225650A 2018-11-30 2018-11-30 診断装置及び診断方法 Active JP7159025B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018225650A JP7159025B2 (ja) 2018-11-30 2018-11-30 診断装置及び診断方法
US16/695,503 US20200170624A1 (en) 2018-11-30 2019-11-26 Diagnostic apparatus and diagnostic method
CN201911207226.8A CN111260606B (zh) 2018-11-30 2019-11-29 诊断装置和诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018225650A JP7159025B2 (ja) 2018-11-30 2018-11-30 診断装置及び診断方法

Publications (2)

Publication Number Publication Date
JP2020081742A JP2020081742A (ja) 2020-06-04
JP7159025B2 true JP7159025B2 (ja) 2022-10-24

Family

ID=70849785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018225650A Active JP7159025B2 (ja) 2018-11-30 2018-11-30 診断装置及び診断方法

Country Status (3)

Country Link
US (1) US20200170624A1 (ja)
JP (1) JP7159025B2 (ja)
CN (1) CN111260606B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7438038B2 (ja) 2020-06-25 2024-02-26 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003275196A (ja) 2002-03-26 2003-09-30 Konica Corp 医用画像処理方法および医用画像処理装置
JP2009157527A (ja) 2007-12-25 2009-07-16 Canon Inc 医用画像処理装置、医用画像処理方法ならびにプログラム
JP2014100569A (ja) 2012-11-16 2014-06-05 Samsung Electronics Co Ltd 診断装置及び診断方法
WO2014162966A1 (ja) 2013-04-03 2014-10-09 日立アロカメディカル株式会社 超音波診断装置、及び弾性評価方法
WO2018157130A1 (en) 2017-02-27 2018-08-30 Rutgers, The State University Of New Jersey Computational ultrasound for improved liver and kidney cancer diagnosis

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007000940A1 (ja) * 2005-06-28 2007-01-04 Konica Minolta Medical & Graphic, Inc. 異常陰影候補検出方法、異常陰影候補検出装置
JP5002181B2 (ja) * 2006-03-31 2012-08-15 株式会社東芝 超音波診断装置及び超音波診断装置制御方法
JP5016911B2 (ja) * 2006-12-20 2012-09-05 株式会社日立メディコ 超音波診断装置
US9301732B2 (en) * 2008-03-31 2016-04-05 Hitachi Medical Corporation Ultrasonic diagnostic arrangements selecting parameters for selecting relevant estimation data for classifying an elasticity image
JP4810562B2 (ja) * 2008-10-17 2011-11-09 キヤノン株式会社 画像処理装置、画像処理方法
JP4909377B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP2012030048A (ja) * 2010-07-02 2012-02-16 Toshiba Corp 超音波診断装置、画像処理装置、及び解析プログラム
JP6206155B2 (ja) * 2013-12-16 2017-10-04 コニカミノルタ株式会社 超音波診断装置
JP6425906B2 (ja) * 2014-03-19 2018-11-21 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
JP6580446B2 (ja) * 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003275196A (ja) 2002-03-26 2003-09-30 Konica Corp 医用画像処理方法および医用画像処理装置
JP2009157527A (ja) 2007-12-25 2009-07-16 Canon Inc 医用画像処理装置、医用画像処理方法ならびにプログラム
JP2014100569A (ja) 2012-11-16 2014-06-05 Samsung Electronics Co Ltd 診断装置及び診断方法
WO2014162966A1 (ja) 2013-04-03 2014-10-09 日立アロカメディカル株式会社 超音波診断装置、及び弾性評価方法
WO2018157130A1 (en) 2017-02-27 2018-08-30 Rutgers, The State University Of New Jersey Computational ultrasound for improved liver and kidney cancer diagnosis

Also Published As

Publication number Publication date
CN111260606B (zh) 2023-08-29
JP2020081742A (ja) 2020-06-04
US20200170624A1 (en) 2020-06-04
CN111260606A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
US11191518B2 (en) Ultrasound system and method for detecting lung sliding
JP5498299B2 (ja) 2次元超音波映像に対応する2次元ct映像を提供するシステムおよび方法
CN109788939B (zh) 用于通过自动检测b线和对超声扫描的图像进行评分来增强代表性超声图像的可视化和选择的方法和系统
CN109949254B (zh) 穿刺针超声图像增强方法及装置
US10002422B2 (en) Ultrasound image processing apparatus and medium
JP6547612B2 (ja) 画像処理装置、画像処理方法、および、画像処理装置を備える超音波診断装置
KR20150106779A (ko) 대상체에 대한 복수의 상이한 영상들을 디스플레이하는 방법 및 장치
KR20120072961A (ko) 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템
JP2020068797A (ja) 医用撮像装置、画像処理装置、および、画像処理方法
KR20140024190A (ko) 초음파 영상 관리 방법, 표시 방법 및 그 장치
US20150196281A1 (en) Medical data processing device, medical data processing method, and ultrasound diagnostic device
US20150157298A1 (en) Apparatus and method for combining three dimensional ultrasound images
JP2020511250A (ja) ボリュームレンダリングされる超音波画像
JP2023053346A (ja) 解析装置及び解析プログラム
US20140334706A1 (en) Ultrasound diagnostic apparatus and contour extraction method
JP2010200844A (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
US20220189613A1 (en) Analyzing apparatus and analyzing method
KR20120102447A (ko) 진단장치 및 방법
JP7159025B2 (ja) 診断装置及び診断方法
CN115334975A (zh) 用于对心外膜脂肪组织进行成像和测量的系统和方法
US20200178846A1 (en) Acoustic wave measurement apparatus and operation method of acoustic wave measurement apparatus
JP2019181183A (ja) 医用診断装置、医用画像処理装置、及び画像処理プログラム
EP2915491A1 (en) Method, apparatus, and system for outputting information of blood flow included in region of interest based on selection information
JP2019162314A (ja) 情報処理装置、情報処理方法、及びプログラム
CN113768544A (zh) 乳腺的超声成像方法及设备

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221012

R150 Certificate of patent or registration of utility model

Ref document number: 7159025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150