JP7447692B2 - 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム - Google Patents

超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム Download PDF

Info

Publication number
JP7447692B2
JP7447692B2 JP2020103858A JP2020103858A JP7447692B2 JP 7447692 B2 JP7447692 B2 JP 7447692B2 JP 2020103858 A JP2020103858 A JP 2020103858A JP 2020103858 A JP2020103858 A JP 2020103858A JP 7447692 B2 JP7447692 B2 JP 7447692B2
Authority
JP
Japan
Prior art keywords
image
display
display image
ultrasound
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020103858A
Other languages
English (en)
Other versions
JP2021194300A (ja
Inventor
敏夫 岡
崇 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2020103858A priority Critical patent/JP7447692B2/ja
Priority to US17/331,729 priority patent/US11744556B2/en
Publication of JP2021194300A publication Critical patent/JP2021194300A/ja
Application granted granted Critical
Publication of JP7447692B2 publication Critical patent/JP7447692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本開示は、超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラムに関する。
従来、超音波を被検体内部に送信し、その超音波エコーを受信して解析することにより、被検体内の断層画像を生成する超音波診断装置が知られている。超音波診断装置は、超音波をスキャンすることにより、2次元又は3次元の超音波画像をリアルタイムで取得することができる。そして、超音波診断装置にて超音波画像を時間的に連続して生成することで、被検体の生体部分を動画観察することが可能である。
近年、この種の超音波診断装置においては、モニタに映す表示画像から超音波プローブの位置や被検体の動作等の状況を認識し得るようにするため、カメラにて、超音波プローブと被検体の双方を撮影し、カメラ画像を、超音波画像に付帯させた表示画像をモニタに表示するものも構想されている。
例えば、特許文献1には、超音波診断装置にカメラを接続し、検査中のカメラ画像を超音波画像と同時に表示し、又は保存する技術が開示されている。加えて、特許文献1には、その際のカメラ画像の内容解析やプローブ位置情報を活用することにより、検査部位を判断したり、検査対象へのカメラズーミングを実施したりする技術が開示されている。
特開2009-207800号公報
ところで、この種の超音波診断装置において、超音波画像と共に表示するカメラ画像は、例えば、(1)表示画像を超音波検査の記録として用いる場合のボディマーク(被検体の検査対象部位を示すマーク)としての用途、(2)再診時等に超音波プローブの当て方を再現するための用途、(3)検査者が超音波検査中にモニタ内で超音波プローブの位置と超音波画像の両方を確認する用途、(4)検査者が患者にモニタを見せながら、身体の動きと生体内部の動きの連動性を説明する用途等、種々の用途が想定されている。
この点、超音波画像と共に表示するカメラ画像の表示スタイル(例えば、正像表示又は鏡像表示)は、超音波診断装置の利用シーンに応じて異なる設定とされるのが好ましい。
そこで、本開示は、ユーザにとって、より利便性の高い画像表示を提供し得る超音波診断装置、超音波診断装置の制御方法、及び超音波診断装置の制御プログラムを提供することを目的とする。
前述した課題を解決する主たる本開示は、
超音波の送受信を行う超音波プローブと、
被検体を撮影するカメラと、
前記超音波プローブから取得した受信信号に基づいて、前記被検体の超音波画像を生成する超音波画像生成部と、
前記カメラから取得したカメラ画像と、前記超音波画像生成部から取得した前記超音波画像と、を含む表示画像を生成し、当該表示画像を再生可能に記憶部に保存する表示画像生成部と、
前記表示画像の読み出し時の用途に応じて、前記表示画像内に配置する前記カメラ画像の表示スタイルを決定する制御部と、
を備える超音波診断装置である。
又、他の局面では、
超音波プローブから取得した受信信号に基づいて、被検体の超音波画像を生成し、
前記被検体を撮影するカメラから取得したカメラ画像と、前記超音波画像と、を含む表示画像を生成し、当該表示画像を記憶部に保存し、
前記表示画像の読み出し時の用途に応じて、前記表示画像内に配置する前記カメラ画像の表示スタイルを決定する、
超音波診断装置の制御方法である。
又、他の局面では、
コンピュータに、
超音波プローブから取得した受信信号に基づいて、被検体の超音波画像を生成する処理と、
前記被検体を撮影するカメラから取得したカメラ画像と、前記超音波画像と、を含む表示画像を生成し、当該表示画像を再生可能に記憶部に保存する処理と、
前記表示画像の読み出し時の用途に応じて、前記表示画像内に配置する前記カメラ画像の表示スタイルを決定する処理と、
を実行させる超音波診断装置の制御プログラムである。
本開示に係る超音波診断装置によれば、ユーザにとって、より利便性の高い画像表示を提供することが可能である。
超音波診断装置の外観の一例を示す図 超音波診断装置の全体構成の一例を示す図 超音波診断装置を用いた超音波検査の状況の一例を示す図 表示画像生成部が生成する表示画像の一例を示す図(カメラ画像:鏡像表示) 表示画像生成部が生成する表示画像の一例を示す図(カメラ画像:正像表示) 超音波診断装置の動作フローの一例を示す図 プローブマーク設定機能について、説明する図 アノテーション設定機能について、説明する図
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[超音波診断装置の全体構成について]
以下、図1~図3を参照して、本発明の一実施形態に係る超音波診断装置の構成について説明する。
図1は、超音波診断装置Aの外観の一例を示す図である。図2は、超音波診断装置Aの全体構成の一例を示す図である。
図3は、超音波診断装置Aを用いた超音波検査の状況の一例を示す図である。尚、図3では、P1が検査者(即ち、ユーザ)であり、P2が患者(即ち、被検体)を表す。
超音波診断装置Aは、超音波診断装置本体1、超音波プローブ2、及び、カメラ3を備える。超音波プローブ2及びカメラ3は、それぞれ、ケーブルC1、C2を介して超音波診断装置本体1と接続されている。
超音波プローブ2は、超音波ビーム(ここでは、1~30MHz程度)を被検体内に対して送信するとともに、送信した超音波ビームのうち被検体内で反射された超音波エコーを受信して電気信号に変換する音響センサとして機能する。
超音波プローブ2は、例えば、アレー状に配設された振動子列(例えば、圧電振動子列)と、当該振動子列の各振動子の駆動状態のオンオフを個別に又はブロック単位で切替制御するためのチャンネル切替部(例えば、マルチプレクサ)を含んで構成される。超音波プローブ2の各振動子は、超音波診断装置本体1(送受信部11)で発生された電圧パルスを超音波ビームに変換して被検体内へ送信し、被検体内で反射した超音波エコーを受信して電気信号(以下、「受信信号」と称する)に変換し、超音波診断装置本体1(送受信部11)へ出力する。そして、超音波プローブ2の駆動対象の振動子が、走査方向に沿って順に切り替えられることにより、被検体内の超音波走査が実行される。
カメラ3は、例えば、光学カメラのような一般的な可視カメラであり、自身の有する撮像素子が生成した画像信号をAD変換して、カメラ画像に係る画像データ(以下、「カメラ画像」と略称する)を生成する。そして、カメラ3は、カメラ画像を連続的に生成して、時系列に並んだカメラ画像を超音波診断装置本体1に対して出力する。
カメラ3は、被検体及び超音波プローブ2を撮影し得るように、被検体の周囲の適宜な位置に配置される。カメラ3の配置位置は、カメラ画像から被検体への超音波プローブ2の押し当て状態(例えば、超音波プローブ2の位置や姿勢)を把握し得るような位置であるのが好ましい。
超音波診断装置本体1は、送受信部11、超音波画像生成部12、カメラ画像取得部13、表示画像生成部14、画像出力部15、操作入力部16、記憶部17、及び、制御部18を備えている。
送受信部11は、超音波プローブ2の各振動子に対して、超音波の送受信を行わせる駆動回路である。送受信部11は、超音波プローブ2の各振動子に対して駆動信号たる電圧パルスを送出すると共に、超音波プローブ2の各振動子で生成された超音波エコーに係る電気信号を受信処理する。
超音波画像生成部12は、送受信部11から取得した受信信号に対して、所定の信号処理(対数圧縮、及び検波等)を施して、超音波画像に係る画像データ(以下、「超音波画像」と略称する)を生成する。
超音波画像生成部12は、例えば、超音波プローブ2が深度方向に向けてパルス状の超音波ビームを送信した際に、その後に検出される超音波エコーの信号強度(Intensity)を順次ラインメモリに蓄積する。そして、超音波画像生成部12は、超音波プローブ2からの超音波ビームが被検体内を走査するに応じて、各走査位置での超音波エコーの信号強度を各別のラインメモリに順次蓄積し、フレーム単位となる二次元データを生成する。そして、超音波画像生成部12は、被検体の内部の各位置で検出される超音波エコーの信号強度を輝度値に変換することによって、超音波画像を生成する。
超音波画像生成部12は、超音波プローブ2の走査速度に応じたフレームレートで、時間的に連続して超音波画像を生成する。
カメラ画像取得部13は、カメラ3からカメラ画像を順次取得する。カメラ画像取得部13は、例えば、カメラ3がカメラ画像を生成するフレームレートの間隔で、カメラ3からカメラ画像を順次取得する。
表示画像生成部14は、超音波画像生成部12から超音波画像を取得すると共に、カメラ画像取得部13からカメラ画像を取得して、超音波画像とカメラ画像とが配置された表示画像を生成する。そして、表示画像生成部14は、生成した表示画像のデータを画像出力部15に送出する。
表示画像生成部14は、超音波診断装置Aの動作モードがライブモードの場合、超音波画像生成部12により生成されたリアルタイムの超音波画像と、カメラ画像取得部13により取得されたリアルタイムのカメラ画像とを配置した表示画像を順次生成し、画像出力部15に表示させる表示画像を順次更新する。
尚、この際、表示画像生成部14は、超音波画像に付与されたタイムスタンプの時刻とカメラ画像に付与されたタイムスタンプの時刻とに基づいて、超音波画像が生成されたタイミングとカメラ画像が生成されたタイミングとの時間的な対応関係を特定し、同一又は近接するタイミングに生成された超音波画像とカメラ画像とを含む表示画像を生成してもよい。この場合、超音波画像には、超音波画像生成部12にて生成された際にタイムスタンプが付与され、カメラ画像には、カメラ画像取得部13にて取得された際にタイムスタンプが付与される構成とすればよい。
又、表示画像生成部14は、超音波診断装置Aの動作モードが静止画再生モード又は動画再生モードの場合、記憶部17に格納された静止画データD1又は動画データD2を読み出して表示画像を生成する。
尚、表示画像生成部14は、制御部18から静止画保存指令を受けた場合、当該静止画保存指令を受けたタイミングで自身のフレームバッファに保持された1フレーム分の表示画像のデータを、静止画データD1として記憶部17に格納する。又、表示画像生成部14は、制御部18から動画保存指令を受けた場合、自身が順次生成する表示画像のデータを、動画データD2として記憶部17に格納する。
表示画像生成部14は、例えば、例えば、DSP(Digital Signal Processor)で構成されたデジタル演算回路によって実現される。但し、表示画像生成部14の機能の一部又は全部は、CPU(Central Processing Unit)がプログラムに従って演算処理することによって実現されてもよいし、専用のハードウェア回路(例えば、ASICやFPGA)によって実現されてもよい。
画像出力部15は、例えば、液晶ディスプレイ又はCRTモニタ等であって、表示画像生成部14に生成された表示画像を表示する。
操作入力部16は、ユーザが入力操作を行うためのユーザインターフェイスであり、例えば、押しボタンスイッチ、キーボード、又はマウス等で構成される。操作入力部16は、ユーザが行った入力操作を操作信号に変換し、制御部18に送出する。
尚、操作入力部16を介して、ユーザは、超音波診断装置Aに実行すべき動作モードを指令し得るようになっている。
記憶部17は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、フラッシュメモリ等の補助記憶装置である。記憶部17には、例えば、表示画像を生成するための画像フォーマットデータ(図示せず)、及び、表示画像生成部14に生成された表示画像の画像データ等が格納される。本実施形態に係る記憶部17には、動画データ(動画形式の表示画像の画像データを表す。以下同じ)D2、及び、静止画データ(静止画形式の表示画像の画像データを表す。以下同じ)D1が格納される。
制御部18は、超音波診断装置Aの動作モードに応じて、表示画像内に配置するカメラ画像の表示スタイルが切り替えられるように表示画像生成部14を制御する(詳細は後述)。尚、制御部18は、操作入力部16からの操作信号を取得して、当該操作信号に基づいて、超音波診断装置Aの各部の動作を統括制御する機能も有する。
尚、制御部18は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、及び、RAM(Random Access Memory)等を含んで構成されているマイコンである。
[カメラ画像の表示スタイル制御について]
表示画像生成部14は、表示画像内に配置するカメラ画像の表示スタイルを変更可能に構成されている。具体的には、表示画像生成部14は、制御部18から受信する超音波診断装置Aの動作モードに係る制御指令に基づいて、表示画像内に配置するカメラ画像の表示スタイルを変更する。
又、この際、表示画像生成部14は、好ましくは、現時点で表示画像内に配置されるカメラ画像の表示スタイルの態様を示す説明画像(図4、図5の画像R3を参照)を、表示画像内に付加する。これによって、ユーザに対して、現時点で表示されるカメラ画像の表示スタイルを誤りなく認識させることができる。
図4、図5は、表示画像生成部14が生成する表示画像の一例を示す図である。図4の表示画像と図5の表示画像とは、同一タイミングで生成された表示画像であって、図4では、カメラ画像が鏡像表示された状態を表し、図5では、カメラ画像が正像表示された状態を表している。尚、図4、図5のRallは表示画像全体、R1は超音波画像、R2はカメラ画像、R3は説明画像を表す。
ここで、表示画像生成部14が切り替えるカメラ画像の表示スタイルとは、典型的には、図4及び図5に示すように、鏡像表示(即ち、左右反転表示)又は正像表示(即ち、左右非反転表示)に係る表示スタイルであり、表示画像生成部14は、制御部18からの制御指令に基づいて、撮影により得られたカメラ画像を正像表示とするか、又は、撮影により得られたカメラ画像を鏡像表示とするかを切り替える。かかる制御を行うのは、超音波診断装置Aの利用シーンに応じて、カメラ画像が鏡像表示された方がユーザにとって利便性が高いか、カメラ画像が正像表示された方がユーザにとって利便性が高いか、が異なるためである。
カメラ画像の表示スタイルを決定する際の基準となる超音波診断装置Aの動作モードとしては、例えば、ライブモード、フリーズモード、動画再生モード、及び、静止画再生モードが挙げられる。
ライブモードとは、超音波プローブ2に超音波の送受信を実行させて、被検体の断層像を撮影している動作モードである。尚、ライブモードにおいては、超音波診断装置Aは、被検体の超音波画像及びカメラ画像を含む表示画像をリアルタイムで更新する。
フリーズモードとは、ライブモード中にユーザに入力されたフリーズ指令を契機として、超音波プローブ2における超音波の送受信を停止させたモードである。尚、フリーズモードにおいては、ライブモード時の最後に生成された表示画像が、表示画像生成部14のフレームバッファに保持され、表示画像生成部14は、表示画像の更新を停止する。
静止画再生モードとは、表示画像生成部14が、記憶部17から過去の超音波検査時に生成された表示画像の静止画データD1を読み出し、画像出力部15にて表示させるモードである。超音波画像の静止画の記録は、例えば、フリーズモード中にユーザに入力された静止画保存指令に基づいて実行され、このときに表示画像生成部14に生成された一枚の表示画像の画像データが、静止画データD1として記憶部17に記憶される。
動画再生モードとは、表示画像生成部14が、記憶部17から過去の超音波検査時に生成された表示画像の動画データD2を読み出し、画像出力部15にて動画再生させるモードである。超音波画像の動画記録は、例えば、ライブモード中にユーザに入力された動画保存指令に基づいて実行され、このときに表示画像生成部14に生成された時系列の表示画像の画像データが、動画データD2として記憶部17に記憶される。
表示画像生成部14は、具体的には、以下のように、表示画像内に配置するカメラ画像の表示スタイルを変更する。
表示画像生成部14は、超音波診断装置Aの動作モードがライブモードの場合、表示画像内に配置するカメラ画像を鏡像表示とする。又、表示画像生成部14は、超音波診断装置Aの動作モードがフリーズモードの場合、表示画像内に配置するカメラ画像を正像表示とする。又、表示画像生成部14は、超音波診断装置Aの動作モードが静止画再生モードの場合、表示画像内に配置するカメラ画像を正像表示とする。又、表示画像生成部14は、超音波診断装置Aの動作モードが動画再生モードの場合、表示画像内に配置するカメラ画像を鏡像表示とする。
超音波診断装置Aの動作モードがライブモードの場合、一般に、ユーザは、画像出力部15に映る表示画像を視認しながら、超音波プローブ2を移動させている状況と言える。このとき、超音波診断装置本体1は、一般に、ユーザから見て、被検体の反対側又は横側に配置されるため(図3を参照)、カメラ画像が鏡像表示されなければ、カメラ画像を視認した際に超音波プローブ2の移動方向がユーザの意図している方向と逆方向となっているように見えてしまうおそれがある。換言すると、このとき、カメラ画像を鏡像表示させることによって、ユーザは、鏡を視認しながら、超音波プローブ2を移動させているような感覚を得るため、画像出力部15に映る表示画像(即ち、カメラ画像)を視認しながら、直感的に超音波プローブ2を移動させることができる。
又、超音波診断装置Aの動画再生モードは、一般に、過去に行われた超音波検査を再現する用途で使用される。動画再生モードにおいては、超音波診断装置Aがライブモードで動作している場合と同様に、超音波診断装置本体1が、ユーザから見て、被検体の反対側又は横側に配置された状態で、ユーザは、画像出力部15に映る表示画像(カメラ画像)を視認しながら、超音波プローブ2を移動させることになる。従って、超音波診断装置Aが動画再生モードで動作している際にも、超音波診断装置Aがライブモードで動作している場合と同様に、画像出力部15には、鏡像反転したカメラ画像が表示されるのが好ましい。
一方、超音波診断装置Aの動作モードがフリーズモードの場合や静止画再生モードの場合には、一般に、ユーザは、超音波プローブ2の移動操作を行っておらず、画像出力部15に映る表示画像を視認して、客観的に、超音波プローブ2の被検体への押し当て位置、及び超音波プローブ2の姿勢等を観察している状況と言える。このとき、カメラ画像が鏡像表示されてしまうと、表示画像内に映るカメラ画像を視認したユーザは、超音波プローブ2が被検体に押し当てられている位置を、左右反転して認識してしまうおそれがある。かかる観点から、超音波診断装置Aの動作モードがフリーズモードの場合や静止画再生モードの場合には、表示画像内に映るカメラ画像は、正像表示されるのが好ましい。
かかる観点から、表示画像生成部14は、超音波診断装置Aの動作モードに応じて、カメラ画像を表示画像に配置する際の表示スタイルを、鏡像表示と、正像表示とで切り替える。
表示画像生成部14による表示画像の生成処理は、公知の手法と同様である。表示画像生成部14は、例えば、表示画像の画像フォーマットデータに対して、超音波画像生成部12から取得した超音波画像を埋め込むと共に、カメラ画像取得部13から取得したカメラ画像を埋め込むことで、表示画像を生成する。そして、表示画像生成部14は、カメラ画像を表示画像に埋め込む際には、超音波診断装置Aの動作モードに応じて、当該カメラ画像を、鏡像表示とするか、正像表示とするか、を切り替える。
又、表示画像生成部14は、静止画の保存指令があった場合には、表示画像の画像フォーマットデータに対して、正像表示に設定したカメラ画像と超音波画像とを埋め込んだ表示画像を、静止画データD1として記憶部17に格納する。一方、表示画像生成部14は、動画の保存指令があった場合には、表示画像の画像フォーマットデータに対して、鏡像表示に設定したカメラ画像と超音波画像とを埋め込んだ表示画像を、動画データD2として記憶部17に格納する。これによって、表示画像生成部14は、静止画再生モードでは、カメラ画像を正像表示とした表示画像を画像出力し、動画再生モードでは、カメラ画像を鏡像表示とした表示画像を画像出力する。
尚、表示画像生成部14が表示画像内にカメラ画像を配置する処理は、表示画像の画像フォーマットデータの所定位置にカメラ画像を埋め込むものであってもよいし、表示画像の画像フォーマットデータとは無関係に適宜な位置にカメラ画像を重畳表示したり、並べて表示したりするものであってもよい。尚、この点は、表示画像生成部14が表示画像内に超音波画像を配置する処理についても、同様である。
(超音波診断装置の動作)
図6は、超音波診断装置Aの動作フローの一例を示す図である。図6に示す各ステップは、例えば、超音波診断装置Aの制御部18がコンピュータプログラムに従って実行するものである。
超音波診断プログラムを実行した際、制御部18は、まず、測定条件及び表示設定等の設定データ(図示せず)の読み出しを行い、各種処理における変数として当該設定データを設定する(ステップS1)。
次に、制御部18は、表示画像生成部14に、表示画像の初期画面の生成を行わせ、画像出力部15に表示させる(ステップS2)。
次に、制御部18は、カメラ3に撮影を開始させ、カメラ画像取得部13にカメラ3で生成されるカメラ画像を順次取得させる(ステップS3)。
次に、制御部18は、超音波プローブ2に超音波の送受信を開始させて、超音波画像生成部12にて超音波画像の生成を開始させる(ステップS4)。
次に、制御部18は、表示画像生成部14に対して、表示画像の画像フォーマットデータに対して、超音波画像生成部12から取得した超音波画像を埋め込ませると共に、カメラ画像取得部13から取得したカメラ画像を埋め込ませた表示画像の生成処理を開始させる(ステップS5)。又、制御部18は、画像出力部15に表示指令信号を出力し、表示画像生成部14で生成された表示画像を表示させる。尚、このとき、表示画像生成部14に生成される表示画像は、カメラ画像が鏡像表示となったライブモードの表示画像である。
次に、制御部18は、操作入力部16への入力操作があったか否かを判定し(ステップS6)、操作入力部16への入力操作を待ち受ける(ステップS6:NO)。そして、制御部18は、操作入力部16への入力操作が行われた場合(ステップS6:YES)、操作信号の内容に基づいて条件分岐して、フリーズ操作、フリーズ解除操作、静止画保存操作、静止画再生操作、動画保存開始操作、動画保存終了操作、及び動画再生操作それぞれに対応する処理を実行する(ステップS7~S13)。
尚、このステップS6では、制御部18は、フリーズ操作、フリーズ解除操作、静止画保存操作、静止画再生操作、動画保存開始操作、動画保存終了操作、及び動画再生操作それぞれを行うために、各別に設けられた操作入力部16の操作ボタンのいずれかが押下されたかを判定する。そして、いずれかの操作ボタンが押下された場合には、例えば、識別可能な操作信号としてレジスタに格納され、当該レジスタを介して制御部18に入力される。
ここで、操作入力部16への入力操作がなされた場合のフリーズ操作、フリーズ解除操作、静止画保存操作、静止画再生操作、動画保存開始操作、動画保存終了操作、及び動画再生操作それぞれに対応する処理について説明する(ステップS7~S13)。
フリーズ解除操作がなされた場合、制御部18は、フリーズ操作でフリーズモードにした超音波プローブ2による撮像動作を再開する。又、このとき、制御部18は、表示画像生成部14に、カメラ画像が鏡像表示となったライブモードの表示画像を生成させる(ステップS7)。
フリーズ操作がなされた場合、制御部18は、送受信部11に超音波プローブ2による撮像動作を停止させる。又、このとき、制御部18は、表示画像生成部14に、カメラ画像が正像表示となったフリーズモードの表示画像を生成させる(ステップS8)。尚、このとき、表示画像生成部14のフレームバッファには、ライブモード中に最後に生成された超音波画像が保持され、画像出力部15は、当該超音波画像の静止画を表示する。
静止画保存操作がなされた場合、制御部18は、表示画像生成部14に対して保存指示信号を出力して、保存対象としての1フレーム分の超音波画像を生成させる。表示画像生成部14は、例えば、静止画保存操作が行われたときの1フレームの画像データをJPEG形式にエンコードすることによって、保存対象の静止画データD1を生成し、記憶部17に記憶させる。尚、このとき、表示画像生成部14は、カメラ画像が正像表示された表示画像を静止画データD1として記憶部17に保存する(ステップS9)。
静止画再生操作がなされた場合、制御部18は、送受信部11に超音波プローブ2による撮像動作を停止させる。又、このとき、制御部18は、表示画像生成部14に、記憶部17から、ユーザに選択された静止画データD1の読み出しを実行させ、画像出力部15に静止画データD1として記憶された表示画像を表示させる。尚、静止画データD1は、カメラ画像が正像表示された表示画像として保存されているため、この静止画再生モードで、表示画像生成部14が画像出力部15に出力する表示画像も、カメラ画像が正像表示された状態となる(ステップS10)。
動画記録開始操作がなされた場合、制御部18は、表示画像生成部14に対して、保存対象としての動画データの生成を開始させる。表示画像生成部14は、例えば、連続する複数のフレームの画像データをMPEG形式にエンコードすることによって、保存対象の動画データD2を生成し、記憶部17に記憶させる。尚、このとき、表示画像生成部14は、カメラ画像が鏡像表示された表示画像を動画データD2として記憶部17に保存する(ステップS11)。
動画記録終了操作がなされた場合、制御部18は、表示画像生成部14に対して、動画保存開始操作で開始した動画データの記録を停止させる(ステップS12)。
動画再生操作がなされた場合、制御部18は、送受信部11に超音波プローブ2による撮像動作を停止させる。又、このとき、制御部18は、表示画像生成部14に、記憶部17から、ユーザに選択された動画データD2の読み出しを実行させ、画像出力部15に動画データD2として記憶された表示画像を順次表示させる。尚、動画データD2は、カメラ画像が鏡像表示された表示画像として保存されているため、この動画再生モードで、表示画像生成部14が画像出力部15に出力する表示画像も、カメラ画像が鏡像表示された状態となる(ステップS13)。
制御部18は、操作入力部16への入力操作が行われた場合(ステップS6:YES)、これらの入力操作に対応する処理ステップS7~S13を実行した後、再度、ステップS6に戻って、上記と同様の処理を継続する。
[効果]
以上のように、本実施形態に係る超音波診断装置Aによれば、保存対象の表示画像の読み出し時の用途に応じて、当該表示画像内に配置するカメラ画像の表示スタイル(例えば、正像表示又は鏡像表示)を切り替えて、記憶部17に格納することが可能である。
これによって、動画再生モードや静止画再生モードの際に、ユーザにとって、より利便性の高い画像表示を提供することが可能である。
(変形例1)
上記実施形態では、ユーザによって、静止画保存操作がなされた場合、カメラ画像を正像表示として表示画像内に配置し、静止画データD1として、記憶部17に格納する態様を示した。この点、本変形例1では、ユーザによるアノテーションの入力操作、又は、ユーザによるプローブマークを設定するための入力操作を契機として、表示画像に係る静止画データD1の保存を実行する点で、上記実施形態に係る超音波診断装置と相違する。
図7は、プローブマーク設定機能について、説明する図である。図8は、アノテーション設定機能について、説明する図である。
表示画像内に配置されたカメラ画像は、検査対象部位を示すボディマークとして機能し得る。しかしながら、カメラ3の撮影位置によっては、カメラ画像内において超音波プローブ2の位置が視認しづらい場合がある。例えば、図7、図8では、カメラ3と被検体との距離が遠く、カメラ画像内における超音波プローブ2の位置が視認しづらい状況となっている。
本変形例1に係る表示画像生成部14は、このような場合にも、カメラ画像内における超音波プローブ2の位置を識別し得るように、ユーザの入力操作により、表示画像のカメラ画像上の所望の位置にプローブマーク(図7のR2aを参照)を付与し得る構成となっている。又、本変形例1に係る表示画像生成部14は、ユーザの入力操作により、表示画像内にテキストアノテーション(図8のR4を参照)を付与し得る構成となっている。尚、当該構成は、特に、表示画像を超音波検査の記録として用いる場合に有用である。
但し、ユーザによるアノテーションの入力操作が行われている場合や、ユーザによるボディマークを設定するための入力操作が行われている場合には、ユーザが、画像出力部15に映る表示画像を視認しながら、超音波プローブ2を移動させている状況というよりも、ユーザが、画像出力部15に映る表示画像を注視している状況に近いと言える。かかる観点から、本変形例1に係る表示画像生成部14は、このような場合には、超音波診断装置Aの動作モードがライブモードであっても、カメラ画像を鏡像表示から正像表示に切り替える。
そして、かかる場合には、一般に、ユーザは、当該表示画像の保存を希望している状況と言える。従って、本変形例1に係る表示画像生成部14は、ユーザによるアノテーションの入力操作、又は、ユーザによるプローブマークを設定するための入力操作が行われた場合には、静止画保存操作がなされたものとみなして、当該表示画像を静止画データD1として保存する。
以上のように、変形例1に係る超音波診断装置Aによれば、当該超音波診断装置Aの動作モードに加えて、ユーザの入力操作情報も参照して、表示画像内に配置するカメラ画像の表示スタイルを制御するため、ユーザにとってより利便性の高い表示画像を保存することが可能である。
(変形例2)
上記実施形態では、表示画像を静止画として保存するための静止画保存操作と、表示画像を動画として保存するための動画保存操作とは、別個のものとしたが、表示画像を静止画として保存するか、表示画像を動画として保存するかは、ユーザからの画像保存操作があったときの、超音波診断装置Aの動作モードがライブモード又はフリーズモードのいずれかによって切り替えられてもよい。
一般的な超音波診断装置Aの使用態様として、超音波診断装置Aの動作モードがライブモードのときには、動画保存操作が行われ、超音波診断装置Aの動作モードがフリーズモードのときには、静止画保存操作が行われる。
かかる観点から、本変形例2に係る表示画像生成部14は、超音波診断装置Aの動作モードがライブモードのときに、ユーザからの画像保存操作があった場合には、時間的に連続して生成する表示画像を動画データD2として保存する。又、本変形例2に係る表示画像生成部14は、超音波診断装置Aの動作モードがフリーズモードのときに、ユーザからの画像保存操作があった場合には、表示画像生成部14のフレームバッファに記憶された一枚の表示画像を静止画データD1として保存する。
以上のように、変形例2に係る超音波診断装置Aは、操作ボタンを削減することができる点で、有用である。
(変形例3)
上記実施形態では、表示画像を静止画として保存する際には、カメラ画像を正像表示に設定した状態で表示画像を保存し、表示画像を動画として保存する際には、カメラ画像を鏡像表示に設定した状態で表示画像を保存する態様を示した。
しかしながら、ユーザによっては、動画再生モードと静止画再生モードとで、カメラ画像の表示スタイルが異なることを煩わしく感じる等、ユーザ毎に、カメラ画像の表示スタイルについてのニーズが異なる場合がある。かかる観点から、保存対象の表示画像内に配置するカメラ画像の表示スタイルは、表示画像の読み出し時の用途と関連付けて、予めユーザに設定可能となっていてもよい。
(その他の実施形態)
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
例えば、上記実施形態では、表示画像生成部14が変更するカメラ画像の表示スタイルの一例として、正像表示及び鏡像表示に係る表示スタイルを示した。しかしながら、表示画像生成部14が変更するカメラ画像の表示スタイルとしては、その他、白黒表示及びカラー表示に係る表示スタイルや、大画面表示及び縮小画面表示に係る表示スタイルであってもよい。
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本開示に係る超音波診断装置によれば、ユーザにとって、より利便性の高い画像表示を提供することが可能である。
A 超音波診断装置
1 超音波診断装置本体
11 送受信部
12 超音波画像生成部
13 カメラ画像取得部
14 表示画像生成部
15 画像出力部
16 操作入力部
17 記憶部
18 制御部
2 超音波プローブ
3 カメラ
D1 静止画データ
D2 動画データ

Claims (12)

  1. 超音波の送受信を行う超音波プローブと、
    被検体を撮影するカメラと、
    前記超音波プローブから取得した受信信号に基づいて、前記被検体の超音波画像を生成する超音波画像生成部と、
    前記カメラから取得したカメラ画像と、前記超音波画像生成部から取得した前記超音波画像と、を含む表示画像を生成し、当該表示画像を再生可能に記憶部に保存する表示画像生成部と、
    前記表示画像の読み出す場合における用途に関する情報を取得する取得部と、
    前記用途に関する情報に基づいて、前記表示画像内に配置する前記カメラ画像の表示スタイルを決定する制御部と、
    を備える超音波診断装置。
  2. 前記表示画像生成部は、前記制御部からの指令に応じて、前記表示画像内に配置する前記カメラ画像の正像表示又は鏡像表示に係る表示スタイルを変更する、
    請求項1に記載の超音波診断装置。
  3. 前記表示画像生成部は、前記表示画像を動画データとして保存する場合、動画再生時に前記カメラ画像が鏡像表示されるように、前記表示画像を保存する、
    請求項2に記載の超音波診断装置。
  4. 前記表示画像生成部は、前記超音波診断装置の動作モードがライブモードのときに、ユーザから前記表示画像を保存する操作を受け付けた場合、前記表示画像を前記動画データとして保存する、
    請求項3に記載の超音波診断装置。
  5. 前記表示画像生成部は、前記表示画像を静止画データとして保存する場合、静止画再生時に前記カメラ画像が正像表示されるように、前記表示画像を保存する、
    請求項2乃至4のいずれか一項に記載の超音波診断装置。
  6. 前記表示画像生成部は、前記超音波診断装置の動作モードがフリーズモードのときに、ユーザから前記表示画像を保存する操作を受け付けた場合、前記表示画像を前記静止画データとして保存する、
    請求項5に記載の超音波診断装置。
  7. 前記表示画像生成部は、ユーザによるアノテーションの入力操作が行われた場合、前記表示画像を前記静止画データとして保存する、
    請求項5又は6に記載の超音波診断装置。
  8. 前記表示画像生成部は、ユーザによるボディマークを設定するための入力操作が行われた場合、前記表示画像を前記静止画データとして保存する、
    請求項5乃至7のいずれか一項に記載の超音波診断装置。
  9. 前記表示画像内に配置する前記カメラ画像の前記表示スタイルは、前記表示画像の読み出し時の用途と関連付けて、予めユーザに設定可能となっている、
    請求項1乃至8のいずれか一項に記載の超音波診断装置。
  10. 前記表示画像生成部は、前記表示画像内に配置される前記カメラ画像の前記表示スタイルの態様を示す説明画像を、前記表示画像内に付加した状態で、当該表示画像を前記記憶部に保存する、
    請求項1乃至9のいずれか一項に記載の超音波診断装置。
  11. 超音波プローブから取得した受信信号に基づいて、被検体の超音波画像を生成し、
    前記被検体を撮影するカメラから取得したカメラ画像と、前記超音波画像と、を含む表示画像を生成し、当該表示画像を記憶部に保存し、
    前記表示画像の読み出す場合における用途に関する情報を取得し
    前記読み出し時の用途に関する情報に基づいて、前記表示画像内に配置する前記カメラ画像の表示スタイルを決定する、
    超音波診断装置の制御方法。
  12. コンピュータに、
    超音波プローブから取得した受信信号に基づいて、被検体の超音波画像を生成する処理と、
    前記被検体を撮影するカメラから取得したカメラ画像と、前記超音波画像と、を含む表示画像を生成し、当該表示画像を再生可能に記憶部に保存する処理と、
    前記表示画像の読み出す場合における用途に関する情報を取得する処理と
    前記読み出し時の用途に関する情報に基づいて、前記表示画像内に配置する前記カメラ画像の表示スタイルを決定する処理と、
    を実行させる超音波診断装置の制御プログラム。
JP2020103858A 2020-06-16 2020-06-16 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム Active JP7447692B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020103858A JP7447692B2 (ja) 2020-06-16 2020-06-16 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
US17/331,729 US11744556B2 (en) 2020-06-16 2021-05-27 Ultrasonic diagnostic apparatus including ultrasonic probe, camera and ultrasonic image generator, control method of ultrasonic diagnostic apparatus, and control program of ultrasonic diagnostic apparatus for providing camera image with different display style depending on usage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020103858A JP7447692B2 (ja) 2020-06-16 2020-06-16 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2021194300A JP2021194300A (ja) 2021-12-27
JP7447692B2 true JP7447692B2 (ja) 2024-03-12

Family

ID=78826073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020103858A Active JP7447692B2 (ja) 2020-06-16 2020-06-16 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム

Country Status (2)

Country Link
US (1) US11744556B2 (ja)
JP (1) JP7447692B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204817A (ja) 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP2009207800A (ja) 2008-03-06 2009-09-17 Panasonic Corp 超音波診断装置
WO2012017827A1 (ja) 2010-08-06 2012-02-09 株式会社 日立メディコ 超音波画像装置と超音波画像を用いた三次元画像表示方法
JP2013048762A (ja) 2011-08-31 2013-03-14 Toshiba Corp 超音波診断装置
JP2015033570A (ja) 2013-07-11 2015-02-19 株式会社東芝 医用レポート作成装置、及び医用画像診断装置
US20150164479A1 (en) 2013-12-12 2015-06-18 Konica Minolta, Inc. Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04166141A (ja) * 1990-10-30 1992-06-12 Fuji Electric Co Ltd 超音波診断装置
US7758508B1 (en) * 2002-11-15 2010-07-20 Koninklijke Philips Electronics, N.V. Ultrasound-imaging systems and methods for a user-guided three-dimensional volume-scan sequence
JP2006000400A (ja) * 2004-06-17 2006-01-05 Shimadzu Corp 超音波診断装置
JP2007282792A (ja) * 2006-04-14 2007-11-01 Matsushita Electric Ind Co Ltd 超音波診断装置
US20120179039A1 (en) * 2011-01-07 2012-07-12 Laurent Pelissier Methods and apparatus for producing video records of use of medical ultrasound imaging systems
JP6323335B2 (ja) * 2012-11-15 2018-05-16 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
US10646199B2 (en) * 2015-10-19 2020-05-12 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
KR102545008B1 (ko) * 2015-10-26 2023-06-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
KR20170093632A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10799210B1 (en) * 2017-09-01 2020-10-13 S-Ray Incorporated Dental imaging apparatus and method
WO2019064706A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2020028738A1 (en) * 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US20200214672A1 (en) * 2019-01-07 2020-07-09 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data
EP3909039A4 (en) * 2019-01-07 2022-10-05 Butterfly Network, Inc. METHOD AND DEVICE FOR TELEMEDICINE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204817A (ja) 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP2009207800A (ja) 2008-03-06 2009-09-17 Panasonic Corp 超音波診断装置
WO2012017827A1 (ja) 2010-08-06 2012-02-09 株式会社 日立メディコ 超音波画像装置と超音波画像を用いた三次元画像表示方法
JP2013048762A (ja) 2011-08-31 2013-03-14 Toshiba Corp 超音波診断装置
JP2015033570A (ja) 2013-07-11 2015-02-19 株式会社東芝 医用レポート作成装置、及び医用画像診断装置
US20150164479A1 (en) 2013-12-12 2015-06-18 Konica Minolta, Inc. Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium
JP2015131099A (ja) 2013-12-12 2015-07-23 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、及びコンピュータ読み取り可能な非一時的な記録媒体

Also Published As

Publication number Publication date
US20210386405A1 (en) 2021-12-16
US11744556B2 (en) 2023-09-05
JP2021194300A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
JP6459451B2 (ja) 超音波診断装置、超音波画像処理方法、及びコンピュータ読み取り可能な非一時的な記録媒体
CN107708571B (zh) 一种超声成像系统及方法
EP1637082B1 (en) Ultrasonic diagnosis device
KR100740378B1 (ko) 초음파 진단 장치
JP2001178717A (ja) 超音波診断装置
JP2007260188A (ja) 超音波診断装置
JP2006000400A (ja) 超音波診断装置
JP2006255013A (ja) 超音波診断装置
JP2009207800A (ja) 超音波診断装置
US20110015523A1 (en) Ultrasound observation apparatus
WO2019064706A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP2007313202A (ja) 超音波診断システム
JP7556218B2 (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP7447692B2 (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
US6540680B1 (en) Ultrasonic diagnostic apparatus
KR100822509B1 (ko) 초음파 진단 장치
JP2006296464A (ja) 超音波診断装置
JPH07171115A (ja) 画像診断装置
JP2009106494A (ja) 超音波診断装置、及びアノテーション表示装置
JP2018061659A (ja) 超音波検査システム、機能的画像列生成装置及び検査プロトコル作成装置
JP2005006770A (ja) 超音波診断装置
JP5361115B2 (ja) 超音波診断装置および画像処理プログラム
JP2007167291A (ja) 超音波診断装置、超音波計測方法
CN114027871B (zh) 超声检查方法、装置和超声系统
JP7447526B2 (ja) 超音波診断装置、超音波診断装置の作動方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7447692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150