JP6744132B2 - 医用診断システム及び医用診断装置 - Google Patents

医用診断システム及び医用診断装置 Download PDF

Info

Publication number
JP6744132B2
JP6744132B2 JP2016105191A JP2016105191A JP6744132B2 JP 6744132 B2 JP6744132 B2 JP 6744132B2 JP 2016105191 A JP2016105191 A JP 2016105191A JP 2016105191 A JP2016105191 A JP 2016105191A JP 6744132 B2 JP6744132 B2 JP 6744132B2
Authority
JP
Japan
Prior art keywords
image
unit
terminal device
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016105191A
Other languages
English (en)
Other versions
JP2017209339A (ja
Inventor
康一郎 栗田
康一郎 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2016105191A priority Critical patent/JP6744132B2/ja
Priority to US15/605,274 priority patent/US10609322B2/en
Publication of JP2017209339A publication Critical patent/JP2017209339A/ja
Application granted granted Critical
Publication of JP6744132B2 publication Critical patent/JP6744132B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明の実施形態は、医用診断システム及び医用診断装置に関する。
医用診断装置は、種々の手法によって被検体内部を映像化するものであり、X線CT装置、磁気共鳴イメージング装置、X線診断装置及び超音波診断装置等、種々のモダリティがある。例えば、超音波診断装置は、超音波プローブに設けられた振動素子から発生する超音波パルスを被検体内に放射し、被検体組織の音響インピーダンスの差異によって生ずる超音波反射波を振動素子により受信して生体情報を収集するものである。
操作者は、超音波プローブを体表に接触させる簡単な操作をするだけで、装置が備えるモニタに表示された動画像をリアルタイムに確認することが可能である。未熟な操作者の場合には、熟練技師又は医師に立ち会ってもらい、熟練技師等から適切な指示を受けつつ、前述した操作や動画像の確認を行うことが可能である。
特開2006−115986号公報 特許第5632035号公報
以上のような医用診断装置は、通常は特に問題ないものの、本発明者の検討によれば、未熟な操作者の場合に、被検体に不安を与える可能性がある点で改善の余地がある。例えば、操作者が指示を受けつつ超音波プローブを操作する状況は、被検体によっては、検査結果の信頼性について不安を与える可能性がある。また、被検体が女性の場合、例えば乳腺の検査の際に、無関係に見える熟練技師等が立ち会う状況は、羞恥心に起因した不安を与える可能性がある。
目的は、未熟な操作者でも、被検体に不安を与えずに適切な操作を実行し得る医用診断システム及び医用診断装置を提供することにある。
実施形態によれば、医用診断システムは、医用診断装置及び端末装置を含む。
前記医用診断装置は、医用画像生成部と、第1表示制御部と、圧縮部と、第1通信部とを備える。
前記医用画像生成部は、スキャン部からの出力に基づいて医用画像を生成する。
前記第1表示制御部は、前記医用画像を第1表示部に表示させる。
前記圧縮部は、前記医用画像を圧縮することにより圧縮画像を生成する。
前記第1通信部は、前記圧縮画像を前記端末装置に無線送信する。
前記端末装置は、第2通信部と、第2表示制御部と、マーカ情報生成部と、テキスト情報生成部とを備える。
前記第2通信部は、前記医用診断装置から無線送信された前記圧縮画像を受信する。
前記第2表示制御部は、前記第1表示部における前記医用画像の表示と実質的に同期するように、前記圧縮画像を第2表示部に表示させる。
前記マーカ情報生成部は、ユーザからの入力に従って、前記圧縮画像上の位置を示す位置情報を含むマーカ情報を生成する。
前記テキスト情報生成部は、ユーザからの入力に従って、テキスト情報を生成する。
ここで、前記第2通信部は、前記テキスト情報、及び前記マーカ情報を前記医用診断装置に無線送信する。
前記第1通信部は、前記端末装置から無線送信された前記テキスト情報及び前記マーカ情報を受信する。
前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させる。
図1は、第1の実施形態にかかる超音波診断システムのシステム構成の一例を示すブロック図である。 図2は、第1の実施形態にかかる端末装置2の構成の一例を示すブロック図である。 図3は超音波診断装置1、端末装置2、第1の操作者3、第2の操作者4、カーテン5及び被検者Pの位置関係の一例を示す模式図である。 図4は、システム制御回路128の諸機能が行う認証処理の流れを説明するためのフローチャートの一例である。 図5は、超音波診断装置1から端末装置2へ超音波画像データを圧縮率を制御して転送する流れの一例を示すフローチャートである。 図6は、超音波診断装置1から端末装置2へ超音波画像データを圧縮率及び端末表示フレームレートを制御して転送する流れの一例を示すフローチャートである。 図7は、端末装置2の表示回路22に表示された超音波画像221及びパネルスイッチの画像213の一例を表す図である。 図8は、超音波診断装置1から端末装置2へ操作画面データを転送する流れの一例を示すフローチャートである。 図9は、端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示され、超音波診断装置1の入力インタフェース回路14が有するタッチパネルの画像等の一例を示す図である。 図10は、マーカを重畳した画像を共有する動作を説明するためのシーケンス図である。 図11は、図10に示す動作に用いられる超音波診断装置1の画面を説明するための模式図である。 図12は、図10に示す動作に用いられる端末装置2の画面を説明するための模式図である。 図13は、図10に示す動作の変形例に用いられる端末装置2の画面を説明するための模式図である。 図14は、図11に示す動作の変形例を説明するためのシーケンス図である。 図15は、テキスト情報を共有する動作を説明するためのシーケンス図である。 図16は、マーカ及びテキスト情報を共有する動作を説明するためのシーケンス図である。 図17は、画質を変更した画像を共有する動作を説明するためのシーケンス図である。
以下、図面を参照しながら実施形態について説明するが、その前に実施形態の概要を述べる。但し、実施形態は、この概要に述べる形態に限定されない。
実施形態としては、概略的には、医用診断装置と、この医用診断装置に通信可能な端末装置とを備えた医用診断システムを説明した後、医用診断装置を操作する未熟な第1の操作者を、熟練した第2の操作者が端末装置から支援する形態について述べている。なお、「支援」は、「指示」、「指摘」又は「指導」等と適宜、読み替えてもよい。
支援する形態としては、例えば、端末装置を操作卓として用いる形態よりも、端末装置を入力装置として用いる形態の方を主に説明している。後者の形態としては、例えば、未熟な第1の操作者が操作する医用診断装置と、熟練した第2の操作者が操作する端末装置との間で、医用診断装置により生成された医用画像と、端末装置の操作に応じて入力された支援情報とを共有して表示する形態がある。このとき、熟練した第2の操作者と、被検体とは同じ室内にいるが、両者の間をカーテン等で仕切ることにより、第2の操作者及び端末装置の存在は、被検体に認識されない。また、支援情報は、未熟な第1の操作者を支援する情報であり、例えば、医用画像に重畳表示されるマーカ等の画像データとしてもよく、医用画像とは異なる領域に表示される文字列等のテキスト情報としてもよい。但し、支援情報は、被検体に認識されない観点から、音声情報を用いない。
いずれにしても、医用診断装置及び端末装置の各々が医用画像を共有して表示している場合に、端末装置に入力された支援情報が端末装置及び医用診断装置の各々に表示される。従って、医用診断装置に表示された支援情報に基づいて、未熟な操作者でも、被検体に不安を与えずに適切な操作を実行することが可能となる。また、未熟な操作者に効率的に指示等の支援情報を送信できると共に、支援情報として音声情報を用いないので、被検体にストレスを与えずに済む。「ストレス」は「不安」と読み替えてもよい。
このような医用診断システムとしては、被検体に不安を与えない観点から、上述した支援情報を、被検体への説明に使用される医用画像の診断記録には残さず、ログ情報に残すようにしている。このとき、医用画像の付帯情報が時刻情報を含んでおり、ログ情報も時刻情報を含むことから、時刻情報に基づいて、支援情報と医用画像とを関連付けて表示することが可能である。
以上が実施形態の概要である。以下、実施形態を具体的に説明するため、本実施形態に係る医用診断装置は、超音波プローブを用いる超音波診断装置であるとする。なお、医用診断装置は、X線診断装置、X線CT装置、MRI装置及び核医学診断装置のうちのいずれかであってもよい。
[第1の実施形態]
図1は、第1の実施形態にかかる超音波診断システムのシステム構成の一例を示すブロック図である。図1に示すように、超音波診断システムは、超音波診断装置1及び端末装置2とを備える。超音波診断装置1と端末装置2は、通信回線を介して無線で通信接続される。また、超音波診断装置1は、端末装置2との間の通信回線とは別の、例えば院内ネットワークに有線で通信接続される。この場合、超音波診断装置1と院内ネットワークシステム間のトラフィック量が大きくなっても、超音波診断装置1と端末装置2間の通信が利用できる通信リソースが制限されることはない。なお、超音波診断装置1と院内ネットワークは、無線で通信接続されてもよい。また、超音波診断装置1と端末装置2は、有線で通信接続されてもよい。無線又は有線のいずれにしても、超音波診断装置1と端末装置2との間の通信は、画像表示を実質的に同期させる観点から、外部サーバを介さずに直接的に実行することが好ましい。
超音波診断装置1は、超音波プローブ11と、装置本体12と、モニタ13と、入力インタフェース回路14とを有する。装置本体12は、端末装置2と通信回線を介して互いに通信可能に接続される。
超音波プローブ11は、生体を典型例とする被検体に対して超音波を送信し、当該送信した超音波に基づく被検体からの反射波を受信するデバイス(探触子)である。超音波プローブ11は、その先端に複数に配列された圧電振動子(超音波トランスデューサ)、整合層及びバッキング材等を有している。超音波プローブ11は、複数の超音波振動子が所定の方向に沿って配列された一次元アレイプローブである。
圧電振動子は、後述する超音波送受信回路121からの駆動信号に基づきスキャン領域内の所望の方向に超音波を送信し、当該被検体からの反射波を受信する。圧電振動子は、受信した反射波を電気信号に変換する。整合層は、当該圧電振動子に設けられ、超音波エネルギーを効率良く伝播させるための中間層である。バッキング材は、整合層と当該圧電振動子を挟むように整合層とは反対側に設けられ、当該圧電振動子から後方への超音波の伝播を防止する。
超音波プローブ11から被検体に超音波が送信されると、当該送信超音波は、体内組織の音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ11に受信される。このエコー信号の振幅は、反射することになった不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流で反射された場合のエコーは、ドプラ効果により移動体の超音波送受信方向の速度成分に依存して、周波数偏移を受ける。
なお、本実施形態においては、超音波プローブ11は、一次元アレイプローブであるとした。しかしながら、当該例に拘泥されず、超音波プローブ11は、ボリュームデータを取得可能なものとして、二次元アレイプローブ(複数の超音波振動子が二次元マトリックス状に配列されたプローブ)、又はメカニカル4Dプローブ(超音波振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なプローブ)であってもよい。このような超音波プローブ11は、スキャン部を構成している。
装置本体12は、超音波送受信回路121、Bモード処理回路122、血流検出回路123、ボリュームデータ生成回路124、画像処理回路125、表示処理回路126、記憶回路127、システム制御回路128、操作画面符号化回路129、画像符号化回路130及び通信インタフェース回路131を有する。超音波送受信回路121、表示処理回路126、記憶回路127、システム制御回路128、操作画面符号化回路129、画像符号化回路130及び通信インタフェース回路131は、互いにバス接続されている。
超音波送受信回路121は、不図示のトリガ発生回路、遅延回路及びパルサ回路等を有している。トリガ発生回路は、所定のレート周波数fr[Hz](周期;1/fr[秒])で、送信超音波を形成するためのトリガパルスを繰り返し発生する。また、遅延回路は、チャンネル毎に超音波をビーム状に集束し且つ送信指向性を決定するのに必要な遅延時間を、各トリガパルスに与える。パルサ回路は、このトリガパルスに基づくタイミングで、超音波プローブ11に駆動パルスを印加する。
また、超音波送受信回路121は、不図示のアンプ回路、A/D変換器、遅延回路及び加算器等を有している。アンプ回路は、超音波プローブ11を介して取り込まれたエコー信号をチャンネル毎に増幅する。A/D変換器は、増幅されたアナログのエコー信号をデジタルエコー信号に変換する。遅延回路は、デジタル変換されたエコー信号に対し受信指向性を決定し、受信ダイナミックフォーカスを行うのに必要な遅延時間を与える。その後、加算器は遅延時間が与えられ位相がそろえられたチャンネル毎のデジタルエコー信号を加算する処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
Bモード処理回路122は、超音波送受信回路121から受け取ったエコー信号に基づいて、複数のBモードデータを生成するプロセッサである。Bモード処理回路122は、超音波送受信回路121からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度の明るさで表現される複数のBモードデータを生成する。生成された複数のBモードデータは、不図示のRAWデータメモリに三次元的な超音波走査線上のBモードデータであるBモードRAWデータとして記憶される。
血流検出回路123は、超音波送受信回路121から受け取ったエコー信号に基づいて、複数の血流データを生成するプロセッサである。血流検出回路123は、超音波送受信回路121から受け取ったエコー信号から血流信号を抽出し、複数の血流データを生成する。生成された複数の血流データは、不図示のRAWデータメモリに三次元的な超音波走査線上の血流データである血流RAWデータとして記憶される。血流の抽出は、通常CFM(Color Flow Mapping)で行われる。この場合、血流信号を解析し、血流データとして平均速度、分散、パワー等の血流情報を多点について求める。
ボリュームデータ生成回路124は、RAWデータメモリに記憶されたRAWデータに基づいて、ボリュームデータを生成するプロセッサである。
ボリュームデータ生成回路124は、RAWデータメモリに記憶されたBモードRAWデータに対し空間的な位置情報を加味した補間処理を含むRAW−ボクセル変換を実行することにより、Bモードボリュームデータを生成する。
ボリュームデータ生成回路124は、RAWデータメモリに記憶された血流RAWデータに対し空間的な位置情報を加味した補間処理を含むRAW−ボクセル変換を実行することにより、血流ボリュームデータを生成する。
画像処理回路125は、ボリュームデータ生成回路124から受け取るボリュームデータに基づいて、各種画像データを生成するプロセッサである。画像処理回路125は、ボリュームデータ生成回路124から受け取るボリュームデータに対し、ボリュームレンダリング、多断面変換表示(MPR:Multi Planar Reconstruction)、最大値投影表示(MIP:Maximum Intensity Projection)等の所定の画像処理を行う。なお、ノイズ低減や画像の繋がりを良くすることを目的として、画像処理回路125の後に二次元的なフィルタを挿入し、空間的なスムージングを行うようにしてもよい。
このような超音波送受信回路121、Bモード処理回路122、血流検出回路123、ボリュームデータ生成回路124及び画像処理回路125は、スキャン部としての超音波プローブ11の出力に基づいて医用画像を生成する医用画像生成部を構成している。
表示処理回路126は、画像処理回路125において生成・処理された各種画像データに基づいて、モニタ13に表示するための超音波画像に係る超音波画像データを生成するプロセッサである。表示処理回路126は、画像処理回路125において生成・処理された各種画像データに対し、ダイナミックレンジ、輝度(ブライトネス)、コントラスト、γカーブ補正及びRGB変換等の各種処理を実行する。表示処理回路126は、予め設定された解像度及び表示フレームレートに基づいてモニタ13に表示するための超音波画像に係る超音波画像データを生成する。表示フレームレートとは、例えば表示処理回路126が1秒当たりに生成する超音波画像の表示フレーム数である。なお、表示フレームレートは、通常超音波プローブを用いた被検体に対する走査周期により定まるアコースティックフレームレートと基本的には同じである。なお、表示フレームレートは、例えば1秒当たり30フレームといった固定値を設定してもよい。
このような表示処理回路126は、システム制御回路128からの制御に従い、医用画像生成部により生成された医用画像を第1表示部としてのモニタ13に表示させる第1表示制御部を構成している。これに加え、表示処理回路126は、システム制御回路128からの制御に従い、端末装置2から受信されたテキスト情報を医用画像と共にモニタ13に表示させ、端末装置2から受信されたマーカ情報に基づいて、医用画像上にマーカを表示させてもよい。このとき、表示処理回路126は、モニタ13の画面の、医用画像に重ならない位置に当該テキスト情報を表示させることが好ましい。また、表示処理回路126は、マーカ情報に基づいて、医用画像上にマーカを表示させると共に、当該マーカの軌跡を所定時間だけ医用画像上に表示させてもよい。また、表示処理回路126は、システム制御回路128の制御に従い、ユーザによって指定された時刻情報に基づいて、記憶回路127内のテキスト情報を医用画像と共にモニタ13に表示させ、且つ記憶回路127内のマーカ情報に基づいて、医用画像上にマーカを表示させてもよい。また、表示処理回路126は、システム制御回路128の制御に従い、ユーザによって指定された時刻情報に基づいて、記憶回路127内のテキスト情報をキャプチャ画像と共にモニタ13に表示させてもよい。さらに、表示処理回路126は、例えば、医用画像の画質を変更するためのコマンド信号が端末装置2から受信されると、当該コマンド信号に基づいて、モニタ13に表示中の医用画像の画質を変更するようにしてもよい。この場合、例えば、コマンド信号の受信に先立って、医用画像の画質を変更する旨を示すテキスト情報と当該医用画像の両方がモニタ13に表示された後、端末装置2からコマンド信号が無線送信された状況であってもよい。
記憶回路127は、磁気的若しくは光学的記録媒体又は半導体メモリ等の、プロセッサにより読み取り可能な記録媒体等を有する。記憶回路127は、操作画面生成機能128−1、パラメータ設定機能128−2、SoftwareAP機能128−3、認証情報表示機能128−4、認証機能128−5及び基本制御機能128−6を実現するためのプログラム、診断プロトコル、超音波画像データを生成する際の超音波画像1フレーム当りのデータサイズ及び表示フレームレート、超音波診断装置1から端末装置2へ超音波画像データを転送する際の超音波画像データの圧縮率等の送受信条件並びにその他のデータ群が保管されている。なお、圧縮率は予め所定の値に設定されている。
また、記憶回路127は、端末表示フレームレートを記憶する。端末表示フレームレートとは、端末装置2の表示回路22が備えるモニタ上に表示される超音波画像の1秒当たりの表示フレーム数である。なお、端末表示フレームレートは、基本的には表示フレームレートと同じである。
また、記憶回路127は、操作画面データベースを記憶する。操作画面データベースとは、後述する端末装置2の入力インタフェース回路21が有するタッチパネルに表示され、第2の操作者4が端末装置2から超音波診断装置1を操作するための操作画面を表す画像データと、当該画像データの付帯情報とを一つの論理レコードとして扱うデータの集合体である。
操作画面を表す画像データには、第2の操作者4が端末装置2から超音波診断装置1を操作するために必要な様々なパターンの画像データがある。操作画面を表す画像データは、第2の操作者4からの操作を受け付けるためのグラフィックデータを含む。また、操作画面を表す画像データは、操作画面に配列される、少なくとも1つの機能ボタンを表す画像データを含む。機能ボタンを表す画像データは、端末装置2の入力インタフェース回路21が有するタッチパネル上でどの機能を実行するためのボタンかを識別するための画像データである。
画像データの付帯情報とは、画像データが表す操作画面上において、例えば所定の機能ボタンが配置される座標の領域が押下された場合に、どのような機能を実行するかを示す情報である。すなわち、画像データの付帯情報は、例えば所定の処理を実行する機能情報及び当該機能に対応するボタンが操作画面上のどこに配置されるかを示す位置情報を有する。画像データの付帯情報には、操作画面を表す画像データに応じた様々なパターンの付帯情報がある。画像データの付帯情報は、後述するように、端末装置2のシステム制御回路24がコマンド信号を生成する際に利用される。
また、記憶回路127は、後述するシステム制御回路128の認証機能128−5において、端末装置2から超音波診断装置1を操作する人にその権限があるかどうかを確認する際に必要な識別情報を記憶する。識別情報は、例えばパスワード等である。なお、パスワードは超音波診断装置1において手動で設定されてもよいし、自動的に生成されてもよい。また、パスワードは、所定の外部装置より取得されてもよい。
システム制御回路128は、例えば超音波診断装置1の各構成回路を制御するプロセッサである。システム制御回路128は、超音波診断装置1の中枢として機能する。システム制御回路128は、記憶回路127から各動作プログラムを呼び出し、呼び出したプログラムを実行することで操作画面生成機能128−1、パラメータ設定機能128−2、SoftwareAP機能128−3、認証情報表示機能128−4、認証機能128−5及び基本制御機能128−6を実現する。
操作画面生成機能128−1は、端末装置2へ送信する操作画面データを生成する機能である。具体的には、操作画面生成機能128−1では、システム制御回路128は、通信インタフェース回路131を介し、端末装置2からのコマンド信号を受信する。コマンド信号は、後述する端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示される操作画面を所定の操作画面に変更することを指示する信号である。コマンド信号は、変更後の操作画面を示す情報を含む。なお、後述するように、端末装置2の入力インタフェース回路21が備えるタッチパネル上において、第2の操作者4が所定のボタンを押下すると、端末装置2のシステム制御回路24は、押下された所定のボタンを表す画像データの付帯情報を参照し、当該付帯情報に対応したコマンド信号を生成する。
また、システム制御回路128は、記憶回路127に予め記憶された操作画面データベースより、受信したコマンド信号が要求する変更後の操作画面に対応する画像データ及び当該画像データの付帯情報を端末用操作画面データとして取得する。
コマンド信号が要求する変更後の操作画面としては、例えば、超音波画像を表示する画面から各種機能を操作する操作画面に切り替えた直後の初期画面、初期画面とは別の所定の機能を操作するための操作画面、及び操作画面のうち所定の機能ボタンがハイライト表示された操作画面である。
なお、システム制御回路128は、取得した端末用操作画面データを端末装置2の画面仕様に合わせて微修正してもよい。
システム制御回路128は、取得した端末用操作画面データを、後述する操作画面符号化回路129へ送信する。
パラメータ設定機能128−2は、超音波診断装置1から後述する端末装置2へ送信する超音波画像データのパラメータを設定する機能である。
具体的には、パラメータ設定機能128−2では、システム制御回路128は、表示処理回路126で生成された超音波画像データがモニタ13に表示されている際に、超音波診断装置1の表示処理回路126で生成される所定の超音波画像1フレーム当りのデータサイズ、表示フレームレート及び予め定められた超音波画像データの圧縮率を記憶回路127から取得する。システム制御回路128は、例えば取得した超音波画像1フレーム当りのデータサイズ、表示フレームレート及び超音波画像データの圧縮率に基づいて、画像データ生成レートRuを算出する。
また、システム制御回路128は、超音波診断装置1と端末装置2の間の通信回線の画像データ転送レートRtを計測する。画像データ転送レートRtとは、超音波診断装置1と端末装置2との間の通信回線でデータ転送に利用可能な実効伝送ビットレートである。システム制御回路128は、算出された画像データ生成レートRuと計測された画像データ転送レートRtを比較する。システム制御回路128は、比較した結果、RuがRtより大きい場合、例えば、圧縮後のRuがRtと等しくなるように、すなわち後述する画像符号化回路130における超音波画像データの圧縮処理時の圧縮率がより高くなるように所定の設定値を変更する。なお、圧縮率がより高くなるように所定の設定値を変更することは、変更後の圧縮率で圧縮されたデータのデータサイズをより小さくすることを意味する。また、システム制御回路128は、比較した結果、RuがRt以下の場合、圧縮率は所定の圧縮率のまま変更しない。
ところで、システム制御回路128は、上記では、圧縮率のみを制御したが、例えば後述するように、超音波診断装置1とPACS等のネットワークシステムとの間で、大容量のDICOM(Digital Imaging and COmmunication in Medicine)データ等が転送されており、圧縮率のみの制御では超音波診断装置1から端末装置2への超音波画像データ送信のリアルタイム性の担保が不十分な場合がある。このような場合には、圧縮率の制御に加えて又は圧縮率の制御に代えて端末表示フレームレートを制御する。すなわち、システム制御回路128は、パラメータ設定機能128−2を実行し、記憶回路127より取得した超音波画像1フレーム当りのデータサイズ、表示フレームレート及び超音波画像データの許容限界値に対応する高い圧縮率に基づいて、画像データ生成レートRumを算出する。許容限界値に対応する高い圧縮率とは、例えば所定の超音波画像について許容できる最低画質に応じて設定される最も高い圧縮率を意味する。また、システム制御回路128は、算出された画像データ生成レートRumと計測された画像データ転送レートRtを比較する。システム制御回路128は、比較した結果、RumがRt以下である場合、例えば、圧縮後のRuがRtと等しくなるように、すなわち後述する画像符号化回路130における超音波画像データの圧縮処理時の圧縮率がより高くなるように所定の設定値を変更する。また、システム制御回路128は、比較した結果、RumがRtより大きい場合、例えば、後述する画像符号化回路130における超音波画像データの圧縮処理時の圧縮率を許容限界値に設定する。また、システム制御回路128は、比較した結果、RumがRtより大きい場合、例えば、圧縮率の設定に加えて端末表示フレームレートを予め設定されている値より下げる。
また、システム制御回路128は、圧縮率及び端末表示フレームレートの制御に代えて、又は圧縮率及び端末表示フレームレートの制御に加えて、例えば表示処理回路126が生成した超音波画像の一部を切り取るようにパラメータ設定をしてもよい。
SoftwareAP機能128−3は、端末装置2が超音波診断装置1と無線通信するための仮想的なアクセス・ポイントを生成する機能である。具体的には、SoftwareAP機能128−3では、システム制御回路128は、セカンドコンソール開始ボタンが押下されると、通信インタフェース回路131を制御し、仮想的なアクセス・ポイントを生成する。セカンドコンソール開始ボタンは、後述する超音波診断装置1の入力インタフェース回路14が有するタッチパネル上の所定の位置に設けられる。なお、セカンドコンソール開始ボタンは、後述する入力インタフェース回路14が有するパネルスイッチが備える複数のスイッチボタンのうちの1つとして設けられてもよい。
また、システム制御回路128は、このアクセス・ポイント生成の際に、SSID(Service Set Identifier)及びパスワードの設定を行う。SSID及びパスワードは、第1の操作者3又は第2の操作者4が入力インタフェース回路14を介して入力することで手動で設定されてもよいし、自動で設定されてもよい。なお、パスワードは、超音波診断装置1と端末装置2間の通信接続毎又は定期的に更新されるワンタイムパスワードである。ワンタイムパスワードとは、例えば数学的アルゴリズム等に基づき生成されるパスワードである。
また、システム制御回路128は、通信インタフェース回路131を介し、予め設定された接続情報に基づき端末装置2と通信接続する。なお、本実施形態では、超音波診断装置1と端末装置2間の通信接続に関する認証は予め設定された接続情報に基づき自動的に行われる。予め設定された接続情報とは、生成されたアクセス・ポイントのSSID、接続に必要なパスワード並びに超音波診断装置1及び端末装置2のMACアドレス(Media Access Control address)等の通信接続に必要な情報である。
なお、システム制御回路128は、端末装置2からの通信接続要求を受けた後に通信接続確立を行うようにしてもよい。この場合、認証処理は、端末装置2において入力されたパスワード等の正誤を超音波診断装置1側で判定することで行われる。例えば、超音波診断装置1と端末装置2の間の通信は、モニタ13の画面の所定位置に表示されたパスワードを、端末装置2で入力した場合に許可されるようにしてもよい。
また、システム制御回路128は、端末装置2との通信接続確立後、通信インタフェース回路131を介し、端末装置2から超音波診断装置1を操作するためのパスワード入力を端末装置2へ要求する。
認証情報表示機能128−4は、端末装置2が超音波診断装置1の操作を行うために必要な識別情報を提示する機能である。具体的には、認証情報表示機能128−4では、システム制御回路128は、識別情報をモニタ13に表示する。識別情報とは、例えばSoftwareAP機能128−3により設定されたSSID及びパスワードである。識別情報のうちパスワードは、第2の操作者4が端末装置2より超音波診断装置1に関する所定の操作を直接行う正当な利用者であるかどうかを認証するために予め定められた文字、記号、及び数字の羅列である。パスワードはSoftwareAP機能128−3により設定されたパスワードと異なるものであってもよい。この場合、パスワードは、超音波診断装置1と端末装置2間の通信接続毎又は定期的に更新されるワンタイムパスワードである。なお、認証に必要な識別情報としてパスワードを例として説明したが、SSIDとは異なる所定のID及びパスワードを識別情報として用いてもよい。
認証機能128−5は、SoftwareAP機能128−3から端末装置2へパスワード入力が要求された後、要求に応じて端末装置2から超音波診断装置1へ応答データが送信された場合、当該応答データに対する認証を行い超音波診断装置1に係る所定の操作を許可する機能である。具体的には、認証機能128−5では、システム制御回路128は、端末装置2よりパスワード入力の要求に応じた応答データを、通信インタフェース回路131を介して受信する。システム制御回路128は、受信した応答データに含まれるパスワードを、認証情報表示機能128−4により表示されたパスワードと比較する。システム制御回路128は、応答データに含まれるパスワードと認証情報表示機能128−4により表示されたパスワードとが一致する場合、第2の操作者4が端末装置2より超音波診断装置1に関する所定の操作を直接行うことを許可する。認証機能128−5は、例えば、モニタ13の画面の所定位置に表示されたパスワードを端末装置2で入力した場合に、通信インタフェース回路131と端末装置2との間の通信を許可する認証部を構成している。
基本制御機能128−6は、超音波診断装置1の入出力等の基本動作を制御する機能である。具体的には、基本制御機能128−6では、システム制御回路128は、例えば入力インタフェース回路14を介して、コマンド信号を受信する。コマンド信号は、超音波診断装置1に所定の機能を実行することを指示する信号である。コマンド信号は、所定の実行コマンドを含む。システム制御回路128は、コマンド信号が超音波診断装置1の所定の回路を動作させるための所定のコマンドを示す場合には、当該所定の回路を所定のコマンドの目的に合わせて制御する。また、システム制御回路128は、表示処理回路126を介して、モニタ13に超音波診断画像及び操作画面等を表示する。
これに加え、システム制御回路128の基本制御機能128−6は、キャプチャ画像生成部、医用画像記録部、ログ記録部及びキャプチャ画像記録部に相当する動作を制御する。キャプチャ画像生成部は、テキスト情報と医用画像の両方が第1表示部としてのモニタ13に表示されている場合、モニタ13の画面内の情報に関し、テキスト情報を含まないキャプチャ画像を生成する。なお、「キャプチャ画像」は、「保存用画像」又は「保存用医用画像」等のように、適宜、「キャプチャ」を用いない名称の画像に読み替えてもよい。医用画像記録部は、医用画像上にマーカが表示されている場合、マーカを含まない医用画像及び時刻情報を関連付けて記憶回路127に記録する。ログ記録部は、テキスト情報、医用画像及びマーカがモニタ13に表示されている場合、テキスト情報、マーカ情報及び時刻情報を含むログ情報を記憶回路127に記録する。また、ログ記録部は、テキスト情報と医用画像の両方がモニタ13に表示されている場合、テキスト情報及び時刻情報を含むログ情報を記憶回路127に記録する。キャプチャ画像記録部は、キャプチャ画像及び時刻情報を関連付けて記憶回路127に記録する。
操作画面符号化回路129は、システム制御回路128の制御に従い、システム制御回路128の操作画面生成機能128−1取得された端末用操作画面データを圧縮するプロセッサである。なお、操作画面符号化回路129は、操作画面は時間軸に対して画面全体が刻々と変化することは稀であるため、時間軸上で隣り合う画像データ間の差分を取ることで情報量を圧縮するMPEG(Moving Picture Experts Group)等の圧縮技術を用いることが好適である。また、操作画面符号化回路129は、時間軸上で隣り合う画像データの付帯情報間の差分を取ることで情報量を圧縮するMPEG等の圧縮技術を用いることが好適である。この場合、フレームには、画像データ及び当該画像データの付帯情報が含まれる。
画像符号化回路130は、システム制御回路128の制御に従い、表示処理回路126で生成された超音波画像データを圧縮するプロセッサである。なお、超音波画像は、時間軸に対して常に新しい画像を表示する必要があるため、高い圧縮率を得られるJPEG(Joint Photographic Expert Group)等の圧縮技術を用いることが好適である。
通信インタフェース回路131は、通信回線を介し、端末装置2と通信接続及び各種データ通信を制御するプロセッサである。通信インタフェース回路131は、内臓の無線LANアンテナを有する。通信インタフェース回路131は、システム制御回路128の制御に従い、通信回線を介し、操作画面符号化回路129により圧縮された端末用操作画面データを端末装置2へ送信する。通信インタフェース回路131は、システム制御回路128の制御に従い、通信回線を介し、画像符号化回路130により圧縮された画像データを端末装置2へ送信する。また、通信インタフェース回路131は、システム制御回路128の制御に従い、通信回線を介し、端末装置2より送信されたコマンド信号を受信する。
このような通信インタフェース回路131は、圧縮部としての画像符号化回路130により生成された圧縮画像を端末装置2に無線送信し、端末装置2から無線送信されたテキスト情報及びマーカ情報を受信する第1通信部を構成している。なお、通信インタフェース回路131は、端末装置2からテキスト情報及びマーカ情報が個別に無線送信された場合、テキスト情報及びマーカ情報を個別に受信する。また、通信インタフェース回路131は、テキスト情報を受信し、テキスト情報と医用画像の両方がモニタ13に表示された後、端末装置2から無線送信されたコマンド信号を受信する場合がある。これは、例えば画質パラメータを変更する旨のテキスト情報と、画質パラメータを変更するためのコマンド信号とが端末装置2から、順次、無線送信される場合に対応する。
入力インタフェース回路14は、第1の操作者3からの各種指示、条件、関心領域(ROI)の設定指示、種々の画質条件設定指示等を装置本体12にとりこむためのトラックボール、パネルスイッチ、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及びタッチパネル等を有している。パネルスイッチは、超音波診断装置1に配置されている物理的なスイッチである。タッチパネルは、表示画面とタッチパッドとが一体化されたパネルである。入力インタフェース回路14は、装置本体12のシステム制御回路128に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路へと出力する。なお、本明細書において入力インタフェース回路14はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を装置本体12のシステム制御回路128へ出力する電気信号の処理回路も入力インタフェース回路の例に含まれる。
端末装置2は、通信回線Rを介して超音波診断装置1と通信接続され、超音波診断装置1から離れて使用可能な装置である。端末装置2は、例えばタブレット型の情報端末、PC(Personal Computer)等であってよい。本実施形態では、端末装置2としてタブレット型の情報端末を例示する。
図2は、第1の実施形態にかかる端末装置2の構成の一例を示すブロック図である。図2に示すように、端末装置2は、入力インタフェース回路21、表示回路22、通信インタフェース回路23、システム制御回路24を備える。
入力インタフェース回路21は、表示回路22が備える表示画面に積層されたタッチパネル等であってよく、第2の操作者4からの操作指示を受け付けてシステム制御回路24へ出力する。なお、入力インタフェース回路21は、タブレット型の端末装置2本体にキーボードが装着された場合、当該キーボードを更に含む。
表示回路22は、例えば液晶ディスプレイ又はOLED(Organic Light Emitting Diode)ディスプレイ等の一般的な表示出力装置を有する。表示回路22は、システム制御回路24の制御に従い、超音波診断装置1を操作するための操作画面及び各種画像を表示する。
通信インタフェース回路23は、システム制御回路24の制御に従い、通信回線を介して超音波診断装置1と通信接続し、データの送受信を行うプロセッサである。通信インタフェース回路23は、例えば、医用診断装置としての超音波診断装置1から無線通信された圧縮画像を受信し、テキスト情報、及び圧縮画像上に表示されたマーカの位置情報を含むマーカ情報を超音波診断装置1に無線送信する第2通信部を構成している。通信インタフェース回路23は、テキスト情報及びマーカ情報を個別に超音波診断装置1に無線送信してもよい。また、マーカの位置情報としては、例えば、マーカの座標又は移動量が使用可能となっている。
システム制御回路24は、例えば端末装置2の各構成回路を制御するプロセッサである。システム制御回路24は、端末装置2の中枢として機能する。具体的には、システム制御回路24は、表示回路22を制御し、超音波診断装置1より送信された操作画面及び超音波画像を表示する。また、システム制御回路24は、通信インタフェース回路23を介して、超音波診断装置1より超音波診断画像データ及び端末用操作画面データを受信する。なお、受信された超音波診断画像データ及び端末用操作画面データは一時的に利用されるだけであり、端末装置2内に保存されることはない。
また、システム制御回路24は、入力インタフェース回路21を介し、第1の操作者3からの操作指示を受け付ける。システム制御回路24は、入力インタフェース回路21が備えるキーボードを用いる第2の操作者4からの入力操作に従って、テキスト情報を生成する。システム制御回路24は、入力インタフェース回路21が備えるタッチパネル上において、第2の操作者4が所定のボタンを押下すると、押下された所定のボタンを表す画像データの付帯情報を参照し、当該付帯情報に対応したコマンド信号を生成する。コマンド信号は、端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示される操作画面を所定の操作画面に変更することを指示する信号である。また、コマンド信号は、超音波診断装置1に所定の機能を実行することを指示する信号である。コマンド信号は、入力インタフェース回路21が備えるタッチパネル上に表示される操作画面を所定の操作画面に変更するための変更後の操作画面を示す情報、及び超音波診断装置1に所定の機能を実行することを指示する実行コマンドのうち少なくとも1つを含む。また、システム制御回路24は、通信インタフェース回路23を制御し、受け付けた操作指示に対応したコマンド信号を超音波診断装置1へ送信する。
このようなシステム制御回路24は、第2表示制御部、マーカ情報生成部及びテキスト情報生成部に対応する。第2表示制御部は、モニタ13における医用画像の表示と実質的に同期するように、圧縮画像を表示回路22に表示させる。マーカ情報生成部は、ユーザとしての第2の操作者からの入力に従って、圧縮画像上の位置を示す位置情報を含むマーカ情報を生成する。マーカ情報は、当該位置情報の他に、マーカの大きさを示すサイズ情報、およびマーカの形状を示す形状情報のうち少なくとも一方を含んでいても良い。テキスト生成部は、ユーザとしての第2の操作者からの入力に従って、テキスト情報を生成する。
次に、第1の実施形態の動作を説明する。図3は超音波診断装置1、端末装置2、第1の操作者3、第2の操作者4、カーテン5及び被検者Pの位置関係の一例を示す模式図である。図3に模式的に示すように、熟練した第2の操作者4と、被検体Pとの間はカーテン5等で仕切られており、第2の操作者4及び端末装置2の存在は、被検体Pに認識されない。被検体Pは、座位で乳腺の検査を受けているが、これに限らず、例えば、臥位で腹部等の検査を受ける場合としてもよい。また、超音波診断装置1は、第1の操作者3から表示画面が見える向きで且つ被検体Pから表示画面が見えない向きに配置されている。
以下、(1)〜(3)の各フローについてそれぞれ説明し、その後、第2の支援者が端末装置2を介して第1の操作者を支援するための動作について、(4)〜(7)の各フローにより説明する。なお、(4)〜(7)の各フローは、1回の指摘毎に、いずれか一つを実行すればよい。(1)〜(7)の各フローは、次の通りである。(1)端末装置2が超音波診断装置1を操作するための認証フロー、(2)端末装置2の操作指示に基づいて超音波診断装置1が超音波画像データを端末装置2へ転送する超音波画像データ転送フロー、(3)端末装置2の操作指示に基づいて超音波診断装置1が操作画面データを端末装置2へ転送する操作画面データ転送フロー、(4)マーカを重畳した画像の共有フロー、(5)テキスト情報の共有フロー、(6)マーカ及びテキスト情報の共有フロー、(7)画質を変更した画像の共有フロー。
始めに(1)認証フローについて説明する。
(1)認証フロー
図4は、システム制御回路128の諸機能が行う認証処理の流れを説明するためのフローチャートの一例である。
まず、システム制御回路128は、SoftwareAP機能128−3を実行し、セカンドコンソール開始ボタンが押下されるまで待機する(ステップS11)。
まず、システム制御回路128は、セカンドコンソール開始ボタンが押下されると、仮想的なアクセス・ポイントを生成する(ステップS12)。この際、SSID及びパスワードの設定が行われる。
システム制御回路128は、ステップS12においてアクセス・ポイント生成後、通信インタフェース回路131を介し、予め設定された接続情報に基づき端末装置2と通信接続する(ステップS13)。なお、超音波診断装置1と端末装置2間の通信接続に関する認証は予め設定された接続情報に基づき自動的に行われる。
次に、システム制御回路128は、認証情報表示機能128−4を実行し、ステップS11の際に設定されたSSID及びパスワードをモニタ13に表示する(ステップS14)。このとき、システム制御回路128は、SSID及びパスワードをモニタ13の画面の所定位置に表示してもよい。
システム制御回路128は、SoftwareAP機能128−3を実行し、端末装置2との通信接続確立後、通信インタフェース回路131を介し、パスワード入力を端末装置2へ要求する(ステップS15)。
システム制御回路128は、端末装置2よりパスワード入力の要求に応じた応答データに含まれるパスワードを、ステップS14で認証情報表示機能128−4により表示されたパスワードと比較する。システム制御回路128は、応答データに含まれるパスワードと認証情報表示機能128−4により表示されたパスワードが一致する場合(ステップS16のYes)、第2の操作者4が端末装置2より超音波診断装置1に関する所定の遠隔操作を直接行うことを許可する(ステップS17)。なお、システム制御回路128は、応答データに含まれるパスワードと認証情報表示機能128−4により表示されたパスワードが一致しない場合(ステップS16のNo)、再度パスワード入力要求データを生成し、生成されたパスワード入力要求データを通信インタフェース回路131を介して端末装置2へ送信する。システム制御回路128は、所定の回数パスワードが一致しない場合は、例えばその後の処理をロックする。
(2)画像データ転送フロー
システム制御回路128は、圧縮率を制御することで、超音波診断装置1から端末装置2へ超音波画像データを転送する。また、システム制御回路128は、圧縮率及び端末表示フレームレートを制御することで、超音波診断装置1から端末装置2へ超音波画像データを転送する。
図5は圧縮率を制御して超音波診断装置1から端末装置2へ超音波画像データを転送する流れの一例を示すフローチャートの一例を表す図である。図6は圧縮率及び端末表示フレームレートを制御して超音波診断装置1から端末装置2へ超音波画像データを転送する流れの一例を示すフローチャートの一例を表す図である。図7は端末装置2の表示回路22に表示された超音波画像221及び超音波診断装置1の入力インタフェース回路14が備えるパネルスイッチの画像213の一例を表す図である。
(2−1)圧縮率の制御による画像データ転送
まず、システム制御回路128は、パラメータ設定機能128−2を実行し、予め記憶回路127に記憶される、超音波診断装置1の表示処理回路126で生成される所定の超音波画像1フレーム当りのデータサイズ、表示フレームレート及び予め定められた超音波画像データの圧縮率に基づいて画像データ生成レートRuを算出する(ステップS21)。
システム制御回路128は、超音波診断装置1と端末装置2の間の通信回線の画像データ転送レートRtを計測する(ステップS22)。
次に、システム制御回路128は、算出された画像データ生成レートRuと計測された画像データ転送レートRtを比較する(ステップS23)。
システム制御回路128は、比較した結果RuがRtより大きい場合(ステップS23のYes)、圧縮後のRuがRtと等しくなるように、すなわち予め設定されている転送用画像データの圧縮率がより高くなるように所定の設定値を変更する(ステップS24)。
次に、システム制御回路128は、画像符号化回路130を制御し、ステップS24で設定された圧縮率に基づいて表示処理回路126で生成された超音波画像データを圧縮する(ステップS25)。なお、システム制御回路128は、比較した結果RuがRtより大きい場合(ステップS23のNo)は、圧縮率の変更は行わずに、所定の圧縮率で表示処理回路126において生成された超音波画像データを圧縮する。
最後に、システム制御回路128は、通信インタフェース回路131を制御し、圧縮された超音波画像データを端末装置2へ送信する(ステップS26)。
なお、ステップS23のYesの場合に制御する項目は、圧縮率ではなく端末表示フレームレートであってもよい。
(2−2)圧縮率及び端末表示フレームレートの制御による画像データ転送
超音波診断装置1とPACS等のネットワークシステムとの間で、大容量のDICOMデータ等を転送する場合、超音波診断装置1の装置負荷は高くなる。この装置負荷の増加は、超音波診断装置1と端末装置2との間で行う通信の実効転送レートを低下させる原因となる。特に、超音波診断装置1とPACS等のネットワークシステムとの間で無線通信を行う場合には、超音波診断装置1と端末装置2間の通信の実効転送レートの低下は顕著となる場合がある。この場合、例えば圧縮率に加えて端末表示フレームレートを制御することで超音波画像データを転送する。
まず、システム制御回路128は、パラメータ設定機能128−2を実行し、予め記憶回路127に記憶される、超音波診断装置1の表示処理回路126で生成される所定の超音波画像1フレーム当りのデータサイズ、表示フレームレート及び予め定められた超音波画像データの圧縮率に基づいて画像データ生成レートRuを算出する(ステップS31)。
システム制御回路128は、超音波診断装置1と端末装置2の間の通信回線の画像データ転送レートRtを計測する(ステップS32)。
システム制御回路128は、画像データ生成レートRuと画像データ転送レートRtとを比較する(ステップS33)。
システム制御回路128は、比較した結果RuがRtより大きい場合(ステップS33のYes)、許容限界値に対応する高い圧縮率で圧縮した場合の画像データ生成レートRumを算出し、算出された画像データ生成レートRumと画像データ転送レートRtを比較する(ステップS34)。
システム制御回路128は、比較した結果RumがRt以下である場合(ステップS34のYes)、圧縮後のRuがRtと等しくなるように、すなわち予め設定されている転送用画像データの圧縮率がより高くなるように所定の設定値を変更する(ステップS35)。
システム制御回路128は、比較した結果RumがRtより大きい場合(ステップS34のNo)、予め設定されている転送用画像データの圧縮率を許容限界値に設定する(ステップS36)。
また、システム制御回路128は、ステップS36の後、端末表示フレームレートを予め設定されている値より下げる(ステップS37)。
システム制御回路128は、画像符号化回路130を制御し、表示処理回路126で生成された超音波画像データをステップS35又はステップS36で設定された圧縮率で圧縮する(ステップS38)。なお、システム制御回路128は、比較した結果RuがRt以下場合(ステップS33のNo)は、圧縮率の変更は行わずに、所定の圧縮率で表示処理回路126で生成された超音波画像データを圧縮する。
最後に、システム制御回路128は、通信インタフェース回路131を制御し、圧縮された超音波画像データを端末装置2へ送信する(ステップS39)。
(3)操作画面データ転送フロー
システム制御回路128は、超音波診断装置1から端末装置2へ端末用操作画面データを転送する。図8は超音波診断装置1から端末装置2へ操作画面データを転送する流れの一例を示すフローチャートの一例を示す図である。図9は端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示され、超音波診断装置1の入力インタフェース回路14が有するタッチパネルの画像等の一例を示す図である。図9において、パネルスイッチの画像211は、例えば超音波診断装置1の入力インタフェース回路14が有するパネルスイッチを表す画像の例である。また、タッチパネルの画像212は、超音波診断装置1の入力インタフェース回路14が有するタッチパネルを表す画像の例である。なお、操作画面データ転送処理は、図7に表されるパネルスイッチの画像213に含まれる、TCS(Touch Command Screen)ボタンが押下されることを契機として開始される。
まず、システム制御回路128は、操作画面生成機能128−1を実行し、通信インタフェース回路131を介し、端末装置2からコマンド信号が通知されるまで待機する(ステップS41)。
システム制御回路128は、端末装置2からコマンド信号が通知されると、通知されたコマンド信号を参照し、予め記憶回路127に記憶された操作画面データベースに含まれる複数の画像データ及び当該画像データの付帯情報のうち、どの画像データ及び当該画像データの付帯情報が更新情報として必要であるかの解析を行う(ステップS42)。
システム制御回路128は、ステップS42の解析の結果、更新情報として必要であると判断された画像データ及び当該画像データの付帯情報を端末用操作画面データとして取得する(ステップS43)。
システム制御回路128は、操作画面符号化回路129を制御し、取得された端末用操作画面データを圧縮する(ステップS44)。なお、システム制御回路128は、時間軸上で隣り合う端末用操作画面データの差分を取ることで情報量を圧縮する。
システム制御回路128は、通信インタフェース回路131を制御し、圧縮された端末用操作画面データを端末装置2へ送信する(ステップS45)。
(4)マーカを重畳した画像の共有フロー
以下の(4)〜(7)の各フローは、第2の支援者が端末装置2を介して第1の操作者を支援する場合、1回の指摘毎にいずれか1つが実行される。始めに(4)のフローを述べる。
図10は、マーカを重畳した画像を共有する動作を説明するためのシーケンス図であり、図11乃至図13は、この動作に用いられる画面を説明するための模式図である。以下の説明中、マーカとしては矢印を用いるが、これに限らず、十字形や指差しなどの任意の画像が適宜、マーカとして使用可能である。
いま、図3に示したように、未熟な第1の操作者3が超音波診断装置1を操作し、熟練した第2の操作者4が端末装置2を操作するとする。また同様に、熟練した第2の操作者4と、被検体Pとの間をカーテン等で仕切ることにより、第2の操作者4及び端末装置2の存在が、被検体Pに知られないとする。また、超音波診断装置1は、表示画面が被検体Pから見えない向きに配置されている。この図3に示す状況は、以下の(5)〜(7)の各フローでも同様である。
このとき、超音波診断装置1は、超音波プローブ11の出力に基づいて、例えば、超音波送受信回路121、Bモード処理回路122、ボリュームデータ生成回路124及び画像処理回路125を介して、超音波画像を示す超音波画像データを生成する。また、表示処理回路126は、この超音波画像をモニタ13に表示させる。これに対し、画像符号化回路130は、超音波画像を圧縮することにより、圧縮画像を生成する。通信インタフェース回路131は、圧縮画像を端末装置2に無線送信する。すなわち、超音波診断装置1は、上記(2)画像データ転送フローと同様に、超音波診断装置1から端末装置2へ超音波画像データを転送する。
一方、端末装置2では、通信インタフェース回路23が、超音波診断装置1から無線送信された圧縮画像を受信する。システム制御回路24は、モニタ13における超音波画像の表示と実質的に同期するように、当該圧縮画像を表示回路22に表示させる。
このようにして、超音波診断装置1及び端末装置2は、時間軸に対して常に新しい超音波画像を共有表示している(ステップS51)。
例えば、超音波診断装置1は、図11に示すように、モニタ13の画面133内に超音波画像134、超音波画像134の付帯情報135、テキスト表示エリア136などを表示しているとする。ここで、超音波画像134は、関心領域R1が設定されていてもよく、設定されていなくてもよい。また、超音波画像134内の矢印arは、このステップS51の時点では表示されていない。
これに対し、端末装置2は、図12に示すように、画面222内に超音波画像223、超音波画像223の付帯情報224、矢印ボタン225、テキスト表示エリア226、及び超音波診断装置1操作用のパネルスイッチの画像214を表示しているとする。この超音波画像223は、超音波診断装置1に表示された超音波画像134を圧縮して得られた画像である。また、この端末装置2は、タブレット型であって、キーボード215が装着されているとする。超音波画像223内の矢印arは、このステップS51の時点では表示されていない。
ステップS51の後、端末装置2の入力インタフェース回路21は、第2の操作者4による矢印ボタン225の操作を受け付けて(ステップS52)、システム制御回路24へ出力する。
システム制御回路24は、矢印ボタン225に対応する矢印arを超音波画像223に重畳表示するように、表示回路22を制御する。これにより、表示回路22は、矢印arを超音波画像223に重畳表示する(ステップS53)。
しかる後、システム制御回路24は、通信インタフェース回路23により、矢印arの座標又は移動量を超音波診断装置1に無線送信する(ステップS54)。但し、矢印ボタン225が操作された直後の矢印arの座標は、予め定められた座標としてもよい。また、矢印ボタン225が操作された直後の無線通信は、矢印arの座標又は移動量といった位置情報ではなく、矢印の表示を開始するコマンド信号としてもよい。
なお、ステップS54〜S59の処理は、繰り返し実行されるが、2回目以降のステップS54においては、システム制御回路24が、第2の操作者4からの入力に従って、圧縮画像としての超音波画像223上の位置を示す位置情報(矢印arの座標又は移動量)を含むマーカ情報を生成し、このマーカ情報を超音波診断装置1に無線送信する。また例えば、システム制御回路24は、矢印arに対して超音波画像223上の位置を指定する第2の操作者4からのスライド操作を受け付けると、第2の操作者4によって指定された、超音波画像223上の位置に矢印arを移動させるように、表示回路22を制御する。この場合、表示回路22は、矢印arを超音波画像223上で移動させる。これにより、超音波画像223上の注目箇所が矢印arで指示される。あるいは、システム制御回路24は、図13に示すように、矢印arを移動させる制御に加え、矢印arの軌跡trを数秒程度の所定時間だけ表示するように、表示回路22を制御してもよい。この軌跡trは、例えば、予め設定された色をもつ帯として表示してもよく、複数の矢印arをずらしながら重ね合わせて表示してもよい。これらの場合、超音波画像223上の注目箇所が、軌跡trに囲まれた領域として指示される。
ステップS54の後、超音波診断装置1のシステム制御回路128は、通信インタフェース回路131を介し、矢印arの座標又は移動量を受信する。システム制御回路128は、矢印arの座標又は移動量に基づいて、矢印arを超音波画像134に重畳表示するように、表示処理回路126を制御する。表示処理回路126は、矢印arを重畳した超音波画像134を示す超音波画像データを生成する。これにより、モニタ13は、表示処理回路126により生成された超音波画像データに基づいて、矢印arを重畳した超音波画像134を表示する(ステップS55)。なお、ステップS55で表示された矢印arは、予め超音波診断装置1に準備された矢印画像により表示され、ステップS52で表示された矢印arは、予め端末装置2に準備された矢印画像により表示される。両者の矢印arは、互いに同じ大きさ及び形状でもよく、互いに異なる大きさ及び形状でもよい。マーカ情報がサイズ情報及び形状情報を含んでいる場合、矢印arの大きさ及び形状は、マーカ情報を参照して決定されても良い。例えば、端末装置2が小さいことから、端末装置2に表示される矢印arは、超音波診断装置1に表示される矢印arよりも、超音波画像上で相対的に大きい矢印とする方が視認し易い。なお、端末装置2で矢印arの軌跡trが表示される場合には、表示処理回路126は、システム制御回路128の制御に従い、矢印arの座標又は移動量に基づいて、超音波画像134上に矢印ar及びその軌跡trをモニタ13に表示させる。但し、軌跡trは所定時間だけ表示させ、所定時間後には消去する。例えば、表示処理回路126は、矢印ar及びその軌跡trを重畳した超音波画像134を示す超音波画像データを生成し、所定時間後には、矢印arのみを重畳するように超音波画像データを生成する。
ステップS55の後、画像符号化回路130は、システム制御回路128の制御に従い、ステップS24で設定された圧縮率に基づいて、画像処理回路125で生成された超音波画像データ(矢印arを含まない超音波画像134)を圧縮する(ステップS56)。
ステップS56の後、システム制御回路128は、通信インタフェース回路131を制御し、圧縮された超音波画像データを端末装置2に送信する(ステップS57)。
また、システム制御回路128は、ステップS56〜S57に前後して又は並行して、矢印arを含まない超音波画像134をキャプチャ画像として記憶回路127に記録する(ステップS58)。このとき、システム制御回路128は、キャプチャ画像及び時刻情報を関連付けて記憶回路127に記録する。なお、キャプチャ画像は、例えば、後日、被検体Pへの説明などに使用可能となっている。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。
また、システム制御回路128は、矢印ar及び超音波画像134の両方がモニタ13に表示されている場合、ステップS56〜S58に前後して又は並行して、矢印arに関するログ情報を記憶回路127に記録する(ステップS59)。ログ情報は、例えば、矢印arの座標又は移動量と、時刻情報とを含んでいる。また、矢印ボタン225が押された直後のログ情報は、矢印の表示を開始するコマンド信号を示す情報と、時刻情報とを含んでいてもよい。なお、キャプチャ画像が超音波画像134の場合、ログ情報内の矢印arの座標としては、ステップS54で受信した座標を使用すればよい。また、キャプチャ画像が超音波画像134を含む画面133の場合、ログ情報内の矢印arの座標としては、ステップS54で受信した座標を画面133内の超音波画像134の位置に基づいて修正することにより、得られた座標を使用すればよい。このことは、他の共有フローでも同様である。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。このログ情報は、例えば、時刻情報に基づいて、矢印arをキャプチャ画像に重畳させるように使用可能となっている。この場合、例えば、システム制御回路128は、ユーザによって指定された時刻情報に基づいて、ログ情報内の矢印arの座標又は移動量と記憶回路127内のキャプチャ画像とを特定する。しかる後、システム制御回路128は、特定結果に基づいて、表示処理回路126の制御により、矢印arをキャプチャ画像と共にモニタ13に表示させる。
しかる後、端末装置2での矢印arの操作に応じて、ステップS54〜S59の処理が繰り返し実行される。2回目以降のステップS54においては、システム制御回路24が、第2の操作者4からの入力に従って、圧縮画像としての超音波画像223上の位置を示す位置情報(矢印arの座標又は移動量)を含むマーカ情報を生成し、このマーカ情報を超音波診断装置1に無線送信する。2回目以降のステップS55においては、超音波診断装置1は、前述同様に、受信したマーカ情報(内の座標又は移動量)に基づいて、矢印arを重畳した医用画像を表示する。ステップS56〜S59は、前述同様に実行される。
上記(4)の変形例について
上記(4)マーカを重畳した画像の共有フローは、マーカを重畳させる処理を端末装置2及び超音波診断装置1の両者が実行したが、これに限らず、マーカを重畳させる処理を超音波診断装置1のみが実行する構成に変形してもよい。例えば、超音波診断装置1が、マーカを含む医用画像を圧縮することにより新たな圧縮画像を生成し、この新たな圧縮画像を端末装置2に無線送信する構成に変形してもよい。同様に、端末装置2は、超音波診断装置1から無線送信された当該新たな圧縮画像を受信し、モニタ13における当該マーカを含む医用画像の表示と実質的に同期するように、当該新たな圧縮画像を表示回路22に表示させる構成に変形してもよい。
図14は、図10に示した動作の変形例を説明するためのシーケンス図である。この変形例の動作においては、ステップS53を省略し、ステップS52の後、システム制御回路24は、矢印ボタン225に対応する矢印arの表示を開始するためのコマンド信号を生成する。その後、システム制御回路24は、通信インタフェース回路23により、このコマンド信号を超音波診断装置1に無線送信する(ステップS54a)。但し、ステップS54aは、コマンド信号に代えて、予め設定された座標を無線送信してもよい。
超音波診断装置1のシステム制御回路128は、通信インタフェース回路131を介し、コマンド信号を受信すると、矢印arを超音波画像134に重畳表示するように、表示処理回路126を制御する。表示処理回路126は、矢印arを重畳した超音波画像134を示す超音波画像データを生成する。これにより、モニタ13は、前述同様に、矢印arを重畳した超音波画像134を表示する(ステップS55)。
ステップS55の後、画像符号化回路130は、システム制御回路128の制御に従い、ステップS24で設定された圧縮率に基づいて、表示処理回路126で生成された超音波画像データ(矢印arを重畳した超音波画像134)を圧縮する(ステップS56a)。以下、前述同様に、ステップS57〜S59が実行される。しかる後、端末装置2での矢印arの操作に応じて、ステップS54a〜S59の処理が繰り返し実行される。このとき、端末装置2は、矢印arの操作に応じて、当該矢印arの座標又は移動量を含むマーカ情報を超音波診断装置1に無線送信する。超音波診断装置1は、前述同様に、受信したマーカ情報(内の座標又は移動量)に基づいて、矢印arを重畳した医用画像を表示し、当該矢印を含む医用画像を圧縮することにより新たな圧縮画像を生成し、新たな圧縮画像を端末装置2に無線送信する。端末装置2は、超音波診断装置1から無線送信された当該新たな圧縮画像を受信し、モニタ13における矢印arを含む医用画像の表示と実質的に同期するように、当該新たな圧縮画像を表示回路22に表示させる。また同様に、超音波診断装置1は、前述同様に、キャプチャ画像及びログ情報を記録する。但し、繰り返し実行されるステップS54a〜S59では、矢印の表示を開始するためのコマンド信号に代えて、矢印arの座標又は移動量が用いられる。
(5)テキスト情報の共有フロー
(5)のフローは、上記(4)のフローの変形例であり、例えば、マーカでは伝わりにくい事項をテキスト情報として伝達可能となっている。
図15は、テキスト情報を共有する動作を説明するためのシーケンス図である。
いま、前述同様に、図3に示す状況において、ステップS51に述べたように、超音波診断装置1及び端末装置2が超音波画像を共有表示しており、図11及び図12に示す画面中、矢印arが表示されていないとする。
このとき、端末装置2の入力インタフェース回路21は、第2の操作者4によるキーボード215の操作を電気信号に変換し、当該電気信号をシステム制御回路24へ入力する。
システム制御回路24は、入力された電気信号に従ってテキスト情報を生成し(ステップS61)、当該テキスト情報をテキスト表示エリア226に表示するように、表示回路22を制御する。これにより、表示回路22は、超音波画像223とは異なる位置にあるテキスト表示エリア226にテキスト情報を表示する(ステップS62)。なお、テキスト情報は、テキスト表示エリア226に収まる任意の文字数以内の文章を構成している。また、テキスト情報は、個々の文字を示す電気信号から生成してもよく、定型文を指定する電気信号から生成してもよい。
ステップS62の後、システム制御回路24は、第2の操作者4による送信ボタン(図示せず)の操作を受け付けると、通信インタフェース回路23により、テキスト表示エリア226に表示中のテキスト情報を超音波診断装置1に無線送信する(ステップS63)。なお、テキスト情報が仮名漢字変換(Enterキーの操作)を伴う日本語の場合には、前述した通り、送信ボタンの操作を行う。しかしながら、テキスト情報が、仮名漢字変換のない英語等の言語の場合には、送信ボタンを省略し、Enterキーの操作によって、テキスト情報を送信するように変形可能である。いずれにしても、システム制御回路24は、第2の操作者の操作により、文の区切りでテキスト情報を送信する。
超音波診断装置1のシステム制御回路128は、通信インタフェース回路131を介し、テキスト情報を受信すると、テキスト情報を超音波画像134と共にモニタ13に表示させるように、表示処理回路126を制御する。このとき、表示処理回路126は、テキスト情報を記述したテキスト表示エリア136と、超音波画像134とを含む画面133を示す画面データを生成する。モニタ13は、この画面133を表示することにより、テキスト情報を超音波画像134と共に表示する(ステップS64)。
システム制御回路128は、テキスト情報と超音波画像134の両方が表示されている場合、テキスト情報を含まないテキスト表示エリア136と超音波画像134とを含む画面133の画像データをキャプチャ画像として生成し、このキャプチャ画像を記憶回路127に記録する(ステップS65)。このとき、システム制御回路128は、キャプチャ画像及び時刻情報を関連付けて記憶回路127に記録する。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。
ステップS65の後、システム制御回路128は、テキスト情報に関するログ情報を記憶回路127に記録する(ステップS66)。ログ情報は、例えば、テキスト情報と、時刻情報とを含んでいる。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。このログ情報は、例えば、時刻情報に基づいて、テキスト情報をキャプチャ画像内のテキスト表示エリア136に重畳させるように使用可能となっている。この場合、例えば、システム制御回路128は、ユーザによって指定された時刻情報に基づいて、ログ情報内のテキスト情報と記憶回路127内のキャプチャ画像とを特定する。しかる後、システム制御回路128は、表示処理回路126の制御により、テキスト情報をキャプチャ画像と共にモニタ13に表示させる。
(6)マーカ及びテキスト情報の共有フロー
(6)のフローは、上記(4)(5)のフローを組み合わせた例である。
図16は、マーカ及びテキスト情報を共有する動作を説明するためのシーケンス図である。
いま、前述同様に、図3に示す状況において、ステップS51に述べたように、超音波診断装置1及び端末装置2が超音波画像を共有表示しており、図11及び図12に示す画面中、矢印arが表示されていないとする。
このとき、端末装置2は、ステップS52〜S53と同様に、第2の操作者4による矢印ボタン225の操作により、矢印ボタン225に対応する矢印arを超音波画像223に重畳表示する(ステップS71)。
また、端末装置2は、ステップS61〜S62と同様に、第2の操作者4によるキーボード215の操作に応じてテキスト情報を生成してテキスト表示エリア226に表示する(ステップS72)。
ステップS72の後、システム制御回路24は、第2の操作者4による送信ボタン(図示せず)の操作を受け付けると、通信インタフェース回路23により、表示中のテキスト情報と、矢印arの座標又は移動量とを超音波診断装置1に送信する(ステップS73)。なお、ステップS73は、これに限らず、テキスト情報を送信するステップと、矢印arの座標又は移動量を送信するステップとの2回に分けて実行してもよい。
超音波診断装置1のシステム制御回路128は、通信インタフェース回路131を介し、テキスト情報と、矢印arの座標又は移動量とを受信すると、前述同様に、表示処理回路126及びモニタ13により、テキスト情報をテキスト表示エリア136に表示させる(ステップST74)。
ステップS74に並行して、システム制御回路128は、前述同様に、矢印arの座標又は移動量に基づいて、矢印arを重畳した超音波画像134を表示させる(ステップS75)。なお、システム制御回路128は、前述同様に、矢印arの軌跡trを表示してもよい。
ステップ75の後、画像符号化回路130は、システム制御回路128からの制御に従い、ステップS56と同様に、矢印arを含まない超音波画像134を示す超音波画像データを圧縮する(ステップS76)。また、システム制御回路128は、通信インタフェース回路131を制御し、圧縮された超音波画像データを端末装置2に送信する(ステップS77)。
また、システム制御回路128は、ステップS76〜S77に前後して又は並行して、テキスト情報を含まないテキスト表示エリア136と、矢印arを含まない超音波画像134とを含む画面133の画像データをキャプチャ画像として記憶回路127に記録する(ステップS78)。このとき、システム制御回路128は、キャプチャ画像及び時刻情報を関連付けて記憶回路127に記録する。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。
また、システム制御回路128は、ステップS78に前後して又は並行して、テキスト情報及び矢印arに関するログ情報を記憶回路127に記録する(ステップS79)。ログ情報は、例えば、テキスト情報と、矢印arの座標又は移動量と、時刻情報とを含んでいる。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。このログ情報は、例えば、時刻情報に基づいて、テキスト情報をキャプチャ画像内のテキスト表示エリア136に重畳させ、且つ矢印arをキャプチャ画像内の超音波画像134に重畳させるように使用可能となっている。この場合、例えば、システム制御回路128は、ユーザによって指定された時刻情報に基づいて、ログ情報内の矢印arの座標又は移動量と、ログ情報内のテキスト情報と、記憶回路127内のキャプチャ画像とを特定する。しかる後、システム制御回路128は、特定結果に基づいて、表示処理回路126の制御により、テキスト情報及び矢印arをキャプチャ画像と共にモニタ13に表示させる。
なお、上記(6)のフローは、マーカとしての矢印arに関し、図14に示した変形例と同様に変形して実施することができる。すなわち、上記(6)のフローは、図14に示した変形例と同様に、端末装置2及び超音波診断装置1のうち、超音波診断装置1のみが矢印arを重畳するように変形して実施できる。
(7)画質を変更した画像の共有フロー。
(7)のフローは、上記(5)の変形例であり、第2の操作者4が画像を見易くしたいと判断した場合などに、画質パラメータを変更する旨をテキスト情報により予告した後、第2の操作者4が画質パラメータを変更する操作を行うものである。
図17は、画質を変更した画像を共有する動作を説明するためのシーケンス図である。
いま、前述同様に、図3に示す状況において、ステップS51に述べたように、超音波診断装置1及び端末装置2が超音波画像を共有表示しており、図11及び図12に示す画面中、矢印arが表示されていないとする。
その後、ステップS61〜S66と同様に、端末装置2の操作に応じて生成されたテキスト情報を超音波診断装置1及び端末装置2が共有表示しているとする(ステップS81〜S86)。但し、この例のテキスト情報は、「今から画質パラメータxxを変更します。」というように、超音波画像223の画質パラメータの変更を予告する内容であるとする。なお、「変更」の用語は、「増加」、「減少」又は「調整」等と読み替えてもよい。
ステップS86の後、端末装置2の入力インタフェース回路21は、第2の操作者4による超音波診断装置1操作用のパネルスイッチの画像214の操作に応じて、操作位置の座標を示す電気信号をシステム制御回路24へ入力する。
システム制御回路24は、入力された電気信号に示される座標に基づいて当該画像214の付帯情報を参照し、付帯情報に従って、画質パラメータを変更するためのコマンド信号を生成する(ステップS87)。しかる後、システム制御回路24は、通信インタフェース回路23により、当該コマンド信号を超音波診断装置1に送信する(ステップS88)。
超音波診断装置1のシステム制御回路128は、通信インタフェース回路131を介し、コマンド信号を受信する。システム制御回路128は、コマンド信号に基づいて、画質パラメータを変更するように、表示処理回路126を制御する。表示処理回路126は、画質パラメータを変更した超音波画像134を示す超音波画像データを生成する。これにより、モニタ13は、表示処理回路126により生成された超音波画像データに基づいて、画質パラメータを変更した超音波画像134を表示する(ステップS89)。
ステップS89の後、画像符号化回路130は、システム制御回路128からの制御に従い、ステップS24で設定された圧縮率に基づいて、表示処理回路126で生成された超音波画像データ(画質を変更した超音波画像134)を圧縮する(ステップS90)。
ステップS90の後、システム制御回路128は、通信インタフェース回路131を制御し、圧縮された超音波画像データを端末装置2に送信する(ステップS91)。端末装置2では、この超音波画像データに基づいて、画質が変更された超音波画像223を表示する。
また、超音波診断装置1のシステム制御回路128は、ステップS91に前後して又は並行して、テキスト情報を含まないテキスト表示エリア136と、画質を変更した超音波画像134とを含む画面133の画像データをキャプチャ画像として記憶回路127に記録する(ステップS92)。このとき、システム制御回路128は、キャプチャ画像及び時刻情報を関連付けて記憶回路127に記録する。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。
また、システム制御回路128は、ステップS89〜S92に前後して又は並行して、ステップS88のコマンド信号に関するログ情報を記憶回路127に記録する(ステップS93)。ログ情報は、例えば、コマンド信号を示す情報と、時刻情報とを含んでいる。時刻情報は、例えば、超音波画像134の付帯情報135に含まれている。このログ情報は、例えば、時刻情報に基づいて、コマンド信号を示す情報をキャプチャ画像内の超音波画像134とは異なる領域に重畳させるように使用可能となっている。この場合、例えば、システム制御回路128は、ユーザによって指定された時刻情報に基づいて、ログ情報内のコマンド信号を示す情報と記憶回路127内のキャプチャ画像とを特定する。しかる後、システム制御回路128は、表示処理回路126の制御により、コマンド信号を示す情報をキャプチャ画像と共にモニタ13に表示させる。
上述したように第1の実施形態によれば、以下のような効果を得ることができる。
上記(1)認証フローに関し、システム制御回路128は、認証情報表示機能128−4を実行し、例えば予め設定されたSSID及びパスワードをモニタ13に表示する。すなわち、超音波診断装置1を直接見ることのできる第1の操作者3のみがアクセス権限を持つようにする。これにより、権限無き第3者による通信接続及び遠隔操作のリスクを低減することが可能となる。
また、上記(1)認証フローに関し、システム制御回路128の認証機能128−5が認証時に利用するパスワードは、通信接続要求毎又は定期的に更新されるワンタイムパスワードである。これにより、権限無き第3者による通信接続及び遠隔操作のリスクを低減することが可能となる。これは例えば、モニタ13の画面の所定位置に表示されたパスワードを端末装置2で入力した場合に、超音波診断装置1と端末装置2との間の通信を許可するように運用してもよい。この場合、ワンタイムパスワードを容易に入力できると共に、入力されたワンタイムパスワードを容易に認証することができる。
上記(2)超音波画像データ転送フローに関し、システム制御回路128は、画像データ生成レートRuを算出する。システム制御回路128は、超音波診断装置1と端末装置2の間の通信回線の画像データ転送レートRtを計測する。システム制御回路128は、算出された画像データ生成レートRuと計測された画像データ転送レートRtを比較し、比較した結果RuがRtより大きい場合、例えば圧縮後のRuがRtと等しくなるように、すなわち予め設定されている転送用画像データの圧縮率がより高くなるように所定の設定値を変更する。システム制御回路128は、表示処理回路126で生成された超音波画像データを圧縮し、圧縮した超音波画像データを端末装置2へ送信する。
すなわち、システム制御回路128は、表示処理回路126が生成した超音波画像データが表す超音波画像の画質を落とすことで、端末装置2へ送信する超音波画像のフレームレートを落とさずに端末装置2へ送信する。これにより、第2の操作者4は、超音波診断装置1のアコースティックフレームレートが高く、算出された画像データ生成レートRuが計測された画像データ転送レートRtより高い場合であっても、端末装置2においてリアルタイムに超音波画像を確認することが可能となる。
上記(3)操作画面データ転送フローに関し、超音波診断装置1と端末装置2は無線で通信接続される。また、システム制御回路128は、端末用操作画面データを取得し、取得した端末用操作画面データを圧縮し、圧縮した端末用操作画面データを端末装置2へ無線で送信する。これにより、第2の操作者4は端末装置2の入力インタフェース回路21が備えるタッチパネル上に、超音波診断装置1の入力インタフェース回路14が備えるパネルスイッチの画像及びタッチパネルの画像を含む操作画面を表す画像を表示することができる。従って、第2の操作者4が超音波診断装置1の操作卓を直接操作することが困難な場合であっても、画像診断を行うための操作を行うことが可能となる。このことは、例えば、本実施形態とは別の場合(第1の操作者3及び第2の操作者4が同一人物の場合)についても言える。
また、上記(3)操作画面データ転送フローに関し、システム制御回路128は、端末用操作画面データを取得する度に端末装置2へ送信する。これにより、随時新しい操作画面を端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示することが可能となる。
また、上記(3)操作画面データ転送フローに関し、システム制御回路128は、操作画面符号化回路129を制御し、取得された端末用操作画面データを圧縮する。この際、時間軸上で隣り合う端末用操作画面データの差分を取ることで情報量を圧縮する。これにより、超音波診断装置1と端末装置2の間の通信データ量を抑えることが可能となる。
また、上記(3)操作画面データ転送フローに関し、システム制御回路128は、通信インタフェース回路131を制御し、端末装置2からのコマンド信号の受信をトリガとして、端末用操作画面データの送信を開始する。これにより、第2の操作者4の要求に応じた操作画面を、端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示することが可能となる。
上記(4)マーカを重畳した画像の共有フローに関し、医用診断装置としての超音波診断装置1は、スキャン部からの出力に基づいて医用画像を生成し、医用画像を第1表示部としてのモニタ13に表示させる。また、超音波診断装置1は、当該医用画像を圧縮し、当該圧縮画像を端末装置2に無線送信する。
端末装置2は、当該無線送信された圧縮画像を受信し、モニタ13における医用画像の表示と実質的に同期するように、圧縮画像を第2表示部としての表示回路22に表示させる。また、端末装置2は、ユーザからの入力に従って、圧縮画像上の位置を示す位置情報を含むマーカ情報を生成する。
超音波診断装置1は、端末装置2から無線送信されたマーカ情報を受信し、当該マーカ情報に基づいて、医用画像上にマーカを表示させる。
このように、超音波診断装置1及び端末装置2の各々が共通の医用画像及びその圧縮画像を表示中に、端末装置2で指定されたマーカが端末装置2及び超音波診断装置1の各々に表示される。従って、超音波診断装置1に表示されたマーカに基づいて、未熟な第1の操作者3でも、被検体Pに不安を与えずに適切な操作を実行することができる。
また、超音波診断装置1が、マーカ情報に基づいて、医用画像上にマーカを表示させると共に、当該マーカの軌跡を所定時間だけ医用画像上に表示させる場合には、第1の操作者3の視認性向上と、第2の操作者4の操作性向上とをそれぞれ期待することができる。
これに加え、上記(4)マーカを重畳した画像の共有フローに関し、超音波診断装置1は、医用画像上にマーカが表示されている場合、マーカを含まない医用画像及び時刻情報を関連付けて記憶回路127に記録する。また、超音波診断装置1は、医用画像及びマーカがモニタ13に表示されている場合、マーカ情報及び時刻情報を含むログ情報を記憶回路127に記録する。しかる後、超音波診断装置1は、ユーザによって指定された時刻情報に基づいて、記憶回路127内のマーカ情報に基づいて、医用画像上にマーカを表示させる。
このように、マーカを重畳した超音波画像を表示する一方、マーカと、超音波画像とを別々に記録する構成により、後日、被検体Pへの説明の際には、矢印を含まない超音波画像を表示することができる。また、第1の操作者3又は第2の操作者4が検査時の画面を確認する際には、時刻情報に基づいて、矢印を重畳した超音波画像を表示することができる。
また、図14に示した変形例によれば、超音波診断装置1が、マーカを含む医用画像を圧縮することにより新たな圧縮画像を生成し、この新たな圧縮画像を端末装置2に無線送信し、端末装置2が、当該新たな圧縮画像を受信し、モニタ13における当該マーカを含む医用画像の表示と実質的に同期するように、当該新たな圧縮画像を表示回路22に表示させる。これにより、上記(4)のフローと同様の効果を得ることができる。
上記(5)テキスト情報の共有フローに関し、医用診断装置としての超音波診断装置1は、スキャン部からの出力に基づいて医用画像を生成し、医用画像を第1表示部としてのモニタ13に表示させる。また、超音波診断装置1は、当該医用画像を圧縮し、当該圧縮画像を端末装置2に無線送信する。
端末装置2は、当該無線送信された圧縮画像を受信し、モニタ13における医用画像の表示と実質的に同期するように、圧縮画像を第2表示部としての表示回路22に表示させ、ユーザからの入力に従って、テキスト情報を生成し、このテキスト情報を超音波診断装置1に無線送信する。
超音波診断装置1は、端末装置2から無線送信されたテキスト情報を受信し、当該テキスト情報を医用画像と共にモニタ13に表示させ、テキスト情報と医用画像の両方がモニタ13に表示されている場合、モニタ13の画面内の情報に関し、テキスト情報を含まないキャプチャ画像を生成する。
このように、超音波診断装置1及び端末装置2の各々が共通の超音波画像及びその圧縮画像を表示中に、端末装置2で入力されたテキスト情報が端末装置2及び超音波診断装置1の各々に表示される。従って、超音波診断装置1に表示されたテキスト情報に基づいて、未熟な第1の操作者3でも、被検体Pに不安を与えずに適切な操作を実行することができる。
これに加え、上記(5)テキスト情報の共有フローに関し、超音波診断装置1は、キャプチャ画像及び時刻情報を関連付けて記憶回路127に記録する。また、超音波診断装置1は、テキスト情報と医用画像の両方がモニタ13に表示されている場合、テキスト情報及び時刻情報を含むログ情報を記憶回路127に記録する。しかる後、超音波診断装置1は、ユーザによって指定された時刻情報に基づいて、記憶回路127内のテキスト情報をキャプチャ画像と共にモニタ13に表示させる。
このように、テキスト情報及び超音波画像を表示する一方、テキスト情報と、超音波画像とを別々に記録する構成により、後日、被検体Pへの説明の際には、テキスト情報を含まない超音波画像を表示することができる。また、第1の操作者3又は第2の操作者4が検査時の画面を確認する際には、時刻情報に基づいて、テキスト情報を超音波画像と共に表示することができる。
上記(6)マーカ及びテキスト情報の共有フローに関し、医用診断装置としての超音波診断装置1は、スキャン部からの出力に基づいて医用画像を生成し、医用画像を第1表示部としてのモニタ13に表示させる。また、超音波診断装置1は、当該医用画像を圧縮し、当該圧縮画像を端末装置2に無線送信する。
端末装置2は、当該無線送信された圧縮画像を受信し、モニタ13における医用画像の表示と実質的に同期するように、圧縮画像を第2表示部としての表示回路22に表示させ、ユーザによって指定された、当該圧縮画像上の位置にマーカを表示させる。また、端末装置2は、ユーザからの入力に従って、テキスト情報を生成し、このテキスト情報、及び圧縮画像上に表示されたマーカの位置情報を含むマーカ情報を超音波診断装置1に無線送信する。
超音波診断装置1は、端末装置2から無線送信されたテキスト情報及びマーカ情報を受信し、当該テキスト情報を医用画像と共にモニタ13に表示させ、当該マーカ情報に基づいて、医用画像上にマーカを表示させる。
このように、超音波診断装置1及び端末装置2の各々が共通の医用画像及びその圧縮画像を表示中に、端末装置2で指定されたマーカ及びテキスト情報が端末装置2及び超音波診断装置1の各々に表示される。従って、超音波診断装置1に表示されたマーカ及びテキスト情報に基づいて、未熟な第1の操作者3でも、被検体Pに不安を与えずに適切な操作を実行することができる。
また、超音波診断装置1と端末装置2との間の通信が外部サーバを介さずに直接的に実行される場合には、外部サーバに起因した通信速度の遅延を防止することができる。
また、超音波診断装置1は、モニタ13の画面の、医用画像に重ならない位置にテキスト情報を表示させる場合に、医用画像の読影を妨げることなく、テキスト情報を表示することができる。
これに加え、上記(6)マーカ及びテキスト情報の共有フローに関し、超音波診断装置1は、医用画像上にマーカが表示されている場合、マーカを含まない医用画像及び時刻情報を関連付けて記憶回路127に記録する。また、超音波診断装置1は、テキスト情報、医用画像及びマーカがモニタ13に表示されている場合、テキスト情報、マーカ情報及び時刻情報を含むログ情報を記憶回路127に記録する。しかる後、超音波診断装置1は、ユーザによって指定された時刻情報に基づいて、記憶回路127内のテキスト情報を医用画像と共にモニタ13に表示させ、且つ記憶回路127内のマーカ情報に基づいて、医用画像上にマーカを表示させる。
このように、テキスト情報と、マーカを重畳した超音波画像とを表示する一方、テキスト情報及びマーカの両者と、超音波画像とを別々に記録する構成により、後日、被検体Pへの説明の際には、テキスト情報及び矢印の両者を含まない超音波画像を表示することができる。また、第1の操作者3又は第2の操作者4が検査時の画面を確認する際には、時刻情報に基づいて、テキスト情報を、矢印を重畳した超音波画像と共に表示することができる。
また、超音波診断装置1が、マーカ情報に基づいて、医用画像上にマーカを表示させると共に、当該マーカの軌跡を所定時間だけ医用画像上に表示させる場合には、第1の操作者3の視認性向上と、第2の操作者4の操作性向上とをそれぞれ期待することができる。
上記(7)画質を変更した画像の共有フローに関し、超音波診断装置1は、端末装置2から無線送信されたコマンド信号を受信し、このコマンド信号に基づいて、モニタ13に表示中の医用画像の画質を変更する。
例えば、超音波診断装置1及び端末装置2の各々が共通の医用画像及びその圧縮画像を表示中に、端末装置2で生成されたテキスト情報が端末装置2及び超音波診断装置1の各々に表示された後、超音波診断装置1の画質が変更される。従って、超音波診断装置1に表示されたテキスト情報及び画質変更後の医用画像に基づいて、未熟な第1の操作者3でも、被検体Pに不安を与えずに適切な操作を実行することができる。
これに加え、上記(7)画質を変更した画像の共有フローに関し、テキスト情報と画質変更後の超音波画像とを表示する一方、テキスト情報と、コマンド信号を示す情報と、超音波画像とを別々に記録する構成により、後日、被検体Pへの説明の際には、テキスト情報及びコマンド信号を示す情報の両者を含まない超音波画像を表示することができる。また、第1の操作者3又は第2の操作者4が検査時の画面を確認する際には、時刻情報に基づいて、テキスト情報及びコマンド信号を示す情報の両者を超音波画像と共に表示することができる。
[他の実施形態]
なお、この発明は上記実施形態に限定されるものではない。例えば、第1の実施形態では、記憶回路127は、端末装置2の入力インタフェース回路21が有するタッチパネルに表示され、第2の操作者4が端末装置2から超音波診断装置1を操作するための操作画面を表す操作画面データベースを記憶したがこれに限定されない。例えば、記憶回路127は、超音波診断装置1の入力インタフェース回路14が有するタッチパネルに表示され、第1の操作者3が超音波診断装置1を操作するための操作画面を表す操作画面データベースを記憶するようにしてもよい。この場合、システム制御回路128は、当該操作画面データベースより取得した画像データ等を、端末装置2からのコマンド信号に合わせて加工することで、端末用操作画面データを生成する。これにより、第2の操作者4は端末装置2の入力インタフェース回路21が備えるタッチパネル上に表示される超音波診断装置1を操作するための操作画面を変更することが可能となる。
また、第1の実施形態では、操作画面データベースは、第2の操作者4が端末装置2から超音波診断装置2を操作するためのコマンド信号に対応した様々なパターンの複数の画像データ及び画像データの付帯情報を含んでいたがこれに限定されない。例えば、記憶回路127は、端末装置2のコマンド信号に対応した様々なパターンの操作画面を表す画像データそれぞれを、操作用ボタン画像等を表す複数の部分画像データに分割して記憶してもよい。また、記憶回路127は、当該部分画像データが表す画像が当該部分画像を含む操作画面を表す画像上のどの位置に配置されるかを示す配置情報等を記憶する。この場合、システム制御回路128は、操作画面生成機能128−1を実行し、複数の部分的な画像データを組み合わせることで、コマンド信号に対応する端末用操作画面データを生成する。
また、第1の実施形態では、システム制御回路128は、図5のステップS23における比較の結果RuがRt以下の場合、圧縮率は所定の圧縮率のまま変更しなかった。また、第1の実施形態では、システム制御回路128は、図6のステップS33における比較の結果RuがRt以下の場合、圧縮率は所定の圧縮率のまま変更しなかった。しかしながら、この限りではない。すなわち、圧縮後のRuがRtと等しくなるように、すなわち予め設定されている転送用画像データの圧縮率がより低くなるように所定の設定値を変更してもよい。これにより、転送用画像データが表す画像の画質を表示処理回路126が生成する超音波画像データが表す画像の画質に近づけることが可能となる。
また、第1の実施形態において、表示処理回路126により生成される超音波画像の表示フレームは、例えば一次元アレイプローブを用いた2次元領域に対する周期的な走査によって生成された画像データに基づいて生成してもよいし、2次元アレイプローブを用いた3次元領域に対する周期的な走査によって生成されたボリュームデータをレンダリング処理又はMPR処理して生成された画像データに基づいて生成してもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1及び図2における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
第1の実施形態における超音波診断システム及び超音波診断装置1は、特許請求の範囲における医用診断システム及び医用診断装置の一例である。第1の実施形態における超音波プローブ11は、特許請求の範囲におけるスキャン部の一例である。第1の実施形態における超音波送受信回路121、Bモード処理回路122、血流検出回路123、ボリュームデータ生成回路124及び画像処理回路125は、特許請求の範囲における医用画像生成部の一例である。第1の実施形態におけるモニタ13は、特許請求の範囲における第1表示部の一例である。第1の実施形態における表示処理回路126及びシステム制御回路128は、特許請求の範囲における第1表示制御部の一例である。第1の実施形態における画像符号化回路130は、特許請求の範囲における圧縮部の一例である。第1の実施形態における通信インタフェース回路131は、特許請求の範囲における第1通信部の一例である。第1の実施形態における通信インタフェース回路23は、特許請求の範囲における第2通信部の一例である。第1の実施形態における表示回路22は、特許請求の範囲における第2表示部の一例である。第1の実施形態における矢印arは、特許請求の範囲におけるマーカの一例である。第1の実施形態におけるシステム制御回路24は、特許請求の範囲における第2表示制御部、マーカ情報生成部及びテキスト情報生成部の一例である。第1の実施形態におけるシステム制御回路128は、特許請求の範囲におけるキャプチャ画像生成部、医用画像記録部、ログ記録部及びキャプチャ画像記録部の一例である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として表示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…超音波診断装置、2…端末装置、3,4…操作者、5…カーテン、11…超音波プローブ、12…装置本体、13…モニタ、14、21…入力インタフェース回路、22…表示回路、23…通信インタフェース回路、24…システム制御回路、121…超音波送受信回路、122…Bモード処理回路、123…血流検出回路、124…ボリュームデータ生成回路、125…画像処理回路、126…表示処理回路、127…記憶回路、128…システム制御回路、129…操作画面符号化回路、130…画像符号化回路、131…通信インタフェース回路、P…被検体。

Claims (20)

  1. 医用診断装置及び端末装置を含む医用診断システムであって、
    前記医用診断装置は、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記圧縮画像を前記端末装置に無線送信する第1通信部と、
    を備え、
    前記端末装置は、
    前記医用診断装置から無線送信された前記圧縮画像を受信する第2通信部と、
    前記第1表示部における前記医用画像の表示と実質的に同期するように、前記圧縮画像を第2表示部に表示させる第2表示制御部と、
    ユーザからの入力に従って、前記圧縮画像上の位置を示す位置情報を含むマーカ情報を生成するマーカ情報生成部と、
    ユーザからの入力に従って、テキスト情報を生成するテキスト情報生成部と、
    を備え、
    前記第2通信部は、前記テキスト情報、及び前記マーカ情報を前記医用診断装置に無線送信し、
    前記第1通信部は、前記端末装置から無線送信された前記テキスト情報及び前記マーカ情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させ、
    前記第1通信部と前記第2通信部の間の通信は、前記第1表示部の画面の所定位置に表示されたパスワードを、前記端末装置で入力した場合に許可される、
    医用診断システム。
  2. 医用診断装置及び端末装置を含む医用診断システムであって、
    前記医用診断装置は、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記圧縮画像を前記端末装置に無線送信する第1通信部と、
    を備え、
    前記端末装置は、
    前記医用診断装置から無線送信された前記圧縮画像を受信する第2通信部と、
    前記第1表示部における前記医用画像の表示と実質的に同期するように、前記圧縮画像を第2表示部に表示させる第2表示制御部と、
    ユーザからの入力に従って、テキスト情報を生成するテキスト情報生成部と、
    を備え、
    前記第2通信部は、前記テキスト情報を前記医用診断装置に無線送信し、
    前記第1通信部は、前記端末装置から無線送信された前記テキスト情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、
    前記医用診断装置は、前記テキスト情報と前記医用画像の両方が前記第1表示部に表示されている場合、前記第1表示部の画面内の情報に関し、前記テキスト情報を含まないキャプチャ画像を生成するキャプチャ画像生成部を備える、
    医用診断システム。
  3. 医用診断装置及び端末装置を含む医用診断システムであって、
    前記医用診断装置は、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記圧縮画像を前記端末装置に無線送信する第1通信部と、
    を備え、
    前記端末装置は、
    前記医用診断装置から無線送信された前記圧縮画像を受信する第2通信部と、
    前記第1表示部における前記医用画像の表示と実質的に同期するように、前記圧縮画像を第2表示部に表示させる第2表示制御部と、
    ユーザからの入力に従って、前記圧縮画像上の位置を示す位置情報を含むマーカ情報を生成するマーカ情報生成部と、
    ユーザからの入力に従って、テキスト情報を生成するテキスト情報生成部と、
    を備え、
    前記第2通信部は、前記テキスト情報、及び前記マーカ情報を前記医用診断装置に無線送信し、
    前記第1通信部は、前記端末装置から無線送信された前記テキスト情報及び前記マーカ情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させ、
    前記医用診断装置は、
    前記医用画像上に前記マーカが表示されている場合、前記マーカを含まない前記医用画像及び時刻情報を関連付けて記憶回路に記録する医用画像記録部と、
    前記テキスト情報、前記医用画像及び前記マーカが前記第1表示部に表示されている場合、前記テキスト情報、前記マーカ情報及び前記時刻情報を含むログ情報を前記記憶回路に記録するログ記録部と、
    を備え、
    前記第1表示制御部は、ユーザによって指定された時刻情報に基づいて、前記記憶回路内の前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、且つ前記記憶回路内の前記マーカ情報に基づいて、前記医用画像上に前記マーカを表示させる、
    用診断システム。
  4. 医用診断装置及び端末装置を含む医用診断システムであって、
    前記医用診断装置は、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記圧縮画像を前記端末装置に無線送信する第1通信部と、
    を備え、
    前記端末装置は、
    前記医用診断装置から無線送信された前記圧縮画像を受信する第2通信部と、
    前記第1表示部における前記医用画像の表示と実質的に同期するように、前記圧縮画像を第2表示部に表示させる第2表示制御部と、
    ユーザからの入力に従って、前記圧縮画像上の位置を示す位置情報を含むマーカ情報を生成するマーカ情報生成部と、
    ユーザからの入力に従って、テキスト情報を生成するテキスト情報生成部と、
    を備え、
    前記第2通信部は、前記テキスト情報、及び前記マーカ情報を前記医用診断装置に無線送信し、
    前記第1通信部は、前記端末装置から無線送信された前記テキスト情報及び前記マーカ情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させると共に、当該マーカの軌跡を所定時間だけ前記医用画像上に表示させる、
    用診断システム。
  5. 前記第1通信部と前記第2通信部の間の通信は、外部サーバを介さずに直接的に実行される、請求項1乃至請求項4のいずれか一項に記載の医用診断システム。
  6. 前記第1表示制御部は、前記第1表示部の画面の、前記医用画像に重ならない位置に前記テキスト情報を表示させる、請求項1乃至請求項4のいずれか一項に記載の医用診断システム。
  7. 前記第1通信部と前記第2通信部の間の通信は、前記第1表示部の画面の所定位置に表示されたパスワードを、前記端末装置で入力した場合に許可される、請求項2乃至請求項4のいずれか一項に記載の医用診断システム。
  8. 前記スキャン部は、超音波プローブを含む、請求項1乃至請求項5のいずれか一項に記載の医用診断システム。
  9. 前記医用診断装置は、
    前記キャプチャ画像及び時刻情報を関連付けて記憶回路に記録するキャプチャ画像記録部と、
    前記テキスト情報と前記医用画像の両方が前記第1表示部に表示されている場合、前記テキスト情報及び前記時刻情報を含むログ情報を前記記憶回路に記録するログ記録部と、
    を備え、
    前記第1表示制御部は、ユーザによって指定された時刻情報に基づいて、前記記憶回路内の前記テキスト情報を前記キャプチャ画像と共に前記第1表示部に表示させる、
    請求項2に記載の医用診断システム。
  10. 前記第1通信部は、前記端末装置から無線送信されたコマンド信号を受信し、
    前記第1表示制御部は、前記コマンド信号に基づいて、前記第1表示部に表示中の医用画像の画質を変更する、
    請求項1乃至請求項4のいずれか一項に記載の医用診断システム。
  11. 前記圧縮部は、前記マーカを含む前記医用画像を圧縮することにより新たな圧縮画像を生成し、
    前記第1通信部は、前記新たな圧縮画像を前記端末装置に無線送信し、
    前記第2通信部は、前記医用診断装置から無線送信された前記新たな圧縮画像を受信し、
    前記第2表示制御部は、前記第1表示部における前記マーカを含む前記医用画像の表示と実質的に同期するように、前記新たな圧縮画像を第2表示部に表示させる、
    請求項1、請求項3及び請求項4のいずれか一項に記載の医用診断システム。
  12. 端末装置に通信可能な医用診断装置であって、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記生成された圧縮画像を前記端末装置に無線送信する第1通信部と、
    前記第1表示部の画面の所定位置に表示されたパスワードを前記端末装置で入力した場合に、前記第1通信部と前記端末装置との間の通信を許可する認証部と、
    を備え
    前記第1通信部は、前記端末装置で生成され、前記端末装置から無線送信されたテキスト情報、及び前記端末装置に表示された前記圧縮画像上の位置を示す位置情報を含み、前記端末装置で生成され、前記端末装置から無線送信されたマーカ情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させる、
    医用診断装置。
  13. 端末装置に通信可能な医用診断装置であって、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記生成された圧縮画像を前記端末装置に無線送信する第1通信部と、
    前記第1表示部の画面内の情報に関し、キャプチャ画像を生成するキャプチャ画像生成部と、
    を備え、
    前記第1通信部は、前記圧縮画像を表示する前記端末装置で生成され、前記端末装置から無線送信されたテキスト情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、
    前記キャプチャ画像生成部は、前記テキスト情報と前記医用画像の両方が前記第1表示部に表示されている場合、前記テキスト情報を含まない前記キャプチャ画像を生成する、
    医用診断装置。
  14. 端末装置に通信可能な医用診断装置であって、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記生成された圧縮画像を前記端末装置に無線送信する第1通信部と、
    医用画像記録部と、
    ログ記録部と、
    を備え、
    前記第1通信部は、前記端末装置で生成され、前記端末装置から無線送信されたテキスト情報、及び前記端末装置に表示された前記圧縮画像上の位置を示す位置情報を含み、前記端末装置で生成され、前記端末装置から無線送信されたマーカ情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させ、
    前記医用画像記録部は、前記医用画像上に前記マーカが表示されている場合、前記マーカを含まない前記医用画像及び時刻情報を関連付けて記憶回路に記録し、
    前記ログ記録部は、前記テキスト情報、前記医用画像及び前記マーカが前記第1表示部に表示されている場合、前記テキスト情報、前記マーカ情報及び前記時刻情報を含むログ情報を前記記憶回路に記録し、
    前記第1表示制御部は、ユーザによって指定された時刻情報に基づいて、前記記憶回路内の前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、且つ前記記憶回路内の前記マーカ情報に基づいて、前記医用画像上に前記マーカを表示させる、
    用診断装置。
  15. 端末装置に通信可能な医用診断装置であって、
    スキャン部からの出力に基づいて医用画像を生成する医用画像生成部と、
    前記医用画像を第1表示部に表示させる第1表示制御部と、
    前記医用画像を圧縮することにより圧縮画像を生成する圧縮部と、
    前記生成された圧縮画像を前記端末装置に無線送信する第1通信部と、
    を備え、
    前記第1通信部は、前記端末装置で生成され、前記端末装置から無線送信されたテキスト情報、及び前記端末装置に表示された前記圧縮画像上の位置を示す位置情報を含み、前記端末装置で生成され、前記端末装置から無線送信されたマーカ情報を受信し、
    前記第1表示制御部は、前記テキスト情報を前記医用画像と共に前記第1表示部に表示させ、前記マーカ情報に基づいて、前記医用画像上にマーカを表示させると共に、当該マーカの軌跡を所定時間だけ前記医用画像上に表示させる、
    用診断装置。
  16. 前記第1表示制御部は、前記第1表示部の画面の、前記医用画像に重ならない位置に前記テキスト情報を表示させる、請求項12乃至請求項15のいずれか一項に記載の医用診断装置。
  17. 前記第1表示部の画面の所定位置に表示されたパスワードを前記端末装置で入力した場合に、前記第1通信部と前記端末装置との間の通信を許可する認証部を備えた、請求項13乃至請求項15のいずれか一項に記載の医用診断装置。
  18. 前記スキャン部は、超音波プローブを含む、請求項12乃至請求項16のいずれか一項に記載の医用診断装置。
  19. 前記キャプチャ画像及び時刻情報を関連付けて記憶回路に記録するキャプチャ画像記録部と、
    前記テキスト情報と前記医用画像の両方が前記第1表示部に表示されている場合、前記テキスト情報及び前記時刻情報を含むログ情報を前記記憶回路に記録するログ記録部と、
    を備え、
    前記第1表示制御部は、ユーザによって指定された時刻情報に基づいて、前記記憶回路内の前記テキスト情報を前記キャプチャ画像と共に前記第1表示部に表示させる、
    請求項13に記載の医用診断装置。
  20. 前記第1通信部は、前記端末装置から無線送信されたコマンド信号を受信し、
    前記第1表示制御部は、前記コマンド信号に基づいて、前記第1表示部に表示中の医用画像の画質を変更する、
    請求項12乃至請求項15のいずれか一項に記載の医用診断装置。
JP2016105191A 2016-05-26 2016-05-26 医用診断システム及び医用診断装置 Active JP6744132B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016105191A JP6744132B2 (ja) 2016-05-26 2016-05-26 医用診断システム及び医用診断装置
US15/605,274 US10609322B2 (en) 2016-05-26 2017-05-25 Medical diagnostic apparatus and medical diagnostic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016105191A JP6744132B2 (ja) 2016-05-26 2016-05-26 医用診断システム及び医用診断装置

Publications (2)

Publication Number Publication Date
JP2017209339A JP2017209339A (ja) 2017-11-30
JP6744132B2 true JP6744132B2 (ja) 2020-08-19

Family

ID=60418602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016105191A Active JP6744132B2 (ja) 2016-05-26 2016-05-26 医用診断システム及び医用診断装置

Country Status (2)

Country Link
US (1) US10609322B2 (ja)
JP (1) JP6744132B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11759180B2 (en) 2018-05-30 2023-09-19 Canon Medical Systems Corporation Medical system and medical information transfer method
JP7171271B2 (ja) * 2018-07-04 2022-11-15 キヤノンメディカルシステムズ株式会社 医用情報表示装置
US11364008B2 (en) * 2019-09-30 2022-06-21 Turner Imaging Systems, Inc. Image compression for x-ray imaging devices
JP7413014B2 (ja) 2019-12-27 2024-01-15 キヤノンメディカルシステムズ株式会社 医用画像診断システム
TWI755014B (zh) * 2020-08-05 2022-02-11 台達電子工業股份有限公司 一種基於即時網路技術的影像同步處理系統及其方法
JP7422101B2 (ja) 2021-02-09 2024-01-25 富士フイルムヘルスケア株式会社 超音波診断システム
CN114424948B (zh) * 2021-12-15 2024-05-24 上海交通大学医学院附属瑞金医院 一种分布式的超声扫查系统及通信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418480B2 (en) * 2001-10-25 2008-08-26 Ge Medical Systems Global Technology Company, Llc Medical imaging data streaming
JP2006115986A (ja) * 2004-10-20 2006-05-11 Matsushita Electric Ind Co Ltd 超音波診断装置
EP2090997A1 (en) * 2008-02-08 2009-08-19 ISEEU Global Limited Conveying real time medical data
FR2934695B1 (fr) * 2008-07-31 2011-07-15 Intelligence In Medical Technologies Procede et systeme de centralisation de construction d'images
JP5331431B2 (ja) 2008-09-30 2013-10-30 株式会社東芝 超音波診断装置
JP5966712B2 (ja) * 2012-07-19 2016-08-10 コニカミノルタ株式会社 医用画像生成装置及び医用画像管理システム
US9021358B2 (en) * 2013-03-15 2015-04-28 eagleyemed, Inc. Multi-site video based computer aided diagnostic and analytical platform
JP5632035B2 (ja) 2013-03-29 2014-11-26 沖電気工業株式会社 遠隔作業支援システム及び遠隔作業支援プログラム
KR101534089B1 (ko) * 2013-06-25 2015-07-06 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
WO2015002409A1 (en) * 2013-07-01 2015-01-08 Samsung Electronics Co., Ltd. Method of sharing information in ultrasound imaging
JP6514486B2 (ja) * 2014-10-29 2019-05-15 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用システム及び医用装置並びにプログラム
US10646199B2 (en) * 2015-10-19 2020-05-12 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique

Also Published As

Publication number Publication date
US10609322B2 (en) 2020-03-31
JP2017209339A (ja) 2017-11-30
US20170347056A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6744132B2 (ja) 医用診断システム及び医用診断装置
JP6274421B2 (ja) 超音波診断装置及びその制御プログラム
JP5230589B2 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
US9192356B2 (en) Ultrasound diagnosis apparatus
JP6073563B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
US11241216B2 (en) Method of controlling portable information terminal and medical diagnostic imaging apparatus
JP2009082402A (ja) 医用画像診断システム、医用撮像装置、医用画像格納装置、及び、医用画像表示装置
JP2010063543A (ja) 超音波診断装置
JP6720001B2 (ja) 超音波診断装置、及び医用画像処理装置
JP7467727B2 (ja) 医用システム、医用装置、医用情報の通信方法及び情報端末
JP6305773B2 (ja) 超音波診断装置、画像処理装置及びプログラム
JP2024026718A (ja) 超音波システムおよび超音波システムの制御方法
JP7286416B2 (ja) 医用システム、医用装置、医用情報の通信方法及び情報端末
JP2009247693A (ja) 超音波診断装置
JP2018047080A (ja) 超音波診断装置及びプログラム
JP6793497B2 (ja) 携帯情報端末の制御方法
JP6744443B2 (ja) 超音波画像診断装置及びプログラム
WO2022080184A1 (ja) 超音波診断装置および超音波診断装置の表示方法
JP6538130B2 (ja) 画像処理装置及びプログラム
JP4868845B2 (ja) 超音波診断装置、超音波計測方法
JP6658870B2 (ja) 医用診断装置、及び医用診断プログラム
WO2022080228A1 (ja) 超音波診断装置および超音波診断装置の表示方法
JP2014239841A (ja) 超音波診断装置、医用画像処理装置及び制御プログラム
JP6230918B2 (ja) 超音波画像診断装置及びプログラム
JP6104529B2 (ja) 超音波診断装置、画像生成装置及び画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200730

R150 Certificate of patent or registration of utility model

Ref document number: 6744132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150