JP7321704B2 - Medical information processing device, medical information processing system and X-ray diagnostic device - Google Patents

Medical information processing device, medical information processing system and X-ray diagnostic device Download PDF

Info

Publication number
JP7321704B2
JP7321704B2 JP2018244332A JP2018244332A JP7321704B2 JP 7321704 B2 JP7321704 B2 JP 7321704B2 JP 2018244332 A JP2018244332 A JP 2018244332A JP 2018244332 A JP2018244332 A JP 2018244332A JP 7321704 B2 JP7321704 B2 JP 7321704B2
Authority
JP
Japan
Prior art keywords
data
time
image
reference image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018244332A
Other languages
Japanese (ja)
Other versions
JP2020103516A (en
Inventor
亮一 長江
翔 佐々木
美郁 高谷
智生 藤戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018244332A priority Critical patent/JP7321704B2/en
Publication of JP2020103516A publication Critical patent/JP2020103516A/en
Application granted granted Critical
Publication of JP7321704B2 publication Critical patent/JP7321704B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明の実施形態は、医用情報処理装置、医用情報処理システムおよびX線診断装置に関する。 TECHNICAL FIELD Embodiments of the present invention relate to a medical information processing apparatus, a medical information processing system, and an X-ray diagnostic apparatus.

従来、医師が手技中に参照したい画像がある場合、技師または当該医師は、複数の画像の中から所望の画像を選択し、選択された画像を参照モニタに表示させる必要がある。しかし、技師にとって、医師の所望する画像を表示させるには、医師の指示内容を正確に理解する必要があり、負担が大きい場合がある。また、医師が自ら所望する画像を表示させることは、手技の妨げになるため、医師の負担が大きい場合がある。 Conventionally, when a doctor wants to refer to an image during a procedure, the technician or the doctor has to select the desired image from among a plurality of images and display the selected image on the reference monitor. However, in order to display an image desired by the doctor, it is necessary for the technician to correctly understand the content of the doctor's instructions, which may be a heavy burden. In addition, displaying an image desired by a doctor hinders the procedure, which may impose a heavy burden on the doctor.

特開2010-88709号公報JP 2010-88709 A

本発明が解決使用とする課題は、手技中における参照画像を表示させる負担を低減することである。 An object of the present invention is to reduce the burden of displaying a reference image during a procedure.

実施形態に係る医用情報処理装置は、取得部と、時系列データ生成部と、処理部とを備える。取得部は、手技中において、第1のデータと、第1のデータとは異なる第2のデータとを取得する。時系列データ生成部は、第1のデータと第2のデータとに基づいて、時系列データを生成する。処理部は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成する。 A medical information processing apparatus according to an embodiment includes an acquisition unit, a time-series data generation unit, and a processing unit. The acquiring unit acquires first data and second data different from the first data during the procedure. The time-series data generator generates time-series data based on the first data and the second data. The processing unit generates information for identifying a reference image by inputting time-series data to a trained model that generates information for identifying a reference image based on time-series data.

図1は、第1の実施形態に係るX線診断装置の構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of an X-ray diagnostic apparatus according to the first embodiment. 図2は、第1の実施形態に係る特徴量算出機能において用いられる学習済みモデルの概要の一例を示す図である。FIG. 2 is a diagram illustrating an example of an outline of a trained model used in the feature amount calculation function according to the first embodiment; 図3は、第1の実施形態に係る参照画像特定処理の手順の一例を示すフローチャートである。FIG. 3 is a flowchart illustrating an example of a procedure of reference image identification processing according to the first embodiment. 図4は、第1の実施形態に係る手技中のデータを取得するタイミングの一例を説明するための図である。FIG. 4 is a diagram for explaining an example of timing for acquiring data during a procedure according to the first embodiment. 図5は、第1の実施形態に係る時系列データ生成機能の動作を模式的に示す図である。FIG. 5 is a diagram schematically showing the operation of the time-series data generation function according to the first embodiment. 図6は、図4に関する時系列データの一例を示す図である。FIG. 6 is a diagram showing an example of time-series data related to FIG. 図7は、第1の実施形態に係る学習済みモデルの動作を模式的に示す図である。FIG. 7 is a diagram schematically showing operations of a trained model according to the first embodiment. 図8は、第1の実施形態に係る手技中のデータを取得するタイミングの他の一例を説明するための図である。FIG. 8 is a diagram for explaining another example of timing for acquiring data during a procedure according to the first embodiment. 図9は、図8に関する時系列データの一例を示す図である。FIG. 9 is a diagram showing an example of time-series data related to FIG. 図10は、第2の実施形態に係る医用情報処理システムの構成例を示すブロック図である。FIG. 10 is a block diagram showing a configuration example of a medical information processing system according to the second embodiment. 図11は、第3の実施形態に係る医用情報処理システムの構成例を示すブロック図である。FIG. 11 is a block diagram showing a configuration example of a medical information processing system according to the third embodiment. 図12は、各実施形態に係る処理回路の他の構成例を示すブロック図である。FIG. 12 is a block diagram showing another configuration example of the processing circuit according to each embodiment. 図13は、図12の処理回路を用いた場合の参照画像特定処理の手順の一例を示すフローチャートである。FIG. 13 is a flow chart showing an example of a procedure of reference image identification processing when using the processing circuit of FIG. 図14は、各実施形態に係る処理回路の他の構成例を示すブロック図である。FIG. 14 is a block diagram showing another configuration example of the processing circuit according to each embodiment. 図15は、図14の処理回路を用いた場合の学習データ生成処理の手順の一例を示すフローチャートである。FIG. 15 is a flow chart showing an example of a learning data generation process procedure when the processing circuit of FIG. 14 is used.

以下、図面を参照しながら、医用情報処理装置、医用情報処理システムおよびX線診断装置の実施形態について詳細に説明する。 Hereinafter, embodiments of a medical information processing apparatus, a medical information processing system, and an X-ray diagnostic apparatus will be described in detail with reference to the drawings.

(第1の実施形態)
図1は、第1の実施形態に係るX線診断装置の構成例を示すブロック図である。図1のX線診断装置1は、X線高電圧装置2と、X線管3、X線検出器4、サポートフレーム5および天板6を有する寝台と、マイクロフォン7と、入力インタフェース8と、ライブ用ディスプレイ9aと、参照用ディスプレイ9bと、制御回路10と、通信インタフェース11と、記憶回路12と、処理回路13とを備える。X線診断装置1は、例えば、血管造影検査などで用いられる循環器用X線透視診断装置に相当する。また、X線診断装置1は、例えば、消化管造影検査などで用いられるX線透視診断装置などでもよい。
(First embodiment)
FIG. 1 is a block diagram showing a configuration example of an X-ray diagnostic apparatus according to the first embodiment. The X-ray diagnostic apparatus 1 of FIG. 1 includes an X-ray high voltage device 2, an X-ray tube 3, an X-ray detector 4, a bed having a support frame 5 and a tabletop 6, a microphone 7, an input interface 8, It comprises a live display 9 a , a reference display 9 b , a control circuit 10 , a communication interface 11 , a storage circuit 12 and a processing circuit 13 . The X-ray diagnostic apparatus 1 corresponds to, for example, a circulatory X-ray fluoroscopic diagnostic apparatus used for angiography. Also, the X-ray diagnostic apparatus 1 may be, for example, an X-ray fluoroscopic diagnostic apparatus used in a gastrointestinal imaging examination.

なお、本実施形態の応用例として、X線診断装置1における各部および各回路などを医用情報処理装置で実現する場合には、医用情報処理装置100は、図1における破線の枠内の構成を有する。即ち、医用情報処理装置100は、マイクロフォン7と、通信インタフェース11と、記憶回路12と、処理回路13とを備える。尚、医用情報処理装置100として利用する場合、処理回路13は、後述する画像発生機能13aを含まなくてもよい。 As an application example of the present embodiment, when each unit and each circuit in the X-ray diagnostic apparatus 1 are realized by a medical information processing apparatus, the medical information processing apparatus 100 has the configuration within the dashed frame in FIG. have. Specifically, the medical information processing apparatus 100 includes a microphone 7 , a communication interface 11 , a memory circuit 12 and a processing circuit 13 . When used as the medical information processing apparatus 100, the processing circuit 13 may not include the image generation function 13a described later.

X線高電圧装置2は、X線管3に印加する管電流と、X線管3に印加する管電圧とを発生する。X線高電圧装置2は、制御回路10による制御のもとで、X線撮影およびX線透視にそれぞれ適した管電流をX線管3に印加し、X線撮影およびX線透視にそれぞれ適した管電圧をX線管3に印加する。X線高電圧装置2は、例えば、インバータ制御方式の高電圧装置に相当する。 The X-ray high voltage device 2 generates a tube current applied to the X-ray tube 3 and a tube voltage applied to the X-ray tube 3 . The X-ray high-voltage device 2 applies a tube current suitable for X-ray imaging and X-ray fluoroscopy to the X-ray tube 3 under the control of the control circuit 10, and provides an X-ray tube current suitable for X-ray imaging and X-ray fluoroscopy. Then, the tube voltage is applied to the X-ray tube 3 . The X-ray high-voltage device 2 corresponds to, for example, an inverter-controlled high-voltage device.

X線管3は、X線高電圧装置2から印加された管電流と、X線高電圧装置2から印加された管電圧とに基づいてX線を発生する。X線管3によって発生されたX線は、被検体Pに照射される。X線管3は、例えば、回転陽極型のX線管に相当する。また、X線管3は、例えば、固定陽極型のX線管などでもよい。 The X-ray tube 3 generates X-rays based on the tube current applied from the X-ray high voltage device 2 and the tube voltage applied from the X-ray high voltage device 2 . The subject P is irradiated with X-rays generated by the X-ray tube 3 . The X-ray tube 3 corresponds to, for example, a rotating anode type X-ray tube. Also, the X-ray tube 3 may be, for example, a fixed anode type X-ray tube.

X線検出器4は、X線管3から発生され、被検体Pを透過したX線を検出する。X線検出器4は、例えば、X線を検出することができるフラットパネルディテクタ(Flat Panel Detector:FPD)を備える。FPDは、複数の半導体検出素子を有する。半導体検出素子には、間接変換形と直接変換形とがある。間接変換形とは、入射X線を蛍光体などのシンチレータによって光に変換し、変換された光を電気信号に変換する形式である。直接変換形とは、入射X線を直接的に電気信号に変換する形式である。尚、X線検出器4として、イメージインテンシファイア(Imageintensifier)が用いられてもよい。 The X-ray detector 4 detects X-rays emitted from the X-ray tube 3 and transmitted through the subject P. FIG. The X-ray detector 4 includes, for example, a flat panel detector (FPD) capable of detecting X-rays. The FPD has multiple semiconductor detector elements. There are two types of semiconductor detection elements: indirect conversion type and direct conversion type. The indirect conversion type is a type in which incident X-rays are converted into light by a scintillator such as a phosphor, and the converted light is converted into an electric signal. The direct conversion type is a type in which incident X-rays are directly converted into electric signals. An image intensifier may be used as the X-ray detector 4 .

X線の入射に伴って複数の半導体検出素子で発生された電気信号は、図示しないアナログディジタル変換器(Analog to Digital converter:A/D変換器)に出力される。A/D変換器は、電気信号をディジタルデータに変換する。A/D変換器は、ディジタルデータを、処理回路13に出力する。 Electrical signals generated by a plurality of semiconductor detection elements accompanying the incidence of X-rays are output to an analog-to-digital converter (A/D converter) (not shown). The A/D converter converts electrical signals into digital data. The A/D converter outputs digital data to the processing circuit 13 .

サポートフレーム5は、互いに対向配置されたX線管3およびX線検出器4を移動可能に支持する。サポートフレーム5は、撮像対象およびX線管3の位置関係を設定することができる。具体的には、サポートフレーム5は、Cアームに相当する。尚、サポートフレーム5として、Cアームの代わりに、Ωアームが用いられてもよい。また、サポートフレーム5は、CアームおよびΩアームによる構造に限定されず、例えば、X線管3およびX線検出器4をそれぞれ独立に支持する2つのアーム(例えばロボットアームなど)による構造を有していてもよい。また、サポートフレーム5は、オーバーチューブ方式(over tube system)、およびアンダーチューブ方式(under tube system)などに限定されず任意の形態に適用可能である。 The support frame 5 movably supports the X-ray tube 3 and the X-ray detector 4 arranged to face each other. The support frame 5 can set the positional relationship between the object to be imaged and the X-ray tube 3 . Specifically, the support frame 5 corresponds to a C-arm. An Ω-arm may be used as the support frame 5 instead of the C-arm. Further, the support frame 5 is not limited to a structure with a C arm and an Ω arm, and has a structure with two arms (for example, a robot arm, etc.) that independently support the X-ray tube 3 and the X-ray detector 4, respectively. You may have In addition, the support frame 5 can be applied to any form without being limited to an over tube system, an under tube system, or the like.

図示しない寝台は、被検体Pが載置される天板6(臥位テーブルとも言う)を有する。天板6には、被検体Pが載置される。 A bed (not shown) has a top plate 6 (also referred to as a lying table) on which the subject P is placed. A subject P is placed on the top plate 6 .

図示しない駆動装置は、例えば、制御回路10の制御によって、サポートフレーム5と寝台とをそれぞれ駆動する。X線透視時およびX線撮影時においては、X線管3とX線検出器4との間に、天板6に載置された被検体Pが配置される。また、駆動装置は、例えば、制御回路10の制御によって、X線管3およびサポートフレーム5を駆動する。また、駆動装置は、制御回路10の制御のもとで、X線管3に対してX線検出器4を回転させてもよい。 A driving device (not shown) drives the support frame 5 and the bed under the control of the control circuit 10, for example. During X-ray fluoroscopy and X-ray imaging, the subject P placed on the tabletop 6 is arranged between the X-ray tube 3 and the X-ray detector 4 . The driving device also drives the X-ray tube 3 and the support frame 5 under the control of the control circuit 10, for example. The driving device may also rotate the X-ray detector 4 with respect to the X-ray tube 3 under the control of the control circuit 10 .

マイクロフォン7は、例えば接話マイクである。マイクロフォン7は、医師の音声を取得する。マイクロフォン7は、時系列に沿って取得された音声に従って、音声情報データを生成する。マイクロフォン7は、音声情報データを、処理回路13に出力する。尚、マイクロフォン7は、指向性を有するマイクロフォンであってもよい。 The microphone 7 is, for example, a close-talking microphone. A microphone 7 picks up the doctor's voice. The microphone 7 generates audio information data according to the audio acquired along the time series. The microphone 7 outputs audio information data to the processing circuit 13 . Incidentally, the microphone 7 may be a microphone having directivity.

入力インタフェース8は、操作者からの各種指示や情報入力を受け付ける。入力インタフェース8は、制御回路10に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路10へと出力する。入力インタフェース8は、例えば、マウス等のポインティングデバイス、あるいはキーボード等の入力デバイスに相当する。 The input interface 8 receives various instructions and information input from the operator. The input interface 8 is connected to the control circuit 10 , converts an input operation received from an operator into an electric signal, and outputs the electric signal to the control circuit 10 . The input interface 8 corresponds to, for example, a pointing device such as a mouse or an input device such as a keyboard.

なお、入力インタフェース8は、マウス、キーボードなどの物理的な操作部品に限定されない。例えば、X線診断装置1とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような場合も入力インタフェース8の例に含まれる。入力インタフェース8は、操作部の一例である。 Note that the input interface 8 is not limited to physical operating parts such as a mouse and keyboard. For example, the input interface 8 can receive electrical signals corresponding to input operations from an external input device provided separately from the X-ray diagnostic apparatus 1 and output the received electrical signals to various circuits. include. The input interface 8 is an example of an operation unit.

ライブ用ディスプレイ9aおよび参照用ディスプレイ9bは、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。尚、一つのディスプレイの画面において、ライブ用ディスプレイ9aに表示される画像および参照用ディスプレイ9bに表示される画像を表示させてもよい。 The live display 9a and the reference display 9b are display devices such as, for example, CRT displays, liquid crystal displays, organic EL displays, LED displays, plasma displays, or any other displays or monitors known in the art. be. The image displayed on the live display 9a and the image displayed on the reference display 9b may be displayed on one display screen.

ライブ用ディスプレイ9aは、例えば、手技中におけるX線画像および透視画像などをリアルタイムに表示する。透視画像には、例えば、パルス透視によって撮影されたパルス透視画像、DA(Digital Angiography)撮影によって取得されたDA画像、およびDSA(Digital Subtraction Angiography)撮影によって取得されたDSA画像などがある。尚、パルス透視画像は非造影画像と称してもよく、DA画像およびDSA画像は造影画像と称してもよい。また、ライブ用ディスプレイ9aに表示される画像はライブ画像と称してもよい。 The live display 9a displays, for example, an X-ray image and a fluoroscopic image during the procedure in real time. The fluoroscopic image includes, for example, a pulse fluoroscopic image obtained by pulse fluoroscopy, a DA image obtained by DA (Digital Angiography) imaging, and a DSA image obtained by DSA (Digital Subtraction Angiography) imaging. The pulse fluoroscopic image may be referred to as a non-contrast image, and the DA and DSA images may be referred to as contrast-enhanced images. An image displayed on the live display 9a may be called a live image.

参照用ディスプレイ9bは、例えば、収集済みの画像と加工画像とのうちの少なくとも一つを表示する。収集済みの画像とは、例えば、以前に撮影された同一患者のX線画像、或いは透視画像である。加工画像とは、X線画像に対して、長さの指標を示す直線を表示させるLength、複数のフレームの画像を合成させるPeak Trace、およびアノテーションなどの加工を施した画像である。換言すれば、参照用ディスプレイ9bは、ライブ画像以外の画像を表示する。尚、収集済みの画像および加工画像は参照画像と称してもよい。 The reference display 9b displays, for example, at least one of the acquired image and the processed image. Acquired images are, for example, previously acquired X-ray images or fluoroscopic images of the same patient. A processed image is an X-ray image that has undergone processing such as Length for displaying a straight line indicating a length, Peak Trace for synthesizing images of a plurality of frames, and annotation. In other words, the reference display 9b displays images other than live images. Note that the collected images and processed images may be referred to as reference images.

制御回路10は、X線診断装置1における各部、各回路、および駆動装置などを制御するプロセッサである。制御回路10は、入力インタフェース8から送られてくる操作者の指示などの情報を、図示しないメモリに一時的に記憶する。制御回路10は、メモリに記憶された操作者の指示などに従って、X線撮影およびX線透視を実行するために、X線高電圧装置2、X線検出器4および駆動装置などを制御する。制御回路10は、例えば、サポートフレーム5の角度および線源受像面間距離(Source Image Distance:SID)を制御する。SIDとは、X線管3の管球焦点とX線検出器4との距離である。 The control circuit 10 is a processor that controls each part, each circuit, driving device, and the like in the X-ray diagnostic apparatus 1 . The control circuit 10 temporarily stores information such as an operator's instruction sent from the input interface 8 in a memory (not shown). The control circuit 10 controls the X-ray high-voltage device 2, the X-ray detector 4, the driving device, etc. in order to perform X-ray imaging and X-ray fluoroscopy according to operator's instructions stored in memory. The control circuit 10 controls, for example, the angle of the support frame 5 and the source image distance (SID). SID is the distance between the tube focus of the X-ray tube 3 and the X-ray detector 4 .

通信インタフェース11は、例えば、ネットワークインタフェースカード(Network Interface Card:NIC)が使用可能となっている。通信インタフェース11は、例えば、ネットワークおよび図示しない外部記憶装置との通信に関する回路である。X線診断装置1によって得られたX線画像などは、通信インタフェース11およびネットワークを介して他の装置に転送可能である。以降の説明では、X線診断装置1とネットワークに接続された他の装置との通信などにおいて、通信インタフェース11が介在する旨の記載を省略する。 For the communication interface 11, for example, a network interface card (NIC) can be used. The communication interface 11 is, for example, a circuit related to communication with a network and an external storage device (not shown). X-ray images and the like obtained by the X-ray diagnostic apparatus 1 can be transferred to other apparatuses via the communication interface 11 and a network. In the following description, the description that the communication interface 11 intervenes in the communication between the X-ray diagnostic apparatus 1 and other apparatuses connected to the network will be omitted.

記憶回路12は、例えば、HDD(Hard Disk Drive)などの電気的情報を記録するメモリと、当該メモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成される。メモリとしては、HDDに限らず、SSD(ソリッドステートドライブ)、磁気ディスク(フロッピー(登録商標)ディスクなど)、光ディスク(CD、DVD、Blu-ray(登録商標)など)、および半導体メモリなどが適宜、使用可能となっている。 The storage circuit 12 includes, for example, a memory such as a HDD (Hard Disk Drive) that records electrical information, and peripheral circuits such as a memory controller and a memory interface attached to the memory. The memory is not limited to HDD, SSD (solid state drive), magnetic disk (floppy (registered trademark) disk, etc.), optical disk (CD, DVD, Blu-ray (registered trademark), etc.), semiconductor memory, etc. , is enabled.

記憶回路12は、後述する画像発生機能13aによって発生された種々のX線画像、X線診断装置1のシステム制御プログラム、制御回路10において実行される診断プロトコル、入力インタフェース8から送られてくる操作者の指示、X線撮影に関する撮影条件およびX線透視に関する透視条件などの各種データ群、エラー情報、およびネットワークを介して送られてくる種々のデータなどを記憶する。 The storage circuit 12 stores various X-ray images generated by an image generating function 13a, which will be described later, a system control program for the X-ray diagnostic apparatus 1, diagnostic protocols executed in the control circuit 10, and operations sent from the input interface 8. It stores various data groups such as operator's instructions, imaging conditions for X-ray imaging and fluoroscopy conditions for X-ray fluoroscopy, error information, and various data sent via the network.

記憶回路12は、学習済みモデル12aおよび参照画像DB(Data Base)12bを記憶している。記憶回路12は、X線診断装置1の工場出荷時に、学習済みモデル12aを予め記憶してもよい。または、記憶回路12は、X線診断装置1の工場出荷後に、図示しないサーバ装置などから取得した学習済みモデル12aを記憶してもよい。このことは、以下の各実施形態でも同様である。参照画像DB12bは、参照画像としての複数の医用画像を保存するデータベースである。尚、学習済みモデル12aについては後述される。 The memory circuit 12 stores a trained model 12a and a reference image DB (Data Base) 12b. The memory circuit 12 may store the learned model 12a in advance when the X-ray diagnostic apparatus 1 is shipped from the factory. Alternatively, the storage circuit 12 may store the learned model 12a acquired from a server device (not shown) or the like after the X-ray diagnostic apparatus 1 is shipped from the factory. This also applies to each of the following embodiments. The reference image DB 12b is a database that stores a plurality of medical images as reference images. The learned model 12a will be described later.

処理回路13は、ハードウェア資源として、プロセッサおよびメモリを備える。処理回路13は、操作者により入力インタフェース8を介して入力された開始指示に応じて、記憶回路12に記憶されたシステム制御プログラムを読み出す。処理回路13は、読み出した制御プログラムに従って、X線画像を発生するための画像処理に係る画像発生機能13aを実行する。 The processing circuit 13 includes a processor and memory as hardware resources. The processing circuit 13 reads the system control program stored in the storage circuit 12 in response to a start instruction input by the operator through the input interface 8 . The processing circuit 13 executes an image generation function 13a related to image processing for generating an X-ray image according to the read control program.

また、処理回路13は、読み出した制御プログラムに従って、参照画像を特定するための処理(参照画像特定処理)に係る各機能を実行する。上記各機能は、例えば、取得機能13b、変換機能13c、時系列データ生成機能13d、特徴量算出機能13eおよび画像特定機能13fなどがある。 Further, the processing circuit 13 executes each function related to processing for specifying a reference image (reference image specifying processing) according to the read control program. The above functions include, for example, an acquisition function 13b, a conversion function 13c, a time-series data generation function 13d, a feature value calculation function 13e, and an image specification function 13f.

処理回路13は、画像発生機能13aにより、X線検出器4からA/D変換器を介して出力されたディジタルデータに基づいてX線画像を発生する。処理回路13は、発生したX線画像を記憶回路12および外部記憶装置(図示せず)などに出力する。尚、処理回路13は、リアルタイムに撮影されたX線画像(透視画像)を順次ライブ用ディスプレイ9aへと出力してもよい。 The processing circuit 13 uses the image generating function 13a to generate an X-ray image based on the digital data output from the X-ray detector 4 via the A/D converter. The processing circuit 13 outputs the generated X-ray image to the storage circuit 12 and an external storage device (not shown). The processing circuit 13 may sequentially output the X-ray images (perspective images) captured in real time to the live display 9a.

処理回路13は、取得機能13bにより、手技中のデータを取得する。手技中のデータは、例えば、音声情報データ、機械情報データおよび画像情報データなどである。具体的には、処理回路13は、マイクロフォン7から音声情報データを取得する。尚、音声情報データ、機械情報データおよび画像情報データは、それぞれデータ形式が異なる。 The processing circuit 13 acquires data during the procedure using the acquisition function 13b. The data during the procedure are, for example, voice information data, machine information data, image information data, and the like. Specifically, the processing circuit 13 acquires voice information data from the microphone 7 . The audio information data, machine information data, and image information data have different data formats.

また、処理回路13は、制御回路10から機械情報データを取得してもよい。機械情報データは、例えば、撮像対象およびX線管の位置関係に関する情報であり、具体的には、サポートフレーム5の角度の情報およびSIDの情報である。 The processing circuit 13 may also acquire machine information data from the control circuit 10 . The mechanical information data is, for example, information about the positional relationship between the object to be imaged and the X-ray tube, and specifically, information about the angle of the support frame 5 and information about the SID.

また、処理回路13は、各種ディスプレイに表示される表示画像に関する情報を取得してもよい。具体的には、処理回路13は、ライブ用ディスプレイ9aに表示されているライブ画像の種類についての画像情報データを取得する。画像情報データは、例えば、ライブ画像に対応付けられるライブ画像の種類(パルス透視画像、DA画像およびDSA画像など)を示す情報である。 In addition, the processing circuit 13 may acquire information about display images displayed on various displays. Specifically, the processing circuit 13 acquires image information data about the type of live image displayed on the live display 9a. The image information data is, for example, information indicating the type of live image (pulse fluoroscopy image, DA image, DSA image, etc.) associated with the live image.

なお、処理回路13は、手技中のデータのうちの第1のデータと、第1のデータとはデータ形式の異なる第2のデータとを並行して取得してもよい。具体的には、処理回路13は、例えば、第1のデータである音声情報データの取得と並行して、第2のデータである機械情報データおよび画像情報データの少なくとも一方を取得してもよい。また、処理回路13は、並行して取得された複数のデータと、取得された時刻とを対応付けてもよい。 Note that the processing circuit 13 may acquire in parallel the first data among the data during the procedure and the second data having a data format different from that of the first data. Specifically, for example, the processing circuit 13 may acquire at least one of the mechanical information data and the image information data as the second data in parallel with acquiring the audio information data as the first data. . Further, the processing circuit 13 may associate a plurality of pieces of data acquired in parallel with the acquired time.

処理回路13は、変換機能13cにより、取得された各種データを共通のデータ形式に変換する。例えば、処理回路13は、音声情報データに対して音声認識処理を行うことによって、医師の音声の内容を表すテキスト形式の音声認識結果を生成する。音声認識処理には、例えば、形態素解析などの処理を含む。また、処理回路13は、例えば、機械情報データおよび画像情報データをそれぞれテキスト形式へと変換する。尚、処理回路13は、音声認識結果として、例えば名詞など、特定の品詞のみを抽出してもよい。 The processing circuit 13 converts the acquired various data into a common data format by the conversion function 13c. For example, the processing circuit 13 generates a text-format speech recognition result representing the content of the doctor's speech by performing speech recognition processing on the speech information data. The speech recognition processing includes, for example, processing such as morphological analysis. The processing circuit 13 also converts the machine information data and the image information data into text format, for example. Note that the processing circuit 13 may extract only a specific part of speech, such as a noun, as the speech recognition result.

処理回路13は、時系列データ生成機能13dにより、共通のデータ形式に変換された、音声情報データ、機械情報データおよび画像情報データから時系列データを生成する。本実施形態における時系列データは、時刻に対応するデータの集合だけでなく、処理される順番が規定されたデータの集合も含まれる。尚、処理される順番のそれぞれは、ステップと呼称してもよい。 The processing circuit 13 generates time-series data from the audio information data, machine information data, and image information data converted into a common data format by the time-series data generation function 13d. The time-series data in this embodiment includes not only a set of data corresponding to time but also a set of data whose processing order is specified. Note that each order of processing may be referred to as a step.

処理回路13は、特徴量算出機能13eにより、生成された時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、当該時系列データを入力することにより、参照画像を特定するための情報を生成する。参照画像を特定するための情報は、例えば、参照画像の特徴量である。参照画像の特徴量は、例えば、参照画像におけるエッジ方向の特徴を数値化した情報、および参照画像における輝度分布の特徴を数値化した情報などである。換言すると、処理回路13は、生成された時系列データを学習済みモデルへ入力することにより、参照画像の特徴量を算出する。 The processing circuit 13 inputs the time-series data to a trained model that generates information for specifying a reference image based on the generated time-series data by the feature amount calculation function 13e. Generate information for identifying an image. Information for identifying the reference image is, for example, the feature amount of the reference image. The feature amount of the reference image is, for example, information obtained by digitizing the feature of the edge direction in the reference image, information obtained by digitizing the feature of the luminance distribution in the reference image, and the like. In other words, the processing circuit 13 calculates the feature amount of the reference image by inputting the generated time-series data to the trained model.

処理回路13は、画像特定機能13fにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路13は、算出された特徴量(参照画像の特徴量)に基づいて、参照画像DB12bに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。 The processing circuit 13 uses the image specifying function 13f to specify the reference image based on the calculated feature amount. Specifically, based on the calculated feature amount (feature amount of the reference image), the processing circuit 13 selects the feature amount closest to the calculated feature amount from the plurality of medical images stored in the reference image DB 12b. Identify the reference images that you have.

なお、処理回路13は、自身のメモリに学習済みモデル12aを記憶してもよい。即ち、記憶回路12にプログラム(学習済みモデル12a)を保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、学習済みモデル12aを特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)などの回路に実装し、当該回路を処理回路13に組み込ませてもよい。また、処理回路13は、制御回路10が有する機能を有していてもよい。この場合、制御回路10は不要となる。 Note that the processing circuit 13 may store the learned model 12a in its own memory. That is, instead of storing the program (learned model 12a) in the memory circuit 12, the program may be directly incorporated into the circuit of the processor. In this case, the processor realizes its function by reading and executing the program embedded in the circuit. In addition, the trained model 12a is mounted on a circuit such as an application specific integrated circuit (ASIC) and a field programmable gate array (FPGA), and the circuit is incorporated into the processing circuit 13. good too. Moreover, the processing circuit 13 may have the functions that the control circuit 10 has. In this case, the control circuit 10 becomes unnecessary.

図2は、第1の実施形態に係る特徴量算出機能において用いられる学習済みモデルの概要の一例を示す図である。学習済みモデル12aは、多くの学習データから学習したニューラルネットワークの学習済み機械学習モデルである。学習済みモデル12aは、例えば、少なくとも一部に畳み込み層を中間層として有する深層ニューラルネットワーク(Deep Neural Network:DNN)である。 FIG. 2 is a diagram illustrating an example of an outline of a trained model used in the feature amount calculation function according to the first embodiment; The trained model 12a is a trained machine learning model of a neural network that has learned from a large amount of training data. The trained model 12a is, for example, a deep neural network (DNN) having a convolutional layer as an intermediate layer at least in part.

以下、説明を具体的にするために、DNNとして再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)を例にとり、説明する。RNNとは、テキスト情報、音声情報および動画情報などの連続的な情報データ(時系列データ)を入出力可能なニューラルネットワークである。また、RNNは、通常のニューラルネットワークと異なり、帰還経路(ループ)を有する。ここで帰還経路とは、例えば、出力層から中間層へ向かう経路および中間層から中間層へ向かう経路である。本明細書において、帰還経路を伝播するデータは、1ステップ遅れているものとする。即ち、あるステップにおける出力層から出力されたデータおよび当該ステップにおける中間層から出力されたデータは、帰還経路を通ることによって、次のステップの中間層へ再び入力される。RNNは、この帰還経路の重みwを記憶する。尚、帰還経路は、上記内容に限定されない。また、学習済みモデル12aは、例えばLSTM(Long Short-Term Memory)など、時系列データが入力可能な他の機械学習モデルであってもよい。 In the following, in order to make the description concrete, a recurrent neural network (RNN) will be described as an example of the DNN. An RNN is a neural network capable of inputting/outputting continuous information data (time-series data) such as text information, audio information, and moving image information. Also, the RNN has a feedback path (loop) unlike a normal neural network. Here, the feedback path is, for example, a path from the output layer to the intermediate layer and a path from the intermediate layer to the intermediate layer. In this specification, it is assumed that the data propagated through the feedback path is delayed by one step. That is, the data output from the output layer in a certain step and the data output from the intermediate layer in that step are input again to the intermediate layer in the next step by passing through the feedback path. The RNN stores the weight w of this feedback path. Note that the return path is not limited to the above content. Also, the trained model 12a may be other machine learning models to which time-series data can be input, such as LSTM (Long Short-Term Memory).

学習済みモデル12aは、手技中の時系列データxの入力に基づいて、参照画像の特徴量yを出力するように機能付けられている。また、学習済みモデル12aは、帰還経路の重みwをさらに利用することができる。 The trained model 12a is functioned to output the feature quantity y of the reference image based on the input of the time-series data x during the procedure. Also, the trained model 12a can further utilize the weight w of the return path.

次に、以上のように構成された第1の実施形態に係るX線診断装置1の動作について図3のフローチャートを用いて説明する。 Next, the operation of the X-ray diagnostic apparatus 1 according to the first embodiment configured as described above will be described with reference to the flowchart of FIG.

図3は、第1の実施形態に係る参照画像特定処理の手順の一例を示すフローチャートである。図3のフローチャートの参照画像特定処理は、X線診断装置1を用いた手技中に待機状態となっており、例えば、医師の発話が認識されたことを契機として、処理回路13が参照画像を特定するためのプログラム(参照画像特定プログラム)を実行することにより開始される。尚、以下の説明では、処理回路13は、画像発生機能13aにより、ライブ用ディスプレイ9aに表示するためのライブ画像を常に発生させているものとする。また、学習済みモデルは、RNNであるものとする。 FIG. 3 is a flowchart illustrating an example of a procedure of reference image identification processing according to the first embodiment. The reference image specifying process in the flowchart of FIG. 3 is in a standby state during a procedure using the X-ray diagnostic apparatus 1. For example, when the doctor's speech is recognized, the processing circuit 13 selects the reference image. It is started by executing a program for specifying (reference image specifying program). In the following description, it is assumed that the processing circuit 13 always generates a live image to be displayed on the live display 9a by the image generating function 13a. It is also assumed that the trained model is an RNN.

(ステップST101)
参照画像特定プログラムが実行されると、処理回路13は、取得機能13bにより、手技中のデータを取得する。具体的には、処理回路13は、例えば、マイクロフォン7から音声情報データを取得し、制御回路10から機械情報データを取得し、ライブ画像の種類についての画像情報データを取得する。以降では、手技中のデータの具体例として図4を用いて説明する。
(Step ST101)
When the reference image specifying program is executed, the processing circuit 13 acquires data during the procedure using the acquisition function 13b. Specifically, for example, the processing circuit 13 acquires audio information data from the microphone 7, acquires mechanical information data from the control circuit 10, and acquires image information data about the type of live image. A specific example of data during a procedure will be described below with reference to FIG.

図4は、第1の実施形態に係る手技中のデータを取得するタイミングの一例を説明するための図である。図4は、音声情報データ、機械情報データおよび画像情報データを横軸の時間方向tに沿って示している。例えば、図4では、時刻t0において医師が参照画像の表示に関する発話を開始し、時刻t1において発話を終了する事例が示される。処理回路13は、時刻t0から時刻t1までの期間において、例えば、医師の発話としての音声情報データを取得する。また、処理回路13は、医師の発話を取得し終えたタイミング(即ち、時刻t1)と同じタイミングで、例えば、機械情報データ「(RAO:a,CAU:b,SID:c)」および画像情報データ「DSA画像」を取得する。尚、発話の終了タイミング(即ち、時刻t1)は、例えば、入力インタフェース8によって指示をすることによって決定されてもよいし、発話の開始時刻から所定時間経過後に自動的に決定されてもよい。または、発話の終了タイミングは、処理回路13によって特定の単語(例えば、「見せて」)を認識した時点で決定されてもよい。 FIG. 4 is a diagram for explaining an example of timing for acquiring data during a procedure according to the first embodiment. FIG. 4 shows audio information data, machine information data, and image information data along the time direction t of the horizontal axis. For example, FIG. 4 shows a case where the doctor starts speaking about displaying a reference image at time t0 and finishes speaking at time t1. The processing circuit 13 acquires, for example, voice information data as a doctor's speech during the period from time t0 to time t1. In addition, the processing circuit 13, at the same timing as the timing when the doctor's speech is finished (that is, time t1), for example, the machine information data "(RAO: a, CAU: b, SID: c)" and the image information Acquire the data "DSA image". The speech end timing (that is, time t1) may be determined, for example, by giving an instruction through the input interface 8, or may be automatically decided after a predetermined time has elapsed from the speech start time. Alternatively, the utterance end timing may be determined when the processing circuitry 13 recognizes a specific word (for example, "show me").

(ステップST102)
手技中のデータを取得した後、処理回路13は、変換機能13cにより、取得されたデータされた各種データを共通のデータ形式に変換する。例えば、処理回路13は、音声情報データに音声認識処理を行うことによって、音声認識結果「左冠動脈、LCXの造影画像を見せて」を生成する。以降の処理では、音声認識結果における名詞(例えば、「左冠動脈」「LCX」および「造影画像」)が用いられるものとする。
(Step ST102)
After acquiring the data during the procedure, the processing circuit 13 converts the acquired various data into a common data format using the conversion function 13c. For example, the processing circuit 13 performs voice recognition processing on the voice information data to generate the voice recognition result "Show me the left coronary artery, LCX contrast image". It is assumed that the nouns in the speech recognition results (for example, "left coronary artery", "LCX" and "contrast image") are used in the subsequent processing.

(ステップST103)
取得されたデータを変換した後、処理回路13は、時系列データ生成機能13dにより、変換されたデータに基づいて、時系列データを生成する。
(Step ST103)
After converting the acquired data, the processing circuit 13 generates time-series data based on the converted data by the time-series data generation function 13d.

図5において、第1の実施形態に係る時系列データ生成機能の動作が模式的に示される。処理回路13は、時系列データ生成機能13dにより、音声情報データ21、機械情報データ22および画像情報データ23に基づいて、時系列データ24を生成する。時系列データ生成機能13dでは、音声情報データ21、機械情報データ22および画像情報データ23を組み合わせることによって、例えば、RNNへ入力する順番を規定するデータ(以下、順番データと呼ぶ)を有する、テキスト形式の時系列データ24を生成する。 FIG. 5 schematically shows the operation of the time-series data generation function according to the first embodiment. The processing circuit 13 generates time-series data 24 based on the audio information data 21, the machine information data 22, and the image information data 23 by the time-series data generation function 13d. The time-series data generation function 13d combines the audio information data 21, the mechanical information data 22, and the image information data 23 to generate, for example, data defining the order of input to the RNN (hereinafter referred to as order data). generate time-series data 24 of the form

図6は、図4に関する時系列データの一例を示す図である。図6における矢印は、RNNへのデータの入力順を示す。時刻t1に関する時系列データは、複数のデータx、x、x、xおよびxを含む。データxは、音声情報データにおける「左冠動脈」である。データxは、音声情報データにおける「LCX」である。データxは、音声情報データにおける「造影画像」である。データxは、機械情報データ「(RAO:a,CAU:b,SID:c)」である。データxは、画像情報データ「DSA画像」である。 FIG. 6 is a diagram showing an example of time-series data related to FIG. Arrows in FIG. 6 indicate the input order of data to the RNN. Time-series data for time t1 includes a plurality of data x 1 , x 2 , x 3 , x 4 and x 5 . Data x1 is "left coronary artery" in the audio information data. Data x2 is "LCX" in audio information data. Data x3 is a "contrast-enhanced image" in the audio information data. Data x4 is machine information data "(RAO: a, CAU: b, SID: c)". Data x5 is the image information data "DSA image".

(ステップST104)
時系列データを生成した後、処理回路13は、特徴量算出機能13eにより、生成された時系列データを、順番データに従って、時系列に沿って逐次的に学習済みモデルへ入力することにより、参照画像の特徴量を算出する。
(Step ST104)
After generating the time-series data, the processing circuit 13 causes the feature amount calculation function 13e to sequentially input the generated time-series data to the learned model along the time-series according to the order data, thereby obtaining the reference data. Calculate the feature amount of the image.

図7は、第1の実施形態に係る学習済みモデルの動作を模式的に示す図である。図7は、図2の学習済みモデル12aを縦軸の時間方向tにについてステップ毎に展開して表現している。即ち、学習済みモデル31から学習済みモデル35までは、入力されるデータの時刻(ステップ)が異なるものの、全て同一の学習済みモデル12aに相当する。 FIG. 7 is a diagram schematically showing operations of a trained model according to the first embodiment. FIG. 7 expresses the learned model 12a of FIG. 2 by developing it step by step in the time direction t on the vertical axis. In other words, the trained model 31 to the trained model 35 all correspond to the same trained model 12a, although the times (steps) of input data are different.

第1のステップにおいて、学習済みモデル31は、データxを入力し、データyを出力する。 In the first step, the trained model 31 inputs data x1 and outputs data y1 .

第2のステップにおいて、学習済みモデル32は、データxと、帰還経路の重みwとを入力し、データyを出力する。 In the second step, the trained model 32 inputs the data x 2 and the return path weight w 1 and outputs the data y 2 .

第3のステップにおいて、学習済みモデル33は、データxと、帰還経路の重みwとを入力し、データyを出力する。 In the third step, the trained model 33 inputs the data x3 and the return path weight w2 and outputs the data y3 .

第4のステップにおいて、学習済みモデル34は、データxと、帰還経路の重みwとを入力し、データyを出力する。 In the fourth step, the trained model 34 inputs data x 4 and return path weights w 3 and outputs data y 4 .

第5のステップにおいて、学習済みモデル35は、データxと、帰還経路の重みwt4とを入力し、データyを出力する。本実施形態では、時系列データの最後の入力に対して出力されたデータyが参照画像の特徴量に相当する。 In the fifth step, the trained model 35 inputs the data x5 and the weight of the return path wt4 and outputs the data y5 . In this embodiment, the data y5 output with respect to the last input of the time-series data corresponds to the feature amount of the reference image.

(ステップST105)
参照画像の特徴量を算出した後、処理回路13は、画像特定機能13fにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路13は、算出された特徴量に基づいて、参照画像DB12bに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。
(Step ST105)
After calculating the feature amount of the reference image, the processing circuit 13 uses the image specifying function 13f to specify the reference image based on the calculated feature amount. Specifically, based on the calculated feature amount, the processing circuit 13 identifies the reference image having the feature amount closest to the calculated feature amount from the plurality of medical images stored in the reference image DB 12b.

処理回路13は、特定した参照画像を参照用ディスプレイ9bに表示させ、参照画像特定処理を終了する。 The processing circuit 13 displays the specified reference image on the reference display 9b, and ends the reference image specifying process.

(他の具体例)
上記実施形態の具体例では、手技中における音声情報データを全て取得した後に時系列データを生成していた。しかしながら、時系列データは、一部取得された音声情報データから順次作成されてもよい。例えば、処理回路13は、変換機能13cにより音声認識結果に含まれる名詞が確定した時点において時系列データを作成する。
(Other specific examples)
In the specific example of the above embodiment, the time-series data is generated after acquiring all the voice information data during the procedure. However, the time-series data may be created sequentially from partially acquired audio information data. For example, the processing circuit 13 creates time-series data at the time when the noun included in the speech recognition result is determined by the conversion function 13c.

図8は、第1の実施形態に係る手技中のデータを取得するタイミングの他の一例を説明するための図である。図8は、音声情報データ、機械情報データおよび画像情報データを横軸の時間方向tに沿って示している。例えば、図8では、時刻t10において医師が参照画像の表示に関する発話を開始し、時刻t14において発話を終了する事例が示される。処理回路13は、時刻t10から医師の発話としての音声情報データの取得を開始する。 FIG. 8 is a diagram for explaining another example of timing for acquiring data during a procedure according to the first embodiment. FIG. 8 shows audio information data, machine information data, and image information data along the time direction t of the horizontal axis. For example, FIG. 8 shows a case where the doctor starts speaking about displaying a reference image at time t10 and finishes speaking at time t14. The processing circuit 13 starts acquiring voice information data as the doctor's speech from time t10.

時刻t11において、処理回路13は、音声認識結果における名詞「左冠動脈」を確定する。また、処理回路13は、名詞「左冠動脈」が確定したタイミング(即ち、時刻t11)と同じタイミングで、例えば、機械情報データ「(RAO:a,CAU:b,SID:c)」および画像情報データ「DSA画像」を取得する。 At time t11, the processing circuit 13 determines the noun "left coronary artery" in the speech recognition result. Also, the processing circuit 13, at the same timing as the noun "left coronary artery" is determined (that is, time t11), for example, mechanical information data "(RAO: a, CAU: b, SID: c)" and image information Acquire the data "DSA image".

時刻t12において、処理回路13は、音声認識結果における名詞「LCX」を確定する。また、処理回路13は、名詞「LCX」が確定したタイミング(即ち、時刻t12)と同じタイミングで、例えば、機械情報データ「(RAO:a,CAU:b,SID:c)」および画像情報データ「DSA画像」を取得する。 At time t12, the processing circuit 13 determines the noun "LCX" in the speech recognition result. Further, the processing circuit 13, at the same timing as the timing when the noun "LCX" is determined (that is, time t12), for example, the machine information data "(RAO: a, CAU: b, SID: c)" and the image information data Get "DSA image".

時刻t13において、処理回路13は、音声認識結果における名詞「造影画像」を確定する。また、処理回路13は、名詞「造影画像」が確定したタイミング(即ち、時刻t13)と同じタイミングで、例えば、機械情報データ「(RAO:a,CAU:b,SID:c)」および画像情報データ「DSA画像」を取得する。 At time t13, the processing circuitry 13 determines the noun "contrast image" in the speech recognition result. Further, the processing circuit 13, at the same timing as the noun "contrast-enhanced image" is determined (that is, time t13), for example, the mechanical information data "(RAO: a, CAU: b, SID: c)" and the image information Acquire the data "DSA image".

図9は、図8に関する時系列データの一例を示す図である。図8における矢印は、RNNへのデータの入力順を示す。時刻t11に関する時系列データは、複数のデータx11、x12およびx13を含む。データx11は、音声情報データにおける「左冠動脈」である。データx12は、機械情報データ「(RAO:a,CAU:b,SID:c)」である。データx13は、画像情報データ「DSA画像」である。 FIG. 9 is a diagram showing an example of time-series data related to FIG. Arrows in FIG. 8 indicate the input order of data to the RNN. Time-series data for time t11 includes a plurality of data x 11 , x 12 and x 13 . Data x11 is "left coronary artery" in the voice information data. Data x12 is machine information data "(RAO: a, CAU: b, SID: c)". Data x13 is the image information data "DSA image".

時刻t12に関する時系列データは、複数のデータx14、x15およびx16を含む。データx14は、音声情報データにおける「LCX」である。データx15は、機械情報データ「(RAO:a,CAU:b,SID:c)」である。データx16は、画像情報データ「DSA画像」である。 Time-series data for time t12 includes a plurality of data x 14 , x 15 and x 16 . Data x14 is "LCX" in audio information data. Data x15 is machine information data "(RAO: a, CAU: b, SID: c)". Data x16 is the image information data "DSA image".

時刻t13に関する時系列データは、複数のデータx17、x18およびx19を含む。データx17は、音声情報データにおける「造影画像」である。データx18は、機械情報データ「(RAO:a,CAU:b,SID:c)」である。データx19は、画像情報データ「DSA画像」である。 Time-series data for time t13 includes a plurality of data x 17 , x 18 and x 19 . Data x17 is a "contrast-enhanced image" in the audio information data. Data x 18 is machine information data "(RAO: a, CAU: b, SID: c)". Data x19 is image information data "DSA image".

処理回路13は、例えば、学習済みモデル12aに対して、時刻t11に関する時系列データ、時刻t12に関する時系列データおよび時刻t13に関する時系列データを入力することにより、参照画像の特徴量を生成する。 The processing circuit 13, for example, inputs the time-series data for the time t11, the time-series data for the time t12, and the time-series data for the time t13 to the trained model 12a to generate the feature amount of the reference image.

以上説明したように、第1の実施形態に係るX線診断装置における医用情報処理装置は、手技中において、第1のデータと、第1のデータとは異なる第2のデータとを取得し、少なくとも第1のデータと第2のデータとに基づいて、時系列データを生成する。そして、医用情報処理装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成することができる。 As described above, the medical information processing apparatus in the X-ray diagnostic apparatus according to the first embodiment acquires first data and second data different from the first data during a procedure, Time series data is generated based on at least the first data and the second data. Then, the medical information processing apparatus obtains information for identifying the reference image by inputting the time series data to a trained model that generates information for identifying the reference image based on the time series data. can be generated.

また、この医用情報処理装置は、参照画像を特定するための情報として画像の特徴量を用い、画像の特徴量に基づいて、複数の医用画像から、参照画像を特定することができる。さらに、この医用情報処理装置は、画像の特徴量に基づいて、複数の医用画像から、当該画像の特徴量に最も近い特徴量を有する参照画像を特定することができる。 Further, this medical information processing apparatus uses image feature amounts as information for specifying a reference image, and can specify a reference image from a plurality of medical images based on the image feature amounts. Furthermore, this medical information processing apparatus can identify a reference image having a feature amount closest to the feature amount of the image from among a plurality of medical images, based on the feature amount of the image.

また、この医用情報処理装置は、第1のデータを第1のデータ形式に変換し、第2のデータを当該第1のデータ形式に変換することにより、当該第1のデータ形式の時系列データを生成することができる。具体的には、この医用情報処理装置は、第1のデータおよび第2のデータをそれぞれテキスト形式に変換することにより、テキスト形式の時系列データを生成することができる。 Further, the medical information processing apparatus converts the first data into the first data format and converts the second data into the first data format, thereby producing time-series data in the first data format. can be generated. Specifically, this medical information processing apparatus can generate time-series data in text format by converting each of the first data and the second data into text format.

また、この医用情報処理装置は、手技中において、第1のデータと第2のデータとを並行して取得することができる。尚、第2のデータは、第1のデータとはデータ形式が異なっていてもよい。 Further, this medical information processing apparatus can acquire the first data and the second data in parallel during the procedure. The second data may have a data format different from that of the first data.

また、この医用情報処理装置は、第1のデータには音声に関する情報を含み、第2のデータには、撮像対照およびX線管の位置関係に関する情報と表示画面に関する情報とのうちの少なくとも一つを含めることができる。 Also, in this medical information processing apparatus, the first data includes information about sound, and the second data includes at least one of information about the positional relationship between the object to be imaged and the X-ray tube and information about the display screen. can include one.

また、この医用情報処理装置は、学習済みモデルとして期間経路を有するニューラルネットワークを含むことができる。 Also, the medical information processing apparatus can include a neural network having a period path as a trained model.

従って、この医用情報処理装置は、医師または技師による参照画像を表示させる操作の必要がないため、手技中における参照画像を表示させる負担を低減することができる。 Therefore, this medical information processing apparatus does not require the operation of displaying a reference image by a doctor or a technician, so that the burden of displaying a reference image during a procedure can be reduced.

(第2の実施形態)
第1の実施形態に係る医用情報処理装置は、自身が有する参照画像DBにアクセスすることによって、参照画像を特定していた。他方、第2の実施形態に係る医用情報処理装置は、外部の画像サーバが有する参照画像DBにアクセスすることによって、参照画像を特定する。
(Second embodiment)
The medical information processing apparatus according to the first embodiment identifies reference images by accessing its own reference image DB. On the other hand, the medical information processing apparatus according to the second embodiment identifies a reference image by accessing a reference image DB of an external image server.

図10は、第2の実施形態に係る医用情報処理システムの構成例を示すブロック図である。図10の医用情報処理システム200は、医用情報処理装置210と画像サーバ220とがネットワーク(NW)を介して接続されている。当該ネットワークには、図示しないX線診断装置が接続されてもよい。また、当該X線診断装置が医用情報処理装置210の各部および各回路などを有してもよい。この場合には、医用情報処理装置210を有するX線診断装置と画像サーバとの組み合わせが医用情報処理システムを構成することとなる。本実施形態では、医用情報処理装置とX線診断装置とは別体であるものとして説明をする。 FIG. 10 is a block diagram showing a configuration example of a medical information processing system according to the second embodiment. In the medical information processing system 200 of FIG. 10, a medical information processing apparatus 210 and an image server 220 are connected via a network (NW). An X-ray diagnostic apparatus (not shown) may be connected to the network. Further, the X-ray diagnostic apparatus may have each section and each circuit of the medical information processing apparatus 210 . In this case, the combination of the X-ray diagnostic apparatus having the medical information processing apparatus 210 and the image server constitutes a medical information processing system. In the present embodiment, the medical information processing apparatus and the X-ray diagnostic apparatus are described as separate units.

医用情報処理装置210は、マイクロフォン211と、処理回路212と、記憶回路213と、通信インタフェース214とを備える。尚、マイクロフォン211は、図1のマイクロフォン7と同様であるため、詳細な説明を省略する。 The medical information processing apparatus 210 includes a microphone 211 , a processing circuit 212 , a memory circuit 213 and a communication interface 214 . Since the microphone 211 is the same as the microphone 7 in FIG. 1, detailed description thereof will be omitted.

通信インタフェース214は、例えば、NICが使用可能となっている。通信インタフェース214は、例えば、画像サーバ220、ネットワークおよび図示しないX線診断装置との通信に関する回路である。以降の説明では、医用情報処理装置210と画像サーバ220との通信などにおいて、通信インタフェース214が介在する旨の記載を省略する。 For the communication interface 214, for example, a NIC can be used. The communication interface 214 is, for example, a circuit related to communication with the image server 220, a network, and an X-ray diagnostic apparatus (not shown). In the following description, the description that the communication interface 214 intervenes in the communication between the medical information processing apparatus 210 and the image server 220 will be omitted.

処理回路212は、ハードウェア資源として、プロセッサおよびメモリを備える。処理回路212は、ネットワークに接続された端末から入力された開始指示に応じて、記憶回路213に記憶された制御プログラムを読み出す。処理回路212は、読み出した制御プログラムに従って、参照画像特定処理に係る各機能を実行する。上記各機能は、取得機能212a、変換機能212b、時系列データ生成機能212c、特徴量算出機能212dおよび画像特定機能212eなどがある。尚、変換機能212b、時系列データ生成機能212cおよび特徴量算出機能212dは、図1の変換機能13c、時系列データ生成機能13dおよび特徴量算出機能13eと同様であるため、詳細な説明を省略する。 The processing circuitry 212 includes a processor and memory as hardware resources. The processing circuit 212 reads the control program stored in the storage circuit 213 in response to a start instruction input from a terminal connected to the network. The processing circuit 212 executes each function related to the reference image specifying process according to the read control program. The above functions include an acquisition function 212a, a conversion function 212b, a time-series data generation function 212c, a feature amount calculation function 212d, an image specification function 212e, and the like. Note that the conversion function 212b, the time-series data generation function 212c, and the feature amount calculation function 212d are the same as the conversion function 13c, the time-series data generation function 13d, and the feature amount calculation function 13e in FIG. do.

処理回路212は、取得機能212aにより、手技中のデータを取得する。具体的には、処理回路212は、マイクロフォン211から音声情報データを取得する。また、処理回路212は、ネットワークに接続された図示しないX線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。 The processing circuitry 212 acquires data during the procedure by means of an acquisition function 212a. Specifically, the processing circuit 212 acquires voice information data from the microphone 211 . The processing circuit 212 also acquires at least one of machine information data and image information data from an X-ray diagnostic apparatus (not shown) connected to the network.

処理回路212は、画像特定機能212eにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路212は、算出された特徴量に基づいて、画像サーバ220の参照画像DB221aに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。 The processing circuit 212 uses the image specifying function 212e to specify the reference image based on the calculated feature amount. Specifically, based on the calculated feature amount, the processing circuit 212 selects a reference image having a feature amount closest to the calculated feature amount from a plurality of medical images stored in the reference image DB 221a of the image server 220. identify.

なお、処理回路212は、自身のメモリに学習済みモデル213aを記憶してもよい。即ち、記憶回路213にプログラム(学習済みモデル213a)を保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。 Note that the processing circuit 212 may store the learned model 213a in its own memory. That is, instead of storing the program (learned model 213a) in the memory circuit 213, the program may be directly embedded in the circuit of the processor. In this case, the processor realizes its function by reading and executing the program embedded in the circuit.

画像サーバ220は、記憶回路221と、通信インタフェース222とを備える。 The image server 220 has a storage circuit 221 and a communication interface 222 .

記憶回路221は、参照画像DB221aを記憶している。記憶回路221は、参照画像DBを記憶していない点において、図1の記憶回路12と異なる。参照画像DB221aは、参照画像としての複数の医用画像を保存するデータベースである。 The storage circuit 221 stores a reference image DB 221a. The storage circuit 221 differs from the storage circuit 12 in FIG. 1 in that it does not store the reference image DB. The reference image DB 221a is a database that stores a plurality of medical images as reference images.

通信インタフェース222は、例えば、NICが使用可能となっている。通信インタフェース222は、例えば、医用情報処理装置210、ネットワークおよび図示しないX線診断装置との通信に関する回路である。以降の説明では、画像サーバ220と医用情報処理装置210との通信などにおいて、通信インタフェース222が介在する旨の記載を省略する。 For the communication interface 222, for example, a NIC can be used. The communication interface 222 is, for example, a circuit related to communication with the medical information processing apparatus 210, a network, and an X-ray diagnostic apparatus (not shown). In the following description, the description that the communication interface 222 intervenes in the communication between the image server 220 and the medical information processing apparatus 210 will be omitted.

次に、以上のように構成された第2の実施形態に係る医用情報処理システム200の動作について図3のフローチャートを用いて説明する。尚、フローチャートの処理が開始されるまでの手順およびステップST102からステップST104までの処理は、第1の実施形態における手順および処理とほぼ同様であるため、説明を省略する。 Next, the operation of the medical information processing system 200 according to the second embodiment configured as described above will be described with reference to the flowchart of FIG. The procedure up to the start of the processing of the flowchart and the processing from step ST102 to step ST104 are substantially the same as the procedure and processing in the first embodiment, so description thereof will be omitted.

第2の実施形態におけるステップST101では、処理回路212は、取得機能212aにより、手技中のデータを取得する。具体的には、処理回路212は、マイクロフォン211から音声情報データを取得し、図示しないX線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。 In step ST101 in the second embodiment, the processing circuit 212 acquires data during the procedure using the acquisition function 212a. Specifically, the processing circuit 212 acquires audio information data from the microphone 211, and acquires at least one of mechanical information data and image information data from an X-ray diagnostic apparatus (not shown).

第2の実施形態におけるステップST105では、処理回路212は、画像特定機能212eにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路212は、算出された特徴量に基づいて、画像サーバ220の参照画像DB221aに保存された複数の参照画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。 In step ST105 in the second embodiment, the processing circuit 212 identifies the reference image based on the calculated feature amount by the image identification function 212e. Specifically, based on the calculated feature amount, the processing circuit 212 selects a reference image having a feature amount closest to the calculated feature amount from a plurality of reference images stored in the reference image DB 221a of the image server 220. identify.

処理回路13は、特定した参照画像を図示しないディスプレイに表示させ、参照画像特定処理を終了する。 The processing circuit 13 displays the specified reference image on a display (not shown), and ends the reference image specifying process.

以上説明したように、第2の実施形態に係る医用情報処理システムは、医用情報処理装置と画像サーバとを備える。医用情報処理装置は、手技中において、第1のデータと、第1のデータとは異なる第2のデータとを取得し、少なくとも第1のデータと第2のデータとに基づいて、時系列データを生成する。そして、医用情報処理装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成する。さらに、医用情報処理装置は、参照画像を特定するための情報として画像の特徴量を用い、画像サーバに保存された複数の医用画像から、当該画像の特徴量に最も近い特徴量を有する参照画像を特定する。 As described above, the medical information processing system according to the second embodiment includes a medical information processing apparatus and an image server. A medical information processing apparatus acquires first data and second data different from the first data during a procedure, and generates time-series data based on at least the first data and the second data. to generate Then, the medical information processing apparatus obtains information for identifying the reference image by inputting the time series data to a trained model that generates information for identifying the reference image based on the time series data. Generate. Further, the medical information processing apparatus uses image feature amounts as information for specifying a reference image, and selects a reference image having a feature amount closest to the feature amount from a plurality of medical images stored in the image server. identify.

従って、この医用情報処理システムは、医師または技師による参照画像を表示させる操作の必要がないため、手技中における参照画像を表示させる負担を低減することができる。 Therefore, this medical information processing system does not require the operation of displaying a reference image by a doctor or a technician, and can reduce the burden of displaying a reference image during a procedure.

(第3の実施形態)
第2の実施形態に係る医用情報処理システムに含まれる医用情報処理装置は、外部の画像サーバが有する参照画像DBにアクセスすることによって、参照画像を特定していた。他方、第3の実施形態に係る医用情報処理システムは、クライアント装置からの指示によって、外部のサーバ装置が参照画像特定処理などを行う。
(Third Embodiment)
A medical information processing apparatus included in the medical information processing system according to the second embodiment identifies a reference image by accessing a reference image DB of an external image server. On the other hand, in the medical information processing system according to the third embodiment, an external server device performs reference image identification processing and the like according to instructions from the client device.

図11は、第3の実施形態に係る医用情報処理システムの構成例を示すブロック図である。図11の医用情報処理システム300は、サーバ装置310とクライアント装置320とがネットワーク(NW)を介して接続されている。当該ネットワークには、図示しないX線診断装置が接続されてもよい。また、当該X線診断装置がクライアント装置320の各部および各回路などを有してもよい。この場合には、クライアント装置320を有するX線診断装置とサーバ装置との組み合わせが医用情報処理システムを構成することとなる。本実施形態では、クライアント装置とX線診断装置とは別体であるものとして説明をする。 FIG. 11 is a block diagram showing a configuration example of a medical information processing system according to the third embodiment. In the medical information processing system 300 of FIG. 11, a server device 310 and a client device 320 are connected via a network (NW). An X-ray diagnostic apparatus (not shown) may be connected to the network. Also, the X-ray diagnostic apparatus may include each unit and each circuit of the client device 320 . In this case, the combination of the X-ray diagnostic apparatus having the client device 320 and the server device constitutes a medical information processing system. In this embodiment, the client apparatus and the X-ray diagnostic apparatus are described as being separate entities.

サーバ装置310は、処理回路311と、記憶回路312と、通信インタフェース313とを備える。記憶回路312は、学習済みモデル312aおよび参照画像DB312bを記憶している。尚、記憶回路312は、図1の記憶回路12と同様であるため、詳細な説明を省略する。 The server device 310 includes a processing circuit 311 , a storage circuit 312 and a communication interface 313 . The storage circuit 312 stores a trained model 312a and a reference image DB 312b. Note that the memory circuit 312 is the same as the memory circuit 12 in FIG. 1, so detailed description thereof is omitted.

通信インタフェース313は、例えば、NICが使用可能となっている。通信インタフェース313は、例えば、クライアント装置320、ネットワークおよび図示しないX線診断装置との通信に関する回路である。以降の説明では、サーバ装置310とクライアント装置320との通信などにおいて、通信インタフェース313が介在する旨の記載を省略する。 For the communication interface 313, for example, a NIC can be used. The communication interface 313 is, for example, a circuit related to communication with the client device 320, a network, and an X-ray diagnostic device (not shown). In the following description, the description that the communication interface 313 intervenes in the communication between the server device 310 and the client device 320 will be omitted.

処理回路311は、ハードウェア資源として、プロセッサおよびメモリを備える。処理回路311は、クライアント装置320から入力された開始指示に応じて、記憶回路312に記憶された制御プログラムを読み出す。処理回路311は、読み出した制御プログラムに従って、参照画像特定処理に係る各機能を実行する。上記各機能は、取得機能311a、変換機能311b、時系列データ生成機能311c、特徴量算出機能311dおよび画像特定機能311eなどがある。尚、変換機能311b、時系列データ生成機能311c、特徴量算出機能311dおよび画像特定機能311eは、図1の変換機能13c、時系列データ生成機能13d、特徴量算出機能13eおよび画像特定機能13fと同様であるため、詳細な説明を省略する。 The processing circuitry 311 includes a processor and memory as hardware resources. The processing circuit 311 reads the control program stored in the storage circuit 312 in response to the start instruction input from the client device 320 . The processing circuit 311 executes each function related to the reference image specifying process according to the read control program. Each of the above functions includes an acquisition function 311a, a conversion function 311b, a time-series data generation function 311c, a feature value calculation function 311d, an image specification function 311e, and the like. The conversion function 311b, time-series data generation function 311c, feature amount calculation function 311d, and image specification function 311e are equivalent to the conversion function 13c, time-series data generation function 13d, feature amount calculation function 13e, and image specification function 13f in FIG. Since it is the same, detailed description is omitted.

処理回路311は、取得機能311aにより、手技中のデータを取得する。具体的には、処理回路311は、クライアント装置320のマイクロフォン321から音声情報データを取得する。また、処理回路311は、ネットワークに接続された図示しないX線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。 The processing circuit 311 acquires data during the procedure using an acquisition function 311a. Specifically, the processing circuitry 311 acquires voice information data from the microphone 321 of the client device 320 . Also, the processing circuit 311 acquires at least one of mechanical information data and image information data from an X-ray diagnostic apparatus (not shown) connected to a network.

なお、処理回路311は、自身のメモリに学習済みモデル312aを記憶してもよい。即ち、記憶回路312にプログラム(学習済みモデル312a)を保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。 Note that the processing circuit 311 may store the learned model 312a in its own memory. That is, instead of storing the program (learned model 312a) in the memory circuit 312, the program may be directly embedded in the circuit of the processor. In this case, the processor realizes its function by reading and executing the program embedded in the circuit.

クライアント装置320は、マイクロフォン321と、入力インタフェース322と、ディスプレイ323と、通信インタフェース324とを備える。尚、マイクロフォン321および入力インタフェース322は、図1のマイクロフォン7および入力インタフェース8と同様であるため、詳細な説明を省略する。 The client device 320 comprises a microphone 321 , an input interface 322 , a display 323 and a communication interface 324 . Note that the microphone 321 and the input interface 322 are the same as the microphone 7 and the input interface 8 in FIG. 1, so detailed description thereof will be omitted.

ディスプレイ323は、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。ディスプレイ323は、例えば、参照画像特定処理に関するプログラムのGUI(Graphical User Interface)などを表示している。操作者は、例えば、ディスプレイ323に表示されたGUIを用いることにより、サーバ装置310へ参照画像特定処理を開始する指示などができる。 Display 323 is a display device such as, for example, a CRT display, liquid crystal display, organic EL display, LED display, plasma display, or any other display, monitor, or the like known in the art. The display 323 displays, for example, a GUI (Graphical User Interface) of a program relating to reference image identification processing. The operator can, for example, use the GUI displayed on the display 323 to instruct the server device 310 to start the reference image specifying process.

通信インタフェース324は、例えば、NICが使用可能となっている。通信インタフェース324は、例えば、サーバ装置310、ネットワークおよび図示しないX線診断装置との通信に関する回路である。以降の説明では、クライアント装置320とサーバ装置310との通信などにおいて、通信インタフェース324が介在する旨の記載を省略する。 For the communication interface 324, for example, a NIC can be used. The communication interface 324 is, for example, a circuit related to communication with the server apparatus 310, a network, and an X-ray diagnostic apparatus (not shown). In the following description, the description that the communication interface 324 intervenes in the communication between the client device 320 and the server device 310 will be omitted.

次に、以上のように構成された第3の実施形態に係る医用情報処理システム300の動作について図3のフローチャートを用いて説明する。尚、フローチャートの処理が開始されるまでの手順およびステップST102からステップST104までの処理は、第1の実施形態における手順および処理とほぼ同様であるため、説明を省略する。 Next, the operation of the medical information processing system 300 according to the third embodiment configured as described above will be described with reference to the flowchart of FIG. The procedure up to the start of the processing of the flowchart and the processing from step ST102 to step ST104 are substantially the same as the procedure and processing in the first embodiment, so description thereof will be omitted.

第3の実施形態におけるステップST101では、処理回路311は、取得機能311aにより、手技中のデータを取得する。具体的には、処理回路311は、クライアント装置320のマイクロフォン321から音声情報データを取得する。図示しないX線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。 In step ST101 in the third embodiment, the processing circuit 311 acquires data during the procedure using the acquisition function 311a. Specifically, the processing circuitry 311 acquires voice information data from the microphone 321 of the client device 320 . At least one of mechanical information data and image information data is acquired from an X-ray diagnostic apparatus (not shown).

第3の実施形態におけるステップST105では、処理回路311は、画像特定機能311eにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路311は、算出された特徴量に基づいて、サーバ装置310の参照画像DB312bに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。 In step ST105 in the third embodiment, the processing circuit 311 identifies the reference image based on the calculated feature amount by the image identification function 311e. Specifically, based on the calculated feature amount, the processing circuit 311 selects a reference image having a feature amount closest to the calculated feature amount from a plurality of medical images stored in the reference image DB 312b of the server device 310. identify.

処理回路311は、特定した参照画像をクライアント装置320へと送信し、参照画像特定処理を終了する。クライアント装置320は、受信した参照画像をディスプレイ323の画面に表示させる。 The processing circuitry 311 transmits the identified reference image to the client device 320 and ends the reference image identification processing. The client device 320 displays the received reference image on the screen of the display 323 .

以上説明したように、第3の実施形態に係る医用情報処理システムは、クライアント装置とサーバ装置とを備える。クライアント装置は、手技中において、参照画像を特定するための処理に関する指示を行う。サーバ装置は、前記指示を受信したことを契機として、第1のデータと、第1のデータとは異なる第2のデータとを取得し、少なくとも第1のデータと第2のデータとに基づいて、時系列データを生成する。そして、サーバ装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成することができる。 As described above, the medical information processing system according to the third embodiment includes a client device and a server device. The client device issues an instruction regarding processing for identifying the reference image during the procedure. Upon receiving the instruction, the server device obtains first data and second data different from the first data, and based on at least the first data and the second data , to generate time series data. Then, the server device generates information for identifying the reference image by inputting the time-series data to a trained model that generates information for identifying the reference image based on the time-series data. be able to.

また、この医用情報処理システムにおけるサーバ装置は、参照画像を特定するための情報として画像の特徴量を用い、画像の特徴量に基づいて、複数の医用画像から、参照画像を特定し、クライアント装置へ送信する。さらに、このサーバ装置は、画像の特徴量に基づいて、複数の医用画像から、当該画像の特徴量に最も近い特徴量を有する参照画像を特定することができる。 Further, the server device in this medical information processing system uses an image feature amount as information for specifying a reference image, and based on the image feature amount, specifies a reference image from a plurality of medical images. Send to Furthermore, this server device can specify a reference image having a feature amount closest to the feature amount of the image from among a plurality of medical images, based on the feature amount of the image.

従って、この医用情報処理システムは、医師または技師による参照画像を表示させる操作の必要がないため、手技中における参照画像を表示させる負担を低減することができる。 Therefore, this medical information processing system does not require the operation of displaying a reference image by a doctor or a technician, and can reduce the burden of displaying a reference image during a procedure.

(変形例)
上記各実施形態では、処理回路は、算出された画像の特徴量に最も近い特徴量を有する参照画像を特定した。他方、本変形例では、処理回路は、算出された画像の特徴量に近い特徴量を有する複数の類似画像を特定してもよい。以降では、医用情報処理装置100に対して本変形例に係る処理回路が適用されるものとして説明を行うが、医用情報処理装置に限定されない。例えば、本変形例に係る処理回路は、X線診断装置および医用情報処理システムに適用されてもよい。
(Modification)
In each of the embodiments described above, the processing circuitry identifies the reference image having the feature quantity closest to the calculated feature quantity of the image. On the other hand, in this modification, the processing circuitry may identify a plurality of similar images having feature amounts close to the calculated feature amount of the image. In the following description, it is assumed that the processing circuit according to this modification is applied to the medical information processing apparatus 100, but the application is not limited to the medical information processing apparatus. For example, the processing circuit according to this modification may be applied to an X-ray diagnostic apparatus and a medical information processing system.

図12は、各実施形態に係る処理回路の他の構成例を示すブロック図である。図12の処理回路400は、図示していないプロセッサ、ROMおよびRAMなどのメモリを有し、取得機能400a、変換機能400b、時系列データ生成機能400c、特徴量算出機能400d、画像特定機能400eおよび類似画像特定機能400fを有する。尚、取得機能400a、変換機能400b、時系列データ生成機能400c、特徴量算出機能400dおよび画像特定機能400eは、図1の取得機能13b、変換機能13c、時系列データ生成機能13d、特徴量算出機能13eおよび画像特定機能13fと同様であるため、詳細な説明を省略する。 FIG. 12 is a block diagram showing another configuration example of the processing circuit according to each embodiment. The processing circuit 400 of FIG. 12 has a processor, a ROM, a RAM, and other memories (not shown), and includes an acquisition function 400a, a conversion function 400b, a time-series data generation function 400c, a feature amount calculation function 400d, an image specification function 400e, and a It has a similar image specifying function 400f. The acquisition function 400a, the conversion function 400b, the time-series data generation function 400c, the feature amount calculation function 400d, and the image specification function 400e are equivalent to the acquisition function 13b, the conversion function 13c, the time-series data generation function 13d, and the feature amount calculation function 400a shown in FIG. Since it is the same as the function 13e and the image specifying function 13f, detailed description will be omitted.

処理回路400は、類似画像特定機能400fにより、算出された特徴量に基づいて、複数の類似画像を特定する。具体的には、処理回路400は、算出された特徴量に基づいて、参照画像DB12bに保存された複数の医用画像から、算出された特徴量に近い特徴量を有する複数の類似画像を特定する。 The processing circuit 400 identifies a plurality of similar images based on the calculated feature amount using the similar image identification function 400f. Specifically, based on the calculated feature amount, the processing circuit 400 identifies a plurality of similar images having feature amounts close to the calculated feature amount from the plurality of medical images stored in the reference image DB 12b. .

次に、処理回路400を適用した医用情報処理装置100の動作について図13のフローチャートを用いて説明する。 Next, the operation of the medical information processing apparatus 100 to which the processing circuit 400 is applied will be described using the flowchart of FIG.

図13は、図12の処理回路を用いた場合の参照画像特定処理の手順の一例を示すフローチャートである。尚、フローチャートの処理が開始されるまでの手順およびステップST201からステップST205までの処理は、第1の実施形態における手順および図1のステップST101からステップST105までの処理とほぼ同様であるため、説明を省略する。 FIG. 13 is a flow chart showing an example of a procedure of reference image identification processing when using the processing circuit of FIG. Note that the procedure until the process of the flowchart is started and the process from step ST201 to step ST205 are substantially the same as the procedure in the first embodiment and the process from step ST101 to step ST105 in FIG. omitted.

(ステップST206)
処理回路400は、類似画像特定機能400fにより、算出された特徴量に基づいて、複数の類似画像を特定する。具体的には、処理回路400は、算出された特徴量に基づいて、参照画像DB12bに保存された複数の医用画像から、算出された特徴量に近い特徴量を有する複数の類似画像を特定する。
(Step ST206)
The processing circuit 400 identifies a plurality of similar images based on the calculated feature amount using the similar image identification function 400f. Specifically, based on the calculated feature amount, the processing circuit 400 identifies a plurality of similar images having feature amounts close to the calculated feature amount from the plurality of medical images stored in the reference image DB 12b. .

処理回路400は、特定した参照画像および特定した複数の類似画像を図示しないディスプレイに表示させ、処理を終了する。 The processing circuit 400 displays the identified reference image and the plurality of identified similar images on a display (not shown), and ends the processing.

以上説明したように、変形例に係る医用情報処理装置は、手技中において、第1のデータと、第1のデータとは異なる第2のデータとを取得し、少なくとも第1のデータと第2のデータとに基づいて、時系列データを生成する。そして、医用情報処理装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成することができる。 As described above, the medical information processing apparatus according to the modification acquires the first data and the second data different from the first data during the procedure, and obtains at least the first data and the second data. Generate time-series data based on the data of Then, the medical information processing apparatus obtains information for identifying the reference image by inputting the time series data to a trained model that generates information for identifying the reference image based on the time series data. can be generated.

また、この医用情報処理装置は、画像の特徴量に基づいて、複数の医用画像から、画像の特徴量に近い特徴量を有する複数の類似画像を特定することができる。 Further, this medical information processing apparatus can specify a plurality of similar images having feature amounts close to the feature amounts of the images from the plurality of medical images based on the feature amounts of the images.

従って、この医用情報処理装置は、参照画像に類似した複数の類似画像を表示できるため、手技中における参照画像を表示させる負担を低減することができる。 Therefore, since this medical information processing apparatus can display a plurality of similar images similar to the reference image, it is possible to reduce the burden of displaying the reference image during the procedure.

(学習例)
上記各実施形態では、処理回路は、学習済みデータを用いた処理をしていた。他方、本学習例では、処理回路は、学習データを生成してもよい。以降では、医用情報処理装置100に対して本学習例に係る処理回路が適用されるものとして説明を行うが、医用情報処理装置に限定されない。例えば、本学習例に係る処理回路は、X線診断装置および医用情報処理システムに適用されてもよい。尚、本学習例に係る処理回路を適用した装置、或いはシステムは、学習装置と呼称されてもよい。
(Learning example)
In each of the embodiments described above, the processing circuit performs processing using learned data. On the other hand, in this training example, the processing circuitry may generate training data. In the following description, the processing circuit according to this learning example is applied to the medical information processing apparatus 100, but the application is not limited to the medical information processing apparatus. For example, the processing circuit according to this learning example may be applied to an X-ray diagnostic apparatus and a medical information processing system. A device or system to which the processing circuit according to this learning example is applied may be called a learning device.

図14は、各実施形態に係る処理回路の他の構成例を示すブロック図である。図14の処理回路500は、図示していないプロセッサ、ROMおよびRAMなどのメモリを有し、取得機能500a、変換機能500b、時系列データ生成機能500cおよび学習データ生成機能500dを有する。尚、取得機能500aおよび変換機能500bは、図1の取得機能13bおよび変換機能13cと同様であるため、詳細な説明を省略する。 FIG. 14 is a block diagram showing another configuration example of the processing circuit according to each embodiment. The processing circuit 500 of FIG. 14 has a processor (not shown) and memory such as ROM and RAM, and has an acquisition function 500a, a conversion function 500b, a time-series data generation function 500c, and a learning data generation function 500d. Note that the acquisition function 500a and the conversion function 500b are the same as the acquisition function 13b and the conversion function 13c in FIG. 1, so detailed description thereof will be omitted.

処理回路500は、時系列データ生成機能500cにより、共通のデータ形式に変換された音声情報データ、機械情報データおよび画像情報データから時系列データを生成する。具体的には、処理回路500は、参照画像DB12bに記憶された複数の医用画像から参照画像が選択されたことを契機として、選択された時点よりも前に取得された上記各データに少なくとも基づいて、時系列データを生成する。 The processing circuit 500 generates time-series data from the audio information data, machine information data, and image information data converted into a common data format by the time-series data generation function 500c. Specifically, when a reference image is selected from a plurality of medical images stored in the reference image DB 12b, the processing circuit 500 performs at least based on each of the data acquired before the selection. to generate time series data.

処理回路500は、学習データ生成機能500dにより、生成された時系列データと特定された参照画像とに基づいて、学習データを生成する。具体的には、図6に例示されるように、学習データは、時刻t1に関する時系列データと特定された参照画像との組み合わせとなる。また、図9に例示されるように、学習データは、時刻t11に関する時系列データと特定された参照画像との組み合わせ、時刻t12に関する時系列データと特定された参照画像との組み合わせ、および時刻t13に関する時系列データと特定された参照画像との組み合わせなどとなる。 The processing circuit 500 generates learning data based on the generated time-series data and the specified reference image by the learning data generation function 500d. Specifically, as exemplified in FIG. 6, the learning data is a combination of time-series data relating to time t1 and the specified reference image. Further, as illustrated in FIG. 9, the learning data includes a combination of the time-series data for time t11 and the specified reference image, a combination of the time-series data for time t12 and the specified reference image, and a combination of the time-series data for time t12 and the specified reference image. Such as a combination of time-series data related to and a specified reference image.

次に、処理回路500を適用した医用情報処理装置100の動作について図15のフローチャートを用いて説明する。 Next, the operation of the medical information processing apparatus 100 to which the processing circuit 500 is applied will be described using the flowchart of FIG.

図15は、図14の処理回路を用いた場合の学習データ生成処理の手順の一例を示すフローチャートである。尚、フローチャートの処理が開始されるまでの手順およびステップST301からステップST302までの処理は、第1の実施形態における手順および図1のステップST101からステップST102までの処理とほぼ同様であるため、説明を省略する。 FIG. 15 is a flow chart showing an example of a learning data generation process procedure when the processing circuit of FIG. 14 is used. It should be noted that the procedure until the process of the flowchart is started and the process from step ST301 to step ST302 are substantially the same as the procedure in the first embodiment and the process from step ST101 to step ST102 in FIG. omitted.

(ステップST303)
処理回路500は、時系列データ生成機能500cにより、参照画像の選択を契機として、変換されたデータに基づいて、時系列データを生成する。具体的には、処理回路500は、参照画像DB12bに記憶された複数の医用画像から参照画像が選択されたことを契機として、選択された時点よりも前に取得された上記各データに少なくとも基づいて、時系列データを生成する。
(Step ST303)
The processing circuit 500 uses the time-series data generation function 500c to generate time-series data based on the converted data, triggered by the selection of the reference image. Specifically, when a reference image is selected from a plurality of medical images stored in the reference image DB 12b, the processing circuit 500 performs at least based on each of the data acquired before the selection. to generate time series data.

(ステップST304)
処理回路500は、学習データ生成機能500dにより、生成された時系列データと特定された参照画像とに基づいて、学習データを生成する。
(Step ST304)
The processing circuit 500 generates learning data based on the generated time-series data and the specified reference image by the learning data generation function 500d.

処理回路500は、生成した学習データを例えば記憶回路12に記憶させ、処理を終了する。 The processing circuit 500 stores the generated learning data in the storage circuit 12, for example, and ends the process.

以上説明したように、学習例に係る医用情報処理装置は、手技中において、第1のデータと、第1のデータとは異なる第2のデータとを取得する。そして、医用情報処理装置は、記憶された複数の医用画像から参照画像が選択されたことを契機として、選択された時点よりも前に取得された第1のデータおよび第2のデータに少なくとも基づいて、時系列データを生成し、当該時系列データと参照画像とに基づいて、学習データを生成する。 As described above, the medical information processing apparatus according to the learning example acquires the first data and the second data different from the first data during the procedure. Then, when a reference image is selected from a plurality of stored medical images, the medical information processing apparatus performs the following based on at least the first data and the second data acquired before the selection. to generate time-series data, and learning data is generated based on the time-series data and the reference image.

また、この医用情報処理装置は、第1のデータを第1のデータ形式に変換し、第2のデータを当該第1のデータ形式に変換することにより、当該第1のデータ形式の時系列データを生成することができる。具体的には、この医用情報処理装置は、第1のデータおよび第2のデータをそれぞれテキスト形式に変換することにより、テキスト形式の時系列データを生成することができる。 Further, the medical information processing apparatus converts the first data into the first data format and converts the second data into the first data format, thereby producing time-series data in the first data format. can be generated. Specifically, this medical information processing apparatus can generate time-series data in text format by converting each of the first data and the second data into text format.

また、この医用情報処理装置は、手技中において、第1のデータと第2のデータとを並行して取得することができる。尚、第2のデータは、第1のデータとはデータ形式が異なっていてもよい。 Also, this medical information processing apparatus can acquire the first data and the second data in parallel during the procedure. The second data may have a data format different from that of the first data.

従って、この医用情報処理装置は、参照画像を表示させる機械学習モデルに関する学習データを作成することができるため、手技中における参照画像を表示させる負担を低減することができる。 Therefore, since this medical information processing apparatus can create learning data relating to a machine learning model for displaying a reference image, it is possible to reduce the burden of displaying a reference image during a procedure.

以上説明した少なくとも一つの実施形態によれば、手技中における参照画像を表示させる負担を低減することができる。 According to at least one embodiment described above, it is possible to reduce the burden of displaying a reference image during a procedure.

以上の各実施形態における「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)或いは、ASIC、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびFPGA)などの回路を意味する。 The term "processor" in each of the above embodiments includes, for example, CPU (Central Processing Unit), GPU (Graphics Processing Unit), ASIC, programmable logic device (for example, Simple Programmable Logic Device: SPLD) , Complex Programmable Logic Devices (CPLDs), and FPGAs).

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.

1 X線診断装置
5 サポートフレーム
6 天板
13,400,500 処理回路
13a 画像発生機能
13b,400a,500a 取得機能
13c,400b,500b 変換機能
13d,400c,500c 時系列データ生成機能
13e,400d 特徴量算出機能
13f,400e 画像特定機能
100 医用情報処理装置
200,300 医用情報処理システム
400f 類似画像特定機能
500d 学習データ生成機能
1 X-ray diagnostic apparatus 5 Support frame 6 Top plate 13, 400, 500 Processing circuit 13a Image generation function 13b, 400a, 500a Acquisition function 13c, 400b, 500b Conversion function 13d, 400c, 500c Time series data generation function 13e, 400d Features Quantity calculation function 13f, 400e Image identification function 100 Medical information processing apparatus 200, 300 Medical information processing system 400f Similar image identification function 500d Learning data generation function

Claims (18)

手技中において、リアルタイムに時系列で表された第1のデータと、前記第1のデータとは異なる第2のデータとを取得する取得部と、
前記第1のデータおよび前記第2のデータをそれぞれテキスト形式に変換する変換部と、
前記第1のデータと前記第2のデータとに基づいて、時系列データを生成する時系列データ生成部と、
前記時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、前記時系列データを入力することにより、前記参照画像を特定するための情報を生成する処理部と
を具備し、
前記時系列データ生成部は、第1時点における1組の時系列データとして、前記テキスト形式に変換された第1のデータと前記テキスト形式に変換された第2のデータとを組み合わせ、入力順を規定したデータを生成する、医用情報処理装置。
an acquisition unit that acquires first data expressed in time series in real time and second data different from the first data during a procedure;
a conversion unit that converts each of the first data and the second data into a text format;
a time-series data generation unit that generates time-series data based on the first data and the second data;
a processing unit that generates information for identifying the reference image by inputting the time series data to a trained model that generates information for identifying the reference image based on the time series data; ,
and
The time-series data generation unit combines the first data converted to the text format and the second data converted to the text format as a set of time-series data at a first time point, and sets the input order to A medical information processing device that generates prescribed data .
前記参照画像を特定するための情報は、画像の特徴量であり、
前記画像の特徴量に基づいて、複数の医用画像から前記参照画像を特定する特定部
を更に具備する、請求項1に記載の医用情報処理装置。
The information for specifying the reference image is a feature amount of the image,
2. The medical information processing apparatus according to claim 1, further comprising a specifying unit that specifies the reference image from a plurality of medical images based on the feature amount of the image.
前記特定部は、前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に最も近い特徴量を有する前記参照画像を特定する、
請求項2に記載の医用情報処理装置。
The specifying unit specifies the reference image having the feature amount closest to the feature amount of the image from the plurality of medical images, based on the feature amount of the image.
The medical information processing apparatus according to claim 2.
前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に近い特徴量を有する複数の類似画像を特定する類似画像特定部
を更に具備する、請求項2または請求項3に記載の医用情報処理装置。
Claim 2 or Claim 3, further comprising: a similar image specifying unit that specifies, from the plurality of medical images, a plurality of similar images having feature amounts close to the feature amounts of the images, based on the feature amounts of the images. The medical information processing apparatus according to 1.
前記取得部は、手技中において、前記第1のデータと前記第2のデータとを並行して取得する、
請求項1から請求項4までのいずれか一項に記載の医用情報処理装置。
The acquisition unit acquires the first data and the second data in parallel during the procedure.
The medical information processing apparatus according to any one of claims 1 to 4 .
前記第2のデータは、前記第1のデータとはデータ形式が異なる、
請求項1から請求項5までのいずれか一項に記載の医用情報処理装置。
The second data has a data format different from that of the first data,
The medical information processing apparatus according to any one of claims 1 to 5 .
前記第1のデータは、音声に関する情報を含み、
前記第2のデータは、撮像対象およびX線管の位置関係に関する情報と表示画像に関する情報とのうちの少なくとも一つを含む、
請求項1から請求項6までのいずれか一項に記載の医用情報処理装置。
The first data includes information about voice,
The second data includes at least one of information regarding the positional relationship between the imaging target and the X-ray tube and information regarding the displayed image,
The medical information processing apparatus according to any one of claims 1 to 6 .
前記学習済みモデルは、帰還経路を有するニューラルネットワークを含む、
請求項1から請求項7までのいずれか一項に記載の医用情報処理装置。
wherein the trained model comprises a neural network with return paths;
The medical information processing apparatus according to any one of claims 1 to 7 .
手技中において、第1のデータと、前記第1のデータとは異なる第2のデータとを取得する取得部と、
前記第1のデータおよび前記第2のデータをそれぞれテキスト形式に変換する変換部と、
記憶された複数の医用画像から参照画像が選択されたことを契機として、前記選択された時点よりも前に取得された前記第1のデータおよび前記第2のデータに少なくとも基づいて、時系列データを生成する時系列データ生成部と、
前記時系列データと前記参照画像とに基づいて、学習データを生成する学習データ生成部と
を具備し、
前記時系列データ生成部は、第1時点における1組の時系列データとして、前記テキスト形式に変換された第1のデータと前記テキスト形式に変換された第2のデータとを組み合わせ、入力順を規定したデータを生成する、医用情報処理装置。
an acquisition unit that acquires first data and second data different from the first data during a procedure;
a conversion unit that converts each of the first data and the second data into a text format;
Triggered by the selection of a reference image from a plurality of stored medical images, time-series data based on at least the first data and the second data acquired prior to the selection time. a time-series data generation unit that generates
a learning data generation unit that generates learning data based on the time-series data and the reference image,
The time-series data generation unit combines the first data converted to the text format and the second data converted to the text format as a set of time-series data at a first time point, and sets the input order to A medical information processing device that generates prescribed data .
前記第1のデータおよび前記第2のデータをそれぞれテキスト形式に変換する変換部 を更に具備し、
前記時系列データ生成部は、前記テキスト形式の前記時系列データを生成する、
請求項9に記載の医用情報処理装置。
further comprising a conversion unit that converts each of the first data and the second data into a text format,
The time-series data generation unit generates the time-series data in the text format.
The medical information processing apparatus according to claim 9 .
前記取得部は、手技中において、前記第1のデータと前記第2のデータとを並行して取得する、
請求項9または請求項10に記載の医用情報処理装置。
The acquisition unit acquires the first data and the second data in parallel during the procedure.
The medical information processing apparatus according to claim 9 or 10 .
前記第2のデータは、前記第1のデータとはデータ形式が異なる、
請求項9から請求項11までのいずれか一項に記載の医用情報処理装置。
The second data has a data format different from that of the first data,
The medical information processing apparatus according to any one of claims 9 to 11 .
前記第1のデータは、音声に関する情報を含み、
前記第2のデータは、撮像対象およびX線管の位置関係に関する情報と表示画像に関する情報とのうちの少なくとも一つ含む、
請求項9から請求項12までのいずれか一項に記載の医用情報処理装置。
The first data includes information about voice,
the second data includes at least one of information regarding the positional relationship between the imaging target and the X-ray tube and information regarding the display image;
The medical information processing apparatus according to any one of claims 9 to 12 .
クライアント装置とサーバ装置とを具備する医用情報処理システムであって、
前記クライアント装置は、
手技中において、参照画像を特定するための処理に関する指示を行う指示部
を有し、
前記サーバ装置は、
前記指示を受信したことを契機として、リアルタイムに時系列で表された第1のデータと、前記第1のデータとは異なる第2のデータとを取得する取得部と、
前記第1のデータおよび前記第2のデータをそれぞれテキスト形式に変換する変換部と、
前記第1のデータと前記第2のデータとに基づいて、時系列データを生成する時系列データ生成部と、
前記時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、前記時系列データを入力することにより、前記参照画像を特定するための情報を生成する処理部と
を有し、
前記時系列データ生成部は、第1時点における1組の時系列データとして、前記テキスト形式に変換された第1のデータと前記テキスト形式に変換された第2のデータとを組み合わせ、入力順を規定したデータを生成する、医用情報処理システム。
A medical information processing system comprising a client device and a server device,
The client device
an instruction unit for instructing processing for identifying a reference image during a procedure;
The server device
an acquisition unit that acquires first data expressed in time series in real time and second data that is different from the first data, triggered by the reception of the instruction;
a conversion unit that converts each of the first data and the second data into a text format;
a time-series data generation unit that generates time-series data based on the first data and the second data;
a processing unit that generates information for identifying the reference image by inputting the time series data to a trained model that generates information for identifying the reference image based on the time series data; has
The time-series data generation unit combines the first data converted to the text format and the second data converted to the text format as a set of time-series data at a first time point, and sets the input order to A medical information processing system that generates defined data .
前記参照画像を特定するための情報は、画像の特徴量であり、
前記サーバ装置は、
前記画像の特徴量に基づいて、複数の医用画像から、前記参照画像を特定する特定部と
前記参照画像を前記クライアント装置へ送信する送信部と
を更に有する、請求項14に記載の医用情報処理システム。
The information for specifying the reference image is a feature amount of the image,
The server device
15. The medical information processing according to claim 14 , further comprising: a specifying unit that specifies the reference image from a plurality of medical images based on the feature amount of the image; and a transmitting unit that transmits the reference image to the client device. system.
前記特定部は、前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に最も近い特徴量を有する前記参照画像を特定する、
請求項15に記載の医用情報処理システム。
The specifying unit specifies the reference image having the feature amount closest to the feature amount of the image from the plurality of medical images, based on the feature amount of the image.
The medical information processing system according to claim 15 .
前記サーバ装置は、前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に近い特徴量を有する複数の類似画像を特定する類似画像特定部
を更に有し、
前記送信部は、前記複数の類似画像を前記クライアント装置へ送信する、
請求項15または請求項16に記載の医用情報処理システム。
the server device further includes a similar image identification unit that identifies, from the plurality of medical images, a plurality of similar images having feature amounts close to the feature amounts of the images, based on the feature amounts of the images;
The transmission unit transmits the plurality of similar images to the client device.
The medical information processing system according to claim 15 or 16 .
撮像対象およびX線管の位置関係を設定するサポートフレームと、
手技中において、リアルタイムに時系列で表された第1のデータと、前記第1のデータとは異なる、前記位置関係の情報を含む第2のデータとを取得する取得部と、
前記第1のデータおよび前記第2のデータをそれぞれテキスト形式に変換する変換部と、
前記第1のデータと前記第2のデータとに基づいて、時系列データを生成する時系列データ生成部と、
前記時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、前記時系列データを入力することにより、前記参照画像を特定するための情報を生成する処理部と
を具備し、
前記時系列データ生成部は、第1時点における1組の時系列データとして、前記テキスト形式に変換された第1のデータと前記テキスト形式に変換された第2のデータとを組み合わせ、入力順を規定したデータを生成する、X線診断装置。
a support frame for setting the positional relationship between the object to be imaged and the X-ray tube;
an acquisition unit that acquires first data expressed in time series in real time and second data that is different from the first data and that includes the positional relationship information during the procedure;
a conversion unit that converts each of the first data and the second data into a text format;
a time-series data generation unit that generates time-series data based on the first data and the second data;
a processing unit that generates information for identifying the reference image by inputting the time series data to a trained model that generates information for identifying the reference image based on the time series data; and
The time-series data generation unit combines the first data converted to the text format and the second data converted to the text format as a set of time-series data at a first time point, and sets the input order to An X-ray diagnostic device that generates defined data .
JP2018244332A 2018-12-27 2018-12-27 Medical information processing device, medical information processing system and X-ray diagnostic device Active JP7321704B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018244332A JP7321704B2 (en) 2018-12-27 2018-12-27 Medical information processing device, medical information processing system and X-ray diagnostic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018244332A JP7321704B2 (en) 2018-12-27 2018-12-27 Medical information processing device, medical information processing system and X-ray diagnostic device

Publications (2)

Publication Number Publication Date
JP2020103516A JP2020103516A (en) 2020-07-09
JP7321704B2 true JP7321704B2 (en) 2023-08-07

Family

ID=71449978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244332A Active JP7321704B2 (en) 2018-12-27 2018-12-27 Medical information processing device, medical information processing system and X-ray diagnostic device

Country Status (1)

Country Link
JP (1) JP7321704B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087257A (en) 1999-09-21 2001-04-03 Toshiba Corp X-ray diagnostic system
JP2014012216A (en) 2013-09-13 2014-01-23 Toshiba Corp X-ray image diagnostic apparatus
JP2015118448A (en) 2013-12-17 2015-06-25 株式会社東芝 Medical information processing system and information processing system
JP2016123719A (en) 2015-01-05 2016-07-11 株式会社東芝 X-ray diagnostic apparatus
US20160300120A1 (en) 2015-04-13 2016-10-13 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
JP2017224190A (en) 2016-06-16 2017-12-21 株式会社オルツ Artificial intelligence system for supporting communication
JP2018527964A (en) 2015-06-25 2018-09-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Image alignment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087257A (en) 1999-09-21 2001-04-03 Toshiba Corp X-ray diagnostic system
JP2014012216A (en) 2013-09-13 2014-01-23 Toshiba Corp X-ray image diagnostic apparatus
JP2015118448A (en) 2013-12-17 2015-06-25 株式会社東芝 Medical information processing system and information processing system
JP2016123719A (en) 2015-01-05 2016-07-11 株式会社東芝 X-ray diagnostic apparatus
US20160300120A1 (en) 2015-04-13 2016-10-13 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
JP2018527964A (en) 2015-06-25 2018-09-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Image alignment
JP2017224190A (en) 2016-06-16 2017-12-21 株式会社オルツ Artificial intelligence system for supporting communication

Also Published As

Publication number Publication date
JP2020103516A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP2004230164A (en) Method and apparatus for correcting digital x-ray image
US10582905B2 (en) Systems and method for x-ray imaging
US11047809B2 (en) Radiation imaging system, radiation imaging method, control apparatus, and computer-readable medium
US10485504B2 (en) Radiographing system for obtaining a dose index from a generated composition image
JP7321704B2 (en) Medical information processing device, medical information processing system and X-ray diagnostic device
US20210217163A1 (en) Systems and methods for x-ray imaging
JP5148207B2 (en) Image processing system, X-ray diagnostic apparatus, image processing program thereof, and image reconstruction apparatus
JP2020203018A (en) Medical data processing device and medical data processing method
WO2014115716A1 (en) Medical image diagnosis device, medical image processing device, medical image processing method, and gantry movement position determination method
CN115546342A (en) Dual-energy CT image generation method and device, electronic equipment and readable storage medium
JP2019097769A (en) X-ray diagnostic apparatus, positioning information creation apparatus, and x-ray diagnostic system
JP2019005346A (en) X-ray diagnostic apparatus
JP2014033850A (en) Medical image capturing apparatus and medical image capturing method
JP2013081716A (en) X-ray ct device and image processing device
JP6516984B2 (en) X-ray diagnostic device
US20210393222A1 (en) Image transmission apparatus, image transmission method, and image transmission program
US20220188980A1 (en) Image processing apparatus, display method, and display program
JP7437887B2 (en) Medical information processing equipment and X-ray CT equipment
US20240050074A1 (en) Medical information processing apparatus, a non-transitory computer readable medium, and ultrasonic diagnostic apparatus
JP7487159B2 (en) Medical image processing device, medical image processing method and program
JP5180271B2 (en) Medical diagnostic equipment
US20210298693A1 (en) Medical image processing apparatus and x-ray imaging apparatus
US20220395247A1 (en) Radiation imaging system and storage medium
JP7118584B2 (en) Medical image diagnostic device, medical imaging device and medical image display device
JP2023162964A (en) X-ray diagnostic device, x-ray diagnostic system and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230726

R150 Certificate of patent or registration of utility model

Ref document number: 7321704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150