JP7451168B2 - Medical image processing devices and medical image processing systems - Google Patents

Medical image processing devices and medical image processing systems Download PDF

Info

Publication number
JP7451168B2
JP7451168B2 JP2019229761A JP2019229761A JP7451168B2 JP 7451168 B2 JP7451168 B2 JP 7451168B2 JP 2019229761 A JP2019229761 A JP 2019229761A JP 2019229761 A JP2019229761 A JP 2019229761A JP 7451168 B2 JP7451168 B2 JP 7451168B2
Authority
JP
Japan
Prior art keywords
cross
image processing
sectional
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229761A
Other languages
Japanese (ja)
Other versions
JP2021097731A (en
Inventor
大静 森島
大悟 奥畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019229761A priority Critical patent/JP7451168B2/en
Publication of JP2021097731A publication Critical patent/JP2021097731A/en
Application granted granted Critical
Publication of JP7451168B2 publication Critical patent/JP7451168B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、医用画像処理装置、及び医用画像処理システムに関する。 Embodiments of the present invention relate to a medical image processing device and a medical image processing system.

従来、経過観察等において、CTやMRI等が取得した今回の3次元情報に含まれる被検体と、過去の3次元情報に含まれる被検体との同一位置の断面画像を並べて表示する場合がある。3次元情報間で被検体の位置を合わせる場合、医用画像処理装置は、骨盤等の剛体部位から抽出した特徴点に基づいて3次元情報間での位置合わせを行う。そして、医師等は、診断したい部位まで断面位置を移動させることで、診断したい部位の断面画像を並べて表示させる。 Conventionally, during follow-up observation, etc., cross-sectional images of the subject included in the current 3D information obtained by CT or MRI, etc. and the same position of the subject included in the past 3D information may be displayed side by side. . When aligning the position of a subject using three-dimensional information, a medical image processing apparatus performs alignment between three-dimensional information based on feature points extracted from a rigid body part such as a pelvis. Then, by moving the cross-sectional position to the part to be diagnosed, the doctor or the like displays the cross-sectional images of the part to be diagnosed side by side.

しかしながら、体動や呼吸等の影響により部位の位置は変化する。そのため、医用画像処理装置は、3次元情報間の被検体の位置を剛体部位で合わせても、断面画像間で異なる部位を表示してしまう場合がある。そのため、医師等は、同一部位の断面画像を並べて表示させるために微調整を行わなければならなかった。 However, the position of the part changes due to the effects of body movement, breathing, etc. Therefore, even if the position of the subject in the three-dimensional information is matched using a rigid body part, the medical image processing apparatus may display different parts in the cross-sectional images. Therefore, doctors and the like had to make fine adjustments in order to display cross-sectional images of the same site side by side.

特開2017-063936号公報Japanese Patent Application Publication No. 2017-063936

本発明が解決しようとする課題は、体動や呼吸等に影響されにくい位置合わせを行うことである。 The problem to be solved by the present invention is to perform positioning that is less affected by body movements, breathing, and the like.

実施形態の医用画像処理装置は、取得部と、抽出部と、画像処理部と、指定部と、位置合わせ部とを備える。前記取得部は、被検体の3次元画像データである第1の3次元画像データと、当該被検体の3次元画像データであって当該第1の3次元画像データとは異なる第2の3次元画像データとを取得する。前記抽出部は、前記第1の3次元画像データに含まれる前記被検体の特徴点と、前記第2の3次元画像データに含まれる前記被検体の特徴点とを抽出する。前記画像処理部は、前記第1の3次元画像データに含まれる前記被検体の断面画像である第1断面画像と、前記第2の3次元画像データに含まれる前記被検体の断面画像である第2断面画像との少なくとも一方に対して画像処理を実行する。前記指定部は、前記画像処理部が前記画像処理を実行した前記第1断面画像に含まれる部位を指定する。前記位置合わせ部は、前記指定部が指定した前記部位に含まれる前記特徴点に基づいて、前記第1の3次元画像データに含まれる前記被検体から前記第1断面画像を取得する位置と、前記第2の3次元画像データに含まれる前記被検体から前記第2断面画像を取得する位置とを同一の位置に合わせる。そして、前記画像処理部は、複数の前記部位が示された一覧から前記部位が選択された場合に、当該部位に対応する前記画像処理を実行する。前記指定部は、前記画像処理部が実行した前記画像処理に対応する前記部位を指定する。 The medical image processing apparatus of the embodiment includes an acquisition section, an extraction section, an image processing section, a designation section, and a positioning section. The acquisition unit is configured to acquire first three-dimensional image data that is three-dimensional image data of a subject, and second three-dimensional image data that is three-dimensional image data of the subject and is different from the first three-dimensional image data. Obtain image data. The extraction unit extracts feature points of the subject included in the first three-dimensional image data and feature points of the subject included in the second three-dimensional image data. The image processing unit generates a first cross-sectional image, which is a cross-sectional image of the subject, included in the first three-dimensional image data, and a cross-sectional image of the subject, which is included in the second three-dimensional image data. Image processing is performed on at least one of the second cross-sectional image. The designation unit designates a region included in the first cross-sectional image on which the image processing unit has performed the image processing. The positioning unit acquires the first cross-sectional image from the subject included in the first three-dimensional image data based on the feature points included in the region specified by the specifying unit; A position at which the second cross-sectional image is acquired from the subject included in the second three-dimensional image data is set to the same position. Then, when the site is selected from a list showing a plurality of sites, the image processing section executes the image processing corresponding to the site. The designation unit designates the region corresponding to the image processing performed by the image processing unit.

図1は、本実施形態に係る医用画像処理システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of a medical image processing system according to this embodiment. 図2は、本実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of a medical image processing apparatus according to this embodiment. 図3は、比較画面の一例を示す図である。FIG. 3 is a diagram showing an example of a comparison screen. 図4は、部位選択画像を有する比較画面の一例を示す図である。FIG. 4 is a diagram showing an example of a comparison screen having a part selection image. 図5は、断面位置のずれの一例について説明する図である。FIG. 5 is a diagram illustrating an example of a shift in cross-sectional position. 図6は、断面位置の修正の一例について説明する図である。FIG. 6 is a diagram illustrating an example of correction of the cross-sectional position. 図7は、本実施形態に係る医用画像処理装置が実行する表示処理の処理手順を示すフローチャートである。FIG. 7 is a flowchart showing the procedure of display processing executed by the medical image processing apparatus according to the present embodiment.

以下、添付図面を参照して、医用画像処理装置及び医用画像処理システムの実施形態について詳細に説明する。なお、本願に係る医用画像処理装置及び医用画像処理システムは、以下に示す実施形態によって限定されるものではない。 Embodiments of a medical image processing apparatus and a medical image processing system will be described in detail below with reference to the accompanying drawings. Note that the medical image processing apparatus and medical image processing system according to the present application are not limited to the embodiments described below.

図1は、本実施形態に係る医用画像処理システム1の構成の一例を示す図である。図1に示すように、医用画像処理システム1は、モダリティ10、PACS(Picture Archiving and Communication System)20、及び医用画像処理装置30を備えている。また、各システム及び各装置は、ネットワークを介して通信可能に接続されている。なお、図1に示す構成は、一例であり、各システム及び各装置の台数は任意に変更してもよい。また、図1に示されていない装置がネットワークに接続されていてもよい。 FIG. 1 is a diagram showing an example of the configuration of a medical image processing system 1 according to the present embodiment. As shown in FIG. 1, the medical image processing system 1 includes a modality 10, a PACS (Picture Archiving and Communication System) 20, and a medical image processing device 30. Further, each system and each device are communicably connected via a network. Note that the configuration shown in FIG. 1 is an example, and the number of each system and each device may be changed arbitrarily. Furthermore, devices not shown in FIG. 1 may be connected to the network.

モダリティ10は、被検体の3次元の情報である3次元画像データを生成する。例えば、モダリティ10は、X線CT(Computed Tomography)装置や、MRI(Magnetic Resonance Imaging)装置等の画像診断装置である。モダリティ10は、指定された患者等の被検体の3次元画像データを生成する。3次元画像データとは、3次元画像データとしてのX線CT画像データや、3次元画像データとしてのMRI画像データ等である。そして、モダリティ10は、生成した3次元画像データをPACS20に送信する。 The modality 10 generates three-dimensional image data that is three-dimensional information of the subject. For example, the modality 10 is an image diagnostic device such as an X-ray CT (Computed Tomography) device or an MRI (Magnetic Resonance Imaging) device. The modality 10 generates three-dimensional image data of a designated subject such as a patient. Three-dimensional image data includes X-ray CT image data as three-dimensional image data, MRI image data as three-dimensional image data, and the like. The modality 10 then transmits the generated three-dimensional image data to the PACS 20.

PACS20は、モダリティ10が生成した3次元画像データを保管するサーバ装置である。例えば、PACS20は、サーバやワークステーション等のコンピュータ機器によって実現される。更に詳しくは、PACS20は、モダリティ10から3次元画像データを受信する。そして、PACS20は、3次元画像データを自装置の記憶回路等に記憶する。 The PACS 20 is a server device that stores three-dimensional image data generated by the modality 10. For example, the PACS 20 is realized by computer equipment such as a server or a workstation. More specifically, PACS 20 receives three-dimensional image data from modality 10. Then, the PACS 20 stores the three-dimensional image data in its own storage circuit or the like.

医用画像処理装置30は、3次元画像データからアナトミカルランドマークを抽出する。ここで、アナトミカルランドマークは、被検体の解剖学的な特徴点である。そして、医用画像処理装置30は、アナトミカルランドマークに基づいて、3次元画像データ間で位置合わせを行う。これにより、医用画像処理装置30は、複数の3次元画像データ間で同一位置の断面画像を表示する。例えば、医用画像処理装置30は、サーバやワークステーション等のコンピュータ機器によって実現される。 The medical image processing device 30 extracts anatomical landmarks from three-dimensional image data. Here, the anatomical landmark is an anatomical feature point of the subject. Then, the medical image processing device 30 performs alignment between the three-dimensional image data based on the anatomical landmarks. Thereby, the medical image processing apparatus 30 displays cross-sectional images at the same position among the plurality of three-dimensional image data. For example, the medical image processing device 30 is realized by computer equipment such as a server or a workstation.

次に、本実施形態に係る医用画像処理装置30の構成について説明する。 Next, the configuration of the medical image processing apparatus 30 according to this embodiment will be described.

図2は、本実施形態に係る医用画像処理装置30の構成の一例を示すブロック図である。図2に示すように、本実施形態に係る医用画像処理装置30は、ネットワークインタフェース310と、記憶回路320と、入力インタフェース330と、ディスプレイ340と、処理回路350とを有する。 FIG. 2 is a block diagram showing an example of the configuration of the medical image processing apparatus 30 according to this embodiment. As shown in FIG. 2, the medical image processing apparatus 30 according to this embodiment includes a network interface 310, a storage circuit 320, an input interface 330, a display 340, and a processing circuit 350.

ネットワークインタフェース310は、処理回路350に接続されており、ネットワークを介して、モダリティ10、及びPACS20との間で行われる各種データの伝送及び通信を制御する。更に詳しくは、ネットワークインタフェース310は、各システムから各種の情報を受信し、受信した情報を処理回路350に出力する。例えば、ネットワークインタフェース310は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。 The network interface 310 is connected to the processing circuit 350 and controls the transmission and communication of various data between the modality 10 and the PACS 20 via the network. More specifically, the network interface 310 receives various types of information from each system and outputs the received information to the processing circuit 350. For example, the network interface 310 is implemented by a network card, network adapter, NIC (Network Interface Controller), or the like.

記憶回路320は、処理回路350に接続されており、各種データを記憶する。例えば、記憶回路320は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。 The storage circuit 320 is connected to the processing circuit 350 and stores various data. For example, the storage circuit 320 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, a hard disk, an optical disk, or the like.

入力インタフェース330は、操作者から受け付けた入力操作を電気信号に変換して処理回路350に出力する。例えば、入力インタフェース330は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、音声入力インタフェース等の入力装置によって実現される。なお、入力インタフェース330は、医用画像処理装置30とは別体に設けられた操作装置から操作に対応する電子信号を受け付ける接続インタフェース等の制御回路であってもよい。 The input interface 330 converts an input operation received from an operator into an electrical signal and outputs it to the processing circuit 350. For example, the input interface 330 may include a trackball, a switch button, a mouse, a keyboard, a touch pad that performs input operations by touching the operation surface, a touch screen that integrates a display screen and a touch pad, and a non-control device that uses an optical sensor. This is realized by an input device such as a touch input interface or a voice input interface. Note that the input interface 330 may be a control circuit such as a connection interface that receives an electronic signal corresponding to an operation from an operation device provided separately from the medical image processing apparatus 30.

ディスプレイ340は、処理回路350から出力される各種情報や各種画像を表示する。例えば、ディスプレイ340は、有機EL(Electro Luminescence)モニタや、液晶モニタや、CRT(Cathode Ray Tube)モニタや、タッチパネル等の表示装置によって実現される。例えば、ディスプレイ340は、操作者の指示を受け付けるためのGUI(Graphical User Interface)や、各種の表示用の画像データ、処理回路350による各種の処理結果を表示する。 The display 340 displays various information and various images output from the processing circuit 350. For example, the display 340 is realized by a display device such as an organic EL (Electro Luminescence) monitor, a liquid crystal monitor, a CRT (Cathode Ray Tube) monitor, or a touch panel. For example, the display 340 displays a GUI (Graphical User Interface) for accepting instructions from an operator, various image data for display, and various processing results by the processing circuit 350.

処理回路350は、医用画像処理装置30が有する各構成要素を制御する。例えば、処理回路350は、プロセッサによって実現される。さらに詳しくは、本実施形態に係る処理回路350は、取得機能351、抽出機能352、位置合わせ機能353、表示機能354、操作機能355、画像処理機能356、及び指定機能357を有する。 The processing circuit 350 controls each component included in the medical image processing apparatus 30. For example, processing circuit 350 is implemented by a processor. More specifically, the processing circuit 350 according to this embodiment has an acquisition function 351, an extraction function 352, a position alignment function 353, a display function 354, an operation function 355, an image processing function 356, and a designation function 357.

ここで、例えば、図2に示す処理回路350の構成要素である取得機能351、抽出機能352、位置合わせ機能353、表示機能354、操作機能355、画像処理機能356、及び指定機能357が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路320に記憶されている。処理回路350は、各プログラムを記憶回路320から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路350は、図2の処理回路350内に示された各機能を有することとなる。 Here, for example, the acquisition function 351, extraction function 352, alignment function 353, display function 354, operation function 355, image processing function 356, and specification function 357, which are the components of the processing circuit 350 shown in FIG. Each processing function is stored in the storage circuit 320 in the form of a computer-executable program. The processing circuit 350 is a processor that reads each program from the storage circuit 320 and executes it to realize a function corresponding to each program. In other words, the processing circuit 350 in a state where each program has been read has each function shown in the processing circuit 350 of FIG.

なお、取得機能351、抽出機能352、位置合わせ機能353、表示機能354、操作機能355、画像処理機能356、及び指定機能357の全ての処理機能がコンピュータによって実行可能な1つのプログラムの形態で、記憶回路320に記録されていてもよい。例えば、このようなプログラムは、医用画像処理プログラムとも称される。この場合、処理回路350は、医用画像処理プログラムを記憶回路320から読み出し、読み出した医用画像処理プログラムを実行することで医用画像処理プログラムに対応する取得機能351、抽出機能352、位置合わせ機能353、表示機能354、操作機能355、画像処理機能356、及び指定機能357を実現する。 Note that all the processing functions of the acquisition function 351, extraction function 352, alignment function 353, display function 354, operation function 355, image processing function 356, and designation function 357 are in the form of one program that can be executed by a computer. It may be recorded in the memory circuit 320. For example, such a program is also referred to as a medical image processing program. In this case, the processing circuit 350 reads the medical image processing program from the storage circuit 320 and executes the read medical image processing program to perform an acquisition function 351, an extraction function 352, an alignment function 353, and an alignment function 353 corresponding to the medical image processing program. A display function 354, an operation function 355, an image processing function 356, and a designation function 357 are realized.

取得機能351は、取得部の一例である。取得機能351は、複数の3次元画像データをPACS20から取得する。すなわち、取得機能351は、被検体の3次元画像データである第1の3次元画像データと、同一の被検体の3次元画像データであって当該第1の3次元画像データとは異なる第2の3次元画像データとを取得する。更に詳しくは、第1の3次元画像データは、被検体の3次元画像データである。第2の3次元画像データは、第1の3次元画像データの比較対象であって、第1の3次元画像データの被検体と同一の被検体の3次元画像データである。例えば、第1の3次元画像データは、直近に取得された3次元画像データである。第2の3次元画像データは、第1の3次元画像データと同一の被検体から過去に取得された3次元画像データである。 The acquisition function 351 is an example of an acquisition unit. The acquisition function 351 acquires a plurality of three-dimensional image data from the PACS 20. That is, the acquisition function 351 acquires first three-dimensional image data that is three-dimensional image data of a subject, and second three-dimensional image data that is three-dimensional image data of the same subject but is different from the first three-dimensional image data. 3D image data is obtained. More specifically, the first three-dimensional image data is three-dimensional image data of the subject. The second three-dimensional image data is a comparison target of the first three-dimensional image data, and is three-dimensional image data of the same subject as the subject of the first three-dimensional image data. For example, the first three-dimensional image data is the most recently acquired three-dimensional image data. The second three-dimensional image data is three-dimensional image data acquired in the past from the same subject as the first three-dimensional image data.

抽出機能352は、抽出部の一例である。抽出機能352は、第1の3次元画像データに含まれる被検体の特徴点と、第2の3次元画像データに含まれる被検体の特徴点とを抽出する。すなわち、抽出機能352は、取得機能351が取得した3次元画像データのそれぞれからアナトミカルランドマークを抽出する。 The extraction function 352 is an example of an extraction unit. The extraction function 352 extracts feature points of the subject included in the first three-dimensional image data and feature points of the subject included in the second three-dimensional image data. That is, the extraction function 352 extracts anatomical landmarks from each of the three-dimensional image data acquired by the acquisition function 351.

位置合わせ機能353は、位置合わせ部の一例である。位置合わせ機能353は、抽出機能352が抽出したアナトミカルランドマークに基づいて、第1の3次元画像データに含まれる被検体から断面画像を取得する位置と、第2の3次元画像データに含まれる被検体から断面画像を取得する位置とを同一の位置に合わせる。すなわち、位置合わせ機能353は、複数の3次元画像データ間の被検体の位置を合わせるレジストレーションを実行する。更に詳しくは、位置合わせ機能353は、第1の3次元画像データに含まれる被検体の骨盤等の剛体の部位である剛体部位にあるアナトミカルランドマークと、第2の3次元画像データに含まれる被検体の骨盤等の剛体の部位である剛体部位にあるアナトミカルランドマークとの位置を合わせる。これにより、位置合わせ機能353は、骨盤等の剛体の部位である剛体部位にあるアナトミカルランドマークに基づいて、第1の3次元画像データに含まれる被検体から断面画像を取得する位置と、第2の3次元画像データに含まれる被検体から断面画像を取得する位置とを同一の位置に合わせる。また、位置合わせ機能353は、後述する画像処理機能356が実行した画像処理に対応する部位を指定機能357が指定した場合に、指定機能357が指定した部位であって、第1の3次元画像データに含まれる被検体の部位にあるアナトミカルランドマークと、指定機能357が指定した部位であって、第2の3次元画像データに含まれる被検体の部位にあるアナトミカルランドマークとの位置を合わせる。これにより、位置合わせ機能353は、画像処理機能356が実行した画像処理に対応する部位を指定機能357が指定した場合に、指定機能357が指定した部位に含まれるアナトミカルランドマークに基づいて、第1の3次元画像データに含まれる被検体から断面画像を取得する位置と、第2の3次元画像データに含まれる被検体から断面画像を取得する位置とを同一の位置に合わせる。 The alignment function 353 is an example of an alignment unit. The alignment function 353 determines, based on the anatomical landmarks extracted by the extraction function 352, the position at which a cross-sectional image is acquired from the subject included in the first three-dimensional image data and the position included in the second three-dimensional image data. Align the position at which the cross-sectional image is acquired from the subject to be the same. That is, the alignment function 353 executes registration to align the position of the subject between a plurality of three-dimensional image data. More specifically, the alignment function 353 aligns anatomical landmarks located on a rigid body part such as the pelvis of the subject included in the first three-dimensional image data and anatomical landmarks included in the second three-dimensional image data. Align the position with an anatomical landmark located on a rigid body part such as the pelvis of the subject. As a result, the positioning function 353 determines the position at which a cross-sectional image is to be acquired from the subject included in the first three-dimensional image data, based on the anatomical landmarks in the rigid body part, such as the pelvis. The position at which a cross-sectional image is acquired from the subject included in the three-dimensional image data in step 2 is aligned with the same position. In addition, when the specification function 357 specifies a part corresponding to image processing performed by an image processing function 356, which will be described later, the positioning function 353 performs the alignment function 353 on the part specified by the specification function 357 in the first three-dimensional image. Align the anatomical landmarks on the part of the subject included in the data with the anatomical landmarks on the part of the subject specified by the specification function 357 and included in the second three-dimensional image data. . As a result, when the specification function 357 specifies a part corresponding to the image processing performed by the image processing function 356, the alignment function 353 performs an anatomical landmark based on the anatomical landmark included in the part specified by the specification function 357. The position at which a cross-sectional image is acquired from the subject included in the first three-dimensional image data and the position at which a cross-sectional image is acquired from the subject included in the second three-dimensional image data are aligned to the same position.

表示機能354は、表示部の一例である。表示機能354は、第1の3次元画像データに含まれる被検体の断面画像である第1断面画像と、第2の3次元画像データに含まれる被検体の断面画像である第2断面画像とを表示する。 The display function 354 is an example of a display section. The display function 354 displays a first cross-sectional image that is a cross-sectional image of the subject included in the first three-dimensional image data, and a second cross-sectional image that is a cross-sectional image of the subject included in the second three-dimensional image data. Display.

ここで、図3は、比較画面G1の一例を示す図である。図3に示す比較画面G1は、第1の3次元画像データの断面画像と、第2の3次元画像データの断面画像とを有している。医師等の医療従事者は、第1の3次元画像データの断面画像と、第2の3次元画像データの断面画像とを比較することで、経過観察等を行う。 Here, FIG. 3 is a diagram showing an example of the comparison screen G1. The comparison screen G1 shown in FIG. 3 includes a cross-sectional image of the first three-dimensional image data and a cross-sectional image of the second three-dimensional image data. A medical worker such as a doctor performs progress observation, etc. by comparing the cross-sectional image of the first three-dimensional image data and the cross-sectional image of the second three-dimensional image data.

また、位置合わせ機能353は、指定機能357が指定した部位に含まれるアナトミカルランドマークに基づいて、第1の3次元画像データに含まれる被検体から断面画像を取得する位置と、第2の3次元画像データに含まれる被検体から断面画像を取得する位置とを同一の位置に合わせる。そして、表示機能354は、位置合わせ機能353が複数の3次元画像データ間の被検体の位置を合わせることにより同一の断面位置となった第1断面画像と、第2断面画像とを比較画面G1に表示する。 In addition, the alignment function 353 determines the position at which a cross-sectional image is acquired from the subject included in the first three-dimensional image data and the second three-dimensional image data based on the anatomical landmark included in the region specified by the specification function 357. The position at which a cross-sectional image is acquired from the subject included in the dimensional image data is set to the same position. Then, the display function 354 displays the first cross-sectional image, which has the same cross-sectional position by aligning the position of the subject between the plurality of three-dimensional image data, and the second cross-sectional image, on a comparison screen G1. to be displayed.

また、表示機能354は、3次元画像データにおける被検体の断面位置が移動された場合に、該当する断面位置の断面画像を表示する。例えば、表示機能354は、第1の3次元画像データの断面位置を移動させた場合に、第2の3次元画像データの断面位置も同様に移動する。これにより、表示機能354は、第1の3次元画像データと、第2の3次元画像データとついて同一の断面位置の断面画像を表示する。なお、表示機能354は、複数の3次元画像データを並べて表示する形態に限らず、複数の3次元画像データを重ねて表示してもよい。 Furthermore, when the cross-sectional position of the subject in the three-dimensional image data is moved, the display function 354 displays a cross-sectional image at the corresponding cross-sectional position. For example, when the display function 354 moves the cross-sectional position of the first three-dimensional image data, the display function 354 similarly moves the cross-sectional position of the second three-dimensional image data. Thereby, the display function 354 displays cross-sectional images at the same cross-sectional position for the first three-dimensional image data and the second three-dimensional image data. Note that the display function 354 is not limited to displaying a plurality of three-dimensional image data side by side, but may display a plurality of three-dimensional image data in an overlapping manner.

操作機能355は、操作部の一例である。操作機能355は、入力インタフェース330を制御して、画像処理を指定する操作を受け付ける。例えば、操作機能355は、複数の部位が示された一覧から部位を選択する操作を受け付ける。ここで、部位とは、臓器、骨、血管、筋肉等の人体の部分である。これにより、操作機能355は、事前に設定された部位に応じた画像処理を指定する操作を受け付ける。 The operation function 355 is an example of an operation section. The operation function 355 controls the input interface 330 to accept an operation for specifying image processing. For example, the operation function 355 accepts an operation for selecting a region from a list showing a plurality of regions. Here, the site is a part of the human body such as an organ, bone, blood vessel, or muscle. Thereby, the operation function 355 accepts an operation for specifying image processing according to a preset region.

ここで、図4は、部位選択画像G11を有する比較画面G1の一例を示す図である。比較画面G1は、複数の部位が示された一覧から部位を選択する操作を受け付ける部位選択画像G11を有している。更に詳しくは、表示機能354は、比較画面G1において、マウスの右ボタンが押下された場合に、メニュー画像G12を表示する。そして、表示機能354は、メニュー画像G12において、コントラストの変更を意味する「階調プリセット」にマウスのカーソルが合わせられた場合に、部位選択画像G11を表示する。部位選択画像G11に含まれる各部位には、ウィンドウ設定が対応付けられている。ウィンドウ設定とは、ウィンドウレベル及びウィンドウ幅が含まれる。ウィンドウ幅は、コントラストの分解能の幅を示す設定である。ウィンドウレベルは、ウィンドウ幅の中央値を示す設定である。操作機能355は、部位選択画像G11から部位を選択する操作を受け付ける。これにより、表示機能354は、医師等が読影したい部位に応じたコントラストで断面画像を表示する。 Here, FIG. 4 is a diagram showing an example of a comparison screen G1 having a part selection image G11. The comparison screen G1 includes a region selection image G11 that accepts an operation to select a region from a list showing a plurality of regions. More specifically, the display function 354 displays the menu image G12 when the right mouse button is pressed on the comparison screen G1. Then, the display function 354 displays the part selection image G11 when the mouse cursor is placed on "gradation preset" which means changing the contrast in the menu image G12. Each part included in the part selection image G11 is associated with a window setting. Window settings include window level and window width. The window width is a setting that indicates the width of contrast resolution. The window level is a setting that indicates the median width of the window. The operation function 355 accepts an operation to select a region from the region selection image G11. Thereby, the display function 354 displays the cross-sectional image with a contrast depending on the region that the doctor or the like desires to interpret.

また、操作機能355は、画像処理を指示する操作を受け付ける。例えば、操作機能355は、比較画面G1等において、マウスをドラッグする操作等によりウィンドウ設定を指定する操作を受け付ける。なお、操作機能355は、マウスをドラッグする操作に限らず、数値の入力等の他の方法によりウィンドウ設定を指定する操作を受け付けてもよい。 Further, the operation function 355 accepts an operation that instructs image processing. For example, the operation function 355 accepts an operation for specifying window settings by dragging a mouse or the like on the comparison screen G1 or the like. Note that the operation function 355 is not limited to an operation of dragging a mouse, and may also accept an operation of specifying window settings by other methods such as inputting a numerical value.

また、操作機能355は、同一の断面位置の第1断面画像と、第2断面画像とを表示させる操作を受け付ける。例えば、指定機能357が指定した部位に含まれるアナトミカルランドマークに基づいて、第1の3次元画像データに含まれる被検体から断面画像を取得する位置と、第2の3次元画像データに含まれる被検体から断面画像を取得する位置とが同一の位置に合わせられた場合に、表示機能354は、同一の断面位置を表示させるか否かを確認する確認画面を表示する。操作機能355は、確認画面において、同一の断面位置を表示させるか否かを指示する表示操作を受け付ける。表示機能354は、操作機能355が同一の断面位置を表示させる操作を受け付けたことを条件に、同一の断面位置の第1断面画像と、第2断面画像とを表示する。これにより、医師等は、同一の断面位置を表示させるか、現在の表示を維持するかを任意に選択することができる。 Further, the operation function 355 accepts an operation for displaying a first cross-sectional image and a second cross-sectional image at the same cross-sectional position. For example, based on the anatomical landmark included in the region specified by the specification function 357, the position at which a cross-sectional image is acquired from the subject included in the first three-dimensional image data and the position included in the second three-dimensional image data are determined. When the position at which a cross-sectional image is acquired from the subject is set to the same position, the display function 354 displays a confirmation screen for confirming whether or not to display the same cross-sectional position. The operation function 355 accepts a display operation that instructs whether or not to display the same cross-sectional position on the confirmation screen. The display function 354 displays a first cross-sectional image and a second cross-sectional image at the same cross-sectional position on the condition that the operation function 355 receives an operation to display the same cross-sectional position. Thereby, a doctor or the like can arbitrarily select whether to display the same cross-sectional position or maintain the current display.

画像処理機能356は、画像処理部の一例である。画像処理機能356は、第1の3次元画像データに含まれる被検体の断面画像である第1断面画像と、第2の3次元画像データに含まれる被検体の断面画像である第2断面画像との少なくとも一方に対して画像処理を実行する。例えば、画像処理機能356は、部位選択画像G11から部位を選択する操作を操作機能355が受け付けた場合に、選択された部位に対応付けられたウィンドウ設定が示すコントラストに変更する画像処理を実行する。すなわち、画像処理機能356は、画像処理として第1断面画像と、第2断面画像とのコントラストを変更する。なお、画像処理機能356は、第1断面画像、及び第2断面画像の両方に限らず、何れか一方に対して画像処理を実行するものであってもよい。 The image processing function 356 is an example of an image processing section. The image processing function 356 generates a first cross-sectional image that is a cross-sectional image of the subject included in the first three-dimensional image data, and a second cross-sectional image that is a cross-sectional image of the subject included in the second three-dimensional image data. Image processing is performed on at least one of the. For example, when the operation function 355 receives an operation to select a region from the region selection image G11, the image processing function 356 executes image processing to change the contrast to the one indicated by the window settings associated with the selected region. . That is, the image processing function 356 changes the contrast between the first cross-sectional image and the second cross-sectional image as image processing. Note that the image processing function 356 is not limited to both the first cross-sectional image and the second cross-sectional image, and may perform image processing on either one.

また、画像処理機能356は、操作により指示された設定に表示態様を変更する画像処理を実行する。具体的には、操作機能355は、ドラッグ等の操作により、ウィンドウレベルやウィンドウ幅の具体的な数値を指定する操作を受け付ける。そこで、画像処理機能356は、ドラッグ等の操作を操作機能355が受け付けた場合に、操作により指示されたウィンドウ設定が示すコントラストに変更する画像処理を実行する。 Further, the image processing function 356 executes image processing to change the display mode to the settings instructed by the operation. Specifically, the operation function 355 accepts an operation for specifying a specific numerical value of the window level or window width by an operation such as dragging. Therefore, when the operation function 355 receives an operation such as dragging, the image processing function 356 executes image processing to change the contrast to the one indicated by the window setting instructed by the operation.

また、画像処理機能356は、第1断面画像と第2断面画像とが表示された比較画面G1で受け付けられた操作により指示された画像処理を実行する。具体的には、画像処理機能356は、比較画面G1において、ドラッグ等の操作によりウィンドウレベルやウィンドウ幅等のウィンドウ設定が変更された場合に、変更後のウィンドウ設定が示すコントラストに変更する画像処理を実行する。医師等は、比較画面G1において所望の部位が明確に表示されていない場合に、ドラッグ等の操作によりウィンドウレベルやウィンドウ幅を変更することで断面画像のコントラストを変更する。これにより、医師等は、所望の部位の断面画像を表示させる。 Further, the image processing function 356 executes image processing instructed by an operation accepted on the comparison screen G1 on which the first cross-sectional image and the second cross-sectional image are displayed. Specifically, the image processing function 356 performs image processing to change the contrast to the contrast indicated by the changed window settings when the window settings such as the window level and window width are changed by an operation such as dragging on the comparison screen G1. Execute. If a desired region is not clearly displayed on the comparison screen G1, the doctor or the like changes the contrast of the cross-sectional image by changing the window level or window width by dragging or the like. Thereby, the doctor or the like displays a cross-sectional image of the desired site.

なお、画像処理機能356は、コントラストに限らず、他の画像処理を実行してもよい。例えば、画像処理機能356は、エッジ強調処理であってもよいし、スムージング処理であってもよいし、擬似カラー処理であってもよいし、その他の画像処理であってもよい。エッジ強調処理は、各部位の境界の強調する処理である。スムージング処理は、周囲の情報を使用して境界を滑らかにする処理である。擬似カラー処理は、CT値等の値ごとに割り当てられた色で表示することで、擬似的なカラー画像を表示する処理である。 Note that the image processing function 356 is not limited to contrast processing, and may perform other image processing. For example, the image processing function 356 may be edge enhancement processing, smoothing processing, pseudo color processing, or other image processing. Edge enhancement processing is processing that emphasizes the boundaries of each part. Smoothing processing is processing that uses surrounding information to smooth boundaries. Pseudo color processing is a process of displaying a pseudo color image by displaying a color assigned to each value such as a CT value.

指定機能357は、指定部の一例である。指定機能357は、画像処理機能356が実行した画像処理に対応する部位を指定する。すなわち、指定機能357は、画像処理機能356が実行した画像処理に対応する部位を、位置合わせ機能353が複数の3次元画像データ間の被検体の位置を合わせるために使用するアナトミカルランドマークが含まれる部位に指定する。また、指定機能357が指定する部位は、肺等の非剛体部位であってもよい。そして、位置合わせ機能353は、第1の3次元画像データに含まれる被検体の指定された部位のアナトミカルランドマークと、第2の3次元画像データに含まれる被検体の指定された部位のアナトミカルランドマークと、第1の3次元画像データに含まれる被検体の指定機能357が指定した部位に含まれるアナトミカルランドマークとの位置を合わせる。これにより、位置合わせ機能353は、指定機能357が指定した部位に含まれるアナトミカルランドマークに基づいて、第1の3次元画像データに含まれる被検体から断面画像を取得する位置と、第2の3次元画像データに含まれる被検体から断面画像を取得する位置とを同一の位置に合わせる。 The designation function 357 is an example of a designation section. The designation function 357 designates the part corresponding to the image processing performed by the image processing function 356. In other words, the designation function 357 includes anatomical landmarks that are used by the alignment function 353 to align the position of the subject between multiple three-dimensional image data, for a region corresponding to the image processing performed by the image processing function 356. Specify the area where the Further, the region designated by the designation function 357 may be a non-rigid region such as a lung. The alignment function 353 then uses the anatomical landmarks of the designated part of the subject included in the first three-dimensional image data and the anatomical landmarks of the designated part of the subject included in the second three-dimensional image data. The landmark is aligned with the anatomical landmark included in the region specified by the object specification function 357 included in the first three-dimensional image data. Thereby, the alignment function 353 determines the position at which a cross-sectional image is to be acquired from the subject included in the first three-dimensional image data and the second position based on the anatomical landmark included in the region specified by the specification function 357. The position at which a cross-sectional image is acquired from the subject included in the three-dimensional image data is aligned to the same position.

ここで、位置合わせ機能353は、複数の3次元画像データ間の被検体の位置を合わせる場合に、骨盤等の形状が変化しにくい剛体部位に有るアナトミカルランドマークに基づいて、複数の3次元画像データ間の被検体から断面画像を取得する位置を合わせる。そして、表示機能354は、同一の断面位置の断面画像を表示する。ところが、剛体部位に有るアナトミカルランドマークを使用して被検体の位置合わせを行うと、表示機能354は、断面位置を場合に、同一の部位を表示することができないことがある。 Here, when aligning the position of the subject between multiple 3D image data, the alignment function 353 uses anatomical landmarks located in rigid body parts whose shape is difficult to change, such as the pelvis, to create multiple 3D images. Align the position to acquire the cross-sectional image from the subject between the data. The display function 354 then displays a cross-sectional image at the same cross-sectional position. However, when positioning the subject using anatomical landmarks located on rigid body parts, the display function 354 may not be able to display the same part depending on the cross-sectional position.

ここで、図5は、断面位置のずれの一例について説明する図である。また、図5は、骨盤に有るアナトミカルランドマークを使用して、3次元画像データAの被検体と、3次元画像データBの被検体との位置を合わせている。図5に示すように断面位置が骨盤の略中央にある場合、表示機能354は、3次元画像データAについては被検体の骨盤の略中央の断面画像を表示し、3次元画像データBについては被検体の骨盤の略中央の断面画像を表示する。このように、表示機能354は、被検体の同一位置の断面を表示する。 Here, FIG. 5 is a diagram illustrating an example of a shift in cross-sectional position. Further, in FIG. 5, the positions of the subject in three-dimensional image data A and the subject in three-dimensional image data B are aligned using anatomical landmarks located in the pelvis. When the cross-sectional position is approximately at the center of the pelvis as shown in FIG. A cross-sectional image of the approximate center of the subject's pelvis is displayed. In this way, the display function 354 displays a cross section at the same position of the subject.

しかし、図5に示すように、呼吸を行った場合に横隔膜の動きに伴い肺の位置は変化する。また、呼吸に限らず、体動等の様々な要因により肺の位置は変化する。そのため、図5に示すように断面位置が肺の略中央にある場合、表示機能354は、3次元画像データAについては被検体の肺の略中央の断面画像を表示するが、3次元画像データBについては被検体の肺の略中央よりも下方の断面画像を表示する。このように、表示機能354は、骨盤にあるアナトミカルランドマークを使用して被検体の位置合わせを行うと、表示機能354は、被検体の同一の部位を表示することができない場合がある。 However, as shown in FIG. 5, when breathing, the position of the lungs changes as the diaphragm moves. In addition, the position of the lungs changes due to various factors such as body movement and not just breathing. Therefore, when the cross-sectional position is approximately at the center of the lung as shown in FIG. Regarding B, a cross-sectional image below the approximate center of the subject's lungs is displayed. In this way, when the display function 354 aligns the subject using the anatomical landmarks in the pelvis, the display function 354 may not be able to display the same region of the subject.

ここで、図6は、断面位置の修正の一例について説明する図である。図6に示すように、骨盤にあるアナトミカルランドマークを使用して被検体の位置合わせを行うと、呼吸等により肺の位置が異なっているため、表示機能354は、肺の同一位置の断面画像を表示ことができない。 Here, FIG. 6 is a diagram illustrating an example of correction of the cross-sectional position. As shown in FIG. 6, when positioning the subject using anatomical landmarks in the pelvis, the position of the lungs differs due to breathing, etc., so the display function 354 displays cross-sectional images of the same position of the lungs. cannot be displayed.

そこで、指定機能357は、画像処理機能356が実行した画像処理に対応する部位にあるアナトミカルランドマークを使用して、複数の3次元画像データ間の被検体の位置を合わせるように位置合わせ機能353に要求する。例えば、図6に示すように、画像処理機能356が実行した画像処理により肺が特定された場合、指定機能357は、肺にあるアナトミカルランドマークを使用して、複数の3次元画像データ間の被検体の位置を合わせるように位置合わせ機能353に要求する。 Therefore, the specification function 357 uses the alignment function 353 to align the position of the subject between the plurality of three-dimensional image data using the anatomical landmarks located at the parts corresponding to the image processing performed by the image processing function 356. request. For example, as shown in FIG. 6, when the lungs are identified through the image processing performed by the image processing function 356, the specification function 357 uses the anatomical landmarks in the lungs to A request is made to the alignment function 353 to align the position of the subject.

位置合わせ機能353は、指定された部位にあるアナトミカルランドマークを使用して、複数の3次元画像データ間の被検体から断面画像を取得する位置を合わせる。その結果、表示機能354は、被検体の同一位置の断面画像を表示することができる。例えば、図6に示すように指定機能357は、肺にあるアナトミカルランドマークを使用して、複数の3次元画像データ間の被検体の位置を合わせる。その結果、表示機能354は、3次元画像データA及び3次元画像データBについて、肺の略同一位置の断面画像を表示することができる。以下にて、指定機能357について説明する。 The positioning function 353 uses anatomical landmarks located at designated regions to align the positions of the plurality of three-dimensional image data to obtain cross-sectional images from the subject. As a result, the display function 354 can display a cross-sectional image of the same position of the subject. For example, as shown in FIG. 6, the designation function 357 uses anatomical landmarks in the lungs to align the position of the subject between multiple three-dimensional image data. As a result, the display function 354 can display cross-sectional images of the lungs at substantially the same position for the three-dimensional image data A and the three-dimensional image data B. The specification function 357 will be explained below.

例えば、指定機能357は、部位選択画像G11から選択された部位に対応する画像処理を画像処理機能356が実行した場合に、画像処理機能356が実行した画像処理に対応する部位を指定する。すなわち、部位選択画像G11から選択された部位に対応するウィンドウ設定が示すコントラストに変更する画像処理を画像処理機能356が実行した場合に、指定機能357は、部位選択画像G11から選択された部位を指定する。ここで、医師等は、部位選択画像G11から読影対象の部位を選択する。よって、位置合わせ機能353は、読影対象の部位に含まれるアナトミカルランドマークで複数の3次元画像データ間の被検体の位置を合わせることができる。 For example, when the image processing function 356 executes image processing corresponding to the part selected from the part selection image G11, the designation function 357 specifies the part corresponding to the image processing performed by the image processing function 356. That is, when the image processing function 356 executes image processing to change the contrast to the contrast indicated by the window settings corresponding to the region selected from the region selection image G11, the specification function 357 changes the contrast of the region selected from the region selection image G11. specify. Here, the doctor or the like selects a region to be interpreted from the region selection image G11. Therefore, the alignment function 353 can align the position of the subject between the plurality of three-dimensional image data using the anatomical landmarks included in the region to be interpreted.

また、指定機能357は、操作により指示された画像処理を画像処理機能356が実行した場合に、画像処理機能356が実行した画像処理に対応する部位を指定する。すなわち、指定機能357は、ドラッグ等の操作により指示されたウィンドウ設定が示すコントラストに変更する画像処理を画像処理機能356が実行した場合に、ウィンドウ設定に対応する部位を指定する。例えば、記憶回路320は、ウィンドウ設定と、部位とが対応付けられた情報テーブルを記憶する。指定機能357は、指示されたウィンドウ設定に対応付けられた部位を情報テーブルから抽出することでウィンドウ設定に対応する部位を特定する。そして、指定機能357は、特定した部位を、位置合わせ機能353が複数の3次元画像データ間の被検体の位置を合わせるために使用するアナトミカルランドマークが含まれる部位に指定する。 Furthermore, when the image processing function 356 executes image processing instructed by an operation, the specification function 357 specifies a part corresponding to the image processing executed by the image processing function 356. That is, the designation function 357 designates a region corresponding to the window setting when the image processing function 356 executes image processing to change the contrast to the contrast indicated by the window setting instructed by an operation such as a drag operation. For example, the storage circuit 320 stores an information table in which window settings and body parts are associated with each other. The specification function 357 specifies the part corresponding to the window setting by extracting the part associated with the specified window setting from the information table. Then, the designation function 357 designates the identified region as a region that includes an anatomical landmark used by the alignment function 353 to align the position of the subject between the plurality of three-dimensional image data.

また、指定機能357は、比較画面G1で受け付けられた操作により指示された画像処理を画像処理機能356が実行した場合に、第1断面画像、又は第2断面画像に含まれる部位であって、画像処理に対応する部位を指定する。すなわち、指定機能357は、比較画面G1で受け付けられたドラッグ等の操作により指示されたウィンドウ設定が示すコントラストに変更する画像処理を画像処理機能356が実行した場合に、第1断面画像、又は第2断面画像に含まれる部位であって、ウィンドウ設定に対応する部位を指定する。医師等は、読影対象の部位が明確に表示されていない場合に、ドラッグ等の操作により指示されたウィンドウ設定を変更して適切なコントラストにすることで、読影対象の部位が明確に表示する。すなわち、第1断面画像、又は第2断面画像に含まれる部位が読影対象の部位であると推定することができる。よって、指定機能357は、指定する部位の条件として、第1断面画像、又は第2断面画像に含まれる部位であることを加えることで、読影対象の部位であることの精度を向上させることができる。 Further, the specification function 357 is a part included in the first cross-sectional image or the second cross-sectional image when the image processing function 356 executes the image processing instructed by the operation accepted on the comparison screen G1, Specify the part corresponding to image processing. In other words, the designation function 357 selects the first cross-sectional image or the A region included in the two-section image and corresponding to the window settings is specified. If the region to be interpreted is not clearly displayed, the doctor or the like can clearly display the region to be interpreted by changing the specified window settings by dragging or other operations to obtain an appropriate contrast. That is, it can be estimated that the region included in the first cross-sectional image or the second cross-sectional image is the region to be interpreted. Therefore, the specification function 357 can improve the accuracy of identifying the region to be interpreted by adding, as a condition for the region to be specified, that the region is included in the first cross-sectional image or the second cross-sectional image. can.

次に、本実施形態に係る医用画像処理装置30が実行する表示処理について説明する。図7は、本実施形態に係る医用画像処理装置30が実行する表示処理の処理手順を示すフローチャートである。 Next, display processing executed by the medical image processing apparatus 30 according to this embodiment will be described. FIG. 7 is a flowchart showing the procedure of display processing executed by the medical image processing apparatus 30 according to the present embodiment.

取得機能351は、読影対象の3次元画像データと、この3次元画像データと比較する3次元画像データとをPACS20から取得する(ステップS1)。 The acquisition function 351 acquires three-dimensional image data to be interpreted and three-dimensional image data to be compared with this three-dimensional image data from the PACS 20 (step S1).

抽出機能352は、取得機能351が取得したそれぞれの3次元画像データから被検体のアナトミカルランドマークを抽出する(ステップS2)。 The extraction function 352 extracts anatomical landmarks of the subject from each three-dimensional image data acquired by the acquisition function 351 (step S2).

位置合わせ機能353は、抽出機能352が抽出した3次元画像データに含まれる被検体のアナトミカルランドマークを使用して、複数の3次元画像データ間の被検体の位置を合わせる(ステップS3)。 The alignment function 353 uses the anatomical landmarks of the subject included in the three-dimensional image data extracted by the extraction function 352 to align the position of the subject between the plurality of three-dimensional image data (step S3).

表示機能354は、位置合わせ機能353により合わせられた被検体の同一位置の断面画像を比較画面G1に表示する(ステップS4)。 The display function 354 displays the cross-sectional images of the same position of the subject aligned by the alignment function 353 on the comparison screen G1 (step S4).

操作機能355は、比較画面G1に表示された断面画像に対して画像処理を実行する操作を受け付けたか否かを判定する(ステップS5)。例えば、操作機能355は、3次元画像データのコントラストを変更する操作を受け付けたか否かを判定する。画像処理を実行する操作を受け付けていない場合(ステップS5;No)、表示機能354は、ステップS5において、比較画面G1の表示を継続する。 The operation function 355 determines whether an operation to perform image processing on the cross-sectional image displayed on the comparison screen G1 has been received (step S5). For example, the operation function 355 determines whether an operation for changing the contrast of three-dimensional image data has been received. If an operation to perform image processing is not received (step S5; No), the display function 354 continues displaying the comparison screen G1 in step S5.

画像処理を実行する操作を受け付けた場合(ステップS5;Yes)、画像処理機能356は、操作に対応した画像処理を実行する(ステップS6)。例えば、画像処理機能356は、受け付けた操作が示すウィンドウ設定が示すコントラストに変更する画像処理を実行する。 If an operation to perform image processing is received (step S5; Yes), the image processing function 356 executes image processing corresponding to the operation (step S6). For example, the image processing function 356 executes image processing to change the contrast to the one indicated by the window setting indicated by the received operation.

指定機能357は、画像処理機能356が実行した画像処理に対応する部位を、位置合わせ機能353が複数の3次元画像データ間の被検体の位置を合わせるために使用するアナトミカルランドマークが含まれる部位に指定する(ステップS7)。 The designation function 357 selects a region corresponding to the image processing performed by the image processing function 356 as a region including an anatomical landmark used by the alignment function 353 to align the position of the subject between multiple three-dimensional image data. (Step S7).

位置合わせ機能353は、指定された部位あるアナトミカルランドマークを使用して、複数の3次元画像データ間の被検体の位置を合わせる(ステップS8)。 The alignment function 353 aligns the position of the subject between the plurality of three-dimensional image data using anatomical landmarks in the designated region (step S8).

表示機能354は、被検体の同一位置の断面画像を比較画面G1に表示するかを確認する確認画面を表示する(ステップS9)。 The display function 354 displays a confirmation screen for confirming whether to display cross-sectional images of the same position of the subject on the comparison screen G1 (step S9).

操作機能355は、確認画面において、被検体の同一位置の断面画像を比較画面G1に表示する操作を受け付けたか否かを判定する(ステップS10)。被検体の同一位置の断面画像を比較画面G1に表示する操作を受け付けていない場合(ステップS10;No)、表示機能354は、ステップS4に移行する。すなわち、表示機能354は、コントラストが変更された断面画像であって、断面位置が変更されていない断面画像を有する比較画面G1を表示する。 The operation function 355 determines whether or not an operation for displaying a cross-sectional image of the same position of the subject on the comparison screen G1 has been received on the confirmation screen (step S10). If the operation to display cross-sectional images of the same position of the subject on the comparison screen G1 is not received (step S10; No), the display function 354 moves to step S4. That is, the display function 354 displays a comparison screen G1 having a cross-sectional image whose contrast has been changed and whose cross-sectional position has not been changed.

被検体の同一位置の断面画像を比較画面G1に表示する操作を受け付けた場合(ステップS10;No)、表示機能354は、被検体の同一位置の断面画像を比較画面G1に表示する(ステップS11)。そして、医用画像処理装置30は、ステップS4に移行して、比較画面G1の表示を継続する。 If an operation to display cross-sectional images of the same position of the subject on the comparison screen G1 is received (step S10; No), the display function 354 displays cross-sectional images of the same position of the subject on the comparison screen G1 (step S11). ). The medical image processing apparatus 30 then proceeds to step S4 and continues displaying the comparison screen G1.

医用画像処理装置30は、比較画面G1の表示を終了する操作を受け付けた場合に、表示処理を終了する。 The medical image processing device 30 ends the display process when receiving an operation to end the display of the comparison screen G1.

以上のように、本実施形態に係る医用画像処理装置30は、アナトミカルランドマークを使用して被検体の位置を合わせた第1断面画像と、第2断面画像とを表示する。また、医用画像処理装置30は、コントラストを変更する等の画像処理を実行した場合に、実行した画像処理に対応した部位を特定する。そして、医用画像処理装置30は、特定した部位にあるアナトミカルランドマークを使用して被検体の位置を合わせる。医師等は読影対象の部位に応じたコントラストで読影を行うため、医用画像処理装置30は、コントラストに対応した部位を特定することで、読影対象の部位を特定することができる。その結果、本実施形態に係る医用画像処理装置30は、読影対象の部位にあるアナトミカルランドマークで被検体の位置を合わせるため、体動や呼吸等に影響されにくい位置合わせを行うことができる。 As described above, the medical image processing apparatus 30 according to the present embodiment displays a first cross-sectional image and a second cross-sectional image in which the position of the subject is aligned using anatomical landmarks. Furthermore, when performing image processing such as changing contrast, the medical image processing apparatus 30 identifies a region corresponding to the performed image processing. Then, the medical image processing device 30 aligns the position of the subject using the anatomical landmarks located at the identified site. Since a doctor or the like performs image interpretation using a contrast that corresponds to the region to be interpreted, the medical image processing apparatus 30 can specify the region to be interpreted by identifying the region corresponding to the contrast. As a result, the medical image processing apparatus 30 according to the present embodiment aligns the position of the subject using the anatomical landmarks in the region to be interpreted, and therefore can perform positioning that is less affected by body movements, breathing, and the like.

また、上記した実施形態では、医用画像処理装置30が特徴的な機能を備えている場合を例に説明した。しかしながら、医用画像処理装置30が備えている取得機能351、抽出機能352、位置合わせ機能353、表示機能354、操作機能355、画像処理機能356、及び指定機能357等のこれらの機能の全部又は一部は、モダリティ10が備えていてもよいし、PACS20が備えていてもよいし、これら以外の装置又はシステムが備えていてもよい。 Furthermore, in the above-described embodiment, the case where the medical image processing apparatus 30 is provided with characteristic functions has been described as an example. However, all or some of these functions, such as an acquisition function 351, an extraction function 352, an alignment function 353, a display function 354, an operation function 355, an image processing function 356, and a specification function 357, which the medical image processing apparatus 30 has, The module may be included in the modality 10, the PACS 20, or other devices or systems.

また、上述した実施形態では、単一の処理回路350によって各処理機能が実現される場合の例を説明したが、実施形態はこれに限られない。例えば、処理回路350は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路350が有する各処理機能は、単一又は複数の処理回路350に適宜に分散又は統合されて実現されてもよい。 Further, in the embodiment described above, an example was described in which each processing function is realized by a single processing circuit 350, but the embodiment is not limited to this. For example, the processing circuit 350 may be configured by combining a plurality of independent processors, and each processor may implement each processing function by executing each program. Further, each processing function of the processing circuit 350 may be realized by being distributed or integrated into a single or multiple processing circuits 350 as appropriate.

上述した各実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。 The term "processor" used in the description of each embodiment above refers to, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an Application Specific Integrated Circuit (ASIC), a programmable Refers to circuits such as logic devices (e.g., Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA)). do. Here, instead of storing the program in the memory, the program may be directly incorporated into the circuit of the processor. In this case, the processor realizes its functions by reading and executing a program built into the circuit. Furthermore, each processor of this embodiment is not limited to being configured as a single circuit for each processor, but may also be configured as a single processor by combining multiple independent circuits to realize its functions. good.

ここで、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶部等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、各機能部を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。 Here, the program to be executed by the processor is provided by being pre-installed in a ROM (Read Only Memory), a storage unit, or the like. This program is a file in a format that can be installed or executable on these devices, such as CD (Compact Disk)-ROM, FD (Flexible Disk), CD-R (Recordable), DVD (Digital Versatile Disk), etc. It may be provided recorded on a computer readable storage medium. Further, this program may be stored on a computer connected to a network such as the Internet, and may be provided or distributed by being downloaded via the network. For example, this program is composed of modules including each functional section. In actual hardware, a CPU reads a program from a storage medium such as a ROM and executes it, so that each module is loaded onto the main storage device and generated on the main storage device.

以上説明した少なくとも一つの実施形態によれば、体動や呼吸等に影響されにくい位置合わせを行うことができる。 According to at least one embodiment described above, it is possible to perform positioning that is less affected by body movements, breathing, and the like.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.

1 医用画像処理システム
10 モダリティ
20 PACS
30 医用画像処理装置
310 ネットワークインタフェース
320 記憶回路
330 入力インタフェース
340 ディスプレイ
350 処理回路
351 取得機能
352 抽出機能
353 位置合わせ機能
354 表示機能
355 操作機能
356 画像処理機能
357 指定機能
G1 比較画面
G11 部位選択画像
G12 メニュー画像
1 Medical image processing system 10 Modality 20 PACS
30 Medical image processing device 310 Network interface 320 Memory circuit 330 Input interface 340 Display 350 Processing circuit 351 Acquisition function 352 Extraction function 353 Alignment function 354 Display function 355 Operation function 356 Image processing function 357 Specification function G1 Comparison screen G11 Site selection image G12 menu image

Claims (7)

被検体の3次元画像データである第1の3次元画像データと、当該被検体の3次元画像データであって当該第1の3次元画像データとは異なる第2の3次元画像データとを取得する取得部と、
前記第1の3次元画像データに含まれる前記被検体の特徴点と、前記第2の3次元画像データに含まれる前記被検体の特徴点とを抽出する抽出部と、
前記第1の3次元画像データに含まれる前記被検体の断面画像である第1断面画像と、前記第2の3次元画像データに含まれる前記被検体の断面画像である第2断面画像との少なくとも一方に対して画像処理を実行する画像処理部と、
前記画像処理部が前記画像処理を実行した前記第1断面画像に含まれる部位を指定する指定部と、
前記指定部が指定した前記部位に含まれる前記特徴点に基づいて、前記第1の3次元画像データに含まれる前記被検体から前記第1断面画像を取得する位置と、前記第2の3次元画像データに含まれる前記被検体から前記第2断面画像を取得する位置とを同一の位置に合わせる位置合わせ部と、
を備え
前記画像処理部は、複数の前記部位が示された一覧から前記部位が選択された場合に、当該部位に対応する前記画像処理を実行し、
前記指定部は、前記画像処理部が実行した前記画像処理に対応する前記部位を指定する、
医用画像処理装置。
Acquire first three-dimensional image data that is three-dimensional image data of the subject and second three-dimensional image data that is three-dimensional image data of the subject and is different from the first three-dimensional image data. an acquisition unit to
an extraction unit that extracts feature points of the subject included in the first three-dimensional image data and feature points of the subject included in the second three-dimensional image data;
A first cross-sectional image that is a cross-sectional image of the subject included in the first three-dimensional image data, and a second cross-sectional image that is a cross-sectional image of the subject included in the second three-dimensional image data. an image processing unit that performs image processing on at least one side;
a designation unit that designates a region included in the first cross-sectional image on which the image processing unit has performed the image processing;
a position at which the first cross-sectional image is acquired from the subject included in the first three-dimensional image data, and a position at which the first cross-sectional image is acquired from the subject, which is included in the first three-dimensional image data, based on the feature points included in the region specified by the specifying unit; a positioning unit that aligns a position at which the second cross-sectional image is acquired from the subject included in image data to the same position;
Equipped with
The image processing unit executes the image processing corresponding to the region when the region is selected from a list showing a plurality of the regions,
The designation unit designates the part corresponding to the image processing performed by the image processing unit.
Medical image processing device.
前記位置合わせ部は、剛体の部位である剛体部位に含まれる前記特徴点に基づいて、前記第1の3次元画像データに含まれる前記被検体から前記第1断面画像を取得する位置と、前記第2の3次元画像データに含まれる前記被検体から前記第2断面画像を取得する位置とを同一の位置に合わせ、
前記指定部は、前記画像処理部が実行した前記画像処理に対応する部位を指定し、
前記位置合わせ部は、前記画像処理に対応する前記部位を前記指定部が指定した場合に、前記指定部が指定した前記部位に含まれる前記特徴点に基づいて、前記第1の3次元画像データに含まれる前記被検体から前記第1断面画像を取得する位置と、前記第2の3次元画像データに含まれる前記被検体から前記第2断面画像を取得する位置とを同一の位置に合わせる、
請求項1に記載の医用画像処理装置。
The alignment unit determines a position at which the first cross-sectional image is acquired from the subject included in the first three-dimensional image data, based on the feature points included in the rigid body part, which is a rigid body part; Aligning the position at which the second cross-sectional image is acquired from the subject included in the second three-dimensional image data to the same position,
The designation unit designates a region corresponding to the image processing performed by the image processing unit,
When the specifying unit specifies the part corresponding to the image processing, the positioning unit adjusts the first three-dimensional image data based on the feature points included in the part specified by the specifying unit. aligning a position at which the first cross-sectional image is acquired from the subject included in the object and a position at which the second cross-sectional image is acquired from the subject included in the second three-dimensional image data to be the same;
The medical image processing device according to claim 1.
前記第1断面画像と、前記第2断面画像とを表示する表示部を更に備え、
前記位置合わせ部は、前記指定部が指定した前記部位に含まれる前記特徴点に基づいて、前記第1の3次元画像データに含まれる前記被検体から前記第1断面画像を取得する位置と、前記第2の3次元画像データに含まれる前記被検体から前記第2断面画像を取得する位置とを同一の位置に合わせ、
前記表示部は、前記位置合わせ部が前記被検体の位置を合わせることにより同一の断面位置となった前記第1断面画像と、前記第2断面画像とを表示する、
請求項1又は2に記載の医用画像処理装置。
further comprising a display unit that displays the first cross-sectional image and the second cross-sectional image,
The positioning unit acquires the first cross-sectional image from the subject included in the first three-dimensional image data based on the feature points included in the site specified by the specifying unit; aligning a position at which the second cross-sectional image is acquired from the subject included in the second three-dimensional image data to the same position;
The display unit displays the first cross-sectional image and the second cross-sectional image, which have the same cross-sectional position by adjusting the position of the subject by the alignment unit.
The medical image processing device according to claim 1 or 2.
前記画像処理部は、前記第1断面画像と前記第2断面画像とが表示された画面で受け付けられた操作により指示された前記画像処理を実行し、
前記指定部は、前記第1断面画像、又は前記第2断面画像に含まれる前記部位であって、前記画像処理に対応する前記部位を指定する、
請求項3に記載の医用画像処理装置。
The image processing unit executes the image processing instructed by an operation accepted on a screen on which the first cross-sectional image and the second cross-sectional image are displayed,
The specifying unit specifies the site included in the first cross-sectional image or the second cross-sectional image and corresponding to the image processing.
The medical image processing device according to claim 3.
同一の断面位置の前記第1断面画像と、前記第2断面画像とを表示させる操作を受け付ける操作部を更に備え、
前記表示部は、前記操作部が同一の断面位置を表示させる操作を受け付けたことを条件に、同一の断面位置の前記第1断面画像と、前記第2断面画像とを表示する、
請求項3に記載の医用画像処理装置。
further comprising an operation unit that accepts an operation to display the first cross-sectional image and the second cross-sectional image at the same cross-sectional position,
The display unit displays the first cross-sectional image and the second cross-sectional image at the same cross-sectional position on the condition that the operation unit receives an operation to display the same cross-sectional position.
The medical image processing device according to claim 3.
前記画像処理部は、前記画像処理として前記第1断面画像と、前記第2断面画像とのコントラストを変更する、
請求項1から請求項の何れか一項に記載の医用画像処理装置。
The image processing unit changes the contrast between the first cross-sectional image and the second cross-sectional image as the image processing.
A medical image processing apparatus according to any one of claims 1 to 4 .
被検体の3次元画像データである第1の3次元画像データと、当該被検体の3次元画像データであって当該第1の3次元画像データとは異なる第2の3次元画像データとを取得する取得部と、
前記第1の3次元画像データに含まれる前記被検体の特徴点と、前記第2の3次元画像データに含まれる前記被検体の特徴点とを抽出する抽出部と、
前記第1の3次元画像データに含まれる前記被検体の断面画像である第1断面画像と、前記第2の3次元画像データに含まれる前記被検体の断面画像である第2断面画像との少なくとも一方に対して画像処理を実行する画像処理部と、
前記画像処理部が前記画像処理を実行した前記第1断面画像に含まれる部位を指定する指定部と、
前記指定部が指定した前記部位に含まれる前記特徴点に基づいて、前記第1の3次元画像データに含まれる前記被検体から前記第1断面画像を取得する位置と、前記第2の3次元画像データに含まれる前記被検体から前記第2断面画像を取得する位置とを同一の位置に合わせる位置合わせ部と、
を備え
前記画像処理部は、複数の前記部位が示された一覧から前記部位が選択された場合に、当該部位に対応する前記画像処理を実行し、
前記指定部は、前記画像処理部が実行した前記画像処理に対応する前記部位を指定する、
医用画像処理システム。
Acquire first three-dimensional image data that is three-dimensional image data of the subject and second three-dimensional image data that is three-dimensional image data of the subject and is different from the first three-dimensional image data. an acquisition unit to
an extraction unit that extracts feature points of the subject included in the first three-dimensional image data and feature points of the subject included in the second three-dimensional image data;
A first cross-sectional image that is a cross-sectional image of the subject included in the first three-dimensional image data, and a second cross-sectional image that is a cross-sectional image of the subject included in the second three-dimensional image data. an image processing unit that performs image processing on at least one side;
a designation unit that designates a region included in the first cross-sectional image on which the image processing unit has performed the image processing;
a position at which the first cross-sectional image is acquired from the subject included in the first three-dimensional image data, and a position at which the first cross-sectional image is acquired from the subject, which is included in the first three-dimensional image data, based on the feature points included in the region specified by the specifying unit; a positioning unit that aligns a position at which the second cross-sectional image is acquired from the subject included in image data to the same position;
Equipped with
The image processing unit executes the image processing corresponding to the region when the region is selected from a list showing a plurality of the regions,
The designation unit designates the part corresponding to the image processing performed by the image processing unit.
Medical image processing system.
JP2019229761A 2019-12-19 2019-12-19 Medical image processing devices and medical image processing systems Active JP7451168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019229761A JP7451168B2 (en) 2019-12-19 2019-12-19 Medical image processing devices and medical image processing systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019229761A JP7451168B2 (en) 2019-12-19 2019-12-19 Medical image processing devices and medical image processing systems

Publications (2)

Publication Number Publication Date
JP2021097731A JP2021097731A (en) 2021-07-01
JP7451168B2 true JP7451168B2 (en) 2024-03-18

Family

ID=76541566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229761A Active JP7451168B2 (en) 2019-12-19 2019-12-19 Medical image processing devices and medical image processing systems

Country Status (1)

Country Link
JP (1) JP7451168B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009219655A (en) 2008-03-17 2009-10-01 Fujifilm Corp Image analysis apparatus, method, and program
US20140072196A1 (en) 2012-09-07 2014-03-13 Korea Advanced Institute Of Science And Technology Method and apparatus for medical image registration
JP2015066023A (en) 2013-09-27 2015-04-13 富士フイルム株式会社 Image positioning apparatus, method, and program, and three-dimensional deformation model generation method
JP2015171437A (en) 2014-03-11 2015-10-01 株式会社東芝 Medical image processing apparatus, medical image processing system, and medical image processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009219655A (en) 2008-03-17 2009-10-01 Fujifilm Corp Image analysis apparatus, method, and program
US20140072196A1 (en) 2012-09-07 2014-03-13 Korea Advanced Institute Of Science And Technology Method and apparatus for medical image registration
JP2015066023A (en) 2013-09-27 2015-04-13 富士フイルム株式会社 Image positioning apparatus, method, and program, and three-dimensional deformation model generation method
JP2015171437A (en) 2014-03-11 2015-10-01 株式会社東芝 Medical image processing apparatus, medical image processing system, and medical image processing program

Also Published As

Publication number Publication date
JP2021097731A (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US9808213B2 (en) Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
JP5417609B2 (en) Medical diagnostic imaging equipment
JP6448356B2 (en) Image processing apparatus, image processing method, image processing system, and program
EP2196146A1 (en) X-Ray diagnosis apparatus and image processing apparatus
JP2011125568A (en) Image processor, image processing method, program and image processing system
JP5698068B2 (en) Image processing apparatus, image display system, radiographic image capturing system, image processing program, and image processing method
US10223795B2 (en) Device, system and method for segmenting an image of a subject
KR20130018168A (en) Method and device for visualizing the registration quality of medical image data sets
US9910958B2 (en) Method and device for displaying a first image and a second image of an object
US10776919B2 (en) X-ray diagnostic apparatus and image processing apparatus to specify a position of a pathological abnormality candidate
CN107633478B (en) Image processing apparatus, image processing method, and computer readable medium
JP6429958B2 (en) Image processing apparatus, image processing method, and program
JP7363878B2 (en) Radiographic image display device and image display method
JP2012100955A (en) Medical image display device
US7689266B2 (en) Medical image diagnosis apparatus
JP7432296B2 (en) Medical information processing system
KR20190124002A (en) Medical imaging apparatus and controlling method of medical imaging apparatus
JP7451168B2 (en) Medical image processing devices and medical image processing systems
US10825176B2 (en) Medical image processing apparatus, method for processing medical image, and medical image processing system
US20190236783A1 (en) Image processing apparatus, image processing method, and program
JP2010131315A (en) Medical image processor and medical image processing program
JP7066358B2 (en) Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing programs
JP2019217264A (en) Medical image processing apparatus, medical image diagnostic apparatus, and medical image processing method
JP6645904B2 (en) Medical image display device and display program
JP2016106781A (en) Image processing system, and control method and program for image processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150