JP6902012B2 - Medical image display terminal and medical image display program - Google Patents

Medical image display terminal and medical image display program Download PDF

Info

Publication number
JP6902012B2
JP6902012B2 JP2018244925A JP2018244925A JP6902012B2 JP 6902012 B2 JP6902012 B2 JP 6902012B2 JP 2018244925 A JP2018244925 A JP 2018244925A JP 2018244925 A JP2018244925 A JP 2018244925A JP 6902012 B2 JP6902012 B2 JP 6902012B2
Authority
JP
Japan
Prior art keywords
medical image
anatomical structure
transparency
points
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018244925A
Other languages
Japanese (ja)
Other versions
JP2019103818A (en
Inventor
金吾 七戸
金吾 七戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nemoto Kyorindo Co Ltd
Original Assignee
Nemoto Kyorindo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014266230A external-priority patent/JP6462358B2/en
Application filed by Nemoto Kyorindo Co Ltd filed Critical Nemoto Kyorindo Co Ltd
Priority to JP2018244925A priority Critical patent/JP6902012B2/en
Publication of JP2019103818A publication Critical patent/JP2019103818A/en
Application granted granted Critical
Publication of JP6902012B2 publication Critical patent/JP6902012B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、被検者を撮像して得た医用画像を表示するとともに種々の画像処理を簡便かつ直感的に行うことができる医用画像表示端末および医用画像表示プログラムを提供することにある。 An object of the present invention is to provide a medical image display terminal and a medical image display program capable of displaying a medical image obtained by imaging a subject and performing various image processing easily and intuitively.

現在、医用の画像診断装置として、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、超音波診断装置、血管造影(アンギオグラフィ)撮像装置等が知られている。 Currently, CT (Computed Tomography) equipment, MRI (Magnetic Resonance Imaging) equipment, PET (Positron Emission Tomography) equipment, ultrasonic diagnostic equipment, angiography (angiography) imaging equipment and the like are known as medical diagnostic imaging equipment. There is.

近年では、例えば、血管が複雑に絡みあう肝臓などの臓器に対する手術を行う前に造影CT検査を実施し、施術対象となる部位の透視撮像画像を用意し、それをワークステーション上で確認するなどして術前シミュレーションが行われることもある。こうしたシミュレーションは治療計画の検討に有用である。例えば特許文献1には、タブレット端末で肝臓等の臓器を表示して手術動作をシミュレーションする技術も開示されている。 In recent years, for example, a contrast-enhanced CT examination is performed before surgery is performed on an organ such as the liver in which blood vessels are intricately entwined, a fluoroscopic image of the site to be treated is prepared, and the image is confirmed on a workstation. Preoperative simulation may also be performed. Such simulations are useful for studying treatment plans. For example, Patent Document 1 also discloses a technique of displaying an organ such as a liver on a tablet terminal to simulate a surgical operation.

特開2014−54358号公報Japanese Unexamined Patent Publication No. 2014-54358

特許文献1の技術は、タブレット端末を利用するものであるので場所を選ばずどこでも持ち運んで術前シミュレーションをできるという点で有用であるが、例えば、医用画像に含まれる複数の解剖学的構造物の表示の切替えや、簡便な方法による切除操作などを行えるグラフィカル・ユーザ・インターフェースを備えるものが、より有用であり、実用に資する。 Since the technique of Patent Document 1 uses a tablet terminal, it is useful in that it can be carried anywhere and perform preoperative simulation. For example, a plurality of anatomical structures included in a medical image. It is more useful and contributes to practical use if it is equipped with a graphical user interface that can switch the display of the above and perform excision operations by a simple method.

本発明は、こうした問題点に着目してなされたものであって、その目的は、種々の画像処理を簡便かつ直感的に行うことができる医用画像表示端末および医用画像表示プログラムを提供することにある。 The present invention has been made in view of these problems, and an object of the present invention is to provide a medical image display terminal and a medical image display program capable of performing various image processing easily and intuitively. is there.

上記課題を解決するための本発明の一形態の医用画像表示端末は下記の通りである:
ディスプレイと、操作入力装置と、制御部と、を備える医用画像表示端末であって、
前記制御部は、
前記ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させることと、
操作者により、前記操作入力装置を介して指定された第1の点および第2の点を特定することと、
前記第1および第2の点によって規定される線を切断基準線として、前記解剖学的構造物を複数に分割することと、
を行うように構成されている、医用画像表示端末。
A form of medical image display terminal of the present invention for solving the above problems is as follows:
A medical image display terminal including a display, an operation input device, and a control unit.
The control unit
To display a medical image containing at least one anatomical structure on the display.
Identifying the first point and the second point designated by the operator via the operation input device, and
Dividing the anatomical structure into a plurality of parts using the line defined by the first and second points as a cutting reference line.
A medical image display terminal that is configured to do.

(用語の説明)
「解剖学的構造物」とは、被写体内で認識可能な対象物(例えば臓器、骨、血管等)のことをいい、脂肪や、腫瘍等の病変等をも含む。
「端末」とは、ネットワークに接続されまたはスダンドアロンで使用され、データ処理を行う情報処理装置をいう。該情報処理装置に任意の周辺装置を接続して構成してもよい。基本的にはタブレット端末やラップトップ型コンピュータのように各種機能が1つのデバイス内に設けられているものも好ましいが、場合によっては、その一部の機能を、例えば負荷に応じて、任意の単位で機能的または物理的に分散して構成することもできる。
「接続」とは、2つの要素が直接接続されている場合に加え、本発明の趣旨を逸脱しない範囲で、ある要素と他の要素とが何らかの中間要素を介して間接的に接続されている場合をも含む。
(Explanation of terms)
The "anatomical structure" refers to an object (for example, an organ, a bone, a blood vessel, etc.) that can be recognized in the subject, and includes fat, a lesion such as a tumor, and the like.
"Terminal" refers to an information processing device that is connected to a network or used by Sudan Doaron to process data. Any peripheral device may be connected to the information processing device. Basically, it is preferable that various functions are provided in one device such as a tablet terminal or a laptop computer, but in some cases, some of the functions may be arbitrarily provided, for example, depending on the load. It can also be configured functionally or physically distributed in units.
"Connection" means that, in addition to the case where two elements are directly connected, one element and another element are indirectly connected via some intermediate element without departing from the spirit of the present invention. Including cases.

本発明によれば、種々の画像処理を簡便かつ直感的に行うことができる医用画像表示端末および医用画像表示プログラムを提供することができる。 According to the present invention, it is possible to provide a medical image display terminal and a medical image display program capable of performing various image processing easily and intuitively.

一実施形態の医用画像表示端末のブロック図の例を示す図である。It is a figure which shows the example of the block diagram of the medical image display terminal of one Embodiment. タブレット端末として構成された医用画像表示端末の外観模式図である。It is a schematic appearance figure of the medical image display terminal configured as a tablet terminal. 病院システムの構成要素の一例を示す図である。It is a figure which shows an example of the component | component of a hospital system. 三次元医用画像の一例を示す図である。It is a figure which shows an example of a three-dimensional medical image. 三次元医用画像上の任意の対象に対して2点を指定する様子を説明するための図である。It is a figure for demonstrating the state of designating two points for arbitrary objects on a three-dimensional medical image. 指定された点の一を微調整する様子を説明するための図である。It is a figure for demonstrating how to fine-tune one of the designated points. 肝臓を分割する例を示す図である。It is a figure which shows the example which divides a liver. 分割した肝臓の一部にタッチする様子を説明するための図である。It is a figure for demonstrating the state of touching a part of the divided liver. 分割した肝臓の一部のみを非表示とした状態を示す図である。It is a figure which shows the state which only a part of the divided liver is hidden. 一例としての操作手順の流れを示すフローチャートである。It is a flowchart which shows the flow of the operation procedure as an example. 領域指定の手順を説明するための図である。It is a figure for demonstrating the procedure of area designation. 領域指定の手順(一例)を説明するための図である。It is a figure for demonstrating the procedure (example) of area designation. 領域指定の手順(他の例)を説明するための図である。It is a figure for demonstrating the procedure (other example) of area designation. 領域指定された肝臓を示す図である。It is a figure which shows the liver which designated the region. 患者頭部の医用画像に対して所定の画像処理を行う一例を示す図である。It is a figure which shows an example which performs the predetermined image processing on the medical image of a patient's head.

本発明の実施の形態を図面を参照して以下に説明する。 Embodiments of the present invention will be described below with reference to the drawings.

本実施形態の医用画像表示端末101(単に画像表示端末ともいう)は、図1、図2に示すような構成であり、一例として、タブレット端末や、または、タッチパネルディプレイを有するラップトップ型PC(ノート型PC)のような可搬型の端末で構成される。図2はタブレット端末の例を示している。この医用画像表示端末101は、市販の汎用タブレット端末等に本願発明の一形態に係る医用画像表示プログラムをインストールして構成されたものであってもよい。 The medical image display terminal 101 (also simply referred to as an image display terminal) of the present embodiment has a configuration as shown in FIGS. 1 and 2, and as an example, a tablet terminal or a laptop PC having a touch panel display. It is composed of a portable terminal such as (notebook PC). FIG. 2 shows an example of a tablet terminal. The medical image display terminal 101 may be configured by installing a medical image display program according to an embodiment of the present invention on a commercially available general-purpose tablet terminal or the like.

図2に示すように、この例では、画像表示端末101は、薄型の筐体101aを有しそのうちの1つの面にタッチパネル式ディスプレイ161′が設けられている。こうした画像表示端末101は、例えば、図3に示すように、病院システムに接続されて使用されるものであってもよい。この例の病院システムは、ネットワーク30に接続された次のような機器を備えている:撮像装置1、薬液注入装置10、病院情報システムであるHIS(Hospital Information System)21、放射線科情報システムであるRIS(Radiology Information System)22、画像保存通信システムであるPACS(Picture Archiving and Communication Systems)23、ワークステーション24およびプリンタ25等。なお、これらのすべてが必須の構成要素というわけではなく、一部を省略することもできる。上記各要素は1つのみでもよいし複数でもよい。 As shown in FIG. 2, in this example, the image display terminal 101 has a thin housing 101a, and a touch panel display 161'is provided on one surface of the housing 101a. Such an image display terminal 101 may be used by being connected to a hospital system, for example, as shown in FIG. The hospital system of this example includes the following devices connected to the network 30: an imaging device 1, a drug solution injection device 10, a hospital information system HIS (Hospital Information System) 21, and a radiological information system. A certain RIS (Radiological Information System) 22, a PACS (Picture Archiving and Communication Systems) 23 which is an image storage communication system, a workstation 24, a printer 25, and the like. Not all of these are essential components, and some may be omitted. Each of the above elements may be only one or a plurality.

撮像装置1としては、CT装置、MR装置、アンギオグラフィ装置といった撮像装置が挙げられる。当然ながらその他の種類の撮像装置を利用してもよいし、同種のまたは異なる種類の複数台の撮像装置を利用するものであってもよい。薬液注入装置10としては、少なくとも造影剤を注入する造影剤注入装置であってもよく、具体的には、薬液が充填された容器(一例でシリンジ)から薬液を押し出す駆動機構と、その動作を制御する制御回路とを備えたものであってもよい。一例として、注入ヘッドとコンソールとを備えた造影剤注入装置を利用することができる。 Examples of the imaging device 1 include imaging devices such as a CT device, an MR device, and an angiography device. Of course, other types of image pickup devices may be used, or a plurality of image pickup devices of the same type or different types may be used. The drug solution injection device 10 may be at least a contrast medium injection device that injects a contrast medium. Specifically, a drive mechanism for pushing out the drug solution from a container (syringe in one example) filled with the drug solution and its operation. It may be provided with a control circuit for controlling. As an example, a contrast agent injection device including an injection head and a console can be utilized.

再び図1を参照し、画像表示端末1は、ディスプレイ161、タッチパネル163、入力デバイス165、通信部167、インターフェース168と、スロット169と、制御部150と、記憶部159を備えている。なお、これのすべてが必須という訳ではなく、一部が省略されてもよい。 With reference to FIG. 1 again, the image display terminal 1 includes a display 161, a touch panel 163, an input device 165, a communication unit 167, an interface 168, a slot 169, a control unit 150, and a storage unit 159. Not all of these are essential, and some may be omitted.

ディスプレイ161としては、液晶パネルや有機ELパネル等のデバイスが挙げられる。タッチパネル163が一体的に設けられたタッチパネル式ディスプレイを利用することもできる。タッチパネルとしては、抵抗膜、静電容量、電磁誘導、表面弾性波、赤外線等の方式のものを用いることができる。具体的な一例として、静電容量方式等の複数の位置でのタッチであるマルチタッチを検出可能なものであってもよい。タッチ操作は、ユーザの指やタッチペン等を用いて行うことができる。タッチパネルは、該タッチパネルに対するタッチ操作の開始、タッチ位置の移動、タッチ操作の終了等を検出し、検出されたタッチの種類、および、座標情報を出力するものであってもよい。 Examples of the display 161 include devices such as a liquid crystal panel and an organic EL panel. A touch panel type display in which the touch panel 163 is integrally provided can also be used. As the touch panel, a touch panel having a resistance film, a capacitance, an electromagnetic induction, a surface acoustic wave, an infrared ray or the like can be used. As a specific example, it may be capable of detecting multi-touch, which is a touch at a plurality of positions such as a capacitance method. The touch operation can be performed using a user's finger, a touch pen, or the like. The touch panel may detect the start of a touch operation on the touch panel, the movement of the touch position, the end of the touch operation, and the like, and output the detected touch type and coordinate information.

入力デバイス165としては、例えば、物理的なボタンやマイク等が挙げられる。また、非接触で操作者の入力を行うことができる「Leapセンサ」(Leap Motion社製)等の検出装置が入力デバイス165として設けられていてもよい。「Leapセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、具体的には、赤外線照射部と赤外線カメラ等を有する。照射された赤外線が手に当たったときの反射光をカメラで撮影して画像解析を行うことで、三次元空間内での手ないし指の位置、動き、形状等をリアルタイムで検出するものである。このセンサは、タブレット端末やラップトップ型PCに有線または無線で接続さして使用する態様であってもよい。何ら限定されるものではないが、インターフェース168に有線接続されるようなものであってもよい。 Examples of the input device 165 include a physical button, a microphone, and the like. Further, a detection device such as a "Leap sensor" (manufactured by Leap Motion) capable of inputting the operator in a non-contact manner may be provided as the input device 165. The "Leap sensor" is an input device capable of non-contactly recognizing the movement of the operator's finger, and specifically, has an infrared irradiation unit, an infrared camera, and the like. By taking a picture of the reflected light when the irradiated infrared rays hit the hand with a camera and performing image analysis, the position, movement, shape, etc. of the hand or finger in the three-dimensional space are detected in real time. .. This sensor may be used by being connected to a tablet terminal or a laptop PC by wire or wirelessly. Without limitation, it may be such that it is connected to the interface 168 by wire.

通信部167は、外部のネットワークまたは機器と、有線方式または無線方式で通信を行えるようにするためのユニットである。通信部167は、データを外部に送出するためのトランスミッタおよびデータを外部から受信するレシーバ等を有するものであってもよい。インターフェース168は外部の種々の機器等を接続するためのものであり、図では1つのみ示されているが、当然ながら複数設けられていてもよい。 The communication unit 167 is a unit for enabling communication with an external network or device by a wired method or a wireless method. The communication unit 167 may have a transmitter for transmitting data to the outside, a receiver for receiving data from the outside, and the like. The interface 168 is for connecting various external devices and the like, and although only one is shown in the figure, a plurality of interfaces may be provided as a matter of course.

制御部150は、中央処理装置(CPU)およびメモリ等を有し、種々の演算処理を行う。なお、制御部150にて行われる各種処理については、(i)コンピュータプログラムにて実現してもよいし、(ii)ワイヤードロジックによるハードウェアとして実現してもよい。制御部150は、本実施形態では、所定の機能を実現する概念的な構成として、画像表示部155a、操作判定部155b、表示変更部155cとを有している。 The control unit 150 has a central processing unit (CPU), a memory, and the like, and performs various arithmetic processes. The various processes performed by the control unit 150 may be realized by (i) a computer program or (ii) hardware by wired logic. In the present embodiment, the control unit 150 has an image display unit 155a, an operation determination unit 155b, and a display change unit 155c as conceptual configurations for realizing a predetermined function.

画像表示部155aは、予め撮像された被検者の医用画像データを外部から取得し、それに基いて三次元医用画像を作成してそれをディスプレイ161に表示させるものであってもよい。または、外部で作成された三次元医用画像のデータを取得し、それをディスプレイ161に表示させるものであってもよい。 The image display unit 155a may acquire medical image data of the subject captured in advance from the outside, create a three-dimensional medical image based on the medical image data, and display the three-dimensional medical image on the display 161. Alternatively, the data of the three-dimensional medical image created externally may be acquired and displayed on the display 161.

画像表示部155aは、一例として、例えば肝臓や血管といった解剖学的構造部のそれぞれを独立のオブジェクトとして表示する。また、解剖学的構造部を自動的に認識してそれぞれを異なる色で表示するようなものであってもよい。 As an example, the image display unit 155a displays each of the anatomical structures such as the liver and blood vessels as independent objects. Further, the anatomical structure may be automatically recognized and displayed in different colors.

操作判定部155bは、タッチパネル163に対する入力操作や、入力デバイス165(特にはLeapモーションセンサ等)に対する入力操作を受け付ける。入力操作の種類としては、例えば、タッチ操作や所定のジェスチャ操作(長押し操作、スワイプ操作、ドラッグ操作、ピンチイン操作、ピンチアウト操作等)が挙げられる。操作判定部155bはこれらの入力を判定して受け付ける。 The operation determination unit 155b accepts an input operation on the touch panel 163 and an input operation on the input device 165 (particularly, a Leap motion sensor or the like). Examples of the type of input operation include a touch operation and a predetermined gesture operation (long press operation, swipe operation, drag operation, pinch-in operation, pinch-out operation, etc.). The operation determination unit 155b determines and accepts these inputs.

画像処理部155cは、例えば操作判定部155bが受け付けた操作に基づき、種々の画像処理を行う。例えば、
−三次元表示された画像の回転機能、平行移動機能、
−画像の拡大/縮小機能、画像の透過度変更機能、
−オブジェクトの表示/非表示の切替え機能、
−オブジェクトのカット(分割)機能、
−オブジェクトの領域指定機能、等
である。なお、これらの機能の具体的な内容については後述する一連の動作の中で詳しく説明する。
The image processing unit 155c performs various image processing based on, for example, the operation received by the operation determination unit 155b. For example
-Rotation function, translation function, of 3D displayed image,
-Image enlargement / reduction function, image transparency change function,
− Object display / non-display switching function,
-Object cut (split) function,
-Object area specification function, etc. The specific contents of these functions will be described in detail in a series of operations described later.

再び図1全体を参照し、記憶部159は、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SDD:Solid State Drive)、および/またはメモリなどで構成されたものであってもよく、OS(Operating System)のプログラムや、本発明の一形態に係る医用画像処理プログラム(アルゴリズムデータやグラフィカルユーザインターフェースデータ等を含む)が格納されていてもよい。また、各種処理に用いるその他のプログラムや、テーブル、データベース等を必要に応じ格納する。コンピュータプログラムは、制御部のメモリにロードされることによって実行され、CPUなどのハードウェアと協働し、これにより本実施形態のような機能を備えた制御部を構成するものであってもよい。 With reference to the entire FIG. 1 again, the storage unit 159 may be composed of a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SDD: Solid State Drive), and / or a memory. An OS (Operating System) program or a medical image processing program (including algorithm data, graphical user interface data, etc.) according to an embodiment of the present invention may be stored. In addition, other programs used for various processes, tables, databases, etc. are stored as needed. The computer program may be executed by being loaded into the memory of the control unit and cooperate with hardware such as a CPU to form a control unit having a function as in the present embodiment. ..

コンピュータプログラムは、任意のネットワークを介して必要時に外部機器からその全部または一部がダウンロードされるものであってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納してもよく、「記録媒体」とは、メモリーカード、USBメモリ、SDカード(登録商標)、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標)Disc等の任意の「可搬の物理媒体」を含むものとする。コンピュータプログラムは、プログラム製品として構成することもできる。本実施形態の医用画像表示端末は、上記のような記憶媒体を読み込むためのスロット169が設けられていてもよい。 The computer program may be downloaded in whole or in part from an external device when necessary via an arbitrary network. The computer program may be stored in a computer-readable recording medium, and the "recording medium" includes a memory card, a USB memory, an SD card (registered trademark), a flexible disk, a magneto-optical disk, a ROM, an EPROM, an EEPROM, and the like. It shall include any "portable physical medium" such as CD-ROM, MO, DVD, and Blu-ray® Disc. The computer program can also be configured as a program product. The medical image display terminal of the present embodiment may be provided with a slot 169 for reading the storage medium as described above.

(動作)
続いて、本実施形態の医用画像表示端末での画像表示の動作例について説明する。図4A〜図4Cは、一例として、予め撮像された被検者の肝臓およびその周辺の画像を模式的に示している。なお、以下では操作者が指でタッチパネルを操作することを前提として説明するが、当然ながら、タッチペン等を利用しても構わない。また、タッチパネルでの入力を例として説明するが、当然ながらLeapモーションを利用した非接触の入力であってもよい。タッチパネルのような接触式の入力手段と、Leapモーションのような非接触式の入力手段は、両方の入力方式が備えられていてもよいし、いずれか一方のみが備えられていてもよい。
(motion)
Subsequently, an operation example of image display on the medical image display terminal of the present embodiment will be described. 4A to 4C schematically show images of the subject's liver and its surroundings, which have been imaged in advance, as an example. In the following description, it is assumed that the operator operates the touch panel with a finger, but of course, a touch pen or the like may be used. Further, although the input on the touch panel will be described as an example, it may be a non-contact input using Leap motion as a matter of course. The contact type input means such as a touch panel and the non-contact type input means such as Leap motion may be provided with both input methods, or may be provided with only one of them.

画像表示端末101は、操作者が、被検者の医用画像を表示させるための操作(例えばタッチパネル上で所定のアイコン等をタッチする)を行った場合に、一例として図4Aのような医用画像65を表示する。この医用画像は、一例として、被検者を撮像した画像データに基づいて作成された三次元画像であり、ここでは、肝臓71と血管73、75の解剖学的構造物が模式的に示されている。 The image display terminal 101 is, as an example, a medical image as shown in FIG. 4A when the operator performs an operation for displaying a medical image of the subject (for example, touching a predetermined icon or the like on the touch panel). 65 is displayed. As an example, this medical image is a three-dimensional image created based on image data obtained by imaging a subject, and here, the anatomical structures of the liver 71 and blood vessels 73 and 75 are schematically shown. ing.

なお、この医用画像65のデータは、画像表示端末101が、有線接続または無線接続された外部機器から読み込んだものであってもよい。画像表示端末101の記憶部159にこの画像データが格納されていてもよい。「外部機器」としては、所定のデータベースサーバ、PACS23、またはワークステーション24等が挙げられる。 The data of the medical image 65 may be read by the image display terminal 101 from an external device connected by wire or wirelessly. This image data may be stored in the storage unit 159 of the image display terminal 101. Examples of the "external device" include a predetermined database server, PACS23, workstation 24, and the like.

(各種機能について)
画像表示端末101は、肝臓71、血管73、75等のそれぞれの解剖学的構造物を、独立のオブジェクトとして(すなわちそれぞれを個別に選択したり、表示のオンオフを切替えたりできるように)表示する。それぞれのオブジェクトは、好ましくは異なる色で表示される。血管およびそれに類似する解剖学的構造物としては、例えば肝動脈、門脈、肝静脈、胆管のうち少なくとも1が表示されるようなものであってもよい。
(About various functions)
The image display terminal 101 displays each anatomical structure such as the liver 71, the blood vessels 73, and 75 as independent objects (that is, each can be individually selected and the display can be switched on and off). .. Each object is preferably displayed in a different color. Blood vessels and similar anatomical structures may be such that at least one of the hepatic artery, portal vein, hepatic vein, and bile duct is displayed, for example.

画像表示端末101(別の捉え方をすれば本実施形態の医用画像表示プログラム)がもつ基本的な画像処理機能としては例えば次のようなものがある:
−回転機能
−拡大/縮小機能
−表示透過度変更機能
−表示/非表示の切替え機能
−カット機能
−領域指定機能、等。
For example, the basic image processing functions of the image display terminal 101 (the medical image display program of the present embodiment in another way) are as follows:
-Rotation function-Enlargement / reduction function-Display transparency change function-Display / non-display switching function-Cut function-Area specification function, etc.

以下、順に説明する。なお、これらの機能のすべてが備わっている必要はなく一部が省略されてもよい。 Hereinafter, they will be described in order. It is not necessary to have all of these functions, and some of them may be omitted.

(回転機能)
画像表示端末101は、操作者が、画面上に触れてその指を移動させると、それに応じて、三次元の医用画像65の表示方向を変化させる。このような回転機能により、操作者は、任意の角度から所望の対象部位を観察することができる。
(Rotation function)
When the operator touches the screen and moves his / her finger, the image display terminal 101 changes the display direction of the three-dimensional medical image 65 accordingly. With such a rotation function, the operator can observe the desired target portion from an arbitrary angle.

(拡大/縮小機能)
画像表示端末101は、操作者が、画面上の2点に触れ、その2点間の距離を離すようにまたは近づけるような操作(ピンチアウト操作、ピンチイン操作)をした場合、それに応じて、表示されている画像の拡大または表示を行う。このような機能により、操作者は例えば2本の指を画面上で動かすだけで簡単に画像の拡大、縮小を行って所望のサイズで確認を行うことができる。
(Enlargement / reduction function)
When the operator touches two points on the screen and performs an operation (pinch-out operation, pinch-in operation) to separate or bring the two points closer to each other, the image display terminal 101 displays accordingly. Enlarge or display the image that is displayed. With such a function, the operator can easily enlarge or reduce the image and confirm it in a desired size by simply moving two fingers on the screen, for example.

(表示透過度切替機能)
画像表示端末101は、操作者がいずれかの解剖学的構造物(例えば肝臓71)をタッチした場合に、その表示濃度を変更する。具体的には、通常の表示状態と、半透明状態との2つの状態の間で切替えが行われるようなもの、すなわち、一回タッチすると半透明状態となり、もう一度タップすると通常の表示状態に戻るようなものであってもよい。別の言い方をすれば、第1の透過度(一例で透過度0%)と第2の透過度(半透明)とが切り替わる構成である。他の態様としては、例えば透過度0%、30%、70%、100%(非表示)のように複数の段階に設定されており、タップする毎に順次表示濃度が切り替わるようになっていてもよい。この場合、透過度100%(つまり非表示の状態)はこのループから除外してもよい。当然ながら、透過度の具体的な数値は適宜変更可能であり、要するに、透過度が少なくとも複数段に設定されていて、それらが切り替わるようなっていればよい。
(Display transparency switching function)
The image display terminal 101 changes the display density when the operator touches any of the anatomical structures (for example, the liver 71). Specifically, it switches between the normal display state and the semi-transparent state, that is, it becomes the semi-transparent state when it is touched once, and returns to the normal display state when it is tapped again. It may be something like. In other words, the configuration is such that the first transmittance (transparency 0% in one example) and the second transmittance (semi-transparent) are switched. As another aspect, the transparency is set to a plurality of stages such as 0%, 30%, 70%, and 100% (non-display), and the display density is sequentially switched each time the tap is made. May be good. In this case, 100% transparency (that is, the hidden state) may be excluded from this loop. As a matter of course, the specific numerical value of the transparency can be changed as appropriate, and in short, the transparency may be set to at least a plurality of stages so that they can be switched.

このような表示透過度切替機能によれば、任意の解剖学的構造物をタッチするだけで表示透過度の切替え機能を発揮させることができる。したがって、透過度の切替を行うために何らかのアイコン等を別途選択したり、コマンドを選択したりする必要がある方式と比較して、簡便かつ直感的に操作を行うことができる。 According to such a display transparency switching function, the display transparency switching function can be exhibited simply by touching an arbitrary anatomical structure. Therefore, the operation can be performed easily and intuitively as compared with the method in which it is necessary to separately select some icon or the like or select a command in order to switch the transparency.

また、表示が上記のようにループ状に切り替わるようになっている場合も、元の表示状態に戻すのに例えば別途アイコン等を選択したりする必要がないという点で好ましい。さらに、こうしたループ状の表示切替えは、選択されたオブジェクトの表示色を変更するのみで実現できるので、画像処理の簡素化や少ないメモリでの演算処理が可能となる点でも好ましい。 Further, even when the display is switched in a loop shape as described above, it is preferable in that it is not necessary to separately select an icon or the like to return to the original display state. Further, since such loop-shaped display switching can be realized only by changing the display color of the selected object, it is also preferable in that image processing can be simplified and arithmetic processing can be performed with a small amount of memory.

(表示/非表示切替え機能)
画像表示端末101は、操作者が、所定の解剖学的構造物に一定時間以上触れていた場合(一例)、その解剖学的構造物を「選択された状態」とする。「選択された状態」であることを示すために、その解剖学的構造物(例えば肝臓71)が初期状態とは異なる色で表示させたり、点滅表示させたりするようにしてもよい。
(Display / non-display switching function)
When the operator touches a predetermined anatomical structure for a certain period of time or longer (one example), the image display terminal 101 sets the anatomical structure as a "selected state". The anatomical structure (eg, liver 71) may be displayed in a different color from the initial state or may be blinked to indicate that it is in the "selected state".

画像表示端末101は、操作者が、選択された状態の解剖学的構造物(例えば肝臓71)に触れたままその指先(一例)を画面端の方に移動させた場合(スワイプ操作、ドラッグ操作等)、その解剖学的構造物を非表示とする。この例の場合、肝臓71が非表示となり、血管73、75の三次元画像のみが残ることとなる。 When the operator moves the fingertip (one example) toward the edge of the screen while touching the anatomical structure (for example, the liver 71) in the selected state, the image display terminal 101 (swipe operation, drag operation). Etc.), hide the anatomical structure. In the case of this example, the liver 71 is hidden, and only the three-dimensional images of the blood vessels 73 and 75 remain.

このような機能は、操作者が所望の解剖学的構造物のみを見たい場合に有用である。また、本実施形態のように、解剖学的構造物を直接選択し、移動させるだけで非表示とすることができる方式によれば、例えば何らかのアイコンを選択するなどしてはじめて表示のオンオフを切り替えるモードとなるようなものに比べて、簡便かつ直感的に操作を行うことができる。 Such a function is useful when the operator wants to see only the desired anatomical structure. Further, according to a method as in the present embodiment, in which an anatomical structure can be directly selected and hidden by simply moving it, the display can be switched on / off only by selecting some icon, for example. The operation can be performed more easily and intuitively than the mode.

いったん非表示となった解剖学的構造物(例えば肝臓71)は、画面隅にサムネイル画像として表示されるようになっていてもよい。このサムネイル画像は、(i)画面上の常時表示されるものであってもよいし、または(ii)所定の操作の後に現れるものであってもよい。サムネイル画像としては、図4F(詳細後述)に例示されているようなものであってもよい。なお、この図は、後述する「カット機能」の説明のためのものであるが、サムネイル画像66に関してはカット機能を利用している場合以外にも応用可能であるので、これを参照して説明する。同図のサムネイル画像66は、小さいウィンドウ内に非表示状態となっている解剖学的構造物のイメージ画像を含むむのである。サムネイル画像66のサイズは、限定されるものではないが、画像の表示領域に対して面積比で例えば1/16以下程度のサイズであってもよい。 The once hidden anatomical structure (eg, liver 71) may be displayed as a thumbnail image in the corner of the screen. This thumbnail image may be (i) always displayed on the screen, or (ii) may appear after a predetermined operation. The thumbnail image may be one as illustrated in FIG. 4F (details will be described later). Although this figure is for the purpose of explaining the "cut function" described later, the thumbnail image 66 can be applied to other than the case where the cut function is used, so the explanation will be made with reference to this. To do. The thumbnail image 66 in the figure includes an image of an anatomical structure that is hidden in a small window. The size of the thumbnail image 66 is not limited, but may be, for example, about 1/16 or less in terms of the area ratio with respect to the display area of the image.

隠れているサムネイル画像を表示させるための「所定の操作」としては、例えば、操作者が3本指または4本指で画面上に触れその指を上、下、左、右等の所定方向に移動させる操作であってもよい。画像表示端末101は、その操作が行われた場合に、非表示状態となっていたサムネイル画像66を画面の一部を表示する。 As a "predetermined operation" for displaying a hidden thumbnail image, for example, an operator touches the screen with three or four fingers and puts the fingers in a predetermined direction such as up, down, left, or right. It may be an operation to move. The image display terminal 101 displays a part of the screen of the thumbnail image 66 that has been hidden when the operation is performed.

操作者がサムネイル画像66に触れ、それを画面中央側(一例)に向かってドラッグ操作、スワイプ操作またはフリック操作することで、非表示となっていた解剖学的構造物が再度表示されるようになっていてもよい。当然ながら、単にそれらのサムネイル画像66にタッチするだけで、非表示となっていた解剖学的構造物が再度表示されるような構成も可能である。 When the operator touches the thumbnail image 66 and drags, swipes, or flicks it toward the center of the screen (example), the hidden anatomical structure is displayed again. It may be. Of course, it is also possible to redisplay the hidden anatomical structures by simply touching those thumbnail images 66.

(カット機能)
カット機能は次のように行なわれる。肝臓71をカットし、さらにその後その一部を非表示とする例について以下説明する。図5は一連の操作のフローチャートである。
(Cut function)
The cut function is performed as follows. An example in which the liver 71 is cut and then a part thereof is hidden will be described below. FIG. 5 is a flowchart of a series of operations.

画像表示端末101は、まず、ステップS1として図4Aのような医用画像65を表示する。そして、画像表示端末101は、操作者が、図4Bに示すように、任意の解剖学的構造物(ここでは肝臓71)上の2点に触れた場合に、その状態、すなわち2点が触れられていることを判定する(ステップS2)。なお、タイミングとしては、2点が同時にまたは実質的同時に触れられるものであってもよい。 The image display terminal 101 first displays the medical image 65 as shown in FIG. 4A as step S1. Then, when the operator touches two points on an arbitrary anatomical structure (here, the liver 71), the image display terminal 101 touches the state, that is, the two points, as shown in FIG. 4B. It is determined that this is done (step S2). The timing may be such that the two points can be touched at the same time or substantially at the same time.

次いで、いわゆる長押しの場合に機能を発揮させるようにするために、画像表示端末101は、2点が触れられている状態が一定時間以上継続したか否かの判定を行う(ステップS3)。 Next, in order to exert the function in the case of so-called long press, the image display terminal 101 determines whether or not the state in which the two points are touched continues for a certain period of time or more (step S3).

画像表示端末101は、ステップS3で一定時間以上継続と判定した場合に、触れられていた2点P1、P2が指定されたことを所定の表示態様で画面上に表示する。「所定の表示態様」としてはどのようなものであってもよいが、例えば、(i)点P1、P2とそれらを結ぶ線L1の両方を表示する、または、(ii)点P1、P2のみもしくは線L1のみを表示するものであってもよい。点P1、P2に関しては、指定された位置がよく分かるように、単なる小さいドットではなく、図4Bのような少し大きめのグラフィカル画像(例えば、円形、矩形、多角形、星形などどのような形状であっても構わないが、ここでは円形を例示している)などの表示としてもよい。 When it is determined in step S3 that the image display terminal 101 continues for a certain period of time or longer, the image display terminal 101 displays on the screen that the two touched points P1 and P2 have been designated in a predetermined display mode. The "predetermined display mode" may be any, but for example, (i) both points P1 and P2 and the line L1 connecting them are displayed, or (ii) only points P1 and P2. Alternatively, only the line L1 may be displayed. Regarding points P1 and P2, it is not just a small dot, but a slightly larger graphical image (for example, a circle, a rectangle, a polygon, a star, etc.) as shown in FIG. 4B so that the specified position can be clearly seen. However, a circular shape is illustrated here) or the like.

画像表示端末101は、操作者が画面から手を離した後も、図4Cのように指定された点P1、P2をそのまま表示させるものであってもよい。また、点P1、P2の位置の微調整を受け付けるように構成されていてもよい。このように微調整を受け付けるモードであることが分かるように、例えば、P1、P2の円形のグラフィカル画像および/または線L1が点滅表示するようになっていてもよい。図4Cでは、一例として、点P2が少し動かされて点P2′に微調整された状態を例示している。この微調整は、操作者が例えば指で点P1、P2のグラフィカル画像を動かすことで行なわれるものであってもよい。 The image display terminal 101 may display the designated points P1 and P2 as they are as shown in FIG. 4C even after the operator releases the screen. Further, it may be configured to accept fine adjustment of the positions of points P1 and P2. For example, the circular graphical images of P1 and P2 and / or the line L1 may be blinked so that the mode for accepting fine adjustment can be understood. In FIG. 4C, as an example, a state in which the point P2 is slightly moved and finely adjusted to the point P2'is illustrated. This fine adjustment may be performed by the operator moving, for example, a graphical image of points P1 and P2 with a finger.

このようにして点P1、P2の指定が終わった後、ステップS4において、例えば操作者が画面上の所定のアイコン(例えば「OK」入力用のアイコン)をタッチする。すると、カット機能により、図4Dに示すように点P1、P2を結ぶ線L1によって肝臓が切断される(ステップS5)。線L1を挟んで2つに分割された第1の部位71−1と第2の部位71−2は、それぞれ独立の解剖学的構造物として操作可能となる。なお、上記操作意外の方法として、例えば(i)アイコンをタッチするのではなく、画面上の所定のエリアをタッチすることにより、または、(ii)複数回タッチする(一例でダブルタップ)といった通用外の操作をすることにより、上記機能を実行するようにしてもよい。 After the designation of the points P1 and P2 is completed in this way, in step S4, for example, the operator touches a predetermined icon (for example, an icon for inputting "OK") on the screen. Then, the cut function cuts the liver by the line L1 connecting the points P1 and P2 as shown in FIG. 4D (step S5). The first part 71-1 and the second part 71-2, which are divided into two parts with the line L1 in between, can be operated as independent anatomical structures. As a method other than the above operation, for example, instead of touching the (i) icon, by touching a predetermined area on the screen, or (ii) touching multiple times (double tap in one example) is common. The above function may be executed by performing an outside operation.

したがって、例えば、第1の部位71−1をタッチした場合(ステップS6)であれば、上述した機能により、図4Eに示すようにその表示濃度が切り替わる。具体的には、第第1の部位71−1のみが半透明表示となる。もう一度タッチすることで元の表示に戻る。 Therefore, for example, when the first portion 71-1 is touched (step S6), the display density is switched as shown in FIG. 4E by the above-mentioned function. Specifically, only the first portion 71-1 is translucently displayed. Touch it again to return to the original display.

また、例えば第1の部位71−1を長押しして画面周辺部側にスワイプ操作またはドラッグ操作等した場合には、その部位が非表示状態となり、第2の部位71−2と血管73、75のみが残る。 Further, for example, when the first part 71-1 is pressed and held for a swipe operation or a drag operation toward the peripheral part of the screen, the part is hidden and the second part 71-2 and the blood vessel 73, Only 75 remain.

非表示となった第1の部位71−1は、サムネイル画像66として画面の周辺部に表示されるか、または、既述のとおり、この時点では非表示であるが操作者による所定の操作(例えば3本指または4本指を画面上で同時移動させる操作)が行われた場合にサムネイル画像66が表示される状態となる。サムネイル画像66内の部位を元の表示に戻す操作に関しても、上述した通りである。 The hidden first portion 71-1 is displayed as a thumbnail image 66 in the peripheral portion of the screen, or as described above, although it is hidden at this point, a predetermined operation by the operator ( For example, the thumbnail image 66 is displayed when three or four fingers are simultaneously moved on the screen). The operation of returning the part in the thumbnail image 66 to the original display is also as described above.

本実施形態のように、2点を長押しすることで分割機能を発揮させることができる構成によれば、例えば何らかのアイコン等が表示されてそれを選択することで当該機能を発揮させるものに比べて、簡便かつ直感的に操作を行うことができる。とりわけ、本願のように解剖学的構造物上での位置指定が必要な作業においては、片手で、しかもマウス等や専用のカットツール等を用いずにカットを行うことができるということは、ソフトウェアとして非常に使い易く医療現場において非常に実用的である。 According to the configuration in which the division function can be exerted by pressing and holding two points as in the present embodiment, for example, some icon or the like is displayed and the function is exerted by selecting it. Therefore, the operation can be performed easily and intuitively. In particular, in the work that requires position designation on an anatomical structure as in the present application, it is possible to cut with one hand and without using a mouse or a dedicated cutting tool. It is very easy to use and very practical in the medical field.

(領域指定)
画像表示端末101は、操作者の次のような操作により解剖学的構造物の一部を領域指定する。図6Aは、図4Bを参照して説明した操作のように点P1、P2の2点に触れられた状態である(なお、操作者の指は画面上の2点に触れたままの状態であるが、図示は省略している)。
(Area designation)
The image display terminal 101 designates a part of the anatomical structure as an area by the following operation of the operator. FIG. 6A shows a state in which the two points P1 and P2 are touched as in the operation described with reference to FIG. 4B (note that the operator's finger is still touching the two points on the screen). However, the illustration is omitted).

この状態から、次いで、例えば図6Bに示すように、操作者が2本の指を移動させた場合(限定されるものではないが2本の指の同時移動)、画像表示端末101は、移動後の2点の点P1′、P2′の位置を特定し、それに基いて略四角形の領域を指定する。具体的には、移動前の2点P1、P2および移動後の2点P1′、P2′の4点で囲まれる四角形を領域指定する。 From this state, then, as shown in FIG. 6B, for example, when the operator moves two fingers (simultaneous movement of two fingers, but not limited to), the image display terminal 101 moves. The positions of the latter two points P1'and P2'are specified, and a substantially quadrangular area is specified based on the positions. Specifically, a quadrangle surrounded by four points P1 and P2 before the movement and two points P1'and P2'after the movement is designated as an area.

ここでも、上記同様、操作者が手を離しても画面上に指定された領域の略四角形が残り、かつ、それぞれの点P1、P2、P1′、P2′の位置を個別に動かして位置の微調整を行えるように、画像表示端末101が構成されていることも好ましい。指定された領域を確定する方式としては、例えば、操作者が、操作者が画面上の所定のアイコン(例えば「OK」入力用のアイコン)をタッチするようなものであってもよいし、または、そうではなく、一定の時間が経過した場合に、端末101が自動的にその領域を確定させるような方式であってもよい。なお、これに関しては、指定された領域の形状に関わらない共通的な事項である。「OK」入力用のアイコンを操作する等の入力以外に、(i)画面上の所定のエリアをタッチすることにより、または、(ii)複数回タッチする(一例でダブルタップ)といった通用外の操作をすることにより、本機能を実行するようにしてもよいことは、上記同様である。 Here, as in the above, even if the operator releases the hand, a substantially quadrangle of the designated area remains on the screen, and the positions of the respective points P1, P2, P1', and P2'are individually moved to position the positions. It is also preferable that the image display terminal 101 is configured so that fine adjustment can be performed. The method of determining the designated area may be, for example, such that the operator touches a predetermined icon (for example, an icon for inputting "OK") on the screen. Instead, the terminal 101 may automatically determine the area when a certain time has passed. It should be noted that this is a common matter regardless of the shape of the designated area. In addition to input such as operating the icon for "OK" input, (i) by touching a predetermined area on the screen, or (ii) touching multiple times (double tap in one example) is not valid. It is the same as above that this function may be executed by performing an operation.

図6Bのように4点P1、P2、P1′、P2′の位置が指定されている場合に、各位置を微調整できるように、点P1、P2、P1′、P2′の円形(一例)のグラフィカル画像やそれらを結ぶ線を点滅表示するようにしてもよい。 When the positions of the four points P1, P2, P1', and P2'are specified as shown in FIG. 6B, the circles of the points P1, P2, P1', and P2'(example) so that each position can be finely adjusted. The graphical image of the above and the line connecting them may be blinked.

領域指定された領域Sa1(図6B参照)は、その他の部位から分割され独立のオブジェクトとして操作可能となる。したがって領域のみの表示濃度を変更したり、表示のオンオフを切替えたりすることが可能となる。このような機能によれば、例えば当該領域Sa1のみ非表示にすることで、内側の血管73、75の観察や、血管73、75と肝臓71との関係を確認することが可能となる。 The area-designated area Sa1 (see FIG. 6B) is separated from other parts and can be operated as an independent object. Therefore, it is possible to change the display density of only the area and switch the display on / off. According to such a function, for example, by hiding only the region Sa1, it is possible to observe the inner blood vessels 73 and 75 and confirm the relationship between the blood vessels 73 and 75 and the liver 71.

なお、領域指摘は必ずしも四角形で行われる必要はなく、三角形もしくは五角形以上の多角形形状が領域指定されるものであってもよい。また上記では2本の指を一例として同時移動させて四角形を領域指定する例を示したが、これに限らず、例えば、コンパスのように扇形を領域指定する操作(下記参照)を複数回行うことで四角形または多角形を領域指定するようなものであってもよい。 It should be noted that the area indication does not necessarily have to be performed with a quadrangle, and a triangular shape or a polygonal shape of a pentagon or more may be designated as an area. Further, in the above, an example of simultaneously moving two fingers to specify an area of a quadrangle is shown, but the present invention is not limited to this, and for example, an operation of specifying an area of a sector like a compass (see below) is performed multiple times. It may be something like designating a quadrangle or polygon as an area.

本実施形態では、一例で、略扇形の領域を指定できるようになっていてもよい。例えば、図6Cのように2点の点P1、P2に触れている状態から、操作者が一方の指(例えば親指、点P1)を回動中心として、コンパスのように、他方の指(例えば人差し指、点P2)を所定角度回転させた場合に、画像表示端末101がその動作を認識して、移動後の人指し指の点P2′を特定し、点P1、P2、点P2′の3点に基づき、扇形の領域を指定するものであってもよい。具体的には、点P1、P2を結ぶ線L1、点P1、P2′を結ぶ線L2、および二点P2、P2′を接続する円弧L3によって規定される扇形がその一例である。 In the present embodiment, a substantially fan-shaped region may be designated as an example. For example, from the state of touching the two points P1 and P2 as shown in FIG. 6C, the operator makes one finger (for example, the thumb and the point P1) the center of rotation, and the other finger (for example, as a compass) is used. When the index finger and the point P2) are rotated by a predetermined angle, the image display terminal 101 recognizes the operation, identifies the point P2'of the index finger after the movement, and sets the points P1, P2, and P2'to three points. Based on this, a fan-shaped area may be specified. Specifically, an example thereof is a fan shape defined by a line L1 connecting points P1 and P2, a line L2 connecting points P1 and P2', and an arc L3 connecting two points P2 and P2'.

指定された領域Sa2(図7参照)は、上記同様、肝臓71のその他の部位から分割され独立の解剖学的構造物として操作可能となる。こうして分割された独立のオブジェクトを半透明にしたり、完全に非表示にしたりできることは、上記説明と同様である。 The designated region Sa2 (see FIG. 7) is similarly divided from the other parts of the liver 71 and can be operated as an independent anatomical structure. It is the same as the above description that the independent object divided in this way can be made semi-transparent or completely hidden.

なお、以上では点P1、P2、点P2′の3点に基づき扇形の領域を指定することを述べたが、上記機能を利用すれば、例えば、円形を指定したり、または、半円を指定したりすることもできる。図6Cは、一例で、親指を回動中心として人指し指を回していく例であるが、これとは逆に、人差し指を回動中心として親指を回していくようにしても同様の領域指定が可能であることは言うまでもない。 In the above, it has been described that the sector area is specified based on the three points P1, P2, and P2', but if the above function is used, for example, a circle or a semicircle can be specified. You can also do it. FIG. 6C is an example in which the index finger is rotated with the thumb as the center of rotation, but conversely, the same area can be specified by rotating the thumb with the index finger as the center of rotation. Needless to say,

上記説明では、肝臓およびその周辺の医用画像を例に挙げたが、当然ながら、本発明において解剖学的構造物は特定のものに限定されない。例えば図8に示すように、被検者の頭部の医用画像を表示し、それに対して種々の画像処理を行うことができるようになっていてもよい。画像処理の例としては、上述したような各種機能はいずれも適用可能であるが、図8では一例として、頭蓋骨77に対して線L1によって囲まれる範囲が領域指定されるとともに、その領域が非表示または半透明表示とされることで、内部の血管78を見ることができる状態となっている。何ら限定されるものではないが、線L1によって囲まれる領域は例えば円形であってもよい。当然ながら矩形や扇形、その他の形状であっても構わない。 In the above description, medical images of the liver and its surroundings have been taken as an example, but of course, the anatomical structure in the present invention is not limited to a specific one. For example, as shown in FIG. 8, a medical image of the head of the subject may be displayed, and various image processing may be performed on the medical image. As an example of image processing, all of the various functions described above can be applied, but in FIG. 8, as an example, a range surrounded by the line L1 is specified for the skull 77, and the area is not. By displaying or translucently displaying, the blood vessels 78 inside can be seen. The area surrounded by the line L1 may be, for example, circular, although it is not limited in any way. Of course, it may be rectangular, fan-shaped, or other shape.

以上、図面を参照して本発明の実施形態について説明したが、本発明はその趣旨を逸脱しない範囲で種々変更可能であり、上記例に限定されるものではない。 Although the embodiments of the present invention have been described above with reference to the drawings, the present invention can be variously modified without departing from the spirit thereof, and is not limited to the above examples.

(付記)
本明細書は下記の発明を開示する(なお、括弧中の符号は本発明を何ら限定するものではない):
1.ディスプレイ(161)と、操作入力装置(163、165)と、制御部(150)と、を備える医用画像表示端末(101)であって、
前記制御部(150)は、
前記ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させることと、
操作者により、前記操作入力装置を介して指定された第1の点(P1)および第2の点(P2)を特定することと、
前記第1および第2の点によって規定される線(L1)を切断基準線として、前記解剖学的構造物を複数に分割することと、
を行うように構成されている、医用画像表示端末。
(Additional note)
The present specification discloses the following invention (the reference numerals in parentheses do not limit the present invention in any way):
1. 1. A medical image display terminal (101) including a display (161), an operation input device (163, 165), and a control unit (150).
The control unit (150)
To display a medical image containing at least one anatomical structure (71, 73, 75) on the display.
Identifying the first point (P1) and the second point (P2) designated by the operator via the operation input device, and
Dividing the anatomical structure into a plurality of parts by using the line (L1) defined by the first and second points as a cutting reference line.
A medical image display terminal that is configured to do.

2.前記制御部(150)は、
画面上の2点が長押しされたことを受け付け、前記解剖学的構造物を複数に分割する動作モードを開始するように構成されている。
2. The control unit (150)
It is configured to accept that two points on the screen have been pressed and held, and to start an operation mode for dividing the anatomical structure into a plurality of parts.

3.前記制御部(150)は、
解剖学的構造物がタッチされたことを受け付け、
それに対応して、タッチされたその部位の画像の透過度を変更するように構成されている。
3. 3. The control unit (150)
Accepting that the anatomical structure was touched,
Correspondingly, it is configured to change the transparency of the image of the touched part.

4.デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)が設定されており、
前記制御部(150))は、
解剖学的構造物がタッチされた場合に、前記第1〜第nの透過度による表示を順次切り代えていくように構成されている。
4. The first transparency, which is the default transparency, and the second to nth transparency (n is an integer) different from that are set.
The control unit (150))
When the anatomical structure is touched, the display according to the first to nth transmittances is sequentially switched.

5.前記第1〜第nの透過度が少なくとも半透明状態であって、完全透過の状態を含まない。 5. The first to nth transmittances are at least translucent, and do not include a completely transparent state.

6.前記制御部(150)は、
解剖学的構造物を、画面上の所定位置に移動させる操作することを受け、
それに対応して、当該解剖学的構造物を非表示とするように構成されている。
6. The control unit (150)
In response to the operation of moving the anatomical structure to a predetermined position on the screen
Correspondingly, the anatomical structure is configured to be hidden.

7.前記移動させる操作が、フリック操作、ドラッグ操作、またはスワイプ操作のいずれかである。 7. The moving operation is either a flick operation, a drag operation, or a swipe operation.

8.前記制御部(150)は、
一旦非表示とされた前記解剖学的構造物を、(i)画面上に直接サムネイル画像(66)で表示させる、または、(ii)所定の操作があったときに画面上にサムネイル画像(66)を出現させるように構成されている。
8. The control unit (150)
The anatomical structure once hidden is (i) displayed directly on the screen as a thumbnail image (66), or (ii) a thumbnail image (66) is displayed on the screen when a predetermined operation is performed. ) Is configured to appear.

9.ディスプレイ(161)と、操作入力装置(163、165)と、制御部(150)とを備える医用画像表示端末(101)であって、
前記制御部(150)は、
前記ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させることと、
操作者が前記操作入力装置で同時に2箇所を指定することで入力された第1の点(P1)および第2の点(P2)を特定することと、
を行うように構成されている、医用画像表示端末。
9. A medical image display terminal (101) including a display (161), an operation input device (163, 165), and a control unit (150).
The control unit (150)
To display a medical image containing at least one anatomical structure (71, 73, 75) on the display.
To specify the first point (P1) and the second point (P2) input by the operator by designating two points at the same time with the operation input device, and
A medical image display terminal that is configured to do.

10.前記制御部は、さらに、
前記第1および第2の点(P1、P2)の少なくとも一方に、タッチ操作可能なグラフィカル画像を表示させ、
前記グラフィカル画像を移動させることでそれらの点(P1、P2)の位置を微調整するように構成されている。
10. The control unit further
A touch-operable graphical image is displayed at at least one of the first and second points (P1, P2).
By moving the graphical image, the positions of those points (P1, P2) are finely adjusted.

11.前記制御部は、さらに、
前記第1の点(P1)および第2の点(P2)を特定した後、操作者がそれらの点(P1、P2)を移動させる操作を受け付けて、移動後の2点(P1′、P2′)を特定し、
特定した4点(P 1、P 2、P 1′、P 2′)によって規定される四角形の範囲を領域指定するように構成されている。
11. The control unit further
After identifying the first point (P1) and the second point (P2), the operator accepts the operation of moving those points (P1, P2), and the two points (P1', P2) after the movement are accepted. ′) Identify
It is configured to specify the area of the quadrangle defined by the specified four points (P 1, P 2, P 1', P 2').

なお、点(P1、P2)の上記移動は一例で「同時」に行なわれるものであってもよい。ここで「同時」とは、必ずしも完全に同時である必要はなく、若干の時間的なズレ(例えば1〜2sec以下)を伴ってはいるがほぼ同時であるような場合をも含む。別の例としては、上述したように、一例で、コンパスのように扇形を領域指定する操作を複数回行うことで四角形形または多角形を領域指定するようなものであってもよい。 The movement of the points (P1, P2) may be performed "simultaneously" as an example. Here, "simultaneous" does not necessarily have to be completely simultaneous, and includes a case where the time is slightly different (for example, 1 to 2 sec or less) but is almost simultaneous. As another example, as described above, in one example, a quadrangle or a polygon may be designated as a region by performing an operation of designating a sector region a plurality of times like a compass.

12.前記制御部は、さらに、
前記第1の点(P1)および第2の点(P2)を特定した後、操作者が、その2点のうち一方(P2)を、他方の点(例:P1)を中心として回転移動させる操作を受け付けて入力を受け付けて移動後の第2の点(P2′)を特定し、
特定した前記3つの点(P1、P2、2′)によって規定される三角形または扇形の範囲を領域指定するように構成されている。
12. The control unit further
After identifying the first point (P1) and the second point (P2), the operator rotates one of the two points (P2) around the other point (example: P1). Accept the operation, accept the input, identify the second point (P2') after moving, and
It is configured to specify the range of the triangle or sector defined by the three specified points (P1, P2, 2').

13.コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させる処理と、
操作者により、前記操作入力装置を介して指定された第1の点(P1)および第2の点(P2)を特定する処理と、
前記第1および第2の点によって規定される線(L1)を切断基準線として、前記解剖学的構造物を複数に分割する処理と、
を行わせる、医用画像表示プログラム。
13. On the computer
The process of displaying a medical image containing at least one anatomical structure (71, 73, 75) on the display.
A process of identifying the first point (P1) and the second point (P2) designated by the operator via the operation input device, and
A process of dividing the anatomical structure into a plurality of pieces by using the line (L1) defined by the first and second points as a cutting reference line.
A medical image display program that lets you do.

14.コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させるステップと、
操作者により、前記操作入力装置を介して指定された第1の点(P1)および第2の点(P2)を特定するステップと、
前記第1および第2の点によって規定される線(L1)を切断基準線として、前記解剖学的構造物を複数に分割するステップと、
を行わせる、医用画像表示方法。
14. On the computer
A step of displaying a medical image containing at least one anatomical structure (71, 73, 75) on the display.
A step of identifying the first point (P1) and the second point (P2) designated by the operator via the operation input device, and
A step of dividing the anatomical structure into a plurality of parts using the line (L1) defined by the first and second points as a cutting reference line.
A medical image display method that allows you to do this.

なお、上記13.および14.はいずれも上記1.の発明内容に対応するものであるが、本明細書は、他にも、コンピュータプログラムに関する発明および医用画像表示方法に関する発明として、上記1.に従属する内容の発明や他の独立請求項に相当する内容の発明のカテゴリー表現を変更したものをも開示するものである。 In addition, the above 13. And 14. All of the above 1. In addition to the inventions relating to computer programs and inventions relating to medical image display methods, the present specification relates to the above-mentioned 1. It also discloses an invention having a content subordinate to the invention or an invention having a content corresponding to another independent claim with a modified categorical expression.

1 撮像装置
10 薬液注入装置
71 肝臓
73、75 血管
101 医用画像表示端末
101a 筐体
150 制御部
155a 画像表示部
155b 操作判定部
155c 表示変更部
159 記憶部
161 ディスプレイ
161′ タッチパネル式ディスプレイ
163 タッチパネル
165 入力デバイス
167 通信部
168 インターフェース
169 スロット
1 Imaging device 10 Chemical injection device 71 Liver 73, 75 Blood vessel 101 Medical image display terminal 101a Housing 150 Control unit 155a Image display unit 155b Operation judgment unit 155c Display change unit 159 Storage unit 161 Display 161'Touch panel display 163 Touch panel 165 input Device 167 Communication 168 Interface 169 Slot

Claims (10)

ディスプレイと、タッチパネル式の操作入力装置と、制御部と、を備える医用画像表示端末であって、
前記制御部は、
前記ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させることと、
操作者により、前記操作入力装置を介し同時に2箇所を一定時間以上継続して指定することで入力された第1の点および第2の点を特定することと、
前記第1および第2の点を結ぶ直線を切断基準線として、前記解剖学的構造物を複数に分割することと、
を行うように構成されており、さらに、
デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)が、前記医用画像表示端末に設定されており、
前記制御部は、
前記解剖学的構造物がタッチされたことを受け付け、
前記解剖学的構造物がタッチされた場合に、タッチされたその部位の画像の透過度を、前記第1〜第nの透過度による表示を順次切り替えていくように構成されている、医用画像表示端末。
A medical image display terminal including a display, a touch panel type operation input device, and a control unit.
The control unit
To display a medical image containing at least one anatomical structure on the display.
To specify the first point and the second point input by the operator by continuously designating two points at the same time via the operation input device for a certain period of time or longer.
Dividing the anatomical structure into a plurality of parts using the straight line connecting the first and second points as a cutting reference line.
Is configured to do, and in addition
The first transmittance, which is the default transmittance, and the second to nth transmittances (n is an integer) different from the first transmittance are set in the medical image display terminal.
The control unit
Accepting that the anatomical structure was touched,
When the anatomical structure is touched, the transparency of the image of the touched portion is configured to sequentially switch the display according to the first to nth transparency. Display terminal.
前記第1〜第nの透過度が少なくとも半透明状態であって、完全透過の状態を含まない、請求項に記載の医用画像表示端末。 The medical image display terminal according to claim 1 , wherein the first to nth transparency is at least a translucent state and does not include a completely transparent state. 前記制御部は、
解剖学的構造物を、画面上の所定位置に移動させる操作することを受け、
それに対応して、当該解剖学的構造物を非表示とするように構成されている、請求項1または2に記載に医用画像表示端末。
The control unit
In response to the operation of moving the anatomical structure to a predetermined position on the screen
Correspondingly, the medical image display terminal according to claim 1 or 2 , which is configured to hide the anatomical structure.
前記移動させる操作が、フリック操作、ドラッグ操作、またはスワイプ操作のいずれかである、請求項に記載の医用画像表示端末。 The medical image display terminal according to claim 3 , wherein the moving operation is any of a flick operation, a drag operation, and a swipe operation. 前記制御部は、
一旦非表示とされた前記解剖学的構造物を、(i)画面上に直接サムネイル画像で表示させる、または、(ii)所定の操作があったときに画面上にサムネイル画像を出現させるように構成されている、請求項またはに記載に医用画像表示端末。
The control unit
The anatomical structure once hidden is (i) displayed as a thumbnail image directly on the screen, or (ii) a thumbnail image appears on the screen when a predetermined operation is performed. The medical image display terminal according to claim 3 or 4 , which is configured.
ディスプレイと、タッチパネル式の操作入力装置と、制御部とを備える医用画像表示端末であって、
前記制御部は、
前記ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させることと、
操作者が前記操作入力装置で同時に2箇所を一定時間以上継続して指定することで入力された第1の点および第2の点のぞれぞれの座標情報を特定することと、
を行うように構成されており、さらに、
デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)が、前記医用画像表示端末に設定されており、
前記制御部は、
前記解剖学的構造物がタッチされたことを受け付け、
前記解剖学的構造物がタッチされた場合に、タッチされたその部位の画像の透過度を、前記第1〜第nの透過度による表示を順次切り替えていくように構成されている、医用画像表示端末。
A medical image display terminal including a display, a touch panel type operation input device, and a control unit.
The control unit
To display a medical image containing at least one anatomical structure on the display.
To specify the coordinate information of each of the first point and the second point input by the operator by continuously designating two points at the same time with the operation input device for a certain period of time or longer.
Is configured to do, and in addition
The first transmittance, which is the default transmittance, and the second to nth transmittances (n is an integer) different from the first transmittance are set in the medical image display terminal.
The control unit
Accepting that the anatomical structure was touched,
When the anatomical structure is touched, the transparency of the image of the touched portion is configured to sequentially switch the display according to the first to nth transparency. Display terminal.
前記制御部は、さらに、
前記第1および第2の点の少なくとも一方に、タッチ操作可能なグラフィカル画像を表示させ、
前記グラフィカル画像を移動させることでそれらの点の位置を微調整するように構成されている、請求項に記載の医用画像表示端末。
The control unit further
A touch-operable graphical image is displayed at at least one of the first and second points.
The medical image display terminal according to claim 6 , wherein the positions of those points are finely adjusted by moving the graphical images.
前記制御部は、さらに、
前記第1の点および第2の点を特定した後、操作者が、その2点のうち一方を、他方の点を中心として回転移動させる操作を受け付けて入力を受け付けて移動後の第2の点を特定し、
特定した前記3つの点によって規定される三角形または扇形の範囲を領域指定するように構成されている、請求項に記載の医用画像表示端末。
The control unit further
After identifying the first point and the second point, the operator accepts an operation of rotating and moving one of the two points around the other point, accepts an input, and moves the second point. Identify the point,
The medical image display terminal according to claim 6 , wherein the range of the triangle or the fan shape defined by the three specified points is designated as an area.
コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させる処理と、
操作者により、タッチパネル式の操作入力装置を介し同時に2箇所を一定時間以上継続して指定することで入力された第1の点および第2の点を特定する処理と、
前記第1および第2の点を結ぶ直線を切断基準線として、前記解剖学的構造物を複数に分割する処理と、
を行わせ
さらに、
デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)を前記コンピュータに設定し、
前記解剖学的構造物がタッチされたことを受け付ける処理と、
前記解剖学的構造物がタッチされた場合に、タッチされたその部位の画像の透過度を、前記第1〜第nの透過度による表示を順次切り替えていく処理と、
を行わせる、医用画像表示プログラム。
On the computer
The process of displaying a medical image containing at least one anatomical structure on the display,
A process of identifying the first point and the second point input by the operator by continuously designating two points at the same time via a touch panel type operation input device for a certain period of time or longer.
A process of dividing the anatomical structure into a plurality of pieces by using a straight line connecting the first and second points as a cutting reference line.
It was carried out,
further,
The first transparency, which is the default transparency, and the second to nth transparency (n is an integer) different from the first transparency are set in the computer, and the computer is set.
The process of accepting that the anatomical structure has been touched,
When the anatomical structure is touched, the transparency of the image of the touched portion is sequentially switched between the display according to the first to nth transparency.
Ru was carried out, the medical image display program.
コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させるステップと、
操作者により、タッチパネル式の操作入力装置を介し同時に2箇所を一定時間以上継続して指定することで入力された第1の点および第2の点を特定するステップと、
前記第1および第2の点を結ぶ直線を切断基準線として、前記解剖学的構造物を複数に分割するステップと、
を行わせ
さらに、
デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)を前記コンピュータに設定し、
前記解剖学的構造物がタッチされたことを受け付けるステップと、
前記解剖学的構造物がタッチされた場合に、タッチされたその部位の画像の透過度を、前記第1〜第nの透過度による表示を順次切り替えていくステップと、
を行わせる、医用画像表示方法。
On the computer
A step of displaying a medical image containing at least one anatomical structure on the display.
A step of identifying the first point and the second point input by the operator by continuously designating two points at the same time via a touch panel type operation input device for a certain period of time or longer.
A step of dividing the anatomical structure into a plurality of parts using a straight line connecting the first and second points as a cutting reference line.
It was carried out,
further,
The first transparency, which is the default transparency, and the second to nth transparency (n is an integer) different from the first transparency are set in the computer, and the computer is set.
The step of accepting that the anatomical structure has been touched,
When the anatomical structure is touched, the transparency of the image of the touched portion is sequentially switched between the display according to the first to nth transparency, and the step of sequentially switching the display.
Ru was carried out, the medical image display method.
JP2018244925A 2014-12-26 2018-12-27 Medical image display terminal and medical image display program Active JP6902012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018244925A JP6902012B2 (en) 2014-12-26 2018-12-27 Medical image display terminal and medical image display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014266230A JP6462358B2 (en) 2014-12-26 2014-12-26 Medical image display terminal and medical image display program
JP2018244925A JP6902012B2 (en) 2014-12-26 2018-12-27 Medical image display terminal and medical image display program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014266230A Division JP6462358B2 (en) 2014-12-26 2014-12-26 Medical image display terminal and medical image display program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020154200A Division JP7107590B2 (en) 2020-09-15 2020-09-15 Medical image display terminal and medical image display program

Publications (2)

Publication Number Publication Date
JP2019103818A JP2019103818A (en) 2019-06-27
JP6902012B2 true JP6902012B2 (en) 2021-07-14

Family

ID=67062216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244925A Active JP6902012B2 (en) 2014-12-26 2018-12-27 Medical image display terminal and medical image display program

Country Status (1)

Country Link
JP (1) JP6902012B2 (en)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353255A (en) * 1999-06-11 2000-12-19 Ge Yokogawa Medical Systems Ltd Image displaying method and diagnostic imaging system
JP4745748B2 (en) * 2005-07-26 2011-08-10 株式会社日立メディコ Medical image display device
EP1952347B1 (en) * 2005-11-01 2019-03-06 Edda Technology, Inc. Method and system for liver lobe segmentation and pre-operative surgical planning
JP4820680B2 (en) * 2006-04-12 2011-11-24 株式会社東芝 Medical image display device
JP5285427B2 (en) * 2006-10-26 2013-09-11 株式会社日立メディコ Medical image display device
US8487889B2 (en) * 2010-01-15 2013-07-16 Apple Inc. Virtual drafting tools
JP5606832B2 (en) * 2010-03-05 2014-10-15 富士フイルム株式会社 Image diagnosis support apparatus, method, and program
JP5465135B2 (en) * 2010-08-30 2014-04-09 富士フイルム株式会社 MEDICAL INFORMATION DISPLAY DEVICE AND METHOD, AND PROGRAM
CN104519788B (en) * 2012-08-28 2016-11-16 株式会社日立制作所 Image display device and medical imaging camera head
JP5747007B2 (en) * 2012-09-12 2015-07-08 富士フイルム株式会社 MEDICAL IMAGE DISPLAY DEVICE, MEDICAL IMAGE DISPLAY METHOD, AND MEDICAL IMAGE DISPLAY PROGRAM
KR102123061B1 (en) * 2012-11-27 2020-06-16 삼성전자주식회사 Boundary segmentation apparatus and method based on user interaction
EP2759921B1 (en) * 2013-01-25 2020-09-23 Morpho, Inc. Image display apparatus, image displaying method and program

Also Published As

Publication number Publication date
JP2019103818A (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US9606584B1 (en) Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
US10324602B2 (en) Display of 3D images
US11662830B2 (en) Method and system for interacting with medical information
US9146674B2 (en) GUI controls with movable touch-control objects for alternate interactions
CA2717085C (en) Twin-monitor electronic display system
JP5747007B2 (en) MEDICAL IMAGE DISPLAY DEVICE, MEDICAL IMAGE DISPLAY METHOD, AND MEDICAL IMAGE DISPLAY PROGRAM
US20130324850A1 (en) Systems and methods for interfacing with an ultrasound system
US20130321286A1 (en) Systems and methods for interfacing with an ultrasound system
KR20150022536A (en) Method and apparatus for providing user interface of medical diagnostic apparatus
US9292197B2 (en) Method, apparatus and computer program product for facilitating the manipulation of medical images
JP6462358B2 (en) Medical image display terminal and medical image display program
JP2024020594A (en) Medical image processing device, medical image processing method, and medical image processing program
JP6501525B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
Ogura et al. Development of a novel method for manipulation of angiographic images by use of a motion sensor in operating rooms
JP2009119000A (en) Auxiliary controller for processing medical image,image processing system, and method for processing medical image
JP6902012B2 (en) Medical image display terminal and medical image display program
JP7107590B2 (en) Medical image display terminal and medical image display program
JP7229569B2 (en) Medical image processing device and medical image processing program
CN108231162B (en) Method and apparatus for displaying medical images
US11650672B2 (en) Healthcare information manipulation and visualization controllers
JP2019032908A (en) Information processing device, information processing method, and program
JP6968950B2 (en) Information processing equipment, information processing methods and programs
JP7279133B2 (en) Information processing device, information processing method and program
Oshiro et al. Novel imaging using a touchless display for computer-assisted hepato-biliary surgery
JP7391348B2 (en) Medical image processing system, medical image processing method, and medical image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200915

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200925

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200929

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201127

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201201

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201208

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210511

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210608

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210618

R150 Certificate of patent or registration of utility model

Ref document number: 6902012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150