JP7515596B2

JP7515596B2 - Medical support device, operation method of medical support device, and medical support program

Info

Publication number: JP7515596B2
Application number: JP2022540017A
Authority: JP
Inventors: 玲奈加茂田; 拓矢湯澤; 崇平野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2020-07-31
Filing date: 2021-04-13
Publication date: 2024-07-12
Anticipated expiration: 2041-04-13
Also published as: WO2022024465A1; JPWO2022024465A1

Description

本発明は、診療支援装置、診療支援装置の作動方法に関する。 The present invention relates to a medical support device and a method for operating a medical support device.

ＭＲＩ（Magnetic Resonance Imaging；核磁気共鳴画像法）検査やＣＴ（Computed Tomography；コンピュータ断層撮像）検査では、１回の検査で患者の複数の部位を撮像して多くの医用画像が得られる。医療施設では、このようにして得られた医用画像を用いて診療が行われる。 Magnetic resonance imaging (MRI) and computed tomography (CT) scans capture multiple parts of a patient's body in a single examination, producing many medical images. Medical facilities use these images to provide treatment.

診療では、直近の検査で得られた医用画像（現在画像）の他、直近の検査よりも過去の検査で得られた医用画像（過去画像）も用いられ、扱う医用画像の数が膨大な数となるため、撮像時期（検査時期）と撮像部位との関係が混乱してしまう場合がある。このため、下記特許文献１から３では、撮像部位が共通する現在画像と過去画像とを比較可能に表示している。In medical treatment, in addition to medical images obtained in the most recent examination (current images), medical images obtained in examinations prior to the most recent examination (past images) are also used, and the number of medical images handled becomes enormous, which can lead to confusion about the relationship between the time of imaging (examination time) and the part of the body being imaged. For this reason, in the following Patent Documents 1 to 3, current and past images that have the same part of the body being imaged are displayed in a comparable manner.

特許第５７６５９１３号公報Patent No. 5765913 特開２０１９－２０８８３５号公報JP 2019-208835 A 特許第６０２７９６０号公報Patent No. 6027960

しかしながら、従来の手法では、医用画像を診療に適した状態で表示できないといった問題があった。つまり、医用画像の中には、現在画像と過去画像との比較を行なうべき病変部位を含むものだけでなく、病変部位を含まないもの、画像ぶれ等の不具合が存在するものなど、比較を行なう必要のないものも含まれる。また、病変部位も複数箇所に存在する場合もある。しかし、従来は、病変部位とそれ以外の部位とを区別していない。このため、従来のように現在画像と過去画像とを単純に並べただけでは、診療に適しているとはいい難い。 However, conventional methods have had the problem of not being able to display medical images in a state suitable for diagnosis. In other words, medical images include not only those that contain lesions that should be compared between current and past images, but also those that do not require comparison, such as those that do not contain lesions or those that have defects such as image blur. In addition, lesions may exist in multiple locations. However, conventional methods have not distinguished between lesions and other areas. For this reason, simply arranging current and past images side by side, as in the past, is difficult to say is suitable for diagnosis.

本発明は、上記背景を考慮してなされたものであり、医用画像を診療に適した状態で表示可能な診療支援装置、及び、診療支援装置の作動方法を提供することを目的としている。 The present invention has been made in consideration of the above background, and aims to provide a medical support device capable of displaying medical images in a state suitable for medical treatment, and a method for operating the medical support device.

上記目的を達成するために、本発明の診療支援装置は、画像処理用プロセッサを備えた診療支援装置において、画像処理用プロセッサが、複数の部位を撮像する検査で得られた医用画像が格納された医用画像データベースから、共通の患者に対して行われた検査時期の異なる複数回の検査で得られた複数の医用画像を取得し、検査時期が共通する医用画像が並べられる検査軸と、検査軸と交差し、撮像部位が共通する医用画像が並べられる軸であり、検査で検出された病変部位毎に設けられる部位軸と、を有する２次元の画像表示領域に、医用画像データベースから取得した医用画像を配列した表示画面を生成する。 In order to achieve the above object, the medical support device of the present invention is a medical support device equipped with an image processing processor, in which the image processing processor acquires multiple medical images obtained in multiple examinations performed on a common patient at different examination times from a medical image database in which medical images obtained in examinations imaging multiple parts of the body are stored, and generates a display screen in which the medical images acquired from the medical image database are arranged in a two-dimensional image display area having an examination axis along which medical images with a common examination time are arranged, and a part axis that intersects the examination axis and along which medical images with a common imaging part are arranged, the part axis being provided for each lesion part detected in the examination.

画像表示領域は、病変部位の基準となる医用画像が、検査時期に関わらずに検査軸と平行に並べられたベースラインを有していてもよい。The image display area may have a baseline in which medical images serving as a reference for the lesion site are aligned parallel to the examination axis regardless of the time of examination.

検査軸として、直近の検査で得られた医用画像が並べられる現在検査軸と、直近の検査よりも過去の検査で得られた医用画像が並べられる過去検査軸と、が設けられていてもよい。 The examination axes may include a current examination axis along which medical images obtained in the most recent examination are arranged, and a past examination axis along which medical images obtained in an examination prior to the most recent examination are arranged.

表示画面では、病変部位が強調表示されていてもよい。The lesion may be highlighted on the display screen.

表示画面では、病変部位を含む領域が拡大表示されていてもよい。The display screen may show an enlarged view of the area containing the lesion.

共通の部位軸に配列された医用画像は、共通の尺度で表示されていてもよい。 Medical images aligned on a common site axis may be displayed at a common scale.

共通の部位軸に配列された医用画像は、画像の共通の位置に共通の部位が表示されていてもよい。 Medical images arranged on a common region axis may display common regions at common positions on the images.

共通の部位軸に配列された医用画像は、共通のコントラストで表示されていてもよい。 Medical images aligned on a common site axis may be displayed with a common contrast.

病変部位の重要度を判定し、判定結果に基づいていずれの部位軸に医用画像を並べるかを決定してもよい。The importance of the lesion site may be determined, and based on the result of the determination, it may be determined on which site axis the medical image is to be arranged.

重要度を、病変部位の増大率を用いて決定してもよい。 Severity may be determined using the rate of increase in the lesion area.

また、上記目的を達成するために、本発明の診療支援装置の作動方法は、画像処理用プロセッサを備えた診療支援装置の作動方法において、画像処理用プロセッサが、複数の部位を撮像する検査で得られた医用画像が格納された医用画像データベースから、共通の患者に対して行われた検査時期の異なる複数回の検査で得られた複数の医用画像を取得し、検査時期が共通する医用画像が並べられる検査軸と、検査軸と交差し、撮像部位が共通する医用画像が並べられる軸であり、検査で検出された病変部位毎に設けられる部位軸と、を有する２次元の画像表示領域に、医用画像データベースから取得した医用画像を配列した表示画面を生成する。 In addition, in order to achieve the above-mentioned object, the operating method of the medical support device of the present invention is a method for operating a medical support device equipped with an image processing processor, in which the image processing processor acquires multiple medical images obtained in multiple examinations performed on a common patient at different examination times from a medical image database in which medical images obtained in examinations imaging multiple parts are stored, and generates a display screen in which the medical images acquired from the medical image database are arranged in a two-dimensional image display area having an examination axis along which medical images with a common examination time are arranged, and a part axis that intersects the examination axis and along which medical images with a common imaging part are arranged, the part axis being provided for each lesion part detected in the examination.

本発明によれば、医用画像を診療に適した状態で表示可能な診療支援装置、及び、診療支援装置の作動方法を提供できる。 The present invention provides a medical support device capable of displaying medical images in a state suitable for medical treatment, and a method for operating the medical support device.

診療支援サーバを含む診療支援システムの構成図である。1 is a configuration diagram of a medical support system including a medical support server. クライアント端末、診療支援サーバを構成するコンピュータを示すブロック図である。FIG. 2 is a block diagram showing a computer constituting a client terminal and a medical support server. クライアント端末、診療支援サーバのＣＰＵに構築される処理部を示すブロック図である。2 is a block diagram showing processing units constructed in a CPU of a client terminal and a medical support server. FIG. 表示画面の説明図である。FIG. 医用画像表示領域の説明図である。FIG. 2 is an explanatory diagram of a medical image display region. 医用画像データベースから取得される医用画像の一例を示す説明図である。FIG. 2 is an explanatory diagram showing an example of a medical image acquired from a medical image database. 病変部位毎の検査時期と病変サイズの関係を示す折れ線グラフである。1 is a line graph showing the relationship between examination timing and lesion size for each lesion site. タイムラインの説明図である。FIG. 1 is an explanatory diagram of a timeline. 俯瞰画像の説明図である。FIG. 拡大前画像の説明図である。FIG. 13 is an explanatory diagram of an image before enlargement.

図１において、診療支援システム１０は、病院等の医療施設で医療情報を管理および利用するためのコンピュータシステムである。診療支援システム１０は、診療支援サーバ１１（診療支援装置）と、クライアント端末１２と、モダリティ１３と、医用画像サーバ２２と、を備えている。これらは医療施設内に敷設されたＬＡＮ（Local Area Network）等のネットワーク１４で相互に通信可能に接続されている。 In Fig. 1, the medical support system 10 is a computer system for managing and using medical information in a medical facility such as a hospital. The medical support system 10 comprises a medical support server 11 (medical support device), a client terminal 12, a modality 13, and a medical image server 22. These are connected to each other so that they can communicate with each other via a network 14 such as a LAN (Local Area Network) installed within the medical facility.

診療支援サーバ１１は、本発明の診療支援装置として機能する。具体的には、診療支援サーバ１１は、クライアント端末１２からの配信要求に従って、医用画像サーバ２２の医用画像データベース２２Ａから医用画像２４を取得し、取得した医用画像２４を用いて表示画面１５（図４参照）を生成する。そして、要求元のクライアント端末１２に対して表示画面１５を配信する。表示画面１５は、クライアント端末１２のディスプレイ３４に表示される。The medical support server 11 functions as the medical support device of the present invention. Specifically, the medical support server 11 acquires a medical image 24 from the medical image database 22A of the medical image server 22 in accordance with a distribution request from the client terminal 12, and generates a display screen 15 (see FIG. 4) using the acquired medical image 24. Then, the medical support server 11 distributes the display screen 15 to the client terminal 12 that issued the request. The display screen 15 is displayed on the display 34 of the client terminal 12.

クライアント端末１２は、内科、外科、耳鼻科、眼科といった医療施設内の各診療科に設置され、ユーザーである各診療科の医師により操作される。クライアント端末１２は、表示画面の配信要求を診療支援サーバ１１に送信し、表示画面の配信要求に応じて診療支援サーバ１１から配信された表示画面１５をディスプレイ３４に表示する。つまり、クライアント端末１２は、表示画面１５を医師が閲覧するためのビューア端末として機能する。The client terminal 12 is installed in each medical department in a medical facility, such as internal medicine, surgery, otolaryngology, and ophthalmology, and is operated by the doctor in each medical department, who is the user. The client terminal 12 transmits a display screen delivery request to the medical support server 11, and displays the display screen 15 delivered from the medical support server 11 in response to the display screen delivery request on the display 34. In other words, the client terminal 12 functions as a viewer terminal that allows the doctor to view the display screen 15.

診療支援サーバ１１は、表示画面１５を、例えば、ＸＭＬ（Extensible Markup Language）等のマークアップ言語によって作成されるウェブ配信用のＸＭＬデータの形式でクライアント端末１２に配信する。クライアント端末１２は、ＸＭＬデータに基づき表示画面１５をウェブブラウザ上に再現して表示する。The medical support server 11 distributes the display screen 15 to the client terminal 12 in the form of XML data for web distribution, which is created using a markup language such as XML (Extensible Markup Language). The client terminal 12 reproduces and displays the display screen 15 on a web browser based on the XML data.

モダリティ１３は、１回の検査で複数の部位（被検体の複数の位置）を撮像して医用画像２４を得る検査装置である。モダリティ１３としては、例えば、ＭＲＩ（Magnetic Resonance Imaging；核磁気共鳴画像法）検査装置やＣＴ（Computed Tomography；コンピュータ断層撮像）検査装置が用いられる。The modality 13 is an examination device that images multiple parts (multiple positions on the subject) in one examination to obtain medical images 24. For example, an MRI (Magnetic Resonance Imaging) examination device or a CT (Computed Tomography) examination device is used as the modality 13.

医用画像サーバ２２は、いわゆるＰＡＣＳ（Picture Archiving and Communication System）サーバであり、モダリティ１３で撮像された医用画像２４が格納される医用画像データベース２２Ａを有する。医用画像２４は、例えば、ＣＴ検査装置で撮像されたＣＴ画像、ＭＲＩ検査装置で撮像されたＭＲＩ画像である。医用画像２４は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格のデータファイル形式で作成された画像データであり、クライアント端末１２などから後述する付帯情報等をキーワードとした検索、及び、閲覧が可能である。The medical image server 22 is a so-called PACS (Picture Archiving and Communication System) server, and has a medical image database 22A in which medical images 24 captured by the modality 13 are stored. The medical images 24 are, for example, CT images captured by a CT examination device, or MRI images captured by an MRI examination device. The medical images 24 are, for example, image data created in a data file format according to the DICOM (Digital Imaging and Communications in Medicine) standard, and can be searched and viewed from the client terminal 12, etc., using keywords such as supplementary information, which will be described later.

医用画像２４には、付帯情報が付帯される。付帯情報は、それぞれの医用画像２４に関する情報であり、被写体の患者の氏名、年齢、性別、及び、撮像日時（検査日時）、撮像条件、撮像部位（患者のどの部位を撮像した画像であるかを示す情報）、並びに、画像解析情報などである。画像解析情報は、医用画像２４を解析することにより得られた解析結果を示す情報であり、病変部位の有無、位置、大きさ（サイズ）、種類、程度（ステージ）などである。 Medical images 24 are accompanied by additional information. The additional information is information about each medical image 24, such as the name, age, and sex of the subject patient, as well as the imaging date and time (examination date and time), imaging conditions, imaging area (information indicating which area of the patient was imaged), and image analysis information. The image analysis information is information indicating the analysis results obtained by analyzing the medical image 24, such as the presence, location, size, type, and extent (stage) of a lesion.

なお、医用画像２４の解析は、医師等の人間により行われたものでもよいし、画像処理装置等により機械的に行われたものでもよい。医用画像２４の解析を機械的に行なう場合、例えば、医用画像を複数の小領域に分割し、分割した医用画像から画像的な特徴量を算出する。そして、算出した特徴量に基づき、各小領域が病変部位であるか否かを判断し、同じ種類と特定されたひとかたまりの領域を１つの病変部位として抽出する。また、病変部位内の特徴量と、病変部位の態様（位置、大きさ（サイズ）、形状など）と、に基づいて病変部位の種類及び／または病変の程度（ステージ）を判断する。機械的な画像処理における各種の判断は、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムによって行われることが好ましい。The analysis of the medical image 24 may be performed by a human being such as a doctor, or may be performed mechanically by an image processing device or the like. When the analysis of the medical image 24 is performed mechanically, for example, the medical image is divided into a plurality of small regions, and image features are calculated from the divided medical images. Then, based on the calculated features, it is determined whether each small region is a lesion site, and a group of regions identified as the same type is extracted as one lesion site. In addition, the type of the lesion site and/or the degree (stage) of the lesion site is determined based on the features within the lesion site and the state of the lesion site (position, size, shape, etc.). Various judgments in mechanical image processing are preferably performed by machine learning algorithms such as a convolutional neural network and deep learning.

診療支援サーバ１１、クライアント端末１２、および医用画像サーバ２２は、サーバコンピュータ、パーソナルコンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、サーバプログラムまたはクライアントプログラム等のアプリケーションプログラムをインストールして構成される。 The medical support server 11, client terminal 12, and medical image server 22 are configured based on computers such as server computers, personal computers, and workstations, with control programs such as an operating system and application programs such as server programs or client programs installed.

図２に示すように、診療支援サーバ１１やクライアント端末１２等を構成するコンピュータは、基本的な構成は同じであり、それぞれ、ストレージデバイス３０、メモリ３１、ＣＰＵ（Central Processing Unit）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはデータバス３６を介して相互接続されている。 As shown in Figure 2, the computers constituting the medical support server 11, client terminal 12, etc. have the same basic configuration, and each includes a storage device 30, memory 31, a CPU (Central Processing Unit) 32, a communication unit 33, a display 34, and an input device 35. These are interconnected via a data bus 36.

ストレージデバイス３０は、診療支援サーバ１１やクライアント端末１２等を構成するコンピュータに内蔵、またはケーブルやネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラムや各種アプリケーションプログラム、およびこれらのプログラムに付随する各種操作画面の表示データが記憶されている。The storage device 30 is a hard disk drive or a disk array with multiple hard disk drives connected in series, which is built into a computer constituting the medical support server 11 or the client terminal 12, or connected via a cable or network. The storage device 30 stores control programs such as an operating system, various application programs, and display data for various operation screens associated with these programs.

メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。The memory 31 is a work memory for the CPU 32 to execute processes. The CPU 32 loads programs stored in the storage device 30 into the memory 31 and executes processes according to the programs, thereby providing overall control over each part of the computer.

通信部３３は、ネットワーク１４を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は、マウスやキーボード等の入力デバイス３５の操作に応じた各種操作画面を表示する。操作画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。診療支援サーバ１１やクライアント端末１２等を構成するコンピュータは、操作画面を通じて入力デバイス３５からの操作指示の入力を受け付ける。 The communication unit 33 is a network interface that controls the transmission of various information via the network 14. The display 34 displays various operation screens in response to the operation of an input device 35 such as a mouse or keyboard. The operation screen is equipped with an operation function using a GUI (Graphical User Interface). A computer constituting the medical support server 11, client terminal 12, etc. accepts input of operation instructions from the input device 35 via the operation screen.

図３に示すように、クライアント端末１２には、表示画面１５を閲覧するための閲覧ソフトウエアがインストールされており、クライアント端末１２では、閲覧ソフトウエアの起動に伴い、ＣＰＵ３２がメモリ３１と協働して、ＧＵＩ制御部４０及び要求発行部４１として機能する。また、診療支援サーバ１１には、表示画面１５を生成するための表示画面生成ソフトウエアがインストールされており、診療支援サーバ１１では、表示画面生成ソフトウエアの起動に伴い、ＣＰＵ３２がメモリ３１と協働して本発明の画像処理用プロセッサを構成し、表示画面生成部４２として機能する。3, viewing software for viewing the display screen 15 is installed in the client terminal 12, and when the viewing software is started in the client terminal 12, the CPU 32 works with the memory 31 to function as a GUI control unit 40 and a request issuing unit 41. Also, display screen generation software for generating the display screen 15 is installed in the medical support server 11, and when the display screen generation software is started in the medical support server 11, the CPU 32 works with the memory 31 to constitute the image processing processor of the present invention and functions as the display screen generation unit 42.

ＧＵＩ制御部４０は、カーソル４３によるボタンのクリック操作等を通じてクライアント端末１２の入力デバイス３５から入力される操作指示に応じて、ディスプレイ３４に表示する画面の制御を行う。要求発行部４１は、ＧＵＩ制御部４０を介して行われた操作指示に応じた各種要求を発行し、診療支援サーバ１１に対して送信する。各種要求には、表示画面１５の配信要求、及び表示画面１５に表示する医用画像２４の指定、変更等を行なうための表示切替要求がある。The GUI control unit 40 controls the screen displayed on the display 34 in response to operation instructions input from the input device 35 of the client terminal 12 through button click operations using the cursor 43, etc. The request issuing unit 41 issues various requests in response to operation instructions given via the GUI control unit 40 and transmits them to the medical support server 11. The various requests include a request to distribute the display screen 15, and a display switching request for specifying or changing the medical image 24 to be displayed on the display screen 15.

表示画面生成部４２は、クライアント端末１２からの配信要求を受け、表示画面１５を生成し、クライアント端末１２に配信する。配信された表示画面１５は、ＧＵＩ制御部４０を介して、クライアント端末１２のディスプレイ３４に表示される。また、表示画面生成部４２は、表示切替要求を受け、表示画面１５の表示内容の変更（表示切替）を行なう。具体的には、表示切替要求に応じて表示内容を変更した新たな表示画面１５を生成して配信する。そして、この新たな表示画面１５がクライアント端末１２のディスプレイ３４に表示されることにより、表示内容が変更される。このように、診療支援システム１０では、クライアント端末１２を操作することで表示画面１５の表示、並びに表示内容の変更を行なうことができる。The display screen generation unit 42 receives a distribution request from the client terminal 12, generates a display screen 15, and distributes it to the client terminal 12. The distributed display screen 15 is displayed on the display 34 of the client terminal 12 via the GUI control unit 40. The display screen generation unit 42 also receives a display switching request and changes the display content of the display screen 15 (display switching). Specifically, a new display screen 15 with the display content changed in response to the display switching request is generated and distributed. Then, this new display screen 15 is displayed on the display 34 of the client terminal 12, thereby changing the display content. In this way, in the medical support system 10, the display screen 15 can be displayed and the display content can be changed by operating the client terminal 12.

図４に示すように、表示画面１５は、医用画像表示領域５０と、検査時期表示領域５２、５４と、俯瞰画像表示領域５６と、拡大前画像表示領域５８と、を備える。表示画面１５は、共通の患者について、病変部位及びその経時変化等を観察するためのものであり、クライアント端末１２を通じて観察対象の患者（表示画面１５に表示する医用画像２４の被写体の患者）を指定し、診療支援サーバ１１に配信要求を送信することで、表示画面生成部４２により生成される。4, the display screen 15 includes a medical image display area 50, examination time display areas 52, 54, an overhead image display area 56, and a pre-magnification image display area 58. The display screen 15 is for observing the lesion site and its changes over time for a common patient, and is generated by the display screen generation unit 42 by specifying the patient to be observed (the patient who is the subject of the medical image 24 to be displayed on the display screen 15) via the client terminal 12 and sending a distribution request to the medical support server 11.

［医用画像表示領域］
図５に示すように、医用画像表示領域５０は、医用画像２４が配列される２次元の領域であり、検査軸６１、６２、及び、検査軸６１、６２と交差する（本実施形態では垂直に交差する）部位軸７１、７２、７３を備える。また、医用画像表示領域５０は、検査軸６１、６２と平行なベースライン８１を備える。なお、検査軸６１、６２、部位軸７１、７２、７３、ベースライン８１は、いずれも表示画面１５に表示されない（ユーザーは視認することができない）仮想の線分（軸、ライン）である。 [Medical image display area]
5, the medical image display area 50 is a two-dimensional area in which medical images 24 are arranged, and includes examination axes 61 and 62, and part axes 71, 72, and 73 that intersect with the examination axes 61 and 62 (perpendicular to each other in this embodiment). The medical image display area 50 also includes a baseline 81 that is parallel to the examination axes 61 and 62. Note that the examination axes 61 and 62, the part axes 71, 72, and 73, and the baseline 81 are all virtual line segments (axes, lines) that are not displayed on the display screen 15 (the user cannot see them).

検査軸６１、６２には、検査時期（モダリティ１３により医用画像２４が撮像された時期）が共通する医用画像２４が並べられる。そして、検査軸６１には、直近の検査（現在検査）で得られた医用画像２４が並べられる。すなわち、検査軸６１は、本発明の現在検査軸に対応する（以下、検査軸６１を現在検査軸６１と称する場合がある）。また、検査軸６２には、直近の検査よりも過去の検査（本実施形態では、直近の検査のさらに直前の検査（前回検査））で得られた医用画像２４が並べられる。すなわち、検査軸６２は、本発明の過去検査軸に対応する（以下、検査軸６２を過去検査軸６２と称する場合がある）。 On the examination axes 61 and 62, medical images 24 that have the same examination time (the time when the medical images 24 were captured by the modality 13) are arranged. On the examination axis 61, medical images 24 obtained in the most recent examination (current examination) are arranged. That is, the examination axis 61 corresponds to the current examination axis of the present invention (hereinafter, the examination axis 61 may be referred to as the current examination axis 61). On the examination axis 62, medical images 24 obtained in an examination that occurred earlier than the most recent examination (in this embodiment, the examination immediately prior to the most recent examination (the previous examination)) are arranged. That is, the examination axis 62 corresponds to the past examination axis of the present invention (hereinafter, the examination axis 62 may be referred to as the past examination axis 62).

なお、検査軸は、現在検査軸６１のみであってもよい（過去検査軸６２を廃止してもよい）。また、過去検査軸６２を複数設けて、前回検査よりもさらに過去の検査（例えば、前々回の検査）で得られた医用画像２４を並べる構成としてもよい。The examination axis may be only the current examination axis 61 (the past examination axis 62 may be eliminated). In addition, multiple past examination axes 62 may be provided to arrange medical images 24 obtained in examinations prior to the previous examination (for example, the examination before last).

部位軸７１、７２、７３には、撮像部位が共通する医用画像２４が並べられる。これら、部位軸７１、７２、７３は、病変部位毎に設けられる。具体的には、全ての撮像部位のうち、過去及び／または現在（直近）の検査で検出された病変部位を含む撮像部位について部位軸が設けられる。換言すると、病変部位の検出履歴が存在しない撮像部位については部位軸が設けられない。つまり、図５は、過去及び／または現在の検査で３箇所の病変部位Ａ～Ｃが検出された例を示している。 On the site axes 71, 72, and 73, medical images 24 with a common imaging site are arranged. These site axes 71, 72, and 73 are provided for each lesion site. Specifically, of all imaging sites, site axes are provided for imaging sites that include a lesion site detected in a past and/or current (most recent) examination. In other words, site axes are not provided for imaging sites for which there is no detection history of a lesion site. That is, Figure 5 shows an example in which three lesion sites A to C were detected in a past and/or current examination.

なお、後述するように、本実施形態では、病変部位Ａ～Ｃの重要度を判定し、判定結果に基づいて病変部位Ａ、Ｂ、Ｃ（病変部位Ａ、Ｂ、Ｃ各々の病変部位を含む医用画像２４）の配置順（部位軸７１、７２、７３のいずれに並べるか）を決定している。そして、本実施形態では、重要度が最も高いと判定された病変部位Ｂ（病変部位Ｂを含む医用画像２４）を上段の部位軸７１に並べ、重要度が２番目に高いと判定された病変部位Ｃを中段の部位軸７２に並べ、重要度が最も低いと判定された病変部位Ａを下段の部位軸７３に並べている。こうすることで、重要な（注目すべき）病変部位であるにも関わらず下段に配置されているために見落としてしまうなどの問題を防止できる。As described later, in this embodiment, the importance of lesion sites A to C is determined, and the order of arrangement (on which of the site axes 71, 72, and 73) of lesion sites A, B, and C (medical images 24 including each of lesion sites A, B, and C) is determined based on the determination result. In this embodiment, lesion site B (medical image 24 including lesion site B), which is determined to have the highest importance, is arranged on the top site axis 71, lesion site C, which is determined to have the second highest importance, is arranged on the middle site axis 72, and lesion site A, which is determined to have the lowest importance, is arranged on the bottom site axis 73. This prevents problems such as overlooking an important (noticeable) lesion site because it is arranged on the bottom.

ベースライン８１には、各部位軸７１、７２、７３の病変部位の基準となる医用画像２４が並べられる。病変部位の基準となる医用画像２４とは、検査による画像解析の結果、病変部位が検出されたことにより、そのサイズ等の画像解析情報が存在する医用画像２４のうち、検査時期（撮像時期）が最も古いものである。また、病変部位について治療（手術による切除、及び／または、消失（縮小）のための薬剤投与など）が行われた場合は、治療の直前の医用画像２４である。なお、治療の履歴については、表示画面生成部４２が、電子カルテの格納された電子カルテデータベース（図示せず）にアクセスするなどして取得できる。 On the baseline 81, medical images 24 that serve as the reference for the lesion site of each site axis 71, 72, 73 are arranged. The medical image 24 that serves as the reference for the lesion site is the medical image 24 with the oldest examination time (imaging time) among the medical images 24 in which the lesion site was detected as a result of image analysis by an examination and image analysis information such as its size exists. In addition, if treatment (surgical removal and/or administration of medicine for disappearance (reduction)) has been performed on the lesion site, the medical image 24 is the medical image 24 immediately before the treatment. Note that the display screen generation unit 42 can obtain the treatment history by accessing an electronic medical record database (not shown) in which the electronic medical records are stored.

以下、医用画像表示領域５０の生成手順について、図５～図７を用いてより具体的に説明する。クライアント端末１２を通じて観察対象の患者が指定され、配信要求が送信されると、表示画面生成部４２は、医用画像データベース２２Ａにアクセスして、観察対象の患者の医用画像２４のうち、病変部位（本実施形態では、病変部位Ａ、Ｂ、Ｃ）が検出された部位の医用画像２４を取得する。 The procedure for generating the medical image display area 50 will be described in more detail below with reference to Figures 5 to 7. When a patient to be observed is specified via the client terminal 12 and a distribution request is sent, the display screen generating unit 42 accesses the medical image database 22A and obtains medical images 24 of the area where a lesion site (in this embodiment, lesion sites A, B, and C) has been detected from the medical images 24 of the patient to be observed.

図６は、このようにして取得された医用画像２４の一例を示すものである。具体的には、図６は、検査時期が新しいものから順に、検査時期α、検査時期β、検査時期γ、検査時期δ、の４回の検査時期のそれぞれにおいて検査が行われ、これらの検査において、患者の肺に、上側（頭部側）から順に病変部位Ａ、病変部位Ｂ、病変部位Ｃ、が検出された場合について、このような場合に医用画像データベース２２Ａから取得される医用画像２４の一覧を示している。 Figure 6 shows an example of a medical image 24 obtained in this manner. Specifically, Figure 6 shows a list of medical images 24 obtained from medical image database 22A in a case where examinations are performed at four examination times, examination time α, examination time β, examination time γ, and examination time δ, in order from the most recent examination time, and lesion area A, lesion area B, and lesion area C are detected in the patient's lungs in this examination, in that order from the top (head side).

なお、以降の説明では、必要に応じて、検査時期αの検査において取得された病変部位Ａを含む医用画像２４については医用画像２４「α－Ａ」、検査時期δの検査において取得された病変部位Ｃを含む医用画像２４については医用画像２４「δ－Ｃ」、といったように、検査時期と撮像部位（いずれの病変部位を含むか）とで医用画像２４を区別して説明を行う。In the following explanation, where necessary, medical images 24 will be distinguished by the examination time and the imaging area (which lesion area it includes), such as referring to medical image 24 "α-A" for medical image 24 including lesion area A obtained in an examination at examination time α, and medical image 24 "δ-C" for medical image 24 including lesion area C obtained in an examination at examination time δ.

また、図５、図６等に示すように、本実施形態では、医用画像２４に病変部位が存在する場合、各病変部位（本実施形態では、病変部位Ａ～Ｃ）の輪郭を太線とすることにより、各病変部位を強調（強調表示）している。こうすることで、病変部位の見落としを防止できる。なお、病変部位の強調の態様は前述の例に限定されない。例えば、病変部位を枠で囲んだり、周囲とは表示色を異ならせたり、点滅表示するなどにより、病変部位を強調してもよい。 Also, as shown in Figures 5 and 6, in this embodiment, when a lesion is present in the medical image 24, each lesion (lesion A to C in this embodiment) is highlighted (highlighted) by making the outline of the lesion a thick line. This makes it possible to prevent the lesion from being overlooked. Note that the manner in which the lesion is highlighted is not limited to the above example. For example, the lesion may be highlighted by surrounding it with a frame, by displaying it in a different color from its surroundings, or by flashing it.

さらに、図５、図６等に示すように、本実施形態では、検査時期αに撮像された医用画像２４「α－Ａ～Ｃ」には星型の指標「★」を、検査時期βに撮像された医用画像２４「β－Ａ～Ｃ」には円形の指標「●」を、検査時期γに撮像された医用画像２４「γ－Ａ～Ｃ」には三角形の指標「▲」を、検査時期δに撮像された医用画像２４「δ－Ａ～Ｃ」には四角形の指標「■」を付すことにより、検査時期を識別可能としている。 Furthermore, as shown in Figures 5 and 6, in this embodiment, the examination times can be identified by marking medical images 24 "α-A to C" captured at examination time α with a star-shaped indicator "★", medical images 24 "β-A to C" captured at examination time β with a circular indicator "●", medical images 24 "γ-A to C" captured at examination time γ with a triangular indicator "▲", and medical images 24 "δ-A to C" captured at examination time δ with a square indicator "■".

なお、本実施形態では、検査時期毎に指標の態様を変化させる例で説明をしたが、病変部位毎に指標の態様を変化させてもよい。指標の態様とは、指標の形状、サイズ、色、及び、これら１または複数の組み合わせである。もちろん、検査時期と病変部位との両方を識別可能に指標の態様を変化させてもよい。この場合、例えば、検査時期の違いを指標の形状の違いで示し、病変部位の違いを指標の色の違いで表すといったことが考えられる。In this embodiment, an example has been described in which the indicator state is changed for each examination time, but the indicator state may also be changed for each lesion site. The indicator state refers to the shape, size, color, and a combination of one or more of these. Of course, the indicator state may also be changed so that both the examination time and the lesion site can be identified. In this case, for example, it is conceivable to show differences in examination times by differences in the shape of the indicator, and differences in lesion sites by differences in the color of the indicator.

図７に、病変部位Ａ～Ｃそれぞれの検査時期と病変サイズの関係を表す折れ線グラフ９０を示す。この折れ線グラフ９０は、表示画面生成部４２が、医用画像データベース２２Ａから取得した医用画像２４（図６参照）の画像解析情報を用いて生成するものであり、後述する検査時期表示領域５２に表示するものと同様のものである（図４参照）。 Figure 7 shows a line graph 90 that indicates the relationship between the examination time and the lesion size for each of the lesion sites A to C. This line graph 90 is generated by the display screen generating unit 42 using image analysis information of the medical image 24 (see Figure 6) acquired from the medical image database 22A, and is similar to the one displayed in the examination time display area 52 described later (see Figure 4).

図７では、横軸を検査時期を示す時間軸、縦軸を病変部位に関する指標値（本実施形態では、病変サイズ）を示す病変情報軸とした２次元の領域に、前述した検査時期を示す指標、すなわち、検査時期αであることを示す星型の指標「★」、検査時期βであることを示す円形の指標「●」、検査時期γであることを示す三角形の指標「▲」、検査時期δであることを示す四角形の指標「■」を配置し、線分で繋ぐことにより、検査時期と病変サイズの関係を示している。 In Figure 7, in a two-dimensional area with the horizontal axis being the time axis indicating the examination time and the vertical axis being the lesion information axis indicating the index value related to the lesion site (in this embodiment, the lesion size), the indicators indicating the examination times mentioned above, namely a star-shaped indicator "★" indicating examination time α, a circular indicator "●" indicating examination time β, a triangular indicator "▲" indicating examination time γ, and a square indicator "■" indicating examination time δ, are arranged and connected by lines to show the relationship between examination time and lesion size.

また、図７では、検査時期を示す指標を繋ぐ線分の種類（線種）を、病変部位Ａについては「破線」、病変部位Ｂについては「一点鎖線」、病変部位Ｃについては「二点鎖線」とする、すなわち、指標を繋ぐ線分の線種を、病変部位毎に異ならせることにより、それぞれの線分がいずれの病変部位Ａ～Ｃの病変サイズの変化を示すものであるのかを識別可能としている。なお、線種以外の線分の態様、例えば、線分の色などを、病変部位毎に異ならせてもよい。また、病変部位毎に線分の態様を異ならせることに代えてまたは加えて、病変部位毎に指標の態様を異ならせてもよい。 In addition, in FIG. 7, the type (line type) of the line segment connecting the indicators indicating the examination time is a "dashed line" for lesion site A, a "dash-dotted line" for lesion site B, and a "dash-dotted line" for lesion site C. In other words, by varying the line type of the line segment connecting the indicators for each lesion site, it is possible to identify which of lesion sites A to C each line segment indicates a change in lesion size. Note that the aspect of the line segment other than the line type, such as the color of the line segment, may be different for each lesion site. Also, instead of or in addition to varying the aspect of the line segment for each lesion site, the aspect of the indicator may be different for each lesion site.

図６、図７に示すように、病変部位Ａは、医用画像２４「δ－Ａ」で初めて検出され、その後の医用画像２４「γ－Ａ」でサイズの増大が検出されたため、検査時期γと検査時期βとの間に治療を行い、治療後の医用画像２４「β－Ａ」で縮小が検出され、さらにこの後の医用画像２４「α－Ａ」で縮小状態のまま維持されている（サイズ変化がほとんどない）ことが検出された例を示している。 As shown in Figures 6 and 7, an example is shown in which the lesion area A is first detected in medical image 24 "δ-A", an increase in size is detected in the subsequent medical image 24 "γ-A", so treatment is performed between examination times γ and β, a reduction is detected in medical image 24 "β-A" after treatment, and the lesion area A is maintained in a reduced state (with almost no change in size) in the subsequent medical image 24 "α-A".

また、病変部位Ｂは、医用画像２４「δ－Ｂ」及び医用画像２４「γ－Ｂ」では検出されず、医用画像２４「β－Ｂ」で初めて検出され、その後の医用画像２４「α－Ｂ」でサイズの増大が検出された例を示している。 This also shows an example in which lesion site B was not detected in medical image 24 "δ-B" and medical image 24 "γ-B", was first detected in medical image 24 "β-B", and then an increase in size was detected in medical image 24 "α-B".

さらに、病変部位Ｃは、医用画像２４「δ－Ｃ」で初めて検出され、その後の医用画像２４「γ－Ｃ」、医用画像２４「β－Ｃ」及び医用画像２４「α－Ｃ」のいずれでもサイズが初期状態からほとんど変化していないことが検出された例を示している。 Furthermore, an example is shown in which lesion area C is first detected in medical image 24 "δ-C", and is subsequently detected in medical image 24 "γ-C", medical image 24 "β-C", and medical image 24 "α-C", with its size showing almost no change from the initial state.

このように、医用画像２４を取得し（図６参照）、折れ線グラフ９０（図７参照）を生成した後、表示画面生成部４２は、各病変部位の基準となる医用画像２４、すなわち、前述したベースライン８１（図５参照）に並べる医用画像２４を決定する。In this manner, after acquiring the medical image 24 (see Figure 6) and generating the line graph 90 (see Figure 7), the display screen generation unit 42 determines the medical image 24 that serves as the reference for each lesion site, i.e., the medical image 24 to be aligned with the aforementioned baseline 81 (see Figure 5).

本実施形態では、病変部位Ａについては、治療が行われている。このため、病変部位Ａについては、治療の直線の医用画像２４「γ－Ａ」が基準として決定される。一方、病変部位Ｂ、Ｃについては、治療は行われていない。このため、病変部位Ｂについては、初めて病変部位Ｂが検出された医用画像２４「β－Ｂ」が、病変部位Ｃについては、初めて病変部位Ｃが検出された医用画像２４「δ－Ｃ」が、それぞれ基準として決定される。In this embodiment, treatment has been performed for lesion site A. Therefore, for lesion site A, medical image 24 "γ-A" of the treatment line is determined as the reference. On the other hand, for lesion sites B and C, treatment has not been performed. Therefore, for lesion site B, medical image 24 "β-B" where lesion site B was detected for the first time is determined as the reference, and for lesion site C, medical image 24 "δ-C" where lesion site C was detected for the first time is determined as the reference.

なお、図６、図７では、このようにして決定された医用画像２４（ベースライン８１に並べられる医用画像２４）、または、ベースライン８１に並べられる医用画像２４であることを示す指標を、矩形の枠９２で囲んで強調表示している。こうすることで、ベースライン８１に並んだ医用画像２４の撮像時期（検査時期）を把握し易い。特に、ベースライン８１に並べられる医用画像は、検査時期によらずに決定されるため検査時期が異なる場合も存在する。このため、前述のように強調表示を行なうことで、検査時期を把握し易いといった効果が顕著となる。6 and 7, the medical images 24 determined in this manner (medical images 24 arranged on the baseline 81), or an indicator indicating that it is a medical image 24 arranged on the baseline 81, are highlighted by being surrounded by a rectangular frame 92. This makes it easier to understand the imaging time (examination time) of the medical images 24 arranged on the baseline 81. In particular, since the medical images arranged on the baseline 81 are determined regardless of the examination time, the examination times may differ. For this reason, highlighting as described above has a notable effect of making it easier to understand the examination time.

次に、表示画面生成部４２は、病変部位の重要度を判定する。病変部位の重要度とは、治療等の処置、及び／または、経過観察等を行なう場合の優先度を示すものであり、本実施形態では、病変部位の増大率が大きいほど、重要度が高いと判定する。また、本実施形態では、直近の検査（検査時期αの検査）で撮像された医用画像２４とベースライン８１に並べられた医用画像２４とで病変サイズを比較することにより病変部位の増大率を算出している。そして、本実施形態では、病変部位Ｂ、病変部位Ｃ、病変部位Ａの順に増大率が高い（図７参照）。このため、本実施形態では、病変部位Ｂ、病変部位Ｃ、病変部位Ａの順に重要度が高いとを判定される。Next, the display screen generating unit 42 judges the importance of the lesion site. The importance of the lesion site indicates the priority of treatment and/or follow-up observation, and in this embodiment, the greater the growth rate of the lesion site, the higher the importance is judged to be. In this embodiment, the growth rate of the lesion site is calculated by comparing the lesion size between the medical image 24 captured in the most recent examination (examination at examination time α) and the medical image 24 arranged on the baseline 81. In this embodiment, the growth rate is highest in the order of lesion site B, lesion site C, and lesion site A (see FIG. 7). For this reason, in this embodiment, the importance is judged to be highest in the order of lesion site B, lesion site C, and lesion site A.

なお、重要度の判定方法については、上記の例に限定されず適宜変更できる。例えば、上記実施形態では、直近の検査とベースライン８１（ベースライン８１に並べられた医用画像２４が撮像された検査）との比較で増大率を算出しているが、直近の検査と初めて病変部位が検出された検査との比較で増大率を算出してもよい。また、直近の検査とこの直近の検査のさらに直前に行われた検査との比較で増大率を算出してもよい。 The method of determining the importance is not limited to the above example and can be modified as appropriate. For example, in the above embodiment, the increase rate is calculated by comparing the most recent examination with the baseline 81 (the examination in which the medical images 24 arranged on the baseline 81 were taken), but the increase rate may also be calculated by comparing the most recent examination with the examination in which the lesion was detected for the first time. The increase rate may also be calculated by comparing the most recent examination with the examination performed immediately before the most recent examination.

また、上記実施形態では、増大率を用いて重要度を判定する例で説明をしたが、増大率に代えて、病変の種類や程度（ステージ）を用いて重要度を判定してもよい。もちろん、増大率、病変の種類、程度（ステージ）などの中から複数の要因を考慮して、重要度を判定してもよい。さらに、医師等のユーザーが、クライアント端末１２を操作するなどして重要度を指定する構成としてもよい。 In addition, in the above embodiment, an example was described in which the importance was determined using the growth rate, but the importance may be determined using the type and degree (stage) of the lesion instead of the growth rate. Of course, the importance may be determined taking into consideration multiple factors, such as the growth rate, the type and degree (stage) of the lesion. Furthermore, a configuration may be adopted in which a user, such as a doctor, specifies the importance by operating the client terminal 12, for example.

病変部位の重要度が判定されると、表示画面生成部４２は、判定された重要度を用いて、医用画像表示領域５０を生成する。具体的には、図５に示すように、直近の検査（現在検査）である検査時期αの検査で得られた医用画像２４「α－Ａ～Ｃ」を、病変部位の重要度が高いほど上段に位置するように、現在検査軸６１上に並べる。より具体的には、現在検査軸６１と部位軸７１とが交差する部分に、医用画像２４「α－Ｂ」を、現在検査軸６１と部位軸７２とが交差する部分に、医用画像２４「α－Ｃ」を、現在検査軸６１と部位軸７３とが交差する部分に、医用画像２４「α－Ａ」を配列する。Once the importance of the lesion site is determined, the display screen generator 42 uses the determined importance to generate the medical image display area 50. Specifically, as shown in FIG. 5, the medical images 24 "α-A to C" obtained in the examination at examination time α, which is the most recent examination (current examination), are arranged on the current examination axis 61 so that the higher the importance of the lesion site, the higher it is positioned. More specifically, the medical image 24 "α-B" is arranged at the intersection of the current examination axis 61 and the site axis 71, the medical image 24 "α-C" is arranged at the intersection of the current examination axis 61 and the site axis 72, and the medical image 24 "α-A" is arranged at the intersection of the current examination axis 61 and the site axis 73.

また、直近の検査のさらに直前の検査（前回検査）である検査時期βの検査で得られた医用画像２４「β－Ａ～Ｃ」を、病変部位の重要度が高いほど上段に位置するように、過去検査軸６２上に並べる。より具体的には、過去検査軸６２と部位軸７１とが交差する部分に、医用画像２４「β－Ｂ」を、過去検査軸６２と部位軸７２とが交差する部分に、医用画像２４「β－Ｃ」を、過去検査軸６２と部位軸７３とが交差する部分に、医用画像２４「α－Ａ」を配列する。 In addition, medical images 24 "β-A to C" obtained from the examination at examination time β, which is the examination immediately prior to the most recent examination (the previous examination), are arranged on the past examination axis 62 so that the more important the lesion site, the higher it is positioned on the top. More specifically, medical image 24 "β-B" is arranged at the intersection of the past examination axis 62 and the site axis 71, medical image 24 "β-C" is arranged at the intersection of the past examination axis 62 and the site axis 72, and medical image 24 "α-A" is arranged at the intersection of the past examination axis 62 and the site axis 73.

さらに、病変部位Ａ～Ｃの基準となる医用画像２４「γ－Ａ」、２４「β－Ｂ」、２４「δ－Ｃ」を、病変部位の重要度が高いほど上段に位置するように、ベースライン８１上に並べる。より具体的には、ベースライン８１と部位軸７１とが交差する部分に、医用画像２４「β－Ｂ」を、ベースライン８１と部位軸７２とが交差する部分に、医用画像２４「δ－Ｃ」を、ベースライン８１と部位軸７３とが交差する部分に、医用画像２４「γ－Ａ」を配列する。Furthermore, medical images 24 "γ-A", 24 "β-B", and 24 "δ-C" that serve as references for lesion sites A to C are arranged on the baseline 81 such that the more important the lesion site, the higher it is positioned on the top row. More specifically, medical image 24 "β-B" is arranged at the intersection of baseline 81 and site axis 71, medical image 24 "δ-C" is arranged at the intersection of baseline 81 and site axis 72, and medical image 24 "γ-A" is arranged at the intersection of baseline 81 and site axis 73.

続いて、表示画面生成部４２は、医用画像表示領域５０に配列した医用画像２４の各々を、観察し易いように拡大し、拡大した画像の中心に病変部位が位置するように（画像の共通の位置に共通の部位が表示されるように）、拡大した画像の位置合わせを行なう。なお、共通の部位軸に並べられる医用画像２４は、共通の尺度（縮尺）である（共通の尺度となるように拡大率を調整する）ことが好ましい。また、共通の部位軸に並べられる医用画像２４は、共通のコントラストで表示される（共通のコントラストとなるようにコントラストを調整する）ことが好ましい。このように、尺度及び／またはコントラストを揃えることで、病変部位の比較をスムーズに行なうことができる。もちろん、共通の部位軸に並べる医用画像２４だけでなく、医用画像表示領域５０に配列された全ての医用画像２４について、尺度及び／またはコントラストを揃えてもよい。 Next, the display screen generating unit 42 enlarges each of the medical images 24 arranged in the medical image display area 50 so that they are easy to observe, and aligns the enlarged images so that the lesion site is located at the center of the enlarged images (so that the common site is displayed at a common position in the images). It is preferable that the medical images 24 arranged on the common site axis have a common scale (the magnification is adjusted to have a common scale). It is also preferable that the medical images 24 arranged on the common site axis are displayed with a common contrast (the contrast is adjusted to have a common contrast). In this way, by aligning the scale and/or contrast, it is possible to smoothly compare the lesion sites. Of course, the scale and/or contrast may be aligned not only for the medical images 24 arranged on the common site axis, but also for all medical images 24 arranged in the medical image display area 50.

このようにして生成された医用画像表示領域５０は、現在検査軸６１に並べられた医用画像２４を観察することで、現在検査で撮像された病変部位毎の医用画像２４を観察でき、便利である。また、現在検査軸６１に並べられた医用画像２４と、過去検査軸６２に並べられた医用画像２４を観察することで、現在検査で撮像された医用画像２４と前回検査で撮像された医用画像２４とを病変部位毎に比較でき、便利である。さらに、現在検査軸６１に並べられた医用画像２４と、ベースライン８１に並べられた医用画像２４を観察することで、現在検査で撮像された医用画像２４と病変部位の基準となる医用画像２４とを病変部位毎に比較でき、便利である。The medical image display area 50 thus generated is convenient because it allows the medical image 24 of each lesion site captured in the current examination to be observed by observing the medical images 24 arranged on the current examination axis 61. In addition, it is convenient because it allows the medical images 24 captured in the current examination to be compared with the medical images 24 captured in the previous examination for each lesion site by observing the medical images 24 arranged on the current examination axis 61 and the medical images 24 arranged on the past examination axis 62. In addition, it is convenient because it allows the medical images 24 captured in the current examination to be compared with the medical images 24 serving as the reference for the lesion site for each lesion site by observing the medical images 24 arranged on the current examination axis 61 and the medical images 24 arranged on the baseline 81.

［検査時期表示領域］
図４に戻り、検査時期表示領域５２には、図７に示す折れ線グラフ９０が表示される。前述のように、折れ線グラフ９０は、病変部位Ａ～Ｃの検査時期（撮像時期）と病変サイズとの関係を示すものであり、この折れ線グラフ９０を閲覧することで病変部位Ａ～Ｃの検査時期と病変サイズとの関係を把握でき、便利である。 [Testing period display area]
4, the examination time display area 52 displays a line graph 90 shown in Fig. 7. As described above, the line graph 90 shows the relationship between the examination time (imaging time) of the lesion sites A to C and the lesion size, and by viewing this line graph 90, the relationship between the examination time and the lesion size of the lesion sites A to C can be conveniently understood.

また、本実施形態では、医用画像表示領域５０に表示された医用画像２４を示す指標を、枠９１で囲んで強調している。これにより、病変部位Ａ～Ｃを含む全ての医用画像２４（折れ線グラフ９０において指標が表示された医用画像２４のうち、いずれの医用画像２４が医用画像表示領域５０に表示されているのかを把握でき、便利である。In addition, in this embodiment, the indicators indicating the medical images 24 displayed in the medical image display area 50 are highlighted by being surrounded by a frame 91. This makes it possible to conveniently grasp which medical images 24 (among all medical images 24 including lesion sites A to C, which medical images 24 are displayed in the medical image display area 50 (medical images 24 with indicators displayed in the line graph 90).

さらに、本実施形態では、ベースライン８１に並べられる医用画像２４を示す指標を、前述した枠９１よりも一回り大きな枠９２で囲んで強調している。これにより、各病変部位の基準となる医用画像２４の撮像された時期を把握でき、便利である。 Furthermore, in this embodiment, the indicators indicating the medical images 24 arranged on the baseline 81 are highlighted by being surrounded by a frame 92 that is slightly larger than the frame 91 described above. This makes it possible to conveniently grasp the time when the medical images 24 serving as the reference for each lesion site were captured.

また、本実施形態では、医用画像表示領域５０に配列された医用画像２４のうち、クライアント端末１２を操作するなどして選択された医用画像２４（図４の医用画像表示領域５０の右側上段の医用画像２４）を枠９４（図４、図５参照）で囲むことにより強調している。さらに、検査時期表示領域５２において、この医用画像２４（選択された医用画像２４であり、医用画像表示領域５０において枠９４により囲まれた医用画像２４）が撮像された検査時期を示す指標を、枠９６（図４、図７参照）で囲むことにより強調している。こうすることで、選択された医用画像２４の検査時期と病変サイズとを把握し易く、便利である。In addition, in this embodiment, of the medical images 24 arranged in the medical image display area 50, the medical image 24 selected by operating the client terminal 12 (the medical image 24 in the upper right-hand side of the medical image display area 50 in FIG. 4) is highlighted by being surrounded by a frame 94 (see FIGS. 4 and 5). Furthermore, in the examination time display area 52, an indicator indicating the examination time when this medical image 24 (the selected medical image 24, the medical image 24 surrounded by the frame 94 in the medical image display area 50) was captured is highlighted by being surrounded by a frame 96 (see FIGS. 4 and 7). This makes it easy and convenient to grasp the examination time and lesion size of the selected medical image 24.

なお、本実施形態では、検査時期表示領域５２に、検査時期と病変サイズとの関係を表示しているが、検査時期表示領域５２には、検査時期と病変部位に関する指標値との関係が表示されていればよい。すなわち、本実施形態では、「病変部位に関する指標値」が「病変サイズ」である例で説明をしたが、本発明はこれに限定されない。病変部位に関する指標値は、病変部位の増大率、程度（ステージ）など、病変サイズ以外であってもよい。また、本実施形態では、検査時期と病変部位に関する指標値との関係を「折れ線グラフ」の形態で表示する例で説明をしたが、例えば、「棒グラフ」など検査時期と病変部位に関する指標値との関係を折れ線グラフ以外の形態で表示してもよい。In this embodiment, the relationship between the examination time and the lesion size is displayed in the examination time display area 52, but the examination time display area 52 may display the relationship between the examination time and the index value related to the lesion site. That is, in this embodiment, an example is described in which the "index value related to the lesion site" is the "lesion size", but the present invention is not limited to this. The index value related to the lesion site may be something other than the lesion size, such as the growth rate or degree (stage) of the lesion site. In addition, in this embodiment, an example is described in which the relationship between the examination time and the index value related to the lesion site is displayed in the form of a "line graph", but the relationship between the examination time and the index value related to the lesion site may be displayed in a form other than a line graph, such as a "bar graph".

また、図４において、検査時期表示領域５４には、図８に示すタイムライン１００が表示される。タイムライン１００には、検査時期αを示す星型の指標「★」、検査時期βを示す円形の指標「●」、検査時期γを示す三角形の指標「▲」、検査時期δを示す四角形の指標「■」が配されており、タイムライン１００を観察することで、検査時期を把握できる。また、検査時期表示領域５４には、ベースライン８１に並べられた医用画像２４の撮像された検査時期に指標１０２を設けている。これにより、ベースライン８１に並べられた医用画像２４の撮像された検査時期も把握できる。さらに、タイムライン１００には、医用画像表示領域５０において選択された医用画像２４（図４、図５において、枠９４で囲まれた医用画像２４）の撮像された検査時期に指標１０４を設けている。これにより、選択された医用画像２４の撮像時期についても把握できる。なお、本実施形態では、２つの検査時期表示領域５２、５４を設けた例で説明をしたが、これらの一方を廃止してもよい。 In addition, in FIG. 4, the examination time display area 54 displays the timeline 100 shown in FIG. 8. The timeline 100 includes a star-shaped indicator "★" indicating the examination time α, a circular indicator "●" indicating the examination time β, a triangular indicator "▲" indicating the examination time γ, and a square indicator "■" indicating the examination time δ. By observing the timeline 100, the examination time can be understood. In addition, the examination time display area 54 includes an indicator 102 at the examination time when the medical images 24 arranged on the baseline 81 were captured. This allows the examination time when the medical images 24 arranged on the baseline 81 were captured to be understood. Furthermore, the timeline 100 includes an indicator 104 at the examination time when the medical image 24 selected in the medical image display area 50 (the medical image 24 surrounded by the frame 94 in FIG. 4 and FIG. 5) was captured. This allows the imaging time of the selected medical image 24 to be understood. In this embodiment, an example in which two examination timing display areas 52 and 54 are provided has been described, but one of these may be eliminated.

［俯瞰画像表示領域］
さらに、図４において、俯瞰画像表示領域５６には、図９に示す俯瞰画像１１０が表示される。俯瞰画像１１０は、医用画像表示領域５０に配列された医用画像２４に含まれる病変部位を俯瞰するためのものである。俯瞰画像１１０としては、例えば、全ての病変部位が収まる範囲を撮像した画像（例えば、患者の肺のＸ線画像）、または、全ての病変部位が収まる範囲のシェーマ図（人体模式図）が用いられる。そして、俯瞰画像１１０には、指標などにより各病変部位の位置が示される。図９の例では、円形の指標１１２により、病変部位Ａ～Ｃの位置を示している。こうすることで、病変部位Ａ～Ｃ各々の位置及び相対的な位置関係を把握できる。 [Overhead image display area]
Furthermore, in FIG. 4, the bird's-eye view image display area 56 displays an overhead image 110 shown in FIG. 9. The bird's-eye view image 110 is for viewing the lesion sites included in the medical images 24 arranged in the medical image display area 50. For example, an image capturing an area in which all lesion sites are included (for example, an X-ray image of the patient's lungs), or a schematic diagram (schematic diagram of the human body) in which all lesion sites are included is used as the bird's-eye view image 110. The position of each lesion site is indicated by an index or the like in the bird's-eye view image 110. In the example of FIG. 9, the positions of lesion sites A to C are indicated by a circular index 112. In this way, the positions of each of the lesion sites A to C and their relative positional relationships can be grasped.

また、本実施形態では、医用画像表示領域５０において選択された医用画像２４（図４、図５において、枠９４で囲まれた医用画像２４）に含まれる病変部位Ｂを枠１１４により囲んで強調している。これにより、選択された医用画像２４に含まれる病変部位の位置を把握できる。なお、本実施形態では、俯瞰画像として、起立姿勢の人体を水平方向から観察（撮像）した画像を用いる例で説明をしたが、本発明はこれに限定されない。俯瞰画像として、起立姿勢の人体を鉛直方向から観察（撮像）した画像を用いてもよい。 In addition, in this embodiment, the lesion site B included in the medical image 24 selected in the medical image display area 50 (medical image 24 surrounded by frame 94 in Figures 4 and 5) is highlighted by being surrounded by a frame 114. This makes it possible to grasp the position of the lesion site included in the selected medical image 24. Note that, in this embodiment, an example has been described in which an image of a human body in an upright position observed (captured) from a horizontal direction is used as the overhead image, but the present invention is not limited to this. An image of a human body in an upright position observed (captured) from a vertical direction may also be used as the overhead image.

［拡大画像表示領域］
また、図４において、拡大前画像表示領域５８には、図１０に示す拡大前画像１２０が表示される。拡大前画像１２０は、医用画像表示領域５０において選択された医用画像２４（図４、図５において、枠９４で囲まれた医用画像２４）である。ただし、医用画像表示領域５０では医用画像２４が拡大されているのに対し、拡大前画像１２０は拡大されていない。これにより、拡大前画像１２０を観察することで、医用画像表示領域５０の医用画像２４（選択された医用画像２４）では表示されていない画像の周縁部の確認、画像全体中の病変部位の位置の確認などができる。 [Enlarged image display area]
4, the pre-magnification image display area 58 displays a pre-magnification image 120 shown in FIG. 10. The pre-magnification image 120 is the medical image 24 selected in the medical image display area 50 (the medical image 24 surrounded by a frame 94 in FIGS. 4 and 5). However, while the medical image 24 is magnified in the medical image display area 50, the pre-magnification image 120 is not magnified. As a result, by observing the pre-magnification image 120, it is possible to confirm the peripheral portion of the image that is not displayed in the medical image 24 (the selected medical image 24) in the medical image display area 50, and to confirm the position of the lesion site in the entire image.

上記実施形態において、ＧＵＩ制御部４０、要求発行部４１、表示画面生成部４２等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。In the above embodiment, the hardware structure of the processing unit that executes various processes such as the GUI control unit 40, the request issuing unit 41, the display screen generating unit 42, etc., is various processors as shown below. The various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacture such as an FPGA (Field Programmable Gate Array), and a dedicated electrical circuit, which is a processor having a circuit configuration designed specifically to execute various processes.

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。 A processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (for example, multiple FPGAs, or a combination of a CPU and an FPGA). In addition, multiple processing units may be composed of one processor. As an example of configuring multiple processing units with one processor, first, as represented by computers such as clients and servers, one processor is configured with a combination of one or more CPUs and software, and this processor functions as multiple processing units. Secondly, as represented by system on chip (SoC), there is a form using a processor that realizes the functions of the entire system including multiple processing units with one IC (Integrated Circuit) chip. In this way, the various processing units are configured using one or more of the above various processors as a hardware structure.

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。 More specifically, the hardware structure of these various processors is an electric circuit (circuitry) in the form of a combination of circuit elements such as semiconductor elements. The hardware structure of the memory unit is a storage device such as a hard disk drive (HDD) or a solid state drive (SSD).

１０診療支援システム
１１診療支援サーバ（診療支援装置）
１２クライアント端末
１３モダリティ
１４ネットワーク
１５表示画面
２２医用画像サーバ
２２Ａ医用画像データベース
２４医用画像
３０ストレージデバイス
３１メモリ
３２ＣＰＵ
３３通信部
３４ディスプレイ
３５入力デバイス
３６データバス
４０ＧＵＩ制御部
４１要求発行部
４２表示画面生成部
４３カーソル
５０医用画像表示領域
５２、５４検査時期表示領域
５６俯瞰画像表示領域
５８拡大前画像表示領域
６１検査軸（現在検査軸）
６２検査軸（過去検査軸）
７１、７２、７３部位軸
８１ベースライン
Ａ、Ｂ、Ｃ病変部位
９０折れ線グラフ
９１枠（医用画像表示領域に表示された医用画像であることを示す枠）
９２枠（ベースラインに並べられた医用画像、または、ベースラインに並べられた医用画像あることを示す指標を囲む枠）
９４、９６枠（選択された医用画像、または、選択された医用画像であることを示す指標を囲む枠）
１００タイムライン
１０２指標（ベースラインに並べられた医用画像の検査時期であることを示す指標）
１０４指標（選択された医用画像の検査時期であることを示す指標）
１１０俯瞰画像
１１２指標（病変部位を示す指標）
１１４枠（選択された医用画像に含まれる病変部位であることを示す枠）
１２０拡大前画像 10 Medical support system 11 Medical support server (medical support device)
12 Client terminal 13 Modality 14 Network 15 Display screen 22 Medical image server 22A Medical image database 24 Medical image 30 Storage device 31 Memory 32 CPU
33 Communication unit 34 Display 35 Input device 36 Data bus 40 GUI control unit 41 Request issuing unit 42 Display screen generating unit 43 Cursor 50 Medical image display area 52, 54 Examination time display area 56 Bird's-eye view image display area 58 Pre-magnified image display area 61 Examination axis (current examination axis)
62 Inspection axis (past inspection axis)
71, 72, 73 Region axis 81 Baseline A, B, C Lesion region 90 Line graph 91 Frame (frame indicating that this is a medical image displayed in the medical image display area)
92 Frame (a frame surrounding a medical image aligned to a baseline or an indicator indicating that a medical image is aligned to a baseline)
94, 96 Frame (a frame surrounding a selected medical image or an indicator indicating that the medical image is selected)
100 Timeline 102 Indicator (indicator indicating the examination time of medical images arranged in the baseline)
104 Indicator (indicator indicating that it is time for examination of the selected medical image)
110 Bird's-eye view image 112 Index (indicator showing lesion site)
114 Frame (frame indicating a lesion area included in the selected medical image)
120 Image before enlargement

Claims

A medical support device having an image processing processor,
The image processor includes:
A plurality of medical images obtained from a plurality of examinations performed on a common patient at different times are acquired from a medical image database in which medical images associated with imaging sites are stored,
generating a display screen in which medical images acquired from the medical image database are arranged in a two-dimensional image display area having an examination axis along which medical images having a common examination time are arranged, and a site axis that intersects with the examination axis and along which medical images having a common imaging site are arranged, the site axis being provided for each lesion site detected in the examination;
The site axis is provided in a plurality of parts along the direction of the inspection axis,
the image display region has a baseline aligned parallel to the inspection axis;
On the baseline, among the medical images in which the lesion site corresponding to the site axis is detected, the medical image with the oldest examination time is arranged as a reference medical image for the lesion site;
A medical support device in which an indicator indicating the examination time is superimposed on the corresponding medical image in the image display area.

The medical support device according to claim 1, wherein the examination axes include a current examination axis along which medical images obtained in a most recent examination are arranged, and a past examination axis along which medical images obtained in an examination prior to the most recent examination are arranged.

The medical support device according to claim 1 or 2, wherein the lesion site is highlighted on the display screen.

The medical support device according to any one of claims 1 to 3, wherein the display screen displays an enlarged area including the lesion site.

The medical support device according to any one of claims 1 to 4, wherein medical images arranged on a common part axis are displayed at a common scale.

The medical support device according to any one of claims 1 to 5, in which medical images arranged on a common part axis display a common part at a common position on the image.

The medical support device according to any one of claims 1 to 6, wherein medical images arranged on a common part axis are displayed with a common contrast.

The medical support device according to any one of claims 1 to 7, which determines the importance of the lesion site and determines which site axis the medical image should be arranged on based on the result of the determination.

9. The medical support device according to claim 8, wherein the importance is determined using a growth rate of the lesion site.

The medical support device according to claim 1 , further comprising an examination time display area that displays a timeline on which indicators indicating the examination times are arranged in chronological order.

A method for operating a medical support device having an image processing processor, comprising:
The image processor includes:
A plurality of medical images obtained from a plurality of examinations performed on a common patient at different times are acquired from a medical image database in which medical images associated with imaging sites are stored,
generating a display screen in which medical images acquired from the medical image database are arranged in a two-dimensional image display area having an examination axis along which medical images having a common examination time are arranged, and a site axis that intersects with the examination axis and along which medical images having a common imaging site are arranged, the site axis being provided for each lesion site detected in the examination;
The site axis is provided in a plurality of parts along the direction of the inspection axis,
the image display region has a baseline aligned parallel to the inspection axis;
On the baseline, among the medical images in which the lesion site corresponding to the site axis is detected, the medical image with the oldest examination time is arranged as a reference medical image for the lesion site;
A method for operating a medical support device, in which an indicator indicating the examination time is superimposed on a corresponding medical image in the image display area.

For image processing processors,
A function of acquiring multiple medical images obtained from multiple examinations performed at different times on a common patient from a medical image database in which medical images associated with imaging sites are stored;
a function of generating a display screen in which medical images acquired from the medical image database are arranged in a two-dimensional image display area having an examination axis along which medical images having a common examination time are arranged, and a site axis that intersects with the examination axis and along which medical images having a common imaging site are arranged, the site axis being provided for each lesion site detected in the examination, the function of generating a display screen in which medical images acquired from the medical image database are arranged in a two-dimensional image display area having an examination axis along which medical images having a common imaging site are arranged ...
The site axis is provided in a plurality of parts along the direction of the inspection axis,
the image display region has a baseline aligned parallel to the inspection axis;
On the baseline, among the medical images in which the lesion site corresponding to the site axis is detected, the medical image with the oldest examination time is arranged as a reference medical image for the lesion site;
A medical support program in which an indicator indicating the examination time is superimposed on the corresponding medical image in the image display area.