JP6283877B2

JP6283877B2 - Medical image display device

Info

Publication number: JP6283877B2
Application number: JP2013254048A
Authority: JP
Inventors: 陽介柳田; 宏匡山岸; 賢一丹羽; 誉史近藤
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2013-12-09
Filing date: 2013-12-09
Publication date: 2018-02-28
Anticipated expiration: 2033-12-09
Also published as: JP2015112137A

Description

本発明の実施形態は、医用画像表示装置に関する。 Embodiments described herein relate generally to a medical image display apparatus.

近年、技術の進展に伴って、医療機関内にも各種電子機器を利用した医療画像診断装置やシステムが導入されている。医療画像診断装置は、被検体内部の情報を収集し、この収集された情報に基づいて被検体内部を画像化して医用画像を生成する装置である。この医療画像診断装置としては、例えば、Ｘ線ＣＴ装置（computed tomography：コンピュータ断層撮影装置）や磁気共鳴診断装置（ＭＲＩ：magnetic resonance imaging）などが挙げられる。 In recent years, with the advancement of technology, medical image diagnostic apparatuses and systems using various electronic devices have been introduced into medical institutions. The medical image diagnostic apparatus is an apparatus that collects information inside a subject and generates a medical image by imaging the inside of the subject based on the collected information. Examples of the medical image diagnostic apparatus include an X-ray CT apparatus (computed tomography) and a magnetic resonance diagnostic apparatus (MRI).

ここで、読影医や放射線技師などのユーザ（利用者）が二次元画像や三次元画像などの医用画像を観察する場合には、その医用画像を表示する医用画像表示装置（医用画像観察装置）が用いられる。このとき、例えば、２Ｄビューア、あるいは、ボリュームレンダリングや三次元のＭＩＰ（最大値投影法）処理を行う３Ｄビューア、特定の部位や特定の疾患に対する解析を目的とする臨床解析アプリケーションなど、特定の疾患を観察する種々のアプリケーションが使用される。 Here, when a user (user) such as an interpreting doctor or a radiographer observes a medical image such as a two-dimensional image or a three-dimensional image, a medical image display device (medical image observation device) that displays the medical image. Is used. At this time, for example, a specific disease such as a 2D viewer, a 3D viewer that performs volume rendering or three-dimensional MIP (maximum value projection) processing, or a clinical analysis application for analyzing a specific region or a specific disease Various applications for observing are used.

これらのアプリケーションを利用して読影を行う際など、ユーザは各アプリケーションで特定の関心部位（関心箇所）を観察するため、アプリケーションごとに関心部位を指定するような入力操作を行って関心部位を表示させている。特に、複数のアプリケーションにより同位置の画像所見を観察する上では、ユーザはそれぞれのアプリケーションに対して同じような操作を行うことにより、各アプリケーションによる画像の表示状態を同様にしてから観察を行っている。 When performing interpretation using these applications, the user observes a specific area of interest (interested area) in each application, so the area of interest is displayed by performing an input operation that specifies the area of interest for each application. I am letting. In particular, when observing image findings at the same position using multiple applications, the user must perform the same operation on each application to observe the image display state of each application in the same way. Yes.

特開平０９−１７９８７６号公報JP 09-179876 A

しかしながら、前述のように複数のアプリケーションにより同じ医用画像を同時に観察する場合には、各アプリケーションによりユーザ自身の関心がある関心部位を表示するため、アプリケーションごとに関心部位を表示する作業を手動の入力操作により行う必要がある。このため、アプリケーション利用におけるユーザの利便性が低下してしまう。 However, when observing the same medical image simultaneously with multiple applications as described above, the application of manually displaying the area of interest for each application is displayed in order to display the area of interest that the user is interested in with each application. Must be done by operation. For this reason, the convenience of the user in using the application is reduced.

本発明が解決しようとする課題は、アプリケーション利用におけるユーザの利便性を向上させることができる医用画像表示装置を提供することである。 The problem to be solved by the present invention is to provide a medical image display device that can improve the convenience of the user in using an application.

実施形態に係る医用画像表示装置は、複数のアプリケーションにより個別に生成された複数の医用画像を表示する表示部と、複数のアプリケーションのいずれか一つに対する入力操作を受け付ける入力部と、入力操作の内容及び入力操作の対象となったアプリケーションの状態から、入力操作に割り当てられた操作意味を解釈する操作解釈部と、解釈された操作意味を持つ操作内容を入力操作の対象となったアプリケーション以外の他のアプリケーションに適用する操作処理部とを備える。 A medical image display device according to an embodiment includes a display unit that displays a plurality of medical images individually generated by a plurality of applications, an input unit that receives an input operation for any one of the plurality of applications, and an input operation The operation interpretation unit that interprets the operation meaning assigned to the input operation from the contents and the status of the application that is the target of the input operation, and the operation content that has the interpreted operation meaning other than the application that is the target of the input operation And an operation processing unit applied to other applications.

第１の実施形態に係る医用画像表示装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a medical image display apparatus according to a first embodiment. 第１の実施形態に係る操作解釈処理を説明するための説明図である。It is explanatory drawing for demonstrating the operation interpretation process which concerns on 1st Embodiment. 第１の実施形態に係る操作同期処理を説明するための説明図である。It is explanatory drawing for demonstrating the operation synchronous process which concerns on 1st Embodiment. 第１の実施形態に係る状態推定処理を説明するための説明図である。It is explanatory drawing for demonstrating the state estimation process which concerns on 1st Embodiment. 第１の実施形態に係る操作変換処理を説明するための説明図である。It is explanatory drawing for demonstrating the operation conversion process which concerns on 1st Embodiment. 第２の実施形態に係る医用画像表示装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the medical image display apparatus which concerns on 2nd Embodiment.

（第１の実施の形態）
第１の実施形態について図１ないし図５を参照して説明する。 (First embodiment)
A first embodiment will be described with reference to FIGS. 1 to 5.

図１に示すように、第１の実施形態に係る医用画像表示装置１は、医用画像などの各種画像を表示する表示部２と、読影医や技師などのユーザ（利用者）により入力操作される入力部３と、各部を制御する制御部４とを備えている。この医用画像表示装置１がユーザにより利用される端末として機能する。 As shown in FIG. 1, the medical image display apparatus 1 according to the first embodiment is input by a display unit 2 that displays various images such as medical images and a user (user) such as an interpreting doctor or a technician. Input unit 3 and a control unit 4 for controlling each unit. This medical image display apparatus 1 functions as a terminal used by the user.

表示部２は、ＣＴ画像やＭＲ画像などのＸ線画像を含む各種画像を表示する表示装置である。この表示部２としては、例えば、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイなどを用いることが可能である。 The display unit 2 is a display device that displays various images including X-ray images such as CT images and MR images. As the display unit 2, for example, a liquid crystal display, a CRT (Cathode Ray Tube) display, or the like can be used.

入力部３は、読影医や技師などのユーザからの入力操作を受け付ける操作部である。この入力部３としては、例えば、キーボードやマウス、タッチパネルなどの入力デバイスを用いることが可能である。 The input unit 3 is an operation unit that receives an input operation from a user such as an image interpretation doctor or an engineer. For example, an input device such as a keyboard, a mouse, or a touch panel can be used as the input unit 3.

制御部４は、アプリケーションごとに、アプリケーションに対する入力操作を監視する操作監視部４ａと、入力操作の操作意味を解釈する操作解釈部４ｂと、アプリケーションの状態を推定する状態推定部４ｃと、前述の入力操作の操作内容を入力操作の対象となったアプリケーション以外の他のアプリケーション用に変換する操作変換部４ｄと、他のアプリケーションに対して変換後の操作内容を適用する操作再生部４ｅとを有している。さらに、制御部４は、全てのアプリケーション共通に、前述の入力操作の同期対象となるアプリケーションを特定する操作同期部４ｆを有している。 For each application, the control unit 4 includes an operation monitoring unit 4a that monitors an input operation on the application, an operation interpretation unit 4b that interprets the operation meaning of the input operation, a state estimation unit 4c that estimates the state of the application, An operation conversion unit 4d that converts the operation content of the input operation for an application other than the application that is the target of the input operation, and an operation playback unit 4e that applies the operation content after conversion to another application doing. Further, the control unit 4 includes an operation synchronization unit 4f that identifies an application to be synchronized with the input operation described above, in common to all applications.

ここで、図１では、一例として、アプリケーションＡ、Ｂ及びＣの三つが存在しており、それらのアプリケーションＡ、Ｂ及びＣごとに、操作監視部４ａ、操作解釈部４ｂ、状態推定部４ｃ、操作変換部４ｄ及び操作再生部４ｅが存在している。さらに、アプリケーションＡ、Ｂ及びＣに共通の操作同期部４ｆが存在している。なお、アプリケーション数は三つに限るものではなく、少なくとも二つ以上存在していれば良い。 Here, in FIG. 1, as an example, there are three applications A, B, and C. For each of these applications A, B, and C, an operation monitoring unit 4a, an operation interpretation unit 4b, a state estimation unit 4c, An operation conversion unit 4d and an operation reproduction unit 4e exist. Furthermore, an operation synchronization unit 4f common to the applications A, B, and C exists. Note that the number of applications is not limited to three, and it is sufficient that at least two applications exist.

このようなアプリケーションＡ、Ｂ及びＣごとの操作監視部４ａ、操作解釈部４ｂ、状態推定部４ｃ、操作変換部４ｄ及び操作再生部４ｅと、それらのアプリケーションＡ、Ｂ及びＣに共通の操作同期部４ｆとが、操作に関する全般の処理を行う操作処理部１１として機能する。 The operation monitoring unit 4a, the operation interpretation unit 4b, the state estimation unit 4c, the operation conversion unit 4d, and the operation reproduction unit 4e for each of the applications A, B, and C, and the operation synchronization common to these applications A, B, and C The unit 4f functions as the operation processing unit 11 that performs general processing related to the operation.

操作監視部４ａは、対応するアプリケーションに対する入力操作を常に監視し、その入力操作の操作内容を特定する。ユーザはマウスやキーボードなどの入力部３を操作して各アプリケーションに対する入力操作を行う。なお、マウスの操作内容としては例えばマウスの位置情報やマウスの移動情報などが挙げられ、また、キーボードの操作内容としては例えば押下したキーの情報などが挙げられる。この操作監視部４ａは、対応するアプリケーションに対する入力操作を検出すると、その操作内容を把握して操作解釈部４ｂに通知する。 The operation monitoring unit 4a constantly monitors the input operation for the corresponding application and identifies the operation content of the input operation. The user operates the input unit 3 such as a mouse or a keyboard to perform an input operation for each application. The mouse operation content includes, for example, mouse position information and mouse movement information, and the keyboard operation content includes, for example, information on a pressed key. When the operation monitoring unit 4a detects an input operation for the corresponding application, the operation monitoring unit 4a grasps the operation content and notifies the operation interpretation unit 4b.

操作解釈部４ｂは、ユーザの入力操作の操作内容から、その入力操作が対応するアプリケーションにとってどのような操作意味を持つ操作であるのかを特定する。例えば、操作意味としては、画像のスクロールや３Ｄ（三次元）画像の回転、拡大、縮小などが挙げられる。 The operation interpretation unit 4b identifies what operation meaning the input operation is for the corresponding application from the operation content of the user's input operation. For example, operation meanings include image scrolling, 3D (three-dimensional) image rotation, enlargement, reduction, and the like.

詳しくは、図２に示すように、操作解釈部４ｂは、操作監視部４ａから操作内容（例えば、操作内容＝マウス操作（ｓｓｓ、ｔｔｔ））の情報を取得し、また、状態推定部４ｃからアプリケーションの状態（例えば、状態＝モードＡ）を取得する。その後、操作解釈部４ｂは、取得した操作内容情報及び状態情報から「操作解釈テーブル」を検索し、どの様な意味を持つ入力操作を行ったのかを特定し（例えば、操作意味＝意味β）、操作同期部４ｆに通知する。 Specifically, as illustrated in FIG. 2, the operation interpretation unit 4b acquires information on the operation content (for example, operation content = mouse operation (sss, ttt)) from the operation monitoring unit 4a, and from the state estimation unit 4c. The application state (for example, state = mode A) is acquired. Thereafter, the operation interpretation unit 4b searches the “operation interpretation table” from the acquired operation content information and status information, and identifies what meaning the input operation has been performed (for example, operation meaning = meaning β). The operation synchronization unit 4f is notified.

ここで、「操作解釈テーブル」は、状態、操作内容及び操作意味を関連付けて記憶している。図２では、状態としては例えばモードＡやモードＢなどが示されており、また、操作内容としては例えばマウス操作（ｘｘｘ、ｙｙｙ）やマウス操作（ｓｓｓ、ｔｔｔ）、マウス操作（ｕｕｕ、ｖｖｖ）などが示されており、操作意味としては例えば意味αや意味β、意味γ、意味θ、意味ωなどが示されている。 Here, the “operation interpretation table” stores the state, operation content, and operation meaning in association with each other. In FIG. 2, for example, mode A or mode B is shown as the state, and the operation content is, for example, mouse operation (xxx, yyy), mouse operation (sss, ttt), mouse operation (uuu, vvv). For example, meaning α, meaning β, meaning γ, meaning θ, meaning ω, and the like are shown as operation meanings.

この図２に示す「操作解釈テーブル」によれば、状態がモードＡであり、操作内容がマウス操作（ｓｓｓ、ｔｔｔ）である場合には、その「操作解釈テーブル」から操作意味は意味βと特定され、その特定された操作意味（＝意味β）が操作同期部４ｆに通知される。このような「操作解釈テーブル」はアプリケーションごとに作成されており、状態情報及び操作内容情報によって操作意味が一意に決定される情報記憶領域である。 According to the “operation interpretation table” shown in FIG. 2, when the state is mode A and the operation content is a mouse operation (sss, ttt), the operation meaning is “β” from the “operation interpretation table”. The specified operation meaning (= meaning β) is notified to the operation synchronization unit 4f. Such an “operation interpretation table” is created for each application, and is an information storage area in which an operation meaning is uniquely determined by state information and operation content information.

なお、アプリケーションの状態とは、アプリケーションを操作する際、同一の操作であっても異なる意味を持たせるための区別を行うパラメータである。例えば、状態がモードＡである場合、マウスのドラッグ操作が３Ｄ画像の回転を意味し、また、状態がモードＢ（モードＡと異なるモード）である場合、前述と同様のマウスのドラッグ操作が画像の階調の変更を意味する。 Note that the application state is a parameter for making a distinction even when the operation is the same even if the operation is the same. For example, when the state is mode A, the mouse drag operation means rotation of the 3D image, and when the state is mode B (a mode different from mode A), the same mouse drag operation as described above is performed on the image. This means a change in the gradation.

操作同期部４ｆは、操作解釈部４ｂから提供される操作意味情報を前述の入力操作の対象となったアプリケーション以外の他のアプリケーションに同期させる必要の有無を判断し、各アプリケーションの中から同期の必要があるアプリケーションを選択して特定する。また、操作意味がアプリケーションの状態の変更であった場合には、アプリケーションの状態推定部４ｃに対して状態の更新を通知する。 The operation synchronization unit 4f determines whether or not the operation semantic information provided from the operation interpretation unit 4b needs to be synchronized with another application other than the application that is the target of the input operation described above. Select and identify the application you need. Further, when the operation meaning is a change in the state of the application, the update of the state is notified to the state estimation unit 4c of the application.

詳しくは、図３に示すように、操作同期部４ｆは、操作解釈部４ｂからどのアプリケーションが操作されたのかを示すアプリケーション識別情報（例えば、アプリケーション＝Ａ）及び操作意味情報（例えば、操作意味＝意味β）を取得する。さらに、操作同期部４ｆは、取得したアプリケーション識別情報と操作意味から「操作同期テーブル」を検索し、どのアプリケーションを同期させるべきであるかを特定する（例えば、アプリケーションＢ、Ｃ）。その後、操作同期部４ｆは同期先のアプリケーションの操作変換部４ｄに対して操作の意味を通知する（例えば、操作意味＝意味β）。なお、同期先が取得できない場合には、同期の必要がないとして処理を行わない。 Specifically, as illustrated in FIG. 3, the operation synchronization unit 4f includes application identification information (for example, application = A) and operation semantic information (for example, operation meaning = for example) indicating which application has been operated from the operation interpretation unit 4b. Get the meaning β). Further, the operation synchronization unit 4f searches the “operation synchronization table” from the acquired application identification information and operation meaning, and specifies which application should be synchronized (for example, applications B and C). Thereafter, the operation synchronization unit 4f notifies the meaning of the operation to the operation conversion unit 4d of the synchronization destination application (for example, operation meaning = meaning β). If the synchronization destination cannot be acquired, the processing is not performed because there is no need for synchronization.

ここで、「操作同期テーブル」は、アプリケーション、操作意味及び同期先を関連付けて記憶している。図３では、アプリケーションとしては例えばＡなどが示されおり、操作意味としては例えば意味αや意味β、意味γ、意味θ、意味ωなどが示されており、同期先としては例えば、アプリケーションＡ、Ｂ及びＣさらに状態推定部４ｃなどが示されている。このような「操作同期テーブル」はアプリケーションごとに作成されており、アプリケーション識別情報及び操作意味情報によって同期先が一意に決定される情報記憶領域である。 Here, the “operation synchronization table” stores applications, operation meanings, and synchronization destinations in association with each other. In FIG. 3, for example, A is shown as the application, meaning α, meaning β, meaning γ, meaning θ, meaning ω, and the like are shown as operation meanings. For example, application A, B and C, and a state estimation unit 4c and the like are shown. Such an “operation synchronization table” is created for each application, and is an information storage area in which a synchronization destination is uniquely determined by application identification information and operation semantic information.

この図３に示す「操作同期テーブル」によれば、アプリケーションがＡであり、操作意味が意味βである場合には、その「操作同期テーブル」から同期先としてアプリケーションＢ及びＣが選択され、そのアプリケーションＢ及びＣの各操作変換部４ｄに意味βが通知される。また、アプリケーションがＡであり、操作意味が意味γである場合には、「操作同期テーブル」から同期先としてアプリケーションＡの状態推定部４ｃが選択され、そのアプリケーションＡの状態推定部４ｃに意味γが通知される。この操作意味（＝意味γ）はアプリケーションの状態の変更である（モード変更）。 According to the “operation synchronization table” shown in FIG. 3, when the application is A and the operation meaning is the meaning β, the applications B and C are selected as synchronization destinations from the “operation synchronization table”. The meaning β is notified to the operation conversion units 4d of the applications B and C. When the application is A and the operation meaning is the meaning γ, the state estimation unit 4c of the application A is selected as the synchronization destination from the “operation synchronization table”, and the meaning γ is transmitted to the state estimation unit 4c of the application A. Will be notified. This operation meaning (= meaning γ) is a change in the state of the application (mode change).

状態推定部４ｃは、アプリケーションの動作を区別するアプリケーションの状態を推定及び把握して保持し、前述のように操作解釈部４ｂや操作変換部４ｄに対して状態情報を提供する。さらに、状態推定部４ｃは、操作同期部４ｆからのアプリケーションに対する操作意味の通知に応じて、アプリケーションの状態を更新する（モード変更）。 The state estimation unit 4c estimates and holds the state of the application that distinguishes the operation of the application, and provides the state information to the operation interpretation unit 4b and the operation conversion unit 4d as described above. Furthermore, the state estimation unit 4c updates the state of the application (mode change) in response to the notification of the operation meaning for the application from the operation synchronization unit 4f.

詳しくは、図４に示すように、状態推定部４ｃは、操作同期部４ｆからアプリケーションに対する操作意味（例えば、操作内容＝意味γ）が通知された場合、保持していたそれまでの状態（例えば、状態＝モードＡ）と、取得した操作意味から「状態推定テーブル」を検索し、次の状態を決定して自状態を更新する（例えば、状態＝モードＢ）。 Specifically, as illustrated in FIG. 4, when the operation meaning (for example, operation content = meaning γ) for the application is notified from the operation synchronization unit 4 f, the state estimation unit 4 c holds the previous state (for example, , State = mode A) and the “state estimation table” is searched from the acquired operation meaning, the next state is determined, and the own state is updated (for example, state = mode B).

ここで、「状態推定テーブル」は、状態、操作意味及び次状態を関連付けて記憶している。図４では、状態としては例えばモードＡやモードＢなどが示されており、また、操作意味としては例えば意味ψや意味γ、意味φ、意味ζなどが示されており、次状態としては例えばモードＡやモードＢ、モードＣなどが示されている。 Here, the “state estimation table” stores a state, an operation meaning, and a next state in association with each other. In FIG. 4, for example, mode A and mode B are shown as states, and operation meanings such as meaning ψ, meaning γ, meaning φ, and meaning ζ are shown. Mode A, mode B, mode C, etc. are shown.

この図４に示す「状態推定テーブル」によれば、状態がモードＡであり、操作意味が意味γである場合には、その「状態推定テーブル」から次状態としてモードＢが選択され、そのモードＢに自状態が更新される。このような「状態推定テーブル」はアプリケーションごとに作成されており、アプリケーションの状態情報及び操作意味情報によって次状態が一意に決定される情報記憶領域である。 According to the “state estimation table” shown in FIG. 4, when the state is mode A and the operation meaning is meaning γ, mode B is selected as the next state from the “state estimation table”, and the mode B's own state is updated. Such a “state estimation table” is created for each application, and is an information storage area in which the next state is uniquely determined by application state information and operation semantic information.

操作変換部４ｄは、操作同期部４ｆからの操作意味と同じ操作意味を有する操作内容を前述の入力操作の対象となったアプリケーション以外の他のアプリケーションに適用するものであり、すなわち、他のアプリケーションにとって操作同期部４ｆからの操作意味と同じ操作意味を有する操作内容を特定し、その特定した操作内容を操作再生部４ｅに対して提供する。 The operation conversion unit 4d applies the operation content having the same operation meaning as the operation meaning from the operation synchronization unit 4f to other applications other than the application that is the target of the input operation. Therefore, the operation content having the same operation meaning as the operation meaning from the operation synchronization unit 4f is specified, and the specified operation content is provided to the operation reproduction unit 4e.

詳しくは、図５に示すように、操作変換部４ｄは、操作同期部４ｆから操作意味（例えば、操作意味＝意味β）を取得し、また、状態推定部４ｃからアプリケーションの状態（例えば、状態＝モードＣ）を取得する。その後、操作変換部４ｄは、取得した操作意味情報とアプリケーションの状態情報から「操作変換テーブル」を検索して操作内容を取得し（例えば、マウス操作（ｃｃｃ、ｄｄｄ））、その取得した操作内容を操作再生部４ｅに対して通知する。 Specifically, as illustrated in FIG. 5, the operation conversion unit 4d acquires the operation meaning (for example, operation meaning = meaning β) from the operation synchronization unit 4f, and the application state (for example, the state) from the state estimation unit 4c. = Mode C) is acquired. Thereafter, the operation conversion unit 4d searches the “operation conversion table” from the acquired operation semantic information and application status information to acquire the operation content (for example, mouse operation (ccc, ddd)), and the acquired operation content. Is notified to the operation reproduction unit 4e.

ここで、「操作変換テーブル」は、状態、操作意味及び操作内容を関連付けて記憶している。図５では、状態としては例えばモードＣやモードＤなどが示されており、また、操作意味としては例えば意味αや意味β、意味γ、意味θ、意味ωなどが示されており、操作内容としては例えばマウス操作（ａａａ、ｂｂｂ）やマウス操作（ｃｃｃ、ｄｄｄ）、マウス操作（ｘｘｘ、ｙｙｙ）、マウス操作（ｓｓｓ、ｔｔｔ）、マウス操作（ｕｕｕ、ｖｖｖ）などが示されている。 Here, the “operation conversion table” stores a state, an operation meaning, and an operation content in association with each other. In FIG. 5, for example, mode C or mode D is shown as the state, and for example, meaning α, meaning β, meaning γ, meaning θ, meaning ω or the like is shown as the operation meaning. For example, mouse operations (aaa, bbb), mouse operations (ccc, ddd), mouse operations (xxx, yyy), mouse operations (sss, ttt), mouse operations (uuu, vvv) and the like are shown.

この図５に示す「操作変換テーブル」によれば、状態がモードＣであり、操作意味が意味βである場合には、その「操作解釈テーブル」から操作内容がマウス操作（ｃｃｃ、ｄｄｄ）と特定され、その特定された操作内容（マウス操作（ｃｃｃ、ｄｄｄ））が操作再生部４ｅに通知される。このような「操作変換テーブル」はアプリケーションごとに作成されており、アプリケーションの状態情報及び操作意味情報によって操作内容が一意に決定される情報記憶領域である。 According to the “operation conversion table” shown in FIG. 5, when the state is mode C and the operation meaning is the meaning β, the operation content is “mouse operation (ccc, ddd)” from the “operation interpretation table”. The specified operation content (mouse operation (ccc, ddd)) is notified to the operation reproduction unit 4e. Such an “operation conversion table” is created for each application, and is an information storage area in which operation contents are uniquely determined by application state information and operation semantic information.

操作再生部４ｅは、アプリケーションに対して同期のための操作内容を適用するものである。この操作再生部４ｅは、操作変換部４ｄから同期するための操作内容を取得し、その取得した操作内容（入力操作）を対象のアプリケーションに対して適用する。これにより、ある一つのアプリケーションに対して行われた入力操作が他のアプリケーションにも同じ操作意味を有する操作として実行されることになる。 The operation reproduction unit 4e applies operation contents for synchronization to the application. The operation reproduction unit 4e acquires the operation content for synchronization from the operation conversion unit 4d, and applies the acquired operation content (input operation) to the target application. Thereby, an input operation performed on one application is executed as an operation having the same operation meaning in another application.

ここで、例えば、図２、図３及び図５に係る意味βが画像のスクロール（スクロール量＋３０ｍｍ）である場合には、入力操作の操作対象となったアプリケーションによる医用画像（特定の関心部位の画像）がスクロール量＋３０ｍｍだけ移動し、その移動とほぼ同時に、同期先のアプリケーションによる医用画像（特定の関心部位の画像）もスクロール量＋３０ｍｍだけ移動することになる。また、図２、図３及び図５に係る意味βが画像の回転（角度＋４５°）である場合には、入力操作の操作対象となったアプリケーションによる医用画像（特定の関心部位の画像）が角度＋４５°だけ回転し、その回転とほぼ同時に、同期先のアプリケーションによる医用画像（特定の関心部位の画像）も角度＋４５°だけ回転することになる。なお、各アプリケーションにより表示される医用画像は、同一患者及び同一検査での同一画像である。 Here, for example, when the meaning β according to FIGS. 2, 3, and 5 is image scrolling (scroll amount + 30 mm), the medical image (the specific region of interest) of the application that is the operation target of the input operation is used. The image) moves by the scroll amount +30 mm, and almost simultaneously with the movement, the medical image (image of the specific region of interest) by the synchronization destination application also moves by the scroll amount +30 mm. In addition, when the meaning β according to FIGS. 2, 3, and 5 is image rotation (angle + 45 °), a medical image (an image of a specific region of interest) by the application that is the operation target of the input operation is displayed. The medical image (image of a specific region of interest) by the synchronization destination application is also rotated by the angle + 45 ° almost simultaneously with the rotation by the angle + 45 °. The medical images displayed by each application are the same images in the same patient and the same examination.

このように医用画像表示装置１によれば、特定のアプリケーションで画像の表示状態が変更されて特定の関心部位が表示された場合には、他のアプリケーションでも前述と同じように画像の表示状態が変更されて同じ関心部位が表示される。このため、異なる複数のアプリケーションを用いている場合でも、それらのアプリケーションにより個別に表示される各画像を単一操作により連動させることが可能となる。したがって、複数のアプリケーション間でユーザが画像の表示状態を手作業で同期する作業が省かれ、シームレスに他のアプリケーションを利用することが可能となるので、ユーザの利便性を向上させることができる。また、これによってユーザはより読影に注力することが可能となる。 Thus, according to the medical image display apparatus 1, when the display state of an image is changed in a specific application and a specific region of interest is displayed, the display state of the image is also displayed in the other application as described above. Changed to display the same region of interest. For this reason, even when a plurality of different applications are used, it is possible to link the images individually displayed by these applications by a single operation. Therefore, the user does not have to manually synchronize the display state of the image between a plurality of applications, and other applications can be used seamlessly, so that the convenience for the user can be improved. This also allows the user to focus more on interpretation.

以上説明したように、第１の実施形態によれば、複数のアプリケーションのいずれか一つに対する入力操作を受け付け、受け付けた入力操作の操作内容からその入力操作の操作意味を把握し、把握した操作意味と同じ操作意味を有する操作内容を入力操作の対象となったアプリケーション以外の他のアプリケーションに適用する。これにより、一つのアプリケーションに対して行われた入力操作が他のアプリケーションにも同じ操作意味を有する操作として実行される。このため、アプリケーションごとに同じような入力操作を繰り返し行う必要がなくなるので、アプリケーション利用におけるユーザの利便性を向上させることができる。例えば、ユーザが各アプリケーションにより自分の関心がある関心部位を表示する場合でも、アプリケーションごとに関心部位を表示するための作業を行う必要がなくなり、一つのアプリケーションにより関心領域を表示させると、それに連動して他のアプリケーションでも同じ関心領域を表示させることが可能となるので、ユーザの利便性が向上することになる。 As described above, according to the first embodiment, an input operation for any one of a plurality of applications is accepted, the operation meaning of the input operation is grasped from the contents of the accepted input operation, and the grasped operation The operation content having the same operation meaning as the meaning is applied to an application other than the application that is the target of the input operation. Thereby, an input operation performed on one application is executed as an operation having the same operation meaning in another application. For this reason, it is not necessary to repeatedly perform the same input operation for each application, so that the convenience of the user in using the application can be improved. For example, even when a user displays a region of interest that he / she is interested in using each application, there is no need to perform a task for displaying the region of interest for each application. Since the same region of interest can be displayed in other applications, the convenience for the user is improved.

また、複数のアプリケーションのいずれか一つに対する入力操作の操作内容を特定する操作監視部４ａと、入力操作の対象となったアプリケーションの状態を把握する状態推定部４ｃと、操作監視部４ａにより特定された操作内容及び状態推定部４ｃにより把握されたアプリケーションの状態から、入力部３により受け付けられた入力操作の操作意味を解釈する操作解釈部４ｂと、その操作解釈部４ｂにより解釈された操作意味を適用する必要があるアプリケーションを入力操作の対象となったアプリケーション以外の他のアプリケーションから選択する操作同期部４ｆと、その操作同期部４ｆにより選択された他のアプリケーションにとって、操作解釈部４ｂにより解釈された操作意味と同じ操作意味を有する操作内容を特定する操作変換部４ｄと、その操作変換部４ｄにより特定された操作内容を操作同期部４ｆにより選択された他のアプリケーションに適用する操作再生部４ｅとが設けられている。これにより、アプリケーションごとに同じような入力操作を繰り返し行うことを確実に抑止することが可能となるので、アプリケーション利用におけるユーザの利便性をより確実に向上させることができる。 Further, the operation monitoring unit 4a that specifies the operation content of the input operation for any one of the plurality of applications, the state estimation unit 4c that grasps the state of the application that is the target of the input operation, and the operation monitoring unit 4a The operation interpretation unit 4b that interprets the operation meaning of the input operation received by the input unit 3 from the operation content that has been grasped by the state estimation unit 4c, and the operation meaning that is interpreted by the operation interpretation unit 4b The operation synchronization unit 4f that selects an application that needs to be applied from other applications other than the application that is the target of the input operation, and the operation interpretation unit 4b interprets the other application selected by the operation synchronization unit 4f. Operation conversion that identifies the operation content having the same operation meaning as the specified operation meaning And 4d, and the operation reproducing unit 4e to be applied to other applications selected by the operator synchronizing unit 4f the identified operation content is provided by the operation converting unit 4d. As a result, it is possible to reliably prevent the same input operation from being repeatedly performed for each application, so that the convenience of the user in using the application can be improved more reliably.

（第２の実施形態）
第２の実施形態について図６を参照して説明する。 (Second Embodiment)
A second embodiment will be described with reference to FIG.

第２の実施形態は基本的に第１の実施形態と同様である。第２の実施形態では、第１の実施形態との相違点について説明し、第１の実施形態で説明した部分と同一部分は同一符号で示し、その説明も省略する。 The second embodiment is basically the same as the first embodiment. In the second embodiment, differences from the first embodiment will be described, the same parts as those described in the first embodiment will be denoted by the same reference numerals, and the description thereof will also be omitted.

図６に示すように、第２の実施形態に係る医用画像表示装置１は、表示部２、入力部３及び制御部４を有する端末を二台備えており、これらの端末はアプリケーションごとに設けられている。各端末のそれぞれの制御部４、すなわち操作処理部１１の操作同期部４ｆは有線又は無線の通信ネットワーク５を介して接続されており、互いに通信が可能に形成されている。なお、通信ネットワーク５としては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などを用いることが可能である。 As shown in FIG. 6, the medical image display apparatus 1 according to the second embodiment includes two terminals each having a display unit 2, an input unit 3, and a control unit 4, and these terminals are provided for each application. It has been. Each control unit 4 of each terminal, that is, the operation synchronization unit 4f of the operation processing unit 11 is connected via a wired or wireless communication network 5, and is configured to be able to communicate with each other. For example, a LAN (Local Area Network) or a WAN (Wide Area Network) can be used as the communication network 5.

ここで、第１の実施形態では、表示部２、入力部３及び制御部４を有する単一の端末上で複数のアプリケーションが動作するが、第２の実施形態では、通信ネットワーク５を経由する環境において、通信ネットワーク５で接続された異なる端末上にそれぞれのアプリケーションが動作する。特に、第１の実施形態では、単一の端末上で操作同期部４ｆが動作するが、第２の実施形態では、各端末の操作同期部４ｆが通信ネットワーク５を経由して互いに情報（例えば、第１の実施形態に係るアプリケーション間の連動処理を実現するのに必要な情報）のやり取りを行う。なお、各端末の操作監視部４ａ、操作解釈部４ｂ、状態推定部４ｃ、操作変換部４ｄ、操作再生部４ｅは第１の実施形態と同様である。 Here, in the first embodiment, a plurality of applications operate on a single terminal having the display unit 2, the input unit 3, and the control unit 4. However, in the second embodiment, the application passes through the communication network 5. In the environment, each application operates on different terminals connected by the communication network 5. In particular, in the first embodiment, the operation synchronization unit 4f operates on a single terminal. In the second embodiment, the operation synchronization unit 4f of each terminal communicates information (for example, via the communication network 5). , Information necessary for realizing the interlocking process between applications according to the first embodiment is exchanged. The operation monitoring unit 4a, the operation interpretation unit 4b, the state estimation unit 4c, the operation conversion unit 4d, and the operation reproduction unit 4e of each terminal are the same as those in the first embodiment.

以上説明したように、第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。例えば、読影医や技師などのユーザは互いに離れた場所（例えば、病院内の他の部屋や他の施設、あるいは、他の病院）に居ても、お互いの入力操作を共用することが可能となるので、アプリケーション利用におけるユーザの利便性を向上させることができる。 As described above, according to the second embodiment, the same effect as that of the first embodiment can be obtained. For example, users such as radiology doctors and technicians can share input operations with each other even if they are located in a place distant from each other (for example, other rooms or other facilities in hospitals, or other hospitals). Therefore, the convenience of the user in using the application can be improved.

ここで、医療機関内に構築されるシステムとしては、例えば、病院情報管理システム（ＨＩＳ：Hospital Information System）や放射線部門情報管理システム（ＲＩＳ：Radiological Information System）、医療画像管理システム（ＰＡＣＳ：Picture Archiving Communication System）、検査システムといったシステムが挙げられる。これら医療機関に構築されるシステムに関しては、導入する医療機関の規模にもよるが、医療機関内の全てのシステムが１社のシステムで運用されることは少ない。これは、システムを開発する会社（ベンダ）それぞれに得意な分野があり、また、医療情報を生成するアプリケーションにしても、Ｘ線画像の解析に強いアプリケーションやＸ線ＣＴ装置で得られたボリュームデータから３Ｄ画像を生成するのに適したアプリケーションなど、様々なアプリケーションが導入されるためである。 Here, as a system built in a medical institution, for example, a hospital information management system (HIS: Hospital Information System), a radiation department information management system (RIS: Radiological Information System), a medical image management system (PACS: Picture Archiving) Communication system) and inspection system. Regarding the systems built in these medical institutions, although depending on the scale of the medical institutions to be introduced, it is rare that all systems in the medical institutions are operated by one system. This is because each company (vendor) that develops a system has strengths, and even for applications that generate medical information, volume data obtained with applications that are strong in analyzing X-ray images and X-ray CT systems This is because various applications such as an application suitable for generating a 3D image from the image are introduced.

ところが、前述のように医療機関内に複数のシステムや複数のアプリケーションが導入されると、それらのシステムやアプリケーションはバラバラに混在することになるため、ユーザ（例えば、医師や技師など）の使い勝手は非常に悪い。特に、アプリケーションを利用するユーザの好みや嗜好、能力などに合わせて、各種のアプリケーションが導入されることになるため、アプリケーションを提供するシステムやベンダなどは同一ではなくバラバラになることが当たり前である。画像読影や画像参照などを行う作業においても、システムが異なる複数のアプリケーションが使用され、画像診断や画像観察などが行われている。 However, as described above, when multiple systems and multiple applications are introduced in a medical institution, these systems and applications will be mixed together, so the usability of users (for example, doctors and technicians) Very bad. In particular, since various applications will be introduced according to the preferences, preferences, and abilities of users who use the applications, it is natural that the systems and vendors that provide the applications are not the same, but vary. . In operations for image interpretation and image reference, a plurality of applications with different systems are used to perform image diagnosis, image observation, and the like.

このようにシステムやベンダが異なる複数のアプリケーションを用いている場合でも、前述の第１又は第２の実施形態によれば、特定のアプリケーションで画像の表示状態が変更されて特定の関心部位が表示された際、他のアプリケーションにも対応する表示状態の変更操作が行われ、同じ関心部位が表示される。このため、複数のアプリケーション間でユーザが画像の表示状態を手作業で同期する作業が省かれ、シームレスに他のアプリケーションを利用することが可能となるので、アプリケーション利用におけるユーザの利便性を向上させることができる。 In this way, even when a plurality of applications with different systems and vendors are used, according to the first or second embodiment described above, the display state of the image is changed in a specific application and a specific region of interest is displayed. When this is done, a display state change operation corresponding to another application is performed, and the same region of interest is displayed. This eliminates the need for the user to manually synchronize the display state of the image among a plurality of applications, and allows other applications to be used seamlessly, improving the user convenience in using the applications. be able to.

また、例えば、テナント型医療情報システムなどのシステムでは、システム運営者が「大家」という位置付けにあり、利用対象のアプリケーションを提供するアプリ提供者がいわば「店子」の位置付けとなる。このため、大家が設けるテナント型医療情報システム内には、店子が各種のアプリケーションを提供しており、様々なアプリ提供者（様々なベンダ）が存在することになる。ユーザは自分が要求する医療情報を取得するに当たって、テナントであるアプリ提供者が提供する各種アプリケーションを利用する。このとき、アプリケーション間、特にアプリ提供者が異なるアプリケーション間では、それらの連動性がないのが現状である。この場合でも、前述の第１又は第２の実施形態によれば、前述のように、複数のアプリケーション間でユーザが画像の表示状態を手作業で同期する作業が省かれ、シームレスに他のアプリケーションを利用することが可能となるので、アプリケーション利用におけるユーザの利便性を向上させることができる。 Further, for example, in a system such as a tenant medical information system, the system operator is positioned as “owner”, and the application provider that provides the application to be used is positioned as “store child”. For this reason, in the tenant type medical information system provided by the landlord, the store child provides various applications, and various application providers (various vendors) exist. In acquiring medical information requested by the user, the user uses various applications provided by the application provider as a tenant. At this time, there is currently no linkage between applications, especially between applications with different application providers. Even in this case, according to the above-described first or second embodiment, as described above, the user does not have to manually synchronize the display state of the image between a plurality of applications, and other applications can be seamlessly performed. It is possible to improve the convenience of the user when using the application.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１医用画像表示装置
２表示部
３入力部
４ａ操作監視部
４ｂ操作解釈部
４ｃ状態推定部
４ｄ操作変換部
４ｅ操作再生部
４ｆ操作同期部
１１操作処理部 DESCRIPTION OF SYMBOLS 1 Medical image display apparatus 2 Display part 3 Input part 4a Operation monitoring part 4b Operation interpretation part 4c State estimation part 4d Operation conversion part 4e Operation reproduction part 4f Operation synchronization part 11 Operation processing part

Claims

A display unit for displaying a plurality of medical images individually generated by a plurality of applications;
An input unit that receives an input operation for any one of the plurality of applications;
An operation interpretation unit that interprets the operation meaning assigned to the input operation from the contents of the input operation and the state of the application that is the target of the input operation;
An operation processing unit that applies the operation content having the interpreted operation meaning to an application other than the application that is the target of the input operation;
A medical image display device comprising:

The operation processing unit includes:
An operation monitoring unit for specifying the operation content of the input operation for any one of the plurality of applications;
A state estimation unit for grasping the state of the application that is the target of the input operation;
From the state of the application that is grasped by the operation content and the state estimation unit specified by the operation monitoring unit, and the operation interpreting unit for interpreting the operation means of the input operation accepted by the input section,
An operation synchronization unit that selects an application that needs to apply the operation meaning interpreted by the operation interpretation unit from applications other than the application that is the target of the input operation; and
For the other application selected by the operation synchronization unit, an operation conversion unit that specifies operation content having the same operation meaning as the operation meaning interpreted by the operation interpretation unit;
An operation reproduction unit that applies the operation content specified by the operation conversion unit to the other application selected by the operation synchronization unit;
The medical image display apparatus according to claim 1, further comprising:

The display unit and the operation processing unit are provided for each application,
The medical image display apparatus according to claim 1, wherein the operation processing unit for each application is connected via a communication network.