JP7091845B2

JP7091845B2 - Medical diagnostic system

Info

Publication number: JP7091845B2
Application number: JP2018103381A
Authority: JP
Inventors: 薫岡田; 利春佐藤; 栄一大川
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2018-04-10
Filing date: 2018-05-30
Publication date: 2022-06-28
Anticipated expiration: 2038-05-30
Also published as: JP2019181138A

Description

本発明は、医用診断システムに関する。 The present invention relates to a medical diagnostic system.

例えば、従来の超音波診断では、医師が超音波プローブを持ち、静止した被検体に対して超音波プローブを接触させて、被検体の内部組織（筋肉や腱）の状態を観察する。 For example, in conventional ultrasonic diagnosis, a doctor holds an ultrasonic probe and brings the ultrasonic probe into contact with a stationary subject to observe the state of the internal tissues (muscles and tendons) of the subject.

近年、スポーツ整形外科やリハビリテーションの分野において、歩行や運動しているときの被検体の内部組織の動きを超音波画像として取得し、被検体の外の動きと超音波画像とを比較して観察することが行われている。 In recent years, in the fields of sports orthopedics and rehabilitation, the movement of the internal tissue of the subject during walking or exercise is acquired as an ultrasonic image, and the movement outside the subject is compared with the ultrasonic image for observation. Is being done.

例えば、人体の外の動きを動画として取得し、所定の動作（例えば、右足の着地）時における動画を過去と現在（または、健常者と被検体）との間で比較して観察する医用診断装置が提案されている（例えば、特許文献１を参照）。 For example, a medical diagnosis in which the movement outside the human body is acquired as a moving image, and the moving image at a predetermined movement (for example, the landing of the right foot) is compared between the past and the present (or a healthy person and a subject) and observed. Devices have been proposed (see, eg, Patent Document 1).

特開２０１４－１３８６６１号公報Japanese Unexamined Patent Publication No. 2014-138661

ところで、上記の超音波診断においては、被検体の外の動きと超音波画像との間で時間的な対応づけが厳密にされていない。そのため、同じ時刻における被検体の外の動きと超音波画像とを比較して観察できない。その結果、被検体を診断する精度が下がるおそれがあるという問題があった。 By the way, in the above-mentioned ultrasonic diagnosis, the temporal correspondence between the movement outside the subject and the ultrasonic image is not strictly defined. Therefore, it is not possible to compare and observe the external movement of the subject at the same time with the ultrasonic image. As a result, there is a problem that the accuracy of diagnosing the subject may decrease.

なお、特許文献１に記載された医用診断装置は、所定の動作時における動画同士を比較観察するものであって、被検体の外の動きと超音波画像とを比較して観察するものでない。それゆえ、特許文献１に記載の技術では、上記問題を解決することができない。 The medical diagnostic apparatus described in Patent Document 1 is for comparatively observing moving images during a predetermined operation, and is not for observing by comparing the external movement of a subject with an ultrasonic image. Therefore, the technique described in Patent Document 1 cannot solve the above problem.

本発明は、被検体の診断精度を向上することが可能な医用診断システムを提供する。 The present invention provides a medical diagnostic system capable of improving the diagnostic accuracy of a subject.

上記の目的を達成するため、本発明における医用診断システムは、
被検体の動作に関する動作関連情報を取得する動作関連情報取得部と、
前記被検体の内部組織情報を取得する内部組織情報取得部と、
前記動作関連情報および前記内部組織情報を時間的に同期して記録させる条件を満たしたか否かについて判定する条件判定部と、
前記条件を満たしたと判定された場合、前記動作関連情報および前記内部組織情報を時間的に同期して記録させる制御を行う記録制御部と、
を備え、
前記内部組織情報取得部を構成する構成部品は、前記被検体に装着され、
前記構成部品に取り付けられるセンサーを備え、
前記条件判定部は、前記センサーが前記被検体の予め定められた動作を検出した場合、前記条件を満たしたと判定する。 In order to achieve the above object, the medical diagnostic system in the present invention is
The motion-related information acquisition unit that acquires motion-related information related to the motion of the subject,
The internal tissue information acquisition unit that acquires the internal tissue information of the subject, and
A condition determination unit for determining whether or not the conditions for recording the operation-related information and the internal organization information in synchronization with each other are satisfied.
When it is determined that the above conditions are satisfied, a recording control unit that controls to record the operation-related information and the internal tissue information in a timely synchronization, and
Equipped with
The components constituting the internal tissue information acquisition unit are attached to the subject and are attached to the subject.
Equipped with sensors that can be attached to the components
When the sensor detects a predetermined operation of the subject, the condition determination unit determines that the condition is satisfied .

本発明によれば、被検体の診断精度を向上することができる。 According to the present invention, the diagnostic accuracy of the subject can be improved.

本発明の第1実施の形態に係る医用診断システムの構成を示すブロック図A block diagram showing a configuration of a medical diagnostic system according to a first embodiment of the present invention. 時間軸上に配置された動画フレームおよび超音波画像フレームを概略的に示す図A diagram schematically showing a moving image frame and an ultrasonic image frame arranged on the time axis. 被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートA flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization. 本発明の第２実施の形態に係る医用診断システムの構成を示すブロック図A block diagram showing a configuration of a medical diagnostic system according to a second embodiment of the present invention. 時間軸上に配置された動画フレームおよび超音波画像フレームを概略的に示す図A diagram schematically showing a moving image frame and an ultrasonic image frame arranged on the time axis. 被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートA flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization. 本発明の第３実施の形態に係る医用診断システムの構成を示すブロック図A block diagram showing a configuration of a medical diagnostic system according to a third embodiment of the present invention. 時間軸上に配置された動画フレームおよび超音波画像フレームを概略的に示す図A diagram schematically showing a moving image frame and an ultrasonic image frame arranged on the time axis. 被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートA flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization. 本発明の第４実施の形態に係る医用診断システムの構成を示すブロック図A block diagram showing a configuration of a medical diagnostic system according to a fourth embodiment of the present invention. 時間軸上に配置された動画フレームおよび超音波画像フレームを概略的に示す図A diagram schematically showing a moving image frame and an ultrasonic image frame arranged on the time axis. 被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートA flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization. 本発明の第５実施の形態における医用画像再生部の構成の一例を示すブロック図A block diagram showing an example of the configuration of a medical image reproduction unit according to a fifth embodiment of the present invention. 比較観察される動画フレームおよび超音波画像フレームの一例を示す図The figure which shows an example of the moving image frame and the ultrasonic image frame which are comparatively observed 本発明の第６実施の形態における時間軸上に配置された動画フレームおよび超音波画像フレームを概略的に示す図The figure which shows schematic the moving image frame and the ultrasonic image frame arranged on the time axis in 6th Embodiment of this invention. 被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートA flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization.

以下、本発明の第１実施の形態について、図面を参照しながら説明する。図１は、医用診断システム１００の構成を示すブロック図である。 Hereinafter, the first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a medical diagnostic system 100.

医用診断システム１００は、カメラ１０（本発明の「動作関連情報取得部」に対応）、超音波診断装置２０（本発明の「内部組織情報取得部」に対応）、同期信号出力部３０、および、記録部４０を備えている。 The medical diagnostic system 100 includes a camera 10 (corresponding to the "operation-related information acquisition unit" of the present invention), an ultrasonic diagnostic apparatus 20 (corresponding to the "internal tissue information acquisition unit" of the present invention), a synchronization signal output unit 30, and a synchronous signal output unit 30. , The recording unit 40 is provided.

カメラ１０は、被検体の動作に関連する動作関連情報を取得する。ここでは、動作関連情報は、カメラ１０により取得される被検体の画像である。なお、動作関連情報としては、被検体の動きを公知の手段で検出した場合における検出結果としての情報であればよい。 The camera 10 acquires motion-related information related to the motion of the subject. Here, the operation-related information is an image of the subject acquired by the camera 10. The operation-related information may be information as a detection result when the movement of the subject is detected by a known means.

カメラ１０は、動作関連情報を、時間軸に沿って連続的に生成される複数の動画フレームとして生成する。カメラ１０は、取得開始ボタン（図示略）の操作により動作関連情報の取得を開始する。カメラ１０は、動作関連情報を記録部４０に記録させる制御を行う制御部（図示略、「記録制御部」に対応）を有する。 The camera 10 generates motion-related information as a plurality of moving image frames continuously generated along the time axis. The camera 10 starts acquiring operation-related information by operating an acquisition start button (not shown). The camera 10 has a control unit (not shown, corresponding to the “recording control unit”) that controls the recording unit 40 to record operation-related information.

カメラ１０は、同期信号出力部３０と有線又は無線で接続されており、同期信号出力部３０から出力された同期信号を受信可能である。また、カメラ１０は、記録部４０と有線又は無線で接続されており、動作関連情報を記録部４０に送信可能である。 The camera 10 is connected to the synchronization signal output unit 30 by wire or wirelessly, and can receive the synchronization signal output from the synchronization signal output unit 30. Further, the camera 10 is connected to the recording unit 40 by wire or wirelessly, and can transmit operation-related information to the recording unit 40.

カメラ１０は、被検体を撮像中であるか否かについての情報を含むカメラ１０の動作状態を超音波診断装置２０に送信可能である。カメラ１０による被検体の撮像中であるか否かは、制御部２２（後述する）により判断される。 The camera 10 can transmit the operating state of the camera 10 including information about whether or not the subject is being imaged to the ultrasonic diagnostic apparatus 20. Whether or not the subject is being imaged by the camera 10 is determined by the control unit 22 (described later).

超音波診断装置２０は、超音波プローブＰと装置本体２１とを備えている。超音波プローブＰは、装置本体２１と有線又は無線で接続されている。超音波プローブＰは、被検体の肘部に装着されている。なお、超音波プローブＰは、肘部に限らず、例えば、大腿部（ふともも）、下腿部（ふくらはぎ）、膝、足、肩、手などに装着されてもよい。 The ultrasonic diagnostic apparatus 20 includes an ultrasonic probe P and an apparatus main body 21. The ultrasonic probe P is connected to the device main body 21 by wire or wirelessly. The ultrasonic probe P is attached to the elbow of the subject. The ultrasonic probe P is not limited to the elbow portion, and may be attached to, for example, the thigh portion (thigh), the lower leg portion (calf), the knee, the leg, the shoulder, the hand, or the like.

装置本体２１は、超音波プローブＰを介して被検体から取得した反射超音波に基づいて内部組織情報（超音波画像）を生成する。装置本体２１は、内部組織情報を、時間軸に沿って連続的に生成される複数の超音波画像フレームとして生成する。装置本体２１は、取得開始ボタン（後述するフリーズボタン）の操作により被検体の内部組織情報の取得を開始する。 The apparatus main body 21 generates internal tissue information (ultrasound image) based on the reflected ultrasonic wave acquired from the subject via the ultrasonic probe P. The device main body 21 generates internal tissue information as a plurality of ultrasonic image frames continuously generated along the time axis. The apparatus main body 21 starts acquiring the internal tissue information of the subject by operating the acquisition start button (freeze button described later).

装置本体２１は、記録部４０と有線又は無線で接続されており、内部組織情報を記録部４０に送信可能である。 The device main body 21 is connected to the recording unit 40 by wire or wirelessly, and can transmit internal tissue information to the recording unit 40.

装置本体２１は、制御部２２（本発明の「条件判定部」および「記録制御部」に対応）、表示部２３、タッチパネル２４、および、操作部２６を有している。 The device main body 21 has a control unit 22 (corresponding to the “condition determination unit” and the “recording control unit” of the present invention), a display unit 23, a touch panel 24, and an operation unit 26.

制御部２２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）およびＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）を備えている。制御部２２は、ＲＯＭに記憶されているシステムプログラム等の各種処理プログラムを読み出してＲＡＭに展開し、展開したプログラムに従って各部の動作を制御する。 The control unit 22 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). The control unit 22 reads various processing programs such as a system program stored in the ROM, develops them in the RAM, and controls the operation of each unit according to the expanded programs.

制御部２２は、動作関連情報および内部組織情報を時間的に同期して記録させる条件
を満たしたか否かについて判定する。ここで、「条件」とは、ユーザーにより操作部２６が操作された場合をいう。 The control unit 22 determines whether or not the condition for recording the operation-related information and the internal organization information in synchronization with time is satisfied. Here, the "condition" means a case where the operation unit 26 is operated by the user.

制御部２２は、条件を満たしたと判断した場合、内部組織情報を記録部４０に記録させる制御を行う。 When it is determined that the condition is satisfied, the control unit 22 controls the recording unit 40 to record the internal tissue information.

表示部２３は、生成された超音波画像を表示する。タッチパネル２４は、表示部２３の表示画面に重ねられて設けられる。操作部２６には、機械式ボタンの他に、表示部２３に表示され、タッチ操作が行われることで、超音波診断装置２０の各種設定を行う操作ボタン（ソフトウェアキー）が含まれる。 The display unit 23 displays the generated ultrasonic image. The touch panel 24 is provided so as to be superimposed on the display screen of the display unit 23. In addition to the mechanical buttons, the operation unit 26 includes operation buttons (software keys) that are displayed on the display unit 23 and that perform various settings of the ultrasonic diagnostic apparatus 20 by performing a touch operation.

記録部４０は、被検体の動作関連情報等を記憶する記録媒体である。記録媒体としては、ハードディスクドライブ（ＨＤＤ）の他に、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（ＭａｇｎｅｔｉｃＯｐｔｉｃａｌＤｉｓｃ）／ＭＤ（ＭｉｎｉＤｉｓｃ）／ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥＰＲＯＭ）などの半導体メモリ等の媒体でもよい。なお、記録部４０は、医用診断システム１００のいずれの場所に設けられてもよい。例えば、記録部４０は、カメラ１０内の記録媒体でもよく、また、装置本体２１内の記録媒体でもよい。 The recording unit 40 is a recording medium for storing information related to the operation of the subject. In addition to the hard disk drive (HDD), the recording medium includes a flexible disk, a cassette tape, an optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versaille Disc)), an IC card, an optical card, and a mask. A medium such as a semiconductor memory such as a ROM, an EPROM (Erasable Program ROM), or an EEPROM (Electrically EPROM) may be used. The recording unit 40 may be provided at any location in the medical diagnostic system 100. For example, the recording unit 40 may be a recording medium in the camera 10 or a recording medium in the apparatus main body 21.

スポーツ整形外科やリハビリテーションの分野においては、被検体の動作関連情報（動画）と被検体の内部組織情報（超音波画像）とが比較観察される。このような場合、動作関連情報と内部組織情報とが同期した状態で表示されることが好ましい。そのためには、例えば、カメラ１０の取得開始ボタンと、超音波診断装置２０の取得開始ボタン（フリーズボタン）とを同時に押して、動作関連情報と内部組織情報とを同時に取得する必要がある。 In the fields of sports orthopedics and rehabilitation, motion-related information (video) of the subject and internal tissue information (ultrasound image) of the subject are compared and observed. In such a case, it is preferable that the operation-related information and the internal organization information are displayed in a synchronized state. For that purpose, for example, it is necessary to simultaneously press the acquisition start button of the camera 10 and the acquisition start button (freeze button) of the ultrasonic diagnostic apparatus 20 to simultaneously acquire operation-related information and internal tissue information.

しかしながら、両方の取得開始ボタンをユーザーが同時に押すことは困難であるため、両方の取得開始ボタンが互いに異なったタイミングで押される場合がある。この場合、動作関連情報と内部組織情報とを同時に取得できないため、動作関連情報と内部組織情報とが同期した状態で表示されない。 However, since it is difficult for the user to press both acquisition start buttons at the same time, both acquisition start buttons may be pressed at different timings. In this case, since the operation-related information and the internal organization information cannot be acquired at the same time, the operation-related information and the internal organization information are not displayed in a synchronized state.

そこで、本実施の形態における医用診断システム１００は、同期信号出力部３０を備えている。 Therefore, the medical diagnostic system 100 in the present embodiment includes a synchronization signal output unit 30.

同期信号出力部３０は、超音波診断装置２０に設けられている。同期信号出力部３０は、操作部２６がユーザーに押されると、同期信号をカメラ１０および超音波診断装置２０に出力する。 The synchronization signal output unit 30 is provided in the ultrasonic diagnostic apparatus 20. When the operation unit 26 is pressed by the user, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10 and the ultrasonic diagnostic apparatus 20.

カメラ１０は、同期信号出力部３０から同期信号が出力された後以降に生成した動画フレームを記録部４０に順次送信する。 The camera 10 sequentially transmits to the recording unit 40 the moving image frames generated after the synchronization signal is output from the synchronization signal output unit 30.

超音波診断装置２０は、同期信号出力部３０から同期信号が出力された後以降に生成した超音波画像フレームを記録部４０に順次送信する。 The ultrasonic diagnostic apparatus 20 sequentially transmits the ultrasonic image frames generated after the synchronization signal is output from the synchronization signal output unit 30 to the recording unit 40.

図２は、時間軸上に配置された動作関連情報（動画フレーム）および内部組織情報（超音波画像フレーム）を概略的に示す図である。図２において、時間軸を横軸に示し、同期信号、内部組織情報および動作関連情報を縦軸に示す。また、同期信号出力部３０から同期信号が出力された後以降に生成された動画フレームＦ１および超音波画像フレームＦ２を、図２にハッチングを付して示す。なお、説明を簡単にするために、動画フレームＦ１および超音波画像フレームＦ２は、同じフレームレートで生成されるものとする。 FIG. 2 is a diagram schematically showing motion-related information (moving image frame) and internal tissue information (ultrasonic image frame) arranged on the time axis. In FIG. 2, the time axis is shown on the horizontal axis, and the synchronization signal, internal organization information, and operation-related information are shown on the vertical axis. Further, the moving image frame F1 and the ultrasonic image frame F2 generated after the synchronization signal is output from the synchronization signal output unit 30 are shown with hatching in FIG. For the sake of simplicity, it is assumed that the moving image frame F1 and the ultrasonic image frame F2 are generated at the same frame rate.

記録部４０は、同期信号出力部３０から同期信号が出力された後以降に生成された動画フレームＦ１および超音波画像フレームＦ２を順次記録する。これにより、動画フレームＦ１および超音波画像フレームＦ２は、同じ時間軸に沿って連続的に生成されて、記録される。その結果、後に例えば、被検体の内部組織を診断する時において、動画フレームＦ１と超音波画像フレームＦ２とが時間的に同期した状態で表示可能となる。 The recording unit 40 sequentially records the moving image frame F1 and the ultrasonic image frame F2 generated after the synchronization signal is output from the synchronization signal output unit 30. As a result, the moving image frame F1 and the ultrasonic image frame F2 are continuously generated and recorded along the same time axis. As a result, for example, when diagnosing the internal tissue of the subject, the moving image frame F1 and the ultrasonic image frame F2 can be displayed in a temporally synchronized state.

図２に示すように、同期信号出力部３０から同期信号が出力される前において、カメラ１０は、動画フレームＦ１１を順次生成している。また、超音波診断装置２０は、超音波画像フレームＦ２１を順次生成している。 As shown in FIG. 2, the camera 10 sequentially generates the moving image frame F11 before the synchronization signal is output from the synchronization signal output unit 30. Further, the ultrasonic diagnostic apparatus 20 sequentially generates the ultrasonic image frame F21.

カメラ１０は、同期信号が出力される前に生成した動画フレームＦ１１（図２を参照）を、同期信号とともに記録部４０に送信する。また、超音波診断装置２０は、同期信号が出力される前に生成した超音波画像フレームＦ２１（図２を参照）を、同期信号とともに記録部４０に送信する。なお、動画フレームＦ１１は、編集処理されることで、動画フレームＦ１と同じ時間軸上で接続される。また、超音波画像フレームＦ２１は、編集処理されることで、超音波画像フレームＦ２と同じ時間軸上で接続される。動画フレームＦ１１および超音波画像フレームＦ２１の編集処理の詳細については、第５実施の形態で説明する。 The camera 10 transmits the moving image frame F11 (see FIG. 2) generated before the synchronization signal is output to the recording unit 40 together with the synchronization signal. Further, the ultrasonic diagnostic apparatus 20 transmits the ultrasonic image frame F21 (see FIG. 2) generated before the synchronization signal is output to the recording unit 40 together with the synchronization signal. The moving image frame F11 is edited and connected to the moving image frame F1 on the same time axis. Further, the ultrasonic image frame F21 is edited and connected to the ultrasonic image frame F2 on the same time axis. The details of the editing process of the moving image frame F11 and the ultrasonic image frame F21 will be described in the fifth embodiment.

次に、第１実施の形態における医用診断システム１００における被検体の動作関連情報等の処理について図３を参照して説明する。図３は、被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートである。この処理は、超音波診断装置２０の電源がオンされて、装置が起動し、かつ、制御部２２がカメラ１０による被検体の撮像中であると判断したことにより開始される。 Next, the processing of the motion-related information of the subject in the medical diagnostic system 100 according to the first embodiment will be described with reference to FIG. FIG. 3 is a flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization. This process is started when the power of the ultrasonic diagnostic apparatus 20 is turned on, the apparatus is activated, and the control unit 22 determines that the subject is being imaged by the camera 10.

まず、制御部２２は操作部２６がユーザーに操作されたか否かについて判断する（ステップＳ１００）。操作部２６が操作された場合（ステップＳ１００：ＹＥＳ）、処理はステップＳ１１０に遷移する。一方、操作部２６が操作されていない場合（ステップＳ１００：ＮＯ）、処理はステップＳ１００の前に戻る。 First, the control unit 22 determines whether or not the operation unit 26 has been operated by the user (step S100). When the operation unit 26 is operated (step S100: YES), the process transitions to step S110. On the other hand, when the operation unit 26 is not operated (step S100: NO), the process returns to the front of step S100.

ステップＳ１１０において、同期信号出力部３０は、同期信号をカメラ１０および超音波診断装置２０に出力する。その後、処理は、ステップＳ１２０に遷移する。 In step S110, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10 and the ultrasonic diagnostic apparatus 20. After that, the process transitions to step S120.

ステップＳ１２０において、制御部２２は、カメラ１０による被検体の動作関連情報、および、超音波診断装置２０による被検体の内部組織情報の取得が終了したか否かについて判断する。動作関連情報および内部組織情報の取得が終了した場合（ステップＳ１２０：ＹＥＳ）、処理はステップＳ１３０に遷移する。動作関連情報または内部組織情報の取得が終了していない場合（ステップＳ１２０：ＮＯ）、処理は、所定時間経過後にステップＳ１２０の前に戻る。 In step S120, the control unit 22 determines whether or not the acquisition of the operation-related information of the subject by the camera 10 and the internal tissue information of the subject by the ultrasonic diagnostic apparatus 20 is completed. When the acquisition of the operation-related information and the internal organization information is completed (step S120: YES), the process proceeds to step S130. If the acquisition of the operation-related information or the internal organization information has not been completed (step S120: NO), the process returns to the front of step S120 after the elapse of a predetermined time.

ステップＳ１３０において、カメラ１０の制御部は、同期信号出力部３０から同期信号が出力された後以降に取得した動作関連情報を記録部４０に記録させる。また、制御部２２は、同期信号の出力時以降に取得した内部組織情報を記録部４０に記録させる。 In step S130, the control unit of the camera 10 causes the recording unit 40 to record the operation-related information acquired after the synchronization signal is output from the synchronization signal output unit 30. Further, the control unit 22 causes the recording unit 40 to record the internal tissue information acquired after the time when the synchronization signal is output.

上記第１実施の形態における医用診断システム１００によれば、被検体の動作関連情報の動画フレームＦ１を生成するカメラ１０と、被検体の内部組織情報の超音波画像フレームＦ２を生成する超音波診断装置２０と、動画フレームＦ１および超音波画像フレームＦ２を同期して生成させるための同期信号をカメラ１０および超音波診断装置２０に出力する同期信号出力部３０と、を備える。これにより、後で被検体の内部組織情報を診断する時において、同じ時刻における動画フレームＦ１と超音波画像フレームＦ２とを比較観察できるため、診断精度を上げることが可能となる。また、動画フレームＦ１と超音波画像フレームＦ２とを同期させるための手間が省けるため、診断効率を向上させることが可能となる。 According to the medical diagnostic system 100 according to the first embodiment, the camera 10 that generates the moving image frame F1 of the motion-related information of the subject and the ultrasonic diagnosis that generates the ultrasonic image frame F2 of the internal tissue information of the subject. The apparatus 20 includes a synchronization signal output unit 30 that outputs a synchronization signal for synchronizing the moving image frame F1 and the ultrasonic image frame F2 to the camera 10 and the ultrasonic diagnostic apparatus 20. As a result, when diagnosing the internal tissue information of the subject later, the moving image frame F1 and the ultrasonic image frame F2 at the same time can be compared and observed, so that the diagnosis accuracy can be improved. Further, since it is possible to save the trouble of synchronizing the moving image frame F1 and the ultrasonic image frame F2, it is possible to improve the diagnostic efficiency.

また、上記第１実施の形態によれば、同期信号出力部３０が装置本体２１に設けられている。この場合、同期信号出力部３０は、直接的に装置本体２１に同期信号を出力すればよく、同期信号出力部３０と装置本体２１との間の通信を行うための送受信部が、装置本体２１および同期信号出力部３０において不要になる。これにより、医用診断システム１００の構成が、同期信号出力部３０を装置本体２１の外に設けた場合における構成と比べて簡単になる。 Further, according to the first embodiment, the synchronization signal output unit 30 is provided in the apparatus main body 21. In this case, the synchronization signal output unit 30 may directly output the synchronization signal to the device main body 21, and the transmission / reception unit for communicating between the synchronization signal output unit 30 and the device main body 21 is the device main body 21. And it becomes unnecessary in the synchronization signal output unit 30. As a result, the configuration of the medical diagnostic system 100 becomes simpler than the configuration when the synchronization signal output unit 30 is provided outside the device main body 21.

なお、上記第１実施の形態においては、被検体の動作関連情報を取得するものとして、カメラ１０を一例に挙げたが、本発明はこれに限定されない。例えば、光学、磁気、機械式、超音波、その他モーションチャプチャーを用いて、被検体の動作関連情報を取得できるものであればよい。 In the first embodiment, the camera 10 is taken as an example for acquiring the operation-related information of the subject, but the present invention is not limited to this. For example, optical, magnetic, mechanical, ultrasonic, or other motion chapters may be used to obtain motion-related information on the subject.

また、上記第１実施の形態のおいては、被検体の内部組織情報を取得するものとして超音波診断装置２０を一例に挙げたが、本発明はこれに限らない。例えば、光超音波装置、光干渉断層装置、Ｘ線診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置、ＳＰＥＣＴ装置、ＳＰＥＣＴ－ＣＴ装置、ＰＥＴ装置、ＰＥＴ－ＣＴ装置であってもよい。 Further, in the above-mentioned first embodiment, the ultrasonic diagnostic apparatus 20 is given as an example for acquiring the internal tissue information of the subject, but the present invention is not limited to this. For example, it may be an optical ultrasonic device, an optical interference tomography device, an X-ray diagnostic device, an X-ray CT device, an MRI device, a SPECT device, a SPECT-CT device, a PET device, or a PET-CT device.

また、上記第１実施の形態では、同期信号出力部３０は、超音波診断装置２０に設けられているが、本発明はこれに限らず、カメラ１０に設けられてもよい。この場合、超音波診断装置２０は、同期信号出力部３０と有線又は無線により接続され、同期信号出力部３０から出力された同期信号を受信可能である。 Further, in the first embodiment, the synchronization signal output unit 30 is provided in the ultrasonic diagnostic apparatus 20, but the present invention is not limited to this, and the synchronization signal output unit 30 may be provided in the camera 10. In this case, the ultrasonic diagnostic apparatus 20 is connected to the synchronization signal output unit 30 by wire or wirelessly, and can receive the synchronization signal output from the synchronization signal output unit 30.

次に、第２実施の形態における医用診断システム１００について図面を参照して説明する。図４は、本発明の第２実施の形態における医用診断システム１００の構成を示す図である。図５は、時間軸上に配置された動画フレームＦ１および超音波画像フレームＦ２を概略的に示す図である。なお、第２実施の形態の説明において、第１実施の形態と異なる構成について主に説明し、同じ構成についてはその説明を省略する。 Next, the medical diagnostic system 100 according to the second embodiment will be described with reference to the drawings. FIG. 4 is a diagram showing the configuration of the medical diagnostic system 100 according to the second embodiment of the present invention. FIG. 5 is a diagram schematically showing a moving image frame F1 and an ultrasonic image frame F2 arranged on the time axis. In the description of the second embodiment, the configuration different from that of the first embodiment will be mainly described, and the description of the same configuration will be omitted.

上記の第１実施の形態においては、操作部２６が押された場合、同期信号が出力される。 In the first embodiment described above, when the operation unit 26 is pressed, a synchronization signal is output.

これに対して、第２実施の形態では、フリーズボタン２６Ａがユーザーに押された場合、制御部２２が同期信号出力部３０に同期信号を出力させる（図４を参照）。フリーズボタン２６Ａは、押されると、超音波画像の取得が終了し（フリーズ）、再び押されると、超音波画像の取得が開始される（フリーズ解除）。なお、フリーズボタン２６Ａとしては、表示部２３に表示される操作ボタンでもよく、機械式ボタンでもよい。 On the other hand, in the second embodiment, when the freeze button 26A is pressed by the user, the control unit 22 causes the synchronization signal output unit 30 to output a synchronization signal (see FIG. 4). When the freeze button 26A is pressed, the acquisition of the ultrasonic image is completed (freeze), and when the freeze button 26A is pressed again, the acquisition of the ultrasonic image is started (freeze release). The freeze button 26A may be an operation button displayed on the display unit 23 or a mechanical button.

同期信号出力部３０は、フリーズボタン２６Ａが押されてフリーズ状態が解除された場合、同期信号をカメラ１０および超音波診断装置２０に出力する。 When the freeze button 26A is pressed and the freeze state is released, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10 and the ultrasonic diagnostic apparatus 20.

カメラ１０の制御部は、同期信号出力部３０から同期信号が出力された後以降に生成した動画フレームＦ１を記録部４０に記録させる。 The control unit of the camera 10 causes the recording unit 40 to record the moving image frame F1 generated after the synchronization signal is output from the synchronization signal output unit 30.

超音波診断装置２０は、フリーズボタン２６Ａが押されてフリーズ状態が解除された場合、超音波画像フレームＦ２を生成する（図５参照）。制御部２２は、生成した超音波診断装置２０を記録部４０に記録させる。 The ultrasonic diagnostic apparatus 20 generates an ultrasonic image frame F2 when the freeze button 26A is pressed to release the frozen state (see FIG. 5). The control unit 22 causes the recording unit 40 to record the generated ultrasonic diagnostic apparatus 20.

次に、第２実施の形態における被検体の動作関連情報等の処理について図６を参照して説明する。図６は、被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートである。 Next, the processing of the motion-related information of the subject in the second embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization.

ステップＳ２００において、制御部２２は、フリーズボタン２６Ａが押されてフリーズ状態が解除されたか否かについて判断する。フリーズ状態が解除された場合（ステップＳ２００：ＹＥＳ）、処理は、ステップＳ２１０に遷移する。一方、フリーズ状態が解除されていない場合（ステップＳ２００：ＮＯ）、処理は、ステップＳ２００の前に戻る。 In step S200, the control unit 22 determines whether or not the freeze button 26A is pressed to release the freeze state. When the freeze state is released (step S200: YES), the process transitions to step S210. On the other hand, when the freeze state is not released (step S200: NO), the process returns to before step S200.

ステップＳ２１０において、同期信号出力部３０は、同期信号をカメラ１０に出力する。その後、処理は、ステップＳ２２０に遷移する。 In step S210, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10. After that, the process transitions to step S220.

なお、ステップＳ２２０およびそれに続くステップＳ２３０は、第１実施の形態におけるステップＳ１２０およびステップＳ１３０と同じであるため、その説明を省略する。 Since step S220 and subsequent step S230 are the same as step S120 and step S130 in the first embodiment, the description thereof will be omitted.

上記第２実施の形態における医用診断システム１００によれば、フリーズボタン２６Ａが押された場合、被検体の内部組織情報が取得され、また、被検体の動作関連情報が内部組織情報と同期して取得されるため、同期信号を含む内部組織情報を記録することが可能となる。また、同期信号の出力がフリーズボタン２６Ａの押下操作により行われるため、同期信号を出力するための特別な操作が不要となる。 According to the medical diagnostic system 100 in the second embodiment, when the freeze button 26A is pressed, the internal tissue information of the subject is acquired, and the operation-related information of the subject is synchronized with the internal tissue information. Since it is acquired, it becomes possible to record internal organization information including a synchronization signal. Further, since the synchronization signal is output by pressing the freeze button 26A, no special operation for outputting the synchronization signal is required.

次に、第３実施の形態における医用診断システム１００について図面を参照して説明する。図７は、本発明の第３実施の形態における医用診断システム１００の構成を示す図である。図８は、時間軸上に配置された動作関連情報（動画フレームＦ１）および内部組織情報（超音波画像フレームＦ２）を概略的に示す図である。なお、第３実施の形態の説明においても、第１実施の形態と異なる構成について主に説明し、同じ構成についてはその説明を省略する。 Next, the medical diagnostic system 100 according to the third embodiment will be described with reference to the drawings. FIG. 7 is a diagram showing the configuration of the medical diagnostic system 100 according to the third embodiment of the present invention. FIG. 8 is a diagram schematically showing motion-related information (moving image frame F1) and internal tissue information (ultrasonic image frame F2) arranged on the time axis. In the description of the third embodiment, the configuration different from that of the first embodiment will be mainly described, and the description of the same configuration will be omitted.

同期信号を出力するために、上記の第１実施の形態では、同期信号の出力操作にかかる操作部２６が設けられている。また、上記の第２実施の形態では、同期信号の出力操作にかかるフリーズボタン２６Ａが設けられている。つまり、フリーズボタン２６Ａに、操作部２６の機能を持たせている。 In order to output the synchronization signal, in the above-mentioned first embodiment, an operation unit 26 for outputting the synchronization signal is provided. Further, in the second embodiment described above, the freeze button 26A for operating the output of the synchronization signal is provided. That is, the freeze button 26A has the function of the operation unit 26.

これに対して、第３実施の形態では、図７に示すように、超音波プローブＰにはセンサー５０が内蔵されている。センサー５０には、超音波プローブＰの位置や姿勢、加速度を検出することが可能な公知なセンサーが用いられる。具体的には、センサー５０として、超音波プローブＰの３軸方向それぞれの速度変化を計測するための３軸加速度センサー５０、超音波プローブＰの方向を検知する磁気センサー、超音波プローブＰに加わる加速度を検知するジャイロセンサーがある。 On the other hand, in the third embodiment, as shown in FIG. 7, the ultrasonic probe P has a built-in sensor 50. As the sensor 50, a known sensor capable of detecting the position, posture, and acceleration of the ultrasonic probe P is used. Specifically, as the sensor 50, the sensor 50 is added to the 3-axis acceleration sensor 50 for measuring the speed change in each of the 3-axis directions of the ultrasonic probe P, the magnetic sensor for detecting the direction of the ultrasonic probe P, and the ultrasonic probe P. There is a gyro sensor that detects acceleration.

制御部２２は、センサー５０の検出結果に基づいて、超音波プローブＰが特定の動き（例えば、３軸方向のうち少なくとも１軸方向へ所定長以上移動）をしたか否かについて判断する。制御部２２は、超音波プローブＰが特定の動きをした場合、同期信号出力部３０に同期信号を出力させる（図８を参照）。 Based on the detection result of the sensor 50, the control unit 22 determines whether or not the ultrasonic probe P has made a specific movement (for example, a predetermined length or more in at least one of the three axial directions). The control unit 22 causes the synchronization signal output unit 30 to output a synchronization signal when the ultrasonic probe P makes a specific movement (see FIG. 8).

次に、第３実施の形態における被検体の動作関連情報等の処理について図９を参照して説明する。図９は、被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートである。 Next, the processing of the motion-related information of the subject in the third embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization.

ステップＳ３００において、制御部２２は、センサー５０の検出結果に基づいて、超音波プローブＰが特定の動きをしたか否かについて判断する。超音波プローブＰが特定の動きをした場合（ステップＳ３００：ＹＥＳ）、処理は、ステップＳ３１０に遷移する。一方、超音波プローブＰが特定の動きをしていない場合（ステップＳ３００：ＮＯ）、処理は、ステップＳ３００の前に戻る。 In step S300, the control unit 22 determines whether or not the ultrasonic probe P has made a specific movement based on the detection result of the sensor 50. When the ultrasonic probe P makes a specific movement (step S300: YES), the process transitions to step S310. On the other hand, when the ultrasonic probe P does not make a specific movement (step S300: NO), the process returns to before step S300.

ステップＳ３１０において、同期信号出力部３０は、同期信号をカメラ１０に出力する。その後、処理は、ステップＳ３２０に遷移する。 In step S310, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10. After that, the process transitions to step S320.

なお、ステップＳ３２０およびそれに続くステップＳ３３０は、第１実施の形態におけるステップＳ１２０およびステップＳ１３０と同じであるため、その説明を省略する。 Since step S320 and subsequent step S330 are the same as steps S120 and S130 in the first embodiment, the description thereof will be omitted.

上記第３実施の形態によれば、超音波プローブＰの特定の動きをトリガーとして、被検体の動作関連情報および内部組織情報が同期して取得されるため、動作関連情報等を不必要に取得することがなく、動作関連情報等を効率良く取得することが可能となる。 According to the third embodiment, the motion-related information and the internal tissue information of the subject are acquired in synchronization with the specific movement of the ultrasonic probe P as a trigger, so that the motion-related information and the like are unnecessarily acquired. It is possible to efficiently acquire operation-related information and the like without doing so.

次に、第４実施の形態における医用診断システム１００について図面を参照して説明する。図１０は、本発明の第４実施の形態における医用診断システム１００の構成を示す図である。図１１は、時間軸上に配置された動画フレームＦ１および超音波画像フレームＦ２を概略的に示す図である。なお、第４実施の形態の説明においても、第１実施の形態と異なる構成について主に説明し、同じ構成についてはその説明を省略する。 Next, the medical diagnostic system 100 according to the fourth embodiment will be described with reference to the drawings. FIG. 10 is a diagram showing a configuration of a medical diagnostic system 100 according to a fourth embodiment of the present invention. FIG. 11 is a diagram schematically showing a moving image frame F1 and an ultrasonic image frame F2 arranged on the time axis. In the description of the fourth embodiment, the configuration different from that of the first embodiment will be mainly described, and the description of the same configuration will be omitted.

上記第３実施の形態においては、センサー５０により超音波プローブＰの特定の動きが検出される。 In the third embodiment, the sensor 50 detects a specific movement of the ultrasonic probe P.

これに対し、第４実施の形態における医用診断システム１００は、図１０に示すように、外部動作取得部６０（本発明の「条件判定部」に対応」）を備える。外部動作取得部６０は、被検体に直接的に又は間接的に装着されたマーカーＭを撮像する。外部動作取得部６０は、マーカーＭの画像を解析し、解析結果に基づいて、被検体の特定の動きを検出する。同期信号出力部３０は、被検体が特定の動きをした場合、同期信号を出力する（図１１参照）。 On the other hand, as shown in FIG. 10, the medical diagnostic system 100 according to the fourth embodiment includes an external motion acquisition unit 60 (corresponding to the "condition determination unit" of the present invention). The external motion acquisition unit 60 images the marker M directly or indirectly attached to the subject. The external motion acquisition unit 60 analyzes the image of the marker M and detects a specific motion of the subject based on the analysis result. The synchronization signal output unit 30 outputs a synchronization signal when the subject makes a specific movement (see FIG. 11).

次に、第４実施の形態における被検体の動作関連情報等の処理について図１２を参照して説明する。図１２は、被検体の動作関連情報と被検体の内部組織情報とを時間的に同期して記録させる処理を示すフローチャートである。 Next, the processing of the operation-related information and the like of the subject in the fourth embodiment will be described with reference to FIG. FIG. 12 is a flowchart showing a process of recording the operation-related information of the subject and the internal tissue information of the subject in time synchronization.

ステップＳ４００において、外部動作取得部６０は、マーカーＭの画像に基づいて、被検体が特定の動きをしたか否かについて判断する。被検体が特定の動きをした場合（ステップＳ４００：ＹＥＳ）、処理は、ステップＳ４１０に遷移する。一方、被検体が特定の動きをしていない場合（ステップＳ４００：ＮＯ）、処理は、ステップＳ４００の前に戻る。 In step S400, the external motion acquisition unit 60 determines whether or not the subject has made a specific motion based on the image of the marker M. If the subject makes a specific movement (step S400: YES), the process transitions to step S410. On the other hand, if the subject does not make a specific movement (step S400: NO), the process returns to before step S400.

ステップＳ４１０において、同期信号出力部３０は、同期信号をカメラ１０および超音波診断装置２０に出力する。その後、処理は、ステップＳ４２０に遷移する。 In step S410, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10 and the ultrasonic diagnostic apparatus 20. After that, the process transitions to step S420.

なお、ステップＳ４２０およびそれに続くステップＳ４３０は、第１実施の形態におけるステップＳ１２０およびステップＳ１３０と同じであるため、その説明を省略する。 Since step S420 and subsequent step S430 are the same as steps S120 and S130 in the first embodiment, the description thereof will be omitted.

上記第４実施の形態によれば、被検体の特定の動きを検知して、被検体の動作関連情報および内部組織情報が同期して取得されるため、動作関連情報等を不必要に取得することがなく、動作関連情報等を効率良く取得することが可能となる。 According to the fourth embodiment, since the specific movement of the subject is detected and the motion-related information and the internal tissue information of the subject are sequentially acquired, the motion-related information and the like are unnecessarily acquired. It is possible to efficiently acquire operation-related information and the like without any problems.

なお、外部動作取得部６０は、被検体の特定の動きを検出可能な公知の手段であればよい。具体的には、例えば、光学、磁気、機械式、超音波、モーションキャプチャーを用いて被検体の動きを検知できる手段であればよい。なお、外部動作取得部６０の機能を、被検体の動作関連情報を取得するカメラ１０等が有してもよい。 The external motion acquisition unit 60 may be any known means capable of detecting a specific motion of the subject. Specifically, it may be any means that can detect the movement of the subject by using, for example, optical, magnetic, mechanical, ultrasonic, or motion capture. The camera 10 or the like that acquires motion-related information of the subject may have the function of the external motion acquisition unit 60.

次に、第５実施の形態における医用診断システム１００について図１３および図１４を参照して説明する。図１３は、医用画像再生部７０の構成の一例を示すブロック図である。 Next, the medical diagnostic system 100 according to the fifth embodiment will be described with reference to FIGS. 13 and 14. FIG. 13 is a block diagram showing an example of the configuration of the medical image reproduction unit 70.

第５実施の形態における超音波診断装置２０は、図１３に示すように、医用画像再生部７０（本発明の「表示制御部」に対応）を備える。医用画像再生部７０は、記録部４０に格納されている被検体の動作関連情報および被検体の内部組織情報を表示部２３に表示させる。なお、記録部４０には、同期信号出力部３０から同期信号が出力された後以降に生成された動画フレームＦ１および超音波画像フレームＦ２が記録されているものとする。また、記録部４０には、同期信号の出力前に生成された動画フレームＦ１１および超音波画像フレームＦ２１も記録されているものとする。 As shown in FIG. 13, the ultrasonic diagnostic apparatus 20 according to the fifth embodiment includes a medical image reproduction unit 70 (corresponding to the “display control unit” of the present invention). The medical image reproduction unit 70 causes the display unit 23 to display the operation-related information of the subject and the internal tissue information of the subject stored in the recording unit 40. It is assumed that the moving image frame F1 and the ultrasonic image frame F2 generated after the synchronization signal is output from the synchronization signal output unit 30 are recorded in the recording unit 40. Further, it is assumed that the moving image frame F11 and the ultrasonic image frame F21 generated before the output of the synchronization signal are also recorded in the recording unit 40.

医用画像再生部７０は、図１３に示すように、サムネイル一覧表示処理部７２、全画面表示処理部７４、編集処理部７６を有している。 As shown in FIG. 13, the medical image reproduction unit 70 has a thumbnail list display processing unit 72, a full-screen display processing unit 74, and an editing processing unit 76.

サムネイル一覧表示処理部７２は、時間軸を表すタイムラインＴＬ（図１４参照）上に、被検体の動作関連情報に対応する複数のサムネイルＳ１、および、被検体の内部組織情報に対応する複数のサムネイルＳ２を同時に時系列で一覧表示させる機能を有する。 The thumbnail list display processing unit 72 has a plurality of thumbnails S1 corresponding to the operation-related information of the subject and a plurality of thumbnails S1 corresponding to the internal tissue information of the subject on the timeline TL (see FIG. 14) representing the time axis. It has a function to display thumbnails S2 in a list at the same time in chronological order.

全画面表示処理部７４は、ユーザーにより指定されたタイムラインＴＬ上の位置に対応する時刻に取得された一組の動画フレームＦ１および超音波画像フレームＦ２を表示させる。 The full-screen display processing unit 74 displays a set of moving image frames F1 and ultrasonic image frames F2 acquired at a time corresponding to a position on the timeline TL specified by the user.

編集処理部７６は、記録部４０から読み込まれる動画フレームＦ１１および超音波画像フレームＦ２１の編集ポイントを設定する。本実施の形態において、ここで、編集ポイントは、タイムラインＴＬ上における同期信号の出力時に対応する位置である。サムネイル一覧表示処理部７２は、タイムラインＴＬ上における同期信号の出力時に基づいて、動画フレームＦ１１および超音波画像フレームＦ２１を配置する。 The editing processing unit 76 sets the editing points of the moving image frame F11 and the ultrasonic image frame F21 read from the recording unit 40. In the present embodiment, here, the edit point is a position corresponding to the output of the synchronization signal on the timeline TL. The thumbnail list display processing unit 72 arranges the moving image frame F11 and the ultrasonic image frame F21 based on the time when the synchronization signal is output on the timeline TL.

図１４は、比較観察される動画フレームＦ１，Ｆ１１および超音波画像フレームＦ２，Ｆ２１の一例を示す図である。なお、図１４では、編集処理後の動画フレームＦ１１および超音波画像フレームＦ２１を示す。 FIG. 14 is a diagram showing an example of moving image frames F1 and F11 and ultrasonic image frames F2 and F21 to be comparatively observed. Note that FIG. 14 shows the moving image frame F11 and the ultrasonic image frame F21 after the editing process.

図１４に示すように、サムネイル一覧表示処理部７２は、タイムラインＴＬ上に、複数のサムネイルＳ１、Ｓ２を同時に時系列で一覧表示させる。全画面表示処理部７４は、同じ時刻における動画フレームＦ１，Ｆ１１および超音波画像フレームＦ２，Ｆ２１を表示部２３に表示させる。 As shown in FIG. 14, the thumbnail list display processing unit 72 simultaneously displays a plurality of thumbnails S1 and S2 in a time-series list on the timeline TL. The full-screen display processing unit 74 causes the display unit 23 to display the moving image frames F1 and F11 and the ultrasonic image frames F2 and F21 at the same time.

また、サムネイル一覧表示処理部７２は、タイムラインＴＬ近傍に目盛および時刻を表示させる。全画面表示処理部７４は、再生、一時停止、停止などの操作ボタン２６Ｂを表示させる。また、全画面表示処理部７４は、動画フレームＦ１および超音波画像フレームＦ２の開始時間を指定するためのカーソル２６Ｃを表示させる。全画面表示処理部７４は、カーソルの操作により、動画フレームＦ１，Ｆ１１および超音波画像フレームＦ２，Ｆ２１を切り替えて表示させる。 Further, the thumbnail list display processing unit 72 displays the scale and the time in the vicinity of the timeline TL. The full-screen display processing unit 74 displays operation buttons 26B for play, pause, stop, and the like. Further, the full-screen display processing unit 74 displays the cursor 26C for designating the start time of the moving image frame F1 and the ultrasonic image frame F2. The full-screen display processing unit 74 switches and displays the moving image frames F1 and F11 and the ultrasonic image frames F2 and F21 by operating the cursor.

また、上記第５実施の形態によれば、同期信号の出力前に生成した動画フレームＦ１１および超音波画像フレームＦ２１を、同期信号の出力時以降に生成した動画フレームＦ１や超音波画像フレームＦ２と同じ時間軸上に配置することが可能となる。これにより、同じ時刻における動画フレームＦ１１と超音波画像フレームＦ２１とを比較観察することが可能となる。 Further, according to the fifth embodiment, the moving image frame F11 and the ultrasonic image frame F21 generated before the output of the synchronization signal are combined with the moving image frame F1 and the ultrasonic image frame F2 generated after the time when the synchronization signal is output. It is possible to arrange them on the same time axis. This makes it possible to compare and observe the moving image frame F11 and the ultrasonic image frame F21 at the same time.

また、表示部２３には、サムネイルＳ１，Ｓ２や操作ボタン２６Ｂやカーソル２６Ｃが表示される。これにより、所望の時刻における動画フレームＦ１，Ｆ１１および超音波画像フレームＦ２，Ｆ２１を容易に表示させることが可能となる。その結果、診断の効率がさらに上がる。 Further, the thumbnails S1 and S2, the operation buttons 26B, and the cursor 26C are displayed on the display unit 23. This makes it possible to easily display the moving image frames F1 and F11 and the ultrasonic image frames F2 and F21 at a desired time. As a result, the efficiency of diagnosis is further improved.

なお、第５実施の形態においては、動画フレームＦ１および超音波画像フレームＦ２は、超音波診断装置２０の表示部２３に表示されるが、本発明は、これに限らず、例えば、端末のモニター（図示略）に表示されてもよい。この場合、端末は、超音波診断装置２０とＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等の通信回線からなる院内ネットワークを介してデータ送受信可能に接続される。 In the fifth embodiment, the moving image frame F1 and the ultrasonic image frame F2 are displayed on the display unit 23 of the ultrasonic diagnostic apparatus 20, but the present invention is not limited to this, and the present invention is not limited to this, for example, a terminal monitor. It may be displayed in (not shown). In this case, the terminal is connected to the ultrasonic diagnostic apparatus 20 via a hospital network including a communication line such as a LAN (Local Area Network) or a WAN (Wide Area Network) so that data can be transmitted and received.

次に、第６実施の形態における医用診断システム１００について図１５および図１６を参照して説明する。 Next, the medical diagnostic system 100 according to the sixth embodiment will be described with reference to FIGS. 15 and 16.

上記第１実施の形態においては、フリーズボタン２６Ａが押されて、制御部２２が同期信号を出力した場合、内部組織情報（超音波画像）が取得され、また、取得された内部組織情報が記録される。また、動作関連情報が記録される（図４および図５を参照）。なお、動作関連情報の取得は、同期信号の出力前から開始されている。また、第３実施の形態においては、センサー５０が特定の動きを検出し、制御部２２が同期信号を出力した場合、内部組織情報および動作関連情報の各情報が記録される（図７および図８を参照）。なお、各情報の取得は、同期信号の出力前から開始されている。 In the first embodiment, when the freeze button 26A is pressed and the control unit 22 outputs a synchronization signal, internal tissue information (ultrasound image) is acquired, and the acquired internal tissue information is recorded. Will be done. Also, operation-related information is recorded (see FIGS. 4 and 5). The acquisition of operation-related information is started before the output of the synchronization signal. Further, in the third embodiment, when the sensor 50 detects a specific motion and the control unit 22 outputs a synchronization signal, each information of internal tissue information and operation-related information is recorded (FIGS. 7 and 7). 8). The acquisition of each information is started before the output of the synchronization signal.

これに対して、第６実施の形態では、センサー５０が特定の動きを検出し、制御部２２が同期信号を出力した場合、内部組織情報および動作関連情報の各情報が取得され、取得された各情報が記録される（図１５を参照）。 On the other hand, in the sixth embodiment, when the sensor 50 detects a specific motion and the control unit 22 outputs a synchronization signal, each information of the internal organization information and the operation-related information is acquired and acquired. Each piece of information is recorded (see Figure 15).

次に、図１６のフローチャートを参照して、被検体の動作関連情報等の処理について説明する。 Next, processing of operation-related information and the like of the subject will be described with reference to the flowchart of FIG.

ステップＳ５００において、制御部２２は、センサー５０の検出結果に基づいて、超音波プローブＰが特定の動きをしたか否かについて判断する。超音波プローブＰが特定の動きをした場合（ステップＳ５００：ＹＥＳ）、処理は、ステップＳ５１０に遷移する。一方、超音波プローブＰが特定の動きをしていない場合（ステップＳ５００：ＮＯ）、処理は、ステップＳ５００の前に戻る。 In step S500, the control unit 22 determines whether or not the ultrasonic probe P has made a specific movement based on the detection result of the sensor 50. If the ultrasonic probe P makes a specific movement (step S500: YES), the process transitions to step S510. On the other hand, when the ultrasonic probe P does not make a specific movement (step S500: NO), the process returns to before step S500.

ステップＳ５１０において、同期信号出力部３０は、同期信号をカメラ１０に出力する。また、同期信号出力部３０は、同期信号を装置本体２１に出力する。その後、処理は、ステップＳ５２０に遷移する。 In step S510, the synchronization signal output unit 30 outputs the synchronization signal to the camera 10. Further, the synchronization signal output unit 30 outputs the synchronization signal to the device main body 21. After that, the process transitions to step S520.

ステップＳ５２０において、カメラ１０は、被検体の動作関連情報を取得する。また、超音波診断装置２０は、内部組織情報を取得する。その後、処理は、ステップＳ５３０に遷移する。 In step S520, the camera 10 acquires operation-related information of the subject. Further, the ultrasonic diagnostic apparatus 20 acquires internal tissue information. After that, the process transitions to step S530.

なお、ステップＳ５３０およびそれに続くステップＳ５４０は、第１実施の形態におけるステップＳ１２０およびステップＳ１３０と同じであるため、その説明を省略する。 Since step S530 and subsequent step S540 are the same as steps S120 and S130 in the first embodiment, the description thereof will be omitted.

その他、上記実施の形態は、何れも本発明の実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, the above embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from its gist or its main features.

Ｆ１動画フレーム
Ｆ１１動画フレーム
Ｆ２超音波画像フレーム
Ｆ２１超音波画像フレーム
Ｍマーカー
Ｐ超音波プローブ
Ｓ１サムネイル
Ｓ２サムネイル
ＴＬタイムライン
１０カメラ
２０超音波診断装置
２１装置本体
２２制御部
２３表示部
２４タッチパネル
２６操作部
３０同期信号出力部
４０記録部
５０センサー
６０外部動作取得部
７０医用画像再生部
７２サムネイル一覧表示処理部
７４全画面表示処理部
７６編集処理部
１００医用診断システム F1 video frame F11 video frame F2 ultrasonic image frame F21 ultrasonic image frame M marker P ultrasonic probe S1 thumbnail S2 thumbnail TL timeline 10 camera 20 ultrasonic diagnostic device 21 device body 22 control unit 23 display unit 24 touch panel 26 operation unit 30 Synchronous signal output unit 40 Recording unit 50 Sensor 60 External motion acquisition unit 70 Medical image playback unit 72 Thumblet list display processing unit 74 Full screen display processing unit 76 Editing processing unit 100 Medical diagnostic system

Claims

The motion-related information acquisition unit that acquires motion-related information related to the motion of the subject,
The internal tissue information acquisition unit that acquires the internal tissue information of the subject, and
A condition determination unit for determining whether or not the conditions for recording the operation-related information and the internal organization information in synchronization with each other are satisfied.
When it is determined that the above conditions are satisfied, a recording control unit that controls to record the operation-related information and the internal tissue information in a timely synchronization, and
Equipped with
The components constituting the internal tissue information acquisition unit are attached to the subject and are attached to the subject.
Equipped with sensors that can be attached to the components
When the sensor detects a predetermined motion of the subject, the condition determination unit determines that the condition is satisfied.
Medical diagnostic system.

A synchronization signal output unit for outputting a synchronization signal for acquiring the operation-related information and the internal organization information in synchronization with time is provided.
When the recording control unit determines that the conditions are satisfied, the recording control unit causes the synchronization signal output unit to output the synchronization signal.
The medical diagnostic system according to claim 1.

The recording control unit records the operation-related information and the internal tissue information together with the synchronization signal.
The medical diagnostic system according to claim 2.

The synchronization signal output unit is provided in the internal tissue information acquisition unit.
The medical diagnostic system according to claim 2 or 3.

A display control unit for displaying the operation-related information and internal organization information acquired in synchronization is provided.
The medical diagnostic system according to any one of claims 1 to 4 .

The internal structure information acquisition unit includes an ultrasonic diagnostic apparatus, an optical ultrasonic apparatus, an optical interference tomographic apparatus, and an X-ray diagnostic apparatus .
The medical diagnostic system according to any one of claims 1 to 5 .