JP5591455B2 - Medical image processing device - Google Patents
Medical image processing device Download PDFInfo
- Publication number
- JP5591455B2 JP5591455B2 JP2008150899A JP2008150899A JP5591455B2 JP 5591455 B2 JP5591455 B2 JP 5591455B2 JP 2008150899 A JP2008150899 A JP 2008150899A JP 2008150899 A JP2008150899 A JP 2008150899A JP 5591455 B2 JP5591455 B2 JP 5591455B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- sound
- file
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 22
- 238000007726 management method Methods 0.000 description 274
- 238000000034 method Methods 0.000 description 68
- 230000004044 response Effects 0.000 description 52
- 230000008569 process Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 17
- 238000012790 confirmation Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 14
- 238000007405 data analysis Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 10
- 238000002697 interventional radiology Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Description
本発明は、医用画像を保管し、観察可能とするシステムに使用される医用画像処理装置に関する。 The present invention relates to a medical image processing apparatus used in a system for storing and observing medical images.
ＩＶＲ（interventional radiology）をはじめとする手技に関連して、医用画像撮影装置、医用画像保管装置、医用画像観察装置、手術所見記録装置からなるシステムがある。このシステムでは、手技中に医用画像撮影装置で撮影された画像を医用画像保管装置にて保管する。そして手術の終了後に、医用画像保管装置により保管されている医用画像を医用画像観察装置で観察しながら、手術所見記録装置で手術所見が作成される。 In relation to procedures including IVR (interventional radiology), there is a system including a medical image photographing device, a medical image storage device, a medical image observation device, and a surgical observation recording device. In this system, an image captured by a medical image capturing device during a procedure is stored by a medical image storage device. Then, after the surgery is completed, the surgical findings are created by the surgical findings recording device while observing the medical images stored by the medical image storage device with the medical image observation device.
手術所見の作成は、作成者（手技実施者）がキーボードなどの入力デバイスを用いて、記憶に頼りながら行われる。このため、手技のエッセンスとなる情報の記録が欠落することがあり得る。また手術所見は文章として作成されるが、このような文章に適切に、かつ分かり易く医用画像を関連付けることは困難であり、医用画像が手術所見に十分に活用されないことがある。手技後に、医用画像との関連付けをしながら所見を作成する仕組みが備わっている場合もあるが、その場合でも関連付けは手技後に行わなければならないことから、作成者の記憶に頼って行われることになり、画像と所見とが適切に関連付けられていないことがあるとともに、その関連付けのために多くの時間を費やす必要があった。
以上のように従来は、手術での手技に関連して得られた医用画像と手術所見との関連付けは、手術の終了後に記録者の記憶に基づいて行われなければならないために、医用画像を適切に関連付けた手術所見に記録することが困難であった。 As described above, conventionally, the association between the medical image obtained in relation to the surgical procedure and the surgical findings must be performed based on the memory of the recorder after the operation is completed. It was difficult to record appropriately associated surgical findings.
本発明はこのような事情を考慮してなされたものであり、その目的とするところは、手技に際して発せられた音声を、手術所見の作成に際して容易に確認可能なように記録することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to record a voice uttered during a procedure so that it can be easily confirmed when creating a surgical finding.
また本発明の目的とするところは、記録された音声を手術所見の作成に際して容易に確認できるようにすることにある。 It is another object of the present invention to make it possible to easily check the recorded voice when creating a surgical finding.
本発明の一態様による医用画像処理装置は、記憶媒体にアクセス可能な医用画像処理装置において、医用画像撮影装置により撮影された医用画像を医療行為の実施者によりモニタさせるためにモニタ装置にて表示されるモニタ画像を画像取得期間において取得する手段と、取得された前記モニタ画像を前記記憶媒体に記憶させる画像記憶制御手段と、前記実施者が発する音声を音声取得期間において取得する手段と、取得された前記音声を前記記憶媒体に記憶させる音声記憶制御手段と、前記モニタ画像として表示される前記医用画像の撮影に関して前記医用画像撮影装置に入力された第１の識別情報を取得する手段と、前記音声の取得に関して前記医用画像処理装置に入力される第２の識別情報を取得する手段と、前記第１および第２の識別情報が互いに一致する場合に、互いに予め定められた関係の前記画像取得期間および前記音声取得期間に取得されて前記記憶媒体に記憶された前記モニタ画像および前記音声を互いに関連付ける情報を記憶させる管理手段とを備えた。 A medical image processing apparatus according to an aspect of the present invention is a medical image processing apparatus capable of accessing a storage medium, and displays a medical image captured by a medical image capturing apparatus on a monitor device so that the medical practitioner can monitor the medical image. Means for acquiring the monitor image to be acquired in the image acquisition period, image storage control means for storing the acquired monitor image in the storage medium, means for acquiring the sound produced by the practitioner in the sound acquisition period, and acquisition Voice storage control means for storing the voice that has been recorded in the storage medium, means for acquiring first identification information input to the medical image photographing apparatus regarding photographing of the medical image displayed as the monitor image, Means for acquiring second identification information input to the medical image processing apparatus with respect to acquisition of the sound; and the first and second identification information. If the information matches each other, the management means for storing information associating each other the monitor image and the sound stored in the storage medium is acquired in the image acquisition period and the voice acquisition period of a predetermined relationship to one another And with.
本発明によれば、医用画像を適切に関連付けた手術所見を容易に記録することが可能となる。 According to the present invention, it is possible to easily record a surgical finding appropriately associated with a medical image.
以下、図面を参照して本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は本実施形態に係る医療情報システムの概略構成を示す図である。 FIG. 1 is a diagram showing a schematic configuration of a medical information system according to the present embodiment.
この医療情報システムは、医用画像撮影装置１、医用画像保管装置２、医用画像観察装置３、通信ユニット４、モニタ５、マイク６、キーパッド７およびマイク８を含む。
This medical information system includes a medical
医用画像撮影装置１、医用画像保管装置２、医用画像観察装置３および通信ユニット４は、ＬＡＮ（local area network）などのネットワーク９に接続されている。
The medical
医用画像撮影装置１は、被検体を撮影して医用画像を得る。医用画像撮影装置１としては、Ｘ線診断装置、Ｘ線ＣＴ（computed tomography）装置、ＭＲＩ（magnetic resonance imaging）装置、あるいは超音波診断装置などの様々なタイプの装置が利用できる。医用画像撮影装置１は、撮影した医用画像を、ディジタル画像としてＤＩＣＯＭ（digital imaging and communications in medicine）フォーマットで医用画像保管装置２へ送信する。
The medical
医用画像保管装置２は、医用画像撮影装置１で撮影されたＤＩＣＯＭデータを保管する。また医用画像保管装置２は、通信ユニット４から後述するように送信されるモニタ画像ファイルや音声ファイルを保管する。
The medical
医用画像観察装置３は、医用画像保管装置２により保管されているＤＩＣＯＭデータ、モニタ画像ファイルおよび音声ファイルをユーザＵ１に観察させる。
The medical
通信ユニット４には、モニタ５、マイク６およびキーパッド７が接続されている。モニタ５は、医用画像撮影装置１により撮影された医用画像をユーザＵ２にモニタさせるために表示する。従って、モニタ５により表示されている画像をモニタ画像と称することとする。モニタ５は、モニタ画像を通信ユニット４に出力する。モニタ５が表示するモニタ画像をビデオカメラにより撮影して、当該撮影されたモニタ画像を通信ユニット４に出力しても良い。
A
マイク６は、ユーザＵ２が発した音声を取り込んで、通信ユニット４に出力する。キーパッド７は、ユーザＵ２が患者ＩＤなどの各種の情報を入力したり、録画や録音を指示したりするために使用される。キーパッド７は、入力された情報や指示を通信ユニット４に出力する。そして通信ユニット４は、モニタ５より出力されたモニタ画像、マイク６より出力された音声、ならびにキーパッド７から出力された情報または指示を、予め定められた形式のデータとして医用画像保管装置２へ送信する。
The
マイク８は、医用画像観察装置３に接続されている。マイク８は、ユーザＵ１が発する音声を取り込んで、医用画像観察装置３に出力する。
The
なお、ユーザＵ２は、医用画像撮影装置１により撮影された医用画像を見ながらＩＶＲなどの手技を実施する実施者である。ユーザＵ１は、手技の終了後に、手技の際に取得された各種の情報を観察し、手術所見を作成する観察者である。なお、ユーザＵ１およびユーザＵ２は、同一人物である場合もある。
Note that the user U2 is a practitioner who performs a procedure such as IVR while viewing a medical image captured by the medical
図２は図１に示された各部がそれぞれ備える機能とそれらの機能の連携とを表した機能ブロック図である。 FIG. 2 is a functional block diagram showing the functions provided in each unit shown in FIG. 1 and the cooperation of those functions.
医用画像撮影装置１は、撮影指示部１０１、撮影部１０２、画像表示指示部１０３、画像データ編集部１０４および画像データ送信部１０５を含む。医用画像保管装置２は、モニタ画像取得部２０１、音声取得部２０２、モニタ画像・音声管理部２０３、モニタ画像解析部２０４、モニタ画像・音声登録部２０５、モニタ画像・音声保管部２０６、データベース２０７、画像データ受信部２０８、画像・音声統合管理部２０９、ＤＩＣＯＭデータ編集部２１０、ＤＩＣＯＭデータ登録部２１１、ＤＩＣＯＭデータ保管部２１２、統合データ検索部２１３、統合データ分析部２１４、統合データ編集部２１５、統合データ編集管理部２１６および統合データ表示指示部２１７を含む。医用画像観察装置３は、統合データ検索指示部３０１、統合データ表示再生部３０２、音声取得部３０３および統合データ編集指示部３０４を含む。モニタ５は、モニタ画像表示部５０１として機能する。マイク６は、音声入力部６０１として機能する。キーパッド７は、情報・要求入力部７０１として機能する。マイク８は、音声入力部８０１として機能する。
The medical
なお、医用画像保管装置２および医用画像観察装置３は、例えば汎用のサーバ装置やコンピュータ装置を基本ハードウェアとして用いることができる。そしてモニタ画像取得部２０１、音声取得部２０２、モニタ画像・音声管理部２０３、モニタ画像解析部２０４、モニタ画像・音声登録部２０５、画像データ受信部２０８、画像・音声統合管理部２０９、ＤＩＣＯＭデータ編集部２１０、ＤＩＣＯＭデータ登録部２１１、統合データ検索部２１３、統合データ分析部２１４、統合データ編集部２１５、統合データ編集管理部２１６、統合データ表示指示部２１７、統合データ検索指示部３０１、統合データ表示再生部３０２、音声取得部３０３および統合データ編集指示部３０４は、上記のサーバ装置やコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。なお、一部の機能はさらに、上記のプロセッサと通信インタフェースデバイスなどのデバイスとの協働によって実現される。このときに医用画像保管装置２および医用画像観察装置３は、上記のプログラムが上記のサーバ装置やコンピュータ装置に予めインストールされて実現されても良いし、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して上記のプログラムを配布し、このプログラムをサーバ装置やコンピュータ装置に適宜インストールして実現されても良い。なお、上記の各部は、その一部または全てをロジック回路などのハードウェアにより実現することも可能である。また上記の各部のそれぞれは、ハードウェアとソフトウェア制御とを組み合わせて実現することも可能である。モニタ画像・音声保管部２０６、データベース２０７およびＤＩＣＯＭデータ保管部２１２は、上記のサーバ装置やコンピュータ装置に内蔵されたメモリやハードディスク装置などの記憶デバイス、上記のサーバ装置やコンピュータ装置に外付けされたメモリやハードディスク装置などの記憶デバイス、さらには磁気ディスク、光磁気ディスク、光ディスクなどのようなリムーバブルな記録媒体などを適宜利用して実現することができる。
The medical
撮影指示部１０１は、ユーザＵ２の要求に応じて、撮影部１０２に画像撮影を指示する。撮影部１０２は、指示に従い撮影を行う。画像表示指示部１０３は、撮影部１０２により撮影された医用画像に、患者識別情報（患者ＩＤ）や撮影日時などを表すテキスト画像を合成してモニタ画像を生成し、さらにこのモニタ画像を表した映像信号を生成して、この映像信号をモニタ５に出力する。画像データ編集部１０４は、撮影部１０２により撮影された医用画像を表した画像データに、患者ＩＤ、撮影日時および撮影位置情報などの付帯情報を付加してＤＩＣＯＭフォーマットのＤＩＣＯＭデータに整形する。画像データ送信部１０５は、生成されたＤＩＣＯＭデータを医用画像保管装置２に送信する。
The
モニタ画像表示部５０１は、画像表示指示部１０３から出力された映像信号に基づいて、モニタ画像を表示する。モニタ画像表示部５０１はまた、映像信号を通信ユニット４を介して医用画像保管装置２に送る。ただし通信ユニット４は、映像信号をディジタル化して得られる映像データ（以下、モニタ画像データと称する）を医用画像保管装置２に送る。
The monitor
音声入力部６０１は、ユーザＵ２が発した音声を音声信号に換え、この音声信号を通信ユニット４を介して医用画像保管装置２に送る。ただし通信ユニット４は、音声信号をディジタル化して得られる音声データを医用画像保管装置２に送る。
The
情報・要求入力部７０１は、モニタ画像の記録やユーザＵ２の音声の録音に関してユーザＵ２が指定する情報やユーザＵ２の要求を入力する。情報・要求入力部７０１は、入力した情報や要求を通信ユニット４を介して医用画像保管装置２に送る。
The information /
モニタ画像取得部２０１は、上記のモニタ画像データを取得する。音声取得部２０２は、上記の音声データを取得する。モニタ画像・音声管理部２０３は、モニタ画像データおよび音声データをモニタ画像取得部２０１および音声取得部２０２から受け取り、これらの保管を後述するように管理する。モニタ画像・音声管理部２０３は、モニタ画像データをモニタ画像解析部２０４に渡し、それについての解析結果をモニタ画像解析部２０４から受け取る。またモニタ画像・音声管理部２０３は、情報・要求入力部７０１で入力された情報や要求を取得する。モニタ画像解析部２０４は、モニタ画像・音声管理部２０３から渡されたモニタ画像データが表すモニタ画像を解析し、そこに表されている患者ＩＤおよび撮影日時を抽出する。モニタ画像解析部２０４は、抽出した患者ＩＤおよび撮影日時を解析結果としてモニタ画像・音声管理部２０３に返す。撮影日時がモニタ画像に映し出されていない場合は、モニタ画像解析部２０４は、画像・音声統合管理部２０９よりＤＩＣＯＭデータに含まれるＤＩＣＯＭ画像データを受け取り、このＤＩＣＯＭ画像データが表すＤＩＣＯＭ画像とモニタ画像とのの双方に映し出された血管の形態に基づいて当該ＤＩＣＯＭ画像とモニタ画像とが互いに同一日時に撮影されたものであるか否かを解析し、この解析結果を画像・音声統合管理部２０９に返す。またモニタ画像・音声登録部２０５は、モニタ画像・音声管理部２０３から渡されるモニタ画像データおよび音声データをそれぞれモニタ画像ファイル（静止画ファイルまたは動画ファイル）および音声ファイルとしてモニタ画像・音声保管部２０６に記憶させるとともに、これらのデータファイルに関するファイル名や取得日時などの管理用情報をデータベース２０７に登録する。
The monitor
画像データ受信部２０８は、ＤＩＣＯＭデータの受信処理を行う。画像・音声統合管理部２０９は、モニタ画像・音声保管部２０６に保管されているモニタ画像ファイルおよび音声ファイルとＤＩＣＯＭ画像データとの統合を後述するように管理する。ＤＩＣＯＭデータ編集部２１０は、モニタ画像ファイルおよび音声ファイルと統合するＤＩＣＯＭデータの編集を行う。具体的には、ＤＩＣＯＭデータ内の特定のタグとして、統合するモニタ画像ファイルおよび音声ファイルのファイル名や保管場所などを示す情報を挿入する。ＤＩＣＯＭデータ登録部２１１は、画像・音声統合管理部２０９からの要求に応じて、ＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２へ保管する。またＤＩＣＯＭデータ登録部２１１は、ＤＩＣＯＭデータから医用画像保管装置２での管理または医用画像観察装置３での医用画像表示等に必要なＤＩＣＯＭ付帯情報を抽出し、データベース２０７に記憶させる。
The image
統合データ検索部２１３は、統合データ検索指示部３０１からの指示に従い、モニタ画像・音声保管部２０６、データベース２０７、ならびにＤＩＣＯＭデータ保管部２１２からのデータの検索・収集を行い、検索結果情報を統合データ表示指示部２１７に渡す。統合データ分析部２１４は、統合データ編集管理部２１６からの指示に応じて、音声認識による音声ファイルのテキストへの変換や、当該テキストのセンテンス分割を行う。それと同時に統合データ分析部２１４は、それぞれのセンテンスの元となる音声ファイル内での再生ポイント（開始日時〜終了日時）情報を得る。なお、センテンス分割とは、文章を句点や一定時間の無音部分で区切れる単位に分割することを指す。従って、実際に区分される１単位は、狭義の「センテンス」に限らず任意であって良い。統合データ分析部２１４は、処理結果として、センテンス化されたテキスト情報とそれぞれのセンテンスの再生ポイントを表す再生ポイント情報とを統合データ編集管理部２１６に渡す。統合データ編集部２１５は、統合データ編集管理部２１６からの指示に応じて、データベース２０７にテキスト情報および再生ポイント情報を新たに記憶させたり、データベース２０７に記憶されているテキスト情報および再生ポイント情報を編集する。統合データ編集管理部２１６は、統合データ編集指示部３０４からの編集指示に基づき編集処理を後述するように管理する。統合データ表示指示部２１７は、統合データ検索部２１３から受け取った検索結果情報、または統合データ編集管理部２１６から受け取った編集結果情報を統合データ表示再生部３０２に渡し、それらの表示を指示する。
The integrated
統合データ検索指示部３０１は、ユーザＵ１の要求に応じて統合データ検索部２１３に検索指示を出す。統合データ表示再生部３０２は、統合データ表示指示部２１７より受け取った情報を表した画面を統合データ検索指示部３０１が備える表示デバイスを利用して表示する。音声取得部３０３は、音声入力部８０１から送られてきた音声データを取得し、統合データ編集指示部３０４に渡す。統合データ編集指示部３０４は、ユーザＵ２の要求に応じて統合データの編集指示を出す。
The integrated data
音声入力部８０１は、ユーザＵ１が発した音声を音声信号に換え、さらにこの音声信号をディジタル化して得られる音声データを医用画像保管装置２に送る。
The
次に以上のように構成された医療情報システムの動作について説明する。 Next, the operation of the medical information system configured as described above will be described.
（手技中におけるモニタ画像と音声との関連付け）
図３乃至図６はＩＶＲ等の手技中にユーザＵ２によりモニタされるモニタ画像とユーザＵ２が発する音声とを関連付けて保管するためのモニタ画像・音声管理部２０３の処理を示すフローチャートである。
(Association between monitor image and sound during the procedure)
3 to 6 are flowcharts showing processing of the monitor image /
医用画像保管装置２においてこの処理が起動されると、モニタ画像・音声管理部２０３がステップＳａ１乃至ステップＳａ３の待ち受け状態となる。この待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の開始のいずれかがユーザＵ２により要求されるのを待ち受ける。
When this process is activated in the medical
ユーザＵ２がキーパッド７での所定の操作により静止画の記録を要求したとすると、モニタ画像・音声管理部２０３は、ステップＳａ１からステップＳａ４へ進む。ステップＳａ４においてはモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報（患者ＩＤおよび撮影日時）を抽出する。この関連情報は、医用画像撮影装置１で把握している情報をモニタ画像中に文字列によって表されたものである。
If the user U2 requests recording of a still image by a predetermined operation on the
ステップＳａ５においてモニタ画像・音声管理部２０３は、ステップＳａ４において抽出した患者ＩＤ（以下、抽出患者ＩＤと称する）と手技開始時に取得した患者ＩＤ（入力患者ＩＤ）とが一致するか否かを確認する。入力患者ＩＤは、手技開始時に医用画像保管装置２に対してユーザＵ２などによって患者ＩＤが入力される。この患者ＩＤの入力は、例えばキーパッド７を用いて行われ、モニタ画像・音声管理部２０３に送られ、モニタ画像・音声管理部２０３にて入力患者ＩＤとして保持される。患者ＩＤの入力は、マイク６を用いて音声により行うこともできる。
In step Sa5, the monitor image /
抽出患者ＩＤと入力患者ＩＤとが一致する場合、モニタ画像・音声管理部２０３はステップＳａ５からステップＳａ６へ進む。ステップＳａ６においてモニタ画像・音声管理部２０３は、ステップＳａ４で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当するモニタ画像データを静止画ファイルとしてモニタ画像・音声保管部２０６に記憶させる。このように静止画ファイルを記録するときにモニタ画像・音声管理部２０３は、静止画ファイルに付与したファイル名、抽出患者ＩＤ、あるいは記録日時などの情報を含んだ管理データを作成し、この管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データをデータベース２０７に記憶させる。なお記録日時は、静止画ファイルとして記録したモニタ画像に関して抽出された撮影日時である。
When the extracted patient ID and the input patient ID match, the monitor image /
こののちにモニタ画像・音声管理部２０３は、ステップＳａ７乃至ステップＳａ９の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、静止画ファイルの記録を行ったのちの動画ファイルおよび音声ファイルの記録を行っていない状態においてステップＳａ７乃至ステップＳａ９の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の開始のいずれかがユーザＵ２により要求されるのを待ち受ける。
Thereafter, the monitor image /
この待ち受け状態においてユーザＵ２がキーパッド７での所定の操作などにより静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ７からステップＳａ１０へ進む。ステップＳａ１０においてモニタ画像・音声管理部２０３は、ステップＳａ６にて記録した静止画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ６にて記録した静止画ファイルに関する管理データに、関連音声ファイルが無い旨を示した関連ファイル情報を追加する。こののちにモニタ画像・音声管理部２０３は、ステップＳａ４の処理に戻る。
If the user U2 requests recording of a still image by a predetermined operation or the like on the
かくして、間に録音開始が要求されることなく２度連続で静止画の記録が要求された場合には、この２度のうちの先の要求に応じて記録された静止画ファイルには、音声ファイルは関連付けられない。 Thus, when recording of still images is requested twice in succession without being requested to start recording in the meantime, the still image file recorded in response to the previous request of these two times contains audio. The file is not associated.
一方、ステップＳａ７乃至ステップＳａ９の待ち受け状態にあるときに、ユーザＵ２がキーパッド７での所定の操作などにより録音開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ９からステップＳａ１１へ進む。ステップＳａ１１においてモニタ画像・音声管理部２０３は、音声ファイルの記録を開始する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録音開始を指示した上で、それ以降に音声取得部２０２より与えられる音声データをモニタ画像・音声登録部２０５へと順次送る。そうするとモニタ画像・音声登録部２０５は、こののちに録音終了が指示されるまでにモニタ画像・音声管理部２０３から送られてくる音声データを１つの音声ファイルとするようにモニタ画像・音声保管部２０６に記憶させて行く。このように音声ファイルの記録を開始するときにモニタ画像・音声管理部２０３は、音声ファイルに付与したファイル名、抽出患者ＩＤ、あるいは録音開始日時などの情報を含んだ管理データを作成し、この管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データをデータベース２０７に記憶させる。なお録音開始日時は、音声ファイルの記録を開始した日時である。
On the other hand, if the user U2 requests the start of recording by a predetermined operation or the like on the
このように録音しつつモニタ画像・音声管理部２０３は、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、静止画ファイルの記録後に音声ファイルの記録のみを行っている状態においてステップＳａ１２乃至ステップＳａ１４の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の終了のいずれかがユーザＵ２により要求されるのを待ち受ける。
While recording in this way, the monitor image /
この待ち受け状態においてユーザＵ２がキーパッド７での所定の操作などにより静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ１２からステップＳａ１５へ進む。ステップＳａ１５においてモニタ画像・音声管理部２０３は、ステップＳａ６にて記録した静止画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ６にて記録した静止画ファイルに関する管理データに、関連音声ファイルが無い旨を示した関連ファイル情報を追加する。なお、このステップＳａ１５の処理は初回のみ行い、ステップＳａ１２からステップＳａ１５への移行が２回目以降であるときには、上記の処理を行わずにステップＳａ１６へ進む。こののちにステップＳａ１６においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。
If the user U2 requests recording of a still image by a predetermined operation or the like on the
ステップＳａ１７においてモニタ画像・音声管理部２０３は、ステップＳａ１６において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ１８においてモニタ画像・音声管理部２０３は、ステップＳａ１６で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当するモニタ画像データを静止画ファイルとしてモニタ画像・音声保管部２０６に記憶させる。そしてこののちにモニタ画像・音声管理部２０３は、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態に戻る。
In step Sa17, the monitor image /
一方、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態にあるときにユーザＵ２がキーパッド７での所定の操作などにより録音の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ１４からステップＳａ１９へ進む。ステップＳａ１９においてモニタ画像・音声管理部２０３は、音声ファイルの記録を終了する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録音終了を指示するとともに、音声データの出力を停止する。そうするとモニタ画像・音声登録部２０５は、音声ファイルの記録を終了する。このように音声ファイルの記録を終了するときにモニタ画像・音声管理部２０３は、当該音声ファイルに関して記録の開始時にデータベース２０７に登録した管理データに録音終了日時を含めるようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データに該当する情報を追加する。なお録音終了日時は、音声ファイルの記録を終了した日時である。こののちにステップＳａ２０においてモニタ画像・音声管理部２０３は、このように記録を終了した音声ファイルとこの音声ファイルの記録中に記録された全ての静止画ファイルのそれぞれとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する音声ファイルの管理データに該当する静止画ファイルのファイル名を関連ファイル情報として追加するとともに、該当する静止画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。なおモニタ画像・音声管理部２０３は、後述する別のタイミングでの処理終了時も含めて、ユーザＵ２による手技が行われている期間には図３乃至図６に示す処理を再度自動的に開始しても良いし、ユーザＵ２による再開指示を受けて図３乃至図６に示す処理を再度開始しても良い。
On the other hand, if the user U2 requests the end of recording by a predetermined operation or the like on the
かくして、録音が行われていない状態にて静止画ファイルが記録された後に録音が開始された場合、その録音が行われている期間中に他の静止画の記録の要求および後述するような録画の開始の要求のいずれもがなされなかった場合は、録音された音声ファイルと、この音声ファイルの録音開始前に最も新しく記録された静止画ファイルとが関連付けられる。しかしながら、録音中に静止画が記録された場合には、その録音の開始前に録音が行われていない状態にて記録された静止画ファイルには、音声ファイルは関連付けられない。さらに、録音中に記録された静止画ファイルは、同時に録音されていた音声ファイルに関連付けられる。 Thus, when recording is started after a still image file is recorded in a state where recording is not performed, another still image recording request and recording as described later are performed during the recording period. If neither of the start requests is made, the recorded audio file and the still image file recorded most recently before the start of recording of the audio file are associated with each other. However, when a still image is recorded during recording, an audio file is not associated with the still image file recorded in a state where recording is not performed before the recording is started. Furthermore, the still image file recorded during recording is associated with the audio file recorded at the same time.
さて、ステップＳａ１乃至ステップＳａ３の待ち受け状態にあるときにユーザＵ２がキーパッド７での所定の操作などにより録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ２からステップＳａ２２（図４）へ進む。また、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態にあるときにユーザＵ２が録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ１３からステップＳａ２１（図４）を介してステップＳａ２２へ進む。なおステップＳａ２１においてモニタ画像・音声管理部２０３は、ステップＳａ６にて記録した静止画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ６にて記録した静止画ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。
If the user U2 requests the start of recording by a predetermined operation or the like on the
ステップＳａ２２においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。
In step Sa22, the monitor image /
ステップＳａ２３においてモニタ画像・音声管理部２０３は、ステップＳａ２２において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ２４においてモニタ画像・音声管理部２０３は、動画ファイルの記録を開始する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録画開始を指示した上で、それ以降にモニタ画像取得部２０１より与えられるモニタ画像データをモニタ画像・音声登録部２０５へと順次送る。そうするとモニタ画像・音声登録部２０５は、こののちに録画終了が指示されるまでにモニタ画像・音声管理部２０３から送られてくるモニタ画像データを１つの動画ファイルとするようにモニタ画像・音声保管部２０６に記憶させて行く。このように動画ファイルの記録を開始するときにモニタ画像・音声管理部２０３は、動画ファイルに付与したファイル名、抽出患者ＩＤ、あるいは録画開始日時などの情報を含んだ管理データを作成し、この管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データをデータベース２０７に記憶させる。なお録画開始日時は、動画ファイルとして最初に記録したモニタ画像の撮影日時である。
In step Sa23, the monitor image /
このように録画を行いつつモニタ画像・音声管理部２０３は、ステップＳａ２５およびステップＳａ２６の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、動画ファイルの記録のみを行っている状態においてステップＳａ２５乃至ステップＳａ２６の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、録画の終了または録音の開始のいずれかがユーザＵ２により要求されるのを待ち受ける。
The monitor image /
この待ち受け状態においてユーザＵ２がキーパッド７での所定の操作などにより録画の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ２５からステップＳａ２７へ進む。ステップＳａ２７においてモニタ画像・音声管理部２０３は、動画ファイルの記録を終了する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録画終了を指示するとともに、画像データの出力を停止する。そうするとモニタ画像・音声登録部２０５は、動画ファイルの記録を終了する。このように動画ファイルの記録を終了するときにモニタ画像・音声管理部２０３は、当該動画ファイルに関して記録の開始時にデータベース２０７に登録した管理データに録画終了日時を含めるようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データに該当する情報を追加する。なお、録画終了日時は、動画ファイルとして最後に記録したモニタ画像の撮影日時である。こののちにステップＳａ２８においてモニタ画像・音声管理部２０３は、上記の記録を終了した動画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する動画ファイルに関する管理データに、関連音声ファイルが無い旨を示した関連ファイル情報を追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。
If the user U2 requests the end of recording by a predetermined operation on the
かくして、記録されている期間に録音が行われなかった場合、記録された動画ファイルにはいずれの音声ファイルも関連付けられない。 Thus, if recording is not performed during the recording period, no audio file is associated with the recorded moving image file.
一方、ステップＳａ２５およびステップＳａ２６の待ち受け状態においてユーザＵ２が録音の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ２６からステップＳａ２９に進む。ステップＳａ２９においてモニタ画像・音声管理部２０３は、音声ファイルの記録を開始する。
On the other hand, if the user U2 requests the start of recording in the standby state of steps Sa25 and Sa26, the monitor image /
このように録音を行いつつモニタ画像・音声管理部２０３は、ステップＳａ３０およびステップＳａ３１の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、動画ファイルおよび音声ファイルのそれぞれの記録を行っている状態でステップＳａ３０およびステップＳａ３１の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、録画の終了または録音の終了のいずれかがユーザＵ２により要求されるのを待ち受ける。
The monitor image /
この待ち受け状態においてユーザＵ２が録音の終了を指示したとすると、モニタ画像・音声管理部２０３はステップＳａ３１からステップＳａ３２へ進む。ステップＳａ３２においてモニタ画像・音声管理部２０３は、音声ファイルの記録を終了する。こののちにステップＳａ３３においてモニタ画像・音声管理部２０３は、このように記録を終了した音声ファイルと記録中の動画ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する音声ファイルの管理データに該当する動画ファイルのファイル名を関連ファイル情報として追加するとともに、該当する動画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、ステップＳａ２５およびステップＳａ２６の待ち受け状態に戻る。
If the user U2 instructs the end of recording in this standby state, the monitor image /
一方、ステップＳａ２５およびステップＳａ２６の待ち受け状態においてユーザＵ２が録画の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３０からステップＳａ３４へ進む。ステップＳａ３４においてモニタ画像・音声管理部２０３は、動画ファイルの記録を終了する。こののちにモニタ画像・音声管理部２０３は、このように記録を終了した動画ファイルと記録中の音声ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する動画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加するとともに、該当する音声ファイルの管理データに該当する動画ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、ステップＳａ３５からステップＳａ３７乃至ステップＳａ３９の待ち受け状態（図５）に移行する。
On the other hand, if the user U2 requests the end of recording in the standby state of steps Sa25 and Sa26, the monitor image /
ところで、ステップＳａ１乃至ステップＳａ３の待ち受け状態にあるときにユーザＵ２が録音の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３からステップＳａ３６（図４）を介してステップＳａ３７乃至ステップＳａ３９の待ち受け状態に移行する。なおステップＳａ３６においてモニタ画像・音声管理部２０３は、音声ファイルの記録を開始する。すなわちモニタ画像・音声管理部２０３は音声ファイルの記録のみを行っている状態において、ステップＳａ３７乃至ステップＳａ３９の待ち受け状態となる。このステップＳａ３７乃至ステップＳａ３９の待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の終了のいずれかがユーザＵ２により要求されるのを待ち受ける。
By the way, if the user U2 requests the start of recording in the standby state of steps Sa1 to Sa3, the monitor image /
この待ち受け状態においてユーザＵ２が静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３７からステップＳａ４０へ進む。ステップＳａ４０においてモニタ画像・音声管理部２０３は、ステップＳａ４０においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。
If the user U2 requests recording of a still image in this standby state, the monitor image /
ステップＳａ４１においてモニタ画像・音声管理部２０３は、ステップＳａ４０において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ４２においてモニタ画像・音声管理部２０３は、ステップＳａ４０で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録する。こののちにステップＳａ４３においてモニタ画像・音声管理部２０３は、このように記録した静止画ファイルと記録中の音声ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する静止画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加するとともに、該当する音声ファイルの管理データに該当する静止画ファイルのファイル名を関連ファイル情報として追加する。そしてこののちにモニタ画像・音声管理部２０３は、ステップＳａ３７乃至ステップＳａ３９の待ち受け状態に戻る。
In step Sa41, the monitor image /
かくして、音声ファイルの記録中に静止画ファイルが記録された場合、この静止画ファイルと記録中の音声ファイルとが関連付けられる。 Thus, when a still image file is recorded during recording of the audio file, the still image file is associated with the audio file being recorded.
ステップＳａ３７乃至ステップＳａ３９の待ち受け状態においてユーザＵ２が録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３８からステップＳａ４４へ進む。ステップＳａ４４においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。
If the user U2 requests the start of recording in the standby state of steps Sa37 to Sa39, the monitor image /
ステップＳａ４５においてモニタ画像・音声管理部２０３は、ステップＳａ４４において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ４６においてモニタ画像・音声管理部２０３は、動画ファイルの記録を開始する。こののちにモニタ画像・音声管理部２０３は、ステップＳａ３０およびステップＳａ３１の待ち受け状態に戻る。
In step Sa45, the monitor image /
かくして、音声ファイルの記録中に動画ファイルの記録が開始された場合、この動画ファイルと記録中の音声ファイルとが関連付けられる。 Thus, when recording of a moving image file is started during recording of an audio file, the moving image file is associated with the audio file being recorded.
ステップＳａ３７乃至ステップＳａ３９の待ち受け状態においてユーザＵ２が録音の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３９からステップＳａ４７へ進む。ステップＳａ４７においてモニタ画像・音声管理部２０３は、音声ファイルの記録を終了する。こののちにモニタ画像・音声管理部２０３は、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、静止画ファイルまたは動画ファイルが関連付けられない状態で音声ファイルの記録を終了した場合にステップＳａ４８乃至ステップＳａ５１の待ち受け状態となる。そしてステップＳａ４８乃至ステップＳａ５１の待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の開始のいずれかがユーザＵ２により要求されるか、ステップＳａ４７にて音声ファイルの記録を終了してから一定時間が経過するのを待ち受ける。
If the user U2 requests the end of recording in the standby state of steps Sa37 to Sa39, the monitor image /
この待ち受け状態においてユーザＵ２が静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ４８からステップＳａ５２へ進む。ステップＳａ５２においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。
If the user U2 requests recording of a still image in this standby state, the monitor image /
ステップＳａ５３においてモニタ画像・音声管理部２０３は、ステップＳａ５２において抽出した抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。抽出患者ＩＤと入力患者ＩＤとが一致する場合、モニタ画像・音声管理部２０３はステップＳａ５３からステップＳａ５４へ進む。ステップＳａ４３においてモニタ画像・音声管理部２０３は、ステップＳａ５２で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当するモニタ画像データを静止画ファイルとしてモニタ画像・音声保管部２０６に記憶させる。
In step Sa53, the monitor image /
こののちにステップＳａ５５においてモニタ画像・音声管理部２０３は、このように記録した静止画ファイルとステップＳａ４７にて記録を終了した音声ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する静止画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加するとともに、該当する音声ファイルの管理データに該当する静止画ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。
Thereafter, in step Sa55, the monitor image /
かくして、音声ファイルの記録がいずれの静止画ファイルおよび動画ファイルにも関連付けられることなく終了し、さらにその後に一定時間が経過する前に静止画ファイルが記録されたならば、この静止画ファイルと上記の既に記録が終了した音声ファイルとが関連付けられる。なお、一定時間は、任意の固定値、あるいはユーザＵ２や医用画像保管装置２の管理者による任意の設定値であって良い。
Thus, if the recording of the audio file ends without being associated with any of the still image file and the moving image file, and if a still image file is recorded before a certain period of time has passed after that, Is associated with an already recorded audio file. The fixed time may be an arbitrary fixed value or an arbitrary set value by the user U2 or the administrator of the medical
一方、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態においてユーザＵ２が録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ４９からステップＳａ５６へ進む。ステップＳａ５６においてモニタ画像・音声管理部２０３は、ステップＳａ４７で記録を終了した音声ファイルの関連静止画ファイルおよび関連動画ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ４７で記録を終了した音声ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。そしてこの後にモニタ画像・音声管理部２０３は、ステップＳａ２２に戻る。
On the other hand, if the user U2 requests the start of recording in the standby state of steps Sa48 to Sa51, the monitor image /
また、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態においてユーザＵ２が録音の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ５０からステップＳａ５７へ進む。ステップＳａ５７においてモニタ画像・音声管理部２０３は、ステップＳａ４７で記録を終了した音声ファイルの関連静止画ファイルおよび関連動画ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ４７で記録を終了した音声ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。そしてこの後にモニタ画像・音声管理部２０３は、ステップＳａ３６に戻る。
If the user U2 requests the start of recording in the standby state of steps Sa48 to Sa51, the monitor image /
さらに、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態において、静止画の記録、録画の開始、あるいは録音の開始のいずれもが要求されないまま一定時間が経過したとすると、モニタ画像・音声管理部２０３はステップＳａ５１からステップＳａ５８へ進む。ステップＳａ５８においてモニタ画像・音声管理部２０３は、ステップＳａ４７で記録を終了した音声ファイルの関連静止画ファイルおよび関連動画ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ４７で記録を終了した音声ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。
Furthermore, in the standby state of steps Sa48 to Sa51, if a certain time has passed without any request for recording a still image, starting recording, or starting recording, the monitor image /
かくして、音声ファイルの記録がいずれの静止画ファイルおよび動画ファイルにも関連付けられることなく終了し、さらにその後に一定時間が経過する前に静止画の記録がなされなければ、上記の既に記録が終了した音声ファイルにはいずれのファイルも関連付けられない。 Thus, if the recording of the audio file ends without being associated with any of the still image file and the moving image file, and if the recording of the still image is not performed before a certain time has passed after that, the above recording has already ended. No file is associated with the audio file.
ところで、ステップＳａ５、ステップＳａ１７、ステップＳａ２３、ステップＳａ４１、ステップＳａ４５、ならびにステップＳａ５３においては抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認している。ここで抽出患者ＩＤと入力患者ＩＤとが一致しなかった場合、モニタ画像・音声管理部２０３は各ステップからステップＳａ５９（図３）へ進む。ステップＳａ５９においてモニタ画像・音声管理部２０３は、ユーザＵ２または医用画像保管装置２の管理者などに対する警告処理を行う。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。この警告処理は例えば、患者ＩＤが一致しないことを示した警告メッセージを表示または音声出力により提示する処理である。警告メッセージを表示する場合、そのための表示デバイス（図示せず）を用いても良いし、モニタ５や医用画像保管装置２が備える表示デバイス（図示せず）を用いても良い。
By the way, in step Sa5, step Sa17, step Sa23, step Sa41, step Sa45, and step Sa53, it is confirmed whether or not the extracted patient ID matches the input patient ID. If the extracted patient ID does not match the input patient ID, the monitor image /
（手技後におけるモニタ画像および音声とＤＩＣＯＭ画像との関連付け）
図７はＩＶＲ等の手技後におけるモニタ画像および音声とＤＩＣＯＭ画像とを関連付けるための画像・音声統合管理部２０９における処理を示すフローチャートである。
(Association between monitor image and sound after procedure and DICOM image)
FIG. 7 is a flowchart showing processing in the image / sound integrated
ステップＳｂ１において画像・音声統合管理部２０９は、画像データ送信部１０５から送信されるＤＩＣＯＭデータの受信を画像データ受信部２０８に行わせ、当該ＤＩＣＯＭデータを画像データ受信部２０８から受け取る。
In step Sb1, the image / sound integrated
ステップＳｂ２において画像・音声統合管理部２０９は、受け取ったＤＩＣＯＭデータに含まれた付帯情報から患者ＩＤおよび撮影日時を取得する。
In step Sb2, the image / sound integrated
ステップＳｂ３において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連付けるべき静止画ファイル（以下、関連静止画ファイルと称する）を検索する。具体的には画像・音声統合管理部２０９は、静止画ファイルに関する管理データであって、上記の取得した患者ＩＤと同じ抽出患者ＩＤを含むとともに、上記の取得した撮影日時と同じ撮影日時を含み、かつ関連ＤＩＣＯＭ情報を含んでいないものをデータベース２０７から検索し、該当する管理データに対応した静止画ファイルを関連静止画ファイルとする。
In step Sb3, the image / sound integrated
ステップＳｂ４において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連静止画ファイルが有ったか否かを確認する。そして関連静止画ファイルが有ったならば、画像・音声統合管理部２０９はステップＳｂ４からステップＳｂ５へ進む。
In step Sb4, the image / sound integrated
ステップＳｂ５において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連付けるべき音声ファイル（以下、関連音声ファイルと称する）があるか否かを確認する。これは、関連静止画ファイルの管理データに音声ファイルのファイル名が関連ファイル情報として含まれているか否かを確認することにより行える。そして該当する関連ファイル情報があるならば、それに対応する音声ファイルを関連音声ファイルとする。関連音声ファイルが有るならば、画像・音声統合管理部２０９はステップＳｂ５からステップＳｂ６へ進む。
In step Sb5, the image / sound integrated
ステップＳｂ６において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連静止画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報と、関連音声ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報とを含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。
In step Sb6, the integrated image /
ステップＳｂ７において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報（患者ＩＤ、検査ＩＤ、シリーズＩＤ、画像ＩＤ等々、ＤＩＣＯＭデータの検索や管理に必要な情報）をデータベース２０７に記憶させる。
In step Sb7, the image / sound integrated
さらにステップＳｂ８において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連静止画ファイルの管理データおよび関連音声ファイルの管理データを、ステップＳｂ７で登録されたＤＩＣＯＭデータの識別情報またはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報を含むようにそれぞれ変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。
Further, in step Sb8, the integrated image /
このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている静止画ファイルおよび音声ファイルと関連付けられ、これらのデータが統合される。
In this way, the DICOM data is associated with the still image file and the audio file stored in the monitor image /
さて、関連静止画ファイルが見つかったものの関連音声ファイルは無い場合には、画像・音声統合管理部２０９はステップＳｂ５からステップＳｂ９へ進む。ステップＳｂ９において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連静止画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報を含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。
If a related still image file is found but there is no related audio file, the image / sound integrated
ステップＳｂ１０において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。
In step Sb10, the image / sound integrated
さらにステップＳｂ１１において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連静止画ファイルの管理データを、ステップＳｂ１０で登録されたＤＩＣＯＭデータの識別情報またはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報を含むように変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。
Further, in step Sb11, the integrated image /
このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている静止画ファイルと関連付けられ、これらのデータが統合される。
In this way, DICOM data is associated with the still image file stored in the monitor image /
一方、関連静止画ファイルが見つからなかった場合、画像・音声統合管理部２０９はステップＳｂ４からステップＳｂ１２へ進む。ステップＳｂ１２において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連付けるべき動画ファイル（以下、関連動画ファイルと称する）を検索する。具体的には画像・音声統合管理部２０９は、動画ファイルに関する管理データであって、上記の取得した患者ＩＤと同じ抽出患者ＩＤを含むとともに、上記の取得した撮影日時を内在する撮影期間を表す録画開始日時および録画終了日時を含み、かつ関連ＤＩＣＯＭ情報を含んでいないものをデータベース２０７から検索し、該当する管理データに対応した動画ファイルを関連動画ファイルとする。
On the other hand, when the related still image file is not found, the image / sound integrated
ステップＳｂ１３において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連動画ファイルが有ったか否かを確認する。そして関連動画ファイルが有ったならば、画像・音声統合管理部２０９はステップＳｂ１３からステップＳｂ１４へ進む。
In step Sb13, the image / sound integrated
ステップＳｂ１４において画像・音声統合管理部２０９は、関連音声ファイルがあるか否かを確認する。これは、関連動画ファイルの管理データに音声ファイルのファイル名が関連ファイル情報として含まれているか否かを確認することにより行える。そして該当する関連ファイル情報があるならば、それに対応する音声ファイルを関連音声ファイルとする。関連音声ファイルが有るならば、画像・音声統合管理部２０９はステップＳｂ１４からステップＳｂ１５へ進む。
In step Sb14, the image / sound integrated
ステップＳｂ１５において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連動画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報と、関連音声ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報とを含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。
In step Sb15, the integrated image /
ステップＳｂ１６において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。
In step Sb16, the integrated image /
さらにステップＳｂ１７において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連動画ファイルの管理データおよび関連音声ファイルの管理データを、ステップＳｂ１６で登録されたＤＩＣＯＭデータを一意に識別するための情報、このＤＩＣＯＭデータに含まれたＤＩＣＯＭ画像を一意に識別するための情報（ＳＯＰインスタンスＵＩＤなど）、あるいはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報などを含むようにそれぞれ変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。
Further, in step Sb17, the image / sound integrated
このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている動画ファイルおよび音声ファイルと関連付けられ、これらのデータが統合される。
In this way, the DICOM data is associated with the moving image file and the audio file stored in the monitor image /
さて、関連動画ファイルが見つかったものの関連音声ファイルは無い場合には、画像・音声統合管理部２０９はステップＳｂ１４からステップＳｂ１８へ進む。ステップＳｂ１８において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連動画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報を含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。
If a related video file is found but there is no related audio file, the image / sound integrated
ステップＳｂ１９において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。
In step Sb19, the integrated image /
さらにステップＳｂ２０において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連動画ファイルの管理データを、ステップＳｂ１９で登録されたＤＩＣＯＭデータの識別情報またはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報を含むように変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。
Further, in step Sb20, the integrated image /
このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている動画ファイルと関連付けられ、これらのデータが統合される。
In this way, the DICOM data is associated with the moving image file stored in the monitor image /
なお、関連静止画ファイルも関連動画ファイルも見つからなかった場合、画像・音声統合管理部２０９はステップＳｂ１４からステップＳｂ２１へ進む。ステップＳｂ２１において画像・音声統合管理部２０９は、ステップＳｂ１で取得したままの未編集のＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。
If neither the related still image file nor the related moving image file is found, the image / sound integrated
（手技結果の観察）
図８乃至図１１は手技結果をユーザＵ１に観察させるための医用画像保管装置２での処理を示すフローチャートである。
(Observation of procedure results)
FIGS. 8 to 11 are flowcharts showing processing in the medical
ユーザＵ１からの要求に応じて医用画像保管装置２は、検索画面を医用画像観察装置３にて表示させる。具体的には、統合データ検索指示部３０１が、統合データ検索部２１３に検索指示を出す。この検索指示を受けると統合データ検索部２１３は、データベース２０７に記憶された管理データおよびＤＩＣＯＭデータ保管部２１２に記憶されたＤＩＣＯＭデータのうちの予め定められた情報を検索する。そして統合データ検索部２１３は、見つかった情報を抽出して、統合データ表示指示部２１７に送る。統合データ表示指示部２１７は、統合データ検索部２１３から送られた情報に基づいて検索画面を作成し、この検索画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、検索画面を表示する。
The medical
図１２は検索画面の一例を示す図である。 FIG. 12 shows an example of the search screen.
検索画面は、検査リスト、シリーズリストおよび画像リストを含む。 The search screen includes an examination list, a series list, and an image list.
検査リストは、ＤＩＣＯＭデータ保管部２１２に保管されたＤＩＣＯＭデータが取得された検査のそれぞれに関する情報の一覧を示す。検査リストには、ネットワーク９を介して図示しないＲＩＳ（radiology information system）などの検査管理システムから取得した情報を含んでも良いし、あるいは当該情報のみの一覧としても良い。シリーズリストは、検査リストから選択された検査内のシリーズのそれぞれに関する情報の一覧を示す。画像リストは、シリーズリストから選択されたシリーズ内で取得された画像に関する情報の一覧を示す。画像リストにリストアップされるのは、主としてＤＩＣＯＭ画像に関する情報である。しかし、ＤＩＣＯＭデータが関連付けられていない映像ファイル（静止画ファイルまたは動画ファイル）が存在するならば、それらのファイルに関する情報を含んでも良い。また、用途によっては、モニタ画像・音声保管部２０６に記憶された映像ファイルに関する情報のみを画像リストとしてリストアップしても良い。これらの各リストには、音声ファイルまたは映像ファイルが関連付けられているか否かを黒丸マークの有無により表している。
The examination list shows a list of information related to each examination from which DICOM data stored in the DICOM
検査リストを表示させつつステップＳｃ２において統合データ表示再生部３０２は、画像表示が要求されるのを待ち受ける。そしてこの待ち受け状態においてユーザＵ１が画像表示を要求したとすると、統合データ表示再生部３０２はステップＳｃ２からステップＳｃ３へ進む。
In step Sc2, the integrated data
ステップＳｃ３において医用画像観察装置２は、指定されたＤＩＣＯＭ画像またはモニタ画像を含んだビューア画面を医用画像観察装置３にて表示させる。具体的には、統合データ検索指示部３０１が、ユーザＵ１が指定したＤＩＣＯＭ画像のＤＩＣＯＭ画像データの検索を統合データ検索部２１３に指示する。この指示に応じて統合データ検索部２１３は、指示されたＤＩＣＯＭ画像データをＤＩＣＯＭデータ保管部２１２から読み出し、統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったＤＩＣＯＭ画像データが表すＤＩＣＯＭ画像を含んだビューア画面を作成し、このビューア画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、ビューア画面を表示する。
In step Sc3, the medical
図１３はビューア画面の一例を示す図である。 FIG. 13 shows an example of the viewer screen.
ビューア画面には、ＤＩＣＯＭ画像ＩＭ１のほかに、再生ボタンＢ１、編集ボタンＢ２、内容確認ボタンＢ３および新規追加ボタンＢ４を含む。 In addition to the DICOM image IM1, the viewer screen includes a play button B1, an edit button B2, a content confirmation button B3, and a new addition button B4.
ビューア画面を表示させつつステップＳｃ４乃至ステップＳｃ７の待ち受け状態において医用画像観察装置２は、再生、編集開始、音声情報表示、あるいは新規追加のいずれかが要求されるのを待ち受ける。なお、再生ボタンＢ１は、ＤＩＣＯＭ画像ＩＭ１に関連付けられた音声ファイルまたは映像ファイルが有る場合にのみ表示する。また編集ボタンＢ２および内容確認ボタンＢ３は、ＤＩＣＯＭ画像ＩＭ１に関連付けられた音声ファイルが有る場合にのみ表示する。
While displaying the viewer screen, in the standby state of Step Sc4 to Step Sc7, the medical
この待ち受け状態にあるときに、ユーザＵ１が例えば再生ボタンＢ１をクリックするなどして再生を要求したとすると、医用画像観察装置２はステップＳｃ４からステップＳｃ８へ進む。ステップＳｃ８において医用画像観察装置２は、表示中の画像に関連付けられているファイルに基づいて映像や音声を再生する。具体的には、ユーザＵ１が再生を要求したことに応じて、表示中の画像に関連付けられているファイルの検索を統合データ検索指示部３０１が統合データ検索部２１３に指示する。この指示に応じて統合データ検索部２１３は、該当するファイルをモニタ画像・音声保管部２０６から読み出し、統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったファイルを統合データ表示再生部３０２に送り、その表示および再生を指示する。この指示に応じて統合データ表示再生部３０２は、静止画ファイルが与えられたならば、これに基づいて静止画を表示し、動画ファイルが与えられたならば、これに基づいて動画を表示し、音声ファイルが与えられたならば、これに基づいて音声を再生し、ＤＩＣＯＭデータが与えられたならば、これに基づいてＤＩＣＯＭ画像を表示する。そして表示および再生を終えたならば、医用画像観察装置２はステップＳａ３に戻る。
If the user U1 requests reproduction by clicking the reproduction button B1, for example, in this standby state, the medical
かくして、ユーザＵ１は、ユーザＵ２が手技の際に注目していたモニタ画像とユーザＵ２が発した音声とを観察することができる。 Thus, the user U1 can observe the monitor image that the user U2 was paying attention to when performing the procedure and the sound that the user U2 uttered.
ステップＳｃ４乃至ステップＳｃ７の待ち受け状態にあるときに、ユーザＵ１が例えば編集ボタンＢ２をクリックするなどして編集開始を要求したとすると、医用画像観察装置２はステップＳｃ５からステップＳｃ９（図９）へ進む。ステップＳｃ９において医用画像観察装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声が既に分析済みであるか否かを確認する。具体的には、音声ファイルが分析済みである場合、この音声ファイルには後述するようにテキスト情報が関連付けられてモニタ画像・音声保管部２０６に保管されている。そこで統合データ編集管理部２１６が、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルにテキスト情報が関連付けられているか否かを統合データ検索部２１３に検索させて、その検索結果を受ける。そして該当するテキスト情報が見つからない場合に、分析済みではないと統合データ編集管理部２１６が判定する。そしてこのように分析済みではないと判定した場合には、医用画像保管装置２はステップＳｃ９からステップＳｃ１０へ進む。ステップＳｃ１０において医用画像保管装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声を分析する。具体的には、統合データ編集管理部２１６が統合データ分析部２１４に対して分析の実行を指示する。この指示に応じて統合データ分析部２１４は、分析対象となる音声ファイルをモニタ画像・音声保管部２０６から読み出して、音声認識によりテキスト化し、さらにセンテンス分割する。さらに統合データ分析部２１４は、分割したセンテンスのそれぞれについて、元となる音声ファイル内での対応する音声の開示日時および終了日時を判定し、この開示日時および終了日時を示した再生ポイント情報を生成する。
If the user U1 requests to start editing by, for example, clicking the edit button B2 while in the standby state of steps Sc4 to Sc7, the medical
ステップＳｃ１１においては統合データ分析部２１４が、上記の分析の結果として得られるセンテンスの情報と再生ポイント情報との集合からなるテキスト情報を、分析対象の音声ファイルに関連付けてモニタ画像・音声保管部２０６に保存する。そしてこののちに医用画像保管装置２は、ステップＳｃ１３へ進む。
In step Sc11, the integrated
一方、音声が既に分析済みである場合には、医用画像保管装置２はステップＳｃ９からステップＳｃ１０へ進む。ステップＳｃ１０においては統合データ編集管理部２１６が、音声ファイルに関連付けられているテキスト情報を統合データ検索部２１３を介してモニタ画像・音声保管部２０６から取得する。そしてこののちに医用画像保管装置２は、ステップＳｃ１３へ進む。
On the other hand, if the voice has already been analyzed, the medical
ステップＳｃ１３において医用画像保管装置２は、編集画面を医用画像観察装置３にて表示させる。具体的には、統合データ編集管理部２１６が、ステップＳｃ１０での分析で得られたか、またはステップＳｃ１２で取得したテキスト情報を統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったテキスト情報の内容を表す音声編集エリアを含んだ編集画面を作成し、この編集画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、編集画面を表示する。
In step Sc <b> 13, the medical
図１４は編集画面の一例を示す図である。 FIG. 14 is a diagram showing an example of the editing screen.
符号ＡＲ１を付して示されるエリアが音声編集エリアである。編集画面はほかに、再生ボタンＢ１１および保存ボタンＢ１２を含む。 The area indicated by the symbol AR1 is a voice editing area. In addition, the edit screen includes a play button B11 and a save button B12.
音声編集エリアＡＲ１には、「このじょうたいでがいどわいやーはうまくせんこうしたが えー きゅうげきなまいくろかてーてるのそうさにより がいでぃんぐかてーてるはあおるたにじゃんぷした いこうちゅういをようする」という音声から得られた「この状態でガイドワイヤーはうまく潜行したが」「えー、急激なマイクロカテーテルの操作により」「ガイディングカテーテルはアオルタにジャンプした。」および「以降注意を要する。」という４つのセンテンスが表されている。さらにこれらのセンテンスのそれぞれに対応付けてチェックボックスＣＢ１〜ＣＢ４が表されている。 In the voice editing area AR1, “This is not a good thing. “The guide wire has been submerged well in this state”, “Eh, sudden manipulation of the microcatheter”, “The guiding catheter jumped to the alternator,” and “Afterwards” Four sentences are shown: "Please pay attention." Furthermore, check boxes CB1 to CB4 are shown in association with each of these sentences.
編集画面が表示された状態で医用画像保管装置２はステップＳｃ１４乃至ステップＳｃ１６において、チェックボックスがクリックされるか、再生が要求されるか、あるいは保存が要求されるのを待ち受ける。
In a state where the edit screen is displayed, the medical
この待ち受け状態において、ユーザＵ１がチェックボックスをクリックしたとすると、医用画像観察装置２はステップＳｃ１４からステップＳｃ１７へ進む。ステップＳｃ１７において医用画像観察装置２は、クリックされたチェックボックスに対応するセンテンスの要否設定を反転する。具体的には、各センテンスの要否設定は、ステップＳｃ１０で分析された直後には、統合データ編集管理部２１６によっていずれも例えば「要」に設定される。そしてチェックボックスがクリックされる毎に、そのチェックボックスに対応するセンテンスの要否設定を統合データ編集管理部２１６が反転させる。また、統合データ編集部２１６は、各センテンスの要否設定を統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、各センテンスの要否設定に応じて、設定画面におけるチェックボックスの表示形態を変更する。こののちに医用画像保管装置２は、ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態に戻る。
If the user U1 clicks the check box in this standby state, the medical
例えば、図１４ではチェックボックスＣＢ１〜ＣＢ４はいずれも要否設定が「要」であることを示している。図１５は図１４の状態からチェックボックスＣＢ４がクリックされた後の設定画面を示す図である。図１５でのチェックボックスＣＢ４は、要否設定が「否」であることを示している。 For example, in FIG. 14, the check boxes CB1 to CB4 all indicate that the necessity setting is “necessary”. FIG. 15 is a diagram showing a setting screen after the check box CB4 is clicked from the state of FIG. A check box CB4 in FIG. 15 indicates that the necessity setting is “No”.
ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態において、ユーザＵ１が例えば再生ボタンＢ１１をクリックするなどして再生を要求したとすると、医用画像保管装置２はステップＳｃ１５からステップＳｃ１８へ進む。ステップＳｃ１８において医用画像保管装置２は、要否設定が「要」であるセンテンスに相当する音声のみを統合データ表示再生部３０２に再生させる。具体的には、統合データ表示指示部２１７が、要否設定が「要」であるセンテンスに相当する音声のそれぞれのデータを統合データ検索部２１３を介してモニタ画像・音声保管部２０６から抽出して、これらのデータをつなぎ合わせて再生用の音声データを生成する。そして統合データ表示指示部２１７は、このように生成した再生用の音声データを統合データ表示再生部３０２へを送り、その再生を指示する。この指示に応じて統合データ表示再生部３０２は、上記の再生用の音声データに基づいて音声を再生する。こののちに医用画像保管装置２は、ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態に戻る。
In the standby state of steps Sc14 to Sc16, if the user U1 requests reproduction by clicking the reproduction button B11, for example, the medical
かくして、ユーザＵ１は現状の要否設定により得られる音声の内容を確認することができる。なお、音声の内容は表示されたテキストから判断が可能であるが、音声認識率の問題でテキストは音声の内容を完全に正しくは表さないことがある。また、テキストからは、ユーザＵ２の発声の微妙なニュアンスなどを知ることはできない。このため、音声の再生により音声の内容を確認できることは有用である。 Thus, the user U1 can confirm the content of the voice obtained by the current necessity setting. Note that the content of the speech can be determined from the displayed text, but the text may not completely represent the content of the speech due to the problem of speech recognition rate. Further, the subtle nuances of the utterance of the user U2 cannot be known from the text. For this reason, it is useful to be able to confirm the content of audio by reproducing the audio.
ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態において、ユーザＵ１が例えば保存ボタンＢ１２をクリックするなどして保存を要求したとすると、医用画像保管装置２はステップＳｃ１６からステップＳｃ１９へ進む。ステップＳｃ１９において医用画像保管装置２は、各センテンスの要否設定を記録する。具体的には、統合データ編集管理部２１６が統合データ編集部２１５に要否設定の記録を指示する。この指示に応じて統合データ編集部２１５は、要否設定を表す設定情報をデータベース２０７に記憶させる。こののちに医用画像保管装置２は、ステップＳｃ３に戻る。
In the standby state of steps Sc14 to Sc16, if the user U1 requests saving by, for example, clicking the save button B12, the medical
ステップＳｃ４乃至ステップＳｃ７の待ち受け状態にあるときに、ユーザＵ１が例えば内容確認ボタンＢ３をクリックするなどして音声情報表示を要求したとすると、医用画像観察装置２はステップＳｃ６からステップＳｃ２０（図１０）へ進む。ステップＳｃ２０において医用画像観察装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声が既に分析済みであるか否かを確認する。そして分析済みではないと判定した場合には、医用画像保管装置２はステップＳｃ２０からステップＳｃ２１へ進む。ステップＳｃ２１において医用画像保管装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声を分析する。ステップＳｃ２２においては統合データ分析部２１４が、上記の分析の結果として得られるテキスト情報を、分析対象の音声ファイルに関連付けてモニタ画像・音声保管部２０６に保存する。そしてこののちに医用画像保管装置２は、ステップＳｃ２４へ進む。
If the user U1 requests voice information display by clicking the content confirmation button B3, for example, while in the standby state of steps Sc4 to Sc7, the medical
一方、音声が既に分析済みである場合には、医用画像保管装置２はステップＳｃ２０からステップＳｃ２３へ進む。ステップＳｃ２３においては統合データ編集管理部２１６が、音声ファイルに関連付けられているテキスト情報を統合データ検索部２１３を介してモニタ画像・音声保管部２０６から、また当該テキスト情報に関する設定情報を統合データ検索部２１３を介してデータベース２０７からそれぞれ取得する。そしてこののちに医用画像保管装置２は、ステップＳｃ２４へ進む。
On the other hand, if the voice has already been analyzed, the medical
ステップＳｃ２４において医用画像保管装置２は、音声情報画面を医用画像観察装置３にて表示させる。具体的には、統合データ編集管理部２１６が、ステップＳｃ２１での分析で得られたテキスト情報および全てのセンテンスの要否設定を「要」とした設定情報か、またはステップＳｃ２３で取得したテキスト情報および設定情報を統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったテキスト情報および設定情報に基づく音声情報表示エリアを含んだ音声情報画面を作成し、この音声情報画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、音声情報画面を表示する。
In step Sc24, the medical
図１６は音声情報画面の一例を示す図である。 FIG. 16 is a diagram showing an example of a voice information screen.
符号ＡＲ２を付して示されるエリアが音声情報表示エリアである。音声情報画面はほかに、全文再生ボタンＢ２１を含む。 The area indicated with the symbol AR2 is the audio information display area. In addition, the audio information screen includes a full-text playback button B21.
音声情報表示エリアＡＲ２には、要否設定が「要」となっているセンテンスがそれぞれ表されている。 In the voice information display area AR2, the sentences whose necessity setting is “necessary” are respectively displayed.
音声情報画面が表示された状態で医用画像保管装置２はステップＳｃ２５乃至ステップＳｃ２７において、表示されているセンテンスのいずれかが選択されるか、全文再生が要求されるか、あるいは音声情報表示の終了が要求されるのを待ち受ける。
In a state where the voice information screen is displayed, the medical
この待ち受け状態において、ユーザＵ１が表示されているセンテンスの表示範囲のいずれかをクリックしたとすると、医用画像観察装置２はステップＳｃ２５からステップＳｃ２８へ進む。ステップＳｃ２８において医用画像観察装置２は、クリックされたセンテンスの先頭に相当する日時を始点として、それ以降の期間に対応し、かつ要否設定が「要」である各センテンスの音声を統合データ表示再生部３０２に再生させる。また、音声情報表示エリアＡＲ２に表示したテキスト情報の抽出元である音声ファイルに静止画ファイルまたは動画ファイルが関連付けられているならば、医用画像保管装置２は当該静止画ファイルまたは動画ファイルに基づいて静止画または動画を統合データ表示再生部３０２に表示させる。なお、動画を表示させる場合には、音声を再生する期間と同じ期間に関する動画を音声と同期させて表示させる。ただし、動画と音声とは、同期していなくても良い場合もあり、この場合には動画と音声とをそれぞれに表示させる。こののちに医用画像保管装置２は、ステップＳｃ２５乃至ステップＳｃ２７の待ち受け状態に戻る。
In this standby state, if the user U1 clicks on one of the displayed sentence ranges, the medical
かくして、ユーザＵ１は音声情報画面における表示や再生される音声により、ユーザＵ２が手技の際に注目していたモニタ画像とユーザＵ２が発した音声とを任意の時点から観察することができる。 Thus, the user U1 can observe the monitor image focused on by the user U2 during the procedure and the voice uttered by the user U2 from an arbitrary point of time based on the voice displayed on the voice information screen and the reproduced voice.
ステップＳｃ２５乃至ステップＳｃ２６の待ち受け状態において、ユーザＵ１が例えば全文再生ボタンＢ２１をクリックするなどして全文の再生を要求したとすると、医用画像保管装置２はステップＳｃ２６からステップＳｃ２９へ進む。ステップＳｃ２９において医用画像保管装置２は、要否設定が「要」であるセンテンスに相当する音声の全てを統合データ表示再生部３０２に再生させる。こののちに医用画像保管装置２は、ステップＳｃ２５乃至ステップＳｃ２７の待ち受け状態に戻る。
In the standby state of steps Sc25 to Sc26, if the user U1 requests the reproduction of the full text by, for example, clicking the full text reproduction button B21, the medical
かくして、ユーザＵ２は現状の要否設定により得られる音声全文の内容を確認することができる。 Thus, the user U2 can confirm the content of the full speech obtained by the current necessity setting.
ステップＳｃ２５乃至ステップＳｃ２７の待ち受け状態において、ユーザＵ１が音声情報表示の終了を要求したとすると、医用画像保管装置２はステップＳｃ２７からステップＳｃ３に戻る。
If the user U1 requests the end of audio information display in the standby state of steps Sc25 to Sc27, the medical
ところで、図８に示すステップＳｃ４乃至ステップＳｃ７の待ち受け状態において、ユーザＵ１が例えば新規追加ボタンＢ４をクリックするなどして新規追加を要求したとすると、医用画像保管装置２はステップＳｃ７からステップＳｃ３０（図１１）へ進む。ステップＳｃ３０において医用画像保管装置２は、録音操作画面を医用画像観察装置３にて表示させる。具体的には、統合データ表示指示部２１７は、新規追加ボタンＢ４がクリックされた際にビューア画面に含まれていたＤＩＣＯＭ画像を含むとともに、録音ボタン、確認再生ボタンおよび確定ボタンを含んだ画面として録音操作画面を作成し、この録音操作画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、録音操作画面を表示する。
By the way, if the user U1 requests new addition, for example, by clicking the new addition button B4 in the standby state of steps Sc4 to Sc7 shown in FIG. 8, the medical
図１７は録音操作画面の一例を示す図である。 FIG. 17 shows an example of a recording operation screen.
図１７における符号ＩＭ２、Ｂ３１、Ｂ３２およびＢ３３が、ＤＩＣＯＭ画像、録音ボタン、確認再生ボタンおよび確定ボタンをそれぞれ示す。 Reference numerals IM2, B31, B32, and B33 in FIG. 17 indicate a DICOM image, a recording button, a confirmation playback button, and a confirmation button, respectively.
録音操作画面を表示させつつステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態において医用画像観察装置２は、録音開始、確認再生および確定のいずれかが要求されるのを待ち受ける。
While displaying the recording operation screen, the medical
この待ち受け状態にあるときに、ユーザＵ１が例えば録音ボタンＢ３１をクリックするなどして録音開始を要求したとすると、医用画像観察装置２はステップＳｃ３１からステップＳｃ３４へ進む。ステップＳｃ３４において医用画像観察装置２は、音声ファイルの記録を開始する。具体的には、ユーザＵ１の録音開始の要求は、統合データ編集指示部３０４によって統合データ編集管理部２１６に伝えられる。そして統合データ編集指示部３０４は、それ以降において音声取得部３０３が音声入力部８０１から取得する音声データを統合データ編集管理部２１６に送る。そこで統合データ編集管理部２１６は、この音声データを統合データ編集部２１５に渡す。そうすると統合データ編集部２１５は、この音声データを新たな音声ファイルとしてモニタ画像・音声保管部２０６に記録して行く。
If the user U1 requests to start recording by, for example, clicking the recording button B31 in this standby state, the medical
このように音声ファイルを記録しつつ医用画像保管装置２は、ステップＳｃ３５にて録音終了が要求されるのを待ち受ける。そしてユーザＵ１が例えば録音ボタンＢ３１を再度クリックするなどして録音終了を要求したとすると、医用画像保管装置２はステップＳｃ３５からステップＳｃ３６へ進み、音声ファイルの記録を終了する。こののちに医用画像保管装置２は、ステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態に戻る。
In this way, the medical
ステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態において、ユーザＵ１が例えば確認再生ボタンＢ３２をクリックするなどして確認再生を要求したとすると、医用画像保管装置２はステップＳｃ３２からステップＳｃ３７へ進む。ステップＳｃ３７において医用画像保管装置２は、ステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルに基づく音声の再生を医用画像観察装置３に行わせる。具体的には、確認再生の要求がなされたことが統合データ編集指示部３０４から伝えられると、統合データ編集管理部２１６がステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルの読み出しを統合データ検索部２１３に指示する。この指示に応じて統合データ検索部２１３は、ステップＳｃ３４乃至ステップＳｃ３６において記録された音声ファイルをモニタ画像・音声保管部２０６から読み出し、この音声ファイルを統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、この音声データに基づく音声の再生を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、当該音声データに基づいて音声を再生する。こののち、医用画像保管装置２はステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態に戻る。
In the standby state of steps Sc31 to Sc33, if the user U1 requests confirmation reproduction by clicking the confirmation reproduction button B32, for example, the medical
かくして、ユーザＵ１はステップＳｃ３４乃至ステップＳｃ３６において新たに記録した音声の内容を確認することができる。 Thus, the user U1 can confirm the contents of the voice newly recorded in Step Sc34 to Step Sc36.
ステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態において、ユーザＵ１が例えば確定ボタンＢ３３をクリックするなどして確定を要求したとすると、医用画像保管装置２はステップＳｃ３３からステップＳｃ３８へ進む。ステップＳｃ３８において医用画像保管装置２は、ステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルに関する管理データをデータベース２０７に記録することによって、上記音声ファイルの記録を有効化、すなわち音声ファイルを確定する。具体的には、確定の要求がなされたことが統合データ編集指示部３０４から伝えられると、統合データ編集管理部２１６がステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルに関する管理データを作成し、この管理データの記録を統合データ編集部２１５に指示する。この指示に応じて統合データ編集部２１５は、該当する管理データをデータベース２０７に記憶させる。
If the user U1 requests confirmation in the standby state of steps Sc31 to Sc33, for example, by clicking the confirmation button B33, the medical
続いて医用画像保管装置２はステップＳｃ３９において、今回記録した音声ファイルの関連付けを行う。具体的には、統合データ編集部２１５が、録音操作画面に含まれたＤＩＣＯＭ画像についてのＤＩＣＯＭ画像データを含んだＤＩＣＯＭデータを、今回記録した音声ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報を含むように編集する。また、このＤＩＣＯＭデータに対して静止画ファイルまたは動画ファイルが関連付けられているならば、そのファイルのファイル名をステップＳｃ３８で記録した管理データに追加するとともに、そのファイルの管理データに今回記録した音声ファイルのファイル名を追加する。こののちに医用画像保管装置２は、ステップＳｃ３に戻る。
Subsequently, in step Sc39, the medical
以上のように本実施形態によれば、手技中の手技内容を音声によってモニタ画像に関連付けて記録できる。このため、手技後に手技内容を容易に、かつ的確に確認することが可能となり、手術所見の記録におけるユーザの負担を大幅に軽減できる。 As described above, according to the present embodiment, the procedure contents during the procedure can be recorded in association with the monitor image by voice. For this reason, it is possible to easily and accurately confirm the procedure content after the procedure, and the burden on the user in recording the surgical findings can be greatly reduced.
また本実施形態によれば、モニタ画像と音声との関連付けのみならず、ＤＩＣＯＭ画像と音声との関連付けも行うので、ＤＩＣＯＭ画像を参照した手術所見の作成も容易となる
また本実施形態によれば、記録されている音声の内容をセンテンス分割してテキストで提示するので、ユーザは音声を再生させなくとも音声の内容の概略を把握することが可能となる。
Further, according to the present embodiment, not only the monitor image and the sound are associated, but also the DICOM image and the sound are associated, so that it is easy to create a surgical finding with reference to the DICOM image. Since the recorded audio content is divided into sentences and presented as text, the user can grasp the outline of the audio content without reproducing the audio.
また本実施形態によれば、センテンス毎に音声や動画の再生開始タイミングを選択可能としているから、ユーザは観察したい情報を容易に得ることができる。 In addition, according to the present embodiment, since it is possible to select the playback start timing of audio and moving images for each sentence, the user can easily obtain information to be observed.
この実施形態は、次のような種々の変形実施が可能である。 This embodiment can be variously modified as follows.
(1) 音声ファイル、静止画ファイルおよび動画ファイルは、ＤＩＣＯＭデータの特定タグ内に取り込んで、実データレベルでの統合を図っても良い。 (1) An audio file, a still image file, and a moving image file may be incorporated in a specific tag of DICOM data and integrated at an actual data level.
(2) 静止画データまたは画像データと音声データとを統合したマルチメディアファイルとして保管しても良い。 (2) Still image data or image data and audio data may be stored as an integrated multimedia file.
(3) ＤＩＣＯＭデータと他のデータファイルとの関連付けを示す付帯情報をＤＩＣＯＭデータに含めずに、それらの関連性を示した管理情報をＤＩＣＯＭデータのそれぞれに関連付けてデータベース２０７に記憶させても良い。
(3) The incidental information indicating the association between the DICOM data and another data file may not be included in the DICOM data, but the management information indicating the relationship may be stored in the
(4) 全てのデータの関連性を一覧として示した管理情報によって各データの関連性を管理しても良い。 (4) The relevance of each data may be managed by the management information showing the relevance of all data as a list.
(5) 管理情報に検査インスタンスＵＩＤなどの検査を一意に識別するための情報を含めることで、検査に対する各データファイルの関連付けを容易に把握することも可能となる。同様にシリーズを一意に識別するための情報を付加し、シリーズに対する各データファイルの関連付けを保持することとしても良い。 (5) By including information for uniquely identifying a test such as a test instance UID in the management information, it becomes possible to easily grasp the association of each data file with the test. Similarly, information for uniquely identifying a series may be added to hold the association of each data file with the series.
(6) ＤＩＣＯＭの特定タグに関連付けを保持する方法では、関連付けを行った装置とは別の装置にＤＩＣＯＭファイルを転送した場合でも容易に関連付けを把握できるといったメリットが期待できる。また、データベース２０７に関連付けを記述した管理データを保持する方法では、管理対象データが増加しても検索・参照時のレスポンス劣化を低減できるというメリットが期待できる。そこで、装置内ではデータベース２０７内に管理データを保持しておき、転送時にはＤＩＣＯＭの特定タグに関連付けを持たせて転送する、といった手段もとることができる。
(6) In the method of holding the association with the specific tag of DICOM, there can be expected an advantage that the association can be easily grasped even when the DICOM file is transferred to a device different from the device with which the association is performed. In addition, the method of holding the management data in which the association is described in the
(7) 抽出患者ＩＤと入力患者ＩＤとが一致しなかった場合でも、ユーザが許容するならば静止画ファイルまたは動画ファイルの記録を行っても良い。このとき、記録を許容するか否かのユーザ設定は、複数の検査で共通に適用されるものであっても良いし、検査毎に適用されるものであっても良い。 (7) Even when the extracted patient ID does not match the input patient ID, a still image file or a moving image file may be recorded if the user allows it. At this time, the user setting as to whether or not to permit recording may be applied in common to a plurality of inspections, or may be applied for each inspection.
(8) 事前の設定があるものとして、患者ＩＤが異なっておりユーザがそれを許容しない場合、ユーザに対し警告メッセージを出す際に取得画像の処理方法選択を促し、それに応じて処理方法を決めることとしても良い。例えば「許容」「関連付けずに保存」「削除」といった選択ボタンを表示し、「許容」を押したら許容と設定されていた場合の処理に移行し、「関連付けずに保存」では関連付けをせずに取得画像を保存し、「削除」の場合は取得画像を削除する、といった処理のしかたもありうる。 (8) If the patient ID is different and the user does not allow it as if there is a prior setting, the user is prompted to select the processing method of the acquired image when issuing a warning message, and the processing method is determined accordingly It's also good. For example, select buttons such as “Allow”, “Save without association”, and “Delete” are displayed, and if “Allow” is pressed, the process moves to the case where it is set as “Allow”, and “Save without association” does not associate. The acquired image may be stored in the folder, and in the case of “delete”, the acquired image may be deleted.
(9) モニタ５によるモニタ画像は、カメラを用いて通信ユニット４に入力することもできる。
(9) The monitor image from the
(10) モニタ５によるモニタ画像に撮影日時が映し出されていない場合、ＤＩＣＯＭ画像に関連付けるべきモニタ画像を選定するために、両画像を比較しても良い。例えば、画像内の血管の形態を比較することにより、同時期に撮影された画像を見つけ出すことが可能である。
(10) When the shooting date / time is not shown in the monitor image by the
(11) 同一の画像が見つからない場合、同一の画像が判定できなかった場合、またはモニタ画像を特定のＤＩＣＯＭ画像ではなく特定患者や検査に関連付けたい場合がある。この場合、モニタ画像とＤＩＣＯＭ画像とで同一のものがなかった、または判定できない場合は、モニタ画像と特定のＤＩＣＯＭ画像とを関連付けることは止め、モニタ画像は特定の患者、または特定の検査に関連付くデータとして扱うこととしても良い。特定の検査に関連付けるためには、モニタ画像取得時に患者ＩＤのみでなく検査ＩＤも入力しておくこととすれば良い。 (11) When the same image is not found, the same image cannot be determined, or the monitor image may be associated with a specific patient or examination instead of a specific DICOM image. In this case, if the monitor image and the DICOM image are not identical or cannot be determined, the monitor image is not related to the specific DICOM image, and the monitor image is related to a specific patient or a specific examination. It may be handled as attached data. In order to associate with a specific examination, it is only necessary to input not only the patient ID but also the examination ID when acquiring the monitor image.
(12) 検査にのみ関連付けることを設定ファイルなどで設定しておくことも考えられる。 (12) It may be possible to set it to be related only to the inspection by using a setting file.
(13) モニタ５に映し出されたモニタ画像を取得できない場合、以下のような対応も可能である。すなわち、手技中には音声および録音日時と予め入力された患者ＩＤのみを記録しておく。手技後に受信したＤＩＣＯＭ画像との紐付けには、患者ＩＤと撮影日時を用いる。ＤＩＣＯＭ画像の付帯情報にある患者ＩＤをキーに紐付け前の音声情報を取得し、ＤＩＣＯＭ画像の付帯情報にある撮影日時と音声情報録音日時を比較する。録音日時が撮影日時より後で最も近い日時のものを該当のＤＩＣＯＭ画像に統合（関連付け）して保管しても良いし、録音日時が撮影日時の前後一定時間内のものを該当のＤＩＣＯＭ画像に統合（関連付け）して保管しても良い。いずれの手法を取るか、また後者で一定時間とはどのくらいか、については予めユーザが設定しておくこととしても良い。
(13) If the monitor image displayed on the
(14) 音声の分析は、統合データ表示再生部３０２および統合データ編集指示部３０４に再生機能および再生ポイント指定機能を持たせて、ユーザＵ１の補助を得て行っても良い。
(14) The voice analysis may be performed with the assistance of the user U1 by providing the integrated data display /
(15) 必要に応じ、音声ファイルや動画ファイルを再生ポイント情報に基づき分割して保管しても良い。その場合、管理データやＤＩＣＯＭデータに付加された関連付けを示した付帯情報も更新する。ＤＩＣＯＭデータ内に音声ファイルや動画ファイルを保持している場合は、それを分割処理しても良い。 (15) If necessary, audio files and video files may be divided and stored based on the playback point information. In this case, the incidental information indicating the association added to the management data and DICOM data is also updated. When an audio file or a moving image file is held in the DICOM data, it may be divided.
(16)追加録音により生成された音声データをＤＩＣＯＭデータの特定タグに挿入しても良い。 (16) Audio data generated by additional recording may be inserted into a specific tag of DICOM data.
(17) ユーザＵ１により不要であると指定されたセンテンスに関する情報をテキスト情報から削除したり、当該センテンスに対応する音声データを音声ファイルから削除しても良い。 (17) Information related to a sentence designated as unnecessary by the user U1 may be deleted from the text information, or voice data corresponding to the sentence may be deleted from the voice file.
(18) 統合データ編集管理部２１６は、編集後の音声ファイルや動画ファイルを分割するかどうかは選択可能としている。これは統合データ分析部２１４により再生ポイントの情報を得ていることから、オリジナルのファイルからでも再生ポイントを指定して部分再生が可能なためである。データ保管容量の削減などのため、分割して不要な部分を削除するなどしても良いし、オリジナルのファイル容量が大きいためそのまま部分再生するには時間がかかるなどの理由でファイルを分割することとしても良い。
(18) The integrated data
(19) 図１２乃至図１７は一例であり、音声や映像の識別表示方法、再生方法などはこれに限らない。音声情報と映像情報のそれぞれについて有無を表示しても良い。再生ボタンやメニューを複数用意し、音声のみの再生、映像のみの再生、動画（音声付き映像）の再生を選択できるようにしても良い。映像の再生時には、別ウィンドウが開いて再生することとしても良いし、同一ウィンドウ内の特定エリアなどで再生することとしても良い。 (19) FIG. 12 to FIG. 17 are examples, and the audio / video identification display method, reproduction method, and the like are not limited thereto. The presence / absence of audio information and video information may be displayed. A plurality of playback buttons and menus may be prepared so that playback of only audio, playback of only video, or playback of moving images (video with audio) can be selected. When the video is played, another window may be opened and played, or may be played in a specific area in the same window.
(20) 図１６では、センテンスのそれぞれに対応付けてボタンを用意しておき、クリックされたボタンに対応するセンテンスから再生を開始しても良い。 (20) In FIG. 16, a button may be prepared in association with each sentence, and playback may be started from the sentence corresponding to the clicked button.
(21) 表示中のＤＩＣＯＭ画像がダブルクリックされたなどの上記実施形態に例示した以外の操作がなされたことをもって再生要求がなされたものとしても良い。ＤＩＣＯＭ画像ＩＭ１にモニタ画像と音声との双方が関連付けられている場合には、設定によりどちらをダブルクリックされたなどの上記実施形態に例示した以外の操作で再生開始するかを判断しても良い。 (21) The reproduction request may be made when an operation other than that exemplified in the above-described embodiment, such as double-clicking on the displayed DICOM image, is performed. In the case where both the monitor image and the sound are associated with the DICOM image IM1, it may be determined which of the settings is to be started by an operation other than that exemplified in the above-described embodiment, such as double-clicking on the setting. .
(22) ＤＩＣＯＭ画像に関連する音声やモニタ画像の重要度を判断する目安として、一覧画面や画像参照画面で関連する音声やモニタ画像の再生秒数を表示しても良い。長時間の記録には重要な情報が含まれている可能性が高いからである。また、ユーザの操作により特に重要なものにチェックマークをつける機能を付加しても良い。 (22) As a guideline for determining the importance of audio and monitor images related to DICOM images, the related audio and monitor image playback seconds may be displayed on a list screen or an image reference screen. This is because there is a high possibility that important information is included in the long-term recording. Further, a function of adding a check mark to a particularly important item by a user operation may be added.
(23) 一覧画面や各画像の参照画面で、既に参照した音声やモニタ画像と未参照の音声やモニタ画像とを識別可能とする表示も有用である。この場合、その情報をいつ参照したかや、何回参照したかも分かるように表示することで、無駄な参照を減ずることができる。 (23) On the list screen and the reference screen for each image, it is also useful to be able to distinguish between the already referred sound and monitor image and the unreferenced sound and monitor image. In this case, useless reference can be reduced by displaying the information so that it can be understood when and how many times the information is referred to.
(24) 各画像の参照画面から、同一患者の過去検査をすぐに参照できるようにし、特に音声やモニタ画像が関連付けられているものをすぐ参照できるようにすることも有用である。 (24) From the reference screen of each image, it is also useful to be able to immediately refer to past examinations of the same patient, and particularly to be able to immediately refer to an associated sound or monitor image.
(25) 読影の際など、複数の画像を同時にモニタに並べて参照することもあるが、この場合にも特定の画像を選択し、関連する音声およびモニタ画像を参照するようにすることは有用である。その場合、現在再生中の情報がどの画像に関連するものかを示す工夫も重要である。例えば関連情報を再生中の画像についてはウィンドウ枠やタイトルバーの色を変えたり、画像上のマークや形を変えたるするなどが考えられる。 (25) When interpreting images, multiple images may be displayed side by side on the monitor at the same time. In this case, however, it is useful to select a specific image and refer to the related audio and monitor images. is there. In that case, it is also important to devise information indicating to which image the currently reproduced information is related. For example, for an image whose related information is being reproduced, it is conceivable to change the color of the window frame or title bar, or change the mark or shape on the image.
(26) 聞き漏らし等を防ぐためには、音声およびモニタ画像が複数存在している場合に、それが一覧または各画像の参照画面上で識別できるような表示も有用である。関連付いた音声およびモニタ画像の数、未参照の音声およびモニタ画像の数や存在有無などを表示する例が考えられる。 (26) In order to prevent omission of hearing, it is also useful to display such that when there are a plurality of audio and monitor images, they can be identified on a list or a reference screen of each image. An example of displaying the number of associated voices and monitor images, the number of unreferenced voices and monitor images, the presence / absence of existence, and the like can be considered.
(27) 追加記録された音声ファイルは、別の音声ファイルが既に関連付けられているファイルやＤＩＣＯＭデータに関連付けても良い。複数の音声ファイルが関連付けられた画像の参照時には、それら複数の音声ファイルに関する全ての情報を表示しスクロールさせても良いし、どの音声等を参照するか選択するリストを表示し、選択したものを次画面で表示するなどしても良い。当該画面上に削除ボタンを付加し、該当する音声等を削除する機能を設けても良い。 (27) The additionally recorded audio file may be associated with a file already associated with another audio file or DICOM data. When referring to an image associated with multiple audio files, all information related to the multiple audio files may be displayed and scrolled, or a list for selecting which audio or the like is to be displayed is displayed. It may be displayed on the next screen. A function may be provided in which a delete button is added on the screen to delete the corresponding sound.
(28) 統合データ表示指示部２１７は、各種のデータを統合データ検索部２１３または統合データ編集管理部２１６から受け取るようにしているが、これらからはキーとなる情報のみ受け取り、統合データ表示指示部２１７が直接データベース２０７などにアクセスして情報を収集しても良い。
(28) The integrated data
(29) 統合データ分析部２１４、統合データ編集部２１５、統合データ編集管理部２１６および統合データ表示指示部２１７の機能の一部または全てを医用画像観察装置３に備え、図８乃至図１１の処理を医用画像観察装置３にて行うようにしても良い。
(29) The medical
(30) 静止画ファイルおよび動画ファイルと音声ファイルとの関連付けのルールは任意に設定が可能である。例えば、既に記録された音声ファイルに関連付けられなかった静止画の全てを次に記録される音声ファイルに関連付けても良い。また例えば、音声ファイルに対して、それの録音が開始される前の一定期間に記録された静止画ファイルの全てを関連付けても良い。また例えば、録音が行われていないときに記録された静止画ファイルは、それが記録される前または後に記録された音声ファイルが動画ファイルに関連付けられようとも、当該音声ファイルに対して関連付けても良い。また例えば、音声ファイルに対しては、その録音中に記録された複数の静止画ファイルの一部のみを関連付けても良い。 (30) Rules for associating still image files and moving image files with audio files can be arbitrarily set. For example, all of the still images that are not associated with the already recorded audio file may be associated with the next recorded audio file. Further, for example, all of the still image files recorded for a certain period before the recording of the audio file is started may be associated. Also, for example, a still image file recorded when recording is not performed may be associated with an audio file recorded before or after the recording, whether the audio file is associated with the video file. good. Further, for example, only a part of a plurality of still image files recorded during recording may be associated with an audio file.
(31) 上記の変形例(30)の一例として示したように１つの音声ファイルに静止画ファイルおよび動画ファイルの双方を関連付ける場合には、これらの音声ファイル、静止画ファイルおよび動画ファイルのそれぞれにＤＩＣＯＭ画像を関連付けても良い。 (31) When associating both a still image file and a moving image file with one audio file as shown as an example of the modification (30) above, each of these audio file, still image file and moving image file A DICOM image may be associated.
(32) 音声再生の要求と画像表示の要求とを個別に受け付けるようにし、音声再生が要求された場合には表示されている画像に関連付けられている音声の再生を行い、画像表示が要求された場合には表示されている画像に関連付けられている別の画像を表示しても良い。 (32) The request for audio playback and the request for image display are individually accepted. When audio playback is requested, the audio associated with the displayed image is played back, and the image display is requested. In such a case, another image associated with the displayed image may be displayed.
(33) ステップＳｃ３においては、互いに関連付けられたＤＩＣＯＭ画像と静止画または動画とを並べて表示しても良い。 (33) In step Sc3, the DICOM images and still images or moving images associated with each other may be displayed side by side.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
１…医用画像撮影装置、２…医用画像保管装置、３…医用画像観察装置、４…通信ユニット、５…モニタ、６…マイク、７…キーパッド、８…マイク、９…ネットワーク、１０１…撮影指示部、１０２…撮影部、１０３…画像表示指示部、１０４…画像データ編集部、１０５…画像データ送信部、２０１…モニタ画像取得部、２０２…音声取得部、２０３…モニタ画像・音声管理部、２０４…モニタ画像解析部、２０５…モニタ画像・音声登録部、２０６…モニタ画像・音声保管部、２０７…データベース、２０８…画像データ受信部、２０９…画像・音声統合管理部、２１０…ＤＩＣＯＭデータ編集部、２１１…ＤＩＣＯＭデータ登録部、２１２…ＤＩＣＯＭデータ保管部、２１３…統合データ検索部、２１４…統合データ分析部、２１５…統合データ編集部、２１６…統合データ編集管理部、２１７…統合データ表示指示部、３０１…統合データ検索指示部、３０２…統合データ表示再生部、３０３…音声取得部、３０４…統合データ編集指示部、５０１…モニタ画像表示部、６０１…音声入力部、７０１…情報・要求入力部、８０１…音声入力部。
DESCRIPTION OF
Claims (3)
医用画像撮影装置により撮影された医用画像を医療行為の実施者によりモニタさせるためにモニタ装置にて表示されるモニタ画像を画像取得期間において取得する手段と、
取得された前記モニタ画像を前記記憶媒体に記憶させる画像記憶制御手段と、
前記実施者が発する音声を音声取得期間において取得する手段と、
取得された前記音声を前記記憶媒体に記憶させる音声記憶制御手段と、
前記モニタ画像として表示される前記医用画像の撮影に関して前記医用画像撮影装置に入力された第１の識別情報を取得する手段と、
前記音声の取得に関して前記医用画像処理装置に入力される第２の識別情報を取得する手段と、
前記第１および第２の識別情報が互いに一致する場合に、互いに予め定められた関係の前記画像取得期間および前記音声取得期間に取得されて前記記憶媒体に記憶された前記モニタ画像および前記音声を互いに関連付ける情報を記憶させる管理手段とを具備したことを特徴とする医用画像処理装置。 In a medical image processing apparatus capable of accessing a storage medium,
Means for acquiring, in an image acquisition period, a monitor image displayed on the monitor device in order to allow a medical practitioner to monitor a medical image captured by the medical image capturing device;
Image storage control means for storing the acquired monitor image in the storage medium;
Means for acquiring a voice uttered by the implementer in a voice acquisition period;
Voice storage control means for storing the acquired voice in the storage medium;
Means for acquiring first identification information input to the medical image photographing apparatus regarding photographing of the medical image displayed as the monitor image;
Means for acquiring second identification information input to the medical image processing apparatus with respect to acquisition of the sound;
When the first and second identification information match each other, the monitor image and the sound acquired during the image acquisition period and the sound acquisition period having a predetermined relationship with each other and stored in the storage medium are stored in the storage medium. A medical image processing apparatus comprising management means for storing information associated with each other.
取得された前記医用画像を前記記憶媒体に記憶させる医用画像記憶制御手段をさらに備え、
前記管理手段は、当該医用画像を前記実施者によりモニタさせるためにモニタ装置にて表示されて前記記憶媒体に記憶されたモニタ画像、あるいは当該モニタ画像に関連付けられて前記記憶媒体に記憶されている前記音声の少なくともいずれか一方に関連付ける情報を記憶させることを特徴とする請求項１に記載の医用画像処理装置。 Means for obtaining the medical image;
Medical image storage control means for storing the acquired medical image in the storage medium,
The management means displays a monitor image displayed on a monitor device and stored in the storage medium so that the medical image can be monitored by the practitioner, or is stored in the storage medium in association with the monitor image. The medical image processing apparatus according to claim 1, wherein information associated with at least one of the voices is stored .
前記音声取得期間は、所定の録音開始事象が生じてから所定の録音終了事象が生じるまでの期間であることを特徴とする請求項１または請求項２に記載の医用画像処理装置。 The image acquisition period is at least one of a time point when a predetermined event occurs and a period from when a predetermined recording start event occurs until a predetermined recording end event occurs,
The medical image processing apparatus according to claim 1, wherein the sound acquisition period is a period from when a predetermined recording start event occurs until a predetermined recording end event occurs.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008150899A JP5591455B2 (en) | 2008-06-09 | 2008-06-09 | Medical image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008150899A JP5591455B2 (en) | 2008-06-09 | 2008-06-09 | Medical image processing device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012273496A Division JP5426749B2 (en) | 2012-12-14 | 2012-12-14 | Medical image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009291556A JP2009291556A (en) | 2009-12-17 |
| JP5591455B2 true JP5591455B2 (en) | 2014-09-17 |
Family
ID=41540287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008150899A Active JP5591455B2 (en) | 2008-06-09 | 2008-06-09 | Medical image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5591455B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5656530B2 (en) * | 2010-09-22 | 2015-01-21 | 株式会社東芝 | Medical image processing client device |
| JP5832742B2 (en) * | 2010-12-07 | 2015-12-16 | 株式会社東芝 | Diagnostic imaging equipment |
| JP2012133483A (en) * | 2010-12-20 | 2012-07-12 | Hoya Corp | Medical information management system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004041605A (en) * | 2002-07-16 | 2004-02-12 | Toshiba Corp | Inspection/treatment information recording system, information processing apparatus, information terminal, and information recording medium |
| JP2007275237A (en) * | 2006-04-05 | 2007-10-25 | Konica Minolta Medical & Graphic Inc | Diagnosis support system |
-
2008
- 2008-06-09 JP JP2008150899A patent/JP5591455B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009291556A (en) | 2009-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3742549B2 (en) | Medical image filing system | |
| US7831598B2 (en) | Data recording and reproducing apparatus and method of generating metadata | |
| US20160103810A1 (en) | Intra-surgical documentation system | |
| JP2004041605A (en) | Inspection/treatment information recording system, information processing apparatus, information terminal, and information recording medium | |
| US11482318B2 (en) | Medical information processing system | |
| CN110366758A (en) | Managing medical information equipment, method for managing medical information and medical information management system | |
| JP5591455B2 (en) | Medical image processing device | |
| US10210309B2 (en) | Image display method, medical diagnostic imaging apparatus, and medical image processing apparatus | |
| CN112434652A (en) | Intelligent visual operation record editing method and system | |
| JP5393905B1 (en) | Medical record management system, medical record receiver, medical record transmitter, and medical record management program | |
| JP2006252286A (en) | Medical information processor synchronized with standard treatment program, and medical information processing method | |
| JP5426749B2 (en) | Medical image processing device | |
| JP2012195852A (en) | Scenario editing apparatus and scenario editing method, imaging apparatus and control method thereof, scenario editing system, storage medium, and program | |
| JP5320913B2 (en) | Imaging apparatus and keyword creation program | |
| JP2007296079A (en) | Apparatus and program for processing medical image | |
| KR100932195B1 (en) | Method and system of managing medical image data | |
| JP2003070748A (en) | Medical information processing system | |
| JP5462614B2 (en) | Medical image diagnostic apparatus and medical image system | |
| JP2004023661A (en) | Recorded information processing method, recording medium, and recorded information processor | |
| US20040078758A1 (en) | Method for producing documented medical image information | |
| JP2000020630A (en) | Medical image file system | |
| JP3629852B2 (en) | Telemedicine support method and telemedicine support system | |
| JP2008253401A (en) | Data management system | |
| JP3104051U (en) | Editing device for video recording of surgical operation | |
| KR101926460B1 (en) | System and method for reading images based on voice |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110530 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131125 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131212 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131219 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140109 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140730 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5591455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |