JP5003098B2 - Document editing support system, document editing support method, and document editing support program - Google Patents

Document editing support system, document editing support method, and document editing support program Download PDF

Info

Publication number
JP5003098B2
JP5003098B2 JP2006290541A JP2006290541A JP5003098B2 JP 5003098 B2 JP5003098 B2 JP 5003098B2 JP 2006290541 A JP2006290541 A JP 2006290541A JP 2006290541 A JP2006290541 A JP 2006290541A JP 5003098 B2 JP5003098 B2 JP 5003098B2
Authority
JP
Japan
Prior art keywords
image
phrase
document
part name
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006290541A
Other languages
Japanese (ja)
Other versions
JP2008108079A (en
Inventor
美由起 山澤
基行 鷹合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2006290541A priority Critical patent/JP5003098B2/en
Publication of JP2008108079A publication Critical patent/JP2008108079A/en
Application granted granted Critical
Publication of JP5003098B2 publication Critical patent/JP5003098B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、文書の編集、特に、医師による電子カルテや読影レポート等の文書の編集を支援する文書編集支援システム、文書編集支援方法、及び、文書編集支援プログラムに関する。   The present invention relates to a document editing support system, a document editing support method, and a document editing support program that support editing of a document, in particular, editing of a document such as an electronic medical record and an interpretation report by a doctor.

電子カルテや、CT(Computed Tomography)画像、MRI(Magnetic Resonance Imaging)画像、レントゲン写真に対する所見及び診断のレポートである読影レポート等には、記述内容に患者の疾患の部位や状態が含まれる。しかし、これらの部位や状態が誤って記述されることがあり、このような誤りは、医療事故の要因の1つとなり得る。   Electronic medical records, CT (Computed Tomography) images, MRI (Magnetic Resonance Imaging) images, interpretation reports that are findings and diagnostic reports on X-ray photographs, etc. include the site and state of the patient's disease in the description. However, these parts and states may be described incorrectly, and such errors can be one of the causes of medical accidents.

CTやMRIは、人体を特定の面で等間隔にスライスしたような画像群を表示させるものである。しかし、人体は立体構造を有するため、画像上の位置を解剖学上の部位名と対応付けるためには高度なスキルを要し、医師が疾患の部位を間違えて把握する場合がある。また、CT画像、MRI画像、レントゲン写真は、原寸大で表示されていない場合があり、縮尺が表示されるような場合であっても、医師は、疾患の部位の大きさを直観的に把握することができず、例えば本来1mmと記述すべきところを1cmと記述してしまうような場合があった。更に、人体はほぼ左右対称であるため、CT画像等が左右反対に表示されても、医師が気づかずに、左右を取り違えて把握する場合もある。また、疾患部位は同時に2箇所以上にそれぞれ別の種類で存在することがあり得るが、医師がそれぞれの疾患部位を取り違えて記述してしまう場合もある。   CT and MRI display a group of images obtained by slicing a human body on a specific surface at equal intervals. However, since the human body has a three-dimensional structure, a high level of skill is required to associate the position on the image with the anatomical part name, and the doctor may grasp the diseased part by mistake. In addition, CT images, MRI images, and X-rays may not be displayed at full size, and doctors can intuitively grasp the size of the diseased site even when the scale is displayed. In some cases, for example, a place that should originally be described as 1 mm is described as 1 cm. Furthermore, since the human body is substantially symmetric, even if a CT image or the like is displayed opposite to the left and right, the doctor may not recognize the right and left and may grasp it. In addition, although there may be different types of diseased sites at two or more locations at the same time, a doctor may mistakenly describe each diseased site.

また、MRI画像については、様々な種類(T1強調像、T2強調像、拡散強調像等)があり、その他の画像についても、コントラストや撮像条件によって、様々な種類がある。しかし、それぞれの画像は対象物が同一であるために類似しており、多くの場合、医師は、読影時にはそれらを同時に参照するので、画像の種類を間違えて把握することがあった。   There are various types of MRI images (T1-weighted images, T2-weighted images, diffusion-weighted images, etc.), and other images are also various types depending on the contrast and imaging conditions. However, each image is similar because the objects are the same, and in many cases, doctors refer to them simultaneously at the time of interpretation, and thus sometimes grasp the wrong type of image.

上述したような問題に対して、特許文献1に記載された技術は、読影対象の画像と正常例の画像とを同時に表示して読影を支援する。また、特許文献2及び特許文献3に記載された技術は、医用画像の所定位置が指定された場合に、その位置に対応する部位の名称を提供する。
特開2001−275986号公報 特開2003−260030号公報 特開2003−33327号公報
To solve the above-described problem, the technique described in Patent Document 1 supports interpretation by displaying an image to be interpreted and an image of a normal example at the same time. Moreover, the technique described in patent document 2 and patent document 3 provides the name of the site | part corresponding to the position, when the predetermined position of a medical image is designated.
JP 2001-275986 A JP 2003-260030 A JP 2003-33327 A

しかしながら、上述した従来の手法は、医師による文書編集を必ずしも十分に支援しているとはいえない。具体的には、医師は、所見を自然言語文で作成するが、この際、読影対象の画像から部位の名称等が提供されるのみでは、助詞等の入力が必要となり煩雑である。   However, it cannot be said that the conventional method described above sufficiently supports document editing by a doctor. Specifically, a doctor creates a finding in a natural language sentence. At this time, only by providing a part name or the like from an image to be interpreted, it is complicated to input a particle.

本発明の目的は、上述した問題を解決するものであり、自然言語文の文書作成に適した文書編集支援が可能な文書編集支援システム、文書編集支援方法及び文書編集支援プログラムを提供するものである。   An object of the present invention is to solve the above-described problems and provide a document editing support system, a document editing support method, and a document editing support program capable of supporting document editing suitable for creating a document of a natural language sentence. is there.

本発明の文書編集支援システムは、対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とを対応付けて保持する第1の保持手段と、表示画面に表示された対象物の画像において領域が指定されたときに、前記第1の保持手段に保持された前記対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とから、前記指定された領域に対応する候補としての部位名称を取得する第1の取得手段と、前記第1の取得手段により取得された部位名称の候補を前記表示画面に表示させる第1の表示制御手段と、前記第1の表示制御手段によって前記表示画面に表示された部位名称の候補から指定された部位名称を含む文節を生成する生成手段と、前記生成手段によって生成された文節を編集すべき文書に追加する追加手段と、前記部位名称と前記画像の撮影法との関連度を算出する関連度算出手段とを有し、前記生成手段は、前記関連度が所定値以上である前記部位名称及び撮影法を含む文節を生成することを特徴とする。 The document editing support system of the present invention is displayed on the display screen, first holding means that holds the region of each part of the object in the image of the object and the part name representing the part in association with each other. When an area is designated in the image of the object, the designation is made from the area of each part of the object in the image of the object held in the first holding means and the part name representing the part. First acquisition means for acquiring a part name as a candidate corresponding to the region obtained, and first display control means for displaying the part name candidate acquired by the first acquisition means on the display screen; Generating means for generating a phrase including a part name designated from candidate part names displayed on the display screen by the first display control means; and adding the phrase generated by the generating means to a document to be edited Follow A means, the relevance calculating means for calculating a degree of association with the imaging method of the image and the site name, the generating means comprises the site name and radiography the relevance is the predetermined value or more It is characterized by generating clauses .

この構成によれば、利用者が表示された画像における対象物の領域を指定するという、直感的な行為がなされた場合に、対象物の指定領域に対応する部位名称のみならず、当該部位名称を含んだ文節が編集中の文書に追加される。
また、この構成によれば、部位名称と画像の撮影法との関連度を考慮して、適切な文節を生成することができる。
According to this configuration, when an intuitive action is performed in which the user specifies an area of the object in the displayed image, not only the part name corresponding to the specified area of the object but also the part name A phrase containing is added to the document being edited.
Further, according to this configuration, it is possible to generate an appropriate phrase in consideration of the degree of association between the part name and the image capturing method.

同様の観点から、本発明の文書編集支援システムは、前記生成手段が、予め定められた文節の形式を表す文節パターンに前記指定された部位名称を挿入することにより文節を生成するようにしてもよい。   From the same point of view, the document editing support system of the present invention may be configured such that the generation unit generates a phrase by inserting the specified part name into a phrase pattern representing a predetermined phrase format. Good.

また、本発明の文書編集支援システムは、前記対象物の画像に該画像の属性を表す情報であるメタ情報が対応付けられており、前記画像のメタ情報を取得する第2の取得手段を有し、前記生成手段が、前記第2の取得手段によって取得されたメタ情報に対応する語句を含む文節を生成するようにしてもよい。   In addition, the document editing support system of the present invention has second acquisition means for acquiring meta information of the image, in which meta information that is information representing the attribute of the image is associated with the image of the object. The generating unit may generate a phrase including a phrase corresponding to the meta information acquired by the second acquiring unit.

この構成によれば、更に、画像の属性に対応する語句を含んだ文節が編集中の文書に追加され、自然言語文の文書作成がより容易になる。   According to this configuration, a phrase including a phrase corresponding to the attribute of the image is added to the document being edited, and it becomes easier to create a natural language sentence document.

また、本発明の文書編集支援システムは、前記第2の取得手段が、撮影法が異なる同一の部位を含む複数の画像のそれぞれに対応するメタ情報を取得し、前記生成手段が、前記第2の取得手段によって取得されたメタ情報毎に、該メタ情報に対応する語句を含む文節を生成するようにしてもよい。   Further, in the document editing support system of the present invention, the second acquisition unit acquires meta information corresponding to each of a plurality of images including the same part with different imaging methods, and the generation unit includes the second For each piece of meta information acquired by the acquisition means, a phrase including a phrase corresponding to the meta information may be generated.

この構成によれば、複数の画像のそれぞれの属性に対応する語句を含んだ文節が編集中の文書に追加され、画像毎の自然言語文の文書作成がより容易になる。   According to this configuration, a phrase including a phrase corresponding to each attribute of a plurality of images is added to the document being edited, and it becomes easier to create a natural language sentence document for each image.

また、本発明の文書編集支援システムは、前記部位名称を含む文節によって修飾されるべき語句を予め定められた語句群から取得する第3の取得手段と、前記第3の取得手段によって取得された語句を前記生成手段によって生成された文節に付加する付加手段とを有するようにしてもよい。   Further, the document editing support system of the present invention is acquired by a third acquisition unit that acquires a phrase to be modified by a phrase including the part name from a predetermined group of words, and the third acquisition unit. You may make it have an addition means to add a phrase to the clause produced | generated by the said production | generation means.

この構成によれば、部位名称を含む文節によって修飾される語句についても、文節に付加され、自然言語文の文書作成がより容易になる。   According to this configuration, a phrase modified by a phrase including a part name is also added to the phrase, making it easier to create a natural language sentence document.

また、本発明の文書編集支援システムは、操作ユニットの複数の操作のそれぞれと語句との対応関係を示すテーブルを有し、前記第3の取得手段が、前記テーブルを参照して操作ユニットの操作に対応した語句を前記部位名称を含む文節によって修飾されるべき語句として取得するようにしてもよい。   Further, the document editing support system of the present invention has a table indicating a correspondence relationship between each of the plurality of operations of the operation unit and the phrase, and the third acquisition unit refers to the table to operate the operation unit. May be acquired as a phrase to be modified by a clause including the part name.

この構成によれば、利用者の直感的な操作によって、部位名称を含んだ文節によって修飾される語句が迅速に編集中の文書に追加される。   According to this configuration, the phrase modified by the phrase including the part name is quickly added to the document being edited by the user's intuitive operation.

また、本発明の文書編集支援システムは、前記部位名称を含む文節が追加された文書、前記文節に含まれる部位名称によって表される部位を含む画像、及び、該画像において前記文節に含まれる部位名称で表される部位の領域を関連付けた情報である文書画像関連情報を保持する第2の保持手段と、前記第2の保持手段によって保持された文書画像関連情報に含まれる文書及び画像を表示画面に表示させるとともに、該表示された画像において指定された領域に対応する部位名称を含む文を特定して表示させる第2の表示制御手段とを有するようにしてもよい。   Further, the document editing support system of the present invention includes a document in which a phrase including the part name is added, an image including a part represented by the part name included in the phrase, and a part included in the phrase in the image A second holding unit that holds document image related information that is information relating a region of a part represented by a name, and a document and an image included in the document image related information held by the second holding unit You may make it have a 2nd display control means to identify and display the sentence containing the site | part name corresponding to the area | region designated in the displayed image while displaying on a screen.

この構成によれば、関連付けられた文書と画像とが表示されるとともに、更に、画像において指定された領域に対応する部位名称を含む文が表示されるため、文の読み手となる利用者は、画像とともに当該画像の指定された領域に対応する部位名称についての記述を容易に取得することが可能となる。   According to this configuration, an associated document and an image are displayed, and further, a sentence including a part name corresponding to a region designated in the image is displayed. It becomes possible to easily obtain a description of the part name corresponding to the designated area of the image together with the image.

また、本発明の文書編集支援システムは、前記表示された前記文書画像関連情報に含まれる文又は画像における領域が指定された場合に、前記指定された文に含まれる部位名称、又は、前記指定された領域に対応する部位を表す部位名称を含む文節が追加された文書を含む文書画像関連情報を検索する第1の検索手段と、前記第1の検索手段による検索により得られた文書画像関連情報に含まれる文書及び画像の少なくともいずれかを前記表示画面に表示させる第3の表示制御手段とを有するようにしてもよい。   In the document editing support system of the present invention, when a sentence included in the displayed document image related information or an area in the image is designated, the part name contained in the designated sentence or the designation A first search means for searching for document image related information including a document to which a phrase including a part name representing a part corresponding to the specified region is added, and a document image related obtained by the search by the first search means You may make it have a 3rd display control means to display at least any one of the document and image contained in information on the said display screen.

この構成によれば、利用者は、互いに関連する複数の文書画像関連情報を取得し、文書画像関連情報に含まれる文書の読解や画像の認識、新たな文書の作成において、他の文書画像関連情報に含まれる文書や画像を役立てることができる。   According to this configuration, the user acquires a plurality of document image related information that are related to each other, and in reading and understanding a document included in the document image related information, recognizing an image, and creating a new document, Documents and images included in information can be used.

同様の観点から、本発明の文書編集支援システムは、検索キーが入力された場合に、該検索キーを含む文書画像関連情報を検索する第2の検索手段と、前記第2の検索手段による検索により得られた文書画像関連情報に含まれる文書及び画像の少なくともいずれかを前記表示画面に表示させる第4の表示制御手段とを有するようにしてもよい。   From the same viewpoint, the document editing support system of the present invention, when a search key is input, a second search means for searching for document image related information including the search key, and a search by the second search means. And a fourth display control means for displaying on the display screen at least one of a document and an image included in the document image related information obtained by the above.

本発明の文書編集支援方法は、表示画面に表示された対象物の画像において領域が指定されたときに、保持手段に保持された対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とから、前記指定された領域に対応する候補としての部位名称を取得する取得ステップと、前記取得ステップにより取得された部位名称の候補を前記表示画面に表示させる表示制御ステップと、前記表示制御ステップによって前記表示画面に表示された部位名称の候補から指定された部位名称を含む文節を生成する生成ステップと、前記生成ステップによって生成された文節を編集すべき文書に追加する追加ステップと、前記部位名称と前記画像の撮影法との関連度を算出する関連度算出ステップとを有し、前記生成ステップは、前記関連度が所定値以上である前記部位名称及び撮影法を含む文節を生成することを特徴とする。 According to the document editing support method of the present invention, when an area is specified in the object image displayed on the display screen, the region of each part of the object in the object image held by the holding unit, An acquisition step of acquiring a part name as a candidate corresponding to the specified region from a part name representing the part; and a display control step of displaying the candidate of the part name acquired by the acquisition step on the display screen; A generation step of generating a phrase including a part name designated from the part name candidates displayed on the display screen by the display control step, and an addition of adding the phrase generated by the generation step to a document to be edited has a step, and a degree-of-association calculation step of calculating a degree of association between photographing method of the image and the site name, the generating step, the degrees of association And generating a phrase containing the site name and shooting method, which is value or more.

本発明の文書編集支援プログラムは、コンピュータに、表示画面に表示された対象物の画像において領域が指定されたときに、保持手段に保持された対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とから、前記指定された領域に対応する候補としての部位名称を取得する取得ステップと、前記取得ステップにより取得された部位名称の候補を前記表示画面に表示させる表示制御ステップと、前記表示制御ステップによって前記表示画面に表示された部位名称の候補から指定された部位名称を含む文節を生成する生成ステップと、前記生成ステップによって生成された文節を編集すべき文書に追加する追加ステップと、前記部位名称と前記画像の撮影法との関連度を算出する関連度算出ステップとを実行させ、前記生成ステップは、前記関連度が所定値以上である前記部位名称及び撮影法を含む文節を生成することを特徴とする。
The document editing support program according to the present invention provides a region of each part of the object in the image of the object held by the holding means when an area is designated in the image of the object displayed on the display screen on the computer. And an acquisition step of acquiring a part name as a candidate corresponding to the specified region from the part name representing the part, and a display for displaying the candidate of the part name acquired by the acquisition step on the display screen A step of generating a phrase including a part name designated from the part name candidates displayed on the display screen by the display control step, and a sentence to be edited from the phrase generated by the generation step the additional step of adding, to execute the relevant degree calculation step of calculating the degrees of correlation with radiography of the image and the site name, the raw Step, characterized in that the degree of association produces a clause containing the site name and shooting method, which is more than the predetermined value.

本発明によれば、利用者が表示された画像における対象物の領域を指定するという、直感的な行為に応じて、対象物の指定された領域に対応する部位名称のみならず、当該部位名称を含んだ文節が編集中の文書に追加され、自然言語文の文書作成が容易になる。   According to the present invention, not only the part name corresponding to the designated area of the object but also the part name corresponding to the intuitive act of designating the area of the object in the displayed image by the user. Is added to the document being edited, making it easy to create a natural language sentence.

本発明の実施の形態について、図面を参照して具体的に説明する。図1は、文書編集支援システムとしてのパーソナルコンピュータ(PC)のハードウェア構成を示す図である。図1に示す文書編集支援システムとしてのPC100は、内部バス107に接続されたCPU101、メモリ102、ハードディスクドライブ(HDD)103、キーボード等の入力装置やマウス等の指示装置を含む操作ユニットとしての操作部105、表示画面上に表示するモニタ106によって構成される。   Embodiments of the present invention will be specifically described with reference to the drawings. FIG. 1 is a diagram showing a hardware configuration of a personal computer (PC) as a document editing support system. The PC 100 as the document editing support system shown in FIG. 1 operates as an operation unit including a CPU 101, a memory 102, a hard disk drive (HDD) 103, an input device such as a keyboard, and an instruction device such as a mouse connected to an internal bus 107. The unit 105 includes a monitor 106 that displays on the display screen.

図2は、PC100によって構成される文書編集支援システムの機能ブロック図である。図2に示す文書編集支援システムは、医師によって作成される所見や読影レポートとなる文書の編集を支援するものであり、医用画像保持部12、医用画像解析部14、第1の保持手段に対応する解析結果保持部16、第1乃至第4の表示制御手段及び提供手段に対応する表示制御部18、第1の取得手段に対応する部位特定部22、生成手段、第2の取得手段及び関連度算出手段に対応する文節生成部24、文節パターン保持部26、画像メタ情報保持部28、追加手段、第3の取得手段及び付加手段に対応する編集部30、座標取得部32、第2の保持手段に対応する文書画像関連情報保持部34、第1及び第2の検索手段に対応する検索部36により構成される。これら各機能ブロックは、図1のハードウェア構成においては、CPU101が操作部105の操作に応じて、HDD103から読み出してメモリ102に記憶させた所定のプログラム、例えば後述するフローチャートの手順等に対応するプログラムを実行することによって実現される。   FIG. 2 is a functional block diagram of a document editing support system constituted by the PC 100. The document editing support system shown in FIG. 2 supports editing of a document that becomes a finding or interpretation report created by a doctor, and corresponds to the medical image holding unit 12, the medical image analysis unit 14, and the first holding unit. Analysis result holding unit 16, display control unit 18 corresponding to the first to fourth display control units and providing unit, site specifying unit 22 corresponding to the first acquisition unit, generation unit, second acquisition unit and related The phrase generation unit 24, the phrase pattern storage unit 26, the image meta information storage unit 28, the addition unit, the third acquisition unit and the editing unit 30 corresponding to the addition unit, the coordinate acquisition unit 32, the second The document image related information holding unit 34 corresponding to the holding unit and the search unit 36 corresponding to the first and second search units are configured. In the hardware configuration of FIG. 1, each of these functional blocks corresponds to a predetermined program read from the HDD 103 and stored in the memory 102 by the CPU 101 according to the operation of the operation unit 105, for example, a procedure of a flowchart described later. This is realized by executing the program.

医用画像保持部12は、所見や読影レポートの作成対象となるMRI画像等の医用画像を保持する。医用画像は、当該医用画像に含まれる情報である検査IDと画像IDとによって一意に特定される。医用画像解析部14は、医用画像保持部12に保持された医用画像を読み出して解析することにより、対象物の各部位について、当該部位の領域と当該部位を表す部位名称とを取得する。医用画像の解析には、例えば、特開2003−33327号公報に記載された、対象物の病変を発見し、その位置と状態を出力するシステムを用いることができる。解析結果保持部16は、医用画像と、当該医用画像に対応する対象物の各部位の領域及び部位名称とを対応付けて解析結果として保持する。図3は、解析結果に含まれる部位名称及び部位領域の一例を示す図である。部位名称及び部位領域は、検査ID及び画像IDが付加され、これら検査ID及び画像IDを含む医用画像に対応付けられる。部位領域は、例えば、医用画像に対応する2次元空間上の座標により特定され、各座標を結んだ閉領域で表される。   The medical image holding unit 12 holds a medical image such as an MRI image, which is a target for creation of findings and interpretation reports. A medical image is uniquely identified by an examination ID and an image ID that are information included in the medical image. The medical image analysis unit 14 reads out and analyzes the medical image held in the medical image holding unit 12, thereby acquiring the region of the part and the part name representing the part for each part of the target object. For analysis of a medical image, for example, a system described in Japanese Patent Application Laid-Open No. 2003-33327 that detects a lesion of an object and outputs the position and state thereof can be used. The analysis result holding unit 16 holds the medical image and the region and part name of each part of the target corresponding to the medical image in association with each other and holds the result as an analysis result. FIG. 3 is a diagram illustrating an example of a part name and a part region included in the analysis result. The part name and the part region are added with an examination ID and an image ID, and are associated with a medical image including the examination ID and the image ID. The part region is specified by, for example, coordinates in a two-dimensional space corresponding to a medical image, and is represented by a closed region connecting the coordinates.

解析結果保持部16に、医用画像と、対象物の各部位の領域及び部位名称とが対応付けて保持されると、医師によって作成される所見や読影レポートとなる文書の編集支援が可能となる。以下、フローチャートを参照しつつ、文書の編集支援の動作を説明する。図4は、文書編集支援システムの動作を示すフローチャートである。   When the analysis result holding unit 16 holds the medical image and the region and part name of each part of the target object in association with each other, it is possible to support editing of a document that becomes a finding or interpretation report created by the doctor. . Hereinafter, an operation for supporting document editing will be described with reference to a flowchart. FIG. 4 is a flowchart showing the operation of the document editing support system.

表示制御部18は、利用者である医師による操作部105(例えばキーボード)の操作に応じて、医用画像保持部12に保持された医用画像を読み出し、当該医用画像をモニタ106に表示させる制御を行う(S101)。図5(a)は、医用画像の一例である頭部のMRI画像を示す図である。表示制御部18は、更に、表示した医用画像に含まれる検査ID及び画像IDを取得し、解析結果保持部16に保持された解析結果のうち、これら検査ID及び画像IDを含む医用画像、換言すれば、表示されている医用画像を有するものを取得して部位特定部22へ出力する。   The display control unit 18 performs control for reading the medical image held in the medical image holding unit 12 and displaying the medical image on the monitor 106 in accordance with the operation of the operation unit 105 (for example, a keyboard) by a doctor who is a user. Perform (S101). FIG. 5A is a diagram illustrating an MRI image of the head, which is an example of a medical image. The display control unit 18 further acquires the examination ID and image ID included in the displayed medical image, and among the analysis results held in the analysis result holding unit 16, the medical image including these examination ID and image ID, in other words, Then, an image having a displayed medical image is acquired and output to the site specifying unit 22.

次に、部位特定部22は、医師による操作部105(例えばマウス等のポインティングデバイス)の操作によって、モニタ106の表示画面に表示されている医用画像に対応する対象物の領域が指定されたか否かを判定する(S102)。例えば、図5(b)に示す医用画像では、対象物である頭部における「×」のマーク201の領域が指定されている。   Next, the part specifying unit 22 determines whether the region of the object corresponding to the medical image displayed on the display screen of the monitor 106 is designated by the operation of the operation unit 105 (for example, a pointing device such as a mouse) by the doctor. Is determined (S102). For example, in the medical image shown in FIG. 5B, the region of the “X” mark 201 in the head that is the object is designated.

領域を指定する操作がなされた場合、部位特定部22は、その指定された領域に対応する部位名称の候補を取得する処理を行う(S103)。具体的には、座標取得部32は、医師による操作部105の操作に応じて、表示中の医用画像における指定された領域の座標を取得し、部位特定部22へ送る。部位特定部22は、この表示中の医用画像における指定された領域の座標と、表示制御部18からの解析結果に含まれる各部位領域の座標と比較する。そして、部位特定部22は、表示制御部18からの解析結果に含まれる各部位領域のうち、表示中の医用画像における指定された領域と重複するものを特定する。更に、部位特定部22は、特定した部位領域に対応付けられている部位名称を、指定された領域に対応する部位名称の候補として表示制御部18へ送る。表示制御部18は、これらの部位名称の候補を、医用画像とともにモニタ106に表示させる制御を行う。例えば、図5(c)は、医用画像とともに、部位名称候補の一覧202が示されている。   When an operation for designating an area is performed, the part specifying unit 22 performs a process of acquiring a part name candidate corresponding to the designated area (S103). Specifically, the coordinate acquisition unit 32 acquires the coordinates of the designated area in the medical image being displayed in response to the operation of the operation unit 105 by the doctor, and sends the coordinates to the part specifying unit 22. The part specifying unit 22 compares the coordinates of the designated area in the medical image being displayed with the coordinates of each part area included in the analysis result from the display control unit 18. Then, the part specifying unit 22 specifies a part of the part region included in the analysis result from the display control unit 18 that overlaps the designated region in the medical image being displayed. Further, the part specifying unit 22 sends the part name associated with the specified part region to the display control unit 18 as a candidate for the part name corresponding to the specified region. The display control unit 18 performs control to display these part name candidates on the monitor 106 together with the medical image. For example, FIG. 5C shows a part name candidate list 202 together with a medical image.

次に、部位特定部22は、部位名称候補が指定されたか否かを判定する(S104)。具体的には、部位特定部22は、医師による操作部105(例えばマウス等のポインティングデバイス)の操作によって、モニタ106に一覧形式で表示されている部位名称の候補のうち、医師が適切であると考えるものが指定された場合には、その指定された部位名称が指定されたと判定する。部位名称が指定された場合、部位特定部22は、取得した部位名称、換言すれば、医師が指定した部位名称と、解析結果において当該部位名称に対応付けられている部位の領域及び医用画像と、医師が指定した領域とを文節生成部24へ送る。   Next, the part specific | specification part 22 determines whether the part name candidate was designated (S104). Specifically, the part specifying unit 22 is suitable for the doctor among the part name candidates displayed in a list format on the monitor 106 by the operation of the operation unit 105 (for example, a pointing device such as a mouse) by the doctor. Is determined, it is determined that the specified part name is specified. When the part name is specified, the part specifying unit 22 obtains the acquired part name, in other words, the part name specified by the doctor, the region of the part associated with the part name in the analysis result, and the medical image. The region designated by the doctor is sent to the phrase generation unit 24.

画像メタ情報保持部28は、撮影法や縮尺(%)等の医用画像の属性を表す情報を含む画像メタ情報を保持する。図5は、画像メタ情報の一例を示す図である。画像メタ情報は、医用画像と同様に、検査IDと画像IDとによって一意に特定される。文節生成部24は、部位特定部22からの医用画像、部位の領域及び部位名称を取得すると、当該医用画像と同一の検査ID及び画像IDを有する画像メタ情報を、画像メタ情報保持部28から取得する(S105)。   The image meta information holding unit 28 holds image meta information including information representing attributes of a medical image such as an imaging method and a scale (%). FIG. 5 is a diagram illustrating an example of image meta information. The image meta information is uniquely specified by the examination ID and the image ID as in the case of the medical image. When the phrase generation unit 24 acquires the medical image, the region of the region, and the region name from the region specifying unit 22, image meta information having the same examination ID and image ID as the medical image is acquired from the image meta information holding unit 28. Obtain (S105).

文節パターン保持部26は、文節パターンを保持している。図7は、文節パターンの一例を示す図である。これら文節パターンにおいて、[ ]は、部位名称や画像メタデータが挿入される部分である。文節生成部24は、文節パターン保持部26に保持されている文節パターンを取得する。更に、文節生成部24は、取得した文節パターンの[ ]に部位特定部22からの部位名称や、画像メタ情報保持部28から取得した画像メタ情報に対応する語句を挿入することによって、文節を生成する(S106)。   The phrase pattern holding unit 26 holds phrase patterns. FIG. 7 is a diagram illustrating an example of a phrase pattern. In these phrase patterns, [] is a portion into which a part name or image metadata is inserted. The phrase generation unit 24 acquires the phrase pattern held in the phrase pattern holding unit 26. Further, the phrase generation unit 24 inserts the phrase corresponding to the part name from the part specifying unit 22 and the image meta information acquired from the image meta information holding unit 28 into [] of the acquired phrase pattern, thereby generating a phrase. Generate (S106).

一方、S104において部位名称が指定されなかったと判定された場合、具体的には、モニタ106に一覧形式で表示されている部位名称のうち、医師が適切であると考えるものが指定されなかった場合、あるいは、S103において、部位特定部22が指定された領域に対応する部位の名称を取得することができなかった場合には、文節生成部24は、医師による操作部105(例えばキーボード)の操作に応じて、文節を生成する(S107)。   On the other hand, if it is determined in S104 that the part name has not been designated, specifically, among the part names displayed in the list format on the monitor 106, what the doctor considers appropriate is not designated. Alternatively, in S103, when the part specifying unit 22 cannot acquire the name of the part corresponding to the designated area, the phrase generating unit 24 operates the operation part 105 (for example, a keyboard) by the doctor. In response to this, a phrase is generated (S107).

S106及びS107における文節生成の後、文節生成部24は、生成した文節、その生成した文節に含まれる部位名称、当該部位名称に対応付けられている部位領域及び医用画像、生成した文節に含まれる画像メタ情報、医師が指定した領域を、編集部30へ出力する。編集部30は、これら文節、部位名称、部位領域、医用画像、画像メタ情報、医師が指定した領域を入力すると、文節を編集中の所見や読影レポートに追加する(S108)。   After the phrase generation in S106 and S107, the phrase generation unit 24 includes the generated phrase, the part name included in the generated phrase, the part region and the medical image associated with the part name, and the generated phrase. The image meta information and the region designated by the doctor are output to the editing unit 30. When the editing unit 30 inputs the phrase, part name, part region, medical image, image meta information, and region designated by the doctor, the editing unit 30 adds the phrase to the finding or interpretation report being edited (S108).

例えば、医師によって部位名称「右視床」が指定され、画像メタ情報に含まれる撮影法に関する情報が「T1強調像」であり、文節パターンが「[撮影法]で[部位名称]に」である場合には、文節生成部24は、部位名称「右視床」を文節パターンの[部位名称]に挿入するとともに、画像メタ情報に対応する語句「T1強調像」を文節パターンの[撮影法]に挿入して、文節「T1強調像で右視床に」を生成し、更に、編集部30は、この文節を編集中の所見や読影レポートに追加することによって、「T1強調像で右視床に高信号領域が見られます。」等の文を作成する。なお、編集部30は、文節によって修飾される名詞(ここでは「高信号領域」)については、予め出現頻度が高いと判断されている複数の語句群を保持しておき、プルダウン形式等によってモニタ106に表示させ、医師が指定した語句が挿入されるようにしてもよい。   For example, the part name “right thalamus” is designated by the doctor, the information regarding the imaging method included in the image meta information is “T1-weighted image”, and the phrase pattern is “[imaging method] and [part name]”. In this case, the phrase generation unit 24 inserts the part name “right thalamus” into the [part name] of the phrase pattern, and uses the phrase “T1-weighted image” corresponding to the image meta information as the [imaging method] of the phrase pattern. Then, the phrase “T1 weighted image in the right thalamus” is generated, and the editing unit 30 adds the phrase to the finding being edited or the interpretation report, thereby adding “T1 weighted image to the right thalamus. Create a sentence such as "You can see the signal area." Note that the editing unit 30 holds a plurality of words / phrases that are determined to have a high appearance frequency in advance for nouns modified by phrases (here, “high signal area”) and monitors them in a pull-down format or the like. The words designated by the doctor may be inserted.

このように、本実施形態の文書編集支援システムは、医師がモニタ106に医用画像とともに表示された、当該医用画像における対象物の領域を操作部105の操作によって指定するという、直感的な操作がなされた場合に、その操作に応じて、対象物の指定された領域に対応する部位名称のみならず、当該部位名称を含んだ文節が編集中の所見や読影レポートに追加され、自然言語文である所見や読影レポートの作成が容易になる。   As described above, the document editing support system according to the present embodiment has an intuitive operation in which a doctor designates a region of an object in a medical image displayed on the monitor 106 together with the medical image by operating the operation unit 105. If it is done, depending on the operation, not only the part name corresponding to the specified area of the target object, but also the phrase containing the part name is added to the finding being edited and the interpretation report, It is easy to create certain findings and interpretation reports.

ところで、所見や読影レポートの作成においては、医師は、複数の撮影法で同一部位を撮影して得られた医用画像を同時に参照する場合が多い。このような場合、文書編集支援システムは、医用画像のそれぞれに対応する文節を生成することができる。具体的には、表示制御部18は、同一部位を撮影して得られた医用画像のいずれかがモニタ106に表示させる制御を行うとともに、解析結果保持部16に保持された解析結果のうち、表示されている医用画像を有する解析結果を取得して部位特定部22へ出力する。更に、表示制御部18は、解析結果保持部16に保持された解析結果のうち、表示されている医用画像を有する解析結果内の部位名称と同一の部位名称を有する解析結果を取得して部位特定部22へ出力する。   By the way, in the creation of findings and interpretation reports, doctors often refer to medical images obtained by imaging the same part using a plurality of imaging methods at the same time. In such a case, the document editing support system can generate a clause corresponding to each medical image. Specifically, the display control unit 18 performs control to display any one of the medical images obtained by imaging the same part on the monitor 106, and among the analysis results held in the analysis result holding unit 16, An analysis result having the displayed medical image is acquired and output to the region specifying unit 22. Furthermore, the display control unit 18 acquires an analysis result having the same part name as the part name in the analysis result having the displayed medical image from the analysis results held in the analysis result holding unit 16. Output to the identifying unit 22.

次に、部位特定部22は、医師による操作部105(例えばマウス等のポインティングデバイス)の操作によって、モニタ106に表示されている医用画像に対応する対象物の領域が指定された場合、その指定された領域に対応する部位名称を取得する処理を行う。具体的には、部位特定部22は、医師による操作部105の操作に応じて、表示中の医用画像において指定された領域の座標を取得し、表示中の医用画像を含む解析結果内の各部位領域の座標と比較する。そして、部位特定部22は、表示制御部18からの各部位領域のうち、表示中の医用画像において指定された領域と重複するものを特定する。更に、部位特定部22は、特定した部位領域に対応付けられている部位名称を取得し、表示制御部18へ送る。   Next, when the region of the target object corresponding to the medical image displayed on the monitor 106 is specified by the operation of the operation unit 105 (for example, a pointing device such as a mouse) by the doctor, The process which acquires the site | part name corresponding to the made area | region is performed. Specifically, the part specifying unit 22 acquires the coordinates of the region designated in the displayed medical image in accordance with the operation of the operation unit 105 by the doctor, and each of the analysis results including the displayed medical image Compare with the coordinates of the region. Then, the part specifying unit 22 specifies a part of the part region from the display control unit 18 that overlaps the region specified in the medical image being displayed. Further, the part specifying unit 22 acquires a part name associated with the specified part region and sends the part name to the display control unit 18.

表示制御部18は、これらの部位名称を部位名称の候補として、医用画像とともにモニタ106に表示させる制御を行う。その後、医師による操作ユニットとしての操作部105(例えばマウス等のポインティングデバイス)の操作によって、モニタ106に一覧形式で表示されている部位名称のうち、医師が適切であると考えるものが指定された場合、部位特定部22は、その部位名称、換言すれば、医師が指定した部位名称と、当該部位名称を有する解析結果における医用画像と、当該部位名称に対応する部位領域と、医師が指定した領域とを文節生成部24へ送る。これにより、文節生成部24は、医師が指定した部位名称と、同一部位の撮影によって得られた複数の医用画像と、当該医用画像のそれぞれにおいて医師が指定した部位名称に対応する部位領域と、医師が指定した領域とを取得することができる。   The display control unit 18 performs control to display these part names on the monitor 106 together with the medical image as part name candidates. After that, by the operation of the operation unit 105 (for example, a pointing device such as a mouse) as an operation unit by the doctor, among the part names displayed in the list format on the monitor 106, what the doctor considers appropriate is designated. In this case, the part specifying unit 22 specifies the part name, in other words, the part name designated by the doctor, the medical image in the analysis result having the part name, the part region corresponding to the part name, and the doctor designated The area is sent to the phrase generation unit 24. Thereby, the phrase generation unit 24, a part name designated by the doctor, a plurality of medical images obtained by imaging the same part, a part region corresponding to the part name designated by the doctor in each of the medical images, The area designated by the doctor can be acquired.

文節生成部24は、部位特定部22からの医用画像、部位の領域、部位名称、医師が指定した領域を取得すると、医用画像毎に、当該医用画像と同一の検査ID及び画像IDを有する画像メタ情報を、画像メタ情報保持部28から取得するとともに、文節パターン保持部26に保持されている文節パターンを取得する。そして、文節生成部24は、医用画像毎に、取得した文節パターンの[ ]に部位特定部22からの部位名称や、画像メタ情報保持部28から取得した画像メタ情報に対応する語句を挿入することによって、文節を生成する。更に、編集部30は、医用画像毎に生成された文節を編集中の所見や読影レポートに追加する。   When the phrase generation unit 24 acquires the medical image, the region of the region, the region name, and the region designated by the doctor from the region specifying unit 22, the image having the same examination ID and image ID as the medical image is obtained for each medical image. The meta information is acquired from the image meta information holding unit 28 and the phrase pattern held in the phrase pattern holding unit 26 is acquired. Then, the phrase generation unit 24 inserts, for each medical image, a part name from the part specifying unit 22 or a phrase corresponding to the image meta information acquired from the image meta information holding unit 28 in [] of the acquired phrase pattern. To generate a phrase. Furthermore, the editing unit 30 adds the phrase generated for each medical image to the finding or interpretation report being edited.

例えば、同一部位の撮影によって得られ、撮影法が「T1強調像」及び「T2強調像」である2つの医用画像が存在し、医師によって部位名称「右視床」が指定され、画像メタ情報に含まれる撮影法に関する情報が「T1強調像」あるいは「T2強調像」と、縮尺に関する情報が「75」であり、文節パターンが「[撮影法]で[部位名称]に[大きさ]の」である場合を考える。この場合、文節生成部24は、部位名称「右視床」を文節パターンの[部位名称]に挿入するとともに、画像メタ情報に含まれる撮影法に関する情報に対応する語句「T1強調像」あるいは「T2強調像」を文節パターンの[撮影法]に挿入する。更に、文節生成部24は医師が指定した領域と画像メタ情報に含まれる縮尺に関する情報とに基づいて、医師が指定した領域の大きさを算出し、その大きさに対応する語句(ここでは「直径約2mmの範囲」)を文節パターンの[大きさ]に挿入する。これにより、撮影法が「T1強調像」である医用画像に対応する文節「T1強調像で右視床に直径約2mmの範囲の」と、撮影法が「T2強調像」である医用画像に対応する文節「T2強調像で右視床に直径約2mmの範囲の」とが生成される。そして、編集部30は、これらの文節を編集中の所見や読影レポートに追加することによって、図8(a)に示す「T1強調像で右視床に直径約2mmの範囲の高信号領域が見られます。」、図8(b)に示す「T2強調像で右視床に直径約2mmの範囲の高信号領域が見られます。」等の医用画像毎の文を作成する。これにより、同一部位の撮影によって得られる医用画像毎の自然言語文である所見や読影レポートの作成が容易になる。   For example, there are two medical images that are obtained by photographing the same part and whose photographing methods are “T1-weighted image” and “T2-weighted image”, the part name “right thalamus” is designated by the doctor, and the image meta-information The information regarding the imaging method included is “T1-weighted image” or “T2-weighted image”, the information regarding the scale is “75”, and the phrase pattern is “[imaging method] and [part name] is [size]” Consider the case. In this case, the phrase generation unit 24 inserts the part name “right thalamus” into the [part name] of the phrase pattern, and also uses the phrase “T1-weighted image” or “T2” corresponding to the information about the imaging method included in the image meta information. Insert “enhanced image” into [Shooting method] of the phrase pattern. Further, the phrase generation unit 24 calculates the size of the region designated by the doctor based on the region designated by the doctor and the information related to the scale included in the image meta information, and a phrase (here, “ Insert a range of about 2 mm in diameter ") into the [size] of the phrase pattern. As a result, the phrase “T1-weighted image with a diameter of about 2 mm in the right thalamus” corresponding to the medical image whose photographing method is “T1-weighted image” and the medical image whose photographing method is “T2-weighted image” are supported. The phrase “T2-weighted image with a diameter of about 2 mm in the right thalamus” is generated. Then, the editing unit 30 adds these phrases to the finding or interpretation report being edited, thereby displaying a high signal area having a diameter of about 2 mm in the right thalamus in the T1 weighted image shown in FIG. A sentence for each medical image such as “A high-signal region having a diameter of about 2 mm is seen in the right thalamus in the T2-weighted image” shown in FIG. 8B is created. This facilitates the creation of findings and interpretation reports, which are natural language sentences for each medical image obtained by imaging the same part.

また、編集部30は、図9に示すように、文節によって修飾される名詞(対応語句)と、医師による操作部105(例えばマウス等のポインティングデバイス)の操作、具体的には、右クリック、左クリック、移動等の操作とを対応付けたテーブル(対応テーブル)を保持しておき、医師による操作部105の操作がなされた場合には、その操作に対応する名詞を編集中の所見や読影レポートの文に、文節の修飾先となる名詞を挿入するようにしてもよい。例えば、文節「T1強調像で右視床に」が得られ、更に医師が、ポインティングデバイスを右クリックして、2回以上円を描くように移動させた場合には、図9によれば、関連語句として「高信号領域」が得られ、例えば、「T1強調像で右視床に高信号領域が見られます。」等の文が作成される。これにより、医師の直感的な操作によって、部位名称を含んだ文節によって修飾される語句が迅速に編集中の所見や読影レポートに追加される。   Further, as shown in FIG. 9, the editing unit 30 operates the noun (corresponding phrase) modified by the phrase and the operation of the operation unit 105 (for example, a pointing device such as a mouse) by a doctor, specifically, right click, When a table (correspondence table) in which operations such as left click and movement are associated with each other is held and the operation unit 105 is operated by a doctor, findings and interpretation of the noun corresponding to the operation being edited You may make it insert the noun which becomes the modification destination of a clause in the sentence of a report. For example, if the phrase “T1 weighted image in the right thalamus” is obtained, and the doctor moves the drawing device to draw a circle more than once by right-clicking, according to FIG. The phrase “high signal area” is obtained as the phrase, and for example, a sentence such as “A high signal area is seen in the right thalamus in the T1-weighted image” is created. As a result, the phrase modified by the phrase including the part name is quickly added to the finding or interpretation report being edited by the intuitive operation of the doctor.

再び、図2に戻って説明する。編集部30は、医用画像毎に、当該医用画像、文節を含む文、部位名称、部位領域、画像メタ情報、医師が指定した領域を対応付けて、文書画像関連情報として、文書画像関連情報保持部34に保持させる。その後、表示制御部18は、医師による操作部105(例えばマウス等のポインティングデバイス)の操作に応じて、文書画像関連情報保持部34に保持された文書画像関連情報を読み出し、当該文書画像関連情報に含まれる医用画像や文をモニタ106に表示させる制御を行う。   Again, referring back to FIG. For each medical image, the editing unit 30 associates the medical image, a sentence including a phrase, a part name, a part area, image meta information, and a region specified by a doctor, and retains document image related information as document image related information. Held by the unit 34. Thereafter, the display control unit 18 reads out the document image related information held in the document image related information holding unit 34 in response to the operation of the operation unit 105 (for example, a pointing device such as a mouse) by the doctor, and the document image related information. Is controlled to display on the monitor 106 medical images and sentences included in the.

図10は、文書画像関連情報の表示の一例を示す図である。図10の表示には、同一部位の撮影によって得られた複数の医用画像211及び212と、所見220とが含まれている。この表示は、医用画像211に対応する文書画像関連情報と、医用画像212に対応する文書画像関連情報とによって得られる。医師が操作部105を操作して、医用画像211の所定位置を指定すると、表示制御部18は、医用画像211に対応する文書画像関連情報に基づいて、医用画像211において指定された部位に対応する部位領域を特定する。また、表示制御部18は、医用画像212に対応する文書画像関連情報に基づいて、医用画像211において指定された部位に対応する、医用画像212における部位領域を特定する。更に、表示制御部18は、所見220において、医用画像211に対応する文書画像関連情報内の特定した部位領域に対応する文節を含む文222に下線を付して強調表示する。更に、表示制御部18は、所見220において、医用画像212に対応する文書画像関連情報内の特定した部位領域に対応する文節を含む文224を太字にしたり、色を変えて強調表示する。これにより、医師は、医用画像の所定領域に対応する部位名称についての記述を容易に取得することが可能となる。   FIG. 10 is a diagram illustrating an example of display of document image related information. The display in FIG. 10 includes a plurality of medical images 211 and 212 obtained by photographing the same part, and a finding 220. This display is obtained by document image related information corresponding to the medical image 211 and document image related information corresponding to the medical image 212. When the doctor operates the operation unit 105 to specify a predetermined position of the medical image 211, the display control unit 18 corresponds to the part specified in the medical image 211 based on the document image related information corresponding to the medical image 211. The region of the region to be identified is specified. Further, the display control unit 18 specifies a part region in the medical image 212 corresponding to the part specified in the medical image 211 based on the document image related information corresponding to the medical image 212. Further, in the finding 220, the display control unit 18 underlines and highlights the sentence 222 including the phrase corresponding to the specified region in the document image related information corresponding to the medical image 211. Furthermore, the display control unit 18 highlights the sentence 224 including the clause corresponding to the specified region in the document image related information corresponding to the medical image 212 in the finding 220 by changing the color to bold. Thereby, the doctor can easily obtain a description of the part name corresponding to the predetermined region of the medical image.

検索部36は、医師による操作部105の操作に応じて文書画像関連情報保持部34に保持された文書画像関連情報を検索し、モニタ106に表示されている医用画像や所見等に関連する文書画像関連情報を取得する。具体的には、表示されている文書画像関連情報における医用画像の領域が指定された場合には、検索部36は、その医用画像と同一の撮影法によって得られ、且つ、指定された領域に対応する部位を表す部位名称を含む文を有する文書画像関連情報、指定された領域に対応する部位を表す部位名称を含む文を有する文書画像関連情報等を検索により取得する。また、表示されている文書画像関連情報における文が指定された場合には、検索部36は、指定された文に含まれる部位名称を含む文を有する文書画像関連情報等を検索により取得する。あるいは、医用画像の撮影法、部位名称、部位の大きさ、文に含まれる自立語(小結節状、斑状、高信号、ラクナ梗塞、白質梗塞、虚血、多発性脳血管障害、信号変化)等が検索キーとして指定された場合には、検索部36は、当該検索キーを含む文を有する文書画像関連情報を検索により取得する。   The search unit 36 searches the document image related information held in the document image related information holding unit 34 according to the operation of the operation unit 105 by the doctor, and documents related to medical images and findings displayed on the monitor 106. Get image related information. Specifically, when a medical image region in the displayed document image related information is designated, the search unit 36 is obtained by the same imaging method as that medical image, and the designated region is included in the designated region. Document image related information having a sentence including a part name representing a corresponding part, document image related information having a sentence including a part name representing a part corresponding to the designated region, and the like are acquired by searching. When a sentence in the displayed document image related information is specified, the search unit 36 acquires document image related information having a sentence including a part name included in the specified sentence by searching. Or, medical image capturing method, part name, part size, independent words included in sentences (nodule, patchy, high signal, lacunar infarction, white matter infarction, ischemia, multiple cerebrovascular disorder, signal change) When the search key is specified as a search key, the search unit 36 acquires document image related information having a sentence including the search key by searching.

検索により取得された文書画像関連情報は、表示制御部18へ出力され、当該表示制御部18は、入力した文書画像関連情報に含まれる医用画像や文をモニタ106に表示させる制御を行う。これにより、医師は、書画像関連情報に含まれる文書の読解や画像の認識、新たな所見や読影レポートの作成に他の文書画像関連情報に含まれる文書や画像を役立てることができる。   The document image related information acquired by the search is output to the display control unit 18, and the display control unit 18 performs control to display a medical image or sentence included in the input document image related information on the monitor 106. Thereby, the doctor can make use of the documents and images included in the other document image related information for reading and recognizing the documents included in the document image related information, recognizing images, and creating new findings and interpretation reports.

また、文節生成部24は、予め部位名称と医用画像の撮影法との関連度を算出し、保持しておくようにしてもよい。図11は、部位名称と撮影法との関連度の一例を示す図である。そして、文節生成部24は、文節を生成する際に、部位名称と撮影法との関連度が予め定められた、あるいは、機械学習手法によって定められた所定の閾値以上である場合にのみ、文節パターンにこれら部位名称と撮影法とを挿入する。例えば、部位名称と撮影法との関連度が図11で示され、閾値が0.5である場合には、部位名称「小脳」と撮影法「T2強調像」との組み合わせを文節パターンに挿入した文節は生成されない。これにより、関連度の低い部位名称と撮影法とを含む不適切な文節が生成されることが防止される。   Further, the phrase generation unit 24 may calculate and retain the degree of association between the part name and the medical image photographing method in advance. FIG. 11 is a diagram illustrating an example of the degree of association between a part name and an imaging method. The phrase generation unit 24 generates the phrase only when the degree of association between the part name and the imaging method is predetermined or greater than a predetermined threshold determined by the machine learning method when generating the phrase. These part names and imaging methods are inserted into the pattern. For example, when the degree of association between the part name and the imaging method is shown in FIG. 11 and the threshold is 0.5, a combination of the part name “cerebellum” and the imaging method “T2 weighted image” is inserted into the phrase pattern. Clauses are not generated. Thereby, it is possible to prevent an inappropriate phrase including a part name and an imaging method having a low degree of association from being generated.

以上、説明したように、本発明に係る文書編集支援システム、文書編集支援方法及び文書編集支援プログラムは、自然言語文の文書作成に適した文書編集支援が可能であり、文書編集支援システム等として有用である。   As described above, the document editing support system, the document editing support method, and the document editing support program according to the present invention are capable of document editing support suitable for creating a natural language sentence document. Useful.

文書編集支援システムのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a document edit assistance system. 文書編集支援システムの機能ブロック図を示す図である。It is a figure which shows the functional block diagram of a document edit assistance system. 部位名称及び部位領域の一例を示す図である。It is a figure which shows an example of a site | part name and a site | part area | region. 文書編集支援システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a document edit assistance system. 医用画像及び部位名称候補一覧の一例を示す図である。It is a figure which shows an example of a medical image and a site | part name candidate list. 画像メタデータの一例を示す図である。It is a figure which shows an example of image metadata. 文節パターンの一例を示す図である。It is a figure which shows an example of a phrase pattern. 文節を含む文の一例を示す図である。It is a figure which shows an example of the sentence containing a clause. 操作と対応語句との対応テーブルの一例を示す図である。It is a figure which shows an example of the correspondence table of operation and a corresponding phrase. 文書画像関連情報の表示の一例を示す図である。It is a figure which shows an example of a display of document image relevant information. 部位名称と撮影法との関連度の一例を示す図である。It is a figure which shows an example of the association degree of a site | part name and imaging | photography method.

符号の説明Explanation of symbols

12 医用画像保持部
14 医用画像解析部
16 解析結果保持部
18 表示制御部
22 部位特定部
24 文節生成部
26 文節パターン保持部
28 画像メタ情報保持部
30 編集部
32 座標取得部
34 文書画像関連情報保持部
36 検索部
100 PC
102 メモリ
103 HDD
105 操作部
106 モニタ
107 内部バス
DESCRIPTION OF SYMBOLS 12 Medical image holding | maintenance part 14 Medical image analysis part 16 Analysis result holding | maintenance part 18 Display control part 22 Region specification part 24 Phrase production | generation part 26 Phrase pattern holding part 28 Image meta-information holding part 30 Editing part 32 Coordinate acquisition part 34 Document image related information Holding unit 36 Search unit 100 PC
102 Memory 103 HDD
105 Operation unit 106 Monitor 107 Internal bus

Claims (11)

対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とを対応付けて保持する第1の保持手段と、
表示画面に表示された対象物の画像において領域が指定されたときに、前記第1の保持手段に保持された前記対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とから、前記指定された領域に対応する候補としての部位名称を取得する第1の取得手段と、
前記第1の取得手段により取得された部位名称の候補を前記表示画面に表示させる第1の表示制御手段と、
前記第1の表示制御手段によって前記表示画面に表示された部位名称の候補から指定された部位名称を含む文節を生成する生成手段と、
前記生成手段によって生成された文節を編集すべき文書に追加する追加手段と
前記部位名称と前記画像の撮影法との関連度を算出する関連度算出手段とを有し、
前記生成手段は、前記関連度が所定値以上である前記部位名称及び撮影法を含む文節を生成することを特徴とする文書編集支援システム。
A first holding unit that holds an area of each part of the object in the image of the object and a part name representing the part in association with each other;
When an area is specified in the image of the object displayed on the display screen, the area of each part of the object in the image of the object held by the first holding unit and the part representing the part First acquisition means for acquiring a part name as a candidate corresponding to the specified region from the name;
First display control means for displaying the part name candidates acquired by the first acquisition means on the display screen;
Generating means for generating a phrase including a part name designated from candidate part names displayed on the display screen by the first display control means;
Adding means for adding the clause generated by the generating means to a document to be edited ;
Relevance calculation means for calculating relevance between the part name and the imaging method of the image,
The document generation support system , wherein the generation unit generates a phrase including the part name and imaging method in which the relevance is a predetermined value or more .
前記生成手段は、予め定められた文節の形式を表す文節パターンに前記指定された部位名称を挿入することにより文節を生成することを特徴とする請求項1に記載の文書編集支援システム。   The document editing support system according to claim 1, wherein the generation unit generates a phrase by inserting the designated part name into a phrase pattern representing a predetermined phrase format. 前記対象物の画像に該画像の属性を表す情報であるメタ情報が対応付けられており、
前記画像のメタ情報を取得する第2の取得手段を有し、
前記生成手段は、前記第2の取得手段によって取得されたメタ情報に対応する語句を含む文節を生成することを特徴とする請求項1又は2記載の文書編集支援システム。
Meta information, which is information representing the attribute of the image, is associated with the image of the object,
A second acquisition unit configured to acquire meta information of the image;
The document editing support system according to claim 1, wherein the generation unit generates a phrase including a phrase corresponding to the meta information acquired by the second acquisition unit.
前記第2の取得手段は、撮影法が異なる同一の部位を含む複数の画像のそれぞれに対応するメタ情報を取得し、
前記生成手段は、前記第2の取得手段によって取得されたメタ情報毎に、該メタ情報に対応する語句を含む文節を生成することを特徴とする請求項3に記載の文書編集支援システム。
The second acquisition means acquires meta information corresponding to each of a plurality of images including the same part with different imaging methods,
The document editing support system according to claim 3, wherein the generation unit generates a phrase including a phrase corresponding to the meta information for each piece of meta information acquired by the second acquisition unit.
前記部位名称を含む文節によって修飾されるべき語句を予め定められた語句群から取得する第3の取得手段と、
前記第3の取得手段によって取得された語句を前記生成手段によって生成された文節に付加する付加手段とを有することを特徴とする請求項1乃至4のいずれかに記載の文書編集支援システム。
Third acquisition means for acquiring a phrase to be modified by a phrase including the part name from a predetermined phrase group;
5. The document editing support system according to claim 1, further comprising: an adding unit that adds the phrase acquired by the third acquiring unit to the phrase generated by the generating unit.
操作ユニットの複数の操作のそれぞれと語句との対応関係を示すテーブルを有し、
前記第3の取得手段は、前記テーブルを参照して操作ユニットの操作に対応した語句を前記部位名称を含む文節によって修飾されるべき語句として取得することを特徴とする請求項5に記載の文書編集支援システム。
It has a table showing the correspondence between each of a plurality of operations of the operation unit and the phrase,
6. The document according to claim 5, wherein the third acquisition unit acquires a word corresponding to the operation of the operation unit with reference to the table as a word to be modified by a phrase including the part name. Editing support system.
前記部位名称を含む文節が追加された文書、前記文節に含まれる部位名称によって表される部位を含む画像、及び、該画像において前記文節に含まれる部位名称で表される部位の領域を関連付けた情報である文書画像関連情報を保持する第2の保持手段と、
前記第2の保持手段によって保持された文書画像関連情報に含まれる文書及び画像を表示画面に表示させるとともに、該表示された画像において指定された領域に対応する部位名称を含む文を特定して表示させる第2の表示制御手段とを有することを特徴とする請求項1乃至6のいずれかに記載の文書編集支援システム。
A document in which a phrase including the part name is added, an image including a part represented by the part name included in the phrase, and a region of the part represented by the part name included in the phrase in the image are associated with each other. Second holding means for holding document image related information as information;
A document and an image included in the document image related information held by the second holding unit are displayed on the display screen, and a sentence including a part name corresponding to a specified area in the displayed image is specified. 7. The document editing support system according to claim 1, further comprising second display control means for displaying.
前記表示された前記文書画像関連情報に含まれる文又は画像における領域が指定された場合に、前記指定された文に含まれる部位名称、又は、前記指定された領域に対応する部位を表す部位名称を含む文節が追加された文書を含む文書画像関連情報を検索する第1の検索手段と、
前記第1の検索手段による検索により得られた文書画像関連情報に含まれる文書及び画像の少なくともいずれかを前記表示画面に表示させる第3の表示制御手段とを有することを特徴とする請求項7に記載の文書編集支援システム。
When a sentence or image area included in the displayed document image related information is designated, a part name included in the designated sentence or a part name representing a part corresponding to the designated area First search means for searching for document image related information including a document to which a phrase including
8. A third display control means for displaying on the display screen at least one of a document and an image included in the document image related information obtained by the search by the first search means. Document editing support system described in 1.
検索キーが入力された場合に、該検索キーを含む文書画像関連情報を検索する第2の検索手段と、
前記第2の検索手段による検索により得られた文書画像関連情報に含まれる文書及び画像の少なくともいずれかを前記表示画面に表示させる第4の表示制御手段とを有することを特徴とする請求項7又は8に記載の文書編集支援システム。
Second search means for searching for document image related information including the search key when a search key is input;
8. A fourth display control means for displaying on the display screen at least one of a document and an image included in the document image related information obtained by the search by the second search means. Or the document editing support system according to 8.
表示画面に表示された対象物の画像において領域が指定されたときに、保持手段に保持された対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とから、前記指定された領域に対応する候補としての部位名称を取得する取得ステップと、
前記取得ステップにより取得された部位名称の候補を前記表示画面に表示させる表示制御ステップと、
前記表示制御ステップによって前記表示画面に表示された部位名称の候補から指定された部位名称を含む文節を生成する生成ステップと、
前記生成ステップによって生成された文節を編集すべき文書に追加する追加ステップと、
前記部位名称と前記画像の撮影法との関連度を算出する関連度算出ステップとを有し、
前記生成ステップは、前記関連度が所定値以上である前記部位名称及び撮影法を含む文節を生成することを特徴とする文書編集支援方法。
When an area is specified in the image of the object displayed on the display screen, the region of each part of the object in the image of the object held by the holding unit, and the part name representing the part, An acquisition step of acquiring a part name as a candidate corresponding to the specified region;
A display control step of displaying on the display screen the candidate site names acquired by the acquiring step;
A generating step for generating a phrase including a part name designated from candidate part names displayed on the display screen by the display control step;
An adding step of adding the clause generated by the generating step to a document to be edited;
A relevance level calculating step for calculating a relevance level between the part name and the imaging method of the image,
In the document editing support method , the generation step generates a phrase including the part name and imaging method in which the relevance is a predetermined value or more .
コンピュータに、
表示画面に表示された対象物の画像において領域が指定されたときに、保持手段に保持された対象物の画像における該対象物の各部位の領域と、該部位を表す部位名称とから、前記指定された領域に対応する候補としての部位名称を取得する取得ステップと、
前記取得ステップにより取得された部位名称の候補を前記表示画面に表示させる表示制御ステップと、
前記表示制御ステップによって前記表示画面に表示された部位名称の候補から指定された部位名称を含む文節を生成する生成ステップと、
前記生成ステップによって生成された文節を編集すべき文書に追加する追加ステップと
前記部位名称と前記画像の撮影法との関連度を算出する関連度算出ステップとを実行させ、
前記生成ステップは、前記関連度が所定値以上である前記部位名称及び撮影法を含む文節を生成することを特徴とする文書編集支援プログラム。
On the computer,
When an area is specified in the image of the object displayed on the display screen, the region of each part of the object in the image of the object held by the holding unit, and the part name representing the part, An acquisition step of acquiring a part name as a candidate corresponding to the specified region;
A display control step of displaying on the display screen the candidate site names acquired by the acquiring step;
A generating step for generating a phrase including a part name designated from candidate part names displayed on the display screen by the display control step;
An adding step of adding the clause generated by the generating step to a document to be edited ;
Executing a relevance calculation step of calculating a relevance between the part name and the imaging method of the image;
In the document editing support program , the generation step generates a phrase including the part name and imaging method in which the relevance is a predetermined value or more .
JP2006290541A 2006-10-25 2006-10-25 Document editing support system, document editing support method, and document editing support program Expired - Fee Related JP5003098B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006290541A JP5003098B2 (en) 2006-10-25 2006-10-25 Document editing support system, document editing support method, and document editing support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006290541A JP5003098B2 (en) 2006-10-25 2006-10-25 Document editing support system, document editing support method, and document editing support program

Publications (2)

Publication Number Publication Date
JP2008108079A JP2008108079A (en) 2008-05-08
JP5003098B2 true JP5003098B2 (en) 2012-08-15

Family

ID=39441376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006290541A Expired - Fee Related JP5003098B2 (en) 2006-10-25 2006-10-25 Document editing support system, document editing support method, and document editing support program

Country Status (1)

Country Link
JP (1) JP5003098B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115432A (en) * 2008-11-14 2010-05-27 Techmatrix Corp Medical report system
WO2012077012A1 (en) 2010-12-07 2012-06-14 Koninklijke Philips Electronics N.V. Method and system for managing imaging data
JP2014013590A (en) * 2013-08-27 2014-01-23 Canon Inc Diagnostic support apparatus and diagnostic support method
JP6519123B2 (en) 2013-08-30 2019-05-29 日亜化学工業株式会社 Light emitting element mounting substrate and fixing method of the substrate
JP2015102944A (en) * 2013-11-22 2015-06-04 コニカミノルタ株式会社 Medical information processing device
JP6331456B2 (en) * 2014-02-20 2018-05-30 コニカミノルタ株式会社 Information processing system and program
JP6595193B2 (en) * 2014-03-11 2019-10-23 キヤノンメディカルシステムズ株式会社 Interpretation report creation device and interpretation report creation system
JP6906462B2 (en) 2018-02-28 2021-07-21 富士フイルム株式会社 Medical image display devices, methods and programs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3330417B2 (en) * 1993-03-22 2002-09-30 富士通株式会社 Medical image filing system
JP2005148990A (en) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc Medical image interpretation system and interpretation report creating method

Also Published As

Publication number Publication date
JP2008108079A (en) 2008-05-08

Similar Documents

Publication Publication Date Title
JP5003098B2 (en) Document editing support system, document editing support method, and document editing support program
US20120176408A1 (en) Image interpretation report generation apparatus, method and program
JP5405678B2 (en) Medical report creation device, medical report reference device, and program thereof
JP5264136B2 (en) MEDICAL DIAGNOSIS SUPPORT DEVICE, ITS CONTROL METHOD, COMPUTER PROGRAM, AND STORAGE MEDIUM
US8625867B2 (en) Medical image display apparatus, method, and program
EP2904589B1 (en) Medical image navigation
JP5053690B2 (en) Image diagnosis support system and image diagnosis support program
JP5390805B2 (en) OUTPUT DEVICE AND METHOD, PROGRAM, AND RECORDING MEDIUM
JP5274180B2 (en) Image processing apparatus, image processing method, computer program, and storage medium
KR101471866B1 (en) Display apparatus and display method
RU2711305C2 (en) Binding report/image
JP5242022B2 (en) Medical report creation device, medical report reference device, and program thereof
JP2017051591A (en) Information processing device and method thereof, information processing system, and computer program
JP2008006091A (en) Medical image dividing apparatus and medical image dividing program
JP7258772B2 (en) holistic patient radiology viewer
JP2006155002A (en) Report preparation support system
JP2009238039A (en) Medical report system, medical report reading device, medical report program, and medical report reading method
JP5251064B2 (en) Interpretation report creation support device
JP2009271620A (en) Document preparation support device, document preparation support method and document preparation support program
US20090175519A1 (en) Image processing apparatus, image processing method, and computer program storage medium
JP2001155099A (en) Medical observation managing system
JP5305700B2 (en) Image diagnosis support system and image diagnosis support method
JP2006235971A (en) Image referencing apparatus and method for classifying and searching for image
JP2013149265A (en) Diagnosis support device and control method
JP2009080665A (en) Medical report preparation support program, medical report preparation apparatus and medical report preparation support method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees