JP6598422B2 - Medical information processing apparatus, system, and program - Google Patents
Medical information processing apparatus, system, and program Download PDFInfo
- Publication number
- JP6598422B2 JP6598422B2 JP2013167837A JP2013167837A JP6598422B2 JP 6598422 B2 JP6598422 B2 JP 6598422B2 JP 2013167837 A JP2013167837 A JP 2013167837A JP 2013167837 A JP2013167837 A JP 2013167837A JP 6598422 B2 JP6598422 B2 JP 6598422B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- subject
- medical
- symptom
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Description
本発明の実施形態は、医用情報処理装置、システム及びプログラムに関する。 Embodiments described herein relate generally to a medical information processing apparatus, a system, and a program.
従来、リハビリテーション(rehabilitation)においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。 Traditionally, in rehabilitation, many specialists aim to lead better lives for those with mental and physical disabilities caused by various causes such as illness, trauma, and aging, and congenital disabilities. Support that cooperated by is performed. For example, rehabilitation is supported by a number of specialists such as rehabilitation specialists, rehabilitation nurses, physical therapists, occupational therapists, speech therapists, clinical psychologists, prosthetic braces, and social workers.
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ(motion capture)技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Kinect(登録商標)が知られている。 On the other hand, in recent years, development of a motion capture technique for digitally recording the movement of a person or an object has progressed. As a method of motion capture technology, for example, an optical type, a mechanical type, a magnetic type, a camera type and the like are known. For example, a camera system is known in which a marker is attached to a person, the marker is detected by a tracker such as a camera, and the movement of the person is digitally recorded by processing the detected marker. In addition, as a method that does not use markers and trackers, an infrared sensor is used to measure the distance from the sensor to a person, and the movement of the person is digitally detected by detecting various movements of the person's size and skeleton. The recording method is known. As a sensor using such a method, for example, Kinect (registered trademark) is known.
本発明が解決しようとする課題は、診断を支援することができる医用情報処理装置、システム及びプログラムを提供することである。 The problem to be solved by the present invention is to provide a medical information processing apparatus, system, and program capable of supporting diagnosis.
実施形態に係る医用情報処理装置は、記憶部と、取得部と、判定部と、出力制御部とを備える。記憶部は、疾患を表す疾患情報と、前記症状の程度を表す程度情報と、前記疾患の程度に応じた被検体の動作を表す疾患動作情報とを対応付けて記憶する。取得部は、被検体の動作を表す動作情報を取得する。判定部は、前記動作情報と、前記疾患動作情報とを比較することで、前記被検体の疾患情報及び程度情報を判定する。出力制御部は、前記判定部により判定された前記被検体の疾患情報及び程度情報に基づいて、判定された前記症状情報及び程度情報の確定診断を行うための画像診断に関する診断支援情報を出力する。 The medical information processing apparatus according to the embodiment includes a storage unit, an acquisition unit, a determination unit, and an output control unit. The storage unit stores disease information representing a disease, degree information representing the degree of the symptom, and disease operation information representing the movement of the subject according to the degree of the disease in association with each other. The acquisition unit acquires motion information representing the motion of the subject. The determination unit determines the disease information and the degree information of the subject by comparing the motion information with the disease motion information. The output control unit outputs diagnosis support information related to image diagnosis for performing a definitive diagnosis of the determined symptom information and degree information based on the disease information and degree information of the subject determined by the determination unit. .
以下、図面を参照して、実施形態に係る医用情報処理装置、システム及びプログラムを説明する。なお、以下で説明する医用情報処理装置は、医用情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。 A medical information processing apparatus, system, and program according to embodiments will be described below with reference to the drawings. The medical information processing apparatus described below may be used as a single medical information processing apparatus, or may be used by being incorporated in a system such as a medical record system or a rehabilitation department system. .
(第1の実施形態)
図1は、第1の実施形態に係る医用情報処理装置100の構成例を示すブロック図である。第1の実施形態に係る医用情報処理装置100は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる被検体の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of the medical
図1に示すように、第1の実施形態において、医用情報処理装置100は、動作情報収集部10に接続される。
As shown in FIG. 1, in the first embodiment, the medical
動作情報収集部10は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部14の処理を説明する際に詳述する。また、動作情報収集部10としては、例えば、Kinect(登録商標)が用いられる。
The motion
図1に示すように、動作情報収集部10は、カラー画像収集部11と、距離画像収集部12と、音声認識部13と、動作情報生成部14とを有する。なお、図1に示す動作情報収集部10の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
As illustrated in FIG. 1, the motion
カラー画像収集部11は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部11は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部11は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた情報とが含まれる。カラー画像収集部11は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部11によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部11は、受光素子として、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)を有する。
The color
距離画像収集部12は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部12は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部12は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部12との距離を求め、撮影範囲に対応する1フレームの距離画像情報を生成する。この1フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部12との距離が対応付けられた情報とが含まれる。距離画像収集部12は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部12によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部12は、受光素子として、例えば、CMOSやCCDを有する。この受光素子は、カラー画像収集部11で用いられる受光素子と共用されても良い。また、距離画像収集部12によって算出される距離の単位は、例えば、メートル[m]である。
The distance
音声認識部13は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部13は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部13は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部13は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部13は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
The
動作情報生成部14は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作(ジェスチャー)を複数の姿勢(ポーズ)の連続として捉えることにより生成される。概要を説明すると、動作情報生成部14は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部12によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部14は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる3次元空間の座標系(以下、「世界座標系」と呼ぶ)で表される値に変換する。この世界座標系で表される各関節の座標が、1フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第1の実施形態に係る動作情報生成部14の処理を具体的に説明する。
The motion
図2Aから図2Cは、第1の実施形態に係る動作情報生成部14の処理を説明するための図である。図2Aには、距離画像収集部12によって生成される距離画像の一例を示す。なお、図2Aにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置X」と、距離画像の上下方向における「画素位置Y」と、当該画素に対応する被写体と距離画像収集部12との「距離Z」とを対応付けた3次元の値を有する。以下では、距離画像座標系の座標の値を、この3次元の値(X,Y,Z)で表記する。
2A to 2C are diagrams for explaining processing of the motion
第1の実施形態において、動作情報生成部14は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部14は、距離画像収集部12によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部14は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
In the first embodiment, the motion
ここで、人体パターンについて説明する。図2Bには、人体パターンの一例を示す。第1の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報(以下、「人体表面」と呼ぶ)を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図2Bに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。 Here, the human body pattern will be described. FIG. 2B shows an example of a human body pattern. In the first embodiment, since the human body pattern is a pattern used for pattern matching with distance image information, it is expressed in the distance image coordinate system, and is similar to the person depicted in the distance image, on the surface of the human body. Information (hereinafter referred to as “human body surface”). For example, the human body surface corresponds to the skin or clothing surface of the person. Further, as shown in FIG. 2B, the human body pattern includes information on each joint forming the skeleton of the human body. That is, in the human body pattern, the relative positional relationship between the human body surface and each joint is known.
図2Bに示す例では、人体パターンは、関節2aから関節2tまでの20点の関節の情報を有する。このうち、関節2aは、頭部に対応し、関節2bは、両肩の中央部に対応し、関節2cは、腰に対応し、関節2dは、臀部の中央部に対応する。また、関節2eは、右肩に対応し、関節2fは、右肘に対応し、関節2gは、右手首に対応し、関節2hは、右手に対応する。また、関節2iは、左肩に対応し、関節2jは、左肘に対応し、関節2kは、左手首に対応し、関節2lは、左手に対応する。また、関節2mは、右臀部に対応し、関節2nは、右膝に対応し、関節2oは、右足首に対応し、関節2pは、右足の足根に対応する。また、関節2qは、左臀部に対応し、関節2rは、左膝に対応し、関節2sは、左足首に対応し、関節2tは、左足の足根に対応する。 In the example illustrated in FIG. 2B, the human body pattern includes information on 20 joints from the joint 2a to the joint 2t. Of these, the joint 2a corresponds to the head, the joint 2b corresponds to the center of both shoulders, the joint 2c corresponds to the waist, and the joint 2d corresponds to the center of the buttocks. The joint 2e corresponds to the right shoulder, the joint 2f corresponds to the right elbow, the joint 2g corresponds to the right wrist, and the joint 2h corresponds to the right hand. The joint 2i corresponds to the left shoulder, the joint 2j corresponds to the left elbow, the joint 2k corresponds to the left wrist, and the joint 2l corresponds to the left hand. Also, the joint 2m corresponds to the right hip, the joint 2n corresponds to the right knee, the joint 2o corresponds to the right ankle, and the joint 2p corresponds to the right foot. Further, the joint 2q corresponds to the left hip, the joint 2r corresponds to the left knee, the joint 2s corresponds to the left ankle, and the joint 2t corresponds to the left foot.
なお、図2Bでは、人体パターンが20点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節2aから関節2dまでのうち、関節2b及び関節2cの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節2hのみならず、右手の指の関節を新たに設定して良い。なお、図2Bの関節2a、関節2h、関節2l、関節2p、関節2tは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
In FIG. 2B, the case where the human body pattern has information on 20 joints has been described. However, the embodiment is not limited to this, and the position and number of joints may be arbitrarily set by the operator. . For example, when only the change in the movement of the limbs is captured, information on the joint 2b and the joint 2c among the
動作情報生成部14は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部14は、図2Bに示す人体パターンの人体表面と、図2Aに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部14は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部14は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図2Cに示すように、動作情報生成部14は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
The motion
なお、動作情報生成部14は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係(例えば、「関節2aと関節2bとが連結」等)や、各関節の可動域が含まれる。関節は、2つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部14は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
In addition, the motion
続いて、動作情報生成部14は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる3次元空間の座標系であり、例えば、動作情報収集部10の位置を原点とし、水平方向をx軸、鉛直方向をy軸、xy平面に直交する方向をz軸とする座標系である。なお、このz軸方向の座標の値を「深度」と呼ぶことがある。
Subsequently, the motion
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第1の実施形態において、動作情報生成部14は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部14は、ある関節の座標(X1,Y1,Z1)、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標(X1,Y1,Z1)を世界座標系の座標(x1,y1,z1)に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部14は、座標(X1,Y1,Z1)に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部14が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
Here, the process of converting from the distance image coordinate system to the world coordinate system will be described. In the first embodiment, it is assumed that the motion
そして、動作情報生成部14は、この世界座標系で表される各関節の座標から骨格情報を生成する。図3は、動作情報生成部14によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部14は、図3に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図3において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「2a」は、頭部に対応し、関節識別情報「2b」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
Then, the motion
図3の1行目には、関節識別情報「2a」と、座標情報「(x1,y1,z1)」とが対応付けられている。つまり、図3の骨格情報は、あるフレームにおいて頭部が座標(x1,y1,z1)の位置に存在することを表す。また、図3の2行目には、関節識別情報「2b」と、座標情報「(x2,y2,z2)」とが対応付けられている。つまり、図3の骨格情報は、あるフレームにおいて両肩の中央部が座標(x2,y2,z2)の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。 In the first line of FIG. 3, joint identification information “2a” and coordinate information “(x1, y1, z1)” are associated. That is, the skeleton information in FIG. 3 indicates that the head is present at the coordinates (x1, y1, z1) in a certain frame. Also, in the second row of FIG. 3, joint identification information “2b” and coordinate information “(x2, y2, z2)” are associated. That is, the skeleton information in FIG. 3 indicates that the center of both shoulders exists at the position of coordinates (x2, y2, z2) in a certain frame. Similarly, other joints indicate that each joint exists at a position represented by each coordinate in a certain frame.
このように、動作情報生成部14は、距離画像収集部12から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部14は、生成した各フレームの骨格情報を、医用情報処理装置100へ出力し、後述の動作情報記憶部131へ格納する。
In this way, every time the distance image information of each frame is acquired from the distance
なお、動作情報生成部14の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部14が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
Note that the processing of the motion
また、例えば、上述では、動作情報生成部14が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部14が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部14は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Z」の情報は含まれない。そこで、動作情報生成部14は、例えば、この「距離Z」の情報については距離画像情報から得て、これら2つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
For example, in the above description, the method in which the motion
また、動作情報生成部14は、カラー画像収集部11によって生成されたカラー画像情報、距離画像収集部12によって生成された距離画像情報及び音声認識部13によって出力された音声認識結果を、必要に応じて医用情報処理装置100へ適宜出力し、後述の動作情報記憶部131へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部11及び距離画像収集部12の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部14によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部12により算出される距離[m]を用いることで、身長や体の各部の長さ(腕の長さや腹部の長さ)を求めたり、カラー画像上で指定された2ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部14は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節2aがあれば、その関節2aを含む人物が発した単語として出力可能である。更に、動作情報生成部14は、各関節の位置関係を表す情報についても、必要に応じて医用情報処理装置100へ適宜出力し、後述の記憶部130へ格納する。
Further, the motion
また、動作情報生成部14は、世界座標系のz軸方向の座標の値である深度を用いて、撮影範囲に対応する1フレームの深度画像情報を生成する。この1フレーム分の深度画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する深度が対応付けられた情報とが含まれる。言い換えると、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。動作情報生成部14は、生成した深度画像情報を医用情報処理装置100へ出力し、後述の動作情報記憶部131に格納する。なお、深度画像情報は、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像として出力されても良い。
In addition, the motion
なお、ここでは、動作情報収集部10によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部10の撮影範囲に含まれていれば、動作情報収集部10は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部10は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として医用情報処理装置100へ出力する。
Although the case where the motion
また、動作情報収集部10の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部10は、必ずしも距離画像収集部12を有していなくても良い。かかる場合、動作情報収集部10は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部10は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部10は、カラー画像収集部11によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて医用情報処理装置100へ適宜出力する。また、例えば、動作情報収集部10は、音声認識結果を医用情報処理装置100へ出力しない場合には、音声認識部13を有していなくても良い。
Further, the configuration of the operation
更に、上述した実施形態において、動作情報収集部10は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部10は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、医用情報処理装置100側で行ってもよい。
Furthermore, in the embodiment described above, the motion
図1の説明に戻る。医用情報処理装置100は、動作情報収集部10から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。医用情報処理装置100は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図1に示すように、出力部110と、入力部120と、記憶部130と、制御部140とを有する。
Returning to the description of FIG. The medical
出力部110は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部110は、医用情報処理装置100を操作する操作者が入力部120を用いて各種要求を入力するためのGUI(Graphical User Interface)を表示したり、医用情報処理装置100において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部110は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部110は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。
The
入力部120は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部120は、医用情報処理装置100の操作者から各種要求の入力を受け付け、受け付けた各種要求を医用情報処理装置100に転送する。例えば、入力部120は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部120は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
The
記憶部130は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部140は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路、或いはCPU(Central Processing Unit)が所定のプログラムを実行することで実現することができる。
The
以上、第1の実施形態に係る医用情報処理装置100の構成について説明した。かかる構成のもと、第1の実施形態に係る医用情報処理装置100は、診断を支援することができる。例えば、医用情報処理装置100は、早期診断が困難な疾患を診断する場合に、医師の診断を支援することができる。早期診断が困難な疾患の一例としては、変形性膝関節症が挙げられる。変形性膝関節症とは、関節軟骨の退行性(加齢)変化による疾患であり、膝の関節軟骨がすり減って軟骨下骨の神経が露出してしまい、神経が刺激されることで痛みを生じる疾患である。また、すり減った軟骨は元に戻り難く、特に高齢者では元に戻らないため、変形性膝関節症を早期に診断することで、病態の進行を防ぐことが重要である。
The configuration of the medical
図4A〜図4Cは、変形性膝関節症の病態について説明するための図である。図4Aには、変形性膝関節症の初期における病態を例示し、図4Bには、変形性膝関節症の進行期における病態を例示し、図4Cには、変形性膝関節症の末期における病態を例示する。 4A to 4C are diagrams for explaining a pathological condition of knee osteoarthritis. FIG. 4A illustrates the pathological condition in the early stage of knee osteoarthritis, FIG. 4B illustrates the pathological condition in the advanced stage of knee osteoarthritis, and FIG. 4C illustrates the pathological condition in the last stage of knee osteoarthritis. Illustrate the pathology.
図4Aに示すように、変形性膝関節症の初期においては、膝の関節軟骨が摩耗している。関節軟骨自体には神経がないため、この病態では症状(膝の痛み)が出ることは少ない。この病態から関節軟骨の摩耗が進行すると、図4Bに示すように、関節軟骨に亀裂が生じる。この病態では、病態の程度に応じて痛みが出る場合が多い。更に病態が進行して末期になると、図4Cに示すように、関節軟骨が無くなり、軟骨下骨が露出する。この病態では、軟骨下骨が直接ダメージを受け、骨硬化やのう胞を形成する。 As shown in FIG. 4A, in the early stage of knee osteoarthritis, the knee articular cartilage is worn. Since articular cartilage itself has no nerves, symptoms (knee pain) rarely appear in this condition. When the wear of the articular cartilage proceeds from this pathological condition, a crack occurs in the articular cartilage as shown in FIG. 4B. In this pathological condition, pain often appears depending on the degree of the pathological condition. When the disease progresses further to the end stage, as shown in FIG. 4C, the articular cartilage disappears and the subchondral bone is exposed. In this condition, the subchondral bone is directly damaged and forms bone sclerosis and cysts.
ここで、従来、変形性膝関節症の病態を診断するために、X線検査やMRI(Magnetic Resonance Imaging)検査による画像診断が行われている。例えば、X線検査による画像所見(X線所見)では、膝に荷重がかかる立位姿勢においてX線撮影を行う荷重X線検査という特定の撮影方法が用いられる。この荷重X線検査によって撮影されたX線画像において、骨棘・骨堤の形成、骨硬化及び関節裂隙の狭小化の3つのX線所見のうち1つでも発見されれば、変形性膝関節症であると診断される。 Here, conventionally, in order to diagnose the pathological condition of knee osteoarthritis, image diagnosis by X-ray examination or MRI (Magnetic Resonance Imaging) examination is performed. For example, in an image finding (X-ray finding) by X-ray inspection, a specific imaging method called a load X-ray inspection is performed in which X-ray imaging is performed in a standing posture where a load is applied to the knee. If one of the three X-ray findings of osteophyte formation, bone crest formation, bone sclerosis, and joint space narrowing is found in the X-ray image taken by this load X-ray examination, the deformable knee joint Diagnosed with symptom.
また、例えば、MRI検査では、T2*強調画像を撮影する方法が用いられる。このT2*強調画像において、ミラーlesion、骨棘・骨堤の形成、骨硬化及び骨のう胞の形成の4つのMRI所見のうち1つでも発見されれば,変形性膝関節症であると診断される。なお、ミラーlesionとは、大腿骨関節面と脛骨関節面とが衝突し、骨髄内までダメージが及んだ状態を示す。 Further, for example, in the MRI examination, a method of taking a T2 * weighted image is used. In this T2 * weighted image, if one of the four MRI findings of mirror region, osteophyte formation, bone sclerosis formation, bone sclerosis and bone cyst formation is detected, it is diagnosed as osteoarthritis of the knee. The Note that the mirror region indicates a state in which the femoral joint surface and the tibial joint surface collide and damage has occurred in the bone marrow.
しかしながら、上記の診断では、変形性膝関節症の早期診断は困難であった。この要因としては、例えば、上記の画像診断を行うためには、特定の撮影方法で撮影しなければならないことが挙げられる。つまり、膝の痛みを診断する場合には、変形性膝関節症以外にも推定される疾患が存在するため、変形性膝関節症の診断のみを目的とした荷重X線検査及びT2*強調画像の撮影は、顕著な痛みを生じていない限り実施されることが少なかった。このため、従来の画像診断では、変形性膝関節症の早期診断は困難であった。また、特定の方法による撮像条件や診断方法も熟練の技量を要するため、経験の浅い医師や技師では適切な撮影・診断の次実施が抜け落ちてしまう可能性もある。 However, with the above diagnosis, early diagnosis of knee osteoarthritis has been difficult. As this factor, for example, in order to perform the above-described image diagnosis, it is necessary to perform imaging by a specific imaging method. In other words, when diagnosing knee pain, there are presumed diseases other than knee osteoarthritis, so a load X-ray examination and T2 * weighted image only for the purpose of diagnosing knee osteoarthritis This was rarely performed unless significant pain occurred. For this reason, it has been difficult to perform early diagnosis of knee osteoarthritis by conventional image diagnosis. In addition, since imaging conditions and diagnostic methods by specific methods require skilled skills, doctors and technicians with little experience may miss the next execution of appropriate imaging and diagnosis.
また、他の要因としては、膝の痛みは被検体(患者)に軽視される傾向があることも挙げられる。つまり、一部の被検体は、膝に痛みが生じたとしても、日常生活に不自由が生じるまでは医療機関を受診せず、不自由が生じてから受診する場合がある。この場合、既に被検体の病態が進行しているため、病態の進行を防ぐには手遅れになってしまうことがある。すなわち、医療機関への受診が遅れてしまうことにより、変形性膝関節症の早期診断は困難であった。 Another factor is that knee pain tends to be neglected by the subject (patient). In other words, even if pain occurs in some knees, some subjects may not visit a medical institution until inconvenience occurs in daily life and may visit after inconvenience has occurred. In this case, since the pathological condition of the subject has already progressed, it may be too late to prevent the pathological condition from progressing. That is, early diagnosis of knee osteoarthritis has been difficult due to delays in medical examinations.
そこで、第1の実施形態に係る医用情報処理装置100は、以下に説明する処理を行うことで、例えば、早期診断が困難な変形性膝関節症等の疾患を診断する場合においても、医師の診断を支援することができる。
Therefore, the medical
以下において、医用情報処理装置100が変形性膝関節症の診断を支援する場合を説明する。具体的には、第1の実施形態では、ある施設において不特定多数の被検体に対して健康診断を実施する場合に、医用情報処理装置100を用いて変形性膝関節症の早期診断を行う場合を説明する。ただし、実施形態はこれに限定されるものではなく、例えば、医療機関を受診した特定の被検体に対して変形性膝関節症の診断を行う場合であっても良い。
Hereinafter, a case where the medical
また、例えば、医用情報処理装置100は、変形性膝関節症の診断に限らず、膝とは異なる部位の変形性関節症の診断に適用されても良い。具体的には、変形性関節症は全身のあらゆる関節において発症しうるが、首の関節、肩の関節、肘の関節、手の指の関節、背骨、股関節、膝の関節及び足の指の関節において発症しやすい。このうち、背骨、股関節及び膝の関節については、被検体自身の体重がかかりやすい部位であるため、日常生活に不自由が生じやすい。医用情報処理装置100は、これらの変形性関節症の診断に適用可能である。
Further, for example, the medical
また、医用情報処理装置100は、変形性関節症に限らず、骨折(病的、疲労)、脱臼(病的)、野球肩、野球肘、テニス肘、五十肩、頸椎症、骨粗鬆症、椎間板ヘルニア、骨腫瘍、肋間神経痛、坐骨神経痛等、初期症状が確認可能な整形外科疾患に広く適用可能である。また、整形外科疾患に限らず、例えば、呼吸器系疾患、消化器系疾患、循環器系疾患、神経系疾患、精神科系疾患、泌尿器科系疾患等、初期症状として、被検体の姿勢や動作において変化が生じる疾患に対して適用可能である。また、疾患に限らず、例えば、医用情報処理装置100は、食事、更衣、移動、排泄、整容、入浴等、生活を営む上で必要不可欠な基本的行動を示す日常生活動作における変化が確認できるものであれば、いかなる症状に対しても適用可能である。また、医用情報処理装置100は、早期診断が困難な疾患の診断に限らず、例えば、疾患の末期症状での診断に適用されても良い。
The medical
図5は、第1の実施形態に係る医用情報処理装置100の詳細な構成例を示すブロック図である。図5に示すように、医用情報処理装置100においては、記憶部130が、動作情報記憶部131と、疾患動作情報記憶部132と、診断支援情報記憶部133とを有する。
FIG. 5 is a block diagram illustrating a detailed configuration example of the medical
動作情報記憶部131は、動作情報収集部10によって収集された各種情報を記憶する。具体的には、動作情報記憶部131は、動作情報生成部14によって生成された動作情報を記憶する。より具体的には、動作情報記憶部131は、動作情報生成部14によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部131、動作情報生成部14によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
The motion
図6は、第1の実施形態に係る動作情報記憶部131によって記憶される動作情報の一例を示す図である。動作情報記憶部131は、図6に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とが対応付けられた情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「動作情報」とは、動作情報収集部10によって収集された情報を示す。
FIG. 6 is a diagram illustrating an example of operation information stored in the operation
図6に示すように、動作情報記憶部131は、氏名「A」、氏名番号「1」、実施日「20120801_1」、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。上記した情報は、氏名番号が「1」である氏名「A」の人物が「2012年」の「8月1日」に実施した「1回目」の歩行訓練における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
As illustrated in FIG. 6, the motion
ここで、図6に示す動作情報において、歩行訓練を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。 Here, in the motion information shown in FIG. 6, “color image information”, “distance image information”, “speech recognition result”, and “skeleton information” for every frame taken when the walking training is executed. Are stored in association with time in chronological order.
また、動作情報記憶部131は、図6に示すように、氏名「A」、氏名番号「1」、実施日「20120801_2」、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、動作情報記憶部131は、氏名「A」の人物が「2012年」の「8月1日」に実施した「2回目」の歩行訓練における動作情報も同様に記憶する。
In addition, as illustrated in FIG. 6, the motion
また、動作情報記憶部131は、図6に示すように、氏名「B」、氏名番号「2」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部131は、対象者ごとに収集された歩行訓練の動作情報を、それぞれの対象者に対応付けて記憶する。
Further, as illustrated in FIG. 6, the motion
なお、図6に示した動作情報記憶部131に記憶される情報は、あくまでも一例であり、これに限定されるものではない。例えば、動作情報記憶部131は、図6に示した「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて記憶しても良い。また、例えば、動作情報記憶部131は、動作情報収集部10が音声認識部13を有さない場合には、音声認識結果が含まれないものとして動作情報を記憶しても良い。また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」は、ビットマップ(bitmap)、JPEG、その他バイナリ形式の画像データそのものや、当該画像データへのリンク等であっても良い。また、動作情報に含まれる「音声認識結果」は、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンク等であっても良い。
Note that the information stored in the operation
疾患動作情報記憶部132は、疾患を表す疾患情報と、疾患を有する被検体の動作を表す疾患動作情報とを対応付けて記憶する。疾患動作情報記憶部132は、後述の判定部142によって参照される。また、疾患動作情報記憶部132は、医用情報処理装置100の操作者によって予め登録される。
The disease motion
図7は、第1の実施形態に係る疾患動作情報記憶部132によって記憶される情報の一例を示す図である。疾患動作情報記憶部132は、図7に示すように、疾患情報と、疾患動作情報とが対応付けられた情報を記憶する。ここで、「疾患情報」とは、疾患を表す情報を示し、例えば、疾患名及びgradeを含む。この「疾患名」とは、疾患の名称を示す情報示す。また、「grade」とは、疾患の病態の進行度合いを表す情報を示す。また、「疾患動作情報」とは、疾患情報によって表される疾患を有する被検体の動作を表す動作情報を示す。例えば、疾患動作情報は、代表的な被検体のリハビリにおける動作情報を示す。一例としては、疾患動作情報は、変形性膝関節症被検体が行った歩行訓練の動作情報である。
FIG. 7 is a diagram illustrating an example of information stored by the disease motion
ここで、変形性膝関節症のgradeについて説明する。変形性膝関節症の病態は、例えば、X線所見によって6つのgradeに分類される。すなわち、X線所見において「正常」と診断される場合には、grade「0」に分類される。また、X線所見において「骨硬化像又は骨棘」が見られる場合には、grade「1」に分類される。また、X線所見において「関節列隙の狭小化(3mm未満)」が見られる場合には、grade「2」に分類される。また、X線所見において「関節列隙の閉鎖又は亜脱臼」が見られる場合には、grade「3」に分類される。また、X線所見において「荷重面の摩耗又は欠損(5mm未満)」が見られる場合には、grade「4」に分類される。また、X線所見において「荷重面の摩耗又は欠損(5mm以上)」が見られる場合には、grade「5」に分類される。なお、この分類は、腰野の分類と呼ばれている。 Here, the grade of knee osteoarthritis will be described. The pathological condition of knee osteoarthritis is classified into six grades based on, for example, X-ray findings. That is, when “normal” is diagnosed in the X-ray findings, it is classified as grade “0”. In addition, when “bone sclerosis image or osteophyte” is seen in the X-ray findings, it is classified as grade “1”. Moreover, when “narrowing of joint space (less than 3 mm)” is observed in the X-ray findings, it is classified into grade “2”. In addition, when “joint space closure or subluxation” is found in the X-ray findings, it is classified as grade “3”. Further, when “load surface wear or chipping (less than 5 mm)” is observed in the X-ray findings, it is classified as grade “4”. Further, when “abrasion or chipping of load surface (5 mm or more)” is observed in the X-ray findings, it is classified as grade “5”. This classification is referred to as a lumbar area classification.
図7に示すように、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「0」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された代表的な被検体のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「1」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「1」と診断された代表的な被検体のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「2」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「2」と診断された代表的な被検体のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、他のgradeについても同様に、疾患名と、gradeと、動作情報とが対応付けられた情報を記憶する。
As illustrated in FIG. 7, the disease motion
なお、図7に示した疾患動作情報記憶部132に記憶される情報は、あくまでも一例であり、これに限定されるものではない。例えば、疾患動作情報記憶部132は、上記の腰野の分類とは異なる分類に基づくgradeと、各gradeに対応する疾患動作情報とを記憶しても良い。また、例えば、疾患動作情報記憶部132は、複数の疾患名と、各疾患名に対応する疾患動作情報とを記憶しても良い。また、疾患動作情報記憶部132は、疾患情報として疾患名のみを記憶し、gradeを記憶しなくても良い。また、疾患動作情報記憶部132は、疾患動作情報として、複数の被検体の動作情報に基づいて作成された動作モデルを記憶しても良い。また、疾患動作情報記憶部132は、疾患に限らず、症状に関する情報を記憶しても良い。つまり、疾患動作情報記憶部132は、症状を現す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶しても良い。疾患情報は、症状情報の一例であり、疾患動作情報は、症状動作情報の一例である。
In addition, the information memorize | stored in the disease action
診断支援情報記憶部133は、疾患の診断を支援するための情報を記憶する。例えば、診断支援情報記憶部133は、後述の出力制御部143によって参照される。また、診断支援情報記憶部133は、操作者によって予め登録される。
The diagnosis support
図8は、第1の実施形態に係る診断支援情報記憶部133によって記憶される情報の一例を示す図である。診断支援情報記憶部133は、図8に示すように疾患情報と、診断支援情報とが対応付けられた情報を記憶する。ここで、「診断支援情報」とは、疾患の診断を支援するための情報を示す。例えば、診断支援情報は、撮影関連情報と、読影ポイントとを含む。このうち、「撮影関連情報」とは、画像診断のために撮影する撮影方法や撮影条件を示す。また、「読影ポイント」は、撮影画像を読影する際のポイントを示す。
FIG. 8 is a diagram illustrating an example of information stored by the diagnosis support
図8に示すように、診断支援情報記憶部133は、疾患名「変形性膝関節症」と、grade「0」と、撮影関連情報「画像診断不要」と、読影ポイント「−(情報が空であることを示す)」とが対応付けられた情報を記憶する。すなわち、診断支援情報記憶部133は、変形性膝関節症のgrade「0」の診断には画像診断が不要であることを記憶する。この場合、画像診断が不要であるため、診断支援情報記憶部133に記憶される読影ポイントの情報は空である。また、診断支援情報記憶部133は、疾患名「変形性膝関節症」と、grade「1」と、撮影関連情報「X線検査(正面像)」と、読影ポイント「骨硬化像又は骨棘が見られるか」とが対応付けられた情報を記憶する。すなわち、診断支援情報記憶部133は、変形性膝関節症のgrade「1」の診断にはX線検査による正面像を撮影することが推奨され、骨硬化像又は骨棘が見られるか否かが診断のポイントであることを記憶する。また、診断支援情報記憶部133は、疾患名「変形性膝関節症」と、grade「2」と、撮影関連情報「荷重X線検査(正面像)」と、読影ポイント「関節列隙の狭小化(3mm未満)が見られるか」とが対応付けられた情報を記憶する。すなわち、診断支援情報記憶部133は、変形性膝関節症のgrade「2」の診断には荷重X線検査による正面像を撮影することが推奨され、関節列隙の狭小化(3mm未満)が見られるか否かが診断のポイントであることを記憶する。また、診断支援情報記憶部133は、他の疾患情報についても同様に、疾患名と、gradeと、撮影関連情報と、読影ポイントとが対応付けられた情報を記憶する。
As illustrated in FIG. 8, the diagnosis support
なお、図8に示した診断支援情報記憶部133に記憶される情報は、あくまでも一例であり、これに限定されるものではない。例えば、診断支援情報記憶部133は、疾患情報として疾患名のみを記憶し、gradeを記憶しなくても良い。また、診断支援情報記憶部133は、診断支援情報として、撮影関連情報及び読影ポイントの何れか一方を記憶していればよい。
Note that the information stored in the diagnosis support
図5の説明に戻る。図5に示すように、医用情報処理装置100においては、制御部140が、取得部141と、判定部142と、出力制御部143とを有する。
Returning to the description of FIG. As illustrated in FIG. 5, in the medical
取得部141は、被検体の動作情報を取得する。例えば、取得部141は、動作情報収集部10及び医用情報処理装置100に電源が投入され、1フレームの骨格情報が動作情報記憶部131に格納されるごとに、格納された骨格情報と、格納された骨格情報に対応するフレームのカラー画像情報とを、動作情報記憶部131からそれぞれ取得する。
The acquisition unit 141 acquires motion information of the subject. For example, the acquisition unit 141 stores the stored skeleton information and the stored information every time the motion
判定部142は、被検体の動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する。例えば、判定部142は、取得部141によって取得された被検体の動作情報と、疾患動作情報記憶部132に記憶された疾患動作情報とをそれぞれ比較し、取得された動作情報に最も類似の疾患動作情報を特定する。そして、判定部142は、特定した疾患動作情報に対応付けられた疾患情報を、被検体の疾患情報として判定する。
The determination unit 142 determines the disease information of the subject by comparing the motion information of the subject and the disease motion information. For example, the determination unit 142 compares the motion information of the subject acquired by the acquisition unit 141 with the disease motion information stored in the disease motion
例えば、判定部142は、動作情報から算出される評価値を用いた判定処理、或いは、動作情報に含まれる所定の関節の軌跡を用いた判定処理の何れかを用いて、被検体の疾患情報を判定する。以下、これら二つの判定処理について、順に説明する。 For example, the determination unit 142 uses either a determination process using an evaluation value calculated from motion information or a determination process using a predetermined joint trajectory included in the motion information, to determine the disease information of the subject. Determine. Hereinafter, these two determination processes will be described in order.
(評価値を用いた判定処理)
評価値を用いた判定処理について説明する。例えば、判定部142は、被検体の動作情報から被検体の評価値を算出するとともに、疾患動作情報記憶部132に記憶された疾患動作情報から、疾患の評価値を算出する。そして、疾患動作情報記憶部132は、算出した被検体の評価値と、疾患の評価値とをそれぞれ比較し、被検体の評価値に最も近い疾患の評価値に対応する疾患情報を判定する。
(Judgment process using evaluation value)
A determination process using the evaluation value will be described. For example, the determination unit 142 calculates the evaluation value of the subject from the motion information of the subject, and calculates the evaluation value of the disease from the disease motion information stored in the disease motion
図9A及び図9Bは、第1の実施形態に係る評価値を用いた判定処理を説明するための図である。図9A及び図9Bには、判定部142が歩行における膝の角度を用いて、変形性膝関節症のgradeを判定する場合を説明する。図9Aには、正常な被検体の歩行における右膝の角度を算出する場合を例示し、図9Bには、変形性膝関節症の症状がある被検体の歩行における右膝の角度を算出する場合を例示する。 9A and 9B are diagrams for explaining the determination process using the evaluation value according to the first embodiment. 9A and 9B illustrate a case where the determination unit 142 determines the knee osteoarthritis grade using the knee angle in walking. FIG. 9A illustrates a case where the angle of the right knee in a normal subject walking is calculated, and FIG. 9B calculates the angle of the right knee in a subject walking with a symptom of osteoarthritis of the knee. The case is illustrated.
図9A及び図9Bに示すように、判定部142は、右膝を伸ばした状態を0度として、右膝の角度を算出する。具体的には、判定部142は、関節2m及び関節2nを通る直線に対して、関節2n及び関節2oを結ぶ線分がなす角度を、右膝の角度として算出する。ここで、変形性膝関節症ではなく、正常な被検体であれば、図9Aに示すように、歩行時の右膝の最大角度は60度以上である。これに対して、変形性膝関節症の症状がある被検体であれば、図9Bに示すように、歩行時の右膝の最大角度は60度未満である。具体的には、変形性膝関節症のgrade「1」の被検体であれば、歩行時の右膝の最大角度50度以上60度未満である。また、変形性膝関節症のgrade「2」の被検体であれば、歩行時の右膝の最大角度40度以上50度未満である。また、変形性膝関節症のgrade「3」の被検体であれば、歩行時の右膝の最大角度30度以上40度未満である。また、変形性膝関節症のgrade「4」の被検体であれば、歩行時の右膝の最大角度25度以上30度未満である。また、変形性膝関節症のgrade「5」の被検体であれば、歩行時の右膝の最大角度20度以上25度未満である。このため、判定部142は、算出した被検体の右膝の角度がどの範囲に含まれるかに応じて、被検体の変形性膝関節症のgradeを判定する。例えば、判定部142は、被検体の右膝の角度が45度であれば、被検体が変形性膝関節症のgrade「2」であると判定する。 As shown in FIGS. 9A and 9B, the determination unit 142 calculates the angle of the right knee, assuming that the right knee is extended to 0 degrees. Specifically, the determination unit 142 calculates, as a right knee angle, an angle formed by a line segment connecting the joint 2n and the joint 2o with respect to a straight line passing through the joint 2m and the joint 2n. Here, if the subject is not knee osteoarthritis but a normal subject, the maximum angle of the right knee during walking is 60 degrees or more as shown in FIG. 9A. On the other hand, if the subject has symptoms of knee osteoarthritis, as shown in FIG. 9B, the maximum angle of the right knee during walking is less than 60 degrees. Specifically, in the case of a subject with grade “1” of osteoarthritis of the knee, the maximum angle of the right knee during walking is 50 degrees or more and less than 60 degrees. In the case of a subject with grade “2” of knee osteoarthritis, the maximum angle of the right knee during walking is 40 degrees or more and less than 50 degrees. Further, in the case of a subject of grade “3” of knee osteoarthritis, the maximum angle of the right knee during walking is 30 degrees or more and less than 40 degrees. In the case of a subject with grade “4” of knee osteoarthritis, the maximum angle of the right knee during walking is 25 degrees or more and less than 30 degrees. In the case of a subject with grade “5” of knee osteoarthritis, the maximum angle of the right knee during walking is 20 degrees or more and less than 25 degrees. Therefore, the determination unit 142 determines the grade of knee osteoarthritis of the subject according to which range the calculated angle of the right knee of the subject is included. For example, if the angle of the right knee of the subject is 45 degrees, the determination unit 142 determines that the subject is grade “2” of knee osteoarthritis.
なお、図9A及び図9Bに示した判定処理は、あくまでも一例であり、これに限定されるものではない。例えば、判定部142は、左膝の角度を用いて判定しても良いし、両足の膝の角度を用いて判定しても良い。また、判定部142は、膝を伸ばした状態を180度として膝の角度を算出しても良い。また、ここでは評価値に最も近い疾患の評価値に対応する疾患情報を判定する場合を説明したが、これに限定されない。例えば、評価値によっては、評価値から最も遠い値や中間値が用いられる場合であっても良い。また、算出した評価値を他の指標等と比較或いは類推して判定しても良い。また、ここでは、判定部142が歩行訓練における動作情報を用いた場合を説明したが、これに限らず、被検体がしゃがむ場合の動作情報を用いて判定しても良いし、被検体が階段を昇降する場合の動作情報を用いて判定しても良い。 Note that the determination processing illustrated in FIGS. 9A and 9B is merely an example, and the present invention is not limited to this. For example, the determination unit 142 may determine using the angle of the left knee or may determine using the angle of the knees of both legs. Further, the determination unit 142 may calculate the angle of the knee with the knee extended as 180 degrees. Moreover, although the case where the disease information corresponding to the evaluation value of the disease closest to the evaluation value is determined has been described here, the present invention is not limited to this. For example, depending on the evaluation value, a value farthest from the evaluation value or an intermediate value may be used. Further, the calculated evaluation value may be determined by comparing or inferring with another index or the like. Although the case where the determination unit 142 uses motion information in walking training has been described here, the determination is not limited to this, and determination may be made using motion information when the subject is squatting. You may determine using the operation | movement information when raising / lowering.
また、判定部142は、膝の角度に限らず、他の評価値を用いて判定しても良い。例えば、判定部142は、他の評価値として、歩行時の歩行速度を用いて判定しても良い。具体的には、判定部142は、変形性膝関節症の各gradeの動作情報から、各gradeの最大歩行速度を算出する。そして、判定部142は、被検体の動作情報から最大歩行速度を算出し、最も近い値のgradeを被検体の疾患情報として判定する。 Moreover, the determination part 142 may determine using not only a knee angle but another evaluation value. For example, the determination unit 142 may determine the other evaluation value using a walking speed during walking. Specifically, the determination unit 142 calculates the maximum walking speed of each grade from the motion information of each grade of knee osteoarthritis. Then, the determination unit 142 calculates the maximum walking speed from the motion information of the subject, and determines the closest value grade as the disease information of the subject.
また、判定部142は、他の評価値として、歩行時の膝の横ブレの大きさを用いて判定しても良い。具体的には、判定部142は、被検体が深度方向の奥から手前に向かって歩行する場合には、変形性膝関節症の各gradeの動作情報から、各gradeのx軸方向の最大の変化量を算出する。そして、判定部142は、被検体の動作情報からx軸方向の最大の変化量を算出し、最も近い値のgradeを被検体の疾患情報として判定する。 Moreover, the determination part 142 may determine using the magnitude | size of the lateral blur of the knee at the time of a walk as another evaluation value. Specifically, when the subject walks from the back in the depth direction toward the front, the determination unit 142 determines the maximum in the x-axis direction of each grade from the motion information of each grade of knee osteoarthritis. The amount of change is calculated. Then, the determination unit 142 calculates the maximum change amount in the x-axis direction from the motion information of the subject, and determines the closest value grade as the disease information of the subject.
(軌跡を用いた判定処理)
次に、軌跡を用いた判定処理について説明する。例えば、判定部142は、被検体の動作情報に含まれる所定の関節の軌跡と、疾患動作情報記憶部132に記憶された疾患動作情報に含まれる所定の関節の軌跡とをそれぞれ比較し、被検体の所定の関節の軌跡に最も近い軌跡に対応する疾患情報を判定する。
(Judgment process using trajectory)
Next, determination processing using a locus will be described. For example, the determination unit 142 compares the predetermined joint trajectory included in the motion information of the subject with the predetermined joint trajectory included in the disease motion information stored in the disease motion
図10A及び図10Bは、第1の実施形態に係る軌跡を用いた判定処理を説明するための図である。図10A及び図10Bには、判定部142が歩行における右膝の関節(2n)の軌跡を用いて、変形性膝関節症のgradeを判定する場合を説明する。図10A及び図10Bにおいて、横軸は、x軸方向に対応し、縦軸は、z軸方向に対応する。すなわち、図10A及び図10Bには、水平面上における膝の軌跡を例示する。図10Aには、正常な被検体の歩行における右膝の軌跡を例示し、図10Bには、変形性膝関節症の症状がある被検体の歩行における右膝の軌跡を例示する。なお、図10A及び図10Bでは、被検体が深度方向の奥から手前に向かって歩行する場合を例示する。 10A and 10B are diagrams for explaining the determination process using the trajectory according to the first embodiment. 10A and 10B illustrate a case where the determination unit 142 determines the grade of knee osteoarthritis using the locus of the right knee joint (2n) during walking. 10A and 10B, the horizontal axis corresponds to the x-axis direction, and the vertical axis corresponds to the z-axis direction. That is, FIG. 10A and FIG. 10B illustrate knee trajectories on a horizontal plane. FIG. 10A illustrates the trajectory of the right knee during normal subject walking, and FIG. 10B illustrates the right knee trajectory during walking of a subject with osteoarthritic symptoms. 10A and 10B illustrate the case where the subject walks from the back in the depth direction toward the front.
図10A及び図10Bに示すように、判定部142は、疾患動作情報記憶部132に記憶された各gradeの疾患動作情報に含まれる右膝のx座標及びz座標を、水平面上にプロットし、水平面上における各gradeの右膝の軌跡を描出する。ここで、変形性膝関節症ではなく、正常な被検体であれば、図10Aに示すように、右膝のブレの少ない軌跡となる。これに対して、変形性膝関節症の症状がある被検体であれば、図10Bに示すように、右膝のブレの大きい軌跡となる。判定部142は、取得部141によって取得された被検体の動作情報に含まれる右膝のx座標及びz座標を、水平面上にプロットし、水平面上における被検体の右膝の軌跡を描出する。そして、判定部142は、描出した被検体の右膝の軌跡と、各gradeの右膝の軌跡とをパターンマッチングによってそれぞれ比較する。そして、判定部142は、被検体の右膝の軌跡に最も類似のgradeを、被検体の変形性膝関節症のgradeとして判定する。
As shown in FIGS. 10A and 10B, the determination unit 142 plots the x coordinate and z coordinate of the right knee included in the disease motion information of each grade stored in the disease motion
なお、図10A及び図10Bに示した判定処理は、あくまでも一例であり、これに限定されるものではない。例えば、判定部142は、左膝の軌跡を用いて判定しても良いし、両足の膝の軌跡を用いて判定しても良い。また、判定部142は、足根の軌跡を用いて判定しても良い。また、判定部142は、必ずしも関節の軌跡を描出しなくても良い。 In addition, the determination process shown to FIG. 10A and 10B is an example to the last, and is not limited to this. For example, the determination unit 142 may determine using the locus of the left knee or may determine using the locus of the knees of both feet. Further, the determination unit 142 may determine using a foot locus. Further, the determination unit 142 does not necessarily depict the joint trajectory.
また、ここでは軌跡を用いて判定する場合を例示したが、これに限定されない。例えば、上記軌跡のうち2以上の点の位置関係を比較することで、マッチングを行っても良い。この位置関係とは、例えば、所定の関節について異なるタイミングの座標をx−z平面にプロットしたものである。一例としては、判定部142は、被検体が歩行訓練を開始してから0秒の膝の座標と、3秒の膝の座標とをx−z平面にプロットする。続いて、判定部142は、疾患動作情報の0秒の膝の座標と、3秒の膝の座標とをx−z平面にプロットする。そして、判定部142は、これらプロットした点のx方向の差分やz方向の差分を比較することで、被検体の疾患情報を判定する。 Moreover, although the case where it determined using a locus | trajectory was illustrated here, it is not limited to this. For example, matching may be performed by comparing the positional relationship between two or more points in the trajectory. For example, the positional relationship is obtained by plotting coordinates at different timings for a predetermined joint on the xz plane. As an example, the determination unit 142 plots the knee coordinates of 0 seconds and the knee coordinates of 3 seconds on the xz plane after the subject starts walking training. Subsequently, the determination unit 142 plots the 0 second knee coordinates and the 3 second knee coordinates of the disease motion information on the xz plane. And the determination part 142 determines the disease information of a subject by comparing the difference of the x direction of these plotted points, and the difference of az direction.
このように、判定部142は、評価値を用いた判定処理、或いは、軌跡を用いた判定処理の何れかを用いて、被検体の疾患情報を判定する。そして、判定部142は、判定結果を出力制御部143へ出力する。
As described above, the determination unit 142 determines the disease information of the subject using either the determination process using the evaluation value or the determination process using the trajectory. Then, the determination unit 142 outputs the determination result to the
なお、判定部142の処理は、これに限定されるものではない。例えば、評価値を用いた判定処理と、軌跡を用いた判定処理とを用いて、被検体の疾患情報を判定しても良い。具体的には、判定部142は、評価値を用いた判定処理によって判定される判定結果と、軌跡を用いた処理によって判定される判定結果とを総合評価して、判定しても良い。 Note that the processing of the determination unit 142 is not limited to this. For example, the disease information of the subject may be determined using a determination process using the evaluation value and a determination process using the trajectory. Specifically, the determination unit 142 may perform a comprehensive evaluation of the determination result determined by the determination process using the evaluation value and the determination result determined by the process using the trajectory.
また、例えば、判定部142は、上記の判定処理に加えて、被検体の痛みのサインを更に用いて判定しても良い。ここで、痛みのサインとは、例えば、被検体の表情の歪みや「痛い」という言葉である。この場合、判定部142は、被検体が痛みを感じた際の表情の歪みの特徴を予め記憶している。そして、判定部142は、被検体の動作情報に含まれるカラー画像情報から表情の歪みの特徴を抽出し、抽出回数を計数する。また、判定部142は、各gradeの動作情報に含まれるカラー画像情報から表情の歪みの特徴を抽出し、抽出回数(又は、抽出頻度)を計数する。そして、判定部142は、被検体の痛みのサインの抽出回数と、各gradeにおける痛みのサインの抽出回数とを比較して、被検体の変形性膝関節症のgradeを判定する。そして、判定部142は、評価値を用いて判定したgradeと、痛みのサインを用いて判定したgradeとが一致していれば、そのgradeを被検体のgradeとして出力制御部143に出力する。一致していなければ、判定部142は、評価値を用いて判定したgradeを被検体のgradeとして出力制御部143に出力する。また、判定部142は、「痛い」という言葉を、被検体の動作情報に含まれる音声認識結果から抽出し、この抽出回数を用いて被検体の変形性膝関節症のgradeを判定しても良い。
For example, in addition to the above determination process, the determination unit 142 may further determine using a pain sign of the subject. Here, the pain sign is, for example, the distortion of facial expression of the subject or the word “pain”. In this case, the determination unit 142 stores in advance characteristics of facial expression distortion when the subject feels pain. Then, the determination unit 142 extracts facial distortion characteristics from the color image information included in the motion information of the subject, and counts the number of extractions. Further, the determination unit 142 extracts facial distortion characteristics from color image information included in the motion information of each grade, and counts the number of extractions (or extraction frequency). Then, the determination unit 142 determines the grade of the knee osteoarthritis of the subject by comparing the number of extractions of the pain sign of the subject and the number of extractions of the pain sign in each grade. If the grade determined using the evaluation value matches the grade determined using the pain sign, the determining unit 142 outputs the grade to the
出力制御部143は、被検体の疾患情報に基づいて、診断支援情報を出力する。例えば、出力制御部143は、診断支援情報記憶部133を参照し、判定部142によって判定された被検体の疾患情報に対応する診断支援情報を出力部110に表示させる。具体的には、出力制御部143は、疾患の疑いがある旨を示す情報、撮影関連情報及び読影ポイントのうち少なくとも一つを、出力部110に表示させる。
The
例えば、出力制御部143は、診断支援情報として、被検体の疾患情報に対応する疾患の疑いがある旨を示す情報を出力部110に表示させる。具体的には、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、「変形性膝関節症のgrade「2」の疑いがあります」というメッセージを出力部110に表示させる。これにより、出力制御部143は、医師の診断を支援したり、被検体に対して医療機関への受診を促すことができる。
For example, the
また、例えば、出力制御部143は、診断支援情報として、被検体の疾患情報に対応する撮影関連情報を出力部110に表示させる。具体的には、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する撮影関連情報を取得する。そして、出力制御部143は、取得した撮影関連情報を用いて、例えば、「荷重X線検査(正面像)を行って下さい」というメッセージを出力部110に表示させる。これにより、出力制御部143は、医師及び検査技師に対して具体的な検査方法や撮影条件を通知することができる。
Further, for example, the
また、例えば、出力制御部143は、診断支援情報として、被検体の疾患情報に対応する読影ポイントを出力部110に表示させる。具体的には、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する読影ポイントを取得する。そして、出力制御部143は、取得した読影ポイントを用いて、例えば、「関節列隙の狭小化(3mm未満)が見られるか確認して下さい」というメッセージを出力部110に表示させる。これにより、出力制御部143は、医師及び読影医に対して具体的な読影ポイント(読影の方法やノウハウ)を通知することができる。
For example, the
このように、出力制御部143は、疾患の疑いがある旨を示す情報、撮影関連情報及び読影ポイントのうち少なくとも一つを、出力部110に表示させる。
As described above, the
図11は、第1の実施形態に係る医用情報処理装置による処理手順を示すフローチャートである。図11に示すように、取得部141は、被検体の動作情報を取得する(ステップS101)。例えば、取得部141は、動作情報収集部10及び医用情報処理装置100に電源が投入され、1フレームの骨格情報が動作情報記憶部131に格納されるごとに、格納された骨格情報と、格納された骨格情報に対応するフレームのカラー画像情報とを、動作情報記憶部131からそれぞれ取得する。
FIG. 11 is a flowchart illustrating a processing procedure performed by the medical information processing apparatus according to the first embodiment. As illustrated in FIG. 11, the acquisition unit 141 acquires motion information of the subject (Step S101). For example, the acquisition unit 141 stores the stored skeleton information and the stored information every time the motion
続いて、判定部142は、被検体の動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する(ステップS102)。例えば、判定部142は、取得部141によって取得された被検体の動作情報と、疾患動作情報記憶部132に記憶された疾患動作情報とをそれぞれ比較し、取得された動作情報に最も類似の疾患動作情報を特定する。そして、判定部142は、特定した疾患動作情報に対応付けられた疾患情報を、被検体の疾患情報として判定する。そして、判定部142は、判定結果を出力制御部143へ出力する。
Subsequently, the determination unit 142 determines the disease information of the subject by comparing the motion information of the subject and the disease motion information (step S102). For example, the determination unit 142 compares the motion information of the subject acquired by the acquisition unit 141 with the disease motion information stored in the disease motion
そして、出力制御部143は、被検体の疾患情報に基づいて、診断支援情報を出力する(ステップS103)。例えば、出力制御部143は、診断支援情報記憶部133を参照し、判定部142によって判定された被検体の疾患情報に応じて、疾患の疑いがある旨を示す情報、撮影関連情報及び読影ポイントのうち少なくとも一つを、出力部110に表示させる。
Then, the
上述してきたように、第1の実施形態に係る医用情報処理装置100は、疾患情報と、疾患動作情報とを対応付けて記憶する。そして、医用情報処理装置100は、被検体の動作情報を取得する。そして、医用情報処理装置100は、被検体の動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する。そして、医用情報処理装置100は、判定した被検体の疾患情報に基づいて、診断支援情報を出力する。このため、医用情報処理装置100は、診断を支援することができる。例えば、医用情報処理装置100は、早期診断が困難な変形性膝関節症等の疾患を診断する場合においても、医師の診断を支援することができる。
As described above, the medical
例えば、医用情報処理装置100は、被検体について、疾患の疑いがある旨を示す情報を表示することで、検査の実施を促す。このため、医用情報処理装置100は、顕著な症状が生じない限り検査が実施されることが少なかった疾患(変形性膝関節症等)について、顕著な症状が生じていなくても検査の実施を促すので、疾患の早期診断が可能となる。
For example, the medical
また、例えば、医用情報処理装置100は、検査の実施を促す場合に、撮影関連情報を表示する。このため、医用情報処理装置100は、医師及び検査技師に対して具体的な検査方法や撮影条件を通知することができる。
In addition, for example, the medical
また、例えば、医用情報処理装置100は、検査の実施を促す場合に、読影ポイントを表示する。このため、医用情報処理装置100は、医師及び読影医に対して具体的な読影ポイント(読影の方法やノウハウ)を通知することができる。
In addition, for example, the medical
(第1の実施形態の変形例1)
上記の実施形態では、医用情報処理装置100が、疾患動作情報として、代表的な被検体のリハビリにおける動作情報を記憶する場合を説明したが、複数の被検体の属性を示す属性情報とともに、各被検体のリハビリにおける動作情報を記憶しても良い。
(
In the above embodiment, the case where the medical
第1の実施形態の変形例1に係る疾患動作情報記憶部132は、前記記憶部は、前記疾患情報ごとに、複数の前記被検体の疾患動作情報と、当該被検体の属性情報とを対応付けて記憶する。
In the disease motion
図12は、第1の実施形態の変形例1に係る疾患動作情報記憶部132に記憶される情報の一例を示す図である。疾患動作情報記憶部132は、図12に示すように、疾患情報と、属性情報と、疾患動作情報とが対応付けられた情報を記憶する。ここで、「属性情報」とは、被検体の属性を表す情報を示し、例えば、被検体の年齢及び性別を含む情報である。
FIG. 12 is a diagram illustrating an example of information stored in the disease motion
図12に示すように、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「0」と、年齢「52」と、性別「男」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された52歳男性のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「1」と、年齢「60」と、性別「女」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「1」と診断された60歳女性のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、他のgradeについても同様に、疾患名と、gradeと、年齢と、性別と、動作情報とが対応付けられた情報を記憶する。
As illustrated in FIG. 12, the disease motion
第1の実施形態の変形例1に係る判定部142は、被検体の属性情報を取得し、取得した属性情報に対応する疾患動作情報と、被検体の動作情報とを比較することで、被検体の疾患情報を判定する。 The determination unit 142 according to the first modification of the first embodiment acquires the attribute information of the subject and compares the disease motion information corresponding to the acquired attribute information with the motion information of the subject, thereby obtaining the subject information. Determine the disease information of the specimen.
例えば、判定部142は、被検体の属性情報を含む情報の入力を受け付け、受け付けた情報から被検体の属性情報を取得する。具体的には、判定部142は、健康診断が行われる場合に、被検体の年齢「60」及び性別「女」を含む情報の入力を操作者から受け付け、受け付けた情報から被検体の年齢「60」及び性別「女」を取得する。なお、判定部142が被検体の属性情報を取得する方法は、上記の方法に限らず、例えば、電子カルテシステムから取得しても良い。 For example, the determination unit 142 receives input of information including the attribute information of the subject, and acquires the attribute information of the subject from the received information. Specifically, when the health check is performed, the determination unit 142 receives input of information including the age “60” of the subject and the sex “female” from the operator, and from the received information, the age “ 60 ”and gender“ female ”. Note that the method by which the determination unit 142 acquires the attribute information of the subject is not limited to the above method, and may be acquired from, for example, an electronic medical record system.
続いて、判定部142は、取得した属性情報に対応する疾患動作情報を疾患動作情報記憶部132から抽出する。具体的には、判定部142は、取得した被検体の年齢が「60」、性別が「女」であれば、この属性情報に一致する疾患動作情報を疾患動作情報記憶部132から抽出する。そして、判定部142は、取得部141によって取得された被検体の動作情報と、抽出した疾患動作情報とを比較することで、被検体の疾患情報を判定する。なお、判定部142による判定処理は、上述した判定処理と同様であるので、説明を省略する。
Subsequently, the determination unit 142 extracts disease motion information corresponding to the acquired attribute information from the disease motion
なお、上記の判定部142による判定処理は、あくまでも一例であり、これに限定されるものではない。例えば、判定部142は、取得した被検体の属性情報に一致する属性情報が疾患動作情報記憶部132に無ければ、最も近い属性情報に対応する疾患動作情報を抽出しても良い。また、判定部142は、疾患動作情報記憶部132から複数の疾患動作情報を抽出しても良い。この場合、判定部142は、例えば、抽出した複数の疾患動作情報から算出されるそれぞれの評価値の平均値を算出し、これを被検体の動作情報から算出される評価値と比較することで、被検体の疾患情報を判定する。
The determination process by the determination unit 142 is merely an example, and the present invention is not limited to this. For example, the determination unit 142 may extract the disease motion information corresponding to the closest attribute information if there is no attribute information that matches the acquired attribute information of the subject in the disease motion
このように、医用情報処理装置100は、複数の被検体の属性情報とともに、各被検体の疾患動作情報を記憶しておき、被検体の属性情報に対応する疾患動作情報を適宜抽出することで、被検体の疾患情報を判定する。このため、医用情報処理装置100は、より正確に、被検体の疾患情報を判定することができる。
As described above, the medical
(第1の実施形態の変形例2)
また、上記の実施形態では、医用情報処理装置100が、疾患動作情報として、被検体のリハビリにおける動作情報を記憶する場合を説明したが、これに限らず、評価値のみを用いて、疾患の程度(grade)を判定しても良い。
(
In the above-described embodiment, the case where the medical
第1の実施形態の変形例2に係る疾患動作情報記憶部132は、例えば、疾患情報と、疾患動作情報から算出される評価値とが対応付けられた情報を記憶する。具体的には、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「0」と、評価値「60度以上」とを記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された代表的な被検体の膝の歩行時の最大角度が60度以上であることを記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「1」と、評価値「50度以上60度未満」とを記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された代表的な被検体の膝の歩行時の最大角度が50度以上60度未満であることを記憶する。また、疾患動作情報記憶部132は、他のgradeについても同様に、疾患名と、gradeと、評価値とが対応付けられた情報を記憶する。
The disease motion
第1の実施形態の変形例2に係る判定部142は、取得部141によって取得された被検体の動作情報から評価値を算出する。そして、判定部142は、算出した被検体の評価値と、疾患動作情報記憶部132に記憶された評価値とをそれぞれ比較し、被検体の評価値に最も近い疾患の評価値に対応する疾患情報を判定する。このため、医用情報処理装置100は、より少ない処理負荷で、診断を支援することができる。
The determination unit 142 according to the second modification of the first embodiment calculates an evaluation value from the motion information of the subject acquired by the acquisition unit 141. Then, the determination unit 142 compares the calculated evaluation value of the subject with the evaluation value stored in the disease motion
(第2の実施形態)
上記の実施形態では、医用情報処理装置100が、診断支援情報として、メッセージを表示する場合を説明したが、これに限定されるものではない。例えば、医用情報処理装置100は、ネットワークを介して接続される外部装置に診断支援情報を出力し、外部装置側で診断を支援しても良い。そこで、第2の実施形態では、医用情報処理装置100がネットワークを介して接続される外部装置に診断支援情報を出力し、外部装置側で診断を支援する場合を説明する。
(Second Embodiment)
In the above embodiment, the case where the medical
図13は、第2の実施形態に係る医用情報処理システム1の構成例を示すブロック図である。第2の実施形態に係る医用情報処理システム1には、動作情報収集部10と、医用情報処理装置100と、RIS(Radiology Information System)20と、医用画像保管装置30と、医用画像診断装置40と、ワークステーション50とが含まれる。各装置は、例えば、病院内に設置された病院内LAN(Local Area Network)2により、直接的又は間接的に相互に通信可能な状態となっている。例えば、医用情報システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像データ等を相互に送受信する。
FIG. 13 is a block diagram illustrating a configuration example of the medical
動作情報収集部10及び医用情報処理装置100は、第1の実施形態にて説明した動作情報収集部10及び医用情報処理装置100と同様の機能を有する。第2の実施形態においては、動作情報収集部10及び医用情報処理装置100は、例えば、被検体のリハビリテーションを行うリハビリ部門で利用される。
The motion
例えば、動作情報収集部10は、リハビリ部門において、被検体が行うリハビリの動作情報を収集し、収集した動作情報を医用情報処理装置100へ送信する。医用情報処理装置100は、動作情報収集部10によって収集された被検体の動作情報を受信し、受信した被検体の動作情報を用いて、第1の実施形態にて説明した取得部141及び判定部142の各処理を実行する。そして、医用情報処理装置100は、判定部142によって判定された判定結果に基づいて、外部装置で診断を支援するための診断支援情報を生成し、生成した診断支援情報を外部装置へ送信する。なお、この医用情報処理装置100の処理については、後述する。
For example, the movement
RIS20は、検査の予約管理を行う装置である。例えば、RIS20は、病院内に勤務する医師や事務員により、被検体の検査を予約する検査予約オーダの入力を受け付け、受け付けた検査予約オーダを医用情報システム1の各装置に送信する。
The
医用画像保管装置30は、医用画像データを管理する装置である。例えば、医用画像保管装置30は、医用画像データを保管するデータベースを備え、後述の医用画像診断装置40により生成された医用画像データや検査結果をデータベースに格納し、これを保管する。なお、医用画像保管装置30は、大容量の画像を保管可能なワークステーションを用いることで、後述のワークステーション50と統合されても良い。
The medical
医用画像診断装置40は、X線診断装置、X線CT装置、MRI装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、検体検査装置等の装置である。例えば、医用画像診断装置40は、被検体を撮影する検査技師からの操作に応じて被検体を撮影し、医用画像データや検査結果を生成する。
The medical image
ワークステーション50は、医用画像データに対して画像処理を行う画像処理装置である。例えば、ワークステーション50は、医用画像保管装置30から医用画像データや検査結果を取得し、取得した医用画像データや検査結果をモニタに表示する。
The
このような構成のもと、第2の実施形態に係る医用情報処理装置100は、以下に説明する処理により、医用画像診断装置40及びワークステーション50等の外部装置で診断を支援する。
With such a configuration, the medical
(医用画像診断装置40における撮影方法及び撮影条件の自動設定)
医用画像診断装置40における撮影方法及び撮影条件の自動設定について説明する。第2の実施形態に係る医用情報処理装置100において、出力制御部143は、被検体の疾患情報に基づいて、疾患情報に応じた画像診断のために撮影する撮影方法や撮影条件を設定するための設定情報を、画像診断を行う医用画像診断装置40に出力する。なお、この設定情報は、診断支援情報の一例である。
(Automatic setting of imaging method and imaging conditions in the medical image diagnostic apparatus 40)
An imaging method and automatic setting of imaging conditions in the medical image
例えば、第2の実施形態に係る出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する撮影関連情報を取得する。そして、出力制御部143は、取得した撮影関連情報を用いて、医用画像診断装置40に撮影方法や撮影条件を設定する設定情報を生成する。この設定情報は、例えば、被検体の疾患情報と、医用画像診断装置40の種類(例えば、X線診断装置)を指定する情報と、撮影条件(例えば、荷重X線検査(正面像))とを含む。そして、出力制御部143は、生成した設定情報に検査情報を付帯させ、設定情報に指定された医用画像診断装置40(X線診断装置)に出力する。なお、この検査情報は、被検体の氏名、被検体(患者)を識別するための患者ID及び検査を識別する検査ID等の情報を含む。検査情報は、医用情報処理装置100の操作者によって手動的に入力されても良いし、電子カルテシステム等から取得されても良い。
For example, the
そして、医用画像診断装置40は、出力制御部143から出力された設定情報を取得し、取得した設定情報に基づいて、画像診断のための撮影方法や撮影条件を設定する。例えば、医用画像診断装置40は、設定情報を出力制御部143から取得すると、設定情報に付帯された検査情報を用いて、検査の撮影条件として取得した内容を設定する。
Then, the medical image
このように、第2の実施形態に係る医用情報処理装置100は、診断支援情報として、撮影方法や撮影条件を設定するための設定情報を医用画像診断装置40に出力することで、診断を支援することができる。
As described above, the medical
なお、例えば、上記の設定情報は、RIS20を経由させてから医用画像診断装置40に出力されても良い。例えば、医用情報処理装置100の出力制御部143は、診断支援情報として、設定情報をRIS20に出力する。RIS20は、出力制御部143から出力された設定情報を受け付けると、設定情報を表示部に表示する。RIS20において、RIS20の操作者(医師又は事務員)は、表示された情報を閲覧しながら、画像診断を行う医用画像診断装置40の予約を行う。例えば、操作者は、画像診断を行う医用画像診断装置40を選択し、選択した医用画像診断装置40及び読影医を指定する操作をRIS20において行う。RIS20は、操作者によって指定された医用画像診断装置40を示す情報と、読影医を示す情報とを設定情報に付帯させ、各種情報が付帯された設定情報を、画像診断を行う医用画像診断装置40に出力する。医用画像診断装置40は、RIS20から出力された設定情報を受け付けると、受け付けた設定情報に基づいて、画像診断のための撮影方法や撮影条件を設定する。
For example, the setting information may be output to the medical image
また、医用情報処理装置100が医用画像診断装置40で診断を支援する処理は、上記の処理に限定されるものではなく、例えば、撮影関連情報を用いて、被検体の疾患情報に対応する撮影関連情報を医用画像診断装置40に表示させても良い。具体的には、医用情報処理装置100は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、「荷重X線検査(正面像)を行って下さい」というメッセージを医用画像診断装置40の表示部に表示させる診断支援情報を生成する。そして、医用情報処理装置100は、生成した診断支援情報を医用画像診断装置40に出力して、「荷重X線検査(正面像)を行って下さい」というメッセージを医用画像診断装置40の表示部に表示させる。これにより、出力制御部143は、医師及び検査技師に対して具体的な検査方法や撮影条件を通知することができる。
In addition, the process in which the medical
(ワークステーション50における読影ポイントの表示)
ワークステーション50における読影ポイントの表示について説明する。第2の実施形態に係る医用情報処理装置100において、出力制御部143は、被検体の疾患情報に基づいて、疾患情報に関する撮影画像を読影する際のポイントをワークステーション50に表示させるための表示情報を、ワークステーション50に出力する。なお、この表示情報は、診断支援情報の一例である。
(Display of interpretation points on workstation 50)
The display of interpretation points on the
例えば、第2の実施形態に係る出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する読影ポイント「関節列隙の狭小化(3mm未満)が見られるか」を取得する。そして、出力制御部143は、取得した読影ポイントをワークステーション50に表示させるための表示情報を生成する。そして、出力制御部143は、生成した表示情報を、医用画像診断装置40(X線診断装置)に出力する。なお、表示情報の出力先となる医用画像診断装置40は、医用情報処理装置100の操作者によって指定されても良いし、被検体の疾患情報に対応する撮影関連情報に基づいて自動的に選択されても良い。
For example, the
そして、医用画像診断装置40は、出力制御部143から出力された表示情報を受け付ける。そして、医用画像診断装置40は、画像診断のための画像を撮影すると、受け付けた表示情報を撮影画像の付帯情報として付帯させる。そして、医用画像診断装置40は、表示情報を付帯させた撮影画像を医用画像保管装置30に出力し、格納する。
Then, the medical image
そして、ワークステーション50は、医用画像保管装置30から被検体の撮影画像と、撮影画像に付帯された表示情報とを取得し、取得した撮影画像及び表示情報を表示部に表示する。
The
例えば、ワークステーション50は、ワークステーション50の操作者(例えば、医師や読影医)の指示に基づいて、医用画像診断装置40によって撮影された撮影画像を医用画像保管装置30から取得する。そして、ワークステーション50は、撮影画像から、撮影画像に付帯された表示情報を取得する。そして、ワークステーション50は、撮影画像とともに、表示情報に含まれる読影ポイントを表示部に表示させる。例えば、ワークステーション50は、荷重X線検査(正面像)の撮影画像とともに、「関節列隙の狭小化(3mm未満)が見られるか確認して下さい」というメッセージをワークステーション50のモニタに表示させる。このように、医用情報処理装置100は、撮影画像が表示される端末においても診断を支援することができる。
For example, the
(ワークステーション50における解析プログラムとの連携(CAD連携))
ワークステーション50における解析プログラムとの連携について説明する。この場合、ワークステーション50は、コンピュータ支援診断装置(Computer-Aided Diagnosis:CAD装置)として機能する。例えば、ワークステーション50は、所定の処理を実行するプログラム等、CAD用のプログラムを備える。そして、ワークステーション50は、医用情報処理装置100によって判定された被検体の診断情報に応じて、被検体が撮影された撮影画像(医用画像)に対して所定の処理を実行する。
(Cooperation with analysis program on workstation 50 (CAD collaboration))
The cooperation with the analysis program in the
例えば、第2の実施形態に係るワークステーション50は、診断支援情報として、疾患情報ごとに、CAD用のプログラムに所定の処理を実行する旨の情報を記憶する。一例としては、ワークステーション50は、変形性膝関節症のgrade「2」の被検体の撮影画像に対して、関節列隙の狭小化を計測する計測処理を実行する旨の情報を記憶する。また、他の例としては、ワークステーション50は、変形性膝関節症のgrade「4」の被検体の撮影画像に対して、荷重面の摩耗又は欠損を計測する計測処理を実行する旨の情報を記憶する。
For example, the
第2の実施形態に係る医用情報処理装置100において、出力制御部143は、判定部142によって判定された判定結果を、被検体の医用画像を撮影する医用画像保管装置30に送信する。例えば、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、変形性膝関節症のgrade「2」である旨の情報を被検体の識別情報に対応付けて、医用画像診断装置40に送信する。
In the medical
医用画像診断装置40は、医用情報処理装置100から被検体の疾患情報を受信する。そして、医用情報処理装置100は、被検体を撮影し、被検体の撮影画像を生成する。そして、医用画像診断装置40は、受信した疾患情報を、生成した撮影画像の付帯情報として付帯させて、医用画像保管装置30に出力し、格納する。
The medical image
ワークステーション50は、医用画像保管装置30から被検体の撮影画像を取得し、取得した撮影画像に付帯された被検体の症状情報に基づいて、撮影画像に対して所定の処理を実行する。
The
例えば、ワークステーション50は、被検体の撮影画像を表示する場合に、医用画像保管装置30から被検体の撮影画像を取得する。そして、ワークステーション50は、取得した撮影画像の付帯情報から、被検体が変形性膝関節症のgrade「2」である旨の情報を取得する。そして、ワークステーション50は、自装置に記憶された上記の情報から、CAD用のプログラムに所定の処理を実行する旨の情報を読み出す。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、変形性膝関節症のgrade「2」の被検体の撮影画像に対して、関節列隙の狭小化を計測する計測処理を実行する旨の情報を読み出す。そして、ワークステーション50は、被検体の撮影画像に対して、関節列隙の狭小化を計測する計測処理を実行する。そして、ワークステーション50は、計測結果を撮影画像とともにモニタに表示する。このように、医用情報処理装置100は、撮影画像が表示される端末においても診断を支援することができる。なお、医用画像診断装置40は、疾患情報を付帯させた撮影画像ワークステーション50に出力しても良い。
For example, the
なお、上記の例では、計測処理を実行させる場合を説明したが、実施形態はこれに限定されるものではない。例えば、ワークステーション50は、被検体について複数の撮影画像が存在する場合に、複数の撮影画像のうち、疾患情報に応じた撮影画像を初期表示させる(ジャンプする)ように設定しても良い。この場合、ワークステーション50は、診断支援情報記憶部133を記憶している。そして、ワークステーション50は、この診断支援情報記憶部133から、被検体の疾患情報に対応する撮影関連情報を取得する。そして、ワークステーション50は、被検体の複数の撮影画像のうち、撮影関連情報に対応する撮影画像を初期表示させるように設定する。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、荷重X線検査の正面像を初期表示させるように設定する。これにより、ワークステーション50は、被検体の撮影画像を表示する旨の指示を受け付けた場合に、疾患情報に応じた撮影画像を初期表示させることができる。
In the above example, the case where the measurement process is executed has been described, but the embodiment is not limited thereto. For example, the
また、例えば、ワークステーション50は、被検体の撮影画像から、読影すべき画像領域を検出して注目表示させても良い。この場合、ワークステーション50は、診断支援情報として、読影すべき画像領域の特徴情報を、疾患情報ごとに記憶している。そして、ワークステーション50は、被検体の疾患情報と取得すると、この疾患情報に対応する特徴情報を読み出す。そして、ワークステーション50は、被検体の撮影画像から、この特徴情報に対応する画像領域を検出する。そして、ワークステーション50は、特定した画像領域を注目表示させる。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、関節列隙を含む画像領域を検出し、この画像領域を拡大表示させたり、赤い枠線で囲んで表示したりすることができる。
Further, for example, the
また、例えば、ワークステーション50は、読影に有用な画像として、疾患の典型的な画像を撮影画像とともに並列表示しても良い。この場合、ワークステーション50は、診断支援情報として、疾患の典型的な画像を疾患情報ごとに記憶している。例えば、ワークステーション50は、変形性膝関節症のgrade「2」の典型的な画像として、関節列隙が3mm狭小化した画像を記憶している。そして、ワークステーション50は、被検体の疾患情報と取得すると、この疾患情報に対応する疾患の典型的な画像を読み出す。そして、ワークステーション50は、被検体の撮影画像とともに、この疾患の典型的な画像を並列表示する。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、関節列隙が3mm狭小化した画像を撮影画像とともに並列表示することができる。
Further, for example, the
なお、第2の実施形態においては、医用画像診断装置40において撮影方法及び撮影条件を自動設定する場合と、ワークステーション50において読影ポイントを表示する場合とを説明したが、これに限定されるものではない。例えば、これらを組み合わせて実施しても良い。具体的には、医用情報処理装置100は、上記の設定情報と、上記の表示情報とを医用画像診断装置40に出力する。医用画像診断装置40は、撮影方法及び撮影条件を自動設定するとともに、撮影画像に表示情報を付帯させて医用画像保管装置30に格納する。ワークステーション50は、表示情報とともに撮影画像を表示する。
In the second embodiment, the case where the imaging method and the imaging conditions are automatically set in the medical image
(その他の実施形態)
さて、これまで第1及び第2の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されて良いものである。
(Other embodiments)
Although the first and second embodiments have been described so far, the present invention may be implemented in various different forms other than the above-described embodiments.
(撮影済みの動作情報の利用)
例えば、上記の第1の実施形態では、動作情報収集部10によって収集された被検体の動作情報を、医用情報処理装置100がリアルタイムで処理して、診断支援情報を出力する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用情報処理装置100は、被検体の撮影済みの動作情報をデータベース等の外部装置から取得して、この動作情報を用いて診断支援情報を出力しても良い。
(Use of motion information already taken)
For example, in the first embodiment described above, the case where the medical
(疾患動作情報の利用)
また、例えば、医用情報処理装置100は、疾患動作情報記憶部132に記憶される情報を利用して、疾患情報に応じた疾患動作情報に基づく情報を出力しても良い。
(Use of disease motion information)
Further, for example, the medical
一例としては、X線診断装置である医用画像診断装置40は、荷重X線検査が行われた場合に、既存の解析プログラムを用いて関節列隙の計測(例えば、2mm)を行う。そして、医用画像診断装置40は、計測結果を医用情報処理装置100へ出力する。
As an example, the medical image
医用情報処理装置100の判定部142は、医用画像診断装置40から出力された計測結果を受け付けると、診断支援情報記憶部133を参照し、被検体の疾患情報を判定する。例えば、判定部142は、関節列隙が2mmであれば、診断支援情報記憶部133の読影ポイント「関節列隙の狭小化(3mm未満)が見られるか」に該当するので、変形性膝関節症のgrade「2」であると判定する。そして、判定部142は、判定結果を出力制御部143へ出力する。
When the determination unit 142 of the medical
医用情報処理装置100の出力制御部143は、疾患情報に対応する疾患動作情報に基づいて、診断支援情報を生成する。例えば、出力制御部143は、変形性膝関節症のgrade「2」の疾患動作情報(例えば、歩行訓練の動作情報)から、歩行速度(例えば、2km/h)を算出する。出力制御部143は、算出した歩行速度を診断支援情報として出力部110に表示させる。このように、医用情報処理装置100は、変形性膝関節症のgrade「2」の被検体(患者)がリハビリを行う際の歩行速度を出力することで、例えば、被検体の介助を行う介助者に、被検体に付き従って歩く速度の目安を通知することができる。
The
なお、診断支援情報として出力される情報は、歩行速度に限定されるものではない。例えば、医用情報処理装置100は、疾患動作情報に含まれるカラー画像に基づいて、リハビリの様子を示す動画を診断支援情報として出力しても良い。これによれば、例えば、理学療法士や介助者は、リハビリの動画を確認することで、例えば、歩行訓練が平坦な床面で行われているのか、階段で行われているのか等の詳細な情報を確認することができる。
Note that information output as diagnosis support information is not limited to walking speed. For example, the medical
(サービス提供装置への適用)
図14は、サービス提供装置に適用される場合の一例を説明するための図である。図14に示すように、サービス提供装置200は、サービスセンタ内に配置され、例えば、ネットワーク5を介して、医療機関や、自宅、職場に配置される端末装置300とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置300は、動作情報収集部10がそれぞれ接続される。また、各端末装置300は、サービス提供装置200によって提供されるサービスを利用するクライアント機能を備える。また、ネットワーク5には、有線又は無線を問わず、インターネット(Internet)、WAN(Wide Area Network)などの任意の種類の通信網を採用できる。
(Application to service providing equipment)
FIG. 14 is a diagram for explaining an example when applied to a service providing apparatus. As illustrated in FIG. 14, the
例えば、サービス提供装置200は、図5において説明した医用情報処理装置100と同様の機能を有し、当該機能によって端末装置300にサービスとして提供する。すなわち、サービス提供装置200は、取得部141と、判定部142と、出力制御部143とそれぞれ同様の機能部を有する。そして、取得部141と同様の機能部は、被検体の動作を表す動作情報を取得する。そして、判定部142と同様の機能部は、取得した動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する。そして、出力制御部143と同様の機能部は、被検体の疾患情報に基づいて、疾患の診断を支援する診断支援情報を出力する。なお、サービス提供装置200は、疾患動作情報記憶部132に記憶される情報と同様の情報を記憶する。
For example, the
例えば、サービス提供装置200は、端末装置300から処理の対象となる動作情報のフレーム群のアップロードを受け付ける。そして、サービス提供装置200は、上記の処理を行って診断支援情報を生成する。そして、サービス提供装置200は、診断支援情報を端末装置300にダウンロードさせる。
For example, the
また、上述した実施形態における医用情報処理装置100の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、判定部142及び出力制御部143を統合することが可能である。
Further, the configuration of the medical
また、上述した実施形態において説明した取得部141、判定部142及び出力制御部143の機能は、ソフトウェアによって実現することもできる。例えば、取得部141、判定部142及び出力制御部143の機能は、上記の実施形態において取得部141、判定部142及び出力制御部143が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、CPUやMPU等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、CD−ROM(Compact Disc − Read Only Memory)やMO(Magnetic Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読取り可能な記録媒体に記録されて、配布され得る。
Further, the functions of the acquisition unit 141, the determination unit 142, and the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
以上説明した少なくともひとつの実施形態によれば、本実施形態の医用情報処理装置、システム及びプログラムは、診断を支援することができる。 According to at least one embodiment described above, the medical information processing apparatus, system, and program of this embodiment can support diagnosis.
100 医用情報処理装置
141 取得部
142 判定部
143 出力制御部
DESCRIPTION OF
Claims (13)
被検体の動作を表す動作情報を取得する取得部と、
前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報及び程度情報を判定する判定部と、
前記判定部により判定された前記被検体の症状情報及び程度情報に基づいて、判定された症状情報及び程度情報の確定診断を行うための画像診断に関する診断支援情報を出力する出力制御部と
を備えたことを特徴とする医用情報処理装置。 A storage unit that stores symptom information that represents symptoms , degree information that represents the degree of the symptoms , and symptom movement information that represents the behavior of the subject in accordance with the degree of the symptoms;
An acquisition unit for acquiring motion information representing the motion of the subject;
A determination unit that determines the symptom information and the degree information of the subject by comparing the movement information and the symptom movement information;
Based on the symptoms information and extent information of the subject determined by the determination unit, and an output control unit for outputting diagnostic support information related to diagnostic imaging for performing definitive diagnosis of the determined condition information and degree information A medical information processing apparatus characterized by that.
前記判定部は、前記被検体の属性情報を取得し、当該属性情報に対応する症状動作情報と、前記被検体の動作情報とを比較することで、前記被検体の症状情報及び程度情報を判定することを特徴とする請求項1〜3のいずれか一つに記載の医用情報処理装置。 The storage unit stores, for each symptom information, a plurality of the symptom operation information of the subject and the attribute information of the subject in association with each other,
The determination unit determines the symptom information and degree information of the subject by acquiring the attribute information of the subject and comparing the symptom motion information corresponding to the attribute information with the motion information of the subject. The medical information processing apparatus according to any one of claims 1 to 3, wherein:
前記医用情報処理装置は、
症状を表す症状情報と、前記症状の程度を表す程度情報と、前記症状の程度に応じた被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
被検体の動作を表す動作情報を取得する取得部と、
前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報及び程度情報を判定する判定部と、
前記判定部により判定された前記被検体の症状情報及び程度情報に基づいて、判定された前記症状情報及び程度情報の確定診断を行うための画像診断に関する撮影方法及び撮影条件の少なくとも一つを設定するための設定情報を、当該医用画像診断装置に出力する出力制御部と
を備え、
前記医用画像診断装置は、
前記出力制御部から出力された設定情報を取得し、取得した設定情報に基づいて、前記撮影方法及び前記撮影条件の少なくとも一つを設定する
ことを特徴とする医用情報処理システム。 In a medical information processing system including a medical information processing apparatus and a medical image diagnostic apparatus,
The medical information processing apparatus includes:
A storage unit that stores symptom information that represents symptoms , degree information that represents the degree of the symptoms , and symptom movement information that represents the behavior of the subject in accordance with the degree of the symptoms;
An acquisition unit for acquiring motion information representing the motion of the subject;
A determination unit that determines the symptom information and the degree information of the subject by comparing the movement information and the symptom movement information;
Based on the symptom information and degree information of the subject determined by the determination unit, at least one of an imaging method and imaging conditions related to image diagnosis for performing a definitive diagnosis of the determined symptom information and degree information is set An output control unit for outputting setting information for performing the setting to the medical image diagnostic apparatus,
The medical image diagnostic apparatus comprises:
The medical information processing system, wherein the setting information output from the output control unit is acquired, and at least one of the imaging method and the imaging condition is set based on the acquired setting information.
前記第1の医用情報処理装置は、
症状を表す症状情報と、前記症状の程度を表す程度情報と、前記症状の程度に応じた被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
被検体の動作を表す動作情報を取得する取得部と、
前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報及び程度情報を判定する判定部と、
前記判定部により判定された前記被検体の症状情報及び程度情報に基づいて、判定された前記症状情報及び程度情報の確定診断を行うための画像診断に関する撮影画像を読影する際のポイントを前記第2の医用情報処理装置に表示させるための表示情報を、医用画像診断装置に出力する出力制御部と
を備え、
前記第2の医用情報処理装置は、
前記医用画像診断装置によって撮影された撮影画像と、前記撮影画像に付帯された前記表示情報とを取得し、取得した撮影画像及び表示情報を表示する
ことを特徴とする医用情報処理システム。 In a medical information processing system including a first medical information processing device and a second medical information processing device,
The first medical information processing apparatus includes:
A storage unit that stores symptom information that represents symptoms , degree information that represents the degree of the symptoms , and symptom movement information that represents the behavior of the subject in accordance with the degree of the symptoms;
An acquisition unit for acquiring motion information representing the motion of the subject;
A determination unit that determines the symptom information and the degree information of the subject by comparing the movement information and the symptom movement information;
Based on the symptom information and degree information of the subject determined by the determination unit, the points at the time of interpreting a captured image relating to image diagnosis for performing a definitive diagnosis of the determined symptom information and degree information are the first An output control unit that outputs display information for display on the medical information processing apparatus 2 to the medical image diagnostic apparatus,
The second medical information processing apparatus includes:
A medical information processing system that acquires a captured image captured by the medical image diagnostic apparatus and the display information attached to the captured image, and displays the acquired captured image and display information.
前記第1の医用情報処理装置は、
症状を表す症状情報と、前記症状の程度を表す程度情報と、前記症状の程度に応じた被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
被検体の動作を表す動作情報を取得する取得部と、
前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報及び程度情報を判定する判定部と、
前記判定部により判定された前記被検体の症状情報及び程度情報を、当該被検体の医用画像を生成する医用画像診断装置に送信する出力制御部と
を備え、
前記医用画像診断装置は、
前記被検体の医用画像を生成し、生成した医用画像に、前記第1の医用情報処理装置から受け付けた被検体の症状情報及び程度情報を付帯させ、
前記第2の医用情報処理装置は、
前記被検体の医用画像を取得し、取得した医用画像に付帯された前記被検体の症状情報及び程度情報に基づいて、当該医用画像に対して、前記被検体の動作に関する部位の計測を行う計測処理を実行する
ことを特徴とする医用情報処理システム。 In a medical information processing system including a first medical information processing device, a medical image diagnostic device, and a second medical information processing device,
The first medical information processing apparatus includes:
A storage unit that stores symptom information that represents symptoms , degree information that represents the degree of the symptoms , and symptom movement information that represents the behavior of the subject in accordance with the degree of the symptoms;
An acquisition unit for acquiring motion information representing the motion of the subject;
A determination unit that determines the symptom information and the degree information of the subject by comparing the movement information and the symptom movement information;
An output control unit that transmits the symptom information and degree information of the subject determined by the determination unit to a medical image diagnostic apparatus that generates a medical image of the subject;
The medical image diagnostic apparatus comprises:
Generating a medical image of the subject, and attaching the symptom information and degree information of the subject received from the first medical information processing apparatus to the generated medical image;
The second medical information processing apparatus includes:
Measurement for acquiring a medical image of the subject and measuring a part related to the operation of the subject on the medical image based on the symptom information and degree information of the subject attached to the acquired medical image medical information processing system and executes the processing.
前記動作情報から算出された評価値に基づいて、症状の程度を判定する判定部と、
前記症状の程度に応じた、判定された症状の程度の確定診断を行うための画像診断に関する診断支援情報を出力する出力制御部と
を備えたことを特徴とする医用情報処理装置。 An acquisition unit for acquiring motion information representing the motion of the subject;
A determination unit that determines a symptom degree based on an evaluation value calculated from the motion information;
A medical information processing apparatus, comprising: an output control unit that outputs diagnosis support information related to image diagnosis for performing a definitive diagnosis of the determined symptom level according to the symptom level.
症状を表す症状情報と、前記症状の程度を表す程度情報と、前記症状の程度に応じた被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部に記憶された前記症状動作情報と、前記取得手順によって取得された動作情報とを比較することで、前記被検体の症状情報及び程度情報を判定する判定手順と、
前記判定手順により判定された前記被検体の症状情報及び程度情報に基づいて、判定された前記症状情報及び程度情報の確定診断を行うための画像診断に関する診断支援情報を出力する出力制御手順と
をコンピュータに実行させることを特徴とする医用情報処理プログラム。 An acquisition procedure for acquiring motion information representing the motion of the subject;
The symptom operation information stored in a storage unit that stores symptom information indicating symptoms , degree information indicating the degree of symptoms , and symptom operation information indicating the action of the subject according to the degree of symptoms And a determination procedure for determining the symptom information and degree information of the subject by comparing the operation information acquired by the acquisition procedure,
Wherein based on the subject condition information and extent information determined by the determining step, and an output control procedure for outputting diagnostic support information related to diagnostic imaging for performing a definitive diagnosis of the determined said condition information and extent information A medical information processing program that is executed by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013167837A JP6598422B2 (en) | 2013-08-12 | 2013-08-12 | Medical information processing apparatus, system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013167837A JP6598422B2 (en) | 2013-08-12 | 2013-08-12 | Medical information processing apparatus, system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015036858A JP2015036858A (en) | 2015-02-23 |
JP6598422B2 true JP6598422B2 (en) | 2019-10-30 |
Family
ID=52687336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013167837A Active JP6598422B2 (en) | 2013-08-12 | 2013-08-12 | Medical information processing apparatus, system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6598422B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170011395A (en) * | 2015-07-22 | 2017-02-02 | (주) 퓨처로봇 | Nursing robot at bedside |
KR101796361B1 (en) * | 2015-11-27 | 2017-11-09 | 한국 한의학 연구원 | Apparatus and method for measuring range of motion |
JP6832215B2 (en) * | 2017-04-05 | 2021-02-24 | 株式会社メイコー | Inspection equipment and programs |
JP2021115471A (en) * | 2020-01-21 | 2021-08-10 | Posen株式会社 | Posture diagnosis system, posture diagnosis method and data set for posture diagnosis |
JP7528555B2 (en) | 2020-06-17 | 2024-08-06 | コニカミノルタ株式会社 | Medical diagnosis support device, medical diagnosis support method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001000420A (en) * | 1999-06-16 | 2001-01-09 | Hitachi Plant Eng & Constr Co Ltd | Apparatus and method for evaluation of achievement of target |
JP2005000301A (en) * | 2003-06-10 | 2005-01-06 | Hisamitsu Imoto | Body posture diagnosing support system |
WO2005096939A1 (en) * | 2004-04-07 | 2005-10-20 | The New Industry Research Organization | Rehabilitation assisting measurement system and rehabilitation assisting measurement method |
JP2012108761A (en) * | 2010-11-18 | 2012-06-07 | Toshiba Corp | Ordering system, radiological information management system equipped with the ordering system, and medical information management system |
-
2013
- 2013-08-12 JP JP2013167837A patent/JP6598422B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015036858A (en) | 2015-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6675462B2 (en) | Motion information processing device | |
US10170155B2 (en) | Motion information display apparatus and method | |
JP6181373B2 (en) | Medical information processing apparatus and program | |
US9700242B2 (en) | Motion information processing apparatus and method | |
US9761011B2 (en) | Motion information processing apparatus obtaining motion information of a subject performing a motion | |
JP6381918B2 (en) | Motion information processing device | |
JP6542004B2 (en) | Medical image processing apparatus and medical image processing system | |
JP6351978B2 (en) | Motion information processing apparatus and program | |
JP7051307B2 (en) | Medical image diagnostic equipment | |
JP6598422B2 (en) | Medical information processing apparatus, system, and program | |
WO2021155373A1 (en) | Systems and methods for detection of musculoskeletal anomalies | |
JP2006102353A (en) | Apparatus, method and program for analyzing joint motion | |
JP6258084B2 (en) | Medical image display device, medical image display system, and medical image display program | |
Zhang et al. | Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos | |
JP2019126654A (en) | Image processing device, image processing method, and program | |
WO2014104357A1 (en) | Motion information processing system, motion information processing device and medical image diagnosis device | |
JP7404857B2 (en) | Image judgment device, image judgment method and program | |
CN116829074A (en) | Learning device, learning method, program for learning device, teacher data generation device, machine learning model, and medical imaging device | |
JP6320702B2 (en) | Medical information processing apparatus, program and system | |
JP2020168173A (en) | Dynamic analysis apparatus, dynamic analysis system, and program | |
US20240177315A1 (en) | Medical information processing apparatus and medical information processing method | |
JP2022096052A (en) | Motion function determination device, motion function determination method, and motion function determination program | |
Ohshima et al. | Visualizing precise vivo motion of bones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160615 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160929 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170919 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180508 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180808 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180816 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20181005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6598422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |