JP6188332B2 - 医用画像表示装置及びプログラム - Google Patents

医用画像表示装置及びプログラム Download PDF

Info

Publication number
JP6188332B2
JP6188332B2 JP2013008605A JP2013008605A JP6188332B2 JP 6188332 B2 JP6188332 B2 JP 6188332B2 JP 2013008605 A JP2013008605 A JP 2013008605A JP 2013008605 A JP2013008605 A JP 2013008605A JP 6188332 B2 JP6188332 B2 JP 6188332B2
Authority
JP
Japan
Prior art keywords
information
motion
moving image
display control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013008605A
Other languages
English (en)
Other versions
JP2014138661A (ja
Inventor
和樹 宇都宮
和樹 宇都宮
弘祐 坂上
弘祐 坂上
池田　智
智 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2013008605A priority Critical patent/JP6188332B2/ja
Priority to PCT/JP2014/051140 priority patent/WO2014112645A1/ja
Publication of JP2014138661A publication Critical patent/JP2014138661A/ja
Priority to US14/803,180 priority patent/US10170155B2/en
Application granted granted Critical
Publication of JP6188332B2 publication Critical patent/JP6188332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging

Description

本発明の実施形態は、医用画像表示装置及びプログラムに関する。
従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。
特開平９−５６６９７号公報
本発明が解決しようとする課題は、動作の様子が撮影された動画を適切に表示することができる医用画像表示装置及びプログラムを提供することである。
実施形態に係る医用画像表示装置は、取得部と、特定部と、表示制御部とを備える。取得部は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。特定部は、リハビリテーションの種類及びリハビリテーションの目的のうち少なくとも一方と、前記動作情報とに基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定する。表示制御部は、前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う。
図１は、第１の実施形態に係る医用情報システムの構成例を示すブロック図である。 図２は、第１の実施形態に係る動作情報収集部の詳細な構成例を示すブロック図である。 図３Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図４は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図５は、第１の実施形態に係る医用画像表示装置の詳細な構成例を示すブロック図である。 図６Ａは、第１の実施形態に係る特定部の処理を説明するための図である。 図６Ｂは、第１の実施形態に係る特定部の処理を説明するための図である。 図７は、第１の実施形態に係る表示制御部の処理を説明するための図である。 図８は、第１の実施形態に係る医用画像表示装置の処理手順の一例を説明するためのフローチャートである。 図９Ａは、第２の実施形態に係る特定部の処理を説明するための図である。 図９Ｂは、第２の実施形態に係る特定部の処理を説明するための図である。 図１０は、第２の実施形態に係る表示制御部の処理を説明するための図である。 図１１は、第２の実施形態に係る医用画像表示装置の処理手順の一例を説明するためのフローチャートである。 図１２Ａは、動画情報及び動作情報の重畳表示について説明するための図である。 図１２Ｂは、動画情報及び動作情報の重畳表示について説明するための図である。 図１３Ａは、動作情報の同期再生について説明するための図である。 図１３Ｂは、動作情報の同期再生について説明するための図である。 図１４は、重畳表示について説明するための図である。 図１５は、足跡動画の同期再生について説明するための図である。 図１６は、グラフ動画の同期再生について説明するための図である。 図１７は、強調表示を伴う動画の同期再生について説明するための図である。 図１８は、サービス提供装置に適用される場合の一例を説明するための図である。
以下、図面を参照して、実施形態に係る医用画像表示装置及びプログラムを説明する。なお、以下で説明する医用画像表示装置は、医用画像表示装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
（第１の実施形態）
図１は、第１の実施形態に係る医用情報システムの構成例を示すブロック図である。第１の実施形態に係る医用情報システム１は、医療機関や自宅、職場等において行われるリハビリテーションを支援するシステムである。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
図１に示すように、第１の実施形態に係る医用情報システム１は、動作情報収集部１０と、医用情報処理装置２０と、医用画像診断装置３０と、医用画像保管装置４０と、医用画像表示装置１００とを備える。医用情報処理装置２０、医用画像診断装置３０、医用画像保管装置４０及び医用画像表示装置１００は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）２により、直接的又は間接的に相互に通信可能な状態となっている。例えば、医用情報システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像情報等を相互に送受信する。
動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報と、その人物や物体を撮影した動画情報とを収集する。なお、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。
図２は、第１の実施形態に係る動作情報収集部１０の詳細な構成例を示すブロック図である。図２に示すように、動作情報収集部１０は、医用情報処理装置２０に接続され、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図２に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。
距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。
音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。
図３Ａから図３Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図３Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図３Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。
第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
ここで、人体パターンについて説明する。図３Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図３Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
図３Ｂに示す例では、人体パターンは、関節３ａから関節３ｔまでの２０点の関節の情報を有する。このうち、関節３ａは、頭部に対応し、関節３ｂは、両肩の中央部に対応し、関節３ｃは、腰に対応し、関節３ｄは、臀部の中央部に対応する。また、関節３ｅは、右肩に対応し、関節３ｆは、右肘に対応し、関節３ｇは、右手首に対応し、関節３ｈは、右手に対応する。また、関節３ｉは、左肩に対応し、関節３ｊは、左肘に対応し、関節３ｋは、左手首に対応し、関節３ｌは、左手に対応する。また、関節３ｍは、右臀部に対応し、関節３ｎは、右膝に対応し、関節３ｏは、右足首に対応し、関節３ｐは、右足の足根に対応する。また、関節３ｑは、左臀部に対応し、関節３ｒは、左膝に対応し、関節３ｓは、左足首に対応し、関節３ｔは、左足の足根に対応する。
なお、図３Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節３ａから関節３ｄまでのうち、関節３ｂ及び関節３ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節３ｈのみならず、右手の指の関節を新たに設定して良い。なお、図３Ｂの関節３ａ、関節３ｈ、関節３ｌ、関節３ｐ、関節３ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図３Ｂに示す人体パターンの人体表面と、図３Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図３Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節３ａと関節３ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図４は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図４に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図４において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「３ａ」は、頭部に対応し、関節識別情報「３ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
図４の１行目には、関節識別情報「３ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図４の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図４の２行目には、関節識別情報「３ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図４の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報として医用情報処理装置２０へ送信する。
なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
また、動作情報生成部１４は、カラー画像収集部１１によって生成された複数フレームのカラー画像情報を動画情報として医用情報処理装置２０へ送信する。また、動作情報生成部１４は、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて医用情報処理装置２０へ適宜送信する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節３ａがあれば、その関節３ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて医用情報処理装置２０へ適宜送信する。
なお、ここでは、動作情報収集部１０によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の撮影範囲に含まれていれば、動作情報収集部１０は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として医用情報処理装置２０へ出力する。
また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて医用情報処理装置２０へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を医用情報処理装置２０へ出力しない場合には、音声認識部１３を有していなくても良い。
更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、医用情報処理装置２０側で行ってもよい。
図１の説明に戻る。医用情報処理装置２０は、リハビリテーションを支援するための各種情報を処理する。医用情報処理装置２０は、例えば、コンピュータ、ワークステーション等の情報処理装置である。
例えば、医用情報処理装置２０は、動作情報生成部１４によって送信された動画情報及び動作情報を受け付ける。そして、医用情報処理装置２０は、受け付けた動画情報及び動作情報をモニタやスピーカー等に出力したり、医用画像保管装置４０へ送信したりする。
また、例えば、医用情報処理装置２０は、動作情報生成部１４によって送信された距離画像情報及び音声認識結果を受け付ける。そして、医用情報処理装置２０は、受け付けた距離画像情報及び音声認識結果をモニタやスピーカー等に適宜出力したり、医用画像保管装置４０へ適宜送信したりする。
医用画像診断装置３０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、検体検査装置等の装置である。例えば、医用画像診断装置３０は、患者等の被検体を撮影する撮影技師からの操作に応じて患者等の被検体を撮影し、医用画像情報を生成する。そして、医用画像診断装置３０は、生成した医用画像情報を医用画像保管装置４０へ送信する。
医用画像保管装置４０は、リハビリテーションを支援するための各種情報を保管する。例えば、医用画像保管装置４０は、画像情報を保管するデータベースを備え、医用情報処理装置２０及び医用画像診断装置３０によって送信された各種情報をデータベースに格納し、これを保管する。
例えば、医用画像保管装置４０は、医用情報処理装置２０によって送信された動画情報及び動作情報を対応付けて対象者ごとに保管する。この動画情報は、カラー画像収集部１１によって生成された複数フレームのカラー画像情報であり、例えば、リハビリテーションを行う対象者が撮影された動画の情報である。また、動画情報は、付帯情報として、撮影された対象者によって行われたリハビリテーションの種目（例えば、歩行訓練や関節可動域訓練等）を示す情報を有する。また、動作情報は、動画情報の各フレームに対応する骨格情報であり、例えば、動画情報に撮影された対象者の動作を表す。
医用画像表示装置１００は、リハビリテーションを支援するための各種情報を表示する。例えば、医用画像表示装置１００は、医用画像保管装置４０から動画情報及び動作情報を取得し、取得した情報を表示する。
図５は、第１の実施形態に係る医用画像表示装置１００の詳細な構成例を示すブロック図である。図５に示すように、医用画像表示装置１００は、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。
ここで、第１の実施形態に係る医用画像表示装置１００は、以下に説明する処理により、リハビリテーションの様子が撮影された動画を適切に表示することができる。例えば、医用画像表示装置１００は、歩行訓練の動画を複数並べて表示する際に、動作のタイミングを同期させて表示することができる。
例えば、直立からの歩行は、下記の動作の繰り返しによって行われる。
（１）右足を前方に出す。
（２）右足を床面に着地させる。
（３）右足に体の重心を傾け体重を掛ける。
（４）左足から体重を除く。
（５）左足で床面を蹴る。
（６）左足を右足より前方に出す。
（７）左足を床面に着地させる。
（８）左足に体の重心を傾け体重を掛ける。
（９）右足から体重を除く。
（１０）右足で床面を蹴る。
（１１）右足を左足より前方に出す。
以後、（２）に戻り、歩行を終えるまで（２）から（１１）の動作を繰り返す。なお、歩行では、両足が同時に地面から離れる事が無く、出す足と反対側の腕を出すことで身体の重心均衡が保たれている。
ここで、例えば、２つの動画、すなわち健常者の歩行が撮影された動画と、対象者の歩行訓練が撮影された動画とを比較表示する場合に、所定のタイミングを用いて動画を表示すると有用であると考えられる。一例としては、右足が１回目に着地するタイミングを一致させて２つの動画を同時に再生させると、健常者と対象者が歩くスピードを比較することができると考えられる。また、他の例としては、２つの動画において右足が着地するそれぞれのタイミングを一致させて再生させると、健常者と対象者の歩くフォームを比較することができると考えられる。そこで、医用画像表示装置１００は、以下に説明する処理により、歩行訓練が撮影された２つの動画を表示する場合に、右足が着地するタイミングを用いて複数の動画を表示することを可能にする。
なお、第１の実施形態では、右足が着地するタイミングを用いる場合を説明するが、実施形態はこれに限定されるものではない。例えば、実施形態は、左足で床面を蹴るタイミング等、他の動作が行われるタイミングを用いても良い。また、実施形態は、歩行訓練の動画が表示される場合に限定されるものでもなく、例えば、関節可動域訓練等、他の訓練の動画が表示される場合に適用されても良い。また、実施形態は、健常者と対象者とを比較する場合に限定されるものでもなく、例えば、現在の対象者と過去の対象者とを比較しても良い。より具体的には、実施形態は、術前及び術後で比較しても良いし、術後直後と術後数ヶ月経過後とで比較しても良い。更に、実施形態は、３つ以上の動画を比較しても良い。また、実施形態は、複数の動画を横方向に並べて表示しても良いし、縦方向に並べて表示しても良い。
出力部１１０は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部１１０は、医用画像表示装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、医用画像表示装置１００において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。
入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部１２０は、医用画像表示装置１００の操作者から各種要求の入力を受け付け、受け付けた各種要求を医用画像表示装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。
記憶部１３０は、動画情報記憶部１３１と、動作情報記憶部１３２とを有する。例えば、記憶部１３０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。
動画情報記憶部１３１は、表示対象となる動画情報を記憶する。この動画情報は、複数フレームのカラー画像情報であり、例えば、リハビリテーションを行う対象者が撮影された動画の情報である。また、動画情報は、付帯情報として、撮影された対象者によって行われたリハビリテーションの種目（例えば、歩行訓練や関節可動域訓練等）を示す情報を有する。例えば、動画情報記憶部１３１は、後述の取得部１４１によって医用画像保管装置４０から取得された動画情報を記憶する。なお、動画情報記憶部１３１に記憶される動画情報は、医用情報処理装置２０から取得されても良い。
動作情報記憶部１３２は、動画情報記憶部１３１に記憶される動画情報に対応する動作情報を記憶する。この動作情報は、動画情報の各フレームに対応する骨格情報であり、例えば、動画情報に撮影された対象者の動作を表す。例えば、動作情報記憶部１３２は、取得部１４１によって医用画像保管装置４０から取得された動作情報を記憶する。なお、動作情報記憶部１３２に記憶される動作情報は、医用情報処理装置２０から取得されても良い。
制御部１４０は、取得部１４１と、特定部１４２と、表示制御部１４３とを有する。例えば、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。
取得部１４１は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。
例えば、取得部１４１は、医用画像保管装置４０にアクセスし、対象者を識別する対象者ＩＤを指定するための入力を、操作者から入力部１２０を介して受け付ける。続いて、取得部１４１は、医用画像保管装置４０に保管された動画情報のうち、指定された対象者ＩＤの対象者について再生可能な動画情報のリストを出力部１１０に表示する。そして、取得部１４１は、表示されたリストから表示対象となる動画情報を選択するための入力を、操作者から入力部１２０を介して受け付ける。そして、取得部１４１は、選択された一つの動画情報と、その動画情報に対応する動作情報とを医用画像保管装置４０から取得し、取得した動画情報及び動作情報を動画情報記憶部１３１及び動作情報記憶部１３２にそれぞれ格納する。なお、取得部１４１は、必要に応じて上記の処理を繰り返すことで、繰り返した数に相当する数の動画情報及び動作情報を表示対象として取得する。
特定部１４２は、動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する。例えば、特定部１４２は、リハビリテーションの目的を指定するための入力を、操作者から入力部１２０を介して受け付ける。特定部１４２は、指定されたリハビリテーションの目的に応じて、所定の動作のタイミングに対応するフレームを特定する。
図６Ａ及び図６Ｂは、第１の実施形態に係る特定部１４２の処理を説明するための図である。図６Ａ及び図６Ｂでは、特定部１４２が、歩行訓練の動画から右足が着地するタイミングを特定する場合を説明する。なお、図６Ａは、健常者の歩行における右足の足根のｙ座標の経時変化を示したグラフであり、図６Ｂは、対象者の歩行における右足の足根のｙ座標の経時変化を示したグラフである。図６Ａ及び図６Ｂにおいて、横軸は、時間を示し、縦軸は、右足の足根のｙ座標の値を示す。つまり、ｙ＝０は、右足の足根が床面に着地していることを示す。
図６Ａ及び図６Ｂには、直立からの歩行を例示する。すなわち、図６Ａのｔａ１は、健常者が右足を出したタイミングに対応する。また、ｔａ２、ｔａ４及びｔａ６は、健常者が右足を床面に着地させたタイミングに対応する。また、ｔａ３、ｔａ５及びｔａ７は、健常者が右足で床面を蹴ったタイミングに対応する。また、図６Ｂのｔｂ１は、対象者が右足を出したタイミングに対応する。また、ｔｂ２、ｔｂ４及びｔｂ６は、対象者が右足を床面に着地させたタイミングに対応する。また、ｔｂ３及びｔｂ５は、対象者が右足で床面を蹴ったタイミングに対応する。図６Ａ及び図６Ｂに示すように、健常者は、対象者と比較して規則的かつ速いペースで歩行しており、また、対象者は、健常者に比較して不規則的かつゆっくりしたペースで歩行している。なお、以下では、足を着地させたタイミングを「着地タイミング」と略記する場合がある。
ここで、リハビリテーションの目的として、対象者の歩くスピードを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の歩くスピードを改善する旨を指定するための入力を、操作者から受け付ける。歩くスピードを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、一歩目の右足の着地タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図６Ａに示すように、健常者の動作情報を参照し、健常者の右足の足根（関節３ｐ）のｙ座標が一定期間０となる複数のフレームのうち、一つ目のフレームを特定する。図６Ａに示す例では、特定部１４２は、ｔａ２、ｔａ４及びｔａ６にそれぞれ対応するフレームを、健常者の右足の着地タイミングとして特定する。そして、特定部１４２は、特定したｔａ２、ｔａ４及びｔａ６にそれぞれ対応するフレームのうち、時間が最も早いｔａ２に対応するフレームを、一歩目の右足の着地タイミングとして特定する。また、特定部１４２は、同様の処理により、図６Ｂに示すように、対象者の一歩目の右足の着地タイミングとして、ｔｂ２に対応するフレームを特定する。
続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する。例えば、特定部１４２は、特定した着地タイミングに対応するフレームにおいて、カラー画像の上下方向の画素数に対して人物が占める割合を人物のサイズとして特定する。具体的には、特定部１４２は、ｔａ２及びｔｂ２にそれぞれ対応するフレームの骨格情報から頭部（関節３ａ）及び右足の足根（関節３ｐ）の座標を取得する。特定部１４２は、取得した頭部及び右足の足根の座標にそれぞれ対応する画素位置を算出する。特定部１４２は、カラー画像の上下方向の画素数に対して、頭部から右足の足根までの画素数が占める割合を、人物のサイズとして算出する。このように、特定部１４２は、各動画情報に撮影された人物のサイズを特定する。
また、リハビリテーションの目的として、対象者の歩くフォームを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の歩くフォームを改善する旨を指定するための入力を、操作者から受け付ける。歩くフォームを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、全ての右足の着地タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図６Ａに示すように、健常者の動作情報を参照し、健常者の右足の足根（関節３ｐ）のｙ座標が一定期間０となる複数のフレームのうち、一つ目のフレームを特定する。図６Ａに示す例では、特定部１４２は、ｔａ２、ｔａ４及びｔａ６にそれぞれ対応するフレームを、健常者の右足の着地タイミングとして特定する。また、特定部１４２は、同様の処理により、図６Ｂに示すように、対象者の全ての右足の着地タイミングとして、ｔｂ２、ｔｂ４及びｔｂ６にそれぞれ対応するフレームを特定する。
続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する。例えば、特定部１４２は、特定した着地タイミングに対応するフレームにおいて、カラー画像の上下方向の画素数に対して人物が占める割合を人物のサイズとして特定する。ここで、特定した着地タイミングが複数ある場合には、特定部１４２は、最初の着地タイミングを用いて人物のサイズを特定する。具体的には、特定部１４２は、上記した処理と同様の処理によって人物のサイズを特定する。
なお、リハビリテーションの目的は、上記の例に限定されるものではなく、リハビリテーションの種目や対象者の状態に応じて適宜設定される。そして、特定部１４２は、設定された目的に応じて適切なタイミングを特定するための処理が予め設定されている。
一態様としては、術前と術後において、手術の効果を、対象者の歩くスピードがどの程度改善しているかによって確認する場合を説明する。この場合、特定部１４２は、対象者の歩くスピードを改善する旨を指定するための入力を、操作者から受け付ける。歩くスピードを改善することが指定されると、特定部１４２は、術前の動画情報及び術後の動画情報に含まれるフレーム群それぞれから、一歩目の右足の着地タイミングに対応するフレームを特定する。
表示制御部１４３は、所定の動作のタイミングに対応するフレームを用いて、複数の動画情報の表示制御を行う。例えば、表示制御部１４３は、歩行訓練の動画を複数並べて表示する場合には、特定部１４２によって特定された右足の着地タイミングに対応するフレームを用いて、これら複数の動画情報の表示制御を行う。
図７は、第１の実施形態に係る表示制御部１４３の処理を説明するための図である。図７には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、健常者の動画情報を表示する領域７ｂと、健常者の右足の足根のｙ座標の経時変化を示すグラフを表示する領域７ｃと、対象者の動画情報を表示する領域７ｄと、対象者の右足の足根のｙ座標の経時変化を示すグラフを表示する領域７ｅとを含む。また、表示画面７ａは、リハビリテーションの目的として、対象者の歩くスピードを改善することを指定する歩行速度比較再生ボタン７ｆと、対象者の歩くフォームを改善することを指定する歩行動作比較再生ボタン７ｇとを含む。
ここで、リハビリテーションの目的として、対象者の歩くスピードを改善することが指定される場合を説明する。例えば、特定部１４２は、歩行速度比較再生ボタン７ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された人物のサイズを用いて、健常者及び対象者が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の動画情報をｔａ２に対応するフレームから開始するように、対象者の動画情報をｔｂ２に対応するフレームから開始するように、これら２つの動画情報を同時に再生する。
また、例えば、術前と術後において、手術の効果を、対象者の歩くスピードがどの程度改善しているかによって確認する場合を説明する。この場合、例えば、特定部１４２は、歩行速度比較再生ボタン７ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、術前の動画情報及び術後の動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。
また、リハビリテーションの目的として、対象者の歩くフォームを改善することが指定される場合を説明する。例えば、表示制御部１４３は、歩行動作比較再生ボタン７ｇが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各着地タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された人物のサイズを用いて、健常者及び対象者が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の各着地タイミングに、対象者の各着地タイミングを同期させて各動画情報を再生する。より具体的には、ｔｂ１からｔｂ２までのフレーム数がｔａ１からｔａ２までのフレーム数より少ないので、表示制御部１４３は、ｔｂ１からｔｂ２までにフレームを一部補間する。これにより、表示制御部１４３は、ｔａ２及びｔｂ２に対応するフレームを同時に表示させるように、各動画情報を再生する。また、ｔｂ２からｔｂ４までのフレーム数がｔａ２からｔａ４までのフレーム数より多いので、表示制御部１４３は、ｔｂ２からｔｂ４までのフレームを一部間引く。これにより、表示制御部１４３は、ｔａ４及びｔｂ４に対応するフレームを同時に表示させるように、各動画情報を再生する。このように、表示制御部１４３は、各着地タイミングを一致させるように、各動画情報を再生する。
なお、表示制御部１４３が動画を同期再生する方法は、上記の方法に限定されるものではなく、例えば、ｔａ２とｔｂ２とを同期させる場合には、健常者の動画情報でｔａ２に対応するフレームが再生されるまで、先に再生されるｔｂ２に対応するフレームで対象者の動画情報を一時停止させても良い。
なお、上記の説明では、一歩目の着地タイミングを用いて動画を再生する開始タイミングを一致させる場合を説明したが、これに限定されるものではない。例えば、実施形態は二歩目や三歩目を用いて開始タイミングを一致させても良い。この場合、二歩目或いは三歩目までは、通常の速度で動画が再生されることとなる。また、これに限らず、実施形態は、例えば、二つの動画のうち、一方の動画における二歩目の着地タイミングと、もう一方の動画における三歩目の着地タイミングを一致させても良い。
また、上記の説明では、動画の再生時間の全てを同期させる場合を説明したが、これに限定されるものではなく、例えば、再生時間のうち一定時間のみを同期させ、その前後の時間は同期させずに表示することとしても良い。
次に、図８を用いて、第１の実施形態に係る医用画像表示装置１００の処理手順について説明する。図８は、第１の実施形態に係る医用画像表示装置１００の処理手順の一例を説明するためのフローチャートである。
図８に示すように、取得部１４１は、操作者によって複数の動画情報が選択されると（ステップＳ１０１肯定）、選択された動画情報と、対応する動作情報とをそれぞれ取得する（ステップＳ１０２）。なお、取得部１４１は、複数の動画情報が選択されるまで（ステップＳ１０１否定）、待機状態である。
続いて、特定部１４２は、再生ボタンが押下された旨の情報を受け付ける（ステップＳ１０３）。ステップＳ１０３において、歩行速度比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、ある時点の右足の着地タイミングに対応するフレームを特定する（ステップＳ１０４）。続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する（ステップＳ１０５）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行い（ステップＳ１０６）、処理を終了する。
また、ステップＳ１０３において、歩行動作比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、全ての右足の着地タイミングに対応するフレームを特定する（ステップＳ１０７）。続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する（ステップＳ１０８）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各着地タイミングを一致させるように再生制御を行い（ステップＳ１０９）、処理を終了する。
なお、上述した処理手順は必ずしも上記の処理手順に限定されるものではない。例えば、リハビリテーションの目的を示す情報は、リハビリ用の電子カルテサーバに対象者ＩＤに対応付けて記憶されている場合がある。この場合、特定部１４２は、対象者ＩＤを用いてリハビリテーションの目的を示す情報をリハビリ用の電子カルテサーバから取得する。そして、特定部１４２は、取得したリハビリテーションの目的を示す情報を用いることで、ステップＳ１０３の処理である再生ボタンの押下が行われなくても、ステップＳ１０４の処理又はステップＳ１０７の処理を自動的に選択して実行することとしても良い。
上述してきたように、第１の実施形態に係る医用画像表示装置１００は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれとを取得する。そして、医用画像表示装置１００は、動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する。そして、医用画像表示装置１００は、所定の動作のタイミングに対応するフレームを用いて、複数の動画情報の表示制御を行う。このため、医用画像表示装置１００は、リハビリテーションの様子が撮影された動画を適切に表示することができる。
例えば、第１の実施形態に係る医用画像表示装置１００は、健常者の歩行と、対象者の歩行とを比較表示する場合に、右足が１回目に着地するタイミングを略一致させて再生させることで、健常者と対象者とが歩くスピードを比較表示することができる。
また、例えば、第１の実施形態に係る医用画像表示装置１００は、健常者の歩行と、対象者の歩行とを比較表示する場合に、右足が着地するそれぞれのタイミングを略一致させて再生させることで（右足の着地周期を同期）、健常者と対象者の歩くフォームを比較表示することができる。
また、例えば、医用画像表示装置１００は、医師や理学療法士によるリハビリ成果評価の際、評価目的に応じた表示方法で成果を比較することが可能となる。
（第２の実施形態）
上述した第１の実施形態では、歩行訓練の動画を表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、関節可動域訓練等、他の訓練の動画が表示される場合に適用されても良い。そこで、第２の実施形態では、医用画像表示装置１００が関節可動域訓練の動画を表示する場合を説明する。
ここで、関節可動域訓練とは、関節が可動する範囲を拡大するための訓練である。例えば、右肘の関節可動域訓練は、図３Ｂの関節３ｆをどれだけ稼働させることができるかを訓練するものである。すなわち、右腕（関節３ｅから関節３ｇ）をまっすぐに伸ばした状態を基準位置とし、上腕（関節３ｅから関節３ｆ）の位置を変えずに右肘（関節３ｆ）を稼働させ、右手首（関節３ｇ）を右肩（関節３ｅ）に近づける動作（屈曲及び伸展）を繰り返す訓練である。関節可動域訓練では、例えば、可動前の前腕（関節３ｆから関節３ｇ）と可動後の前腕とがなす角度（関節可動域）が評価の指標として用いられる。
第２の実施形態に係る医用画像表示装置１００は、図５に示した医用画像表示装置１００と同様の構成を有し、特定部１４２及び表示制御部１４３における処理が一部相違する。そこで、第２の実施形態では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図５と同一の符号を付し、説明を省略する。なお、以下の説明では、表示対象となる動画情報として、健常者の関節可動域訓練が撮影された動画情報と、対象者の関節可動域訓練が撮影された動画情報とが取得部１４１によって取得された場合を説明する。
例えば、特定部１４２は、健常者の関節可動域訓練が撮影された動画情報と、対象者の関節可動域訓練が撮影された動画情報とが取得部１４１によって取得されると、リハビリテーションの種目（関節可動域訓練）を示す情報を動画情報の付帯情報から抽出する。これにより、特定部１４２は、以下の処理を実行する。
図９Ａ及び図９Ｂは、第２の実施形態に係る特定部１４２の処理を説明するための図である。図９Ａ及び図９Ｂでは、特定部１４２が、関節可動域訓練の動画から、関節可動域が極大となるタイミングを特定する場合を説明する。なお、図９Ａは、健常者の関節可動域の経時変化を示したグラフであり、図９Ｂは、対象者の関節可動域の経時変化を示したグラフである。図９Ａ及び図９Ｂにおいて、横軸は、時間を示し、縦軸は、関節可動域の値を示す。なお、この値は、例えば、特定部１４２が、可動前の前腕（関節３ｆから関節３ｇ）と可動後の前腕とがなす角度を算出したものである。
図９Ａ及び図９Ｂには、基準位置からの関節可動域訓練を例示する。すなわち、図９Ａのｔｃ１は、健常者が右腕をまっすぐ伸ばした状態（基準位置）のタイミングに対応する。また、ｔｃ２、ｔｃ４及びｔｃ６は、健常者の関節可動域が極大となるタイミングに対応する。また、ｔｃ３、ｔｃ５及びｔｃ７は、健常者の関節可動域が極小となるタイミングに対応する。また、図９Ｂのｔｄ１は、対象者が右腕をまっすぐ伸ばした状態（基準位置）のタイミングに対応する。また、ｔｄ２及びｔｄ４は、対象者の関節可動域が極大となるタイミングに対応する。また、ｔｃ３及びｔｃ５は、対象者の関節可動域が極小となるタイミングに対応する。図９Ａ及び図９Ｂに示すように、健常者は、対象者と比較して速いペースで右肘を可動させており、また、対象者は、健常者に比較してゆっくりしたペースで右肘を稼働させている。なお、以下では、関節可動域が極大となるタイミングを「極大タイミング」と略記する場合がある。また、例えば、ｔｃ２からｔｃ４を「角度の変位周期」と称する場合がある。
ここで、リハビリテーションの目的として、対象者の動作スピードを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の動作スピードを改善する旨を指定するための入力を、操作者から受け付ける。動作スピードを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、一回目の極大タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図９Ａに示すように、健常者の動作情報を参照し、健常者の右肘の関節可動域の微分値が正から負に変わるフレームを特定する。図９Ａに示す例では、特定部１４２は、ｔｃ２、ｔｃ４及びｔｃ６にそれぞれ対応するフレームを、健常者の極大タイミングとして特定する。そして、特定部１４２は、特定したｔｃ２、ｔｃ４及びｔｃ６にそれぞれ対応するフレームのうち、時間が最も早いｔｃ２に対応するフレームを一回目の極大タイミングとして特定する。また、特定部１４２は、同様の処理により、図９Ｂに示すように、対象者の一回目の極大タイミングとして、ｔｄ２に対応するフレームを特定する。
続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する（ステップＳ２０５）。例えば、特定部１４２は、特定した極大タイミングに対応するフレームにおいて、カラー画像の左右方向の画素数に対して人物の上腕が占める割合を被写体のサイズとして特定する。具体的には、特定部１４２は、ｔｃ２及びｔｄ２にそれぞれ対応するフレームの骨格情報から右肩（関節３ｅ）及び右肘（関節３ｆ）の座標を取得する。特定部１４２は、取得した右肩及び右肘の座標にそれぞれ対応する画素位置を算出する。特定部１４２は、カラー画像の左右方向の画素数に対して、右肩から右肘までの画素数が占める割合を、被写体のサイズとして算出する。このように、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する。
また、リハビリテーションの目的として、対象者の動作フォームを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の動作フォームを改善する旨を指定するための入力を、操作者から受け付ける。動作フォームを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、全ての極大タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図９Ａに示すように、健常者の動作情報を参照し、健常者の右肘の関節可動域の微分値が正から負に変わるフレームを特定する。図９Ａに示す例では、特定部１４２は、ｔｃ２、ｔｃ４及びｔｃ６にそれぞれ対応するフレームを、健常者の極大タイミングとして特定する。また、特定部１４２は、同様の処理により、図９Ｂに示すように、対象者の全ての極大タイミングとしてｔｄ２及びｔｄ４にそれぞれ対応するフレームを特定する。
続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する。例えば、特定部１４２は、特定した極大タイミングに対応するフレームにおいて、カラー画像の左右方向の画素数に対して人物の上腕が占める割合を被写体のサイズとして特定する。ここで、特定した極大タイミングが複数ある場合には、特定部１４２は、最初の極大タイミングを用いて被写体のサイズを特定する。
なお、リハビリテーションの目的は、上記の例に限定されるものではなく、リハビリテーションの種目や対象者の状態に応じて適宜設定される。そして、特定部１４２は、設定された目的に応じて適切なタイミングを特定するための処理が予め設定されている。
一態様としては、術前と術後において、手術の効果を、対象者の動作フォームを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の動作フォームを改善する旨を指定するための入力を、操作者から受け付ける。動作フォームを改善することが指定されると、特定部１４２は、術前の動画情報及び術後の動画情報に含まれるフレーム群それぞれから、全ての極大タイミングに対応するフレームを特定する。
例えば、表示制御部１４３は、リハビリテーションの目的に応じて、複数の動画情報の表示制御を行う。例えば、表示制御部１４３は、関節可動域訓練の動画を複数並べて表示する場合には、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、これら複数の動画情報の表示制御を行う。
図１０は、第２の実施形態に係る表示制御部１４３の処理を説明するための図である。図１０には、表示制御部１４３によって表示される表示画面１０ａの一例を示す。この表示画面１０ａは、健常者の動画情報を表示する領域１０ｂと、健常者の関節可動域の経時変化を示すグラフを表示する領域１０ｃと、対象者の動画情報を表示する領域１０ｄと、対象者の関節可動域の経時変化を示すグラフを表示する領域１０ｅとを含む。また、表示画面１０ａは、リハビリテーションの目的として、対象者の動作スピードを改善することを指定する速度比較再生ボタン１０ｆと、対象者の動作フォームを改善することを指定する動作比較再生ボタン１０ｇとを含む。また、表示画面１０ａは、関節可動域訓練における現在値（動画再生では、現在表示されているフレームでの角度）を示すバーと、最大値（動画再生では、現在表示されているフレームまでの角度のうちの最大値）を示す点とを表示するグラフ１０ｈ及びグラフ１０ｉを含む。
ここで、リハビリテーションの目的として、対象者の動作スピードを改善することが指定される場合を説明する。例えば、特定部１４２は、速度比較再生ボタン１０ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された被写体のサイズを用いて、健常者及び対象者の上腕が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の動画情報をｔｃ２に対応するフレームから開始するように、対象者の動画情報をｔｄ２に対応するフレームから開始するように、これら２つの動画情報を同時に再生する。
また、例えば、術前と術後において、手術の効果を、対象者の可動速度（動作スピード）がどの程度改善しているかによって確認する場合を説明する。この場合、例えば、特定部１４２は、速度比較再生ボタン１０ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、術前の動画情報及び術後の動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。なお、上記の例は一例に過ぎず、例えば、可動域（角度）がどの程度改善しているかを確認することで、術前と術後における手術の効果を確認する場合もある。
また、リハビリテーションの目的として、対象者の動作フォームを改善することが指定される場合を説明する。例えば、特定部１４２は、動作比較再生ボタン１０ｇが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各極大タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された被写体のサイズを用いて、健常者及び対象者の上腕が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の各極大タイミングに、対象者の各極大タイミングを同期させて各動画情報を再生する。より具体的には、ｔｄ１からｔｄ２までのフレーム数がｔｃ１からｔｃ２までのフレーム数より多いので、表示制御部１４３は、ｔｄ１からｔｄ２までのフレームを一部間引く。これにより、表示制御部１４３は、ｔｃ２及びｔｄ２に対応するフレームを同時に表示させるように、各動画情報を再生する。また、ｔｄ２からｔｄ４までのフレーム数がｔｃ２からｔｃ４までのフレーム数より多いので、表示制御部１４３は、ｔｄ２からｔｄ４までのフレームを一部間引く。これにより、表示制御部１４３は、ｔｃ４及びｔｄ４に対応するフレームを同時に表示させるように、各動画情報を再生する。このように、表示制御部１４３は、各極大タイミングを一致させるように、各動画情報を再生する。
次に、図１１を用いて、第２の実施形態に係る医用画像表示装置１００の処理手順について説明する。図１１は、第２の実施形態に係る医用画像表示装置１００の処理手順の一例を説明するためのフローチャートである。
図１１に示すように、取得部１４１は、複数の動画情報が選択されると（ステップＳ２０１肯定）、選択された動画情報と、対応する動作情報とをそれぞれ取得する（ステップＳ２０２）。なお、取得部１４１は、複数の動画情報が選択されるまで（ステップＳ２０１否定）、待機状態である。
続いて、特定部１４２は、再生ボタンが押下された旨の情報を受け付ける（ステップＳ２０３）。ステップＳ２０３において、速度比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、ある時点の極大タイミングに対応するフレームを特定する（ステップＳ２０４）。続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する（ステップＳ２０５）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行い（ステップＳ２０６）、処理を終了する。
また、ステップＳ２０３において、動作比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、全ての極大タイミングに対応するフレームを特定する（ステップＳ２０７）。続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する（ステップＳ２０８）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各極大タイミングを一致させるように再生制御を行い（ステップＳ２０９）、処理を終了する。
上述してきたように、第２の実施形態に係る医用画像表示装置１００は、他の訓練の動画が表示される場合、例えば、関節可動域訓練の動画を表示する場合にも適用することができる。
（第３の実施形態）
さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
（動画情報及び動作情報の重畳表示）
例えば、上述した第１及び第２の実施形態では、２つ以上の動画情報を並べて再生する場合を説明したが、実施形態はこれに限定されるものではない。例えば、再生される動画情報に、動作情報を重畳表示させても良い。
図１２Ａ及び図１２Ｂは、動画情報及び動作情報の重畳表示について説明するための図である。図１２Ａには、健常者の関節可動域訓練の動画情報に、対応する動作情報を重畳表示させた表示画像を例示する。また、図１２Ｂには、対象者の関節可動域訓練の動画情報に、対応する動作情報を重畳表示させた表示画像を例示する。
図１２Ａ及び図１２Ｂに示すように、表示制御部１４３は、表示対象となる動画情報に、その動画情報に含まれるフレームに対応する骨格情報を重畳表示させる。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報をカラー画像に重畳させた表示画像を生成する。そして、表示制御部１４３は、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、生成した表示画像の表示制御を行う。このように、医用画像表示装置１００は、再生される動画情報に、動作情報を重畳表示させることで、関節可動域の大小を明確に示すことができる。
（動作情報の同期再生）
また、例えば、実施形態は、上記の重畳表示のみならず、動画情報に対応する動作情報のみを動画として同期再生しても良い。具体的には、表示制御部１４３は、表示対象となる動画情報のカラー画像に代えて、その動画情報に含まれるフレームに対応する骨格情報を動画として同期表示する。
図１３Ａ及び図１３Ｂは、動作情報の同期再生について説明するための図である。図１３Ａには、健常者の関節可動域訓練の動作情報を動画として表示する表示画像を例示する。また、図１３Ｂには、対象者の関節可動域訓練の動作情報を動画として表示する表示画像を例示する。
図１３Ａ及び図１３Ｂに示すように、表示制御部１４３は、健常者の動画情報と対象者の動画情報とにそれぞれ対応する動作情報の各フレームに対応する骨格情報を、動画として表示する表示画像を生成する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を表示する表示画像を生成する。そして、表示制御部１４３は、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、生成した表示画像の表示制御を行う。このように、医用画像表示装置１００は、動作情報のみを表示させることで、関節可動域の大小を明確に示すことができる。また、例えば、表示制御部１４３は、着目箇所である上記の関節を、他とは異なる色で表示しても良い。
（被写体の向きの調整）
また、例えば、上述した第１及び第２の実施形態では、被写体の向きを一致させずに動画を表示する場合を説明したが、被写体の向きを一致させた上で動画を表示しても良い。例えば、表示制御部１４３は、動画情報間で各被写体の向きが略一致するように、少なくとも一方の動画情報を平行移動や回転の上、表示制御を行う。
図１３Ａ及び図１３Ｂは、被写体の向きの調整について説明するための図である。図１３Ａには、健常者の関節可動域訓練の動作情報を表示する表示画像を例示する。また、図１３Ｂには、対象者の関節可動域訓練の動作情報を表示する表示画像を例示する。
図１３Ａ及び図１３Ｂに示すように、表示制御部１４３は、表示対象となる動画情報に代えて、その動画情報に対応する動作情報に含まれるフレームに対応する骨格情報を、被写体の向きを調整した上で動画として表示する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を、健常者及び対象者の骨格情報からそれぞれ抽出する。続いて、表示制御部１４３は、健常者の右肘の位置に、対象者の右肘の位置が一致するように、対象者の動作情報を平行移動させる（座標を算出する）。続いて、表示制御部１４３は、健常者の上腕に対象者の上腕が重畳するように、右肘の位置を中心として対象者の動作情報を回転させる（座標を算出する）。続いて、表示制御部１４３は、健常者が前腕を可動させる方向に、対象者が前腕を可動させる方向が一致するように、上腕の位置を回転軸として対象者の動作情報を回転させる（座標を算出する）。そして、表示制御部１４３は、平行移動及び回転させた向きで、健常者の動作情報と、対象者の動作情報とを同期させて表示する。このように、医用画像表示装置１００は、被写体の向きを調整した上で動画を表示することができる。なお、被写体の向きを調整する方法は、上記の例に限定されるものではなく、例えば、３次元変換などを用いても良い。
（複数動画の重畳表示）
また、例えば、上述した第１及び第２の実施形態では、表示対象となる動画を並べて表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、表示対象となる動画を重畳表示しても良い。
図１４は、重畳表示について説明するための図である。図１４には、健常者の関節可動域訓練の動作情報と、対象者の関節可動域訓練の動作情報とを重畳表示する表示画像を例示する。
図１４に示すように、表示制御部１４３は、表示対象となる動作情報に含まれるフレームに対応する骨格情報を重畳表示する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を、健常者及び対象者の骨格情報からそれぞれ抽出する。そして、表示制御部１４３は、健常者の右肩と右肘の位置と、対象者の右肩と右肘の位置とがそれぞれ一致するように、重畳画像を生成する。そして、表示制御部１４３は、生成した重畳画像を出力部１１０に表示する。このように、医用画像表示装置１００は、複数の動画を重畳表示することができる。このとき、健常者の動作情報なのか、対象者の動作情報なのか区別できるように、線種や色を変えて表示しても良い。
（その他の動画の同期再生（足跡動画の場合））
また、医用画像表示装置１００によって同期再生される動画は、上記のカラー画像情報や骨格情報に限定されるものではなく、医用画像表示装置１００は、動作情報に基づくその他の動画を同期再生しても良い。例えば、医用画像表示装置１００は、足跡動画を同期再生しても良い。この足跡動画は、例えば、人物が歩行を行う際に、その人物の両足が床面に着地する着地位置を順次表示するものである。
図１５は、足跡動画の同期再生について説明するための図である。図１５には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、図７に例示した表示画面７ａと比較して、領域７ｃに代えて領域１５ａを含む点と、領域７ｅに代えて領域１５ｂを含む点とが相違する。この領域１５ａには、領域７ｂに動画表示される健常者の足跡動画が表示され、領域１５ｂには、領域７ｄに動画表示される対象者の足跡動画が表示される。
領域１５ａ及び領域１５ｂにおいて、横方向は世界座標系のｘ軸方向に対応し、縦方向は世界座標系のｚ軸方向に対応する。つまり、領域１５ａ及び領域１５ｂは、人物が歩行する床面を上から見た図に対応する。また、領域１５ａにおいて、白抜きの丸印は、人物の右足の着地位置（座標）に対応し、黒抜きの丸印は、人物の左足の着地位置（座標）に対応し、丸印内の数字は、何歩目の着地位置であるかを示す。この足跡動画は、例えば、表示制御部１４３によって生成される。
ここで、表示制御部１４３が足跡動画を生成する処理を説明する。例えば、表示制御部１４３は、特定部１４２によって特定された着地タイミングを用いて、足跡動画を生成する。具体的には、表示制御部１４３は、特定部１４２によって特定された両足の着地タイミングに対応する各フレームから、着地した足の足根（関節３ｐ又は関節３ｔ）の座標をそれぞれ取得する。そして、表示制御部１４３は、人物の足の着地タイミングに対応するフレームにおいて、取得したそれぞれの足根のｘｚ座標を床面に表示する動画を生成する。図１５に示す例では、表示制御部１４３は、右足の一歩目の着地タイミングで白抜き丸印「１」を表示し、左足の一歩目の着地タイミングで黒抜き丸印「２」を表示し、右足の二歩目の着地タイミングで白抜き丸印「３」を表示し、左足の二歩目の着地タイミングで黒抜き丸印「４」を表示し、右足の三歩目の着地タイミングで白抜き丸印「５」を表示し、左足の三歩目の着地タイミングで黒抜き丸印「６」を表示する動画を生成する。このように、表示制御部１４３は、領域１５ａ及び領域１５ｂにそれぞれ表示される足跡動画を生成する。
図１５に示すように、表示制御部１４３は、特定部１４２によって特定された着地タイミングに対応するフレームを用いて、領域１５ａ及び領域１５ｂにそれぞれ表示される足跡動画の表示制御を行う。例えば、歩くスピードを比較する場合には、表示制御部１４３は、領域１５ａ及び領域１５ｂに表示される右足の一歩目の着地タイミングが一致するように、これら２つの足跡動画を同時に再生する。このように、医用画像表示装置１００は、複数の足跡動画を再生制御することができる。
（その他の動画の同期再生（グラフ動画の場合））
また、例えば、医用画像表示装置１００は、動作情報に基づくその他の動画として、グラフ動画を同期再生しても良い。このグラフ動画は、対象部位の位置の動きに関する情報を表したグラフであり、例えば、人物の動作に伴って変化する所定の値を表すグラフを経過時間に合わせてプロットする動画である。言い換えると、グラフ動画は、あるグラフを描画するかのようにグラフを表示する動画である。なお、この所定の値としては、フレームごとの歩行速度やフレームごとの膝関節の角度等、骨格情報から算出可能な値が操作者の任意によって選択される。
図１６は、グラフ動画の同期再生について説明するための図である。図１６には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、図７に例示した表示画面７ａと比較して、領域７ｃに代えて領域１６ａを含む点と、領域７ｅに代えて領域１６ｂを含む点とが相違する。この領域１６ａには、領域７ｂに動画表示される健常者の歩行速度を表示するグラフ動画が表示され、領域１５ｂには、領域７ｄに動画表示される対象者の歩行速度を表示するグラフ動画が表示される。
領域１６ａ及び領域１６ｂにおいて、横方向は時間に対応し、縦方向はＶｅｌｏｃｉｔｙ（歩行速度）に対応する。この足跡動画は、例えば、表示制御部１４３によって生成される。具体的には、表示制御部１４３は、フレームごとに、領域７ｂ及び領域７ｄに表示される各人物の腰（関節３ｃ）の単位時間当たりの移動距離を、歩行速度として算出する。そして、表示制御部１４３は、算出したフレームごとの歩行速度を時間経過とともにプロットするグラフ動画を生成する。
図１６に示すように、表示制御部１４３は、特定部１４２によって特定された着地タイミングに対応するフレームを用いて、領域１６ａ及び領域１６ｂにそれぞれ表示されるグラフ動画の表示制御を行う。例えば、歩くスピードを比較する場合には、表示制御部１４３は、領域１６ａ及び領域１６ｂに表示される右足の一歩目の着地タイミングが一致するように、これら２つの足跡動画を同時に再生する。このように、医用画像表示装置１００は、複数のグラフ動画を再生制御することができる。なお、医用画像表示装置１００が再生制御するグラフ動画は上記の例に限定されるものではない。例えば、医用画像表示装置１００は、骨格情報から算出可能な値を縦軸とする任意のグラフを再生制御しても良い。具体的には、医用画像表示装置１００は、図１０に例示したグラフ１０ｈ及びグラフ１０ｉを再生制御しても良い。
なお、図１６の例では、横方向を時間とし、縦方向を速度としたが、実施形態はこれに限定されるものではない。例えば、横方向を時間とした場合、縦方向を位置（座標）としても良いし、加速度としても良い。すなわち、実施形態は、動作情報から算出可能な任意のパラメータを表すグラフに適用されて良い。
（その他の動画の同期再生（強調表示を伴う動画の場合））
また、例えば、医用画像表示装置１００は、図７に示した表示画面７ａの強調表示を伴う動画を同期再生しても良い。一例としては、表示制御部１４３は、更に、動作情報に基づく動画のうち、再生制御に関する情報を表示する。
図１７は、強調表示を伴う動画の同期再生について説明するための図である。図１７には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、図７に例示した表示画面７ａと比較して、領域７ｂ及び領域７ｄ各々に、関節３ｐ及び関節３ｔを含む点と、同期（再生制御）に用いたフレームに対応するタイミングを表す矢印とを含む点とが相違する。
例えば、表示制御部１４３は、領域７ｂ及び領域７ｄ各々に、歩行訓練の際に注目部位となる関節３ｐ及び関節３ｔを示す点を強調表示する。また、例えば、表示制御部１４３は、グラフ７ｃ及びグラフ７ｅに、同期に用いたフレームであるｔａ２、ｔａ４、ｔａ６、ｔｂ２、ｔｂ４及びｔｂ６のタイミングを指し示す矢印（図中の「同期」と記載した矢印）を強調表示する。
図１７に示すように、表示制御部１４３は、特定部１４２によって特定された着地タイミングに対応するフレームを用いて、強調表示を伴う動画の表示制御を行う。なお、表示制御部１４３は、例えば、特定部１４２によって特定されたフレームに対応するタイミングを表すための特徴的な表示を行っても良い。
（サービス提供装置への適用）
また、例えば、上述した第１及び第２の実施形態では、医用画像表示装置１００が比較表示を行う場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行されても良い。
図１８は、サービス提供装置に適用される場合の一例を説明するための図である。図１８に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０がそれぞれ接続される。また、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。また、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。
例えば、サービス提供装置２００は、図５において説明した医用画像表示装置１００と同様の機能を有し、当該機能を端末装置３００にサービスとして提供する。この場合、端末装置３００は、医療機関、自宅又は職場においてリハビリが行われ、動作情報収集部１０によって収集された動作情報及び動画情報を、サービス提供装置２００にアップロードする。サービス提供装置２００は、端末装置３００によってアップロードされた動作情報及び動画情報を保管する。
ここで、サービス提供装置２００は、取得部１４１と、特定部１４２と、表示制御部１４３とそれぞれ同様の機能部を有する。そして、取得部１４１と同様の機能部は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。そして、特定部１４２と同様の機能部は、動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する。そして、表示制御部１４３と同様の機能部は、所定の動作のタイミングに対応するフレームを用いて、複数の動画情報の表示制御を行う。
具体例を挙げると、操作者は、端末装置３００を用いて表示対象となる複数の動画情報を指定する。端末装置３００は、指定された複数の動画情報を示す情報を、サービス提供装置２００へ送信する。サービス提供装置２００は、上記の機能によって、指定された複数の動画情報を比較表示するための表示画像を生成し、これを端末装置３００へ送信する。これにより、操作者は、指定した複数の動画情報を比較表示する表示画像を端末装置３００において閲覧することができる。
なお、サービス提供装置２００は、動作情報及び動画情報を保管するサービスのみを行う構成であっても良い。この場合、端末装置３００は、図５において説明した医用画像表示装置１００と同様の機能を有する。そして、端末装置３００は、表示対象となる動画情報及び動作情報をサービス提供装置２００から適宜ダウンロードし、取得部１４１、特定部１４２及び表示制御部１４３とそれぞれ同様の機能によって、上述した表示制御を行う。
（その他の実施形態）
また、上述した実施形態における医用画像表示装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。
例えば、上記の実施形態では、歩行訓練又は関節可動域訓練に適用する場合を説明したが、実施形態はこれに限定されるものではなく、例えば、運動療法の筋肉増強訓練、物理療法、電気療法等にも適用することができる。
また、例えば、上述した実施形態における医用画像表示装置１００の構成は、医用情報システム内のどの装置が有していても良い。例えば、医用情報処理装置２０が医用画像表示装置１００の構成を有していても良い。
また、例えば、上述した実施形態では、動画情報に含まれる被写体のサイズを一致させる場合を説明したが、実施形態はこれに限定されるものではなく、被写体のサイズを一致させるための処理は実行されなくても良い。
また、例えば、上述した実施形態では、動画情報又は動作情報を表示する場合を説明したが、実施形態はこれに限定されるものではない。すなわち、動画情報又は動作情報を表示する処理は、実行されなくても良い。例えば、医用画像表示装置１００は、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定し、特定したフレームを示す情報を動画情報に更に付帯させても良いし、特定したフレームを示す情報を上述したグラフ等に表示しても良い。特定したフレームを示す情報を動画情報に更に付帯させる場合、例えば、医用画像表示装置１００とは異なる別の装置が、この動画情報と付帯情報とを取得し、付帯情報に従って、上述した実施形態のような表示制御を行っても良い。
また、例えば、上述した実施形態では、医用画像保管装置４０に保管された動画情報を比較表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用画像表示装置１００は、医用情報処理装置２０から略リアルタイムで取得される動画情報と、医用画像保管装置４０に保管された動画情報とを比較表示しても良い。これによれば、例えば、医用画像表示装置１００は、対象者のリハビリを動画撮影しつつ、当該対象者について過去に保管された動画情報と動作のタイミングを同期させて比較表示することができる。
また、上述した実施形態において説明した取得部１４１、特定部１４２及び表示制御部１４３の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４１、特定部１４２及び表示制御部１４３の機能は、上記の実施形態において取得部１４１、特定部１４２及び表示制御部１４３が行うものとして説明した処理の手順を規定した医用画像表示プログラムをコンピュータに実行させることで、実現される。この医用画像表示プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ（Micro-Processing Unit）等のプロセッサによって読み出されて実行される。また、この医用画像表示プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上説明した少なくともひとつの実施形態によれば、本実施形態の医用画像表示装置及びプログラムは、リハビリテーションの様子が撮影された動画を適切に表示することができる。
１０ 動作情報収集部
１００ 医用画像表示装置
１４０ 制御部
１４１ 取得部
１４２ 特定部
１４３ 表示制御部

Claims (14)

  1. 複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する取得部と、
    リハビリテーションの種類及びリハビリテーションの目的のうち少なくとも一方と、前記動作情報とに基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定する特定部と、
    前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う表示制御部と
    を備えたことを特徴とする医用画像表示装置。
  2. 複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する取得部と、
    前記動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定するとともに、各動画情報に含まれる前記被写体のサイズそれぞれを特定する特定部と、
    前記所定の動作のタイミングに対応するフレーム及び前記被写体のサイズそれぞれを用いて、動画情報間で各被写体のサイズが略一致するように、前記複数の動画情報の表示制御を行う表示制御部と
    を備えたことを特徴とする医用画像表示装置。
  3. 複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する取得部と、
    前記動作情報に基づいて、各動画情報について所定の動作のタイミングに対応するフレームを少なくとも２つ特定する特定部と、
    特定された少なくとも２つのフレームの間にあるフレームを、前記所定の動作のタイミングが略一致するように、並列表示又は重畳表示の表示制御を行う表示制御部と
    を備えたことを特徴とする医用画像表示装置。
  4. 前記特定部は、リハビリテーションの種類、及び、リハビリテーションの目的のうち、少なくとも一方に応じて、前記所定の動作のタイミングに対応するフレームを特定することを特徴とする請求項２又は３に記載の医用画像表示装置。
  5. 前記特定部は、更に、各動画情報に含まれる被写体のサイズそれぞれを特定し、
    前記表示制御部は、前記被写体のサイズそれぞれを用いて、動画情報間で各被写体のサイズが略一致するように、表示制御を行うことを特徴とする請求項１又は３に記載の医用画像表示装置。
  6. 前記取得部は、前記動作情報として、前記被写体内の特徴点の座標を取得し、
    前記特定部は、前記座標に基づいて、前記所定の動作のタイミングに対応するフレームを特定することを特徴とする請求項１〜５のいずれかひとつに記載の医用画像表示装置。
  7. 前記表示制御部は、動画情報それぞれから特定されたフレームを用いて、動画情報間で再生のタイミングが略一致するように、並列表示又は重畳表示の表示制御を行うことを特徴とする請求項１〜６のいずれかひとつに記載の医用画像表示装置。
  8. 前記表示制御部は、動画情報間で各被写体の向きが略一致するように、少なくとも一方の動画情報を平行移動及び／又は回転の上、表示制御を行うことを特徴とする請求項１〜７のいずれかひとつに記載の医用画像表示装置。
  9. 前記表示制御部は、前記動画情報の表示制御を行う際に、各動画情報に含まれる被写体の骨格情報を表示することを特徴とする請求項１〜８のいずれかひとつに記載の医用画像表示装置。
  10. 前記表示制御部は、更に、前記動作情報に基づく、対象部位の位置の動きに関する情報を表したグラフを表示することを特徴とする請求項１〜９のいずれかひとつに記載の医用画像表示装置。
  11. 前記表示制御部は、更に、前記動作情報に基づく動画のうち、再生制御に関する情報を表示することを特徴とする請求項１０に記載の医用画像表示装置。
  12. 複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれとを取得する取得手順と、
    リハビリテーションの種類及びリハビリテーションの目的のうち少なくとも一方と、前記動作情報とに基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する特定手順と、
    前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う表示制御手順と
    をコンピュータに実行させるための医用画像表示プログラム。
  13. 複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する取得手順と、
    前記動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定するとともに、各動画情報に含まれる前記被写体のサイズそれぞれを特定する特定手順と、
    前記所定の動作のタイミングに対応するフレーム及び前記被写体のサイズそれぞれを用いて、動画情報間で各被写体のサイズが略一致するように、前記複数の動画情報の表示制御を行う表示制御手順と
    をコンピュータに実行させるための医用画像表示プログラム。
  14. 複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する取得手順と、
    前記動作情報に基づいて、各動画情報について所定の動作のタイミングに対応するフレームを少なくとも２つ特定する特定手順と、
    前記少なくとも２つのフレームの間にあるフレームを、再生スピードが略一致するように、並列表示又は重畳表示の表示制御を行う表示制御手順と
    をコンピュータに実行させるための医用画像表示プログラム。
JP2013008605A 2013-01-21 2013-01-21 医用画像表示装置及びプログラム Active JP6188332B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013008605A JP6188332B2 (ja) 2013-01-21 2013-01-21 医用画像表示装置及びプログラム
PCT/JP2014/051140 WO2014112645A1 (ja) 2013-01-21 2014-01-21 動作情報表示装置及びプログラム
US14/803,180 US10170155B2 (en) 2013-01-21 2015-07-20 Motion information display apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013008605A JP6188332B2 (ja) 2013-01-21 2013-01-21 医用画像表示装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014138661A JP2014138661A (ja) 2014-07-31
JP6188332B2 true JP6188332B2 (ja) 2017-08-30

Family

ID=51209730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013008605A Active JP6188332B2 (ja) 2013-01-21 2013-01-21 医用画像表示装置及びプログラム

Country Status (3)

Country Link
US (1) US10170155B2 (ja)
JP (1) JP6188332B2 (ja)
WO (1) WO2014112645A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311584B1 (ko) * 2015-02-27 2021-10-13 큐렉소 주식회사 사용자 정보 인식 기반의 비상 정지 기능을 갖는 보행 재활 장치
US11684260B2 (en) 2015-03-23 2023-06-27 Tracpatch Health, Inc. System and methods with user interfaces for monitoring physical therapy and rehabilitation
US20180153445A1 (en) * 2015-06-26 2018-06-07 Nec Solution Innovators, Ltd. Measurement device and measurement method
WO2016208290A1 (ja) * 2015-06-26 2016-12-29 Ｎｅｃソリューションイノベータ株式会社 測定装置及び測定方法
JP6534893B2 (ja) * 2015-08-07 2019-06-26 株式会社エクサウィザーズ 情報処理装置
KR102034021B1 (ko) * 2015-08-10 2019-10-18 한국전자통신연구원 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
CN106650217B (zh) * 2015-10-29 2020-06-30 佳能市场营销日本株式会社 信息处理装置以及信息处理方法
JP6447609B2 (ja) * 2015-10-29 2019-01-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP6803111B2 (ja) * 2015-10-29 2020-12-23 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP6521093B2 (ja) * 2015-11-19 2019-05-29 パナソニックＩｐマネジメント株式会社 歩行動作表示システム及びプログラム
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技（深圳）有限公司 定位方法、定位系统及终端设备
EP3576614A4 (en) * 2017-02-01 2020-09-02 Consensus Orthopedics, Inc. SYSTEM AND PROCEDURES WITH USER INTERFACES FOR MONITORING PHYSIOTHERAPY AND REHABILITATION
JP6932946B2 (ja) * 2017-02-28 2021-09-08 株式会社ニコン 検出システム、検出方法、及び検出プログラム
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
US10607365B2 (en) 2017-11-08 2020-03-31 International Business Machines Corporation Presenting an image indicating a position for a person in a location the person is waiting to enter
CN111629658B (zh) * 2017-12-22 2023-09-15 瑞思迈传感器技术有限公司 用于运动感测的设备、系统和方法
KR102649497B1 (ko) 2017-12-22 2024-03-20 레스메드 센서 테크놀로지스 리미티드 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법
CN108537111A (zh) * 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
JP7124364B2 (ja) * 2018-03-16 2022-08-24 株式会社リコー 動作評価支援システム、動画評価支援装置、動作評価支援方法及びプログラム
US20200335222A1 (en) * 2019-04-19 2020-10-22 Zimmer Us, Inc. Movement feedback for orthopedic patient
JP7474568B2 (ja) 2019-05-08 2024-04-25 キヤノンメディカルシステムズ株式会社 医用情報表示装置、及び医用情報表示システム
WO2021014530A1 (en) * 2019-07-22 2021-01-28 Nec Corporation Pose identifying apparatus, pose identifying method, and non-transitory computer readable medium
CN111437583B (zh) * 2020-04-10 2021-06-29 哈尔滨工业大学 一种基于Kinect的羽毛球基本动作辅助训练系统
JP7418382B2 (ja) 2021-09-30 2024-01-19 カシオ計算機株式会社 表示方法、表示装置及びプログラム
WO2023157500A1 (ja) * 2022-02-18 2023-08-24 パナソニックＩｐマネジメント株式会社 動画編集方法、動画編集装置、及び、表示システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565936B2 (ja) * 1995-02-08 2004-09-15 富士通株式会社 運動支援システム及び運動支援方法
JP3387284B2 (ja) 1995-08-21 2003-03-17 松下電器産業株式会社 リハビリテーション支援装置
JP2000138927A (ja) * 1998-11-02 2000-05-16 Hitachi Plant Eng & Constr Co Ltd 画像比較表示装置
CN100349188C (zh) * 1999-11-24 2007-11-14 伊摩信科技有限公司 以时空同步整合视频序列的方法及系统
WO2006081395A2 (en) * 2005-01-26 2006-08-03 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
JP4687265B2 (ja) * 2005-06-14 2011-05-25 富士ゼロックス株式会社 画像分析装置
DE102009002747A1 (de) * 2009-04-30 2010-11-04 Robert Bosch Gmbh Verfahren und Einrichtung zum Bewerten einer Bewegung eines Patienten
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines

Also Published As

Publication number Publication date
WO2014112645A1 (ja) 2014-07-24
US20150325270A1 (en) 2015-11-12
US10170155B2 (en) 2019-01-01
JP2014138661A (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
JP6188332B2 (ja) 医用画像表示装置及びプログラム
JP6675462B2 (ja) 動作情報処理装置
JP6381918B2 (ja) 動作情報処理装置
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6181373B2 (ja) 医用情報処理装置及びプログラム
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
JP6351978B2 (ja) 動作情報処理装置及びプログラム
Parajuli et al. Senior health monitoring using Kinect
US11850026B2 (en) Remote portable vital signs monitoring
JP6930995B2 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
Mangal et al. Kinect V2 tracked body joint smoothing for kinematic analysis in musculoskeletal disorders
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
KR20200087027A (ko) 근골격계 진단을 위한 동작 획득 방법 및 장치
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
Sanmartín et al. Motion capture for clinical purposes, an approach using primesense sensors
JP7169213B2 (ja) 身体健康状態映像分析装置、方法並びにシステム
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
Jawaid et al. Advancements in medical imaging through Kinect: A review
KR20150061549A (ko) 하이브리드 카메라 기반 동작 추적 장치 및 그 방법
Zhang Evaluation of Motion Standard Based on Kinect Human Bone and Joint Data Acquisition
Eustace Development of a Clinical Marker-less Motion Capture System for Patient Monitoring
Bernal-Torres et al. Development of a new low-cost computer vision system for human gait analysis: A case study
Brownridge et al. Measurement of human motion in performance
Regazzoni et al. Depth Sensors along the Design and Validation of Lower Limb Prosthesis

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151127

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170801

R150 Certificate of patent or registration of utility model

Ref document number: 6188332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350