JP6930995B2 - 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム - Google Patents

Description

本発明は、被検者の人体を時系列で撮影して被検者の動作状態を確認することができるリアルタイム立体画像を生成する立体画像生成システムに関する。

従来から、対象物（人・物）を撮影し、例えば、３Ｄプリンタ用のデータや衣服用採寸データといった立体画像データ化することが可能となっている。

また、被検者の人体（全体又は一部）を撮影して、患者の関節可動域を自動で測定することによってリハビリテーション（以下、単に「リハビリ」とも称する）を支援するための画像生成システムも提案されている（例えば、特許文献１参照）。

特開２０１５−０８９４１２号公報

しかしながら、上述した立体画像生成システムでは、被検者の体格を判断することができないため、動作を有する現実的な画像を生成することが困難で、例えば、上述した患者の関節可動域を自動で測定するためには、複数の位置センサを人体に貼り付け、各位置センサの動きを特定する必要があり、患者への負担が大きかった。

一方、特許文献１に開示の技術は、被検者の正面又は側面における関節位置を判断して可動域を測定するものであり、被検者の立体的な体格を判断するものではないため、奥行き方向を含む立体的な可動域を対象とすることまで対応することができなかった。

一般に、リハビリテーションにおける関節可動領域は、対象とする関節を基準とする曲げ伸ばしや回転というように奥行き方向を含むことから、少なくとも時系列で変化する可動域の時系列の変化を画像によって表示するともに回復率等の算出ができれば、医師等による診断を効率的に行うことができるようになる。

本発明は、上述のような課題を解決するために、位置センサを用いることなく撮影した被検者の人体画像から立体画像を生成するとともに、被検者の特定や被検者の体格を容易に判定することができる立体画像生成システムを提供することを目的とする。

本発明に係る立体画像生成システムは、上記目的を達成のため、撮影装置によって撮影した被検者を含む画像の画像データを受信する受信部と、受信部で受信した画像データに基づく画像を表示装置の表示画面に表示させる画像処理部と、受信部で受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を表示画面に表示させるための立体表示データに変換する画像変換部と、立体表示データに基づいて被検者の特定及び被検者の体格の判定の少なくとも一方を実行する判定部と、を備え、画像変換部は、判定部の判定結果に応じて表示画面における被検者の表示状態を異ならせるように立体表示データを変換する、ものである。

本発明によれば、位置センサを用いることなく撮影した被検者の人体画像から立体画像を生成するとともに、被検者の特定や被検者の体格を容易に判定することができる。

（Ａ）は立体画像生成システムの概念図、（Ｂ）は立体画像生成システムのブロック回路図である。 人体（被検者）に対する関節位置としてのノードマークと関節間の骨としてのリンクマークとを示す説明図である。 動作記録モードの場合の表示画面における表示例の説明図である。 関節角度記録モードの場合の表示画面における表示例の説明図である。 記録後計測モードの場合の表示画面における表示例の説明図である。 トラッキングモードの場合の初期表示画面における表示例の説明図である。 トラッキングモードの場合の軌跡表示画面における表示例の説明図である。 未変換画像表示エリアの点群立体表示の一例の説明図である。 未変換画像表示エリアの点群立体表示の他例の説明図である。 立体画像生成システムの表示ルーチンのフロー図である。 （Ａ）は立体画像生成システムの利用例の説明図、（Ｂ）は足首とつま先とにおけるノードとリンクとの関係を示す説明図である。

次に、本発明に係る一実施の形態について図面を参照して説明する。

図１（Ａ）に示すように、立体画像生成システム１は、被検者を撮影するための撮影装置２と、汎用のコンピュータ３と、を用いる。なお、汎用のコンピュータ３は、図に示したように、コンピュータ本体４、表示装置（モニタ）５、入力操作のための入力装置としてキーボード６やマウス７を備えたデスクトップ型のコンピュータでもよいし、撮影装置２を含むこれらを機能的に一体に備えたノートブック型のコンピュータ、或は、タブレット端末など、撮影装置２で撮影した画像データを取り込むことができるものであれば特に限定されるものではない。また、撮影装置２の設置台数は１台に限定されるものではない。

図１（Ｂ）に示すように、コンピュータ本体４は、オペレーティングシステム（ＯＳ）や各種のアプリケーション等のプログラムをインストールした、大容量記憶装置（ＨＤＤ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等の各種の記憶媒体を用いた記憶部としての記憶回路部４１と、記憶回路部４１に記憶したプログラムを実行する制御部としてのマイクロプロセッサ（ＣＰＵ）等の制御回路部４２と、を備えるコンピュータである。

コンピュータ本体４は、撮影装置２で撮影した被検者を含む画像の画像データを受信する受信部としての受信回路部４３を有する。なお、ここでの被検者を含む画像とは、撮影装置２の画角に応じて撮影される背景等を含むことを意味する。

さらに、コンピュータ本体４は、受信回路部４３に加え、受信回路部４３で受信した画像データに基づく画像を、出力回路部４４を経由して表示装置５の表示画面５１に表示させる画像処理部としての画像処理回路部４５と、受信回路部４３で受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を表示画面５１に表示させるための立体表示データに変換する画像変換部としての画像変換回路部４６と、立体表示データに基づいて被検者の特定及び被検者の体格の判定の少なくとも一方を実行する判定部としての判定回路部４７と、を備え、画像変換回路部４６は、判定回路部４７の判定結果に応じて表示画面５１における被検者の表示状態を異ならせるように立体表示データを変換するものである。なお、「立体表示」とは、略平面である２次元（以下、「２Ｄ」とも称する）の画面上において、視覚上において立体的（以下、「３次元」又は「３Ｄ」とも称する）に見えるように画像処理することによって表示されている状態を意味する。

この際、図１（Ａ）に示すように、画像処理回路部４５は、表示画面５１に割り当てた未変換画像表示エリア５１Ａに画像データに基づくリアルタイムの画像を表示させ、画像変換回路部４６は、表示画面５１に割り当てた変換画像表示エリア５１Ｂに立体表示データに基づく立体画像を表示させる。これにより、現在の撮影装置２で撮影したそのままの画像、すなわち、肉眼視と同様のリアルタイム画像と、変換した立体画像とを容易に比較・確認することができる。

したがって、画像処理回路部４５と画像変換回路部４６とは、未変換画像表示エリア５１Ａに表示する画像及び変換画像表示エリア５１Ｂに表示する画像における、同一時刻に受信回路部４３で受信した画像データに対して、被検者Ｐを同一サイズで表示するのが好ましい。これにより、より確実にリアルタイム画像と立体画像とを比較・確認することができる。なお、リアルタイムとは、時刻上におけるリアルタイムに限定されず、撮影した動画、すなわち、静止画ではない動きのある人物の時系列で変化する動作に対する場合を含む。換言すれば、リアルタイムとは、動画上における被検者の動作を時系列で連続して識別する動作そのものを対象とする場合を含む。

また、受信回路部４３は、撮影装置２で撮影した被検者を含む画像の画像データを時系列（連続・間欠）で受信するとともに、受信した時系列ごとの画像データを記憶回路部４１に記憶させ、判定回路部４７は、その記憶回路部４１に記憶した時系列の前後の画像データに対して、被検者の少なくとも人体の一部が変化する動作を含むか否かを判定し、画像変換回路部４６は、判定回路部４７が被検者の動作を含むと判定した場合には、被検者の動作に応じて表示装置５における被検者の表示状態を異ならせる（変化させる）ように立体表示データを変換する、ことも可能である。この際の、時系列とは、ビデオ撮影のように動画の連続撮影、或は、カメラシャッタ機能を用いた静止画の連射撮影、のいずれでもよい。これにより、例えば、被検者のリハビリテーションにおける負傷（故障）個所の関節可動域（可動領域）を連続的又は間欠的に撮影することが可能となり、その関節可動域を利用して回復率等を算出すれば、医師等による診断を効率的に行うことができるようになる。

したがって、コンピュータ本体４は、このようなリハビリテーションにおける関節可動域を算出する場合には、図２に示すように、自動検出若しくは手動指定した、被検者Ｐの関節位置に対応するノードマーク（例えば、図示●で示すマーク）と、被検者Ｐの隣接する関節間及び被検者Ｐの関節から身体端部（例えば、手や足の先指、頭先）に延びるリンクマーク（例えば、図示実線の線分）と、を表示画面５１に表示した被検者Ｐの画像と対応（関節部位を一致）させて重畳表示させる画像合成部としての画像合成回路部４８を有している。なお、以下の説明において、ノードマークとリンクマークとは、単に、「ノード」又は「リンク」とも称する場合がある。

なお、図２に示した例では、被検者Ｐの額付近（頭の位置の特定）、首、首の根本（両肩の中心）、両肩、両肘、両手首、手と指の間、手指先、体本体の中心、仙骨中心付近、股関節、両膝、両足首、足先端、をノードマーク対象位置とし、各ノードマーク間がリンクマークで結ばれている。なお、以下の説明においては、このノードマークとリンクマークとを含めた画像の全体を「ボーン画像」とも称する場合がある。また、ボーン画像は立体画像の表示（以下、「３Ｄボーン画像」とも称する）が可能となっている。

画像合成回路部４８は、このようなボーン画像を未変換画像表示エリア５１Ａ及び変換画像表示エリア５１Ｂに選択的に表示した被検者Ｐの画像に重畳して合成表示することができる。したがって、判定回路部４７は、作業内容の設定・選択・変更等を判定し、その判定結果に応じて表示画面５１の変換画像表示エリア５１Ｂにおける被検者Ｐの表示状態を、立体画像のみの場合と、立体画像にボーン画像を重畳した画像の場合、３Ｄボーン画像のみの場合、表示状態を異ならせるように画像変換回路部４６に対して立体表示データを変換させる。

この際、３Ｄボーン画像の画像データは、画像合成回路部４８が生成する。したがって、画像合成回路部４８は、判定結果に応じて表示画面５１における被検者Ｐの表示状態を異ならせるように立体表示データを変換する画像変換回路部４６の機能の一部を担っている。また、画像変換回路部４６と画像合成回路部４８とは、被検者Ｐの立体画像と３Ｄボーン画像とを、多方位から視認しているかのように回転させた回転画像となるように表示状態を異ならせた立体表示データに変換する機能を有している。

これにより、判定回路部４７は、記憶回路部４１に記憶した時系列の前後の画像データにおいて、ノードマーク及びリンクマークに対応した被検者Ｐの少なくとも人体の一部が移動しているか否かを判定するとともに、少なくとも人体の一部が移動していると判定した場合には、該当するノードマーク若しくはリンクマークを追従させつつ移動軌跡を示す移動軌跡マークを表示するよう、画像合成回路部４８に移動軌跡情報を出力するのが望ましい。これにより、時系列で変化する関節可動域を容易に肉眼で確認することが可能となる。なお、ボーン画像（又は３Ｄボーン画像）は、未変換画像表示エリア５１Ａに表示した画像上の被検者Ｐと、変換画像表示エリア５１Ｂに表示した画像上の被検者Ｐと、の何れに対しても重畳表示の有無を切り替え表示させることができる。

したがって、コンピュータ３の記憶回路部４１には、撮影装置２によって撮影した被検者Ｐを含む画像の画像データを受信する受信機能と、受信した画像データに基づく画像を表示装置５の表示画面５１に表示させる画像処理機能と、受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を表示画面５１に表示させるための立体表示データに変換する画像変換機能と、立体表示データに基づいて被検者Ｐの特定及び被検者Ｐの体格の判定の少なくとも一方を実行する判定機能と、を実現させるとともに、判定結果に応じて表示画面５１における被検者Ｐの表示状態を異ならせるように立体表示データを変換する機能を含む立体画像生成プログラムを格納している。

以下、このような撮影装置２で撮影した画像データを用いて表示画面５１に各種表示を可能としたより詳細な表示に関するシステム並びに、リハビリテーションにおける関節可動域の算出に関して説明する。

画像処理回路部４５は、撮影装置２にビデオカメラを用いた場合、撮影装置２の２次元カラー撮像素子（図示せず）で受像した画像データを、受信回路部４３及び制御回路部４２を介して取り込み、その画像データを制御回路部４２に出力する。制御回路部５２は、記憶回路部４１に記憶したアプリケーション（プログラム）にしたがって、表示装置５の表示画面５１に割り当てた未変換画像表示エリア５１Ａに、例えば、図３〜図７に示すように、被検者Ｐを含むリアルタイムの画像（カラー）を表示するよう、画像データを出力回路部４４に出力する。これにより、被検者Ｐを含む画像を表示画面５１の未変換画像表示エリア５１Ａに表示することができる。なお、図３〜図７の詳細な表示状態の説明は後述する。

画像処理回路部４５は、取り込んだ画像データを、制御回路部４２を介して出力回路部４４から表示装置５に出力するのと並行して、記憶回路部４１に記憶させる。したがって、制御回路部５２は、過去又は最新の画像データを記憶回路部４１から呼び出して固定した（例えば、１フレーム分の）画像データに基づいて未変換画像表示エリア５１Ａに固定画像を表示することができる。これにより、例えば、後述する被検者Ｐの関節位置を、マウス７を用いて特定することも可能となる（図５参照）。

画像変換回路部４６は、画像データを、画像処理回路部４５、受信回路部４３を経由して制御回路部４２、記憶回路部４１、のいずれかから画像データを取り込んで、見掛け上の深度の識別が可能な立体画像を表示画面５１に表示させるための立体表示データに変換する（図８及び図９参照）。したがって、「受信回路部で受信した画像データ」とは、画像処理回路部４５で画像処理する画像データと同じ画像データであることを意味し、その画像データを、どこから取得するかは不問である。

画像変換回路部４６による画像変換は、画像データに基づく公知の手法を用いて、例えば、図８又は図９に示すように、表示画面５１の変換画像表示エリア５１Ｂに、少なくともノードマークの識別が容易でかつ奥行き感の識別が可能となるように点群状に表現した立体画像（図８参照）又は被検者Ｐの服装の色などのカラー識別が可能となるように点群状に表現したカラー立体画像（例えば、図９）を表示、する等で表示状態を異ならせるように立体表示データを変換する。したがって、利用者は、点群の濃淡（カラーを含む）によって奥行き方向を認識することが可能となっている。ここで、例えば、被検者Ｐとは異なる人や周辺の物体（例えば、介助者、或は、椅子やドアなど）は、自動認識又は指定によって削除又は疑似（カラー変更を含む）の点群に置き換えて表示状態を異ならせるように立体表示データを変換することも可能である。

ポイントクラウドとは、２次元の画面上において、視覚上において３次元（以下、「３Ｄ」又は「立体」とも称する）に見えるように画像処理した点群（点描）の立体画像データを生成し、その生成した画像データに基づいて立体画像を表示することを意味する。また、本実施の形態において、ポイントクラウドは、例えば、被検者の衣服等を現実の色で表示するカラーの立体画像データを生成し、表示する。さらに、本実施の形態において、ポイントクラウドは、表示画面と直交する奥行き方向の遠近感の相違、特に、被検者とそれ以外の物体（人を含む）との識別が可能となるように、被検者以外の物体を距離に応じた色のカラー立体画像を生成し、表示する。なお、ポイントクラウドによる立体画像の表示は静止画データを対象とする。

なお、画像変換回路部４６による画像変換の公知の具体的な手法としては、画像処理の分野におけるレイヤーやデプスといった手法を用い、重なった画像同士の重なり具合（どれが手前か等）を識別する機能を利用することができる。ちなみに、この手法を利用すると、図８及び図９に示した例では、被検者Ｐの背後に位置するドアの奥側の縁及び手前側の縁を被検者Ｐとは異なる色（例えば、黄色や白）で表現している。これにより、このドアの縁の表示削除といった表示状態を異ならせるように立体表示データを変換することも可能である。また、「見掛け上の」とは、表示画面５１で表示する画像が２次元（２Ｄ）の平面画像であって立体画像表示するものではないため、肉眼による奥行き方向を認識できる程度という意味である。したがって、ホログラム等の立体（３Ｄ）表示が可能な表示装置を用いた場合には、当然に、その３Ｄ表示のための立体画像データを生成することができる。なお、図8に示すように、ノードのみ（或はリンクのみ）の表示も可能である。

このように、画像変換とは、表示画面５１に未変換画像表示エリア５１Ａと変換画像表示エリア５１Ｂとがある場合、元の画像データに基づいて見掛け上の立体画像を表示画面５１の変換画像表示エリア５１Ｂに表示させるための立体表示データを生成することを意味する。すなわち、表示画面５１に未変換画像表示エリア５１Ａがない場合には、表示画面５１の表示状態を、画像データに基づく画像表示状態から、立体表示データに基づく立体画像表示状態へと切り替えることを含む。また、画像変換とは、元の画像データに基づいて、カラー単色の格子状又は点群状の奥行き感のある立体画像を表示画面５１に表示させるための立体表示データを生成することを意味する。

また、画像変換回路部４６による表示状態を異ならせるように立体表示データを変換するとは、奥行き感のある立体画像のための立体表示データを生成することを意味する。具体的には、奥行きに応じた色合いを単色で変化させることを意味する。この際、例えば、所定値以上の明るい色や暗い色は除外することで被検者Ｐを際立させる表示とすることを含ませることができる。また、表示状態を異ならせるように立体表示データを変換するとは、図８及び図９に示した点群状の立体画像表示の切り替えを含ませることができる。

判定回路部４７は、立体表示データに基づいて、被検者Ｐを他の人物と区別しての特定、被検者Ｐの体格の判定、を実行する。例えば、記憶回路部４１には、このような被検者Ｐを撮影した場合における人物格子パターンや人物点群パターンのパターンデータを、例えば、男女別、身長別、体位別（立っている、寝ているなど）等で記憶しており、このパターンデータと立体表示データとを比較することにより、被検者Ｐを特定することができるとともに、被検者Ｐとは異なる人（介助者等）や物（椅子・机・ドア・ベッド等）を除外することができる。また、パターンデータと立体表示データとを比較することにより、被検者Ｐの体格を判定することも可能である。なお、この体格の判定には、被検者Ｐの動作判定や関節位置の特定を含ませることができる。この被検者Ｐの関節位置の特定（自動）に関しては後述する。また、動作判定の場合、被検者Ｐを特定したうえで（特定する前でも可能である）、例えば、時系列の前後の被検者Ｐの画像データ（例えば、ＸＹ方向の画像パターン）に変化がある場合、被検者Ｐが動いている（何らかの動作をしている）と判定することができる。この動作は、被検者Ｐの全体の場合もあれば、一部の場合でも動作の有無を判定することができる。

そして、判定回路部４７は、被検者Ｐが動作をしていると判定した場合には、その時系列で変化する動作に対応した画像データ若しくは立体表示データをパターン解析し、パターン変化を重ね合わせることで動作軌跡データを生成することができる。さらに、判定回路部４７は、関節位置を意味するノードデータと、各ノード間若しくはノードと人体先端部とを結ぶリンクデータとから、ノード位置やリンク位置の変化を特定することにより、関節可動域を特定し、例えば、ノード位置又はリンク先端を基準とする移動軌跡に置き換えて関節可動域を特定することができる。なお、ノードデータとリンクデータとは、マーク画像データ、すなわち、ボーン画像データ（３Ｄボーン画像データ）として処理される。

判定回路部４７は、特定した関節可動域の時系列の変化を、例えば、被検者Ｐのリハビリ工程における可動域情報として記憶回路部４１に記憶することができる。また、移動軌跡に対応するノードマーク若しくはリンクマークを追従させつつ移動軌跡を示す移動軌跡マークを表示するよう、画像合成回路部４８に移動軌跡情報を出力する。

このように、判定とは、被検者Ｐの特定（被検者Ｐであるか否かの判定）を含む被検者Ｐの体格を判定することを意味する。また、判定とは、被検者Ｐの特定と同時に被検者Ｐとは異なる人物を除外（被検者Ｐでないか否かを判定）することを含ませることができる。さらに、判定には、被検者Ｐの動作判定や関節位置特定（関節であるか否かの判定）を含ませることができる。判定には、被検者Ｐにおける時系列の前後の被検者Ｐの画像データ若しくは立体表示データを比較した動作判定を含ませることができる。さらに、判定には、パターン解析による関節可動域の特定（動作点や変曲点等の座標が変化しているか否かの判定）を含ませることができる。

画像合成回路部４８は、図３〜図７に示すように、被検者Ｐの関節位置に対応するノードマークと、被検者Ｐの隣接する関節間及び被検者Ｐの関節から身体端部（手足先・頭先）に延びるリンクマークと、を表示画面５１の未変換画像表示エリア５１Ａに表示した被検者Ｐの画像と対応させて重畳表示させる。なお、ノードマークの形状やリンクマークの線分とは、図２〜図９に示した●や実線に限定されない。

このように、画像合成とは、画像データ若しくは立体表示データに基づく表示画面５１に表示する表示画像に対して合成画像（重畳画像）を表示するための合成画像データを生成することを意味する。具体的には、自動認識又は手動指定によるノードマーク並びにリンクマークを表示することを意味する。また、画像合成とは、リハビリテーションにおける関節可動域としての移動軌跡（図７参照）を表示することを意味する。なお、具体的な移動軌跡に関しては後述する。

次に、このような基本構成において、コンピュータ３が実現する立体画像生成方法に係るメインの処理ルーチンを図１０のフロー図に基づいて説明する。

（ステップＳ１）
ステップＳ１において、制御回路部４２は、撮影装置２から受信回路部４３を経由して画像データを受信したか否かを判定する受信ステップを実行する。制御回路部４２は、画像データを受信したと判定した場合には、ステップＳ２へと移行する。、制御回路部４２は、画像データを受信したと判定しなかった場合には、引き続きこのルーチンを監視する。

（ステップＳ２）
ステップＳ２において、制御回路部４２は、受信した画像データに基づく画像を表示装置５の表示画面５１に表示させる画像処理ステップを画像処理回路部４５に実行させ、ステップＳ３へと移行する。

（ステップＳ３）
ステップＳ３において、制御回路部４２は、受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を表示画面５１に表示させるための立体表示データに変換する画像変換ステップを画像変換回路部４６に実行させ、ステップＳ４へと移行する。

（ステップＳ４）
ステップＳ４において、制御回路部４２は、立体表示データに基づいて被検者Ｐの特定及び被検者Ｐの体格の判定の少なくとも一方を実行する判定ステップを判定回路部４７に実行させ、ステップＳ５へと移行する。

（ステップＳ５）
ステップＳ５において、制御回路部４２は、判定結果に応じて前記表示画面における被検者の表示状態を異ならせるように立体表示データを変換する立体画像表示ステップを画像変換回路部４６に実行させる。

さらに、制御回路部４２は、リハビリテーションにおける関節可動域を識別する場合には、引き続き以下のルーチンを実行する。

（ステップＳ６）
ステップＳ６において、制御回路部４２は、自動又は指定により決定したノードマーク及びリンクマークを表示画面５１に表示するよう画像合成回路部４８に実行させ、ステップＳ７へと移行する。

（ステップＳ７）
ステップＳ７において、制御回路部４２は、記憶回路部４１に記憶した画像データ若しくは立体表示データに基づいて、被検者Ｐが動作したか否かを判定回路部４７に判定させる。判定回路部４７は、動作ありと安定した場合にはステップＳ８へと移行する。判定回路部４７は、動作ありと判定しなかった場合には、このルーチンを終了する。

（ステップＳ８）
ステップＳ８において、制御回路部４２は、判定回路部４７により、動作を解析させるとともに、例えば、移動軌跡表示用の移動軌跡マーク（図示せず）を画像合成回路部４８に生成させ、ステップＳ９へと移行する。

（ステップＳ９）
ステップＳ９において、制御回路部４２は、未変換画像表示エリア５１Ａ若しくは変換画像表示エリア５１Ｂに表示している画像について、被検者Ｐの動作があった部位に対応して、移動軌跡マークを表示するよう、画像合成回路部４８に実行させ、このルーチンを終了する。なお、関節可動域の数値等を算出する場合には、ステップＳ８で判定回路部４７によって算出し、その結果を画像合成回路部４８によって表示画面５１に表示させる。

ところで、被検者Ｐの関節位置に対応するノードは、上述したように、マウス７を利用して未変換画像表示エリア５１Ａに表示した被検者Ｐの画像中の関節位置にマウスポインタを移動させてクリック指定するなどの人為的な指定に加え、自動認識させることも可能である。

判定回路部４７は、被検者Ｐを撮影した画像データに基づいて被検者Ｐの各関節位置を示すノード情報を生成するようになっている。このような自動認識には、具体的には、判定回路部４７は、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＫｉｎｅｃｔ（登録商標）として構成されているものとする。Ｋｉｎｅｃｔ（登録商標）は、いわゆるモーション・キャプチャ機器であり、被検者の動作等を認識することが可能である。

具体的に、Ｋｉｎｅｃｔ（登録商標）は、非接触型カメラで撮影した画像データに基づいて被検者Ｐの動き・姿勢をリアルタイムに認識する非接触型コントローラーとしての機能を有している。非接触型カメラは、距離画像センサとしての機能を有しており、撮影した画像データに基づいて被検者Ｐの姿勢推定のソフトウェアを用いることで、被検者Ｐの姿勢を精度よく認識している。

一例として、被検者Ｐの各部位（各関節）の推定には、画像データをフレーム単位の距離画像として、先に用意してある決定木により各部位のどこに相当するかの識別を行い、所定数の部位に分けた部位ごとにトラッキング制御を実行する。決定木の学習はピクセル毎に処理することが可能である。

次に、フレーム単位で検出した各部位を用いて、運動力学的な拘束と時間的な一貫性が保たれるように３Ｄでの部位の配置（関節結合）を抽出する。なお、この状態では見えていない部分は考慮されていないので完全な骨組み（スケルトン）ではなく、あくまで距離画像から識別できた表面に見えている部位のみ集めた仮説の状態である。また、被検者Ｐを含む複数の人物が画角上に存在している場合、この時点では被検者Ｐの区別はついていない。

そのうえで、上述した関節結合の仮説から、最後に実際の人間の骨組み（スケルトン）の動きを推定する。各仮説から確率的に一番もっともらしい３Ｄ配置を計算し、被検者Ｐごとのスケルトンの推定を確定し、変換画像表示エリア５１Ｂに立体画像を表示することができる。なお、３次元の姿勢推定は上記に限定されるものではない。

そして、このように自動認識若しくは手動指定によって各関節位置が決定すると、隣接する関節間並びに関節から人体の端部に跨るリンクを決定することができ、ノードマークとリンクマークとを未変換画像表示エリア５１Ａに表示した被検者Ｐの画像に重畳した画像表示とすることができる。

次に、図３〜図７に示した各作業モード（作業内容）の一例を説明する。図３に示した作業モードは動作記録モードである。この動作記録モードは、動画撮影をする場合に利用することが可能（撮影しない場合も可能）である。

未変換画像表示エリア５１Ａには、作業モードを示す「動作記録」の文字、その簡易説明、画像データに基づく撮影画像、被検者Ｐの画像に重畳したボーン画像、が表示されている。また、未変換画像表示エリア５１Ａには、作業内容に応じた各種アイコンが表示される。

図３に示した例では、例えば、被検者Ｐが画面を見る場合に表示画像を反転させる鏡像表示アイコン、実際の環境寸法に表示画面５１における表示寸法の尺度を所定の寸法（例えば、１０ｃｍ単位）で合わせた格子状のグリッドを表示させるグリッド表示アイコン、分度器若しくは鉛直方向を基準とする腕の角度などの角度表示をさせる分度器アイコン、ノードマークとして表示される関節以外の場所を特定する際に赤外反射マーク等を付するマーカーアイコン、ボーン画像の表示・非表示を切り替えるボーンアイコン、ポイントクラウド（点群）による立体表示画像の表示・非表示を選択するクラウドアイコン、被検者Ｐに対するプライバシー保護が必要な場合に被検者Ｐの顔が識別不能となるように画像処理するモザイクアイコン、等が表示されている。

一方、変換画像表示エリア５１Ｂには、少なくとも、ボーン画像が表示される。また、変換画像表示エリア５１Ｂには、未変換画像表示エリア５１Ａと同様に、鏡像表示アイコン、グリッド表示アイコン、分度器アイコン、マーカーアイコン、ボーンアイコン、クラウドアイコン、に加えて、過去（例えば、１か月前）に撮影した動画と今回のように撮影時期が異なる立体画像を重ね合わせて画面上で比較することができる画像重畳アイコン、等が表示されている。したがって、未変換画像表示エリア５１Ａと変換画像表示エリア５１Ｂとは、それぞれ表示している画像に対して独立した操作を可能としている。

なお、未変換画像表示エリア５１Ａに表示した被検者Ｐが歩行動作をしていて撮影カメラの遠方から撮影カメラに向かって来る場合、被検者Ｐの画像は接近するにしたがって大きくなる。これに対し、画像合成回路部４８は、ボーン画像の大きさは変化せずに動作のみを変化させる。また、画像合成回路部４８は、ボーン画像を３Ｄボーン画像として表示させ、その向きを変更することができる。

この際、画像変換回路部４６又は画像合成回路部４８は、立体画像又は３Ｄボーン画像を表示するために画像データに基づいて立体画像データ及び３Ｄボーン画像データを変換（生成）している。このため、被検者Ｐが接近してくる際の手足の曲げ伸ばしにおける手足の長さは同じであるにもかかわらず、あたかも手足が短くなるように２次元表示されるが、このような場合においても、立体画像データ及び３Ｄボーン画像データにおいては、その際の角度変化を正確に把握するよう演算処理がなされる。

また、画像合成回路部４８は、３Ｄボーン画像を横向きとした場合、その前方（歩行方向）には３Ｄボーン画像を移動させず、歩行動作に対する動きのみを表示させる。また、変換画像表示エリア５１Ｂに表示しているボーン画像の向きを変えて３Ｄボーン画像を表示した場合には、奥行き方向に対してもグリッド線を表示させることができる。これにより、例えば、３Ｄボーン画像を正面から斜めの向きとした場合に、歩幅等を容易に確認することができる。さらに、ボーン画像は、未変換画像表示エリア５１Ａに表示した被検者Ｐの画像よりも大きく表示している。このように、画像合成回路部４８は、画像変換回路部４６の機能の一部として、表示画面５１における被検者の表示状態を異ならせるように立体表示データを変換することができる。なお、この動作記録モードでは、録画が可能であるため、上記と同様の画像処理を動画上でも再現することができる。

図４に示した作業モードは関節角度記録モードである。この関節角度記録モードは、動画撮影をしたうえで利用することが可能（撮影しながらの場合も可能）である。

未変換画像表示エリア５１Ａには、作業モードを示す「関節角度記録」の文字、その簡易説明、撮影した画像データに基づく撮影画像、被検者Ｐの画像に重畳したボーン画像、が表示されている。また、未変換画像表示エリア５１Ａには、上述した各種アイコン及び撮影した画像データの再生操作の各種ビデオ操作アイコンが表示される。

一方、変換画像表示エリア５１Ｂには、ボーン画像並びに上述した各種アイコンが表示される。この際、ボーン画像は、未変換画像表示エリア５１Ａに表示した被検者Ｐの画像よりも大きく表示している。また、この間接角度記録モードでは、例えば、被検者Ｐが左腕を上げた場合、分度器アイコンの操作を操作すればボーン画像に角度表示画像が表示される。この角度表示画像の画像データは、画像変換回路部４６又は画像合成回路部４８の何れの画像処理でもよい。さらに、この間接角度記録モードでは、未変換画像表示エリア５１Ａ及び変換画像表示エリア５１Ｂに跨るように、数値的に算出した角度を表示する角度表示画面と表示することができる。なお、角度表示のための演算処理機能は後述する。

図５に示した作業モードは記録後計測モードである。この記録後計測モードは、動画撮影をしたうえで利用することが可能（撮影中の静止画に対しても可能）である。

未変換画像表示エリア５１Ａには、作業モードを示す「記録後に計測」の文字、その簡易説明、撮影した画像データに基づく撮影画像、上述した各種アイコン及び撮影した画像データの再生操作の各種ビデオ操作アイコンが表示される。

一方、変換画像表示エリア５１Ｂには、図８又は図９に示したものと同様に、点群による立体画像並びに上述した各種アイコンが表示される。ここで、作業者は、未変換画像表示エリア５１Ａに表示したいる被検者Ｐ（又は変換画像表示エリア５１Ｂに表示している立体画像）に対してマウス等を操作して、例えば、足の開脚度を計測する場合、左右の足先と股関節付近とを指定することにより、開脚度を測定させることができる。この際、分度器アイコンを用いれば、上記と同様に角度表示を行うことも可能である。また、数値的に算出した角度を表示する角度表示画面と表示することができる。なお、角度表示のための演算処理機能は後述する。

図６及び図７に示した作業モードはトラッキングモードである。このトラッキングモードは、動画撮影をしたうえで利用することが可能（撮影と同時でも可能）である。

未変換画像表示エリア５１Ａには、作業モードを示す「トラッキング」の文字、その簡易説明、撮影した画像データに基づく撮影画像、上述した各種アイコン及び撮影した画像データの再生操作の各種ビデオ操作アイコンが表示される。

一方、変換画像表示エリア５１Ｂには、ボーン画像並びに上述した各種アイコンに加えて、初期設定画面である図６の場合においては、作業指定画面が表示される。作業者は、この作業指定画面で「トラッキング」を指定した後に、トラッキング対象（例えば、頭）となる位置のノードマークをマウス等を用いて指定する。指定されたノードマークは、例えば、他のノードマークとで識別が可能となるように、大きさや色が異なる。

この状態から、動画を再生すれば、被検者Ｐの動作に応じて、図７に示すように、ノードマークの移動軌跡（図示２点鎖線）を表示する。また、この状態では、例えば、数倍速の表示や３Ｄボーン画像の回転が可能であるため、移動軌跡を立体的に確認することができる。これにより、例えば、移動軌跡の平均値等を算出することも可能となり、リハビリ等での利用も可能となる。なお、移動軌跡の表示形態は任意である、また、単なる線ではなく、例えば、所定期間ごと（例えば、０．２秒など）のノードマークの位置を表示することができ、移動速度の測定も可能である。

具体的には、左足を捻挫若しくは骨折等をしていた場合、図１１（Ａ）に示すように、被検者Ｐを椅子に座らせ、図１１（Ｂ）に示すように、左足首の関節をノードＮとする。そして、判定回路部４７は、被検者Ｐがつま先を回す際の動画である画像データを記憶回路部４１に記憶させ、その記憶した画像データに基づいて左足首の関節からつま先に延びるリンクＬの先端が、つま先の回転に応じて移動する移動軌跡（例えば、図１０（Ａ）に示す２点鎖線の楕円）として検出する。

このように、判定回路部４７は、記憶回路部４１に記憶した時系列の前後の画像データにおいて、被検者Ｐの少なくとも人体の一部が移動しているか否かを判定し、少なくとも人体の一部が移動していると判定した場合には、移動軌跡を特定するとともに被検者Ｐのリハビリ工程における可動域情報として記憶回路部４１に記憶する。

さらに、判定回路部４７は、記憶回路部４１に記憶した過去の同一の被検者Ｐにおける可動域情報と今回の可動域情報とで可動域が広がっているか否かを比較し、可動域が広がっていると判定した場合には、その結果を表示画面５１に表示するよう画像処理回路部４５又は画像変換回路部４６に判定結果情報を出力する。

これより、判定回路部４７は、記憶回路部４１に予め記憶した平均可動域情報（男女年齢別）或は回復（例えば、リハビリの終了など）したと医師等が判断するために予め設定した目標値を基準として今回の可動域情報の回復度を算出し、その結果を表示画面５１に表示するよう画像処理回路部４５又は画像変換回路部に算出結果情報を出力してもよい。

また、判定回路部４７は、記憶回路部４１に記憶した過去の同一の被検者Ｐにおける可動域情報と今回の可動域情報とで可動域が広がっているか否かを比較し、可動域が広がっていると判定した場合には、その結果を表示画面５１に表示するよう画像処理回路部４５又は画像変換回路部４６に判定結果情報を出力する。なお、判定回路部４７は、記憶回路部４１に予め記憶した平均可動域情報（例えば、関節ごとの男女年齢別、リンクの長さ別など）を基準として今回の可動域情報の回復度を算出し、その結果を表示画面５１に表示するよう画像処理回路部４５又は画像変換回路部４６に算出結果情報を出力することも可能である。なお、この算出結果情報の出力は、画像合成回路部４８で行ってもよいし、制御回路部４２から出力回路部４４に出力して表示画面５１の任意の位置（例えば、各エリア５１Ａ，５１Ｂとは別の表示エリア）に表示させてもよい。

これにより、整形外科等の医師、リハビリテーションをサポートする理学療法士や作業療法士、といった医療従事者は、被検者Ｐの回復度合い等を数値的に容易に認識することができ、例えば、医師による今後の治療方針（リハビリ方針）等の診断に用いることができる。

ところで、制御回路部４２（又は判定回路部４７）は、例えば、体格を判定した結果に基づいて、被検者Ｐのリハビリテーションにおけるガイドラインやコースなどの補助機能を表示画面５１に表示させることも可能である。

例えば、近年、急性期病院では在院日数が短縮傾向にあるため、発症早期から退院先を予測することは、在宅復帰後や転院後に必要なリハビリテーションサービスを検討するうえで重要な事項となっている。脳梗塞症例の在宅復帰の予測について、発症後２週時のＢｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅ（以下、ＢＢＳ）は、カットオフ値が４０点と報告されている。一方で、ＢＢＳは、測定項目が多く時間を要するうえ、被検者の疲労や体調の影響を受けることが指摘されている。そこで、脳血管障害症例を対象としてＢＢＳを７項目３段階評価に簡略化した、Ｓｈｏｒｔ Ｆｏｒｍ ＢＢＳ（以下、ＳＦＢＢＳ）が提唱されてきている。この、ＳＦＢＢＳは、簡易的かつ短時間で評価が可能である。したがって、このような急性期脳血管障害症例において、簡便かつ客観的な指標であるＳＦＢＢＳで退院先が予測できることは、発症早期から退院先を見据えたリハビリテーションプログラムを立案するうえで重要となっている。

そこで、このようなリハビリテーションプログラムを立案する支援として、上述した各ステップを経て得られた情報を利用するようにすることも可能となる。

さらに、リハビリテーションプログラムに沿ったリハビリ内容を表示画面５１又は他のモニタ等に表示させてリハビリテーションを実行させるとともに、その際の被検者Ｐの動作を識別して、関節のゆがみ（ＧＬＡＢ）等の自動計測を行うようにすることも可能である。

さらに、撮影した画像データや立体表示データは、時系列で記憶回路部４１に記憶させることができるので、例えば、後日等により詳細な解析結果を得るための情報として利用すること可能である。

さらに、立体表示データを複数台の撮影装置２からの画像データに基づいて生成することにより、立体表示画像の回転や反転等も可能とした高精度の立体合成画像用の立体表示データを生成することができる。

このように、生成した立体表示データは、単に表示用としてもにいるのではなく、その後のリハビリテーションを実行するためのデータとして汎用性を向上させることが期待できる。

その他、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

以上説明したように、本発明に係る立体画像生成システムは、位置センサを用いることなく撮影した被検者の人体画像から立体画像を生成するとともに、被検者の特定や被検者の体格を容易に判定することができるという効果を有し、被検者の人体を時系列で撮影して被検者の動作状態を確認することができるリアルタイム立体画像を生成する立体画像生成システム全般に有用である。

１ 立体画像生成システム
２ 撮影装置
３ コンピュータ
４ コンピュータ本体
４１ 記憶回路部（記憶部）
４２ 制御回路部（制御部）
４３ 受信回路部（受信部）
４４ 出力回路部
４５ 画像処理回路部（画像処理部）
４６ 画像変換回路部（画像変換部）
４７ 判定回路部（判定部）
４８ 画像合成回路部（画像合成部）
５ 表示装置
５１ 表示画面
５１Ａ 未変換画像表示エリア
５１Ｂ 変換画像表示エリア

Claims (10)

1. 撮影装置によって撮影した被検者を含む画像の画像データを受信する受信部と、
   前記受信部で受信した画像データに基づく画像を表示装置の表示画面に割り当てた未変換画像表示エリアに表示させる画像処理部と、
   前記受信部で受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を前記表示画面に割り当てた変換画像表示エリアに表示させるための立体表示データに変換する画像変換部と、
   前記変換画像表示エリアに表示すべき立体表示データの表示状態に関する判定を実行する判定部と、
   被検者の関節位置に対応するノードマーク、及び、被検者の隣接する関節間及び被検者の関節から身体端部に延びるリンクマーク、に対応したマーク画像データを生成したうえで、前記表示画面に表示した被検者の画像と対応させて重畳表示させる画像合成部と、
   を備え、
   前記画像変換部は、
   前記判定部の判定結果に応じて、前記変換画像表示エリアにおける被検者の表示状態を、前記立体表示データのみと、前記立体表示データと前記ノードマーク及び前記リンクマークとの重畳表示と、前記ノードマーク及び前記リンクマークによるマーク画像データとで切り替えて表示させる、立体画像生成システム。
2. 前記画像変換部は、
   前記未変換画像表示エリアに表示している被検者の画像を対象として、前記変換画像表示エリアに表示する被検者の画像を、同一時刻に前記受信部で受信した前記画像データに基づいて同一サイズで前記変換画像表示エリアに表示させる、
   ことを特徴とする請求項１に記載の立体画像生成システム。
3. 前記受信部は、
   前記撮影装置によって撮影した被検者を含む画像の画像データを時系列で受信し、
   前記判定部は、
   前記受信部で受信した時系列の前後の画像データに対して、被検者の少なくとも人体の一部が変化する動作を含むか否かを判定し、
   前記画像変換部は、
   前記判定部が被検者の動作を含むと判定した場合には、被検者の動作に応じて前記表示画面における被検者の表示状態を異ならせるように立体表示データを変換する、
   ことを特徴とする請求項１又は請求項２に記載の立体画像生成システム。
4. 前記判定部は、
   前記時系列の前後の画像データにおいて、前記ノードマーク及び前記リンクマークに対応した被検者の少なくとも人体の一部が移動しているか否かを判定するとともに、少なくとも人体の一部が移動していると判定した場合には、該当する前記ノードマーク若しくは前記リンクマークを追従させつつ移動軌跡を示す移動軌跡マークを表示するよう、前記画像合成部に移動軌跡情報を出力する、
   ことを特徴とする請求項３に記載の立体画像生成システム。
5. 前記画像合成部は、
   前記表示画面に表示された、被検者の前記立体表示データ、前記マーク画像データ、前記立体表示データと前記前記ノードマーク及び前記リンクマークとの重畳表示、及び、前記移動軌跡マークを回転させて、前記被検者を異なる方位から視認可能な回転画像を表示させる、
   ことを特徴とする請求項４に記載の立体画像生成システム。
6. 前記判定部は、
   前記時系列の前後の画像データにおいて、被検者の少なくとも人体の一部が移動しているか否かを判定し、少なくとも人体の一部が移動していると判定した場合には、移動軌跡を特定するとともに被検者のリハビリ工程における可動域情報として所定の記憶部に記憶する、
   ことを特徴とする請求項３または請求項４に記載の立体画像生成システム。
7. 前記判定部は、
   前記記憶部に記憶した過去の同一の被検者における前記可動域情報と今回の前記可動域情報とで可動域が広がっているか否かを比較し、可動域が広がっていると判定した場合には、その結果を前記表示画面に表示するよう前記画像処理部又は前記画像変換部に判定結果情報を出力する、
   ことを特徴とする請求項６に記載の立体画像生成システム。
8. 前記判定部は、
   前記記憶部に予め記憶した平均可動域情報若しくは目標値を基準として今回の前記可動域情報の回復度を算出し、その結果を前記表示画面に表示するよう前記画像処理部又は前記画像変換部に算出結果情報を出力する、
   ことを特徴とする請求項６に記載の立体画像生成システム。
9. 撮影装置によって撮影した被検者を含む画像の画像データを受信する受信ステップと、
   受信した画像データに基づく画像を表示装置の表示画面に割り当てた未変換画像表示エリアに表示させる画像処理ステップと、
   受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を前記表示画面に割り当てた変換画像表示エリアに表示させるための立体表示データに変換する画像変換ステップと、
   前記変換画像表示エリアに表示すべき立体表示データの表示状態に関する判定を実行する判定ステップと、
   被検者の関節位置に対応するノードマーク、及び、被検者の隣接する関節間及び被検者の関節から身体端部に延びるリンクマーク、に対応したマーク画像データを生成したうえで、前記表示画面に表示した被検者の画像と対応させて重畳表示させる画像合成ステップと、
   前記判定ステップの判定結果に応じて、前記変換画像表示エリアにおける被検者の表示状態を、前記立体表示データのみと、前記立体表示データと前記ノードマーク及び前記リンクマークとの重畳表示と、前記ノードマーク及び前記リンクマークによるマーク画像データとで切り替えて表示させる立体画像表示ステップと、を備える立体画像生成方法。
10. コンピュータに、
    撮影装置によって撮影した被検者を含む画像の画像データを受信する受信機能と、
    受信した画像データに基づく画像を表示装置の表示画面に割り当てた未変換画像表示エリアに表示させる画像処理機能と、
    受信した画像データに基づいて見掛け上の深度の識別が可能な立体画像を前記表示画面に割り当てた変換画像表示エリアに表示させるための立体表示データに変換する画像変換機能と、
    前記変換画像表示エリアに表示すべき立体表示データの表示状態に関する判定を実行する判定機能と、
    被検者の関節位置に対応するノードマーク、及び、被検者の隣接する関節間及び被検者の関節から身体端部に延びるリンクマーク、に対応したマーク画像データを生成したうえで、前記表示画面に表示した被検者の画像と対応させて重畳表示させる画像合成機能と、
    を実現させ、
    前記画像変換機能は、
    前記判定機能の判定結果に応じて、前記変換画像表示エリアにおける被検者の表示状態を、前記立体表示データのみと、前記立体表示データと前記ノードマーク及び前記リンクマークとの重畳表示と、前記ノードマーク及び前記リンクマークによるマーク画像データとで切り替えて表示させる、立体画像生成プログラム。
    

Images