JP6459184B2

JP6459184B2 - 表示システム、健康器具、制御装置およびプログラム

Info

Publication number: JP6459184B2
Application number: JP2014035026A
Authority: JP
Inventors: 北澤　幸行; 幸行北澤; 田中　英樹; 英樹田中
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2019-01-30
Anticipated expiration: 2034-02-26
Also published as: CN104869353A; US20150242998A1; JP2015161699A

Description

本発明は、表示システム、健康器具および表示制御方法に関する。

四肢の不自由な患者のリハビリ支援に、電子的な表示システムを活用することが検討されている。例えば特許文献１は、幻肢痛の患者のリハビリに用いられる疼痛治療支援装置を開示している。

特開２００４−２９８４３０号公報

特許文献１に記載の技術は、幻肢痛の患者のリハビリに用途が限られていた。これに対し本発明は、より広範な用途に適応できる表示システムを提供する。

本発明は、ヘッドマウントディスプレイと、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段とを有する表示システムを提供する。
この表示システムによれば、鏡像を利用する用途に利用することができる。

前記ヘッドマウントディスプレイは、透過型表示部を有してもよい。
この表示システムによれば、鏡像と背景とを併せて表示する用途に利用することができる。

前記制御手段は、前記入力映像信号により示される映像のうち、前記一部の領域の映像を消去した映像を、前記ヘッドマウントディスプレイに表示させてもよい。
この表示システムによれば、より臨場感のある鏡像を提供することができる。

前記入力映像信号は、カメラにより撮影されたリアルタイム映像を示してもよい。
この表示システムによれば、より臨場感のある鏡像を提供することができる。

前記入力映像信号により示される映像は、身体部分の映像を示してもよい。
この表示システムによれば、身体部分の映像の鏡像を得ることができる。

前記制御手段は、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去してもよい。
この表示システムによれば、人体部分の鏡像を利用することができる。

前記入力映像信号はＲＧＢ表色系に従った信号であり、この表示システムは、前記ＲＧＢ表色系の信号をＨＳＶ表色系の信号に変換する変換手段と、前記変換手段により変換された信号により示される映像から、人間の体の部分を抽出する抽出手段を有し、前記制御手段は、前記抽出手段により抽出された部分以外の部分を消去してもよい。
この表示システムによれば、人体部分の鏡像を利用することができる。

前記ヘッドマウントディスプレイは、立体視映像を表示してもよい。
この表示システムによれば、より臨場感のある鏡像を提供することができる。

また、本発明は、ヘッドマウントディスプレイと、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段とを有する健康器具を提供する。
この健康器具によれば、鏡像を利用するリハビリを行うことができる。

さらに、本発明は、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成するステップと、前記生成された鏡像を、ヘッドマウントディスプレイに表示させるステップとを有する表示制御方法を提供する。
この表示制御方法によれば、鏡像を利用する用途に利用することができる。

一実施形態に係る表示システム１の概要を示す図。ＨＭＤ１０の概要を示す図。表示システム１の機能構成を示す図。制御装置３０のハードウェア構成を示す図。一実施形態に係る表示システム１の動作を示すフローチャート。カメラ２０により撮影される映像を例示する図。ステップＳ１０４の状態を例示する図。ステップＳ１０５の状態を例示する図。ステップＳ１０６の状態を例示する図。ユーザーにより視認される像を例示する図。変形例７に係るカメラ２０の配置を示す図。

１．構成
図１は、一実施形態に係る表示システム１の概要を示す図である。この例で、表示システム１は、四肢の麻痺がある患者のリハビリ支援に用いられる健康器具である。具体的には、表示システム１は、例えば左手に麻痺があるが右手は動く患者に対し、右手の画像を撮影し、撮影した画像の鏡像（左手に見える）をこの患者に見せることにより左手が動いているかのような錯覚を与え、左手の機能回復を図るリハビリ方法を提供する。この方法はミラーセラピーと呼ばれている。

表示システム１は、ＨＭＤ（Head Mount Display：ヘッドマウントディスプレイ）１０と、カメラ２０と、制御装置３０とを有する。

図２は、ＨＭＤ１０の概要を示す図である。ＨＭＤ１０は、ユーザーの頭部に装着された状態で使用される表示装置である。ＨＭＤ１０は、装着部１０１と、表示部１０２と、表示部１０３と、表示装置１０４とを有する。装着部１０１は、ユーザーの頭部に装着するための部材、例えば眼鏡フレームやヘッドバンドである。表示部１０２および表示部１０３は画像を表示する。装着部１０１を正しく装着した状態で、表示部１０２はユーザーの右目に相当する位置に、表示部１０３はユーザーの左目に相当する位置になるように、装着部１０１、表示部１０２、および表示部１０３の相対的位置関係が設計されている。表示装置１０４は、表示部１０２および表示部１０３に映像を表示する。表示装置１０４は、例えば、入力部と、信号処理部と、光源と、光変調部と、投写部とを有する（いずれも図示略）。入力部は外部から映像信号の入力を受け付ける。信号処理部は、映像信号に対し所定の処理を行う。光源は光を出力する。光変調部は、光源からの光を、映像信号に応じて変調する。光変調部は、例えば液晶パネルを含む。投写部は、光変調部により変調された光を、表示部１０２および表示部１０３に投射する。投写部は、レンズ、プリズム、およびミラー等の光学系を含む。この例で、ＨＭＤ１０は、いわゆるシースルー型のＨＭＤである。すなわち、表示部１０２および表示部１０３は、表示装置１０４により投写された映像を反射するとともに背景を透過する透過型の表示部である。

カメラ２０は撮影した映像（動画または静止画）を示す映像信号を出力する。制御装置３０は、カメラ２０から出力された映像信号に応じて、ＨＭＤ１０に表示させる映像を制御する。

図３は、表示システム１の機能構成を示す図である。表示システム１は、映像取得手段１１と、信号変換手段１２と、人体抽出手段１３と、背景除去手段１４と、鏡像生成手段１５と、表示制御手段１６とを有する。映像取得手段１１は、映像源から映像信号を取得する。この例で、映像信号は、カメラ２０により撮影されたリアルタイム映像を示す。映像信号は、所定の表色系（例えばＲＧＢ系）によってカラー映像を示している。信号変換手段１２は、映像信号により示される映像の表色系を、この表色系から別の表色系（例えばＨＳＶ系）に変換する。人体抽出手段１３は、変換された映像信号を用いて、映像のうち人体を示している領域を特定（すなわち抽出）する。背景除去手段１４は、映像のうち背景部分（すなわち人体以外の部分）を除去する。鏡像生成手段１５は、背景が除去された映像について、鏡像を生成する。表示制御手段１６は、生成された鏡像を表示するようにＨＭＤ１０を制御する。

図４は、制御装置３０のハードウェア構成を示す図である。制御装置３０は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、入出力インターフェース３０４と、映像出力部３０５と、記憶装置３０６とを有するコンピューター装置である。ＣＰＵ３０１は、プログラムに従って種々の処理を行う処理装置である。ＲＡＭ３０２は、ＣＰＵ３０１がプログラムを実行する際のワークエリアとして機能する記憶装置である。ＲＯＭ３０３は、制御装置３０の起動などに用いられるプログラムおよびデータを記憶した不揮発性の記憶装置である。入出力インターフェース３０４は、カメラ２０から出力された映像信号を受け付けるインターフェースであり、所定の規格（例えばＵＳＢ（Universal Serial Bus））に従って信号を中継する。映像出力部３０５は、ＨＭＤ１０に対し映像信号を出力する。ＨＭＤ１０と制御装置３０とは、有線で接続されてもよいし無線で接続されてもよい。記憶装置３０６は、プログラムおよびデータを記憶する不揮発性の記憶装置（いわゆるストレージ）であり、例えばＨＤＤ（Hard Disk Drive）またはフラッシュメモリーを含む。

この例で、記憶装置３０６は、表示システム１をリハビリ支援装置として機能させるためのプログラム（以下「支援プログラム」という）を記憶している。ＣＰＵ３０１が支援プログラムを実行することにより、制御装置３０に図２で説明した機能が実装される。ここで、入出力インターフェース３０４は映像取得手段１１の一例である。支援プログラムを実行しているＣＰＵ３０１は、信号変換手段１２、人体抽出手段１３、背景除去手段１４、鏡像生成手段１５、および表示制御手段１６の一例である。

２．動作
図５は、一実施形態に係る表示システム１の動作を示すフローチャートである。図５のフローは、例えば、支援プログラムの実行が指示されたことを契機として開始される。以下の説明においては、支援プログラムを処理の主体として記載する場合があるが、これは、支援プログラムを実行しているＣＰＵ３０１が、他のハードウェアと協働してその処理を実行することを意味する。なお、図５のフローの開始時点において、ユーザー（患者）はＨＭＤ１０を頭部に装着しており、支援プログラムにより指定される姿勢をとっている。

表示システム１の使用状態は、図１で示したとおりである。この例で、ユーザーは、両手のうちいずれか一方の手が麻痺している患者である。このユーザーは、椅子に腰掛けており、机の上に両手を置いている。ユーザーは、自分の両手の辺りを見ている。

図６は、カメラ２０により撮影される映像を例示する図である。このように、カメラ２０は、画面いっぱいにユーザーの両手の映像を撮影している。画面を中央で２分割したときに、画面の右半分には右手が、左半分には左手が映っている。

再び図５を参照する。ステップＳ１０１において、支援プログラムは、映像取り込みサイドを決定する。映像取り込みサイドとは、鏡像を生成する元となる領域である。例えば左手に麻痺があるが右手は動くユーザーに対しては、映像の右半分を映像取り込みサイドとする。逆に、右手に麻痺があるが左手は動くユーザーに対しては、映像の左半分を映像取り込みサイドとする。映像取り込みサイドは、ユーザーまたはその介助者により入力される。

ステップＳ１０２において、支援プログラムは、カメラ２０から入力された映像信号により示される映像を、１フレーム分取り込む。具体的には、支援プログラムは、１フレーム分の映像データをＲＡＭ３０２に記憶させる。

ステップＳ１０３において、支援プログラムは、ＲＡＭ３０２に記憶されている映像データの表色系を、ＲＧＢ系からＨＳＶ系に変換する。ＲＧＢ系からＨＳＶ系への変換は、例えば以下のように行われる。なおこの例では、映像データにおいてＲＧＢ成分はそれぞれ８ビットのデータである。また、変数ＭＡＸはＲＧＢのうち最大階調の階調値を、変数ＭＩＮはＲＧＢのうち最小階調の階調値を、それぞれ示す。なお、この例で、ＨＳＶ表色系において、Ｈ成分は０〜３６０の値を、Ｓ成分およびＶ成分は０〜２５５の値を、それぞれとる。なお、支援プログラムは、処理対象のフレームについて、ＲＧＢ系の映像データおよびＨＳＶ系の映像データの双方をＲＡＭ３０２に記憶する。

Ｈ成分について
（１）ＭＡＸ＝ＭＩＮの場合：
Ｈ＝０
（２）Ｒが最大の場合：
（３）Ｇが最大の場合：
（４）Ｂが最大の場合：

Ｓ成分について
（１）ＭＡＸ＝０の場合：
Ｓ＝０
（２）ＭＡＸ≠０の場合：

Ｖ成分について
Ｖ＝ＭＡＸ

ステップＳ１０４において、支援プログラムは、ＲＧＢ系の映像データから、背景を除去する。背景の除去は、例えば以下のように行われる。支援プログラムは、ＨＳＶ系の映像取り込みサイドの映像データのうち肌色以外を示す画素（具体的にはＨ成分が特定の条件（例えばＨ＜４８またはＨ＞３４０）を満たす画素）については、ＲＧＢ系の映像データにおいてその画素に対応する画素の階調（色）を黒に補正する。なお、この処理は、映像取り込みサイドについてのみ行えばよい。

図７は、ステップＳ１０４の状態を例示する図である。ここでは、肌色（腕）以外の部分は除去され、黒に変更されている。また、ここでは映像取り込みサイドでない領域の画素の階調はすべて黒に補正されている。

再び図５を参照する。ステップＳ１０５において、支援プログラムは、背景が除去されたＲＧＢ系の映像データから、左右を反転した鏡像を示すデータ（以下「鏡像データ」という）を生成する。支援プログラムは、鏡像データを、ＲＡＭ３０２のＲＧＢ系の映像データの記憶領域のうち、映像取り込みサイドでない領域に対応する記憶領域に書き込む。例えば、映像取り込みサイドが右側だった場合、支援プログラムは、映像の右半分から鏡像を生成して、生成した鏡像を左半分に書き込む。

図８は、ステップＳ１０５の状態を例示する図である。映像取り込みサイドでない領域には、右手の鏡像が書き込まれている。

再び図５を参照する。ステップＳ１０６において、支援プログラムは、映像取り込みサイドの映像を消去する。すなわち、映像取り込みサイドの画素の階調（色）をすべて黒に変更する。

図９は、ステップＳ１０６の状態を例示する図である。映像取り込みサイドでない領域には、右手の鏡像が書き込まれ、映像取り込みサイドは全面黒に補正されている。

再び図５を参照する。ステップＳ１０７において、支援プログラムは、上記の処理をされたＲＧＢ系の映像データにより示される映像を表示するように、ＨＭＤ１０を制御する。すなわち、支援プログラムは、ＲＡＭ３０２に記憶されているＲＧＢ計の映像データを用いて生成された映像信号を、ＨＭＤ１０に出力する。ＨＭＤ１０は、この映像信号に従って映像を表示する。

図１０は、ユーザーにより視認される像を例示する図である。映像の左半分には、右手の映像から生成された鏡像が見えている。表示部１０２および表示部１０３において黒が表示される部分においては、背景が透過される。映像の右半分には背景すなわち表示部を透過して実際の右手が見えている。ユーザーが右手を動かすと、鏡像である左手が動いているように見える。

再び図５を参照する。ステップＳ１０８において、支援プログラムは、終了条件が満たされたか判断する。終了条件は、例えば、ユーザーから終了の指示が入力されたという条件である。終了条件が満たされていない場合（Ｓ１０８：ＮＯ）、支援プログラムは、処理をステップＳ１０２に移行する。終了条件が満たされてた場合（Ｓ１０８：ＹＥＳ）、支援プログラムは、図５のフローを終了する。

従来、ミラーセラピーは、鏡を斜めに設置した箱の中に両手を入れて行っていた。この方法では、患者は箱を見ながらリハビリを行うことになり臨場感に欠けていた。しかし、本実施形態によれば、シースルーのＨＭＤ１０を介して周囲の光景の中でリハビリを行うことができ、よりリハビリ効果が高まることが期待される。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

３−１．変形例１
ＨＭＤ１０は、シースルー型のＨＭＤではなく、背景を透過しないクローズドなＨＭＤであってもよい。この場合、支援プログラムは、腕以外の部分に、別の映像（カメラで撮影した映像またはあらかじめ用意された背景映像）を合成してもよい。

３−２．変形例２
映像取り込みサイドの映像は消去されず、そのまま表示されてもよい。クローズドなＨＭＤを用いた場合はこれで両腕の映像が表示される。シースルーのＨＭＤを用いた場合は映像の腕と透過して見える実際の腕が重なってしまうが、使用状況によっては問題ない場合もある。

３−３．変形例３
映像源はカメラ２０からのリアルタイム映像に限定されない。例えば患者の右手を動かす映像をあらかじめ撮影しておき、リハビリ時にはこの映像を繰り返し再生して映像源としてもよい。

３−４．変形例４
腕以外の背景を除去する処理（ステップＳ１０４）は省略されてもよい。すなわち、背景も含め、取り込みサイドの映像がそのまま鏡像となってもよい。クローズドなＨＭＤを用いる場合はこれが有効である。

３−５．変形例５
人体（肌色）を抽出する方法は実施形態で説明したものに限定されない。映像データをＨＳＶ系に変換せず、ＲＧＢ系のまま、ＲＧＢ各成分の階調値の関係からその画素が肌色かどうか判断してもよい。

３−６．変形例６
ＨＭＤ１０に表示する映像は、立体視映像であってもよい。ＨＭＤ１０においては右目用の映像と左目用の映像とをそれぞれ独立に表示することができるので、立体視映像の表示は容易である。これにより、より臨場感のあるリハビリを行うことができる。

３−７．変形例７
図１１は、変形例７に係るカメラ２０の配置を示す図である。カメラ２０は、ＨＭＤ１０に取り付けられていてもよい。この配置によれば、カメラ２０により撮影される映像はユーザーの視野により近いものとなり、より臨場感のあるリハビリを行うことができる。

３−８．他の変形例
表示システム１の用途はリハビリに限定されない。表示システム１は、リハビリ以外の用途、例えばゲームに用いられてもよい。

実施形態では制御装置３０がコンピューター装置であり、支援プログラムに従って処理が行われる例を説明した。しかし、実施形態で説明した機能は、ＦＰＧＡ（Field-Programmable Gate Array）や専用ＩＣ（Integrated Circuit）によりハードウェアとして実装されてもよい。また、実施形態で制御装置３０の機能として説明したものの一部または全部を、ＨＭＤ１０が有していてもよい。

１…表示システム、１０…ＨＭＤ、１１…映像取得手段、１２…信号変換手段、１３…人体抽出手段、１４…背景除去手段、１５…鏡像生成手段、１６…表示制御手段、２０…カメラ、３０…制御装置、１０１…装着部、１０２…表示部、１０３…表示部、１０４…表示装置、３０１…ＣＰＵ、３０２…ＲＡＭ、３０３…ＲＯＭ、３０４…入出力インターフェース、３０５…映像出力部、３０６…記憶装置

Claims

ヘッドマウントディスプレイと、
入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、
前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段と
を有し、
前記制御手段は、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去する
ことを特徴とする表示システム。
前記ヘッドマウントディスプレイは、透過型表示部を有する
ことを特徴とする請求項１に記載の表示システム。
前記制御手段は、前記入力映像信号により示される映像のうち、前記一部の領域の映像を消去した映像を、前記ヘッドマウントディスプレイに表示させる
ことを特徴とする請求項２に記載の表示システム。
前記入力映像信号は、カメラにより撮影されたリアルタイム映像を示す
ことを特徴とする請求項１ないし３のいずれか一項に記載の表示システム。
前記入力映像信号により示される映像は、身体部分の映像を示す
ことを特徴する請求項１ないし４のいずれか一項に記載の表示システム。
前記入力映像信号はＲＧＢ表色系に従った信号であり、
前記ＲＧＢ表色系の信号をＨＳＶ表色系の信号に変換する変換手段と、
前記変換手段により変換された信号により示される映像から、人間の体の部分を抽出する抽出手段を有し、
前記制御手段は、前記抽出手段により抽出された部分以外の部分を消去する
ことを特徴とする請求項５に記載の表示システム。
前記ヘッドマウントディスプレイは、立体視映像を表示する
ことを特徴とする請求項１ないし６のいずれか一項に記載の表示システム。
ヘッドマウントディスプレイと、
入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、
前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段と
を有し、
前記制御手段は、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去する
健康器具。
入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成し、
前記生成された鏡像を、ヘッドマウントディスプレイに表示するとともに、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去する
ことを特徴とする制御装置。
入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する処理と、
前記生成された鏡像を、ヘッドマウントディスプレイに表示させる処理であって、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去する処理と、
をコンピューターに実行させるためのプログラム。