JP6630503B2 - Glasses-type wearable device, control method thereof, and program - Google Patents
Glasses-type wearable device, control method thereof, and program Download PDFInfo
- Publication number
- JP6630503B2 JP6630503B2 JP2015139267A JP2015139267A JP6630503B2 JP 6630503 B2 JP6630503 B2 JP 6630503B2 JP 2015139267 A JP2015139267 A JP 2015139267A JP 2015139267 A JP2015139267 A JP 2015139267A JP 6630503 B2 JP6630503 B2 JP 6630503B2
- Authority
- JP
- Japan
- Prior art keywords
- foot
- image data
- wearable device
- type wearable
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 230000000007 visual effect Effects 0.000 claims description 41
- 230000001133 acceleration Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 20
- 208000018737 Parkinson disease Diseases 0.000 claims description 12
- 230000000803 paradoxical effect Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 208000024891 symptom Diseases 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 208000018300 basal ganglia disease Diseases 0.000 claims 1
- 230000001747 exhibiting effect Effects 0.000 claims 1
- 210000002683 foot Anatomy 0.000 description 39
- 238000010586 diagram Methods 0.000 description 7
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 4
- 206010017577 Gait disturbance Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 208000035475 disorder Diseases 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 208000002740 Muscle Rigidity Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000009109 curative therapy Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Landscapes
- Rehabilitation Tools (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、パーキンソン病患者の歩行障害を改善する眼鏡型ウェアラブル装置に関するものである。 TECHNICAL FIELD The present invention relates to a glasses-type wearable device for improving gait disturbance of a Parkinson's disease patient.
パーキンソン病は、振戦、筋固縮、無動、姿勢反射障害を主な運動症状とする神経変性疾患であり、現在のところ根治的治療法のない難病である。パーキンソン病患者の歩行障害は、前傾前屈姿勢で小刻み歩行となる特徴があり、特に歩き始めの第一歩が出にくいすくみ足症状は転倒の原因となり、また薬物療法に反応しにくいため臨床的に問題である。パーキンソン病患者の歩行障害を改善する手法として、パーキンソン病患者に特徴的な神経学的徴候である奇異性歩行を利用する技術が開示されている。奇異性歩行とは、進行方向の床面上に目印が存在することによってすくみ足症状が軽減し、歩行障害が改善する歩行の特徴を指して用いる徴候名である。 Parkinson's disease is a neurodegenerative disease in which tremor, muscle rigidity, immobility, and postural reflex disorders are the main motor symptoms, and is an incurable disease for which no curative treatment is available at present. The gait disorder of Parkinson's disease patients is characterized by a stepped gait in a forward leaning posture, especially in the case of freezing symptoms where it is difficult to take the first step at the start of walking. Problematic. As a technique for improving the gait disorder of a Parkinson's disease patient, a technique using paradoxical gait, which is a characteristic neurological sign of a Parkinson's disease patient, is disclosed. The paradoxical gait is a symptom name used to refer to a feature of gait in which freezing symptoms are reduced by the presence of a mark on the floor in the traveling direction and gait disorder is improved.
従来、奇異性歩行を人為的に誘発する方法として、床面へ目印となる線分を描くことが有効であると知られている（非特許文献１参照）。また、先端に横木のついたＬ字型の杖（非特許文献１参照）や、レーザー発光装置を備え床面にレーザー光を照射する杖（特許文献１参照）が知られている。さらに、視覚的目印のパターンを視野全体あるいは進行方向の床面全体に表示するヘッドマウントディスプレイなどが知られている（特許文献２参照）。 2. Description of the Related Art Conventionally, as a method of artificially inducing paradoxical walking, it is known that drawing a line segment as a mark on a floor is effective (see Non-Patent Document 1). Also, an L-shaped cane with a cross bar at the tip (see Non-Patent Document 1) and a cane equipped with a laser light emitting device and irradiating a floor with laser light (see Patent Document 1) are known. Further, there is known a head mounted display which displays a pattern of a visual mark on the entire visual field or the entire floor surface in the traveling direction (see Patent Document 2).
非特許文献１に記載された床面上に視覚的目印（例えば、線分）を描く手法では、あらかじめ目印を描いた場所でしか効果が望めないという問題があった。
非特許文献１や特許文献１に記載された杖型デバイスでは、足元にちょうど目印が来るように患者が自分で杖の位置を調節する必要があることから、上肢にも運動障害のあることの多いパーキンソン病患者には操作が難しいという問題があった。
特許文献２に記載されたヘッドマウントディスプレイは、患者の視野内の広範囲に広がるパターン図形を表示するものであり、現実的な住環境においては、奇異性歩行を誘発するのに必要な患者前方の足元の床面以外の場所にも、視覚的目印が表示されてしまう。パーキンソン病患者の多くが視力障害を伴うことの多い高齢者であることを考慮すると、視野内の広範囲に亘ってパターン図形を表示することが、患者の視野を遮ることにつながり、周囲の環境を認識する際の妨げになることで、かえって歩行の安定性を損ねてしまうという問題があった。
このように、上で列挙した文献に記載の技術は何れも、段差や凸凹等がある現実的な住環境の床面上へ視覚的目印を適切に表示することができなかった。
The method of drawing a visual mark (for example, a line segment) on the floor surface described in Non-Patent Document 1 has a problem that the effect can be expected only at a place where the mark is drawn in advance.
In the wand-type device described in Non-patent Document 1 and Patent Document 1, it is necessary for the patient to adjust the position of the wand by himself so that the mark is just at the foot. Many patients with Parkinson's disease had a problem that operation was difficult.
The head mounted display described in Patent Literature 2 displays a pattern figure that spreads over a wide area in the patient's field of view, and in a realistic living environment, it is necessary to induce paradoxical walking in front of the patient. Visual markers are also displayed in places other than the floor at the feet. Considering that many patients with Parkinson's disease are elderly people who often have visual impairment, displaying a pattern figure over a wide area in the visual field leads to obstruction of the patient's visual field and reduces the surrounding environment. There is a problem in that it hinders the recognition and rather impairs the stability of walking.
As described above, none of the techniques described in the above-listed documents can appropriately display a visual mark on the floor of a realistic living environment having steps, bumps and the like.
本発明は、 ユーザの視野画像を撮像する撮像手段と、前記視野画像の中から前記ユーザの足部領域を検出する足部領域検出手段と、前記視野画像の中から床面領域を検出する床面領域検出手段と、前記足部領域検出手段により検出された前記足部領域と、前記床面領域検出手段により検出された前記床面領域とに基づき、前記床面領域に視覚的目印を描画する描画手段と、を有することを特徴とする眼鏡型ウェアラブル装置である。 The present invention provides imaging means for capturing a visual field image of a user, foot area detecting means for detecting a foot area of the user from the visual field image, and a floor for detecting a floor area from the visual field image. drawing and the surface area detection unit, and the foot region detected by the foot area detection means, based on the detected the floor regions by the floor area detecting means, a visual mark on the floor surface area a drawing means for a glasses-type wearable device, characterized in that it comprises a.
本発明により、パーキンソン病患者が段差や凹凸等がある現実的な住環境における床面を歩行する際に、奇異性歩行を誘発することが可能となり、パーキンソン病患者の歩行障害を改善できる。 ADVANTAGE OF THE INVENTION According to this invention, when a Parkinson's disease patient walks on the floor surface in a realistic living environment with a step, unevenness, etc., it becomes possible to induce paradoxical walking, and can improve the walking disorder of a Parkinson's disease patient.
以下、実施形態について説明する。なお、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, embodiments will be described. The embodiments described below do not unduly limit the contents of the present invention described in the claims. In addition, all of the configurations described below are not necessarily essential components of the invention.
図１は、本実施例に係る眼鏡型ウェアラブル装置の外形の説明図であり、図１（ａ）は上面図、図１（ｂ）は正面図である。眼鏡型ウェアラブル装置１は、可視光カメラ２と、デプスカメラ３と、加速度センサー４とを備える。可視光カメラ２とデプスカメラ３は、眼鏡型ウェアラブル装置１の前面に配置する。加速度センサー４は、患者にとって眼鏡型ウェアラブル装置１の装着の邪魔にならない場所（たとえば眼鏡型ウェアラブル装置１の前面）に配置する。 FIG. 1 is an explanatory diagram of an outer shape of a glasses-type wearable device according to the present embodiment. FIG. 1A is a top view, and FIG. 1B is a front view. The glasses-type wearable device 1 includes a visible light camera 2, a depth camera 3, and an acceleration sensor 4. The visible light camera 2 and the depth camera 3 are arranged on the front of the glasses-type wearable device 1. The acceleration sensor 4 is arranged at a place where the patient does not hinder wearing of the glasses-type wearable device 1 (for example, at the front of the glasses-type wearable device 1).
図２は、本実施例に係る眼鏡型ウェアラブル装置のハードウェア構成を示すブロック図である。眼鏡型ウェアラブル装置１は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、液晶表示素子２０４と、可視光カメラ２と、デプスカメラ３と、加速度センサー４とを備える。これらの構成要素は共通のバスを介して互いに接続されている。
ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３は、互いにデータを送受信することが可能である。ＣＰＵ２０１は、ＲＯＭ２０３に格納されている各種プログラムをＲＡＭ２０２に展開し、当該展開したプログラムを実行する。これによりＣＰＵ２０１は、各構成要素を統括的に統御し、眼鏡型ウェアラブル装置１を動作させる。
ＣＰＵ２０１はＲＡＭ２０２上に展開されたプログラムを実行する過程で、可視光カメラ２やデプスカメラ３や加速度センサー４を制御し、可視光カメラ２からは可視光画像を、デプスカメラ３からは奥行き画像を、加速度センサー４からは加速度の方向と大きさとを示すデータを取得する。当該取得したデータは、ＲＡＭ２０２やＲＯＭ２０３に保存される。
また、ＣＰＵ２０１はＲＡＭ２０２上に展開されたプログラムを実行する過程で、ＲＡＭ２０２上に視覚的目印の画像データを作成し、当該作成した画像データに基づき液晶表示素子２０４に視覚的目印を表示する。
FIG. 2 is a block diagram illustrating a hardware configuration of the glasses-type wearable device according to the embodiment. The glasses-type wearable device 1 includes a CPU 201, a RAM 202, a ROM 203, a liquid crystal display element 204, a visible light camera 2, a depth camera 3, and an acceleration sensor 4. These components are connected to each other via a common bus.
The CPU 201, the RAM 202, and the ROM 203 can transmit and receive data to and from each other. The CPU 201 loads various programs stored in the ROM 203 into the RAM 202, and executes the loaded programs. Thereby, the CPU 201 controls the respective components in an integrated manner and operates the glasses-type wearable device 1.
The CPU 201 controls the visible light camera 2, the depth camera 3, and the acceleration sensor 4 in the process of executing the program developed on the RAM 202, and outputs a visible light image from the visible light camera 2 and a depth image from the depth camera 3. From the acceleration sensor 4, data indicating the direction and magnitude of the acceleration is obtained. The obtained data is stored in the RAM 202 or the ROM 203.
Further, in the process of executing the program developed on the RAM 202, the CPU 201 creates image data of a visual mark on the RAM 202 and displays the visual mark on the liquid crystal display element 204 based on the created image data.
図３は、本実施例におけるソフトウェアモジュールの構成を示すブロック図である。
可視光画像データ取得部３０１は、可視光カメラ２を制御して撮像を行い、可視光画像データを取得する。当該取得した可視光画像データは、ＲＡＭ２０２上の領域に保存され、足部領域検出部３０４に渡される。
奥行き画像データ取得部３０２は、デプスカメラ３を制御して撮像を行い、奥行き画像データを取得する。当該取得した奥行き画像データは、ＲＡＭ２０２上の領域に保存され、足部領域検出部３０４と床面検出部３０５とに渡される。
加速度情報取得部３０３は、加速度センサー４を制御し、加速度の方向と大きさとを示すデータを取得する。当該取得したデータは、ＲＡＭ２０２上の領域に保存され、床面検出部３０５に渡される。
足部領域検出部３０４は、可視光画像データ取得部３０１から可視光画像データ、および、奥行き画像データ取得部３０２から奥行き画像データを受け取る。そして、足部領域検出部３０４は、あらかじめＲＯＭ２０２上に登録されていた患者の足部画像データを利用して、可視光画像および奥行き画像における患者の足部に相当する領域（以下、足部領域とする）を検出する（詳細は後述する）。可視光画像における足部領域を示す情報は視覚的目印描画部３０６へ渡され、奥行き画像における足部領域を示す情報は床面検出部３０５へ渡される。
床面検出部３０５は、奥行き画像データ取得部３０２から奥行き画像データを、加速度情報取得部３０３から加速度の方向と大きさとを示すデータのアドレスを受け取り、これらのデータに基づいて、奥行き画像における床面領域を検出する（詳細は後述する）。当該領域を示す情報は視覚的目印描画部３０６へ渡される。
視覚的目印描画部３０６は、足部領域検出部３０４から可視光画像における患者の足部領域を示す情報（位置）を、床面検出部３０５から奥行き画像における床面領域を示す情報（位置）を受け取り、これらの情報に基づいて、患者の足部前方の床面に限定して、視覚的目印（例えば、患者の進行方向に対して垂直方向に伸長する線分）を表示する。
FIG. 3 is a block diagram illustrating a configuration of a software module according to the present embodiment.
The visible light image data acquisition unit 301 controls the visible light camera 2 to perform imaging, and acquires visible light image data. The acquired visible light image data is stored in an area on the RAM 202 and passed to the foot area detection unit 304.
The depth image data acquisition unit 302 controls the depth camera 3 to perform imaging, and acquires depth image data. The acquired depth image data is stored in an area on the RAM 202 and passed to the foot area detection unit 304 and the floor surface detection unit 305.
The acceleration information acquisition unit 303 controls the acceleration sensor 4 and acquires data indicating the direction and magnitude of the acceleration. The acquired data is stored in an area on the RAM 202 and passed to the floor detecting unit 305.
The foot region detection unit 304 receives the visible light image data from the visible light image data acquisition unit 301 and the depth image data from the depth image data acquisition unit 302. Then, the foot region detecting unit 304 uses the patient's foot image data registered in the ROM 202 in advance to generate a region corresponding to the patient's foot in the visible light image and the depth image (hereinafter referred to as a foot region). Is detected (details will be described later). Information indicating the foot region in the visible light image is passed to the visual mark drawing unit 306, and information indicating the foot region in the depth image is passed to the floor detection unit 305.
The floor detecting unit 305 receives the depth image data from the depth image data obtaining unit 302 and the address of the data indicating the direction and magnitude of the acceleration from the acceleration information obtaining unit 303, and based on the data, the floor image in the depth image. A surface area is detected (details will be described later). Information indicating the area is passed to the visual mark drawing unit 306.
The visual mark drawing unit 306 uses the information (position) indicating the foot area of the patient in the visible light image from the foot area detection unit 304 and the information (position) indicating the floor area in the depth image from the floor detection unit 305. , And based on the information, a visual mark (for example, a line segment extending in a direction perpendicular to the direction of travel of the patient) is displayed only on the floor in front of the patient's foot.
図４は、本実施例における視覚的目印表示に至る処理のフローチャートである。
ステップＳ４０１において、可視光画像データ、奥行き画像データ、および加速度の方向と大きさとを示すデータを取得する。即ち、可視光画像データ取得部３０１は、可視光カメラ２を制御して撮像を行い、可視光画像データを取得する。また、奥行き画像データ取得部３０２は、デプスカメラ３を制御して撮像を行い、奥行き画像データを取得する。さらに、加速度情報取得部３０３は、加速度センサー４を制御し、加速度の方向と大きさとを示すデータを取得する。
ステップＳ４０２において、足部領域検出部３０４は、可視光画像データおよび奥行き画像データ、ならびに、あらかじめＲＯＭ２０２上に登録されていた患者の足部画像データに基づき、足部領域の検出を試みる。具体的には、ＲＯＭ２０２上に登録されていたテンプレートとなる患者の足部画像データを、可視光画像データ、および、奥行画像データの中から検索し、可視光画像における足部領域、および、奥行き画像における足部領域の検出を試みる。
ステップＳ４０３において、足部領域検出部３０４は、患者の視野内に足部領域を検出したか否かを判定する。当該判定の結果、足部領域を検出した場合、ステップＳ４０４に進む。一方、当該判定の結果、足部領域を検出しなかった場合、一連の処理は終了する。
ステップＳ４０４において、床面検出部３０５は、奥行き画像データ、および、加速度の方向と大きさとを示すデータに基づき、床面領域を検出する。加速度センサーを用いて取得した加速度の方向は、近似的に重力加速度の方向と同じであるとみなすことができる。奥行き画像データは各画素が距離値を持つ画像データであり、その数学的な実体は三次元空間上の点群である。奥行き画像内部の平面を抽出するためには、例えばＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法と呼ばれる、三次元空間上の点群から、任意の方程式系によって定まる図形の上に存在する点の集合を取得する方法を用いることができる。本実施例では奥行き画像データに対してＲＡＮＳＡＣ法を繰り返し適用し、奥行き画像データ内部に存在する平面をすべて抽出する。抽出した平面群から、重力加速度の方向に垂直な平面を選び出すことで、患者の視野内に存在する水平面リスト（床面や机、棚など）が得られる。最後に、当該水平面リストの中から、足部領域検出部３０４から受け取った奥行き画像データに基づき、奥行き画像における患者足部領域の位置情報を利用して、患者足部と奥行き距離が最も近い水平面を選択することで、奥行き画像データ内部で床面の領域を検出することができる。
ステップＳ４０５において、視覚的目印描画部３０６は、可視光画像における足部領域の情報（位置）と、奥行き画像における床面領域の情報（位置）とに基づいて、患者の足部前方の床面に限定して、視覚的目印（患者の進行方向に垂直な線分）を描画する。この視覚的目印は、眼鏡型ウェアラブル装置１を透過して患者が見ている視界の像に重ね書き（オーバーレイ）して表示される。
FIG. 4 is a flowchart of a process leading to a visual mark display in the present embodiment.
In step S401, visible light image data, depth image data, and data indicating the direction and magnitude of acceleration are acquired. That is, the visible light image data acquisition unit 301 controls the visible light camera 2 to perform imaging, and acquires visible light image data. In addition, the depth image data acquisition unit 302 controls the depth camera 3 to perform imaging, and acquires depth image data. Further, the acceleration information acquisition unit 303 controls the acceleration sensor 4 to acquire data indicating the direction and magnitude of the acceleration.
In step S402, the foot region detection unit 304 attempts to detect a foot region based on the visible light image data and the depth image data, and the patient's foot image data registered in the ROM 202 in advance. Specifically, the foot image data of the patient as a template registered in the ROM 202 is searched from the visible light image data and the depth image data, and the foot region and the depth in the visible light image are searched. Attempt to detect foot regions in images.
In step S403, the foot region detection unit 304 determines whether a foot region has been detected in the visual field of the patient. As a result of the determination, when a foot region is detected, the process proceeds to step S404. On the other hand, if the result of the determination is that a foot region has not been detected, a series of processing ends.
In step S404, the floor detecting unit 305 detects a floor area based on the depth image data and the data indicating the direction and the magnitude of the acceleration. The direction of the acceleration acquired using the acceleration sensor can be regarded as approximately the same as the direction of the gravitational acceleration. The depth image data is image data in which each pixel has a distance value, and its mathematical entity is a point group in a three-dimensional space. In order to extract a plane inside the depth image, a set of points existing on a figure determined by an arbitrary equation system is acquired from a point group in a three-dimensional space called, for example, a RANSAC (Random Sample Consensus) method. A method can be used. In the present embodiment, the RANSAC method is repeatedly applied to the depth image data, and all the planes existing inside the depth image data are extracted. By selecting a plane perpendicular to the direction of the gravitational acceleration from the extracted plane group, a horizontal plane list (floor surface, desk, shelf, etc.) existing in the patient's field of view can be obtained. Finally, from the horizontal plane list, based on the depth image data received from the foot area detection unit 304, using the position information of the patient's foot area in the depth image, the horizontal plane whose depth distance is closest to the patient's foot is used. By selecting, the area of the floor surface can be detected inside the depth image data.
In step S405, the visual mark drawing unit 306 determines the floor surface in front of the patient's foot based on the information (position) of the foot area in the visible light image and the information (position) of the floor area in the depth image. , And draw a visual mark (a line segment perpendicular to the direction of travel of the patient). The visual mark is transmitted through the glasses-type wearable device 1 and is displayed by being overlaid (overlaid) on the image of the field of view seen by the patient.
図４のフローチャートに示す述べた視覚的目印表示処理を、ビデオレートで繰り返すことで、患者の移動や頭の動きに追随して、リアルタイムに視覚的目印の表示を更新する。 The visual mark display processing described in the flowchart of FIG. 4 is repeated at the video rate, so that the display of the visual mark is updated in real time in accordance with the movement of the patient and the movement of the head.
図５に、本実施例に係る眼鏡型ウェアラブル装置の使用の状況を説明するイラストを示す。図５（ａ）は、装置使用時の患者の姿勢と周囲の環境の例である。図５（ｂ）は、図５（ａ）の状況で眼鏡型ウェアラブル装置１を装着しない場合の患者の視界である。図５（ｂ）の下端には、患者の両足つま先が見えている。図５（ｃ）は、図５（ａ）の状況で眼鏡型ウェアラブル装置１を装着した場合の患者の視界であり、患者の足元の進行方向には、視界に重ね書き（オーバーレイ）して表示された視覚的目印（患者の進行方向に対して垂直方向に伸長する線分）が見えている。 FIG. 5 shows an illustration for explaining the state of use of the glasses-type wearable device according to the present embodiment. FIG. 5A is an example of the posture of the patient and the surrounding environment when using the apparatus. FIG. 5B is a view of the patient when the spectacles-type wearable device 1 is not worn in the situation of FIG. 5A. At the lower end of FIG. 5B, the toes of the patient's feet are visible. FIG. 5C shows the field of view of the patient when the eyeglass-type wearable device 1 is worn in the situation of FIG. 5A. In the traveling direction of the foot of the patient, the field of view is overwritten (overlaid) on the field of view and displayed. The visible visual landmarks (lines extending in the direction perpendicular to the direction of travel of the patient) are visible.
本発明では、奇異性歩行を誘発するための視覚的目印を、患者の視野内において患者の足元の床面上に自動表示し、且つ、その表示の内容を患者の移動や頭の動きに従ってリアルタイムに更新する。これにより、パーキンソン病患者が歩行する際に、奇異性歩行が誘発され、パーキンソン病患者の歩行障害が改善する。
本発明の眼鏡型ウェアラブル装置により、奇異性歩行を誘発する視覚的目印を、患者の操作を必要とせずに自動で、患者の視界に表示できる。
また本発明では、患者の進行方向の床面と患者の足部は、デプスカメラと可視光カメラによってリアルタイムに検出され、当該検出結果に基づいて、奇異性歩行を誘発するのに必要なタイミング（例えば歩行中に足を踏み出す直前）でのみ視覚的目印を表示することが可能である。従って、歩行する患者の足部前方の狭い床面以外の場所に視覚的目印が表示されることはなく、患者の視界を遮ることがない。
さらに、デプスカメラは患者の頭に装着する眼鏡型ウェアラブル装置に固定されているため、患者が移動したり、頭を動かしたりしても、患者の動きに追随して患者の見ている視野内の最適な場所にのみ、視覚的目印を表示できる 。
According to the present invention, a visual mark for inducing paradoxical walking is automatically displayed on the floor at the foot of the patient in the field of view of the patient, and the content of the display is displayed in real time according to the movement of the patient and the movement of the head. Update to Thereby, when a Parkinson's disease patient walks, paradoxical walking is induced, and the walking disorder of the Parkinson's disease patient is improved.
With the glasses-type wearable device of the present invention, visual landmarks that induce paradoxical walking can be automatically displayed in the patient's field of view without requiring operation of the patient.
Further, in the present invention, the floor surface in the traveling direction of the patient and the foot of the patient are detected in real time by the depth camera and the visible light camera, and based on the detection result, the timing necessary to induce paradoxical walking ( For example, it is possible to display a visual mark only at the time immediately before stepping on the foot during walking). Therefore, a visual mark is not displayed anywhere other than the narrow floor surface in front of the foot of the walking patient, and the view of the patient is not obstructed.
Furthermore, since the depth camera is fixed to a spectacle-type wearable device that is worn on the patient's head, even if the patient moves or moves his head, the depth camera follows the patient's movement and stays within the field of view seen by the patient. Visual markers can be displayed only in the optimal location.
Claims (10)
前記視野画像の中から前記ユーザの足部領域を検出する足部領域検出手段と、
前記視野画像の中から床面領域を検出する床面領域検出手段と、
前記足部領域検出手段により検出された前記足部領域と、前記床面領域検出手段により検出された前記床面領域とに基づき、前記床面領域に視覚的目印を描画する描画手段と、
を有することを特徴とする眼鏡型ウェアラブル装置。 Imaging means for imaging a user's visual field image;
Foot region detecting means for detecting a foot region of the user from the visual field image,
Floor area detection means for detecting a floor area from the visual field image ,
It said foot area detected by the foot area detection means, based on said floor surface area detected by the detecting means and the floor area, and drawing means for drawing the visual mark on the floor area,
An eyeglass-type wearable device comprising:
可視光画像データを取得する可視光画像データ取得手段と、
奥行き画像データを取得する奥行き画像データ取得手段と、
を含み、
前記足部領域検出手段は、前記可視光画像データ取得手段により取得された前記可視光画像データと、前記奥行き画像データ取得手段により取得された前記奥行き画像データと、予め登録したユーザの足部画像データとに基づき、前記足部領域を検出することを特徴とする請求項１に記載の眼鏡型ウェアラブル装置。 The imaging means,
Visible light image data acquisition means for acquiring visible light image data,
Depth image data acquisition means for acquiring depth image data ,
Including
The foot region detection unit includes the visible light image data acquired by the visible light image data acquisition unit, the depth image data acquired by the depth image data acquisition unit, and a foot image of a user registered in advance. The glasses-type wearable device according to claim 1, wherein the foot region is detected based on data .
前記床面領域検出手段は、前記奥行き画像データと、前記加速度情報とに基づき、前記床面領域を検出することを特徴とする請求項２に記載の眼鏡型ウェアラブル装置。 The apparatus further includes an acceleration information acquisition unit configured to acquire acceleration information of the user,
The floor area detection means comprises: a pre Symbol depth image data, before SL based on the acceleration information, the spectacle-type wearable device according to claim 2, wherein the detecting the floor area.
ユーザの視野画像を撮像するステップと、
前記視野画像の中から前記ユーザの足部領域を検出するステップと、
前記視野画像の中から床面領域を検出するステップと、
前記足部領域検出手段により検出された前記足部領域と、前記床面領域検出手段により検出された前記床面領域とに基づき、前記床面領域に視覚的目印を描画するステップと、
を有することを特徴とする制御方法。 A control method for a glasses-type wearable device,
Capturing a visual field image of the user;
Detecting a foot region of the user from the visual field image;
Detecting a floor surface area from the visual field image;
Drawing a visual mark on the floor area based on the foot area detected by the foot area detection means and the floor area detected by the floor area detection means;
A control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139267A JP6630503B2 (en) | 2015-07-11 | 2015-07-11 | Glasses-type wearable device, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139267A JP6630503B2 (en) | 2015-07-11 | 2015-07-11 | Glasses-type wearable device, control method thereof, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017018383A JP2017018383A (en) | 2017-01-26 |
| JP2017018383A5 JP2017018383A5 (en) | 2019-05-16 |
| JP6630503B2 true JP6630503B2 (en) | 2020-01-15 |
Family
ID=57887152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015139267A Active JP6630503B2 (en) | 2015-07-11 | 2015-07-11 | Glasses-type wearable device, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6630503B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6891803B2 (en) * | 2017-12-27 | 2021-06-18 | トヨタ自動車株式会社 | Walking aid |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5575294A (en) * | 1994-03-21 | 1996-11-19 | Perry; Robert E. | Method and device for managing freezing gait disorders |
| US5597309A (en) * | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
| JP2005034568A (en) * | 2003-07-14 | 2005-02-10 | Masahito Okada | Walking stick for frozen gait |
| ITMI20051093A1 (en) * | 2005-06-13 | 2006-12-14 | Consiglio Nazionale Ricerche | "SYSTEM FOR THE DISPLAY OF VIRTUAL SHOES AT THE FEET OF A USER AND ITS METHOD" |
| JP2009119066A (en) * | 2007-11-15 | 2009-06-04 | Advanced Telecommunication Research Institute International | Walking support apparatus |
| EP2941767A4 (en) * | 2013-01-04 | 2016-08-31 | Vuzix Corp | Interactive wearable and portable smart devices |
| US10592064B2 (en) * | 2013-09-17 | 2020-03-17 | Amazon Technologies, Inc. | Approaches for three-dimensional object display used in content navigation |
-
2015
- 2015-07-11 JP JP2015139267A patent/JP6630503B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017018383A (en) | 2017-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9727779B2 (en) | Motion information processing apparatus | |
| Xu et al. | The accuracy of the Oculus Rift virtual reality head-mounted display during cervical spine mobility measurement | |
| JP7184398B2 (en) | automatic diagnostic equipment | |
| US8878922B2 (en) | Video image information processing apparatus and video image information processing method | |
| WO2017170832A1 (en) | Gait analyzing device, gait analyzing method, and computer-readable recording medium | |
| US20120310075A1 (en) | Medical measurement system and method | |
| JP6008025B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2014071501A (en) | Image processor, image processing method and program | |
| KR20160018132A (en) | Apparatus and method for walking assiatance for patients with parkinson's disease | |
| KR20170096810A (en) | Remote image transmission system, display apparatus and guide displaying method of thereof | |
| JP2017205134A (en) | Body condition detection device, body condition detection method, and body condition detection program | |
| JP6630503B2 (en) | Glasses-type wearable device, control method thereof, and program | |
| JP6014890B2 (en) | 3D motion detection apparatus and detection method for moving object | |
| KR101124144B1 (en) | Measuring system for degree of spine deformity | |
| JP7367637B2 (en) | Facial information acquisition device and facial information acquisition method | |
| WO2019175922A1 (en) | Driving assistance device, driving assistance method, and driving assistance program | |
| EP3438601A1 (en) | Measurement device, measurement method, and computer readable recording medium | |
| JP2014225301A (en) | Image processing apparatus, method, and program | |
| Cattan et al. | Analysis of tagging latency when comparing event-related potentials | |
| KR101852666B1 (en) | Apparatus for measuring muscle and skeleton of entire body | |
| JP2015139669A (en) | Moving motion analysis apparatus, method, system, and program | |
| JP2014000332A5 (en) | ||
| JP2017018383A5 (en) | Glasses-type wearable device, control method thereof, and program | |
| KR20220140220A (en) | Gait data-based parkinson's syndrome severity identification system and method | |
| JP2020201183A (en) | Camera position adjustment method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6630503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |