JP5869770B2 - 視覚認知検査システム、訓練システムおよび支援システム - Google Patents

視覚認知検査システム、訓練システムおよび支援システム Download PDF

Info

Publication number
JP5869770B2
JP5869770B2 JP2011054996A JP2011054996A JP5869770B2 JP 5869770 B2 JP5869770 B2 JP 5869770B2 JP 2011054996 A JP2011054996 A JP 2011054996A JP 2011054996 A JP2011054996 A JP 2011054996A JP 5869770 B2 JP5869770 B2 JP 5869770B2
Authority
JP
Japan
Prior art keywords
image
display
eye
subject
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011054996A
Other languages
English (en)
Other versions
JP2011212430A (ja
Inventor
敏明 田中
敏明 田中
泉 隆
隆 泉
純一 桑原
純一 桑原
見山 克己
克己 見山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyowa Electronic Instruments Co Ltd
University of Tokyo NUC
Chino Corp
Tokai University Educational Systems
Original Assignee
Kyowa Electronic Instruments Co Ltd
University of Tokyo NUC
Chino Corp
Tokai University Educational Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyowa Electronic Instruments Co Ltd, University of Tokyo NUC, Chino Corp, Tokai University Educational Systems filed Critical Kyowa Electronic Instruments Co Ltd
Priority to JP2011054996A priority Critical patent/JP5869770B2/ja
Publication of JP2011212430A publication Critical patent/JP2011212430A/ja
Application granted granted Critical
Publication of JP5869770B2 publication Critical patent/JP5869770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Rehabilitation Tools (AREA)
  • Eye Examination Apparatus (AREA)

Description

この発明は、視覚認知検査システム、訓練システムおよび支援システムに関し、特に、半側空間無視等の視空間認知障害を有する患者の検査、訓練あるいは日常生活活動等の補助・支援に適用して好適なものである。
世界各国において高齢化が進み、後遺症を伴う脳卒中が深刻な問題になっている。脳卒中後遺症の一つに半側空間無視等の視空間認知障害がある。半側空間無視は、脳の病巣と反対側の刺激に反応しなかったり、そちらを向こうとしない現象であり、しばしば患者の日常生活活動場面で行動異常を来す。例えば、早期には、食事の際に無視側の食べ物を食べ残したり、無視側の介助者に気づかなかったり、歩行時に壁や扉に身体をぶつけたり、衣服の片袖に腕を通さなかったりする。また、全般的に注意障害や発動性の低下を伴う場合が多く、入院中に転倒や骨折を合併することも少なくない。この半側空間無視は、患者の歩行困難や車椅子生活を余儀なくし、日常生活活動(Activities of Daily Living, ADL)や生活の質(Quality of Life,QOL)を後退させる原因の一つでもあり、早急な解決が望まれている。
このような背景のもと、本発明者の一人は、これまで、半側空間無視等の視空間認知障害者に対する検査あるいは福祉機器として、小型CCDカメラ付きヘッドマウンテッドディスプレイ(Head Mounted Display, HMD)の研究開発を行ってきた。そして、この小型CCDカメラ付きHMDを用いて、小型CCDカメラを通じて得た景色や物等をコンピュータ処理により修正し、HMDを通じて、患者の認識できない視空間欠損部分の視覚情報を障害のない片眼もしくは両眼に与えることで、バランス能力の改善および安全かつ安定した歩行・ADLの自立、ひいてはQOLの向上を目指すことを提案してきた(非特許文献1〜4、特許文献1、2参照。)。
従来、上記の小型CCDカメラ付きHMDを用いて半側空間無視患者の検査を行う場合には、行動無視検査(BIT)の一つである線分抹消試験がよく行われる。この線分抹消試験では、半側空間無視患者に、多数の線分が書かれた用紙の視認可能な線分をチェックさせる。そして、その結果から、半側空間無視患者の無視領域を判定する。
特開2007−267802号公報 国際公開第2007/116548号
田中敏明:高齢者の視覚と転倒.理学療法18(9):847-851,2001 Tanaka T., Kojima S., Shirogane S., Ohyanagi T., Izumi T., Yumoto H., Ino S.,and Ifukube T., 14th International Congress of the World Confederation for Physical Therapy(Proceedings, RP-PO-0982)2003, Barcelona(Spain) 人間工学 Vol.41,No.4('05),213-217 [平成17年10月5日検索]、インターネット〈URL:http://www.jneuroengrehab.com/content/2/1/31〉
しかしながら、上記の小型CCDカメラ付きHMDによる半側空間無視等の視空間認知障害を有する障害者の検査の方法や有効性等についてはまだ明らかではなく、実際の適用には克服すべき課題が多くあった。
そこで、この発明が解決しようとする課題は、半側空間無視等の視空間認知障害や視覚障害等を有する障害者の障害の内容や程度を容易に客観的、定量的、かつ、詳細に検査することができる視覚認知検査システムを提供することである。
この発明が解決しようとする他の課題は、半側空間無視等の視空間認知障害や視覚障害等を有する障害者の障害の内容や程度に応じた適切な訓練をすることができ、リハビリテーション治療や介助支援等を効果的に行うことが可能となる訓練システムを提供することである。
この発明が解決しようとするさらに他の課題は、半側空間無視等の視空間認知障害や視覚障害等を有する障害者、さらには広く一般健常者の視覚を補助・支援して日常生活活動の向上および生活の質の向上を図ることができる支援システムを提供することである。
上記課題を解決するために、この発明は、
被験者の左右の眼に互いに異なる映像を互いに独立に呈示することにより立体視が可能に構成されていることを特徴とする視覚認知検査システムである。
また、この発明は、
被訓練者の左右の眼に互いに異なる映像を互いに独立に呈示することにより立体視が可能に構成されていることを特徴とする訓練システムである。
また、この発明は、
被支援者の左右の眼に互いに異なる映像を互いに独立に呈示することにより立体視が可能に構成されていることを特徴とする支援システムである。
この発明において、視覚認知検査システム、訓練システムまたは支援システムは、一つの例では、映像を表示するディスプレイと被験者、被訓練者または被支援者が装着するシャッター眼鏡とを有する。そして、ディスプレイの画面上の左右方向に互いに離れた位置に右眼用の映像および左眼用の映像を交互に表示し、これらの右眼用の映像および左眼用の映像の切り替えのタイミングに同期してシャッター眼鏡の右眼および左眼の開閉を制御する。こうすることで、被験者等は、ディスプレイの画面に表示される映像に対応した立体視が可能となる。立体視した像は、被験者等とディスプレイとの間の空間または被験者等から見てディスプレイの背後の空間に見えるようにする。立体視した像が見える位置は、ディスプレイの画面上の左右方向に互いに離れた位置に交互に表示する右眼用の映像および左眼用の映像の間の視差を適切に選択することにより決めることができる。必要に応じて、視差バリア方式やインテグラルイメージング方式等を採用することにより、シャッター眼鏡を用いないでも立体視可能とすることができる。典型的には、立体視した像の位置を被験者等に指示させ、この指示した位置から、立体視した像の実空間中の位置の座標を得る。被験者等が指示した位置の検出は種々の方法により行うことができ、必要に応じて検出方法が選択されるが、具体的には各種の位置計測センサー、例えば磁気センサー、ジャイロセンサー、レーザー変位計等により検出することができる。
視覚認知検査システム、訓練システムまたは支援システムは、上記のディスプレイおよびシャッター眼鏡を用いる代わりに、被験者等が装着するヘッドマウンテッドディスプレイを有することもある。この場合、ヘッドマウンテッドディスプレイの右眼および左眼の画面にそれぞれ右眼用の映像および左眼用の映像を互いに独立に表示する。ヘッドマウンテッドディスプレイに表示する映像は、典型的にはコンピュータにより制御される。コンピュータとヘッドマウンテッドディスプレイとの間の信号の送受信はケーブルを介して行ってもよいし、無線通信で行ってもよい。
ヘッドマウンテッドディスプレイには、必要に応じて、一つまたは二つ以上の撮像素子が取り付けられる。この撮像素子としては、好適にはCCD、取り分けカラー画像を得ることができる3CCD(青色、緑色および赤色用の三つのCCDからなるもの)が用いられ、画素数も通常は例えば20万画素以上であれば十分であるが、これに限定されるものではない。この撮像素子としては、CCD以外のもの、具体的にはMOSまたはCMOS型撮像素子、取り分けカラー画像を得ることができるものを用いてもよい。この撮像素子は通常、小型カメラの形でヘッドマウンテッドディスプレイの上部や被験者または使用者が装着したときに目の前に当たる位置等に装着され、被験者または使用者の目の光学的位置と撮像素子の光学的位置とが一致するようにする。ヘッドマウンテッドディスプレイは、必要に応じて、被験者または使用者の頭部の運動を計測することができるように構成され、具体的には頭部の運動の計測装置が装着される。ヘッドマウンテッドディスプレイは、完全遮蔽型のものであっても、シースルー型のものであってもよい。
被験者に呈示する映像は、静止画であっても動画であってもよく、必要に応じて選択される。この映像は、例えば、奥行きの深度が互いに異なる複数の仮想立体である。この仮想立体は、例えば立方体等の多面体であるが、これに限定されるものではない。
この発明によれば、被験者あるいは被訓練者あるいは被支援者の左右の眼に互いに異なる映像を互いに独立に呈示することにより立体視が可能に構成されているので、従来のようにヘッドマウンテッドディスプレイを装着して線分抹消試験を行う場合と異なり、奥行きを感じさせる状態で検査を行うことができ、半側空間無視等の視空間認知障害者の立体知覚に関して新たな知見を得ることが可能となり、あるいは、半側空間無視等の視空間認知障害者の訓練または支援を新たな知見に基づいて効果的に行うことが可能となる。
この発明の第1の実施の形態による視覚認知検査システムを示す略線図である。 この発明の第1の実施の形態による視覚認知検査システムにおけるディスプレイの画面と被験者の両眼との相対的位置を示す略線図である。 この発明の第1の実施の形態による視覚認知検査システムにおいて被験者に呈示する映像の一例を示す略線図である。 この発明の第1の実施の形態による視覚認知検査システムを用いて行った検査により得られた、被験者の両眼の瞳孔間距離と被験者が立体視した像を指示する距離Rとの関係を示す略線図である。 この発明の第1の実施の形態による視覚認知検査システムを用いて行った検査により得られた、被験者が立体視した像を指示する距離Rと被験者が立体視した像を指示する位置のばらつきrとの関係を示す略線図である。 この発明の第1の実施の形態による視覚認知検査システムを用いて行った検査により得られた、被験者の両眼の瞳孔間距離と、近位に知覚される像と遠位に知覚される像との二つの像を見込む角度θとの関係を示す略線図である。 近位に知覚される像と遠位に知覚される像との二つの像を見込む角度θの定義を説明するための略線図である。 この発明の第2の実施の形態による視覚認知検査システムを示す略線図である。 この発明の第2の実施の形態による視覚認知検査システムを構成するヘッドマウンテッドディスプレイの構成を示す略線図である。 この発明の第2の実施の形態による視覚認知検査システムにおいて必要な場合にヘッドマウンテッドディスプレイに呈示する画像の第1の例を示す略線図である。 この発明の第2の実施の形態による視覚認知検査システムにおいて必要な場合にヘッドマウンテッドディスプレイに呈示する画像の第2の例を示す略線図である。 この発明の第2の実施の形態による視覚認知検査システムにおいて必要な場合にヘッドマウンテッドディスプレイに呈示する画像の第3の例を示す略線図である。 この発明の第2の実施の形態による視覚認知検査システムにおいて必要な場合にヘッドマウンテッドディスプレイに呈示する画像の第4の例を示す略線図である。 この発明の第2の実施の形態による視覚認知検査システムにおいて必要な場合にヘッドマウンテッドディスプレイに呈示する画像の第5の例を示す略線図である。
以下、発明を実施するための形態(以下「実施の形態」という。)について図面を参照しながら説明する。
図1は第1の実施の形態による視覚認知検査システムを示す。この視覚認知検査システムは、視空間認知障害等の訓練システムとしても使用することができるものである。
図1に示すように、この視覚認知検査システムは、検査用の映像(静止画または動画)が表示(投影)されるディスプレイ1と、被験者2が装着するシャッター眼鏡3と、磁気送信機(トランスミッタ)4a及び磁気受信機(レシーバ)4bからなる磁気センサー4とを有する。
ディスプレイ1は、図示省略したコンピュータと接続され、このコンピュータの制御により映像を表示することができるようになっている。ディスプレイ1は、特に限定されないが、平面ディスプレイ、例えば液晶ディスプレイが用いられる。このディスプレイ1の画面にコンピュータの制御により、被験者2の右眼用の映像および左眼用の映像を交互に映すことができるようになっている。この場合、右眼用の映像および左眼用の映像の切り替え時間が短いほど画面のちらつきが少なくなるため、最低でも1/60秒(60Hz)毎に右眼用の映像および左眼用の映像を切り替えるのが好ましく、1/90秒(90Hz)以上の速さで切り替えるのがより好ましい。
シャッター眼鏡3は右眼用の液晶シャッターおよび左眼用の液晶シャッターを有する。そして、ディスプレイ1の画面に右眼用の映像および左眼用の映像を切り替えて表示するタイミングに同期して、このシャッター眼鏡3の右眼用の液晶シャッターおよび左眼用の液晶シャッターを交互に開閉する。つまり、ディスプレイ1の画面に右眼用の映像を表示しているときは、シャッター眼鏡3の右眼用の液晶シャッターは開け、左眼用の液晶シャッターは閉める。逆に、ディスプレイ1の画面に左眼用の映像を表示しているときは、シャッター眼鏡3の左眼用の液晶シャッターは開け、右眼用の液晶シャッターは閉める。
磁気センサー4は、磁気送信機4aにより磁界を発生させ、磁気受信機4bによりこの磁界を検出することによりこの磁気受信機4bの位置を三次元計測する位置制御装置として用いられる。この場合、磁気受信機4bは細長い指示棒5の先端に固定されている。検査時には、この指示棒5を被験者2の手に持たせ、あるいは、被験者2の手に固定する。
ディスプレイ1および磁気送信機4aはテーブル6上に設置されているが、これに限定されるものではない。磁気送信機4aは、立体視した像が被験者2とディスプレイ1との間の空間に見えるようにする場合には、好適には、被験者2とディスプレイ1との間のディスプレイ1側に寄った位置に設置される。また、磁気送信機4aは、立体視した像が被験者2から見てディスプレイ1の背後の空間に見えるようにする場合には、好適には、ディスプレイ1の背後に設置される。
被験者2は、例えば、車椅子7に乗った状態で顔がディスプレイ1の方を向くようにテーブル6に着く。検査時には、被験者2は、テーブル6の端部の上に設置されている顎乗せ台8に顎を乗せた状態で検査を行う。顎乗せ台8の高さは、被験者2に応じて適宜調節することができるようになっている。
検査用の映像は、静止画であっても動画(アニメーションを含む)であってもよく、その内容も適宜決めることができる。
実施例について説明する。
ディスプレイ1として26インチの液晶ディスプレイを用いた。被験者2が顎乗せ台8に顎を乗せた状態で被験者2の両眼がディスプレイ1の中心部と向かい合うようにディスプレイ1の高さを調節した。ディスプレイ1の画面と被験者2の眉間の中心との間の距離Lは95cmに設定した。図2にディスプレイ1と被験者2の両眼の相対的位置を示す。磁気センサー4としては米Polhemus社製FASTRAK(商品名)を用いた。FASTRAKの測定精度は位置0.76mm、角度0.15度、分解能は位置0.005mm、角度0.025、測定範囲は磁気送信機4aを中心とする約76cmの半球内、反応速度は4ミリ秒である。磁気受信機4bは木製の細長い指示棒5の先端に固定した。検査時には、この指示棒5を被験者2の利き腕の手に持たせる。指示棒5の長さは約50cmであるが、この被験者2が指示棒5のどの部位を持つかで手先から磁気受信機4bの距離が異なり、この距離は20cm程度から40cm程度である。
被験者2に呈示する検査用の映像を図3AおよびBに示す。図3Aは右眼に投影する像、図3Bは左眼に投影する像を示す。図3AおよびBに示すように、これらの像は、二つの立方体が互いに異なる位置および方位に、しかも互いに異なる奥行きに配置されたものである。図3AおよびBの左方の立方体は近くに、右方の立方体はやや遠くに見える。図3AおよびBの左方の立方体の画面上の一辺の長さは約9.5cm、右方の立方体の画面上の一辺の長さは約6.3cmである。
被験者2にシャッター眼鏡3を装着させる。コンピュータの制御により、ディスプレイ1の画面上の、被験者2の眉間の正面位置から左右方向の等距離の位置に、検査用の映像として、右眼に投影する像(図3A)および左眼に投影する像(図3B)を交互に表示する。このようにディスプレイ1の画面上の左右方向の互いに異なる位置に互いに異なる検査用の映像を交互に表示することにより立体視が可能である。この状態では、被験者2により知覚される像は、被験者2とディスプレイ1との間の空間に見える。
被験者2に対し、右眼に投影する像(図3A)および左眼に投影する像(図3B)をディスプレイ1の画面上の上記の二つの位置にそれぞれ交互に呈示し、左方の立方体→右方の立方体→左方の立方体→右方の立方体という順番で、指示棒5の先端の磁気受信機4bにより各立方体の下部の角を繰り返し5回指示させるという課題を与える。このとき、指示棒5の先端の磁気受信機4bが指示した位置を磁気センサー4により三次元計測する。こうして指示した位置から間接的に、被験者2により知覚される像の実空間中の座標を得ることができ、その結果から、被験者2には像がどこにどのように知覚されているかを推測することができる。なお、上記の課題は特殊なものではなく、健常者の多くと少数の患者が実行することができるものである。
被験者2は、5人の健常者および一人の半側空間無視患者である。健常者としては、後述の指示する位置のばらつきrが少ない傾向の者を選択した。
図4は、被験者2の両眼の瞳孔間距離と被験者2が知覚した像を指示する距離R(両眼の瞳孔間の中心位置から指示した点までの距離)(図2参照)との関係を示す。距離Rは三次元立体知覚する対象物の距離感を示す。この場合、図3AおよびBの左方の立方体はR=40cmのところに一辺の長さが4cmの立方体として立体視した像が見え、右方の立方体はR=60cmのところに一辺の長さが4cmの立方体として立体視した像が見える。半側空間無視患者については、図2の右眼に投影する像および左眼に投影する像の表示位置の側方変位が0cm、5cm、10cmの場合について測定を行い、これらの測定により得られた距離Rの平均値を求めた。
図4より、半側空間無視患者は、健常者に比べて、近位の像および遠位の像ともに、指示する距離Rが大きい傾向が見られる。逆に言えば、指示する距離Rを健常者と比較することにより、患者の障害の程度を測定する(診断)ことができる。
図5は、指示する距離Rと指示する位置のばらつきrとの関係を示す。半側空間無視患者については、図2の右眼に投影する像および左眼に投影する像の表示位置の側方変位が0cm、5cm、10cmの場合について測定を行い、これらの測定により得られたばらつきrの平均値を求めた。図5から明らかなように、近位の像および遠位の像ともに、半側空間無視患者のばらつきrは、ばらつきrが少ない健常者よりは大きい。逆に言えば、指示する位置のばらつきrを健常者と比較することにより、患者の障害の程度を測定する(診断)ことができる。
図6は、瞳孔間距離と、近位に知覚される像と遠位に知覚される像との二つの像を眉間から見込む角度θ(図7参照)を計算したものとの関係を示す。図6より、健常者ではθはある範囲内に入っている。半側空間無視患者のθは健常者と比べて少し小さい傾向を示す。逆に言えば、患者のθを健常者のθと比較することにより、患者の障害の程度を測定する(診断)ことができる。
以上のように、この第1の実施の形態による視覚認知検査システムによれば、ディスプレイ1およびシャッター眼鏡3を用いて被験者2の左右の眼に互いに異なる映像を互いに独立に呈示することにより立体視が可能であることにより、従来のようにヘッドマウンテッドディスプレイを装着して線分抹消試験を行う場合と異なり、奥行きを感じさせる状態で検査を行うことができ、半側空間無視等の視空間認知障害者の立体知覚に関して新たな知見を得ることが可能となる。あるいは、この視覚認知検査システムを用いて半側空間無視等の視空間認知障害者の訓練または支援を新たな知見に基づいて効果的に行うことが可能となる。
次に、第2の実施の形態による視覚認知検査システムを示す。この視覚認知検査システムは、視空間認知障害等の訓練システムあるいは支援システムとしても使用することができるものである。
図8に示すように、この視覚認知検査システムは、ヘッドマウンテッドディスプレイ11とコンピュータ12とを有する。
ヘッドマウンテッドディスプレイ11の構成を図9に示す。図9に示すように、ヘッドマウンテッドディスプレイ11の前面、すなわち被験者(あるいは使用者)が装着したときにその両眼e1 、e2 に光学的に対応する位置に二つの3CCDカメラ13a、13bが装着され、同じく両眼e1 、e2 に対応する位置に二つのアイカメラ14a、14bが装着され、液晶ディスプレイ等の二つのディスプレイ15a、15bが両眼e1 、e2 に光学的に対応する位置に装着されている。
図8に示すように、ヘッドマウンテッドディスプレイ11には、図示省略したGPSアンテナおよび受信機(無線LAN受信機)が内蔵された頭部・体幹・四肢運動計測装置16が装着されている。ヘッドマウンテッドディスプレイ11は被験者(あるいは使用者)が頭部に装着することができるようにバンド11aを有する。
図8に示すように、ヘッドマウンテッドディスプレイ11とコンピュータ12とは、ケーブル17を介して相互に信号の送受信を行うことができるようになっている。ただし、ヘッドマウンテッドディスプレイ11とコンピュータ12との間の信号の送受信は無線通信で行うようにしてもよい。ヘッドマウンテッドディスプレイ11の3CCDカメラ13a、13bで撮像された画像をコンピュータ12の本体の処理/制御装置に取り込み、この処理/制御装置で所定の処理を施した後にこの処理後の画像をディスプレイ15a、15bに表示し、被験者(あるいは使用者)に呈示することができるようになっている。また、アイカメラ14a、14bで計測された被験者(あるいは使用者)の両眼e1 、e2 の眼球運動の計測結果を処理/制御装置に取り込み、3CCDカメラ13a、13bで撮像された画像を処理/制御装置に取り込んでこの処理/制御装置で所定の処理を施す際にこの眼球運動の結果を反映させることができるようになっている。
コンピュータ12は通常、コンピュータ本体(処理/制御装置)とディスプレイとを有する。コンピュータ12はデスクトップ型であってもノート型であってもよい。処理/制御装置は、プロセッサ、主記憶装置(メインメモリ)、補助記憶装置等を有する。補助記憶装置としては、ハードディスクドライブ等の各種のものを用いることができ、処理/制御装置に内蔵されたものであっても外付けのものであってもよい。この補助記憶装置には所定のプログラミング言語を用いた所定のプログラムが格納されている。このプログラムの実行の際には、補助記憶装置から主記憶装置にこのプログラムが読み込まれ、または無線LAN等でダウンロードし、プロセッサによってそのプログラムが実行され、またはネットワークでつながっているサーバーでプログラムが実行される。図示は省略するが、処理/制御装置には、必要に応じて、キーボードやマウス等の入力装置や他の周辺機器を接続してもよい。
この第2の実施の形態においては、ヘッドマウンテッドディスプレイ11の右眼のディスプレイ15aの画面および左眼のディスプレイ15bの画面にそれぞれ互いに異なる右眼用の映像および左眼用の映像を交互に表示することにより立体視が可能になっている。この場合、第1の実施の形態と同様に、右眼用の映像および左眼用の映像としては、左右方向に位置が互いにずれた互いに異なる映像を用いることができる。
これに加えて、この第2の実施の形態においては、必要に応じて、所定のプログラミング言語を利用したプログラムの設計により、画像を表示する際の座標系を物体中心座標系または身体中心座標系に設定可能に構成される。この設定は、例えば、検査者が、コンピュータのキーボードやマウス等を操作することにより容易に行うことができるようになっている。
この視覚認知検査システムは必要に応じて視覚情報呈示システムとして用いることができる。この場合、処理/制御装置により行う処理には各種のものがあり、必要に応じて選ぶことができるが、具体例を挙げると次のとおりである。
(1)エッジ強調表示
現実空間映像に対してエッジを強調して表示し、見やすくする。例えば、図10Aに示すような階段の現実空間映像に対し、処理/制御装置による処理後の複合現実空間映像(ヘッドマウンテッドディスプレイ11のディスプレイ15a、15bに表示する映像)においてそのエッジを強調して図10Bに示すように表示する。
(2)縮小表示
現実空間映像における認識空間に無視空間の視覚情報も呈示することで無視空間の視覚情報も認識可能とする。例えば、図11Aに示すようにビルの現実空間映像において、半側空間無視患者には無視空間にある左端のビルが認識できない場合に、図11Bに示すように複合現実空間映像において現実空間映像を水平方向に縮小して認識空間に無視空間にあるビルも表示することができるようになり、認識可能となる。この例では縮小率は80%であるが、一般的には例えば70%以上90%以下とすることが望ましい(非特許文献3参照。)。このように縮小による視野変換を行う際には、現実空間の中心を変えずに、周辺視野部から中心部に向かって徐々に視野圧縮を行うことで、認知しやすい空間を呈示することができる。
(3)注意喚起情報表示
現実空間映像における認識空間に注意喚起情報を呈示することで無視空間の視覚情報も認識可能とする。例えば、図12Aに示すようにビルの現実空間映像において、半側空間無視患者には無視空間にある左端のビルが認識できない場合に、図12Bに示すように複合現実空間映像において認識空間に無視空間の左端に注意喚起情報を表示することで無視空間の視覚情報も認識可能となる。この例では注意喚起情報として矢印を用いている。実際には、例えば、所定の位置に所定の注意喚起情報を含む仮想空間映像を生成し、この仮想空間映像を現実空間映像と合成して複合現実空間映像とする。
(4)拡大表示
現実空間においてある物体を数秒間注視したとき、その注視した状況を眼球運動により検出し、検出されたときに注視したものを複合現実空間映像において拡大表示することで認識可能とする。例えば、現実空間において図13Aに示すような遠くにあるカレンダーを注視したとき、このカレンダーを図13Bに示すように複合現実空間映像において拡大表示することにより、カレンダーが見やすくなる。あるいは、現実空間において図13Aに示すようにドアのロックボタンを数秒間注視したとき、このドアロックボタンを図13Bに示すように複合現実空間映像において拡大表示することにより、ボタンが押しやすくなる。
上記の各処理および表示は、あらかじめこの視覚情報呈示システムにより検査を行った結果や、アイカメラ14a、14bによる眼球運動計測および頭部・体幹・四肢運動計測装置16による頭部・体幹・四肢運動計測により得られるデータ等に基づいてコンピュータ12の処理/制御装置により、使用者個々人に適した形で自動的に行うことが可能である。
この第2の実施の形態によれば、第1の実施の形態と同様な利点を得ることができることに加えて、種々の視覚情報の呈示の結果を総合的に判断することにより、半側空間無視等の視空間認知障害をより正確に検査することが可能となる。また、ヘッドマウンテッドディスプレイ11に設けられているアイカメラ14a、14bにより、立体視する場合の被験者の眼球運動状態を把握することができる。例えば、左無視の場合、左方向への眼球運動が少ない場合があるが、これを把握することができる。立体視での空間認知障害の場合は左空間でもその空間の遠位位置(患者・障害者本人にやや遠い位置)での障害や左空間で近位位置(患者・障害者本人にやや近い位置)の空間認知障害(無視)等が起きている可能性があるが、これらの計測は既存の検査、機材では不可能であるところ、この視覚認知検査システムによれば、これらの計測を行うことが可能となる。このため、この視覚認知検査システムにより正確な検査を行うことができ、あるいはこの視覚認知検査システムを訓練システムあるいは支援システムとして使用することにより、視空間認知障害等の訓練あるいは支援が可能になる。
次に、第3の実施の形態による訓練システムについて説明する。この訓練システムは、第1の実施の形態または第2の実施の形態による視覚認知検査システムを用いたものであり、視空間認知障害等の視覚認知障害者の訓練に使用することができるものである。
視覚認知障害者の空間認知は、三次元的無視の場合でも認知可能な場合でも誤差が大きくなる。この誤差を小さくするための訓練方法として、第1の実施の形態または第2の実施の形態による視覚認知検査システムを用いた訓練が有効である。具体的には次の(1)〜(11)の訓練方法がある。
(1)線分抹消でも立体物での抹消練習を行う。具体的には、左右、前後、上下に物体を配置して、それぞれの方向で抹消練習を行う。
(2)立体物のある部分(例えば、エッジ)の認知の訓練を行う。
(3)立体物の模倣の訓練を行う。
(4)距離感の異なる立体物の認知等の訓練を行う。
(5)立体物を正面、左右、上下から見た条件での無視状況検査と訓練とを行う。
(6)患者が良く知っている建物、立体物を自分が客観的に外、屋外から見た場合の認知および自分が建物、立体物に入った屋内での配置イメージ認知のイメージ訓練を行う。これは、空間無視の障害のうち心的表象障害という障害を改善する訓練になる。
(7)立体的に空間無視を生じている部分へ三次元的矢印を出して注意喚起する。
(8)三次元的に空間を拡大縮小して認知することができる部分へ全ての視覚情報を呈示する。
(9)空間無視患者が奥行き感を認知しやすい空間位置を中心に空間無視訓練を行い、
徐々に近位(自分から近い距離)および遠位(自分から遠い距離)での左右、前後、上下に関して訓練を行う。
(10)(9)の方法を発展させ、空間位置で奥行きが認知しにくい視覚情報を患者が認知しやすい奥行き位置へずらしたり、空間を圧縮(縮小)させて視覚情報を呈示する(ヒトの錯覚を利用する)。
(11)動的条件下(歩行等)では、奥行き認知も変化する可能性もあることから、注意喚起、視覚拡大縮小情報をヒトの動きに連動させ変化させる。
一方、上記の(1)〜(11)の方法とは異なる訓練方法として、次の二つの方法が挙げられる。
(12)患者と訓練システムとの間で実時間で相互交信可能な(あるいはインタラクティブ(interactive))機能を設け、この機能を用いて訓練を行う方法である。具体的には、患者がヘッドマウンテッドディスプレイ11を装着して手を動かしたり、手に持った治具を操作したりする。すると、その患者の働きかけの具合・内容に応じて、ヘッドマウンテッドディスプレイ11に投影する(ヘッドマウンテッドディスプレイ11を通じて患者が見る)立体的表象が変化する。例えば、右空間には手先が良く到達するのに、左空間には手先が到達しない場合には、左空間の像が自動的に右手に少し移動して表示されるというような機能を設ける。あるいは、患者が左手にあるサイコロに気づかない場合(患者が指示しない場合)には、サイコロの輝度を時間的に変化させて点滅させたり、サイコロの形状を大きくしたりする等して、気づきやすくするというような機能を設ける。
(13)健常者が脳血管疾患による空間認知の障害を体験する機能である。患者が空間を歪んで認識しているならば、それをヘッドマウンテッドディスプレイ11で補正しようとするのが第2の実施の形態の考え方であるが、補正の量を逆転させた画像をヘッドマウンテッドディスプレイ11に投影して健常者が見ると、患者が空間を認識しているのと同等のことが起きると考えることができる。例えば、健常者の体に重りを付けたり、関節を動かしにくくして身体障害を体験する方法は従来からあるが、脳血管疾患による空間の認識の障害等の高次脳機能障害を体験することができるシステムはこれまでに提案されていない。この訓練システムは、患者の家族や医療従事者の教育に役立つものと考えられる。
次に、第4の実施の形態による視覚認知検査システムについて説明する。
この視覚認知検査システムは、シャッター眼鏡3を用いず、代わりに、視差バリア方式を採用することにより、ディスプレイ1のみで裸眼で立体視可能としたものである。
視差バリア方式について説明すると次の通りである。いわゆるスマートフォンや携帯ゲーム機は画面が小さいため、見る位置がある程度特定できる。そのため、左右の画像をそれぞれの方向からしか見えないようにすることで、被験者2がシャッター眼鏡3を装着しないでも立体視可能となる。そのための方式の一つが視差バリア方式である。つまり、ディスプレイ1からの光の進行方向を制御し、被験者2の右眼および左眼に互いに異なる画像が見えるようにするために視差バリアを利用するものである。視差バリア方式の実現例としては、従来の液晶ディスプレイにスイッチ液晶と呼ばれるものを組み合わせたものが提案されている。このスイッチ液晶が光学視差バリアを作り出し、光の進行方向を制御している。この液晶ディスプレイでは、視差バリアで分けられた右眼および左眼のそれぞれの画像エリアに合わせて三次元画像を表示することで、立体視を可能としている。視差バリアを作るスイッチ液晶は電気的にコントロールすることで視差バリアのオン/オフができるため、二次元/三次元の切り替えも簡単に行うことができる。また、構造もシンプルであるため、コスト面、信頼性に優れている。また、ディスプレイ1に表示する右眼の画像と左眼の画像との差を調整することで、奥行き感も調整することができる。さらには、スイッチ液晶とタッチパネルとを一体化することで薄型化を実現することができ、視差バリアを縦横の両方向で制御することで、縦でも横でも三次元表示が可能となる。
この第4の実施の形態の上記以外のことは、第1の実施の形態と同様である。
この第4の実施の形態によれば、第1の実施の形態と同様な利点に加えて、被験者2がシャッター眼鏡3を装着せず裸眼で検査が可能であるため、検査に伴い被験者2に掛かる負担の軽減を図ることができるという利点を得ることができる。
次に、第5の実施の形態による視覚認知検査システムについて説明する。
この視覚認知検査システムは、シャッター眼鏡3を用いず、代わりに、インテグラルイメージング方式を採用することにより、ディスプレイ1のみで裸眼で立体視可能としたものである。
インテグラルイメージング方式について説明すると次の通りである。上述の視差バリア方式は、左右それぞれの眼に対応する画像を一つずつ用意するが、ディスプレイ1のサイズが眼の幅より大きくなると、両方の眼に同じ画像が入ってくる場合がある。それを避けるには、一つの画素から複数の画像を光の方向を制御してそれぞれの角度で出せばよい。このような理由により、市販の三次元テレビの中に、このインテグラルイメージング方式を採用したものがある。つまり、視聴位置に応じて右眼用と左眼用との互いに異なる映像を映し出し、それぞれの目で映像を捉えることで立体として認識することができる。このインテグラルイメージング方式を採用した市販の三次元テレビでは、この原理を独自の映像処理技術で実現している。実際には1画素毎に九つの映像をリアルタイムに生成し、液晶パネルから、垂直レンチキュラーシートを通じて、9方向に光を制御して発信している。この三次元テレビは、フルハイビジョンの約4倍の解像度となる約820万画素となっている。これで1画素で9枚の画像を同時に表示することで、1280×720の三次元映像を作り出している。ここで、垂直レンチキュラーシートとは、半円状の特殊なレンズで、1画素分となる9枚の画像をそれぞれの方向に送り出している。これにより、視野角が広くなる。
この第5の実施の形態の上記以外のことは、第1の実施の形態と同様である。
この第5の実施の形態によれば、第1の実施の形態と同様な利点に加えて、被験者2がシャッター眼鏡3を装着せず裸眼で検査が可能であるため、検査に伴い被験者2に掛かる負担の軽減を図ることができるという利点を得ることができる。
以上、この発明の実施の形態および実施例について具体的に説明したが、この発明は、上述の実施の形態および実施例に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
例えば、上述の第1の実施の形態による視覚認知検査システムの構成は一例に過ぎず、他の構成を用いてもよい。また、第2の実施の形態において用いたヘッドマウンテッドディスプレイ11も一例に過ぎず、これと異なる構成のヘッドマウンテッドディスプレイを用いてもよい。
1…ディスプレイ、2…被験者、3…シャッター眼鏡、4…磁気センサー、4a…磁気送信機、4b…磁気受信機、5…指示棒、6…テーブル、7…車椅子、8…顎乗せ台、11…ヘッドマウンテッドディスプレイ、12…コンピュータ、13a、13b…3CCDカメラ、14a、14b…アイカメラ、15a、15b…ディスプレイ、16…頭部・体幹・四肢運動計測装置

Claims (8)

  1. 視覚認知障害者の視覚認知検査を行うための視覚認知検査システムであって、
    被験者の左右の眼に互いに異なる映像であって奥行きの深度が互いに異なる複数の仮想立体からなるものを互いに独立に呈示することにより立体視が可能に構成され
    上記映像を表示するディスプレイと上記被験者が装着するシャッター眼鏡とを有し、上記ディスプレイの画面上の左右方向に互いに離れた位置に右眼用の映像および左眼用の映像を交互に表示し、これらの右眼用の映像および左眼用の映像の切り替えのタイミングに同期して上記シャッター眼鏡の右眼および左眼の開閉を制御し、
    立体視した像が、上記被験者と上記ディスプレイとの間の空間または上記被験者から見て上記ディスプレイの背後の空間に見えるようにし、
    上記被験者が立体視した像の実空間中の位置の座標を得ることを特徴とする視覚認知検査システム。
  2. 立体視した像の位置を上記被験者に指示させ、この指示した位置から、立体視した像の実空間中の位置の座標を得ることを特徴とする請求項1に記載の視覚認知検査システム。
  3. 上記被験者が指示した位置を位置計測センサーにより検出することを特徴とする請求項2に記載の視覚認知検査システム。
  4. 上記映像は静止画または動画であることを特徴とする請求項1〜3のいずれか一項に記載の視覚認知検査システム。
  5. 視覚認知障害者の視覚認知検査を行うための視覚認知検査システムであって、
    被験者の左右の眼に互いに異なる映像であって奥行きの深度が互いに異なる複数の仮想立体からなるものを互いに独立に呈示することにより立体視が可能に構成され、
    上記被験者が装着するヘッドマウンテッドディスプレイを有し、このヘッドマウンテッドディスプレイの右眼および左眼の画面にそれぞれ右眼用の映像および左眼用の映像を互いに独立に表示し、
    上記被験者が立体視した像の実空間中の位置の座標を得ることを特徴とする視覚認知検査システム。
  6. 視覚認知障害者の視覚認知検査を行うための視覚認知検査システムであって、
    被験者の左右の眼に互いに異なる映像であって奥行きの深度が互いに異なる複数の仮想立体からなるものを互いに独立に呈示することにより立体視が可能に構成され、
    上記映像を表示するディスプレイを有し、視差バリア方式またはインテグラルイメージング方式により、上記被験者の左右の眼に互いに異なる映像を互いに独立に呈示することにより立体視が可能に構成され、
    上記被験者が立体視した像の実空間中の位置の座標を得ることを特徴とする視覚認知検査システム。
  7. 視覚認知障害者の訓練を行うための訓練システムであって、
    被訓練者の左右の眼に互いに異なる映像であって奥行きの深度が互いに異なる複数の仮想立体からなるものを互いに独立に呈示することにより立体視が可能に構成され、
    上記映像を表示するディスプレイと上記被訓練者が装着するシャッター眼鏡とを有し、上記ディスプレイの画面上の左右方向に互いに離れた位置に右眼用の映像および左眼用の映像を交互に表示し、これらの右眼用の映像および左眼用の映像の切り替えのタイミングに同期して上記シャッター眼鏡の右眼および左眼の開閉を制御し、
    立体視した像が、上記被訓練者と上記ディスプレイとの間の空間または上記被訓練者から見て上記ディスプレイの背後の空間に見えるようにし、
    上記被訓練者が立体視した像の実空間中の位置の座標を得ることを特徴とする訓練システム。
  8. 視覚認知障害者の支援を行うための支援システムであって、
    被支援者の左右の眼に互いに異なる映像であって奥行きの深度が互いに異なる複数の仮想立体からなるものを互いに独立に呈示することにより立体視が可能に構成され、
    上記映像を表示するディスプレイと上記被支援者が装着するシャッター眼鏡とを有し、上記ディスプレイの画面上の左右方向に互いに離れた位置に右眼用の映像および左眼用の映像を交互に表示し、これらの右眼用の映像および左眼用の映像の切り替えのタイミングに同期して上記シャッター眼鏡の右眼および左眼の開閉を制御し、
    立体視した像が、上記被支援者と上記ディスプレイとの間の空間または上記被支援者から見て上記ディスプレイの背後の空間に見えるようにし、
    上記被支援者が立体視した像の実空間中の位置の座標を得ることを特徴とする支援システム。
JP2011054996A 2010-03-16 2011-03-14 視覚認知検査システム、訓練システムおよび支援システム Active JP5869770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011054996A JP5869770B2 (ja) 2010-03-16 2011-03-14 視覚認知検査システム、訓練システムおよび支援システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010058680 2010-03-16
JP2010058680 2010-03-16
JP2011054996A JP5869770B2 (ja) 2010-03-16 2011-03-14 視覚認知検査システム、訓練システムおよび支援システム

Publications (2)

Publication Number Publication Date
JP2011212430A JP2011212430A (ja) 2011-10-27
JP5869770B2 true JP5869770B2 (ja) 2016-02-24

Family

ID=44942781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011054996A Active JP5869770B2 (ja) 2010-03-16 2011-03-14 視覚認知検査システム、訓練システムおよび支援システム

Country Status (1)

Country Link
JP (1) JP5869770B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103690143B (zh) * 2013-12-18 2017-01-04 北京东方之星幼儿教育科技有限公司 视知觉测评系统和方法
KR101564168B1 (ko) 2014-04-11 2015-10-29 울산대학교 산학협력단 뇌 손상에 따른 시지각 및 인지기능 훈련장치
US9978145B2 (en) 2014-12-16 2018-05-22 Koninklijke Philips N.V. Assessment of an attentional deficit
CN107427209B (zh) * 2015-01-20 2019-10-01 格林C.科技有限公司 用于自动视力诊断的方法和系统
JP7276823B2 (ja) 2019-03-28 2023-05-18 学校法人早稲田大学 視覚認知機能評価システム
US20230172527A1 (en) * 2020-05-08 2023-06-08 Sumitomo Pharma Co., Ltd. Three-dimensional cognitive ability evaluation system
CN112263450A (zh) * 2020-10-14 2021-01-26 上海翊视皓瞳信息科技有限公司 基于近眼信息的视力训练方法及其装置
CN113018124A (zh) * 2021-03-02 2021-06-25 常州市第一人民医院 一种用于单侧忽略患者的康复设备
JP7486223B2 (ja) * 2022-04-20 2024-05-17 株式会社レーベン 視力訓練具
CN115251827B (zh) * 2022-09-26 2022-12-30 广东视明科技发展有限公司 基于虚实结合的深度知觉评估方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01236031A (ja) * 1988-03-17 1989-09-20 Kenji Bessho 視力評価装置
JP2745687B2 (ja) * 1989-06-14 1998-04-28 日産自動車株式会社 立体視能力検査装置
JPH07222720A (ja) * 1994-02-16 1995-08-22 Furoobell:Kk 医療用観察機器
JPH0838426A (ja) * 1994-07-27 1996-02-13 Canon Inc 検眼装置
JP3583530B2 (ja) * 1995-12-05 2004-11-04 日本放送協会 立体感測定装置
JP3462689B2 (ja) * 1997-01-31 2003-11-05 三洋電機株式会社 立体視機能検査装置
JPH11155814A (ja) * 1997-11-28 1999-06-15 Nidek Co Ltd 視機能検査装置
JP2001195582A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 画像検出装置、画像検出方法、立体表示装置、表示コントローラ、立体表示システムおよびプログラム記憶媒体
JP4369078B2 (ja) * 2001-05-11 2009-11-18 オリンパスビジュアルコミュニケーションズ株式会社 立体映像を利用する視力回復装置及び立体映像の表示方法
JP2004129698A (ja) * 2002-10-08 2004-04-30 Japan Science & Technology Agency 運動機能障害者用リハビリテーション支援装置
JP2005115299A (ja) * 2003-10-06 2005-04-28 Masahiro Sugano 集音器
JP2005168856A (ja) * 2003-12-12 2005-06-30 National Institute Of Advanced Industrial & Technology 疲労度計測装置および疲労度計測方法
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
JP4721941B2 (ja) * 2006-03-30 2011-07-13 北海道公立大学法人 札幌医科大学 検査システム、訓練システムおよび視覚情報呈示システム
JP5111845B2 (ja) * 2006-12-26 2013-01-09 株式会社トプコン 眼底画像処理装置、眼底撮影装置及びプログラム
JP5072498B2 (ja) * 2007-09-12 2012-11-14 株式会社東芝 立体表示装置およびその装置における選択画像判定方法
JP5173395B2 (ja) * 2007-12-25 2013-04-03 パナソニック株式会社 視機能検査装置

Also Published As

Publication number Publication date
JP2011212430A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
JP5869770B2 (ja) 視覚認知検査システム、訓練システムおよび支援システム
JP4721941B2 (ja) 検査システム、訓練システムおよび視覚情報呈示システム
US9788714B2 (en) Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US10231614B2 (en) Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US11273344B2 (en) Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders
CN104306102B (zh) 针对视觉障碍患者的头戴式视觉辅助系统
US9538947B2 (en) Method, system and device for assisting diagnosis of autism
JP6027764B2 (ja) ミラーシステム、および、その制御方法
WO2012160741A1 (ja) 視覚疲労度測定装置、その方法、視覚疲労度測定システムおよび3次元メガネ
Durgin et al. Palm boards are not action measures: An alternative to the two-systems theory of geographical slant perception
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
JP6503062B2 (ja) 固視ずれを計測するためのシステム
US20060087618A1 (en) Ocular display apparatus for assessment and measurement of and for treatment of ocular disorders, and methods therefor
JP2008256946A (ja) 画像表示装置のための酔い防止装置
CN105943327B (zh) 具有防眩晕设备的视力锻炼保健系统
JPWO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
TWI496027B (zh) 動作引導提示方法、其系統及動作引導提示裝置
US20230384602A1 (en) Systems and methods for improving binocular vision
JP7471572B2 (ja) キャリブレーションシステム、及び、キャリブレーション方法
WO2020049838A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2012160745A1 (ja) 立体映像提供装置及びその方法
JP5712351B2 (ja) ミラーセラピーシステム
WO2017022303A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN116172493A (zh) 用于内窥镜系统的成像及显示方法和内窥镜系统
TW201228359A (en) Method for detecting the best viewing distance of three-dimensional display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140313

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150212

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151009

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160108

R150 Certificate of patent or registration of utility model

Ref document number: 5869770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250