WO2018143256A1

WO2018143256A1 - 電子システム

Info

Publication number: WO2018143256A1
Application number: PCT/JP2018/003169
Authority: WO
Inventors: 雄紀坂口; 佑輔関根
Original assignee: Terumo Corp
Current assignee: Terumo Corp
Priority date: 2017-02-02
Filing date: 2018-01-31
Publication date: 2018-08-09
Anticipated expiration: 2019-08-02
Also published as: JP2020057029A; US20190331359A1

Abstract

利用者が、利用者のいる場所から離れた実在する場所にいるかのような体験ができる医療システムを提供する。　本発明に係る電子システム（１００）は、所定の第１現実空間において視覚により認識される第１現実空間像を取得する空間像取得部（１０）と、空間像取得部で取得した第１現実空間像を、第１現実空間から離れた第２現実空間において仮想的に表示する表示部（２０）と、第１現実空間において第１現実空間像とは別の視覚以外の五感により認識される第１現実空間情報を取得する音声取得部（３０）、匂い取得部（５０）、及び周囲空気取得部（７０）と、音声取得部、匂い取得部、及び周囲空気取得部で取得された第１現実空間情報を第２現実空間において再現する音声出力部（４０）、匂い発生部（６０）、及び周囲空気発生部（８０）と、を有する。

Description

電子システム

　本発明は、電子システムに関する。

　近年ＶＲ（ヴァーチャルリアリティ）という実在しない空間をコンピュータグラフィック技術により表示する技術の開発が進められている。上記ＶＲ技術を用いることで利用者は特定の行為を実際に経験しなくてもあたかも体験したかのような感覚を味わうことができる。ＶＲ技術に関する技術には、部屋の天井の適所に設けた光源から空間に立体を映し出す立体像投影機を備えるものがある（特許文献１参照）。

特開２００２－１０１４２９号公報

　しかしながら、上記特許文献１では仮想の空間を表示しており、実在する場所にいるかのような体験ができるわけではない。

　そこで本発明は、利用者が、利用者のいる場所から離れた実在する場所にいるかのような体験ができる電子システムを提供することを目的とする。

　上記目的を達成する本発明に係る電子システムは、所定の第１現実空間において視覚により認識される第１現実空間像を取得する空間像取得部と、前記空間像取得部で取得した前記第１現実空間像を、前記第１現実空間から離れた第２現実空間において仮想的に表示する表示部と、前記第１現実空間において前記第１現実空間像とは別の視覚以外の五感により認識される第１現実空間情報を取得する空間情報取得部と、前記空間情報取得部で取得した前記第１現実空間情報を前記第２現実空間において再現する再現部と、を有する。

　本発明に係る電子システムは、上記のように構成しているため、利用者が、利用者のいる場所から離れた実在する場所にいるかのような体験をすることができる。

本発明の一実施形態に係る電子システムを使用する場合における使用者のいる場所（第２現実空間）を示す図である。本発明の一実施形態に係る電子システムを使用する場合における使用者のいる場所から離れた場所（第１現実空間）を示す図である。図１の壁面に使用者のいる場所から離れた場所（第１現実空間）を映し出した状態を示す図である。第１実施形態に係る電子システムを示すブロック図である。第１実施形態に係る電子システムにおける情報のやりとりについて示すシーケンス図である。第１実施形態に係る隔地者との対話について示すフローチャートである。第２実施形態に係る電子システムにおいて使用者のいる場所（第２現実空間）を示す図である。第２実施形態に係る電子システムを示すブロック図である。第３実施形態に係る電子システムにおいて使用者のいる場所（第２現実空間）を示す図である。第３実施形態に係る電子システムを示すブロック図である。上記実施形態の変形例を示し、第１現実空間と第２現実空間とのデータの送受信に無人航空機を利用する場合を示す図である。図１１の無人航空機を示す図である。上記実施形態に係る変形例を示し、使用者に対する隔地の空間像の表示に携帯デバイスを利用する場合を示す図である。

　＜第１実施形態＞
　以下、添付した図面を参照しながら、本発明の実施形態を説明する。なお、以下の記載は特許請求の範囲に記載される技術的範囲や用語の意義を限定するものではない。また、図面の寸法比率は説明の都合上誇張されており、実際の比率とは異なる場合がある。

　図１～図６は本発明の第１実施形態に係る電子システムの説明に供する図である。本実施形態に係る電子システム１００は、一例として入院中の患者（使用者）が、入院しなければ参加する予定であった場所に行ったかのような体験を希望する場合に使用される医療システムについて説明する。

　図１に示すように、電子システム１００は、空間像取得部１０と、表示部２０と、空間情報取得部と、再現部と、を有する。空間像取得部１０は所定の第１現実空間において視覚により認識される第１現実空間像を取得する。表示部２０は、空間像取得部１０で取得した第１現実空間像を、第１現実空間から離れた第２現実空間において仮想的に表示する。空間情報取得部は、音声取得部３０、匂い取得部５０、及び周囲空気取得部７０を含み、第１現実空間において第１現実空間像とは別の視覚以外の五感により認識される第１現実空間情報を取得する。再現部は、音声出力部４０、匂い発生部６０、及び周囲空気発生部８０を含み、空間情報取得部で取得した第１現実空間情報を第２現実空間において再現する。

　なお、以下では第１現実空間が図２に示すように患者Ｐの親族の家にあたり、第２現実空間が図１に示すように患者Ｐの病室である場合について説明する。しかし、以下に説明する電子システム１００を設置できる環境であれば、第１現実空間及び第２現実空間の場所は家や病院に限定されない。上記以外にも介護施設や保育園（保育所）、結婚式場や、当初行く予定であった旅行先のリゾート地等から選択されるいずれか２箇所、さらには離れた会議室同士等であってもよい。以下、詳述する。

　（空間像取得部）
　空間像取得部１０は、図４に示すようにカメラ１１と、スクリーン１２と、プロジェクタ１３と、通信部１４と、制御部１５と、を有する。カメラ１１は、図２に示すように本実施形態において患者Ｐとコミュニケーション（意思疎通）する親族等がいる家の一室に設置され、親族等の空間像を撮像する。ここで、本明細書において空間像とは画像又は映像を意味する。

　スクリーン１２は、プロジェクタ１３によって投影される映像を映し出すために設けられる。プロジェクタ１３は、図３に示すようにいわゆるプロジェクションマッピングの技術を利用して映像を表示する。本実施形態ではスクリーン１２は親族のいる部屋に設置したものとして構成している。しかし、これに限定されず、スクリーン１２は、別途用意したスクリーンではなく、図２等に示すような親族等のいる部屋の壁面や、もしくは人型のスクリーン等を利用してもよい。なお、図２における空間像の投影は図３と同様であるため、図示を省略する。

　プロジェクタ１３は、従来公知の液晶型プロジェクタ、ＤＬＰ（デジタルライトプロセッシング）プロジェクタ、ＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｄｉｓｐｌａｙ）プロジェクタ等を用いることができる。

　通信部１４は、無線通信に用いられるハードウェア等によって構成され、インターネット回線等を用いて患者Ｐと遠隔地にいる親族等とのコミュニケーションを行なうために映像等のデータの送受信を行なう。制御部１５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成し、カメラ１１から通信部１４の制御を行なう。制御部１５のＲＯＭにはプロジェクションマッピングに必要なプログラムが記録されており、表示部２０のカメラ２１によって撮影した映像をスクリーン１２の形状等に応じて補正する。これにより、スクリーン１２の形状に合わせて患者Ｐのいる病院側の映像を映し出すことができる。

　（表示部）
　表示部２０は、図４に示すようにカメラ２１と、スクリーン２２と、プロジェクタ２３と、通信部２４と、制御部２５と、リモコン２６と、を有する。カメラ２１は、カメラ１１と同様に従来公知のカメラによって構成し、患者Ｐの部屋内において患者Ｐとその周囲等の範囲を撮像する。

　スクリーン２２は、スクリーン１２と同様に図１、３に示すように患者Ｐのいる部屋内に設置している。なお、図１、３ではスクリーン２２を便宜上平坦で模様等のないものとして図示しているが、多少の凹凸があったり、模様が形成されていてもよい。スクリーン２２は、本明細書において投影面を備えた投影部に相当する。

　プロジェクタ２３は、プロジェクタ１３と同様であるため、詳細な説明を省略する。なお、プロジェクタ２３は、本明細書において第１現実空間にあたる家の映像を投影する映像出力部に相当する。

　通信部２４は、通信部１４と同様のハードウェア等によって構成し、家等の遠隔地から送信された映像データの送受信を行なう。制御部２５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等によって構成し、プロジェクタ２３及び通信部２４の制御を行なう。制御部２５のＲＯＭには制御部１５と同様にプロジェクションマッピングに必要なプログラムが記録されており、カメラ２１によって撮像したスクリーン２２の形状等に応じて空間像取得部１０から取得した映像を補正する。

　制御部２５のＲＯＭに記憶されたプロジェクションマッピング用のプログラムは、本明細書において投影面の性状に合わせて映像を補正する補正部にあたる。リモコン２６は従来公知の構成と同様であり、ボタンや通信部等の構成を備え、表示部２０の構成の起動のオン、オフを切り替える信号を送出できるように構成している。

　（音声取得部）
　音声取得部３０は、図４に示すようにマイク３１と、スピーカー３２と、通信部３３と、制御部３４と、を有する。マイク３１は、図２に示すように親族等の家の一室に設置され、親族等から発せられる音声や周囲の音声を取得する。スピーカー３２は、親族等の家の部屋の一室に設置され、隔地である病院で取得された患者Ｐや周囲の音声を出力する。

　通信部３３は、通信部１４と同様に構成され、患者Ｐのいる病院等に親族の音声を送受信する。制御部３４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等によって構成し、マイク３１から通信部３３を制御する。

　（音声出力部）
　音声出力部４０は、図４に示すようにスピーカー４１と、マイク４２と、通信部４３と、制御部４４と、を有する。スピーカー４１は患者Ｐのいる病室に設置され、通信部３３から送信された親族等の音声及び周囲の音声を出力する。マイク４２は、患者Ｐのいる病院の一室に設置され、患者Ｐが発する音声及び周囲の音声を取得する。

　通信部４３は、通信部１４と同様に構成され、通信部３３と音声に関するデータの送受信を行なう。制御部４４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等にで構成され、スピーカー４１から通信部４３を制御する。

　（匂い取得部）
　匂い取得部５０は、図４に示すように匂いセンサ５１と、通信部５２と、制御部５３と、を有する。匂いセンサ５１は、図２に示すように家等の親族のいる第１現実空間にあたる家の部屋内の匂いを検出する検出部にあたる。匂いセンサ５１は、取得する匂いに応じて複数個設置することができる。

　匂いセンサ５１は、電子システム１００の設置される場所に応じて例えばリビングや寝室であればコーヒーやお茶等の匂いを検出するセンサ、家具等の匂いを検出するセンサを設置することができる。なお、図２では一例として親族等のいる部屋にコーヒー等を用意している。

　通信部５２は、通信部１４と同様のハードウェアによって構成され、匂いセンサ５１によって取得された匂いに関する情報を匂い発生部６０に送信する。制御部５３は、匂いセンサ５１及び通信部５２を制御する。

　（匂い発生部）
　匂い発生部６０は、図４に示すようにカートリッジ６１と、配合部６２と、発生器６３と、通信部６４と、制御部６５と、を有する。カートリッジ６１は、複数用意され、親族等のように患者Ｐと対話する親族のいる部屋の匂いを再現するために、例えば飲食物の匂いや家具のような匂いをそれぞれ保有している。

　配合部６２は、通信部６４から取得された情報に基づいて実際の家と同様の匂いを再現するためにカートリッジ６１に収容された複数の匂いを配合する。発生器６３はファン等によって構成し、配合部６２によって配合された匂いを患者Ｐに向けて送風する。通信部６４は、遠隔地の匂い取得部５０の通信部５２と通信し、匂い取得部５０によって測定された匂い成分に関するデータを取得する。制御部６５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等によって構成し、配合部６２から通信部６４までを制御する。

　（周囲空気取得部）
　周囲空気取得部７０は、図４に示すように温度計７１と、風速計７２と、通信部７３と、制御部７４と、を有する。温度計７１は、公知のデジタル温度計等によって構成し、図２に示すように家において親族等のいる部屋の温度をデジタルデータとして取得する。風速計７２は、公知の風速計によって構成し、家における親族等のいる部屋の風速等を測定する。温度計７１と風速計７２とを利用することによって、親族のいる部屋内がエアコン等を用いて温度調整している場合、患者Ｐのいる空間の温度や風を親族等のいる部屋と同様に調整することができる。

　温度計７１は本明細書において第１現実空間にあたる家において親族等のいる部屋内の周囲の温度を測定する測定部にあたる。風速計７２は第１現実空間にあたる親族等のいる部屋内の風速を測定する他の測定部にあたる。

　通信部７３は、温度計７１及び風速計７２によって取得されたデータを患者Ｐの周囲空気発生部８０の通信部８２に送信する。制御部７４は、上記と同様にＣＰＵ，ＲＡＭ、ＲＯＭ等によって構成し、温度計７１から通信部７３までを制御する。

　（周囲空気発生部）
　周囲空気発生部８０は、図４に示すようにエアコン８１と、通信部８２と、制御部８３と、を有する。エアコン８１は、公知の圧縮機、蒸発器、凝縮器、膨張弁等によって構成し、患者Ｐのいる部屋内の温度及び風速を調整する。エアコン８１は本明細書において温度計７１によって測定された温度に合わせて第２現実空間にあたる患者Ｐのいる病院の一室の温度を調整する調製部にあたる。また、エアコン８１は風速計７２によって測定された風速の風を第２現実空間において出力する送風部にあたる。

　通信部８２は、周囲空気取得部７０の通信部７３から親族等のいる部屋の温度や風速に関するデータを受信する。制御部８３は、エアコン８１及び通信部８２を制御する。

　次に本実施形態に係る電子システム１００を用いた遠隔地間の対話について説明する。図５は本実施形態に係る電子システムにおける情報のやりとりを示すシーケンス図である。図６は本実施形態に係る電子システムを用いた隔地間の対話について説明するフローチャートである。

　図６を参照して本実施形態に係る電子システム１００の使用について説明すれば、まず患者Ｐがリモコン２６のボタンを押下により隔地である家との接続を要求しているかが判断される（ＳＴ１）。接続要求があった場合（ＳＴ１：ＹＥＳ）、空間像取得部１０のカメラ１１によって家側の撮像範囲内の映像が取得される（ＳＴ２）。次に、通信部１４、２４を介して撮像された映像データが病院側に送信される（ＳＴ３）。映像データは、表示部２０のプロジェクタ２３によってスクリーン２２に投影され、患者Ｐは映像を視認できる状態になる（ＳＴ４）。

　また、空間像取得部１０から映像データが送信されると、通信部１４によって音声取得部３０、匂い取得部５０、及び周囲空気取得部７０に映像データの出力要求があったことが通知される（ＳＴ５）。音声取得部３０、匂い取得部５０、及び周囲空気取得部７０において上記通知が行われると、音声取得部３０、匂い取得部５０、及び周囲空気取得部７０は、空間像取得部１０とほぼ同じ範囲内において周囲の音声、匂い、温度、風速データを取得する（ＳＴ６）。

　音声取得部３０、匂い取得部５０、及び周囲空気取得部７０によって取得されたデータは通信部３３、５２、７３によって通信部４３、６４、８２に送信される（ＳＴ７）。送信された空間情報はそれぞれ音声出力部４０のスピーカー４１、匂い発生部６０の発生器６３、及び周囲空気発生部８０のエアコン８１によって患者Ｐの周囲に出力される（ＳＴ８）。図６のＳＴ２における映像データの取得からＳＴ８における空間情報の出力は患者Ｐのリモコン２６から第１現実空間にあたる家との接続に対する遮断要求がない限り（ＳＴ９：ＮＯ）継続される。

　患者Ｐからリモコン２６による家との接続の遮断要求がない限り、親族はカメラ１１、スクリーン１２、プロジェクタ１３、マイク３１、スピーカー３２を用いて患者Ｐと対話することができる。

　患者Ｐからリモコン２６により家との接続の遮断要求があった場合（ＳＴ９：ＹＥＳ）、表示部２０、音声出力部４０、匂い発生部６０及び周囲空気発生部８０からの空間像及び空間情報の出力を停止する。

　次に、上記電子システム１００における情報のやりとりについて図５を参照しながら、説明する。

　電子システム１００では、まず患者Ｐがリモコン２６のボタンを押下すると、表示部２０の制御部２５によって通信部２４から空間像取得部１０の通信部１４に映像データの出力を要求する信号が送信される（Ｓ１）。空間像取得部１０の通信部１４は上記信号を受信すると、カメラ１１を動作させてカメラ１１の撮像範囲にいる親族や周囲の背景を撮像し、映像データを取得する（Ｓ２）。

　次に通信部１４はカメラ１１が撮像した映像データを表示部２０の通信部２４に送信する（Ｓ３）。表示部２０の通信部２４が映像データを取得すると、プロジェクタ２３によって図３に示すようにスクリーン２２に家の映像が出力される（Ｓ４）。また、空間像取得部１０の通信部１４は、上記信号を受信した際に出力要求がなされたことを通知する信号を音声取得部３０の通信部３３、匂い取得部５０の通信部５２、及び周囲空気取得部７０の通信部７３に送信する（Ｓ５）。

　音声取得部３０の通信部３３が通信部１４から信号を受信すると、制御部３４はマイク３１を制御して取得領域である周囲数ｍの範囲にいる親族や周囲の音声を取得する（Ｓ６）。マイク３１によって取得された音声データは通信部３３を通じて音声出力部４０の通信部４３に送信され（Ｓ７）、スピーカー４１において送信された音声データが患者Ｐに向けて出力される（Ｓ８）。

　一方、匂い取得部５０の通信部５２において通信部１４からの信号が受信されると、匂いセンサ５１によって周囲数ｍ内の範囲内の匂いデータが取得される（Ｓ６）。取得されたデータは通信部５２を通じて匂い発生部６０の通信部６４にて送信される（Ｓ７）。通信部６４にて受信されたデータは制御部６５によってカートリッジ６１の中から必要な匂い成分が選択され、配合部６２において配合され、患者Ｐの周囲に出力される（Ｓ８）。

　周囲空気取得部７０の通信部７３が通信部１４から信号を受信すると、制御部７４は温度計７１及び風速計７２を起動させ、周囲数ｍの範囲内の温度及び風速を測定する（Ｓ６）。温度計７１及び風速計７２によって測定されたデータは通信部７３によって周囲空気発生部８０の通信部８２に送信される（Ｓ７）。周囲空気発生部８０のエアコン８１は受信した情報に基づいて患者Ｐのいる部屋内の温度、風速を調整する（Ｓ８）。

　反対に、患者Ｐが遠隔地である家との接続の遮断を要求する場合、表示部２０のリモコン２６のボタンを押下する（Ｓ９）。リモコン２６のボタンが押下されると、表示部２０では制御部２５がプロジェクタ２３の出力を停止させ、スクリーン２２への映像の投影を停止させる（Ｓ１０）。通信部１４において通信部２４からの信号が受信されると、制御部１５はカメラ１１による映像データの取得を停止させる（Ｓ１１）。

　また、リモコン２６のボタンが押下されると、通信部２４は通信部４３、６４、７３に出力停止信号が送信されたことを通知する（Ｓ１２）。通信部４３に信号が受信されると制御部４４により音声の出力が停止される（Ｓ１３）。また、通信部６４において通信部１４からの信号が受信されると、制御部６５は配合部６２及び発生器６３の動作を停止させる（Ｓ１３）。通信部８２において通信部１４からの信号が受信されると、制御部８３はエアコン８１の動作を停止させる（Ｓ１３）。

　通信部４３において通信部２４からの信号を受信すると、通信部４３は通信部３３に音声データの取得停止要求を通知する（Ｓ１４）。制御部３４はマイク３１を制御して家の部屋内における音声データの取得を停止する（Ｓ１５）。

　通信部６４において通信部２４からの信号を受信すると、通信部６４は通信部５２に匂いデータの取得停止要求を通知する（Ｓ１４）。これを受け、制御部５５は匂いセンサ５１の動作を停止させる（Ｓ１５）。

　通信部８２は通信部２４から信号を受信すると、通信部７３に周囲空気データの取得停止要求を通知する（Ｓ１４）。これを受け、制御部７４は温度計７１及び風速計７２による温度データ及び風速データの取得を停止する（Ｓ１５）。

　上記のように本実施形態の電子システム１００は、空間像取得部１０と、表示部２０と、空間情報取得部と、再現部と、を有するように構成している。空間像取得部１０は所定の第１現実空間にあたる家において視覚により認識される空間像を取得する。表示部２０は空間像取得部１０で取得した第１現実空間像を第１現実空間である家から離れた第２現実空間である病院において仮想的に表示する。

　空間情報取得部は、音声取得部３０、匂い取得部５０、及び周囲空気取得部７０によって構成し、第１現実空間である家において第１現実空間像とは別の視覚以外の五感により認識される空間情報を取得する。再現部は音声出力部４０、匂い発生部６０及び周囲空気発生部８０によって構成し、空間情報取得部にて取得した第１現実空間情報である家の第１現実空間情報を患者Ｐのいる病院において再現する。

　このように構成することによって、患者Ｐは体の具合が急に悪くなったりすることで当初予定していた学校の行事や旅行に行けなくなった場合等に、患者Ｐのいる場所から離れた家等にあたかもいるかのような体験をすることができる。このように電子システム１００によれば、患者Ｐは隔地にいる親族等と同じ空間を共有しているかのような錯覚を体験することができる。

　また、表示部２０は第１現実空間にあたる家の空間像を投影するプロジェクタ２３と、プロジェクタ２３から出力された空間像を表示するスクリーン２２と、スクリーン２２の性状に合わせて空間像を補正するプログラムを制御部２５のＲＯＭに記憶する。そのため、患者Ｐのいる部屋内に設置されたスクリーン２２の性状に拘束されることなく家側（第１現実空間）の空間像を映し出すことができ、臨場感を向上させることができる。

　また、匂い取得部５０は、第１現実空間にあたる家の部屋の匂いを検出する匂いセンサ５１を備え、匂い発生部６０は匂いセンサ５１によって検出された匂いに対応する匂いを患者Ｐの病院の一室において出力するように構成している。そのため、視覚や聴覚だけでなく、嗅覚をもって、より臨場感のある状況を再現でき、より使用者の満足度を向上させることができる。

　また、周囲空気取得部７０は第１現実空間にあたる家の部屋内の周囲の温度を測定する温度計７１を備え、周囲空気発生部８０は温度計７１によって測定した温度に合わせて患者Ｐのいる病院の一室の周囲の温度を調整するエアコン８１を備える。そのため、上記と同様に視覚や聴覚だけでなく触覚に含まれる温度感覚等も現地に近似させることによって患者Ｐにより臨場感を感じさせることができる。

　また、周囲空気取得部７０は第１現実空間である家の部屋の周囲の風速を測定する風速計７２を備え、周囲空気発生部８０は風速計７２によって測定された風速の風を患者Ｐのいる病院の一室において出力するエアコン８１を備えるように構成している。そのため、上記と同様に視覚や聴覚だけでなく触覚も動員して患者Ｐに現地に行ったかのような臨場感を体験させることができる。

　＜第２実施形態＞
　図７は第２実施形態に係る電子システムを示し、第２現実空間にあたる使用者のいる場所を示す図である。図８は第２実施形態に係る電子システムを示すブロック図である。第１実施形態では表示部２０がスクリーン２２とプロジェクタ２３を備えることを説明したが、以下のような構成を採用することもできる。なお、第２実施形態では表示部のみの構成が異なり、その他は第１実施形態と同様であるため、共通する構成の説明を省略する。

　第２実施形態に係る電子システム１００ａの表示部２０ａは、図８に示すようにカメラ２１と、設置台２２ａと、画像生成部２３ａと、通信部２４と、制御部２５と、リモコン２６と、を有する。カメラ２１、通信部２４、制御部２５、及びリモコン２６は第１実施形態と同様であるため、説明を省略する。

　設置台２２ａは、患者Ｐのいる空間において特にカメラ２１や画像生成部２３ａの撮影領域範囲内に設置された金属等からなる土台であり、本実施形態では患者Ｐのいる空間の地面に設置される。設置台２２ａは、カメラ２１や画像生成部２３ａ等の電子機器を設置する。設置台２２ａは、本実施形態において設置部に相当する。

　画像生成部２３ａは、患者Ｐに対向して設置され、半導体レーザー等を照射する照射装置や照射されたレーザーを患者Ｐの網膜に向けて反射させるガルバノミラー等を含む。画像生成部２３ａは、上記構成により空間像取得部１０において撮影された親族等の映像信号となるようにレーザーを変調し、患者Ｐの網膜において走査させながら出射することによって患者Ｐの網膜で空間像を生成する。

　ここで、画像生成部２３ａにおける「対向して」とは、画像生成部２３ａが患者Ｐにおいて目的とする対象部位が撮影できるように位置及び／又は向きが調整されることを意味する。

　第２実施形態における画像生成部２３ａは第１実施形態におけるプロジェクタ２３にあたり、電子システム１００ａの動作は第１実施形態と同様であるため、シーケンス図やフローチャートを用いた説明を省略する。

　以上のように第２実施形態の電子システム１００ａの表示部２０ａは、設置台２２ａと画像生成部２３ａと、を備えるように構成している。設置台２２ａは、患者Ｐのいる病院の一室に設置され、画像生成部２３ａは設置台２２ａに設置されるとともに患者Ｐの網膜において親族等のいる家において撮影された第１現実空間像を生成するレーザーを生成する。

　そのため、患者Ｐは遠隔地からの映像を認識するためにメガネ等の装着タイプの器具を装着する必要がない。よって、メガネ型の器具の長時間の装着によって装着部位である耳等に褥瘡のような症状が発生することを防止できる。また、病院等では同じ部屋等における感染症の拡大を防止することができる。

　＜第３実施形態＞　図９は第３実施形態に係る電子システムを示し、第２現実空間にあたる使用者のいる場所を示す図である。図１０は第３実施形態に係る電子システムを示すブロック図である。第１実施形態では表示部２０がプロジェクタ２３とスクリーン２２を使用して映像を投影し、第２実施形態では画像生成部２３ａが患者Ｐの網膜に家の空間像を生成すると説明した。しかし、表示部は以下のように構成することもできる。なお、第３実施形態では表示部の構成のみが異なり、その他の構成は第１実施形態や第２実施形態と同様であるため、共通する説明を省略する。

　第３実施形態に係る電子システム１００ｂの表示部２０ｂは、図１０に示すようにカメラ２１と、ゴーグル２３ｂと、通信部２４と、制御部２５と、リモコン２６と、を有する。カメラ２１、通信部２４、制御部２５、及びリモコン２６は第１実施形態と同様であるため、共通する説明を省略する。

　ゴーグル２３ｂは、メガネタイプの器具であり、図９に示すように映像を投影しメガネにおけるレンズの部位にあたる投影面２３ｃと、ディスプレイ面の左右両端から患者Ｐの耳等に延在し、耳等の身体の部位にかけられる装着部２３ｄを備える。制御部２５は、カメラ１１によって撮影された映像データを画像処理し、投影面に投影する。装着部は本実施形態においてゴムバンドによって構成しているが、ゴーグル２３ｂを患者Ｐに装着できればよく、上記以外にもメガネのアーム（テンプル）によって構成してもよい。ゴーグル２３ｂは上記のように構成することによって、ゴーグル２３ｂを装着した患者Ｐはゴーグル２３ｂの投影面２３ｃから親族等のいる家の部屋の空間像等を認識することができる。

　第３実施形態におけるゴーグル２３ｂは第１実施形態におけるプロジェクタ２３及び第２実施形態における画像生成部２３ａにあたり、電子システム１００ｂの動作は第１実施形態と同様であるため、シーケンス図やフローチャートを用いた説明を省略する。

　以上のように第３実施形態の電子システム１００ｂの表示部２０ｂは、第１現実空間像を投影する投影面２３ｃと、投影面２３ｃの両端から延在し第２現実空間にあたる病院の一室にいる患者Ｐの耳等に装着される装着部２３ｄと、を備えるように構成している。そのため、近年ゲーム業界等において普及しているゴーグルタイプのヘッドマウントディスプレイのように比較的手軽に親族等のいる第１現実空間像を認識することができる。

　なお、本発明は上述した実施形態にのみ限定されることなく、特許請求の範囲において種々の変更が可能である。図１１は上記実施形態の変形例を示す図、図１２は図１１に表れる無人航空機を示す図である。上記では親族等の撮影をカメラ１１によって行い、プロジェクタ２３、画像生成部２３ａ、又はゴーグル２３ｂによって患者Ｐに表示する実施形態について説明したが、これに限定されない。

　上記以外にも図１１に示すように空間像を撮影するカメラ機能と隔地から送信された映像又は画像を表示する表示機能とを備えた無人航空機１１ｅ及び無人航空機２３ｅによって、家と病院との空間像について通信を行うように構成してもよい。

　無人航空機１１ｅは、モーター、アクチュエーター、ギヤ群、センサ等を備えて自律飛行可能に構成され、無線通信に必要なハードウェア、ＧＰＳ等の位置情報を検出するハードウェアを搭載する。

　無人航空機１１ｅの上部には図１２に示すように回転翼１１ｆが設けられ、モーターやアクチュエーター等の駆動系部品と共に無人航空機１１ｅを垂直方向、水平方向への移動可能にし、また、ホバリング等を可能にする。無人航空機１１ｅの本体部にはディスプレイ１１ｇが設けられ、ディスプレイ１１ｇの上方には無人航空機１１ｅのいる空間を撮影するカメラ１１ｈが搭載される。無人航空機２３ｅは無人航空機１１ｅと同様の構成であるため、説明を省略する。

　サーバ９０は無人航空機１１ｅ、２３ｅの位置情報や収集したデータ等の管理を行なう。無人航空機１１ｅ、２３ｅとサーバ９０との通信はモデム、ターミナルアダプタ、ゲートウェイ等の中継装置によって行われる。通信ネットワークはＴＣＰ／ＩＰプロトコルを用いて種々の通信回線（電話回線、ＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線等）を相互に接続して構築される。無人航空機１１ｅへの起動や停止、移動等の命令はリモコン２６によって行なわれる。

　このように構成することによっても、患者Ｐのいる病院から離れた家にいるかのような臨場感を体験させることができる。

　図１３は上記実施形態に係る変形例を示し、使用者に対する隔地の空間像の表示に携帯デバイスを利用する場合を示す図である。第１実施形態ではプロジェクタ２３を用いて患者Ｐに親族等の空間像を表示する実施形態について説明したが、これに限定されない。上記以外にもプロジェクタ２３の代わりに、図１３に示すようにディスプレイ機能を備えたスマートフォン等の公知の携帯端末２３ｊを利用してもよい。

　また、第１実施形態では温度計７１によって親族等のいる空間の温度を測定し、患者Ｐのいる空間において温度計７１で測定した温度に合わせてエアコン８１により温度を調整する実施形態について説明した。しかし、これに限定されず、温度計７１に加えて湿度計を設置し、湿度計によって得られた湿度データを送信してエアコン８１により患者Ｐのいる室内の湿度を調整するように構成してもよい。

　また、第１実施形態等では匂い発生部６０が匂い取得部５０によって検出された匂いを発生する実施形態について説明したが、これに限定されない。匂い発生部６０の制御部６５には空間像取得部１０により取得したデータから匂いを発し得る物体及び画像認識のプログラムをＲＯＭに記憶する。そして、画像認識により認識されたデータから予め登録された匂いを発しうるデータと匂いセンサ５１の検出結果に基づいて匂いの出力を行うように構成してもよい。このように構成することによって、匂いセンサ５１のみによる場合よりもさらに精度よく患者Ｐのいる空間において親族等のいる隔地の匂いを再現することができる。

　本出願は、２０１７年２月２日に出願された日本国特許出願第２０１７－０１７９３０号に基づいており、その開示内容は、参照により全体として引用されている。

１０　空間像取得部、
２０、２０ａ、２０ｂ　表示部、
２２　スクリーン（投影部）、
２２ａ　設置台（設置部）、
２３　プロジェクタ（映像出力部）、
２３ａ　画像生成部、
２３ｂ　ゴーグル、
２３ｃ　投影面、
２３ｄ　装着部、
２５　制御部（補正部）、
３０　音声取得部、
４０　音声出力部、
５０　匂い取得部、
５１　匂いセンサ（検出部）、
６０　匂い発生部、
７０　周囲空気取得部、
７１　温度計（測定部）、
７２　風速計（他の測定部）、
８０　周囲空気発生部、
８１　エアコン（送風部、調整部）、
９０　サーバ、
１００、１００ａ、１００ｂ　電子システム。

Claims

　所定の第１現実空間において視覚により認識される第１現実空間像を取得する空間像取得部と、
　前記空間像取得部で取得した前記第１現実空間像を、前記第１現実空間から離れた第２現実空間において仮想的に表示する表示部と、
　前記第１現実空間において前記第１現実空間像とは別の視覚以外の五感により認識される第１現実空間情報を取得する空間情報取得部と、
　前記空間情報取得部で取得した前記第１現実空間情報を前記第２現実空間において再現する再現部と、を有する電子システム。
　前記表示部は、前記第１現実空間像を投影する映像出力部と、前記映像出力部から出力された前記第１現実空間像を表示する投影面を備えた投影部と、前記投影面の性状に合わせて前記第１現実空間像を補正する補正部と、を備えた請求項１に記載の電子システム。
　前記表示部は、前記第２現実空間に設置された設置部と、前記設置部に設置されるとともに前記第２現実空間にいる人物の網膜において前記第１現実空間像を生成するレーザーを生成する画像生成部と、を有する、請求項１に記載の電子システム。
　前記表示部は、前記第１現実空間像を投影する投影面と、前記投影面の両端から延在し前記第２現実空間にいる人物の身体の一部に装着される装着部と、を備える、請求項１に記載の電子システム。
　前記空間情報取得部は、前記第１現実空間の周囲の匂いを検出する検出部を備え、
　前記再現部は、前記検出部によって検出された前記匂いに相当する物質を前記第２現実空間に出力する、請求項１～４のいずれか１項に記載の電子システム。
　前記空間情報取得部は、前記第１現実空間の周囲の温度及び／又は湿度を測定する測定部を備え、
　前記再現部は、前記測定部による測定結果に合わせて前記第２現実空間の周囲の温度及び／又は湿度を調整する調製部を備える、請求項１～５のいずれか１項に記載の電子システム。
　前記空間情報取得部は、前記第１現実空間の周囲の風速を測定する他の測定部を備え、
　前記再現部は、前記他の測定部によって測定された風速の風を前記第２現実空間において出力する送風部を備える、請求項１～６のいずれか１項に記載の電子システム。