JP6511388B2

JP6511388B2 - 分光装置

Info

Publication number: JP6511388B2
Application number: JP2015235933A
Authority: JP
Inventors: 宇翔草深
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-12-02
Filing date: 2015-12-02
Publication date: 2019-05-15
Anticipated expiration: 2035-12-02
Also published as: JP2017103639A

Description

本発明は、入射光を分光し分光成分を表示器へ供給する分光方法、分光装置、及びプログラムに関する。

シースルーディスプレイを有したデバイスが市場へ投入され始めている。シースルーディスプレイはディスプレイの背景映像をそのままユーザへ提示可能であるため、以下の様な特徴がある。
１．ディスプレイ内とディスプレイ外の映像に視差（ズレ）が生じない。
２．ディスプレイに提示される映像は実世界における光線をそのまま提示するため、背景情報の提示におけるレイテンシがない。

上記のような特徴があるため、例えばAR（Augumented Reality）アプリケーションとの親和性が高い。ARアプリケーションでは、例えば、ユーザが撮影した映像中の物体をトリガとして情報検索を行い、トリガとなった物体に関連する情報をユーザへ提示（表示）するといったものがある。そのため、シースルーディスプレイを通してユーザがどのような映像（物体）を観察しているかをシステムが取得する方法が必要となる。

シースルーディスプレイを利用した情報提示方法は大きく３つに分類される。
１．ハンドヘルド、HMD(Head Mounted Display)ビデオシースルー
２．HMDシースルー
３．ハンドヘルドシースルー
上記「１．」ではカメラで撮影した映像をユーザへ直接提示するため、ユーザが観察する映像とカメラで撮影する映像は同一のものとなるため、カメラで撮影した画像をトリガとすればよい。しかし、カメラ映像をディスプレイへ提示する周りの風景の間には視差が生じるため、シースルーディスプレイの長所である風景映像提示におけるレイテンシの無さや、ディスプレイ内とディスプレイ外の映像のつなぎ目がなくシームレスであるという特徴が失われてしまう。本方式ではシースルーディスプレイを用いる必要性が薄い。

次に、上記「２．」のようにユーザの頭部にカメラを固定するタイプでは、ユーザの頭部の向きによってトリガとなる物体の存在する方向は取得できるが、その映像中のどの領域をユーザがシースルーディスプレイを通して観察しているのかが取得できない。そこで、例えば、ハーフミラー等を使いユーザの視線を考慮してディスプレイとカメラを含めた光学系を設計する方法や、環境内に存在するマーカ等を指定することで、ディスプレイ座標系とカメラ座標系のキャリブレーションを行う方法（特許文献１）が存在する。これらによって頭部に固定したシースルーディスプレイを通したAR表示が可能となる。

最後に、上記「３．」のハンドヘルド型のものでも上記「２．」と同様の、ユーザが観察している領域が取得できないという問題が生じる。加えて、上記「２．」のようにカメラやディスプレイはユーザに固定されないため、新たにディスプレイをユーザから遠ざけたり、近づけたりといった奥行き方向の自由度が生じるためこれに対応する必要がある。これに対しては、例えば特許文献２のような、手鏡型のデバイスの裏面に設置したカメラとユーザ頭部に固定したカメラを用いて、手鏡に提示する映像を、手鏡外の映像とつなぎ目がなくシームレスに提示する手法が提案されている。また、特許文献２は、ディスプレイの透明状態、非透明状態を制御することで同一のディスプレイでディスプレイ越しの風景の撮影を可能とする方法が提案されている。

特開２００９−２８４１７５号公報特許４４９０３５７号公報

Takumi Yoshida, Shinobu Kuroki, Hideaki Nii, Naoki Kawakami, and Susumu Tachi. 2008. ARScope. In ACM SIGGRAPH 2008 new tech demos (SIGGRAPH '08). ACM, New York, NY, USA, , Article 4 , 1 pages.

特許文献１の手法では、上記したハンドヘルドタイプではユーザの視線を基にカメラやディスプレイが固定されないため、例えばディスプレイをユーザから遠ざけたり近づけたりといった奥行き方向にディスプレイが移動した際のユーザ観察映像の変化に対応できない。また、キャリブレーションのために環境中にマーカを設置する必要が生じる。

また、非特許文献１では、ユーザが把持するデバイスとその周囲の環境が撮影可能な位置にカメラをユーザや環境に固定する必要がある。

特許文献２においても、参考文献１と同様に、ユーザが把持するデバイスとその周囲の環境を撮影するカメラを設置する必要が生じる。

以上のように、ユーザがハンドヘルドなシースルーディスプレイを通して観察する映像を取得するには、環境やユーザに対してマーカやカメラ、映像提示装置を設置する必要があり、シースルーディスプレイ端末のみではユーザが観察する映像を取得することが難しい。

本発明は上記事情に着目してなされたもので、その目的とするところは、ユーザにより観察される映像と実質同一の映像の記録（取得）を可能にする分光方法、分光装置、及びプログラムを提供するところにある。

上記目的を達成するためにこの発明の分光方法、分光装置、及びプログラムは、以下の通りである。

（１）この発明の分光方法は、透過型表示器に対向配置された分光器により、入射光を第１及び第２の光成分に分光し、前記第１の光成分を記録部へ供給するとともに、前記第２の光成分を前記透過型表示器へ供給し、前記記録部により前記第１の光成分に基づく映像を記録し、前記透過型表示器により前記第２の光成分を透過する。

（２）上記（１）の分光方法は、前記第１の光成分は赤外線成分に対応し、前記第２の光成分は赤外線成分以外に対応する。

（３）上記（１）の分光方法は、前記第１の光成分は遠赤外線成分に対応し、前記第２の光成分は遠赤外線成分以外に対応する。

（４）上記（１）の分光方法は、前記第１の光成分は近赤外線成分に対応し、前記第２の光成分は近赤外線成分以外に対応する。

（５）上記（１）又は（２）の分光方法は、被写体に対して近赤外線を照射し、環境光成分及び近赤外線成分を含む前記入射光を前記分光器により前記第１及び第２の光成分に分光する。

（６）上記（１）乃至（５）の何れか１つの分光方法は、前記第１の光成分に基づく映像に関係する情報を前記透過型表示器により表示する。

（７）この発明の分光装置は、透過型表示器に対向配置され、入射光を第１及び第２の光成分に分光する分光器と、前記第１の光成分に基づく映像を記録する記録部と、前記第２の光成分を透過する透過型表示部と、を備える。

（８）この発明のプログラムは、上記（１）乃至（６）の何れか一つの方法をコンピュータに実行させるための手順を備える。

本発明によれば、ユーザにより観察される映像と実質同一の映像の記録（取得）を可能にする分光方法、分光装置、及びプログラムを提供できる。

（１）この発明の分光方法によれば、入射光を第１及び第２の光成分に分光し、前記第１の光成分に基づく映像を記録し、透過型表示器により前記第２の光成分を透過することができる。これにより、ユーザにより観察される映像（第２の光成分）に対応する映像（第１の光成分）を記録（取得）することができる。記録される映像をトリガとして情報検索を行い、トリガとなった映像に関連する情報を透過型表示器へ提示（表示）することができる。ユーザは、映像（第２の光成分）を観察しながら、映像（第１の光成分）から検索された情報を見ることができる。目視される映像（第２の光成分）と記録される映像（第１の光成分）とは周波数成分が異なるが実質同一の映像であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

（２）この発明の分光方法によれば、入射光に含まれる赤外線成分を第１の光成分に、入射光に含まれる赤外線成分以外を第２の光成分に分光することができる。目視される映像（赤外線成分以外）と記録される映像（赤外線成分）とは周波数成分が異なるが実質同一の映像であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

（３）この発明の分光方法によれば、入射光に含まれる遠赤外線成分を第１の光成分に、入射光に含まれる遠赤外線成分以外を第２の光成分に分光することができる。目視される映像（遠赤外線成分以外）と記録される映像（遠赤外線成分）とは周波数成分が異なるが実質同一の映像であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

（４）この発明の分光方法によれば、入射光に含まれる近赤外線成分を第１の光成分に、入射光に含まれる近赤外線成分以外を第２の光成分に分光することができる。目視される映像（近赤外線成分以外）と記録される映像（近赤外線成分）とは周波数成分が異なるが実質同一の映像であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

（５）この発明の分光方法によれば、被写体に対して近赤外線を照射するので、被写体から十分な近赤外線成分を含む反射光を得ることができる。

（６）この発明の分光方法によれば、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

（７）この発明の分光装置によれば、上記（１）と同様の効果が得られる。

（８）この発明のプログラムによれば、上記（１）〜（６）と同様の効果が得られる。

ハンドヘルド型のHMD(Head Mounted Display)ビデオシースルーの情報提示システムの概略構成の一例を示す図である。 HMDシースルーの情報提示システムの概略構成の一例を示す図である。ハンドヘルドシースルーの情報提示システムの概略構成の一例を示す図である。情報提示システムによる分光方法の概念を説明するための図である。情報提示システムによる分光方法の第１例を説明するための図である。情報提示システムによる分光方法の第２例を説明するための図である。

以下、各実施形態について図面を参照して説明する。

最初に、図１〜図３を参照して、シースルーディスプレイを利用した情報提示システムの例について説明する。

図１は、ハンドヘルド型のHMD(Head Mounted Display)ビデオシースルーの情報提示システムの概略構成の一例を示す図である。図１に示すように、情報提示システム１０は、カメラ１１、及びディスプレイ１２を備える。カメラ１１は、被写体１５、１６を含む画像を撮影する。ディスプレイ１２（表示面１２ａ）は、カメラ１１により撮影された画像を表示する。ユーザは、ディスプレイ１２に表示される画像を見ることができる。

図２は、HMDシースルーの情報提示システムの概略構成の一例を示す図である。図２に示すように、情報提示システム２０は、カメラ２１、及びディスプレイ２２、固定具２３を備える。固定具２３は、ユーザの頭部にカメラ２１を固定する。これにより、ユーザとディスプレイ２２の距離は一定に保たれる。カメラ２１は、被写体２５、２６を含む画像を撮影する。ディスプレイ２２（表示面２２ａ）は、シースルーディスプレイ（透過型ディスプレイ）であり、ディスプレイ２２を挟んで一方の側（ディスプレイ３２の前面）に位置するユーザは、ディスプレイ２２を透過して、ディスプレイ２２の他方の側（ディスプレイ３２の背面）の被写体２５、２６を含む景色を目視することができる。

図３は、ハンドヘルドシースルーの情報提示システムの概略構成の一例を示す図である。図３に示すように、情報提示システム３０は、カメラ３１、及びディスプレイ３２を備える。カメラ３１は、被写体３５、３６を含む画像を撮影する。ディスプレイ３２は、シースルーディスプレイ（透過型表示器）であり、ディスプレイ３２を挟んで一方の側に位置するユーザは、ディスプレイ３２を透過して、ディスプレイ３２の他方の側（ディスプレイ３２の背面）の被写体３５、３６を含む景色を目視することができる。

以下、本実施形態で説明する分光方法を、情報提示システム３０に適用するケースについて説明するが、その他の情報提示システムに適用してもよい。

図４に示すように、情報提示システム３０は、さらにスプリッタ３３（分光器（例えば偏光分離プリズム））を備え、スプリッタ３３はディスプレイ３２に対向配置されている。被写体３５は、光源３４ａからの光成分λと光成分λ’を反射し、スプリッタ３３は、被写体３５からの反射光を入射する。つまり、スプリッタ３３には、光成分λと光成分λ’を含む入射光が入射される。例えば、光成分λは可視光線の波長（例えば360〜760nm）であり、光成分λ’を不可視光線の波長（例えば赤外線波長（0.78μm〜1mm））である。

スプリッタ３３は、入射光を光成分λと光成分λ’に分光し、光成分λ’（第１の光成分）をカメラ３１ａ（記録部）へ提供するとともに、光成分λ（第２の光成分）をディスプレイ３２へ提供する。例えば、スプリッタ３３は、光成分λを透過し、光成分λ’を分岐させる。カメラ３１ａは、光成分λ’に基づく第１の映像を記録する。また、ディスプレイ３２は、光成分λを透過させる。ディスプレイ３２の一方の側（ディスプレイ３２の前面）に位置するユーザは、ディスプレイ３２を透過する光成分λの被写体３５を目視することができる。

以上により、ユーザにより観察される映像（スプリッタ３３を透過した光成分λ）と実質同一の映像（スプリッタ３３により分岐された光成分λ’）の記録（取得）を可能にすることができる。例えば、ユーザにより観察される映像（光成分λ）に対応して記録される映像（光成分λ’）をトリガとして情報検索を行い、トリガとなった映像に関連する情報をディスプレイ３２へ提示（表示）することができる。ユーザは、映像（光成分λ）を観察しながら、記録される映像（光成分λ’）から検索された情報を見ることができる。目視される映像（光成分λ）と記録される映像（光成分λ’）とは周波数成分が異なるが実質同一であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

図５を参照し、遠赤外線を分光する分光方法の一例について説明する。図５に示すように、情報提示システム３０は、遠赤外線カメラ３１ｂ（記録部）、及びスプリッタ３３（分光器（例えば偏光分離プリズム））を備え、スプリッタ３３はディスプレイ３２に対向配置されている。被写体３５は、環境光３４ｂからの光成分λと光成分λ’を反射し、スプリッタ３３は、被写体３５からの反射光を入射する。つまり、スプリッタ３３には、光成分λと光成分λ’を含む入射光が入射される。例えば、光成分λは光成分λ’を除く環境光であり、光成分λ’は遠赤外線の波長（例えば8μm〜1mm）である。

スプリッタ３３は、入射光を光成分λと光成分λ’に分光し、光成分λ’（第１の光成分）を遠赤外線カメラ３１ｂへ提供するとともに、光成分λ（第２の光成分）をディスプレイ３２へ提供する。遠赤外線カメラ３１ｂは、光成分λ’に基づく第１の映像を記録する。また、ディスプレイ３２は、光成分λを透過させる。ディスプレイ３２の一方の側（ディスプレイ３２の前面）に位置するユーザは、ディスプレイ３２を透過する光成分λの被写体３５を目視することができる。

以上により、環境光がユーザにより観察される風景で反射され、ディスプレイ３２まで到達すると、ディスプレイ３２に取り付けられたスプリッタ３３によって、光成分λ’（遠赤外線）のみが分岐され、遠赤外線カメラ３１ｂへ到達する。一方で、可視光を含む遠赤外線を除く光線はスプリッタ３３を通過し、さらにディスプレイ３２も通過し、ユーザへ到達する。これにより、ユーザがディスプレイ３２を通して風景を観察しつつ、ユーザが観察する映像と実質同一の映像を遠赤外線によってシステム（遠赤外線カメラ３１ｂ）が取得できる。例えば、ユーザにより観察される映像（光成分λ）に対応して記録される映像（光成分λ’）をトリガとして情報検索を行い、トリガとなった物体に関連する情報をディスプレイ３２へ提示（表示）することができる。ユーザは、映像（光成分λ）を観察しながら、記録される映像（光成分λ’）から検索された情報を見ることができる。目視される映像（光成分λ）と記録される映像（光成分λ’）とは周波数成分が異なるが実質同一であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

図６を参照し、近赤外線を分光する分光方法の一例について説明する。図６に示すように、情報提示システム３０は、近赤外線カメラ３１ｃ（記録部）、スプリッタ３３（分光器（例えば偏光分離プリズム））、近赤外線光源３４ｃを備え、スプリッタ３３はディスプレイ３２に対向配置されている。被写体３５は、環境光３４ｂからの光成分λと光成分λ’、及び近赤外線光源３４ｃからの光成分λ’を反射し、スプリッタ３３は、被写体３５からの反射光を入射する。つまり、スプリッタ３３には、光成分λと光成分λ’を含む入射光が入射される。例えば、光成分λは光成分λ’を除く環境光であり、光成分λ’は近赤外線の波長（例えば0.78〜2.5μm）である。

スプリッタ３３は、入射光を光成分λと光成分λ’に分光し、光成分λ’（第１の光成分）を近赤外線カメラ３１ｃ（記録部）へ提供するとともに、光成分λ（第２の光成分）をディスプレイ３２へ提供する。近赤外線カメラ３１ｃは、光成分λ’に基づく第１の映像を記録する。また、ディスプレイ３２は、光成分λを透過させる。ディスプレイ３２の一方の側（ディスプレイ３２の前面）に位置するユーザは、ディスプレイ３２を透過する光成分λの被写体３５を目視することができる。

以上により、環境光がユーザにより観察される風景で反射され、ディスプレイ３２まで到達すると、ディスプレイ３２に取り付けられたスプリッタ３３によって、光成分λ’（近赤外線）のみが分岐され、近赤外線カメラ３１ｃへ到達する。一方で、可視光を含む近赤外線を除く光線はスプリッタ３３を通過し、さらにディスプレイ３２も通過し、ユーザへ到達する。これにより、ユーザがディスプレイ３２を通して風景を観察しつつ、ユーザが観察する映像と実質同一の映像を近赤外線によってシステム（近赤外線カメラ３１ｃ）が取得できる。例えば、ユーザにより観察される映像（光成分λ）に対応して記録される映像（光成分λ’）をトリガとして情報検索を行い、トリガとなった映像に関連する情報をディスプレイ３２へ提示（表示）することができる。ユーザは、映像（光成分λ）を観察しながら、記録される映像（光成分λ’）から検索された情報を見ることができる。目視される映像（光成分λ）と記録される映像（光成分λ’）とは周波数成分が異なるが実質同一であるため、目視される映像に対してずれの無い（時間的にずれの無い）関連情報を表示できる。

上記説明した情報検索について補足する。情報提示システム３０（プロセッサー等）は、無線通信等により外部サーバへアクセスし、ユーザにより観察される映像（光成分λ）に対応して記録される映像（光成分λ’）に関係する関係情報を検索し、ディスプレイ３２に表示することができる。上記説明したように、ディスプレイ３２は、シースルーディスプレイであり、ディスプレイ２２の一方の側のユーザは、ディスプレイ２２を透過して、ディスプレイ２２の他方の側（ディスプレイ３２の背面）の被写体３５を含む景色を目視することができる。例えば、ディスプレイ３２に被写体３５の関係情報が表示されることにより、ユーザは、被写体３５を目視しながら、被写体３５の関係情報を見ることができる。さらに、情報提示システム３０（プロセッサー等）は、被写体３５に対応付けて関係情報を表示することもできる。例えば、被写体３５がある商品であれば、その商品の販売及び購入に関係する関係情報（その商品を取り扱うショップ情報及びその商品の価格情報等）を表示する。

なお、上記処理の手順は全てソフトウェアによって実行することが可能である。このため、上記処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを情報提示システム３０にインストールして実行するだけで、上記処理を容易に実現することができる。

例えば、情報提示システム３０が制御部、記憶部、及び通信部を有し、通信部を介して、コンピュータ読み取り可能な記憶媒体から上記プログラムを読み取り、記憶部等に読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。或いは、通信部を介して、上記プログラムをダウンロードし、記憶部等にダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。これにより、情報提示システム３０は、インストールされた上記プログラムに基づき、上記処理を容易に実現することができる。

以上により、本実施形態によれば、ハンドヘルド型のシースルーディスプレイにおいて、ユーザがシースルーディスプレイを通して観察する映像をシステムが取得できる。これにより例えば物体の視覚的な特徴量をトリガにした検索システムをシースルーディスプレイにより利用することが可能となる。また、ユーザが観察する映像を取得可能であるため、検索結果を対象の物体上に重畳表示することが可能となる。また、ユーザが観察する映像を取得するために、ユーザや環境中にマーカやディスプレイ、カメラといった装置を設置する必要がない。

加えて，分岐させる周波数として非可視光の光線を利用すれば、ユーザが視覚的に知覚可能な周波数を有する光線へは影響を与えないため、本発明が適用されない場合と同一の風景をユーザはシースルーディスプレイ越しに観察することができる。

その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
透過型表示器に対向配置された分光器により、入射光を第１及び第２の光成分に分光し、前記第１の光成分を記録部へ供給するとともに、前記第２の光成分を前記透過型表示器へ供給し、
前記記録部により前記第１の光成分に基づく映像を記録し、
前記透過型表示器により前記第２の光成分を透過する分光方法。
［Ｃ２］
前記第１の光成分は赤外線成分に対応し、
前記第２の光成分は赤外線成分以外に対応する［Ｃ１］の分光方法。
［Ｃ３］
前記第１の光成分は遠赤外線成分に対応し、
前記第２の光成分は遠赤外線成分以外に対応する［Ｃ１］の分光方法。
［Ｃ４］
前記第１の光成分は近赤外線成分に対応し、
前記第２の光成分は近赤外線成分以外に対応する［Ｃ１］の分光方法。
［Ｃ５］
被写体に対して近赤外線を照射し、環境光成分及び近赤外線成分を含む前記入射光を前記分光器により前記第１及び第２の光成分に分光する［Ｃ４］の分光方法。
［Ｃ６］
前記第１の光成分に基づく映像に関係する情報を前記透過型表示器により表示する［Ｃ１］乃至［Ｃ５］の何れか１つの分光方法。
［Ｃ７］
透過型表示器に対向配置され、入射光を第１及び第２の光成分に分光する分光器と、前記第１の光成分に基づく映像を記録する記録部と、
前記第２の光成分を透過する透過型表示部と、
を備える分光装置。
［Ｃ８］
［Ｃ１］乃至［Ｃ６］の何れか１つの方法をコンピュータに実行させるための手順を備えるプログラム。

１０…情報提示システム、１１…カメラ、１２…ディスプレイ１２、１５、１６…被写体、２０…情報提示システム、２１…カメラ、２２…ディスプレイ、２３…固定具、２５、２６…被写体、３０…情報提示システム、３１、３１ａ…カメラ、３１ｂ…遠赤外線カメラ、３１ｃ…近赤外線カメラ、３２…ディスプレイ、３３…スプリッタ、３４ａ…光源、３４ｂ…環境光、３４ｃ…近赤外線光源、３５、３６…被写体

Claims

ハンドヘルド型の分光装置であって、
被写体に対して第１の光成分を照射する光源と、
前記被写体からの、前記第１の光成分及び第２の光成分を含む入射光を前記第１の光成分及び前記第２の光成分に分光する分光器と、
前記分光器により分光された前記第１の光成分に基づく映像を記録する記録部と、
前記分光器により分光された前記第２の光成分をユーザに向けて透過する透過型表示器と、
を備え、
前記光源は、環境光に含まれる前記第１の光成分の近赤外線を照射し、
前記分光器は、前記被写体が反射した前記光源からの前記第１の光成分と前記被写体が反射した前記環境光に含まれる前記第１の光成分、及び前記被写体が反射した前記環境光に含まれる前記第２の光成分を含む入射光を、前記第１の光成分及び前記第２の光成分に分光し、
前記記録部は、前記被写体が反射した前記光源からの前記第１の光成分と前記被写体が反射した前記環境光に含まれる前記第１の光成分に基づく映像を記録する分光装置。