JP5337409B2 - 情報提示装置 - Google Patents
情報提示装置 Download PDFInfo
- Publication number
- JP5337409B2 JP5337409B2 JP2008142299A JP2008142299A JP5337409B2 JP 5337409 B2 JP5337409 B2 JP 5337409B2 JP 2008142299 A JP2008142299 A JP 2008142299A JP 2008142299 A JP2008142299 A JP 2008142299A JP 5337409 B2 JP5337409 B2 JP 5337409B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- viewpoint
- camera
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
視点カメラと、背景カメラと、スクリーンと、プロジェクタと、処理部とを備えており、
前記視点カメラは、使用者の視点と共役となる位置に配置されており、
かつ、前記視点カメラは、前記視点から前記スクリーンの方向を見たときの、前記スクリーン及びその周囲についての画像を視点画像として取得する構成となっており、
前記背景カメラは、前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得する構成となっており、
前記スクリーンは、前記使用者の視野内において、背景と共に使用者に視認される程度に小さいサイズとされており、
かつ、前記スクリーンは、前記プロジェクタから投影された画像の少なくとも一部を、前記使用者の視点に向けて反射することができる構成となっており、
前記プロジェクタは、前記視点及び前記視点カメラと共役となる位置に配置されており、
かつ、前記プロジェクタは、前記処理部で生成された投影画像を前記スクリーンに投影する構成となっており、
前記処理部は、
前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成する処理を行う
構成となっており、
さらに、前記処理部は、生成された前記投影画像を前記プロジェクタに送る構成となっている
ことを特徴とする情報提示装置。
前記背景カメラは、前記スクリーンの背面側の位置に配置されている、項目1に記載の情報提示装置。
前記背景カメラは、前記視点カメラとほぼ同じ向きに配置されている、項目2に記載の情報提示装置。
前記スクリーンは、再帰性反射スクリーンとされている、項目1〜3のいずれか1項に記載の情報提示装置。
前記スクリーンは、外側に凸となる円弧面を備えている、項目1〜4のいずれか1項に記載の情報提示装置。
前記背景カメラは、複数とされており、
かつ、前記背景カメラは、前記円弧面の後ろ側に存在する環境の画像を取得するように配置されており、
さらに、前記複数の背景カメラの向きは、互いに異なっている
項目5に記載の情報提示装置。
前記処理部において、前記投影画像を生成する処理は、以下の処理により行われる、項目1〜6のいずれか1項に記載の情報提示装置:
(1)前記背景画像と、前記視点画像との間における、対応点を取得する処理;
(2)前記対応点の情報に基づいて、前記背景画像を射影変換する処理。
前記プロジェクタから投影される前記投影画像は、前記スクリーンと、前記スクリーンの外側とにわたって投影される構成となっている
項目1〜7のいずれか1項に記載の情報提示装置。
前記視点カメラ及び/又は前記プロジェクタは、使用者の頭部に装着される構成となっている
項目1〜8のいずれか1項に記載の情報提示装置。
以下のステップを備えることを特徴とする情報提示方法:
(a)使用者の視点からスクリーンの方向を見たときの、スクリーン及びその周囲についての画像を視点画像として取得するステップ;
(b)前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得するステップ;
(c)前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成するステップ;
(d)前記処理部で生成された投影画像を、前記視点の位置から、前記スクリーンに投影するステップ。
項目10に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
以下、本発明の第1実施形態に係る情報提示装置の構成を、図1及び図2に基づいて説明する。
本実施形態に係る情報提示装置は、視点カメラ1と、背景カメラ2と、スクリーン3と、プロジェクタ4と、処理部5と、第1ハーフミラー6と、第2ハーフミラー7と、ケーシング8とを主要な構成として備えている(図1参照)。
(1)背景画像と視点画像との間における、対応点を取得する処理;
(2)対応点の情報に基づいて、背景画像を射影変換する処理。
次に、本実施形態に係る情報提示装置の動作を、図3に示すフローチャートを主に参照しながら説明する。また、使用者10とスクリーン3と環境との配置関係の一例を、図4に概略的に示す。図4において符号9は、外部環境(正確にはその一部)を示す。さらに、使用者10とスクリーン3との位置関係を、図5に概念的に示す。なお、処理部5と各カメラ及びプロジェクタとの間でデータ伝送を行うための通信路としては、無線あるいは有線を用いることができる。無線通信路を構成するためのプロトコルとしては、例えばBluetoothを用いることができるが、これには制約されない。
背景カメラ2により、背景画像を撮影する。撮影した画像の一例を図6(a)に示す。その後、取得した背景画像におけるレンズ歪みを補正する。その結果得られた背景画像を図6(b)に示す。レンズ歪みを補正する技術については、既存技術を用いることができるので、詳細についての説明は省略する。
前記したステップと前後して、あるいはこれらのステップと並行して、視点カメラ1により、視点画像を撮影する。撮影した画像の一例を図6(c)に示す。その後、前記したステップSA−2の場合と同様に、取得した視点画像におけるレンズ歪みを補正する。その結果得られた視点画像を図6(d)に示す。
次に、補正後の背景画像と視点画像との間における対応点を探索する。対応点探索アルゴリズムの一例を、以下に詳しく説明する。
特徴点の検出では、まず、スケールの異なる平滑化画像の差分である、Difference-of-Gaussian(DOG)画像から極値を探索する。これにより、候補点の位置とスケールとを決定する。次に、検出された候補点に対して、主曲率とコントラストによる絞り込みを行う。さらに、サブピクセル推定により特徴点の位置とスケールを算出する。
次に、特徴量の記述を行う。まず、検出した特徴点近傍の輝度勾配から、オリエンテーションを求める。オリエンテーションの方向に回転して特徴量を記述することで、特徴量は、回転に不変となる。そして、特徴点を中心とした、その特徴点のスケールを半径とした円領域内の輝度勾配情報を、特徴ベクトルとして記述する。
ついで、対応点の探索結果に基づいて、射影変換行列を算出する。この算出アルゴリズムを以下に詳しく説明する。
x = [x, y]T
から同じく2次元平面上の点
x′= [x′, y′]T
への射影変換は、[x1, x2, x3]T 〜 [x, y, 1]Tなる同値関係が成り立つような斉次座標
xチルダ = [x1, x2, x3]T
を用いれば、
1. 幾つかの対応点をランダムに選択する。
2. 最小二乗法によりパラメータを計算する。
3. 求めたパラメータを適用したとき、設定した誤差範囲にある点の個数を評価値とする。
4. 評価値が十分に大きければ求めたパラメータを採用し、終了する。
5. 1〜4 を有限回繰り返す。
6. 十分大きな評価値が得られなければ失敗とみなし、終了する。
ついで、算出された射影変換行列を用いて、背景画像に対して、射影変換を適用する。これにより、投影されるべき画像(投影画像)を生成することができる。変換の一例を図9に示す。図9(a)は背景画像の例を示す。図9(b)における枠Lで示した部分が、射影変換により生成された投影画像を示している。
ついで、生成された投影画像を、プロジェクタ4からスクリーン3の方向へ投影することができる。
・視点位置から投影された光が視点に効率よく戻るので、投影光の光量を絞ることができる。したがって、プロジェクタを小型にし、さらに、その発熱量を低く抑えることができる。このため、プロジェクタを頭部に装着しやすくなる。
・投影光の光量を絞ることができるので、プロジェクタの焦点深度を深くすることができる。このため、プロジェクタの焦点位置の調整を厳密に行わなくとも、スクリーン上の画像を精度良く視認できる。
・スクリーンの形状がゆがんでいても、基本的に、投影された画像と同じ画像を使用者が視認できる。したがって、スクリーンの形状の自由度が高くなり、各種の形状を採用できる。
・別々の場所から投影された光は、それぞれ光源の方向に反射するため、1つのスクリーンでいくつもの映像を提示することができる。このため、同時に同じスクリーンを見ている複数の使用者に対して、それぞれの視点に対応した画像を提示できる。
(1)背景画像と、視点画像との間における、対応点を取得する処理;及び
(2)対応点の情報に基づいて、背景画像を射影変換する処理
により実施している。このように、対応点の情報に基づいて、背景画像を射影変換することにより、視点から見た環境画像に対して違和感の少ない投影画像を生成することができる。しかも、本実施形態では、立体構造モデルを生成しなくても、いわゆるイメージベースド・レンダリングの手法により、投影画像を生成することができる。したがって、処理部5への負担が軽くなり、背景画像を短い周期で生成することが可能になる。
次に、本発明の第2実施形態に係る情報提示装置を、図12に基づいて説明する。この第2実施形態の説明においては、前記した第1実施形態で説明した構成要素と基本的に共通する要素については、同一符号を付することにより、説明を簡略化する。
次に、本発明の第3実施形態に係る情報提示装置を、図13に基づいて説明する。この第3実施形態の説明においては、前記した第1実施形態で説明した構成要素と基本的に共通する要素については、同一符号を付することにより、説明を簡略化する。
次に、本発明の第4実施形態に係る情報提示装置を、図14に基づいて説明する。この第4実施形態の説明においては、前記した第1実施形態で説明した構成要素と基本的に共通する要素については、同一符号を用いることにより、説明を簡略化する。
第1実施形態に従ってスクリーン3に投影された画像を、視点カメラ2によって再び取得する。
ついで、視点カメラ2で取得された画像(つまりスクリーン上で表示された画像)と、プロジェクタ4から投影された画像(投影画像)とを、処理部5において比較する。
表示された画像と投影された画像とが同じとなるように、投影画像を補正する。なお、このとき画像どうしを比較するための特徴量としては、色や輝度など、適宜のものを用いることができる。表示画像と投影画像とが十分に近い場合には、補正を省略することができる。
補正された投影画像をスクリーン3に投影する。その後、さらに、視点カメラ2により、スクリーン上の画像と初期の投影画像とを再び比較することにより、投影画像を再び補正することができる。
11 視点画像
2 背景カメラ
21 背景画像
3 スクリーン
4 プロジェクタ
5 処理部
6 第1ハーフミラー
7 第2ハーフミラー
8 ケーシング
9 外部環境
10 使用者
101 使用者の視点
Claims (5)
- 視点カメラと、背景カメラと、スクリーンと、プロジェクタと、処理部とを備えており、
前記視点カメラは、使用者の視点と共役となる位置に配置されており、
かつ、前記視点カメラは、前記視点から前記スクリーンの方向を見たときの、前記スクリーン及びその周囲についての画像を視点画像として取得する構成となっており、
前記背景カメラは、前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得する構成となっており、
前記スクリーンは、前記使用者の視野内において、背景と共に使用者に視認される程度に小さいサイズとされており、
かつ、前記スクリーンは、前記プロジェクタから投影された画像の少なくとも一部を、前記使用者の視点に向けて反射することができる構成となっており、
前記プロジェクタは、前記視点及び前記視点カメラと共役となる位置に配置されており、
かつ、前記プロジェクタは、前記処理部で生成された投影画像を前記スクリーンに投影する構成となっており、
前記処理部は、
前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成する処理を行う
構成となっており、
さらに、前記処理部は、生成された前記投影画像を前記プロジェクタに送る構成となっており、
さらに、前記処理部において、前記投影画像を生成する処理は、
(1)前記背景画像と、前記視点画像との間における、対応点を取得する処理;及び
(2)前記対応点の情報に基づいて、前記背景画像を射影変換する処理
により行われるものとなっており、
前記背景カメラは、前記スクリーンの背面側の位置に配置されており
前記背景カメラは、前記視点カメラとほぼ同じ向きに配置されている
ことを特徴とする情報提示装置。 - 前記背景カメラは、前記視点カメラと同期して、既定の周期で前記背景画像を取得する構成とされており、
前記処理部は、周期的に撮影された前記背景画像及び前記視点画像ごとに、射影変換行列Hを求め、この射影変換行列Hを用いて、前記背景画像の変換を行う構成とされている
請求項1に記載の情報提示装置。 - 前記視点カメラは、前記プロジェクタから前記スクリーンに投影された画像を取得する構成となっており、
前記処理部は、前記視点カメラで取得された、前記スクリーン上の表示画像と、前記プロジェクタから前記スクリーンに投影された投影画像とを比較し、両画像が同じ画像になるように投影画像を補正して、前記プロジェクタから前記スクリーンに投影する構成となっている、請求項1又は2に記載の情報提示装置。 - 前記スクリーンは、再帰性反射スクリーンとされている、請求項1〜3のいずれか1項に記載の情報提示装置。
- 前記スクリーンは、前記使用者側に凸となる円弧面を備えており、
前記背景カメラは、複数とされており、
かつ、前記背景カメラは、前記円弧面の後ろ側に存在する環境の画像を取得するように配置されており、
さらに、前記複数の背景カメラの向きは、互いに異なっている、請求項1〜4のいずれか1項に記載の情報提示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008142299A JP5337409B2 (ja) | 2008-05-30 | 2008-05-30 | 情報提示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008142299A JP5337409B2 (ja) | 2008-05-30 | 2008-05-30 | 情報提示装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009288613A JP2009288613A (ja) | 2009-12-10 |
JP2009288613A5 JP2009288613A5 (ja) | 2011-06-02 |
JP5337409B2 true JP5337409B2 (ja) | 2013-11-06 |
Family
ID=41457864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008142299A Expired - Fee Related JP5337409B2 (ja) | 2008-05-30 | 2008-05-30 | 情報提示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5337409B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9160931B2 (en) | 2011-04-08 | 2015-10-13 | Hewlett-Packard Development Company, L.P. | Modifying captured image based on user viewpoint |
KR102520108B1 (ko) * | 2016-06-07 | 2023-04-11 | 삼성디스플레이 주식회사 | 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치 |
CN117148591A (zh) * | 2023-10-27 | 2023-12-01 | 深圳市光舟半导体技术有限公司 | 一种光机及ar眼镜 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3274290B2 (ja) * | 1994-09-19 | 2002-04-15 | 三菱電機株式会社 | 映像表示装置及び映像表示システム |
JP3900446B2 (ja) * | 1998-06-19 | 2007-04-04 | 株式会社東京大学Tlo | 画像表示方法及び装置 |
JP4100531B2 (ja) * | 1998-08-11 | 2008-06-11 | 株式会社東京大学Tlo | 情報提示方法及び装置 |
JP2000148381A (ja) * | 1998-11-05 | 2000-05-26 | Telecommunication Advancement Organization Of Japan | 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 |
JP3080607U (ja) * | 2001-03-27 | 2001-10-05 | アイテム十六株式会社 | スクリーン映像処理装置 |
JP4747296B2 (ja) * | 2005-06-15 | 2011-08-17 | 国立大学法人九州工業大学 | 遮蔽空間の可視化方法 |
JP2008109433A (ja) * | 2006-10-26 | 2008-05-08 | Fuji Xerox Co Ltd | 画像投影システム及びこれに用いるプログラム |
-
2008
- 2008-05-30 JP JP2008142299A patent/JP5337409B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009288613A (ja) | 2009-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI547828B (zh) | 感測器與投射器之校準技術 | |
JP4584246B2 (ja) | 物体上に出力画像を表示する方法 | |
JP5467303B1 (ja) | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 | |
CN103501688B (zh) | 注视点映射的方法和装置 | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
JP2019141620A (ja) | 三次元物体上の注視点決定方法及び装置 | |
CN110377148B (zh) | 计算机可读介质、训练对象检测算法的方法及训练设备 | |
US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
JP5844880B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
US20210232858A1 (en) | Methods and systems for training an object detection algorithm using synthetic images | |
JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
JP2006258798A (ja) | 改良された形状特徴化のためのデバイスおよび方法 | |
US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
US11915453B2 (en) | Collaborative augmented reality eyewear with ego motion alignment | |
US11451760B2 (en) | Systems and methods for correcting rolling shutter artifacts | |
JP2009278456A (ja) | 映像表示装置 | |
JP6984071B6 (ja) | 器具なしレンズメータシステム | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
JP6701694B2 (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
JP5337409B2 (ja) | 情報提示装置 | |
JP2002143094A (ja) | 視線検出装置 | |
JP2019525509A (ja) | 水平視差ステレオパノラマ取込方法 | |
JP2012194145A (ja) | 情報表示装置、情報表示方法、及びプログラム | |
Nitschke et al. | I see what you see: point of gaze estimation from corneal images | |
JP6266580B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5337409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |