JP4727188B2 - 重畳型画像観察装置 - Google Patents

Description

本発明は、重畳型画像観察装置に関し、特に被写体を実視野で観察しながら重畳的に情報を表示する重畳型画像観察装置に関する。

従来、外部景色の映像と仮想映像とを重畳して表示するシースルー型のヘッドマウントディスプレイが提案されている（例えば、特許文献１参照。）。ここで、現実映像と仮想映像との間に位置的な関連付けを行なう必要がある。このため、特許文献１の構成では、公知の画像処理方法を行い、撮影した映像に含まれる所定の物体の位置を検出している。

特開平１１−１４２７８４号公報

従来技術のヘッドマウントディスプレイは、重畳表示される情報の種類に関わらず、一定の撮像画角で外部景色の被写体を撮像している。このため、撮像画角が表示画角に比較して狭いと、画像処理に必要な被写体情報が欠落してしまう。これとは反対に、撮像画角が表示画角に比較して広いと、不必要に過剰な被写体情報に対して画像処理を行なってしまう。いずれの場合も、画像処理を効率的に行なうことができずに問題である。

本発明は、上記課題に鑑みてなされたものであって、被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明によれば、撮像された被写体を画像認識により特定する画像認識部と、
特定された被写体に関する被写体情報を所定の表示画角で表示する電子情報表示部と、
所定の撮像画角で被写体を撮像し、かつ、変倍光学系を備える撮像部と、
撮像画角から表示画角を減じた角度が−１０°以上で、かつ１０°以下を満足する範囲内で変倍光学系の撮像倍率を制御する変倍制御部と、
電子情報表示部に表示された被写体情報を被写体の実視野に重畳的に表示する半透過光学素子と、を有することを特徴とする重畳型画像観察装置を提供できる。

また、本発明の好ましい態様によれば、表示画角は、一定で、撮像画角が可変であることが望ましい。
また、本発明の好ましい態様によれば、表示画角および撮像画角の何れも可変であることが望ましい。
また、本発明の好ましい態様によれば、撮像画角は、一定で、表示画角が可変であることが望ましい。

本発明によれば、撮像部は、表示画角、即ち実視野の画角と略同一または所定の範囲内の撮像画角を有している。撮像部は、この撮像画角で被写体を撮像する。そして、画像認識部は、撮像された被写体を画像認識により特定する。これにより、狭い撮像画角で画像処理に必要な被写体情報が欠落してしまうことを低減できる。さらに、広い撮像画角で不必要に過剰な被写体情報に対して画像処理を行なってしまうことも低減できる。このため、効率良く、画像認識を行なうことができる。この結果、被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供できる。

以下に、本発明に係る重畳型画像観察装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本発明の実施例１に係る重畳型画像観察装置１００の概略構成を示す図である。使用者ＯＢＳは、重畳型画像観察装置１００を用いて被写体１１０を観察する。被写体１１０は、家屋１１０ｂと、植物１１０ｃと、人物１１０ｄとから成る。また、人物１１０ｄは、ネクタイ１１０ａを着用している。重畳型画像観察装置１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子を用いることができる。

図２−１、図２−２は、重畳型画像観察装置１００の斜視図である。半透過光学素子１０２は、被写体１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された被写体１１０に関する被写体情報を被写体１１０の実視野に重畳的に表示する。

図３−１は、重畳型画像観察装置１００を上面から見た構成を示す。図３−２は、重畳型画像観察装置１００の断面構成を示す。図３−３は、重畳型画像観察装置１００を底面から見た構成を示す。図３−１、図３−３に示すように、重畳型画像観察装置１００は、被写体１１０（不図示）を撮像画角Ａで撮像する。なお、撮像部１０４の詳細なレンズ構成は後述する。

一般に人間の水平方向の視野角は、略１５０°である。このうち、人間が一括して被写体を認識できる水平方向の視野角は、略４０°〜５０°である。さらに、人間が注視したときの水平方向の視野角は、略１０°以下である。このように、図１において、使用者ＯＢＳが重畳型画像観察装置１００を用いて被写体１１０を見ているときに、その水平方向の視野角は種々の値に変化する。このため、本実施例では、視野角を定義するために表示画角Ｂを用いる。表示画角Ｂは、電子情報表示部１０１から射出した光のうち、半透過光学素子１０２で使用者ＯＢＳの方向へ反射される光の水平方向の拡がり角である。使用者ＯＢＳは、重畳型画像観察装置１００の半透過光学素子１０２を透過して、被写体１１０を観察している。このため、図１では、使用者ＯＢＳが表示画角Ｂで被写体１１０を観察する範囲を矩形の枠で囲って示す。なお、画角の角度の単位は全て「度（°）」である。

また、図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して被写体１１０（不図示）を実視野で観察する。同時に、電子情報表示部１０１に表示された被写体情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。これにより、使用者ＯＢＳは、被写体１１０を実視野で観察しつつ、重畳して被写体情報を認識できる。

図４は、撮像部１０４のレンズ構成を示す図である。撮像部１０４は変倍光学系を有している。変倍光学系は、被写体側（不図示）から順に、直角プリズムＰと、負の屈折力を有するレンズＬ１と、正の屈折力を有するレンズＬ２と、撮像素子１３０とから構成されている。撮像素子１３０は、２次元ＣＣＤ等を用いることができる。なお、図４では、レンズＬ１、Ｌ２をそれぞれ単レンズで示している。しかし、これに限られず、レンズＬ１、Ｌ２を複数のレンズからなるレンズ群で構成しても良い。また、各レンズのパワー配置も図４に示したものに限られず、変倍できる構成であれば良い。図４の（ａ）、（ｂ）は、広角端（Ｗｉｄｅ）側から望遠端（Ｔｅｌｅ）側へのレンズ移動軌跡を示す。

図５は、撮像画角Ａと表示画角Ｂとの関係を示す。図５において、縦軸（ｚ軸）は撮像部１０４の光軸に沿った方向、横軸（ｘ軸）は使用者ＯＢＳから見て水平方向をそれぞれ示す。また、理解の容易のため、撮像画角Ａの原点と、表示画角Ｂの原点とを一致させる。図５において、撮像画角Ａから表示画角Ｂを減じた角度が−１０°以上で、かつ１０°以下である。即ち、２つの画角Ａ、Ｂは次式（１）を満足する。

−１０°≦Ａ−Ｂ≦１０° ・・・（１）
ここで、電子情報表示部１０１の表示画角Ｂは一定の値である。これに対して、撮像部１０４の撮像画角Ａは、変倍光学系により上記式（１）を満足する範囲で可変である。図５では、上記式（１）を満足する範囲で、最も望遠端側の撮像画角Ａｔと、最も広角端側の撮像画角Ａｗとを合わせて示す。

図６は、重畳型画像観察装置１００の機能ブロック図である。撮像部１０４は、上述の変倍光学系により上記式（１）を満足する範囲で可変な倍率で被写体１１０を撮影する。画像認識部１０５は、撮像された被写体１１０を画像認識により特定する。使用者ＯＢＳは、予め複数のアプリケーション・プログラムのいずれか１つを選択する。このアプリケーション・プログラムは、インターネット等を介して重畳型画像観察装置１００へダウンロードされる。また、アプリケーション・プログラムは、重畳型画像観察装置１００内のＲＯＭ（不図示）に格納しておいても良い。例えば、使用者ＯＢＳは、実視野（表示画角Ｂ）と略同一または所定の範囲内の被写体１１０に基づいて、現在位置のナビゲーション情報を知りたいときを考える。

このとき、使用者ＯＢＳは、ナビゲーションプログラムを選択する。そして、使用者ＯＢＳは、視野内に表示されている十字状のターゲットポイント１２０を被写体１１０の中央部下方へ移動する。ターゲットポイント１２０の移動は、重畳型画像観察装置１００の操作ボタン（不図示）を用いる。

図６において、画像認識部１０５は、例えば、撮像した被写体１１０の画像、即ち植物１１０ｃ、家屋１１０ｂ等の画像をパターンマッチング処理する。パターンマッチングは、公知の画像処理法を用いる。これにより、画像認識部１０５は、撮像した画像を特定する。撮像画角Ａの初期値は、表示画角Ｂと一致させておく。変倍制御部１０３は、撮像部１０４の変倍光学系の撮像倍率を必要に応じて望遠端側または広角端側へ制御する。また、被写体情報データベース１０６は、被写体１１０の情報、例えば風景に関するナビゲーション情報が格納されている。なお、本実施例では、重畳型画像観察装置１００が被写体情報データベース１０６を備えている。しかしながら、被写体情報データベース１０６は、これに限られず、重畳型画像観察装置１００とは異なる別個のデータベースとしても良い。このときは、重畳型画像観察装置１００と、被写体情報データベース１０６とは、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるように構成する。

画像認識部１０５は、被写体情報データベース１０６から特定された被写体１１０に関する情報を取得する。電子情報表示部１０１は、取得された被写体１１０の情報を表示する。半透過光学素子１０２は、被写体１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された被写体１１０に関する被写体情報を被写体１１０の実視野に重畳的に表示する。実視野に重畳的に表示される情報は、文字情報に限られない。例えば、静止画、動画などの映像情報を重畳的に表示できる。また、アイコン、天気記号、地理記号等の記号を重畳的に表示してもよい。

図７は、本実施例の情報表示の手順を示すフローチャートである。ステップＳ５０１において、使用者ＯＢＳは所望のアプリケーションを選択する。ステップＳ５０２において、撮像部１０４は、選択されたアプリケーションに従った撮像画角Ａで被写体１１０を撮像する。ステップＳ５０３において、画像認識部１０５は、撮像された被写体１１０の画像に基づいてパターンマッチング処理を行なう。ステップ５０４において、使用者ＯＢＳが所望した領域の画像が特定できたか、否かが判断される。判断結果が偽（Ｎｏ）のとき、ステップＳ５０５へ進む。ステップＳ５０５において、変倍制御部１０３は撮像部１０４の変倍光学系を所定ステップ量だけ変倍する。ナビゲーションプログラムが選択されているときは、変倍光学系は、適宜望遠端側または広角端側へ、式（１）を満足する範囲内で変倍される。そして、ステップ５０２へ戻り、撮像部１０４は、再度、被写体１１０を撮像する。

また、ステップＳ５０４の判断結果が真（Ｙｅｓ）のときは、ステップＳ５０６へ進む。ステップＳ５０６において、画像認識部１０５は、被写体情報データベース１０６から特定された被写体、この例では風景の情報を取得する。ステップＳ５０７において、電子情報表示部１０１は、被写体情報、即ちナビゲーション結果である現在位置情報を表示する。半透過光学素子１０２は、被写体１１０の実視野に重畳して、現在位置情報を表示する。

このように、使用者ＯＢＳが被写体１１０のうち、表示画角Ｂ、即ち実視野の画角と略同一または所定の範囲内の画像領域の情報を知りたいときは、画像認識が完了するまで、望遠端側または広角端側への変倍を逐次行なう。次に、画像認識が完了した状態で、変倍動作が終了する。そして、上述のように、被写体情報が取得される。なお、撮像画角Ａが初期値の状態において、画像認識が完了するときもある。このときは、変倍動作を行なわなくても良い。このように、変倍しながら、画像認識を行なうことで、画像認識が完了するまでの収束時間を高速化できる。

図８は、実施例２に係る重畳型画像観察装置２００の機能ブロックを示す図である。上記実施例１では、撮像部１０４は変倍光学系を備えている。これに対して、本実施例では、撮像部１０４は、固定焦点の光学系を備えている点が異なる。上記実施例１と同一の部分には、同一の符号を付し重複する説明は省略する。

撮像部１０４は、固定の撮像画角Ａで被写体１１０を撮像する。撮像画角Ａから表示画角Ｂを減じた角度が−１０°以上で、かつ１０°以下である。本実施例によれば、撮像部１０４は、被写体１１０のうちの実視野（表示画角Ｂ）と略同一または所定の範囲内の領域を撮像する。これにより、被写体１１０に関するパターンマッチングを効率良く、かつ高精度に行なうことができる。このため、画像認識部１０５は、短時間で被写体１１０、例えば植物１１０ｃ、家屋１１０ｂを特定できる。この結果、風景に基づくナビゲーション情報等を迅速、かつ簡便に、実視野に重畳して表示できる。

以上説明したように、表示画角Ｂに対して撮像画角Ａを上記式（１）を満足する範囲とすることで、効率良く画像認識できる。そして、使用者ＯＢＳが所望する情報を実視野に重畳して表示できる。また、表示される被写体情報は、画像認識で得られた情報を全て表示しても良い。さらに、取得された情報のうち、使用者ＯＢＳが操作ボタン（不図示）で選択した情報を表示しても良い。加えて、実視野内に表示される被写体情報の位置は、画像認識された被写体の近傍に表示することが望ましい。これにより、実視野の画像と、その画像に関する情報とが使用者ＯＢＳにわかりやすく重畳表示される。この結果、重畳型画像観察装置１００は、教育分野、訓練分野、バーチャルリアリティ分野においても適用できる。なお、本実施例では、表示画角Ｂを一定にして、撮像画角Ａを可変としている。しかしながら、これに限られず、撮像画角Ａと表示画角Ｂとを可変とする構成、及び撮像画角Ａを固定とし表示画角Ｂを可変とする構成でも良い。

さらに、上記各実施例では、使用者が重畳型画像観察装置１００を手で把持して携帯電話のように使用する例を説明している。しかしながら、本発明は、携帯電話形状の重畳型画像観察装置１００に限られず、例えば公知のヘッドマウントディスプレイに上述した重畳型画像観察装置１００の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。

以上のように、本発明に係る重畳型画像観察装置は、被写体を実視野で観察しながら重畳的に、高効率に情報を表示するときに有用である。

実施例１に係る重畳型画像観察装置の概略構成図である。 重畳型画像観察装置の斜視構成図である。 重畳型画像観察装置の他の斜視構成図である。 重畳型画像観察装置の上面図である。 重畳型画像観察装置の断面図である。 重畳型画像観察装置の底面図である。 実施例１の撮像部のレンズ構成を示す図である。 実施例１の撮像画角と表示画角とを説明する図である。 実施例１の重畳型画像観察装置の機能ブロック図である。 実施例１の情報表示の手順を示すフローチャートである。 実施例２の重畳型画像観察装置の機能ブロック図である。

符号の説明

１００ 重畳型画像観察装置
１０１ 電子情報表示部
１０２ 半透過光学素子
１０３ 変倍制御部
１０４ 撮像部
１０５ 画像認識部
１０６ 被写体情報データベース
１１０ 被写体
１１０ａ ネクタイ
１１０ｂ 家屋
１１０ｃ 植物
１１０ｄ 人物
Ａ 撮像画角
Ｂ 表示画角

Claims (4)

1. 撮像された被写体を画像認識により特定する画像認識部と、
   特定された前記被写体に関する被写体情報を所定の表示画角で表示する電子情報表示部と、
   所定の撮像画角で前記被写体を撮像し、かつ、変倍光学系を備える撮像部と、
   前記撮像画角から前記表示画角を減じた角度が−１０°以上で、かつ１０°以下を満足する範囲内で前記変倍光学系の撮像倍率を制御する変倍制御部と、
   前記電子情報表示部に表示された前記被写体情報を前記被写体の実視野に重畳的に表示する半透過光学素子と、を有することを特徴とする重畳型画像観察装置。
2. 前記表示画角は、一定で、前記撮像画角が可変であることを特徴とする請求項１に記載の重畳型画像観察装置。
3. 前記表示画角および前記撮像画角の何れも可変であることを特徴とする請求項１に記載の重畳型画像観察装置。
4. 前記撮像画角は、一定で、前記表示画角が可変であることを特徴とする請求項１に記載の重畳型画像観察装置。

Images