JP4926301B1 - 画像描画装置、画像描画方法及び画像描画プログラム - Google Patents

Abstract

画像描画装置は、例えばユーザの頭部に装着され、ユーザの網膜上に画像を描画する。画像描画装置において、検出手段は、ユーザが視認することを拒否するような、外界に存在する拒否対象を検出する。そして、制御手段は、検出手段が拒否対象を検出した際に、当該拒否対象がユーザに直接視認されないように、所定の画像を網膜上に描画させる制御を行う。これにより、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。
【選択図】図２

Description

本発明は、ヘッドマウントディスプレイなどの画像描画装置に関する。

従来から、ユーザの頭部に装着することが可能に構成されたヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）などの映像表示装置が知られている。例えば、特許文献１には、眼鏡の視野内に外界の像に重ねて文字情報等の虚像を表示する眼鏡型のヘッドマウントディスプレイが記載されている。

特開平１１−３４６３３６号公報

ところで、上記したようなＨＭＤにおいて、ユーザが視認することを拒否するような外界に存在する対象（例えば交通事故や試合結果など）を、ユーザが視認してしまうことを制限することができれば便宜である。

本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、ユーザが視認することを拒否するような対象が視認されてしまうことを適切に制限することが可能な画像描画装置、画像描画方法及び画像描画プログラムを提供することを課題とする。

請求項１に記載の発明では、画像描画装置は、ユーザの網膜上に画像を描画する光源と、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備え、前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行う。
請求項２に記載の発明では、画像描画装置は、ユーザの網膜上に画像を描画する光源と、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備え、前記検出手段は、前記ユーザが視線を背ける行動を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記外界を撮影するカメラから取得した撮影画像に基づいて、前記拒否対象を検出する処理を行う。

請求項８に記載の発明では、ユーザの網膜上に画像を描画する光源を有する画像描画装置によって実行される画像描画方法は、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出工程と、前記検出工程が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御工程と、を備え、前記検出工程は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、前記制御工程は、前記検出工程が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行う。

請求項９に記載の発明では、ユーザの網膜上に画像を描画する光源及びコンピュータを有する画像描画装置によって実行される画像描画プログラムは、前記コンピュータを、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段、として機能させ、前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行う。

本実施例に係るヘッドマウントディスプレイ（ＨＭＤ）の全体構成を示す。 ＨＭＤ内のマイコンの機能構成を示す。 画像解析部、行動解析部、制御部及び画像処理部が扱う入力情報及び出力情報を示す。 本実施例における制御方法を具体的に説明するための図を示す。 本実施例における全体処理を示すフローチャートである。 画像解析部が行う処理を示すフローチャートである。 行動解析部が行う処理を示すフローチャートである。 制御部が行う処理を示すフローチャートである。

本発明の１つの観点では、画像描画装置は、ユーザの網膜上に画像を描画する光源と、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備える。

上記の画像描画装置は、例えばユーザの頭部に装着され、ユーザの網膜上に画像を描画する装置である。検出手段は、ユーザが視認することを拒否するような、外界に存在する拒否対象を検出する。制御手段は、検出手段が拒否対象を検出した際に、当該拒否対象がユーザに直接視認されないように、所定の画像を網膜上に描画させるべく、光源に対して制御を行う。これにより、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。

上記の画像描画装置の一態様では、前記制御手段は、前記網膜上において前記拒否対象が結像している箇所に、前記所定の画像を描画させる。

この態様では、網膜上において拒否対象が結像している箇所にのみ、所定の画像を描画させる。これにより、ユーザに拒否対象が直接視認されてしまうことを適切に抑制しつつ、ユーザの視野をある程度確保することができる。

上記の画像描画装置の他の一態様では、前記検出手段は、前記外界を撮影するカメラから撮影画像を取得し、前記撮影画像に基づいて前記拒否対象を検出する処理を行う。この態様によれば、拒否対象を適切に検出することができる。

上記の画像描画装置において好適には、予め設定された前記拒否対象のデータを記憶する記憶手段を更に有し、前記検出手段は、前記撮影画像を画像解析することで、前記記憶手段が記憶している前記拒否対象が前記撮影画像に含まれているか否かを判断することで、前記撮影画像から前記拒否対象を検出することができる。

上記の画像描画装置の他の一態様では、前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行う。

この態様では、検出手段は、ユーザの視線を背ける行動を、ユーザが視認することを拒否する反応（拒否反応）として扱い、ユーザが視線を背ける前に視線を向けていた方向に拒否対象が存在していたものと判断する。そして、制御手段は、検出手段がこのような判断を行った後に、ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、所定の画像を描画させる制御を行う。これにより、拒否対象を適切に判断して、ユーザに拒否対象が直接視認されてしまうことを抑制することができる。

上記の画像描画装置において好適には、前記検出手段は、前記画像描画装置の加速度を検出する加速度センサの出力値に基づいて、前記ユーザが視線を背ける行動を行ったか否かを判断し、前記制御手段は、前記画像描画装置の位置を検出するＧＰＳの出力値に基づいて、前記ユーザが視線を背ける前と同じ方向に再び視線を向けたか否かを判断することができる。

好適には、前記検出手段は、前記ユーザによる視線を背ける行動として、前記ユーザの頭部の移動を伴う行動を検出することができる。

上記の画像描画装置の他の一態様では、前記検出手段は、前記ユーザが視線を背ける行動を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記外界を撮影するカメラから取得した撮影画像に基づいて、前記拒否対象を検出する処理を行う。

この態様によれば、拒否対象を適切に判断して、ユーザに拒否対象が直接視認されてしまうことを抑制することができる。また、本実施例によれば、上記した条件が成立した場合にのみ、撮影画像に基づいて拒否対象を検出する処理を行うため、上記した条件を用いずに当該処理を行う場合と比較して、処理負荷を軽減することができる。

上記の画像描画装置において好適には、前記制御手段は、前記検出手段が前記拒否対象を検出した際に前記ユーザが視線を向けていた方向と異なる方向に前記ユーザが視線を向けた場合に、前記所定の画像の描画を中止する。これにより、拒否対象が存在しない方向にユーザが視線を向けた際に、所定の画像の描画を速やかに中止することができる。

本発明の他の観点では、ユーザの網膜上に画像を描画する光源を有する画像描画装置によって実行される画像描画方法は、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出工程と、前記検出工程が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御工程と、を備える。

本発明の更に他の観点では、ユーザの網膜上に画像を描画する光源及びコンピュータを有する画像描画装置によって実行される画像描画プログラムは、前記コンピュータを、前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段、前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段、として機能させる。

上記の画像描画方法及び画像描画プログラムによっても、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。

なお、上記画像描画プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［全体構成］
図１は、本実施例に係るヘッドマウントディスプレイ（ＨＭＤ）１の全体構成を概略的に示したブロック図である。

ＨＭＤ１は、主に、マイクロコンピュータ１１（以下、適宜「マイコン１１」と表記する）と、記憶部１２と、光源ユニット１３と、カメラ１４と、ＧＰＳ１５と、加速度センサ１６と、を備える。ＨＭＤ１は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。

マイコン１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを有しており、ＨＭＤ１の全体の制御を行う。記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やフラッシュメモリなどの各種の記憶手段で構成される。光源ユニット１３は、赤色、緑色、青色のレーザ光源や、レーザ光源から出射されたレーザ光を走査する走査機構などを有する。ＨＭＤ１は、上記したマイコン１１の制御の元、レーザ光源からのレーザ光を走査することで、ユーザの網膜上に画像を描画する。

カメラ１４は、ＣＣＤカメラなどにより構成され、ＨＭＤ１の前方景色（具体的には、ＨＭＤ１が装着された状態でユーザが視認する周辺景色）を撮影し、撮影画像に対応する画像情報を生成する。ＧＰＳ１５は、複数のＧＰＳ衛星から測位用データを含む電波を受信し、測位用データに基づいてＨＭＤ１の現在位置（緯度／経度）を求める。加速度センサ１６は、例えば圧電素子などにより構成され、ＨＭＤ１の加速度を検出する。

［マイコンの構成］
次に、図２を参照して、上記したＨＭＤ１内のマイコン１１の機能構成について説明する。図２に示すように、マイコン１１は、画像解析部１１ａと、行動解析部１１ｂと、制御部１１ｃと、画像処理部１１ｄとを有する。

画像解析部１１ａは、カメラ１４から撮影画像に対応する画像情報が入力されると共に、ＧＰＳ１５から緯度／経度が入力される。画像解析部１１ａは、撮影画像を画像解析することで、撮影画像が、記憶部１２の拒否対象ＤＢ（データベース）１２ａに記憶された拒否対象に一致するか否かを判定する。つまり、画像解析部１１ａは、拒否対象ＤＢ１２ａに記憶された拒否対象が撮影画像に含まれているか否かを判定する。具体的には、画像解析部１１ａは、ＧＰＳ１５から今回取得した緯度／経度が、ＧＰＳ１５から前回取得した緯度／経度に一致する場合にのみ、このような判定を行う。そして、画像解析部１１ａは、撮影画像が拒否対象と一致している場合には「対象一致」を画像解析結果として制御部１１ｃに出力し、撮影画像が拒否対象と一致していない場合には「対象不一致」を画像解析結果として制御部１１ｃに出力する。なお、画像解析部１１ａは、今回取得した緯度／経度が前回取得した緯度／経度に一致しない場合には、「対象不一致」を画像解析結果として出力する。

ここで、「拒否対象」とは、ユーザが視認することを拒否するような外界に存在する対象（例えば交通事故や試合結果など）である。拒否対象はユーザなどによって予め設定され、拒否対象に対応するデータが拒否対象ＤＢ１２ａに記憶される。例えば、拒否対象を示す画像や文字などのデータが、拒否対象ＤＢ１２ａに記憶される。

行動解析部１１ｂは、加速度センサ１６から加速度が入力され、加速度に基づいてユーザの行動を解析する。具体的には、行動解析部１１ｂは、ユーザの頭の動きに相当する加速度に基づいて、拒否対象がユーザの目前に現れることで、ユーザがその対象の視認を避けるような行動（拒否反応）を行ったか否かを判定する。詳しくは、行動解析部１１ｂは、加速度と所定値とを比較することで、ユーザが拒否反応を行ったか否かを判定する。この場合、行動解析部１１ｂは、加速度が所定値以上である場合には、ユーザが拒否反応を示したことを表している「拒否反応」を、行動解析結果として制御部１１ｃに出力する。これに対して、行動解析部１１ｂは、加速度が所定値未満である場合には、ユーザが拒否反応を示していないことを表している「拒否反応以外」を、行動解析結果として制御部１１ｃに出力する。

制御部１１ｃは、画像解析部１１ａから画像解析結果が入力されると共に、行動解析部１１ｂから行動解析結果が入力され、これらに基づいて、ユーザに拒否対象が視認されてしまうことを制限すべき状況であるか否かを判定する。具体的には、制御部１１ｃは、画像解析結果が「対象一致」を示しており、且つ行動解析結果が「拒否反応」を示している場合に、ユーザに拒否対象が視認されてしまうことを制限すべき状況であると判断する。この場合には、制御部１１ｃは、ユーザに拒否対象が直接視認されてしまうことを制限するための画像処理指示を画像処理部１１ｄに出力する。具体的には、制御部１１ｃは、モザイク画像（モザイク処理された画像）をユーザの網膜上に描画する処理（以下、適宜「モザイク重畳」と呼ぶ。）を行わせるための画像処理指示を画像処理部１１ｄに出力する。

これに対して、制御部１１ｃは、画像解析結果が「対象不一致」を示している場合、若しくは行動解析結果が「拒否反応以外」を示している場合には、ユーザに拒否対象が視認されてしまうことを制限すべき状況でないと判断する。この場合、制御部１１ｃは、「モザイク重畳」の画像処理指示を前回出力した場合には、モザイク画像を描画する処理を停止（以下、適宜「モザイク除去」と呼ぶ。）させるための画像処理指示を画像処理部１１ｄに出力する。他方で、制御部１１ｃは、「モザイク重畳」の画像処理指示を前回出力していない場合には、「モザイク重畳」及び「モザイク除去」などの処理を特に行わない「無処理」を示す画像処理指示を画像処理部１１ｄに出力する。なお、制御部１１ｃは、画像解析結果が「対象一致」を示しており、且つ行動解析結果が「拒否反応」を示している場合においても、「モザイク重畳」の画像処理指示を前回出力した場合には、「無処理」を示す画像処理指示を画像処理部１１ｄに出力する。

画像処理部１１ｄは、制御部１１ｃから画像処理指示が入力され、画像処理指示に基づいて画像処理を行う。具体的には、画像処理部１１ｄは、画像処理指示に基づいて、上記した光源ユニット１３などに対する制御を行う。例えば、画像処理部１１ｄは、画像処理指示が「モザイク重畳」である場合には、カメラ１４の撮影画像に対して所定のフィルタ処理を行うことでモザイク画像を生成し、当該モザイク画像をユーザの網膜上に描画させる制御を行う。

図３は、画像解析部１１ａ、行動解析部１１ｂ、制御部１１ｃ及び画像処理部１１ｄが扱う入力情報及び出力情報を示している。

図３（ａ）は、画像解析部１１ａの入力情報を示している。画像解析部１１ａは、ＧＰＳ１５から緯度／経度（北緯／南緯：xx°yy’zz.zzzz”、及び東経／西経：xxx°yy’zz.zzzz”）が入力されると共に、カメラ１４から撮影画像に対応する画像情報が入力される。また、画像解析部１１ａは、拒否対象ＤＢ１２ａに記憶された拒否対象の情報（拒否対象情報）が入力される。図３（ｂ）は、画像解析部１１ａの出力情報を示している。画像解析部１１ａは、「対象一致」及び「対象不一致」のいずれかを示す画像解析結果を、制御部１１ｃに出力する。また、画像解析部１１ａは、モザイク重畳（モザイク除去も含む）を行う「範囲」の情報も、画像解析結果として制御部１１ｃに出力する。この「範囲」は、モザイク画像を描画する網膜上の範囲に対応し、例えば予め設定された範囲が用いられる。１つの例では、ユーザの視野の中央部分に位置する、所定サイズの範囲が用いられる。

図３（ｃ）は、行動解析部１１ｂの入力情報を示している。行動解析部１１ｂは、加速度センサ１６から加速度（「Ａ［ｍ／ｓ^２］」）が入力される。図３（ｄ）は、行動解析部１１ｂの出力情報を示している。行動解析部１１ｂは、「拒否反応」及び「拒否反応以外」のいずれかを示す行動解析結果を、制御部１１ｃに出力する。

図３（ｅ）は、制御部１１ｃの入力情報を示している。制御部１１ｃは、上記したような画像解析結果が画像解析部１１ａから入力されると共に、上記したような行動解析結果が行動解析部１１ｂから入力される。図３（ｆ）は、制御部１１ｃの出力情報を示している。制御部１１ｃは、「モザイク重畳」、「モザイク除去」及び「無処理」のいずれかを示す画像処理指示を、画像処理部１１ｄに出力する。また、制御部１１ｃは、画像解析部１１ａから入力された「範囲」の情報も、画像処理指示として画像処理部１１ｄに出力する。

図３（ｇ）は、画像処理部１１ｄの入力情報を示している。画像処理部１１ｄは、上記したような画像処理指示が制御部１１ｃから入力される。

なお、画像解析部１１ａ及び行動解析部１１ｂは、本発明における「検出手段」の一例に相当し、制御部１１ｃは、本発明における「制御手段」の一例に相当する。

［制御方法］
次に、本実施例においてマイコン１１が行う制御方法について具体的に説明する。上記したように、制御部１１ｃは、画像解析結果が「対象一致」を示しており、且つ行動解析結果が「拒否反応」を示している場合に、画像処理指示として「モザイク重畳」を画像処理部１１ｄに出力する。つまり、本実施例では、ユーザが拒否反応を示し、且つ今回取得した緯度／経度が前回取得した緯度／経度に一致し、尚且つ撮影画像が拒否対象と一致している場合に、ユーザに拒否対象が直接視認されてしまうことを制限する。より具体的には、本実施例では、ユーザが視線を背ける行動を行った後に、視線を背ける前と同じ方向に再び視線を向けた際において、撮影画像に拒否対象が含まれている場合に、ユーザに拒否対象が直接視認されてしまうことを制限するための制御を行う。なお、本実施例では、ユーザによる視線を背ける行動として、ユーザの頭部の移動を伴う行動を検出する。

図４を参照して、本実施例においてマイコン１１が行う制御方法の具体例について説明する。ここでは、拒否対象として交通事故を例示する。また、交通事故が拒否対象として拒否対象ＤＢ１２ａに記憶されているものとする。例えば、交通事故を示す画像データなどが拒否対象ＤＢ１２ａに記憶されている。なお、図４の右側の破線領域には、ユーザが実際に視認する実像を示している。

図４（ａ）は、突発的な交通事故がユーザの目前に現れた際の図を示している。この際には、「モザイク重畳」が未だ行われていないため、図４（ａ）の破線領域に示すように、ユーザは交通事故を視認することとなる。

次に、図４（ｂ）に示すように、ユーザが交通事故の視認を避けるような行動（拒否反応）を行ったものとする。拒否反応としては、例えばユーザが交通事故の方角から視線を背けるように、頭部を動かす行動を行ったものとする。この際に、加速度センサ１６は、ユーザの頭の動きに相当する加速度Ａ［ｍ／ｓ^２］を検出する。そして、マイコン１１内の行動解析部１１ｂは、加速度センサ１６から加速度Ａ［ｍ／ｓ^２］が入力され、加速度Ａ［ｍ／ｓ^２］に基づいてユーザの行動を解析する。この場合、行動解析部１１ｂは、加速度Ａ［ｍ／ｓ^２］が所定値以上であるため、行動解析結果として「拒否反応」を制御部１１ｃに出力する。

次に、図４（ｃ）に示すように、拒否反応を示す直前に顔を向けていた方向と同じ方向にユーザが顔を向けたものとする、言い換えると拒否対象が存在する方向にユーザが再び顔を向けたものとする。この場合、マイコン１１内の画像解析部１１ａは、ＧＰＳ１５から前回取得した緯度／経度（図４（ａ）参照）と概ね同一の緯度／経度を取得する。そのため、画像解析部１１ａは、カメラ１４の撮影画像を画像解析することで、撮影画像が、記憶部１２の拒否対象ＤＢ１２ａに記憶された拒否対象に一致するか否かを判定する。上記したように交通事故を示す画像データなどが拒否対象ＤＢ１２ａに記憶されているため、画像解析部１１ａは、撮影画像が、拒否対象ＤＢ１２ａに記憶された拒否対象に一致すると判定する。そして、画像解析部１１ａは、画像解析結果として「対象一致」を制御部１１ｃに出力する。

マイコン１１内の制御部１１ｃは、行動解析結果が「拒否反応」を示しており、且つ画像解析結果が「対象一致」を示しているため、画像処理指示として「モザイク重畳」を画像処理部１１ｄに出力する。そして、マイコン１１内の画像処理部１１ｄは、「モザイク重畳」に対応する画像処理を実行する。具体的には、画像処理部１１ｄは、撮影画像に対して所定のフィルタ処理を行うことでモザイク画像を生成し、当該モザイク画像をユーザの網膜上に描画させる制御を行う。これにより、図４（ｃ）の破線領域に示すように、ユーザはモザイク処理された交通事故を視認することとなる。

以上説明した本実施例における制御方法によれば、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。また、本実施例によれば、画像解析部１１ａによる画像解析及び行動解析部１１ｂによる行動解析に基づいて、視認を制限すべき状況であるか否かを適切に判断することができる。よって、むやみに視認を制限してしまうことを抑制することが可能となる。また、本実施例によれば、今回取得した緯度／経度が前回取得した緯度／経度に一致する場合のみ、撮影画像が拒否対象と一致しているか否かを判定する処理（つまり画像解析）を行うため、当該処理を緯度／経度に関係なく毎回行う場合と比較して、処理負荷を軽減することができる。

［制御フロー］
次に、図５乃至図８を参照して、本実施例においてマイコン１１が行う処理フローを説明する。

図５は、本実施例においてマイコン１１が行う全体処理を示すフローチャートである。当該処理は、マイコン１１によって、所定の周期で繰り返し実行される。

まず、ステップＳ１０１では、マイコン１１内の画像解析部１１ａが、ＧＰＳ１５から緯度／経度を取得すると共に、カメラ１４から画像情報を取得し、拒否対象ＤＢ１２ａに記憶された拒否対象の情報（拒否対象情報）に基づいて、「対象不一致」及び「対象不一致」のいずれかを示す画像解析結果を生成する。そして、画像解析部１１ａは、画像解析結果を制御部１１ｃに出力する。この後、処理はステップＳ１０２に進む。

ステップＳ１０２では、マイコン１１内の行動解析部１１ｂが、加速度センサ１６から加速度を取得し、加速度に基づいて、「拒否反応」及び「拒否反応以外」のいずれかを示す行動解析結果を生成する。そして、行動解析部１１ｂは、行動解析結果を制御部１１ｃに出力する。この後、処理はステップＳ１０３に進む。

ステップＳ１０３では、マイコン１１内の制御部１１ｃが、画像解析部１１ａから画像解析結果を取得すると共に、行動解析部１１ｂから行動解析結果を取得し、画像解析結果及び行動解析結果に基づいて、「モザイク重畳」、「モザイク除去」及び「無処理」のいずれかを示す画像処理指示を生成する。そして、制御部１１ｃは、画像処理指示を画像処理部１１ｄに出力する。この後、処理はステップＳ１０４に進む。

ステップＳ１０４では、マイコン１１内の画像処理部１１ｄが、制御部１１ｃから画像処理指示を取得し、画像処理指示に基づいて画像処理を行う。そして、処理は終了する。

次に、図６は、上記したステップＳ１０１の処理の詳細を示すフローチャートである。具体的には、画像解析部１１ａが行う処理を示すフローチャートである。

まず、ステップＳ２０１では、画像解析部１１ａは、画像解析結果を「対象不一致」で初期化する。そして、処理はステップＳ２０２に進む。ステップＳ２０２では、画像解析部１１ａは、モザイク重畳又はモザイク除去を行う範囲を「Ｘ＝０、Ｙ＝０」で初期化する。そして、処理はステップＳ２０３に進む。ステップＳ２０３では、画像解析部１１ａは、ＧＰＳ１５から緯度／経度を取得する。画像解析部１１ａは、こうして取得された緯度／経度を、「今回の緯度／経度」として用いる。そして、処理はステップＳ２０４に進む。

ステップＳ２０４では、画像解析部１１ａは、今回の緯度／経度が、当該フローを前回実行した際に取得した緯度／経度（前回の緯度／経度）に一致するか否かを判定する。今回の緯度／経度が前回の緯度／経度に一致する場合（ステップＳ２０４；Ｙｅｓ）、処理はステップＳ２０５に進む。これに対して、今回の緯度／経度が前回の緯度／経度に一致しない場合（ステップＳ２０４；Ｎｏ）、処理はステップＳ２０９に進む。この場合には、画像解析部１１ａは、前回の緯度／経度を今回の緯度／経度で更新する処理のみを行い（ステップＳ２０９）、処理は終了する。当該場合には、ステップＳ２０１で初期化された「対象不一致」に画像解析結果が維持されているため、画像解析部１１ａは、画像解析結果として「対象不一致」を制御部１１ｃに出力する。また、画像解析部１１ａは、「Ｘ＝０、Ｙ＝０」の範囲を、画像解析結果として制御部１１ｃに出力する。

なお、上記のステップＳ２０４では、今回の緯度／経度が前回の緯度／経度に完全に一致しているか否かを判定する必要はなく、ある程度の誤差を考慮して、今回の緯度／経度が前回の緯度／経度に概ね一致しているか否かを判定すれば良い。

ステップＳ２０５では、画像解析部１１ａは、カメラ１４から撮影画像に対応する画像情報を取得する。そして、処理はステップＳ２０６に進む。ステップＳ２０６では、画像解析部１１ａは、撮影画像が、記憶部１２の拒否対象ＤＢ１２ａに記憶された拒否対象に一致するか否かを判定する。つまり、画像解析部１１ａは、拒否対象ＤＢ１２ａに記憶された拒否対象が撮影画像に含まれているか否かを判定する。１つの例では、拒否対象の特徴部分のデータを拒否対象ＤＢ１２ａに記憶させておき、画像解析部１１ａは、撮影画像に対して公知の画像解析を行うことで、そのような拒否対象の特徴部分が撮影画像に含まれているか否かを判定する。

撮影画像が拒否対象に一致する場合（ステップＳ２０６；Ｙｅｓ）、処理はステップＳ２０７に進む。これに対して、撮影画像が拒否対象に一致しない場合（ステップＳ２０６；Ｙｅｓ）、処理はステップＳ２０７に進む。この場合には、画像解析部１１ａは、前回の緯度／経度を今回の緯度／経度で更新する処理のみを行い（ステップＳ２０９）、処理は終了する。当該場合には、ステップＳ２０１で初期化された「対象不一致」に画像解析結果が維持されているため、画像解析部１１ａは、画像解析結果として「対象不一致」を制御部１１ｃに出力する。また、画像解析部１１ａは、「Ｘ＝０、Ｙ＝０」の範囲を、画像解析結果として制御部１１ｃに出力する。

ステップＳ２０７では、画像解析部１１ａは、画像解析結果を「対象一致」に設定する。そして、処理はステップＳ２０８に進む。ステップＳ２０８では、画像解析部１１ａは、モザイク重畳（モザイク除去も含む）を行う範囲を「Ｘ＝ｘｘ、Ｙ＝ｙｙ」に設定する。この範囲は、例えば予め設定された範囲が用いられる。１つの例では、ユーザの視野の中央部分に位置する、所定サイズの範囲が用いられる。そして、処理はステップＳ２０９に進む。

ステップＳ２０９では、画像解析部１１ａは、前回の緯度／経度を今回の緯度／経度で更新する。この場合には、画像解析部１１ａは、画像解析結果として「対象一致」を制御部１１ｃに出力する。また、画像解析部１１ａは、「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲を、画像解析結果として制御部１１ｃに出力する。そして、処理は終了する。

次に、図７は、上記したステップＳ１０２の処理の詳細を示すフローチャートである。具体的には、行動解析部１１ｂが行う処理を示すフローチャートである。

まず、ステップＳ３０１では、行動解析部１１ｂは、行動解析結果を「拒否対象以外」で初期化する。そして、処理はステップＳ３０２に進む。ステップＳ３０２では、行動解析部１１ｂは、加速度センサ１６から加速度を取得する。そして、処理はステップＳ３０３に進む。

ステップＳ３０３では、行動解析部１１ｂは、加速度が所定値以上であるか否かを判定する。所定値は、予め設定した固定値を用いても良いし、ユーザが設定した値を用いても良い。

加速度が所定値以上である場合（ステップＳ３０３；Ｙｅｓ）、処理はステップＳ３０４に進む。ステップＳ３０４では、行動解析部１１ｂは、行動解析結果を「拒否対象」に設定する。この場合には、行動解析部１１ｂは、行動解析結果として「拒否対象」を制御部１１ｃに出力する。そして、処理は終了する。これに対して、加速度が所定値未満である場合（ステップＳ３０３；Ｎｏ）、処理は終了する。この場合には、ステップＳ３０１で初期化された「拒否対象以外」に行動解析結果が維持されているため、行動解析部１１ｂは、行動解析結果として「拒否対象以外」を制御部１１ｃに出力する。

次に、図８は、上記したステップＳ１０３の処理の詳細を示すフローチャートである。具体的には、制御部１１ｃが行う処理を示すフローチャートである。

まず、ステップＳ４０１では、制御部１１ｃは、今回の画像処理指示を「無処理」で初期化する。そして、処理はステップＳ４０２に進む。ステップＳ４０２では、制御部１１ｃは、画像解析部１１ａから取得した画像解析結果が「対象一致」であるか否かを判定する。画像解析結果が「対象一致」である場合（ステップＳ４０２；Ｙｅｓ）、処理はステップＳ４０３に進む。

ステップＳ４０３では、制御部１１ｃは、行動解析部１１ｂから取得した行動解析結果が「拒否反応」であるか否かを判定する。行動解析結果が「拒否反応」である場合（ステップＳ４０３；Ｙｅｓ）、制御部１１ｃは、当該フローを前回実行した際に設定した画像処理指示（前回の画像処理指示）が「モザイク重畳」であるか否かを判定する（ステップＳ４０４）。前回の画像処理指示が「モザイク重畳」でない場合（ステップＳ４０４；Ｎｏ）、制御部１１ｃは、今回の画像処理指示を「モザイク重畳」に設定する（ステップＳ４０５）。そして、制御部１１ｃは、モザイク重畳を行う範囲を、画像解析部１１ａから画像解析結果として取得した「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲に設定する（ステップＳ４０６）。次に、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する（ステップＳ４０７）。この場合には、制御部１１ｃは、画像処理指示として「モザイク重畳」を画像処理部１１ｄに出力する。また、制御部１１ｃは、「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲を、画像処理指示として画像処理部１１ｄに出力する。この後、処理は終了する。

一方、行動解析結果が「拒否反応」でない場合（ステップＳ４０３；Ｎｏ）、又は前回の画像処理指示が「モザイク重畳」である場合（ステップＳ４０４；Ｙｅｓ）、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する処理のみ行い（ステップＳ４０７）、処理は終了する。この場合には、ステップＳ４０１で初期化された「無処理」が画像処理指示として維持されているため、制御部１１ｃは、画像処理指示として「無処理」を画像処理部１１ｄに出力する。

他方で、画像解析結果が「対象一致」でない場合（ステップＳ４０２；Ｎｏ）、つまり画像解析結果が「対象不一致」である場合、処理はステップＳ４０８に進む。ステップＳ４０８では、制御部１１ｃは、前回の画像処理指示が「モザイク重畳」であるか否かを判定する。前回の画像処理指示が「モザイク重畳」である場合（ステップＳ４０８；Ｙｅｓ）、制御手段１１ｃは、今回の画像処理指示を「モザイク除去」に設定する（ステップＳ４０９）。そして、制御部１１ｃは、モザイク除去を行う範囲を、画像解析部１１ａから画像解析結果として取得した「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲に設定する（ステップＳ４１０）。次に、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する（ステップＳ４０７）。この場合には、制御部１１ｃは、画像処理指示として「モザイク除去」を画像処理部１１ｄに出力する。また、制御部１１ｃは、「Ｘ＝ｘｘ、Ｙ＝ｙｙ」の範囲を、画像処理指示として画像処理部１１ｄに出力する。この後、処理は終了する。

これに対して、前回の画像処理指示が「モザイク重畳」でない場合（ステップＳ４０８；Ｎｏ）、制御部１１ｃは、前回の画像処理指示を今回の画像処理指示で更新する処理のみ行い（ステップＳ４０７）、処理は終了する。この場合には、ステップＳ４０１で初期化された「無処理」が画像処理指示として維持されているため、制御部１１ｃは、画像処理指示として「無処理」を画像処理部１１ｄに出力する。

以上説明した処理フローによれば、画像解析及び行動解析により、ユーザの視認を制限すべき状況であるか否かを適切に判断して、ユーザに拒否対象が直接視認されてしまうことを適切に抑制することが可能となる。

［変形例］
次に、上記した実施例の変形例について説明する。なお、以下の変形例は適宜組み合わせて実施することができる。

（変形例１）
上記では、拒否対象として交通事故を例示したが（図４参照）、これ以外にも種々の対象を拒否対象として用いることができる。１つの例では、スポーツの試合結果（例えば電光掲示板などに表示されるもの）を、拒否対象として用いることができる。この例では、画像解析部１１ａは、撮影画像からチーム名や数字やハイフン（−）などを抽出して文字認識することで、撮影画像に拒否対象が含まれているか否かを判定する。他の例では、拒否対象として、映像などで表示される「血」を、拒否対象として用いることができる。この例では、画像解析部１１ａは、撮影画像に含まれる色に基づいて、撮影画像に拒否対象が含まれているか否かを判定する。つまり、画像解析部１１ａは、血の色に相当する赤が撮影画像に含まれている場合に、撮影画像に拒否対象が含まれていると判定する。

（変形例２）
上記では、撮影画像に対して画像分析などを行うことで、撮影画像に拒否対象が含まれているか否かを判定する例を示した。他の例では、画像解析部１１ａは、撮影対象に予め貼り付けられているＡＲマーカー（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などの目印となる画像を抽出し、ＡＲマーカーに基づいて、撮影画像がどのような画像であるかを識別し、撮影画像に拒否対象が含まれているか否かを判定することができる。具体的には、スポーツの試合結果を表示させる電光掲示板には、予め試合結果が表示されていることを示すマーカーを貼り付けておくことで、そこに拒否対象が存在することが判別できる。

（変形例３）
上記では、予め設定された所定の範囲（ユーザの視野の中央部分に位置する所定サイズの範囲など）に、モザイク画像を描画させる例を示した。他の例では、網膜上において拒否対象が結像している箇所に、モザイク画像を描画させることができる。この例では、画像解析部１１ａは、撮影画像に拒否対象が含まれていると判定した場合に、拒否対象が位置する範囲を更に特定し、制御部１１ｃは、画像解析部１１ａが特定した範囲に対応する網膜上の範囲に、モザイク画像を描画させることができる。

（変形例４）
上記では、モザイク画像を網膜上に描画させる例を示したが、ユーザに拒否対象が直接視認されてしまうことを制限できれば、モザイク画像以外の所定の画像を網膜上に描画させることができる。例えば、制御部１１ｃは、所定の色を有する画像で、網膜上の所定範囲を塗りつぶすような制御を行うことができる。

（変形例５）
上記では、ユーザが拒否反応を示している場合に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行う例を示したが、他の例では、ユーザが拒否反応を示したか否かに関わらず、撮影画像に拒否対象が含まれている場合に、当該制御を行うことができる。具体的には、ユーザの頭の動きに関わらず（具体的には、ユーザが顔を背ける行動を行った否か、及びユーザが顔を背ける前と同じ方向に再び顔を向けたか否かに関わらず）、撮影画像に拒否対象が含まれている場合に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行うことができる。

（変形例６）
上記では、撮影画像に拒否対象が含まれている場合に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行う例を示したが、他の例では、撮影画像に拒否対象が含まれている否かに関わらず、ユーザが拒否反応を示した場合に、当該制御を行うことができる。具体的には、ユーザが顔を背ける行動を行った後に、ユーザが顔を背ける前と同じ方向に再び顔を向けた際に、ユーザに拒否対象が直接視認されてしまうことを制限する制御を行うことができる。

（変形例７）
上記では本発明をヘッドマウントディスプレイ（ＨＭＤ）に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、ＨＭＤ以外にも、種々の画像描画装置に適用することができる。

以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。

本発明は、ヘッドマウントディスプレイなどの画像描画装置に利用することができる。

１ ヘッドマウントディスプレイ（ＨＭＤ）
１１ マイクロコンピュータ（マイコン）
１１ａ 画像解析部
１１ｂ 行動解析部
１１ｃ 制御部
１１ｄ 画像処理部
１２ 記憶部
１２ａ 拒否対象ＤＢ
１３ 光源ユニット
１４ カメラ
１５ ＧＰＳ
１６ 加速度センサ

Claims (10)

1. ユーザの網膜上に画像を描画する光源と、
   前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、
   前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備え、
   前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、
   前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行うことを特徴とする画像描画装置。
2. ユーザの網膜上に画像を描画する光源と、
   前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段と、
   前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段と、を備え、
   前記検出手段は、前記ユーザが視線を背ける行動を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記外界を撮影するカメラから取得した撮影画像に基づいて、前記拒否対象を検出する処理を行うことを特徴とする画像描画装置。
3. 前記制御手段は、前記網膜上において前記拒否対象が結像している箇所に、前記所定の画像を描画させることを特徴とする請求項１又は２に記載の画像描画装置。
4. 予め設定された前記拒否対象のデータを記憶する記憶手段を更に有し、
   前記検出手段は、前記撮影画像を画像解析することで、前記記憶手段が記憶している前記拒否対象が前記撮影画像に含まれているか否かを判断することで、前記撮影画像から前記拒否対象を検出することを特徴とする請求項２に記載の画像描画装置。
5. 前記検出手段は、前記画像描画装置の加速度を検出する加速度センサの出力値に基づいて、前記ユーザが視線を背ける行動を行ったか否かを判断し、
   前記制御手段は、前記画像描画装置の位置を検出するＧＰＳの出力値に基づいて、前記ユーザが視線を背ける前と同じ方向に再び視線を向けたか否かを判断することを特徴とする請求項１に記載の画像描画装置。
6. 前記検出手段は、前記ユーザによる視線を背ける行動として、前記ユーザの頭部の移動を伴う行動を検出することを特徴とする請求項５に記載の画像描画装置。
7. 前記制御手段は、前記検出手段が前記拒否対象を検出した際に前記ユーザが視線を向けていた方向と異なる方向に前記ユーザが視線を向けた場合に、前記所定の画像の描画を中止することを特徴とする請求項１乃至６のいずれか一項に記載の画像描画装置。
8. ユーザの網膜上に画像を描画する光源を有する画像描画装置によって実行される画像描画方法であって、
   前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出工程と、
   前記検出工程が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御工程と、を備え、
   前記検出工程は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、
   前記制御工程は、前記検出工程が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行うことを特徴とする画像描画方法。
9. ユーザの網膜上に画像を描画する光源及びコンピュータを有する画像描画装置によって実行される画像描画プログラムであって、
   前記コンピュータを、
   前記ユーザが視認することを拒否する、外界に存在する拒否対象を検出する検出手段、
   前記検出手段が前記拒否対象を検出した際に、当該拒否対象が前記ユーザに直接視認されないように、所定の画像を前記網膜上に描画させる制御を行う制御手段、として機能させ、
   前記検出手段は、前記ユーザが視線を背ける行動を行った場合に、前記ユーザが視線を背ける前に視線を向けていた方向に、前記拒否対象が存在していたものと判断し、
   前記制御手段は、前記検出手段が前記判断を行った後に、前記ユーザが視線を背ける前と同じ方向に再び視線を向けた際に、前記所定の画像を描画させる制御を行うことを特徴とする画像描画プログラム。
10. 請求項９に記載の画像描画プログラムを記録したことを特徴とする記録媒体。

Images