JP6887824B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の表示部に表示する複数の画像の少なくとも１つの画像に対してグラデーション処理する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用する者が知られている。この技術では、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をカメラで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像を液晶や有機ＥＬ等の表示デバイスを介して表示して、その表示画像をＨＭＤ装着者が観察できるようにする。

ＨＭＤ等に用いる画像表示装置としては、自然な観察が出来て、臨場感を増すために、広画角の画像提示が望まれている。広画角の画像提示を達成する技術として、左右の眼に異なる画角の映像を表示させて、一部の画角のみ左右の眼で重なるようにすることで、左右の眼に同じ画角の映像を表示させる場合よりも広画角の画像が観察できるようにした画像表示装置が提案されている。

しかし、左右の眼に異なる画角の映像を表示させて、一部の画角のみ左右の眼で重なるようにする場合、単眼領域と両眼領域の境界部が目立ってしまい自然な観察ができないという現象が発生する。この現象は、左右の眼の視野闘争により、片眼には画像が表示されるが、もう片方の眼には画像が表示されずパネルの非表示部などの黒部が見えてしまうことで生じてしまう。

このような問題に対して、特許文献１には、ＨＭＤ装置に表示される画像の明るさを所定の位置から所定の減少カーブで低下させることで黒部を目立たないようにする技術が開示されている。

特開２００３−３３７２９９号公報

特許文献１に開示されている技術では、線形グラデーションで黒部を目立たないようにしており、グラデーションの境界部の形状は直線となっている。これに対し、ＨＭＤを装着していない人間が目で視認する実際の画像においても単眼領域と両眼領域の境界部が存在するが、黒部は違和感なく、そして広画角な画像として観察できている。つまり、グラデーションの黒部を出来るだけ目立たなくするためには、実際に人間が目で見ている境界部の形状に近づくことができるよう、グラデーション境界部の形状に関して、自由度の高い構成が必要である。

そこで、本発明は、様々な境界部の形状によりグラデーション処理可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明によれば、画像の第１の方向に輝度値に勾配をつけるグラデーション処理を行う画像処理装置に、前記第１の方向とは異なる第２の方向の複数の位置において、前記グラデーション処理を開始する開始位置を決定する位置決定手段と、 前記第２の方向に対して異なる２つ以上の導出位置から複数の増減係数を導出し、当該複数の増減係数に基づいて使用すべき増減係数を決定する係数決定手段と、前記決定された開始位置に基づいて、前記画像の画素の輝度値に対して前記決定された増減係数を掛けて勾配をつけることで、前記第１の方向に前記グラデーション処理を行う補正手段と、を有することを特徴とする。

以上の構成によれば、本発明は、様々な境界部の形状によりグラデーション処理可能な画像処理装置を提供することができる。

第１の実施形態に係るグラデーション処理の概要を説明する図。 第１の実施形態に係るＭＲシステムの全体構成を示す概略図。 第１の実施形態に係るＨＭＤのハードウェア構成を示す概略図。 第１の実施形態に係るＭＲスステムのハードウェア構成を示すブロック図。 第１の実施形態に係るグラデーション処理部のブロック図。 第１の実施形態に係るグラデーション処理の詳細を示すフローチャート。 第１の実施形態に係るグラデーション処理に供される１次元テーブルのプロファイルを示す図。 第１の実施形態において撮像画像から抽出される特徴量の一例を示す図。 第１の実施形態において開始位置テーブルの変形例を示す図。 第１の実施形態においてグラデーション処理の変形例を説明する図。 第２の実施形態において開始位置を決定する処理を示すフローチャート。 第２の実施形態において計算パラメータと境界形状モデル式との関係を説明する図。 第３の実施形態において画像スジ発生による画像劣化を説明する図。 第３の実施形態に係るグラデーション処理部のブロック図。 第３の実施形態に係るグラデーション処理の詳細を示すフローチャート。 第３の実施形態において画像劣化の緩和を説明する図。 第４の実施形態に係るグラデーション処理部のブロック図。 第４の実施形態に係るグラデーション処理の詳細を示すフローチャート。 第４の実施形態において画像劣化の緩和を説明する図。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。まず、図１を用いて、本実施形態の特徴的な処理であるグラデーション処理の概要について説明する。図１（ａ）は左眼の表示画像であり、図１（ｂ）が右眼の表示画像であり、互いに同じ画角の領域を両眼で重複して観察するようになっている。本実施形態では、左眼の表示画像（図１（ａ））には画像右端に、右眼の表示画像（図１（ｂ））には画像左端にそれぞれ境界部がまぶたを模した曲線形状したグラデーション処理を施している。この表示画像をＨＭＤを装着したユーザが両眼で観察した時に、ユーザの頭の中で合成される両眼表示画像のイメージ図が図１（ｃ）である。本実施形態では、左眼画像と右眼画像との重複領域（両眼領域）の単願領域との境界部において、表示装置の非表示部の黒部への急な明るさ段差（勾配）による左右眼の視野闘争をできるだけなくすための緩やかな明るさ勾配をつける画像処理を行う。また、実際の人間が眼で現実空間を視認している状況に近づけて境界部の違和感をなくするためのまぶたを模した曲線形状をつける画像処理を行う。これらの処理によって、本実施形態では、境界部１１と１２が目立たなくなる効果が得られる。

次に、図２を用いて、本実施形態に係る頭部装着型表示装置（以下、ＨＭＤ）を含むＭＲシステムの構成例について説明する。図２に示すように、ＭＲシステムは、ユーザの眼前に現実空間と仮想空間とが融合した空間である複合現実空間の画像を提供するＨＭＤ２００と、複合現実空間の画像を生成してＨＭＤ２００に提供するコンピュータ装置２５０とを有する。また、ＨＭＤ２００とコンピュータ装置（画像処理装置）２５０とは、ケーブル２４０により接続されている。なお、本ＭＲシステムでは、ケーブル２４０を用いた有線の通信経路により通信する構成となっているが、代わりに無線の通信経路を用いても構わない。

続いて、ＨＭＤ２００の構成について詳細に説明する。ＨＭＤ２００は、複合現実空間の画像を生成する際に仮想空間の画像と合成する現実空間の画像を撮像するカメラ（右眼用カメラ２０Ｒ及び左眼用カメラ２０Ｌ）を有する、所謂ビデオシースルー型の頭部装着型表示装置である。

また、このカメラで撮像した画像は、ＨＭＤ２００の位置姿勢を求めるためにも使用される。コンピュータ装置２５０は、現実空間中に配されているマーカ２１０を撮像した画像から、周知の処理を実行することでＨＭＤ２００の位置姿勢を計算することができる。

具体的には、コンピュータ装置２５０は、左眼用カメラ２０Ｌによる撮像画像を用いて左眼用カメラ２０Ｌの位置姿勢を計算するとともに、右眼用カメラ２０Ｒによる撮像画像を用いて右眼用カメラ２０Ｒの位置姿勢を計算する。そして、カメラの位置姿勢に基づいてカメラの位置姿勢から見た仮想空間の画像を生成し、生成した仮想空間の画像とカメラによる現実空間の撮像画像と合成することで、複合現実空間の画像を生成する。

より厳密には、左眼用カメラ２０Ｌの位置姿勢に基づいて左眼用カメラ２０Ｌの位置姿勢から見た仮想空間の画像を生成し、生成した仮想空間の画像と左眼用カメラ２０Ｌによる現実空間の撮像画像と合成する。これにより、ユーザの左眼に対して提供する複合現実空間の画像を生成する。また同様に、右眼用カメラ２０Ｒの位置姿勢に基づいて右眼用カメラ２０Ｒの位置姿勢から見た仮想空間の画像を生成し、生成した仮想空間の画像と右眼用カメラ２０Ｒによる現実空間の撮像画像と合成する。これにより、ユーザの右眼に対して提供する複合現実空間の画像を生成する。そして、コンピュータ装置２５０は、生成した複合現実空間の画像（右眼用の複合現実空間の画像及び左眼用の複合現実空間の画像）を、ＨＭＤ２００に対して送出する。

図３は、ＨＭＤ２００のハードウェア構成を示す概略図である。なお、右眼用、左眼用とで対の構成となるため、図３では片方のみ図示している。ＨＭＤ２００は、右眼用、左眼用の小型の液晶や有機ＥＬのディスプレイなどからなる表示素子１２１と、それらに表示された右眼用、左眼用の画像を拡大表示するための自由曲面プリズムなどの表示光学系３２０とを有する。また、ＨＭＤ２００を装着したユーザの瞳３００の位置から観察される被写体と略一致する被写体を撮像するためのカメラ２０と、瞳３００の位置とカメラ２０の位置を略一致させるための撮像光学系３１０とを有する。

図４は、ＭＲシステムのハードウェア構成を示すブロック図であり、図４（ａ）は、ＨＭＤ２００のハードウェア構成を示している。右眼用撮像ユニット１００Ｒは、右眼用カメラ２０Ｒ、右眼用カメラ２０Ｒの光学系、右眼用カメラ２０Ｒ用の様々な処理回路を含む撮像ユニットである。また、左眼用撮像ユニット１００Ｌは、左眼用カメラ２０Ｌ、左眼用カメラ２０Ｌの光学系、左眼用カメラ２０Ｌ用の様々な処理回路を含む撮像ユニットである。

ＭＰＵ１３０は、ＨＭＤ２００内のメモリ１３１に格納されているコンピュータプログラムやデータを用いて処理を実行することで、バス１９０に接続されている上記の各機能部の動作制御を行うとともに、ＨＭＤ２００全体の動作制御を行う。メモリ１３１は、ＭＰＵ１３０が行うものとして後述する各処理をＭＰＵ１３０に実行させるためのコンピュータプログラムやデータ、以下の説明において既知の情報として説明する情報等を格納する。なお、ここでのメモリ１３１は、ＭＰＵ１３０が各種の処理を実行する際に用いるワークエリアを有するメモリ等も含むものである。

図４（ｂ）には、右眼用撮像ユニット１００Ｒ、左眼用撮像ユニット１００Ｌのそれぞれに適用可能な撮像ユニットの構成例を示す。撮像素子１０１はＣＣＤイメージセンサ等、外界の光をアナログ電気信号に変換して出力し、Ａ／Ｄ変換部１０２は、撮像素子１０１から出力されたアナログ電気信号をディジタル電気信号に変換する。撮像画像処理部１０３は、Ａ／Ｄ変換部１０２により変換されたディジタル電気信号に対して様々な画像処理を施すことで画像処理済みの撮像画像を生成して出力する。この画像処理には、不図示のシェーディング補正やノイズ低減処理、エッジ強調処理、左右撮像画像の明るさや色味を揃えるための各色信号に対するゲイン調整処理などが含まれている。撮像画像出力部１０４は、撮像画像処理部１０３により画像処理が施された撮像画像を適当な画像フォーマットでもってコンピュータ装置２５０に対して出力するものである。

図４（ａ）に戻ると、右眼用表示ユニット１２０Ｒは、ＨＭＤ２００を装着したユーザの右眼の眼前に位置するようにＨＭＤ２００に取り付けられたものであり、コンピュータ装置２５０側で生成された右眼用の複合現実空間の画像を表示するものである。また、左眼用表示ユニット１２０Ｌは、ＨＭＤ２００を装着したユーザの左眼の眼前に位置するようにＨＭＤ２００に取り付けられたものであり、コンピュータ装置２５０側で生成された左眼用の複合現実空間の画像を表示するものである。

ここで、図４（ａ）を用いて、コンピュータ装置２５０で、撮像画像信号の左右それぞれに適用可能なＣＧを重畳する構成について説明する。コンピュータ装置２５０は、ＨＭＤ２００から受信した撮像画像からＨＭＤ２００の位置姿勢を算出する位置姿勢算出部１１０と、仮想画像のＣＧコンテンツが格納されているコンテンツＤＢ１１２とを有する。また、コンテンツＤＢに格納されているＣＧ画像を撮像ユニット１００Ｒ、１００Ｌで撮像した撮像画像と重畳するＣＧ描画部１１１と、その他不図示の機能部とを含んで構成される。

コンピュータ装置２５０は、撮像画像を用いてカメラの位置姿勢を算出するが、より詳しくは、撮像画像から画像解析によりマーカを検出し、検出したマーカの大きさや形、塗りつぶしのパターンなどの情報を取得する。そして、コンピュータ装置２５０は、マーカ検出により取得したこれらの情報から、マーカと頭部装着型表示装置２００との間の相対的な位置関係、ＨＭＤ２００を装着しているユーザがマーカを観察している方向に関する三次元位置姿勢情報を算出する。このように、複数のマーカを使用し、指標配置情報として各マーカの位置関係を予め定義しておくことによって、それらの相対的位置関係から、マーカを観察している方向を算出することが可能となる。したがって、内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、カラーマーカや、ＬＥＤなどの発光素子のような方向性の情報を持たない一次元の情報を持つマーカを利用することも可能である。

図８は、本実施形態において、撮像画像から抽出される特徴量の一例を示す図である。本実施形態では、マーカではなく、例えば図８に示すように、ドア８００、テーブル８０５、窓８１０の輪郭線のような画像中の自然特徴や、画像中の特定の色などを抽出し、それら情報を用いて三次元位置姿勢情報を算出することも可能である。図８において、符号８５０、８５５は、ドア８００の特徴点の一部を「×」マークとして示している。なお、同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の三次元位置姿勢情報を生成できる。そして、コンピュータ装置２５０は、ＣＧ描画部１１１によりＣＧ画像が重畳された複合現実空間の画像を適当な画像フォーマットでもって表示ユニット１２０に対して出力するものである。

図４（ｃ）に、右眼用表示ユニット１２０Ｒ、左眼用表示ユニット１２０Ｌのそれぞれに適用可能な表示ユニットの構成例を示す。表示画像入力部１２４は、コンピュータ装置２５０から出力された複合現実空間の画像を受け、受けた複合現実空間の画像を表示用の画像信号に変換する。グラデーション処理部１２３は、左右それぞれの表示画像信号に対して後述する本実施形態にかかるグラデーション処理を施し、表示駆動部１２２に転送する。表示駆動部１２２は、表示素子１２１を駆動して、グラデーション処理された表示画像を表示させる。以上の構成により、ユーザはＨＭＤ２００を自身の頭部に装着することで、現実空間と仮想空間とがリアルタイムにシームレスに融合した複合現実空間を体験することができる。

次に、グラデーション処理部１２３によるグラデーション処理の詳細について説明する。なお、以下の説明では、左眼用表示ユニット１２０Ｌにおける左眼の表示画像に対して行う処理を説明する。なお、右眼用表示ユニット１２０Ｒにおける右眼の表示画像に対する処理は左眼の表示画像に対する処理と対称の関係であり、同様な処理のため省略する。なお、本実施形態では、表示素子１２１にて表示する画像データは、フルＨＤ規格の水平１９２０、垂直１０８０ピクセルとするサイズとして説明する。

図５は、本実施形態に係るグラデーション処理部１２３が有する各機能部の詳細を示すブロック図である。画像データ入力部５０１は、表示画像入力部１２４から受けた表示用の画像信号を、画素毎に処理するため、画素毎の画素値ｒ、ｇ、ｂとその画像位置情報ｘ、ｙを算出し、次の処理ブロックに転送する。画像位置情報ｘ、ｙは表示画像左上を原点１、１とし、本実施形態の第１の方向に対応する画像横方向（水平方向）と、第２の方向に対応する縦方向（垂直方向）と、で画素位置を指定する整数値である。また、画素値ｒ、ｇ、ｂは、表示画像の赤、緑、青の輝度値のことで、通常０から２５５までの値域の整数値である。

開始位置計算部５０２は、画像縦方向の各位置で、グラデーション処理を開始する位置と終了する位置とを計算する。図６は本実施形態のグラデーション処理の詳細を示すフローチャートであり、図６（ａ）は開始位置計算部５０２による開始位置を計算する処理のフローチャートである。

ステップＳ６０１にて、開始位置計算部５０２は、バス１０９を介してメモリ１３１に保持した開始位置テーブルｓｔａｒｔＴｂｌを参照する。開始位置テーブルｓｔａｒｔＴｂｌは、画像位置ｙについてグラデーション処理を開始する画像位置ｘが規定されたテーブルデータになっている。図７はグラデーション処理に供される１次元テーブルのプロファイルを示す図であり、図７（ａ）に開始位置テーブルのプロファイルを図示した。プロファイルは、単眼領域と両眼領域の境界部で視認される黒部が目立たなくなるように、グラデーション開始する境界部の形状を設計したもので、図７（ａ）はその一例である。

ステップＳ６０２にて、開始位置計算部５０２は、画像位置ｙからグラデーション処理の開始位置ｘ１を以下の数式１のように決定する。

ｘ１＝ｓｔａｒｔＴｂｌ（ｙ）・・・（数式１）
ステップＳ６０３にて、開始位置計算部５０２は、バス１０９を介してメモリ１３１に保持した、後述するグラデーションテーブルｇｒａｄＴｂｌのサイズｓｉｚｅＴｂｌを参照する。

ステップＳ６０４にて、開始位置計算部５０２は、グラデーション処理の終了位置ｘ２を以下の数式２のように算出する。

ｘ２＝ｘ１＋ｓｉｚｅＴｂｌ・・・（数式２）
以上説明した処理フローにより、開始位置計算部５０２では、画像位置ｙにおけるグラデーション処理する画像位置ｘの範囲（開始位置ｘ１、終了位置ｘ２）が決定される。

次に、ゲイン値計算部５０３は、前処理ブロックの開始位置計算部５０２で算出された開始位置ｘ１と終了位置ｘ２を受けて、グラデーションとして表示画像に掛け合わせるゲイン値（増減係数）を計算、決定する。図６（ｂ）のフローチャートは、ゲイン値計算部５０３の具体的な処理を示している。

ステップＳ６１１にて、ゲイン値計算部５０３は、画像位置ｘが開始位置ｘ１より大きいかどうかを判定する。大きくない時（ｘ＜ｘ１）は、グラデーション処理の範囲外（画像左側領域）として、ステップＳ６１５へ処理を進める。一方、開始位置ｘ１以上に大きい時（ｘ１≦ｘ）は、グラデーション処理の範囲内の可能性があるとして、次の判定処理ステップＳ６１２へ進む。

ステップＳ６１２にて、ゲイン値計算部５０３は、画像位置ｘが終了位置ｘ２より小さいかどうかを判定する。小さくない時（ｘ２≦ｘ）は、グラデーション処理の範囲外（画像右側領域）として、処理をステップＳ６１７へ進める。一方、終了位置ｘ２より小さい時（ｘ＜ｘ２）は、グラデーション処理の範囲内としてステップＳ６１３へ進む。

ステップＳ６１３にて、ゲイン値計算部５０３は、バス１０９を介してメモリ１３１に保持したグラデーションテーブルｇｒａｄＴｂｌを参照する。グラデーションテーブルｇｒａｄＴｂｌは、開始点を原点として、画像位置ｘ’の表示画像に掛け合わせるゲイン値が指定されたデータ形式になっており、図７（ｂ）にそのプロファイルを図示した。プロファイルは、単眼領域と両眼領域の境界部で視認される黒部を目立たなくなるように、表示画像の明るさを減少させるグラデーション形状を設計したもので、図はその一例である。

ステップＳ６１４にて、ゲイン値計算部５０３は、画像位置ｘからグラデーションのゲイン値ｇａｉｎを以下の数式３のように決定する。

ｇａｉｎ＝ｇｒａｄＴｂｌ（ｘ−ｘ１）・・・（数式３）
ステップＳ６１５は、グラデーション処理の範囲外（画像左側領域ｘ＜ｘ１）となる場合の処理であり、ゲイン値計算部５０３は、バス１０９を介してメモリ１３１に保持した画像左端ゲイン値ｇａｉｎＬを参照する。左端ゲイン値ｇａｉｎＬは、グラデーション処理をしない画像左側領域として適切な所定のゲイン値が設定されているものである。具体的には、例えば、左眼の表示画像の場合はそのまま画像表示するためにｇａｉｎＬ＝１で、右眼の表示画像の場合は表示装置の非表示領域の黒部と同じくするためｇａｉｎＬ＝０とするものである。

ステップＳ６１６にて、ゲイン値計算部５０３は、ゲイン値ｇａｉｎを以下の数式４のように決定する。

ｇａｉｎ＝ｇｒａｄＬ・・・（数式４）
ステップＳ６１７は、グラデーション処理の範囲外（画像右側領域ｘ２≦ｘ）となる場合の処理であり、ゲイン値計算部５０３は、バス１０９を介してメモリ１３１に保持した画像左端ゲイン値ｇａｉｎＲを参照する。右端ゲイン値ｇａｉｎＲは、グラデーション処理をしない画像右側領域として適切な所定のゲイン値が設定されているものである。具体的には、例えば、左眼の表示画像の場合は表示装置の非表示領域の黒部と同じくするためｇａｉｎＲ＝０、右眼の表示画像の場合はそのまま画像表示するためｇａｉｎＲ＝１とするものである。

ステップＳ６１８にて、ゲイン値計算部５０３は、ゲイン値ｇａｉｎを以下の数式５のように決定する。

ｇａｉｎ＝ｇａｉｎＲ・・・（数式５）
以上説明した処理フローにより、ゲイン値計算部５０３では、画像位置ｘ、ｙにおけるグラデーションとして表示画像に掛け合わせるゲイン値を決定する。

ゲイン重畳部５０４は、ゲイン値計算部５０３で決定したゲイン値を画素値ｒ、ｇ、ｂに掛け合わせる処理を行う。本実施形態では画素値ｒ、ｇ、ｂの全てに同じゲイン値を掛け合わせる処理としたが、これに限定するものではなく、各ｒ、ｇ、ｂで異なるゲイン値を掛け合わせる処理としてもよい。その場合は、ゲイン値計算部５０３にて、ｒ、ｇ、ｂ毎のゲイン値を決定しておく必要がある。例えば、表示装置の非表示領域部が黒部でなく少し赤みがかった色をしている場合、その色と一致させるためにｒのゲイン値をｇ、ｂより少し持上げた値とすればよい。

画像データ出力部５０５は、ゲイン重畳部５０４から受けた画素毎の画素値ｒ、ｇ、ｂを表示用の画像信号として再合成し、次の処理ブロックである表示駆動部１２２へ転送する。

以上、本実施形態の構成によれば、様々な境界部の形状によりグラデーション処理を施すことが可能となる。しかも、本実施形態における構成であれば、演算量とテーブルサイズが少ない簡単な計算方法で、且つグラデーションの境界形状や明るさ減幅勾配が自由度を高く設定できる。

そのため、以上説明したようなグラデーション処理によって、単眼領域と両眼領域との境界付近の黒部が目立たくなるよう右眼と左眼の表示画像の左右端部領域で、適切な明るさに減幅変化をつけたグラデーションとすることが出来る。また、そのグラデーション境界形状が適切な曲線となるよう表示画像が作成される。このようにして、本実施形態では、グラデーションの黒部を出来るだけ目立たなくすることが出来る。

なお、本実施形態では、グラデーション処理部１２３は、ＨＭＤ２００の表示ユニット１２０Ｒ、１２０Ｌに設けられた例を示しており、ＨＭＤ２００がグラデーション処理を実行する画像処理装置として機能する構成となっている。しかし、グラデーション処理を含む種々の画像処理を、例えば、コンピュータ装置２５０で行うようにしてもよい。その場合、ＨＭＤ２００に接続されたコンピュータ装置２５０が本実施形態のグラデーション処理を実行する画像処理装置として機能することになる。

また、上述の説明では、１種類の開始位置テーブルおよびグラデーションテーブルを示している。しかし、複数種類の開始位置テーブルおよびグラデーションテーブルを記憶しておくことで、例えばユーザに応じて、曲線形状が異なるグラデーション処理を行えるようにしてもよい。

また、上述の説明では、グラデーション処理をＨＭＤの左右眼の表示画像に対して行う画像処理として説明した。しかし、ＨＭＤの表示画像に限らず、カメラで撮影した撮像画像に対する処理でもよいし、プロジェクター装置等の他の表示装置での表示画像に対する処理でもよい。また、グラデーション処理する画像は１つでもよいし、複数の画像に対して処理してもよい。

また、本実施形態では、グラデーション処理の境界部形状を曲線にするため、所定の輝度勾配形状と、所定の境界部形状を指定するためそれぞれ１次元のプロファイルテーブルを使用した。しかし、メモリ１３１の容量に余裕があったり、２次元補間演算などするとして保持する格子データ数を減らすなど工夫することで、２次元のテーブルでグラデーションの境界部と輝度勾配の形状を一度に指定して補正するとしてもよい。

［第１の実施形態の変形例］
上述の第１の実施形態では、図７（ａ）の開始位置テーブルを用いることにより、グラデーション処理の境界部形状をまぶたを模した曲線状とした。しかし、これに限らず、他の形状となるようにしてもよい。図９は開始位置テーブルの変形例を示しており、図１０はこの開始位置テーブルを用いたグラデーション処理の概要を示している。

図９に示す開始位置テーブルのプロファイルによって、図１０に示すようなグラデーション境界部が鼻を模した形状となるようにすることができる。また、その他の変形例の開始位置テーブルのプロファイルとしては、例えば、図７（ａ）のまぶた形状と図９の鼻の形状とを合成したプロファイルとすることも可能である。いずれにしても、本実施形態の上述の構成によって、画像の垂直方向の一部においてグラデーション境界の形状を曲線とすることが出来るため、その自由度を高く設定できる。

［第２の実施形態］
第１の実施形態では、グラデーション処理の演算量を減らすため、境界部形状を指定する開始位置と、グラデーションの明るさ勾配を指定するゲイン値をそれぞれ１次元のテーブルとして保持し、簡易な演算で済むデータ参照方式とした。本発明の第２の実施形態では、グラデーション処理に必要な計算パラメータを、１次元テーブル方式から簡易なモデル式を使ったモデル演算方式へと置換えることにより、グラデーション処理に必要な各種データのデータサイズを小さくすることを特徴とする。なお、第１の実施形態において既に説明した構成については同一の符号を付し、その説明は省略する。

図１１は、本実施形態において、開始位置計算部５０２が開始位置を計算（決定）する処理を示すフローチャートである。

ステップＳ１１０１にて、開始位置計算部５０２は、バス１０９を介してメモリ１３１に保持した境界形状パラメータａ、ｂを参照する。境界形状パラメータａ、ｂは、後述する境界形状モデル式の計算パラメータで、グラデーション開始する境界部の形状を決定するためのパラメータである。このパラメータａ、ｂを複数保持しておくことによって、種々のグラデーション境界の形状を実現できる。

ステップＳ１１０２にて、開始位置計算部５０２は、画像位置ｙからグラデーション処理の開始位置ｘ１を次の境界形状モデル式（数式６）を使って決定する。

本実施形態では、グラデーション境界の形状を楕円の形状を模したプロファイルとするため、境界形状モデル式は楕円の方程式を変形した式とした。しかし、本発明は、これに限定されるものではなく、多項式など使用するようにしてもよい。その場合は、使用するモデル式に応じて、ステップ１１０１にて使用される計算パラメータの個数や数値が異なることに注意が必要である。

ステップＳ１１０３、Ｓ１１０４における処理は、図６（ａ）のステップＳ６０３、Ｓ６０４の処理と同様である。以上の一連の処理によって、画像垂直方向の各位置における、グラデーション処理の開始位置が決定される。

次に、図１２を用いて、計算パラメータと境界形状モデル式の関係を説明する。図１２では、計算パラメータｂはフルＨＤ垂直サイズの半分とした５４０に固定して、計算パラメータａの設定値を振ったプロファイルを示している。計算パラメータａ＝１９０の時が１２０１で、ａ＝２４０の時が１２０２、ａ＝３００の時が１２０３の曲線を描く形状プロファイルとなる。

以上のように、本実施形態のグラデーション処理では、簡単なモデル式を使って少ないデータサイズでグラデーション境界の形状を決定することが出来る。よって、境界形状を指定する計算パラメータが小さくなることで、メモリ１３１に格納できる容量を削減したり、または外部からメモリ１３１に転送する転送量を削減することができる。

なお、本実施形態では、グラデーション処理にて明るさ勾配をつけるための表示画像に掛け合わせるゲイン値を決定する演算方式は、第１の実施形態と同様に、グラデーションテーブルを参照するテーブル方式とした。しかし、この演算も、テーブル方式からモデル演算方式に変更してもよい。つまり、図６（ｂ）のステップＳ６１３、Ｓ６１４において、境界形状モデル式のような簡易なモデル式を使って明るさ勾配をつけるゲイン値を決定する演算をすることで、プロファイルを指定するデータサイズを小さくすることが可能となる。

［第３の実施形態］
第１の実施形態では、画像横方向（水平方向）のグラデーション処理と、縦方向（垂直方向）のグラデーション処理の開始位置を計算することによって、単眼領域と両眼領域との境界付近の黒部ができるだけ目立たなくすることができた。しかし、グラデーションの明るさ勾配の形状や、境界形状の指定内容によっては、明るさ勾配の方向（画像横方向）に対して画像スジが発生し画像劣化の画質問題となる可能性がある。

この画像スジの発生について、図１３を用いて説明する。図中の（ａ）は、第１の実施形態の画像処理を左眼の表示画像に適用した画像で、（ｂ）はグラデーション処理を施した画像領域を拡大した図である。拡大した（ｂ）にグラデーションの明るさ勾配の方向と同じ画像横方向（水平方向）に画像スジが発生しているのがわかる。これは、画像縦方向（垂直方向）に対して全て同じ画像横方向（水平方向）の明るさ勾配のグラデーション形状を適用しているため、境界形状が比較的緩やかな低周波数の変化を持つ画像領域では大きな周期のグラデーションの帯として目立つ可能性がある。

本発明の第３の実施形態では、第１の方向に対するグラデーション処理でのゲイン値決定を第２の方向に対して異なる２つ以上の位置から計算される複数のゲイン値の平均値によって決定することを特徴とする。なお、第１、第２の実施形態において既に説明した構成については同一の符号を付し、その説明は省略する。

図１４は、本実施形態において、グラデーション処理部１２３が有する各機能部の詳細を示すブロック図である。開始位置計算部１４０２は、画像縦方向の各位置で、グラデーション処理を開始する位置と終了する位置と平均化処理で使用する位置を計算する。

図１５は、本実施形態のグラデーション処理の詳細を示すフローチャートであり、図１５（ａ）は開始位置計算部１４０２による開始位置などを計算する処理のフローチャートである。

ステップＳ１５０１にて、開始位置計算部１４０２は、バス１０９を介してメモリ１３１に保持した平均化対象Ｙ相対位置ｄｙａとｄｙｂを参照する。ｄｙａとｄｙｂの値は、具体的には、例えばｄｙａ＝−１、ｄｙｂ＝＋１などである。

ステップＳ１５０２にて、開始位置計算部１４０２は、画像位置ｙから平均化対象用のグラデーション処理の開始位置ｘ１ａとｘ１ｂを以下の数式７、８のように決定する。

ｘ１ａ＝ｓｔａｒｔＴｂｌ（ｙ＋ｄｙａ）・・・（数式７）
ｘ１ｂ＝ｓｔａｒｔＴｂｌ（ｙ＋ｄｙｂ）・・・（数式８）
以上説明した本実施形態に係る処理フローにより、開始位置計算部１４０２では、画像位置ｙにおけるグラデーション処理する画像位置ｘの開始位置ｘ１と、後述する平均化処理で使用する開始位置ｘ１ａ、ｘ１ｂが決定される。

次に、ゲイン値計算部１４０３は、前処理ブロックの開始位置計算部１４０２で算出された開始位置ｘ１と終了位置ｘ２と、平均化用の開始位置ｘ１ａ、ｘ１ｂを受けて、グラデーションとして表示画像に掛け合わせるゲイン値（増減係数）を計算、決定する。図１５（ｂ）は、ゲイン値計算部１４０３の具体的な処理を示すフローチャートである。

ステップＳ１５１３にて、ゲイン値計算部１４０３は、バス１０９を介してメモリ１３１に保持した平均化係数ｗ、ｗａ、ｗｂを参照する。ｗ、ｗａ、ｗｂの値は、具体的には、例えばｗ＝１、ｗａ＝１、ｗｂ＝１などである。

ステップＳ１５１４にて、ゲイン値計算部１４０３は、画像位置ｘからグラデーションのゲイン値ｇａｉｎを以下の数式９のように決定する。

ｇａｉｎ＝（ｗ×ｇｒａｄＴｂｌ（ｘ−ｘ１）＋ｗａ×ｇｒａｄＴｂｌ（ｘ−ｘ１ａ）＋ｗｂ×ｇｒａｄＴｂｌ（ｘ−ｘ１ｂ））／（ｗ＋ｗａ＋ｗｂ）・・・（数式９）
以上説明したように、本実施形態では、ゲイン値計算部１４０３では、画像位置ｘ、ｙにおけるグラデーションとして表示画像に掛け合わせるゲイン値を決定する。なお、本実施形態では、ゲイン値を決定するのに使用した画像位置ｙとは異なる平均化対象のＹ位置は２つであったが、これに限定するものではなく、１つでも、３つ以上でもよい。また、本実施形態では平均化係数ｗ＝１、ｗａ＝１、ｗｂ＝１と全て同じ重みであったが、ｗ＝６、ｗａ＝５、ｗｂ＝５などと重みに差をつけてもよい。

以上のように、本実施形態のグラデーション処理では、第１の方向に対するグラデーション処理でのゲイン値を第２の方向に対して異なる２つ以上の位置から計算される複数のゲイン値の平均値によって決定することができる。

図１６は、本実施形態の画像処理を左眼の表示画像に適用した画像である。よって、本実施形態の平均化処理を追加計算することで、第１の実施形態においてグラデーションの帯として発生していた画像スジの画像劣化が緩和することができる。

［第４の実施形態］
第３の実施形態では、画像スジの画像劣化を緩和する方法として、第１の方向に対するグラデーション処理でのゲイン値決定を第２の方向に対して異なる２つ以上の位置から計算される複数のゲイン値の平均値によって決定していた。よって、画像スジの強さである第２の方向のゲイン値の段差を、第２の方向に対する平均化によって第２の方向に分散させて緩やかな段差にすることで画像スジの強さを弱めた。

本発明の第４の実施形態では、画像スジの画像劣化を緩和する方法として、画像スジの強さであるゲイン値の段差は解消させずに、第１の方向の画像スジの境界形状をランダムに変化させることで画像劣化を緩和することを特徴とする。つまり、本実施形態では、第２の方向の複数位置において、互いに相関の無い乱数の変化値に基づいてグラデーション処理の開始位置を決定するものである。なお、第１〜第３の実施形態において既に説明した構成については同一の符号を付し、その説明は省略する。

図１７は、本実施形態において、グラデーション処理部１２３が有する各機能部の詳細を示すブロック図である。開始位置計算部１７０２は、画像縦方向の各位置と画像横方向の各位置で、グラデーション処理を開始する位置と終了する位置とグラデーションのゲイン値を決定するランダム位置を計算する。

図１８は、本実施形態のグラデーション処理の詳細を示すフローチャートであり、図１８（ａ）は開始位置計算部１７０２による開始位置などを計算する処理のフローチャートである。

ステップＳ１８０１にて、開始位置計算部１７０２は、画像位置ｘから開始位置をランダムに変更するＹ相対位置ｄｙを以下の数式１０のように決定する。

ｄｙ＝Ｒａｎｄｏｍ（ｘ×ｙ）・・・（数式１０）
関数Ｒａｎｄｏｍ（ｚ）は、ｚの値をシーズとしてランダムな整数値を出力する関数である。具体的には、例えば０，１の２値を出力する。しかし、これに限らず、３値以上でもよいし、負の値を値域をとってもよいし、ｘ×ｙの値をシーズに取らなくても、時刻の値をシーズに取るなど出力する値がランダムな数値となればどのような関数やテーブル参照形式の処理であってもよい。

ステップＳ１８０２にて、開始位置計算部１７０２は、画像位置ｙと画像位置ｘからグラデーション処理のランダム開始位置ｘ１ｒを以下の数式１１のように決定する。

ｘ１ｒ＝ｓｔａｒｔＴｂｌ（ｙ＋ｄｙ）・・・（数式１１）
以上説明した本実施形態に係る処理フローにより、開始位置計算部１７０２では、画像位置ｙと画像位置ｘにおけるグラデーション処理する画像位置ｘの開始位置ｘ１と、後述するランダム開始位置ｘ１ｒが決定される。

次に、ゲイン値計算部１７０３は、前処理ブロックの開始位置計算部１７０２で算出された開始位置ｘ１と終了位置ｘ２と、ランダム開始位置ｘ１ｒを受けて、グラデーションとして表示画像に掛け合わせるゲイン値（増減係数）を計算、決定する。図１８（ｂ）は、ゲイン値計算部１７０３の具体的な処理を示すフローチャートである。

ステップＳ１８１４にて、ゲイン値計算部１７０３は、画像位置ｘからグラデーションのゲイン値ｇａｉｎを以下の数式１２のように決定する。

ｇａｉｎ＝ｇｒａｄＴｂｌ（ｘ−ｘ１ｒ）・・・（数式１２）
以上説明したように、本実施形態では、ゲイン値計算部１７０３では、画像位置ｘ、ｙにおけるグラデーションとして表示画像に掛け合わせるゲイン値を決定する。以上のように、本実施形態のグラデーション処理では、第１の方向に対するグラデーション処理でのゲイン値を第１と第２の位置に対してランダムな変化を重畳することによって決定することができる。

図１９は、本実施形態の画像処理を左眼の表示画像に適用した画像である。よって、本実施形態のランダム処理を追加計算することで、第１の実施形態においてグラデーションの帯として発生していた画像スジが第１の方向に対して一直線だった境界形状が凸凹に断ち切れることになる。これによって、本実施形態では、画像スジの第２の方向における階調段差がマクロ的に視認されにくくなり画像劣化が緩和する。

［その他の実施形態］
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

２００ ビデオシースルーＨＭＤ
１００Ｒ、１００Ｌ 撮像ユニット
１２０Ｒ、１２０Ｌ 表示ユニット
１３０ ＭＰＵ
１３１ メモリ
２５０ コンピュータ装置
２０Ｒ、２０Ｌ カメラ
１２３ グラデーション処理部

Claims (17)

1. 画像の第１の方向に輝度値に勾配をつけるグラデーション処理を行う画像処理装置であって、
   前記第１の方向とは異なる第２の方向の複数の位置において、前記グラデーション処理を開始する開始位置を決定する位置決定手段と、
   前記第２の方向に対して異なる２つ以上の導出位置から複数の増減係数を導出し、当該複数の増減係数に基づいて使用すべき増減係数を決定する係数決定手段と、
   前記決定された開始位置に基づいて、前記画像の画素の輝度値に対して前記決定された増減係数を掛けて勾配をつけることで、前記第１の方向に前記グラデーション処理を行う補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記位置決定手段は、前記第２の方向の複数の位置において前記開始位置が規定された１次元のテーブルデータを参照することにより、前記開始位置を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記位置決定手段は、前記第２の方向の複数の位置において前記開始位置を規定する数式を用いた演算により、前記開始位置を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記グラデーション処理を開始する開始位置の形状は、前記第２の方向の少なくとも一部において曲線であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、前記第１の方向に対して前記増減係数が規定された１次元のテーブルデータを参照することにより、前記グラデーション処理を行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記補正手段は、前記第１の方向に対して前記増減係数を規定する数式を用いた演算により、前記グラデーション処理を行うことを特徴とする請求項１に記載の画像処理装置。
7. 前記係数決定手段は、前記複数の増減係数の平均値に基づいて前記使用すべき増減係数を決定することを特徴とする請求項１に記載の画像処理装置。
8. 前記位置決定手段は、前記第２の方向の複数の位置において相関がない変化値に基づいて、前記開始位置を決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記変化値は、乱数であることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像は、現実空間を撮像した第１の画像と第２の画像とを含み、
    前記第１の画像と第２の画像は、同一の画角の領域である重複領域を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記第１の画像と第２の画像は、右眼および左眼に対応した画像であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記補正手段は、前記重複領域においてグラデーション処理を行うことを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記位置決定手段と前記補正手段は、前記第１の画像と第２の画像に対して互いに対称の関係となるように処理を実行することを特徴とする請求項１０から１２のいずれか１項に記載の画像処理装置。
14. 前記第１の方向は画像の水平方向であり、前記第２の方向は画像の垂直方向であることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. ユーザの頭部に装着されて使用されることを特徴する請求項１から１４のいずれか１項に記載の画像処理装置。
16. 画像の第１の方向に輝度値に勾配をつけるグラデーション処理を行う画像処理方法であって、
    前記第１の方向とは異なる第２の方向の複数の位置において、前記グラデーション処理を開始する開始位置を決定するステップと、
    前記第２の方向に対して異なる２つ以上の導出位置から複数の増減係数を導出し、当該複数の増減係数に基づいて使用すべき増減係数を決定するステップと、
    前記決定された開始位置に基づいて、前記画像の画素の輝度値に対して前記決定された増減係数を掛けて勾配をつけることで、前記第１の方向に前記グラデーション処理を行うステップと、
    を有することを特徴とする画像処理方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images