JP7066414B2 - 画像処理装置、表示システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、表示光学系を有した表示装置に表示する画像を処理する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の一つに、ビデオシースルーＨＭＤを装着したユーザの瞳位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像し、その撮像画像にＣＧを重畳した映像を、ＨＭＤ内の表示パネルを通してユーザに提示する技術が知られている。なお、ＨＭＤはＨｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略称であり、ＣＧはＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓの略称である。

これらＨＭＤとビデオカメラからなるシステムでは、ビデオカメラで撮影した撮像画像に対して描画するＣＧをレンダリングにより生成し、その生成したＣＧを撮像画像に重畳した映像を、ＨＭＤ内の表示パネルに表示するようになされている。ただし、このようなシステムでは、撮影からＣＧレンダリング、さらに重畳等までの一連の処理を行う演算時間が必要になるため、画像が撮影された時間と、演算後の画像がＨＭＤに表示されるまでの時間との間に、遅延（レイテンシ）が生じる。このため、例えばＨＭＤを装着したユーザが頭を動かしたような場合、頭を動かした瞬間ではＨＭＤを通してユーザが観ている画像に変化はみられず、演算による遅延時間が経過した後に、ＨＭＤの表示パネル上の表示画像が動き出すことになる。このような映像の遅延は、ＨＭＤを通して映像を観ているユーザにとって大きな違和感となる。

この問題に対し、遅延時間とＨＭＤの動作予測値とを基に、現実世界と表示映像とのずれを補正する技術が提案されている。例えば特許文献１では、フレームメモリに記憶された広画角の撮像映像から、回転角センサで検出されたユーザの頭部情報に基づいて、ユーザが観るべき表示画像をフレームメモリから切り出し、ディスプレイに表示するＨＭＤが開示されている。また、特許文献２においては、表示部を有した頭部装着型装置において、ユーザの頭部動作に応じて表示部に表示する映像を移動するＨＭＤが開示されている。

特開平８－１９１４１９号公報 特開２００４－１０９９９４号公報

ここで、表示光学系を有するＨＭＤの場合、その表示光学系により生ずる歪み等を補正可能な処理を施した画像を、ＨＭＤ内の表示パネルに表示するような光学系画像補正が行われることがある。しかしながら、表示光学系を有するＨＭＤにおいて、前述した遅延時間に対する補正処理によって画像の切り出しや移動等が行われると、本来表示すべきではない画像が、ＨＭＤ内の表示パネルに表示されてしまうことがある。この場合、ＨＭＤを通して映像を観ているユーザに違和感のある映像が提示されてしまうことになる。

そこで、本発明は、ユーザにとって違和感の少ない映像を提供可能にすることを目的とする。

本発明に係る画像処理装置は、撮像装置により撮像された画像を入力画像として受信し、当該入力画像を画像処理して得られた画像を、ユーザの頭部に装着される表示装置に表示画像として出力する画像処理装置であって、前記表示装置が有する表示光学系の光学特性の情報を前記表示装置から取得し、前記表示装置が有する動作検知部が検知した前記頭部の動作の情報を前記表示装置から取得する取得手段と、前記入力画像に対し、前記頭部の動作の情報に基づく第１の補正処理を行う第１の補正手段と、前記第１の補正処理がなされた画像に対して、前記頭部の動作の情報と前記光学特性の情報とに基づいて定まるマスク領域にマスク処理を行い、さらに前記光学特性の情報に基づく第２の補正処理を行って、得られた画像を前記表示画像として前記表示装置に出力する第２の補正手段と、を有することを特徴とする。

本発明によれば、ユーザにとって違和感の少ない映像の提供が可能となる。

第１実施形態に係るシステム構成例を示すブロック図である。 ＨＭＤを装着したユーザの頭部の動作を説明する図である。 表示光学系補正部におけるアスペクト変換を説明する図である。 表示光学系の歪曲収差を説明する図である。 表示光学系補正部における歪曲収差補正を説明する図である。 表示光学系補正部におけるマスク処理を説明する図である。 ＨＭＤを装着したユーザの頭部の動きによる映像変化を示す図である。 画像受信部に入力される画像の例を示す図である。 第１実施形態における効果を説明する図である。 第１実施形態における演算部の動作を示すフローチャートである。 第２実施形態に係るシステム構成例を示すブロック図である。 第２実施形態における演算部の動作を示すフローチャートである。 第３実施形態に係るシステム構成例を示すブロック図である。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
＜第１実施形態＞
図１は、第１実施形態の画像表示装置と画像処理装置からなる表示システムの概略的な構成例を示した図である。
本実施形態のシステムは、画像表示装置（１）と画像処理装置１５を有して構成されている。本実施形態の場合、画像表示装置（１）は頭部装着型画像表示装置（ヘッドマウントディスプレイ、以下、ＨＭＤ１とする。）であり、使用者であるユーザの頭部に装着される。画像処理装置１５は、ケーブル又は無線によりＨＭＤ１と接続可能となされており、受信により入力された画像に対して後述する画像処理を行ってＨＭＤ１に送信する。なお、本実施形態では、ＨＭＤ１と画像処理装置１５が別々の構成となされた例を挙げているが、これらＨＭＤ１と画像処理装置１５は一体化されて一つの頭部装着型画像表示装置を構成していても良い。

ＨＭＤ１は、表示部１１、光学特性記憶部１２、動作検知部１３、演算部１４を有して構成されている。表示部１１は、表示光学系１１１と表示素子１１２とを含む。ＨＭＤ１を装着しているユーザ（装着者）は、表示部１１の表示素子１１２に表示される画像を、表示光学系１１１を通して観ることにより映像を観察可能となる。表示光学系１１１は、レンズや複数の反射面を有するプリズム型の光学素子等によって構成されている。表示光学系１１１は、表示素子１１２に表示された画像を光学的に拡大等させることにより、ＨＭＤとして最適な表示画像を、ＨＭＤ１のユーザに提示する。

光学特性記憶部１２は、表示部１１の光学特性を表す情報を記憶する。光学特性を表す情報とは、例えば表示光学系１１１の歪みや収差、Ｆ値などの光学系単体の性能を示す値や、表示光学系１１１と表示素子１１２との相対関係で決まる焦点や倍率の値である。本実施形態の場合、光学特性記憶部１２に記憶されている光学特性を表す情報には、後述するアスペクト比、解像度、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）などの値も含まれる。光学特性記憶部１２に記憶された光学特性の情報は、後述する表示光学系補正処理などに使用される。

動作検知部１３は、現実世界に存在するＨＭＤ１の、三次元空間内における位置や向き、姿勢等を検知することによって、ＨＭＤ１を装着しているユーザの頭部の位置や向き、姿勢を検出し、またそれらの変化から動きを検出する。以下、ＨＭＤ１を装着しているユーザの頭部の位置、向き、姿勢等の動きを、単に、ユーザの頭部の動作と表記する。動作検知部１３は、加速度センサ、角速度センサなどを用いて構成される。

図２には、ＨＭＤ１を装着しているユーザ２の頭部の動作を説明する概念図を示す。
本実施形態では、ＨＭＤ１がユーザ２の頭部に装着されている場合の、当該ユーザ２の頭部に対して、図２に示すような、ロール（Ｒｏｌｌ）軸Ｒ、ピッチ（Ｐｉｔｃｈ）軸Ｐ、ヨー（Ｙａｗ）軸Ｙをそれぞれ定義する。ロール軸Ｒは、ユーザ２が顔を向けている方向（例えば視線方向）に対応した軸である。本実施形態では、ユーザ２がロール軸Ｒを回転軸として頭部を傾ける動作をロール動作と定義する。ピッチ軸Ｐは、ユーザ２が頭部を縦に振る（頭部を垂直方向に上下に振る、例えばうなずく動作）場合の回転軸に相当する。本実施形態では、ユーザ２がピッチ軸Ｐを回転軸として頭部を縦に振る動作をピッチ動作と定義する。ヨー軸Ｙは、ユーザ２が頭部を横に振る（頭部を水平方向に左右に振る、例えば首を横に振る動作）場合の回転軸に相当する。本実施形態では、ユーザ２がヨー軸Ｙを回転軸として頭部を横に振る動作をヨー動作と定義する。

動作検知部１３は、ＨＭＤ１を装着したユーザ２の頭部がロール動作、ピッチ動作、ヨー動作する場合に、ロール軸Ｒ、ピッチ軸Ｐ、ヨー軸Ｙの各軸方向の加速度や回転の加速度などのデータを検知し、その検知結果をＨＭＤ１の動作検知データとして出力する。

演算部１４は、動作検知部１３で検出したＨＭＤ１の動きに応じて、画像のフレーム間で、画像をどの程度移動させるかを表す画像移動量を計算し、また、画像をどの程度変形させるかを表す画像変形量を計算する。なお、本実施形態において、画像の変形には画像の拡大・縮小、回転も含まれるとする。そして、演算部１４は、それら画像移動量と画像変形量の情報を疑似遅延補正部１５２へと出力する。また、演算部１４は、光学特性記憶部１２より読み込んだ光学特性情報を基に表示光学系補正量を計算して表示光学系補正部１５１へと出力する。なお、図１では、ＨＭＤ１の中に演算部１４が設けられている例を挙げたが、演算部１４は画像処理装置１５の中に設けられていても良い。演算部１４の詳細な動作については後述する。

画像処理装置１５は、画像受信部１５３、疑似遅延補正部１５２、表示光学系補正部１５１を有しており、表示素子１１２に表示するための画像を生成する。
画像受信部１５３は、画像データを受信する。本実施形態において、画像受信部１５３が受信する画像データは、例えば、不図示のビデオカメラにより撮像された撮像画像に、同じく不図示のパーソナルコンピュータ（以下、ＰＣとする。）にてＣＧ画像が重畳等された画像データであるとする。また本実施形態において、ビデオカメラは、ＨＭＤ１を装着しているユーザ２の瞳位置から観察される被写体と略一致する被写体を撮影しているとする。したがって、本実施形態において、画像受信部１５３は、ビデオカメラが撮像した撮像画像に対してＣＧ画像等が重畳されたＭＲ体験画像の画像データを受信する。

疑似遅延補正部１５２は、システムで生ずる画像遅延（システムレイテンシ）を、ＨＭＤ１の演算部１４による演算結果に基づいて疑似的に補正する疑似遅延補正処理を行う。表示光学系補正部１５１は、ＨＭＤ１の表示光学系１１１における後述する収差や周辺光量低下等の光学特性に対応した画像補正処理を行う。

ここで、一般的に、光学系を介して得られる画像は、光学系の光軸中心付近と周辺付近とで結像倍率が異なったり、光の波長によって結像倍率が異なったりするため、歪曲収差や倍率色収差、周辺光量低下といった影響を受けて画質が低下することがある。表示光学系補正部１５１は、こういった光学系を介して発生する画質への影響を補正するための画像補正処理を行う機能を有している。画像補正の内容としては、シェーディング補正や歪曲収差補正、アスペクト変換、解像度変換などがある。表示光学系補正部１５１は、ＨＭＤ１の光学特性記憶部１２より読み込んだ表示光学系１１１の光学特性情報を基に画像補正処理を行う。これにより、ユーザ２がＨＭＤ１を通して観察する画像は、光学系により発生する画質低下が補正された画像となる。

本実施形態では、表示光学系１１１は、アナモルフィック光学系を使用した前提で説明する。表示光学系１１１に使用されるアナモルフィック光学系は、当該表示光学系１１１の光軸に対する垂直方向と水平方向とで焦点距離が異なる光学系であり、水平方向の焦点距離が短くなされている。このため、アナモルフィック光学系を介した画像は、水平方向が広く拡大された画像となり、これによりＨＭＤ１を装着しているユーザは、臨場感のある画像を観察できる。

またアナモルフィック光学系を使用した場合、表示素子１１２のアスペクト比とユーザが観察する画像のアスペクト比とは異なるため、表示光学系補正部１５１は、画像のアスペクト変換を行う。
アスペクト変換の様子を図３（ａ）～図３（ｃ）を用いて説明する。図３（ａ）は、表示素子１１２のアスペクト比が例えば４：３である場合に、表示光学系補正部１５１に供給される入力画像３０１の一例を示している。このときの入力画像３０１は、表示素子１１２と同じアスペクト比４：３である。表示光学系補正部１５１は、この入力画像を光学特性記憶部１２の光学特性情報に基づいてアスペクト変換し、図３（ｂ）のように垂直方向にのみ拡大した画像３０２を生成する。そして、この図３（ｂ）の画像３０２を表示素子１１２に表示して、アナモルフィック光学系である表示光学系１１１を介した画像は、図３（ｃ）のような１６：１０の画像３０３となる。したがって、ＨＭＤ１を装着しているユーザは、図３（ｃ）のような１６：１０の画像３０３を観察できることになる。このように、アナモルフィック光学系を使用する場合は、縦長の画像を表示素子１１２に表示させることによって、ＨＭＤ１のユーザに対して適切なアスペクト比の体験画像を提示することができる。

次に、表示光学系１１１の歪曲収差補正処理について、図４（ａ）～図４（ｃ）を用いて説明する。ここでは、表示光学系１１１が歪曲収差を有する場合を例に挙げて説明する。
表示素子１１２に例えば図４（ａ）のような画像４０１を表示し、歪曲収差を有する表示光学系１１１を介して観察した場合、図４（ｂ）のように糸巻き型に歪んだ画像４０２が見えることになる。これは、表示光学系１１１が歪曲収差を有するためである。このような歪みを改善するため、表示光学系補正部１５１は、光学特性記憶部１２の光学特性情報に基づいて、画像４０２の糸巻き型の歪みとは逆に歪ませた画像、つまり図４（ｃ）に示すような画像４０３を作成する。この図４（ｃ）の画像４０３を表示素子１１２に表示し、さらに表示光学系１１１を介して観察すると、歪みが低減された画像が観察されることになる。

次に、表示光学系１１１がアナモルフィック光学系であり、且つ歪曲収差特性を持つ光学系であった場合の画像補正について、図５（ａ）～図５（ｃ）を用いて説明する。このように表示光学系１１１がアナモルフィック光学系で且つ歪曲収差特性を持つ光学系である場合、画像補正としては、アスペクト変換と歪曲収差補正を行う必要がある。

図５（ａ）は入力画像５０１の一例を示している。ここで、図５（ａ）の入力画像５０１に対してアスペクト変換処理と歪曲収差補正処理を行った場合、当該入力画像５０１は図５（ｂ）のような画像５０２となる。この図５（ｂ）の画像５０２を表示素子１１２に表示し、表示光学系１１１を通して観察した場合、図５（ｃ）のような画像５０３が観察されることになり、この画像５０３は入力画像５０１のような矩形ではない歪んだ画像となる。このように、アスペクト変換処理と歪曲収差補正処理の両処理を行った場合、入力画像５０１が矩形であるのに対して、観察される画像５０３は、境界部分の形状が矩形にならず歪んだ形状になり、ユーザにとって違和感のある画像になってしまう。またこの場合、図３（ｂ）のようにアスペクト変換を実施する際に観察領域内には表示されないはずの画像が、観察領域内に表示されてしまうことがある。

このため、表示光学系１１１がアナモルフィック光学系であり、且つ歪曲収差特性を持つ光学系である場合、図６（ａ）～図６（ｄ）で示すような画像補正が行われる。

図６（ａ）は入力画像６０１の一例を示しており、図５（ａ）の入力画像５０１と同じ画像であるとする。この図６（ａ）の入力画像６０１に対しては、アスペクト変換と歪曲収差補正を実施する前に、図６（ｂ）のように上下に黒画像を重畳し、画像として表示する必要のない領域をマスクする処理が行われることより画像６０２が生成される。そして、マスクされた画像６０２に対して、アスペクト変換と歪曲収差補正が実施される。これにより、図６（ｂ）に示した画像６０２は、図６（ｃ）のような画像６０３として表示素子１１２に表示され、さらに表示光学系１１１を通して観察されることになる。その結果、表示光学系１１１を通して観察される画像は、図６（ｄ）のような画像６０４になる。すなわち、ユーザにより観察される画像６０４は、境界部分が矩形の画像として観察されることになる。

図１の例では、ＨＭＤ１の表示部１１が一つであることを前提として説明したが、ＨＭＤ１の構成はこの例には限定されず、表示部１１は複数から構成されても良い。例えば、ＨＭＤのような頭部装着型装置の場合は、表示部１１は両目に合わせて二つにより構成されていることが多い。また、前述の例では、アスペクト変換と歪曲収差補正を例に挙げたが、解像度変換の場合には、表示光学系補正部１５１において光学特性に基づく解像度変換が行われる。

次に、疑似遅延補正部１５２について詳細に説明する。
疑似遅延補正部１５２は、システムにより生ずる遅延（システムレイテンシ）を疑似的に補正するために、演算部１４より入力された画像移動量と画像変形量の情報を基に、画像受信部１５３より入力された画像に画像変換を行う。システムレイテンシの疑似的補正のための画像変換は、例えば水平方向の移動、垂直方向の移動、画像の回転、画像の拡大縮小などである。画像変換の方法としては、フレームバッファやラインバッファを用い、画像変換アルゴリズム（バイリニアやバイキュービックなど）などの計算を行う方法や、映像の同期信号をずらすことで疑似的に映像をずらす方法などが該当する。このような画像変換を行い、システムレイテンシによる画像遅延を疑似的に補正することによって、ＨＭＤ１を装着しているユーザが画像を観る際に感ずる違和感を低減（緩和）することが可能になる。

以下、図７（ａ）～図７（ｅ）を参照しながら、例えばビデオシースルー方式のＨＭＤ１を用いた場合における疑似遅延補正部１５２による疑似遅延補正処理の効果について説明する。
図７（ａ）はＨＭＤ１を装着したユーザ２が頭部を動かす動作を行っていない頭部動作なしの場合における、画像と現実世界及びユーザの状態とを表した図である。図７（ａ）において、画像７０１ａは表示部１１を介してユーザ２が観察している画像を示している。状態７０２ａは画像７０１ａを観察中のユーザ２を頭上から見た現実世界の様子を、状態７０３ａは画像７０１ａを観察中のユーザ２を横から見た様子、状態７０４ａは画像７０１ａを観察中のユーザ２を正面から見た様子をそれぞれ示している。
図７（ｂ）はＨＭＤ１を装着したユーザ２が頭部をヨー動作した場合の、画像と現実世界及びユーザの状態とを表した図である。以下同様に、図７（ｃ）はユーザ２が頭部をピッチ動作した場合、図７（ｄ）はユーザ２が頭部をロール動作した場合、図７（ｅ）はユーザ２が頭部を前後に動作した場合の、各画像と現実世界及びユーザ２の状態とを表した図である。これら図７（ｂ）～図７（ｅ）において、画像７０１ｂ～７０１ｅ、状態７０２ｂ～７０２ｅ、状態７０３ｂ～７０３ｅ、状態７０４ｂ～７０４ｅは、それぞれ図７（ａ）の画像７０１ａ、状態７０２ａ、状態７０３ａ、状態７０４ａと同様に表されている。

ここで、図７（ａ）で示すようにユーザ２が頭部を動かしていない頭部動作なしの場合、ＨＭＤ１の表示部１１には、撮像画角Ａθの範囲内の画像７０１ａが、解像度Ｈ×Ｖの範囲内に表示されている。なお、図７（ａ）において、解像度Ｈ×ＶのＨは水平方向の表示画素数、Ｖは垂直方向の表示画素数を表している。

図７（ｂ）に示すようにユーザ２が頭部をヨー動作（頭部の横振り動作）した場合、演算部１４は、ヨー動作時の角速度Ｙωとシステムの遅延量Ｄｔとから、ヨー角Ｙθを求める。つまり、ヨー動作がシステムの遅延時間分続いたことにより生ずる水平方向の角度変化分を表すヨー角Ｙθを求める。さらに、演算部１４は、ヨー角Ｙθと基準となる距離Ｌとの関係から、画像の水平移動量Ｈｄを求める。この場合、疑似遅延補正部１５２は、水平移動量Ｈｄに基づいて、画像を水平方向にずらすような遅延補正処理を行う。これにより、表示部１１には、水平移動量Ｈｄに応じた分だけ水平方向にずれた画像７０１ｂが表示される。したがって、ユーザ２に対しては、頭部のヨー動作（横振り動作）に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｂを提示することが可能となる。なお、基準となる距離Ｌは、例えば、予め決められた距離や、撮像されている被写体までの距離のような計測可能な距離などを用いることができる。

図７（ｃ）に示すようにユーザ２が頭部をピッチ動作（頭部の縦振り動作）した場合、演算部１４は、ピッチ動作時の角速度Ｐωとシステムの遅延量Ｄｔとからピッチ角Ｐθを求める。さらに、演算部１４は、ピッチ角Ｐθと基準となる距離Ｌとの関係から、画像の垂直移動量Ｖｄを求める。この場合、疑似遅延補正部１５２は、垂直移動量Ｖｄに基づいて、画像を垂直方向にずらすような遅延補正処理を行う。これにより、表示部１１には、垂直移動量Ｖｄに応じた分だけ垂直方向にずれた画像７０１ｃが表示される。したがって、ユーザ２に対しては、頭部のピッチ動作（縦振り動作）に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｃを提示することが可能となる。

図７（ｄ）に示すようにユーザ２が頭部をロール動作した場合、演算部１４は、ロール動作時の角速度Ｒωと遅延量Ｄｔとからロール角Ｒθを求める。さらに、演算部１４は、ロール角Ｒθから画像の回転角Θｄを求める。この場合、疑似遅延補正部１５２は、この回転角Θｄに基づいて画像を回転させるような遅延補正処理を行う。これにより、表示部１１には画像７０１ｄが表示される。したがって、ユーザ２に対しては、頭部のロール動作に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｄを提示することが可能となる。

図７（ｅ）に示すようにユーザ２が頭部を前後に移動する動作（ロール軸方向への移動動作）を行った場合、演算部１４は、ロール軸方向の加速度Ｒａと遅延量Ｄｔとからロール軸方向の移動量ＲＭを求める。さらに、演算部１４は、ロール軸方向の移動量ＲＭと撮像画角Ａθの関係から画像の拡大率Ｅｄを求める。なお、拡大率Ｅｄが１より大きい場合には画像が拡大され、拡大率Ｅｄが１未満である場合には画像が縮小されることになる。この場合、疑似遅延補正部１５２は、この拡大率Ｅｄに基づいて画像を拡大又は縮小させるような遅延補正処理を行う。これにより、表示部１１には画像７０１ｅが表示される。したがって、ユーザ２に対しては、頭部を前後に移動させる動作に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｅを提示することが可能となる。

以上説明したように、画像処理装置１５では、ＨＭＤ１の動作検知部１３により検知された動作に基づく疑似遅延補正処理が行われることによって、システムの遅延（システムレイテンシ）で生ずる画像遅延を疑似的に補正する。これにより、ユーザに対して違和感が少ない画像を提示することが可能となる。

次に、疑似遅延補正部１５２と表示光学系補正部１５１の両処理を実行した場合の動作について説明する。
本実施形態のようなＨＭＤ１の使用例としては、例えばＰＣ上で起動したアプリケーションソフトウェアが生成したＭＲ体験画像を表示部１１に表示することで、ユーザ２にＭＲ体験を提供するというような使われ方が一般的である。また本実施形態の場合、ＭＲ体験画像は、ＨＭＤ１を装着しているユーザ２の瞳位置から観察される被写体と略一致する被写体をビデオカメラで撮像し、さらにＰＣが当該撮像画像にＣＧ画像等を重畳して生成されるとする。以下、このような体験画像生成アプリケーションソフトウェアを、体験画像生成アプリと呼ぶことにする。

ここで、体験画像生成アプリによっては、ＨＭＤ１の表示部１１に適したアスペクト比の画像を生成することで、ＨＭＤ１のパフォーマンスを最適化するようなものも存在する。図８（ａ）はアスペクト比が例えば４：３の一般的なＰＣのデスクトップ画面８０１を示した図である。体験画像生成アプリは、ＨＭＤ１に適したＭＲ体験画像として、アスペクト比１６：１０の画像８０２を生成する。すなわち、体験画像生成アプリは、図８（ｂ）に示すように、アスペクト比４：３の一般的なＰＣのデスクトップ画面８０１上に、ＨＭＤ１に適したアスペクト比１６：１０の画像８０２を描画する。画像処理装置１５の画像受信部１５３は、図８（ｂ）に示すように、ＰＣのデスクトップ画面８０１上にアスペクト比１６：１０の画像８０２が描画された画像データを受信する。

以下、図８（ｂ）に示した画像が画像処理装置１５に入力されてからＨＭＤ１で表示されてユーザにより観察されるまでの画像処理について、図９（ａ）～図９（ｃ）を用いて説明する。
図９（ａ）は、ＨＭＤ１を装着したユーザが頭部を動かす動作を行っていない頭部動作なしの場合において、ＰＣにて生成される画像９０１ａからＨＭＤ１に表示される画像９０４ａまでを表した図である。図９（ａ）において、画像９０１ａは、画像受信部１５３で受信されて疑似遅延補正部１５２に入力し、当該疑似遅延補正部１５２から出力される画像を示している。画像９０２ａは、疑似遅延補正部１５２から出力された画像９０１ａに対し、表示光学系補正部１５１によって前述したように上下に黒画像を重畳するマスク処理を行った後の画像を示している。画像９０３ａは、表示光学系補正部１５１において、画像９０２ａに対してアスペクト変換及び歪曲収差補正を行った後の画像を示している。そして、画像９０４ａは、画像９０３ａの画像を、ＨＭＤの表示素子１１２に表示し、さらに表示光学系１１１を介することでユーザに提示される画像を示している。

また、図９（ｂ）は、ＨＭＤ１を装着したユーザが頭部を例えばピッチ動作した場合において、ＰＣにて生成される画像９０１ｂからＨＭＤ１に表示される画像９０４ｂまでを表した図である。同様に、図９（ｃ）は、ＨＭＤ１を装着したユーザが頭部を例えばピッチ動作した場合において、ＰＣにて生成される画像９０１ｃからＨＭＤ１に表示される画像９０４ｃまでを表した図である。ただし、図９（ｃ）は、本実施形態において、後述するように、黒画像でマスク処理される領域（マスク領域とする。）を可変することにより、ユーザに対して違和感の少ない画像を提供可能にする場合の例を示している。一方、図９（ｂ）は、本実施形態のように黒画像でマスク処理されるマスク領域を可変しない従来の手法の場合の例を示している。なお、図９（ｂ）と図９（ｃ）において、画像９０１ｂと９０１ｃ、画像９０２ｂと９０２ｃ、画像９０３ｂと９０３ｃ、画像９０４ｂと９０４ｃは、それぞれ図９（ａ）の画像９０１ａ、画像９０２ａ、画像９０３ａ、画像９０４ａと同様に表されている。

図９（ａ）に示したように、ＨＭＤ１を装着したユーザが頭部を動かしていない頭部動作なしの場合、ここまでで説明した通り、ユーザに対しては違和感のない体験画像を提示できる。
一方、ユーザが頭部を例えばピッチ動作した場合において、後述するようなマスク領域の可変を行わない場合、ピッチ動作に応じて画像を垂直方向にずらすと、図９（ｂ）の画像９０２ｂに示すように、マスク領域外に不必要な画像９０５が現れることになる。マスク領域外に現れる不必要な画像９０５は、例えばＰＣ画面（デスクトップ画像）の一部などである。当該不必要な画像９０５が現れている場合、表示光学系補正部１５１の処理後の画像９０３ｂにも不必要な画像９０５が残り、さらには表示部１１の画像９０４ｂにも不必要な画像９０５が残り、ユーザにとって違和感のある画像が提示されてしまう。

そこで、本実施形態においては、ＨＭＤ１を装着しているユーザの頭部の動作に応じて、黒画像によるマスク領域を可変することにより、不必要な画像が表示されてしまうことを防止し、ユーザに違和感の無い画像を提示可能とする。すなわちユーザが頭部を例えばピッチ動作した場合、疑似遅延補正処理により画像を垂直方向にずらすとマスク領域外に不必要な画像９０５が現れるが、本実施形態では、図９（ｃ）の画像９０２ｃのように、マスク領域を可変して不必要な画像９０５を隠す。これにより、図９（ｃ）に示すように、表示光学系補正部１５１の処理後の画像９０３ｃ、さらには表示部１１の画像９０４ｃにも不必要な画像９０５は現れず、ユーザにとって違和感の少ない画像を提示可能となる。なお、この例では、ＨＭＤ１を装着したユーザ２が頭部をピッチ動作した場合を挙げているが、ヨー動作等の他の動作の場合も前述同様に、その動作に応じてマスク領域を可変することにより、ユーザにとって違和感の少ない画像の提示が可能となる。例えばヨー動作の場合には、マスク領域を横方向（水平方向）に可変すれば良い。

以下、本実施形態において、ユーザの頭部の動作に応じて黒画像のマスク領域を可変できるようにする処理について、図１０のフローチャートを用いて説明する。図１０に示すフローチャートの処理は、演算部１４により行われる。なお、以下の説明では、図１０のフローチャートの各処理ステップＳ１０１～ステップＳ１１５をＳ１０１～Ｓ１１５と略記する。この図１０のフローチャートの処理は、ソフトウェア構成により実行されても良いし、ハードウェア構成により実現されてもよく、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばＲＯＭ等に記憶されている本実施形態に係るプログラムをＣＰＵ等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意されていてもよく、着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。これらのことは、後述する他のフローチャートにおいても同様であるとする。

先ずＳ１０１において、演算部１４は、ＨＭＤ１を装着しているユーザ２の頭部の動きを動作検知部１３が検知した頭部動作情報（Ｑ）を取得する。前述したように、頭部動作情報（Ｑ）は、加速度センサ、角速度センサなどのセンサを用いて計測されるセンサデータであり、頭部の動き（首ふりや移動）を数値化した動作検知データである。

次にＳ１０２において、演算部１４は、システムの遅延量Ｄｔを取得する。システムの遅延量Ｄｔとは、例えば現実空間を撮像した画像を、表示光学系１１１を介してユーザが観察するまでの間の各種演算や処理等により生ずる遅延（レイテンシ）分に相当する値である。遅延量Ｄｔは、固定値として保存されている値を使用しても良いし、リアルタイムに変動する遅延量を反映した値であっても良い。

次にＳ１０３において、演算部１４は、頭部動作情報（Ｑ）から頭部の動作はピッチ動作（縦振り動作）若しくはヨー動作（横振り動作）であるかを判定する処理を行う。本実施形態では、頭部のピッチ動作若しくはヨー動作を判定する方法の一例として、水平方向（横方向、ヨー方向）の角速度と垂直方向（縦方向、ピッチ方向）の角速度を基に判定する方法を用いる。ここで、演算部１４は、水平方向の角速度Ｙωが一定値以上の場合には頭部のヨー動作であると判定し、垂直方向の角速度Ｐωが一定値以上の場合には頭部のピッチ動作であると判定する。そして、演算部１４は、頭部のピッチ動作若しくはヨー動作であると判定した場合にはＳ１０４に処理を進める。一方、演算部１４は、頭部のピッチ動作若しくはヨー動作の何れでもないと判定した場合にはＳ１０５に処理を進める。

Ｓ１０４に進んだ場合、演算部１４は、頭部動作情報（Ｑ）と遅延量（Ｄｔ）とを基に画像の水平移動量（Ｈｄ）と垂直移動量（Ｖｄ）を算出する。一方、Ｓ１０５に進んだ場合、演算部１４は、画像の水平移動量（Ｈｄ）と垂直移動量（Ｖｄ）をそれぞれ０に設定する。これらＳ１０４又はＳ１０５の後、演算部１４は、Ｓ１０６に処理を進める。

Ｓ１０６に進むと、演算部１４は、頭部動作情報（Ｑ）から頭部の傾きを判定する処理を行う。本実施形態では、頭部の傾きを判定する方法の一例として、ロール方向の角速度を基に判定する方法を用いる。そして、演算部１４は、ロール方向の角速度Ｒωが一定値以上の場合には頭部を傾けたと判定してＳ１０７に処理を進め、ロール方向の角速度Ｒωが一定値以上でない場合（一定値未満の場合）には頭部の傾きではないと判定してＳ１０８に処理を進める。

Ｓ１０７に進んだ場合、演算部１４は、頭部動作情報（Ｑ）と遅延量（Ｄｔ）とを基に画像の回転角（Θｄ）を算出する。一方、Ｓ１０８に進んだ場合、演算部１４は、画像の回転角（Θｄ）を０に設定する。これらＳ１０７、Ｓ１０８の後、演算部１４は、Ｓ１０９に処理を進める。

Ｓ１０９において、演算部１４は、頭部動作情報（Ｑ）から頭部の前後移動（ロール軸Ｒ方向への移動）を判定する処理を行う。本実施形態では、頭部の前後移動を判定する手法の一例として、ロール軸方向の加速度情報から判定する方法を用いる。演算部１４は、ロール軸方向の加速度Ｒａが一定値以上の場合には頭部が前後移動をしたと判定してＳ１１０に処理を進め、ロール軸方向の加速度Ｒａが一定値以上でない（一定値未満）の場合には頭部が前後移動していないと判定してＳ１１１に処理を進める。

Ｓ１１０に進んだ場合、演算部１４は、頭部動作情報（Ｑ）と遅延量（Ｄｔ）とを基に画像の倍率（Ｅｄ）を算出する。一方、Ｓ１１１に進んだ場合、演算部１４は、画像の拡大率（Ｅｄ）を０に設定する。これらＳ１１０、Ｓ１１１の後、演算部１４は、Ｓ１１２に処理を進める。

Ｓ１１２に進むと、演算部１４は、光学特性記憶部１２からの光学特性情報であるマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）を取得する。マスク幅Ｖｔは画像の上側に黒画像を重畳するマスク領域の幅であり、以下同様に、マスク幅Ｖｂは画像の下側のマスク領域の幅、マスク幅Ｈｌは画像の左側のマスク領域の幅、マスク幅Ｈｒは画像の右側のマスク領域の幅である。本実施形態において、それぞれのマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）は、図６（ｂ）に示すように、光学特性によって変化するアスペクト変換の変換量によって決定される。

次にＳ１１３において、演算部１４は、光学特性記憶部１２から読み出されたマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）、前述の水平移動量（Ｈｄ）、垂直移動量（Ｖｄ）、画像の回転角（Θｄ）、画像の拡大率（Ｅｄ）を基に、マスク領域（Ｂ）を決定する。演算部１４は、水平移動・垂直移動の場合には移動量のオフセットを考慮してマスク領域（Ｂ）を決定し、回転・拡大・縮小の場合には回転角・拡大率の変形分を考慮してマスク領域（Ｂ）を決定する。

次に、Ｓ１１４において、演算部１４は、前述のように計算した画像の水平移動量（Ｈｄ）、垂直移動量（Ｖｄ）、回転角（Θｄ）、拡大率（Ｅｄ）の情報を疑似遅延補正部１５２に送る。また、Ｓ１１５において、演算部１４は、マスク領域（Ｂ）の情報を表示光学系補正部１５１へ送る。このようにして、演算部１４は、光学特性記憶部１２と動作検知部１３より受信した情報から、表示光学系補正部１５１と疑似遅延補正部１５２においてそれぞれ補正処理を行う際に用いられる補正値を生成して送信する。

前述した図９（ｂ）の例のように、マスク領域を可変しない場合、ＨＭＤ１を装着しているユーザ２の頭部の例えばピッチ動作に応じて画像を垂直方向にずらした影響で、マスク領域外に不必要な画像が表示されてしまうことがある。これに対し、本実施形態の場合、演算部１４は、Ｓ１０４において頭部の例えばピッチ動作に応じて垂直移動量（Ｖｄ）を決定している。その後、演算部１４は、Ｓ１１３において、垂直移動量Ｖｄとマスク幅Ｖｔを考慮して、上側のマスク幅Ｖｔ'をＶｔ＋Ｖｄ＝Ｖｔ'の演算により求め、また、下側のマスク幅Ｖｂ'を本来のマスク幅Ｖｂから求めて、マスク領域（Ｂ）を決定する。これにより、表示光学系補正部１５１では、演算部１４にて決定されたマスク領域（Ｂ）により、疑似遅延補正部１５２から入力される画像９０１ｃに対し、図９（ｃ）の画像９０２ｃのようにマスクする処理を行う。なお、図９（ｂ）のようにマスク領域を可変しない場合には、画像９０２ｂに示すように、この段階で不必要な画像９０５（デスクトップ画像の一部）が残ってしまうが、図９（ｃ）の画像９０２ｃでは不必要な画像を含めてマスクされている。このように、本実施形態においては、ＨＭＤ１を装着しているユーザ２に対し、図９（ｃ）の画像９０４ｃのように、不必要な画像９０５を含めてマスクがなされた違和感のないＭＲ体験画像を提供できる。すなわち本実施形態によれば、表示光学系１１１を有するＨＭＤ１において、表示光学系の補正と共に、遅延補正のための映像移動や変形、切り出し等を行った場合においても、不要な画像を生じることなく、ユーザに違和感のない映像を提供することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。
図１１は第２実施形態におけるシステム構成例を示した図である。図１１の構成において、前述の図１と同じ参照符号が付されている各構成要素では概ね前述同様の動作・処理が行われ、以降では異なる処理・動作について説明する。第２実施形態のシステム構成では、マスク処理を２段階に分けて行うことにより、演算部１４の負荷を低減可能とする。

第２実施形態において、第１実施形態と異なるのは、２段階に分けられたマスク処理のうち、前段のマスク処理を行うための構成としてのマスク処理部１１０１が、画像受信部１５３と疑似遅延補正部１５２との間に実装されている点である。第２実施形態の場合、演算部１４は、光学特性記憶部１２から読み出されたマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報を、表示光学系補正部１５１とマスク処理部１１０１へと送る。マスク処理部１１０１は、画像受信部１５３から出力された画像に対し、マスク幅に応じたマスク処理を行った後、疑似遅延補正部１５２に送る。したがって、疑似遅延補正部１５２では、マスク処理部１１０１によりマスク処理がなされた後の画像に対し、移動・回転・変形などの補正処理を行う。そして、表示光学系補正部１５１では、マスク幅に応じたマスク処理が再度行われることになる。

このように、第２実施形態の場合、疑似遅延補正部１５２による画像の移動・回転・変形より前にマスク処理を行うことによって、マスクされた画像が移動・回転・変形処理されることになる。第２実施形態では、ユーザにより観察される領域以外の画像を予めマスクすることによって、第１の実施形態と同様の効果を得ることができる。

前述した第２実施形態における演算部１４の動作について図１２のフローチャートを用いて説明する。図１２のフローチャートにおいて、図１１のフローチャートと同じ処理には同じ参照符号を付している。Ｓ１０１～Ｓ１１２までは図１１と同様の処理であり、ここではＳ１２１以降の処理についてのみ説明する。

図１２のフローチャートにおいて、Ｓ１１２の処理後、演算部１４は、Ｓ１２１に処理を進める。すなわち、演算部１４は、疑似遅延補正部１５２による移動・回転・拡大量を計算し、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）を読み込んだ後は、Ｓ１２１に処理を進める。

Ｓ１２１に進むと、演算部１４は、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報をマスク処理部１１０１に送る。これにより、マスク処理部１１０１では、画像受信部１５３から出力された画像に対し、マスク幅に応じたマスク処理が行われる。
その後、演算部１４は、Ｓ１１４において画像の水平移動量（Ｈｄ）、垂直移動量（Ｖｄ）、回転角（Θｄ）、拡大率（Ｅｄ）の情報を疑似遅延補正部１５２に送る。さらに、演算部１４は、Ｓ１１５において、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報を表示光学系補正部１５１へ送る。この場合の表示光学系補正部１５１は、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報を基に再度マスク処理を行う。

第２実施形態の場合、演算部１４は、前述の図１０のＳ１１３のようなマスク領域を決定する処理を行わず、マスク幅の情報を出力する。したがって、演算部１４の負荷は、前述の第１の実施形態の場合よりも低減されている。このように、第２の実施形態によれば、演算部１４の負荷を最小にしつつ、疑似遅延補正部１５２の前後で同じマスク処理を２段階に分けて行うことで、ユーザへの違和感のない画像の提供を実現している。

＜第３実施形態＞
次に、第３実施形態について説明する。
図１３は第３実施形態におけるシステム構成例を示した図である。図１３の構成において、前述の図１と同じ参照符号が付されている各構成要素では概ね前述同様の動作・処理が行われ、以降では異なる処理・動作について説明する。第３実施形態のシステム構成は、生成された画像に応じてマスク処理の実行／非実行（マスク処理の有無）を切り替えることで、演算部１４の負荷を低減可能とする。

第３実施形態において、第１実施形態と異なるのは、コンピュータ１６を有しており、このコンピュータ１６の内部には画像生成部１６１とＣＧ生成部１６２が含まれている点である。画像生成部１６１とＣＧ生成部１６２は、ＨＭＤ１を装着するユーザ２が体験する画像を生成する体験画像生成アプリをコンピュータ１６内のＣＰＵが実行することにより実現される機能部である。ＣＧ生成部１６２は画像生成部１６１の命令に応じてＣＧ画像をレンダリングし、画像生成部１６１は、ＨＭＤ１を装着するユーザ２が体験する画像を生成する。なお、体験画像生成アプリにより画像生成部１６１が形成され、ＣＧ生成部１６２は別のＣＧ生成アプリケーションソフトウェア等により形成されてもよく、体験画像やＣＧ画像はＣＰＵだけでなくＧＰＵなどにより生成されてもよい。

画像生成部１６１が生成する画像としては、例えば予め用意されたＣＧデータを、頭部の動きに応じてレンダリングして提供する際のＶＲ画像であるとか、カメラで撮像した現実映像の上にＣＧ画像が重畳されるＭＲ画像などである。なお、画像生成部１６１は、コンピュータ１６の負荷を低減するために、図８（ｂ）に示したように、ＨＭＤ１の表示部１１に表示可能な範囲の画像のみを生成してもよい。この場合、第１実施形態及び第２実施形態ですでに説明した構成を用いることで、ユーザ２に違和感のない画像を提供できることは前述同様である。

一方で、コンピュータ１６のスペック（処理能力やメモリ容量等）が十分である場合は、画像生成部１６１において、ＨＭＤ１に表示可能な範囲の画像を予めマスクしておくことで、演算部１４の処理負荷を低減することができる。この場合、コンピュータ１６は、画像生成部１６１においてＨＭＤ１に表示可能な範囲外をマスクする場合にはその旨を演算部１４に通知する。そして、その通知を受けた演算部１４は、マスク処理をスキップする（マスク処理を非実行とする）ことによって負荷を低減させることが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ ＨＭＤ、１１：表示部、１２：光学特性記憶部、１３：動作検知部、１４：演算部、１５：画像処理装置、１１１：表示光学系、１１２：表示素子、１５１：表示光学系補正部、１５２：疑似遅延補正部、１５３：画像受信部

Claims (11)

1. 撮像装置により撮像された画像を入力画像として受信し、当該入力画像を画像処理して得られた画像を、ユーザの頭部に装着される表示装置に表示画像として出力する画像処理装置であって、
   前記表示装置が有する表示光学系の光学特性の情報を前記表示装置から取得し、前記表示装置が有する動作検知部が検知した前記頭部の動作の情報を前記表示装置から取得する取得手段と、
   前記入力画像に対し、前記頭部の動作の情報に基づく第１の補正処理を行う第１の補正手段と、
   前記第１の補正処理がなされた画像に対して、前記頭部の動作の情報と前記光学特性の情報とに基づいて定まるマスク領域にマスク処理を行い、さらに前記光学特性の情報に基づく第２の補正処理を行って、得られた画像を前記表示画像として前記表示装置に出力する第２の補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の補正手段は、画像のアスペクト比を変換する処理と、画像の解像度を変換する処理との、少なくとも一つを、前記第２の補正処理として行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の補正手段は、前記頭部の動作の情報に基づいて、画像を移動する処理と、画像を変形する処理との、少なくとも一つを、前記第１の補正処理として行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の補正手段は、前記頭部の動作の情報と、画像の撮像から表示までの遅延量とを基に、前記画像を移動する処理の移動量または前記画像を変形する処理の変形量を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の補正手段は、前記頭部の動作の情報が水平または垂直移動を示す情報である場合、前記光学特性の情報に基づくマスク領域の幅と、画像のフレーム間における前記頭部の動作の前記水平または垂直移動による移動量とに基づいて、前記マスク領域を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記第２の補正手段は、
   前記光学特性の情報に基づく第２の補正処理として画像のアスペクト比を変換する変換処理を実行し、
   前記マスク領域の幅を、前記変換処理の変換量に基づいて決定することを特徴とする請求項２に記載の画像処理装置。
7. 前記第２の補正手段は、前記入力画像を生成する生成装置からの通知に応じて、前記マスク処理を行うか否を切り替えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. ユーザの頭部に装着される表示装置と、
   撮像装置により撮像された画像を入力画像として受信し、当該入力画像を画像処理して得られた画像を、前記表示装置に表示画像として出力する画像処理装置と、を有し、
   前記画像処理装置は、
   前記入力画像に対し、前記頭部の動作に基づく第１の補正処理を行う第１の補正手段と、
   前記第１の補正処理がなされた画像に対して、前記頭部の動作と前記表示装置が有する表示光学系の光学特性とに基づいて定まるマスク領域にマスク処理を行い、さらに前記表示光学系の光学特性に基づく第２の補正処理を行って、得られた画像を前記表示画像として前記表示装置に出力する第２の補正手段と、を有することを特徴とする表示システム。
9. 前記表示装置は、前記頭部の動作を検知する動作検知部を有し、前記動作検知部が検出した前記頭部の動作の情報を前記画像処理装置に出力することを特徴とする請求項８に記載の表示システム。
10. 撮像装置により撮像された画像を入力画像として受信し、当該入力画像を画像処理して得られた画像を、ユーザの頭部に装着される表示装置に表示画像として出力する画像処理装置が実行する画像処理方法であって、
    前記表示装置が有する表示光学系の光学特性の情報を前記表示装置から取得し、前記表示装置が有する動作検知部が検知した前記頭部の動作の情報を前記表示装置から取得する取得工程と、
    前記入力画像に対し、前記頭部の動作の情報に基づく第１の補正処理を行う第１の補正工程と、
    前記第１の補正処理がなされた画像に対して、前記頭部の動作の情報と前記光学特性の情報とに基づいて定まるマスク領域にマスク処理を行い、さらに前記光学特性の情報に基づく第２の補正処理を行って、得られた画像を前記表示画像として前記表示装置に出力する第２の補正工程と、
    を有することを特徴とする画像処理方法。
11. コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images