JP7365184B2 - 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 - Google Patents

Description

この発明は、装着したユーザの眼前に画像を表示するヘッドマウントディスプレイ、表示画像を処理する画像処理装置、およびそこでなされる画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ヘッドマウントディスプレイには、ユーザの視界を覆うようにして外界からの光を遮蔽する遮蔽型と、外界からの光を取り込み周囲の様子も見えるようにした光学透過型がある。ヘッドマウントディスプレイで、実空間と仮想オブジェクト（仮想空間）を融合させる拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現する場合、光学透過型の方が、重ね合わせ表示の容易さ、表示までの遅延時間、描画に必要なシステム負荷（消費電力）の低さなどの点で優れている。一方、遮蔽型のヘッドマウントディスプレイは、外部視野を完全に遮断できるため、没入感のある仮想現実を実現できる。

遮蔽型のヘッドマウントディスプレイでは基本的に、表示パネルの発光のみが視覚刺激となる。したがって、例えばヘッドマウントディスプレイを装着してからコンテンツの画像を表示させるまでの間や、表示が終了した後など画像が表示されない期間があると、鑑賞者は当然何も見えない状態となる。その結果、そのような期間において、周囲にある物につまずいたりぶつかったりする危険がある。また、仮想世界の画像が表示された状態で、近くに置いたコントローラを手に取りたいなど周囲の状況を見たければ、その都度ヘッドマウントディスプレイを外す必要がある。

遮蔽型のヘッドマウントディスプレイで拡張現実や複合現実を実現する場合は、ヘッドマウントディスプレイの前面にカメラを設け、その撮影画像に仮想オブジェクトなど別途生成した画像を合成することが考えられる。しかしながら各種処理が増えることにより電力消費が増加し、カメラと仮想オブジェクトなどのコンテンツを生成する装置を、一体的に設けられない場合がある。これらの結果、撮影から表示までに遅延が生じやすく、ユーザに違和感を与えやすい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できることと、仮想オブジェクトなどが合成されたコンテンツの鑑賞を、適切に両立させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像処理装置に関する。この画像処理装置は、撮影画像のデータを取得する信号処理部と、撮影画像を表示に適した画像に補正する補正部と、一体的に設けられていない装置から送信された合成用画像を、撮影画像に合成する合成部と、合成された画像を表示パネルに表示させる画像表示制御部と、を備え、補正部は、前記表示に適した画像に補正する処理のうち、合成部による合成前の撮影画像に対し一部の補正を実施し、合成後の画像に対し残りの補正を実施することを特徴とする。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記画像処理装置と、その信号処理部に撮影画像を供給する撮像装置と、表示パネルと、を備えることを特徴とする。

本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は画像処理装置が、撮影画像のデータを取得するステップと、撮影画像を表示に適した画像に補正する処理のうち一部の補正を実施するステップと、一体的に設けられていない装置から送信された合成用画像を、一部の補正がなされた撮影画像に合成するステップと、合成後の画像に対し、表示に適した画像に補正する処理のうち残りの補正を実施し表示画像とするステップと、表示画像を表示パネルに表示させるステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、遮蔽型のヘッドマウントディスプレイにおいて、周囲の状況を違和感ない視認と、仮想オブジェクトなどが合成されたコンテンツの鑑賞を、低遅延、低消費電力で、両立させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態のコンテンツ処理システムの構成例を示す図である。 本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示す図である。 本実施の形態の画像処理用集積回路において、撮影画像から表示画像を生成する処理を説明するための図である。 本実施の形態の画像処理用集積回路の回路構成を示す図である。 本実施の形態のシースルーモードにおける表示処理の手順を説明するための図である。 歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。 本実施の形態の補正回路が撮影画像を補正する処理手順の例を説明するための図である。 本実施の形態において、補正処理に必要なバッファメモリの容量について説明するための図である。 シースルーモード以外の表示態様に本実施の形態の画像処理用集積回路を用いた場合の、コンテンツ処理システムの機能ブロックの構成を示す図である。 本実施の形態において、色収差補正として変位ベクトルに含める要素の例を説明するための図である。 本実施の形態の変位ベクトルマップ用メモリに格納するデータを模式的に示す図である。 本実施の形態のヘッドマウントディスプレイが撮影画像などを表示させる際の処理手順を示すフローチャートである。

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出してもよい。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。本実施の形態では、ステレオカメラ１１０が撮影した画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。コンテンツの画像を表示していない期間、ヘッドマウントディスプレイ１００は基本的にシースルーモードへ移行する。

ヘッドマウントディスプレイ１００が自動でシースルーモードへ移行することにより、ユーザはコンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードへの移行タイミングはこのほか、ユーザが明示的に移行操作を行ったときなどでもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、コントローラを見つけて手に取るなど必要な作業を行える。

ステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかは、コンテンツの画像としても利用できる。例えば写っている実空間と対応するような位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。このように撮影画像を表示に含めるか否かによらず、撮影画像の解析結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることができる。

例えば、撮影画像にステレオマッチングを施すことにより対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。また物体認識や物体深度測定なども行える。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

なお本実施の形態のヘッドマウントディスプレイ１００は、ユーザの視界を遮蔽する遮蔽型のヘッドマウントディスプレイであり、かつユーザの顔の位置や向きに対応する視野で実空間を撮影するカメラを備えれば、実際の形状は図示するものに限らない。また、シースルーモードにおいて左目の視野、右目の視野の画像を擬似的に生成すれば、ステレオカメラ１１０の代わりに単眼カメラや４つのカメラ１１２を用いることもできる。

図２は、本実施の形態におけるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェース３００によりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００には平板型ディスプレイ３０２が接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。ある態様においてコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。

ヘッドマウントディスプレイ１００は当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。

なおコンテンツ処理装置２００とヘッドマウントディスプレイ１００の距離やインターフェース３００の通信方式は限定されない。例えばコンテンツ処理装置２００は、個人が所有するゲーム装置などのほか、クラウドゲームなど各種配信サービスを提供する企業などのサーバや、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間の通信は上述した例のほか、インターネットなどの公衆ネットワークやＬＡＮ（Local Area Network）、携帯電話キャリアネットワーク、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントなど、任意のネットワークやアクセスポイントを経由して実現してもよい。

図３は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおりステレオカメラ１１０と表示パネル１２２を備える。ただし上述のとおりカメラはステレオカメラ１１０に限らず、単眼カメラ１１１や４つのカメラ１１２のいずれかまたは組み合わせであってもよい。以後の説明も同様である。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルであり、ヘッドマウントディスプレイ１００を装着したユーザの目の前に画像を表示する。また内部には画像処理用集積回路１２０を備える。

画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。

拡張現実や複合現実を遮蔽型のヘッドマウントディスプレイで実現する場合、一般にはステレオカメラ１１０などによる撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示するシステムにおいてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、本実施の形態ではシースルーモードとして、コンテンツの処理とは異なるデータの経路を設ける。すなわち矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で適宜処理し、そのまま表示パネル１２２に表示させる。このとき画像処理用集積回路１２０は、撮影画像を表示に適した形式に補正する処理のみ実施する。

矢印Ａの経路によれば、矢印Ｂと比較しデータの伝送経路が格段に短縮するため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。さらに本実施の形態では、画像処理用集積回路１２０での補正処理を、ステレオカメラ１１０における１フレーム分の撮影を待たずに撮影と並行して実施し、表示パネル１２２に順次出力する。

これらの構成により、ユーザの顔の向きに対応する撮影画像を即座に表示でき、ディスプレイを介さずに周囲を見ているのと同様の状態を作り出すことができる。なお矢印Ａの経路はシースルーモードに限らず、コンテンツ処理装置２００が生成した画像と撮影画像を合成する際にも利用できる。すなわちコンテンツ処理装置２００からは合成すべき画像のデータのみを送信し、ヘッドマウントディスプレイ１００の画像処理用集積回路１２０において撮影画像と合成したうえ表示パネル１２２に出力する。

このようにすると、ヘッドマウントディスプレイ１００からコンテンツ処理装置２００へは、撮影画像のデータの代わりに、撮影画像から取得した、実空間に係る情報のみを送信すればよくなる。結果として、撮影画像のデータ自体を送信してコンテンツ処理装置２００で合成する場合と比較し、データ伝送に要する時間や消費電力を軽減できる。

図４は、画像処理用集積回路１２０において、撮影画像から表示画像を生成する処理を説明するための図である。実空間において、物が置かれたテーブルがユーザの前にあるとする。ステレオカメラ１１０はそれを撮影することにより、左視点の撮影画像１６ａ、右視点の撮影画像１６ｂを取得する。ステレオカメラ１１０の視差により、撮影画像１６ａ、１６ｂには、同じ被写体の像の位置に水平方向のずれが生じている。

また、カメラのレンズにより、被写体の像には歪曲収差が発生する。一般には、そのようなレンズ歪みを補正し、歪みのない左視点の画像１８ａ、右視点の画像１８ｂを生成する（Ｓ１０）。ここで元の画像１６ａ、１６ｂにおける位置座標（ｘ，ｙ）の画素が、補正後の画像１８ａ、１８ｂにおける位置座標（ｘ＋Δｘ，ｙ＋Δｙ）へ補正されたとすると、その変位ベクトル（Δｘ，Δｙ）は次の一般式で表せる。

ここでｒは、画像平面におけるレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。なお本実施の形態において補正に用いる式を式１に限定する趣旨ではない。平板型ディスプレイに表示させたり画像解析をしたりする場合、このように補正された一般的な画像が用いられる。一方、ヘッドマウントディスプレイ１００において、接眼レンズを介して見た時に歪みのない画像１８ａ、１８ｂが視認されるためには、接眼レンズによる歪みと逆の歪みを与えておく必要がある。

例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、画像を樽型に湾曲させておく。したがって歪みのない画像１８ａ、１８ｂを接眼レンズに対応するように歪ませ、表示パネル１２２のサイズに合わせて左右に接続することにより、最終的な表示画像２２が生成される（Ｓ１２）。表示画像２２の左右の領域における被写体の像と、補正前の歪みのない画像１８ａ、１８ｂにおける被写体の像の関係は、カメラのレンズ歪みを有する画像と歪みを補正した画像の関係と同等である。

したがって式１の変位ベクトル（Δｘ，Δｙ）の逆ベクトルにより、表示画像２２における歪みのある像を生成できる。ただし当然、レンズに係る変数は接眼レンズの値とする。本実施の形態の画像処理用集積回路１２０は、このような２つのレンズを踏まえた歪みの除去と付加を、一度の計算で完了させる（Ｓ１４）。詳細には、元の撮影画像１６ａ、１６ｂ上の画素が、補正によって表示画像２２のどの位置に変位するかを示す変位ベクトルを画像平面に表した変位ベクトルマップを作成しておく。

カメラのレンズによる歪みを除去する際の変位ベクトルを（Δｘ，Δｙ）、接眼レンズのために歪みを付加する際の変位ベクトルを（－Δｘ’，－Δｙ’）とすると、変位ベクトルマップが各位置で保持する変位ベクトルは（Δｘ－Δｘ’，Δｙ－Δｙ’）となる。なお変位ベクトルは、画素の変位の方向と変位量を定義するのみであるため、事前にそれらのパラメータを決定できるものであれば、レンズ歪みに起因する補正に限らず様々な補正や組み合わせを、同様の構成で容易に実現できる。

例えば撮影画像１６ａ、１６ｂを拡縮し表示パネル１２２のサイズに合わせる補正や、表示パネル１２２における発光素子の色の配列を踏まえた色収差の補正についても、変位ベクトルの要素に含めてよい。この場合も、画像平面の位置に対してそれぞれの補正における変位ベクトルを求め、それらを合計することにより最終的な変位ベクトルマップを生成できる。これにより、１度の処理で複数の補正を施すことができる。表示画像２２を生成する際は変位ベクトルマップを参照して、撮影画像１６ａ、１６ｂの各位置の画素を変位ベクトル分だけ移動させる。

撮影画像１６ａ、１６ｂと表示画像２２は、歪みの分の変位はあるものの像が表れる位置や形状に大きな変化はないため、画像平面の上の行から順に撮影画像の画素値が取得されるのと並行して、その画素値を取得し補正を施すことができる。そして上の段から順に、補正処理と並行して表示パネル１２２へ出力することにより、低遅延での表示を実現できる。

ただし上述の変位ベクトルマップに代えて、歪みを与えた画像と撮影画像における、対応する画素の位置関係を導出するための変換式を設定してもよい。また表示画像の画素値を決定する要因は、歪みの有無による画素の変位のみに限定されない。例えば、次のパラメータを適宜組み合わせて画素値を決定する。
１．図示しないモーションセンサの出力値やＳＬＡＭの計算結果に基づくユーザの姿勢や向いている方向
２．ユーザ固有の左右の瞳孔間距離（目と目の間の距離）
３．ヘッドマウントディスプレイ１００の装着機構部１０４（装着バンド１０６）を、ユーザの頭や目の関係に基づき調整した結果として定まるパラメータ

上記２の瞳孔間距離は次のように取得する。すなわちヘッドマウントディスプレイ１００が視線追跡用ステレオカメラを内蔵している場合、ヘッドマウントディスプレイ１００を装着したユーザの瞳孔を当該視線追跡用ステレオカメラにより撮影する。または、ヘッドマウントディスプレイ１００の前面に設けたステレオカメラ１１０などをユーザが自分の顔に向けることにより、目が開いた顔を撮影する。または、コンテンツ処理システム外の図示しないカメラをユーザにむけて、目が開いた顔を撮影する。そのようにして撮影した画像を、コンテンツ処理システムで動く、瞳孔の画像認識ソフトウェアが処理し、瞳孔間距離を自動測定・記録する。

視線追跡用ステレオカメラやステレオカメラ１１０のカメラ間距離を用いた場合、三角測量する。もしくは、撮影した画像を、コンテンツ処理システムが平板型ディスプレイ３０２に表示し、ユーザが左右瞳孔の位置を指定することで、コンテンツ処理装置２００が、指定に基づき、左右の瞳孔間距離を計算して記録する。ユーザが自分の瞳孔間距離を直接登録することがあってもよい。このようにして取得した瞳孔間距離は、図４の表示画像２２における左目用画像と右目用画像の距離に反映させる。

上記３については、ヘッドマウントディスプレイ１００が内蔵する図示しないロータリーエンコーダやロータリーボリュームなどの計測器が、装着機構部１０４や装着バンド１０６のメカニカルな調整結果を取得する。コンテンツ処理システムは、当該調整結果に基づき接眼レンズから目までの距離や角度を計算する。このようにして取得したパラメータは、図３の表示画像２２における画像の拡大率や像の位置に反映させる。

上記１～３は、ヘッドマウントディスプレイ１００を装着するユーザ固有のパラメータ、あるいはユーザの位置や姿勢といった任意に変化するパラメータであり、事前にマップに反映させることが難しい。したがって、変位ベクトルマップを参照してなされる変換と、上記１～３の少なくともいずれかのパラメータに基づく変換を組み合わせて最終的な画素値を決定してよい。あるいはそれらのパラメータに応じて、変位ベクトルマップを動的に生成してもよい。

図５は、本実施の形態の画像処理用集積回路１２０の回路構成を示している。ただし本実施の形態に係る構成のみ図示し、その他は省略している。画像処理用集積回路１２０は、入出力インターフェース３０、ＣＰＵ３２、イメージ信号処理回路４２、画像演算回路３４、画像解析回路５４、画像合成回路５６、およびディスプレイコントローラ４４を備える。

入出力インターフェース３０は有線または無線通信によりコンテンツ処理装置２００と通信を確立し、データの送受信を実現する。ＣＰＵ３２は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路を制御する。イメージ信号処理回路４２は、ステレオカメラ１１０の左右のイメージセンサから撮影画像のデータを取得し、それぞれにデモザイク処理などの必要な処理を施す。ただしレンズ歪み補正は実施せず、画素値が決定した画素列順に後述するバッファメモリ３８にそのデータを格納する。イメージ信号処理回路４２はＩＳＰ（Image Signal Processor）と同義である。

画像演算回路３４は、コンテンツ処理装置２００にて生成した画像を高精細化する超解像処理、画像変形処理、その他、図示しない画像を編集する処理をＣＰＵと連携して行う。画像変形処理では、図４に示した補正処理、拡大縮小、コンテンツ処理装置２００やステレオカメラ１１０から画像処理用集積回路１２０へ画像を転送するのに要した時間においてユーザの視線が動いた量および方向に基づいて、変位ベクトルマップを動的に生成する。そしてそれを用いて、画像をユーザの視線に合わせて補正変形させる。

詳細には画像演算回路３４は、補正回路３６、バッファメモリ３８、変位ベクトルマップ用メモリ４０、および超解像回路５２を含む。補正回路３６の第１補正部４６は、撮影画像を補正して、接眼レンズのための歪みを有する表示画像を生成する。第２補正部４８は、コンテンツ処理装置２００から送信された画像と撮影画像を合成してなる画像を補正して表示画像を生成する。第３補正部５０は、コンテンツ処理装置２００から送信された画像が、あらかじめ接眼レンズのための歪みを有しない場合に、その画像を補正して、接眼レンズのための歪みを有する表示画像を生成する。

バッファメモリ３８は、第１補正部４６、第２補正部４８、第３補正部５０における補正前の画像のデータを一時的に格納する。変位ベクトルマップ用メモリ４０は変位ベクトルマップを格納する。なおバッファメモリ３８と変位ベクトルマップ用メモリ４０はメインメモリと一体的に構成してもよい。超解像回路５２は、撮影画像およびコンテンツ処理装置２００から送信された画像に対し、所定の手法で高精細化する超解像処理を実施する。

補正回路３６は上述のとおり、撮影画像における各画素を、変位ベクトル分だけ変位させることにより画像を補正する。変位ベクトルマップにおいて変位ベクトルを設定する対象は、撮影画像平面の全ての画素でもよいし、所定間隔の離散的な画素のみでもよい。

後者の場合、補正回路３６はまず、変位ベクトルが設定されている画素について変位先を求め、それらの画素との位置関係に基づき、残りの画素の変位先を補間により求める。色収差を補正する場合、赤、緑、青の原色ごとに変位ベクトルが異なるため、変位ベクトルマップを３つ準備する。また補正回路３６は表示画像のうち、このような画素の変位によって値が決定しない画素については、周囲の画素値を適宜補間して画素値を決定する。

なお補正回路３６は、別途バッファメモリ３８に格納されているＵＩ（User Interface）プレーン画像（あるいはＯＳＤ（On Screen Display)プレーン画像とも呼ぶ)を参照し、撮影画像に合成（スーパーインポーズ）してもよい。合成は、変位ベクトルマップによる補正後のＵＩプレーン画像と、変位ベクトルマップによる補正後の撮影画像の間で行う。ＵＩプレーン画像は、変位ベクトルマップによる補正後の画像をバッファメモリ３８にあらかじめ格納しておいてもよいし、ＵＩプレーン画像用の変位ベクトルマップと歪みのないＵＩプレーン画像をあらかじめ格納しておき、それらを参照したＵＩプレーン画像の補正を、撮影画像の補正と並列に実施してもよい。

補正回路３６は、そのようにして決定した画素値を上の行から順に出力していく。補正回路３６がディスプレイコントローラ４４にデータを出力する際は、実際には、図示しないハンドシェークコントローラなどを利用し、両者の通信を適切に制御する。すなわち補正回路は、図示しないハンドシェークコントローラを内蔵してもよい。ハンドシェークコントローラは、バッファメモリ３８に対して、イメージ信号処理回路４２がデータを書き込んでいる位置、バッファメモリ３８に格納されている画素量が、撮影画像のうち、表示画像の１行分の画素値を決定するのに必要な量を満たしていること、および、補正回路３６がデータを読み出している位置、を常に監視し、データ欠乏、すなわちバッファアンダーランや、データ溢れ、すなわちバッファオーバーランが起きることを防止する。

もし、バッファアンダーランやバッファオーバーランが起きてしまった場合は、ＣＰＵ３２に通知する。ＣＰＵ３２は、ユーザへの異常発生の通達や、転送の再開処理を行う。ディスプレイコントローラ４４は、送出されたデータを順次電気信号に変換して、適切なタイミングで表示パネル１２２の画素を駆動させることにより画像を表示させる。

画像解析回路５４はＣＰＵ３２と連携し、撮影画像を解析して所定の情報を取得する。解析結果は入出力インターフェース３０を介してコンテンツ処理装置２００に送信する。画像合成回路５６はＣＰＵ３２と連携し、第１補正部４６により補正された撮影画像に、コンテンツ処理装置２００から送信された画像を合成する。合成後の画像はバッファメモリ３８に格納され、第２補正部４８により補正される。

図６は、本実施の形態のシースルーモードにおける表示処理の手順を説明するための図である。まずイメージ信号処理回路４２は、イメージセンサから入力された撮影画像９０を上の行から順に処理しバッファメモリ３８に格納する。すると補正回路３６は、図４で説明したようにして歪みを与えた表示画像９２を生成する。ここで補正回路３６は、１フレーム分の撮影画像９０が全てバッファメモリ３８に格納されるのを待たず表示画像９２の生成を開始する。

撮影画像９０のうち、表示画像９２の１行分の画素値を決定するのに必要な行数の画素のデータがバッファメモリ３８に格納された時点で当該行の描画を開始すれば、表示までのレイテンシをより抑えることができる。例えばあるタイミングで、表示画像９２のうちある行９４の画素値が決定したら、それに基づく電気信号で表示パネル１２２の対応する行を駆動させる。以後、画像の下方へ向かい同様の処理を繰り返すことにより、表示画像９２全体が表示されることになる。以上はシースルーモードの場合であったが、補正回路３６が行う各段階の補正において同様の処理とすることによりそれぞれの遅延時間を抑えることができる。

図７は、歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。図の横方向は時間経過を表し、補正回路３６などによる表示画像の描画時間を実線矢印、表示パネル１２２への出力時間を破線矢印で示している。また「描画」や「出力」に併記する括弧内の記載は、フレーム番号ｍの１フレーム分の処理を（ｍ）、フレーム番号ｍのうちｎ行目の処理を（ｍ／ｎ）としている。（ａ）は、１フレーム分の撮影画像が入力されてから表示パネルに出力する態様を比較として示している。

具体的には時刻ｔ０から時刻ｔ１にかけて、１フレーム目が描画されるとともにそのデータがメインメモリなどに格納される。時刻ｔ１において、２フレーム目の描画が開始されるとともに、１フレーム目がメインメモリから順次読み出され表示パネル１２２へ出力される。それらの処理は時刻ｔ２で完了し、続いて３フレーム目が描画されるとともに、２フレーム目が出力される。以後、同じ周期で各フレームが描画、出力される。この場合、１フレーム分の表示画像の描画開始から出力完了までに要する時間は、２フレーム分の出力周期と等しくなる。

（ｂ）に示す本実施の形態によれば、１フレーム目の１行目のデータの描画が完了した時点で表示パネル１２２へ出力する。その間、２行目のデータが描画されるため、１行目のデータに続き、２行目のデータを表示パネル１２２へ出力できる。これを繰り返していくと、最後（ｎ行目）のデータの描画が完了する時刻ｔ１には、１つ前（ｎ－１行目）のデータの出力までが終わっていることになる。以後のフレームも同様に、描画処理と並行に表示パネル１２２への出力を進捗させる。

結果として、１フレーム分の表示画像の描画開始から出力完了までに要する時間は、１フレーム分の出力周期に、１行分のデータの出力時間を加えた値となる。すなわち（ａ）の態様と比較すると、１フレーム分の出力周期に近いΔｔだけ所要時間が短縮される。これにより画像を極めて低遅延で表示できる。

図８は、補正回路３６が撮影画像を補正する処理手順の例を説明するための図である。（ａ）は撮影画像、（ｂ）は表示画像の平面を示している。撮影画像平面におけるＳ００、Ｓ０１、Ｓ０２・・・は変位ベクトルマップにおいて変位ベクトルを設定する位置を表す。例えば撮影画像平面の水平方向、垂直方向に離散的に（例えば、８画素あるいは１６画素ごとなど等間隔に）変位ベクトルを設定する。表示画像平面におけるＤ００、Ｄ０１、Ｄ０２、・・・はそれぞれ、Ｓ００、Ｓ０１、Ｓ０２、・・・の変位先の位置を表す。図では一例として、Ｓ００からＤ００への変位ベクトル（Δｘ，Δｙ）を白抜き矢印で示している。

補正回路３６は、変位ベクトルを設定する画素を頂点とする最小の三角形の単位で、撮影画像を表示画像にマッピングする。例えば撮影画像のＳ００、Ｓ０１、Ｓ１０を頂点とする三角形を、表示画像のＤ００、Ｄ０１、Ｄ１０を頂点とする三角形にマッピングする。ここで三角形の内部の画素は、Ｄ００、Ｄ０１、Ｄ１０との距離に応じて線形に、あるいはバイリニア、トライリニアなどにより補間した位置に変位させる。そして補正回路３６は、バッファメモリ３８に格納された、補正前の撮影画像の対応する画素の値を読み出すことにより、表示画像の画素値を決定する。この際、撮影画像上の読み出し先の位置から所定範囲内にある複数の画素の値を、バイリニア、トライリニアなどにより補間することで表示画像の画素値を導出する。

これにより補正回路３６は、撮影画像の三角形の変位先である三角形の単位で、表示画像をラスタ順に描画していくことができる。解像度を調整する場合も同様に、最小の三角形ごとに画素をマッピングしていけばよい。色収差を補正する場合は、原色ごとに異なる変位ベクトルマップを用いることにより、変位先の三角形の位置や形状が微小量変化する。図９は、本実施の形態において、補正処理に必要なバッファメモリの容量について説明するための図である。同図は最も補正が必要なケースとして、補正後の画像が円形の場合を示している。

補正前の画像の垂直方向のサイズをｈ、補正後の画像の半径をｒ（＝ｈ／２）とする。補正によって変位する距離が最も大きいのは、補正前の画像における四隅の画素である。例えば左上の位置Ｓ００の画素は、補正によりレンズの径方向に変位し、補正後の画像の円周上の位置Ｄ００に表れる。このためＳ００の画素のデータは、位置Ｄ００の画素を描画するまで保持しておく必要がある。Ｓ００からＤ００までの垂直方向の距離ｗ＝ｒ－ｒ／２^１／２は、補正前の画像のサイズｈのおよそ１５％である。

例えば垂直方向が２１６０画素の撮影画像の場合、バッファメモリ３８にはその１５％の、３２４行分のデータを格納する領域が必要となる。またＳ００が撮影されてからＤ００が出力されるまでに要する時間は距離ｗに比例する。例えばフレームレートを１２０ｆｐｓとすると、撮影から出力までの遅延時間は１．２５ｍｓｅｃとなる。ただしこれらの値はあくまで最大値であり、一般的にはこれより小さい容量、遅延時間ですむ。また図３の矢印Ｂの経路と比較すると処理遅延時間を大幅に削減できる。なおバッファメモリ３８にはこのほか、補正処理のための領域や、解像度を上げる場合の画素の追加分の領域なども必要となる。

いずれにしろ、本実施の形態では撮影画像の１フレーム分のデータを取得する前に、順次補正処理を施し表示パネル１２２に出力するため、極めて小さい遅延時間での表示が可能となる。また必要なメモリ容量を１フレーム分のデータサイズより格段に小さくできるため、ＳＲＡＭ（Static Random Access Memory）など小容量のバッファメモリを補正回路３６から近い位置に搭載することが可能となり、データ伝送のための時間や消費電力を抑えることができる。

次に、コンテンツ処理装置２００から送信された画像と撮影画像を合成する際、撮影画像の処理および合成を、画像処理用集積回路１２０内で実現する手法について説明する。図１０は、ヘッドマウントディスプレイが内蔵する画像処理装置１２８の機能ブロックの構成を、コンテンツ処理装置２００とともに示している。図示する機能ブロックは、ハードウェア的には、図５に示した画像処理用集積回路１２０などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリなどにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。

したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なおシステム全体の構成としては図３で示したのと同様でよい。この例で画像処理装置１２８は、信号処理部１５０、画像解析部１５２、超解像処理部１５４、１５８、第１補正部１５６、第３補正部１５９、合成部１６０、第２補正部１６２、画像表示制御部１６４を備える。

信号処理部１５０は図５のイメージ信号処理回路４２で実現され、ステレオカメラ１１０のイメージセンサから撮影画像のデータを取得し、必要な処理を施す。画像解析部１５２は図５のＣＰＵ３２、画像解析回路５４、入出力インターフェース３０で実現され、撮影画像を解析し所定の情報を取得してコンテンツ処理装置２００に送信する。例えば左右の撮影画像を用いてステレオマッチングにより被写体の距離を求め、それを画像平面に画素値として表したデプスマップを生成する。ＳＬＡＭによりヘッドマウントディスプレイの位置や姿勢を取得してもよい。

このほか、画像解析の内容として様々に考えられることは当業者には理解されるところである。ただし場合によっては、信号処理部１５０が処理した撮影画像のデータそのものをコンテンツ処理装置２００に送信してもよい。この場合、信号処理部１５０は図５の入出力インターフェース３０を含む。また画像解析部１５２による解析結果やヘッドマウントディスプレイ１００が内蔵する図示しないモーションセンサの計測値は、上述した画像変形処理にも用いられる。すなわちヘッドマウントディスプレイ１００内部での処理やコンテンツ処理装置２００とのデータ転送に要した時間におけるユーザの視線の動きをそれらのパラメータに基づき特定し、変位ベクトルマップに動的に反映させる。

超解像処理部１５４は、図５のＣＰＵ３２、超解像回路５２により実現され、撮影画像を所定の手法で高精細化する超解像処理を実施する。例えば撮影画像を画像平面の水平および垂直方向に、１画素より小さい幅でずらした画像と、ずらす前の画像とを合成することにより鮮明化する。このほか超解像には様々な手法が提案されており、そのいずれを採用してもよい。

超解像処理部１５８は、コンテンツ処理装置２００から送信された画像に対し、超解像処理部１５４と同様の超解像処理を施す。ここでコンテンツ処理装置２００から送信された画像とは、撮影画像に合成すべき画像のほか、合成せずに表示する画像であってもよい。コンテンツ処理装置２００は、ヘッドマウントディスプレイ１００から送信されたデプスマップ等を用いて画像を描画する。これにより、ステレオカメラ１１０の撮像面と被写体の位置や姿勢の関係、ひいてはユーザの顔と被写体の位置や向きの関係に応じた画像を描画できる。

撮影画像に合成すべき画像を描画する場合、例えば仮想オブジェクトを適切な位置および姿勢で描画し、その他の領域を所定の色で塗りつぶした画像を生成する。これにより、一般的なクロマキー技術により撮影画像の適切な位置に仮想オブジェクトを重畳表示できる。あるいは透明度を示すα値を利用し、仮想オブジェクト以外の領域はα＝０としたα画像を同時に生成してもよい。この場合、撮影画像とのアルファブレンド処理により適切な位置に仮想オブジェクトを重畳表示できる。

第１補正部１５６は、図５のＣＰＵ３２、第１補正部４６で実現され、図４のＳ１４のように撮影画像を補正して、接眼レンズのための歪みを有する表示画像を生成する。ただしコンテンツ処理装置２００から送信された画像を合成する場合、第１補正部１５６では色収差補正を行わない。すなわち、全ての原色について同じ歪みを与える。表示パネルを見る人間の目の特性を考慮し、緑色に対し生成しておいた変位ベクトルマップを用いて、赤、緑、青の全ての画像を補正する。加えてイメージセンサが取得するＲＡＷ画像がベイヤ配列の場合、最も画素密度の高い緑色を用いることができる。

撮影画像を別の画像と合成せずに表示するシースルーモードの場合は、上述のように第１補正部１５６において、一度に色収差補正まで実施した表示画像を生成してよい。すなわち赤、緑、青のそれぞれに対し準備した変位ベクトルマップを用いて、各色の撮影画像を補正する。第３補正部１５９は図５のＣＰＵ３２、第３補正部５０で実現され、コンテンツ処理装置２００から送信された画像が、あらかじめ接眼レンズのための歪みを有しない場合は、その画像に対し、第１補正部１５６と同様の補正処理を施す。なお超解像処理部１５８が超解像処理を実施した画像に対し第３補正部１５９が補正してもよいし、第３補正部１５９が補正した画像に対し超解像処理部１５８が超解像処理を実施してもよい。

合成部１６０は図５のＣＰＵ３２と画像合成回路５６により実現され、第１補正部１５６により補正された撮影画像に、コンテンツ処理装置２００から送信され超解像処理が施された画像を合成する。上述のとおりクロマキー合成を前提とした画像の場合、所定の色に塗りつぶされた周囲の領域の画素を、撮影画像の画素と入れ替える。α画像が同時に送信された場合、各画素のα値を用いて一般的なアルファブレンド処理により合成する。

コンテンツ処理装置２００から、合成せずに表示させる画像が送信された場合、合成部１６０は送信された画像のデータをそのまま第２補正部１６２に供給してよい。ここで「合成せずに表示させる画像」とは、撮影画像と合成しない画像や、コンテンツ処理装置２００において撮影画像と合成済みの画像である。第２補正部１６２は図５のＣＰＵ３２、第２補正部４８で実現され、合成部１６０から入力された画像を補正する。ただし第２補正部１６２は、表示画像に対しなすべき補正のうち未実施の補正、具体的には色収差の補正のみを実施する。

従来技術において、コンテンツ処理装置２００で合成までなされた表示画像をヘッドマウントディスプレイ１００に送信して表示する場合、歪みのない合成画像を生成したうえで、接眼レンズのための補正とともに色収差補正を行うのが一般的である。一方、本実施の形態では、撮影画像とそれに合成すべき画像のデータ経路が異なるため、補正処理を２段階に分離する。

すなわちコンテンツ処理装置２００から送信される画像と撮影画像に対し、接眼レンズに対応する共通の歪みを与えておき、合成後に色別に補正する。撮影画像に対して第１補正部１５６が、緑色の変位ベクトルマップを用いて全原色の画像を補正する場合、第３補正部１５９はコンテンツ処理装置２００から送信された画像に対し、同じ緑色に対する補正を実施する。

そして第２補正部１６２では、合成後の画像のうち赤、青の画像に対し、さらに必要な補正を施して画像を完成させる。人の視感度が最も高い波長帯である緑を基準として最初に補正を行ったうえで拡大縮小、超解像、合成などを行い、その後に赤と青の収差を補正することにより、色にじみや輪郭の異常が視認されにくくなる。ただし補正に用いる色の順序を限定する趣旨ではない。

なおコンテンツ処理装置２００から、合成せずに表示させる画像が送信される場合、コンテンツ処理装置２００において表示に必要な補正が全て施されていれば、第２補正部１６２は補正処理を施さなくてよい。ただし未実施の補正があれば、第２補正部１６２が最終的な補正を実施してもよい。またシースルーモードの場合、上述のとおり第１補正部１５６において必要な補正を施すことにより、合成部１６０の合成処理および第２補正部１６２の補正処理を省略する。

ＣＰＵ３２は、シースルーモードか、撮影画像と合成する画像か、撮影画像と合成させない画像か、によって、各処理回路がなすべき処理を切り替える。これにより、シースルーモードか否かによらず撮影画像のデータ経路を、ヘッドマウントディスプレイ１００内で完結させることができる。また色収差の補正を合成後に残しておくことにより、合成の境界線を明確に定義できる。

すなわち色収差を補正した後に合成すると、クロマキー用の画像やα画像で設定した境界線が原色によっては誤差を含み、合成後の輪郭に色にじみを生じさせる。色ずれのない状態で合成したあとに、色収差補正により画素を微小量ずらすことにより、輪郭ににじみのない表示画像を生成できる。画像の拡大縮小、超解像、合成などの処理では一般的に、バイリニアやトライリニアなどのフィルター処理が用いられる。色収差を補正した後にこれらのフィルター処理を実施すると、色収差補正の結果がミクロなレベルで破壊され、表示時に色にじみや異常な輪郭が発生する。第２補正部１６２の処理を表示の直前とすることで、そのような問題を回避できる。画像表示制御部１６４は図５のディスプレイコントローラ４４で実現され、そのようにして生成された表示画像を順次、表示パネル１２２に出力する。

超解像処理部１５４、１５８、第１補正部１５６、第３補正部１５９、合成部１６０、第２補正部１６２、画像表示制御部１６４の処理は全て、画像フレームの全領域のデータを取得するのを待たずに実施できる。したがってシースルーモードについて上述したのと同様、画像平面の上の行から順に、画素値が決定したら即時に後段の処理に送ることにより、低い遅延時間での表示が可能となる。

図１１は、色収差補正として変位ベクトルに含める要素の例を説明するための図である。図示するように表示パネル１２２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の発光素子の組み合わせにより画素を形成する。図では１つの画素７０を拡大して示している。ただし発光素子の配列は表示パネルによって様々である。表示画像のデータが表す画素値は、画素７０の領域全体に対し与えられる赤、緑、青の輝度値であるが、厳密には当該画素領域の中心７２における像の色を表す。

しかし図示する配列の場合、赤の輝度は本来、画素領域の中心７２より微小量、左にずれた位置７４での像の色によって定まる。したがって、表示画像のうち赤の成分の画像を微小量右にずらすことにより、赤の輝度に左側の画素の値も反映させる。同様に、青の輝度は本来、画素領域の中心７２より微小量、右にずれた位置７６での像の色によって定まる。したがって、表示画像のうち青の成分の画像を微小量左にずらすことにより、青の輝度に右側の画素の値も反映させる。

これにより、画像平面上の位置と、そこに表れる色の情報をサブピクセル単位で正確に表すことができる。上述のように画素を構成する発光素子の色の配列は表示パネルによって様々であるため、当該配列を踏まえて変位ベクトルを算出する。色収差の補正としてはこのほか、式１を用いたレンズ歪みのための補正において、接眼レンズの歪み係数を色ごとに異ならせたときの変位の差分を含める。すなわち光の波長による屈折率の差に依存して、レンズに対する軸上色収差や倍率色収差が発生し像に色ずれを発生させる。変位ベクトルにはこの色ずれを補正するための成分を含める。

なおヘッドマウントディスプレイ１００が備える接眼レンズは一般的な凸レンズ以外にフレネルレンズでもよい。フレネルレンズは薄型化が可能な反面、解像度の低下や同心円状に視野周辺部にいくほど画像歪みが発生しやすく、輝度が非線形に変わり得る。この非線形な同心円状の輝度変化は、赤、緑、青のそれぞれに別の特性を持ち得る（例えば”ディストーション”、エドモンド・オプティクス技術資料、［online]、インターネットURL:https://www.edmundoptics.jp/resources/application-notes/imaging/distortion/参照）。そこで変位ベクトルには、これを色ごとに補正する成分を含めてもよい。

また表示パネル１２２として液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。補正回路３６は上述したレンズ歪みに加え、このような接眼レンズや表示パネルによる様々な悪影響を解消するように補正を行ってもよい。この場合、補正回路３６は接眼レンズの特性とともに表示パネル１２２の特性を内部で保持する。例えば液晶パネルの場合、補正回路３６はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ＥＬパネルの場合、補正回路３６は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。

図１２は、変位ベクトルマップ用メモリ４０に格納するデータを模式的に示している。（ａ）に示す変位ベクトルマップ用メモリ４０ａは、赤、緑、青に対する変位ベクトルマップ８０を格納する。この変位ベクトルマップ８０は、撮影画像から表示画像（あるいはその左右の領域の画像）への画素の変位を表す。第１補正部１５６は、シースルーモードにおいてそれらの変位ベクトルマップ８０を参照し、撮影画像の赤、緑、青の成分の画像をそれぞれ補正して表示画像を生成する。

さらに変位ベクトルマップ用メモリ４０ａには、赤の変位ベクトルから緑の変位ベクトルを減算した赤用の差分ベクトル、青の変位ベクトルから緑の変位ベクトルを減算した青用の差分ベクトルを、画像平面に表した差分ベクトルマップ８２を格納しておく。コンテンツ処理装置２００からの画像を合成する場合、第１補正部１５６、第３補正部１５９は、変位ベクトルマップ８０のうち緑の変位ベクトルマップを参照して、撮影画像の赤、緑、青の成分の画像を補正する。

そして第２補正部１６２は、合成後の画像の赤および青の成分の画像を、赤用および青用の差分ベクトルマップを参照してそれぞれ補正することにより、最終的な表示画像を生成する。ただし色収差補正は赤、緑、青の画像が適切な分だけ相対的にずれていればよいため、第１補正部１５６が補正する際に参照する変位ベクトルマップの色は限定されない。そして差分ベクトルマップは、当該色以外の２色に対し生成すればよい。

（ｂ）に示す変位ベクトルマップ用メモリ４０ｂは、変位ベクトルマップとしては緑の変位ベクトルマップ８４のみを格納する点が（ａ）と異なる。この場合、シースルーモードにおいて第１補正部１５６は、まず、これから処理する画素の補正に必要な、緑用の変位ベクトルマップ８４の一部と、それに対応する赤用および青用の差分ベクトルマップ８６の一部も参照し、赤、緑、青がそろった変位ベクトルマップ８０の一部相当を動的に生成する。そして第１補正部１５６は、動的に生成した変位ベクトル値に基づいて画像の補正を行う。

もしくは、シースルーモードにおいて第１補正部１５６は、まず、変位ベクトルマップ８４を参照して、撮影画像の赤、緑、青の成分の画像を補正する。そして第１補正部１５６は、補正後の画像のうち赤および青の成分の画像を、赤用および青用の差分ベクトルマップ８６を参照してそれぞれ補正することにより、最終的な表示画像を生成する。ただしこの場合も各マップの色は限定されない。（ｂ）は（ａ）の構成よりデータ量を削減でき、メモリ容量を節約できる。

次に、以上の構成によって実現できるヘッドマウントディスプレイの動作について説明する。図１３は、ヘッドマウントディスプレイが撮影画像などを表示させる際の処理手順を示すフローチャートである。なお図では一連の手順を直列的に示しているが、実際には上述のとおり前段での１フレーム分の処理の終了を待たずに次の処理を開始する。結果として各処理は異なる画素列に対し並列に実施される。

まずヘッドマウントディスプレイ１００は、表示画像の元となる画像を取得する（Ｓ２０）。ここで元の画像とは、ステレオカメラ１１０による撮影画像および、コンテンツ処理装置２００から送信された画像の少なくともいずれかを含む。前者は、ＲＡＷ画像をデモザイク処理した画像であり、カメラのレンズ歪みを補正する前の状態とする。後者は、ヘッドマウントディスプレイ１００の接眼レンズのための歪みを与えた画像でも、歪みが与えられていない画像でもよい。

次に超解像処理部１５４、１５８は適宜、元の画像に超解像処理を施す（Ｓ２２）。ただし超解像処理の必要がなければ処理を省略してもよい。シースルーモードの場合（Ｓ２４のＹ）、第１補正部１５６は赤、緑、青に対し作成しておいた変位ベクトルマップを用い、撮影画像の赤、緑、青の成分の画像をそれぞれ補正する（Ｓ２６）。そして第１補正部１５６は、画素値の決定とともに画像平面の上の行から順に、表示パネル１２２へデータを出力していく（Ｓ３６）。

これにより撮影画像が即座に、適切な形式で表示される。一方、シースルーモード以外であり（Ｓ２４のＮ）、コンテンツ処理装置２００から送信された画像と撮影画像を合成する場合（Ｓ２８のＹ）、第１補正部１５６は撮影画像の赤、緑、青の成分の画像を、緑に対し作成しておいた変位ベクトルマップを用いて補正する（Ｓ３０）。また第３補正部１５９も必要に応じて、コンテンツ処理装置２００から送信された画像に対し同様の補正を行う。そして合成部１６０は、コンテンツ処理装置２００から送信された画像と撮影画像を合成する（Ｓ３２）。

続いて第２補正部１６２は、赤用および青用の差分ベクトルマップを用いて、合成画像のうち赤および青の成分の画像をそれぞれ補正する（Ｓ３４）。コンテンツ処理装置２００から送信された画像に撮影画像を合成しない場合は、送信された画像に必要な補正が施してあればＳ３０～Ｓ３４の処理を省略できる（Ｓ２８のＮ）。ただし全色成分に共通の歪みが与えられている場合は、Ｓ３４において差分ベクトルマップを用いて赤成分の画像と青成分の画像を補正する。そして第２補正部１６２は、画素値の決定とともに画像平面の上の行から順に、表示パネル１２２へデータを出力していく（Ｓ３６）。

なおこれまでの説明は、画像処理装置１２８内部での処理に着目していたが、クラウドサーバなどのコンテンツ処理装置２００において圧縮符号化されストリーミング転送された画像のデータを、画像処理装置１２８が復号伸張する際にも、同様に処理を進捗させてよい。すなわちコンテンツ処理装置２００および画像処理装置１２８は、フレーム平面を分割してなる単位領域ごとに圧縮符号化、復号伸張、動き補償を行ってよい。

ここで単位領域は、例えば画素の１行分、２行分など、所定行数ごとに横方向に分割してなる領域、あるいは、１６×１６画素、６４×６４画素など、縦横双方向に分割してなる矩形領域などとする。コンテンツ処理装置２００および画像処理装置１２８はそれぞれ、単位領域分の処理対象のデータが取得される都度、圧縮符号化処理および復号伸張処理を開始し、処理後のデータを当該単位領域ごとに出力する。これにより、コンテンツ処理装置２００からのデータ送信時間を含め、表示までの遅延時間をより短縮させることができる。

以上述べた本実施の形態によれば、カメラを備えたヘッドマウントディスプレイにおいて、コンテンツ処理装置から送信された画像を表示させる経路と別に、撮影画像をヘッドマウントディスプレイ内で処理して表示させる経路を設ける。これによりコンテンツの画像を表示していない期間などに、容易に低遅延の撮影画像を表示できる。結果として、ヘッドマウントディスプレイを装着したままでも、装着していないときと同様に周囲の状況を確認することができ、利便性、安全性を高めることができる。

また本実施の形態では、カメラのレンズによる歪みの除去、接眼レンズのための歪みの付加、解像度の調整、色収差補正など、必要な補正要素による画素の変位を画像平面に表した変位ベクトルマップにより補正を一度に行う。当該補正は画素ごとに独立した処理が可能なため、撮影から表示までを画素列単位などで並行して行える。結果として、カメラから表示パネルへの経路短縮に加え、補正処理に要する時間自体を短縮できる。また１フレーム分のデータを溜めてから出力する場合と比較し、メモリ容量とともに、データ伝送のための消費電力も節約できる。

コンテンツ処理装置から送信された画像を表示対象に含める場合も、撮影画像に対する処理はヘッドマウントディスプレイ内で完結させる。この際、撮影画像に対する補正処理を２段階に切り替える。具体的には、コンテンツ処理装置から送信された画像を合成する前に、全原色成分に対して共通の補正を実施し、合成後に色収差を補正する。表示の直前に色収差の補正を実施することにより、拡大縮小、超解像、合成などで用いるフィルター処理によって色収差後の画像がミクロレベルで破壊され、色にじみや異常な輪郭が表示に出現するのを防ぐことができる。

これにより、撮影画像のデータをコンテンツ処理装置に送信せずとも、高品質な合成画像を表示できる。結果として表示結果に影響を与えることなく、上述と同様の効果を得ることができる。さらに撮影画像にコンテンツ処理装置からの画像を合成するモードと合成しないモードを、最小限の変更で容易に切り替えられる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

３０ 入出力インターフェース、 ３２ ＣＰＵ、 ３４ 画像演算回路、 ３６ 補正回路、 ３８ バッファメモリ、 ４０ 変位ベクトルマップ用メモリ、 ４２ イメージ信号処理回路、 ４４ ディスプレイコントローラ、 ４６ 第１補正部、 ４８ 第２補正部、 ５０ 第３補正部、 ５２ 超解像回路、 ５４ 画像解析回路、 ５６ 画像合成回路、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ 画像処理用集積回路、 １２２ 表示パネル、 １２８ 画像処理装置、 １５０ 信号処理部、 １５２ 画像解析部、 １５４ 超解像処理部、 １５６ 第１補正部、 １５８ 超解像処理部、 １５９ 第３補正部、 １６０ 合成部、 １６２ 第２補正部、 １６４ 画像表示制御部、 ２００ コンテンツ処理装置。

Claims (14)

1. 撮影画像のデータを取得する信号処理部と、
   前記撮影画像を表示に適した画像に補正する補正部と、
   一体的に設けられていない装置から送信された合成用画像を、前記撮影画像に合成する合成部と、
   合成された画像を表示パネルに表示させる画像表示制御部と、
   を備え、
   前記補正部は、前記表示に適した画像に補正する処理のうち一部の処理として、前記合成部による合成前の撮影画像に対し、前記撮影画像の原色成分に共通に、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを付加する補正を実施し、前記表示に適した画像に補正する残りの処理として、合成後の画像に対し、前記原色成分の色収差の補正を実施することを特徴とする画像処理装置。
2. 前記合成前の補正を実施するために必要な前記撮影画像からの画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップと、前記合成後の補正を実施するために必要な前記合成後の画像からの画素の変位量および変位方向を表す差分ベクトルを画像平面に表した差分ベクトルマップと、を格納する変位ベクトルマップ記憶部をさらに備え、
   前記補正部は、合成前の補正において前記変位ベクトルマップを参照し、合成後の補正において前記差分ベクトルマップを参照することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部は、前記撮影画像の原色のうち緑の成分に対する前記変位ベクトルマップを参照して前記合成前の補正を実施し、赤および青の成分に対する前記差分ベクトルマップを参照して前記合成後の補正を実施することを特徴とする請求項２に記載の画像処理装置。
4. 前記一体的に設けられていない装置から送信された合成用画像を合成する必要がないとき、
   前記補正部は、前記表示に適した画像に補正する処理を一度に実施するように切り替えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記合成前の補正は、撮像装置のレンズによる歪みを解消する補正を含むことを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 補正前の前記撮影画像および合成前の前記合成用画像に超解像処理を施す超解像処理部をさらに備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記補正部および前記合成部は、処理を施した画素のデータを、画素値の決定とともに順次出力することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記補正部が補正により生成した画素のデータを、生成された順に格納するバッファメモリをさらに備え、
   前記画像表示制御部は、前記撮影画像の全画素数より少ない所定数の画素のデータが前記バッファメモリに格納される都度、当該データが送出されるように制御することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記補正部は、補正後の画像の１行分の画素値を決定するのに必要な行数の画素のデータが取得された時点で、当該行のデータの生成を開始することを特徴とする請求項８に記載の画像処理装置。
10. 前記補正部はさらに、ユーザの姿勢と向き、ユーザの瞳孔間距離、および前記表示パネルとユーザの目の距離、の少なくともいずれかに基づき前記撮影画像を補正することを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 請求項１から１０のいずれかに記載の画像処理装置と、
    前記信号処理部に撮影画像を供給する撮像装置と、
    前記表示パネルと、
    を備えたことを特徴とするヘッドマウントディスプレイ。
12. 前記撮影画像を解析しその結果を前記一体的に設けられていない装置に送信する画像解析部をさらに備え、
    前記合成用画像は、当該結果に基づき生成されることを特徴とする請求項１１に記載のヘッドマウントディスプレイ。
13. 撮影画像のデータを取得するステップと、
    前記撮影画像を表示に適した画像に補正する処理のうち一部の処理として、前記撮影画像の原色成分に共通に、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを付加する補正を実施するステップと、
    一体的に設けられていない装置から送信された合成用画像を、前記一部の補正がなされた撮影画像に合成するステップと、
    合成後の画像に対し、前記表示に適した画像に補正する処理のうち残りの処理として、前記原色成分の色収差の補正を実施し表示画像とするステップと、
    前記表示画像を表示パネルに表示させるステップと、
    を含むことを特徴とする、画像処理装置による画像表示方法。
14. 撮影画像のデータを取得する機能と、
    前記撮影画像を表示に適した画像に補正する機能と、
    一体的に設けられていない装置から送信された合成用画像を、前記撮影画像に合成する機能と、
    合成された画像を表示パネルに表示させる機能と、
    をコンピュータに実現させ、
    前記補正する機能は、前記表示に適した画像に補正する処理のうち一部の処理として、前記合成する機能による合成前の撮影画像に対し、前記撮影画像の原色成分に共通に、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを付加する補正を実施し、前記表示に適した画像に補正する残りの処理として、合成後の画像に対し、前記原色成分の色収差の補正を実施することを特徴とするコンピュータプログラム。

Images