JP6904684B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、撮像装置により撮像された画像データを処理する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものが知られている。この技術では、ＨＭＤ装着者（ユーザ）によって観察される現実空間をカメラ（撮像部）で撮像する。また、撮像部の位置と方向とに基づいて、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）によりレンダリング（描画）された仮想画像を生成する。そして、撮像画像と仮想画像とを合成した合成画像を液晶や有機ＥＬ等の表示デバイスに表示して、その合成画像をユーザが観察できるようにする。

このＭＲシステムにおいて、高画質化を図るために撮像装置の撮像素子が高画素化されると、処理伝送されるデータの総量が増加しシステムが肥大化する。そのため、画像の使用用途に応じて解像度を変換もしくは画像の一部を切り出して映像を分離生成することが考えられる。その際、分離生成された映像はシステム後段での使用用途が異なることから、それぞれ適切な画像処理を適用することが望まれる。

特許文献１には、車載式のステレオカメラ測距装置において、同一の撮像素子から取得する映像をモニタ用の映像とステレオ画像処理回路用の映像に分離し、ステレオ画像処理回路用の映像に対してのみ、輝度に関する非線形な処理を行うことが記載されている。

特開２００９−１２１８７０号公報

しかしながら、特許文献１の技術では、ＭＲシステムにおける分離生成された各映像に対して、使用用途に応じた適切な画像処理を行うことは提案されていなかった。

上記課題を解決するために、本発明の画像処理装置は、撮像部と表示部とを有する画像表示装置と接続された画像処理装置であって、前記撮像部により撮像された画像の解像度を低下させて第１の画像を生成するとともに、前記撮像された画像の一部を切り出して第２の画像を生成する第１の生成手段と、前記生成された第１の画像に対して、空間方向に関するノイズ除去と、マーカーの特徴または自然特徴を強調する補正とを含む第１の画像処理を行う第１の処理手段と、前記生成された第２の画像に対して、時間方向に関するノイズ除去と、原画像の再現性を高くする補正とを含む第２の画像処理を行う第２の処理手段と、前記第１の画像処理が行われた第１の画像中のマーカーの特徴または自然特徴に基づいて前記撮像部の位置および姿勢を導出する導出手段と、前記導出された位置および姿勢に基づいて仮想画像を生成する第２の生成手段と、前記第２の画像処理が行われた第２の画像と前記生成された仮想画像とに基づいて合成画像を生成する合成手段と、前記合成画像を前記表示部に表示する表示制御手段と、を有することを特徴とする。

以上の構成によれば、本発明は、ＭＲシステムにおける分離生成された各映像に対して、使用用途に応じた適切な画像処理を行うことができる。

第１の実施形態に係る画像表示システムを示すブロック図。 第１の実施形態に係る画像表示システムにおける画像処理を示す概念図。 第１の実施形態に係る映像の伝送手順の処理を示すフローフローチャート。 第２の実施形態に係る画像表示システムを示すブロック図。 第２の実施形態に係る映像の伝送手順の処理を示すフローフローチャート。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本実施形態における画像表示システムの構成を示す概略ブロック図である。図１に示すように、本実施形態に係る画像表示システムは、大きく分けて４つの部分より構成されており、撮像映像を生成する撮像部１０と、撮像映像を分離生成し撮像映像および表示映像に対して画像処理を行う処理伝送部１１とを有する。さらに、位置合わせ演算、仮想現実ＣＧを生成する各種演算ならびに表示映像に合成する処理を実行する演算合成部１２と、表示映像を表示し体験者に映像を視認させる表示部１３とを有している。

撮像部１０および表示部１３は、本システムにおける画像表示装置に相当するヘッドマウントディスプレイ（以下、ＨＭＤ）に備えられている。一方、処理伝送部１１および演算合成部１２は本システムにおける画像処理装置に相当するＰＣに備えられている。ＨＭＤおよび画像処理装置（ＰＣ）は互いに有線方式または無線方式により接続され、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。

また、本システムにおける画像表示装置は、現実空間を撮影した映像にコンピュータグラフィックス（ＣＧ）を重畳して表示させるもので、いわゆるビデオシースルーＨＭＤである。このビデオシースルーＨＭＤにおいては、ユーザの視線に略一致するよう、特定の位置姿勢から見た仮想現実物体をＣＧとして描画することが重要であり、この位置姿勢を合わせるために加速度や角速度などのセンサならびにＧＰＳなどを用いる技術が存在する。その一方で、本実施形態においてはＨＭＤに撮像センサを搭載しているため、撮像映像内にマーカーや空間的な特徴点があれば、演算合成部１２によって位置姿勢ならびにＣＧの重畳が高精度で実現できる。この位置合わせ演算用の撮像映像は高解像であることよりも広画角であることが要求される。一方、ビデオシースルーの背景画像としてＨＭＤの表示部１３に表示するための撮像映像は表示画角に合わせて出来る限り高解像であることが望ましい。

このように、システム後段における用途の違いにより、同一の撮像映像といえども要求の異なる映像が複数種類混在する。本実施形態では、この特徴を利用して処理伝送部１１において映像を分離し、システム後段の性能を向上させる構成について説明する。なお、演算合成部１２においてステレオカメラを用いた位置合わせ演算は演算合成処理の一例であり、顔検出処理や物体認識処理など解像度が異なる映像を要求する処理を用いた別の構成も考えられる。

以下に、本実施形態の画像表示システムの各機能部の詳細について説明する。撮像部１０は、撮像光学系である撮像レンズ１００と撮像素子であるイメージセンサ１０１を含み、撮像レンズ１００を介して結像された被写体像をイメージセンサ１０１による光電変換によって撮像映像を取得する。前述のとおり位置合わせ演算のために撮像レンズ１００は、広画角であることが望ましい。イメージセンサ１０１は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの半導体センサから構成され、撮像素子ごとに分光感度が異なることから、画像処理によって色や明るさを調整する必要がある。

表示部１３は、表示プリズム１３０とディスプレイ１３１を含み、演算合成部１２にて合成された表示映像をディスプレイ１３１に表示し、表示プリズム１３０を介して光束を観察対象者に結像させる。ＨＭＤの構成によって表示プリズム１３０はレンズでも構わないし、もしくは不要である。ディスプレイ１３１は、例えば液晶表示パネルや有機ＥＬパネル等の表示素子から構成される。撮像素子と同様にディスプレイごとに発色が異なることから、画像処理によって色や明るさを調整する必要がある。

処理伝送部１１は、同一の撮像映像から解像度変換ならびに切り出し処理によって複数の映像を生成する画像分離部１１０を有する。また、解像度変換された撮像画像を処理する画像処理Ａ部１１１と、切り出された撮像画像を処理する画像処理Ｂ部１１２と、合成画像を処理する画像処理Ｃ部１１３とを有している。画像処理Ａ部１１１、画像処理Ｂ部１１２、画像処理Ｃ部１１３が実行する画像処理はそれぞれ異なるものである。本実施形態では、画像分離部１１０において撮像映像を２つに分離しているが、システム後段の要求によっては３つ以上の複数に分離するようにしてもよい。

演算合成部１２は、演算部１２０と、仮想現実ＣＧ生成部１２１と、表示画像合成部１２２とで構成される。位置合わせ演算部１２０は、撮像映像からマーカーや特徴点を検出し、ＨＭＤ（撮像部）の位置および姿勢を演算により導出する。仮想現実ＣＧ生成部１２１は、前記位置合わせ演算部によって導出された位置姿勢から撮影される映像に重畳すべき仮想現実物体をＣＧとして描画して仮想画像を生成する。表示画像合成部１２２は、表示部１３の要求に基づき画像分離部１１０にて切り出された背景用画像と前記仮想現実ＣＧを合成して合成画像を生成する。これらの演算および合成処理は膨大な演算が必要となることが多く、高画素化に伴いより多くのシステムリソースを消費するため、ハイエンドＰＣやワークステーションなどが使用されることが多い。

次に、図２を用いて、本実施形態に係る画像表示システムにおける画像処理の流れについて説明する。図２において、撮像画像２００はイメージセンサ１０１により撮像された画像であり、広画角かつ高解像な画像を表している。画像分離部１１０は、この画像を、解像度を変換し広画角かつ低解像な画像２０１と、一部を切り出した狭画角かつ高解像な画像２０２とに分離生成する。この際、解像度を変換する方法は画素混合や単純間引きなど様々な手法が存在し、本実施形態では特定の手法に限定されるものではない。また、切り出される画角は元となる画角の一部に包含される。このように、ここでは、所定解像度により所定範囲を示す画像（画像２０１）と、所定解像度よりも高い解像度により所定範囲の一部を示す画像（画像２０２）とが生成される。

なお、ここでは、撮像画像２００の一部を切り出すことにより画像２０２を生成して、画像２０１と画像２０２とで表示範囲（画角）を異ならせている。しかし、画像分離部１１０の処理の段階では、画像２０２の画角は撮像画像２００のままとし、表示画像２０３を生成する前までの所定のタイミングで、切り出すようにしてもよい。また、画像２０１と画像２０２のデータ量の合計は、撮像画像２００のデータよりも小さくなるように、画像２０１と画像２０２とを生成することにより、後段の処理負荷を軽減できるようにすることが好ましい。

画像処理Ａ２１は、画像処理Ａ部１１１によって広画角かつ低解像な画像２０１に適用される処理であり、色補間２１１、ゲイン調整２１２、ノイズ除去２１３、色補正２１４、ガンマ補正２１５、輪郭強調２１６の各処理がこの順に実行される。この処理順はシステムに応じて変更してもよいし、他の処理を追加しても構わない。ここで、色補間２１１は画像分離部１１０において行われる解像度変換の影響を受けるため、その前に実行することも考えられる。ゲイン調整２１２は後段の演算を安定させるために固定であることが望ましい。ノイズ除去２１３は後段で１フレーム内の演算が重視される際に、時間方向へのノイズ除去よりも空間方向へのノイズ除去が望ましい。色補正２１４および２１５ガンマ補正はマーカーや特徴点の導出のための演算を素早く安定させるために、マーカーの特徴や自然特徴が強調された画像処理とすることが望ましい。輪郭強調２１６もエッジを検出しやすくするため強めに処理をかけることが望ましいが、先に述べた解像度変換の方法によってエッジ形状が変化するため、その変化を考慮した処理とすることが望まれる。

画像処理Ｂ２２は、画像処理Ｂ部１１２によって狭画角かつ高解像な画像２０２に適用される処理であり、色補間２２１、ゲイン調整２２２、ノイズ除去２２３、色補正２２４、ガンマ補正２２５、輪郭強調２２６の各処理がこの順に実行される。この処理順はシステムに応じて変更してもよいし、他の処理を追加しても構わない。ここで、色補間２２１は画像分離部１１０において解像度変換する前に実行することも考えられる。ゲイン調整２２２は人間の眼で見やすいよう調整されることが望ましい。ノイズ除去２２３は人間の眼の特性に合わせて、空間方向へのノイズ除去よりも時間方向へのノイズ除去が望ましい。色補正２２４および２２５ガンマ補正は、自然な原画像を忠実に再現するよう、再現性の高い画像処理とすることが望ましい。輪郭強調２２６も、エッジを強調しすぎず人間の眼で見て違和感の無い処理とすることが望ましい。

位置合わせ演算２０４は、位置合わせ演算部１２０により実行される処理で、画像処理Ａが施された画像からマーカーや特徴点が検出され、ＨＭＤ（撮像部）の位置および姿勢が導出される。ＣＧ生成２０５は、仮想現実ＣＧ生成部１２１により実行される処理であり、位置合わせ演算２０４の演算結果（撮像部の位置姿勢）に応じたＣＧ生成の処理が行われる。表示合成２０６は、表示画像合成部１２２により実行される処理であり、生成されたＣＧ映像と、画像処理Ｂ２２が適用された切り出し画像２０２とが合成される。

画像処理Ｃ２３は、画像処理Ｃ部１１３によって表示合成２０６の処理により合成された映像に適用される処理であり、ゲイン調整２３１、色補正２３２、ガンマ補正２３３、輪郭強調２３４の各処理がこの順に実行される。この処理順は、システムに応じて変更してもよいし、他の処理を追加しても構わない。ＨＭＤのディスプレイ１３１には、合成画像に画像処理Ｃ２３を適用した表示画像２０３が表示されるため、画像処理Ｃにある一連の画像処理は、ディスプレイ１３１の部品特性に応じた調整を行うことが望ましい。

このように、画像処理Ａ２１を調整することで位置合わせ演算２０４の性能が向上し、画像処理Ｂ２２を調整することで表示合成２０６において合成される映像が人間の眼に見やすいものとなる。また、画像処理Ｃ２３を調整することでディスプレイ１３１に正しい映像が表示される。すなわち、撮像された映像から複数の画像を分離、生成した上で、異なる画像処理方法および画像処理量を異なる用途のために適用することで、各部の性能が向上する。さらには、システム全体のリソースを鑑みて不要な画像処理を削除することで回路規模の縮小が図れる。

続いて、本実施形態における映像の伝送手順について説明する。図３は、本実施形態における映像の伝送手順を示したフローチャートである。

ステップＳ３００では、ＨＭＤのＣＰＵが、撮像部１０で撮像された映像を処理伝送部１１内の画像分離部１１０に送出する。ここでは、前述のとおり広画角かつ高解像な映像が伝送されている。以降、ステップＳ３０１〜Ｓ３０４とステップＳ３０５〜Ｓ３０６とが並列処理される。

ステップＳ３０１では、画像分離部１１０が、位置合わせ演算部１２０で行われる演算で要求される解像度に基づき、撮像映像の解像度変換を行う。ステップＳ３０２では、画像処理Ａ部１１１は、解像度変換された映像のゲイン調整や色補正およびノイズ除去などの位置合わせ演算部１２０で行われる演算で要求される画像に基づいた画像処理Ａの各処理を行う。ステップＳ３０３では、位置合わせ演算部１２０は、撮像映像内のマーカーや空間的な特徴点を検出してＨＭＤ（撮像部）の位置及び姿勢を演算から推定する。ステップＳ３０４では、仮想現実ＣＧ生成部１２１が、ステップＳ３０３において推定された位置姿勢情報を元に、推定された位置および姿勢から見た仮想現実物体をＣＧとして描画生成する。

一方、ステップＳ３０５では、ステップＳ３０１との並列処理が開始され、画像分離部１１０が、イメージセンサ１０１で撮像された撮像映像から表示画像合成部１２２もしくはディスプレイ１３１の仕様に基づいて要求される解像度の画像に切り出しを行う。ステップＳ３０６では、画像処理Ｂ部１１２が、切り出された画像に対して人間の眼で見た際に好ましいように、自然原画像に忠実な画像とする各種画像処理Ｂの各処理を行う。

続いて、ステップＳ３０７では、表示画像合成部１２２が、画像分離部１１０により切り出された背景に使用する撮像映像と、仮想現実ＣＧ生成部１２１により生成された仮想現実ＣＧとを合成する。ステップＳ３０８では、画像処理Ｃ部１１３が、生成された合成映像に対してゲイン調整や色補正などを、ディスプレイ１３１の特性に応じた各種画像処理Ｃとして行う。ステップＳ３０９では、表示画像合成部１２２で合成され、画像処理Ｃ部１１３で画像処理を行われた表示用映像を表示部１３内のディスプレイ１３１に表示する。

以上、本実施形態によれば、ユーザは自身の視線に略一致したビデオシースルー背景映像と、自身の位置姿勢から見た仮想現実物体ＣＧを重畳した仮想現実空間とをＨＭＤを通して体験することが可能となる。また、画像処理Ａ部１１１，画像処理Ｂ部１１２，画像処理Ｃ部１１３それぞれにおいて、異なる要求に対し異なる画像処理を行えることから、位置合わせ精度が向上し人間の眼に見やすい映像となり、システム全体の性能が向上する。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態により、分離生成された撮像映像データそれぞれに適した画像処理を実行することが可能となったが、このような画像処理装置においては、画像処理の状況がシステム構成に応じて、または刻一刻と時間変化する状況が考えられる。システム構成に応じて変化する例として、演算合成部１２で行われる演算が白黒のマーカーを検出するソフトウェアからフルカラーの特徴点を検出するソフトウェアに変更された場合や、撮像部１０と表示部１３を含むＨＭＤが交換された場合などが考えられる。ＨＭＤが交換されることによってイメージセンサ１０１の分光感度が変化すること、また、ディスプレイ１３１の特性が変化することから、合わせて画像処理も変更することが望ましい。さらに、刻一刻と時間変化する例として、屋内から屋外など被写体の変化に伴い輝度や色が大きく変わるような状況や、マーカーおよび特徴点の映り込む大きさが変わる状況において、一意の画像処理では変化に追従できず性能を発揮できない状況となる。そこで、本実施形態では、画像表示システムのシステム構成の変化や外部の環境の時間変化等にも対応できるようにすることを目的とする。なお、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

図４は、本実施形態に係る画像表示システムの構成を示すブロック図である。第１の実施形態と異なる点は、処理伝送部１１内に画処理制御部４００が追加されていることである。画処理制御部４００は、画像表示システムの各機能部と接続しており、必要な画像処理の状況を監視する。また、位置合わせ演算部１２０や表示画像合成部１２２からの要求に基づいて、画像処理Ａ部１１１、画像処理Ｂ部１１２、画像処理Ｃ部１１３に対して画像処理方法及び画像処理量を変更する指示を出す。画像処理量とは、各種画像処理にいて使用されるパラメータや処理における閾値等のことである。

フルカラーから白黒になる場合やシステムの構成が変更された場合などは、関連する画像処理そのものを削除することで遅延などその他の性能を向上させることが可能になる。逆に、処理性能が十分に高い処理伝送部１１が用意される場合は、各ブロックの要求に従い更に高度な画像処理を追加することで性能を向上させることが可能になる。

図５は、本実施形態における映像の伝送手順を示したフローチャートである。このフローチャートで示す本実施形態の処理が、第１の実施形態と異なる点は、ステップＳ５００〜Ｓ５０３が追加されていることである。ここでは、
ステップＳ５００では、画処理制御部４００が、画像処理Ａ部１１１、画像処理Ｂ部１１２、画像処理Ｃ部１１３に対して出す指示方法が自動設定モードかそうでないかを判断する。ここで、自動設定モードとはシステムが自動で各部の状況に応じて動的に画像処理設定を変更するモードである。自動設定モードの場合はステップＳ５０１へ処理が移り、自動設定モードで無い場合はＳ５０３へ処理が移る。

ステップＳ５０１では、画処理制御部４００が、自動設定モードの場合に、システム各部と接続された画像処理制御部４００がシステム各部からのフィードバックに基づいて演算を行い、各画像処理部に対する設定値（画像処理量）を取得する。そして、ステップＳ５０２では、画像処理制御部４００から各画像処理部に対して、ステップＳ５０１で演算された設定値に基づいた指示を出す。

一方、ステップＳ５０３では、画処理制御部４００が、自動設定モードで無い場合に、ユーザからの画処理設定値を取得する。この場合、システムに設定された初期値を用いることも可能であり、システム変更に応じてユーザから事前に入力された設定値を用いることも可能である。画処理制御部４００はいずれかの設定値を取得することで、ステップＳ５０２において各画像処理部に対して指示を出す。

ステップＳ５０２以降の処理は、第１の実施形態で説明した構成と同様のため説明を省略する。本実施形態によれば、映像データの画処理設定を能動的に変化させることが可能となり、システム全体の性能が向上するように映像データの画像処理設定を変更することが可能となる。

［その他の実施形態］
上述の説明では、ＨＭＤ側が撮像部１０と表示部１３とを備え、情報処理装置（ＰＣ）側が処理伝送部１１と演算合成部１２とを備える構成を示した。しかしながら、本発明は、このような形態に限定されるものではなく、例えば、上記４つの機能部の全てをＨＭＤ側が有し、ＨＭＤ側だけで全ての処理が実行されるように構成してもよい。

また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ 撮像部
１１ 処理伝送部
１２ 演算合成部
１３ 表示部

Claims (6)

1. 撮像部と表示部とを有する画像表示装置と接続された画像処理装置であって、
   前記撮像部により撮像された画像の解像度を低下させて第１の画像を生成するとともに、前記撮像された画像の一部を切り出して第２の画像を生成する第１の生成手段と、
   前記生成された第１の画像に対して、空間方向に関するノイズ除去と、マーカーの特徴または自然特徴を強調する補正とを含む第１の画像処理を行う第１の処理手段と、
   前記生成された第２の画像に対して、時間方向に関するノイズ除去と、原画像の再現性を高くする補正とを含む第２の画像処理を行う第２の処理手段と、
   前記第１の画像処理が行われた第１の画像中のマーカーの特徴または自然特徴に基づいて前記撮像部の位置および姿勢を導出する導出手段と、
   前記導出された位置および姿勢に基づいて仮想画像を生成する第２の生成手段と、
   前記第２の画像処理が行われた第２の画像と前記生成された仮想画像とに基づいて合成画像を生成する合成手段と、
   前記合成画像を前記表示部に表示する表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の生成手段は、前記第１の画像と第２の画像との合計のデータ量が前記撮像部により撮像された画像のデータ量よりも小さくなるように、前記第１の画像と第２の画像とを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理装置を含むシステムの構成の変更または外部の環境の変化に基づいて、前記第１の画像処理および前記第２の画像処理を変更する制御手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 撮像部と表示部とを有する画像表示装置と接続された画像処理装置における画像処理方法であって、
   前記撮像部により撮像された画像の解像度を低下させて第１の画像を生成するとともに、前記撮像された画像の一部を切り出して第２の画像を生成するステップと、
   前記生成された第１の画像に対して、空間方向に関するノイズ除去と、マーカーの特徴または自然特徴を強調する補正とを含む第１の画像処理を行うステップと、
   前記生成された第２の画像に対して、時間方向に関するノイズ除去と、原画像の再現性を高くする補正とを含む第２の画像処理を行うステップと、
   前記第１の画像処理が行われた第１の画像中のマーカーの特徴または自然特徴に基づいて前記撮像部の位置および姿勢を導出するステップと、
   前記導出された位置および姿勢に基づいて仮想画像を生成するステップと、
   前記第２の画像処理が行われた第２の画像と前記生成された仮想画像とに基づいて合成画像を生成するステップと、
   前記合成画像を前記表示部に表示するステップと、
   を有することを特徴とする画像処理方法。
6. コンピュータを請求項１から４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images