JP6008711B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

複合現実感技術における画像処理技術に関する。

現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものがある。このビデオシースルーＨＭＤを利用する方式では、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体がビデオカメラなどにより撮像され、ＨＭＤ使用者は、撮像画像にコンピュータグラフィックス（ＣＧ）を重畳表示した画像を観察できる。

ビデオシースルー型ＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像してその被写体のデジタル画像データを得ると共に、撮像画像にＣＧ画像を重畳してＭＲ画像（複合現実画像）を生成する。そして、生成したＭＲ画像は、液晶や有機ＥＬ等の表示デバイスを介して装着者に対して表示される。図１４はＨＭＤ使用者がＨＭＤ２４０１を装着している様子を示す図である。図１４には示されていないがＨＭＤ２４０１の他に外部装置があり、ＨＭＤ２４０１は外部装置へＨＭＤの位置姿勢情報を送信する。外部装置ではＨＭＤから受信した位置姿勢情報に基づいてＣＧをブルーバックの画像に重畳し、ＨＭＤへ送信する。ＨＭＤでは外部装置から受信したＣＧ画像とＨＭＤで撮像した撮像画像とを重畳して表示する。このようにして、ＨＭＤ使用者はＨＭＤ２４０１を用いることでＭＲ空間を体験することが可能となる。

ＣＧ画像とカメラで撮像した画像を重畳する際、ＣＧ画像を半透明にして重畳する場合がある。例えばＣＧ画像に窓のようなオブジェクトがあった場合、このオブジェクトに対して、ＣＧ画像を半透明にしてカメラ画像とクロマキー合成する。半透明でクロマキー合成をすることで、ＨＭＤ使用者は窓の外に実写画像があるような映像を見ることができる。この場合、ＣＧ画像とは別に半透明の処理に必要なα値と呼ばれる透明度を表す係数が必要になる。

図１５は、このような例を示した図である。図１５の（ａ）はカメラで撮像した画像であり、（ｂ）はＣＧ画像である。２５０３は撮像した画像と半透明でクロマキー合成をする個所で、２５０２はクロマキー合成時に撮像した画像をＣＧ画像に置き換える個所である。（ａ）と（ｂ）をクロマキー合成した結果が（ｃ）である。（ｃ）の２５０３の領域は半透明でクロマキー合成を行っているため、透けたような状態でカメラ画像が表示される。

ＨＭＤと外部装置のような別々の装置から取得した画像を半透明でクロマキー合成を行うには、どこが半透明であるかを別に情報として送る必要がある。非特許文献１には、画像データの中にα値を埋め込むことでα値のデータを削減する方法が記載されている。

特開２００５−１０７７８０号公報

しかしながら、特許文献１に記載の技術では、画像のデータ中にα値を埋め込むため、画像の色情報がα値を埋め込む前に比べて少なくなるという問題があった。本発明は上記課題に鑑みなされたものであり、半透明の領域を含むＣＧ画像について、画像の情報量を減らすことなく、半透明の領域とその透明度を示す情報とを特定する技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は、既知の第１の画像と、未知の第２の画像とを、透明度を示す未知の係数を用いて、画素ごとに半透明または非半透明のいずれかで合成した合成画像について、当該合成画像に含まれる画素のそれぞれが半透明で合成された画素であるかを判定する画像処理装置であって、１つの画素を含む所定の領域における前記合成画像の画素値と前記第１の画像の画素値とから、複数の値のそれぞれが前記係数として用いられた場合の前記第２の画像に対応する画像の画素値を算出すると共に、前記１つの画素と前記所定の領域に含まれる他の画素との、前記第２の画像に対応する前記画像の画素値の差分の合計を算出する算出手段と、前記係数の複数の値のそれぞれに対応する前記差分の合計に基づいて、前記１つの画素において前記合成画像を得るために用いられた前記係数を推定する推定手段と、前記推定された前記係数の値が所定値より大きい場合に、前記１つの画素は前記第１の画像の画素値と前記第２の画像の画素値とが半透明で合成された画素であると判定する判定手段と、を備える。

本発明によれば、半透明の領域を含むＣＧ画像について、画像そのものから半透明の領域とその透明度を特定することができる。

画像表示システムの構成例を示す図。 画像提供装置とＨＭＤの機能構成例を示すブロック図。 画像処理部の機能構成例を示すブロック図。 ＨＭＤが画像提供装置から受信するＣＧ画像を示す概略図。 ブルーバック画像とＣＧ画像の半透明合成の概念を示す図。 半透明領域の判定における処理対象画素と周囲画素との関係をを示す図。 ＣＧ画像と背景画像との半透明画像に対する、半透明領域判定処理の概要を示す図。 受信画像と撮像画像との合成処理を示すフローチャート。 半透明領域の判定処理の詳細を示すフローチャート。 実施形態２の画像提供装置、ＨＭＤ、及び画像表示装置の機能構成例を示すブロック図。 実施形態２の画像処理部の機能構成例を示すブロック図。 撮像画像、受信画像、及び実施形態１の合成画像の例を示す図。 様々な形態により合成された画像の例を示す図。 実施形態２の受信画像と撮像画像との合成処理を示すフローチャート。 ＨＭＤを使用者が装着している様子を示す図。 撮像画像と一部が半透明のＣＧとの合成の概念を示す図。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜実施形態１＞＞
（システムの構成）
図１は、本実施形態に関する画像表示システムの構成例を示す図である。画像表示システムは、頭部搭載型の画像表示装置であると共に画像処理を行う画像処理装置でもあるＨＭＤ１１０１と、コントローラ１１０２と、表示部１１０３を有する画像提供装置１１０４とを含む。

ＨＭＤ１１０１は、使用者の頭部に装着され、画像表示部、コントローラ１１０２と通信する通信部、及び、それらを制御する制御部などを含む。画像表示部は、画像提供装置１１０４で生成した画像を表示する。画像表示部は、光学系を含み、使用者の左右の眼のそれぞれの前に配置される。ＨＭＤ１１０１は、コントローラ１１０２と通信を行う。コントローラ１１０２は、例えばＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの小規模ネットワークを構成し、ＨＭＤ１１０１と無線通信を行う。なお、ＨＭＤ１１０１とコントローラ１１０２との間の通信は、無線通信でなく有線通信であってもよい。

コントローラ１１０２と有線接続された画像提供装置１１０４は、例えば、画像を再生する再生部と再生する画像を格納しておく格納部とを有する。画像提供装置１１０４は、コントローラ１１０２を介し、ＨＭＤ１１０１と通信する。また、画像提供装置１１０４は、キーボードなどを備え、データや、命令等を入力し、表示部１１０３は、入力されたデータや命令に対応する処理の結果等を表示する。

図１では、画像提供装置１１０４とコントローラ１１０２とが別々のハードウェアからなるように図解されているが、コントローラ１１０２の持つ機能を画像提供装置１１０４内に実装して一体化してもよい。また、画像提供装置１１０４とコントローラ１１０２がそれぞれ有する機能を集めて、専用の画像提供装置を構成してもよい。

（システム内の各装置の構成）
図２は、図１の画像表示システムにおける、画像提供装置及びＨＭＤの機能構成を示す概略ブロック図である。ＨＭＤ１１０１は、例えば、撮像部１２０１、特徴点抽出部１２０２、画像処理部１２０３、表示部１２０４、制御部１２０５、通信部１２０６、及び撮像画像格納部１２０７を有する。そして、画像提供装置１１０４は、ＰＣやワークステーションなど、ＨＭＤ１１０１とは異なる外部の装置に実装され、例えば、通信部１２２１、ＣＧ描画部１２２２、コンテンツデータベース（ＤＢ）１２２３、及び位置姿勢算出部１２２４を有する。

ＨＭＤ１１０１の撮像部１２０１は、観測対象を撮像して画像を取得する。特徴点抽出部１２０２は、撮像部１２０１で撮像した画像からＨＭＤの位置姿勢を求めるために必要となる情報を抽出する。画像処理部１２０３は、外部から受信して取得した画像に対して処理を行い、表示部１２０４は画像を表示する。制御部１２０５はＨＭＤ１１０１の各機能部を制御し、通信部１２０６は画像提供装置１１０４との間で画像や制御信号を送受信する。撮像画像格納部１２０７は、撮像部１２０１で撮像した画像を一時的にメモリに保存する。なお、ＨＭＤ１１０１は、その他の不図示の機能部を有してもよい。

画像提供装置１１０４の通信部１２２１は、画像や制御信号等をＨＭＤ１１０１との間で送受信する。コンテンツＤＢ１２２３にはカラーグラフィックス（ＣＧ）コンテンツが格納され、ＣＧ描画部１２２２は、コンテンツＤＢに格納されているカラーグラフィックス画像（ＣＧ画像）を描画する。位置姿勢算出部１２２４は、ＨＭＤ１１０１から受信した撮像画像の特徴点情報からＨＭＤ１１０１の位置姿勢を算出する。

なお、以下ではＨＭＤ１１０１から画像提供装置１１０４へ特徴点を送信し、画像提供装置１１０４の位置姿勢算出部１２２４がＨＭＤの位置と姿勢の情報を算出する構成について説明するが、これに限られない。例えば、画像提供装置１１０４の位置姿勢算出部１２２４をＨＭＤ１１０１に搭載して、ＨＭＤ１１０１内においてＨＭＤ１１０１の位置姿勢情報を生成し、ＨＭＤ１１０１から画像提供装置１１０４へその位置姿勢情報を送信するようにしてもよい。

上述の構成において、ＨＭＤ１１０１の特徴点抽出部１２０２は、撮像部１２０１で撮像した画像についての特徴点を抽出する。抽出された特徴点情報は、その後、通信部１２０６を介して画像提供装置１１０４へ送信される。画像提供装置１１０４の位置姿勢算出部１２２４は、受信した特徴点情報からＨＭＤ１１０１の位置及び姿勢を算出する。ＣＧ描画部１２２２は、位置姿勢算出部１２２４で算出したＨＭＤ１１０１の位置と姿勢に基づいてＣＧを描画する。その後、画像提供装置１１０４は、描画したＣＧ画像を、通信部１２２１を介してＨＭＤ１１０１へ送信する。ＨＭＤ１１０１の画像処理部１２０３は、画像提供装置１１０４から受信して取得したＣＧ画像と撮像部１２０１で撮像した画像とを合成し、表示部１２０４は、合成した画像を表示する。

なお、本実施形態では、ＣＧ画像は、後述のように、第１の画像（背景画像）と第２の画像（ＣＧ画像）とを、透明度を示す係数（α値）を用いて半透明または非半透明で合成した画像である。すなわち、受信画像は、ＣＧを表示しない画素では背景画像の画素値を、非半透明のＣＧを表示する画素ではＣＧの画素値を、そして、半透明の画素では、背景画像の画素とＣＧの画素とその画素に対するα値とから得られる画素値を、それぞれ有する画像となる。そして、ＨＭＤ１１０１は、受信画像から、ＣＧを表示する部分に関するＣＧ画像の画素値と透明度を示す係数とを特定し、撮像画像と特定したＣＧ画像の画素値とを用いて合成画像を生成する。以上のようにして、ＨＭＤ１１０１の装着者は、画像提供装置１１０４で描画したＣＧと撮像画像を合成した画像を見ることができる。

また、本実施形態では、画像提供装置１１０４のＣＧ描画部１２２２は、例えばブルーバック画像の上にＣＧを描画するが、ＣＧ描画する際の背景画像はこれに限られない。例えば、所定のパターンを有する画像を背景としてもよい。すなわち、背景画像は、ＨＭＤ１１０１と画像提供装置１１０４とが同じ背景画像を認識していれば、どのようなものであってもよい。

（画像処理部の構成）
図３は、画像処理部１２０３を詳細に説明するブロック図である。画像処理部１２０３は、上述の通り、画像提供装置１１０４から受信したＣＧ画像と撮像部１２０１で撮像した画像とを合成する機能部である。画像処理部１２０３は、例えば、判定部１３０１、半透明領域特定部１３０２、分離部１３０３、及び合成部１３０４を有する。

判定部１３０１は、画像提供装置１１０４から受信した画像の中に所定の背景画像の画素、例えばブルーバック画素があるかを判定する。図４に、画像提供装置１１０４から受信する画像の例を示す。図４において、１４０１は背景画像の画素を、１４０２はＣＧ画素を、そして１４０３はＣＧと背景画像とを半透明で合成する画素を、それぞれ示す。判定部１３０１は、背景画像の画素でないと判定した領域を半透明領域特定部１３０２へ、背景画像の画素と判定した領域を合成部１３０４へ、それぞれ出力する。

半透明領域特定部１３０２は、判定部１３０１から受け取った画像の各領域（画素）がＣＧ画像であるか、それとも半透明の領域であるかを判定する。判定方法については後述する。半透明領域特定部１３０２は、ＣＧ画像と判断した領域（画素）を合成部１３０４へ、半透明と判断した領域（画素）を分離部１３０３へ、それぞれ出力する。分離部１３０３は、半透明領域を、合成前の背景画像及びＣＧ画像と、α値、すなわち、透明度を示す係数とに分離し、ＣＧ画像とα値を合成部１３０４へ出力する。

合成部１３０４は、入力された領域が背景領域であれば、その領域を撮像画像格納部１２０７から取り出した画像に置き換え、ＣＧ画像であればＣＧ画像のままにする。そして、合成部１３０４は、入力された領域が半透明領域である場合、撮像画像格納部１２０７から取り出した画像と、分離部１３０３で求めたＣＧ画像及びα値とを、半透明で合成する。合成した画像は表示部１２０４へ送られる。

半透明領域特定部１３０２における処理を説明する前に、半透明での画像の合成方法について簡単に説明する。半透明での画像の合成は、一般的に以下のような式に従って実行される。

なお、Ｚは半透明合成後の画像の画素値、Ｘは第１の画像（背景画像、例えば撮像画像、ブルーバック画像、特定のパターン画像）の画素値であり、Ｙは第２の画像（例えばＣＧ画像）の画素値である。なお、α＝１の時は第１の画像が出力され、α＝０の時は第２の画像が出力される。すなわち、α値が小さいほど、合成画像において第２の画像の画素値が強く影響し、α値が大きいほど、合成画像において第１の画像の画素値が強く影響する。画像中において、αの値を０から１の間で変化させることにより、第１の画像と、第２の画像とを、半透明または非半透明で合成することができる。また、下付き文字の「ｒｅｄ」「ｇｒｅｅｎ」「ｂｌｕｅ」により、各画素に対する赤、緑、青の色情報をそれぞれ表す。図５は、１つの画素について、α＝０．５でのブルーバック画像とＣＧ画像の半透明合成を示した図である。ブルーバック画像の画素値は（Ｒ、Ｇ、Ｂ）＝（０、０、２５５）であり、ＣＧ画像の画素値が、例えば（Ｒ、Ｇ、Ｂ）＝（６４、１９２、１２８）の場合、α＝０．５で合成すると、半透明で合成した画素値は（Ｒ、Ｇ、Ｂ）＝（３２、９６、１９２）となる。ＨＭＤ１１０１が画像提供装置１１０４から受信する画像の画素値は、ブルーバック画像とＣＧ画像との半透明合成画像の画素値であり、図５の例では、画素値が（Ｒ、Ｇ、Ｂ）＝（３２、９６、１９２）の画像となる。

（半透明領域の判定方法）
続いて、半透明領域特定部１３０２における半透明領域かＣＧ画像領域の判定方法について説明する。画像提供装置１１０４から受信する画像の画素値は、図５の例では、上述の通り、（Ｒ、Ｇ、Ｂ）＝（３２、９６、１９２）である。ここで、α＝０．５とＣＧ画像の画素値（Ｒ、Ｇ、Ｂ）＝（６４、１９２、１２８）が得られた場合、この画素は半透明画素であると判定できる。もしα値が０になった場合、上式に従うとブルーバック画像は半透明画像に反映されないため、この画素はＣＧ画素であると判定できる。

上式に従うと、例えば赤（ＲＥＤ）を求める式に、２つの不定値（α値とＹ_red）が存在するため、１つの画素の情報からはＣＧ画像の画素値とα値を求めることはできない。そのため周囲画素の情報も用いてＣＧ画像の画素値の算出とα値の特定とを行う。１つの画素と、この画素の周囲画素とでは、ＣＧの画素値もα値も大幅に変化することは少ない。そのため、本実施形態では、処理対象画素を含む所定の領域の画素情報を用いて半透明領域の分離を行う。本実施形態では、所定の領域として図６（ａ）のように処理対象画素１６０２の周囲８画素を用いる場合について説明を行うが、周囲画素を用いる範囲をさらに増やしてもよいし減らしてもよい。また、例えば図６（ｂ）のように周囲８画素ではなく周囲の所定数の画素（例えば２４画素）の中で、処理対象画素からの画素値との差分が小さい（例えば８個の）画素を所定の領域として用いてもよい。

図７は、ＣＧ画像と背景画像とをα＝０．５で半透明合成した場合についての半透明領域の判定の例を示す。図７（ａ）は、処理対象画素を含む所定の領域における、半透明処理を行う前のＣＧ画像の画素値を示し、図７（ｂ）は、その所定の領域における背景画像の画素値を示す。なお、ここでは、背景画像として、ブルーバック画像ではなく所定のパターン画像を用いている。図７（ｃ）は、ＣＧ画像と背景画像とを、α＝０．５で半透明合成した半透明領域の画素値であって、画像提供装置１１０４から受信する画像の画素値を示している。

ここで、半透明画像から既知の第１の画像（背景画像）と未知の第２の画像（ＣＧ画像）とを分離する際、不定値は透明度を示す係数であるα値と第２の画像（ＣＧ画像）の画素値である。しかしながら、未知のα値を１つの値で仮定すると、そのα値に対する第２の画像に対応する画像の画素値を上式から逆計算できる。すなわち、ある１つのα値（０≦α＜１）を仮定して、以下の式によりＣＧ画像の画素値を逆計算する。

ただし、ＹはＣＧ画素値、Ｚは合成画像の画素値、Ｘは撮像画像の画素値である。なお、α＝１の場合はＹは不定となるため、この式を用いたＣＧ画素値の算出は行わない。

図７の（ｄ）は、α値が０．７を仮定した時の、受信画像から計算される所定の領域におけるＣＧ画素値と、そのＣＧ画素値に基づいて算出される処理対象画素と周囲画素との差分の合計とを示す。すなわち、図７の（ｄ）では、所定の領域の全画素についてα＝０．７として上式によりＣＧ画素値ＹをＲ、Ｇ、Ｂのそれぞれについて算出した結果と、算出したＣＧ画素値について周囲画素と処理対象画素との差分を累積した結果とを示している。同様に、図７（ｅ）はα＝０．５の場合の例を、そして図７（ｆ）はα＝０．３の場合の例を、それぞれ示している。なお、図７では示していないが、α値が０．１〜０．２、０．４、０．６、０．８〜０．９の場合についても、ＣＧ画素値と、そのＣＧ画素値に基づく差分値の合計とを求める。すなわち、α値をパラメータとして、複数のパラメータのそれぞれについて所定の領域のＣＧ画素値を逆計算し、処理対象画素のＣＧ画素値と所定の領域に含まれる他の画素におけるＣＧ画素値との差分の累計値を求める。また、α値の変化は０．１刻みでなくてもよく、０．０１刻みなど、より細かいステップであってもよいし、０．１２５刻みなどより広いステップであってもよい。さらに、α値が０の場合についても差分の計算を行ってもよい。なお、差分値の合計は、以下の式に基づいて算出される。

隣接する画素間において、ＣＧの画素値は大幅に変化することは少ないため、あるα値に対して算出された処理対象画素と周囲画素のＣＧ画素値の差分の合計が小さい場合、対象画素がそのα値で半透明合成されたものであると判定できる。すなわち、あるα値を用いて逆計算したＣＧ画素値が、処理対象画素と周囲画素とでほぼ一致する場合、対象画素は、そのα値を用いて半透明合成された画素であると判定することができる。したがって、分離部１３０３は、差分の合計が最小となるα値を求め、そのα値を一時的に記憶する。なお、図７の例では、（ｅ）の時、つまりα値が０．５の時、対象画素と周囲画素の差分が一番少ない。このため、分離部１３０３は、背景画像とＣＧ画像とがα＝０．５を用いて合成されたと推定し、α値を０．５として一時的に記憶する。なお、本実施形態では、差分の合計が最少となるα値を、半透明合成に用いられたα値と仮定するが、これに限られない。例えば、差分の合計が所定値より小さいα値を求め、その中で最小又は最大のα値を半透明合成に用いられたα値として仮定してもよい。また、あるα値の範囲で差分の合計が所定値より小さかった場合は、その範囲の中央値のα値を半透明合成に用いられたα値として仮定してもよい。また、α値と差分の合計値とから、加重平均により半透明合成に用いられたα値を仮定してもよい。

ここで、半透明画像の画素値は、αが十分に小さい場合はほとんど半透明合成前のＣＧ画素値から構成されることになる。したがって、本実施形態では、分離部１３０３は、α値が所定値以下の時は半透明領域ではなくＣＧ画素であると判定する。例えば、α値が０．１以下の場合には半透明領域でないと判定する。なお、半透明領域か否かを判定するための所定値は０．１でなくてもよい。例えば、０．０１刻みのα値に対して差分値を計算する場合、α値が０．０９以下の時にＣＧ画像と判断するようにしてもよい。このように、差分値を計算するα値のステップに応じて所定値が定められてもよい。

また、この所定値は、状況に応じて可変であってもよい。例えば、受信した画像のある領域について、分離部１３０３が一時記憶したα値の平均が低い場合などは、所定値を低くして半透明領域を検出しやすくすることで、低いα値で合成された半透明領域を漏れなく検出することができる。同様に、半透明と判定された領域にスポット的に存在する半透明でない領域について、所定値を下げて再度半透明領域の判定を実行してもよい。これにより、大きな半透明領域において誤ってＣＧ領域と判定された画素を半透明領域に含めることができる確率を高めることが可能となる。また、受信した画像のある領域について、スポット的に半透明と判定される領域が多数あった場合は、所定値を高くすることにより、本来半透明でない領域を誤って半透明の領域として判定することを防ぐことが可能となる。

上の説明では、図７を用いて１画素に対応した処理を説明したが、この処理は、背景領域でない全ての領域に対して実行される。

（画像合成処理）
図８は、本実施形態において、画像提供装置１１０４から受信して取得した受信画像（ＣＧ画像または半透明画像）と撮像画像とを合成する全体の処理を示すフローチャートである。処理が開始されると、判定部１３０１は、まず、画像提供装置１１０４から受信した画像の画素が既知の背景画像（例えばブルーバック画像）であるかを判定する（Ｓ１８０１）。具体的には、例えば、処理対象画素について、既知の背景画像の画素値と受信画像の画素値とが一致するかを判別し、一致する場合は、その画素は背景画像の画素であると判定する。処理対象の画素が背景画像であると判定された場合（Ｓ１８０１でＹｅｓ）、合成部１３０４は、撮像画像を撮像画像格納部１２０７から取得し（Ｓ１８０２）、その画素について背景画像を撮像画像に置換して（Ｓ１８０３）、処理を終了する。判定部１３０１が、処理対象画素が背景画像でないと判定した場合（Ｓ１８０１でＮｏ）、半透明領域特定部１３０２は、その処理対象画素がＣＧ画素か半透明画素かを判定する（Ｓ１８０４、Ｓ１８０５）。すなわち、処理対象画素が背景画像の画素と一致した場合は半透明領域特定処理は実行せず、背景画像の画素と一致しない場合にのみ半透明領域特定処理を実行する。この判定処理のフローについては後述する。

処理対象画素がＣＧ画素であると判定された場合（Ｓ１８０５でＹｅｓ）は、ＣＧ画素をそのまま表示するため、置換や合成等の処理を行わず処理を終了する。処理対象画素が半透明画素であると判定された場合（Ｓ１８０５でＮｏ）は、半透明領域特定部１３０２は、合成対象画像の画素値（半透明合成前のＣＧ画素値）とα値との決定を実行する（Ｓ１８０６）。そして、合成部１３０４は、Ｓ１８０６で求めた合成対象画像の画素値とα値及び撮像画像格納部１２０７から取得した撮像画像を用いて、ＣＧ画像と撮像画像とを合成する（Ｓ１８０７）。

（半透明領域の判定処理）
図９は、図８のＳ１８０４における半透明領域の判定処理の詳細を示すフローチャートである。この処理は半透明領域特定部１３０２が実行する。処理が開始されると、半透明領域特定部１３０２は、全ての算出対象となるα値について、図７に示すようなＣＧ画素値の算出と差分の算出とが完了しているかを判定する（Ｓ１９０１）。計算が完了していないα値がある場合（Ｓ１９０１でＮｏ）、図７に示すように、計算対象となるα値に対して、処理対象画素と周囲画素とについて、ＣＧ画素値の算出（Ｓ１９０２）と、ＣＧ画素値の差分の累積値の算出（Ｓ１９０３）とを実行する。

全ての算出対象となるα値についてＣＧ画素値と差分の算出が完了した場合（Ｓ１９０１でＹｅｓ）、半透明領域特定部１３０２は、Ｓ１９０３で求めた差分値が一番小さい時のα値とＣＧ画素値とを特定し、一時的に記憶する（Ｓ１９０４）。そして、半透明領域特定部１３０２は一時記憶したα値が閾値以下かを判定する（Ｓ１９０５）。そして、半透明領域特定部１３０２は、α値が閾値以下の場合（Ｓ１９０５でＹｅｓ）はＣＧ画素値と判定し（Ｓ１９０６）、閾値より大きい場合（Ｓ１９０５でＮｏ）は半透明画素値と判定する（Ｓ１９０７）。

なお、上の説明では、図８のＳ１８０６において、半透明領域特定部１３０２が合成対象画像の画素値とα値とを決定するように説明したが、Ｓ１８０６では、Ｓ１９０４で一時的に記憶したα値とＣＧ画素値とを読み出すだけの処理を実行してもよい。ただし、Ｓ１９０４で一時的に記憶したα値とＣＧ画素値とを必ず用いなければならないわけではない。例えば、半透明と判定された領域において、処理対象画素を含む周囲の半透明画素におけるα値を平均した値を処理対象画素に対するα値としてもよい。また、そのα値を用いて算出できるＣＧ画素値を、処理対象画素のＣＧ画素値としてもよい。このように、画像の合成のために、Ｓ１９０４で一時的に記憶したα値とＣＧ画素値とをそのまま用いてもよいし、別途特定したα値とＣＧ画素値とを用いてもよい。

以上のようにして、本実施形態では、背景画像に半透明で合成された画像に関して、α値や特別なデータを受け取ることなく、また画像に情報を埋め込むことなく、半透明の領域とＣＧの領域とを判別して合成前の画像を分離することができる。したがって、ＣＧ画像の品質を落とすことなく、ＨＭＤへ半透明領域を含む画像を送信することができると共に、高精細なＣＧ画像と撮像画像とを半透明で合成することが可能となる。

＜＜実施形態２＞＞
実施形態１では、画像提供装置１１０４が背景画像の上にＣＧを描画した画像をＨＭＤ１１０１へ送信し、ＨＭＤ１１０１が撮像画像と受信画像とを合成して表示画像を生成する方法について説明した。本実施形態では、ＨＭＤ１１０１で合成を行う際、出力先に応じて重畳する処理を変更する方法について説明を行う。

（システムの構成）
図１０は本実施形態での画像処理システムに含まれる、画像提供装置１１０４、ＨＭＤ１１０１、及び画像表示装置２０１０の機能構成を示すブロック図である。本実施形態の画像処理システムにおいては、例えば、実施形態１の構成に、ＨＭＤ１１０１に画像送信部２００１が追加されると共に、画像送信部２００１に接続する画像表示装置２０１０が追加される。なお、図１０では、外部の表示装置として１つの画像表示装置２０１０を示しているが、少なくとも１つの外部の表示装置があればよく、複数の表示装置があってもよい。

画像表示装置２０１０は、ＨＭＤを装着していない人がＨＭＤに表示している画像を見るための表示装置である。これにより、ＨＭＤを装着していない人でもＨＭＤ体験者と同じ画像を見ることが可能となる。ＨＭＤ１１０１の画像送信部２００１は、画像処理部１２０３から画像を取得し、この画像を画像表示装置２０１０へ送信する。画像表示装置２０１０の画像受信部２０１１はＨＭＤ１１０１から画像を受信し、この画像を画像提示部２０１２へ送る。画像提示部２０１２は受け取った画像を表示する。これにより外部の表示装置でも画像を表示することが可能になる。

（画像処理部の構成）
図１１は、本実施形態における画像処理部１２０３の詳細な構成例を示すブロック図である。画像処理部１２０３は、実施形態１の構成と比べて、例えば、外部表示合成部２１０１が追加されて構成される。外部表示合成部２１０１は、画像表示装置２０１０で表示するための画像を作成する機能部である。

ＨＭＤ１１０１が画像提供装置１１０４から受信する画像、ＨＭＤ１１０１が表示部１２０４に表示する画像、ＨＭＤ１１０１が画像表示装置２０１０へ送信する画像の例を、図１２Ａ及び図１２Ｂに示す。図１２Ａの（１）は撮像部１２０１で撮像した画像、（２）は画像提供装置１１０４から受信した半透明領域を含むＣＧ画像である。図１２Ａの（２）の文字情報２２２１と領域２２２３は半透明領域を示し、領域２２２２は非半透明のＣＧ領域を示す。図１２Ａの（２）では、文字情報を半透明にしているが、半透明にする対象は文字情報でなくてもよく、記号でもオブジェクトでもよい。実施形態１のＨＭＤ１１０１は、図１２Ａの（３）のように、撮像画像と受信した画像とを合成し、表示部１２０４に表示する。

ここで、図１２Ｂの（４）は半透明の文字を合成しない図、（５）は半透明の文字を非半透明の文字として合成した図、（６）は半透明の文字は合成せずに、また半透明のＣＧを非半透明のＣＧとして合成した図を示している。なお、図１２Ｂの（５）は、半透明の文字を非半透明の文字として合成した図の例を示しているが、非半透明にする処理において、透明度を示す係数であるα値を変更してもよい。α値を変更することにより、より透明度を高めたＣＧ画像を撮像画像と合成することができ、また、非半透明又は非半透明に近い半透明のＣＧ画像を撮像画像と合成することもできる。例えば、ＨＭＤ使用者には文字情報をはっきりと提示させたい場合は（５）のような画像を表示部１２０４に表示させ、画像表示装置２０１０には文字情報を提示したくない場合は、画像送信部２００１から（４）のような画像を出力してもよい。ＣＧ画像において、半透明の画素の周りに非半透明の画素がない場合は、このような使い方により、一部の情報の表示制御をすることができる。また、半透明の領域を含む非背景領域について、その領域の全てを、例えば画像表示装置２０１０には表示しないようにしてもよい。また外部表示装置に半透明領域を表示させたくない場合は、（６）のように表示することもできる。このように、使用用途や使用環境に応じて、表示部１２０４と画像表示装置２０１０に（３）〜（６）に示すような画像を切り替えて表示する。

以下ではＨＭＤ１１０１の表示部１２０４に表示する画像を（３）、画像表示装置２０１０の画像提示部２０１２に表示する画像を（６）として説明するが、これの限りではなく、図１２Ａ及び図１２Ｂの（３）〜（６）のいずれの組み合わせを表示してもよい。また、表示部１２０４と画像提示部２０１２には同じ画像が表示されてもよい。どの合成方法を用いてどの表示部に表示するかは、ＨＭＤ１１０１に固定的に設定されていてもよいし、画像提供装置１１０４からの指示によって設定されてもよい。また、例えば、画像提供装置１１０４からの指示、又は不図示のＨＭＤ１１０１に接続されているユーザーインターフェースからの指示により、どのような合成画像をどの表示部に表示するかを画像表示動作中に動的に切り替えてもよい。

図１３は本実施形態における各表示部に表示する画像の合成処理を示すフローチャートである。図１３のフローチャートは、図８のフローチャートにＳ２３０１の処理を追加したものであるため、Ｓ２３０１以外の処理については説明を省略する。Ｓ２３０１では、外部表示合成部２１０１が、分離部１３０３と判定部１３０１と撮像画像格納部１２０７から画像を受け取り、画像表示装置２０１０へ渡す画像の合成を行う。なお、外部表示合成部２１０１は、判定部１３０１から、ＣＧ画素値とα値とを受け取る。このため、外部表示合成部２１０１は、画像表示装置用に表示部１２０４と異なる態様で画像の合成を行うことが可能となる。

本実施形態によれば、表示する表示部に応じて画像合成方法を変更でき、それぞれの表示部に適した画像を表示することができる。

なお、上述の説明では、ＨＭＤ１１０１を用いるものとして説明したが、それに限られず、画像提供装置１１０４から受信した画像と撮像した画像とを合成して表示する画像表示装置であればよい。

＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 既知の第１の画像と、未知の第２の画像とを、透明度を示す未知の係数を用いて、画素ごとに半透明または非半透明のいずれかで合成した合成画像について、当該合成画像に含まれる画素のそれぞれが半透明で合成された画素であるかを判定する画像処理装置であって、
   １つの画素を含む所定の領域におけるそれぞれの画素の前記合成画像の画素値と前記第１の画像の画素値とから、複数の値のそれぞれが前記係数として用いられた場合の前記第２の画像に対応する画像の画素値を算出すると共に、前記第２の画像に対応する前記画像において、前記１つの画素と前記所定の領域に含まれる他の画素との画素値の差分の合計を算出する算出手段と、
   前記係数の複数の値のそれぞれに対応する前記差分の合計に基づいて、前記１つの画素において前記合成画像を得るために用いられた前記係数を推定する推定手段と、
   前記推定された前記係数の値が所定値より大きい場合に、前記１つの画素は前記第１の画像の画素値と前記第２の画像の画素値とが半透明で合成された画素であると判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記１つの画素について、前記合成画像の画素値と前記第１の画像の画素値とが一致しているかを判別する判別手段をさらに備え、
   前記１つの画素において、前記合成画像の画素値と前記第１の画像の画素値とが一致しない場合に、当該１つの画素に対して、前記算出手段と、前記推定手段と、前記判定手段とが処理を実行する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 画像を撮像する撮像手段と、
   半透明で合成された画素であると判定された前記１つの画素について、前記推定された前記係数に基づいて、前記撮像された画像と合成する対象となる合成対象画像とを合成するのに用いる透明度を示す係数の値を決定すると共に、決定された係数の値と、前記第１の画像と、前記合成画像とに基づいて、前記合成対象画像を決定する決定手段と、
   前記合成画像の画素値と前記第１の画像の画素値とが一致した画素については前記撮像された画像の画素値を有し、前記半透明で合成されたと判定された画素については、前記係数の値を用いて前記合成対象画像と前記撮像された画像とを半透明で合成した画素値を有し、前記合成画像の画素値と前記第１の画像の画素値とが一致せず、かつ前記半透明で合成されたと判定されなかった画素については前記合成対象画像の画素値を有する画像を生成する生成手段と、
   前記生成した画像を表示する表示手段と、
   をさらに備えることを特徴とする請求項２に記載の画像処理装置。
4. 少なくとも１つの外部の表示装置へ、前記生成した画像を送信する送信手段をさらに備える、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 少なくとも１つの外部の表示装置へ、前記生成手段が前記外部の表示装置のために生成した画像を送信する送信手段をさらに備え、
   前記生成手段は、前記外部の表示装置へ送信する画像と前記表示手段において表示する画像とで、前記半透明で合成されたと判定された画素の画素値が異なる画像を生成する、
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記生成手段は、前記外部の表示装置へ送信する画像について、前記半透明で合成されたと判定された画素の画素値を前記撮像された画像の画素値とする、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記外部の表示装置へ送信する画像について、前記半透明で合成されたと判定された画素の画素値を前記合成対象画像の画素値とする、
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記生成手段は、前記外部の表示装置へ送信する画像について、前記半透明で合成されたと判定された画素の画素値を、前記表示手段において表示する画像の生成において用いられる前記係数と異なる係数の値を用いて前記撮像された画像と前記合成対象画像とを半透明で合成した画像の画素値とする、
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記推定手段は、前記係数の複数の値のうち前記差分の合計が最小となる値を、前記合成画像を得るために用いられた前記係数として推定する、
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記所定の領域は、前記１つの画素と、前記１つの画素を囲む８つの画素とからなる領域である、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記所定の領域は、前記１つの画素と、前記１つの画素を囲む所定数の画素のうち、前記１つの画素の画素値との差分が小さい画素値を有する８つの画素とからなる領域である、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
12. 前記第２の画像はカラーグラフィックス画像であり、前記第１の画像は所定の背景画像である、
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 既知の第１の画像と、未知の第２の画像とを、透明度を示す未知の係数を用いて、画素ごとに半透明または非半透明のいずれかで合成した合成画像について、当該合成画像に含まれる画素のそれぞれが半透明で合成された画素であるかを判定する画像処理方法であって、
    算出手段が、１つの画素を含む所定の領域におけるそれぞれの画素の前記合成画像の画素値と前記第１の画像の画素値とから、複数の値のそれぞれが前記係数として用いられた場合の前記第２の画像に対応する画像の画素値を算出すると共に、前記第２の画像に対応する前記画像において、前記１つの画素と前記所定の領域に含まれる他の画素との画素値の差分の合計を算出する算出工程と、
    推定手段が、前記係数の複数の値のそれぞれに対応する前記差分の合計に基づいて、前記１つの画素において前記合成画像を得るために用いられた前記係数を推定する推定工程と、
    判定手段が、前記推定された前記係数の値が所定値より大きい場合に、前記１つの画素は前記第１の画像の画素値と前記第２の画像の画素値とが半透明で合成された画素であると判定する判定工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを請求項１から１２のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。

Images