JPWO2006049208A1 - 画像合成装置及び画像合成方法 - Google Patents

Abstract

立体画像供給部６が、左右配置形式の立体画像データを取得する。可視情報供給部７が、立体画像に付加する可視情報を取得する。３Ｄディスプレイ情報供給部８が、立体画像を表示する３Ｄディスプレイに応じて、３Ｄディスプレイの表示に用いられない座標を、可視情報を合成するピクセルの座標として取得する。画像合成部９が、ステップＳ３で設定した座標のピクセルに、ステップＳ２にて取得された可視情報を合成する。可視情報の合成を行う全ての座標について行い、立体画像保存部１０が可視情報の合成を行った画像を保存する。こうして、付加情報を立体画像に付加しても、立体視したときに不快感を生じさせないようにする。

Description

本発明は、立体画像に可視情報を付加することができる画像合成装置及び画像合成方法に関する。

左右の目に異なった画像を提示することで、立体感を得ることができる立体視の研究が従来より行われている。例えば、左右それぞれの視点の画像を左右に並べ、目の焦点をずらすことで、右目で右目用の画像、左目で左目用の画像を見ることで立体感を得る、裸眼立体視という手法が広く知られている。

裸眼立体視には、図７（ａ）、図８（ａ）で説明する平行法と、図７（ｂ）、図８（ｂ）で説明する交差法がある。平行法では図７（ａ）にように、左目用画像３１を左側に、右目用画像３２を右側に配置した立体画像を、図８（ａ）のように、目の焦点を画像より奥に調節し、右目で右側の右目用画像３２を、左目で左側の左目用画像３１を見る。交差法では図７（ｂ）のように、左目用画像３１を右側に、右目用画像３２を左側に配置した立体画像を、図８（ｂ）のように、目の焦点を画像より手前に調節し、右目で左側に配置された右目用画像３２を、左目で右側に配置された左目用画像３１を見る。

また、図９（ａ）で示すように、液晶パネル３３の前面にスリット板３４を配置することで、両眼視差を用いた立体視ができる３Ｄディスプレイも開発されている。つまり、図９（ｂ）で示すように、液晶パネル３３上に、左目用と右目用の画像を交互に配置した３Ｄディスプレイ用表示画像３５を表示し、スリット板３４を通して見ると、左目で左目用画像３１を、右目で右目用画像３２を見ることができる。

３Ｄディスプレイ用表示画像は、スリット板の仕様に応じて、左目用画像と右目用画像を合成して作成する。例えば、３Ｄディスプレイに用いるスリット板の開口部と遮光部の間隔が、液晶パネルの１ピクセル幅と等しい時は、図１０に示すように、左目用画像の奇数列のピクセルと、右目用画像の偶数列のピクセルを取り出し、交互に並べたものを３Ｄディスプレイ用表示画像とする。

現在、汎用の立体画像フォーマットが特に規定されていないため、立体画像の格納方法として、左目用画像、右目用画像を、別々の画像ファイルとして格納し、立体画像と構成する左目用画像と右目用画像の対応関係を別途記録しておく方法や、左目用画像と、右目用画像を、一枚の画像中で左右に配置するように合成した画像を、立体画像フォーマットとして格納する方法が用いられることが多い。

特に、後者のフォーマットは、通常の２Ｄ画像用表示ソフトで表示した際に、裸眼立体視がし易いことから、立体画像のフォーマットとして、一般に広く用いられているが、左右配置された画像が、交差法用か平行法用か、画像を見ただけでは判別できないという問題がある。

また、このような左右配置された画像を、立体視の知識がない人が、通常の２Ｄディスプレイに表示させると、同じような画像が並んで表示されるために、機器の故障であると勘違いしたり、左右配置されることで、通常の２Ｄの画像に比べて、横幅が倍になった画像を、デジカメ画像のプリントサービスで印画すると、左右配置された画像の中央部分がトリミングされた画像が印刷され、プリントサービスに問題があるかのように感じることもある。

そこで、上記のような問題を解決するには、画像中に立体画像を表す旨の情報を付加し、一見しただけで、ユーザーに立体画像であることを認識させる方法が望ましい。例えば、特許文献１の発明では、ステレオアダプターをカメラに設置し、立体画像を撮影する時に、画像下部に、左右の判別情報を付加する方法が提案されている。
特開平９−１６０１４３号公報

しかし、特許文献１のように、判別情報が付加された立体画像を、３Ｄディスプレイに表示させると、画像に付加された情報が邪魔になり、立体視した時に不快感が生じるという欠点がある。

本発明は、斯かる実情に鑑み、付加情報を立体画像に付加しても、立体視したときに不快感を生じさせない画像合成装置及び画像合成方法を提供しようとするものである。

本発明の画像合成装置は、立体画像を入力する立体画像入力手段と、前記立体画像に付加する可視情報を入力する可視情報入力手段と、前記立体画像に前記可視情報を合成する合成手段とを備え、前記立体画像中の立体表示に用いられない座標に対して前記可視情報を合成することを特徴とする。

前記画像形成装置において、前記座標は、立体表示の際に立体画像からまびかれる画素の座標であることを特徴とする。

前記画像形成装置において、前記座標は、複数の立体表示方法のいずれにおいても立体画像からまびかれる画素の座標であることを特徴とする。

また、本発明の画像合成方法は、立体画像を入力する立体画像入力ステップと、前記立体画像に付加する可視情報を入力する可視情報入力ステップと、前記立体画像に前記可視情報を合成する合成ステップとを備え、前記立体画像中の立体表示に用いられない座標に対して前記可視情報を合成することを特徴とする。

前記画像合成法において、前記座標は、立体表示の際に立体画像からまびかれる画素の座標であることを特徴とする。

前記画像合成方法において、前記座標は、複数の立体表示方法のいずれにおいても立体画像からまびかれる画素の座標であることを特徴とする。

本発明によれば、立体画像中に、立体画像の左右の判別や、立体画像である旨を認識させる可視情報を付加すると共に、該可視情報が付加された立体画像を３Ｄディスプレイで表示した時には、該可視情報が表示されないようにすることが出来る。このため、立体画像そのものを２次元画像として表示した時には可視情報を読み取ることが出来ると共に、立体画像を立体表示した時には可視情報に邪魔されることなく立体視を楽しむことが可能となる。

本発明の第１の実施形態に係る画像合成装置のシステム構成図である。 本発明の第１の実施形態に係る画像合成方法のフローチャートである。 本発明の第１の実施形態において、可視情報を付加するピクセルを説明する図である。 ３ＤディスプレイＢ用表示画像作成方法を説明する図である。 本発明の第２の実施形態に係る画像合成装置のシステム構成図である。 本発明の第２の実施形態において、可視情報を付加するピクセルを説明する図である。 裸眼立体視における平行法用画像および交差法用画像を説明する図である。 裸眼立体視における平行法用視点位置および交差法用視点位置を説明する図である。 ３Ｄディスプレイの原理図である。 ３Ｄディスプレイ用表示画像の作成方法を説明する図である。

符号の説明

１，２ 画像合成装置
６ 立体画像供給部
７ 可視情報供給部
８ ３Ｄディスプレイ情報供給部
８Ａ ３Ｄディスプレイ情報供給部Ａ
８Ｂ ３Ｄディスプレイ情報供給部Ｂ
９ 画像合成部
１０ 立体画像保存部
１１ ３Ｄディスプレイ情報合成部
２１，３１ 左目用画像
２２，３２ 右目用画像
２３，３５ ３Ｄディスプレイ用表示画像
２１Ｂ 左目用画像（ハッチング部はディスプレイＢで表示に用いられる画素）
２２Ｂ 右目用画像（ハッチング部はディスプレイＢで表示に用いられる画素）
２３Ｂ ３ＤディスプレイＢ用表示画像
３３ 液晶パネル
３４ スリット板

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本発明の第１の実施形態による画像合成装置を示すブロック図である。本画像合成装置１は、図１で示すように、立体画像供給部６と、可視情報供給部７と、３Ｄディスプレイ情報供給部８、画像合成部９、立体画像保存部１０からなる。

立体画像供給部６は、外部から立体画像の供給を受けて立体画像を入力する部分である。可視情報供給部７は、外部から可視情報（立体画像に付加する文字画像などの情報）の供給を受けて可視情報を入力する部分である。外部からの立体画像や可視情報の供給は、インターネット、ＬＡＮなどのネットワークを介して、あるいは、ハードディスク等の蓄積装置によって行われる。

本実施形態は、３Ｄディスプレイ（立体画像表示装置）として、液晶パネル前面に、縦方向のスリットを備えた、裸眼立体視可能なディスプレイを対象とするものである。このような３Ｄディスプレイに立体画像を表示する場合には、立体画像の画素の一部を間引いて表示するために、立体画像データにおいて立体表示に用いられない画素がある。３Ｄディスプレイ情報供給部８は、このように３Ｄディスプレイの表示に用いられない（まびかれる）画素の座標データ（３Ｄディスプレイ情報）を供給する。画像合成部９は、表示に用いられない画素に対し、可視情報供給部７から供給される可視情報を合成し、立体画像保存部１０は、可視情報が合成された後の立体画像を保存する。

３Ｄディスプレイ情報供給部８は、外部（ネットワークや蓄積装置）から３Ｄディスプレイ情報の供給を受けて３Ｄディスプレイ情報を入力するものであるが、使用する３Ｄディスプレイがあらかじめ定まっている場合には、３Ｄディスプレイ情報をあらかじめ保持し画像合成部９に３Ｄディスプレイ情報を供給するものであってもよい。

ここで、立体画像供給部６から供給された立体画像データは、左右配置形式の立体画像データとする。可視情報供給部７から供給された可視情報は、左右配置形式の立体画像に合成して表示される文字等の情報であり、本実施形態では、アルファベットの’Ｌ’と’Ｒ’の形状の画像データとする。また、３Ｄディスプレイ用表示画像は、左目画像の偶数列の画素と、右目画像の奇数列の画素を交互に並べた画像とする。

以下に、合成手法の詳細を図２のフローチャートを用いて本画像合成装置の動作を説明する。
ステップＳ１にて、立体画像供給部６が、左右配置形式の立体画像データを取得（あるいは外部から入力）する。ステップＳ２にて、可視情報供給部７が、立体画像に付加（合成）する可視情報を取得（あるいは外部から入力）する。

ステップＳ３にて、３Ｄディスプレイ情報供給部８が、立体画像を表示する３Ｄディスプレイに応じて、３Ｄディスプレイの表示に用いられない座標を、可視情報を合成するピクセル（画素）の座標として取得（あるいは外部から入力）する。

本実施の形態では、３Ｄディスプレイの表示に用いる座標として、左目用画像の奇数座標および右目用画像の偶数座標を用いることとする。この場合、ステップＳ３にて取得される座標（３Ｄディスプレイ情報）は、左目用画像の偶数座標および右目用画像の奇数座標となる。

ステップＳ４にて、画像合成部９が、ステップＳ３で設定した座標のピクセルに、ステップＳ２にて取得された可視情報を合成する。
ステップＳ３からステップＳ４の処理を、可視情報の合成を行う全ての座標について行う（ステップＳ５）。立体画像保存部１０が可視情報の合成を行った画像を保存する（ステップＳ６）。

上記の合成処理を行うと、図３（ａ）、（ｂ）で示すように、立体画像中の左目用画像２１の偶数列のピクセルに、左目用画像を現す‘Ｌ’のパターンが、右目用画像２２の奇数列のピクセルに、‘Ｒ’のパターンが合成される。従って、合成後の立体画像を２次元画像として表示すれば、付加された可視情報によって、該画像が立体画像であることの認識や、右目画像と左目画像の識別が可能となる。なお、図３（ａ）、（ｂ）で、ハッチングパターンは、３Ｄディスプレイ表示用画像の作成に用いられるピクセルの集合（すなわち立体表示の際に表示されるピクセルの集合）を示している。

図３（ｃ）で示すように、可視情報が付加された立体画像から、３Ｄディスプレイ用表示画像２３を作成すると、可視情報が合成された画素はまびかれるため、可視情報を付加しない場合に作成した３Ｄディスプレイ用表示画像と全く同じものが作成される。以上の説明からわかる通り、３Ｄディスプレイ側では立体画像に可視情報が付加されているか否かの認識は不要である。従って、本実施例の画像合成装置で可視情報が合成された立体画像は、従来の３Ｄディスプレイを変更することなく、可視情報が合成されていない立体画像と同様に立体表示ができるという特徴を有している。

ここで、合成する可視情報として、単に左右を判別する情報だけでなく、３Ｄディスプレイを販売する会社名等を合成し、特定の３Ｄディスプレイ上で立体画像を表示すると、会社名等の情報が消え立体視しやすくして、製品の差別化を目的とすることも可能である。さらに、可視情報として画像の所有者や著作権に関する情報など、さまざまな情報を合成することも可能である。

また、本実施形態では、３Ｄディスプレイ情報供給部から、可視情報を合成する座標を取得しているため、３Ｄディスプレイ情報供給部で提供する情報を変更することで、異なる種類の３Ｄディスプレイに応用可能である。例えば、３Ｄディスプレイとして、縦方向のスリット板を使用したものに限定したものだけでなく、斜め方向のスリット板を用いた３Ｄディスプレイを対象とすることも可能である。すなわち、斜め方向のスリット板の場合でも、図２のステップＳ３の説明で述べたのと同様に、３Ｄディスプレイ用表示画像の作成に使用しない（３Ｄディスプレイに表示しない）ピクセルの座標を取得し、可視情報を合成することが可能である。

以上のように、第１の実施形態では立体画像に可視情報を付加すると共に、３Ｄディスプレイに立体表示を行う際に、該可視情報が表示されないようにすることが可能となる。

なお、本実施形態では可視情報が合成された立体画像を立体画像保存部に保存しているが、立体画像を保存することなく、外部の３Ｄディスプレイに立体画像を出力するようにしてもよい。

次に、本発明の第２の実施形態について説明する。
本実施形態では、３Ｄディスプレイとして、液晶パネル前面に、縦方向のスリットを備えた、裸眼立体視可能な３Ｄディスプレイ（以下３ＤディスプレイＡと呼ぶ）と、液晶シャッターメガネを用いたフィールドシーケンシャル（Ｆ／Ｓ）方式の３Ｄディスプレイ（以下３ＤディスプレイＢと呼ぶ）を対象とする。

３ＤディスプレイＢは、インターレース表示可能なディスプレイ上で、右目用画像と左目用画像を交互に表示し、ディスプレイ表示と同期を取った液晶シャッター方式のメガネを用いることで、左目用画像を表示している時は左目でのみ、右目用画像を表示している時は、右目でのみ映像を見ることで、両眼視差による立体視を可能とする。

例えば、図４（ｃ）に示す３ＤディスプレイＢ用表示画像２３Ｂは、水平ラインの図４（ａ）の左目用画像２１Ｂと図４（ｂ）右目用画像２２Ｂを、垂直方向に１ラインずつ交互に組み合わせて作成する。

本実施形態による画像合成装置２は、図５で示すように、立体画像供給部６と、可視情報供給部７と、３Ｄディスプレイ情報供給部（Ａ）８Ａ、３Ｄディスプレイ情報供給部（Ｂ）８Ｂ、立体ディスプレイ情報合成部１１、画像合成部９と、立体画像保存部１０からなる（図１と共通部分には同一符号を付す）。３Ｄディスプレイ情報合成部１１では、各３Ｄディスプレイ情報供給部８Ａ，８Ｂから供給される３Ｄディスプレイ情報に基づき、いずれの３Ｄディスプレイ用表示画像の表示にも用いられない座標を合成された３Ｄディスプレイ情報として取得する。

画像合成部９の動作の処理手順は第１の実施形態で説明したのと基本的には同じであり、詳しい説明は省略する。ただ、３Ｄディスプレイ情報供給部８Ａ，８Ｂが存在する点が第１の実施形態が異なり、詳しくは後述するが３Ｄディスプレイ情報合成部１１での合成処理が異なる。そして、図２のフローチャートを用いて説明すると、ステップＳ３にて、３Ｄディスプレイ情報合成部１１から、上述の合成された３Ｄディスプレイ情報を、可視情報を合成するピクセルの座標として取得する。ステップＳ４〜Ｓ５では、１座標毎に可視情報を立体画像に合成する。

３Ｄディスプレイ情報合成部１１における処理の詳細を以下に説明する。
ここで、図６（ａ）のハッチング部分は、左目用画像２１から、３ＤディスプレイＡ用表示画像の合成に使用されるピクセルの集合を、白色部分は合成に使用されないピクセルの集合を表し、図６（ｂ）のハッチング部分は、左目用画像２１から、３ＤディスプレイＢ用表示画像の合成に使用されるピクセルの集合を、白色部分は合成に使用されないピクセルの集合を表しており、図６（ｃ）の白色部分は、左目用画像２１から、３ＤディスプレイＡ用表示画像の合成にも、３ＤディスプレイＢ用表示画像の合成にも使用されないピクセルの集合を表している。従って、３Ｄディスプレイ情報合成部１１は左目用画像３１に対し、奇数列かつ偶数行の座標（図６（ｃ）の白色部分座標）を可視情報を合成するピクセルの座標として取得する。

同様に、右目用画像でも、３ＤディスプレイＡ用表示画像の合成にも、３ＤディスプレイＢ用表示画像の合成にも使用されないピクセルの座標を求め、いずれの３Ｄディスプレイの表示にも用いられないピクセルの座標として取得する。具体的には、偶数列かつ奇数行の座標が、右目用画像に可視情報を合成するピクセルの座標となる。

なお、上記では２つの３Ｄディスプレイ方式が存在する場合について説明したが、３つ以上の３Ｄディスプレイ方式が存在する場合であっても、まったく同様にして３Ｄディスプレイ情報を合成すればよい。すなわち、複数の３Ｄディスプレイ方式のいずれにおいてもまびかれる画素の座標を、可視情報を合成する画素の座標とする。

以上のようにして、第２の実施形態では立体画像に可視情報を付加すると共に、複数の３Ｄディスプレイ方式に対しても、立体表示の際に該可視情報が表示されないようにすることが可能となる。

Claims (6)

1. 立体画像を入力する立体画像入力手段と、
   前記立体画像に付加する可視情報を入力する可視情報入力手段と、
   前記立体画像に前記可視情報を合成する合成手段とを備え、
   前記立体画像中の立体表示に用いられない座標に対して前記可視情報を合成することを特徴とする画像合成装置。
2. 前記座標は、立体表示の際に立体画像からまびかれる画素の座標であることを特徴とする請求項１に記載の画像合成装置。
3. 前記座標は、複数の立体表示方法のいずれにおいても立体画像からまびかれる画素の座標であることを特徴とする請求項１に記載の画像合成装置。
4. 立体画像を入力する立体画像入力ステップと、
   前記立体画像に付加する可視情報を入力する可視情報入力ステップと、
   前記立体画像に前記可視情報を合成する合成ステップとを備え、
   前記立体画像中の立体表示に用いられない座標に対して前記可視情報を合成することを特徴とする画像合成方法。
5. 前記座標は、立体表示の際に立体画像からまびかれる画素の座標であることを特徴とする請求項１に記載の画像合成方法。
6. 前記座標は、複数の立体表示方法のいずれにおいても立体画像からまびかれる画素の座標であることを特徴とする請求項１に記載の画像合成方法。

Images