JP5549421B2 - 投影装置、投影方法及びプログラム - Google Patents

Description

本発明は、立体画像を投影する投影装置、投影方法及びプログラムに関する。

立体画像を投影するプロジェクタ装置として、投影される画像の点滅に同期してメガネに取付けられた光シャッタを開閉させることにより、立体画像を実現する光シャッタ型プロジェクタ装置が考えられている。

また、互いに直行する２つの偏光光を用い、左右の視差を持たせた画像をスクリーン等に投影し、左右の目で互いに直交する方向の偏光板を設けたメガネを通して観察することにより、立体画像を実現する偏光型プロジェクタ装置がある。（例えば、特許文献１）

特開平１０−０６９０１２号公報

上記した光シャッタ型プロジェクタ装置及び偏光型プロジェクタ装置のいずれであっても、撮影した画像を立体で投影するためには、予め左目用と右目用の２つのカメラで画像の撮影を行なうことが必要となる。そのため、立体画像撮影専用の特殊なカメラが必要であり、当然ながら一般的なデジタルカメラ等で撮影した２次元の画像を立体視することはできない。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、すでにある２次元画像を用いて右目用と左目用の画像を作成し、作成した両目用の画像により簡易に立体画像を投影することが可能な投影装置、投影方法及びプログラムを提供することにある。

請求項１記載の発明は、複数の２次元画像を記憶する画像記憶部と、上記画像記憶部から背景となる画像を選択する背景画像選択部と、上記背景となる画像上に合成するパーツ画像を上記画像記憶部から選択するパーツ画像選択部と、上記パーツ画像選択部で選択したパーツ画像の拡大率及び上記背景画像中の位置を設定する設定部と、上記設定部で設定した拡大率に基づいて上記パーツ画像までの距離を算出する距離算出部と、上記距離算出部で算出した距離に基づいて上記パーツ画像の右目用画像及び左目用画像における各ずらし量を算出するずらし量算出部と、上記ずらし量算出部で算出した上記パーツ画像の右目用画像及び左目用画像における各ずらし量に基づき、上記背景画像とパーツ画像とを用いて予め設定された立体画像フォーマットに従った右目用画像及び左目用画像を作成する画像加工部と、上記画像加工部で作成した右目用画像及び左目用画像を上記立体画像フォーマットに従って投影する投影部とを具備したことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記設定部は、上記パーツ画像選択部で選択したパーツ画像の上記背景画像の距離位置に合致した拡大率を設定する第１の拡大率と、上記第１の拡大率を基準として、パーツ画像の配置による上記背景画像の距離位置に対応した拡大率を設定する第２の拡大率と設定することを特徴とする。

請求項３記載の発明は、上記請求項１記載の発明において、上記パーツ画像選択部で選択するパーツ画像は動画像であり、上記設定部は、動画像の時系列の先頭に位置するパーツ画像の拡大率及び位置を設定し、上記距離算出部は、上記先頭に位置するパーツ画像の拡大率及び位置から動画像を構成する個々のパーツ画像に関して拡大率及び位置を算出した上で距離を算出することを特徴とする。

請求項４記載の発明は、上記請求項１記載の発明において、上記パーツ画像選択部で選択するパーツ画像は動画像であり、上記設定部は、動画像の時系列の先頭に位置するパーツ画像の拡大率及び位置と末尾に位置するパーツ画像の拡大率及び位置とを設定し、上記距離算出部は、上記先頭に位置するパーツ画像の拡大率及び位置と末尾に位置するパーツ画像の拡大率及び位置から動画像を構成する個々のパーツ画像に関して拡大率及び位置を算出した上で距離を算出することを特徴とする。

請求項５記載の発明は、複数の２次元画像を記憶する画像記憶工程と、上記画像記憶工程で記憶した画像中から背景となる画像を選択する背景画像選択工程と、上記背景となる画像上に合成するパーツ画像を上記画像記憶工程で記憶した画像中から選択するパーツ画像選択工程と、上記パーツ画像選択工程で選択したパーツ画像の拡大率及び上記背景画像中の位置を設定する設定工程と、上記設定工程で設定した拡大率に基づいて上記パーツ画像までの距離を算出する距離算出工程と、上記距離算出工程で算出した距離に基づいて上記パーツ画像の右目用画像及び左目用画像における各ずらし量を算出するずらし量算出工程と、上記ずらし量算出工程で算出した上記パーツ画像の右目用画像及び左目用画像における各ずらし量に基づき、上記背景画像とパーツ画像とを用いて予め設定された立体画像フォーマットに従った右目用画像及び左目用画像を作成する画像加工工程と、上記画像加工工程で作成した右目用画像及び左目用画像を上記立体画像フォーマットに従って投影する投影工程とを有したことを特徴とする。

請求項６記載の発明は、投影装置が内蔵したコンピュータが実行するプログラムであって、当該プログラムを、複数の２次元画像を記憶する画像記憶部、上記画像記憶部で記憶した画像中から背景となる画像を選択する背景画像選択部、上記背景となる画像上に合成するパーツ画像を上記画像記憶部で記憶した画像中から選択するパーツ画像選択部、上記パーツ画像選択部で選択したパーツ画像の拡大率及び上記背景画像中の位置を設定する設定部、上記設定部で設定した拡大率に基づいて上記パーツ画像までの距離を算出する距離算出部、上記距離算出部で算出した距離に基づいて上記パーツ画像の右目用画像及び左目用画像における各ずらし量を算出するずらし量算出部、上記ずらし量算出部で算出した上記パーツ画像の右目用画像及び左目用画像における各ずらし量に基づき、上記背景画像とパーツ画像とを用いて予め設定された立体画像フォーマットに従った右目用画像及び左目用画像を作成する画像加工部、及び上記画像加工部で作成した右目用画像及び左目用画像を上記立体画像フォーマットに従って投影する投影部として機能させる。

本発明によれば、すでにある２次元画像を用いて右目用と左目用の画像を作成し、作成した両目用の画像により簡易に立体画像を投影することが可能となる。

本発明の第１の実施形態に係るデータプロジェクタ装置の機能回路構成を示すブロック図。 同実施形態に係る２次元の静止画像データを用いた立体画像投影の処理内容を示すフローチャート。 同実施形態に係る２次元の背景画像を例示する図。 同実施形態に係るパーツ画像を例示する図。 同実施形態に係る拡大処理後のパーツ画像を例示する図。 同実施形態に係る遠近感を付与するための、視差に基づくずらし量の概念を説明する図。 同実施形態に係る左目用画像と右目用画像を例示する図。 同実施形態に係る液晶シャッタ眼鏡方式における各投影タイミングを示すタイミングチャート。 本発明の第２の実施形態に係る２次元の静止画像データを用いた立体動画像投影の処理内容を示すフローチャート。

（第１の実施形態）
以下本発明を、立体画像の投影を行なう、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式のデータプロジェクタ装置に適用した場合の第１の実施形態について図面を参照して説明する。

なお、立体画像の投影に関しては、例えば液晶シャッタ眼鏡方式の画像を作成するものとする。この液晶シャッタ眼鏡方式は、フィールドシーケンシャル方式、アクティブ・ステレオ方式とも呼称され、１フレーム分の画像を２フィールドに分けて投影するもので、第１フィールドで左目用画像を、第２フィールドで右目用画像を投影する。

例えば、可視光範囲を外れた赤外光を第１フィールドにのみ画像に重畳して投影させる。この投影に対してユーザが、液晶シャッタ眼鏡を装着する。該液晶シャッタ眼鏡側では、上記赤外光をセンサで検出して、第１フィールドでは右目側を、第２フィールドでは左目側をシャッタ動作する。したがってユーザは、意識せずに左目では左目用の画像のみを、右目では右目用画像のみを分離して見ることができる。

なお、液晶シャッタ眼鏡方式で使用する液晶シャッタ眼鏡自体は、市販の３Ｄテレビ受像機用のものがそのまま使用可能であるものとし、本実施形態では特に構成や動作等については説明を省略する。

図１は、本実施形態に係るデータプロジェクタ装置１０の機能回路の概略構成を示すブロック図である。
符号１１は入力部である。この入力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の画像／音声入力端子、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを介して、有線接続される外部機器からのアナログ値の画像信号及び音声信号を入力し、フロントエンド処理としてＡ／Ｄ変換、その他所定の処理を施してデジタル化する。

入力部１１で入力してデジタル化した各種規格の画像信号は、システムバスＳＢを介して投影画像処理部１２に送られる。

投影画像処理部１２は、入力される画像信号を投影に適した所定のフォーマットの画像信号に統一し、表示用のビデオメモリ１３に適宜書込んだ後に、書込んだ画像信号をビデオメモリ１３から読出して投影画像駆動部１４へ送る。

この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボルやガイドメッセージ等のキャラクタデータも、必要に応じて投影画像処理部１２によりビデオメモリ１３で画像信号に重畳加工され、加工後の画像信号が読出されて投影画像駆動部１４へ送られる。

投影画像駆動部１４は、送られてきた画像信号に応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、空間的光変調素子（ＳＬＭ）であるマイクロミラー素子１５を表示駆動する。

このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＸＧＡ（横１０２４画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部１６から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。この光源部１６からの原色光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。

そして、マイクロミラー素子１５での反射光で光像が形成され、形成された光像が投影レンズ部１８を介して、投影対象となる図示しないスクリーンに投影表示される。

投影レンズ部１８は、内部にズームレンズ及びフォーカスレンズを有し、各レンズの移動により投影画角及び合焦位置を可変可能とする。

光源部１６は、赤外光（Ｉｒ）を発する発光ダイオード（以下「Ｉｒ−ＬＥＤ１９」と称する）１９、赤色（Ｒ）光を発する発光ダイオード（以下「Ｒ−ＬＥＤ」と称する）２０、緑色（Ｇ）光を発する発光ダイオード（以下「Ｇ−ＬＥＤ」と称する）２１、及び青色（Ｂ）光を発する発光ダイオード（以下「Ｂ−ＬＥＤ」と称する）２２を有する。

Ｉｒ−ＬＥＤ１９は、他のＲ−ＬＥＤ２０、Ｇ−ＬＥＤ２１、及びＢ−ＬＥＤ２２と異なり、立体画像投影時にフィールド単位で点灯／消灯を切り替えて発光駆動される。Ｉｒ−ＬＥＤ１９の発する赤外光は、ダイクロイックミラー２３を透過した後、インテグレータ２４で輝度分布が略均一な光束とされた後に上記ミラー１７へ送られる。

Ｒ−ＬＥＤ２０の発する赤色光は、ダイクロイックミラー２５で反射された後、上記ダイクロイックミラー２３でも反射され、インテグレータ２４で輝度分布が略均一な光束とされた後に上記ミラー１７へ送られる。

Ｇ−ＬＥＤ２１の発する緑色光は、ダイクロイックミラー２６で反射された後、上記ダイクロイックミラー２５を透過し、それから上記ダイクロイックミラー２３でも反射され、上記インテグレータ２４を介して上記ミラー１７へ送られる。

Ｂ−ＬＥＤ２２の発する青色光は、ミラー２７で反射された後に上記ダイクロイックミラー２６，２５を透過し、その後に上記ダイクロイックミラー２３で反射され、上記インテグレータ２４を介して上記ミラー１７へ送られる。
上記ダイクロイックミラー２３は、赤外光を透過する一方で、赤色光、緑色光及び青色光を反射する。上記ダイクロイックミラー２５は、赤色光を反射する一方で、緑色光及び青色光を透過する。上記ダイクロイックミラー２６は、緑色光を反射する一方で、青色光を透過する。

光源部１６の各ＬＥＤ１９〜２２の発光タイミングや駆動信号の波形等を投影光駆動部２８が統括して制御する。投影光駆動部２８は、投影画像駆動部１４から与えられる画像データのタイミングと後述するＣＰＵ２９の制御に応じて上記ＬＥＤ１９〜２２の発光動作を制御する。

上記各回路の動作すべてをＣＰＵ２９が制御する。このＣＰＵ２９は、メインメモリ３０及びプログラムメモリ３１と直接接続される。メインメモリ３０は、ＤＲＡＭで構成され、ＣＰＵ２９のワークメモリとして機能する。プログラムメモリ３１は、電気的書換可能な不揮発性メモリで構成され、ＣＰＵ２９が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ２９は、上記プログラムメモリ３１に記憶されている動作プログラムや定型データ等を読出してメインメモリ３０に展開して記憶させた上で当該プログラムを実行することにより、このデータプロジェクタ装置１０を統括して制御する。

上記ＣＰＵ２９は、操作部３２からのキー操作信号に応じて各種投影動作を実行する。
この操作部３２は、データプロジェクタ装置１０の本体に設けられるキー操作部と、このデータプロジェクタ装置１０専用の図示しないリモートコントローラからの赤外光を受光するレーザ受光部とを含む。操作部３２は、ユーザが本体のキー操作部またはリモートコントローラで操作したキーに基づくキー操作信号をＣＰＵ２９へ直接出力する。

本体のキー操作部またはリモートコントローラには、具体的には、電源キー、入力切換キー、フォーカス・アップ／ダウン・キー、ズーム・アップ／ダウン・キー、メニューキー、カーソル（「↑」「↓」「←」「→」）キー、セットキー、キャンセルキー、台形補正キー等が備えられる。

上記ＣＰＵ２９はさらに、上記システムバスＳＢを介して画像メモリ３３、画像加工部３４、及び音声処理部３５と接続される。
画像メモリ３３は、上記入力部１１を介して送られてきた各種画像データを複数記憶可能な記憶容量を有する。画像加工部３４は、ＣＰＵ２９の制御の下に、画像メモリ３３に記憶される画像データに対する、立体画像投影用のデータ作成を含む画像加工処理を行なう。

音声処理部３５は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ部３６を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。

次に上記実施形態の動作について説明する。
なお、上述した如く、マイクロミラー素子１５で表示する画像を投影画像処理部１２がビデオメモリ１３を用いて作成し、作成した画像を投影画像駆動部１４がマイクロミラー素子１５で表示し、マイクロミラー素子１５での表示に合わせてＬＥＤ１９〜２２を投影光駆動部２８が発光駆動する。

これら投影画像処理部１２、ビデオメモリ１３、投影画像駆動部１４、及び投影光駆動部２８は、いずれもＣＰＵ２９の制御の下に動作する。ＣＰＵ２９は、以下に示す処理も含め、プログラムメモリ３１に記憶されている動作プログラムや固定データ等を読出してメインメモリ３０に展開した上で制御処理を実行する。
また、画像メモリ３３が記憶する画像データに対する立体画像データ化するための各種処理は、ＣＰＵ２９の制御の下に画像加工部３４が実行する。

図２は、入力部１１から入力され、画像メモリ３３に記憶された複数の２次元の静止画像データを用いて、立体画像の投影を行なう場合の一連の処理内容を示すフローチャートである。

その処理当初には、画像メモリ３３に記憶される複数の静止画像データ中から、背景となる画像データがユーザにより選択されるのを受付ける（ステップＳ１０１）。

この場合、例えば画像メモリ３３に記憶されるすべての静止画像データのサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するようなガイドメッセージを添えて投影する。

この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている画像を背景画像に決定する。
図３は、上記ステップＳ１０１において選択された、背景となる静止画像データＢＣ１を例示する。

次いで、同じく画像メモリ３３に記憶される複数の静止画像データ中から、上記背景の画像に重ねて投影する被写体のパーツ画像がユーザにより選択されるのを受付ける（ステップＳ１０２）。

この場合、上記背景画像として選択した画像を除き、画像メモリ３３に記憶されるすべての静止画像データのサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するようなガイドメッセージを添えて投影する。
この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている画像をパーツ画像に決定する。
図４は、上記ステップＳ１０２において選択された、被写体のパーツ画像データＯＢ１を例示する。破線で示す矩形ＲＴ１内で、「恐竜」の画像部分ＯＢ１のみが有効であり、その周囲部分は無効である。後の画像合成時には、当該周囲部分は背景となる画像データが使用される。

こうして背景画像とそれに合成するためのパーツ画像の選択を終えると、まずパーツ画像の基準となる大きさを背景画像と合わせるために、背景画像の中央にパーツ画像を重畳した合成画像を投影した上で（ステップＳ１０３）、パーツ画像の大きさを可変するための操作を受付ける（ステップＳ１０４）。

この場合、例えばパーツ画像に対してユーザが操作部３２でズーム・アップ／ダウン・キーを操作することでパーツ画像が段階的に拡大／縮小され、セットキーが操作された時点で背景画像に合致したパーツ画像の基準の大きさが決定される。

決定のためのセットキー操作があるか否かを判断し（ステップＳ１０５）、該キー操作がなければ上記ステップＳ１０３からの処理を繰返す。

ステップＳ１０３〜Ｓ１０５の処理を繰返す過程で、背景画像に合致したパーツ画像の基準の大きさを決定する。

そして、セットキーが操作されると上記ステップＳ１０５でそれを判断し、次に背景画像中のパーツ画像の位置と大きさを確定するために、背景画像中にパーツ画像を重畳した合成画像を投影した上で（ステップＳ１０６）、パーツ画像の位置と大きさを可変するための操作を受付ける（ステップＳ１０７）。

この場合、例えばパーツ画像に対してユーザが操作部３２でカーソルキーを操作することで背景画像中のパーツ画像の位置が上下左右に移動する。また、操作部３２でズーム・アップ／ダウン・キーを操作することで、背景画像中のパーツ画像が段階的に拡大／縮小され、パーツ画像をより近くに配置するか、より遠くに配置するかを設定する。

さらに、決定のためのセットキー操作があるか否かを判断し（ステップＳ１０８）、該キー操作がなければ上記ステップＳ１０６からの処理を繰返す。

ステップＳ１０６〜Ｓ１０８の処理を繰返す過程で、背景画像中のパーツ画像の位置と、遠近の度合に基づくパーツ画像の大きさとを決定する。

図５は、上記ステップＳ１０７の処理において拡大された、被写体のパーツ画像データＯＢ２を例示する。ここでは、上記図４で示した元のパーツ画像データＯＢ１に対して２倍弱拡大した場合について例示している。

そして、セットキーが操作されると上記ステップＳ１０８でそれを判断し、上記ステップＳ１０５で決定した、基準となるパーツ画像の大きさに対して、上記ステップＳ１０８で決定した画像パーツの大きさから拡大率を算出し、その拡大率とパーツ画像の位置から、パーツ画像までの距離を算出する（ステップＳ１０９）。

物体ＯＢの大きさが変化しない場合、物体までの距離と見た目での大きさは反比例する。よって、拡大しない場合の物体までの想定距離をｓ、拡大率をｒとした場合に、物体ＯＢまでの距離ｐをｓ／ｒとして算出する。

次いで、この算出した距離ｐから、左右の目それぞれのずらし量を算出する（ステップＳ１１０）。
図６は、背景画像の位置を投影対象のスクリーンＳＣの位置とした場合の、パーツ画像を表す物体ＯＢの位置に応じた表現を説明する。
図６（Ａ）は、スクリーンＳＣより遠くにある物体ＯＢの表現を示す。図６（Ｂ）は、スクリーンＳＣより近くにある物体ＯＢの表現を示す。

右目用画像を右に、左目用画像を左にずらす場合を正の値とし、右目用画像を左に、左目用画像を右にずらす場合を負の値とすると、ずらし量は次式で表される。すなわち、
ｗ＝ｄ・(１−(ｓ／ｐ)) …(1)
（但し、ｗ：ずらし量、
ｄ：左右の目の中心位置の間隔、
ｓ：スクリーンまでの距離、
ｐ：物体までの距離。）
上記式（１）中、スクリーンまでの距離ｓは、このデータプロジェクタ装置１０の機種に応じた使用環境で想定される代表値を予め設定しておくものとしても良いし、投影レンズ部１８を構成する複数の光学レンズ中、その時点のフォーカスレンズの駆動位置から合焦位置にある筈のスクリーンＳＣまでの距離を、図示しないレンズ駆動モータとその回動位置を検出するロータリエンコーダ等により検出するものとしても良い。

こうして算出した各ずらし量と設定した拡大率、位置に基づいて左右各目用の画像を作成する（ステップＳ１１１）。

図７（Ａ）及び図７（Ｂ）は、こうして作成した左目用画像と右目用画像を例示する。図７（Ａ）に示す左目用画像では、背景画像ＢＴ１に対して拡大したパーツ画像ＯＢ２が、設定した位置より右側にずらして配置され、反対に図７（Ｂ）に示す右目用画像では背景画像ＢＴ１に対して拡大したパーツ画像ＯＢ２が、設定した位置より左側にずらして配置されていることがわかる。この場合、こうしたパーツ画像ＯＢ２のずらし量によって、立体画像投影時には背景画像ＢＴ１に対してパーツ画像ＯＢ２がユーザの位置する手前側に大きく飛び出して見えるように投影される。

このように作成された左目用画像と右目用画像を、上述した液晶シャッタ眼鏡方式で定められているフォーマットに従って画像加工部３４で画像データ化し、画像メモリ３３に記憶する（ステップＳ１１２）。

次いで、この画像メモリ３３に記憶した左目用画像と右目用画像の各画像データに基づいて液晶シャッタ眼鏡方式による立体画像の投影を実行し（ステップＳ１１３）、以上で画像データの選択から選択した画像データに基づく立体画像の投影までの一連の処理を終了する。

図８は、液晶シャッタ眼鏡方式における各投影タイミングを示す。上述した如く液晶シャッタ眼鏡方式では、１フレーム分の画像を２フィールドに分け、第１フィールドで左目用画像を、第２フィールドで右目用画像を投影する。

図８（Ａ）は、１フレーム２フィールド中の第１フィールドのみ点灯するＩｒ−ＬＥＤ１９の発光駆動波形を示す。このＩｒ−ＬＥＤ１９の発する赤外光が画像光に重畳されて投影レンズ部１８より出射されることで、ユーザの使用する液晶シャッタ眼鏡（図示せず）側に設けられた赤外線センサがその赤外線を検出し、左目用画像と右目用画像の切換えが行なわれる。

Ｒ−ＬＥＤ２０、Ｇ−ＬＥＤ２１、及びＢ−ＬＥＤ２２は、図８（Ｂ）〜図８（Ｄ）に示すように各フィールド内において時分割で順次発光する。

これら原色ＬＥＤ２０〜２２の発光に同期してマイクロミラー素子１５で図８（Ｅ）に示すように第１フィールドで左目用の赤色（Ｒ）画像、緑色（Ｇ）画像、及び青色（Ｂ）画像を、第２フィールドで右目用の赤色（Ｒ）画像、緑色（Ｇ）画像、及び青色（Ｂ）画像を循環的に表示することで、それらの各反射光により光像が形成され、投影レンズ部１８によってスクリーンＳＣに投影される。

以上詳述した如く本実施形態によれば、すでにある２次元画像を用いて右目用と左目用の画像を作成し、作成した両目用の画像により簡易に立体画像を投影することが可能となる。

加えて上記実施形態では、背景画像に対するパーツ画像の基準となる大きさを一旦合わせ込んだ上で、背景画像上に等するパーツ画像の大きさをあらためて設定するものとしたので、背景画像に対するパーツ画像の遠近位置をより正確に反映して投影させることができる。

（第２の実施形態）
以下本発明を、立体画像の投影を行なう、ＤＬＰ（登録商標）方式のデータプロジェクタ装置に適用した場合の第２の実施形態について図面を参照して説明する。

立体画像の投影に関しては、上記第１の実施形態と同様であるので、その書斎な説明は省略する。

また、本実施形態に係るデータプロジェクタ装置１０の機能回路の概略構成については、上記図１で説明したものと基本的に同様であるものとし、同一部分には同一符号を用いてその図示と説明を省略する。

さらに、上記画像メモリ３３には、背景画像となる静止画の画像データと、パーツ画像となる動画の画像データが記憶されているものとする。

次に上記実施形態の動作について説明する。
図９は、入力部１１から入力され、画像メモリ３３に記憶された静止画像データ及び動画像データを用いて、立体画像の投影を行なう場合の一連の処理内容を示すフローチャートである。

その処理当初には、画像メモリ３３に記憶される複数の静止画像データ中から、背景となる画像データがユーザにより選択されるのを受付ける（ステップＳ２０１）。

この場合、例えば画像メモリ３３に記憶されるすべての静止画像データのサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するようなガイドメッセージを添えて投影する。

この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている画像を背景画像に決定する。
次いで、画像メモリ３３に記憶される複数の動画像データ中から、上記背景の画像に重ねて投影する被写体のパーツ画像がユーザにより選択されるのを受付ける（ステップＳ２０２）。

この場合、画像メモリ３３に記憶されるすべての動画像データの各先頭画像に対するサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するようなガイドメッセージを添えて投影する。
この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている動画像をパーツ画像に決定する。
こうして背景画像とそれに合成するためのパーツ画像の選択を終えると、次にパーツ画像となる動画像の先頭に位置する１フレーム目の静止画像を用いて、背景画像中のパーツ画像の位置と大きさを確定するために、背景画像中にパーツ画像を重畳した合成画像を投影した上で（ステップＳ２０３）、パーツ画像の位置と大きさを可変するための操作を受付ける（ステップＳ２０４）。

この場合、例えば先頭のパーツ画像に対してユーザが操作部３２でカーソルキーを操作することで背景画像中のパーツ画像の位置が上下左右に移動する。また、操作部３２でズーム・アップ／ダウン・キーを操作することで、背景画像中のパーツ画像が段階的に拡大／縮小され、パーツ画像をより近くに配置するか、より遠くに配置するかを設定する。

さらに、決定のためのセットキー操作があるか否かを判断し（ステップＳ２０５）、該キー操作がなければ上記ステップＳ２０３からの処理を繰返す。

ステップＳ２０３〜Ｓ２０５の処理を繰返す過程で、背景画像中の先頭のパーツ画像の位置と、遠近の度合に基づくパーツ画像の大きさとを決定する。

そして、セットキーが操作されると上記ステップＳ２０５でそれを判断し、次にパーツ画像となる動画像の末尾に位置するフレームの静止画像を用いて、背景画像中のパーツ画像の位置と大きさを確定するために、背景画像中にパーツ画像を重畳した合成画像を投影した上で（ステップＳ２０６）、パーツ画像の位置と大きさを可変するための操作を受付ける（ステップＳ２０７）。

この場合も、例えば末尾のパーツ画像に対してユーザが操作部３２でカーソルキーを操作することで背景画像中のパーツ画像の位置が上下左右に移動する。また、操作部３２でズーム・アップ／ダウン・キーを操作することで、背景画像中のパーツ画像が段階的に拡大／縮小され、パーツ画像をより近くに配置するか、より遠くに配置するかを設定する。

さらに、決定のためのセットキー操作があるか否かを判断し（ステップＳ２０８）、該キー操作がなければ上記ステップＳ２０６からの処理を繰返す。

ステップＳ２０６〜Ｓ２０８の処理を繰返す過程で、背景画像中の末尾のパーツ画像の位置と、遠近の度合に基づくパーツ画像の大きさとを決定する。

そして、セットキーが操作されると上記ステップＳ２０８でそれを判断し、次に選択したパーツ画像を構成する動画の全フレーム数を定数Ｎとして設定した上で（ステップＳ２０９）、フレーム数をカウントするための変数ｉに初期値「１」を設定する（ステップＳ２１０）。

変数ｉの値が定数Ｎを超えていないことを確認する（ステップＳ２１１）。そして、上記ステップＳ２０３〜Ｓ２０８の処理で設定した動画の先頭、末尾の各パーツ画像の貼付位置と大きさから、Ｎ個の画像データから構成される動画中のｉ番目のパーツ画像の貼付け位置及び大きさを算出する（ステップＳ２１２）。

次いで、算出したパーツ画像の大きさを、元のパーツ画像の大きさを基準として拡大率を算出し、その拡大率とパーツ画像の位置から、パーツ画像までの距離を算出する（ステップＳ２１３）。

物体（パーツ画像）の大きさが変化しない場合、物体までの距離と見た目での大きさは反比例する。よって、拡大しない場合の物体までの想定距離をｓ、拡大率をｒとした場合に、物体までの距離ｐをｓ／ｒとして算出する。

次いで、この算出した距離ｐから、左右の目それぞれのずらし量を算出する（ステップＳ２１４）。
図６は、背景画像の位置を投影対象のスクリーンＳＣの位置とした場合の、パーツ画像を表す物体ＯＢの位置に応じた表現を説明する。
図６（Ａ）は、スクリーンＳＣより遠くにある物体ＯＢの表現を示す。図６（Ｂ）は、スクリーンＳＣより近くにある物体ＯＢの表現を示す。

右目用画像を右に、左目用画像を左にずらす場合を正の値とし、右目用画像を左に、左目用画像を右にずらす場合を負の値とすると、ずらし量は上記第１の実施形態と同様に、次式で表される。すなわち、
ｗ＝ｄ・(１−(ｓ／ｐ)) …(1)
（但し、ｗ：ずらし量、
ｄ：左右の目の中心位置の間隔、
ｓ：スクリーンまでの距離、
ｐ：物体までの距離。）
こうして算出した各ずらし量と設定した拡大率、位置に基づいて左右各目用の画像を作成する（ステップＳ２１５）。

このように作成された左目用画像と右目用画像を画像メモリ３３に記憶する（ステップＳ２１６）。

次に、変数ｉの値を「＋１」更新設定した上で（ステップＳ２１７）、上記ステップＳ２１１からの処理に戻る。

こうして上記ステップＳ２１１〜Ｓ２１７の処理を繰返し実行する過程で、変数ｉの値を「＋１」ずつ更新設定し、選択したパーツ画像を構成する個々の静止画像データ毎に左目用と右目用の立体画像データを作成し、画像メモリ３３に記憶していく。

そして、動画像のパーツ画像を構成する末尾の画像データを用いて立体画像データを作成し、画像メモリ３３に記憶した後、さらにステップＳ２１７で変数ｉの値を「＋１」更新設定する。

続くステップＳ２１１では更新設定した変数ｉの値が動画像の全フレーム数Ｎを超えたと判断し、以上で立体画像の合成に関する処理を終了したものとして、画像メモリ３３に記憶される全フレーム数Ｎ分の立体画像データを液晶シャッタ眼鏡方式で定められているフォーマットに従って画像加工部３４で一括した動画像データ化し、あらためて画像メモリ３３に記憶する（ステップＳ２１８）。

次いで、この画像メモリ３３に記憶した動画像データを構成する個々の静止画像データについて、左目用画像と右目用画像のデータに基づいて液晶シャッタ眼鏡方式による所定フレームレートでの立体画像の投影を実行し（ステップＳ２１９）、以上で画像データの選択から、選択した画像データに基づく立体動画像の投影までの一連の処理を終了する。

以上詳述した如く本実施形態によれば、パーツ画像として動画像のデータファイルを選択した場合に、動画像を構成する先頭の画像に対する位置及び大きさと、末尾の画像に対する位置及び大きさとを指示することにより、中間に位置する画像の位置と大きさとを自動的に算出して動画を構成する個々の立体静止画像を作成するようにしたので、ユーザの意図を正確に反映した立体の動画を投影させることができる。

また、上記実施形態では説明しなかったが、例えばパーツ画像の動画像を構成する末尾の画像に対する位置及び大きさとの指示を省略し、先頭の画像に対する位置及び大きさ側のみを指示することで、先頭画像以外の画像の位置及び大きさはその動画の動きに準じて自動的に設定することも考えられる。

このような処理とした場合、ユーザによる指示操作を大幅に簡略化でき、より気軽に動画による立体画像の投影を実現できる。

なお、上記第１及び第２の実施形態では、立体画像の投影方式として液晶シャッタ眼鏡方式を採用した場合について説明したが、本発明はこれに限らず、デュアルストリーム形式、サイドバイサイドフォーマット、トップアンドボトムフォーマット、フィールドシーケンシャルフォーマット、インタレースフォーマット等の立体画像を投影する場合にも同様に対応可能である。

また、上記実施形態はＤＬＰ（登録商標）方式のプロジェクタ装置に適用した場合について述べたが、本発明は投影方式についても限定することなく、透過型のカラー液晶パネルを用いたもの、透過型のモノクロ液晶パネルで光源に複数色の光源を時分割駆動するようにしたもの等、各種適用可能である。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

１０…データプロジェクタ装置、１１…入力部、１２…投影画像処理部、１３…ビデオメモリ、１４…投影画像駆動部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズ部、１９…Ｉｒ−ＬＥＤ、２０…Ｒ−ＬＥＤ、２１…Ｇ−ＬＥＤ、２２…Ｂ−ＬＥＤ、２３…ダイクロイックミラー、２４…インテグレータ、２５，２６…ダイクロイックミラー、２７…ミラー、２８…投影光駆動部、２９…ＣＰＵ、３０…メインメモリ、３１…プログラムメモリ、３２…操作部、３３…画像メモリ、３４…画像加工部、３５…音声処理部、３６…スピーカ部、ＳＢ…システムバス。

Claims (6)

1. 複数の２次元画像を記憶する画像記憶部と、
   上記画像記憶部から背景となる画像を選択する背景画像選択部と、
   上記背景となる画像上に合成するパーツ画像を上記画像記憶部から選択するパーツ画像選択部と、
   上記パーツ画像選択部で選択したパーツ画像の拡大率及び上記背景画像中の位置を設定する設定部と、
   上記設定部で設定した拡大率に基づいて上記パーツ画像までの距離を算出する距離算出部と、
   上記距離算出部で算出した距離に基づいて上記パーツ画像の右目用画像及び左目用画像における各ずらし量を算出するずらし量算出部と、
   上記ずらし量算出部で算出した上記パーツ画像の右目用画像及び左目用画像における各ずらし量に基づき、上記背景画像とパーツ画像とを用いて予め設定された立体画像フォーマットに従った右目用画像及び左目用画像を作成する画像加工部と、
   上記画像加工部で作成した右目用画像及び左目用画像を上記立体画像フォーマットに従って投影する投影部と
   を具備したことを特徴とする投影装置。
2. 上記設定部は、上記パーツ画像選択部で選択したパーツ画像の上記背景画像の距離位置に合致した拡大率を設定する第１の拡大率と、上記第１の拡大率を基準として、パーツ画像の配置による上記背景画像の距離位置に対応した拡大率を設定する第２の拡大率と設定することを特徴とする請求項１記載の投影装置。
3. 上記パーツ画像選択部で選択するパーツ画像は動画像であり、
   上記設定部は、動画像の時系列の先頭に位置するパーツ画像の拡大率及び位置を設定し、
   上記距離算出部は、上記先頭に位置するパーツ画像の拡大率及び位置から動画像を構成する個々のパーツ画像に関して拡大率及び位置を算出した上で距離を算出することを特徴とする請求項１記載の投影装置。
4. 上記パーツ画像選択部で選択するパーツ画像は動画像であり、
   上記設定部は、動画像の時系列の先頭に位置するパーツ画像の拡大率及び位置と末尾に位置するパーツ画像の拡大率及び位置とを設定し、
   上記距離算出部は、上記先頭に位置するパーツ画像の拡大率及び位置と末尾に位置するパーツ画像の拡大率及び位置から動画像を構成する個々のパーツ画像に関して拡大率及び位置を算出した上で距離を算出する
   ことを特徴とする請求項１記載の投影装置。
5. 複数の２次元画像を記憶する画像記憶工程と、
   上記画像記憶工程で記憶した画像中から背景となる画像を選択する背景画像選択工程と、
   上記背景となる画像上に合成するパーツ画像を上記画像記憶工程で記憶した画像中から選択するパーツ画像選択工程と、
   上記パーツ画像選択工程で選択したパーツ画像の拡大率及び上記背景画像中の位置を設定する設定工程と、
   上記設定工程で設定した拡大率に基づいて上記パーツ画像までの距離を算出する距離算出工程と、
   上記距離算出工程で算出した距離に基づいて上記パーツ画像の右目用画像及び左目用画像における各ずらし量を算出するずらし量算出工程と、
   上記ずらし量算出工程で算出した上記パーツ画像の右目用画像及び左目用画像における各ずらし量に基づき、上記背景画像とパーツ画像とを用いて予め設定された立体画像フォーマットに従った右目用画像及び左目用画像を作成する画像加工工程と、
   上記画像加工工程で作成した右目用画像及び左目用画像を上記立体画像フォーマットに従って投影する投影工程と
   を有したことを特徴とする投影方法。
6. 投影装置が内蔵したコンピュータが実行するプログラムであって、
   当該プログラムを、
   複数の２次元画像を記憶する画像記憶部、
   上記画像記憶部で記憶した画像中から背景となる画像を選択する背景画像選択部、
   上記背景となる画像上に合成するパーツ画像を上記画像記憶部で記憶した画像中から選択するパーツ画像選択部、
   上記パーツ画像選択部で選択したパーツ画像の拡大率及び上記背景画像中の位置を設定する設定部、
   上記設定部で設定した拡大率に基づいて上記パーツ画像までの距離を算出する距離算出部、
   上記距離算出部で算出した距離に基づいて上記パーツ画像の右目用画像及び左目用画像における各ずらし量を算出するずらし量算出部、
   上記ずらし量算出部で算出した上記パーツ画像の右目用画像及び左目用画像における各ずらし量に基づき、上記背景画像とパーツ画像とを用いて予め設定された立体画像フォーマットに従った右目用画像及び左目用画像を作成する画像加工部、及び
   上記画像加工部で作成した右目用画像及び左目用画像を上記立体画像フォーマットに従って投影する投影部
   として機能させるためのプログラム。

Images