JP5560964B2 - 画像処理装置、画像処理方法、投影装置及びプログラム - Google Patents

Description

本発明は、２次元画像から３次元画像を作成する画像処理装置、画像処理方法、投影装置及びプログラムに関する。

２次元画像から違和感のない３次元画像を作成するべく、例えば２次元画像の水平方向の輪郭成分を検出し、検出した輪郭成分の水平方向の最大点に応じて左目用画像と右目用画像とを作成するようにした技術が考えられている。（例えば、特許文献１）

特開２００４−３２０１８９号公報

上記特許文献に記載された技術では、矩形画像中の位置に応じて仮想の奥行き位置を設定し、あるいは画像の水平方向の輪郭成分を検出することで画像中の被写体に対する距離を設定して左目用画像と右目用画像との作成するようにしている。

しかしながら、実際に撮影される個々の画像では、予めパターン化された構図以外の構図で撮影されるものや、ピントがあっているが如実な距離感のある輪郭成分が得られないような画像、例えば日没直後の水平線の夕景画像などが多々あると思われるので、画像中の位置等により設定する奥行き位置あるいは輪郭部分の距離の内容が正しいとは限らず、却って違和感のある３次元画像となる可能性も考えられる。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、すでにある２次元画像から、違和感がなく、より自然な立体感の描写となる３次元画像を作成することが可能な画像処理装置、画像処理方法、投影装置及びプログラムを提供することにある。

請求項１記載の発明は、２次元画像を入力する画像入力部と、上記画像入力部で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出部と、上記ボケ量検出部で検出したボケ量から該当部分の被写体までの距離を推測する距離推測部と、上記距離推測部で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成部とを具備し、上記ボケ量検出部で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断部をさらに具備し、上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成することを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記第１の判断部で輪郭抽出処理により区分できると判断した領域内のボケ量から上記距離推測部が推測した被写体までの距離の範囲が、予め定めた範囲内に収まるか否かを判断する第２の判断部をさらに具備し、上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断し、且つ上記第２の判断部が予め定めた範囲内に収まると判断した領域の該当部分をずらした左右両眼用の画像を作成することを特徴とする。

請求項３記載の発明は、上記請求項１記載の発明において、上記画像入力部が入力する２次元画像は、画像撮影時の焦点距離及び開口絞り値を含む撮影条件情報を付帯し、上記距離推測部は、ボケ量と２次元画像に付帯された上記撮影条件情報により該当部分の被写体までの距離を推測することを特徴とする。

請求項４記載の発明は、２次元画像を入力する画像入力工程と、上記画像入力工程で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出工程と、上記ボケ量検出工程で検出したボケ量から該当部分の被写体までの距離を推測する距離推測工程と、上記距離推測工程で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成工程とを有し、上記ボケ量検出工程で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断工程をさらに有し、上記画像作成工程は、上記判断工程で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成することを特徴とする。

請求項５記載の発明は、２次元画像を入力する画像入力部と、上記画像入力部で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出部と、上記ボケ量検出部で検出したボケ量から該当部分の被写体までの距離を推測する距離推測部と、上記距離推測部で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成部と、上記画像作成部で作成した左右両眼用の画像を投影する投影部とを具備し、上記ボケ量検出部で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断部をさらに具備し、上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成することを特徴とする。

請求項６記載の発明は、上記請求項５記載の発明において、上記投影部が画像を投影する被投影対象までの距離を取得する距離取得部をさらに具備し、上記画像作成部は、上記距離推測部で得た距離と上記距離取得部で取得した距離とに基づいて該当部分をずらした左右両眼用の画像を作成することを特徴とする。

請求項７記載の発明は、画像処理装置が内蔵したコンピュータが実行するプログラムであって、当該プログラムを、２次元画像を入力する画像入力部、上記画像入力部で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出部、上記ボケ量検出部で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断部、上記ボケ量検出部で検出したボケ量から該当部分の被写体までの距離を推測する距離推測部、及び上記距離推測部で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成部として機能させ、上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成する。

本発明によれば、すでにある２次元画像から、違和感がなく、より自然な立体感の描写となる３次元画像を作成することが可能となる。

本発明の一実施形態に係るデータプロジェクタ装置の機能回路の構成を示すブロック図。 同実施形態に係る２次元の静止画像データを用いた立体画像投影の処理内容を示すフローチャート。 同実施形態に係る静止画像の一例を示す図。 同実施形態に係る図３の静止画像から検出したボケ量を示す図。 同実施形態に係る静止画像の一例を示す図。 同実施形態に係る図５の静止画像から検出したボケ量を示す図。 同実施形態に係る遠近感を付与するための、視差に基づくずらし量の概念を説明する図。 同実施形態に係る液晶シャッタ眼鏡方式における各投影タイミングを示すタイミングチャート。

以下本発明を、立体画像の投影を行なう、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式のデータプロジェクタ装置に適用した場合の一実施形態について図面を参照して説明する。

なお、立体画像の投影に関しては、例えば液晶シャッタ眼鏡方式の画像を作成するものとする。この液晶シャッタ眼鏡方式は、フィールドシーケンシャル方式、アクティブ・ステレオ方式とも呼称され、１フレーム分の画像を２フィールドに分けて投影するもので、第１フィールドで左目用画像を、第２フィールドで右目用画像を投影する。

例えば、可視光範囲を外れた赤外光を第１フィールドにのみ画像に重畳して投影させる。この投影に対してユーザが、液晶シャッタ眼鏡を装着する。該液晶シャッタ眼鏡側では、上記赤外光をセンサで検出して、第１フィールドでは右目側を、第２フィールドでは左目側をシャッタ動作する。したがってユーザは、意識せずに左目では左目用の画像のみを、右目では右目用画像のみを分離して見ることができる。

なお、液晶シャッタ眼鏡方式で使用する液晶シャッタ眼鏡自体は、市販の３Ｄテレビ受像機用のものがそのまま使用可能であるものとし、本実施形態では特に構成や動作等については説明を省略する。

図１は、本実施形態に係るデータプロジェクタ装置１０の機能回路の概略構成を示すブロック図である。
符号１１は入力部である。この入力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の画像／音声入力端子、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを介して、有線接続される外部機器からのアナログ値の画像信号及び音声信号を入力し、フロントエンド処理としてＡ／Ｄ変換、その他所定の処理を施してデジタル化する。

入力部１１で入力してデジタル化した各種規格の画像信号は、システムバスＳＢを介して投影画像処理部１２に送られる。

投影画像処理部１２は、入力される画像信号を投影に適した所定のフォーマットの画像信号に統一し、表示用のビデオメモリ１３に適宜書込んだ後に、書込んだ画像信号をビデオメモリ１３から読出して投影画像駆動部１４へ送る。

この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボルやガイドメッセージ等のキャラクタデータも、必要に応じて投影画像処理部１２によりビデオメモリ１３で画像信号に重畳加工され、加工後の画像信号が読出されて投影画像駆動部１４へ送られる。

投影画像駆動部１４は、送られてきた画像信号に応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、空間的光変調素子（ＳＬＭ）であるマイクロミラー素子１５を表示駆動する。

このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＸＧＡ（横１０２４画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部１６から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。この光源部１６からの原色光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。

そして、マイクロミラー素子１５での反射光で光像が形成され、形成された光像が投影レンズユニット１８を介して、投影対象となる図示しないスクリーンに投影表示される。

投影レンズユニット１８は、内部にズームレンズ及びフォーカスレンズを有し、各レンズの移動により投影画角及び合焦位置を可変可能とする。

光源部１６は、赤外光（Ｉｒ）を発する発光ダイオード（以下「Ｉｒ−ＬＥＤ１９」と称する）１９、赤色（Ｒ）光を発する発光ダイオード（以下「Ｒ−ＬＥＤ」と称する）２０、緑色（Ｇ）光を発する発光ダイオード（以下「Ｇ−ＬＥＤ」と称する）２１、及び青色（Ｂ）光を発する発光ダイオード（以下「Ｂ−ＬＥＤ」と称する）２２を有する。

Ｉｒ−ＬＥＤ１９は、他のＲ−ＬＥＤ２０、Ｇ−ＬＥＤ２１、及びＢ−ＬＥＤ２２と異なり、立体画像投影時にフィールド単位で点灯／消灯を切り替えて発光駆動される。Ｉｒ−ＬＥＤ１９の発する赤外光は、ダイクロイックミラー２３を透過した後、インテグレータ２４で輝度分布が略均一な光束とされた後に上記ミラー１７へ送られる。

Ｒ−ＬＥＤ２０の発する赤色光は、ダイクロイックミラー２５で反射された後、上記ダイクロイックミラー２３でも反射され、インテグレータ２４で輝度分布が略均一な光束とされた後に上記ミラー１７へ送られる。

Ｇ−ＬＥＤ２１の発する緑色光は、ダイクロイックミラー２６で反射された後、上記ダイクロイックミラー２５を透過し、それから上記ダイクロイックミラー２３でも反射され、上記インテグレータ２４を介して上記ミラー１７へ送られる。

Ｂ−ＬＥＤ２２の発する青色光は、ミラー２７で反射された後に上記ダイクロイックミラー２６，２５を透過し、その後に上記ダイクロイックミラー２３で反射され、上記インテグレータ２４を介して上記ミラー１７へ送られる。
上記ダイクロイックミラー２３は、赤外光を透過する一方で、赤色光、緑色光及び青色光を反射する。上記ダイクロイックミラー２５は、赤色光を反射する一方で、緑色光及び青色光を透過する。上記ダイクロイックミラー２６は、緑色光を反射する一方で、青色光を透過する。

光源部１６の各ＬＥＤ１９〜２２の発光タイミングや駆動信号の波形等を投影光駆動部２８が統括して制御する。投影光駆動部２８は、投影画像駆動部１４から与えられる画像データのタイミングと後述するＣＰＵ２９の制御に応じて上記ＬＥＤ１９〜２２の発光動作を制御する。

上記各回路の動作すべてをＣＰＵ２９が制御する。このＣＰＵ２９は、メインメモリ３０及びプログラムメモリ３１と直接接続される。メインメモリ３０は、ＤＲＡＭで構成され、ＣＰＵ２９のワークメモリとして機能する。プログラムメモリ３１は、電気的書換可能な不揮発性メモリで構成され、ＣＰＵ２９が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ２９は、上記プログラムメモリ３１に記憶されている動作プログラムや定型データ等を読出してメインメモリ３０に展開して記憶させた上で当該プログラムを実行することにより、このデータプロジェクタ装置１０を統括して制御する。

上記ＣＰＵ２９は、操作部３２からのキー操作信号に応じて各種投影動作を実行する。
この操作部３２は、データプロジェクタ装置１０の本体に設けられるキー操作部と、このデータプロジェクタ装置１０専用の図示しないリモートコントローラからの赤外光を受光するレーザ受光部とを含む。操作部３２は、ユーザが本体のキー操作部またはリモートコントローラで操作したキーに基づくキー操作信号をＣＰＵ２９へ直接出力する。

本体のキー操作部またはリモートコントローラには、具体的には、電源キー、入力切換キー、フォーカス・アップ／ダウン・キー、ズーム・アップ／ダウン・キー、メニューキー、カーソル（「↑」「↓」「←」「→」）キー、セットキー、キャンセルキー、台形補正キー等が備えられる。

上記ＣＰＵ２９はさらに、上記システムバスＳＢを介して画像メモリ３３、画像加工部３４、及び音声処理部３５と接続される。
画像メモリ３３は、上記入力部１１を介して送られてきた各種画像データを複数記憶可能な記憶容量を有する。画像加工部３４は、ＣＰＵ２９の制御の下に、画像メモリ３３に記憶される画像データに対する、立体画像投影用のデータ作成を含む画像加工処理を行なう。

音声処理部３５は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ部３６を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。

次に上記実施形態の動作について説明する。
なお、上述した如く、マイクロミラー素子１５で表示する画像を投影画像処理部１２がビデオメモリ１３を用いて作成し、作成した画像を投影画像駆動部１４がマイクロミラー素子１５で表示し、マイクロミラー素子１５での表示に合わせてＬＥＤ１９〜２２を投影光駆動部２８が発光駆動する。

これら投影画像処理部１２、ビデオメモリ１３、投影画像駆動部１４、及び投影光駆動部２８は、いずれもＣＰＵ２９の制御の下に動作する。ＣＰＵ２９は、以下に示す処理も含め、プログラムメモリ３１に記憶されている動作プログラムや固定データ等を読出してメインメモリ３０に展開した上で制御処理を実行する。
また、画像メモリ３３が記憶する画像データに対する立体画像データ化するための各種処理は、ＣＰＵ２９の制御の下に画像加工部３４が実行する。

図２は、データプロジェクタ装置１０が投影状態に設置されている状態で、入力部１１から入力され、画像メモリ３３に記憶された２次元の静止画像データを用いて、立体画像の投影を行なう場合の一連の処理内容を示すフローチャートである。

その処理当初には、画像メモリ３３に記憶される静止画像データ中から、立体化の対象となる画像データがユーザにより選択されるのを受付ける（ステップＳ１０１）。

この場合、例えば画像メモリ３３に記憶されるすべての静止画像データのサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するような文字列によるガイドメッセージを添えて投影する。

この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている画像を立体化の対象として決定する。
こうして対象となる静止画像の選択を終えると、次にその選択した静止画像データに対するボケ量の検出を行なう（ステップＳ１０２）。

ボケ量検出に際しては、まず対象の画像に対するぼかし処理を行なう。ぼかし処理は、例えば次の式

にあるようなガウスぼかしや、より簡易には次の表

にあるようなテーブルを用いた行列演算により画素毎に隣接する周囲の画素値を用いたぼかし処理を実行することで比較的容易に算出することができる。

上記のようなぼかし処理を行なった結果と元の画像との差分をとることで、元の画像のボケ量が画素毎に検出できる。
図３は、上記ステップＳ１０１において選択された、第１の静止画像データを例示する。この図３の静止画像に対してボケ検出を行なった結果が図４に示すようになる。
図４では、ボケ量の多い画素ほど黒く、反対にボケ量の少ない画素ほど白くなるように白黒画像として表現している。図４からも、図３の画像の下側水平方向の帯状の領域が被写界深度内にあってピントが合っていることがわかる。そして、画像のより上に位置する領域ほど、被写界深度から外れてボケ量が多くなっていることがわかる。

また、図３の静止画像では被写体である「多くの花」の形状から、図４のボケ量検出のための画像でも、被写界深度内にある、ピントの合った「花」の形状が細かく入り組んでいることから、輪郭抽出処理を行なっても、周囲画像からある程度の大きさの輪郭で囲まれた被写体範囲を切出して区分することができない点が理解できる。

上記図３の第１の静止画像データとは別に、例えば図５に示すような「二人の女の子」のみを切出して配置したような静止画像データがあった場合、その図５の静止画像に対してボケ検出を行なった結果が図６に示すようになる。

図６でも上記図４と同様、ボケ量の多い画素ほど黒く、反対にボケ量の少ない画素ほど白くなるように白黒画像として表現している。図６では、画像左側に位置する「大きい女の子」の領域が相対的にピントが合っているのに比して、画像右側に位置する「小さい女の子」の領域では被写界深度から外れてボケ量が多くなっていることがわかる。

また、図５の静止画像では矩形の画像中で被写体である「二人の女の子」以外の被写体が写っていないことから、図６のボケ量検出のための画像では、輪郭抽出処理を行なうことで、周囲画像からある程度の大きさの輪郭で囲まれた２つの被写体範囲をそれぞれに切出して区分することができる点が理解できる。
上記図４及び図６のように、ボケ量検出のために取得した差画像をエッジ画像と呼称することとする。

上記の如く画像を構成する画素毎にボケ量を検出すると、次に検出した各ボケ量から、画像中の各位置までの距離を推測して設定する（ステップＳ１０３）。

例えば、上記図３で示した画像では、画像下端側に位置する花で最もボケ量の少ない鮮鋭な画素部分までの距離を「１［ｍ］」、画像上端側の一様に大きくぼけている画素部分までの距離を「∞（無限遠）」と推測して設定するものとする。

また上記図５で示した画像では、画像中の左側に位置する「大きい女の子」の区分領域でボケ量の少ない部分までの距離を例えば「３［ｍ］」、画像右側に位置する「小さい女の子」の区分領域でボケ量の少ない部分までの距離を例えば「５［ｍ］」と推測して設定するものとする。

上記距離の推測に際しては、各静止画像データに撮影条件データが付帯されている場合に、焦点距離情報と絞り値情報、及びマクロ撮影の有無を示す情報等を参照して距離範囲を推測して設定するものとしても良い。

次に、上記投影レンズユニット１８を構成する複数の光学レンズ中、その時点のフォーカスレンズの駆動位置から、合焦位置にある筈のスクリーンＳＣまでの距離を、図示しないレンズ駆動モータとその回動位置を検出するロータリエンコーダ等により検出する（ステップＳ１０４）。

次いで、対象となる静止画像データに対する輪郭抽出処理を行ない、周囲画像からある程度の大きさの輪郭で囲まれた被写体範囲を切出して区分することができるか否かを画像中に占める面積比等により検討し（ステップＳ１０５）、その検討結果を判断する（ステップＳ１０６）。

ここで上記図３の静止画像データの例のように、被写体範囲を切出して区分することができないと判断すると、上記ステップＳ１０３で推測した各画素位置毎の距離と、上記ステップＳ１０４で取得した投影対象のスクリーンまでの距離とにより、画像を構成する各画素毎に左目用画像と右目用画像のずらし量を算出する（ステップＳ１１０）。
図７は、スクリーン位置を基準とした場合の静止画像中の各画素を表す物体ＯＢの位置に応じた表現を説明する。
図７（Ａ）は、スクリーンＳＣより遠くにある物体（画素）ＯＢの表現を示す。図７（Ｂ）は、スクリーンＳＣより近くにある物体（画素）ＯＢの表現を示す。

右目用画像を右に、左目用画像を左にずらす場合を正の値とし、右目用画像を左に、左目用画像を右にずらす場合を負の値とすると、ずらし量は次式で表される。すなわち、
ｗ＝ｄ・(１−(ｓ／ｐ)) …(2)
（但し、ｗ：ずらし量、
ｄ：左右の目の中心位置の間隔、
ｓ：スクリーンまでの距離、
ｐ：物体までの距離。）
こうして各画素毎に算出したずらし量に基づいて左右各目用の画像を作成する（ステップＳ１１１）。

このように作成された左目用画像と右目用画像を、上述した液晶シャッタ眼鏡方式で定められているフォーマットに従って画像加工部３４で画像データ化し、画像メモリ３３に記憶する（ステップＳ１１２）。

次いで、この画像メモリ３３に記憶した左目用画像と右目用画像の各画像データに基づいて液晶シャッタ眼鏡方式による立体画像の投影を実行し（ステップＳ１１３）、以上で静止画像データの選択から選択した画像データに基づく立体画像の投影までの一連の処理を終了する。

図８は、液晶シャッタ眼鏡方式において光源部１６とマイクロミラー素子１５、及び投影レンズユニット１８を含む投影系での各投影タイミングを示す。上述した如く液晶シャッタ眼鏡方式では、１フレーム分の画像を２フィールドに分け、第１フィールドで左目用画像を、第２フィールドで右目用画像を投影する。

図８（Ａ）は、１フレーム２フィールド中の第１フィールドのみ点灯するＩｒ−ＬＥＤ１９の発光駆動波形を示す。このＩｒ−ＬＥＤ１９の発する赤外光が画像光に重畳されて投影レンズユニット１８より出射されることで、ユーザの使用する液晶シャッタ眼鏡（図示せず）側に設けられた赤外線センサがその赤外線を検出し、左目用画像と右目用画像の切換えが行なわれる。

Ｒ−ＬＥＤ２０、Ｇ−ＬＥＤ２１、及びＢ−ＬＥＤ２２は、図８（Ｂ）〜図８（Ｄ）に示すように各フィールド内において時分割で順次発光する。

これら原色ＬＥＤ２０〜２２の発光に同期してマイクロミラー素子１５で図８（Ｅ）に示すように第１フィールドで左目用の赤色（Ｒ）画像、緑色（Ｇ）画像、及び青色（Ｂ）画像を、第２フィールドで右目用の赤色（Ｒ）画像、緑色（Ｇ）画像、及び青色（Ｂ）画像を循環的に表示することで、それらの各反射光により光像が形成され、投影レンズユニット１８によってスクリーンＳＣに投影される。

また、上記ステップＳ１０６である程度の大きさの輪郭で囲まれた被写体範囲を切出して区分することができると判断した場合には、次にその区分できると判断した被写体範囲内で最も近い位置にあると推測した距離と、同範囲内で最も遠い位置にあると推測した距離との差が、予め設定したしきい値内に収まっているか否かにより、当該区分範囲の画像を一括して取扱うか否かを判断する（ステップＳ１０７）。

ここで同範囲内で最も遠い位置にあると推測した距離との差が、予め設定したしきい値を超えていると判断した場合には、当該区分範囲の画像を一括して取扱うものとして一律の距離に基づいた立体画像を作成すると、却って不自然で違和感を生じる立体画像となる可能性が高いため、そのまま上記ステップＳ１１０に進んで、上記ステップＳ１０３で推測した各画素位置毎の距離と、上記ステップＳ１０４で取得した投影対象のスクリーンまでの距離とにより、画像を構成する各画素毎に左目用画像と右目用画像のずらし量を算出する（ステップＳ１１０）。

そして、上記ステップＳ１１１で各画素毎に算出したずらし量に基づいて左右各目用の画像を作成し、上記ステップＳ１１２で作成された左目用画像と右目用画像を、上述した液晶シャッタ眼鏡方式で定められているフォーマットに従って画像加工部３４で画像データ化し、画像メモリ３３に記憶した後、ステップＳ１１３でそれら左目用画像と右目用画像の各画像データに基づいて液晶シャッタ眼鏡方式による立体画像の投影を実行し、以上で静止画像データの選択から選択した画像データに基づく立体画像の投影までの一連の処理を終了する。

また、上記ステップＳ１０７で区分できると判断した被写体範囲内で最も近い位置にあると推測した距離と、同範囲内で最も遠い位置にあると推測した距離との差が、予め設定したしきい値内に収まっていると判断した場合には、当該区分範囲の画像を一括して取扱うものとして一律の距離に基づいた立体画像を作成しても、不自然さはなく、違和感を生じる立体画像とはならないものと判断する。

したがって、当該区分範囲内を代表となる距離値、例えば上記最も近い位置にあると推測した距離と最も遠い位置にあると推測した距離との中間値を用い、上記ステップＳ１０４で取得した投影対象のスクリーンまでの距離とにより、画像を構成する各画素毎に左目用画像と右目用画像のずらし量を算出する（ステップＳ１０８）。

静止画像中に区分できると判断した被写体範囲が複数ある場合には、その区分範囲毎に代表となる距離値を用い、画像を構成する各画素毎に左目用画像と右目用画像のずらし量を算出する。

その後、算出したずらし量に基づいて左右各目用の画像を作成する（ステップＳ１０９）。

このように作成された左目用画像と右目用画像を、上述した液晶シャッタ眼鏡方式で定められているフォーマットに従って画像加工部３４で画像データ化し、画像メモリ３３に記憶する（ステップＳ１１２）。

次いで、この画像メモリ３３に記憶した左目用画像と右目用画像の各画像データに基づいて液晶シャッタ眼鏡方式による立体画像の投影を実行し（ステップＳ１１３）、以上で静止画像データの選択から選択した画像データに基づく立体画像の投影までの一連の処理を終了する。

以上詳述した如く本実施形態によれば、すでにある２次元画像から、各画素のボケ量に基づいて被写体までの距離を推測して３次元画像を作成するものとしたので、違和感がなく、より自然で正確な立体感の描写となる３次元画像を得ることができる。

また上記実施形態では、ボケ量検出結果のエッジ画像に対する輪郭抽出処理を施すことで、区分できる領域の有無を判断し、区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成するものとしたので、視覚的に注目しやすい範囲を取り纏めて立体画像化することにより、画像の立体化効果を如実に体感できる。

加えて上記実施形態では、上記輪郭抽出により区分できると判断した領域内でも、推測した距離の差が一定以上ある場合には、あえて一律な距離にあるものとしての立体化を行わないものとした。

これにより、一律な距離感を付与することで却って不自然で違和感を生じると思われる被写体の区分領域では、より自然な描写での立体感が得られるようになる。

さらに上記実施形態では、検出したボケ量から当該位置までの距離を推測するに当たって、画像データに付帯される撮影条件の情報、具体的には焦点距離や開口絞り値を参照して距離を推測するものとしたので、より正確な距離感を付与して自然な描写での立体感が得られるようになる。

また上記実施形態は、本発明を投影装置に適用した場合について説明し、投影対象のスクリーンまでの距離を取得し、その取得した距離を基準として画像に付与する立体感を調整するものとした。

これにより、投影内容を観賞するユーザにとって画像の立体感がきわめて自然であり、違和感のない描写とすることができる。

さらに上記実施形態では、１つの２次元静止画像データについて左目用画像と右目用画像とを作成して３次元の画像を作成する場合について説明したが、例えば上記図３に示した静止画像データと上記図５で示した静止画像データとについてそれぞれボケ量を検出して距離を推測した後、その推測した距離から、図３の画像を背景として図５の画像を上に合成するような画像合成を行なうことも考えられる。

このように、２枚の２次元画像の当該合成時に、推測した各距離に応じた立体感を付与することで、背景とその背景中に合成された被写体とを自然な立体感を有するものとして描写することも可能である。

なお、上記実施形態では、立体画像の投影方式として液晶シャッタ眼鏡方式を採用した場合について説明したが、本発明はこれに限らず、デュアルストリーム形式、サイドバイサイドフォーマット、トップアンドボトムフォーマット、フィールドシーケンシャルフォーマット、インタレースフォーマット等の立体画像を投影する場合にも同様に対応可能である。

また、上記実施形態はＤＬＰ（登録商標）方式のプロジェクタ装置に適用した場合について述べたが、本発明は投影方式についても限定することなく、透過型のカラー液晶パネルを用いたもの、透過型のモノクロ液晶パネルで光源に複数色の光源を時分割駆動するようにしたもの等、各種適用可能である。

さらには投影装置に限定することなく、立体画像を生成して表示するような各種画像表示機能を有する電子装置、例えばパーソナルコンピュータやテレビ受像機、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤや電子ブック、携帯電話端末、メディアプレーヤ等でも適用することが可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

１０…データプロジェクタ装置、１１…入力部、１２…投影画像処理部、１３…ビデオメモリ、１４…投影画像駆動部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズユニット、１９…Ｉｒ−ＬＥＤ、２０…Ｒ−ＬＥＤ、２１…Ｇ−ＬＥＤ、２２…Ｂ−ＬＥＤ、２３…ダイクロイックミラー、２４…インテグレータ、２５，２６…ダイクロイックミラー、２７…ミラー、２８…投影光駆動部、２９…ＣＰＵ、３０…メインメモリ、３１…プログラムメモリ、３２…操作部、３３…画像メモリ、３４…画像加工部、３５…音声処理部、３６…スピーカ部、ＳＢ…システムバス。

Claims (7)

1. ２次元画像を入力する画像入力部と、
   上記画像入力部で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出部と、
   上記ボケ量検出部で検出したボケ量から該当部分の被写体までの距離を推測する距離推測部と、
   上記距離推測部で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成部と
   を具備し、
   上記ボケ量検出部で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する第１の判断部をさらに具備し、
   上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成する
   ことを特徴とする画像処理装置。
2. 上記第１の判断部で輪郭抽出処理により区分できると判断した領域内のボケ量から上記距離推測部が推測した被写体までの距離の範囲が、予め定めた範囲内に収まるか否かを判断する第２の判断部をさらに具備し、
   上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断し、且つ上記第２の判断部が予め定めた範囲内に収まると判断した領域の該当部分をずらした左右両眼用の画像を作成する
   ことを特徴とする請求項１記載の画像処理装置。
3. 上記画像入力部が入力する２次元画像は、画像撮影時の焦点距離及び開口絞り値を含む撮影条件情報を付帯し、
   上記距離推測部は、ボケ量と２次元画像に付帯された上記撮影条件情報により該当部分の被写体までの距離を推測する
   ことを特徴とする請求項１記載の画像処理装置。
4. ２次元画像を入力する画像入力工程と、
   上記画像入力工程で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出工程と、
   上記ボケ量検出工程で検出したボケ量から該当部分の被写体までの距離を推測する距離推測工程と、
   上記距離推測工程で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成工程と
   を有し、
   上記ボケ量検出工程で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断工程をさらに有し、
   上記画像作成工程は、上記判断工程で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成する
   ことを特徴とする画像処理方法。
5. ２次元画像を入力する画像入力部と、
   上記画像入力部で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出部と、
   上記ボケ量検出部で検出したボケ量から該当部分の被写体までの距離を推測する距離推測部と、
   上記距離推測部で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成部と、
   上記画像作成部で作成した左右両眼用の画像を投影する投影部と
   を具備し、
   上記ボケ量検出部で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断部をさらに具備し、
   上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成する
   ことを特徴とする投影装置。
6. 上記投影部が画像を投影する被投影対象までの距離を取得する距離取得部をさらに具備し、
   上記画像作成部は、上記距離推測部で得た距離と上記距離取得部で取得した距離とに基づいて該当部分をずらした左右両眼用の画像を作成する
   ことを特徴とする請求項５記載の投影装置。
7. 画像処理装置が内蔵したコンピュータが実行するプログラムであって、
   当該プログラムを、
   ２次元画像を入力する画像入力部、
   上記画像入力部で入力した２次元画像を構成する部分のボケ量を検出するボケ量検出部、
   上記ボケ量検出部で検出したボケ量から輪郭抽出処理により区分できる領域の有無を判断する判断部、
   上記ボケ量検出部で検出したボケ量から該当部分の被写体までの距離を推測する距離推測部、及び
   上記距離推測部で得た距離に基づいて該当部分をずらした左右両眼用の画像を作成する画像作成部
   として機能させ、
   上記画像作成部は、上記第１の判断部で輪郭抽出処理により区分できると判断した領域の該当部分をずらした左右両眼用の画像を作成する
   ためのプログラム。

Images