JP4701774B2 - 撮影装置、画像撮影方法及び画像撮影プログラム - Google Patents

Description

本発明は、画像投影装置（プロジェクタ）などによって投影される画像を撮影するための撮影装置、画像撮影方法、及び画像撮影プログラムに関する。

近年、プレゼンテーションや会議等においては、パーソナルコンピュータ（ＰＣ）にデータとして記憶してあるドキュメント（文字や図表等）をプロジェクタ（画像投影装置）を用いてスクリーン上に拡大して投影する撮像投影システムが用いられている。

また、会議等でプロジェクタを使用する場合には、ＰＣに記憶されたデータ以外にも手持ちの書面資料（新聞、雑誌の記事、プレゼン用紙、書面原稿等）を投影することもある。従来では、書画カメラ等の撮影装置により書面資料を撮影することでデジタル（画像データ）化し、この画像データをプロジェクタに送信することで投影している（例えば特許文献１参照）。
特開２００４−３６３７３６号公報

このように書面資料を書画カメラで撮影してプロジェクタにより投影する場合には、元の被写体が平面であるため撮影された二次元画像をそのまま投影しても何ら問題はない。

一方、平面的な書面資料ではなく、立体的な物体を書画カメラにより撮影してプロジェクタにより投影したいという要求がある。しかしながら、従来の撮像投影システムでは、書画カメラにより撮影された画像を書面資料を撮影した場合と同様に、二次元な被写体を撮影した画像として投影しているに過ぎない。

従って、プロジェクタにより投影された画像が、立体的な被写体を投影したものか、あるいは立体的な物体を撮影した写真などを投影したものか区別がつかなかった。このため、従来では、プレゼンテーションや会議等において、立体的な物体をプロジェクタにより投影して、その形状などを説明するといったことが困難となっていた。

本発明の課題は、撮影した被写体が立体的な被写体である場合に、その被写体の画像を三次元的に見えるような画像として出力することが可能な撮影装置、画像撮影方法、及び画像撮影プログラムを提供することにある。

請求項１記載の発明は、被写体を撮影する撮影手段と、撮影範囲内において複数位置で距離を検出する第１の距離検出手段と、前記第１の距離検出手段によって検出された複数位置での距離をもとに、前記撮影範囲内において立体的な被写体が存在する範囲を判別する判別手段と、前記判別手段により判別された範囲内において距離検出を前記第１の距離検出手段による距離検出時よりも細分化された複数位置で行い、前記立体的な被写体の複数の部分に対する距離を検出する第２の距離検出手段と、前記第２の距離検出手段によって検出された前記被写体の各部分までの距離に応じて、前記撮影手段によって撮影された被写体の画像を補正する補正手段と、前記補正手段によって補正された画像を出力する画像出力手段とを具備したことを特徴とする。
請求項２記載の発明は、請求項１記載の発明において、前記判別手段が、前記第１の距離検出手段によって検出された複数位置での距離の差をもとに、前記撮影範囲内に存在する被写体が立体的であるか否かを判別する第１の判別手段と、前記第１の判別手段によって前記被写体が立体的であると判別された場合に、前記第１の距離検出手段によって検出された複数位置での距離をもとに、前記撮影範囲内において前記被写体が存在する範囲を判別する第２の判別手段とを含むことを特徴とする。

請求項３記載の発明は、請求項１又は２記載の発明において、前記補正手段は、前記第２の距離検出手段によって検出された距離が近い部分ほど明度を高くするように前記画像を補正することを特徴とする。

請求項４記載の発明は、請求項１又は２記載の発明において、前記補正手段は、前記第２の距離検出手段により検出された最も近い距離と遠い距離との中間位置を算出する中間位置算出手段を有し、前記中間位置算出手段により算出された中間位置より、前記第２の距離検出手段によって検出された距離が近い部分ほど明度を高くするようにし、前記第２の距離検出手段によって検出された距離が遠い部分ほど明度を低くするように前記画像を補正することを特徴とする。

請求項５記載の発明は、請求項１乃至４の何れか一項に記載の発明において、前記第１の距離検出手段は、コントラスト方式によるオートフォーカス機能を利用して距離を検出することを特徴とする。

請求項６記載の発明は、請求項１乃至５の何れか一項に記載の発明において、前記第２の距離検出手段は、コントラスト方式によるオートフォーカス機能を利用して距離を検出することを特徴とする。

請求項７記載の発明は、被写体を撮影する撮影工程と、撮影範囲内において複数位置で距離を検出する第１の距離検出工程と、前記第１の距離検出工程によって検出された複数位置での距離をもとに、前記撮影範囲内において立体的な被写体が存在する範囲を判別する判別工程と、前記判別工程により判別された範囲内において距離検出を前記第１の距離検出工程による距離検出時よりも細分化された複数位置で行い、前記立体的な被写体の複数の部分に対する距離を検出する第２の距離検出工程と、前記第２の距離検出工程によって検出された前記被写体の各部分までの距離に応じて、前記撮影工程によって撮影された被写体の画像を補正する補正工程と、前記補正工程によって補正された画像を出力する画像出力工程とを具備したことを特徴とする。

請求項８記載の発明は、コンピュータを、被写体を撮影する撮影手段と、撮影範囲内において複数位置で距離を検出する第１の距離検出手段と、前記第１の距離検出手段によって検出された複数位置での距離をもとに、前記撮影範囲内において立体的な被写体が存在する範囲を判別する判別手段と、前記判別手段により判別された範囲内において距離検出を前記第１の距離検出手段による距離検出時よりも細分化された複数位置で行い、前記立体的な被写体の複数の部分に対する距離を検出する第２の距離検出手段と、前記第２の距離検出手段によって検出された前記被写体の各部分までの距離に応じて、前記撮影手段によって撮影された被写体の画像を補正する補正手段と、前記補正手段によって補正された画像を出力する画像出力手段として機能させることを特徴とする。

請求項１，７，８記載の発明によれば、被写体に対して複数部分で距離を検出し、各部分までの距離に応じて画像に対して補正することができるので、被写体が立体的である場合に、その凹凸形状に応じた部分的な画像処理を施すことで、二次元画像を被写体が立体的に見える三次元的な画像に変換することができる。しかも、被写体に対しての複数部分での距離検出は、立体的な被写体が存在すると判別された範囲を対象とし、且つ、立体的な被写体の存在範囲を判別する際の距離検出時よりも細分化された複数位置で行う構成であるので、つまり、立体的な被写体が存在すると判別された範囲のみを立体的な被写体の存在範囲を判別する際の距離検出時よりも高い密度で距離検出する構成であるので、撮影範囲全体を同程度の密度で行う構成に比べて、処理に要する時間を短縮することができる。
請求項２記載の発明によれば、請求項１の発明の効果に加えて、被写体が立体的であった場合にのみその存在範囲を判別するので、立体的な被写体が存在する範囲を判別する処理を軽減することができる。

請求項３記載の発明によれば、請求項１の発明の効果に加えて、被写体までの距離に応じた補正をする場合に、距離が近い部分ほど明度を高くするようにすることで、被写体を立体的に見えるように画像を補正することができる。

請求項４記載の発明によれば、請求項１の発明の効果に加えて、被写体に対して検出された距離の最も近い部分と遠い部分との中間位置を基準として、明度を明るくする範囲と暗い範囲とを分けることで明度を変更する幅を少なくすることができ、補正による元画像からの変化が少なくても立体化を表現することができる。

請求項５及び６記載の発明によれば、請求項１の発明の効果に加えて、通常の撮影時に動作するコントラスト方式によるオートフォーカス機能を利用することで、位置検出のための特別な機構を設ける必要がない。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるシステムの構成を示す図である。図１は、本発明を書画カメラ装置、パーソナルコンピュータ（ＰＣ）、及びデータプロジェクタ装置からなる撮像投影システムに適用した例を示している。

図１に示す撮像投影システムは、書画カメラ装置１（撮影装置）とＰＣ２とがＵＳＢ（Universal Serial Bus）ケーブル４で接続され、書画カメラ装置１でその書画台１ａ上に載置された被写体の画像が常時撮影され、デジタル値の画像信号としてＵＳＢケーブル４を介し、アイソクロナス転送によりリアルタイムにＰＣ２に送られる。本実施形態の撮像投影システムでは、平面的な書面資料だけでなく立体的な物体を撮影して、これを立体的に見える画像にして投影することができる。

ＰＣ２は、書画カメラ装置１に付属している記録媒体、例えばＣＤ−ＲＯＭ６によりこの書画カメラ装置１用のドライブプログラムを予めインストールしており、同プログラムを実行することにより、書画カメラ装置１から送られてくる画像信号に対応したアナログ値の画像信号を生成し、ＲＧＢケーブル５を介してデータプロジェクタ装置３へ送出する。

データプロジェクタ装置３は、例えばマイクロミラー素子を用いて送られてきた画像信号に対応する光像を形成し、投影対象となるスクリーンに各種画像を投影表示する。

図２は、書画カメラ装置１の回路構成を示すものである。同図で、被写体画像の撮影時に、モータ（Ｍ）１１の駆動によりズーム画角や絞り位置等が移動される、レンズ光学系１２（ズームレンズ、フォーカスレンズ、絞り等を含む）の撮影光軸後方に撮像素子であるＣＣＤ１３が配置される。ＣＣＤ１３は、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータに変換され、カラープロセス回路１８で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ信号）が生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。

ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送を行なう。

制御部２２は、輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。

デジタルビデオエンコーダ２５は、輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部２６に出力する。

表示部２６は、モニタ表示部（電子ファインダ）として機能し、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像（スルー画像）をリアルタイムに表示することになる。

制御部２２は、キー入力部２７から、あるいはＵＳＢインタフェース２９を介してＰＣ２から撮影指示を受信すると、その時点でＣＣＤ１３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送を取り止め、あらためて適正な露出条件に従った絞り値及びシャッタ速度と解像度でＣＣＤ１３を走査駆動して１フレーム分の輝度及び色差信号を得てＤＲＡＭ２１へ転送する。

１フレーム分の画像データがＤＲＡＭ２１にＤＭＡ転送されて書込まれた後、制御部２２は、ＤＲＡＭ２１に書込まれている１フレーム分の画像データを読出して画像処理部３０に転送する。画像処理部３０は、画像データに対して、ＪＰＥＧ（Joint Photographic Experts Group）により画像データを符号化して内蔵メモリ２８に記憶する。なお、符号化された画像データは、カメラ装置１の記録媒体として着脱自在に装着されている不揮発性の内蔵メモリ２８（あるいは図示せぬ着脱可能なメモリカード）に記憶させることもできる。

内蔵メモリ２８に記録された圧縮後の画像データは、必要に応じて読み出され、いったん復号化されてＤＲＡＭ２１に記憶された後、ＶＲＡＭ２４に転送されて静止画像として再生表示されたり、ＰＣ２へ出力されたりする。ＰＣ２へ出力する場合、制御部２２は、ＤＲＡＭ２１に記憶された画像データを読出し、ＵＳＢインタフェース（Ｉ／Ｆ）２９へ送出する。ＵＳＢインタフェース２９は、画像データをＵＳＢ規格に則ってＵＳＢケーブル４を介してＰＣ２に送出する。

また、画像処理部３０は、後述する三次元画像モードが設定された場合に、画像データに対して被写体が立体的に見えるようにするための画像処理を実行する。画像処理部３０により実行される画像処理には、例えば画像（被写体）の各部分に対する明度の補正、被写体とその周辺（背景）との境界（輪郭）を強調するための画像補正などがある。なお、被写体が立体的に見えるようにするための画像処理は、前述に限るものではなく、彩度や色を変更する補正や、さらに仮想的な光源を設定して、この光源による影を表すように画像を補正するなど、他の手法を用いることも可能である。

次に、図３によりＰＣ２の構成について説明する。図３は、ＰＣ２のハードウェア構成を示すものであり、各種処理制御を司るＣＰＵ３１とフロントサイドバスＦＳＢを介してノースブリッジ３２が接続される。

ノースブリッジ３２は、さらにメモリバスＭＢを介してメインメモリ３３と、またグラフィクスインタフェースＡＧＰを介してグラフィックコントローラ３４及びグラフィックメモリ３５と接続される他、サウスブリッジ３６とも接続され、主としてこれらの間での入出力制御を実行する。

サウスブリッジ３６は、ＰＣＩバス３７、キーボード／マウス３８、ビデオエンコーダ３９、ＵＳＢインタフェース４０、マルチＣＤドライブ４１、ハードディスク装置（ＨＤＤ）４２と接続され、主としてこれら周辺回路とノースブリッジ３２との間の入出力制御を行なう。

なお、これらＰＣ２を構成する個々の要素は、きわめて一般的な技術であるのでその説明は省略するものとする。

なお、ビデオエンコーダ３９は、与えられたデジタル値の画像信号からアナログ値の画像信号であるＲＧＢビデオ信号を生成して出力する。

ＨＤＤ４２は、ＯＳ（オペレーティングシステム）や各種アプリケーションプログラム、データファイルと共に、マルチＣＤドライブ４１に上記ＣＤ−ＲＯＭ６を装着してインストールした書画カメラ装置１用のドライブプログラムを予め記憶している。

次に、図４を用いてデータプロジェクタ装置３の回路構成について説明する。
図中、入出力コネクタ部５１より入力されたＲＧＢビデオ信号を含む各種規格の画像信号が、入出力インタフェース（Ｉ／Ｆ）５２、システムバスＳＢを介して画像変換部５３で所定のフォーマットの画像信号に統一された後に、ＲＡＭ７１に記憶される。また、画像変換部５３により、ＲＡＭ７１に記憶された画像信号に対して明度の補正などを含む各種の画像処理を実行し、その画像処理した後の画像信号をＲＡＭ７１に記憶させることができる。

ＲＡＭ７１に記憶された画像信号は、投影エンコーダ５４へ送られる。投影エンコーダ５４は、送られてきた画像信号をビデオＲＡＭ５５に展開記憶させた上でこのビデオＲＡＭ５５の記憶内容からビデオ信号を生成して投影駆動部５６に出力する。

投影駆動部５６は、送られてきた画像信号に対応して適宜フレームレート、例えば例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動で空間的光変調素子（ＳＯＭ）である例えばマイクロミラー素子５７を表示駆動する。

このマイクロミラー素子５７に対して、リフレクタ５８内に配置された光源ランプ５９が出射する高輝度の白色光を、カラーホイール６０を介して適宜原色に着色し、インテグレータ６１、ミラー６２を介して照射することで、その反射光で光像が形成され、投影レンズ６３を介してここでは図示しないスクリーンに投影表示される。

しかるに、光源ランプ５９の点灯駆動と、カラーホイール６０を回転駆動するモータ（Ｍ）６４はいずれも投影光処理部６５からの供給電圧値に基づいて動作する。

上記各回路のすべての動作制御を司るのが制御部６６である。この制御部６６は、ＣＰＵと、後述する投影動作、撮影動作の処理を含む該ＣＰＵで実行される動作プログラムを記憶した不揮発性メモリ、及びワークメモリ等により構成される。また、各種メニュー表示用の画像データが記憶されている。

制御部３５にはまた、システムバスＳＢを介して音声処理部６７が接続される。
音声処理部６７は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ６８を駆動して拡声放音し、あるいは必要によりビープ音を発生させる。

なお、このデータプロジェクタ装置３に備えられるキースイッチ部６９における各キー操作信号が直接制御部６６に入力されると共に、Ｉｒ受信部７０からの信号も直接入力される。このＩｒ受信部７０は、データプロジェクタ装置３の前面及び背面にそれぞれ設けられるもので、その赤外光受信信号をコード信号化して制御部６６に送出する。

次に、本実施形態における書画カメラ装置１における処理動作について、図５に示すフローチャートを参照しながら説明する。

なお、本実施形態における書画カメラ装置１は、基本的に書画台１ａ上の被写体を継続的（あるいは一定時間（例えば１秒）毎）に撮影してリアルタイムに画像データをＰＣ２に出力するスルー撮影モード、あるいはＰＣ２またはキー入力部２７に対する操作により入力される撮影指示に応じて書画台１ａ上の被写体を撮影し、次の新たな撮影指示が入力されるまでは撮影した画像データを出力する静止撮影モードによる動作が可能であるものとする。何れの撮影モードにより撮影を実行するかは、例えばモード設定機能において、ユーザ操作に応じて予め設定可能とする。

書画台１ａには、データプロジェクタ装置３により画像を投影しようとする被写体が載置される。基本的には、書画カメラ装置１は、書画台１ａの中央部分が撮影範囲の中心となるように設定されているものとする。従って、被写体についても書画台１ａの中央部分に載置されることが基本的に要求されるものとする。

まず、書画カメラ装置１は、予め設定されている複数の被写体立体判別用エリアのそれぞれについて、そのエリアにおける対象物との距離を検出し（ステップＡ１）、各エリアについて検出された距離を記憶しておく（ステップＡ２）。

図６には、書画カメラ装置１の撮影範囲内において設定される被写体立体判別用エリアの一例を示している。図６に示す例では、撮影範囲の中央部分に、マトリクス状に配置された複数の被写体立体判別用エリアが設定されている。

書画カメラ装置１は、各被写体立体判別用エリアについて、例えばコントラスト方式によるＡＦ（オートフォーカス）機能により対象物までの距離を検出するものとする。

コントラスト方式によるＡＦ処理では、被写体を撮影して得られる画素データに基づいて、画像のコントラストを検出し、そのコントラスト値がピークを示すレンズ位置にフォーカスレンズを移動させることで被写体に合焦させる。このコントラスト方式は、被写体の画像がぼけた状態であると画像のコントラストが低く、被写体の画像が合焦状態に近づくほどコントラスト値が上昇し、合焦状態となったところでコントラスト値が最大になるという特徴を利用している。

コントラストＡＦ処理においては、フォーカスレンズをモータ１１の駆動により所定ピッチで移動させながら、各レンズ位置において取得されるエリア内の画素データをもとにコントラスト値を検出し、コントラスト値がピークとなった時のレンズ位置をフォーカスレンズの合焦位置として決定する。従って、フォーカスレンズの合焦位置と決定した時のレンズ位置をもとにして、合焦した対象物（被写体）までの距離を算出することができる。

書画カメラ装置１は、全ての被写体立体判別用エリアのそれぞれについて距離の検出が終了すると（ステップＡ３、Ｙｅｓ）、この検出された複数の被写体立体判別用エリアに対応する距離のうち所定値以上の差がある部分があるかを判別する（ステップＡ４）。

すなわち、被写体立体判別用エリアに該当する位置に載置された被写体が紙媒体などによる書面資料である場合には、何れのエリアで検出された距離をもとにしても、その差はごく僅か（所定値未満）となる。一方、被写体が立体的であれば、何れか（少なくとも２つ）のエリアにおいて検出された距離の差は所定値以上となる。

なお、距離の差の判定に用いる所定値は、被写体を立体的な画像によって投影させるか否かを判定するためのもので、単純に書面資料のように厚みがないものと厚みあるものとを判定するだけのものではない。例えば、書籍などの厚みのある被写体であったとしても、撮影された画像を立体的に投影する必要がないものもあるので、どのような被写体を投影対象とするかによって決められるものとする。例えば、ここで使用する所定値は、予め固定的に決められていても良いし、ユーザが書画カメラ装置１（撮像投影システム）を使用する目的に合わせて任意に設定できるようにしても良い。

なお、立体的な被写体が書画台１ａに載置されているか否かを判別するだけであれば、複数の被写体立体判別用エリアについて順次距離を検出していき、他の被写体立体判別用エリアにより検出した距離（あるいは書画台１ａまでの距離）とは異なる距離が検出された場合に、その時点で立体的な被写体が載置されているものと判別することもできる。この場合、全ての被写体立体判別用エリアに対する距離の検出をする必要がないので処理時間を短縮することができる。

また、図６に示す例では、マトリクス状に配置された被写体立体判別用エリアを設定しているが、書画台１ａに載置された被写体に対して、少なくとも１つの被写体立体判別用エリアが該当すれば良いので、より広い間隔をもって被写体立体判別用エリアを配置するようにしても良い。これにより、被写体立体判別用エリアの数を減らすことで、各エリアに対する距離の検出に有する処理時間を短縮することができる。

ここで、被写体立体判別用エリアにおいて検出された距離に所定値以上の差がない場合（ステップＡ４、Ｎｏ）、すなわち書画台１ａに載置された被写体が立体物ではないと判定された場合、制御部２２は、通常モードに設定して画像の撮影を実行する（ステップＡ５，Ａ６）。

撮影により取得された画像データは、例えば内蔵メモリ２８に記憶されると共に、ＵＳＢインタフェース２９を介してＰＣ２に出力される（ステップＡ７）。

ＰＣ２に出力された画像データは、ＰＣ２を介してデータプロジェクタ装置３に転送され、データプロジェクタ装置３によりスクリーンに投影される。

一方、被写体立体判別用エリアにおいて検出された距離に所定値以上の差がある場合、すなわち書画台１ａに載置された被写体が立体物であると判定された場合、制御部２２は、撮影された画像に対して、投影された時に立体的に見えるように画像補正を施す三次元画像モードを設定する（ステップＡ８）。

まず、三次元画像モードでは、被写体立体判別用エリアにおいて検出されたエリア別の距離をもとに、被写体の各部分の距離を検出するための被写体スキャンエリアを設定する。

例えば、図６に示すように、被写体立体判別用エリアをマトリクス状に配列することにより、所定値以上（あるいは書画台１ａまでとは異なる）距離が検出された被写体に該当するエリアと、その他のエリアとを区別することができる。制御部２２は、各被写体立体判別用エリアにおいて検出された距離をもとにしてエリアを区分し、被写体が載置されている可能性のある部分を抽出して被写体スキャンエリアを設定する。

図７には、被写体スキャンエリアを設定した例を示している。図６に示す被写体立体判別用エリアでは、撮影範囲の中央部に長い被写体（例えば、ペットボトル）が横向きに載置されている。この場合、複数の被写体立体判別用エリアのうち上部と下部に配置されたエリアにおいては、所定値以上の距離が測定されないため、この被写体立体判別用エリアを含む撮影範囲の上部と下部を被写体スキャンエリアに含まないように設定する。ここでは、後述する被写体スキャンエリアに対するスキャン処理を単純化するために、被写体スキャンエリアを矩形状に設定するものとする。

被写体スキャンエリアが設定されると、制御部２２は、この被写体スキャンエリア内において被写体を含む複数の部分での距離を検出する（ステップＡ１０）。ここでの距離検出についても、前述と同様にして、コントラスト方式によるＡＦ処理を利用して行うものとする。

距離の検出は、各部分に対する画像処理（補正）に用いるため、被写体立体判別用エリアにおいて距離を検出した場合よりも細かい部分毎に行う。距離を検出する被写体に対する各部分は、細分化するほど精細な画像処理（補正）が可能となるが、その分、距離を検出する位置が増えるために処理時間を要する。従って、撮影された画像に対して被写体が立体化して見えるように画像処理をした際に違和感がない程度に細分化されていれば良い。これは、書画カメラ装置１やデータプロジェクタ装置３の解像度、画像処理の性能などに応じて決められるものとする。

制御部２２は、例えば図８に示すように、被写体スキャンエリアをスキャンして、各部分での距離を検出して、各部分の位置と対応付けてＤＲＡＭ２１に記憶していく（ステップＡ１１）。

こうして、被写体スキャンエリア内の全ての部分において距離の検出が終了すると（ステップＡ１２、Ｙｅｓ）、制御部２２は、撮影範囲に対する画像の撮影を実行し、画像データをＤＲＡＭ２１に記憶する（ステップＡ１３）。以下、この撮影された画像に対して、各部分において検出した距離をもとにした被写体を立体化して見えるようにするための画像処理を実行する。

まず、被写体スキャンエリアに対するスキャンにより記憶された複数部分での距離から最も近い距離（部分）を判別し（ステップＡ１４）、この最も近い距離と他の各部分において検出された距離との相対値を算出する（ステップＡ１５）。例えば、被写体上の部分で検出された最も遠い距離との間における相対値として算出する。

なお、被写体スキャンエリアでは、被写体の背景部分（書画台１ａ）についても距離が検出されているが、この背景部分において検出される距離は最も遠く、ほぼ同じ距離の部分が連続して一様に検出されるため、これらの部分を背景部分として検出して予め除外しておくことができる。

ここで、制御部２２は、画像処理部３０により、画像の各部分における明度を相対値に応じて低くなるように補正することで被写体が立体的に見えるようにし（ステップＡ１６）、この補正された画像をＤＲＡＭ２１に記憶する（ステップＡ１７）。

例えば、被写体上のある部分Ａと書画カメラ装置１（ＣＣＤ１３）までの距離をａ、同じく被写体上の部分Ｂまでの距離をｂとする。そして、撮影された画像の部分Ａの１画素に相当する実際の面積を１とすると、部分Ｂの１画素に相当する面積はｂ／ａとなる。ここで、１画素あたりの書画カメラ装置１に対する光の減衰量は距離の２乗に反比例するので、部分Ａの値１／（ａ／ａ）に対し、部分Ｂの値は（ｂ／ａ）／（ｂ×ｂ）＝１／（ａ／ｂ）となる。この減衰量の光量を掛け合わせ、色味の明度を遠い距離の部分ほど明るさを抑えるようにすることで、撮影対象とする被写体を立体的に表現することができる。

制御部２２は、ＤＲＡＭ２１に記憶された画像処理が施された画像データをＵＳＢインタフェース２９を介してＰＣ２に出力する（ステップＡ１８）。ＰＣ２に出力された画像データは、ＰＣ２を介してデータプロジェクタ装置３に転送され、データプロジェクタ装置３によりスクリーンに投影される。

以下、画像撮影が終了されるまで同様の処理を繰り返し実行する（ステップＡ１９）。

このようにして、本実施形態における撮像投影システムでは、書画カメラ装置１において、被写体の複数部分で距離を検出し、各部分までの距離に応じて画像に対して明度を変更する補正を施すことができる。これにより、被写体が立体的である場合に、その凹凸形状に応じた明度の調整により、撮影により得られた二次元画像を被写体が立体的に見える三次元的な画像に変換してＰＣ２に出力することができる。

なお、前述した説明では、被写体の各部分までの距離に応じて各部分の明度を調整する補正をするとしているが、その他の画像処理として被写体の輪郭（エッジ）を強調するように補正することもできる。

この場合、被写体スキャンエリアにおけるスキャンにより検出された距離を参照し、隣接する部分の距離の差が大きい場合には、別の物体、または被写体と背景（書画台１ａ）のように判別することができる。

図９には、例えば断面がほぼ円形となる被写体（例えばペットボトル）の例を示している。図９に示すように、断面が円形状の被写体では、断面の上端部が最も書画カメラ装置１との距離（距離ａ）が短くなり、また側端部近傍が被写体上で最も距離（距離ｂ）が遠くなる。被写体の背景（書画台１ａ）に対しては距離ｃが検出され、側端部近傍において検出される距離ｂとの差（ｃ−ｂ）が、距離ａと距離ｂが検出される部分との間の変化よりも大幅に大きくなる。

こうした場合、図１０に示すように、距離の差が大きくなる隣接する部分の距離の近い方、すなわち被写体の輪郭（エッジ）の部分を強調するような画像処理を施す。こうした、被写体の輪郭を強調する画像処理を施すことによって、投影された画像中で被写体を浮き上がらせるように表現することができる。

また、前述した明度の補正では、最も近い距離との相対値、すなわち距離が遠い部分ほど明度を低くなるように補正しているが、この場合、被写体全体の明度が元の画像よりも低くなってしまう。

そこで、被写体に対して検出された距離の最も近い部分と遠い部分との中間位置を基準として、明度を上げる（明るくする）範囲と下げる（暗くする）範囲とを分けることで明度を変更する幅を少なくし、画像全体の変化を少なくするようにしても良い。

図１１には、被写体の断面例を示している。図１１に示すように、断面が台形状の被写体では、上端部が最も書画カメラ装置１との距離が短くなり、また側端部が被写体上で最も距離が遠くなる。制御部２２は、最も近い距離と遠い距離との中間位置を算出して、画像処理部３０により中間位置より距離が近い部分ほど明度を高くするようにし、距離が遠い部分ほど明度を低くするように画像を補正させる。

これにより、補正による元画像からの変化が少なくても被写体を立体化して表現することができる。

なお、前述した例では、最も距離が近い部分と遠い部分との中間位置で、明度を上げる範囲と下げる範囲とを分けているが、必ずしも中間位置でなくても良い。例えば、明度を上げる範囲と下げる範囲とで何れを強調するかなどに応じて、基準とする位置を中間位置とは異なる位置に設定しても良い。

図１２（ａ）には書画カメラ装置１により撮影された画像を画像処理を施さないで投影した例を示し、図１２（ｂ）は被写体（ペットボトル）を立体的に見えるように画像処理を施して投影した例を示している。

図１２（ｂ）に示す画像中の被写体に対しては、書画カメラ装置１からの距離が近い部分ほど明度を上げ、遠いほど明度を下げる補正と共に、被写体の背景との境界（エッジ）の部分を強調する画像処理が施されている。これにより、図１２（ａ）に示す画像と比較して、画像中で被写体が立体的に表現されていることが分かる。

なお、図１に示す書画カメラ装置１は、撮像投影システムにおいて専用で使用される撮像装置として示しているが、カメラ本体部分を着脱可能とした構成とすることも可能である。この場合、単体のカメラ装置として使用することができ、撮影した画像に対して、前述したような撮影画像を立体的に見えるようにする画像補正を施して表示部２６において表示する、あるいは内蔵メモリ２８に記憶することができる。

また、前述した説明では、書画カメラ装置１により被写体までの距離を検出するためにコントラストＡＦ機能を利用するものとして説明しているが、書画カメラ装置１にアクティブ方式による測距部を設けて、この測距部により被写体をスキャンしながら各部分の距離を検出する構成とすることもできる。

また、前述した実施形態では、書画カメラ装置１において被写体との距離を検出し、その距離に応じて被写体を撮影した画像を立体的に見えるように補正しているが、撮像投影システムにおいて、ＰＣ２またはデータプロジェクタ装置３において画像処理（補正）を実行するように構成しても良い。

この場合、書画カメラ装置１は、被写体スキャンエリアをスキャンすることにより検出した各部分での距離を示す距離データを、撮影した画像と共に画像中の位置と対応付けてＰＣ２に出力する。ＰＣ２において画像処理を実行する場合、ＰＣ２は、ＵＳＢインタフェース４０から入力された画像及び距離データをメインメモリ３３に一時記憶する。ＣＰＵ３１は、本処理のための画像処理プログラムを実行し、書画カメラ装置１から入力した画像に対して各部分の距離データをもとにして、前述した書画カメラ装置１と同様にして、被写体が立体化して見えるようにする画像処理を実行する。ＰＣ２は、この画像処理を施した画像の画像信号をデータプロジェクタ装置３に対して投影させる。

また、データプロジェクタ装置３において画像処理を実行する場合には、ＰＣ２は、書画カメラ装置１から入力した画像と距離データをスルーしてデータプロジェクタ装置３に出力する。データプロジェクタ装置３は、ＰＣ２を介して入力した画像に対して、画像変換部５３において各部分の距離データに応じた画像処理を実行し、前述と同様にして被写体が立体化して見えるようにして画像を投影する。

本発明の実施形態における撮像投影システムの構成を示す図。 本実施形態における書画カメラ装置１の回路構成を示すブロック図。 本実施形態におけるＰＣ２の構成について説明するためのブロック図。 本実施形態におけるデータプロジェクタ装置３の回路構成について説明するためのブロック図。 本実施形態における書画カメラ装置１における処理動作について説明するためのフローチャート。 本実施形態における書画カメラ装置１の撮影範囲内において設定される被写体立体判別用エリアの一例を示す図。 本実施形態における被写体スキャンエリアを設定した例を示す図。 本実施形態における被写体スキャンエリアにおける距離検出のためのスキャンを説明するための図。 本実施形態における断面がほぼ円形となる被写体に対する距離検出の例を説明するための図。 本実施形態における輪郭（エッジ）の部分を強調する補正を説明するための図。 本実施形態における断面が台形となる被写体に対する距離検出の例を説明するための図。 書画カメラ装置１により撮影された画像を画像処理を施さないで投影した例と被写体（ペットボトル）を立体的に見えるように画像処理を施して投影した例とを示す図。

符号の説明

１…書画カメラ装置、１ａ…書画台、２…パーソナルコンピュータ（ＰＣ）、３…データプロジェクタ装置、４…ＵＳＢケーブル、５…ＲＧＢケーブル、６…ＣＤ−ＲＯＭ、１１…モータ（Ｍ）、１２…レンズ光学系、１３…ＣＣＤ、１４…タイミング発生器（ＴＧ）、１５…垂直ドライバ、１６…サンプルホールド回路（Ｓ／Ｈ）、１７…Ａ／Ｄ変換器、１８…カラープロセス回路、１９…ＤＭＡコントローラ、２０…ＤＲＡＭインタフェース、２１…ＤＲＡＭ、２２…制御部、２３…ＵＳＢインタフェース（Ｉ／Ｆ）、２４…キー入力部、３１…ＣＰＵ、３２…ノースブリッジ、３３…メインメモリ、３４…グラフィックコントローラ、３５…グラフィックメモリ、３６…サウスブリッジ、３７…ＰＣＩバス、３８…キーボード／マウス、３９…ビデオエンコーダ、４０…ＵＳＢインタフェース（Ｉ／Ｆ）、４１…マルチＣＤドライブ、４２…ハードディスク装置（ＨＤＤ）、５１…入出力コネクタ部、５２…入出力インタフェース（Ｉ／Ｆ）、５３…画像変換部、５４…投影エンコーダ、５５…ビデオＲＡＭ、５６…投影駆動部、５７…マイクロミラー素子、５８…リフレクタ、５９…光源ランプ、６０…カラーホイール、６１…インテグレータ、６２…ミラー、６３…投影レンズ、６４…モータ（Ｍ）、６５…投影光処理部、６６…制御部、６７…音声処理部、６８…スピーカ、６９…キースイッチ部、７０…Ｉｒ受信部、７１…ＲＡＭ。

Claims (8)

1. 被写体を撮影する撮影手段と、
   撮影範囲内において複数位置で距離を検出する第１の距離検出手段と、
   前記第１の距離検出手段によって検出された複数位置での距離をもとに、前記撮影範囲内において立体的な被写体が存在する範囲を判別する判別手段と、
   前記判別手段により判別された範囲内において距離検出を前記第１の距離検出手段による距離検出時よりも細分化された複数位置で行い、前記立体的な被写体の複数の部分に対する距離を検出する第２の距離検出手段と、
   前記第２の距離検出手段によって検出された前記被写体の各部分までの距離に応じて、前記撮影手段によって撮影された被写体の画像を補正する補正手段と、
   前記補正手段によって補正された画像を出力する画像出力手段と
   を具備したことを特徴とする撮影装置。
2. 前記判別手段は、
   前記第１の距離検出手段によって検出された複数位置での距離の差をもとに、前記撮影範囲内に存在する被写体が立体的であるか否かを判別する第１の判別手段と、
   前記第１の判別手段によって前記被写体が立体的であると判別された場合に、前記第１の距離検出手段によって検出された複数位置での距離をもとに、前記撮影範囲内において前記被写体が存在する範囲を判別する第２の判別手段と
   を有することを特徴とする請求項１記載の撮影装置。
3. 前記補正手段は、前記第２の距離検出手段によって検出された距離が近い部分ほど明度を高くするように前記画像を補正することを特徴とする請求項１又は２記載の撮影装置。
4. 前記補正手段は、
   前記第２の距離検出手段により検出された最も近い距離と遠い距離との中間位置を算出する中間位置算出手段を有し、
   前記中間位置算出手段により算出された中間位置より、前記第２の距離検出手段によって検出された距離が近い部分ほど明度を高くするようにし、前記第２の距離検出手段によって検出された距離が遠い部分ほど明度を低くするように前記画像を補正することを特徴とする請求項１又は２記載の撮影装置。
5. 前記第１距離検出手段は、コントラスト方式によるオートフォーカス機能を利用して距離を検出することを特徴とする請求項１乃至４の何れか一項に記載の撮影装置。
6. 前記第２の距離検出手段は、コントラスト方式によるオートフォーカス機能を利用して距離を検出することを特徴とする請求項１乃至５の何れか一項に記載の撮影装置。
7. 被写体を撮影する撮影工程と、
   撮影範囲内において複数位置で距離を検出する第１の距離検出工程と、
   前記第１の距離検出工程によって検出された複数位置での距離をもとに、前記撮影範囲内において立体的な被写体が存在する範囲を判別する判別工程と、
   前記判別工程により判別された範囲内において距離検出を前記第１の距離検出工程による距離検出時よりも細分化された複数位置で行い、前記立体的な被写体の複数の部分に対する距離を検出する第２の距離検出工程と、
   前記第２の距離検出工程によって検出された前記被写体の各部分までの距離に応じて、前記撮影工程によって撮影された被写体の画像を補正する補正工程と、
   前記補正工程によって補正された画像を出力する画像出力工程と
   を具備したことを特徴とする画像撮影方法。
8. コンピュータを、
   被写体を撮影する撮影手段と、
   撮影範囲内において複数位置で距離を検出する第１の距離検出手段と、
   前記第１の距離検出手段によって検出された複数位置での距離をもとに、前記撮影範囲内において立体的な被写体が存在する範囲を判別する判別手段と、
   前記判別手段により判別された範囲内において距離検出を前記第１の距離検出手段による距離検出時よりも細分化された複数位置で行い、前記立体的な被写体の複数の部分に対する距離を検出する第２の距離検出手段と、
   前記第２の距離検出手段によって検出された前記被写体の各部分までの距離に応じて、前記撮影手段によって撮影された被写体の画像を補正する補正手段と、
   前記補正手段によって補正された画像を出力する画像出力手段として機能させるための画像撮影プログラム。

Images