JP5157992B2 - 情報処理装置 - Google Patents

Description

本発明は、プロジェクタの投影画像を調整する情報処理装置に関する。

プロジェクタは、画像を大型スクリーンなどの画面に投影するにあたり、鮮鋭で視認性のよい画像をユーザが楽しむことができるように、画面とプロジェクタとの距離に応じて投影画像のピントを調整したり、画面付近の照度に応じて投影画像の光量を調整したりする必要がある。

たとえば、投影画像のピントを調整する技術として、従来、特許文献１に開示された技術などが提案されている。この特許文献１に開示されたプロジェクタ台は、プロジェクタを載置するためのものであって、プロジェクタの投影方向に向けられた撮像装置と、撮像装置によって撮像された画像を処理する画像処理装置と、撮像された画像の合焦位置を検出する合焦位置検出手段と、合焦位置検出手段が合焦位置を検出した際に合焦位置である旨をユーザに告知する告知手段と、を有し、ユーザが手動でピント合わせをしている間に、画像処理装置が適正なピント位置を判断してユーザに告知することができるようになっている。このため、このプロジェクタ台によれば、ユーザはプロジェクタのピントを容易に手動で合わせることができる。

特開２００８−３３１３０号公報

しかし、従来の技術では、画面付近の照度に応じて自動的に投影画像の光量を調整することが難しい。このため、従来の技術では、あらかじめ所定の光量で画像が画面に投影される場合が多く、この場合、ユーザが手動で投影画像の光量を調整する必要がある。また、従来の技術では、投影画像のピント調整はあくまでもユーザが手動で行う必要がある。このため、たとえばプロジェクタの設置位置を変更するなどしてプロジェクタと画面との位置関係が変わるたびに、ユーザは投影画像のピント調整を手動で行う必要がある。

したがって、特にプロジェクタが持ち運ばれるなど、プロジェクタと画面との位置関係が常時固定されてはいない利用形態においては、従来の技術を適用しても、ユーザは投影画像の光量調整およびピント調整を行うことに煩雑な作業を強いられてしまい、非常に不便である。

本発明は、上述した事情を考慮してなされたもので、プロジェクタの投影画像を自動的に調整することができる情報処理装置を提供することを目的とする。

本発明に係る情報処理装置は、上述した課題を解決するために、プロジェクタが画面に投影した投影画像を含む領域を撮像装置が撮影した撮影画像を取得し、前記投影画像の領域を除く前記撮影画像の領域の平均コントラストに対する前記投影画像領域の平均コントラストの比の値を算出するコントラスト比算出部と、前記コントラスト比の値と目標値との差を算出する差分算出部と、前記差に従って前記プロジェクタの光量調整パラメータを算出し、この光量調整パラメータの情報を前記プロジェクタに与える光量調整パラメータ算出部と、を備え、前記光量調整パラメータ算出部は、前記差の絶対値が大きいほど前記プロジェクタの光量の変化が大きくなるように、かつ、あらたな光量で投影される投影画像における前記コントラスト比の値と前記目標値との前記差の絶対値がゼロに近づくように、前記光量調整パラメータを算出することを特徴とするものである。

本発明に係る情報処理装置によれば、プロジェクタの投影画像を自動的に調整することができる。

本発明に係る情報処理装置の第１実施形態を示す概略的な全体構成図であり、（ａ）は携帯電話機が開いている状態における正面からみた外観図、（ｂ）は右側面から見た外観図、（ｃ）は背面から見た外観図。 スクリーンなどの画面に対してプロジェクタ部により投影された画像（投影画像）を含む領域を撮像部が撮影する様子の一例を示す説明図。 第１実施形態に係る携帯電話機の内部構成例を概略的に示すブロック図。 プロジェクタ部を外部機器とし、プロジェクタ部を含む筐体がディスプレイユニットの上部に突出するように付設される場合の一例を示す説明図であり、（ａ）はプロジェクタ部を外部機器とした場合の携帯電話機が開いている状態における正面からみた外観図、（ｂ）はこの場合における右側面から見た外観図、（ｃ）はこの場合における背面から見た外観図。 第１実施形態に係る制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。 図１に示す携帯電話機の制御部により、撮像部を利用して投影画像の光量およびピントを自動調整する処理を実行する際の手順を示すフローチャート。 図６のステップＳ５で自動光量調整部により実行される自動光量調整処理のサブルーチンフローチャート。 撮影画像と投影画像との関係の一例を示す説明図。 図６のステップＳ６で撮像部の測距部および自動ピント調整部により実行される自動ピント調整処理のサブルーチンフローチャート。 撮影画像、投影画像および指標値測定範囲の関係の一例を示す説明図。 撮影距離と鮮鋭度を表す指標値との関係の一例を示す説明図。 第２実施形態に係る携帯電話機の内部構成の一例を概略的に示すブロック図。 第２実施形態に係る携帯電話機の内部構成の他の例を概略的に示すブロック図。 第２実施形態に係る制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。

本発明に係る情報処理装置の実施の形態について、添付図面を参照して説明する。

図１は、本発明に係る情報処理装置の第１実施形態を示す概略的な全体構成図である。なお、本発明は、カメラなどの撮像装置を利用してプロジェクタの投影画像を自動調整可能に構成された情報処理装置に適用することができる。また、本発明に係る情報処理装置は、特に、プロジェクタが持ち運ばれるなどしてプロジェクタと画面とが様々な位置関係となる利用形態に好適である。以下の説明では、本発明に係る情報処理装置として、カメラを利用してプロジェクタの投影画像を自動調整可能に構成された携帯電話機を用いる場合の一例について示す。

図１（ａ）には携帯電話機が開いている状態における正面からみた外観図を、図１（ｂ）には右側面から見た外観図を、（ｃ）には背面から見た外観図を、それぞれ示した。なお、図１には、携帯電話機１０が撮像装置としての撮像部３０およびプロジェクタとしての機能を実現するプロジェクタ部４０を備える場合の例について示した。

携帯電話機１０は、コンピュータ本体１１および表示装置としてのディスプレイユニット１２を備える。

コンピュータ本体１１は、薄い箱形の筐体を有し、この筐体上面の表面上には、操作部１３およびマイクロフォン１４が設けられる。また、ディスプレイユニット１２は、薄い箱形の筐体を有し、この筐体正面の表面上には、表示部１５およびスピーカ１６が設けられる。ディスプレイユニット１２の表示部１５の背面側には、撮像部３０の撮像用のレンズ（以下、撮像用レンズという）１７およびプロジェクタ部４０の画像投影用のレンズ（以下、投影用レンズという）１８が設けられる（図１（ｃ）参照）。ディスプレイユニット１２は、コンピュータ本体１１に対し開閉自在に支持する連結部１９（ヒンジ）を介して連結される。

操作部１３は、たとえばキーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を出力する。

表示部１５は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Device）ディスプレイなどの一般的な表示出力装置により構成され、ユーザが撮像部３０で撮影したりネットワークからダウンロードしたりすることにより取得した各種画像および映像のほか、表示部１５の背景画像（壁紙）、壁紙に重畳表示される電池残量や電波強度を概略的に示す画像などの各種アイコンなどを表示する。

スピーカ１６は、受話音声をはじめとした各種の情報に対応した音声を出力する。また、マイクロフォン１４は、ユーザによって入力された音声をディジタル音声信号に変換する。

図２は、スクリーンなどの画面２３に対してプロジェクタ部４０により投影された画像（投影画像）を含む領域を撮像部３０が撮影する様子の一例を示す説明図である。図２には、壁２２の表面の一部を画面２３とし、この画面２３に対してプロジェクタ部４０が画像を投影する場合の一例について示した。

図２に示すように、撮像部３０は、プロジェクタ部４０により画面２３に投影される投影画像を含む領域を撮影可能に構成される。なお、図２に示すように撮像部３０の撮像用レンズ１７とプロジェクタの投影用レンズ１８とが互いに近接するように配設される場合、撮像部３０（撮像用レンズ１７を含む）およびプロジェクタ部４０（投影用レンズ１８を含む）は、撮像部３０ができるだけ広範なワーキングディスタンス（撮像用レンズ１７から被写体（たとえば画面２３）までの距離）で画面２３に投影された投影画像を含む領域を撮影可能となるように、撮像部３０の画角がプロジェクタ部４０の画像投影角度よりも大きくなるとともに、プロジェクタの投影光軸方向と撮像部３０の撮影光軸方向とがほぼ並行となるように設けられるとよい。撮像部３０により撮影された画像（撮影画像）は、携帯電話機１０によりプロジェクタ部４０の光量およびピントを自動調整する処理のために利用される。

以下の説明では、撮像部３０の撮像用レンズ１７とプロジェクタの投影用レンズ１８とが互いに近接するように配設され、撮像部３０の画角がプロジェクタ部４０の画像投影角度よりも大きくなるとともに、プロジェクタの投影光軸方向と撮像部３０の撮影光軸方向とがほぼ並行となるように設けられる場合の例について示す。この場合、ワーキングディスタンス（撮像用レンズ１７から被写体（たとえば画面２３）までの距離）と投影距離（投影用レンズ１８から画面２３までの距離）とはほぼ等しくなる。

撮像用レンズ１７を含む撮像部３０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成され、携帯電話機１０の周辺の映像を取り込んで映像信号を生成して制御部５５に与える。制御部５５は、撮像部３０から受けた映像信号にもとづく画像を生成して表示部１５に表示することができる。以下の説明では、撮像部３０から取得した映像信号にもとづく画像を「撮影画像」というものとする。撮像部３０が生成する映像信号には撮影画像の画素値の情報が含まれる。制御部５５は、この映像信号から撮影画像を構成する各画素の画素値の情報（少なくとも明度（または輝度、濃度）の情報を含む）を得ることができる。

撮像部３０は、いわゆるオートフォーカス機能を有し、被写体までの距離（撮影距離（撮像素子から被写体までの距離）またはワーキングディスタンス）を検出する測距部３１を備える。撮像部３０の測距部３１は従来各種のものが知られており、これらのうち任意のものを使用することが可能である。たとえば、測距部３１は、赤外線や超音波などを出射して被写体からの反射波を取得することで被写体までの距離を得るもの（アクティブ方式）であってもよいし、撮影画像にもとづいて被写体までの距離を得るもの（パッシブ方式）であってもよい。

以下の説明では、測距部３１がパッシブ方式で被写体までの距離を得るものであって、測距部３１が、設定距離範囲内で撮影距離（またはワーキングディスタンス）を走査して複数の撮影距離で画像を撮影する走査撮影部３２と、複数の撮影距離で撮影された撮影画像のそれぞれについて撮影画像の鮮鋭度を表す指標値を算出する指標値算出部３３と、を少なくとも有する場合の一例について示す。この場合、撮像部３０は、測距部３１により撮影距離と鮮鋭度を表す指標値との関係を取得することができる。

撮像部３０は、指標値算出部３３が算出した指標値が最大値を与える撮影距離を被写体までの距離として取得し、この距離の情報の情報を制御部５５に与える。なお、設定距離範囲の情報は、初期設定値が用いられてもよいし、制御部５５から撮像部３０の測距部３１に対して与えられてもよいし、ユーザにより操作部１３を介して設定されて与えられてもよい。

なお、指標値算出部３３は、撮影画像の鮮鋭度を表す指標値として、撮影画像に対してフーリエ変換（高速フーリエ変換などを含む）または離散コサイン変換などを行うことにより得た画像周波数成分のうち所定の周波数以上の成分が占める割合を用いてもよいし、いわゆるアクティビティ値を用いてもよい。アクティビティ値は、たとえば画素値の分散から求めることができる。アクティビティ値は、周波数成分との相関が高く、高周波成分を多く含む画像領域ではアクティビティ値が大きくなる傾向がある。また、撮影画像のデータサイズにも周波数成分との相関があり、高周波成分を多く含む鮮鋭な画像であるほどデータサイズが大きくなる傾向がある。このため、撮影画像の鮮鋭度を表す指標値として撮影画像のデータサイズを用いてもよい。

投影用レンズ１８を含むプロジェクタ部４０は、液晶プロジェクタ、ＤＬＰ（Digital Light Processing、登録商標）プロジェクタなどにより構成され、画面２３に画像を投影する。以下の説明では、プロジェクタ部４０により画面２３に投影された画像を「投影画像」というものとする。制御部５５は、プロジェクタ部４０を制御し、撮影画像にもとづいて投影画像の光量およびピントを調整する。プロジェクタ部４０は、光量調整パラメータに応じた光量で投影画像を投影するとともに、ピント調整パラメータに応じた投影距離（投影用レンズ１８からの距離）の位置にピントが合うよう投影画像を投影する。なお、光量調整パラメータおよびピント調整パラメータは、初期設定値が用いられてもよいし、制御部５５からプロジェクタ部４０に対して与えられてもよいし、ユーザにより操作部１３を介して設定されて与えられてもよい。自動調整が行われる場合は、制御部５５からプロジェクタ部４０に各パラメータが与えられる。手動調整が行われる場合は、ユーザにより操作部１３を介してプロジェクタ部４０に各パラメータの設定に必要な情報が与えられる。

コンピュータ本体１１の筐体側面には、プロジェクタ起動ボタン２０および自動調整ボタン２１が設けられる（図１（ｂ）参照）。

ここで、プロジェクタ起動ボタン２０は、ユーザがプロジェクタ部４０の起動を指示するために利用されるキーである。携帯電話機１０は、プロジェクタ起動ボタン２０が押下されると、プロジェクタ部４０に対してプロジェクタ機能を起動するよう指示する。一方、自動調整ボタン２１は、撮像部３０を利用してプロジェクタ部４０の光量およびピントを自動調整するようユーザが携帯電話機１０に指示するために利用されるキーである。携帯電話機１０は、自動調整ボタン２１が押下されると、撮像部３０およびプロジェクタ部４０を制御し、撮像部３０を利用してプロジェクタ部４０の光量およびピントを自動調整する処理を実行する。

なお、プロジェクタ起動ボタン２０および自動調整ボタン２１は、ハードキーであってもよいし、ソフトキーであってもよい。プロジェクタ起動ボタン２０および自動調整ボタン２１の少なくとも一つをソフトキーとする場合、このソフトキーは、キーに対するユーザの接触操作に応じた信号を出力する機能を実現可能に構成されていればよく、たとえば静電容量方式のタッチセンサにより構成することができる。また、表示部１５がタッチパネルを有する場合、このソフトキーはコンピュータ本体１１の筐体側面に設けられず表示部１５に表示されるソフトキーであってもよい。

また、プロジェクタ起動ボタン２０および自動調整ボタン２１のそれぞれに割り当てられた機能は、同一のキーに割り当てられてもよい。この場合、たとえば一つのキーの短押しおよび長押しの入力操作種別ごとにそれぞれの機能を割り当てておくとよい。

図３は、携帯電話機１０の内部構成例を概略的に示すブロック図である。

携帯電話機１０は、操作部１３、マイクロフォン１４、表示部１５、スピーカ１６、プロジェクタ起動ボタン２０、自動調整ボタン２１、撮像部３０およびプロジェクタ部４０のほか、基地局用アンテナ５１、基地局用送受信部５２、外部機器接続部５３、記憶部５４および制御部５５を有する。

基地局用アンテナ５１は、図示しない無線基地局との間で通信電波の送受信（無線通信）を行う。

基地局用送受信部５２は、無線基地局との間で無線通信用の信号を送受信するための無線回路であり、制御部５５から出力される通信データを変調し、基地局用アンテナ５１を介して送信する。また、基地局用アンテナ５１を介して受信した通信データを復調し、制御部５５へ出力する。通信データには、少なくとも通話のための音声データが含まれる。

外部機器接続部５３は、外部機器との接続形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って携帯電話機１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、ＢＬＵＥＴＯＯＴＨ（登録商標）、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

たとえば、撮像部３０およびプロジェクタ部４０の少なくとも一方を外部機器とし、外部機器接続部５３を介して携帯電話機１０とデータ送受信可能に相互接続して利用する場合、この相互接続および通信は無線信号により実現されてもよく、この場合、無線ＬＡＮやＢＬＵＥＴＯＯＴＨ（登録商標）規格の無線信号を利用してもよいし、２.４ＧＨｚ帯（ＩＳＭ帯）のＩＥＥＥ８０２.１１ｂ規格や５ＧＨｚ帯のＩＥＥＥ８０２.ａ規格に規定されている無線インタフェースや、赤外線無線インタフェースであるＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）規格の他、独自の無線信号形式を実装することとしてもよい。また、有線ケーブルや接続コネクタで実現する場合、独自の信号形式に基づくインタフェース条件や、標準化されたＵＳＢ(Universal Serial Bus)１.０／２.０規格や、ＵＡＲＴ(Universal Asynchronous Receiver Transmitter)シリアル通信などのいずれを用いてもよい。

図４は、プロジェクタ部４０を外部機器とし、プロジェクタ部４０を含む筐体２４がディスプレイユニット１２の上部に突出するように付設される場合の一例を示す説明図である。図４（ａ）にはプロジェクタ部４０を外部機器とした場合の携帯電話機１０が開いている状態における正面からみた外観図を、図４（ｂ）にはこの場合における右側面から見た外観図を、（ｃ）にはこの場合における背面から見た外観図を、それぞれ示した。

図４に示すようにプロジェクタ部４０を外部機器とする場合、携帯電話機１０は撮像部３０のみを有し、プロジェクタ部４０と携帯電話機１０とは、たとえばＢＬＵＥＴＯＯＴＨ（登録商標）規格の無線信号により互いにデータ送受信可能に無線接続される。なお、この場合でも、撮像部３０ができるだけ広範な撮影距離でプロジェクタ部４０によって画面２３に投影された投影画像を含む領域を撮影可能となるように、あらかじめ撮像部３０の画角とプロジェクタ部４０の画像投影角度との関係、および、プロジェクタの投影光軸方向と撮像部３０の撮影光軸方向との関係を調整しておくとよい。

記憶部５４は、データの書き換えが可能な不揮発性のメモリであり、たとえば撮像部３０による撮影画像データや電子メールデータなどの各種データを記憶している。

また、記憶部５４は、自動調整時にプロジェクタ部４０が投影するための画像（以下、調整用画像という）を記憶しておくとよい。この調整用画像は、たとえば撮影画像中の投影画像領域が把握しやすいように外枠を強調した画像であると好ましい。また、高周波成分を意図的に強調した縦縞や横縞を含む画像であると投影画像の自動ピント調整が行いやすいためさらに好ましい。

さらに、記憶部５４は、投影画像の領域を除く撮影画像の領域の平均コントラストに対する投影画像領域の平均コントラストの比の目標値をあらかじめ記憶しておく。このコントラスト比の目標値は、制御部５５により光量調整時に用いられる。

また、記憶部５４は、撮像部３０の測距部３１の走査撮影部３２が最初に走査する初期設定距離範囲の情報を記憶しておくとよい。

さらに、記憶部５４は、鮮鋭度を表す指標値の閾値をあらかじめ記憶しておく。この閾値としては、撮影画像の指標値が閾値を越えると撮影画像のピントが被写体に合っていることを意味する値が設定され、制御部５５により投影画像のピント調整時に用いられる。ある撮影画像の指標値が閾値を越える場合、この撮影画像の撮影距離が被写体までの距離であるとしてよい。特に、撮像部３０とプロジェクタ部４０が近接して配設されている場合は、ワーキングディスタンスと投影距離はほぼ同じとみなすことができるため、この撮影距離にもとづいて算出されたピント調整パラメータに従って投影された投影画像は、画面２３においてピントがあった画像となることが期待できる。

制御部５５は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って、携帯電話機１０の処理動作を制御する。

制御部５５のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された自動調整プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、撮像部３０を利用してプロジェクタ部４０の光量およびピントを自動調整する処理を実行する。

制御部５５のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。

制御部５５のＲＯＭをはじめとする記憶媒体は、携帯電話機１０の起動プログラム、自動調整プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

図５は、制御部５５のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

図５に示すように、制御部５５のＣＰＵは、自動調整プログラムによって、少なくともプロジェクタ起動指示部６１、自動調整判定部６２、カメラ起動指示部６３、自動光量調整部６４および自動ピント調整部６５として機能する。この各部６１〜６５は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。

プロジェクタ起動指示部６１は、プロジェクタ起動ボタン２０が押下されることによりプロジェクタ部４０を起動すべき旨の指示を受け、プロジェクタ部４０に対してプロジェクタの機能を実現するために必要なハードウエアおよびソフトウエアを起動する（以下、プロジェクタを起動するという）よう指示する。

自動調整判定部６２は、ユーザにより自動調整ボタン２１が押下されてプロジェクタ部４０を自動調整するよう指示されたか否かを判定する。

カメラ起動指示部６３は、撮像部３０に対して撮像装置としての機能を実現するために必要なハードウエアおよびソフトウエアを起動する（以下、カメラを起動するという）よう指示する。

自動光量調整部６４は、撮像部３０から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像の光量を自動調整する処理を実行する。この自動光量調整部６４は、少なくとも投影範囲取得部７１、コントラスト比算出部７２、差分算出部７３および光量調整パラメータ算出部７４を有する。

投影範囲取得部７１は、プロジェクタ部４０が画面２３に投影した投影画像を含む領域を撮像部３０が撮影した撮影画像を撮像部３０から取得し、撮影画像に含まれる投影画像の領域の情報を取得してコントラスト比算出部７２に与える。たとえば、投影画像が調整用画像である場合は、投影範囲取得部７１は、記憶部５４から調整用画像の情報を取得し、撮影画像を解析して撮影画像中の調整用画像の位置を判別し、この位置情報をコントラスト比算出部７２に与える。また、撮像部３０の撮像用レンズ１７とプロジェクタ部４０の投影用レンズ１８との位置関係および撮像部３０の画角とプロジェクタ部４０の投影角度との関係から、撮影画像中の投影画像領域があらかじめ一意に定まる場合には、この投影画像領域の情報をあらかじめ取得しておきコントラスト比算出部７２に与える。

コントラスト比算出部７２は、投影画像の領域を除く撮影画像の領域の平均コントラストに対する投影画像領域の平均コントラストの比の値を算出する。平均コントラストとしては、注目する領域に所属する全ての画素について、たとえば各画素の画素値の明度（濃度）の最大値と最小値の差の平均値や最大値と最小値の比率の平均値を用いることができる。

差分算出部７３は、コントラスト比の値とあらかじめ記憶部５４に記憶されたコントラスト比の目標値との差を算出し、この差の情報を光量調整パラメータ算出部７４に与える。

光量調整パラメータ算出部７４は、コントラスト比の値と目標値との差に応じて光量調整パラメータを算出し、プロジェクタ部４０に与える。より具体的には、光量調整パラメータ算出部７４は、コントラスト比の値と目標値との差の絶対値が大きいほどプロジェクタの光量の変化が大きくなるように、かつ、あらたな光量で投影された投影画像におけるコントラスト比の値と目標値との差の絶対値がゼロに近づくように、光量調整パラメータを算出し、プロジェクタ部４０に与える。

自動ピント調整部６５は、撮像部３０の測距部３１から取得した情報を利用してピント調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像のピントを自動調整する処理を実行する。この自動ピント調整部６５は、少なくともピント判定部８１、ピント設定値決定部８２およびピント調整パラメータ算出部８３を有する。

ピント判定部８１は、撮像部３０から受けた撮影距離と鮮鋭度を表す指標値との関係にもとづいて、指標値の最大値があらかじめ記憶部５４に記憶された閾値以上か否かを判定する。

ピント設定値決定部８２は、ピント設定値決定部８２は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて適切な撮影距離を決定する。この適切な撮影距離としては、たとえば指標値の最大値を与える撮影距離や、指標値の半値全幅（ＦＷＨＭ）の中心を与える撮影距離などを用いるとよい。ＦＷＨＭとしては、たとえば指標値の最小値と最大値との差をピーク値とし、このピーク値に対するＦＷＨＭを用いてもよい。以下の説明では、ピント設定値決定部８２が、撮影距離と鮮鋭度を表す指標値との関係にもとづいて指標値の最大値を与える撮影距離を適切な撮影距離として決定する場合の例について示す。

また、ピント設定値決定部８２は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて、適切な設定距離範囲を決定する。この適切な設定距離範囲としては、たとえば指標値の最大値を与える撮影距離の前後の所定の距離などを用いるとよい。

ピント調整パラメータ算出部８３は、ピント設定値決定部８２から受けた適切な撮影距離の情報に従ってピント調整パラメータを算出し、プロジェクタに与える。

次に、本実施形態に係る携帯電話機１０の動作の一例について説明する。

図６は、図１に示す携帯電話機１０の制御部５５により、撮像部３０を利用して投影画像の光量およびピントを自動調整する処理を実行する際の手順を示すフローチャートである。図６において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

この手順は、プロジェクタ起動ボタン２０が押下されて制御部５５がプロジェクタ部４０を起動すべき旨の指示を受けた時点でスタートとなる。

まず、ステップＳ１において、プロジェクタ起動指示部６１は、プロジェクタ部４０に対してプロジェクタを起動するよう指示する。

次に、ステップＳ２において、プロジェクタ部４０は、プロジェクタ部４０の内部の図示しない記憶媒体または記憶部５４に記憶された設定値を読み出し、この設定値に従って、所定の画像を画面２３に投影する。

なお、この設定値は、光量調整パラメータおよびピント調整パラメータを少なくとも含み、あらかじめ記憶部５４に記憶された初期設定値であってもよいし、ユーザにより設定された設定値であってもよいし、プロジェクタ部４０の前回終了時の設定値であってもよい。

また、所定の画像は、あらかじめ記憶部５４に記憶された自動調整に適した画像（調整用画像）であってもよいし、ユーザにより設定された画像であってもよいし、前回プロジェクタ部４０の前回終了時に投影していた画像であってもよい。

次に、ステップＳ３において、自動調整判定部６２は、ユーザにより自動調整ボタン２１が押下されてプロジェクタ部４０を自動調整するよう指示されたか否かを判定する。自動調整ボタン２１が押下されてプロジェクタ部４０を自動調整するよう指示された場合、ステップＳ４に進む。一方、プロジェクタ部４０を自動調整するよう指示されていない場合は、ユーザによる手動調整が行われる場合などの自動調整の必要がない場合であるため、一連の手順は終了となる。

次に、ステップＳ４において、カメラ起動指示部６３は、撮像部３０に対してカメラを起動するよう指示する。

次に、ステップＳ５において、自動光量調整部６４は、撮像部３０から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像の光量を自動調整する処理を実行する。

次に、ステップＳ６において、撮像部３０の測距部３１および自動ピント調整部６５は、撮影画像を利用してピント調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像のピントを自動調整する処理を実行する。

以上の手順により、撮像部３０を利用して投影画像の光量およびピントを自動調整することができる。

なお、ステップＳ５およびステップＳ６は、ステップＳ６の次にステップＳ５が行われてもよい。図６に示すようにステップＳ５の後にステップＳ６が行われる場合、すなわち先に光量調整を行う場合、実際の投影距離が光量調整パラメータの初期値が想定する投影距離と大きく離れている場合にも正確に投影画像のピント調整を行うことができる。たとえば、実際の投影距離が３０ｃｍであり光量調整パラメータの初期値が想定する投影距離が５ｍである場合、投影画像の光量が大きすぎて投影画像を含む撮影画像の多くの領域が白トビしてしまうため、撮像部３０の測距部３１がパッシブ方式の場合は撮影距離を検出することが難しくなる。この場合でも投影画像のピント調整を行う前に光量調整を行っておけば、正確に投影画像のピント調整を行うことができる。

続いて、撮像部３０から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像の光量を自動調整する際の手順を説明する。

図７は、図６のステップＳ５で自動光量調整部６４により実行される自動光量調整処理のサブルーチンフローチャートである。図７において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。また、図８は、撮影画像と投影画像との関係の一例を示す説明図である。

ステップＳ５１において、投影範囲取得部７１は、撮像部３０から、プロジェクタ部４０が画面２３に投影した投影画像を含む領域を撮像部３０が撮影した撮影画像（図８参照）を取得し、撮影画像に含まれる投影画像の領域の情報を取得してコントラスト比算出部７２に与える。たとえば、図６のステップＳ２においてプロジェクタ部４０があらかじめ記憶部５４に記憶された調整用画像を投影した場合、投影範囲取得部７１は、記憶部５４から調整用画像の情報を取得し、撮影画像を解析して撮影画像中の調整用画像の位置を判別し、この位置情報をコントラスト比算出部７２に与える。

次に、ステップＳ５２において、コントラスト比算出部７２は、投影画像の領域を除く撮影画像の領域（図８の斜線部）の平均コントラストに対する投影画像領域の平均コントラストの比の値を算出する。

次に、ステップＳ５３において、差分算出部７３は、コントラスト比の値と目標値との差を算出する。

次に、ステップＳ５４において、光量調整パラメータ算出部７４は、差分算出部７３から受けたコントラスト比の値と目標値との差に従って光量調整パラメータを算出し、プロジェクタ部４０に与える。たとえば、光量調整パラメータ算出部７４は、コントラスト比の値が目標値より小さければ小さいほど光量を増すことによりコントラスト比の値が目標値に近づくよう、光量調整パラメータを決定する。この結果、プロジェクタ部４０は、光量調整パラメータ算出部７４から受けた光量調整パラメータに従って新たに投影画像の光量を決定するため、コントラスト比の値は目標値に近づくことになる。

以上の手順により、撮像部３０から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像の光量を自動調整することができる。

続いて、撮影画像を利用してピント調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像のピントを自動調整する際の手順を説明する。

図９は、図６のステップＳ６で撮像部３０の測距部３１および自動ピント調整部６５により実行される自動ピント調整処理のサブルーチンフローチャートである。図９において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。また、図１０は、撮影画像、投影画像、およびパッシブ方式により撮影画像の鮮鋭度を表す指標値を算出する範囲（以下、指標値測定範囲という）の関係の一例を示す説明図である。

ステップＳ６１において、撮像部３０の測距部３１の走査撮影部３２は、設定距離範囲内で撮影距離（またはワーキングディスタンス）を走査して複数の撮影距離で画像を撮影する。ステップＳ６１を初めて実行する場合は、この設定距離範囲は、あらかじめ記憶部５４に記憶された初期設定距離範囲であってもよいし、ユーザにより設定された設定値であってもよいし、前回の自動ピント調整処理の終了時の設定値であってもよい。ステップＳ６１が２回目以降に実行される場合は、ピント設定値決定部８２から受けた設定距離範囲を用いるとよい。たとえば、初期設定距離範囲を用い、この範囲が０．３ｍから８ｍである場合は、走査撮影部３２は、０．３ｍから８ｍの範囲で所定の距離（たとえば０．１ｍ）ごとに撮影を行い複数の撮影画像を取得する。

次に、ステップＳ６２において、撮像部３０の測距部３１の指標値算出部３３は、複数の撮影距離で撮影された撮影画像のそれぞれについて、撮影画像の鮮鋭度を表す指標値を算出する。

図１１は、撮影距離と鮮鋭度を表す指標値との関係の一例を示す説明図である。ステップＳ６２を実行することにより、撮像部３０は、図１１に示した撮影距離と鮮鋭度を表す指標値との関係を得ることができる。

次に、ステップＳ６３において、ピント判定部８１は、撮像部３０から受けた撮影距離と鮮鋭度を表す指標値との関係にもとづいて、指標値の最大値が閾値以上か否かを判定する。指標値の最大値が閾値以上である場合は、現在のピント調整パラメータの値で十分に投影画像のピントが画面２３にあっているといえるため、一連の手順は終了となる。一方、指標値の最大値が閾値より小さい場合は、ステップＳ６４に進む。

図１１の一番上には、図９に示したこの手順のステップＳ６２を最初に実行した際の撮影距離と鮮鋭度を表す指標値との関係の一例を示した。図１１の一番上に示したように、図９に示したこの手順のステップＳ６２を最初に実行する際には、まだ投影画像のピントが画面２３には合っておらず鮮鋭度を表す指標値の最大値が閾値よりも小さいことが多い。

次に、ステップＳ６４において、ピント設定値決定部８２は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて、指標値の最大値を与える撮影距離（適切な撮影距離）を決定する。

また、ピント設定値決定部８２は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて、適切な設定距離範囲を決定し、撮像部３０に与える。撮像部３０の測距部３１の走査撮影部３２は、次回ステップＳ６１を実行する際には、この設定距離範囲内で撮影距離を走査して複数の撮影距離で画像を撮影することにより、走査時間を短縮することができる。

この設定距離範囲この適切な設定距離範囲としては、たとえば指標値の最大値を与える撮影距離の前後の所定の距離などを用いるとよい。この所定の距離は、スキャン回数（ステップＳ６１からステップＳ６５を繰り返す回数）に応じて狭めていってもよい。以下の説明では、指標値の最大値からみて、最大値を与える撮影距離の前後の距離範囲のうち、指標値が初めて最小値と最大値の差の９０％まで下落する範囲を算出し、この最大値を与える撮影距離の前後の範囲のうち広いほうの範囲を一方の範囲にも適用した範囲を設定距離範囲とする場合の例について示す。

たとえば、図１１の一番上に示したように最大値を与える撮影距離が３．５ｍであり、この３．５ｍの前後の距離範囲のうち指標値が初めて最小値と最大値の差の９０％まで下落する範囲が２ｍから４ｍである場合、３，５ｍの前側範囲（２ｍ〜３．５ｍ）の１．５ｍを後側範囲にも適用し、２ｍ〜５ｍを設定距離範囲とする。なお、指標値の最大値を与える撮影距離が設定距離範囲の始端（または終端）である場合は、前側範囲（または後側範囲）が０ｍであるとすればよい。

次に、ステップＳ６５において、ピント調整パラメータ算出部８３は、ピント設定値決定部８２から受けた適切な撮影距離の情報に従ってピント調整パラメータを算出し、プロジェクタに与える。

以上の手順により、撮影画像を利用してピント調整パラメータを決定してプロジェクタ部４０に与えることにより投影画像のピントを自動調整することができる。

なお、ステップＳ６１からステップＳ６５を繰り返す回数の上限をあらかじめ定めておいてもよい。また、ユーザが投影画像のピントに不満を持つなどして自動ピント調整をやり直すべき指示がなされた場合は、閾値の値を所定の割合だけ高くして図９に示す手順を再度繰り返すようにしてもよい。この場合も、ステップＳ６１からステップＳ６５を繰り返す回数の上限を定めておいてもよい。

本実施形態に係る携帯電話機１０は、撮像部３０を利用してプロジェクタ部４０の光量およびピントを自動調整する。このため、特にプロジェクタが持ち運ばれるなど、プロジェクタと画面２３との位置関係が常時固定されてはいない利用形態においても、プロジェクタと画面２３との位置関係に対して臨機応変に容易に投影画像の光量およびピントを自動調整することができる。

また、本実施形態に係る携帯電話機１０は、他の情報処理装置に比べて操作部１３の操作性が多少悪くとも、ユーザが手動で投影画像を調整する必要がない。このため、この携帯電話機１０は利便性が高く、その産業的価値は非常に高い。

さらに、本実施形態に係る携帯電話機１０は、投影画像の領域を除く撮影画像の領域の平均コントラストに対する投影画像領域の平均コントラストの比が、目標値に近づくように自動光量調整を行う。このため、投影距離が短い場合や周囲が暗い場合など、投影画像のコントラストが十分に得られる場合には光量を落とすことができる。したがって、本実施形態に係る携帯電話機１０は、無駄にコントラストを上げすぎることが無く、画像投影に掛かる消費電力を削減することができる。

従来の携帯電話機１０では、たとえば携帯電話機１０の記憶部５４にあらかじめ記憶された画像や動画を大きな画像で楽しむためには、テレビジョン受像装置やパーソナルコンピュータなどに対して有線通信または無線通信によってデータ送受信可能に接続してからこれらのデータを転送する必要があった。一方、本実施形態に係る携帯電話機１０は、上述したように、ユーザが所望の様々な場所へ持ち運んで容易に画像投影を行うことができため、ユーザは、これらの画像や動画を非常に手軽に大きな画像で楽しむことができる。

次に、本発明に係る携帯電話機１０の第２実施形態について説明する。

この第２実施形態に示す携帯電話機１０Ａは、揺れ検出部９１を備え、携帯電話機１０Ａが本体の揺れを検知すると図６に示す手順を中止する点で第１実施形態に示す携帯電話機１０と異なる。他の構成および作用については図１に示す携帯電話機１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。

図１２は第２実施形態に係る携帯電話機１０Ａの内部構成の一例を概略的に示すブロック図であり、図１３は第２実施形態に係る携帯電話機１０Ａの内部構成の他の例を概略的に示すブロック図である。

図１２に示すように、第２実施形態に係る携帯電話機１０Ａの撮像部３０は、揺れ検出部９１を有する。この揺れ検出部９１は、撮像部３０の手ぶれ補正機構の一部により構成することができる。手ぶれ補正機構は従来電子式および光学式の各種のものが知られており、これらのうち任意のものを使用することが可能である。また、図１３に示すように、携帯電話機１０Ａが、撮像部３０を除く構成の一部として、たとえば３軸の加速度センサを揺れ検出部９１として備えてもよい。

図１４は、第２実施形態に係る制御部５５のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

図１４に示すように、本実施形態に係る制御部５５のＣＰＵは、自動調整プログラムによって、第１実施形態に示した各部６１〜６５に加え、少なくとも揺れ判定部９２および機能停止部９３として機能する。

揺れ判定部９２は、揺れ検出部９１から受けた情報にもとづいて、本体の揺れが生じたか否かを判定する。たとえば揺れ検出部９１が加速度センサである場合、加速度センサから加速度に応じた信号を受け、加速度の変化量にもとづいて携帯電話機１０Ａに揺れがあったか否かを判定し、揺れがあったと判定した場合はその旨の情報を機能停止部９３に与える。より具体的には、揺れ判定部９２は、たとえば加速度の変化量があらかじめ設定された閾値（たとえば０．１ｇなど（ただしｇは重力加速度を表す））を越えた場合に揺れがあったと判定する。

機能停止部９３は、揺れ判定部９２により本体に揺れが生じたと判定されると、図６に示す手順のうち、特に投影画像の自動調整処理を中止する。具体的には、機能停止部９３は、自動光量調整処理を停止するために、少なくとも自動光量調整部６４の機能を停止する。また、機能停止部９３は、自動ピント調整処理を停止するために、少なくとも撮像部３０の測距部３１および自動ピント調整部６５の機能を停止する。

本実施形態に係る携帯電話機１０Ａによっても、第１実施形態に係る携帯電話機１０と同様の作用効果を奏する。また、本実施形態に係る携帯電話機１０Ａによれば、携帯電話機１０Ａが移動中などに自動調整処理を中止することができるため、無駄な電力を消費することがない。

なお、機能停止部９３により投影画像の自動調整処理が停止された後、再度図６に示す手順を実行させる場合には、ユーザにより手動で再び自動調整ボタン２１が押されてもよいし、自動調整処理の停止後所定の時間経過後に自動的に再度揺れ検出を行い、揺れ判定部９２により本体に揺れがないと判定されると自動調整処理を再開するようにしてもよい。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

たとえば、本発明は、上記実施形態で説明した携帯電話機のほかにも、様々な情報処理装置に適用可能であり、特に、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機などの携帯型の情報処理装置に適用することが可能である。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

１０ 携帯電話機
１１ コンピュータ本体
１２ ディスプレイユニット
１３ 操作部
１４ マイクロフォン
１５ 表示部
１６ スピーカ
１７ 撮像用レンズ
１８ 投影用レンズ
１９ 連結部
２０ プロジェクタ起動ボタン
２１ 自動調整ボタン
２２ 壁
２３ 画面
２４ プロジェクタ部４０を含む筐体
３０ 撮像部
３１ 測距部
３２ 走査撮影部
３３ 指標値算出部
４０ プロジェクタ部
５１ 基地局用アンテナ
５２ 基地局用送受信部
５３ 外部機器接続部
５４ 記憶部
５５ 制御部
６１ プロジェクタ起動指示部
６２ 自動調整判定部
６３ カメラ起動指示部
６４ 自動光量調整部
６５ 自動ピント調整部
７１ 投影範囲取得部
７２ コントラスト比算出部
７３ 差分算出部
７４ 光量調整パラメータ算出部
８１ ピント判定部
８２ ピント設定値決定部
８３ ピント調整パラメータ算出部
９１ 揺れ検出部
９２ 揺れ判定部
９３ 機能停止部

Claims (9)

1. プロジェクタが画面に投影した投影画像を含む領域を撮像装置が撮影した撮影画像を取得し、前記投影画像の領域を除く前記撮影画像の領域の平均コントラストに対する前記投影画像領域の平均コントラストの比の値を算出するコントラスト比算出部と、
   前記コントラスト比の値と目標値との差を算出する差分算出部と、
   前記差に従って前記プロジェクタの光量調整パラメータを算出し、この光量調整パラメータの情報を前記プロジェクタに与える光量調整パラメータ算出部と、
   を備え、
   前記光量調整パラメータ算出部は、
   前記差の絶対値が大きいほど前記プロジェクタの光量の変化が大きくなるように、かつ、あらたな光量で投影された投影画像における前記コントラスト比の値と前記目標値との前記差の絶対値がゼロに近づくように、前記光量調整パラメータを算出することを特徴とする情報処理装置。
2. 前記撮像装置および前記プロジェクタをさらに備えた請求項１記載の情報処理装置。
3. 前記プロジェクタの投影光軸方向と前記撮像装置の撮影光軸方向とが並行であり、かつ、前記プロジェクタの画像投影用レンズと前記撮像装置の撮像用レンズとが互いに近接するように、前記プロジェクタおよび前記撮像装置が配設された、
   請求項２記載の情報処理装置。
4. 前記撮像装置は、被写体までの距離を検出する測距部を有し、
   前記撮像装置により取得された前記画面までの距離の情報にもとづいて前記プロジェクタのピント調整パラメータを算出し、このピント調整パラメータの情報を前記プロジェクタに与える自動ピント調整部、
   をさらに備えた、
   請求項３記載の情報処理装置。
5. 前記撮像装置の前記測距部は、
   設定距離範囲内で撮影距離を走査して複数の前記撮影距離で画像を撮影する走査撮影部と、
   前記複数の撮影距離で撮影された撮影画像のそれぞれについて、撮影画像の鮮鋭度を表す指標値を算出する指標値算出部と、
   を有し、
   前記自動ピント調整部は、
   前記指標値と前記撮影距離との関係にもとづいて前記指標値が最大値を与える前記撮影距離の情報を取得するピント設定値決定部と、
   前記指標値が最大値を与える前記撮影距離に従って前記プロジェクタの前記ピント調整パラメータを算出し、このピント調整パラメータの情報を前記プロジェクタに与えるピント調整パラメータ算出部と、
   をさらに有する、
   請求項４記載の情報処理装置。
6. 前記ピント設定値決定部は、
   前記指標値の最大値が閾値以上となると、この指標値を与える前記撮影距離を前記画面までの距離として決定する、
   請求項５記載の情報処理装置。
7. 本体の揺れを検出する揺れ検出部と、
   前記本体の揺れが生じたか否かを判定する揺れ判定部と、
   前記揺れ判定部により前記揺れが生じたと判定されると、前記コントラスト比算出部、前記差分算出部および前記光量調整パラメータ算出部の機能を停止する機能停止部と、
   をさらに備えた請求項１ないし６のいずれか１項に記載の情報処理装置。
8. 本体の揺れを検出する揺れ検出部と、
   前記本体の揺れが生じたか否かを判定する揺れ判定部と、
   前記揺れ判定部により前記揺れが生じたと判定されると、前記測距部および前記自動ピント調整部の機能を停止する機能停止部と、
   をさらに備えた請求項４ないし６のいずれか１項に記載の情報処理装置。
9. 前記揺れ検出部は、
   前記本体の加速度を検出し、検出した加速度に応じた信号を出力する加速度センサにより構成され、
   前記揺れ判定部は、
   前記加速度センサから前記加速度に応じた信号を受け、前記加速度の変化量にもとづいて前記本体の揺れが生じたか否かを判定する、
   請求項７または８に記載の情報処理装置。

Images