JPWO2006033245A1

JPWO2006033245A1 - 電子機器

Info

Publication number: JPWO2006033245A1
Application number: JP2006536341A
Authority: JP
Inventors: 啓一新田; 野崎　弘剛; 弘剛野崎
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-09-21
Filing date: 2005-09-09
Publication date: 2008-05-15
Anticipated expiration: 2025-09-09
Also published as: US8159594B2; JP5029012B2; EP1793599A4; EP1793599A1; US20070249396A1; CN101006720A; CN100505852C; EP1793599B1; WO2006033245A1

Abstract

プロジェクタ付き携帯電話機１０は、相対角θ＝８０度の投影姿勢に設定されて３秒経過すると、プロジェクタモジュール６の投射を開始させる。揺れ補正処理を行う設定がなされていれば、カメラ部２００に連続するフレーム画像の撮像開始を指示する。プロジェクタ付き携帯電話機１０は、イメージセンサによって撮像された連続するフレーム間の画像を比較して６つの動きベクトルを算出する。算出した動きベクトルに基づいて「手ぶれ」判定をするとともに、代表ベクトルをさらに算出する。プロジェクタ付き携帯電話機１０はさらに、代表ベクトルをキャンセルするための画像シフト情報を生成し、「手ぶれ」を判定した場合には画像シフト情報を使用してプロジェクタモジュール６による投射内容の揺動を抑える。

Description

本発明は、画像やテキストなどの情報を投射するプロジェクタ装置を有する電子機器に関する。

載置台に載置された被写体を撮像するカメラを備え、カメラで撮像した画像をスクリーンなどへ投射するプロジェクタ装置が知られている（特許文献１参照）。

特開２００１−２５１４７６号公報

プロジェクタ装置をハンドホールド可能な小型機器として構成する場合、手の揺れに伴って投射中のプロジェクタ装置が揺動すると考えられる。このため、スクリーン上に投射される像も揺れ動いてしまい、投射像を観察する人に不快感を与えるおそれがある。

本発明の第１の態様によると、電子機器は、被写体像を撮像して画像信号を出力する撮像装置と、光像形成素子に形成された像を投射するプロジェクタ装置とを筐体内に一体に備え、画像信号の時間的な変化量を演算する演算部と、演算された変化量に応じてプロジェクタ装置が筐体と離間したスクリーンに投射する像の位置を補正する補正部とを備える。
本発明の第２の態様によると、第１の態様の電子機器はさらに、撮像装置による撮影範囲とプロジェクタ装置による投射範囲とが一致しないように、撮像装置が撮像する向きおよびプロジェクタ装置が像を投射する向きの少なくとも一方の向きを変更するための変更部を備えてもよい。この場合の演算部は、プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を用いて変化量を演算することもできる。
本発明の第３の態様によると、第１の態様の電子機器はさらに、撮像装置による撮影範囲とプロジェクタ装置による投射範囲とが一致しないように、撮影範囲および投射範囲の少なくとも一方の大きさを変更する範囲変更部を備えてもよい。この場合の演算部は、プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を用いて変化量を演算することもできる。
本発明の第４の態様によると、第３の態様の電子機器において、撮影範囲が投射範囲より大きくなるように撮影範囲または投射範囲を変更するべく、範囲変更部を構成することが望ましい。
本発明の第５の態様によると、第３または第４の態様の電子機器において、演算部によって変化量が演算不能の場合、プロジェクタ装置が投射範囲を狭くするとともに、演算部が変化量の演算に用いる画像信号の抽出範囲を広げることもできる。
本発明の第６の態様によると、第３または第４の態様の電子機器において、演算部によって変化量が演算不能の場合、撮像装置が撮影範囲を広くするとともに、演算部が変化量の演算に用いる画像信号の抽出範囲を広げることもできる。
本発明の第７の態様によると、第５または第６の態様の電子機器のプロジェクタ装置は、投射範囲内の周囲に照明光を照射することもできる。
本発明の第８の態様によると、電子機器は、被写体像を撮像して画像信号を出力する撮像装置と、光像形成素子に形成された像を投射するプロジェクタ装置とを一体に備え、揺れを検出して揺れ検出信号を出力する揺れ検出部と、揺れ検出信号に基づいて、撮像装置の出力する画像信号に対応する画像、およびプロジェクタ装置が投射する像を補正する補正部とを備える。
本発明の第９の態様によると、第８の態様の電子機器において、補正部は、揺れ検出部で揺れが検出された際に、撮像装置の出力する画像信号に対応する画像を補正するときと、プロジェクタ装置が投射する像を補正するときとで、画像、および像のシフト方向を逆にして補正することもできる。
本発明の第１０の態様によると、第１〜第９のいずれかの態様の電子機器の撮像装置は、プロジェクタ装置の投射を開始させる指示に応じて撮像を開始することもできる。
本発明の第１１の態様によると、第１〜第１０のいずれかの態様の電子機器のプロジェクタ装置は、補正部が補正を行う場合に撮像装置から出力される画像信号を用いて形成された像を投射することが禁止されている。
本発明の第１２の態様によると、第１〜第７のいずれかの態様の電子機器はさらに、被写体輝度に基づいて撮像装置による撮影時の露出を決定する露出演算部を備えてもよい。この場合の露出演算部は、プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を用いて被写体輝度を算出することもできる。
本発明の第１３の態様によると、電子機器は、被写体像を撮像して画像信号を出力する撮像装置と、光像形成素子に形成された像を投射するプロジェクタ装置とを一体に備え、プロジェクタ装置による非投射時に撮像するとともに、撮像装置による非撮影時に投射するように撮像装置とプロジェクタ装置とを時分割で制御する制御部と、画像信号の時間的な変化量を演算する演算部と、演算された変化量に応じてプロジェクタ装置が投射する像の位置を補正する補正部とを備える。
本発明の第１４の態様によると、第１３の態様の電子機器の制御部は、プロジェクタ装置による投射周期を１／３０秒以下にするように制御することもできる。
本発明の第１５の態様によると、第１２〜第１４のいずれかの態様の電子機器はさらに、プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号のレベルを大きくするレベル増大処理部を備えてもよい。この場合の演算部は、レベル増大処理された画像信号を用いて変化量を演算することもできる。
上記演算部は、演算手段と置き換えてもよい。
上記補正部は、補正手段と置き換えてもよい。
上記変更部は、変更手段と置き換えてもよい。
上記範囲変更部は、範囲変更手段と置き換えてもよい。
上記揺れ検出部は、揺れ検出手段と置き換えてもよい。
上記露出演算部は、露出演算手段と置き換えてもよい。
上記制御部は、制御手段と置き換えてもよい。
上記レベル増大処理部は、レベル増大処理手段と置き換えてもよい。

本発明による電子機器では、電子機器を手持ちした状態でプロジェクタ装置を使用した場合に投射像を観察する人に与える不快感を軽減できる。

本発明の一実施の形態によるプロジェクタ付き携帯電話機の斜視図である。プロジェクタ付き携帯電話機の構成を説明するブロック図である。プロジェクタ付き携帯電話機からの投射像を説明する図であり、(a)はスクリーンを正対する向きに見た図、(b)はスクリーンを右側方から見た図である。プロジェクタ付き携帯電話機で投射内容の揺動を抑える場合のスクリーン側の構成を説明する図である。カメラ部で撮影しながらプロジェクタモジュールで画像を投射する例を示す図であり、(a)は時刻ｔｘにおける図、js(b)は時刻(ｔｘ+１)における図である。撮像画像のうち投射範囲を含まない６つのブロックを説明する図である。シフト後のスクリーン上の投射画像を説明する図である。カメラ部による撮影方向とプロジェクタモジュールによる投射方向との関係について説明する図であり、(a)は撮影方向および投射方向が同一の図、(b)は撮影方向および投射方向が１８０度異なる図、(c)は撮影方向および投射方向が９０度異なる図である。変形例における測光エリアを説明する図である。投影タイミングおよび撮影タイミングを説明する図である。

以下、本発明を実施するための最良の形態について説明する。
（第１の実施形態）
図１は、本発明の一実施の形態によるハンドホールドで用いることが可能なプロジェクタ付き携帯電話機１０の斜視図である。図１において、プロジェクタ付き携帯電話機１０は操作部１と表示部２とを構成する筐体が回動可能な折り畳みヒンジ部３で支持され、折り畳みヒンジ部３を回動中心に折り畳み自在に構成されている。折り畳みヒンジ部３には、操作部１および表示部２間の相対角θがたとえば、８０度の位置と１５０度の位置とに不図示のクリック機構が設けられている。８０度はプロジェクタ部の投影姿勢に対応し、１５０度は電話機の通話姿勢に対応する。

操作部１の底面１ａには、プロジェクタ付き携帯電話機１０を平面上に載置した場合に安定するように小型脚部１２ａ〜１２ｄが設けられている。操作部１の表示部２側の面１ｂには後述する第１操作部材１１２などが設けられ、操作部１の側面１ｃには小型脚部１１が設けられている。小型脚部１１は、プロジェクタ付き携帯電話機１０の相対角θを図１のように８０度に開いた状態（投影姿勢）で当該側面１ｃを下にして平面上に載置した場合（横位置載置）に、折り畳みヒンジ部３、および表示部２に配設されている小型脚部２１とともに３点で安定して載置されるように構成されている。

表示部２の操作部１側の面２ｂには、後述するメイン液晶表示器２０４が配設され、表示部２の外側の面２ａには、サブ液晶表示器４が配設されている。表示部２の面２ａにはさらに、カメラ部２００およびプロジェクタモジュール６がそれぞれ配設される。プロジェクタモジュール６は、筐体外に設けられた投射面に像を投射する。プロジェクタモジュール６は円筒形状に構成され、表示部２の面２ａに設けられている丸穴Ｍに回転自在に嵌入され、図１に示す正位置（０度とする）と、正位置を基準に左右それぞれの向きにプロジェクタモジュール６を９０度回転させた２つの位置との計３箇所にクリック機構（不図示）が設けられている。

表示部２にはカメラ部２００が配設されている。カメラ部２００には、撮影レンズ５の向きを表示部２の外側面２ａへ向けたり、操作部１側の面２ｂへ向けたりすることが可能なように回動機構が備えられ、撮影する向きが筐体に対して変更自在に構成されている。

図２は、図１のプロジェクタ付き携帯電話機１０の構成を説明するブロック図である。図２において、操作部１側にはＣＰＵ１０１と、メモリ１０２と、姿勢センサ１０３と、近距離通信部（回路）１０４と、ＴＶチューナー１０６と、マイク１０７と、外部インターフェイス（Ｉ／Ｆ）１０８と、電源１０９と、通信制御部（回路）１１０と、アンテナ７と、ＧＰＳアンテナ１１１と、第１操作部材１１２と、スピーカー１１３と、開閉角度スイッチ（ＳＷ）１１４とが備えられ、着脱可能なメモリカード１０５が実装されている。

表示部２にはカメラ部２００と、プロジェクタモジュール６（プロジェクタ部）と、第２操作部材２０５と、スピーカー２０６と、メイン液晶表示器２０４と、サブ液晶表示器４とが備えられている。

コントローラであるＣＰＵ１０１は、制御プログラムに基づいて、プロジェクタ付き携帯電話機１０を構成する各部から入力される信号を用いて所定の演算を行うなどして、プロジェクタ付き携帯電話機１０の各部に対する制御信号を送出することにより、電話機動作、カメラ動作、プロジェクタ動作をそれぞれ制御する。なお、制御プログラムはＣＰＵ１０１内の不図示の不揮発性メモリに格納されている。

メモリ１０２はＣＰＵ１０１の作業用メモリとして使用される。姿勢センサ１０３は、プロジェクタ付き携帯電話機１０の姿勢を検出し、検出信号をＣＰＵ１０１へ送出する。これによりＣＰＵ１０１は、撮影時には画像の天地を示す天地情報（縦位置撮影および横位置撮影の識別のための情報を含む）を取得し、プロジェクタ使用時には図１に示すような縦位置で載置されているか、小型脚部１１、２１および折り畳みヒンジ部３を下にした横位置に載置されているかを判定する。

近距離通信部１０４は、たとえば、赤外線通信回路によって構成され、ＣＰＵ１０１の指令により外部機器との間でデータを送受信する。ＴＶチューナー１０６は、ＣＰＵ１０１の指令によりテレビ放送を受信する。ＣＰＵ１０１は、受信画像をメイン液晶表示器２０４に表示させ、受信音声をスピーカー２０６で再生させる。メモリカード１０５は不揮発性メモリによって構成され、ＣＰＵ１０１の指令により、例えばカメラ部２００より出力される画像データ、ＴＶチューナー１０６より出力される映像・音声データなどのデータの書き込み、保存および読み出しが可能である。

マイク１０７は、集音した音声を電気信号に変換して音声信号としてＣＰＵ１０１へ送出する。音声信号は、録音時にはメモリカード１０５に記録され、通話時には通信制御部１１０へ送られる。外部インターフェイス１０８は、ＣＰＵ１０１の指令により不図示のケーブルまたはクレードルを介して外部機器との間でデータを送受信する。

スピーカー１１３は、ＣＰＵ１０１から出力された音声信号による音声を再生する。第１操作部材１１２は、電話機のダイヤルボタンなどを含み、押下されたボタンに対応する操作信号をＣＰＵ１０１へ送出する。ＧＰＳアンテナ１１１はＧＰＳ衛星からの信号を受信し、受信データをＣＰＵ１０１へ送出する。ＣＰＵ１０１は、ＧＰＳアンテナ１１１からの受信データを用いて位置情報を演算可能に構成されている。通信制御部１１０は無線送受信回路を含み、ＣＰＵ１０１の指令により不図示の基地局を介して他の電話機との間で通信を行う。通信制御部１１０は、電話音声の他にもカメラ部２００で撮影された画像データや、プロジェクタモジュール６で投射するための画像データなどを送受信可能に構成されている。アンテナ７は通信制御部１１０の送受信アンテナである。

電源１０９は、たとえば、着脱可能な電池パックおよびＤＣ／ＤＣ変換回路などで構成され、プロジェクタ付き携帯電話機１０内の各部に必要な電力を供給する。開閉角度ＳＷ１１４は、折り畳みヒンジ部３の回動角を検出し、操作部１および表示部２間の相対角θがたとえば８０度（投影姿勢）にされたことを検出するとオン信号（Ｈレベル）をＣＰＵ１０１へ送出し、上記角度以外ではオフ信号（Ｌレベル）を送出する。

メイン液晶表示器２０４は、ＣＰＵ１０１の指令により画像やテキストなどの情報を表示する。サブ液晶表示器４は、ＣＰＵ１０１の指令により画像やテキストなどの情報を表示する。テキスト情報として表示される内容は、例えばプロジェクタ付き携帯電話機１０の動作状態、操作メニュー、送受信メールの内容などである。さらに、メイン液晶表示器２０４は、プロジェクタモジュール６で投射される画像と同じ内容の画像を表示することが可能な構成とされている。第２操作部材２０５は、メイン液晶表示器２０４の表示内容に関連づけられたボタンなどを含み、押下されたボタンに対応する操作信号をＣＰＵ１０１へ送出する。スピーカー２０６は、相対角θが１５０度である通話姿勢時にＣＰＵ１０１から出力された音声信号による音声を再生する。

カメラ部２００は、撮影レンズ５と、イメージセンサ２０１と、レンズ駆動部（回路）２０２と、コントローラである撮像部制御ＣＰＵ２０３と、画像処理回路２０７とを有する。イメージセンサ２０１としては、ＣＣＤやＣＭＯＳ撮像素子などが用いられる。撮像部制御ＣＰＵ２０３は、ＣＰＵ１０１の指令によりイメージセンサ２０１およびレンズ駆動部２０２を駆動制御するとともに、画像処理回路２０７に所定の画像処理を行わせる。画像処理回路２０７は揺れ演算補正回路２０８を含み、イメージセンサ２０１から出力される蓄積電荷信号に対するホワイトバランス処理、ガンマ処理、シェーディング補正処理などを行う他、揺れ演算補正回路２０８で揺れ補正処理も行う。揺れ補正は、プロジェクタ付き携帯電話機１０を手持ちしてカメラ部２００で撮影を行う場合に生じる撮影画像の揺動（手ぶれ）を補正したり、プロジェクタ付き携帯電話機１０を手持ちしてプロジェクタモジュール６で投射する場合に生じる投射画像の揺動を補正したりするためのものである。

レンズ駆動部２０２は、撮像部制御ＣＰＵ２０３からズーム制御信号を受けると、制御信号に応じて撮影レンズ５を構成するズームレンズ（不図示）をテレ側もしくはワイド側へ駆動する。撮影レンズ５は、イメージセンサ２０１の撮像面上に被写体像を結像させる。撮像部制御ＣＰＵ２０３はイメージセンサ２０１に撮像を開始させ、撮像終了後にイメージセンサ２０１から蓄積電荷信号を読み出して画像処理回路２０７へ送出し、画像処理回路２０７で画像処理された画像データをＣＰＵ１０１へ送出する。なお、カメラ部２００で撮影した画像データを他の機器へ送信する場合にはＣＰＵ１０１から通信制御部１１０へ画像データが送出される。また、撮影画像をスクリーンなどへ投射する場合には撮像部制御ＣＰＵ２０３からＣＰＵ１０１を経由してプロジェクタモジュール６へ画像データが送出される。画像処理回路であるＣＰＵ１０１では、プロジェクタモジュール６で投射される画像データに対して台形歪み補正処理が施される。

プロジェクタモジュール６は、投影レンズ６１と、液晶パネル６２と、ＬＥＤ光源６３と、ＬＥＤ駆動部（回路）６４と、液晶駆動部（回路）６５と、レンズ駆動部（回路）６６とを含む。ＬＥＤ駆動部６４は、ＣＰＵ１０１から出力されるＬＥＤ駆動信号に応じてＬＥＤ光源６３に電流を供給する。ＬＥＤ光源６３は、供給電流に応じた明るさで液晶パネル６２を照明する。

液晶駆動部６５は、画像データに応じて液晶パネル駆動信号を生成し、生成した駆動信号で液晶パネル６２を駆動する。具体的には、液晶層に対して画像信号に応じた電圧を画素ごとに印加する。電圧が印加された液晶層は液晶分子の配列が変わり、当該液晶層の光の透過率が変化する。このように、画像信号に応じてＬＥＤ光源６３からの光を変調することにより、液晶パネル６２が光像を生成する。

レンズ駆動部６６は、ＣＰＵ１０１から出力される制御信号に基づいて、投影レンズ６１を光軸に対して直交する方向へ進退駆動する。投影レンズ６１は、液晶パネル６２から射出される光像をスクリーンなどへ向けて投射する。

プロジェクタモジュール６による投射像について詳細に説明する。プロジェクタ付き携帯電話機１０は、操作部１および表示部２間の相対角が８０度の投影姿勢に設定され、所定時間（たとえば３秒）が経過すると自動的に投射を開始する。図３は、平面Ｐ上に上記縦位置で載置されたプロジェクタ付き携帯電話機１０から離間したスクリーンＳに投射された像Ｉｖを説明する図である。図３(a)はスクリーンＳを正対する向きに見た図であり、図３(b)はスクリーンＳを右側方から見た図である。

プロジェクタモジュール６は投射像Ｉｖの形状を以下のように補正する機能を有している。すなわち、レンズ駆動部６６によって投射レンズ６１を光軸に対して直交する方向へシフトさせてあおり効果を得て、あおり効果に応じて投影する表示データに対するキーストン補正（台形歪み補正）を施す。これにより、投射像Ｉｖを方形状に補正する。

上述した揺れ演算補正回路２０８が行う揺れ補正処理の詳細について説明する。揺れ補正処理を行うように設定されている状態でイメージセンサ２０１から出力され、画像処理回路２０７で信号処理された１フレームごとの画像データは、揺れ演算補正回路２０８へ逐次入力される。揺れ演算補正回路２０８は、入力された１フレーム画像の中のあらかじめ定められている所定領域から複数ブロック（たとえば、６ブロック）を抽出する。なお、揺れ補正処理を行うための設定は、メニュー設定もしくは第２操作部材２０５による操作などによって行われる。

揺れ演算補正回路２０８は、抽出した６ブロックの画像のそれぞれについて、ブロックマッチング処理を行うことで、前フレーム画像から６ブロック画像のそれぞれに対応する領域を求め、各ブロック位置、各領域位置とから公知の動きベクトル算出処理によって６つの動きベクトルを算出する。揺れ演算補正回路２０８はさらに、６つの動きベクトルを用いて、例えば各々の動きベクトルの大きさ、向きについて平均化処理を施して６ブロックの画像の全体を代表する代表ベクトルを算出する。

揺れ演算補正回路２０８は、算出した６つの動きベクトルの大きさおよび方向をそれぞれ比較し、各ベクトルの大きさおよび方向が合致しているか否かを判定する。揺れ演算補正回路２０８は、各ベクトル間の大きさの差、および各ベクトル間の方向差があらかじめ定められる所定範囲内である場合、フレーム間の画像の動き（画像の時間的、位置的な変化）が「手ぶれ」によって生じたとみなし、各ベクトル間の大きさの差および各ベクトル間の方向差の少なくとも一方が所定範囲を超えている場合には、フレーム間の画像の動きが「被写体の動き」によるものとみなす。

揺れ演算補正回路２０８は、上記「手ぶれ」を判定した場合に、上記代表ベクトルによる像の動きを打ち消すように画像をシフトさせるための画像シフト情報を生成する。画像のシフト方向は代表ベクトルの向きと逆向きであり、画像のシフト量は代表ベクトルの大きさと同じである。

画像シフト情報は、カメラ部２００による撮影時には、撮影画像に生じる「手ぶれ」を抑えるために使用できる。具体的には、イメージセンサ２０１から出力される１フレームの画像のデータを、画像シフト情報が示すシフト方向、シフト量に基づいてメモリ空間上でシフトさせる。この結果、「手ぶれ」による被写体像の揺動を抑えるように、メモリ空間上においてフレーム間の画像の動きが抑制された画像データ（補正された画像データ）が得られる。このように、動きが抑制された画像データは、撮影画像データとして記録手段であるメモリカード１０５に記録したり、アンテナ７、外部Ｉ／Ｆ１０８を介して送信することもできる。

また、プロジェクタモジュール６による投射時には、投射像に含まれる画像や文字など（投射内容と呼ぶ）に生じる揺動を抑えるために画像シフト情報を使用できる。具体的には、液晶パネル６２を駆動する液晶パネル駆動信号を、画像シフト情報が示すシフト方向、シフト量に基づいて変化させる。つまり、投射時にプロジェクタ付き携帯電話機１０が「手ぶれ」に起因して平行移動したことで生じるスクリーンＳ上の投射内容の揺動を抑えるように、液晶パネル６２上に形成される光像をシフトさせる。このように、液晶パネル６２上で光像がシフトされる（補正される）結果、観察者にとってスクリーンＳ上に投射されている画像や文字などが静止して見える。

本発明は、画像シフト情報を使用してプロジェクタモジュール６による投射内容の揺動を抑えることに特徴を有するので、この点を中心にさらに説明する。プロジェクタ付き携帯電話機１０のＣＰＵ１０１は、上述したように投影姿勢に設定されて所定時間が経過すると、プロジェクタモジュール６に対して投射開始を指示する。このとき、揺れ補正処理を行うように設定されていれば、カメラ部２００に対して連続するフレーム画像の撮像開始を指示する。

図４は、プロジェクタ付き携帯電話機１０で投射内容の揺動を抑える場合のスクリーンＳ側の構成を説明する図である。図４において、机１００の上にスクリーンＳが配設され、スクリーンＳに隣接して植木鉢Ｕが配設されている。プロジェクタ付き携帯電話機１０は、図１のような投射姿勢の状態で操作者の手に把持され、表示部２の面２ａ（すなわち、プロジェクタモジュール６の投射方向）およびカメラ部２００の撮影レンズ５がスクリーンＳに向けられている。机１００、植木鉢ＵおよびスクリーンＳは静止物である。

図５はカメラ部２００で撮影しながらプロジェクタモジュール６で画像を投射する例を示す図であり、図５(a)は時刻ｔｘにおける撮像範囲５１を説明する図、図５(b)は時刻(ｔｘ+１)における撮像範囲５１を説明する図である。図５(a)、(b)において、カメラ部２００は撮像範囲５１に机１００および机１００上のスクリーンＳ、植木鉢Ｕを含むように撮影し、プロジェクタモジュール６はスクリーンＳに向けて投射画像Ｐを投射する。カメラ部２００による撮像範囲５１がプロジェクタモジュール６による投射範囲より広くなるように、撮影レンズ５がズーム調節され、撮影画角が調節されている。

時刻ｔｘである図５(a)において、机１００の右前脚１０１ａと撮像範囲５１の端との間隔はＹであり、時刻(ｔｘ+１)である図５(b)において、机１００の右前脚１０１ａと撮像範囲５１の端との間隔はＸである。揺れ演算補正回路２０８は、図６に示すように、１フレーム画像に対応する撮像範囲５１の画像の中からスクリーンＳ上の投射範囲を含まない例えば、６つのブロック５１ａ〜５１ｆを抽出し、これらのブロック内の画像データに基づいて上述した画像シフト情報を得る。ブロック５１ａ〜５１ｆは、撮像範囲５１内の、例えば周縁近傍にあらかじめ定められている。

図５(a)の撮像範囲５１内の画像が前フレーム撮像画像に相当し、図５(b)の撮像範囲５１内の画像が現フレーム撮像画像に相当する。図５(b)によれば、上下方向の手ぶれによってプロジェクタ付き携帯電話機１０の表示部２の面２ａが図５(a)の場合に比べて下方向に平行移動したので、机１００、スクリーンＳおよび植木鉢Ｕが上方向に移動し、スクリーンＳに投射される画像Ｐの人物Ｈは下方向に移動する。スクリーンＳ上の投射画像Ｐを観察する人は、人物Ｈが移動して見えるので不快に感じる。

そこで、ＣＰＵ１０１はプロジェクタモジュール６の液晶駆動部６５へ指令を送り、画像シフト情報に応じて液晶パネル６２上の光像をシフトさせる。この結果、図７に示すように、スクリーンＳ上の投射画像Ｐの人物Ｈが図５(a)の場合と同様にスクリーンＳの中央部に投射され、スクリーンＳ上の投射画像Ｐを観察する人にとって人物Ｈが静止しているかのように見える。

上述の例では、図５(b)に示される時刻ｔ（ｘ＋１）の投射画像中の人物Ｈの像の位置は、図５(a)の投射画像中の人物Ｈの像の位置に比較して、下方向に移動している。したがって、この移動を打ち消すように、投射画像中の人物Ｈの像のスクリーンＳ上の位置が上方向に移動するように（投射画像の移動方向、すなわち「手ぶれ」の方向とは逆方向に像の位置が移動するように）制御が行われる。ここで、上記の例で、撮像画像の手ぶれの補正に適用する場合について説明する。図５(b)に示される時刻ｔ（ｘ＋１）の撮像画像は、図５(a)の撮像画像に比較して上方向に移動している。したがって、この移動を打ち消すように、前述の撮像されたフレーム画像データのメモリ空間からの読み出し開始位置を変更する。これにより、例えば、液晶モニタ２０に表示する画像が時刻ｔ（ｘ）の画像（図５(a)の撮像範囲５１に対応する画像）に近づくように補正が行われる。したがって、上記の図５の例においては、撮像画像の手ぶれの補正のための画像の移動方向は下向きとなる。すなわち、操作者の手ぶれを補正する対象の画像が、投射画像か撮像画像かによって、手ぶれによる画像の移動（補正）方向が逆になる。本プロジェクタ付き携帯電話機１０は、手ぶれによる画像の揺動を補正した画像を投射しつつ、撮像画像の揺動を補正し、揺動の補正された撮像画像データをメモリカード１０５に記録することができる。この際には、投射画像の揺動の補正方向と、撮像画像の揺動の補正方向とを逆にする。また、投射画像の揺動の補正と、撮像画像の揺動の補正とを、例えば第１操作部材１１２の操作によって切り替えて行う場合（すなわち、画像投射を行う投射モードと、撮像記録を行う撮像モードとを切り替えて行う場合）についても同様である。さらにまた、ジャイロ等のセンサによって手ぶれを検出する場合についても、同様に、投射画像の揺動の補正方向（画像シフト方向）と、撮像画像の揺動の補正方向（画像シフト方向）とを逆にする。

一般に、「手ぶれ」はプロジェクタ付き携帯電話機１０を持つ操作者の腕などの関節を支点に回動する回転運動に起因するため、プロジェクタ付き携帯電話機１０に生じる運動は、ほぼ平行運動と考えられる。したがって、ここでは「手ぶれ」を判定した場合にプロジェクタ付き携帯電話機１０が平行移動したものとして取り扱う。

動きベクトルを算出するために用いる６つのブロック５１ａ〜５１ｆを含む撮影画像は、その撮像範囲５１に必ずしもスクリーンＳを含まなくてもよい。つまり、カメラ部２００による撮影方向と、プロジェクタモジュール６による投射方向とが同一でなくてもよい。図８(a)〜(c)は、カメラ部２００による撮影方向と、プロジェクタモジュール６による投射方向との関係について説明する図である。上面視図である図８(a)は、撮影方向および投射方向が同一の場合を示す図である。カメラ部２００の光軸をＬＣで表し、プロジェクタモジュール６の光軸をＬＰで表している。揺れ演算補正回路２０８が矢印Ｂ（撮影右方向）で示す代表ベクトルを算出した場合、ＣＰＵ１０１は矢印Ｂの動きを打ち消す方向に投射画像を変位させるようにプロジェクタモジュール６を制御する。

上面視図である図８(b)は、撮影方向および投射方向が１８０度異なる場合を示す図である。カメラ部２００の光軸をＬＣで表し、プロジェクタモジュール６の光軸をＬＰで表している。揺れ演算補正回路２０８が矢印Ａ（撮影左方向）で示す代表ベクトルを算出した場合、投射画像は図５(a)の場合と同様に矢印Ｂ（図５(a)の場合の撮影右方向に相当する）で示す代表ベクトルが算出される場合と同様に移動する。そこで、ＣＰＵ１０１は矢印Ｂの動きを打ち消す方向に投射画像を変位させるようにプロジェクタモジュール６を制御する。

側面視図である図８(c)は、撮影方向および投射方向が９０度異なる場合を示す図である。カメラ部２００の光軸をＬＣで表し、プロジェクタモジュール６の光軸をＬＰで表している。揺れ演算補正回路２０８が矢印Ａ（撮影右方向）で示す代表ベクトルを算出した場合、投射画像は移動しないものの、プロジェクタ付き携帯電話機１０からスクリーンＳまでの距離が変化することから投射画像のフォーカスがずれる。そこで、ＣＰＵ１０１は投射像のフォーカス調節を行うようにプロジェクタモジュール６を制御する。具体的には、レンズ駆動部６６がＣＰＵ１０１から出力される制御信号に基づいて投影レンズ６１を構成するフォーカスレンズ（不図示）を光軸方向へ進退駆動させ、投射像のフォーカスを調節する。

図８(a)〜(c)は、代表ベクトルの向きが撮影方向に対して左右の方向に算出された場合を示す図であるが、撮影方向に対して上下の方向に算出された場合も同様である。上述した図５(a)、(b)は、撮影方向および投射方向が同一であって、揺れ演算補正回路２０８が撮影上下方向の代表ベクトルを算出した場合に相当する。

代表ベクトルが斜め方向に算出された場合には、斜め方向の動きを打ち消す方向に投射画像を変位させるようにプロジェクタモジュール６を制御する。

揺れ演算補正回路２０８が抽出したブロックの画像から動きベクトルを検出できない場合の処理について説明する。動きベクトルを検出できない場合とは、画像データに輪郭などのコントラスト情報を含む特徴部が存在しないため、動きベクトルを算出できない状態をいう。揺れ演算補正回路２０８は、動きベクトルを算出するために抽出した６ブロックに動きベクトルを算出できないブロックが存在する場合は、当該非検出のブロックを除外して動きベクトルが算出されたブロックのみを用いて代表ベクトルを算出する。

揺れ演算補正回路２０８は、図８(a)に示す撮影方向および投射方向が同一の場合において、抽出した６ブロックのいずれからも動きベクトルを検出できなかった場合には、撮像部制御ＣＰＵ２０３を介してＣＰＵ１０１へ動きベクトル非検出を示す信号を送る。動きベクトル非検出信号を受けたＣＰＵ１０１は、投射像のズーム調節を行うようにプロジェクタモジュール６を制御する。具体的には、レンズ駆動部６６がＣＰＵ１０１から出力される制御信号に基づいて投影レンズ６１を構成するズームレンズ（不図示）光軸方向へ進退駆動させ、スクリーンＳ上の投射範囲を小さくするようにズーム調節する。

スクリーンＳ上で投射範囲が小さくなると、スクリーンＳ上で投射範囲以外の面積が広くなる。揺れ演算補正回路２０８は、プロジェクタモジュール６による投射範囲の縮小に反比例させて抽出ブロック５１ａ〜５１ｆの大きさを拡大する。この結果、広げた抽出ブロック５１ａ〜５１ｆにスクリーンＳの枠、スクリーンＳに印刷されているマーク、スクリーンＳ上に付着するゴミもしくは汚れなどの静止物が存在する可能性が高くなり、これらに基づいて動きベクトルが検出されるようになる。なお、ＣＰＵ１０１および撮像部制御ＣＰＵ２０３を経由してプロジェクタモジュール６のズーム倍率を示す情報を入手することにより、プロジェクタモジュール６による投射範囲を含まないように抽出ブロックの大きさを拡げることが可能である。このように、スクリーンの近傍に静止物が存在せず、これら静止物によるコントラスト情報が得られない場合でも、抽出ブロック５１ａ〜５１ｆを広げて動きベクトルを検出しやすくすることが可能になる。上述とは逆に、撮影レンズ５を駆動させてカメラ部２００による撮像範囲を広げ、これとともに抽出ブロック５１ａ〜５１ｆの大きさを拡大する構成としても同様の効果が得られる。

以上説明した実施形態についてまとめる。
（１）プロジェクタ付き携帯電話機１０は、相対角θ＝８０度の投影姿勢に設定されて３秒経過すると、プロジェクタモジュール６の投射を開始させる。このとき、揺れ補正処理を行う設定がなされていれば、カメラ部２００に連続するフレーム画像の撮像開始を指示する。投射開始および撮像開始が自動的に行われるので、操作が簡略化され使い勝手が向上する。

（２）プロジェクタ付き携帯電話機１０は、イメージセンサ２０１によって撮像された、投射領域より大きい連続するフレーム間の画像を比較して６つの動きベクトルを算出する。算出した動きベクトルに基づいて「手ぶれ」判定を行うとともに、６つの動きベクトルを平均化して代表ベクトルをさらに算出する。プロジェクタ付き携帯電話機１０はさらに、代表ベクトルをキャンセルするための画像シフト情報を生成し、「手ぶれ」を判定した場合にはプロジェクタモジュール６による投射内容の揺動を抑えるように、画像シフト情報を用いて投射像を補正する。この結果、ハンドホールドされているプロジェクタ付き携帯電話機１０に「手ぶれ」が生じてもスクリーンＳ上に投射されている画像や文字などの揺動が抑えられ、観察者にとって静止しているかのように見えるので、観察者が感じる不快感を軽減できる。

（３）「手ぶれ」判定は、イメージセンサ２０１によって撮像された連続するフレーム間の画像を比較して行うようにしたので、ジャイロなどを用いる場合に比べてコストや消費電力を抑えることができる。

（４）上記（２）の６つの動きベクトルは、撮像範囲５１の画像の中からスクリーンＳ上の投射範囲を含まない６つのブロック５１ａ〜５１ｆから算出する。カメラ部２００による撮影方向と、プロジェクタモジュール６による投射方向とが一致しないように両方向の関係を変更可能に構成したので、投射範囲以外の領域を撮像する（すなわち、撮像範囲５１から投射範囲を外す）ことが容易である。

（５）また、カメラ部２００による撮像範囲５１がプロジェクタモジュール６による投射範囲より広くなるように撮影画角を調節可能に構成したので、撮影方向および投射方向が同一の場合においても投射範囲以外の領域を撮像することが容易である。

（６）図８(a)に示す撮影方向および投射方向が同一の場合において、６ブロック５１ａ〜５１ｆのいずれからも動きベクトルを算出できなかった場合には、プロジェクタモジュール６に投射像のズーム調節を行わせ、スクリーンＳ上で投射範囲を小さくするようにする。一方、投射範囲の縮小に反比例して上記６つのブロックの大きさを拡大する。この結果、広げたブロック５１ａ〜５１ｆにスクリーンＳの枠、マーク、ゴミ、もしくは汚れなどが存在する可能性が高くなり、これらのコントラスト情報に基づいて動きベクトルを算出しやすくすることができる。

（変形例１）
以上の説明では、「手ぶれ」したことで生じるスクリーンＳ上の投射内容の揺動を抑えるために、液晶パネル６２上の光像をシフトさせる電気的な補正を行った。この代わりに、代表ベクトルをうち消すように液晶パネル６２と投射レンズ６１との相対的な位置関係を投影レンズ６１の光軸に垂直な面内で機械的に移動させる構成にしてもよい。また、可変頂角プリズムを用いて光学的な補正を行って投射する画像の揺れを補正する構成にしてもよい。

（変形例２）
上述した説明では、揺れ補正処理を行うように設定された場合において、プロジェクタモジュール６が投射画像Ｐとして静止画像を投射する例を説明したが、画像の代わりに文字や記号、ポインタを投射させてもよい。また、投射画像Ｐとして静止画像を投射している場合には、ブロック５１ａ〜５１ｆが投射範囲を含むものであってもよい。

（変形例３）
また、揺れ補正処理を行うように設定された場合において、プロジェクタモジュール６が投射画像Ｐとして動画像を投射してもよい。静止画像を投射する場合と同様に、算出される代表ベクトルを打ち消すように投射画像を変位させるべく、プロジェクタモジュール６を制御する。なお、動画像はＴＶチューナー１０６で受信された映像、通信制御部１１０で受信された映像、もしくはメモリカード１０５に記録されているデータによる再生画像である。カメラ部２００による撮影範囲内にプロジェクタモジュール６による投射領域が存在し、揺れ補正処理を行う場合には、ＣＰＵ１０１は、カメラ部２００によってリアルタイムに撮像される連続したフレーム画像を動画像して投射することを禁止する。投射内容の揺動を抑えるようにシフトさせた画像がスクリーンＳに投射され、そのスクリーンＳを含むようにカメラ部２００で撮像を行うことは、投射内容と撮像内容との無限の連鎖状態を引きおこしてしまい、スクリーンＳを観察する人に不快感を与えてしまうからである。また、６つのブロック５１ａ〜５１ｆが投射範囲を除いた領域に設定されているため、投射動画像内の像の動きを検出し、誤って「手ぶれ」と判断してしまうことが防止される。

（変形例４）
揺れ補正処理を行うように設定された場合、プロジェクタモジュール６による投射範囲を揺れ補正処理を行わない場合の投射範囲に比べて小さくするようにズーム調節するとよい。これにより、スクリーンＳ上で投射範囲の周囲に移動代を確保できるので、「手ぶれ」によって投射像が揺動したとしても、投射像の端部がただちにスクリーンＳの外側へ逸脱することを防止できる。

（変形例５）
また、揺れ補正処理を行うように設定された場合、プロジェクタモジュール６による投射範囲内の周縁近傍の所定領域に、画像やテキストなどの情報を含まない照明光のみを投影してもよい。すなわち、液晶パネル６２の投射範囲内の周縁近傍の所定領域には、投射コンテンツは表示されず、この領域の投射光が上記の照明光として用いられる。動きベクトルをスクリーンＳの枠、マーク、ゴミ、もしくは汚れなどに基づいて算出する場合には、当該抽出ブロックの画像の輝度が高くなるので、撮像画像のノイズを抑えることができ、動きベクトルの算出精度を高めることができる。

（変形例６）
上記の例では、カメラ部２００で撮像範囲５１に机１００および机１００上のスクリーンＳ、植木鉢Ｕを含むように撮影し、揺れ演算補正回路２０８が撮像範囲５１の画像の中からスクリーンＳ上の投射範囲を含まない６つのブロック５１ａ〜５１ｆを抽出し、これらのブロック内の画像データに基づいて画像シフト情報を得るようにした。この代わりに、スクリーンＳ上の投射範囲を含まずに静止物（たとえば、机１００、植木鉢Ｕ、またはスクリーンＳの枠部分）を含む領域のみを撮影し、この画像データから画像シフト情報を得てもよい。この場合には、プロジェクタ付き携帯電話機１０からスクリーンＳまでの距離、およびプロジェクタ付き携帯電話機１０から静止物までの距離を算出可能に構成することにより、より正確にプロジェクタモジュール６による投射画像の変位を制御できる。スクリーンＳや静止物までの距離は、たとえば、カメラ部２００用の測距装置やプロジェクタモジュール６用の測距装置などによって算出させるとよい。

（変形例７）
また、上記の例では、イメージセンサ２０１の出力する信号をもとに撮影画像、投射画像の揺れを補正する構成について説明した。この例でイメージセンサ２０１は、撮影画像、投射画像の揺れを補正する際の揺れを検出する揺れ検出センサとしての機能をつかさどる。イメージセンサ２０１の出力信号をもとに、揺れ演算補正回路２０８で揺れの検出が行われ、揺れ検出信号が出力される。撮影画像、投射画像の揺れを補正する際に用いられる揺れ検出センサとして、ジャイロ、角速度センサ、加速度センサを用いる構成としてもよい。この場合には、プロジェクタモジュール６の投射面は、筐体の表面もしくは内部であっても構わない。このような構成とすれば、撮影画像の揺れ補正、投射画像の揺れを補正する際に個別に揺れ検出センサを用いることなく、単一のセンサを用いて揺れ補正を行うことができ、装置の小型化、低消費電力化が実現できる。

（変形例８）
プロジェクタモジュール６の構成例として、液晶パネル６２を用いて光像形成素子を構成し、液晶パネル６２による像をＬＥＤ光源６３の光で照明して光像を得る場合を説明したが、自発光式の光像形成素子を用いて構成してもよい。この場合には、画素に対応する点光源を配列して光像形成素子を構成し、画像信号に応じた輝度の光を画素ごとに発光させることにより、光像形成素子が光像を生成する。自発光式の光像形成素子を用いる場合はＬＥＤ光源６３を省略できる。また、光源はＬＥＤ光源に限定されず、他の光源であってもよい。

（変形例９）
光像形成素子は、画素に対応してマイクロミラーが配列されているマイクロミラー素子を用いて構成してもよい。マイクロミラー素子を用いて光像形成素子を構成する場合は、ＬＥＤ光源６３の光でマイクロミラー素子を照明する。

（変形例１０）
カメラ部２００を回動する回動機構を備えることによって、カメラ部２００による撮影方向とプロジェクタモジュール６による投射方向との関係を変更自在に構成したが、カメラ部２００の代わりにプロジェクタモジュール６を回動可能にするなどして、投射方向を変更可能に構成してもよい。また、カメラ部２００およびプロジェクタモジュール６の双方を回動可能に構成してもよい。

（変形例１１）
図８(a)に示す撮影方向および投射方向が同一の場合において、動きベクトルを算出できなかった場合にプロジェクタモジュール６側でズーム調節して投射範囲を小さくするようにした。この代わりに、カメラ部２００側でズーム調節して撮影範囲を広げるようにしてもよい。

（変形例１２）
プロジェクタモジュール６によって画像を投影しながらカメラ部２００が撮影を行う際に、撮像範囲５１のうち動きベクトル抽出のためのブロックを含み、スクリーンＳ上の投影範囲を含まない領域の明るさに基づいて撮影時の露出を決定するとよい。図９は、この場合の測光エリアを説明する図である。図６において、１フレーム画像に対応する撮像範囲５１から少なくともスクリーンＳ上の投影範囲Ｐを除いた斜線領域Ｋは、投影範囲Ｐに比べて輝度が低くなる。このため、輝度が高い投影範囲Ｐを含む画像データに基づいて算出した被写体輝度に応じて露出を決定する（たとえば、撮像範囲５１全域の輝度を平均して露出を決定する平均測光を行う場合など）と、領域Ｋが暗く撮影されてしまう。上述したブロック５１ａ〜５１ｆは領域Ｋに含まれるので、暗く撮影されたデータからはコントラスト情報を含む特徴部の検出が困難になり、正確な動きベクトルの算出が難しくなる。

そこでＣＰＵ１０１は、動きベクトル抽出のためのブロックを含み、投影範囲Ｐを除外した領域Ｋの画像データの信号値に基づいて算出した被写体の明るさに応じて露出を決定することにより、上記ブロック５１ａ〜５１ｆについて適正露出が得られるようにする。これによって動きベクトルが算出し易くなり、より正確にプロジェクタモジュール６による投射画像の変位を制御できる。

（変形例１３）
また、ＣＰＵ１０１は、カメラ部２００による撮影時に領域Ｋについての被写体輝度が不足する場合、撮像された領域Ｋの画像データに対して例えばゲインアップを施す。これにより、上記ブロック５１ａ〜５１ｆについて適正な信号レベルのデータが得られるようになり、動きベクトルを算出し易くなるので、より正確にプロジェクタモジュール６による投射画像の変位を制御できる。なお、変形例１２および変形例１３の処理を組み合わせて行ってもよい。また、上記のゲインアップ処理に代えて、撮像素子２０１のシャッタ速度を大きくする、あるいは、撮像素子２０１に入射する光量が大きくなるように、絞りを広くする構成としてもよい。これらのゲインアップ処理、シャッタ速度の変更、あるいは絞りの変更処理は、レベル増大処理部（撮像部制御ＣＰＵ２０３、あるいは画像処理回路２０７）によってなされる。

（第２の実施形態）
プロジェクタモジュール６によって画像を投影しながらカメラ部２００が撮影を行うのではなく、プロジェクタモジュール６による投影とカメラ部２００による撮影とを時分割で行うようにしてもよい。

図１０は、投影タイミングおよび撮影（撮像）タイミングを説明するタイミングチャートである。プロジェクタモジュール６のＬＥＤ駆動部６４は、ＣＰＵ１０１からのＬＥＤ駆動信号に応じて、１／６０secごとに点灯と消灯とを繰り返すようにＬＥＤ光源６３を点滅発光させる。点滅光によって液晶パネル６２が照明されることにより、スクリーン上の投射像が１／３０sec周期で点滅する。

一方、カメラ部２００の撮像部制御ＣＰＵ２０３は、ＣＰＵ１０１からの撮影指示に応じてフレーム画像の撮像を開始する。ここで、フレーム間の撮影間隔（撮影画像の取り込み間隔）を１／３０secにするとともに、ＬＥＤ光源６３がオフ（消灯）している間（すなわち、スクリーンＳ（図６）上の投射像がオフ（非表示状態）されている１／６０secの間）に撮像（撮像素子２０１への撮像電荷の蓄積）を行わせる。

ＣＰＵ１０１は、上記タイミングで撮影された画像を用いて画像シフト情報を得る。すなわち、１フレーム画像に対応する撮像範囲５１（図６）の画像の中から所定のブロック（図６の例ではブロック５１ａ〜５１ｆ）を抽出し、これらのブロック内の画像データに基づいて画像シフト情報を得る。なお、第２の実施形態ではスクリーンＳ上の投射像がオフされているため、ブロック５１ａ〜５１ｆにスクリーンＳが含まれるようにブロック位置を設定しても構わない。

ＣＰＵ１０１は、プロジェクタモジュール６の液晶駆動部６５へ指令を送り、得られた画像シフト情報に応じて、次に投影される液晶パネル６２上の光像をシフトさせる。この結果、図７に示すように、スクリーンＳ上の投射画像Ｐの人物ＨがスクリーンＳの中央部に投射され、スクリーンＳ上の投射画像Ｐを観察する人にとって人物Ｈが静止しているかのように見える。

以上説明した第二の実施形態によれば、以下の作用効果が得られる。
（１）プロジェクタモジュール６による投影とカメラ部２００による撮影とを交互に行い、プロジェクタ付き携帯電話機１０に生じた「手ぶれ」に起因する投射像の揺動をキャンセルするために行う投射像の補正に必要な画像シフト情報を、投射像がオフされている間の撮影画像を用いて得るようにした。これにより、カメラ部２００による撮像範囲５１をプロジェクタモジュール６による投影範囲より広くしなくてもよい（すなわち、第１の実施形態と異なり、ブロック５１ａ〜５１ｆにスクリーンＳが含まれていてもよい）から、撮影画角を調節する手間を省くことができる。

（２）上記（１）に加えて、カメラ部２００による撮影時に投射像がオフされており、投射像がオフの状態での測光結果に基づいて、カメラ部２００の露出が制御されているので、投影光が撮影時の露出に影響を与えるおそれを排除できる。すなわち、ブロック５１ａ〜５１ｆの領域が暗く撮影されるおそれがなく、動きベクトルの算出がし易いから、より正確にプロジェクタモジュール６による投射画像の変位を制御できる。

（３）プロジェクタモジュール６による投影は、点灯（オン）と消灯（オフ）とをそれぞれ１／６０secで繰り返すようにしたので、スクリーンＳ上の投影像を観察する人にとって投影像が常時オンしているように見え、ちらつきによる不快感を感じることがない。

（変形例１４）
ＬＥＤ光源６３のオン／オフ駆動は、上記１／６０sec間隔に限らず、さらに間隔を短くしてもよい。

（変形例１５）
ＬＥＤ光源６３の発光制御をPWM方式で行う場合や、ＲＧＢ各色の光をシーケンシャルに発光させるように駆動する場合には、それぞれ光源を消灯（オフ）している状態でカメラ部２００による撮影を行うように構成すればよい。

（変形例１６）
カメラ部２００による撮影時の被写体輝度が不足する場合、ＬＥＤ光源６３をオフさせる代わりに、画像やテキストなどの情報を含まない照明光のみを低輝度で発光（例えば白色投影）させてもよい。これにより、上記所定ブロックの画像の輝度が高くなるので、動きベクトルの算出精度を高めることができる。

（変形例１７）
また、ＣＰＵ１０１は、カメラ部２００による撮影時の被写体輝度が不足する場合、撮像された画像データに対して例えばゲインアップを施す。これによって、上記ブロック５１ａ〜５１ｆについて適正な信号レベルのデータが得られるようになり、動きベクトルを算出し易くなるので、より正確にプロジェクタモジュール６による投射画像の変位を制御できる。なお、変形例１６および変形例１７の処理は組み合わせて行ってもよい。また、上記のゲインアップ処理に代えて、撮像素子２０１のシャッタ速度を大きくする、あるいは、撮像素子２０１に入射する光量が大きくなるように、絞りを広くする構成としてもよい。これらのゲインアップ処理、シャッタ速度の変更、あるいは絞りの変更処理は、レベル増大処理部（撮像部制御ＣＰＵ２０３、あるいは画像処理回路２０７）によってなされる。

以上の説明では、プロジェクタモジュール６およびカメラ部２００を携帯電話機１０に搭載する例を説明したが、プロジェクタおよびカメラ付きノート型パソコン、プロジェクタおよびカメラ付きＰＤＡ、プロジェクタ付き電子カメラなどの電子機器にも本発明を適用できる。

上記実施形態では、プロジェクタモジュール６の投射を開始した時点で揺れ補正処理を行う設定がなされていれば、自動的にカメラ部２００の撮像開始を指示するようにしたが、撮像開始を手動で指示するように構成してもよい。また、上記実施の形態では、プロジェクタ付き携帯電話機１０をハンドホールドで用いる場合の例について説明したが、本発明は、プロジェクタ付き携帯電話機１０の保持、または載置形態と投射面との相対的な位置関係が時間とともに変化する場合にも適用することができる。

以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００４年第２７３４１６号（２００４年９月２１日出願）

Claims

被写体像を撮像して画像信号を出力する撮像装置と、
光像形成素子に形成された像を投射するプロジェクタ装置とを筐体内に一体に備え、
前記画像信号の時間的な変化量を演算する演算部と、
前記演算された変化量に応じて前記プロジェクタ装置が前記筐体と離間したスクリーンに投射する像の位置を補正する補正部とを備える電子機器。
請求項１に記載の電子機器において、
前記撮像装置による撮影範囲と前記プロジェクタ装置による投射範囲とが一致しないように、前記撮像装置が撮像する向きおよび前記プロジェクタ装置が像を投射する向きの少なくとも一方の向きを変更するための変更部をさらに備え、
前記演算部は前記プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を用いて前記変化量を演算する電子機器。
請求項１に記載の電子機器において、
前記撮像装置による撮影範囲と前記プロジェクタ装置による投射範囲とが一致しないように、前記撮影範囲および前記投射範囲の少なくとも一方の大きさを変更する範囲変更部をさらに備え、
前記演算部は前記プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を用いて前記変化量を演算する電子機器。
請求項３に記載の電子機器において、
前記範囲変更部は、前記撮影範囲が前記投射範囲より大きくなるように、前記撮影範囲もしくは前記投射範囲を変更する電子機器。
請求項３または４に記載の電子機器において、
前記演算部によって前記変化量が演算不能の場合、前記プロジェクタ装置が前記投射範囲を狭くするとともに、前記演算部が前記変化量の演算に用いる画像信号の抽出範囲を広げる電子機器。
請求項３または４に記載の電子機器において、
前記演算部によって前記変化量が演算不能の場合、前記撮像装置が前記撮影範囲を広くするとともに、前記演算部が前記変化量の演算に用いる画像信号の抽出範囲を広げる電子機器。
請求項５または６に記載の電子機器において、
前記プロジェクタ装置は、前記投射範囲内の周囲に照明光を照射する電子機器。
被写体像を撮像して画像信号を出力する撮像装置と、
光像形成素子に形成された像を投射するプロジェクタ装置とを一体に備え、
揺れを検出して揺れ検出信号を出力する揺れ検出部と、
前記揺れ検出信号に基づいて、前記撮像装置の出力する画像信号に対応する画像、および前記プロジェクタ装置が投射する像を補正する補正部とを備える電子機器。
請求項８に記載の電子機器において、
前記補正部は、前記揺れ検出部で揺れが検出された際に、前記撮像装置の出力する画像信号に対応する画像を補正するときと、前記プロジェクタ装置が投射する像を補正するときとで、前記画像、および前記像のシフト方向を逆にして補正する電子機器。
請求項１〜９のいずれか一項に記載の電子機器において、
前記撮像装置は、前記プロジェクタ装置の投射を開始させる指示に応じて撮像を開始する電子機器。
請求項１〜１０のいずれか一項に記載の電子機器において、
前記プロジェクタ装置は、前記補正部が前記補正を行う場合に前記撮像装置から出力される画像信号を用いて形成された像を投射することが禁止されている電子機器。
請求項１〜７のいずれか一項に記載の電子機器において、
被写体輝度に基づいて前記撮像装置による撮影時の露出を決定する露出演算部をさらに備え、
前記露出演算部は、前記プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を用いて前記被写体輝度を算出する電子機器。
被写体像を撮像して画像信号を出力する撮像装置と、
光像形成素子に形成された像を投射するプロジェクタ装置とを一体に備え、
前記プロジェクタ装置による非投射時に撮像するとともに、前記撮像装置による非撮影時に投射するように、前記撮像装置と前記プロジェクタ装置とを時分割で制御する制御部と、
前記画像信号の時間的な変化量を演算する演算部と、
前記演算された変化量に応じて前記プロジェクタ装置が投射する像の位置を補正する補正部とを備える電子機器。
請求項１３に記載の電子機器において、
前記制御部は、前記プロジェクタ装置による投射周期を１／３０秒以下にするように制御する電子機器。
請求項１２〜１４のいずれか一項に記載の電子機器において、
前記プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号のレベルを大きくするレベル増大処理部をさらに備え、
前記演算部は、前記レベル増大処理された画像信号を用いて前記変化量を演算する電子機器。