JP6101432B2 - プロジェクタ - Google Patents

Description

本発明は、プロジェクタに関する。

従来種々の目的のために種々のプロジェクタが提案されている。例えば、携帯電話に画像投影部を設けるとともに投影部から照射される光の照射領域を含む所定の領域に変化が発生したとき投影部からの光の照射を停止させること、および加速度センサを設けて手振れ振動を検出したら手振れ補正を行うことが提案されている。(特許文献１)また、手持ち式プロジェクタにおいて、センサからの手振れ検知信号に基づいて可変頂角プリズムの頂角を電磁式アクチュエータによって変更し、投影映像の手振れを防止することも提案されている。（特許文献２）

また、手振れ補正制御に関しては、プロジェクタではないが、光学式手振れ補正機能を搭載したデジタルカメラにおいて、ユーザが意図してパン動作やチルト動作をした場合は手振れ補正機能を発動させないようにするとともにパンニング状態またはティルティング状態の終了を精度よく判定して手振れ補正機能を再開することが提案されている。（特許文献３）さらに、プロジェクタに関してはあおり投射した画像の台形歪をプロジェクタの設定角度の検出により行うことが提案されている。（特許文献４）なお、台形歪補正に関しては、投射面が壁面から天井に移行したとか、壁面から壁面に移行したとか等を判断して映像データの上底とする側と下底とする側を入れ換えて補正することも提案されている。（特許文献５）

特開２０１０−２２６６９９号公報 特開２００５−１２８５０６号公報 特開２００９−２６７８７３号公報 特開２００３−２８３９６３号公報 特開２００４−７７５４５号公報

しかしながら、プロジェクタに関しては、さらに検討すべき課題が多い。

本発明の課題は、上記に鑑み、より使用のしやすいプロジェクタを提供することにある。

上記課題を達成するため、本発明は、画像投影部と、画像投影部に投影画像を提供する画像提供部と、画像投影部のブレ移動を検知するブレ移動検知部と、ブレ移動検知部の検知に基づきブレを補正する画像処理を行う画像処理部と、画像処理部によるブレ補正を停止する条件を検知する条件検知部とを有するプロジェクタ提供する。これによって、無駄な画像処理を避けることができる。

具体的な特徴によれば、プロジェクタは手動操作部を有し、条件検知部は手動操作部の操作を画像処理部によるブレ補正を停止する条件とする。これによって、例えばプロジェクタを振って投影位置を変更するときなどにおいて、投影位置変更中の無駄なブレ補正を意図的に避けることができる。

他の具体的な特徴によれば、プロジェクタは、自身の移動を検知する移動検知部を有し、条件検知部は移動検知部による同一方向へのプロジェクタの連続移動を画像処理部によるブレ補正を停止する条件とする。これによって、例えばプロジェクタを振って投影位置を変更するときやパノラマ画像パニングを行うときなどにおいて、投影位置変更中の無駄なブレ補正を自動的に避けることができる。

より具体的な特徴によれば、移動検知部によるプロジェクタの移動方向成分が検知され、平均的な移動方向成分がないときはブレ補正停止条件であってもその方向については画像処理部によるブレ補正が行われる。これによって、例えばパノラマ画像パニングを行うときなどにおいて、パニング方向以外の手振れを補正することが可能となる。

他の具体的な特徴によれば、条件検知部がブレ補正を停止する条件を検知したとき、ブレ補正画像のセンタリングが行われる。これによって、ブレ補正を再開するときに種々の方向への補正余地が確保できる。

さらに他の具体的な特徴によれば、プロジェクタはブレ補正画像処理に伴う投影枠ぼかし処理を行う投影枠ぼかし処理部を有し、条件検知部がブレ補正を停止する条件を検知したとき、投影枠ぼかし処理部による処理を停止する。これによって、ブレ補正処理とともに投影枠ぼかし処理も適宜停止させることができる。

本発明の他の特徴によれば、画像投影部と、画像投影部に投影画像を提供する画像提供部と、画像投影部のブレ移動を検知するブレ移動検知部と、ブレ移動検知部の検知に基づきブレを補正する画像処理を行う画像処理部と、ブレ補正画像のセンタリングを行う条件を検知する条件検知部とを有するプロジェクタが提供される。これによって、必要時における種々の方向へのブレ補正余地が確保できる。

具体的な特徴によれば、条件検知部は、ブレ補正画像処理が停止をセンタリングの条件とする。これによって、ブレ補正を再開するときに種々の方向への補正余地が確保できる。

他の具体的な特徴によれば、条件検知部は、同一方向へのプロジェクタの連続移動をセンタリングの条件とする。これによって、同一方向へのプロジェクタの連続移動が終了した後の種々の方向へのブレ補正余地が確保できる。

本発明の他の特徴によれば、画像投影部と、画像投影部に投影画像を提供する画像提供部と、画像投影部のブレ移動を検知するブレ移動検知部と、ブレ移動検知部の検知に基づきブレを補正する画像処理を行う画像処理部と、ブレ移動検知部によるプロジェクタの移動方向成分を検知し、平均的な移動方向成分が連続的に同一方向であるときはその方向について前記画像処理部によるブレ画像補正を停止するプロジェクタが提供される。これによって、平均的な移動方向成分が連続的に同一方向である方向については無駄な補正を停止するとともに他の方向については適宜補正を実行することができる。具体的な特徴によれば、プロジェクタはパノラマ画像パニング処理手段を有し、ブレ補正の停止はパノラマ画像パニング処理中において行われる。

上記のように、本発明によれば、使用のしやすい有用なプロジェクタを提供することができる。

本発明の実施の形態に係るプロジェクタ付携帯電話の実施例１を示す斜視図である。 （実施例１） 実施例１のブロック図である。 実施例１における手振れ補正の基本について説明するための投影画面図である。 実施例１における投影画面枠の手振れ補正の詳細について説明する投影画面図である。 実施例１において台形歪補正が行われている場合の手振れ補正について説明するための投影画面図および対応する投影光路模式断面図である。 実施例１において台形歪補正が行われている場合の手振れ補正における投影面の変化への対応について説明するための投影画面図および対応する投影光路模式断面図である。 図２の実施例１における制御部の動作のフローチャートである。 図７のステップＳ３２の詳細を示すフローチャートである。 本発明の実施の形態に係るプロジェクタ付携帯電話の実施例２を示す斜視図である。（実施例２） 本発明の実施の形態に係るプロジェクタ付携帯電話の実施例３に関する手振れ補正を説明するための投影画面図である。（実施例３） 実施例３における制御部の動作のフローチャートである。 図１１のステップＳ８６の詳細を示すフローチャートである。 本発明の実施の形態に係るプロジェクタ付携帯電話の実施例４に関する手振れ補正を説明するための投影画面図である。（実施例４） 実施例４における追加機能を示すフローチャートである。 本発明の実施の形態に係るプロジェクタ付携帯電話の実施例５に関する台形補正に関するフローチャートである。（実施例５） 本発明の実施の形態に係るプロジェクタ付携帯電話の実施例６に関する台形歪補正中の手振れ補正を説明するための投影画面図である。（実施例６） 実施例６における台形歪補正時の手振れ補正を示すフローチャートである。 図１１に示す本発明の実施例３の基本フローにおけるステップＳ９２のパノラマ画像パニング処理の詳細を示すフローチャートである。

図１は、本発明の実施の形態に係るプロジェクタ付携帯電話の実施例１を示す斜視図である。図１（Ａ）はプロジェクタ付携帯電話２を縦持ちにし、大画面表示部４に表示されるテンキー６等によって通話等のための通常操作を行う場合を示す。一方、図１（Ｂ）は、プロジェクタ付携帯電話２を両手で横持ちにしてプロジェクタ部８から壁などに投影画面１０を投影している場合を示す。なお、図１（Ａ）および図１（Ｂ）において説明の重複を避けるため同一部分には同一番号を付す。

以下、図１について詳細に説明する。図１（Ａ）に示すように、プロジェクタ付携帯電話２は、写真やウェブサイト画面などを表示可能な大画面表示部４を有するいわゆるスマートフォンとして構成されている。そして、大画面表示部４はタッチパネルを兼ねており、表示されるテンキー６等の種々の操作部を含む操作画面への指のタッチやスライドによるＧＵＩ（グラフィカル・ユーザ・インタフェース）が可能となっている。なお、操作部３は主電源のオンオフ等のためのメカ的操作部である。また、プロジェクタ付携帯電話２には、操作者の口から発音される音声を拾うマイク１２、および操作者の耳に音声を伝えるスピーカ１４が設けられている。さらに、プロジェクタ付携帯電話２をテレビ電話として利用する場合において表示部４を見ている操作者の顔を写すことができるとともに、自分撮りの際にも利用される内側カメラ１６が配置されている。なお、図１では図示しないが、プロジェクタ付携帯電話２の背面には背面主カメラが設けられており、表示部４でモニタされる被写体を撮影することができるようになっている。

図１（Ａ）で見てプロジェクタ付携帯電話２の左側部分には、超小型のプロジェクタ部８が内蔵されており、その光軸は、図１（Ａ）の左側を向いている。後述するように、プロジェクタ付携帯電話２には３軸の加速度センサが設けられており、重力加速度方向の検知によりプロジェクタ付携帯電話２の姿勢が検知できるようになっている。そして図１（Ａ）に示すような縦位置での操作状態や通話状態などのようにスピーカ１４がマイク１２よりも所定角度を超えて上方に来るような傾斜姿勢にある場合は超小型のプロジェクタ部８による投影が行われる状況ではないものと看做し、誤って投影操作が行われても、投影を禁止する。これは、周囲に迷惑を及ぼす誤操作を防止するとともに無用の電力消費を避ける意味がある。

これに対し、図１（Ｂ）の投影姿勢では、プロジェクタ付携帯電話２が横持ちとなるので、スピーカ１４とマイク１２はほぼ水平に近くなる姿勢となっていることが加速度センサにより検知され、プロジェクタ部８から壁などに投影画面１０を投影するプロジェクタモードの操作が許可される。このとき、天井や壁などの上方または床や壁などの下方に投影画面１０を投影する場合もあるので、図１（Ｂ）における横持ちの前後方向については、スピーカ１４とマイク１２を結ぶ線まわりの３６０度どの方向に投影光軸が向いていてもプロジェクタモードの操作は許可される。

なお、プロジェクタモードは、上記のようにプロジェクタ付携帯電話２が縦持ちであることが加速度センサにより検知されている限り大画面表示部４に表示されるメニュー画面の選択肢から消されることにより禁止されているが、横持ち状態が検知されるメニュー画面の選択肢に加えられ、その選択が許可される。プロジェクタモードが選択されると、大画面表示部４には右手親指操作部１８および左手親指操作部２０が表示され、これらの部分における両手親指のタッチやスライド操作の組合せにより投影画面の選択や拡大、縮小、スクロールなどが可能となる。また、この部分における操作によって、後述する補正停止操作も可能である。このような横長状態における両手持ちの親指操作は、ゲーム画面の操作等に好適である。また、プロジェクタモードでは、投影内容２２が横長状態の大画面表示部４に表示され、同じ投影内容２４が横長の投影画面１０内に投影される。従って、プレゼンテーションなどに実施例１を用いる場合、大画面表示部４によって可能な最大の横長画像をモニタしながら、投影画面１０の説明や操作を行うことが可能となる。

図２は、実施例１のブロック図であり、同一部分には図１と同一番号を付し、必要のない限り、説明は省略する。プロジェクタ付携帯電話２は、記憶部２６に記憶されるプログラムに従って動作する制御部２８によって制御される。記憶部２６はまた、制御部２８の制御に必要なデータを一時記憶するとともに、種々の測定データや画像も記憶することができる。表示部４の表示は、表示メモリ３０の保持する表示データに基づいて表示ドライバ３２が行う。その制御は、制御部２８が行う。表示部４は表示バックライト３４を有しており、照度センサ３６が検知する周囲の明るさに基づいて制御２８が表示バックライト３４の明るさを自動調節する。

マイク１２およびスピーカ１４を含む電話機能部３８は、制御部２８の制御下にある電話通信部４０により、無線電話回線に接続可能である。スピーカ１４は、制御部２８の制御に基づく音量制御により、通話だけでなく、着信音や種々の案内を行うとともにテレビ電話時の相手の声を出力する。なお、これら耳につけて聞く音以外の音の出力のためには別に専用のスピーカを設けてもよい。
画像処理部４２は、制御部２８に制御されて内側カメラ１６および背面主カメラ４４によって撮像される画像を処理し、これらの処理結果の画像を記憶部２６に入力する。

プロジェクタ部８は、赤レーザダイオード４６、緑レーザダイオード４８および青レーザダイオード５０を光源とし、これらからの各ＲＧＢレーザ光を合成プリズム５２で合成してＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー部１５２で走査させることにより壁５等に投影画面１０を投影するもので、投影レンズのない超小型のプロジェクタエンジンを構成している。そして、投影コントローラ５４は、入力される表示データに基づいて赤レーザダイオード４６、緑レーザダイオード４８および青レーザダイオード５０のそれぞれの発光強度およびＭＥＭＳミラー部１５２の走査を同期制御して投影画面１０を作画している。

プロジェクタ部８への表示データ入力は、表示メモリ３０から手振れ／台形補正部５６を介して入力される。手振れ／台形補正部５６は、プロジェクタ部８の画面書換えのためのスキャンレート（走査方向が水平なら垂直スキャンレート）に対応できる速度で表示データに基づく画像処理を行い、可能な書換え画面単位で手振れ補正画像を作成することができる。手振れ／台形補正部５６の画像補正処理は、ＸＹＺ３軸の加速度センサ５８およびＸＹＺ３軸のジャイロセンサ６０による手振れ検知に基づいて制御部２８が制御する。この結果、表示メモリ３０が保持する表示データは変わらなくても手振れ検知に基づいて手振れ／台形補正部５６から補正された表示データが可能な書換え画面単位で刻々出力される。このようにして、プロジェクタ部８自身には手振れ補正光学系がなくても、電子的な画像処理により手振れ補正が行われる。なお、手振れ周波数に対しスキャンレートが高い場合は、書換え画面毎に手振れ補正画面を作成しなくても何回かの書換え画面に一回補正画面を作成するよう構成してもよい。なお、手振れが検知されない場合は、補正画面の作成を省略し、表示データが変わらない限り前回の画面を援用する。

図３は、実施例１における手振れ補正の基本について説明するための投影画面図である。なお、以下の説明においては、図１または図２と同じ部分について同じ番号を付し、必要のない限り説明を省略する。図３（Ａ）は、手振れが起こっても補正をしない状態を示すもので、投影画面１０およびその中の投影内容２２が、プロジェクタ付携帯電話２を持つ手の右下方向へのブレによって投影画面１１および投影内容２３のように移動した様子を示す。そしてこのようなブレの往復が繰り返されるモデルを考えると、矢印６２で示すように、投影内容が２２の位置と２３の位置でぶれ、投影画面も同様に１０の位置と１１の位置の間でぶれることになる。

図３（Ｂ）は、これに対し、図３（Ａ）のように投影内容が２２が投影内容２３のように右下にずれたとき、投影画面１１の中での投影内容２３をブレとは逆の左上方向に画像処理でシフトさせ、結果的に投影内容を２２の位置に保持した状態を示す。そして、ブレの往復によって次に左上へのブレが生じたときには、逆の右下方向に投影内容をシフトさせ、図３（Ａ）における投影内容２２の位置に戻す。これによって、投影内容２２はブレの往復があっても壁の上の同じ位置に留まることになる。図３（Ｃ）は、図３（Ａ）のモデルの手振れ往復があったときに図３（Ｂ）で説明したような画像処理による投影内容のシフト補正を行った様子を示すもので、上記のように投影内容２２はブレの往復があっても壁の上の同じ位置に留まっている。以上のようにして、プロジェクタ部８自身に手振れ補正光学系がなくても、画像のシフトという簡単な画像処理によりプロジェクタにおける手振れ補正を電子的に行うことができる。

しかしながら、図３のような補正の場合、図３（Ｃ）に明らかなように、投影内容のブレは補正されるものの、投影画面については、矢印６４で示す１０の位置と１１の位置の間でブレが生じることになる。通常、投影が行われる壁等は暗く、投影画面１０は明るいので、このような投影画面１０のブレが生じると投影画面１０の枠の明暗のくっきりした境目がぶれることになり、視野中心の注目部分のブレはないものの、視野周辺がちらついて目障りと感じられることがある。

実施例１では、このような点についてもさらに解決を図っている。図４は、このような投影画面における枠の手振れ補正の詳細について説明するための投影画面図である。図１から図３までと同じ部分について同じ番号を付し、必要のない限り説明を省略する。実施例１では、図４（Ａ）に示すように投影画面１０の枠から少し内側に入ったところに補正用投影画面６６を設定し、補正用投影画面６６の外側を黒地にして壁５との明暗差が小さい領域とする。そして、投影内容２２を若干縮小し、補正用投影画面６６と縮小された投影内容２５の関係が図３（Ａ）の投影画面１０と投影内容２２の関係と相似形になるようにする。

図４（Ｂ）は、投影画面１０が手振れによって右下にずれ、投影画面１１の状態となったとき、投影画面１１の中での投影内容をブレとは逆の左上方向に画像処理でシフトさせ、投影内容２５の位置に保持した状態を示す。この限りでは、図３（Ｂ）と同様であるが、図４（Ｂ）ではさらに、補正用投影画面６６についても投影画面１１の中でブレとは逆の左上方向に画像処理でシフトさせ、図４（Ａ）における補正用投影画面６６の位置と同じ位置に保持した状態を示す。これによって、投影内容２５だけでなく補正用投影画面６６についてもブレの補正が可能となる。

図４（Ｃ）は、図４（Ｂ）とは逆に、図４（Ａ）を基準としたときに投影画面１０が手振れによって左上にずれ、投影画面１３の状態となったとき、投影画面１３の中での投影内容をブレとは逆の右下方向に画像処理でシフトさせ、投影内容２５の位置に保持した状態を示す。さらに、補正用投影画面６６についても投影画面１３の中で右下方向に画像処理でシフトさせ、図４（Ａ）における補正用投影画面６６の位置と同じ位置に保持した状態を示す。

以上のように、実施例１では、補正用投影画面６６が投影画面１０内でシフト可能な余地を利用し、投影画面のずれとは逆の方向に補正内容および補正用投影画面がともに平行移動するよう画像処理するものであって、図４（Ｂ）と図４（Ｃ）の間でブレの往復があっても投影内容２５および補正用投影画面６６が壁５の上の同じ位置に留まることになる。以上のようにして、実施例１ではプロジェクタ部８自身に手振れ補正光学系がなくても、画像のシフトという簡単な画像処理によりプロジェクタにおける手振れ補正を電子的に行うことができ、かつ投影画面の枠部分のちらつきも防止することができる。

図５は、実施例１において台形歪補正が行われている場合の手振れ補正について説明するための投影画面図および対応する投影光路模式断面図である。なお、図５においても、図１から図４と同じ部分について同じ番号を付し、必要のない限り説明を省略する。図５（Ａ）の投影画面図は、図４（Ａ）と同じものであるが、煩雑を避けるため壁５の図示は省略している。また、図５（Ａ）の投影画面図の右側には、この状態に対応する投影光路模式断面図を示す。なお、投影光路模式断面図としては、本来プロジェクタ付携帯電話２の壁５に対する向きを図示すべきものであるが、理解の便のため、投影の要部であるプロジェクタ部８以外の図示を省略している。図示から明らかなように、図５（Ａ）は、プロジェクタ部８の投影光軸５１が壁５に垂直の状態で正面から投影した場合である。

これに対し、図５（Ｂ）から図５（Ｅ）は、投影光軸５１が壁５に対して上方に傾斜した投影状態において台形歪補正が行われている場合の手振れ補正を示し、図５（Ｂ）の状態と図５（Ｄ）の状態の間で手振れが起こっているモデルについて説明するものである。図５（Ｂ）は、手振れによる投影画面の往復の下端状態を示し、補正をしない場合は、図示のように投影画面１３および補正用投影画面６７に台形歪が生じ、補正用投影画面６７の中の投影内容２７もこれに伴って歪んでいる。

図５（Ｃ）は、図５（Ｂ）の補正用投影画面６７に生じている台形歪について台形の長辺側を短辺側と同じになるよう縮小させる画像処理を行い、壁５上で矩形の補正用投影画面６６を得るよう補正したものである。この補正に伴い、図５（Ｃ）では補正用投影画面６６の中の投影内容２５の歪も補正されている。さらに、補正用投影画面６６の位置についても、図５（Ｃ）のように投影画面１３の中央から上方寄りに平行移動し、投影画面１３が下方に下がることに伴う補正用投影画面６６および投影内容２５の移動を補正している。

一方、図５（Ｄ）は、手振れによる投影画面の往復の上端状態を示し、補正をしない場合は、図示のように投影画面１５および補正用投影画面６９の台形歪がさらに大きくなり、補正用投影画面６９の中の投影内容２９もこれに伴ってさらに歪んでいる。これに対し、図５（Ｅ）は、図５（Ｄ）の補正用投影画面６９に生じている台形歪について台形の長辺側が短辺側と同じになるよう図５（Ｃ）とは異なる比率で縮小させる画像処理を行い、壁５上で矩形の補正用投影画面６６となるよう補正したものである。図５（Ｃ）の場合と同様、このような補正に伴って、補正用投影画面６６の中の投影内容２５の歪も補正されている。さらに、図５（Ｅ）の補正では、補正用投影画面６６の位置についても投影画面１５の中央から下方寄りに平行移動し、投影画面１５が上方に上がることに伴う補正用投影画面６６および投影内容２５の移動を補正している。なお、図示を省略しているが、図５（Ｂ）の状態と図５（Ｄ）の状態の手振れの中心位置における補正では、当然ながら補正用投影画面６６の位置は台形の投影画面の中央となる。

なお、図５（Ｃ）と図５（Ｅ）の間の手振れ補正においては、補正用投影画面６６および投影内容２５の上下の平行移動だけでなく、上記のように図５（Ｂ）の補正用投影画面６７および図５（Ｄ）の補正用投影画面６９からそれぞれ矩形の補正用投影画面６６を得る際の上底と下底の伸縮についても異なった比率で台形歪補正を行っている。換言すれば、図５に示した台形歪補正時の手振れ補正においては、手振れに伴う補正用投影画面および補正内容の平行移動ブレだけでなく、手振れに伴う台形歪の程度の変化に起因する図５（Ｂ）と図５（Ｄ）の間の補正用投影画面および補正内容の変形ブレについても補正を行っている。

図６は、実施例１において台形歪補正が行われている場合の手振れ補正における投影面の変化への対応について説明するための投影画面図および対応する投影光路模式断面図である。なお、図６においても、図１から図５と同じ部分について同じ番号を付し、必要のない限り説明を省略する。図６（Ａ）の投影画面図および投影光路模式断面図は、図５（Ｂ）と同じものであり、壁５への投影が行われている状態を示す。これに対し、図５（Ｂ）から図５（Ｅ）は、投影光軸５１をさらに上方に傾けて天井５３に投影を行った場合の手振れ補正を示し、図６（Ｂ）の状態と図６（Ｄ）の状態の間で手振れが起こっているモデルについて説明するものである。

具体的に説明すると、図６（Ｂ）は、天井５３への投影における手振れによる投影画面の往復の下端状態（天井５３の遠方側端状態）を示し、補正をしない場合は、図示のように投影画面１７および補正用投影画面７１に台形歪が生じ、補正用投影画面７１の中の投影内容３１もこれに伴って歪んでいる。図６（Ｃ）は、図６（Ｂ）の補正用投影画面６７に生じている台形歪について台形の上底と下底を異なった比率で伸縮させる画像処理を行い、矩形の補正用投影画面６６となるよう補正したものである。この補正に伴い、図６（Ｃ）では補正用投影画面６６の中の投影内容２５の歪も補正されている。さらに、補正用投影画面６６の位置についても、図６（Ｃ）のように投影画面１７の中央から上方寄り（天井５３の手前側寄り）に平行移動し、投影画面１７が下方に下がる（天井５３の向こう側に遠のく）ことに伴う補正用投影画面６６および投影内容２５の移動を補正している。

一方、図６（Ｄ）は、天井５３への投影における手振れによる投影画面の往復の上端状態（天井５３の手前側端状態）を示し、補正をしない場合は、図示のように投影画面１９および補正用投影画面７３の台形歪がやや小さくなり、補正用投影画面７３の中の投影内容３３の歪もこれに伴ってやや小さくなっている。これに対し、図６（Ｅ）は、図６（Ｄ）の補正用投影画面７３に生じている台形歪について台形の上底と下底を図６（Ｃ）の場合とは異なった比率で伸縮させる画像処理を行い、矩形の補正用投影画面６６となるよう補正したものである。図６（Ｃ）の場合と同様、このような補正に伴って、補正用投影画面６６の中の投影内容２５の歪も補正されている。さらに、図６（Ｅ）の補正では、補正用投影画面６６の位置についても投影画面１５の中央から下方寄り（天井５３の遠方側寄り）に平行移動し、投影画面１９が上方に上がる（天井５１の手前方向に近づく）ことに伴う補正用投影画面６６および投影内容２５の移動を補正している。

ここで注意すべきは、図５（Ｂ）から図５（Ｅ）と図６（Ｂ）から図６（Ｅ）の比較から明らかなように、壁５への投影の場合と天井５３への投影の場合とでは、プロジェクタ部８において投影光軸５１が水平から垂直に向かって傾きを増す方向に対する手振れ補正に違いが生じることである。まず第１の違いは、投影光軸５１の傾きと補正用投影画面６６および中の投影内容２５のシフト方向の違いである。つまり、壁５への投影の場合、図５（Ｃ）と図５（Ｅ）からわかるように、投影光軸５１の傾きが上方に向かって増すに従って、補正用投影画面６６および中の投影内容２５を台形の長辺側から短辺側にシフトさせるよう画像処理している。これに対し、天井５３への投影の場合は図６（Ｃ）と図６（Ｅ）からわかるように、投影光軸５１の傾きが上方に向かって増すに従って補正用投影画面６６および中の投影内容２５を台形の短辺側から長辺側にシフトさせるよう画像処理している。

第２の違いは、投影光軸５１の傾きと台形歪補正のための台形の上底と下底の伸縮比率の違いである。つまり、壁５への投影の場合、図５（Ｂ）と図５（Ｄ）からわかるように、投影光軸５１の傾きが上方に向かって増すに従って、矩形の補正用投影画面６６を得るための台形の上底と下底の伸縮比率を高めるよう画像処理する必要がある。これに対し、天井５３への投影の場合は図６（Ｂ）と図６（Ｄ）からわかるように、投影光軸５１の傾きが上方に向かって増すに従って、矩形の補正用投影画面６６を得るための台形の上底と下底の伸縮比率を低くするよう画像処理する必要がある。なお、床に投影を行う場合、投影光軸５１の傾きはマイナスとなるが、その傾きの絶対値についての大小関係で考えると天井への投影に準じて理解できるので、床投影と壁投影における上記第１、第２の違いについての説明は省略する。

以上のような異なった画像処理を行うための切り換えは、壁５への投影を行うか天井（又は床）への投影を行うかによって手動操作で切り換えることも可能であるが、加速度センサ５８の検知する投影光軸５１の傾きの絶対値が所定角度（例えば４５度）を超えると天井（又は床）への投影であると看做して自動的に切り換えるよう構成することも可能である。

図７は、図２の実施例１における制御部２８の動作のフローチャートである。なお、図７のフローは主にプロジェクタの動作を説明するため、関連する機能を中心に動作を抽出して図示しており、一般的な携帯電話の機能等、図７のフローに表記していない制御部２８の動作も存在する。図７のフローは、プロジェクタ付携帯電話２の操作部３による主電源のオンでスタートし、ステップＳ２で初期立上および各部機能チェックを行うとともに表示部４における画面表示を開始する。次いでステップＳ４では、メニューからの選択によりプロジェクタ付携帯電話２がプロジェクタモードに設定されているかどうかチェックする。そしてプロジェクタモードの設定が検知されるとステップＳ８に移行する。なお、既に述べたように、プロジェクタ付携帯電話２が図１（Ｂ）の状態で横持ちになっていない場合は、プロジェクタモードが表示部４にメニューに表示されないのでプロジェクタモードが選択されることはない。

ステップＳ２でプロジェクタモードの選択が検知されないときはステップＳ６の通常機能に移行する。ステップＳ６における通常機能は通話機能など携帯電話に通常備えられている機能である。なお、ステップＳ６における通常機能実行中であっても、プロジェクタ付携帯電話２が図１（Ｂ）の状態で横持ち状態となってプロジェクタモードがメニューに表示され、これが選択された場合は、割り込みがかかり、随時ステップＳ８に移行することができる。

ステップＳ８では、投影処理が行われる。この投影処理では、プロジェクタ部８の画面書き換えのためのスキャンレートに従う一回分の画面書き換えが実行され、表示データの投影が開始される。なお、ステップＳ８では、手振れ／台形補正部５６からプロジェクタ部８に伝達されたとおりの表示データに基づく投影が実行されるものであり、手振れ／台形補正部５６からどのような表示データをプロジェクタ部８に伝達するかの制御（つまり、表示メモリ３０が保持する表示データをそのまま伝達するかまたはこれに手振れ補正や台形歪補正をかけて伝達するかの制御）は、ステップＳ１０以降で実行される。

ステップＳ１０では、制御部２８が新規画像の表示を指示したかどうかがチェックされ、該当すればステップＳ１２に進んで表示メモリを新規画像に更新してステップＳ１４に移行する。一方新規画像の指示がなければ、直接ステップＳ１４に移行する。ステップＳ１４では、投影光軸５１の角度の平均値が所定以上の傾斜を示していることを加速度センサ５８が検知したか否かをチェックする。所定以上の平均傾斜が検知されたときはステップＳ１６に進み、検知された平均傾斜角度に応じた台形歪補正のための画像処理を手振れ／台形補正部５６に指示してステップＳ１８に移行する。一方、所定以上の平均傾斜が検知されないときは直接ステップＳ１８に移行する。

ステップＳ１８では、手振れ補正モードが選択されているか否かがチェックする。そして、手振れ補正モードであればステップＳ２０に進んで、投影画像枠を縮小するための画像処理を手振れ／台形補正部５６に指示する。これは、図３（Ａ）の投影画面１０および投影内容２２を図４（Ａ）の補正用投影画面６６および投影内容２５のように縮小することに相当する。次いでステップＳ２２において、タッチパネルにより補正停止の手動操作が行われているか否かをチェックする。この操作は、投影場所を変えるためにプロジェクタ付携帯電話２を振る際に不要な手振れ補正が行われないようにするためのものであり、例えば、投影場所を変えようとする前に操作されるとともにプロジェクタ付携帯電話２を振っている途中は操作を継続し、新たな投影場所を決めてプロジェクタ付携帯電話２を止めたときに操作を解除するようにする。

上記のような補正停止操作が行われていることがステップＳ２２で検知されないときはステップＳ２４に進み、ジャイロセンサ６０および加速度センサ５８によって手振れ等に基づくプロジェクタ付携帯電話の移動が検知されるか否かチェックする。そして移動が検知されればステップＳ２６に進み、検知された移動が同一方向への連続移動か否かチェックする。このチェックは、投影場所を変えるためにプロジェクタ付携帯電話２を振る際に不要な手振れ補正が行われないようにするためのものであり、ステップＳ２２において手動でこの措置が講じられない場合でも自動的に手振れ補正を停止するためのものである。

ステップＳ２６において、検知された移動が同一方向連続移動でないことが確認された場合は、ステップＳ２８に進み、台形歪補正中であるか否かのチェックを行う。そして台形歪補正中であればステップＳ３０に進み、台形手振れ補正処理を行ってステップＳ３２に移行する。ステップＳ３０では、図５および図６で説明した台形歪補正中の手振れ補正において台形歪補正に特有の補正を担当するものである。これに対し、ステップＳ２８で台形歪補正中であることが検知されない場合はステップＳ３２に移行する。

ステップＳ３２では、投影内容の手振れ補正および手振れに起因する枠のブレを補正する処理を行う。この処理は、図４から図６で説明した手振れ補正のうち、台形歪補正の有無にかかわらず共通の補正を担当するものである。なお、ステップＳ２８からステップＳ３２は理解の便のためステップを要素に分解して図示したが、これらを混然一体の総合的な処理として実行してもよい。また、要素分解して処理する場合は、ステップＳ２８およびステップＳ３０の前にステップＳ３２を行うようにしてもよい。

ステップＳ３２の手振れ補正／枠補正画像処理が終了するとステップＳ３４に進み、主電源がオフされていないかチェックする。なお、ステップＳ２２で補正停止操作が検知された場合またはステップＳ２６で同一方向連続移動が検知された場合は、投影場所を変えるためにプロジェクタ付携帯電話２が振られている場合に相当するのでステップＳ２８以降に進まず、手振れ補正を行わないが、これに代えてステップＳ３６に移行する。また、ステップＳ２４で移動が検知されない場合もブレ補正の必要がないのでステップＳ３６に移行する。ステップＳ３６では、図４（Ａ）、図５（Ａ）、図５（Ｂ）、図５（Ｄ）、図６（Ａ）、図６（Ｂ）および図６（Ｄ）に示すように補正用投影画面６６等が投影画面１０の中心に来るようにセンタリングを行う。これは、新たな投影位置において、手振れが生じたときに種々の方向への補正余地を確保するためである。換言すれば、例えば新たな投影位置において図４（Ｂ）のような状態から手振れ補正を始めるとすると、さらに右下への手振れ移動があったとき、これを補正するために投影画面１０の中で補正用投影画面６６をさらに左上にシフトする余地がほとんどなくなる。これに対し、新たな投影位置で図４（Ａ）のような状態に補正用投影画面６６をセンタリングしておくと、これを図（Ｂ）のようにシフトすることが可能となる。手振れのない状態でも、プロジェクタ付携帯電話２が振られている場合と同様、今後生じうる種々の方向への手振れの補正余地を確保するためにセンタリングしておく。

ステップＳ３６のセンタリングが終わるとフローはステップＳ３４に移行する。また、ステップＳ１８において手振れ補正モードが選択されていることが検知されない場合も直接ステップＳ３４に移行する。さらに、ステップＳ６の通常機能が終了した場合もステップＳ３４に移行する。ステップＳ３６では、主電源がオフされたかどうかチェックする。そして、主電源がオンに維持されていればフローはステップＳ４に戻り、以下、プロジェクタモードが継続されている限り、画像書換えタイミング毎にステップＳ４およびステップＳ８からステップＳ３６を繰り返して、投影および手振れ補正の実行を継続する。また、プロジェクタモードの選択がなければ通常機能を継続する。

図８は、図７のステップＳ３２における手振れ補正／枠補正画像処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ４２でジャイロセンサ６０と加速度センサ５８の検知結果に基づく手振れ移動量が演算される。そしてステップＳ４４で初回補正かどうかがチェックされ、初回移動でなければステップＳ４６に進んで過去の移動データに基づく移動傾向の分析が行われる。この分析結果に基づき、ステップＳ４８では、ステップＳ４２で演算された移動量に移動予測を加入してこれを修正する演算を行い、ステップＳ５０に移行する。一方、初回補正であればステップＳ４２の演算結果をそのまま採用して直接ステップＳ５０に移行する。

ステップＳ５０では、手振れ移動を補償するための画像シフト量の演算が行われる。次いで、ステップＳ５２では、演算されたシフト量に基づいて補正用投影画面６６の枠を投影画面１０の枠内でシフトすることが可能かどうかチェックする。演算されたシフト量が枠シフト可能量を上回っていてシフトが不可能な場合、ステップＳ５６に進んで画像優先モードに設定されているかどうかチェックする。画像優先モードは、投影画面枠の多少のブレを許容しても投影内容のブレを止めるよう補正するモードである。画像優先モードが設定されていなければステップＳ５６に進み、枠優先モードが設定されているかどうかチェックする。枠優先モードは、投影内容投の多少のブレを許容しても影画面枠のブレを止めるよう補正するモードである。枠優先モードの設定が確認できない場合はステップＳ５８に進み、演算シフト量と枠シフト可能量を平均したものをシフト量として採用してステップＳ６０に移行する。この結果、演算されたシフト量が枠シフト可能量を上回っている分が投影画面枠のブレと投影内容のブレに分散され、一方のみに目立つブレが残ることが緩和される。

これに対し、ステップＳ５２で演算されたシフト量が枠シフト可能量を上回っていないことが確認された場合、またはステップＳ５４で画像優先モードの設定が確認された場合は演算シフト量をシフト量として採用してステップＳ６０に移行する。一方、ステップＳ５６で枠優先モードの設定が確認された場合は枠シフト可能量をシフト量として採用してステップＳ６０に移行する。

ステップＳ６０では、初回補正かどうかがチェックされ、初回補正でなければステップＳ６６に進んで過去の移動データに基づく移動履歴の分析が行われる。この分析結果に基づき、ステップＳ６８では、手振れ移動の中心がシフトしているかどうかチェックする。手振れ移動の中心は操作者が意図している投影位置であると考えられ、これが移動したならば、元の位置に戻すための画像補正は不適切となる。ステップＳ６８で移動中心シフトが検知されるとステップＳ７０に進み、ステップＳ７０で移動した中心に追従するために画像処理シフト量を補正してステップＳ７２に移行する。一方、ステップＳ６０で初回補正であることが確認されたとき、またはステップＳ６８で移動中心のシフトがないことが確認された場合は、ステップＳ５８またはステップＳ６２またはステップＳ６４で決定されたシフト量をそのまま採用して直接ステップＳ７２に移行する。ステップＳ７２では、このようにして決定されたシフト量に基づいて補正用投影画面枠およびその中の補正内容をシフトする画像処理を手振れ／台形補正部５６に指示してフローを終了する。

図９は、本発明の実施の形態に係るプロジェクタ付携帯電話の実施例２を示す斜視図である。実施例２では、プロジェクタ部１０８が９０度回転可能となっており、縦持ちでも横持ちでも投影が可能な構成となっている。なお、実施例２は実施例１と共通する部分が多いので、各部分に１００番台の番号を付し、対応する部分に十の位と一の位の数字を共通にして必要のない限り説明を省略する。

具体的に説明すると、図９（Ａ）はプロジェクタ付携帯電話２を片手で縦持ちにし、投影画面１１０を投影した場合を示す。図から明らかなように実施リ例２では、プロジェクタ部１０８が縦持ち状態において左上の角に配置されている。縦持ち状態では、大画面表示部１０４の上半分に、投影内容１２２が表示され、これをモニタしながら、投影画面１１０の説明や操作を行うことが可能となる。図９（Ａ）の片手持ち操作において投影場所を変える際に不要な手振れ補正が行われないようにするためには、補正停止ボタン１１８を押しながらプロジェクタ付携帯電話１０２を振る。そして、新たな投影場所を決めてプロジェクタ付携帯電話１０２を止めたときに補正停止ボタン１１８を離す。これによって手振れ補正が再開する。

図９（Ｂ）は、図９（Ａ）の状態のプロジェクタ部１０８を矢印１０９のように９０度回転させて横持ち状態とした様子を示す。図９（Ｂ）はプロジェクタ部１０８が右上の角に位置するようになっていることに関連する構成を除き、図１（Ｂ）と共通である。具体的には、プロジェクタ部１０の位置変更に起因して、ジャイロセンサ６０の位置も移動させ、プロジェクタ光軸回りの回転を適切に検知できるようにする。その他の構成については、これ以上の説明を省略する。なお、実施例２においても、図のブロック図および図３から図８で説明した機能の詳細を採用することができる。

図１０は、本発明の実施の形態に係るプロジェクタ付携帯電話の実施例３に関する手振れ補正を説明するための投影画面図である。なお、実施例３の外観およびブロック図については実施例１のものが援用できるので図示を省略する。実施例１の手振れ補正では、図４（Ａ）の投影画面図に示すように、投影画面１０のから少し内側に入ったところに補正用投影画面６６を設定するとともに投影内容２２を若干縮小し、投影内容２５だけでなく補正用投影画面６６についても手振れ補正を行うよう構成していた。これに対し、実施例３は、投影画面１０および投影内容２２の縮小を行わず、投影内容２２についてだけ手振れ補正を行う。そして、投影画面については図３（Ｃ）矢印６４で示すようなブレが生じてもそれによるちらつきが目立たないよう、図１０に示すように投影画面１０の枠をぼかすよう構成したものである。なお、図１０の実施例では、実施例１との対比のために図３および図４に対応する部分には同じ番号を付す。

具体的に説明すると、図１０（Ａ）に示すように投影画面１０にはその枠から少し内側に入ったところから枠に向かって徐々に暗くなるグラデーション６８がかけられ、投影画面１０と壁５との境界がぼかされている。図１０（Ｂ）は、投影画面１０が手振れによって右下にずれ、投影画面１１状態となったとき、投影画面１１の中での投影内容をブレとは逆の左上方向に画像処理でシフトさせ、投影内容２２の位置に保持した状態を示す。図１０（Ｃ）は、図１０（Ｂ）とは逆に、図１０（Ａ）を基準としたときに投影画面１０が手振れによって左上にずれ、投影画面１３の状態となったとき、投影画面１３の中での投影内容をブレとは逆の右下方向に画像処理でシフトさせ、投影内容２２の位置に保持した状態を示す。以上のように、実施例３では、投影画面１０の枠が手振れに伴って移動するが、投影画面１０と壁５との境界がぼかされているのでそれによるちらつきが目立たないようになっている。このように、実施例３では、実施例１のように投影画面の枠のブレを補正する余地をとるために投影内容を縮小することなく、手振れによる枠ブレの問題を軽減している。

図１１は、図１０の実施例３における制御部２８（図２援用）の動作のフローチャートである。なお、図１１のフローチャートは図７における実施例１のフローチャートと共通するところが多いので同様のステップには同じステップ番号を付して説明を省略し、異なるところを太字で示す。また、図７には存在した台形補正に関するステップＳ１４とステップＳ１６および投影画面枠縮小に関するステップＳ２０が削除されている。

図１１における実施例３のフローチャートが図７における実施例１のフローチャートが異なるのは太字で示すようにステップＳ２６に後続するステップおよびステップＳ３６に後続するステップである。具体的には、ステップＳ２６において同一方向連続移動でない移動が検知されたことが確認されるとステップＳ８２に移行する。つまり、手振れ補正モードにおいて補正停止操作が行われていない状態で手振れ検知されたときはステップＳ２６からステップＳ８２に進み、検知された手振れによる往復移動の振幅を演算する処理を行う。次いでステップＳ８４では演算された移動振幅に応じ投影枠のぼかし量（図１０のグラデーション６８の幅）を決定する。具体的には移動振幅が大きいほどグラデーションの幅を広くする。このようにして投影枠をぼかした上でステップＳ８６における手振れ補正画像処理を行い、ステップＳ８８に移行する。ステップＳ８６の手振れ補正画像処理は図７のステップＳ３２から投影枠のブレ補正に関する処理を除いたものであるが、追って具体的に説明する。

一方、ステップＳ２２で補正停止操作が検知された場合、またはステップＳ２４で移動が検知されない場合、またはステップＳ２６で同一方向連続移動が検知された場合におけるステップＳ３６のセンタリングに続き、ステップＳ９０で投影枠にぼかしを入れない処理をしてステップＳ８８に移行する。これらの場合は手振れ補正がないので、ぼかしによって鮮明な投影内容が表示される領域が狭まるのを防止するためである。

ステップＳ８８では、パノラマ設定が行われているか否かをチェックする。パノラマ設定とは、広範囲の投影画像情報を記憶部２６に記憶しておき、ジャイロセンサ６０および加速度センサ５８によって検出されるプロジェクタ付携帯電話２の動きに応じて表示メモリの表示データを書き換える設定である。換言すれば、望遠鏡を振ってパニングを行うと望遠鏡視野に入る風景の部分がシフトするのと同様にして、プロジェクタ付携帯電話２を振ってパニングすると投影画面に入る風景の部分がシフトするような投影演出が行われる設定である。そしてパノラマ設定が行われていることが検知されるとステップＳ９２に移行し、パノラマ画像パニング処理を行ってステップＳ３４に移行する。ステップＳ９２の処理は、ジャイロセンサ６０および加速度センサ５８の検知データに応じ、記憶部２６に記憶されている広範囲の投影画像情報の一部を切り取って表示メモリ３０の表示を書き換える処理である。一方、ステップＳ８８でパノラマ設定の検知がなければ直接ステップＳ３４に移行する。

図１１のフローは、図７のフローと同様にして、ステップＳ３４で主電源のオフが検知されない限りステップＳ４からステップＳ３６およびステップＳ８２からステップＳ９２を繰り返す。この繰り返しにおいて、初回にステップＳ８６からステップＳ８８を経由してステップ９２に移行したときは手振れ補正を経ることになるが次回はパニングの検知によりステップＳ２６からステップＳ３６に移行するので実質的にはパニング中は表示内容がセンタリングされた画像が投影枠のぼかしなしで投影される。しかしながら、パノラマ設定であっても、パニングが停止されるとステップＳ２６からステップＳ８２に入ることができるので手振れ補正処理が行われる。

図１２は、図１１のステップＳ８６における手振れ補正画像処理の詳細を示すフローチャートである。上記のように、図１１のステップＳ８６は、図７のステップＳ３２から投影枠のブレ補正に関する処理を除いたものなので、同じステップには同じステップ番号を付して説明を省略する。図７と異なっているところのみを説明すると、図１２では、常にシフト量を演算シフト量としてステップＳ５０からステップＳ６０に移行する。また、ステップＳ９４は、画像シフト画像処理となっていて、グラデーションをつけてぼかされた投影枠と投影内容の相対関係が変化する画像処理となる。

以本発明の種々の特長の実施は上記の実施例に限るものではなく、その利点を享受できる限り、種々の変形が可能である。例えば、実施例１の投影枠補正において、図４では補正用投影画面６６の設定の際、投影内容２５についても相似形に縮小しているが、これに代えて投影内容２２については縮小を行わず、補正用投影画面６６から投影枠１０にはみ出す部分をカットして投影するよう構成してもよい。

また、以本発明の種々の特長の実施は上記の実施例に限るものではなく、その利点を享受できる限り他の種々の形態で実施することが可能である。例えば、実施例においてはプロジェクタ部が携帯電話に内蔵されているが、単独の携帯型プロジェクタとして実施することも可能であるとともに、音楽プレーヤーなど他の種々の携帯型機器に内蔵して実施することも可能である。

さらに、各実施例の種々の特徴は個々の実施例に特有のものではなく、適宜交換や併用が可能である。例えば、実施例３において投影枠をぼかすようにした構成は実施例１に併用することができる。この場合、例えば実施例１の図８のステップ５６で説明した枠優先モードの設定をせず枠のブレを補正しきれないときに有用である。より具体的には、図８のステップＳ６２またはステップＳ５８に至ったとき、補正しきれない手振れの大きさに応じた幅のグラデーションを投影枠につけるよう構成する。

図１３は、本発明の実施の形態に係るプロジェクタ付携帯電話の実施例４に関する手振れ補正を説明するための投影画面図である。なお、実施例４の外観およびブロック図については実施例１のものが援用できるので図示を省略する。また、実施例４は実施例３に機能を追加したものであって、制御部２８（図２援用）に関する基本動作に関しては図１１の実施例３におけるフローチャートが援用できるので図示を省略する。

次に、実施例３に対して追加された実施例４の機能について説明する。実施例３は、図１０に示すように投影内容２２についてだけ手振れ補正を行うとともに、グラデーション６８によって投影画面１０の枠をぼかすことでブレによる枠のちらつきが目立たないようにするものであった。これは、ぼかしの入った投影画面１０の枠内で投影内容２２をスクロールして手振れ補正を行うことを意味し、投影内容の画像全体が投影画面に入りきらない大きな情報量を持っていることを前提とするものであった。しかしながら、表示内容によっては、対象の画像全体が投影画面に入っており、これをシフトすると、投影画面１０内の画像情報が欠落する場合がある。実施例４はこのような場合にも対処できるよう構成されたものである。

具体的に説明すると、図１３（Ａ）は、図１０（Ａ）と同様の図であって、投影画面１０の枠近傍はグラデーション６８によって壁５との境界がぼかされている。図１３（Ｂ）は、図１０（Ｂ）と同様にして、投影画面１０が手振れによって右下にずれ、投影画面１１の状態となったことを示すものである。このとき、図１３（Ａ）の状態で表示内容全体が投影画面１０内に入っているとすると、図１３（Ｂ）のように投影内容を左上方向にシフトさせて手振れ補正すると、一点鎖線で仮想的に示す元の画像７０の範囲の外で投影画面１１の内側に画像情報の欠落部分が生じることになる。実施例４では、このような場合、予め用意されたグラデーション画像７２でこの欠落部分を補充し、壁５との境界のぼかしに違和感が生じないようにする。

図１３（Ｃ）は、図１０（Ｃ）と同様にして、投影画面１０が手振れによって右下にずれ、投影画面１３の状態となったことを示すものである。この場合も、一点鎖線で仮想的に示す元の画像７０の範囲の外で投影画面１３の内側に生じる画像情報の欠落部分を予め用意されたグラデーション画像７４で補充し、壁５との境界のぼかしに違和感が生じないようにする。なお、図１３（Ｂ）と図１３（Ｃ）の比較から明らかなように、予め用意されるグラデーション情報７２、７４は、欠落部分が生じる部分によってグラデーションの方向が異なる。このため、実施例４では、投影画面の上方、下方、右方、左方、右上隅、右下隅、左上隅および左下隅のそれぞれに対応したグラデーションを持つ補充用のぼかし画像データを予め用意し、手振れ補正のための画像シフトの方向に応じてぼかし画像データを提供する。

図１４は、上記の実施例４における追加機能を示すフローチャートである。上記のように、実施例４の基本動作は図１１の実施例３におけるフローチャートを援用しており、図１４は、図１１のステップＳ８６における手振れ補正画像処理の詳細を示すフローチャートとなっている。また、図１４におけるステップＳ４２からステップＳ７０までは、図１２における実施例３のフローチャートと共通なので説明を省略する。

図１４において、ステップＳ６０またはステップＳ７０を経由してステップＳ１０２に至ると、対象画像データの取り込みが行われ、ステップＳ１０４で対象画像に対する画像処理によるシフト処理が行われる。次いでステップＳ１０６では、シフト後の画像情報に欠落部分が生じるか否かのチェックが行われ、欠落部分がなければフローを終了する。この場合の動作は、結果的に図１２の実施例３と同様となる。

一方、ステップＳ１０６において欠落部分があることが検知されるとステップＳ１０８に進み、補充すべき画像領域の特定が行われる。そしてステップＳ１１０において特定された画像領域用の補充ぼかし画像データが取り込まれ、ステップＳ１１２においてシフト後の表示用画像データと補充ぼかし画像データの合成処理を行ってフローを終了する。

図１５は、本発明の実施の形態に係るプロジェクタ付携帯電話の実施例５に関する台形補正に関するフローチャートである。なお、実施例５の外観およびブロック図については実施例１のものが援用できるので図示を省略する。また、実施例５は実施例１の機能の一部を具体化した一例を示すものであって、制御部２８（図２援用）に関する基本動作に関しては基本的には図７フローチャートを援用する。具体的に述べると、図１５におけるフローチャートは、図７におけるステップＳ１４およびステップＳ１６と置換されるものであって、その他の機能は図７と共通である。

実施例５において具体化されている機能は、実施例1に関連して図６で説明した壁５と天井５３との間等の投影面の変化への対応する機能である。その内容について説明すると、図７においてステップＳ１４に至ったとき、図１５のフローがスタートしてステップＳ１２２に至る。そしてステップＳ１２２では、記憶されている平均傾斜と検知された新たな平均傾斜の比較が行われ、ステップＳ１２４で平均傾斜に変化があったか否かがチェックされる。平均傾斜に変化がなければ直ちにフローは終了し、図７のステップＳ１８に移行する。

一方、図１５のステップＳ１２４で平均傾斜に変化があったことが検知されるとステップＳ１２６に進み、平均傾斜の絶対値が所定値（例えば、１０度など、それ以下ではほぼ水平に近く台形歪みが気にならない程度とみなせる角度）より小さいか否かのチェックが行われる。そして平均傾斜の絶対値が所定より大きい場合はステップＳ１２８に移行し、平均傾斜の絶対値が４５度より小さいか否かがチェックされる。平均傾斜の絶対値が４５度より小さい場合は、ステップＳ１３０で壁投影状態である旨を設定し、この設定に基づいてステップＳ１３２において台形歪みの短辺側を指定してステップＳ１３６に移行する。具体的には、平均傾斜が正の場合は投影画面の下側を、平均傾斜が負の場合は投影画面の上側を、それぞれ短辺側に指定する。一方、ステップＳ１２８において平均傾斜の絶対値が４５度より大きいことが検知された場合は、ステップＳ１３４で天井または床投影状態である旨を設定し、この設定に基づいてステップＳ１３２において台形歪みの短辺側を指定してステップＳ１３６に移行する。具体的には、平均傾斜が正の場合は天井投影であるとし、投影画面の上側を、平均傾斜が負の場合は床投影であるとして投影画面の下側を、それぞれ短辺側に指定する。

ステップＳ１３６では、平均傾斜に基づいて台形を矩形に補正するための長辺側の縮小率を設定する。そしてステップＳ１３８において縮小率が所定値より大きいか否かをチェックする。縮小率が所定値以下であればステップＳ１４０に進み、設定された縮小率にて長辺側を縮小して矩形画像を得るための画像処理を指示する。次いでステップＳ１４２では以上の処理の基礎となった新たな平均傾斜により記憶平均傾斜を更新してフローを終了し、図のステップＳ１８に移行する。

一方、ステップＳ１２６で、平均傾斜の絶対値が所定値より小さいことが検知された場合はステップＳ１４４に移行する。そしてこの場合は、上記のように、台形歪みが気にならない程度の平均傾斜とみなせるのでステップＳ１４４において台形歪補正なしの設定をしてステップＳ１４２に移行する。ステップＳ１４２では、この場合も、新たな平均傾斜により記憶平均傾斜を更新する。また、ステップＳ１３８において、縮小率が所定値より大きい場合は、ステップＳ１４４に移行して台形歪みなしの設定をする。これは、台形歪があまりに大きい場合には長辺側を過度に圧縮するよりも歪んだままの状態での画像情報を優先するためである。

図１６は、本発明の実施の形態に係るプロジェクタ付携帯電話の実施例６に関する台形歪補正中の手振れ補正を説明するための投影画面図である。なお、実施例６の外観およびブロック図については実施例１のものが援用できるので図示を省略する。

図１６（Ａ）および図１６（Ｃ）は、それぞれ、実施例１で説明した図５（Ｃ）および図５（Ｅ）の状態に対応するもので、図１６（Ｂ）の状態を中心に、図１６（Ａ）と図１６（Ｃ）の間で手振れが起こり、この手振れに対して補正用投影画面６６および投影内容２５をシフトするとともに台形ひずみ補正していることを図示している。具体的に述べると、上記のように図１６（Ｂ）が手振れ中心の状態を示し、台形状に歪んだ投影画面７６の中央に台形歪補正が行われた補正用投影画面６６を設定し、その外側を黒地にして壁５との明暗差が小さい状態で投影が行われている。

図１６（Ａ）は、投影画面７６が手振れによって下にずれて投影画面１３の状態となったとき、補正用投影画面６６および投影内容２５をブレとは逆の上方向に画像処理でシフトさせ、投影内容２５の位置に保持した状態を示す。ここで注意すべきは、投影画面７６が手振れによって下にずれて投影画面１３の状態となったとき、投影範囲のずれだけでなく台形歪状態にも変化が起こっていることである。つまり、図１６（Ｂ）に対し、図１６（Ａ）では、傾斜が水平方向に近くなり、投影画面１３の台形歪が少なくなる。実施例６では、これに伴い補正用投影画面６６および投影内容２５の台形歪補正における長辺側の縮小度合いも小さくなるよう補正が行われる。

もし、仮にこのような長辺側縮小率の補正を行わず、正用投影画面６６および投影内容２５を図１６（Ｂ）から図１６（Ａ）の状態に単純に平行シフトしたとすると、図１６（Ａ）の状態では長辺縮小率が大きすぎることになり、補正用投影画面６６および投影内容２５に逆方向の台形歪が生じる。この台形歪はわずかなものであるが、手振れによりこれが短時間の間に繰り返されると、補正用投影画面６６および投影内容２５が微妙にブレを繰り返すことになる。実施例６において、補正用投影画面６６および投影内容２５のシフトとともに長辺側の縮小率に補正を加えるのはこのような事態を防止するためである。

図１６（Ｃ）は、投影画面７６が手振れによって上にずれて投影画面１５の状態となったとき、補正用投影画面６６および投影内容２５をブレとは逆の下方向に画像処理でシフトさせ、投影内容２５の位置に保持した状態を示す。さらに、図１６（Ｃ）では、図１６（Ｂ）に対して傾斜がよりきつくなり、投影画面１５の台形歪が大きくなるので、上記のシフトに伴い、補正用投影画面６６および投影内容２５の台形歪補正における長辺側の縮小度合いも大きくなるよう補正が行われる。これによって、図１６（Ａ）と同様にして、手振れによる台形歪の変化により補正用投影画面６６および投影内容２５が微妙にぶれることを防止している。

図１７は、上記の実施例６における台形歪補正時の手振れ補正を示すフローチャートである。上記のように実施例６は実施例１の機能の一部を具体化した一例を示すものであって、制御部２８（図２援用）に関する基本動作に関しては基本的には図７のフローチャートを援用する。具体的に述べると、図１７におけるフローチャートは、図７におけるステップＳ２８からステップＳ３２を置換するものであって、その他の機能は図７と共通である。また、図１６のステップＳ４２からステップＳ７０までは、図１２における実施例３のフローチャートと共通なので同じステップ番号を付して説明を省略する。

図７においてフローがステップＳ２８に至ったとき、実施例１７のフローがスタートしてステップＳ４２に至る。そして、図１２と同様にしてステップＳ４２からステップＳ７０に至ると、フローはステップＳ１５２に移行する。ステップＳ１５２では、台形歪補正中か否かがチェックされる。そして台形歪補正中であれば、ステップＳ１５４に移行して台形の上底と下底のいずれが短辺側に指定されているかの確認が行われる。次いでステップＳ１５６では、長辺側の現時点（シフト前の状態）での縮小率の上方を読出す。さらにステップＳ１５８では、ベクトルとしてのシフト量を読出し、ステップＳ１６０でシフト量に縦方向成分が存在するか否かチェックする。そして、シフト量に縦方向成分が存在すればステップＳ１６２に移行し、縦方向成分に基づいてシフトが行われた後の状態における台形歪が適切に補正されるよう、ステップＳ１５６で読出した長辺側縮小率を補正する。次いでステップＳ１６４に移行し、ステップＳ５０で演算されて必要に応じステップＳ７０補正されたシフト量に基づいて補正用投影画面枠および補正内容をシフトするとともにステップＳ１６２で補正した長辺側縮小率に基づいて台形補正を修正するための画像処理を手振れ／台形補正部５６に指示してフローを終了する。

一方、ステップＳ１５２で台形歪補正中でないと判断されたとき、またはステップＳ１６０でシフト量に縦方向成分がないと判断されたときは、直接ステップＳ１６４に至る。この場合、ステップＳ１６４では、手振れに対応する台形補正の修正は行われず、ステップＳ５０で演算され必要に応じステップＳ７０補正された手振れ補正用のシフト量に基いて、補正用投影画面枠および補正内容のシフトのみが行われる。

以本発明の種々の特長の実施は上記の実施例に限るものではなく、その利点を享受できる限り、種々の変形が可能である。例えば、実施例６に示した台形補正中の手振れ補正において補正用投影画面枠および補正内容のシフトとともに長辺側縮小率を修正する構成は、上下方向の手振れだけでなく、ジャイロセンサの出力を利用することにより左右方向の手振れに対しても適用することが可能である。

また、図１の実施例１や図９の実施例２において、投影内容２４、１２４がプロジェクタ付携帯電話２、１０２の大画面表示部４、１０４に、投影内容２２、１２２として表示され、これをモニタしながら、投影画面１０、１１０の説明や操作を行うことを可能としている。しかしながら、投影画面における表示と大画面表示部における表示は同一である場合に限るものではない。例えば、大画面表示部には投影画面に表示されないコメント等をスーパーインポーズし、このコメントを見ながら投影画面のおける表示の説明を行うことが可能である。さらには、大画面表示部には投影画面は全く異なる表示内容（例えば、次に投影すべき表示内容）を表示するようにしてもよい。

ここで、図７および図１１のステップＳ２２からステップＳ２６に示す手振れ補正画像処理の停止およびステップＳ３６に示すセンタリングについてまとめる。ステップＳ２２に示すように、手振れ補正画像処理は手動操作により停止可能であり、投影場所を変えようとする前に手動操作を開始するとともにプロジェクタ付携帯電話２を振っている途中は操作を継続し、新たな投影場所を決めてプロジェクタ付携帯電話２を止めたときに操作を解除するようにして、この間、手振れ補正画像処理が行われないようにする。なお、ステップＳ２４に示すように、移動そのものが検知されないときも当然ながら手振れ補正画像処理は行われない。またステップＳ２６に示すように同一方向への連続移動が検知されたときも、投影場所を変えるためにプロジェクタ付携帯電話２を振っていると考えられるので自動的に手振れ補正が停止される。そして手振れ補正画像処理が停止されたときにはステップＳ３６に示すように、補正用投影画面６６等が投影画面１０の中心に来るようにセンタリングを行い、新たな投影位置において、手振れが生じたときに種々の方向への補正余地を確保する。なお、図１１のステップＳ９０に示すように手振れ補正画像処理が停止されたときには投影枠ぼかし処理も行われない。図１１のステップＳ９２に示したパノラマ画像パニング処理においても基本的には手振れ補正画像処理は停止されるが、その詳細は後述する。

図１８は、図１１に示す本発明の実施例３の基本フローにおけるステップＳ９２のパノラマ画像パニング処理の詳細を示すフローチャートである。すでに述べたとおり、パノラマ設定は、広範囲の投影画像情報を記憶部２６に記憶しておき、ジャイロセンサ６０および加速度センサ５８によって検出されるプロジェクタ付携帯電話２の動きに応じて表示メモリの表示データを書き換える設定である。そして、ステップＳ９２のパノラマ画像パニング処理では、ジャイロセンサ６０および加速度センサ５８の検知データに応じ、記憶部２６に記憶されている広範囲の投影画像情報の一部を切り取って表示メモリ３０の表示を書き換えていく。これによって、望遠鏡を振ってパニングを行うと望遠鏡視野に入る風景の部分がシフトするのと同様にして、プロジェクタ付携帯電話２を振ってパニングすると投影画面に入る風景の部分がシフトするような投影演出が行われる。

図１８に示すパノラマ画像パニング処理がスタートすると、まず、ステップＳ１７２で、広範囲の投影対象の投影データ群を呼び出す。投影対象は通常複数の画像データを繋ぎ合わせて表現される。次いで、ステップＳ１７４で投影対象範囲の中央の画像データが選定され、ステップＳ１７６で選定された画像の中央部分がトリミングされて表示メモリの表示データとされる。

次いで、ステップＳ１７８でプロジェクタ付携帯電話２の移動の有無が検知される。検知される移動は、本来のプロジェクタ付携帯電話２を振るパニング動作がするとパニングだけでなく手振れによるものも含まれる。そして移動が検知されるとステップＳ１８０で通常の手振れ補正画像処理は停止される。そしてステップＳ１８２で平均移動方向が演算され、ステップＳ１８４で平均移動方向に上下方向の成分が含まれているか否かチェックする。手振れであれば平均的に上下方向の移動成分はゼロと考えられる。そして平均移動方向に上下成分がなければ、パニング動作は水平方向にのみ行われていると考えられるのでステップＳ１８６に進み、上下方向についてのみ手振れ補正画像処理を行い、ステップＳ１８８に移行する。一方、ステップＳ１８４で平均移動方向に上下成分が検知されると上下方向にパニングが行われていると考えられるので上下方向の手振れ補正画像処理は行わずステップＳ１８８に移行する。

ステップＳ１８８では、平均移動方向に水平方向の成分が含まれているか否かチェックする。手振れであれば平均的に水平方向の成分はゼロと考えられる。そして平均移動方向に水平成分がなければ、パニング動作は上下方向にのみ行われていると考えられるのでステップＳ１９０に進み、水平方向についてのみ手振れ補正画像処理を行い、ステップＳ１９２に移行する。一方、ステップＳ１８８で平均移動方向に水平成分が検知されると水平方向にパニングが行われていると考えられるので水平方向の手振れ補正画像処理は行わずステップＳ１９２に移行する。

パニング画像処理は一つの画像内ではスクロール処理によって行われ、一つの画像端の限界に達すると隣接する画像に連続するよう画像データの差し替えが行われる。この処理のため、ステップＳ１９２では、画像端限界に達しているか否かがチェックされ、限界に達していることが検知されるとステップＳ１９４に進んで隣接する画像に連続するよう画像データを差し替えてステップＳ１９６に移行する。一方、ステップＳ１９２で画像端限界に達していることが検知されない場合はステップＳ１９８に進んで同一画像ないでパニングの動きを補償するスクロール処理を行ってステップＳ１９６に移行する。

一方、ステップＳ１７８で移動が検知されないとき（パノラマ画像パニング停止中）はステップＳ２００に進み、通常の手振れ補正画像処理を行ってステップＳ１９６に移行する。ステップＳ１９６ではパノラマ設定を終了する操作が行われたか否かチェックし、操作が検知されないときはステップＳ１７８に戻り、以下、ステップＳ１９６でパノラマ設定を終了する操作が検知されない限りステップＳ１７８からステップＳ２００を繰り返す。そして、ステップＳ１９６でパノラマ設定を終了する操作が検知されればフローを終了し、図１１のステップＳ３４に移行する。

本発明は、単独の携帯型プロジェクタ、またはプロジェクタ内蔵の携帯電話や携帯型音楽プレーヤーなどの携帯機器に適用することができる。

８ 画像投影部
３０ 画像提供部
５８、６０ ブレ移動検知部
４２ 画像処理部
２８ 条件検知部
３ 手動操作部
５８、６０ 移動検知部

Claims (11)

1. 画像投影部と、前記画像投影部に投影画像を提供する画像提供部と、前記画像投影部のブレ移動を検知するブレ移動検知部と、前記ブレ移動検知部の検知に基づきブレを補正する画像処理を行う画像処理部と、前記ブレ移動検知部によるブレ移動検知に係わらず前記画像処理部によるブレ補正を停止する条件を検知する条件検知部と、ブレ補正モードが選択されている状態において前記画像投影部による画像投影中に操作される手動操作部とを有し、前記条件検知部は前記画像投影部による画像投影中における前記手動操作部の操作を前記画像処理部によるブレ補正を停止する条件とすることを特徴とするプロジェクタ。
2. プロジェクタの移動を検知する移動検知部を有し、前記移動検知部による同一方向へのプロジェクタの連続移動検知により前記画像処理部によるブレ補正を停止することを特徴とする請求項１記載のプロジェクタ。
3. 前記移動検知部によるプロジェクタの移動方向成分を検知し、平均的な移動方向成分がない方向については前記画像処理部によるブレ補正を行うことを特徴とする請求項２記載のプロジェクタ。
4. 前記条件検知部がブレ補正を停止する条件を検知したとき、ブレ補正画像のセンタリングを行うことを特徴とする請求項１から３のいずれかに記載のプロジェクタ。
5. 画像投影部と、前記画像投影部に投影画像を提供する画像提供部と、前記画像投影部のブレ移動を検知するブレ移動検知部と、前記ブレ移動検知部の検知に基づきブレを補正する画像処理を行う画像処理部と、前記画像処理部によるブレ補正を停止する条件を検知する条件検知部と、ブレ補正画像処理に伴う投影枠ぼかし処理を行う投影枠ぼかし処理部とを有し、前記条件検知部がブレ補正を停止する条件を検知したとき、前記投影枠ぼかし処理部による処理を停止することを特徴とするプロジェクタ。
6. 前記ブレ移動検知部によるブレ移動検知に係わらず前記画像処理部によるブレ補正が行われないことを画像のセンタリングを行う条件として検知するセンタリング条件検知部とを有することを特徴とする請求項５記載のプロジェクタ。
7. 前記センタリング条件検知部は、ブレ補正画像処理を停止させる手動操作が行われたことをセンタリングの条件とすることを特徴とする請求項６記載のプロジェクタ。
8. 前記センタリング条件検知部は、前記ブレ移動検知部によるブレ検知がないことによりブレ補正が行われないことをセンタリングの条件とすることを特徴とする請求項６または７記載のプロジェクタ。
9. 前記センタリング条件検知部は、同一方向へのプロジェクタの連続移動によりブレ補正が行われないことをセンタリングの条件とすることを特徴とする請求項６から８のいずれかに記載のプロジェクタ。
10. 前記ブレ移動検知部によるプロジェクタの移動方向成分を検知し、平均的な移動方向成分が連続的に同一方向であるときはその方向について前記画像処理部によるブレ画像補正を停止するとともに平均的な移動方向成分がない方向についてはブレ画像補正を行う制御部を有することを特徴とする請求項５から９のいずれかに記載のプロジェクタ。
11. パノラマ画像パニング処理手段を有し、前記ブレ補正の停止はパノラマ画像パニング処理中において行われることを特徴とする請求項１０記載のプロジェクタ。