JP5472994B2 - 撮像装置及びプログラム - Google Patents

Description

本発明は、撮像部により撮り込まれた画像を表示部に表示する撮像装置及びプログラムに関する。

従来、カメラ機能付き携帯電話機（撮像装置）を利用し、例えば、経路案内表示や拡張現実表示を見る場合、ユーザは、胸の前で携帯電話機を斜めに傾けた状態で保持して表示部を見るようにしているが、携帯電話機が斜めに傾けた状態で保持されていると、撮像部（カメラレンズ部）の撮影方向（光軸方向）は、斜め下を向く結果となり、略水平方向に向かなくなってしまう。このような場合、撮影方向が水平方向となるように、ユーザ（撮影者）が携帯電話機を持ち直して、その保持状態を変更すると、ユーザの姿勢が悪くなったり、保持状態が不自然なものとなったり、操作性が悪くなったり、表示が見難くなったりしてしまう。
そこで、従来では、ユーザが携帯電話機を胸の前に上げた状態（斜めに傾けた状態）で保持している場合に、携帯電話機の傾き角に応じて、水平に撮影した画像となるように、画像に補正を施してその補正画像を表示するようにした技術が開示されている（特許文献１参照）。

特開２００５−２４１３８５号公報

しかしながら、上述した先行技術にあっては、進行方向に対して水平な画像を表示させることはできるが、例えば、移動中に限らず、撮影方向を斜め下に向けて花などを撮影する場合のように静止中であっても、進行方向に対して水平な画像を表示させることは、ユーザの意図に反する結果となってしまう。

本発明の課題は、撮像装置をやや斜めに傾けた状態で保持していても、ユーザにあっては自然な姿勢で状況に応じた適切な画像を見ることができるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
撮像部により撮り込まれた画像を表示部に表示させる撮像装置であって、
当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する角度検出手段と、
当該撮像装置の移動を検出する移動検出手段と、
前記移動検出手段により移動が検出された場合には、前記角度検出手段により検出された保持角度を加味することにより、前記撮像部の実際の撮影方向に関わらず、その撮影方向があたかも略水平方向を向いたようにする擬似的なオフセット制御を行い、このオフセット制御を行った画像を前記表示部に表示させ、前記移動検出手段により移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる制御手段と、
を備えることを特徴とする。

請求項１に従属する発明として、
前記制御手段は、前記撮像部の撮影範囲内に前記略水平方向に該当する部分が含まれる画角となるように該撮像部の画角を調整すると共に、この調整後の画角で撮られた画像内から該略水平方向を含む部分を抽出して歪み補正を施すことによって前記オフセット制御を行い、このオフセット制御を行った画像を前記表示部に表示させる、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。

上述した課題を解決するために請求項３記載の発明は、
撮像部により撮り込まれた画像を表示部に表示させる撮像装置であって、
当該撮像装置の現在位置を取得する位置取得手段と、
この位置取得手段により取得した現在位置に基づいてその現在位置に対応する画像を取得する画像取得手段と、
当該撮像装置の移動を検出する移動検出手段と、
前記移動検出手段により移動が検出された場合には、前記画像取得手段により取得した画像を、前記撮像部により撮り込まれる画像の代替画像とする擬似的なオフセット制御を行い、このオフセット制御を行った画像を前記表示部に表示させ、前記移動検出手段により移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる制御手段と、
を備えることを特徴とする。

請求項３に従属する発明として、
位置情報に対応して画像を記憶する画像記憶手段を更に備え、
前記画像取得手段は、前記位置取得手段により取得した現在位置に対応する画像を前記画像記憶手段から読み出し取得する、
ようにしたことを特徴とする請求項４記載の発明であってもよい。

請求項３に従属する発明として、
前記画像取得手段は、前記位置取得手段により取得した現在位置に対応する画像を、ネットワークを介してダウンロード取得する、
ようにしたことを特徴とする請求項５記載の発明であってもよい。

上述した課題を解決するために請求項６記載の発明は、
撮像部により撮り込まれた画像を表示部に表示させる撮像装置であって、
当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する角度検出手段と、
当該撮像装置の移動を検出する移動検出手段と、
前記移動検出手段により移動が検出された場合には、前記角度検出手段により検出された保持角度を加味することにより、前記撮像部の撮影方向が略水平方向を向くように該撮像部を可動させてオフセット制御を行い、このオフセット制御を行った後に前記撮像部により撮り込まれた画像を前記表示部に表示させ、前記移動検出手段により移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる制御手段と、
を備えることを特徴とする。

請求項６に従属する発明として、
前記撮像部により撮り込まれた画像の略中央部分に路面の境界が含まれているかを解析する解析手段を更に備え、
前記制御手段は、前記解析手段による解析結果に基づいて画像の略中央部分に路面の境界が含まれるように、前記撮像部を可動してその撮影方向が略水平方向を向くようにオフセット制御を行い、このオフセット制御を行った後に前記撮像部により撮り込まれた画像を前記表示部に表示させる、
ようにしたことを特徴とする請求項７記載の発明であってもよい。

請求項１、３、６のいずれかに従属する発明として、
前記移動検出手段は、更に移動速度を検出し、
前記制御手段は、前記移動検出手段により検出された移動速度に基づいて前記オフセット制御の制御量を調整する、
ようにしたことを特徴とする請求項８記載の発明であってもよい。

請求項１、３、６のいずれかに従属する発明として、
現在位置に基づいて現在位置に関する情報を取得する情報取得手段を更に備え、
前記制御手段は、前記情報取得手段により取得された現在位置に関する情報を前記表示部に表示される画像に関する情報として表示させる、
ようにしたことを特徴とする請求項９記載の発明であってもよい。

また、上述した課題を解決するために請求項１０記載の発明は、
撮像装置のコンピュータに対して、
撮像部を備えた当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する機能と、
当該撮像装置の移動を検出する機能と、
前記移動が検出された場合には、前記検出された保持角度を加味することにより、前記撮像部の実際の撮影方向に関わらず、その撮影方向があたかも略水平方向を向いたようにする擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部に表示させ、前記移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる機能と、
を実現させるためのプログラムであることを特徴とする。

また、上述した課題を解決するために請求項１１記載の発明は、
撮像装置のコンピュータに対して、
当該撮像装置の現在位置を取得する機能と、
前記取得した現在位置に基づいてその現在位置に対応する画像を取得する機能と、
当該撮像装置の移動を検出する機能と、
前記移動が検出された場合には、前記取得した画像を、撮像部により撮り込まれた画像の代替画像とする擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部に表示させ、前記移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる機能と、
を実現させるためのプログラムであることを特徴とする。

また、上述した課題を解決するために請求項１２記載の発明は、
撮像装置のコンピュータに対して、
撮像部を備えた当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する機能と、
当該撮像装置の移動を検出する機能と、
前記移動が検出された場合には、前記検出された保持角度を加味することにより、前記撮像部の撮影方向が略水平方向を向くように該撮像部を可動させてオフセット制御を行い、このオフセット制御を行った後に前記撮像部により撮り込まれた画像を表示部に表示させ、前記移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる機能と、
を実現させるためのプログラムであることを特徴とする。

本発明によれば、撮像部の撮影方向が斜めに傾いていてもユーザにあっては自然な姿勢で状況に応じた適切な画像を見ることができ、利便性に富んだものとなる。

撮像装置として適用したカメラ機能付き携帯電話機の基本的な構成要素を示したブロック図。 （１）、（２）は、携帯電話機の移動に応じて、あたかも撮影方向を変更したような擬似的なオフセット制御を行った場合を説明するための図、（３）は、移動を静止している場合の実際の撮影方向を示した図。 電源投入に応じて実行開始される携帯電話機の動作（本実施形態の特徴的な動作）を説明するメインのフローチャート。 オフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャート。 第２実施形態で使用する地図メモリＭＰを示した図。 第２実施形態におけるオフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャート。 第２実施形態の変形例を示し、オフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャート。 第３実施形態におけるオフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャート。 坂道などの斜面を歩行しているときに、その斜面の傾斜角度を考慮して撮影方向を制御した場合を示した図。

（第１実施形態）
図１〜図４を参照して本発明の第１実施形態を説明する。
本実施形態は、撮像装置としてカメラ機能付き携帯電話機に適用した場合を例示したもので、図１は、カメラ機能付き携帯電話機の基本的な構成要素を示したブロック図である。
携帯電話機は、例えば、２つの筐体（操作部筐体、表示部筐体）を折り畳み自在に取り付けた折り畳みタイプの携帯電話機で、音声通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）のほか、カメラ機能、拡張現実表示機能、ナビゲーション機能（経路案内）機能などを備えている。

拡張現実表示機能は、２次元コードやＵＲＬ、広告チラシ上の商品画像などをカメラ機能により撮影し、図示しない無線通信網及びインターネットを介して情報提供サーバ（図示省略）から広告などの付加情報を受信して、カメラのライブビュー画像（モニタ画像）に重ね合わせて表示させる機能である。また、ナビゲーション機能は、現在位置より目的地までの経路地図を受信取得して、この地図上に進行方向などを案内表示するほか、右左折時などの報知タイミング時に右左折などを案内するもので、図示しない無線通信網及びインターネットを介して情報提供サーバ（図示省略）から経路案内情報を受信して、カメラのライブビュー画像（モニタ画像）に重ね合わせて表示させる機能である。

制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部３内のプログラム領域には、後述する図３及び図４に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３内のデータ領域には、各種のフラグ情報、携帯電話機の動作に必要な各種の情報が記憶される。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、あるいは図示しない所定の外部サーバ上に記憶部３が有する構成であってもよい。

操作部４は、ダイヤル入力、文字入力、コマンド入力などを行うもので、この操作部４には、図示しないが、通話用のオフフックキー、オンフックキーのほか、カメラ機能・拡張現実表示機能・ナビゲーション機能をオン／オフさせるオン／オフキー、シャッタキーなどが設けられている。制御部１は、操作部４からの操作信号に応じた処理として、例えば、発信処理、電子メール受信処理、カメラ処理、拡張現実表示処理、ナビゲーション処理など、各種の処理を行う。表示部５は、例えば、高精細液晶あるいは有機ＥＬを使用し、例えば、待受画像、アイコン、日時情報のほか、テキストデータ、メール、Ｗｅｂページなどを表示するほか、カメラ機能の使用時にはライブビュー画像（モニタ画像）を表示するファインダ画面となる。

無線通信部６は、図示しない無線部、ベースバンド部、多重分離部などを備え、例えば、音声通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して制御部１に与え、制御部１は、電話部７を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを電話部７から取り込み、送信ベースバンド信号に符号化した後、ベースバンド部の送信側に与えてアンテナＡＴ１から発信出力させる。

撮像部８は、デジタルカメラ機能を構成する構成要素で、静止画撮影のほかに動画撮影も可能なもので、カメラレンズ部８ａ、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）８ｂ、画像信号処理部８ｃ、アナログ処理部８ｄ、圧縮伸張部８ｅ、各種センサ部（測距センサ、光量センサなど）８ｆなどを有し、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したり、シャッタ速度（露光時間）を測定したりする。また、撮像部８は、被写体に応じて望遠／広角の切り替えができる２焦点式レンズやズームレンズを備え、焦点距離を可変する画角変更機構を作動させて望遠／広角やズーム撮影を行うようにしている。また、位置取得部９は、アンテナＡＴ２を有したＧＰＳ受信部（Global Positioning System）を構成するもので、ＧＰＳ信号に基づいて現在位置（経緯度情報）を受信取得する。

保持角度検出部１０は、携帯電話機がユーザに保持されている状態において重力方向に対する携帯電話機の保持角度（傾き角）を検出するもので、例えば、３軸タイプの加速度センサを有し、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の加速度成分に基づいて重力方向に対して携帯電話機がどれだけ傾いているかの保持角度（傾き角）を検出するようにしている。例えば、図２（１）〜（３）に示すように携帯電話機の裏面に対する垂直方向と、加速度センサで検出された重力方向とがなす角度が携帯電話機の保持角度（傾き角）となる。移動速度検出部１１は、ユーザの走行などにより携帯電話機が移動しているか静止しているかを検出すると共に、携帯電話機が移動しているときには、どのくらいの速さで移動しているかを携帯電話機に加わる振動に基づいて検出するもので、例えば、３軸タイプの加速度センサを有する構成となっている。

図２は、撮像部８から撮り込んで表示部５にライブビュー画像として表示される画像が保持角度検出部１０及び移動速度検出部１１の検出結果に基づいて、どのように表示されるかを説明するための図である。図２（１）、（２）は、携帯電話機の移動に応じて、あたかも撮影方向（光軸方向）を変更したような擬似的なオフセット制御を行った場合を説明するための図であり、（３）は、移動を静止している場合の実際の撮影方向を示した図である。ここで、図２（１）〜（３）は、ユーザが携帯電話機を胸の前に上げて、やや斜めに傾けた状態で保持している場合を例示した図である。

制御部１は、移動速度検出部１１により携帯電話機の移動が検出された際に、保持角度検出部１０で検出された保持角度を加味することにより、撮像部８の実際の撮影方向に関わらず、その撮影方向があたかも略水平方向を向いたような擬似的なオフセット制御を行い、このオフセット制御を行った画像に補正を施して表示部５に表示させるようにしている。また、制御部１は、移動速度検出部１１により携帯電話機の移動が検出されなかった場合（静止中の場合）には、撮像部８により撮り込まれた画像をそのまま表示部５に表示させるようにしている。すなわち、拡張現実表示機能又はナビゲーション機能の利用時に、歩行中であれば、上述したオフセット制御を行った画像を表示させるが、静止中であれば、目的を持って立ち止まっているとみなして、オフセット制御を行わない画像をそのまま表示させるようにしている。

ここで、第１実施形態のオフセット制御は、次のようにして行うようにしている。すなわち、制御部１は、撮像部８により撮り込まれた画像（ライブビュー画像として表示される画像）を解析して、撮影範囲内に略水平方向に該当する部分が含まれているか（路面と地上との境界に相当する画像が含まれているか）を判別し、略水平方向に該当する部分が含まれていなければ、撮影範囲内に略水平方向に該当する部分が含まれる画角となるように撮像部８の画角を超広角に調整する。そして、調整後の画角で撮られた撮り込み画像（超広角撮影された画像）から該略水平方向に該当する部分を抽出した後に、この抽出画像の傾き（歪み）補正を施すことにより擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部５にライブビュー画像として表示させるようにしている。この場合、携帯電話機が移動しているか静止しているかにより上述のオフセット制御を行うか否かを決定すると共に、携帯電話機が移動しているときには、その移動速度が所定値以上であるか否かに応じて、オフセット制御における制御量を調整するようにしている。

図２（１）〜（３）のように、携帯電話機が斜めに傾けた状態で保持されていると、撮像部８（カメラレンズ部８ａ）での実際の撮影方向Ａは、通常、図示のように斜め下方向に向いてしまう。このような場合、図２（１）では、実際の撮影方向Ａを変化させないが、上述したようなオフセット制御を行うことにより、オフセット調整後の方向Ｂは、撮影方向Ａがあたかも略水平方向を向いたように調整されたものとなり、この方向Ｂで撮影されたような画像が表示部５にライブビュー画像として表示させることを示している。図２（１）は、移動速度検出部１１により移動していることが検出され、かつ、移動速度として所定値以上が検出され、比較的速く歩行している場合を示している。

図２（２）は、移動速度検出部１１により移動していることが検出され、かつ、移動速度として所定値未満が検出され、比較的遅く歩行している場合を示している。このような場合、オフセット制御の制御量は、図２（２）の場合に比べて小さくなり、オフセット調整後の方向Ｂは、略水平方向よりもやや下を向くように調整されたものとなる。この方向Ｂで撮影されたような画像が表示部５にライブビュー画像として表示される。図２（３）は、移動速度検出部１１により移動していないことが検出された場合を示し、この場合には、実際の撮影方向Ａで撮影された画像がそのまま表示部５にライブビュー画像として表示される。

次に、この実施形態における携帯電話機の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図３は、電源投入に応じて実行開始される携帯電話機の動作（本実施形態の特徴的な動作）を説明するためのメインのフローチャートである。
先ず、制御部１は、電源投入操作に応じてメモリなどをクリアする初期化処理を実行した後（図３のステップＡ１）、待ち受け画像を表示させるなどの待ち受け状態となる（ステップＡ２）。いま、電話着信を検出したときには（ステップＡ３でＹＥＳ）、この着信に対する応答操作（オフフック操作）によって（ステップＡ４でＹＥＳ）、通話可能状態とする通話処理を開始させる（ステップＡ５）。その後のオンフック操作によって（ステップＡ６でＹＥＳ）、回線接続を遮断して通話を終了する終話処理を実行した後（ステップＡ７）、上述の着信有無をチェックするステップＡ３に戻る。

一方、待ち受け状態において、拡張現実表示機能をオンさせる開始操作又はナビゲーション機能をオンさせる開始操作が行われたかを調べたり（ステップＡ８）、カメラ機能をオンさせる開始操作が行われたかを調べたり（ステップＡ２０）、その他の操作が行われたかを調べたりする（ステップＡ２３）。いま、カメラ機能をオンさせる開始操作が行われたときには（ステップＡ２０でＹＥＳ）、設定に合わせた撮影処理を行い、撮像部８に対してシャッタ速度、絞りなどの設定されている撮影条件に合わせた撮影状態への調整を指示したり、撮像部８により撮り込まれた画像信号に基づいてライブビュー画像を生成して表示部（ファインダ画面）５に表示させたりする（ステップＡ２１）。

そして、シャッタ操作に応じて撮り込んだ撮影画像を適切なフォーマット（例えば、ＪＰＥＧ）に圧縮した画像ファイルを生成して記憶部３に記録保存させた後（ステップＡ２２）、上述の着信有無をチェックするステップＡ３に戻る。また、その他の操作が行われたときには（ステップＡ２３でＹＥＳ）、操作に応じた処理として、例えば、発信処理、カメラ機能の撮影条件設定処理などを行った後（ステップＡ２４）、上述の着信有無をチェックするステップＡ３に戻る。

また、拡張現実表示機能をオンさせる開始操作又はナビゲーション機能をオンさせる開始操作が行われたときには（ステップＡ８でＹＥＳ）、撮像部８を起動した後（ステップＡ９）、移動速度検出部１１の検出結果に基づいて移動中（歩行中）であるか否かを調べる（ステップＡ１０）。ここで、移動中（歩行中）であれば（ステップＡ１１でＹＥＳ）、携帯電話機の保持状態に応じて保持角度検出部１０により検出された保持角度を取得すると共に（ステップＡ１１）、移動速度検出部１１により検出された移動速度を取得した後（ステップＡ１２）、この保持角度と移動速度とを参照して擬似的なオフセット制御処理を行う（ステップＡ１３）。

図４は、上述のオフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャートである。
先ず、制御部１は、撮像部８により撮り込まれた画像（ライブビュー画像として表示される画像）を解析することにより（ステップＢ１）、撮影範囲内に略水平方向に該当する部分が含まれているか（路面の境界に相当する画像が含まれているか）を判別する（ステップＢ２）。ここで、撮影範囲内に略水平方向に該当する部分が含まれていれば（ステップＢ２でＹＥＳ）、その画像を処理対象として取得するが（ステップＢ３）、撮影範囲内に略水平方向に該当する部分が含まれていなければ（ステップＢ２でＮＯ）、撮像部８の画角を超広角に調整すべきことを撮像部８に対して指示した後（ステップＢ４）、この調整後の画角で撮られた撮り込み画像（超広角撮影された画像）を処理対象として取得する（ステップＢ５）。

そして、次のステップＢ６では、上述のように移動速度検出部１１から取得した移動速度と所定値とを比較し、その結果、移動速度は所定値以上であるか否かを調べる（ステップＢ７）。いま、移動速度が所定値以上で速い場合には（ステップＢ７でＹＥＳ）、上述のように処理対象として取得した画像の中から略水平方向に該当する部分を抽出するようにしているが、その際、抽出した画像の中央部分に略水平方向に該当する部分が位置するように画像の抽出（中央配置の抽出）を行う（ステップＢ８）。このようにして抽出された画像は、図２（１）に示したように撮影方向をあたかも略水平方向に向かせたような状態で撮影されたものとなる。

また、携帯電話機の移動速度が所定値未満で遅い場合には（ステップＢ７でＮＯ）、上述のように処理対象として取得した画像の中から略水平方向に該当する部分を抽出するようにしているが、その際、抽出した画像の上方の部分に略水平方向に該当する部分が位置するように画像の抽出（上方配置の抽出）を行う（ステップＢ９）。このように移動速度に応じてオフセット制御における制御量が調整される。そして、上述のように抽出した画像は、図２（２）に示したように撮影方向をあたかも略水平方向よりやや下側に向かせたような状態で撮影されたものとなる。そして、抽出した画像の傾き（歪み）を、保持角度検出部１０から取得した保持角度に基づいて補正する（ステップＢ１０）。

このようなオフセット制御処理が終わると（図３のステップＡ１３）、このオフセット制御処理後の画像を表示部５にライブビュー画像として表示させる（ステップＡ１４）。そして、位置取得部９から現在位置を取得し（ステップＡ１５）、この現在位置を図示しない無線通信網及びインターネットを介して情報提供サーバに送信した後（ステップＡ１６）、情報の受信待ちとなる（ステップＡ１７）。ここで、情報提供サーバから拡張現実表示機能に関する情報又は経路案内機能に関する情報を受信すると（ステップＡ１７でＹＥＳ）、この受信情報を表示部５のライブビュー画像に重ね合わせて表示させる（ステップＡ１８）。そして、拡張現実表示機能をオフさせる終了操作又はナビゲーション機能をオフさせる終了操作が行われたかを調べ（ステップＡ１９）、終了操作が行われなければ（ステップＡ１９でＮＯ）、上述の移動中であるかをチェックするステップＡ１０に戻る。

一方、移動中（歩行中）でなければ（ステップＡ１０でＮＯ）、上述のステップＡ１４に移り、撮像部８により撮り込まれた画像をそのまま表示部５に表示させる。従って、図２（３）に示すように、実際の撮影方向Ａで撮影された画像がそのまま表示部５にライブビュー画像として表示される。そして、上述の場合と同様に、位置取得部９から現在位置を取得して（ステップＡ１５）、情報提供サーバに送信し（ステップＡ１６）、情報提供サーバから情報を受信すると（ステップＡ１７でＹＥＳ）、この受信情報を表示部５のライブビュー画像に重ね合わせて表示させる（ステップＡ１８）。ここで、終了操作が行われると（ステップＡ１９でＹＥＳ）、上述の着信有無をチェックするステップＡ３に戻る。

以上のように、第１実施形態において制御部１は、移動速度検出部１１により携帯電話機の移動が検出された場合に、保持角度検出部１０により検出された重力方向に対する携帯電話機の保持角度を加味することにより、撮像部８の実際の撮影方向に関わらず、その撮影方向があたかも略水平方向を向いたようにする擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部５に表示させ、また、移動速度検出部１１により移動が検出されない場合には、撮像部８により撮り込まれた画像をそのまま表示部５に表示させるようにしたので、撮像部８の撮影方向が水平方向となるように、ユーザ（撮影者）が撮像装置を持ち直して保持状態を変更する必要はなく、撮像部８の撮影方向が斜めに傾いていてもユーザにあっては自然な姿勢で状況に応じた適切な画像を見ることができ、利便性に富んだものとなる。

制御部１は、撮像部８の撮影範囲内に略水平方向に該当する部分が含まれる画角となるように撮像部８の画角を調整すると共に、この調整後の画角で撮られた画像内から該略水平方向を含む部分を抽出して歪み補正を施すことによって擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部５に表示させるようにしたので、ソフトウェアの処理だけで制御することができる。

制御部１は、移動速度検出部１１により検出された移動速度に基づいてオフセット制御の制御量を調整するようにしたので、例えば、ゆっくりと歩行しながら撮影方向を斜め下に向けて花などを撮影するような場合などに対応することができ、自然な体制のままで状況に応じた適切な表示へと自動的かつスムースに切り替えができる。

制御部１は、位置取得部９により取得した現在位置に基づいて取得した情報を表示部５に表示させる画像に関する情報として表示させるようにしたので、拡張現実表示機能やナビゲーション機能の使用時に、ユーザにあっては商品情報、店舗情報、経路案内情報などを適切な画像と共に、見ることができる。

（第２実施形態）
以下、この発明の第２実施形態について図５及び図６を参照して説明する。
なお、上述した第１実施形態においては、撮像部８の撮影範囲内に略水平方向に該当する部分が含まれる画角となるように撮像部８の画角を調整すると共に、この調整後の画角で撮られた画像内から該略水平方向を含む部分を抽出して歪み補正を施すことによって擬似的なオフセット制御を行うようにしたが、この第２実施形態においては、現在位置に対応する画像を読み出して、撮像部８により撮り込まれた画像の代替えとすることによって擬似的なオフセット制御を行うようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図５は、地図メモリＭＰを示した図である。
この地図メモリＭＰには、位置情報（経緯度情報）に対応して地図情報としてその位置で撮影した撮影画像と、その他の情報（付加情報）を記憶するもので、例えば、繁華街や観光地など歩行者道路を歩行する過程において、歩行する方向（前方）を各ポイント毎（例えば、１０メートル毎）に略水平方向で撮影された撮影画像が記憶されているもので、例えば、ＳＤカード（記録メディア）などである。

図６は、第２実施形態におけるオフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャートである。なお、上述した図３の全体動作の概要を示したフローチャートは、第２実施形態においても基本的に同様であるため、その説明は省略するが、第２実施形態においては、図１で示した保持角度検出部１０を有しない点と、図３で示した保持角度を検出する処理（ステップＡ１１）を有しない点が異なる。以下、第２実施形態特有のオフセット制御処理について説明する。

先ず、制御部１は、位置取得部９により現在位置を取得し（ステップＣ１）、この現在位置に基づいて地図メモリＭＰを検索し（ステップＣ２）、現在位置に対応する画像を読み出して（ステップＣ３）、撮像部８により撮り込まれる画像の代替画像として取得する（ステップＣ４）。このようなオフセット制御処理が終わると、代替画像として地図メモリＭＰから読み出した画像を表示部５にライブビュー画像として表示させる（図３のステップＡ１４）。

以上のように第２実施形態においては、携帯電話機の移動が検出された場合には、現在位置に対応する画像を、撮像部８により撮り込まれる画像の代替画像とする擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示し、移動が検出されない場合には、撮像部８により撮り込まれた画像をそのまま表示するようにしたので、例えば、周囲が暗い、雨天など、撮影条件が悪い環境であっても、綺麗な画像を表示させることができ、かつ手振れなどの影響もない。

また、撮像部８により撮り込まれる画像の代替画像として、現在位置に対応する画像を地図メモリＭＰから読み出し取得するようにしたので、表代替画像を容易に取得することができる。

なお、上述した第２実施形態においては、現在位置に対応する画像を地図メモリＭＰから読み出すようにしたが、ネットワークを介して現在位置に対応する画像を受信取得するようにしてもよい。図７は、この場合におけるオフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャートである。

先ず、制御部１は、位置取得部９により現在位置を取得すると共に（図７のステップＤ１）、無線通信網及びインターネットを介して情報提供サーバ（図示省略）をアクセスして（ステップＤ２）、現在位置を該情報提供サーバに送信する（ステップＤ３）。そして、情報提供サーバから現在位置に関する画像（地図画像）をダウンロード受信すると（ステップＤ４でＹＥＳ）、この画像を撮像部８により撮り込まれた画像の代替画像として取得する（ステップＤ５）。このようなオフセット制御処理が終わると、この代替画像としてダウンロード受信した画像を表示部５にライブビュー画像として表示させる（図３のステップＡ１３）。

撮像部８により撮り込まれる画像の代替画像として、現在位置に対応する画像を、インターネットを介して情報提供サーバからダウンロード受信表示するようにしたので、豊富な画像群の中から適切な代替画像を容易に取得することができる。

また、上述した第２実施形態においても、第１実施形態と同様に、移動速度検出部１１により検出された移動速度に基づいてオフセット制御の制御量を調整するようにしてもよい。この場合、調整後の制御量に応じた代替画像を取得すればよい。これによって例えば、ゆっくりと歩行しながら撮影方向を斜め下に向けて花などを撮影するような場合などに対応することができ、自然な体制のままで状況に応じた適切な表示へと自動的かつスムースに切り替えができる。

（第３実施形態）
以下、この発明の第３実施形態について図８及び図９を参照して説明する。
なお、上述した第１及び第２実施形態においては、擬似的なオフセット制御を行うようにしたが、この第３実施形態においては、撮像部８（カメラレンズ部８ａ）自体を可動して、その撮影方向（光軸方向）を直接的に変更するようにした実際のオフセット制御を行うようにしたものである。また、第３実施形態においては、坂などの路面（斜面）を歩行している場合に、その斜面の傾斜角度に応じて撮像部８（カメラレンズ部８ａ）を可動して、その撮影方向を変更するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第３実施形態の特徴部分を中心に説明するものとする。

図８は、第３実施形態におけるオフセット制御処理（図３のステップＡ１３）を詳述するためのフローチャートである。なお、上述した図３の全体動作の概要を示したフローチャートは、第３実施形態においても基本的に同様であるため、その説明は省略する。
この第３実施形態における撮像部８には、カメラレンズ部８ａの撮影方向（光軸方向）を変更可能とする可動機構（図示省略）が設けられており、制御部１からの指示に応じて撮像部８内の可動機構を動作させて、その撮影方向を自動調整することができるようになっている。

先ず、制御部１は、保持角度検出部１０により検出された保持角度は、重力方向に対して略９０°の範囲内であるか、例えば、９０°±１０°の範囲内（８０°〜１００°）であるかを調べ（ステップＥ１）、保持角度が略９０°の範囲内であれば（ステップＥ１でＹＥＳ）、次のステップＥ３に移るが、保持角度が略９０°の範囲から外れていれば（ステップＥ１でＮＯ）、撮像部８（カメラレンズ部８ａ）の撮影方向を、上述の保持角度に基づいて可動することにより、それが略水平方向になるように調整する（ステップＥ２）。

そして、撮像部８により撮り込まれた画像（ライブビュー画像として表示される画像）を解析することにより（ステップＥ３）、その撮影範囲内に路面と地上との境界に相当する画像が含まれているか（略水平方向に該当する部分が含まれているか）を判別し（ステップＥ４）、略水平方向に該当する部分が含まれていれば（ステップＥ４でＹＥＳ）、更に、略水平方向に該当する部分は、撮影範囲内の略中央部分に位置しているかを判別する（ステップＥ５）。いま、略水平方向に該当する部分が撮影範囲内の略中央部分に位置していれば（ステップＥ５でＹＥＳ）、図８のオフセット制御処理から抜けて、その画像を表示部５にライブビュー画像として表示させる（図３のステップＡ１４）。

また、撮影範囲内に略水平方向に該当する部分が含まれていない場合（ステップＥ４でＮＯ）、又は、該当部分が含まれていても撮影範囲内の略中央部分から外れている場合には（ステップＥ５でＮＯ）、略水平方向に該当する部分が撮影範囲内の略中央部分に位置するように撮像部８（カメラレンズ部８ａ）を可動させてその撮影方向を調整する（ステップＥ６）。そして、この調整後の撮影方向で撮られた画像を撮像部８から取得した後（ステップＥ７）、図８のオフセット制御処理から抜けて、その画像を表示部５にライブビュー画像として表示させる（図３のステップＡ１４）。

以上のように第３実施形態において制御部１は、移動速度検出部１１により携帯電話機の移動が検出された場合に、保持角度検出部１０により検出された重力方向に対する携帯電話機の保持角度を加味することにより、撮像部８の撮影方向が略水平方向を向くように撮像部８を可動させてオフセット制御を行い、このオフセット制御を行った後に撮像部８により撮り込まれた画像を表示部５に表示させ、移動速度検出部１１により移動が検出されない場合には、撮像部８により撮り込まれた画像をそのまま表示部５に表示させるようにしたので、撮像部８の撮影方向が水平方向となるように、ユーザ（撮影者）が撮像装置を持ち直して保持状態を変更する必要はなく、撮像部８の撮影方向が斜めに傾いていてもユーザにあっては自然な姿勢で状況に応じた適切な画像を見ることができ、利便性に富んだものとなるほか、撮像部８を可動させて撮影方向を制御するだけでよく、簡単な制御で足りるようになる。

制御部１は、撮像部８により撮り込まれた画像を解析した解析結果に基づいて、画像の略中央部分に路面と地上との境界に相当する画像が含まれるように撮像部８を可動してその撮影方向を調整するオフセット制御を行い、このオフセット制御を行った後に撮像部８により撮り込まれた画像を表示部５に表示させるようにしたので、ユーザが歩行している路面が、例えば、坂道などの斜面であっても、その斜面の傾斜角度を考慮し、撮影方向を斜面に対して水平となるように制御することができる。

図９は、この場合におけるオフセット制御を説明するための図である。すなわち、坂道などの斜面を歩行しているときに、その斜面の傾斜角度を考慮して撮影方向が斜面に対して水平となるように制御した場合を示した図で、撮影方向は、斜面の傾斜角度を考慮することにより重力方向に対して９０°を超える上向きの状態に調整される結果、撮影範囲の略中央部分に路面と地上との境界が位置したような画像が表示されることになる。

また、上述した第３実施形態においても、第１実施形態と同様に、移動速度検出部１１により検出された移動速度に基づいてオフセット制御の制御量を調整するようにしてもよい。これによって例えば、ゆっくりと歩行しながら撮影方向を斜め下に向けて花などを撮影するような場合などに対応することができ、自然な体制のままで状況に応じた適切な表示へと自動的かつスムースに切り替えができる。

なお、上述した各実施形態において保持角度検出部１０は、加速度センサを有する構成としたが、携帯電話機（表示部）が保持されている角度を検出できるものであれば、その構成は問わない。

また、上述した各実施形態においては、撮像装置として、折り畳みタイプのカメラ機能付き携帯電話機に適用した場合を示したが、２軸ヒンジタイプ、スライドタイプ、スピントップタイプなど任意の筐体構造であってもよく、その他、携帯電話機に限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ・デジタルカメラ・音楽プレイヤーなどであってもよく、更に、デジタルカメラ自体であってもよい。

また、上述した各実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 操作部
５ 表示部
６ 無線通信部
８ 撮像部
８ａ カメラレンズ部
９ 位置取得部
１０ 保持角度検出部
１１ 移動速度検出部

Claims (12)

1. 撮像部により撮り込まれた画像を表示部に表示させる撮像装置であって、
   当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する角度検出手段と、
   当該撮像装置の移動を検出する移動検出手段と、
   前記移動検出手段により移動が検出された場合には、前記角度検出手段により検出された保持角度を加味することにより、前記撮像部の実際の撮影方向に関わらず、その撮影方向があたかも略水平方向を向いたようにする擬似的なオフセット制御を行い、このオフセット制御を行った画像を前記表示部に表示させ、前記移動検出手段により移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記撮像部の撮影範囲内に前記略水平方向に該当する部分が含まれる画角となるように該撮像部の画角を調整すると共に、この調整後の画角で撮られた画像内から該略水平方向を含む部分を抽出して歪み補正を施すことによって前記オフセット制御を行い、このオフセット制御を行った画像を前記表示部に表示させる、
   ようにしたことを特徴とする請求項１記載の撮像装置。
3. 撮像部により撮り込まれた画像を表示部に表示させる撮像装置であって、
   当該撮像装置の現在位置を取得する位置取得手段と、
   この位置取得手段により取得した現在位置に基づいてその現在位置に対応する画像を取得する画像取得手段と、
   当該撮像装置の移動を検出する移動検出手段と、
   前記移動検出手段により移動が検出された場合には、前記画像取得手段により取得した画像を、前記撮像部により撮り込まれる画像の代替画像とする擬似的なオフセット制御を行い、このオフセット制御を行った画像を前記表示部に表示させ、前記移動検出手段により移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる制御手段と、
   を備えることを特徴とする撮像装置。
4. 位置情報に対応して画像を記憶する画像記憶手段を更に備え、
   前記画像取得手段は、前記位置取得手段により取得した現在位置に対応する画像を前記画像記憶手段から読み出し取得する、
   ようにしたことを特徴とする請求項３記載の撮像装置。
5. 前記画像取得手段は、前記位置取得手段により取得した現在位置に対応する画像を、ネットワークを介してダウンロード取得する、
   ようにしたことを特徴とする請求項３記載の撮像装置。
6. 撮像部により撮り込まれた画像を表示部に表示させる撮像装置であって、
   当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する角度検出手段と、
   当該撮像装置の移動を検出する移動検出手段と、
   前記移動検出手段により移動が検出された場合には、前記角度検出手段により検出された保持角度を加味することにより、前記撮像部の撮影方向が略水平方向を向くように該撮像部を可動させてオフセット制御を行い、このオフセット制御を行った後に前記撮像部により撮り込まれた画像を前記表示部に表示させ、前記移動検出手段により移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる制御手段と、
   を備えることを特徴とする撮像装置。
7. 前記撮像部により撮り込まれた画像の略中央部分に路面の境界が含まれているかを解析する解析手段を更に備え、
   前記制御手段は、前記解析手段による解析結果に基づいて画像の略中央部分に路面の境界が含まれるように、前記撮像部を可動してその撮影方向が略水平方向を向くようにオフセット制御を行い、このオフセット制御を行った後に前記撮像部により撮り込まれた画像を前記表示部に表示させる、
   ようにしたことを特徴とする請求項６記載の撮像装置
8. 前記移動検出手段は、更に移動速度を検出し、
   前記制御手段は、前記移動検出手段により検出された移動速度に基づいて前記オフセット制御の制御量を調整する、
   ようにしたことを特徴とする請求項１、３、６のいずれかに記載の撮像装置。
9. 現在位置に基づいて現在位置に関する情報を取得する情報取得手段を更に備え、
   前記制御手段は、前記情報取得手段により取得された現在位置に関する情報を前記表示部に表示される画像に関する情報として表示させる、
   ようにしたことを特徴とする請求項１、３、６のいずれかに記載の撮像装置。
10. 撮像装置のコンピュータに対して、
    撮像部を備えた当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する機能と、
    当該撮像装置の移動を検出する機能と、
    前記移動が検出された場合には、前記検出された保持角度を加味することにより、前記撮像部の実際の撮影方向に関わらず、その撮影方向があたかも略水平方向を向いたようにする擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部に表示させ、前記移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる機能と、
    を実現させるためのプログラム。
11. 撮像装置のコンピュータに対して、
    当該撮像装置の現在位置を取得する機能と、
    前記取得した現在位置に基づいてその現在位置に対応する画像を取得する機能と、
    当該撮像装置の移動を検出する機能と、
    前記移動が検出された場合には、前記取得した画像を、撮像部により撮り込まれた画像の代替画像とする擬似的なオフセット制御を行い、このオフセット制御を行った画像を表示部に表示させ、前記移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる機能と、
    を実現させるためのプログラム。
12. 撮像装置のコンピュータに対して、
    撮像部を備えた当該撮像装置が保持されている状態において重力方向に対する当該撮像装置の保持角度を検出する機能と、
    当該撮像装置の移動を検出する機能と、
    前記移動が検出された場合には、前記検出された保持角度を加味することにより、前記撮像部の撮影方向が略水平方向を向くように該撮像部を可動させてオフセット制御を行い、このオフセット制御を行った後に前記撮像部により撮り込まれた画像を表示部に表示させ、前記移動が検出されない場合には、前記撮像部により撮り込まれた画像をそのまま前記表示部に表示させる機能と、
    を実現させるためのプログラム。

Images