JP4458151B2 - 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法 - Google Patents

Description

本発明は、被写体を自動撮像する自動撮像装置に関するものであって、特に使用者に装着された状態での使用が想定される自動撮像装置に好適なものである。また、このような自動撮像装置と情報処理装置とを備えて構成され自動撮像された画像を表示するための画像表示システム、及び画像表示方法に関する。さらには、自動撮像された画像についての表示制御を行うための表示制御装置、及び表示制御方法に関する。

例えばライフログカメラとして、ユーザが装着しているカメラが自動的に定期的な画像撮像を行うことで、ユーザが日常生活で目にする光景を画像データとして記録するカメラが提案されている。このライフログカメラを使用することで、ユーザの行動履歴や思い出などを、画像データとして残すことが可能となる。
具体的に、ライフログカメラとしては、例えばネックストラップによって首から吊り下げられたり、眼鏡型の装着ユニットと一体的に形成されるなどしてユーザに装着されることになる。そして、このような装着状態において、例えば一定時間間隔で撮像を行い、撮像画像を保存するようにされる。

なお、関連する従来技術については下記特許文献を挙げることができる。
特開平１０−２８２５３６号公報

上記のようなライフログカメラで画像を自動撮像して保存する目的は、保存された画像を再生表示することによってユーザが自身の行動履歴を確認したり、思い出を呼び起こすといったところにある。
ここで、上述のようにして日常の光景を一定間隔で撮像するという性質上、ライフログカメラでは、撮像画像が大量に保存されることが想定される。これに伴い、保存画像を再生する際には、通常のカメラ装置（使用者のシャッター操作（セルフタイマ撮像も含む）などにより撮像画像を取り込むカメラ装置）による撮像画像を再生表示する場合とは異なり、保存画像を比較的高速に（パラパラと）送り表示させるといった使用法が想定されている。

しかしながら、ライフログカメラはユーザに装着された状態で撮像を行うようにされることから、ユーザの歩行や動作に伴って装置本体の傾きが比較的大きく変動することが懸念され、これに伴い、撮像画像としてもその傾きが大きくばらつくものとなってしまうことが懸念される。
このように撮像画像に比較的大きな傾きのバラツキが生じてしまった場合、上述のようにして保存画像を送り再生する際には、再生画像が不自然に揺れてしまうという現象が起こる。特に、ライフログカメラによる撮像画像については上述のように比較的高速な送り再生が行われることになるので、画像傾きに伴う再生画像の揺れが生じた場合、ユーザに対して非常に大きな不快感を与えてしまう可能性が高まる。

本発明では以上のような問題点に鑑み、被写体を自動撮像する自動撮像装置において撮像された画像データについて、その再生時（表示時）に生じる可能性のある再生画像の揺れの発生の低減を図ることを目的とする。特に本発明では、画像撮像時に生じたパン方向（例えば画像の横軸方向）、又はチルト方向（例えば画像の縦軸方向）への傾きに起因して生じる再生画像の揺れの低減を図ることを目的とする。

このような目的の達成を図るべく、本発明では、自動撮像装置として以下のように構成することとした。
つまり、被写体を撮像して撮像画像データを得る撮像手段と、上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、位置情報を検出する位置検出手段と、上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う制御手段と画像表示を行う表示手段と、を備え、上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出し、上記制御手段は、上記位置検出手段から取得した現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、画像再生時においては、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データが上記表示手段に表示されるように制御を行うようにする。

また、本発明では自動撮像装置として以下のような構成とする。
すなわち、被写体を撮像して撮像画像データを得る撮像手段と、上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、位置情報を検出する位置検出手段と、上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う制御手段と画像表示を行う表示手段と、を備え、上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出し、上記制御手段は、上記位置検出手段により検出された位置情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、画像再生時においては、各撮像画像データごとに、その撮像画像データとそれよりも前に取り込まれた撮像画像データとにそれぞれ対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別した結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にある撮像画像データが上記表示手段に表示されるように制御を行うようにする。

また、本発明では、被写体を自動撮像する自動撮像装置と、上記自動撮像装置との間でデータ通信を行うことが可能に構成された情報処理装置とを備えて構成される画像表示システムとして、以下のように構成することとした。
すなわち、上記自動撮像装置は、被写体を撮像して撮像画像データを得る撮像手段と、上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、位置情報を検出する位置検出手段と、上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う撮像装置側制御手段とを備え、上記情報処理装置は、画像表示を行う表示手段と、情報処理装置側制御手段とを備えると共に、上記情報処理装置側制御手段は、上記自動撮像装置側にて撮像され上記傾きの情報が対応づけられた上記撮像画像データを取り込む取込処理と、上記取込処理により取り込んだ、上記撮像画像データと対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別処理と、上記判別処理による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが上記表示手段に表示されるように制御を行う表示制御処理とを実行し、上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出すると共に、上記撮像装置側制御手段は、上記位置検出手段から取得した現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行い、上記情報処理装置側制御手段による上記判別処理では、上記取込処理により取り込んだ各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、上記表示制御処理では、上記判別処理による判別の結果パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データが、上記表示手段に表示されるように制御を行うようにする。

また、本発明では表示制御装置として以下のように構成することとした。
つまり、本発明の表示制御装置は、パン方向又はチルト方向の傾きの情報が対応づけられた自動撮像画像についての表示制御を行う表示制御装置であって、以下の処理を実行する制御手段を備えるものである。
すなわち、上記自動撮像画像としての撮像画像データに対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別処理と、上記判別処理による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが所要の表示手段に表示されるように制御を行う表示制御処理と、を実行する制御手段と、を備え、上記制御手段は、位置検出手段において検出された現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、方位センサにより検出されたパン方向への傾きの方向の情報と共に上記撮像画像データに対して対応づけられるように制御を行うと共に、上記判別処理においては、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、上記表示制御処理においては、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データを表示するように制御を行うようにする。

上記のようにして本発明の自動撮像装置（自動撮像制御方法）は、パン方向又はチルト方向への傾きを検出した結果に基づき撮像画像データの取込動作を制御するものである。或いは、自動撮像により取り込まれた撮像画像データに対し検出したパン方向又はチルト方向への傾きの情報を対応づけるものである。
また、本発明の画像表示システム（画像表示方法）、及び表示制御装置（表示制御方法）は、自動撮像により取り込まれた撮像画像データに対してパン方向又はチルト方向への傾きの情報を対応づけておくものとした上で、画像再生時には、このように対応づけられた傾きの情報に基づき、傾きが所定範囲内である撮像画像データが表示されるように制御を行うものである。

上記本発明によれば、例えばライフログカメラなど、使用者に装着された状態での使用が想定される自動撮像装置により自動撮像された撮像画像データについて、検出されたパン方向又はチルト方向の傾きの情報に基づきその取り込みを制御する、或いはパン方向又はチルト方向の傾きの情報に基づきその表示を制御することで、傾きが所定範囲内の撮像画像データのみが再生表示されるようにすることができる。
このように傾きが所定範囲内のものについてのみ再生表示を行うことができれば、自動撮像された画像データの再生時に生じていた再生画像の揺れの低減を図ることができ、その結果、従来のようにユーザに不快感を与えてしまうといったような事態の発生の防止を図ることができる。

また、特に自動撮像により取り込まれた撮像画像データに対し、検出された傾きの情報を対応づける本発明の自動撮像装置（自動撮像制御方法）、及び画像表示システム（画像表示方法）によれば、自動撮像画像の取り込みを制御する場合とは異なり、自動撮像タイミングで得られた全ての撮像画像データを取り込んでおくことができる。つまり、例えば送り再生時においては再生画像の揺れの低減を図るべく対応づけられた傾きの情報に基づく表示制御を行う一方で、必要に応じて、他の撮像画像データについての表示も行うことができるものである。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。なお、説明は以下の順序で行うものとする。

１．第１の実施の形態（取込制御：２軸ジャイロセンサ使用の例）
２．第２の実施の形態（取込制御：パン方向の検出に方位センサを使用する例）
３．第３の実施の形態（取込制御：パン方向の基準傾きを進行方向とする例）
４．第４の実施の形態（表示制御：平均値・進行方向をリアルタイムに計算する例）
５．第５の実施の形態（表示制御：平均値・進行方向を再生時に事後的に計算する例）
６．変形例

＜１．第１の実施の形態＞
[自動撮像装置の外観例]

図１は、本発明の自動撮像装置の一実施形態としての、撮像装置１の外観例を示している。
図１（ａ）は、首かけタイプ（ネックストラップタイプ）による撮像装置１の外観例を示している。この場合の撮像装置１は、例えばストラップを取り付ける部位を持ち、この部位にストラップを取り付けて図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置１が備える撮像レンズ３Ｌがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図示していないが、この場合、例えば撮像装置１の背面部には、撮像モニタ用や撮像画像の再生（表示）用などとして用いられる表示部（後述の表示部５）が設けられる。

図１（ｂ）は、眼鏡型ディスプレイカメラとした場合の撮像装置１の外観例を示している。この場合の撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この場合の撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３Ｌが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部５、５が配置される構成とされている。この場合の表示部５には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部５がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部５は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。また表示部５が設けられない構成も考えられる。

これら図１（ａ）（ｂ）では、首かけタイプ或いは眼鏡型の撮像装置１を挙げたが、ユーザが撮像装置１を装着するための構造は多様に考えられる。例えばヘッドフォン型、ネックバンドタイプ、耳掛け式、帽子型など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドフォン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくてもよい。
また、図１（ａ）の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置１を首にかけるように装着してもよい。
そして、図１（ｂ）の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３Ｌが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。
さらに、図１（ａ）（ｂ）において、１又は複数の撮像レンズ３Ｌについて、被写体方向を手動又は自動で変更できる撮像方向可変機構を設けてもよい。

なお、動画や静止画撮像を行う撮像装置として、これら図１（ａ）（ｂ）に示す以外の形態も考えられることは言うまでもない。例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。
また、撮像レンズ３Ｌの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［自動撮像装置の内部構成例］

図２は、第１の実施の形態としての撮像装置１の内部構成を示すブロック図である。
図示するようにして撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、２軸ジャイロセンサ８、ストレージ部９、メモリ部１０、バス１１、通信部１２を有する。

システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１１を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａでは、図１に示した撮像レンズ３Ｌや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂでは、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。

これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをバス１１を介して接続される各部（表示制御部６、ストレージ部９、メモリ部１０、通信部１２など）へ転送する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、シャッタ処理、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂの感度やフレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定なども行う。

撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、表示パネル部に画像表示を行わせるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。例えば撮像部３で撮像される画像のリアルタイムモニタ表示や、ストレージ部９に記録された撮像画像データについての再生画像の表示などが実行される。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。

操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するものとされ、例えば、電源オン／オフ操作や、自動撮像に関連する操作のための操作子や、所要の入力操作のための操作子が形成される。また、自動撮像だけでなく、ユーザのシャッタ操作に応じた撮像も可能とする場合は、撮像に関するユーザ操作として例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成されるようにしてもよい。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。

ストレージ部９は、撮像画像データを始めとした各種データの保存に用いられる。
このストレージ部９は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性を有する記録媒体、例えば固体メモリを内蔵したメモリカード、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部９は、システムコントローラ２の制御に基づいて、撮像画像データその他の各種データの記録／再生を行う。

メモリ部１０は、各種データの一時保持のために設けられ、例えばＲＡＭや不揮発性メモリなど、データ書き換えが可能なメモリ装置で構成される。例えばこのメモリ部１０は、各種画像信号処理の対象となる撮像画像データについての一時保持領域（画像信号処理を行う上での作業領域）として利用することができる。

通信部１２は、各種の外部機器とデータ通信を行う部位として設けられる。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線ＬＡＮやブルートゥースなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部１２は、例えばＵＳＢ（Universal Serial Bus）方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部１２により、例えば撮像してストレージ部９に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。

ここでは一例として、上記通信部１２としては、例えばＵＳＢ方式等の有線接続のインターフェイスを用いて外部機器とのデータ通信を行うことが可能に構成されているとする。図中インタフェース端子ＴI/Fは、このような有線接続によるデータ通信を行うにあって外部機器側と接続するための通信ケーブルが接続される端子となる。

２軸ジャイロセンサ８は、撮像装置１のパン方向とチルト方向の傾きを検出するために設けられる。
この場合、２軸ジャイロセンサ８としては、その一方の検出軸方向が撮像素子（撮像画像）の横方向と一致し、他方の検出軸方向が撮像素子の縦方向と一致するようにして撮像装置１内に設置されている。これにより、パン方向（横方向：左右方向）への傾き（回転角速度）とチルト方向（縦方向：上下方向）への傾きを検出するようにされる。
この２軸ジャイロセンサ８によって得られるパン方向、チルト方向への傾きを表す検出信号は、システムコントローラ２に供給される。

なお、実施の形態の撮像装置１の構成としてはこの図２で説明した構成に限定されるものでなく、実際に実施される動作例や機能に応じて各種の構成要素の追加・削除は当然考えられるものである。

[パン・チルトの傾きに応じた自動撮像画像の取込制御]

図２に示した撮像装置１では、自動撮像機能として、撮像部３にて得られる撮像画像に基づく撮像画像データを自動的に取り込む動作を行う。具体的には、例えば一定時間おきなどに設定される自動撮像タイミングに基づき、システムコントローラ２が撮像制御部４に対する指示を行って、撮像画像データの取り込み制御を行う。この際、システムコントローラ２は、上記自動撮像タイミングに基づき、撮像部３にて得られている撮像画像データに基づく圧縮画像データを撮像制御部４によって生成させ、該圧縮画像データがストレージ部９で記録されるように制御を行う。

ここで、これまでの説明から理解されるように、本実施の形態の撮像装置１としては、使用者に装着された状態で被写体を自動撮像することが想定されたものである。このような装着型とされる自動撮像装置としては、先に説明したライフログカメラとして、ユーザが自身の行動履歴や思い出を画像データとして保存する用途に使用されることが想定される。

しかしながら、このようなライフログカメラとして使用することを想定した場合、先に説明したようにユーザ（つまり装着者）の使用に伴い自動撮像された画像データに大きな傾きの変動が生じる可能性が高く、撮像画像を送り再生（表示）した場合には、再生画像が不自然に揺れてしまうことが問題となる。特に、ライフログカメラによる撮像画像については、前述のように比較的高速な送り再生が行われることが想定されるので、このような再生画像の揺れがユーザに対して非常に大きな不快感を与えてしまう可能性が高い。

ここで、注意すべきは、画像データに生じたパン方向、チルト方向への傾きは、これを補正することが非常に困難であるという点である。すなわち、例えば画像データの平面方向に生じた傾き（画像の中心を回転軸として生じた傾き）については、例えばトリミングなどによって適正な角度で画像を切り出すことによって傾きの補正を行うことができるが、パン方向、チルト方向への傾きが生じた場合、撮像画像は、もはや被写体を正面から捉えたものとはならないので、適正な補正を行うことが非常に困難となる。特に、比較的大きな傾きが生じた場合、映し出されるべき被写体が画像内から切れてしまい、結果として何を撮像しているかが分からない画像（すなわち失敗画像）が得られてしまう可能性も高いものとなる。

そこで、実施の形態では、パン方向、チルト方向に比較的大きな傾きが生じた撮像画像データについては、これが再生時において表示されないようにすることで、再生画像の揺れの低減と共に、上記のような失敗画像の混入の防止も図る。
第１の実施の形態は、上述した２軸ジャイロセンサ８による検出信号に基づき自動撮像画像についての取込動作を制御することによって、このようにパン方向、チルト方向への比較的大きな傾きが生じた画像が再生表示されないようにするものである。

図３は、第１の実施の形態としての動作について説明するための図である。この図３において、図中のセンサ出力は、２軸ジャイロセンサ８による出力信号を表し、ここではパン方向、チルト方向のうち、一方の方向についての検出信号のみを例示している。また、図中の自動撮像タイミングは、自動撮像周期として予め設定された例えば１０秒間隔や５秒間隔といった一定周期によるタイミングとなる。

先ず、この場合、撮像画像データの取り込みは、基本的には自動撮像タイミングを優先する。すなわち、この場合の撮像画像の取り込みは、図中の自動撮像タイミングごとに傾きが所定範囲内であるか否かについて判別を行った結果、傾きが所定範囲内であるとされた場合に行うというのが基本となる（図中＜１＞）。

この場合、自動撮像タイミングにおいて傾きが所定範囲内でないと判別された場合は、センサ出力のモニタを開始し、その後において、傾きが所定範囲内となった時点での撮像画像データを取り込むものとしている（図中＜２＞）。

ここで、実施の形態では、傾きが所定範囲内であるか否かを判別するにあって、センサ出力の平均値Ａを計算する。つまり、傾きの大きさを判断するにあたっては、基準となる方向（つまりユーザが向いている方向）を定義する必要があるが、ここでは、このようなセンサ出力の平均値Ａが得られている状態で撮像装置１の正面が向く方向が、ユーザが向いている方向と一致する方向であるとみなして、この平均値Ａを基準としてセンサ出力から傾きの大きさを判断するものとしている。

具体的に、システムコントローラ２は、上記平均値Ａの計算を行うにあたり、過去数時刻にわたって取得したセンサ出力の値を保持しておくようにされる。そして、このように保持される複数のセンサ出力値と、現在において取得したセンサ出力値とに基づき、それらの平均値を計算する。すなわちこれにより、現在の時刻を基準とした過去所定期間にわたるセンサ出力の平均値Ａ（傾きの平均値Ａ）を計算する。
そして、このように計算されるセンサ出力平均値Ａと、予め設定された閾値ａとに基づき、現在の傾きの値が、上記閾値ａの値で定義される所定範囲内にあるか否かを判別する。具体的には、２軸ジャイロセンサ８から取得したセンサ出力値が、上記平均値Ａを基準とした±ａの範囲内にあるか否かを判別するものである。

ここで、図３では説明の便宜上、パン方向、チルト方向の一方のみのセンサ出力に基づく判別結果に応じて撮像画像の取り込み制御が行われるものとして示しているが、実際においては、パン方向、チルト方向の双方のセンサ出力について、それぞれ同様に平均値Ａを計算し、これらの平均値Ａと閾値ａに基づきそれぞれ同様の判別を行った結果に基づき、双方の方向で傾きが所定範囲内にあるとされた場合に、撮像画像データの取り込みが行われるように制御するものとなる。

このようなセンサ出力とその平均値Ａとに基づく取り込み制御が行われる結果、撮像装置１においては、自動撮像画像として、パン方向とチルト方向の傾きが所定範囲内となっている画像のみを取り込むことができる。すなわちこれにより、再生時においてはパン方向、チルト方向の傾きが所定範囲内である画像のみが再生表示されるようにすることができ、この結果、再生画像の揺れの低減を図ることができる。
再生画像の揺れの低減が図られることで、従来のようなユーザに不快感を与えてしまうといったような事態の発生の防止を図ることができる。

[処理動作]

上記により説明した第１の実施の形態としての動作を実現するために実行されるべき処理動作について、次の図４、図５のフローチャートを参照して説明する。図４は、傾きの平均値Ａを計算するにあたって実行されるべき処理動作を示し、図５は、平均値Ａに基づき撮像画像の取り込み制御を行うにあたって実行されるべき処理動作を示している。
なお、これら図４、図５に示す処理動作は、システムコントローラ２が例えば内部のＲＯＭに格納されるプログラムに基づいて実行するものである。また、システムコントローラ２はこれら図４、図５に示される処理動作を並行して行うものとされる。

先ず、図４に示される処理動作から説明する。
図４において、ステップＳ１０１では、パン・チルト傾き情報を取得する。すなわち、２軸ジャイロセンサ８から供給されるパン方向、チルト方向の双方について検出信号の値を取得し、これを例えば内部の不揮発性メモリ等に保持する。
そして、続くステップＳ１０２では、パン・チルト傾き平均値を更新する。すなわち、上記ステップＳ１０１の処理によって過去に取得・保持された検出信号の値のうち現在時刻を基準とした所定期間内に取得・保持された値と、現在の上記ステップＳ１０１にて取得した検出信号の値とについて、それらの平均値をパン方向、チルト方向それぞれについて計算する。そして、このように計算したそれぞれの平均値により、現時点でのパン方向の傾きの平均値Ａ（Ａpとする）の値とチルト方向の傾きの平均値Ａ（Ａtとする）の値をそれぞれ更新する。
このステップＳ１０２の処理を実行すると図示するように「ＲＥＴＵＲＮ」となる。

続いて、図５に示される処理動作について説明する。
図５において、先ずステップＳ２０１では、自動撮像タイミングを待機する処理を行う。すなわち、撮像部３により得られる撮像画像データの取り込みを行うべきとして予め定められた自動撮像タイミングに至るまで待機するようにされる。
そして、自動撮像タイミングに至ったとした場合は、ステップＳ２０２において、パン・チルトの傾き情報を取得する処理を実行する。

次のステップＳ２０３では、パン・チルト傾き平均値を取得する処理を実行する。すなわち、先の図４に示した処理動作によって逐次更新される、現時点でのパン方向の傾きの平均値Ａp、チルト方向の傾きの平均値Ａtの情報を取得する。

続くステップＳ２０４では、パン・チルト方向ともに範囲内か否かを判別する。つまり、パン方向については、ステップＳ２０２で取得したパン方向の傾きの値が、平均値Ａp±ａの範囲内となっているか否かを判別し、チルト方向については、ステップＳ２０２で取得したチルト方向の傾きの値が平均値Ａt±ａの範囲内となっているか否かを判別する。

ステップＳ２０４において、パン方向・チルト方向の傾きがそれぞれ上記平均値Ａp、Ａtを基準とした範囲内となっており、パン・チルトともに範囲内にあるとして肯定結果が得られた場合は、ステップＳ２０５に進み、撮像画像の取込制御処理を実行する。すなわち、撮像制御部４に対する指示を行って、撮像部３にて得られている撮像画像データの圧縮画像データを生成させると共に、該圧縮画像データがストレージ部９で記録されるように制御を行う。
このステップＳ２０５の取込制御処理を実行すると図示するように「ＲＥＴＵＲＮ」となる。

一方、上記ステップＳ２０４において、パン方向・チルト方向の傾きのうち少なくとも一方が平均値Ａを基準とした範囲内となっておらず、パン・チルトともに範囲内とはなっていないとして否定結果が得られた場合は、図示するようにして先のステップＳ２０２に戻るようにされる。つまり、これによって以降は、パン・チルトともに範囲内となるまで傾き情報の取得→平均値Ａの取得→範囲内か否かの判別が繰り返されるものとなり、この結果、自動撮像タイミングにて傾きが所定範囲内でなかった場合には、その後に傾きが所定範囲内となった時点での撮像画像データの取り込みが行われるものとなる。

なお、図示による説明は省略したが、図４、図５に示す処理動作としては、例えば撮像装置１の電源をオフとする操作入力や自動撮像動作の停止を指示する操作入力など、予め自動撮像動作を停止すべきとして設定された停止トリガの発生に応じて終了するものとなる。具体的にシステムコントローラ２は、これらの図に示される処理動作とさらに並行して行われるべき処理動作として、上記停止トリガの発生を待機する処理動作を行っており、当該停止トリガの発生に応じて図４、図５に示す処理動作を終了するようにされている。
なお、この点については、以後の各実施の形態で説明するシステムコントローラ２の処理動作について全て共通であるとする。

＜２．第２の実施の形態＞

続いては、第２の実施の形態について説明する。第２の実施の形態は、パン方向の傾きを検出するための手段として、方位センサを用いるようにしたものである。
図６は、第２の実施の形態としての撮像装置２０の内部構成を示している。
なお、この第２の実施の形態を始めとして以降の各実施の形態で説明する撮像装置について、撮像装置の外観は先の図１にて説明したものと同様となることから改めての説明は書略する。また、内部構成についても、既に説明を行った部分については同一符号を付して説明を省略する。

この図６に示されるように、第２の実施の形態の撮像装置２０では、図２に示した撮像装置１が備えていた２軸ジャイロセンサ８は省略され、パン方向の傾きの検出については方位センサ２１が、またチルト方向の傾きの検出についてはジャイロセンサ（チルト方向ジャイロセンサ）２２が傾きの検出を行うようにされる。この場合、チルト方向ジャイロセンサ２２は、その検出軸方向が撮像素子の縦方向と一致するようにして撮像装置２０に設けられるものとなる。

方位センサ２１は、地磁気を検出することで撮像装置２０が向く方位を表す検出信号を出力する。
この場合、撮像レンズ３Ｌが向けられる方向を、撮像装置２０の正面方向であると定義する。これに応じ方位センサ２１としては、その検出軸方向をこのように撮像レンズ３Ｌが向けられる方向と一致させるようにして設けられる。これにより、撮像レンズ３Ｌが北に向けられる際には検出信号として北を表す値が得られ、また撮像レンズ３Ｌが西に向けられれば西を表す検出信号値が得られることになる。
このような方位センサ２１の検出信号に基づき、パン方向への傾きの方向の情報を得ることができる。

ここで、第２の実施の形態の場合、チルト方向の傾きについては、先の第１の実施の形態の場合と同様の判別が行われることになる。すなわち、この場合のシステムコントローラ２は、チルト方向ジャイロセンサ２２からの検出信号に基づき平均値Ａtを逐次計算・更新すると共に、これと並行して、自動撮像タイミングごとに、チルト方向ジャイロセンサ２２からの検出信号値の取得、及び平均値Ａtの取得を行い、チルト方向の検出信号値が平均値Ａt±ａの範囲内にあるか否かを判別する。

また、パン方向についても、ジャイロセンサの検出信号値が方位センサ２１の検出信号値に変わる点以外は、概ね先の第１の実施の形態の場合と同様となる。
つまり、この場合としても、現在時刻を基準とした過去所定期間にわたっての検出信号値の平均値を計算する。この際、例えば或る期間において撮像装置２０が概ね北を中心として北西から北東の方向に振られていた場合には、その期間における方位センサ２１の検出信号値から計算される平均値としては、ほぼ北を表す平均値が得られる。同様に、或る期間において撮像装置２０が概ね東を中心として北東から南東にかけて振られていた場合には、その期間における平均値としてはほぼ東を表す平均値が得られることになる。
つまりこの結果、方位センサ２１の検出信号値に基づく平均値を計算することによっても、ジャイロセンサの検出信号値についての平均値Ａpを計算する場合と同様に、或る期間にユーザが向いていた方向を定義することができる。すなわち、画像の揺れの大きさを判断するにあたっての、基準となる傾き（傾き＝０）を定義することができる。
なお、この点を踏まえ、以下、方位センサ２１の検出信号値について計算される平均値についても、平均値Ａpと記す。

この場合のシステムコントローラ２は、方位センサ２１の検出信号値についての平均値Ａpを逐次計算・更新する処理を行う一方で、自動撮像タイミングごとに、方位センサ２１の検出信号の値、及び上記平均値Ａpを取得し、取得した検出信号の値が上記平均値Ａpを基準とした所定の閾値（この場合もａとする）で定義される範囲内にあるか否かを判別する。すなわち、平均値Ａp±ａの範囲内にあるか否かを判別する。

そしてこの場合も、このようにして行われるパン方向の傾きについての判別と、上述したようにしてチルト方向について行われる判別の結果から、パン方向・チルト方向でともに傾きが範囲内にあるか否かを判別し、双方で傾きが範囲内にあるとされた場合は、その時点での撮像画像データの取り込みを行う。一方、パン方向、チルト方向の少なくとも一方が範囲内となっておらず、双方でともに傾きが範囲内とはなっていないとされた場合は、その後パン方向・チルト方向の双方で傾きが範囲内となった時点での撮像画像データの取り込みを行う。

なお、上記説明からも理解されるように、この場合においてシステムコントローラ２が実行すべき処理動作は、パン方向の傾き検出信号が方位センサ２１からの検出信号となる点、及びチルト方向の検出信号がチルト方向ジャイロセンサ２２からの検出信号となる点を除いては、先の第１の実施の形態（図４、図５）で説明したものと同様となる。従って、この場合のシステムコントローラ２によって実行されるべき処理動作については、図示による改めての説明は省略する。

＜３．第３の実施の形態＞

第３の実施の形態は、パン方向において基準とする傾きを、これまでに説明した検出信号値についての平均値Ａpでなく、過去の位置情報の推移から推定したユーザの進行方向とするものである。

図７は、第３の実施の形態としての撮像装置２５の内部構成を示している。
この撮像装置２５としては、先の第２の実施の形態で説明した撮像装置２０の構成に対し、さらに位置検出部２６が追加されたものとなる。
位置検出部２６は、例えばＧＰＳ（Global Positioning System）受信ユニットを備え、図示されないＧＰＳ衛星との通信を行った結果に基づき現在の位置情報を検出する。

この場合のシステムコントローラ２は、上記位置検出部２６により検出された位置情報に基づき、ユーザの進行方向を推定する。
進行方向の推定手法の例を次の図８に示す。
図８において、ユーザの進行方向は、過去から現在にかけての位置の推移により推定する。具体的には、１つ前の時刻にて検出された位置から、現時刻にて検出された位置（現位置）への移動方向を、ユーザの進行方向としてみなす。

この場合、パン方向への傾きが所定範囲内であるか否かの判別は、このようにして推定したユーザの進行方向を基準として行う。すなわち、この場合のシステムコントローラ２は、自動撮像タイミングごとに、方位センサ２１から供給される検出信号の値を取得し、該検出信号値によって特定される方向（つまり撮像装置２５の正面が向いている方向）が、推定した進行方向を基準とした所定の角度範囲内にあるか否かを判別する。
この場合、システムコントローラ２に対しては、予め上記所定の角度範囲を定義するための値として、閾値ｂが設定されており、上記所定の角度範囲内にあるか否かの判別は、推定した進行方向を表す値をＢとしたとき、方位センサ２１から取得した検出信号値がＢ±ｂの範囲内にあるか否かを判別することで行う。

確認のために述べておくと、この場合も先の第２の実施の形態の場合と同様にして、チルト方向の傾きの平均値Ａtの計算・更新、及び自動撮像タイミングごとにチルト方向の傾きが平均値Ａtを基準とした所定範囲内にあるか否かの判別が行われる。
そして、このようなチルト方向の傾きについての判別と、上記進行方向に基づくパン方向の傾きについての判別の結果から、パン方向、チルト方向で共に傾きが所定範囲内であるとされた場合には、その自動撮像タイミングで得られている撮像画像データの取り込みが行われ、双方がともに範囲内とはなっていないとされた場合には、その後双方が範囲内となった時点での撮像画像データの取り込みが行われる。

[処理動作]

図９、図１０は、上記により説明した第３の実施の形態としての動作を実現するために行われるべき処理動作について示している。
図９は進行方向の推定にあたって実行されるべき処理動作を、また図１０はパン方向・チルト方向の検出信号に基づく撮像画像データの取込制御を行うにあたって実行されるべき処理動作を示している。
なお、これらの図に示す処理動作は、図６に示すシステムコントローラ２が例えば内部のＲＯＭに格納されたプログラムに基づいてそれぞれ並行して実行するものである。
また、この場合、チルト方向については、平均値Ａtの情報を逐次更新するための処理が実行されるが、この処理については既に図４にて説明したものと同様となるので、ここでの改めての説明は省略する。

先ず、図９において、ステップＳ３０１では位置情報を取得するようにされる。つまり、位置検出部２６によって検出される現在の位置情報を取得し、これを例えば内部の不揮発性メモリなどに保持する。
続くステップＳ３０２では、位置情報が更新されたか否かを判別する。このステップＳ３０２において、現時刻にて取得した位置情報が前時刻にて取得・保持した位置情報から変化しておらず、位置情報が更新されていないとして否定結果が得られた場合は、図示するようにしてステップＳ３０１に戻るようにされ、これにより次時刻についての位置情報を取得するようにされる。すなわち、位置情報が更新されなければ進行方向の推定を行うことができないので、その場合には位置情報が更新されるまで待機するようにしているものである。

一方、ステップＳ３０２において、現時刻にて取得した位置情報が前時刻にて取得・保持した位置情報から変化しおり、位置情報が更新されたとして肯定結果が得られた場合は、ステップＳ３０３に進み、前位置から現位置への移動方向を検出する処理を実行する。すなわち、直前において実行された上記ステップＳ３０１の処理で取得・保持した位置情報が示す位置から、今回実行された上記ステップＳ３０１で取得した位置情報が示す位置への移動方向を検出する。

続くステップＳ３０４では、進行方向情報の更新処理を行う。すなわち、上記ステップＳ３０５にて検出した移動方向の情報により、現時点に対応するユーザの進行方向の情報を更新する。このステップＳ３０４の処理を実行すると「ＲＥＴＵＲＮ」となる。

続いて、図１０に示す処理動作について説明する。
図１０において、ステップＳ４０１では、先の図５のステップＳ２０１と同様に自動撮像タイミングとなるまで待機するようにされる。そして、自動撮像タイミングに至ったとした場合は、ステップＳ４０２において、パン（方位）・チルト傾き情報を取得する処理を実行する。すなわち、パン方向については、方位センサ２１からの検出信号の値を取得し、チルト方向については、チルト方向ジャイロセンサ２２による検出信号の値を取得する。

続くステップＳ４０３では、進行方向情報・チルト傾き平均値を取得する処理を実行する。つまり、先の図９にて説明した処理動作により逐次更新される進行方向の情報を取得すると共に、図示は省略した並行処理によって逐次更新されるチルト方向の傾きの平均値Ａtの情報を取得する。

次のステップＳ４０４では、パン・チルトともに範囲内か否かについて判別処理を行う。
すなわち、パン方向については、ステップＳ４０２にて取得した方位センサ２１からの検出信号の値が、ステップＳ４０３にて取得した進行方向情報の値Ｂを基準とした、Ｂ±ｂの範囲内にあるか否かを判別する。換言すれば、取得した方位センサ２１からの検出信号の値によって特定される方向が、上記進行方向情報が表す方向を基準とした所定の角度範囲内にあるか否かを判別するものとなる。
また、チルト方向についてはステップＳ４０２にて取得したチルト方向ジャイロセンサ２２からの検出信号の値が、ステップＳ４０３にて取得した平均値Ａtを基準としたＡt±ａの範囲内にあるか否かを判別する。

上記ステップＳ４０４において、上記パン方向、チルト方向の双方の判別の結果双方で範囲内であるとされ、パン・チルトともに範囲内にあるとして肯定結果が得られた場合は、ステップＳ４０５に進み、撮像画像の取込制御処理を実行する。
このステップＳ４０５の取込制御処理を実行すると図示するように「ＲＥＴＵＲＮ」となる。

一方、ステップＳ４０４において、上記パン方向、チルト方向の判別の結果少なくとも一方で範囲内になっていないとされ、パン・チルトともに範囲内とはなっていないとして否定結果が得られた場合は、図示するようにして先のステップＳ４０２に戻るようにされる。これにより、この場合もパン・チルトともに範囲内となるまで方位・チルト傾きの情報の取得→進行方向・平均値Ａtの取得→範囲内か否かの判別が繰り返されるものとなり、双方の傾きが所定範囲内となった時点での撮像画像データの取り込みが行われるものとなる。

＜４．第４の実施の形態＞

ここで、これまでの各実施の形態では、傾きが所定範囲内でない画像が取り込まれないようにすることで、自動撮像画像についての再生画像の揺れの低減を図るものとしたが、第４の実施の形態（及び後述する第５の実施の形態）は、このような画像取り込みについての制御は行わずに、再生時において傾きが所定範囲内であるか否かを判別を行い、その結果に基づき画像の表示制御を行うことで、再生画像の揺れ低減を図るものである。
特に、第４の実施の形態は、自動撮像により撮像画像の取り込みが行われるタイミングで傾きの平均値Ａの計算、又は進行方向の推定を行うものである。

[動作概要]

図１１は、第４の実施の形態の動作概要について説明するための図である。
先ず、図１１（ａ）は、この場合の撮像装置が自動撮像タイミングごとに行う動作（以下、記録時の動作とも言う）について模式的に示している。
ここで、第４の実施の形態では、パン方向の傾きについて、第１の実施の形態の場合のようにジャイロセンサからの検出信号値が平均値Ａp±ａの範囲内にあるか否かを判別する場合、第２の実施の形態のようにパン方向は方位センサ２１からの検出信号値が方位センサ２１の検出信号値の平均値Ａp±ａの範囲内にあるか否かを判別し、チルト方向はチルト方向ジャイロセンサ２２からの検出信号値が平均値Ａt±ａの範囲内にあるか否かを判別する場合、及び第３の実施の形態のようにパン方向は方位センサ２１の検出信号により特定される方向が位置情報から推定した進行方向を基準とした所定の角度範囲内（Ｂ±ｂの範囲内）にあるか否かについて判別し、チルト方向はチルト方向ジャイロセンサ２２からの検出信号値が平均値Ａt±ａの範囲内にあるか否かを判別する場合の、全パターンについてまとめた形で説明を行う。
なお、この点を踏まえ、以下では説明の便宜上、先の第１の実施の形態で説明した２軸ジャイロセンサ８による検出信号の値、又は第２,第３の実施の形態で説明した方位センサ２１・チルト方向ジャイロセンサ２２による検出信号の値を、「パン・チルト方向傾き情報」と総称するものとする。
また、ジャイロセンサ（２軸ジャイロセンサ８、又はチルト方向ジャイロセンサ２２）の検出信号値から計算した平均値Ａ、又は方位センサ２１の検出信号値から計算した平均値Ａ、又は位置情報から推定した進行方向については、「基準傾き情報」と総称することとする。

また、上記による説明からも理解されるように、第４の実施の形態の場合、撮像装置の構成としては、先の図２、図６、図７にて説明した構成の何れかが採用されることになる。第４の実施の形態の撮像装置としては、これら図２、図６、図７に示されるシステムコントローラ２によって、以下で説明する第４の実施の形態としての動作を実現するための処理動作が実行されるように内部に格納されるプログラムが変更されればよいものである。

図１１（ａ）に示すこの場合の撮像装置における記録時の動作概要について説明する。
この場合の撮像装置では、自動撮像した画像と、そのときのパン・チルト傾き情報及び基準傾き情報とを対応づけて記録することになる。つまりこの場合、自動撮像タイミングで得られた画像についてはすべてその取り込むを行う。そして、この一方で、基準傾き情報としての、平均値Ａの計算、進行方向の推定を行うと共に、各自動撮像タイミングでは、パン・チルト傾き情報、及び上記基準傾き情報の取得を行い、このように取得したパン・チルト傾き情報及び基準傾き情報が、自動撮像によって取り込まれた撮像画像データに対して対応づけられるようにする。
この場合、取得したパン・チルト傾き情報及び傾き基準情報の保存先は、撮像画像データと同様にストレージ部９とされる。これにより、ストレージ部９においては、自動撮像タイミングごとに、撮像画像データと上記パン・チルト傾き情報及び傾き基準情報とが対応づけられて順次保存されていくことになる。

第４の実施の形態では、このようにして各撮像画像データに対して対応づけられたパン・チルト傾き情報と基準傾き情報とに基づき、再生時において傾きが所定範囲内であるか否かの判別が行われ、その結果に基づき、画像の表示制御が行われるものである。

ここで、前提として、実施の形態の撮像装置としては、その保存画像を自らが備える表示部５上に表示させることができると共に、先に述べたようにしてパーソナルコンピュータなどの外部機器に転送して表示させることも可能とされる。つまりこの点からすると、上記のように対応づけられたパン・チルト傾き情報と基準傾き情報とに基づく画像の表示制御は、撮像装置自らが行う場合と、外部機器側にて行う場合の２パターンがあり得る。

図１１（ｂ）は、パターン１として、撮像装置自らが表示制御を行う場合の動作について模式的に示している。
また、図１１（ｃ）は、パターン２として、撮像装置側から転送された（取り込んだ）撮像画像データとそれぞれに対応づけられたパン・チルト傾き情報及び基準傾き情報に基づき、外部機器（この場合はパーソナルコンピュータとする）によって画像表示制御が行われる場合の動作を模式的に示している。

パターン１、２何れの場合としても、実行されるべき表示制御の内容は同様となる。つまり、パターン１の場合の撮像装置、パターン２の場合のパーソナルコンピュータの各装置では、例えばユーザ操作などに基づく自動撮像画像についての再生指示（表示指示）に応じて、再生対象範囲に属する各撮像画像データに対応づけられたパン・チルト傾き情報と基準傾き情報とに基づき、各撮像画像データごとに、パン・チルト双方の方向で傾きが所定範囲内であるか否かを判別し、再生・表示すべき撮像画像データを選別する。
そして、このように選別されたパン・チルト方向の傾きが所定範囲内であるとされた撮像画像データのみが送り再生表示されるように、表示手段に対する制御を行うものである。

[パーソナルコンピュータの内部構成]

図１２は、上記パターン２の場合に対応して、再生時の画像表示制御を行うパーソナルコンピュータ３０の内部構成を示している。
図１２において、ＣＰＵ３１は、起動されたプログラムに基づいて当該パーソナルコンピュータ３０の全体制御、演算処理を行う。例えば、後述する入力部３５からの操作入力に応じた動作、ＨＤＤ３８へのデータファイルの格納や管理情報の作成・更新等を行う。なおＣＰＵ３１は、図示するバス３２を介して各部との間で制御信号やデータのやりとりを行う。

メモリ部３３は、ＣＰＵ３１が処理に用いるＲＯＭ、ＲＡＭ、フラッシュメモリなどを包括的に示している。このメモリ部３３のＲＯＭには、ＣＰＵ３１の動作プログラム、プログラムローダー等が記憶される。また、上記フラッシュメモリには各種演算係数、プログラムで用いるパラメータ等が記憶され、ＲＡＭにはプログラムを実行する上でのデータ領域、タスク領域が一時的に確保される。

ＨＤＤ３８においては、ＣＰＵ３１の制御に基づいてデータファイルの格納や管理情報の作成・更新等が行われる。
この場合、ＨＤＤ３８に対しては、撮像装置からの撮像画像データ、及びこれと対応づけられたパン・チルト傾き情報・基準傾き情報の取込や、これらパン・チルト傾き情報・基準傾き情報に基づき行われる表示制御を実現するための処理動作をＣＰＵ３１によって実行させるための、画像取込・再生アプリケーション３８ａが格納されている。
また、撮像装置側から取り込んだ撮像画像データ・パン・チルト傾き情報・基準傾き情報の各情報は、このＨＤＤ３８に対して記録することができる。

入力部３５は、図示されないキーボードやマウス、リモートコマンダー、その他の入力デバイスとされ、ユーザが操作入力を行うために設けられる。入力部３５で入力された情報は入力処理部３４で所定の処理が施され、ＣＰＵ３１に対して操作又はデータの入力として伝達される。ＣＰＵ３１は、入力された情報に対応して必要な演算や制御を行うようにされる。

ディスプレイ３７は、例えば液晶ディスプレイなどの表示ディスプレイとされて、ユーザに対して各種情報表示を行う。例えばＣＰＵ３１が各種動作状態や入力状態、通信状態に応じて表示情報を表示処理部３６に供給すると、表示処理部３６は供給された表示データに基づいてディスプレイ３７を表示駆動し、これによって各種の情報についての表示出力を行わせる。

通信処理部３９は、ＣＰＵ３１の制御に基づいて送信データのエンコード処理、受信データのデコード処理を行う。
外部通信インタフェース４０は、上記通信処理部３９にてエンコードされた送信データを、図示するインタフェース端子ＴI/F（例えばＵＳＢ端子など）に接続された通信ケーブルを介して接続される外部機器（この場合は特に撮像装置）に送信する。また、上記通信ケーブルを介して撮像装置などの外部機器から送信されてきた信号を、通信処理部３９に受け渡す。
通信処理部３９は受信した情報をＣＰＵ３１に転送する。

[取込処理]

ここで、図１１（ｃ）に示すパターン２として、パーソナルコンピュータ３０側で表示制御を行う場合には、当然のことながら撮像装置にて保存された撮像画像データ、及びこれと対応づけられたパン・チルト傾き情報及び基準傾き情報の取り込みが行われている必要がある。確認のため、このように撮像装置側からの情報取り込みを実現するための処理について説明しておく。
先ず、パーソナルコンピュータ３０側において、ＣＰＵ３１は、撮像装置側と例えば上述したＵＳＢケーブルを介して外部通信インタフェース経由で接続されると、撮像装置のストレージ部９に保存されている各撮像画像データと、各撮像画像データに対し対応づけられているパン・チルト傾き情報及び基準傾き情報についての転送指示を行う。

撮像装置側において、システムコントローラ２は、該転送指示に応じて、ストレージ部９に保存された各撮像画像データ、及び各撮像画像データに対応づけられたパン・チルト傾き情報と基準傾き情報がパーソナルコンピュータ３０側に転送されるようにストレージ部９に対する読み出し制御、及び通信部１２に対する通信制御を行う。
なおこの場合、各撮像画像データとパン・チルト傾き情報及び基準傾き情報との対応関係は、例えばそれらの対応関係を表す管理情報が別途転送されるなどして、パーソナルコンピュータ３０側でもその対応関係を把握できるようにされていることは言うまでもない。

パーソナルコンピュータ３０側において、ＣＰＵ３１は、このようにして撮像装置側から転送される各情報がＨＤＤ３８に記録されるように制御を行う。これによって撮像装置側からパーソナルコンピュータ３０側への必要な情報の取り込みが完了する。

なお、上記により説明した取り込み時に対応して実行されるべき処理動作として、撮像装置側にて実行される処理動作はシステムコントローラ２が例えば内部のＲＯＭに格納されるプログラムに基づいて実行するものであり、パーソナルコンピュータ３０側の処理動作は、先に説明した画像取込・再生アプリケーションとしてのプログラムに基づきＣＰＵ３１が実行するものである。

また、このような情報転送の際、実際には、例えば情報転送の前に既に取り込み済みである撮像画像データを確認する処理を行った上で、未取り込みの撮像画像データについてのみ情報転送指示を行うようにすればよい。

[処理動作]

続いて、次の図１３、図１４のフローチャートにより、先の図１１にて説明した第４の実施の形態としての動作を実現するための処理動作について説明する。
図１３は、先の図１１（ａ）によって説明した第４の実施の形態としての撮像装置が記録時に対応して行う動作の実現のために行われるべき処理動作について示している。なお、この図に示す処理動作は、システムコントローラ２が例えば内部のＲＯＭに格納されるプログラムに基づいて実行するものである。
なお、この場合の撮像装置では、この図に示す処理動作と並行して、基準傾き情報を逐次更新するための処理動作が実行されるものとなるが、このような基準傾き情報の更新処理については、先の第１〜第３の実施の形態（図４、図９）で説明したものの何れかが行われればよい。

図１３において、ステップＳ５０１では、先のステップＳ２０１と同様に自動撮像タイミングを待機するようにされ、自動撮像タイミングに至った場合には、ステップＳ５０２において、パン・チルト傾き情報を取得する処理を実行する。つまり、第１の実施の形態に対応する撮像装置の構成とした場合には、２軸ジャイロセンサ８によるパン方向・チルト方向の検出信号の値を取得する処理を行うことになる。また、第２又は第３の実施の形態に対応する撮像装置の構成とした場合には、方位センサ２１からの検出信号の値、及びチルト方向ジャイロセンサ２２からの検出信号の値を取得する処理を実行するものである。

続くステップＳ５０３では、基準傾き情報の取得処理を実行する。すなわち、第１の実施の形態に対応する撮像装置の構成とした場合には、この図に示す処理動作と並行する処理動作によって逐次更新される、２軸ジャイロセンサ８によるパン方向・チルト方向の検出信号値に基づく平均値Ａp、平均値Ａtをそれぞれ取得する処理を行うことになる。また、第２の実施の形態に対応する撮像装置の構成とした場合、この図に示される処理動作とは並行して行われる処理動作によって逐次更新される方位センサ２１からの検出信号値の平均値Ａp、及びチルト方向ジャイロセンサ２２からの検出信号値の平均値Ａtを取得する処理を実行する。
また、第３の実施の形態に対応する撮像装置の構成とした場合は、この図に示される処理動作とは並行して行われる処理動作によって逐次更新される位置情報から推定した進行方向の情報、及びチルト方向ジャイロセンサ２２からの検出信号値の平均値Ａtを取得する処理を実行する。

次のステップＳ５０４においては、撮像画像の取込制御処理を実行する。すなわち、先の図５のステップＳ２０５と同様の処理により、撮像画像データ（圧縮画像データ）がストレージ部９にて記録されるように制御を行う。

その上で、次のステップＳ５０５では、取込画像と、取得したパン・チルト傾き情報及び基準傾き情報とを対応づける処理を実行する。例えばこの場合、撮像画像データとパン・チルト傾き情報及び基準傾き情報との対応関係は管理情報によって管理するようにされており、このステップＳ５０５では、上記ステップＳ５０２、Ｓ５０３により取得したパン・チルト傾き情報と基準傾き情報とがストレージ部９にて記録されるようにして制御を行うと共に、これら記録されたパン・チルト傾き情報と基準傾き情報がステップＳ５０４によって記録された撮像画像データと対応づけられるようにして上記管理情報の情報内容を更新する処理を行うことになる。
ステップＳ５０５の処理を実行すると図示するようにして「ＲＥＴＵＲＮ」となる。

図１４は、先の図１１（ｂ）により説明したパターン１の場合に撮像装置が再生時に対応して行う動作、又は図１１（ｃ）により説明したパターン２の場合にパーソナルコンピュータ３０が再生時に対応して行うべき動作を実現するために実行されるべき処理動作を示している。
なお、先にも述べたように、再生時における画像表示制御としてはパターン１、パターン２の場合でそれぞれ同様となる。このことから、図１４において、撮像装置、パーソナルコンピュータ３０によって行われるべき処理動作についてまとめたかたちで説明する。
パターン１の場合、この図に示される処理動作はシステムコントローラ２が例えば内部のＲＯＭに格納されたプログラムに基づき実行するものとなり、パターン２の場合、図示する処理動作はＣＰＵ３１が先の図１２に示した画像取込・再生アプリケーション３８ａとしてのプログラムに基づき実行するものとなる。

図１４において、先ずステップＳ６０１では、再生開始指示を待機するようにされる。
つまり、例えば操作入力部７（パターン１の場合）や入力部３５（パターン２の場合）からのユーザ操作入力などによって行われる、自動撮像画像データについての再生開始指示を待機する。

再生開始指示があった場合には、ステップＳ６０２において、再生対象範囲の決定処理を行う。すなわち、上記ステップＳ６０１にて検出された再生開始指示が所要のフォルダ内の画像の再生開始を指示するものである場合にはそのフォルダ内の画像データを再生対象範囲として決定し、ストレージ部９又はＨＤＤ３８にて記録される全画像の再生開始を指示するものである場合にはそれら全画像データを再生対象範囲として決定する。そして、このように再生対象範囲を決定したことに応じて、再生対象範囲内の画像データの総数Ｎの値を取得する。

続くステップＳ６０３では、画像識別値ｎについて、ｎ＝１に設定する処理を実行する。以下の説明からも明らかとなるように、この画像識別値ｎは、システムコントローラ２、又はＣＰＵ３１が再生対象範囲内の各撮像画像データを識別するためにカウントする値となる。

次のステップＳ６０４では、画像データ（ｎ）に対応づけられたパン・チルト傾き情報及び基準傾き情報を取得する。すなわち、ストレージ部９（パターン１）又はＨＤＤ３８（パターン２）に記録される画像データ（ｎ）とこれと対応づけられたパン・チルト傾き情報及び基準傾き情報を取得する。

続くステップＳ６０５では、パン・チルトともに範囲内か否かを判別する。つまり、上記ステップＳ６０４にて取得したパン・チルト傾き情報と基準傾き情報とに基づき、先に説明したようにしてパン方向の傾きが所定範囲内であるか否かの判別と、チルト方向の傾きが所定範囲内であるか否かの判別とを行い、これらの判別の結果、パン方向、チルト方向でともに傾きが所定範囲内となっているか否かを判別する。

ステップＳ６０５において、パン方向の判別、チルト方向の判別の結果双方とも範囲内であるとされ、パン・チルトともに範囲内であるとの肯定結果が得られた場合は、ステップＳ６０６に進み、画像データ（ｎ）を再生対象画像として設定する。そしてその後、ステップＳ６０７に処理を進める。

一方、ステップＳ６０５において、上記パン方向、チルト方向の判別の結果少なくとも一方で範囲内になっていないとされ、パン・チルトともに範囲内とはなっていないとして否定結果が得られた場合は、そのまま上記ステップＳ６０７に進む。

ステップＳ６０７では、ｎ＝Ｎであるか否かを判別する。すなわち、再生対象範囲内の全画像データについて傾きの判別が完了したか否かを判別する。ステップＳ６０７において、ｎ＝Ｎではないとして否定結果が得られた場合は、ステップＳ６０８において識別値ｎの値をインクリメント（ｎ＝ｎ＋１）した後、先のステップＳ６０４に戻るようにされる。これにより、再生対象範囲内の全画像データについて傾きの判別が完了するまで処理が繰り返されるようになっている。

一方、上記ステップＳ６０７において、ｎ＝Ｎであるとして肯定結果が得られた場合は、ステップＳ６０９に進み、再生対象画像についての再生・表示制御を行う。すなわち、先のステップＳ６０２で決定された再生対象範囲内の画像データのうち、ステップＳ６０６の設定処理によって再生対象画像として設定された画像データについて、その再生画像データが表示部５にて順に送り表示されるようにしてストレージ部９・表示制御部６に対する制御（パターン１の場合）、又はＨＤＤ３８・表示処理部３６に対する制御を行う。
このステップＳ６０９の処理を実行するとこの図に示す処理動作は終了となる。

ここで、上記により説明した第４の実施の形態によれば、再生画像の揺れの低減を図る上で、記録時に自動撮像画像の全てを取り込んでおくことができる。すなわち、第４の実施の形態によれば、表示制御による再生画像の揺れの低減を図る一方で、必要に応じ、自動撮像された全画像についての表示も行うことができるものとなる。
例えば、第１〜第３の実施の形態のように取込制御を行う場合には、決定的な瞬間を捉えた画像など重要とされる画像であっても、傾きが所定範囲内でない場合にはその取込（記録）が行われず、結果としてユーザはその画像を閲覧することはできないものとなってしまうが、第４の実施の形態の手法によれば、自動撮像される全画像を取り込むことができるので、必要に応じて、その画像の再生・表示を行うことができる。

＜５．第５の実施の形態＞

上記により説明した第４の実施の形態では、傾きの平均値Ａの計算や進行方向の推定を、自動撮像画像の取り込みが行われる記録時に予め行っておくものとしたが、第５の実施の形態は、これら平均値Ａの計算や進行方向の推定を再生時において事後的に行うようにするものである。
なお、第５の実施の形態において、撮像装置の構成やパーソナルコンピュータ３０の構成は第４の実施の形態の場合と同様とされればよく、改めての説明は省略する。

図１５〜図１７のフローチャートは、このように再生時において平均値Ａの計算や進行方向の推定を行う第５の実施の形態としての動作を実現するための処理動作を示している。
先ず、図１５により、この場合の撮像装置が記録時において行うべき処理動作について説明する。なお、この図１５に示す処理動作は、システムコントローラ２が例えば内部のＲＯＭに格納されたプログラムに基づいて実行するものである。

図１５において、先ずステップＳ７０１では自動撮像タイミングを待機し、自動撮像タイミングに至った場合には、ステップＳ７０２において、位置情報及び／又はパン・チルト傾き情報の取得処理を実行する。つまり、第１の実施の形態の場合のように２軸ジャイロセンサ８の検出信号の値からパン・チルト方向の傾きの平均値Ａp、Ａtを計算する場合には、該２軸ジャイロセンサ８のパン方向・チルト方向の検出信号の値を取得し、第２の実施の形態の場合のように方位センサ２１による検出信号の値からパン方向の傾き平均値Ａpを計算し、チルト方向ジャイロセンサ２２の検出信号の値からチルト方向の傾き平均値Ａtを計算する場合には、これら方位センサ２１・チルト方向ジャイロセンサ２２からの検出信号の値を取得する。また、第３の実施の形態の場合のようにパン方向の基準傾きを進行方向とする場合には、方位センサ２１からの検出信号の値・チルト方向ジャイロセンサ２２からの検出信号の値を取得する。またこの場合は、進行方向の推定に必要な、位置検出部２６にて検出される位置情報も取得する。

続くステップＳ７０３では、撮像画像の取込制御を行う。そして、次のステップＳ７０４では、取込画像と、取得した位置情報及び／又はパン・チルト傾き情報とを対応づけるための処理を実行する。ここで、位置情報及び／又はパン・チルト傾き情報と取込画像との対応関係についても、管理情報により管理するものとする。このため当該ステップＳ７０４では、先のステップＳ７０２によって取得した位置情報及び／又はパン・チルト傾き情報をストレージ部９に記録させると共に、それら位置情報及び／又はパン・チルト傾き情報が上記ステップＳ７０３によって記録させた撮像画像データと対応づけられるようにして上記管理情報の内容を更新する処理を行う。
このステップＳ７０４の処理を実行すると図示するようにして「ＲＥＴＵＲＮ」となる。

次の図１６のフローチャートは、再生時に対応して撮像装置又はパーソナルコンピュータ３０側にて実行されるべき処理動作について示している。
ここで、再生時の処理としては、パン方向の基準傾き情報として平均値Ａpを計算する場合とユーザの進行方向を推定する場合とで若干異なるものとなる。この図１６では、平均値Ａpを計算する場合に対応して行われるべき処理動作を示している。
なお、この図１６に示す処理動作は、システムコントローラ２が例えば内部のＲＯＭに格納されるプログラムに基づいて実行する、又はＣＰＵ３１が画像取込・再生アプリケーション３８ａとしてのプログラムに基づいて実行するものである（後の図１７も同様）。

図１６において、先ずステップＳ８０１→ステップＳ８０３の処理によっては、先の図１４のステップＳ６０１→ステップＳ６０３の処理と同様に、再生開始指示に応じて再生対象範囲とその範囲内の画像総数Ｎの値を取得すると共に、画像識別値ｎをｎ＝１にセットするようにされる。また、次のステップＳ８０４では、先のステップＳ６０４と同様に、画像データ（ｎ）についてのパン・チルト傾き情報の取得を行う。

この場合、上記ステップＳ８０４に続くステップＳ８０５以降において、平均値Ａの計算や平均値Ａに基づく傾きの判別処理が実行される。
すなわち、先ずステップＳ８０５では、画像データ（ｎ）を基準とした所定範囲の画像のパン・チルト傾き情報を取得する処理を実行する。つまり、ステップＳ８０２にて決定された再生対象範囲内の画像データのうち、画像データ（ｎ）の自動撮像タイミングよりも過去の所定期間内に取込が行われた各画像データに対応づけられたパン・チルト傾き情報を取得する。
そして、続くステップＳ８０６において、パン・チルト傾き平均値を計算する。つまり、上記ステップＳ８０４にて取得したパン・チルト傾き情報と、上記ステップＳ８０５にて取得した過去のパン・チルト傾き情報とに基づき、それらの平均値を計算することで、パン方向の傾き平均値Ａp、チルト方向の傾き平均値Ａtをそれぞれ算出する。

次のステップＳ８０７では、パン・チルトともに範囲内であるか否かを判別する。
ステップＳ８０７において、パン方向の判別、チルト方向の判別の結果双方とも範囲内であるとされ、パン・チルトともに範囲内であるとの肯定結果が得られた場合は、ステップＳ８０８に進み、画像データ（ｎ）を再生対象画像として設定する処理を行った後、ステップＳ８０９に進む。
一方、パン方向の判別、チルト方向の判別の結果少なくとも一方で範囲内になっていないとされ、パン・チルトともに範囲内とはなっていないとして否定結果が得られた場合は、そのまま上記ステップＳ８０９に処理を進める。

ステップＳ８０９では、ｎ＝Ｎであるか否かを判別する。ｎ＝Ｎではないとして否定結果が得られた場合はステップＳ８１０にて識別値ｎの値をインクリメント（ｎ＝ｎ＋１）した後、先のステップＳ８０４に戻るようにされる。これにより再生対象範囲内の全画像データについて平均値に基づく傾きの判別が完了するまで、処理が繰り返されるものとなる。

一方、上記ステップＳ８０９においてｎ＝Ｎであるとして肯定結果が得られた場合は、ステップＳ８１１に進み、先のステップＳ６０９と同様に再生対象画像についての再生・表示制御を行う。このステップＳ８１１の処理を実行するとこの図に示す処理動作は終了となる。

図１７は、パン方向の基準傾き情報を進行方向とする場合に対応して実行されるべき処理動作を示している。なお、パン方向の基準傾き情報を進行方向とする場合、先の図１６に破線で囲った部分の処理（ステップＳ８０５〜Ｓ８０７）のみが異なるものとなる。これら破線により囲う部分以外の処理動作については図１６の場合と同様となることから、図１７では、図１６と異なる部分の処理のみを抽出して示している。

先ずこの場合、図１６のステップＳ８０５に代わる処理として、図中のステップＳ９０１が実行される。このステップＳ９０１では、画像データ（ｎ）を基準とした所定範囲の画像の位置情報・チルト傾き情報を取得する処理を実行する。つまり、チルト方向については平均値Ａtを計算するために必要となる、画像データ（ｎ）の取込タイミングよりも過去における所定期間にわたり取得されたチルト方向の傾き情報（チルト方向ジャイロセンサ２２の検出信号の値）を取得し、パン方向については、進行方向の推定に必要な、画像データ（ｎ）と対応づけられた位置情報と、少なくとも画像データ（ｎ）の直前に取込が行われた画像データ（ｎ−１）に対応づけられた位置情報とを取得する。

続くステップＳ９０２では、前位置から現位置への移動方向から進行方向を推定する処理を実行する。つまり、上記ステップＳ９０１にて取得した画像データ（ｎ）の位置情報と画像データ（ｎ−１）の位置情報とに基づき、前位置から現位置への移動方向を検出し、ユーザの進行方向を推定する。

次のステップＳ９０３では、チルト傾き平均値を計算する。すなわち、上記ステップＳ９０１の前の処理として実行したステップＳ８０４にて取得した画像データ（ｎ）のチルト方向の傾き情報と、上記ステップＳ９０１にて取得した上記過去所定期間のチルト方向の傾き情報とに基づき、それらの平均値Ａtを計算する。

その上で、次のステップＳ９０４において、パン・チルトともに範囲内であるか否かを判別する。すなわち、パン方向についてはステップＳ８０４にて取得した方位センサ２１からの検出信号値により特定される傾きの方向が、ステップＳ９０２にて推定した進行方向を基準とした所定の角度範囲内（Ｂ±ｂ）にあるか否かについて判別し、またチルト方向については、ステップＳ８０４にて取得したチルト方向ジャイロセンサ２２からの検出信号の値がステップＳ９０３にて計算した平均値Ａtを基準とした所定範囲内（Ａt±ａ）にあるか否かを判別する。そして、これら判別の結果から、パン方向、チルト方向の双方でともに範囲内とされたか否かを判別する。
なお、このステップＳ９０４において肯定結果が得られた場合、否定結果が行われた場合に対応してそれぞれ実行される処理動作は、先の図１６の場合と同様となることから改めての説明は省略する。

ここで、第５の実施の形態によれば、撮像装置側で記録時に行われるべき処理について、平均値の計算や進行方向の推定処理を省略することができる。特に、パターン２として、再生時の表示制御処理をパーソナルコンピュータ３０などの外部機器で行うとした場合、撮像装置側では、少なくとも自動撮像画像の取込処理、位置情報及び／又はパン・チルト傾き情報の取得処理、及びこれら取得情報と取込画像との対応づけ処理を行うのみでよいものとできる。つまりその分、撮像装置側の処理負担は、先の各実施の形態の手法を採る場合よりも軽減することができる。
このように処理負担の軽減が図られれば、消費電力の削減も図られる。特に、この場合の撮像装置としては、装着型の自動撮像装置として屋外での使用が主とされ、バッテリー駆動とされることが想定されるが、この場合において、消費電力の削減が図られれば、装置の駆動時間の延長化を図ることができ、より長時間の撮像が可能となったり、またバッテリーの充電頻度を少なくできることでバッテリー充電に係る煩わしさの軽減を図ることもできる。

＜６．変形例＞

以上、本発明の実施の形態について説明したが、本発明としてはこれまに説明した具体例に限定されるべきものではない。
例えば、これまでの説明では、パン方向の傾きとチルト方向の傾きの双方が所定範囲内となる画像が取込、又は表示されるようにする場合を例示したが、パン方向、チルト方向の何れかの傾きが所定範囲内であることを以てその画像が取込又は表示されるように構成することもできる。

また、これまでの説明では、チルト方向の傾きを検出する手段として、ジャイロセンサのみを例示したが、例えば重力センサなど他の手段を用いてチルト方向の傾き検出を行うように構成することもできる。

また、これまでの説明では、パン方向の傾きが所定範囲内であるか否かの判別として、ジャイロセンサによる検出信号値に基づく判別のみが行われる場合、または方位センサ２１による検出信号値に基づく判別のみ（基準傾き情報としては方位の平均値Ａpとされる場合と進行方向とされる場合の２パターン）が行われる場合を例示したが、これらのうち複数の判別を行い、少なくとも複数の判別によって肯定結果が得られた場合にパン方向の傾きが所定範囲内であるとの最終的な判別結果を得るようにすることもできる。
このようにそれぞれ異なるセンサからの検出信号値に基づく総合的な判別を行うようにすることで、実際に撮像装置に生じる傾きをより反映した正確な判別を行うことができる。なお、この点についてはチルト方向についても同様となる。

また、これまでの説明では、傾きが所定範囲内であるか否かを判別するにあたって設定される「ａ」「ｂ」の値が固定であることを前提としたが、これらの値は可変とすることもできる。例えば、判別の結果、取込又は表示の対象となる画像数が少ない場合には「ａ」「ｂ」の値を大きくしてより多くの画像が取込又は表示されるようにしたり、逆に、取込又は表示の対象となる画像数が多い場合には「ａ」「ｂ」の値を小さくしてより傾きの少ない画像のみが取込又は表示されるように図ることができる。

また、特に第５の実施の形態では、再生時において事後的に平均値Ａを計算するのにあたって、記録時には、各自動撮像タイミングで得られたパン・チルト傾き情報のみを記録するものとしたが、このような各自動撮像タイミングで取得したパン・チルト傾き情報のみでなく、各自動撮像タイミングの間で得られるパン・チルト傾き情報も記録しておくようにすることもできる。
このように各自動撮像タイミング間に得られるパン・チルト傾き情報も記録しておくようにすることで、再生時には、各自動撮像タイミングの間に得られるより多くの傾き情報も利用して平均値Ａの計算を行うことができ、結果として、平均値Ａの信頼性の向上を図ることができる。
ここで、このようにして各自動撮像タイミング間で取得されたパン・チルト傾き情報も含めて平均値Ａの計算を行う場合に対応して実行されるべき具体的な処理内容について述べておくと、先ず記録時において、各自動撮像タイミングで取得されたパン・チルト傾き情報については、これまでの説明と同様に取込画像と対応づけて記録するようにしておけばよい。各自動撮像タイミング間で取得したパン・チルト傾き情報については、時間軸上で各自動撮像タイミングも含めてそれらの取得タイミングの関係性が示されるようにして別途記録するようにする。
また、再生時において、平均値Ａを計算するにあたっては、上記のようにして別途記録された各自動撮像タイミング間でのパン・チルト傾き情報も含めて、対象とする画像の取込タイミング（自動撮像タイミング）を基準とした過去所定期間内のパン・チルト傾き情報について、その平均値を計算するものとすればよい。

なお、進行方向を推定するための位置情報については、位置検出部２６において各自動撮像タイミングの直前となる検出タイミングで得られた位置情報を記録しておくようにする。これにより、各自動撮像タイミングで得られた位置情報から進行方向を推定する場合と比較して、対象とする画像の取込タイミングに対しより直前のタイミングにおける位置からの移動方向を求めることができ、これによってより正確な進行方向の推定を行うことができる。

また、第５の実施の形態では、再生時において事後的に平均値Ａを計算するにあたって、対象とする画像の取込タイミングよりも過去となる期間に取得されたパン・チルト傾き情報のみを用いるものとしたが、対象とする画像の取込タイミングよりも時間軸上で後方となるタイミングで取得されれたパン・チルト傾き情報も含めて平均値Ａを計算することもできる。
ここで、次の図１８にその一例を示す。
この図１８に示されるようにして、平均値Ａは、対象とする画像（図中斜線により示す）に対し、その前後の所定枚数の画像と対応づけられたパン・チルト傾き情報を用いて計算することができる。具体的には、図中範囲「Ｘ」として示す、対象とする画像を基準とした±ｍ枚の画像範囲のパン・チルト傾き情報を用いて計算するものである。
この場合、図１８（ａ）→図１８（ｂ）の遷移として示されるように、平均値Ａの計算対象となる画像が順次シフトされるごとに、範囲Ｘはその中心が画像１枚分ずつ（つまり１自動撮像タイミングずつ）シフトされていくことになる。

なお、図１８では平均値Ａの計算にあたり各自動撮像タイミングごとに取得されたパン・チルト傾き情報（つまり各画像ごとに対応づけられたパン・チルト傾き情報）のみを使用する場合を例に説明を行ったが、先に述べたようにして各自動撮像タイミング間で取得されたパン・チルト傾き情報を用いるとした場合にも、同様に平均値計算対象とする画像を基準とした前後所定期間内で取得されたパン・チルト傾き情報を用いて、平均値Ａを計算するものとすればよい。
このようにして、対象とする画像の自動撮像タイミングの後方も含めて平均値Ａを計算することで、より正確な基準傾き情報を得ることができる。

ここで、これまでの説明からも理解されるように、再生時の表示制御によって再生画像の揺れ防止を図る第４，第５の実施の形態では、再生時には、自動撮像タイミングごとに、傾きが所定範囲内であるか否かを判別するようにされているが、このような手法が採られる場合、画像が表示されるためには、その画像が取り込まれた自動撮像タイミングにおいてパン・チルト方向の傾きが所定範囲内にあった、という条件を満たしていなければならなくなる。すなわち、この条件は、先の第１〜第３の実施の形態のように画像取込を制御する場合と比較して非常に厳しい条件であり、この結果、先の第４,第５の実施の形態で説明したままの手法が採られる場合、表示される画像が極端に少なくなってしまう虞がある。
そこで、この対策として、記録時には自動撮像タイミング以外のタイミングでも撮像画像データの取得、及びその時点での位置情報及び／又はパン・チルト傾き情報の取得を行うようにし、より多くの画像が表示可能となるようにすることもできる。すなわち、このようにすることで、パン方向、チルト方向の傾きが所定範囲内となっているときの撮像画像が含まれる確率を上げて、より多くの画像が再生対象画像として設定されるように図るものである。

また、第４，第５の実施の形態では、再生開始指示に応じて、傾きの判別・再生対象画像の設定が行われる場合を例示したが、例えばシステムコントローラ２やＣＰＵ３１の処理が比較的空いている場合などにおいて自動的にこれらの処理を実行して、再生開始指示の前に再生対象画像の設定が完了できるように構成することもできる。このようにすることで、再生開始指示から画像表示が開始されるまでの時間の短縮化を図ることができ、操作入力から表示開始までの間にユーザを待たせる時間についても短縮化を図ることができる。

また、これまでの説明では、本発明の画像表示システムを構成する情報処理装置がパーソナルコンピュータとされる場合を例示したが、本発明の情報処理装置としては、例えばＰＤＡなどの他の情報処理装置とすることもできる。
また、本発明の表示制御装置についても、撮像装置、パーソナルコンピュータ以外の他の装置とすることもできる。

本発明の実施の形態としての自動撮像装置の外観図である。 本発明の第１の実施の形態としての自動撮像装置の内部構成を示したブロック図である。 実施の形態としての動作について説明するための図である。 第１の実施の形態としての動作を実現するために実行されるべき処理動作として、傾きの平均値を計算するための処理動作を示したフローチャートである。 第１の実施の形態としての動作を実現するために実行されるべき処理動作として、パン・チルト方向の傾きの判別結果に基づき画像取込制御を行うための処理動作を示したフローチャートである。 第２の実施の形態としての自動撮像装置の内部構成を示したブロック図である。 第３の実施の形態としての自動撮像装置の内部構成を示したブロック図である。 進行方向の推定手法について説明するための図である。 第３の実施の形態としての動作を実現するために実行されるべき処理動作として、進行方向を推定するための処理動作を示したフローチャートである。 第３の実施の形態としての動作を実現するために実行されるべき処理動作として、パン・チルト方向の傾きの判別結果に基づき画像取込制御を行うための処理動作を示したフローチャートである。 第４の実施の形態の動作概要について説明するための図である。 第４の実施の形態で用いるパーソナルコンピュータの内部構成について示したブロック図である。 第４の実施の形態の動作を実現するための処理動作として、自動撮像装置において記録時に対応して実行されるべき処理動作を示したフローチャートである。 第４の実施の形態の動作を実現するための処理動作として、再生時に対応して実行されるべき処理動作を示したフローチャートである。 第５の実施の形態の動作を実現するための処理動作として、自動撮像装置において記録時に対応して実行されるべき処理動作を示したフローチャートである。 第５の実施の形態の動作を実現するための処理動作として、再生時に対応して実行されるべき処理動作（第１,第２の実施の形態を適用した場合）を示したフローチャートである。 第５の実施の形態の動作を実現するための処理動作として、再生時に対応して実行されるべき処理動作（第３の実施の形態を適用した場合）を示したフローチャートである。 第５の実施の形態の平均値計算の変形例について説明するための図である。

符号の説明

１,２０,２５ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、３Ｌ 撮像レンズ、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ ２軸ジャイロセンサ、９ ストレージ部、１０ メモリ部、１１ バス、１２ 通信部、２１ 方位センサ、２２ チルト方向ジャイロセンサ、２６ 位置検出部、３０ パーソナルコンピュータ、３１ ＣＰＵ、３２ バス、３３ メモリ部、３４ 入力処理部、３５ 入力部、３６ 表示処理部、３７ ディスプレイ、３８ ＨＤＤ、３８ａ 画像取込・再生アプリケーション、３９ 通信処理部、４０ 外部通信インタフェース

Claims (12)

1. 被写体を撮像して撮像画像データを得る撮像手段と、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、
   パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、
   位置情報を検出する位置検出手段と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う制御手段と
   画像表示を行う表示手段と、
   を備え、
   上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出し、
   上記制御手段は、上記位置検出手段から取得した現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、
   画像再生時においては、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データが上記表示手段に表示されるように制御を行う
   自動撮像装置。
2. 被写体を撮像して撮像画像データを得る撮像手段と、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、
   パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、
   位置情報を検出する位置検出手段と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う制御手段と
   画像表示を行う表示手段と、
   を備え、
   上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出し、
   上記制御手段は、上記位置検出手段により検出された位置情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、
   画像再生時においては、各撮像画像データごとに、その撮像画像データとそれよりも前に取り込まれた撮像画像データとにそれぞれ対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別した結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にある撮像画像データが上記表示手段に表示されるように制御を行う
   自動撮像装置。
3. 被写体を撮像して得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段を備えた自動撮像装置における自動撮像制御方法であって、
   パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手順と、
   位置情報を検出する位置検出手順と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手順により検出した上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う制御手順と
   画像表示を行う表示制御手順と、
   を実行し、
   上記傾き検出手順においては、方位センサによりパン方向への傾きの方向を検出し、
   上記制御手順においては、上記位置検出手順において取得した現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、上記傾き検出手順において検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手順において取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、
   表示制御手順においては、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データを表示するように制御を行う
   自動撮像制御方法。
4. 被写体を撮像して得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段を備えた自動撮像装置における自動撮像制御方法であって、
   パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手順と、
   位置情報を検出する位置検出手順と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手順により検出した上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う制御手順と
   画像表示を行う表示制御手順と、
   を実行し、
   上記傾き検出手順は、方位センサによりパン方向への傾きの方向を検出し、
   上記制御手順は、上記位置検出手順において検出された位置情報が、上記傾き検出手順において検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手順において取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、
   表示制御手順においては、各撮像画像データごとに、その撮像画像データとそれよりも前に取り込まれた撮像画像データとにそれぞれ対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別した結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にある撮像画像データを表示するように制御を行う
   自動撮像制御方法。
5. 被写体を自動撮像する自動撮像装置と、上記自動撮像装置との間でデータ通信を行うことが可能に構成された情報処理装置とを備えて構成される画像表示システムであって、
   上記自動撮像装置は、
   被写体を撮像して撮像画像データを得る撮像手段と、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、
   パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、
   位置情報を検出する位置検出手段と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う撮像装置側制御手段と
   を備え、
   上記情報処理装置は、
   画像表示を行う表示手段と、
   情報処理装置側制御手段とを備えると共に、
   上記情報処理装置側制御手段は、
   上記自動撮像装置側にて撮像され上記傾きの情報が対応づけられた上記撮像画像データを取り込む取込処理と、
   上記取込処理により取り込んだ、上記撮像画像データと対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別処理と、
   上記判別処理による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが上記表示手段に表示されるように制御を行う表示制御処理とを実行し、
   上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出すると共に、
   上記撮像装置側制御手段は、
   上記位置検出手段から取得した現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行い、
   上記情報処理装置側制御手段による上記判別処理では、
   上記取込処理により取り込んだ各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、
   上記表示制御処理では、
   上記判別処理による判別の結果パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データが、上記表示手段に表示されるように制御を行う
   画像表示システム。
6. 被写体を自動撮像する自動撮像装置と、上記自動撮像装置との間でデータ通信を行うことが可能に構成された情報処理装置とを備えて構成される画像表示システムであって、
   上記自動撮像装置は、
   被写体を撮像して撮像画像データを得る撮像手段と、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段と、
   パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手段と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データに対し、上記傾き検出手段により検出された上記パン方向又はチルト方向の傾きの情報が対応づけられるように制御を行う撮像装置側制御手段と
   位置情報を検出する位置検出手段と、
   を備え、
   上記情報処理装置は、
   画像表示を行う表示手段と、
   情報処理装置側制御手段とを備えると共に、
   上記情報処理装置側制御手段は、
   上記自動撮像装置側にて撮像され上記傾きの情報が対応づけられた上記撮像画像データを取り込む取込処理と、
   上記取込処理により取り込んだ、上記撮像画像データと対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別処理と、
   上記判別処理による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが上記表示手段に表示されるように制御を行う表示制御処理とを実行し、
   上記傾き検出手段は、方位センサによりパン方向への傾きの方向を検出すると共に、
   上記撮像装置側制御手段は、
   上記位置検出手段により検出された位置情報が、上記傾き検出手段により検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手段により取り込まれた撮像画像データに対して対応づけられるように制御を行い、
   上記情報処理装置側制御手段による上記判別処理では、
   上記取込処理により取り込んだ各撮像画像データと対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、
   上記表示制御処理では、
   上記判別処理による判別の結果パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データが、上記表示手段に表示されるように制御を行う
   画像表示システム。
7. 被写体を撮像して得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段を備えた自動撮像装置によって得られた画像データについて表示手段に表示するための画像表示方法であって、
   上記自動撮像装置側において、パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手順と、
   上記自動撮像装置側において、位置情報を検出する位置検出手順と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データが、上記傾き検出手順により検出した上記パン方向又はチルト方向の傾きの情報と対応づけられるように制御を行う対応づけ制御手順と、
   上記対応づけ制御手順により撮像画像データと対応づけられた傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別手順と、
   上記判別手順による判別の結果傾きが上記所定範囲内であるとされた撮像画像データが上記表示手段に表示されるように制御を行う表示制御手順と
   を実行し、
   上記傾き検出手順は、方位センサによりパン方向への傾きの方向を検出し、
   上記制御手順は、上記位置検出手順において取得した現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、上記傾き検出手順において検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手順において取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、
   表示制御手順においては、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データを上記表示手段に表示するように制御を行う
   画像表示方法。
8. 被写体を撮像して得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込手段を備えた自動撮像装置によって得られた画像データについて表示手段に表示するための画像表示方法であって、
   上記自動撮像装置側において、パン方向又はチルト方向の少なくとも一方への傾きを検出する傾き検出手順と、
   上記自動撮像装置側において、位置情報を検出する位置検出手順と、
   上記撮像画像自動取込手段により取り込まれた撮像画像データが、上記傾き検出手順により検出した上記パン方向又はチルト方向の傾きの情報と対応づけられるように制御を行う対応づけ制御手順と、
   上記対応づけ制御手順により撮像画像データと対応づけられた傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別手順と、
   上記判別手順による判別の結果傾きが上記所定範囲内であるとされた撮像画像データが上記表示手段に表示されるように制御を行う表示制御手順と
   を実行し、
   上記傾き検出手順は、方位センサによりパン方向への傾きの方向を検出し、
   上記制御手順は、上記位置検出手順において検出された位置情報が、上記傾き検出手順において検出されたパン方向の傾きの方向の情報と共に上記撮像画像自動取込手順において取り込まれた撮像画像データに対して対応づけられるように制御を行うと共に、
   表示制御手順においては、各撮像画像データごとに、その撮像画像データとそれよりも前に取り込まれた撮像画像データとにそれぞれ対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別した結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にある撮像画像データを上記表示手段に表示するように制御を行う
   画像表示方法。
9. パン方向又はチルト方向の傾きの情報が対応づけられた自動撮像画像についての表示制御を行う表示制御装置であって、
   上記自動撮像画像としての撮像画像データに対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別処理と、
   上記判別処理による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが所要の表示手段に表示されるように制御を行う表示制御処理と、を実行する制御手段と、
   を備え、
   上記制御手段は、位置検出手段において検出された現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、方位センサにより検出されたパン方向への傾きの方向の情報と共に上記撮像画像データに対して対応づけられるように制御を行うと共に、
   上記判別処理においては、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、
   上記表示制御処理においては、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データを表示するように制御を行う
   表示制御装置。
10. パン方向又はチルト方向の傾きの情報が対応づけられた自動撮像画像についての表示制御を行う表示制御装置であって、
    上記自動撮像画像としての撮像画像データに対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別処理と、
    上記判別処理による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが所要の表示手段に表示されるように制御を行う表示制御処理と、を実行する制御手段と、
    を備え、
    上記制御手段は、位置検出手段において検出された位置情報が、方位センサにより検出されたパン方向への傾きの方向の情報と共に上記撮像画像データに対して対応づけられるように制御を行うと共に、
    上記判別処理においては、各撮像画像データごとに、その撮像画像データとそれよりも前に取り込まれた撮像画像データとにそれぞれ対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、
    上記表示制御処理においては、パン方向の傾きの方向が上記所定の角度範囲内にある撮像画像データを表示する制御を行う
    表示制御装置。
11. パン方向又はチルト方向の傾きの情報が対応づけられた自動撮像画像についての表示制御を行う表示制御方法であって、
    上記自動撮像画像としての撮像画像データに対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別手順と、
    上記判別手順による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが所要の表示手段に表示されるように制御を行う表示制御手順と
    を実行し、
    上記判別手順においては、位置検出手段において検出された現在の位置情報と過去の位置情報とに基づきユーザの進行方向を推定すると共に、当該進行方向の情報が、方位センサにより検出されたパン方向への傾きの方向の情報と共に上記撮像画像データに対して対応づけられるように制御を行うと共に、各撮像画像データと対応づけられたパン方向の傾きの方向の情報と上記進行方向の情報とに基づき、各撮像画像データごとに、そのパン方向の傾きの方向が上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、
    上記表示制御処理においては、該判別の結果に基づき、パン方向の傾きの方向が上記所定の角度範囲内にあるとされた撮像画像データを表示するように制御を行う
    表示制御方法。
12. パン方向又はチルト方向の傾きの情報が対応づけられた自動撮像画像についての表示制御を行う表示制御方法であって、
    上記自動撮像画像としての撮像画像データに対応づけられた上記傾きの情報に基づき、上記撮像画像データの傾きが所定範囲内であるか否かを判別する判別手順と、
    上記判別手順による判別結果に基づき、傾きが上記所定範囲内であるとされた撮像画像データが所要の表示手段に表示されるように制御を行う表示制御手順と
    を実行し、
    上記判別手順においては制御手段は、位置検出手段において検出された位置情報が、方位センサにより検出されたパン方向への傾きの方向の情報と共に上記撮像画像データに対して対応づけられるように制御を行うと共に、各撮像画像データごとに、その撮像画像データとそれよりも前に取り込まれた撮像画像データとにそれぞれ対応づけられた上記位置情報に基づいて各撮像画像データが取り込まれた時点に対応するユーザの進行方向を推定すると共に、各撮像画像データごとに、対応づけられたパン方向の傾きの方向が撮像画像データごとに推定した上記進行方向を基準とする所定の角度範囲内にあるか否かを判別し、
    上記表示制御処理においては、パン方向の傾きの方向が上記所定の角度範囲内にある撮像画像データを表示する制御を行う
    表示制御方法。

Images