JP4324728B2 - 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム - Google Patents
撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP4324728B2 JP4324728B2 JP2003188356A JP2003188356A JP4324728B2 JP 4324728 B2 JP4324728 B2 JP 4324728B2 JP 2003188356 A JP2003188356 A JP 2003188356A JP 2003188356 A JP2003188356 A JP 2003188356A JP 4324728 B2 JP4324728 B2 JP 4324728B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- panoramic
- panoramic image
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置に係り、特に複数枚の画像からなるパノラマ画像を作成する場合に用いて好適な撮像装置と、この撮像装置に用いられる撮影画像処理方法及びプログラムに関する。
【０００２】
【従来の技術】
例えばデジタルカメラでは、被写体に対するカメラの向き（角度）を変えながら複数枚の画像を撮影することで、これらの画像を自動的につなぎ合わせて１枚のパノラマ画像を作成する機能を備えたものがある。この場合、パノラマ画像として撮影された複数枚の画像は装置内の所定のメモリにパノラマ画像を構成する一連の撮影データとして保存され、そして、再生時にはスクロールキーなどの操作により、これらの画像が１枚ずつ順に表示されるのが一般的である（例えば特許文献１参照）。
【０００３】
図１５は従来のデジタルカメラにおけるパノラマ画像の再生時の操作方法を説明するための図である。
【０００４】
カメラ１００内の図示せぬメモリには、予めユーザがカメラ１００の向きを変えながら、シャッターキー１０１を押下して撮影した複数枚の画像からなるパノラマ画像が保存されている。このカメラ１００の裏面には、操作部１０２および表示部１０３などが設置されており、再生時に操作部１０２の右／左スクロールキーを操作することで、当該パノラマ画像を構成する各画像が順次切り替えられて表示部１０３に表示される。
【０００５】
【特許文献１】
特開平７−９９６３３号
【０００６】
【発明が解決しようとする課題】
パノラマ画像は被写体を一方向から撮影した通常の画像と違って、例えば北方向の画像、北東方向の画像、東方向の画像…といったように、カメラを各方向（方角）に向けて撮影した複数枚の画像から構成されるものである。
【０００７】
しかしながら、従来のデジタルカメラでは、このパノラマ画像を構成する各画像がどの方向から撮ったものか全く判らず、再生時には上述したようにスクロールキーの操作により各画像が順に表示されるだけであるため、あたかも一方向に長い画像のように見えてしまい、パノラマ画像の持つ方位特性をまったく活すことができなかった。
【０００８】
本発明は前記のような点に鑑みなされたもので、カメラの向きと関連付けて画像の記録や再生を行うことで、例えばパノラマ画像のように方位特性を有する画像がどの向きから撮ったものかを簡単に把握できる撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の請求項１に係る電子機器は、被写体を撮影する撮像装置であって、前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影手段と、前記装置本体の向いている方向を示す方位情報を取得する方位検出手段と、前記撮影手段により得られた各画像を記録するとともに、各画像の撮影時に前記方位検出手段によって取得された方位情報を各画像のそれぞれに付加して記録する記録処理手段と、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理手段と、再生対象となるパノラマ画像の種類を指定するパノラマ画像指定手段と、前記パノラマ画像指定手段により指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出手段によって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理手段と、この再生処理手段によって読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示する表示手段とを具備したことを特徴とする。
【００１０】
本発明の請求項２に係る電子機器は更に、前記撮影手段は、すでに撮影した画像の一部を現在の撮影対象に重なるように半透明状態で表示することを特徴とする。
【００１１】
本発明の請求項３に係る電子機器は更に、前記再生処理手段は、前記記録処理手段によって記録された複数の画像のうちの１つを基準画像として表示した後、その基準画像を起点にして前記装置本体が向けられた角度に応じた画像を当該複数の画像の中から読み出して表示することを特徴とする。
【００１２】
本発明の請求項４に係る電子機器は更に、前記方位検出手段は、前記装置本体の向いている方角を示す方位情報を取得することを特徴とする。
【００１３】
本発明の請求項５に係る電子機器は更に、前記方位検出手段は、前記装置本体が最初に向いていた方向からの変化量を示す方位情報を取得することを特徴とする。
【００１４】
本発明の請求項６に係る撮影画像処理方法は、被写体を撮影する撮像装置による撮影画像処理方法であって、前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影ステップと、前記装置本体の向いている方向を示す方位情報を取得する方位検出ステップと、前記撮影ステップにより得られた各画像を記録するとともに、各画像の撮影時に前記方位検出ステップによって取得された方位情報を各画像のそれぞれに付加して記録する記録処理ステップと、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理ステップと、再生対象となるパノラマ画像の種類を指定するパノラマ画像指定ステップと、前記パノラマ画像指定ステップにより指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出ステップによって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理ステップと、この再生処理ステップによって読み出された複数の画像に基づいて前記パノラマ画像指定ステップにより指定された種類のパノラマ画像を順次作成して表示する表示ステップとを前記撮像装置が実行することを特徴とする。
【００１５】
本発明の請求項７に係るプログラムは、被写体を撮影する撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータを、前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影手段と、前記装置本体の向いている方向を示す方位情報を取得する方位検出手段と、前記撮影手段により得られた各画像を記録するとともに、各画像の撮影時に前記方位検出手段によって取得された方位情報を各画像のそれぞれに付加して記録する記録処理手段と、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理手段と、再生対象となるパノラマ画像の種類を指定するパノラマ画像指定手段と、前記パノラマ画像指定手段により指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出手段によって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理手段と、この再生処理手段によって読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示する表示手段として機能させることを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２０】
図１は本発明の撮像装置としてデジタルカメラを用いた場合の外観構成を示すもので、図１（Ａ）が主に前面の、図１（Ｂ）が主に背面の構成を示す斜視図である。
【００２１】
このデジタルカメラ１は、略矩形の薄板状ボディの前面に、撮影レンズ２、セルフタイマランプ３、光学ファインダ窓４、マイクロホン部５、ストロボ発光部６、及びラバーグリップ７を配設し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９を配する。
【００２２】
ラバーグリップ７は、ユーザが撮影時にデジタルカメラ１を右手で筐体右側面側から把持した場合に右手中指、薬指、及び小指が確実に該筐体を把持できるように配設されたゴム製の帯状突起である。
【００２３】
また、電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影モード時に撮影タイミングを指示する。
【００２４】
また、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）１０、スピーカ部１１、メニューキー１２、十字キー１３、セットキー１４、光学ファインダ１５、ストロボチャージランプ１６、及び表示部１７を配する。
【００２５】
モードスイッチ１０は、例えばスライドキースイッチにより構成され、基本モードである記録モード「Ｒ」と再生モード「Ｐ」とを切換える。
【００２６】
メニューキー１２は、各種メニュー項目等を選択させる際に操作する。本実施形態では、このメニューキー１２の操作により「パノラマモード」を設定する。「パノラマモード」は、カメラ向きを水平方向に変えながら複数枚の画像を撮影することにより、これらの画像を自動的に繋げて１つのパノラマ画像を作成するモードである。
【００２７】
十字キー１３は、上下左右各方向へのカーソル移動用のキーが一体に形成されたものであり、表示されているメニュー項目等を移動させる際に操作する。
【００２８】
セットキー１４は、前記十字キー１３の中心位置に配置され、その時点で選択されているメニュー項目内容等を設定するために操作する。
【００２９】
ストロボチャージランプ１６は、光学ファインダ１５に近接して配設されたＬＥＤランプでなり、このデジタルカメラ１のユーザが光学ファインダ１５を覗いている場合と表示部１７を見ている場合のいずれであってもストロボのチャージ状態等をユーザに視認させる。
【００３０】
表示部１７は、バックライト付きのカラー液晶パネルで構成されるもので、記録モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。
【００３１】
なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Universal Serial Bus）コネクタ等が設けられている。
【００３２】
また、このデジタルカメラ１には、方位センサ１８が組み込まれており、ユーザが本機器を手で持って、光学ファインダ１５をのぞき込むようにしてデジタルカメラ１を向けた方向、つまり、ユーザが被写体を見ている方角が検出されるようになっている。
【００３３】
図２は前記デジタルカメラ１の電子回路の構成を示すブロック図である。
【００３４】
基本モードである記録モードにおいては、モータ（Ｍ）２１の駆動により合焦位置や絞り位置が移動される、前記撮影レンズ２を構成するレンズ光学系２２の撮影光軸後方に配置された撮像素子であるＣＣＤ２３が、タイミング発生器（ＴＧ）２４、垂直ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。
【００３５】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換され、カラープロセス回路２８で画素補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ２９に出力される。
【００３６】
ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。
【００３７】
制御部３２は、ＣＰＵと、このＣＰＵが実行するプログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成される。この制御部３２はデジタルカメラ１全体の制御動作を司るもので、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書込む。
【００３８】
デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読出し、これらのデータを元にビデオ信号を発生して前記表示部１７に出力する。
【００３９】
この表示部１７は、上述した如く記録モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。
【００４０】
このように表示部１７にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、静止画撮影を行いたいタイミングでキー入力部３６を構成する前記シャッタキー９を操作すると、トリガ信号を発生する。制御部３２は、このトリガ信号に応じてその時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。
【００４１】
この記録保存の状態では、制御部３２がＤＲＡＭ３１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ（Joint Photograph coding Experts Group）回路３７に書込み、このＪＰＥＧ回路３７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００４２】
そして、得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着されるメモリカード３８、または、このデジタルカメラ１に固定的に内蔵される内蔵メモリ３９のいずれか一方に書込む。
【００４３】
そして、１フレーム分の輝度及び色差信号の圧縮処理及びメモリカード３８または内蔵メモリ３９への全圧縮データの書込み終了に伴なって、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。
【００４４】
また、制御部３２にはさらに、音声処理部４０、ＵＳＢインタフェース（Ｉ／Ｆ）４１、及びストロボ駆動部４２が接続されると共に、デジタルカメラ１を向けた方向を検出するための方位センサ１８が接続される。
【００４５】
音声処理部４０は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）５より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 audio layer 3）規格にしたがってデータ圧縮して音声データファイルを作成してメモリカード３８または内蔵メモリ３９へ送出する一方、音声の再生時にはメモリカード３８または内蔵メモリ３９から送られてきた音声データファイルの圧縮を解いてアナログ化し、前記スピーカ部（ＳＰ）１１を駆動して、拡声放音させる。
【００４６】
ＵＳＢインタフェース４１は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データその他の送受を行う場合の通信制御を行う。
【００４７】
ストロボ駆動部４２は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいて前記ストロボ発光部６を閃光駆動する。
【００４８】
なお、前記キー入力部３６は、上述したシャッタキー９の他に、前記電源キー８、モードスイッチ１０、メニューキー１２、十字キー１３及びセットキー１４等から構成され、それらのキー操作に伴なう信号は直接制御部３２へ送出される。
【００４９】
また、基本モードである再生モード時には、制御部３２がメモリカード３８または内蔵メモリ３９に記録されている画像データを選択的に読出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、その伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読出してビデオ信号を発生し、前記表示部１７で再生出力させる。
【００５０】
次に、図３および図４を参照して、このデジタルカメラ１を用いてパノラマ画像を作成する方法について説明する。
【００５１】
例えば、風景などを被写体としてパノラマ画像を作成する場合において、図３に示すように、被写体に対するデジタルカメラ１の向き（角度）を変えながら複数枚の画像Ａ，Ｂ，Ｃ…を撮影する。この場合、被写体に対する撮影可能な範囲はデジタルカメラ１の画角範囲と焦点位置との関係によって決まる。図３の例では、デジタルカメラ１を「北」、「北東」、「東」、「東南」、「南」、「南西」、「西」、「西東」に向けて撮影することで、３６０度のパノラマ画像を作成する場合が示されている。
【００５２】
ここで、デジタルカメラ１を各方角に向けて撮影を行ったときに、方位センサ１８によって、そのデジタルカメラ１を向けた方角が検出されるようになっている。なお、前記デジタルカメラ１を向けた方角とは、詳しくは、デジタルカメラ１の装置本体の前面部にある撮影レンズ２を被写体に向けた方角を言う。
【００５３】
前記方位センサ１８は、例えば磁気センサからなり、センサ内部に直交して巻かれた２組のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）を有する。ＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する性質を持っている。これを利用して、２組のコイルによってＭＲ素子の抵抗変化を２方向の成分に分け、これにより得られた電圧信号をマイクロプロセッサで演算処理することで方位を測定する。本実施形態では、方位センサ１８からデジタル化された電圧信号が出力され、これを制御部３２が受けて演算処理するものとする。
【００５４】
なお、前記方位センサ１８として、ＧＰＳ（global positioning system）を利用したものもある。これは、ＧＰＳコンパスと呼ばれるもので、２つのアンテナの相対的な位置関係から方位を測定するように構成されている。
【００５５】
このような方位センサ１８により撮影時のカメラ向きが検出されると、そのカメラ向きを示す方位情報が図４に示すように撮影画像に付加され、メモリカード３８または内蔵メモリ３９に記録される。すなわち、例えばユーザがデジタルカメラ１を北に向けて撮影すれば、そのときに得られる画像Ａに北向きであることを示す方位情報が付加されてメモリカード３８または内蔵メモリ３９に記録される。このようにして、デジタルカメラ１の向きを変えて撮影した複数枚の画像Ａ，Ｂ，Ｃ…のそれぞれに方位情報が付加されて、１つの連続したパノラマ画像が作成されることになる。
【００５６】
また、このパノラマ画像の再生時には、デジタルカメラ１を向けた方角に対応した画像がメモリ（メモリカード３８または内蔵メモリ３９）から読み出されて表示部１７に表示される。例えば、デジタルカメラ１を北に向ければ、パノラマ画像を構成する各画像Ａ，Ｂ，Ｃ…のうちの北方向の画像Ａが表示部１７に表示される。
【００５７】
以下に、このデジタルカメラ１によるパノラマ画像に関する処理動作について、（ａ）記録モード時の処理と、（ｂ）再生モード時の処理に分けて説明する。なお、以下の各フローチャートで示される処理はデジタルカメラ１に搭載された制御部３２により実行されるものであり、この制御部３２は図示せぬＲＯＭなどに記憶されたプログラムを読み込むことで、そのプログラムに記述された手順に従って処理を実行する。
【００５８】
（ａ）記録モード時
図５はデジタルカメラ１の記録処理の動作を示すフローチャートであり、パノラマ画像を構成する各画像を記録する場合の処理手順が示されている。
【００５９】
パノラマ画像を作成するため、まず、モードスイッチ１０の操作により動作モードを記録モード「Ｒ」に切り替え、続いてメニューキー１２の操作により「パノラマモード」を設定しておく（ステップＡ１１，Ａ１２）。
【００６０】
この状態で、デジタルカメラ１の撮影レンズ２を被写体に向けてシャッタキー９を押下すると（ステップＡ１３のＹｅｓ）、所定の画角範囲内で撮影レンズ２に写る被写体の画像が撮影データとして得られる（ステップＡ１４）。なお、撮影中は表示部１７が電子ビューファインダとして機能しており、その画面上に現在の撮影対象が表示されている。
【００６１】
ここで、ユーザがシャッタキー９の押下により撮影を行ったとき、デジタルカメラ１を向けた方角が方位センサ１８により検出され（ステップＡ１５）、そのカメラ方向を示す方位情報が当該撮影画像に付加されて所定のメモリに記録される（ステップＡ１６）。前記所定のメモリとは、本実施形態ではメモリカード３８または内蔵メモリ３９のいずれか一方であり、ここでは便宜的にメモリカード３８に記録されるものとして説明する。
【００６２】
以下同様にして、デジタルカメラ１の向きを変えながら複数枚の画像が撮影され、これらの画像毎にそのときのカメラ向きを示す方位情報が付加されてメモリカード３８に順次記録されていく。その際、２枚目からの画像の撮影時には、直前に撮影した画像がメモリカード３８から読み出され、その画像の一部が現在の撮影対象に重なるように表示部１７の画面上に半透明の状態で表示される（ステップＡ１８）。これにより、次に撮影する画像を前の画像と方角的に繋がるように撮影することができる。
【００６３】
また、ユーザが電源をオフするなどの所定の操作により記録終了を明示的に指示した時点で（ステップＡ１７のＹｅｓ）、ここでの記録処理が終了する。
【００６４】
このようにしてデジタルカメラ１の向きを変えながら複数枚の画像を撮影することで、メモリカード３８の中にはこれらの画像が１つの連続したパノラマ画像として記録される。
【００６５】
図６乃至図９に具体例を示す。
【００６６】
今、例えば北方向、北東方向、東方向の３枚の撮影画像からなるパノラマ画像を作成する場合を想定して説明する。図６は北方向撮影時に表示部１７に表示される画像の一例、図７は北東方向撮影時に表示部１７に表示される画像の一例、図８は東方向撮影時に表示部１７に表示される画像の一例を示している。また、図９はこれらの撮影画像をつなぎ合わせて作成されたパノラマ画像の一例を示している。
【００６７】
まず、パノラマ画像の構成画像となる１枚目の画像を撮影するべく、図６に示すように、デジタルカメラ１を北方向に向けてシャッタキー９を押す。これにより、デジタルカメラ１の画角範囲内で北方向の画像が得られる。このとき、例えば磁気センサからなる方位センサ１８によって、デジタルカメラ１を向けた方角が検出され、その方角（この場合、北方向）を示す方位情報が当該撮影画像に付加されてメモリカード３８に保存される。
【００６８】
次に、パノラマ画像の構成画像となる２枚目の画像を撮影するべく、デジタルカメラ１を北東方向に向ける。その際、デジタルカメラ１を向けた方角に合わせて、図７に示すように、直前に撮った画像の一部が電子ビューファンダとして機能している表示部１７に半透明の状態で表示される。図７において、図中の点線で示す画像が直前の撮影画像であり、ここではデジタルカメラ１を北方向に向けて撮影した後に、続けてデジタルカメラ１を北東方向に向けたので、その直前に撮った画像として北方向の画像がメモリカード３８から読み出され、当該画像の右端部分が半透明状態で表示部１７に表示される。
【００６９】
なお、例えば北方向の画像を撮影した後、表示部１７を北東方向ではなく、西東方向に向けたとしたら、直前の撮影画像である北方向の画像の左端が半透明の状態で表示されることになる。
【００７０】
また、撮影済みの各画像のどの画像を半透明の状態で表示するのかはメニューキー１２の操作等によりユーザが任意に選択でき、また、その表示範囲もユーザが任意に選択できるものとする。
【００７１】
しかして、図７に示しように、直前に撮った北方向の画像の一部が表示された状態で、デジタルカメラ１を北東方向に向け、前記北方向の画像の一部に北東方向の画像を合わせるように撮影範囲を定めてからシャッタキー９を押す。これにより、既に撮影済みの北方向の画像に綺麗に繋がる北東方向の画像が得られる。また、このときも方位センサ１８にて撮影時にデジタルカメラ１を向けた方角が検出され、その方角（この場合、北東方向）を示す方位情報が当該撮影画像に付加されてメモリカード３８に保存される。
【００７２】
３枚目についても同様であり、図８に示すように、デジタルカメラ１を東方向に向け、直前に撮った北東方向の画像の一部に東方向の画像を合わせるように撮影範囲を定めてシャッタキー９を押す。これにより、既に撮影済みの北東方向の画像に綺麗に繋がる東方向の画像が得られる。また、このときも方位センサ１８にて撮影時にデジタルカメラ１を向けた方角が検出され、その方角（この場合、東方向）を示す方位情報が当該撮影画像に付加されてメモリカード３８に保存される。
【００７３】
このようにして、パノラマ画像を構成する３枚分の画像が撮影されると、これらの画像は図９に示すように１つの連続したパノラマ画像としてメモリカード３８に記録される。
【００７４】
なお、ここでは説明を簡単にするために１種類のパノラマ画像を作成する場合について説明するが、複数種類のパノラマ画像を作成する場合には、各パノラマ画像毎に識別情報を当該パノラマ画像を構成する各画像に共通に付加しておく。例えば、３種類のパノラマ画像を作成する場合であれば、１枚目のパノラマ画像を構成する各画像に対して「ＮＯ．１」といった識別情報、２枚目のパノラマ画像を構成する各画像に対して「ＮＯ．２」といった識別情報、３枚目のパノラマ画像を構成する各画像に対して「ＮＯ．３」といった識別情報をそれぞれ付加しておく。これにより、再生時には、例えばユーザが所望のパノラマ画像を例えばメニュー画面上で選択した際に、その選択したパノラマ画像の識別情報に基づいて当該パノラマ画像の各画像を表示対象としてメモリカード３８から読み出すことができる。
【００７５】
（ｂ）再生モード時
次に、再生モード時の動作について説明する。
【００７６】
図１０はデジタルカメラ１の再生処理の動作を示すフローチャートであり、パノラマ画像を再生する場合の処理手順が示されている。なお、ここで言うパノラマ画像の再生とは、所定のメモリからパノラマ画像を構成する各画像を読み出して表示部１７の画面上に表示することを意味する。また、前記所定のメモリは記録時と同様にメモリカード３８であるとする。このメモリカード３８には、パノラマ画像を構成する各画像のデータが方位情報と共に記録されている。
【００７７】
図１０に示すように、パノラマ画像を再生する場合には、まず、モードスイッチ１０の操作により動作モードを再生モード「Ｐ」に切り替え、続いてメニューキー１２の操作により「パノラマモード」を設定しておく（ステップＢ１１，Ｂ１２）。
【００７８】
ここで、通常は、カーソルキーの操作などによりパノラマ画像を構成する各画像を順次表示する方式が用いられるが、本実施形態では、デジタルカメラ１を任意の方角に向けるだけで、パノラマ画像の中でその方角に対応した画像を表示することができる。
【００７９】
すなわち、前記「パノラマモード」が設定された状態で、ユーザがデジタルカメラ１を任意の方角に向けると、そのときの方角が方位センサ１８により検出される（ステップＢ１３）。そして、前記方位センサ１８により検出されたカメラ向きを示す方位情報に基づいてメモリカード３８が検索され（ステップＢ１４）、そのカメラ向きに対応した画像を中心にして当該パノラマ画像の一部が表示部１７に表示される（ステップＢ１５→Ｂ１７）。
【００８０】
また、デジタルカメラ１を別の方角に向ければ（ステップＢ１８のＮｏ）、前記同様にして、そのときのデジタルカメラ１の向きが検出され、そのカメラ向きに対応した画像を中心にして当該パノラマ画像の一部が表示部１７に表示される。
【００８１】
具体的に説明すると、例えば、図９に示したパノラマ画像を再生する場合であれば、ユーザがデジタルカメラ１を北方向に向けたとき、詳しくは、ユーザがデジタルカメラ１の裏面に設けられた表示部１７を見るようにして、そのデジタルカメラ１の前面部（撮影レンズ２が設置された面）を北方向に向けると、図６のような北方向の画像が表示部１７に表示されることになる。
【００８２】
同様に、デジタルカメラ１を北東方向に向けたときには、図７のような北東方向の画像が表示部１７に表示され、また、デジタルカメラ１を東方向に向けたときには、図８のような東方向の画像が表示部１７に表示される。
【００８３】
ここで、デジタルカメラ１を向けた方角に対応した画像がメモリカード３８になかった場合には（ステップＢ１５のＮｏ）、その両隣の方角の撮影画像から当該方角の画像が生成されて（ステップＢ１６）、その画像がパノラマ画像の一部として表示部１７に表示される（ステップＢ１７）。
【００８４】
すなわち、前記の例で言えば、北方向を向いて撮影した画像、北東方向を向いて撮影した画像、東方向を向いて撮影した画像の３枚から構成されるパノラマ画像の再生中に、ユーザがデジタルカメラ１を北北東に向けた場合には、図１１（ａ）に示すように、そのパノラマ画像上で北方向を向いて撮影した画像の中心点Ｐａと北東方向を向いて撮影した画像の中心点Ｐｂとを結ぶ線分の中点Ｐａ＋ｂを求める。そして、図１１（ｂ）に示すように、パノラマ画像の中で前記中点Ｐａ＋ｂを中心とする所定の範囲Ｌ内の画像を北北東の画像としてメモリカード３８から読み出して表示部１７に表示する。
【００８５】
この動作は連続的に行われる。すなわち、例えばデジタルカメラ１の向きを北方向から東北方向へ連続的に変えれば、表示部１７に表示されるパノラマ画像も北方向に向けた撮影した画像から東北方向に向けた画像へと、パノラマ画像の表示が連続的に変化することになる。
【００８６】
また、ユーザが電源をオフするなどの所定の操作により再生終了を明示的に指示した時点で（ステップＢ１８のＹｅｓ）、ここでの再生処理が終了する。
【００８７】
このように、パノラマ画像を再生する場合において、ユーザがデジタルカメラ１を任意の方角に向ければ、その方角に対応した画像が当該パノラマ画像の一部として表示される。したがって、従来方式のようにパノラマ画像をスクロールキーの操作により順次表示するものと違って、面倒なキー操作が不要であり、デジタルカメラ１の向きを変えるだけでパノラマ画像を連続して見ることができる。例えば、図３に示すように３６０度のパノラマ画像を撮影した場合であれば、再生時に同じようにデジタルカメラ１を水平方向に３６０度回転させることで、実際に周囲を見回している感覚で各方角の画像を連続して見ることができる。
【００８８】
なお、前記実施形態では、パノラマ画像の再生時において、デジタルカメラ１を向けた方角に対応した画像を表示するようにしたが、方角には関係なく、ユーザがデジタルカメラ１を向けた角度に応じてパノラマ画像の表示を切り替えることでも良い。
【００８９】
すなわち、前記実施形態では、デジタルカメラ１を北方向に向けたときには、北向きの画像を中心にしてパノラマ画像を表示したが、最初に表示する画像はそのときのカメラ向きに関係なく、例えば当該パノラマ画像の中心にある画像を基準画像として表示した後、その位置からデジタルカメラ１を向けた角度に応じて、前記基準画像を元にして表示する部分を変化させる。例えば、まず最初に北東方向の画像（図７）を基準画像として表示し、この状態でユーザがデジタルカメラ１を右方向に４５度回転させた場合には東方向の画像（図８）を表示し、左方向に４５度回転させた場合には北方向の画像（図６）を表示する。
【００９０】
図１２にこのときの再生動作を示す。まず、モードスイッチ１０の操作により動作モードを再生モード「Ｐ」に切り替え、続いてメニューキー１２の操作により「パノラマモード」を設定しておく（ステップＣ１１，Ｃ１２）。
【００９１】
ここで、ユーザがデジタルカメラ１を任意の方角に向けた状態で、予め表示対象として指定されたパノラマ画像の中の所定の画像が基準画像として表示部１７に表示される（ステップＣ１３）。前記所定の画像とは、上述したように例えばパノラマ画像の中心部分に当たる画像である。
【００９２】
この状態で、ユーザがデジタルカメラ１の向きを変えたことが方位センサ１８により検出されると（ステップＣ１４のＹｅｓ）、変更前の方角と変更後の方角に基づいてユーザがデジタルカメラ１をどちら向きに何度が動かしたのかが求められる（ステップＣ１５）。この場合、例えば変更前の方角が北東であり、変更後の方角が東であったならば、デジタルカメラ１を右回りに４５度動かしたことが判る。また、変更後の方角が北であったならば、デジタルカメラ１を左回りに４５度動かしたことが判る。
【００９３】
このようにして、デジタルカメラ１を動かした方向とその変更角度が求められると、当該パノラマ画像の中で前記基準画像の中心位置からデジタルカメラ１の変更方向に変更角度分だけずらした位置が新たに表示する画像の中心として定められ（ステップＣ１６）、メモリカード３８の中から該当する部分の画像が読み出されて表示部１７に表示される（ステップＣ１７）。
【００９４】
以下同様に、再生終了の指示があるまで（ステップＣ１８のＮｏ）、デジタルカメラ１の向きの変化に連動させて当該パノラマ画像を構成する各画像が連続的に表示部１７に表示される。
【００９５】
このように、デジタルカメラ１の向きの変化に対応させてパノラマ画像の表示を変化させることでも、従来のような面倒なスクロール操作を不要として、パノラマ画像を構成する各画像を連続して見ることができる。
【００９６】
（画像再生システム）
次に、図１３および図１４を参照して前記デジタルカメラ１を利用した画像再生システムについて説明する。
【００９７】
図１３はその画像再生システムの構成を示すブロック図であり、本システムは前記デジタルカメラ１に接続されるサーバ５１、そのサーバ５１の持つデータベース（ＤＢ）５２、そして、画像再生装置５３および複数の表示装置５４ａ、５４ｂ、５４ｃ…からなる。
【００９８】
サーバ５１は、デジタルカメラ１にて撮影されたパノラマ画像の各画像をこれらに付加された方位情報と共に受信してデータベース５２に保存する。なお、サーバ５１とデジタルカメラ１との接続形態は有線であっても無線であっても良い。サーバ５１と画像再生装置５３との接続形態についても同様であり、有線であっても無線であっても良い。有線には、インターネット等の通信ネットワークを含む。また、無線としては、赤外線の他に、例えばＢｌｕｅｔｏｏｔｈ（Ｒ）などの近距離無線通信システムを含む。前記Ｂｌｕｅｔｏｏｔｈ（Ｒ）は、短距離の無線通信規格に準じた無線通信システムであり、例えば２．４５ＧＨｚのＩＳＭ（Industrial Scientific Medical）帯の無線電波を用いて約１０ｍの無線通信を実現するものである。
【００９９】
サーバ５１は、外部から表示要求があったときなど、所定のタイミングでデータベース５２から前記デジタルカメラ１で撮影されたパノラマ画像の各画像を読み出し、これらを画像再生装置５３に送る。上述したように各画像には方位情報が付加されており、画像再生装置５３はその方位情報に基づいて各画像を表示装置５４ａ、５４ｂ、５４ｃ…に転送することで、これらの画像を方位別に分けて同時に表示する。
【０１００】
すなわち、例えば北方向の画像、北東方向の画像、東方向の画像の３方向からなるパノラマ画像であれば、画像再生装置５３はそのパノラマ画像の北方向の画像を表示装置５４ａ、北東方向の画像を表示装置５４ｂ、東方向の画像を表示装置５４ｃに送って、これらの画像を同時に表示する。
【０１０１】
このように、本システムによれば、デジタルカメラ１とは離れた別の場所にて、そのデジタルカメラ１で撮影されたパノラマ画像を見ることができる。この場合、図１４に示すように表示装置５４ａ、５４ｂ、５４ｃ…を各方位毎に円を描くように並べておけば、３６０度のパノラマ画像をその円の中心から眺め回して見ることができる。
【０１０２】
なお、前記実施形態では、電子機器としてデジタルカメラを例にして説明したが、本発明はこれに限るものでなく、例えばカメラ付きの携帯電話やＰＤＡ（Personal Digital Assistant）など、撮影機能を備えた電子機器であれば全てに適用可能である。
【０１０３】
その他、本発明は前記実施形態に限らず、その要旨を逸脱しない範囲で種々に変形して実施することが可能である。
【０１０４】
更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態で示される全構成要件から幾つかの構成要件が削除されても、「発明が解決しようとする課題」で述べた効果が解決でき、「発明の効果」の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１０５】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【０１０６】
また、記録媒体としては、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の他にも、例えば、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（Ｒ）やＡＯＤ(Advanced Optical Disc)などの青色レーザを用いた次世代光ディスク、赤色レーザを用いるHD-DVD9、青紫色レーザを用いるＢｌｕｅ Ｌａｓｅｒ ＤＶＤなど、今後開発される種々の大容量記録媒体を用いて本発明を実施することが可能である。
【０１０７】
【発明の効果】
以上詳記したように本発明によれば、デジタルカメラなどからなる撮像装置において、その装置本体の向き（つまりカメラの向き）を変えながら複数枚の画像からなるパノラマ画像を作成した場合に、そのパノラマ画像の各画像に撮影時のカメラ向きを示す方位情報が付加されるので、各画像がどの方角から撮ったものであるかを知ることができる。
【０１０８】
また、これらの画像の再生時には、装置本体を任意の方角に向けることにより、その方角に対応した画像が表示されるので、従来のような面倒なスクロール操作を必要とせずにパノラマ画像の表示切替えを簡単に行うことができる。さらに、装置本体のカメラの動きに合わせてパノラマ画像の各画像が連続的に表示されるため、実際に周囲を見回しているような感覚でパノラマ画像を見ることができる。
【０１０９】
更に、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録し、再生対象となるパノラマ画像の種類が指定された場合に、この指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に取得される方位情報に対応する画像を装置本体の動きに連動させて順次読み出し、この読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示するようにしたので、パノラマ画像を構成する複数の画像を記録しておくだけで、所望の種類のパノラマ画像を再生して表示させることが可能となり、今までの機器にない画像の楽しみ方ができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子機器としてデジタルカメラを用いた場合の外観構成を示す斜視図。
【図２】前記デジタルカメラの電子回路の構成を示すブロック図。
【図３】前記デジタルカメラを用いて３６０度のパノラマ画像を作成する方法を説明するための図。
【図４】前記デジタルカメラによって撮影されたパノラマ画像の各画像の記録方法を説明するための図。
【図５】前記デジタルカメラによるパノラマ画像の記録処理の動作を示すフローチャート。
【図６】前記デジタルカメラの記録モード時に表示部に表示される画像の一例を示す図。
【図７】前記デジタルカメラの記録モード時に表示部に表示される画像の一例を示す図。
【図８】前記デジタルカメラの記録モード時に表示部に表示される画像の一例を示す図。
【図９】前記デジタルカメラにて撮影された複数枚の画像をつなぎ合わせて作成されたパノラマ画像の一例を示す図。
【図１０】前記デジタルカメラによるパノラマ画像の再生処理の動作を示すフローチャート。
【図１１】前記デジタルカメラを向けた方向に対応した画像の生成方法を説明するための図。
【図１２】前記デジタルカメラの他の再生処理の動作を示すフローチャート。
【図１３】前記デジタルカメラを利用した画像再生システムの構成を示すブロック図。
【図１４】前記画像再生システムにおける各表示装置の配置例を示す図。
【図１５】従来のデジタルカメラにおけるパノラマ画像の再生時の操作方法を説明するための図。
【符号の説明】
１…デジタルカメラ
２…撮影レンズ
３…セルフタイマランプ
４…光学ファインダ窓
５…マイクロホン部（ＭＩＣ）
６…ストロボ発光部
７…ラバーグリップ
８…電源キー
９…シャッタキー
１０…モードスイッチ（ＳＷ）
１１…スピーカ部（ＳＰ）
１２…メニューキー
１３…十字キー
１４…セットキー
１５…光学ファインダ
１６…ストロボチャージランプ
１７…表示部
１８…方位センサ
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置に係り、特に複数枚の画像からなるパノラマ画像を作成する場合に用いて好適な撮像装置と、この撮像装置に用いられる撮影画像処理方法及びプログラムに関する。
【０００２】
【従来の技術】
例えばデジタルカメラでは、被写体に対するカメラの向き（角度）を変えながら複数枚の画像を撮影することで、これらの画像を自動的につなぎ合わせて１枚のパノラマ画像を作成する機能を備えたものがある。この場合、パノラマ画像として撮影された複数枚の画像は装置内の所定のメモリにパノラマ画像を構成する一連の撮影データとして保存され、そして、再生時にはスクロールキーなどの操作により、これらの画像が１枚ずつ順に表示されるのが一般的である（例えば特許文献１参照）。
【０００３】
図１５は従来のデジタルカメラにおけるパノラマ画像の再生時の操作方法を説明するための図である。
【０００４】
カメラ１００内の図示せぬメモリには、予めユーザがカメラ１００の向きを変えながら、シャッターキー１０１を押下して撮影した複数枚の画像からなるパノラマ画像が保存されている。このカメラ１００の裏面には、操作部１０２および表示部１０３などが設置されており、再生時に操作部１０２の右／左スクロールキーを操作することで、当該パノラマ画像を構成する各画像が順次切り替えられて表示部１０３に表示される。
【０００５】
【特許文献１】
特開平７−９９６３３号
【０００６】
【発明が解決しようとする課題】
パノラマ画像は被写体を一方向から撮影した通常の画像と違って、例えば北方向の画像、北東方向の画像、東方向の画像…といったように、カメラを各方向（方角）に向けて撮影した複数枚の画像から構成されるものである。
【０００７】
しかしながら、従来のデジタルカメラでは、このパノラマ画像を構成する各画像がどの方向から撮ったものか全く判らず、再生時には上述したようにスクロールキーの操作により各画像が順に表示されるだけであるため、あたかも一方向に長い画像のように見えてしまい、パノラマ画像の持つ方位特性をまったく活すことができなかった。
【０００８】
本発明は前記のような点に鑑みなされたもので、カメラの向きと関連付けて画像の記録や再生を行うことで、例えばパノラマ画像のように方位特性を有する画像がどの向きから撮ったものかを簡単に把握できる撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の請求項１に係る電子機器は、被写体を撮影する撮像装置であって、前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影手段と、前記装置本体の向いている方向を示す方位情報を取得する方位検出手段と、前記撮影手段により得られた各画像を記録するとともに、各画像の撮影時に前記方位検出手段によって取得された方位情報を各画像のそれぞれに付加して記録する記録処理手段と、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理手段と、再生対象となるパノラマ画像の種類を指定するパノラマ画像指定手段と、前記パノラマ画像指定手段により指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出手段によって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理手段と、この再生処理手段によって読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示する表示手段とを具備したことを特徴とする。
【００１０】
本発明の請求項２に係る電子機器は更に、前記撮影手段は、すでに撮影した画像の一部を現在の撮影対象に重なるように半透明状態で表示することを特徴とする。
【００１１】
本発明の請求項３に係る電子機器は更に、前記再生処理手段は、前記記録処理手段によって記録された複数の画像のうちの１つを基準画像として表示した後、その基準画像を起点にして前記装置本体が向けられた角度に応じた画像を当該複数の画像の中から読み出して表示することを特徴とする。
【００１２】
本発明の請求項４に係る電子機器は更に、前記方位検出手段は、前記装置本体の向いている方角を示す方位情報を取得することを特徴とする。
【００１３】
本発明の請求項５に係る電子機器は更に、前記方位検出手段は、前記装置本体が最初に向いていた方向からの変化量を示す方位情報を取得することを特徴とする。
【００１４】
本発明の請求項６に係る撮影画像処理方法は、被写体を撮影する撮像装置による撮影画像処理方法であって、前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影ステップと、前記装置本体の向いている方向を示す方位情報を取得する方位検出ステップと、前記撮影ステップにより得られた各画像を記録するとともに、各画像の撮影時に前記方位検出ステップによって取得された方位情報を各画像のそれぞれに付加して記録する記録処理ステップと、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理ステップと、再生対象となるパノラマ画像の種類を指定するパノラマ画像指定ステップと、前記パノラマ画像指定ステップにより指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出ステップによって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理ステップと、この再生処理ステップによって読み出された複数の画像に基づいて前記パノラマ画像指定ステップにより指定された種類のパノラマ画像を順次作成して表示する表示ステップとを前記撮像装置が実行することを特徴とする。
【００１５】
本発明の請求項７に係るプログラムは、被写体を撮影する撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータを、前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影手段と、前記装置本体の向いている方向を示す方位情報を取得する方位検出手段と、前記撮影手段により得られた各画像を記録するとともに、各画像の撮影時に前記方位検出手段によって取得された方位情報を各画像のそれぞれに付加して記録する記録処理手段と、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理手段と、再生対象となるパノラマ画像の種類を指定するパノラマ画像指定手段と、前記パノラマ画像指定手段により指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出手段によって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理手段と、この再生処理手段によって読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示する表示手段として機能させることを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２０】
図１は本発明の撮像装置としてデジタルカメラを用いた場合の外観構成を示すもので、図１（Ａ）が主に前面の、図１（Ｂ）が主に背面の構成を示す斜視図である。
【００２１】
このデジタルカメラ１は、略矩形の薄板状ボディの前面に、撮影レンズ２、セルフタイマランプ３、光学ファインダ窓４、マイクロホン部５、ストロボ発光部６、及びラバーグリップ７を配設し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９を配する。
【００２２】
ラバーグリップ７は、ユーザが撮影時にデジタルカメラ１を右手で筐体右側面側から把持した場合に右手中指、薬指、及び小指が確実に該筐体を把持できるように配設されたゴム製の帯状突起である。
【００２３】
また、電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影モード時に撮影タイミングを指示する。
【００２４】
また、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）１０、スピーカ部１１、メニューキー１２、十字キー１３、セットキー１４、光学ファインダ１５、ストロボチャージランプ１６、及び表示部１７を配する。
【００２５】
モードスイッチ１０は、例えばスライドキースイッチにより構成され、基本モードである記録モード「Ｒ」と再生モード「Ｐ」とを切換える。
【００２６】
メニューキー１２は、各種メニュー項目等を選択させる際に操作する。本実施形態では、このメニューキー１２の操作により「パノラマモード」を設定する。「パノラマモード」は、カメラ向きを水平方向に変えながら複数枚の画像を撮影することにより、これらの画像を自動的に繋げて１つのパノラマ画像を作成するモードである。
【００２７】
十字キー１３は、上下左右各方向へのカーソル移動用のキーが一体に形成されたものであり、表示されているメニュー項目等を移動させる際に操作する。
【００２８】
セットキー１４は、前記十字キー１３の中心位置に配置され、その時点で選択されているメニュー項目内容等を設定するために操作する。
【００２９】
ストロボチャージランプ１６は、光学ファインダ１５に近接して配設されたＬＥＤランプでなり、このデジタルカメラ１のユーザが光学ファインダ１５を覗いている場合と表示部１７を見ている場合のいずれであってもストロボのチャージ状態等をユーザに視認させる。
【００３０】
表示部１７は、バックライト付きのカラー液晶パネルで構成されるもので、記録モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。
【００３１】
なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Universal Serial Bus）コネクタ等が設けられている。
【００３２】
また、このデジタルカメラ１には、方位センサ１８が組み込まれており、ユーザが本機器を手で持って、光学ファインダ１５をのぞき込むようにしてデジタルカメラ１を向けた方向、つまり、ユーザが被写体を見ている方角が検出されるようになっている。
【００３３】
図２は前記デジタルカメラ１の電子回路の構成を示すブロック図である。
【００３４】
基本モードである記録モードにおいては、モータ（Ｍ）２１の駆動により合焦位置や絞り位置が移動される、前記撮影レンズ２を構成するレンズ光学系２２の撮影光軸後方に配置された撮像素子であるＣＣＤ２３が、タイミング発生器（ＴＧ）２４、垂直ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。
【００３５】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換され、カラープロセス回路２８で画素補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ２９に出力される。
【００３６】
ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。
【００３７】
制御部３２は、ＣＰＵと、このＣＰＵが実行するプログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成される。この制御部３２はデジタルカメラ１全体の制御動作を司るもので、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書込む。
【００３８】
デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読出し、これらのデータを元にビデオ信号を発生して前記表示部１７に出力する。
【００３９】
この表示部１７は、上述した如く記録モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。
【００４０】
このように表示部１７にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、静止画撮影を行いたいタイミングでキー入力部３６を構成する前記シャッタキー９を操作すると、トリガ信号を発生する。制御部３２は、このトリガ信号に応じてその時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。
【００４１】
この記録保存の状態では、制御部３２がＤＲＡＭ３１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ（Joint Photograph coding Experts Group）回路３７に書込み、このＪＰＥＧ回路３７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００４２】
そして、得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着されるメモリカード３８、または、このデジタルカメラ１に固定的に内蔵される内蔵メモリ３９のいずれか一方に書込む。
【００４３】
そして、１フレーム分の輝度及び色差信号の圧縮処理及びメモリカード３８または内蔵メモリ３９への全圧縮データの書込み終了に伴なって、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。
【００４４】
また、制御部３２にはさらに、音声処理部４０、ＵＳＢインタフェース（Ｉ／Ｆ）４１、及びストロボ駆動部４２が接続されると共に、デジタルカメラ１を向けた方向を検出するための方位センサ１８が接続される。
【００４５】
音声処理部４０は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）５より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 audio layer 3）規格にしたがってデータ圧縮して音声データファイルを作成してメモリカード３８または内蔵メモリ３９へ送出する一方、音声の再生時にはメモリカード３８または内蔵メモリ３９から送られてきた音声データファイルの圧縮を解いてアナログ化し、前記スピーカ部（ＳＰ）１１を駆動して、拡声放音させる。
【００４６】
ＵＳＢインタフェース４１は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データその他の送受を行う場合の通信制御を行う。
【００４７】
ストロボ駆動部４２は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいて前記ストロボ発光部６を閃光駆動する。
【００４８】
なお、前記キー入力部３６は、上述したシャッタキー９の他に、前記電源キー８、モードスイッチ１０、メニューキー１２、十字キー１３及びセットキー１４等から構成され、それらのキー操作に伴なう信号は直接制御部３２へ送出される。
【００４９】
また、基本モードである再生モード時には、制御部３２がメモリカード３８または内蔵メモリ３９に記録されている画像データを選択的に読出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、その伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読出してビデオ信号を発生し、前記表示部１７で再生出力させる。
【００５０】
次に、図３および図４を参照して、このデジタルカメラ１を用いてパノラマ画像を作成する方法について説明する。
【００５１】
例えば、風景などを被写体としてパノラマ画像を作成する場合において、図３に示すように、被写体に対するデジタルカメラ１の向き（角度）を変えながら複数枚の画像Ａ，Ｂ，Ｃ…を撮影する。この場合、被写体に対する撮影可能な範囲はデジタルカメラ１の画角範囲と焦点位置との関係によって決まる。図３の例では、デジタルカメラ１を「北」、「北東」、「東」、「東南」、「南」、「南西」、「西」、「西東」に向けて撮影することで、３６０度のパノラマ画像を作成する場合が示されている。
【００５２】
ここで、デジタルカメラ１を各方角に向けて撮影を行ったときに、方位センサ１８によって、そのデジタルカメラ１を向けた方角が検出されるようになっている。なお、前記デジタルカメラ１を向けた方角とは、詳しくは、デジタルカメラ１の装置本体の前面部にある撮影レンズ２を被写体に向けた方角を言う。
【００５３】
前記方位センサ１８は、例えば磁気センサからなり、センサ内部に直交して巻かれた２組のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）を有する。ＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する性質を持っている。これを利用して、２組のコイルによってＭＲ素子の抵抗変化を２方向の成分に分け、これにより得られた電圧信号をマイクロプロセッサで演算処理することで方位を測定する。本実施形態では、方位センサ１８からデジタル化された電圧信号が出力され、これを制御部３２が受けて演算処理するものとする。
【００５４】
なお、前記方位センサ１８として、ＧＰＳ（global positioning system）を利用したものもある。これは、ＧＰＳコンパスと呼ばれるもので、２つのアンテナの相対的な位置関係から方位を測定するように構成されている。
【００５５】
このような方位センサ１８により撮影時のカメラ向きが検出されると、そのカメラ向きを示す方位情報が図４に示すように撮影画像に付加され、メモリカード３８または内蔵メモリ３９に記録される。すなわち、例えばユーザがデジタルカメラ１を北に向けて撮影すれば、そのときに得られる画像Ａに北向きであることを示す方位情報が付加されてメモリカード３８または内蔵メモリ３９に記録される。このようにして、デジタルカメラ１の向きを変えて撮影した複数枚の画像Ａ，Ｂ，Ｃ…のそれぞれに方位情報が付加されて、１つの連続したパノラマ画像が作成されることになる。
【００５６】
また、このパノラマ画像の再生時には、デジタルカメラ１を向けた方角に対応した画像がメモリ（メモリカード３８または内蔵メモリ３９）から読み出されて表示部１７に表示される。例えば、デジタルカメラ１を北に向ければ、パノラマ画像を構成する各画像Ａ，Ｂ，Ｃ…のうちの北方向の画像Ａが表示部１７に表示される。
【００５７】
以下に、このデジタルカメラ１によるパノラマ画像に関する処理動作について、（ａ）記録モード時の処理と、（ｂ）再生モード時の処理に分けて説明する。なお、以下の各フローチャートで示される処理はデジタルカメラ１に搭載された制御部３２により実行されるものであり、この制御部３２は図示せぬＲＯＭなどに記憶されたプログラムを読み込むことで、そのプログラムに記述された手順に従って処理を実行する。
【００５８】
（ａ）記録モード時
図５はデジタルカメラ１の記録処理の動作を示すフローチャートであり、パノラマ画像を構成する各画像を記録する場合の処理手順が示されている。
【００５９】
パノラマ画像を作成するため、まず、モードスイッチ１０の操作により動作モードを記録モード「Ｒ」に切り替え、続いてメニューキー１２の操作により「パノラマモード」を設定しておく（ステップＡ１１，Ａ１２）。
【００６０】
この状態で、デジタルカメラ１の撮影レンズ２を被写体に向けてシャッタキー９を押下すると（ステップＡ１３のＹｅｓ）、所定の画角範囲内で撮影レンズ２に写る被写体の画像が撮影データとして得られる（ステップＡ１４）。なお、撮影中は表示部１７が電子ビューファインダとして機能しており、その画面上に現在の撮影対象が表示されている。
【００６１】
ここで、ユーザがシャッタキー９の押下により撮影を行ったとき、デジタルカメラ１を向けた方角が方位センサ１８により検出され（ステップＡ１５）、そのカメラ方向を示す方位情報が当該撮影画像に付加されて所定のメモリに記録される（ステップＡ１６）。前記所定のメモリとは、本実施形態ではメモリカード３８または内蔵メモリ３９のいずれか一方であり、ここでは便宜的にメモリカード３８に記録されるものとして説明する。
【００６２】
以下同様にして、デジタルカメラ１の向きを変えながら複数枚の画像が撮影され、これらの画像毎にそのときのカメラ向きを示す方位情報が付加されてメモリカード３８に順次記録されていく。その際、２枚目からの画像の撮影時には、直前に撮影した画像がメモリカード３８から読み出され、その画像の一部が現在の撮影対象に重なるように表示部１７の画面上に半透明の状態で表示される（ステップＡ１８）。これにより、次に撮影する画像を前の画像と方角的に繋がるように撮影することができる。
【００６３】
また、ユーザが電源をオフするなどの所定の操作により記録終了を明示的に指示した時点で（ステップＡ１７のＹｅｓ）、ここでの記録処理が終了する。
【００６４】
このようにしてデジタルカメラ１の向きを変えながら複数枚の画像を撮影することで、メモリカード３８の中にはこれらの画像が１つの連続したパノラマ画像として記録される。
【００６５】
図６乃至図９に具体例を示す。
【００６６】
今、例えば北方向、北東方向、東方向の３枚の撮影画像からなるパノラマ画像を作成する場合を想定して説明する。図６は北方向撮影時に表示部１７に表示される画像の一例、図７は北東方向撮影時に表示部１７に表示される画像の一例、図８は東方向撮影時に表示部１７に表示される画像の一例を示している。また、図９はこれらの撮影画像をつなぎ合わせて作成されたパノラマ画像の一例を示している。
【００６７】
まず、パノラマ画像の構成画像となる１枚目の画像を撮影するべく、図６に示すように、デジタルカメラ１を北方向に向けてシャッタキー９を押す。これにより、デジタルカメラ１の画角範囲内で北方向の画像が得られる。このとき、例えば磁気センサからなる方位センサ１８によって、デジタルカメラ１を向けた方角が検出され、その方角（この場合、北方向）を示す方位情報が当該撮影画像に付加されてメモリカード３８に保存される。
【００６８】
次に、パノラマ画像の構成画像となる２枚目の画像を撮影するべく、デジタルカメラ１を北東方向に向ける。その際、デジタルカメラ１を向けた方角に合わせて、図７に示すように、直前に撮った画像の一部が電子ビューファンダとして機能している表示部１７に半透明の状態で表示される。図７において、図中の点線で示す画像が直前の撮影画像であり、ここではデジタルカメラ１を北方向に向けて撮影した後に、続けてデジタルカメラ１を北東方向に向けたので、その直前に撮った画像として北方向の画像がメモリカード３８から読み出され、当該画像の右端部分が半透明状態で表示部１７に表示される。
【００６９】
なお、例えば北方向の画像を撮影した後、表示部１７を北東方向ではなく、西東方向に向けたとしたら、直前の撮影画像である北方向の画像の左端が半透明の状態で表示されることになる。
【００７０】
また、撮影済みの各画像のどの画像を半透明の状態で表示するのかはメニューキー１２の操作等によりユーザが任意に選択でき、また、その表示範囲もユーザが任意に選択できるものとする。
【００７１】
しかして、図７に示しように、直前に撮った北方向の画像の一部が表示された状態で、デジタルカメラ１を北東方向に向け、前記北方向の画像の一部に北東方向の画像を合わせるように撮影範囲を定めてからシャッタキー９を押す。これにより、既に撮影済みの北方向の画像に綺麗に繋がる北東方向の画像が得られる。また、このときも方位センサ１８にて撮影時にデジタルカメラ１を向けた方角が検出され、その方角（この場合、北東方向）を示す方位情報が当該撮影画像に付加されてメモリカード３８に保存される。
【００７２】
３枚目についても同様であり、図８に示すように、デジタルカメラ１を東方向に向け、直前に撮った北東方向の画像の一部に東方向の画像を合わせるように撮影範囲を定めてシャッタキー９を押す。これにより、既に撮影済みの北東方向の画像に綺麗に繋がる東方向の画像が得られる。また、このときも方位センサ１８にて撮影時にデジタルカメラ１を向けた方角が検出され、その方角（この場合、東方向）を示す方位情報が当該撮影画像に付加されてメモリカード３８に保存される。
【００７３】
このようにして、パノラマ画像を構成する３枚分の画像が撮影されると、これらの画像は図９に示すように１つの連続したパノラマ画像としてメモリカード３８に記録される。
【００７４】
なお、ここでは説明を簡単にするために１種類のパノラマ画像を作成する場合について説明するが、複数種類のパノラマ画像を作成する場合には、各パノラマ画像毎に識別情報を当該パノラマ画像を構成する各画像に共通に付加しておく。例えば、３種類のパノラマ画像を作成する場合であれば、１枚目のパノラマ画像を構成する各画像に対して「ＮＯ．１」といった識別情報、２枚目のパノラマ画像を構成する各画像に対して「ＮＯ．２」といった識別情報、３枚目のパノラマ画像を構成する各画像に対して「ＮＯ．３」といった識別情報をそれぞれ付加しておく。これにより、再生時には、例えばユーザが所望のパノラマ画像を例えばメニュー画面上で選択した際に、その選択したパノラマ画像の識別情報に基づいて当該パノラマ画像の各画像を表示対象としてメモリカード３８から読み出すことができる。
【００７５】
（ｂ）再生モード時
次に、再生モード時の動作について説明する。
【００７６】
図１０はデジタルカメラ１の再生処理の動作を示すフローチャートであり、パノラマ画像を再生する場合の処理手順が示されている。なお、ここで言うパノラマ画像の再生とは、所定のメモリからパノラマ画像を構成する各画像を読み出して表示部１７の画面上に表示することを意味する。また、前記所定のメモリは記録時と同様にメモリカード３８であるとする。このメモリカード３８には、パノラマ画像を構成する各画像のデータが方位情報と共に記録されている。
【００７７】
図１０に示すように、パノラマ画像を再生する場合には、まず、モードスイッチ１０の操作により動作モードを再生モード「Ｐ」に切り替え、続いてメニューキー１２の操作により「パノラマモード」を設定しておく（ステップＢ１１，Ｂ１２）。
【００７８】
ここで、通常は、カーソルキーの操作などによりパノラマ画像を構成する各画像を順次表示する方式が用いられるが、本実施形態では、デジタルカメラ１を任意の方角に向けるだけで、パノラマ画像の中でその方角に対応した画像を表示することができる。
【００７９】
すなわち、前記「パノラマモード」が設定された状態で、ユーザがデジタルカメラ１を任意の方角に向けると、そのときの方角が方位センサ１８により検出される（ステップＢ１３）。そして、前記方位センサ１８により検出されたカメラ向きを示す方位情報に基づいてメモリカード３８が検索され（ステップＢ１４）、そのカメラ向きに対応した画像を中心にして当該パノラマ画像の一部が表示部１７に表示される（ステップＢ１５→Ｂ１７）。
【００８０】
また、デジタルカメラ１を別の方角に向ければ（ステップＢ１８のＮｏ）、前記同様にして、そのときのデジタルカメラ１の向きが検出され、そのカメラ向きに対応した画像を中心にして当該パノラマ画像の一部が表示部１７に表示される。
【００８１】
具体的に説明すると、例えば、図９に示したパノラマ画像を再生する場合であれば、ユーザがデジタルカメラ１を北方向に向けたとき、詳しくは、ユーザがデジタルカメラ１の裏面に設けられた表示部１７を見るようにして、そのデジタルカメラ１の前面部（撮影レンズ２が設置された面）を北方向に向けると、図６のような北方向の画像が表示部１７に表示されることになる。
【００８２】
同様に、デジタルカメラ１を北東方向に向けたときには、図７のような北東方向の画像が表示部１７に表示され、また、デジタルカメラ１を東方向に向けたときには、図８のような東方向の画像が表示部１７に表示される。
【００８３】
ここで、デジタルカメラ１を向けた方角に対応した画像がメモリカード３８になかった場合には（ステップＢ１５のＮｏ）、その両隣の方角の撮影画像から当該方角の画像が生成されて（ステップＢ１６）、その画像がパノラマ画像の一部として表示部１７に表示される（ステップＢ１７）。
【００８４】
すなわち、前記の例で言えば、北方向を向いて撮影した画像、北東方向を向いて撮影した画像、東方向を向いて撮影した画像の３枚から構成されるパノラマ画像の再生中に、ユーザがデジタルカメラ１を北北東に向けた場合には、図１１（ａ）に示すように、そのパノラマ画像上で北方向を向いて撮影した画像の中心点Ｐａと北東方向を向いて撮影した画像の中心点Ｐｂとを結ぶ線分の中点Ｐａ＋ｂを求める。そして、図１１（ｂ）に示すように、パノラマ画像の中で前記中点Ｐａ＋ｂを中心とする所定の範囲Ｌ内の画像を北北東の画像としてメモリカード３８から読み出して表示部１７に表示する。
【００８５】
この動作は連続的に行われる。すなわち、例えばデジタルカメラ１の向きを北方向から東北方向へ連続的に変えれば、表示部１７に表示されるパノラマ画像も北方向に向けた撮影した画像から東北方向に向けた画像へと、パノラマ画像の表示が連続的に変化することになる。
【００８６】
また、ユーザが電源をオフするなどの所定の操作により再生終了を明示的に指示した時点で（ステップＢ１８のＹｅｓ）、ここでの再生処理が終了する。
【００８７】
このように、パノラマ画像を再生する場合において、ユーザがデジタルカメラ１を任意の方角に向ければ、その方角に対応した画像が当該パノラマ画像の一部として表示される。したがって、従来方式のようにパノラマ画像をスクロールキーの操作により順次表示するものと違って、面倒なキー操作が不要であり、デジタルカメラ１の向きを変えるだけでパノラマ画像を連続して見ることができる。例えば、図３に示すように３６０度のパノラマ画像を撮影した場合であれば、再生時に同じようにデジタルカメラ１を水平方向に３６０度回転させることで、実際に周囲を見回している感覚で各方角の画像を連続して見ることができる。
【００８８】
なお、前記実施形態では、パノラマ画像の再生時において、デジタルカメラ１を向けた方角に対応した画像を表示するようにしたが、方角には関係なく、ユーザがデジタルカメラ１を向けた角度に応じてパノラマ画像の表示を切り替えることでも良い。
【００８９】
すなわち、前記実施形態では、デジタルカメラ１を北方向に向けたときには、北向きの画像を中心にしてパノラマ画像を表示したが、最初に表示する画像はそのときのカメラ向きに関係なく、例えば当該パノラマ画像の中心にある画像を基準画像として表示した後、その位置からデジタルカメラ１を向けた角度に応じて、前記基準画像を元にして表示する部分を変化させる。例えば、まず最初に北東方向の画像（図７）を基準画像として表示し、この状態でユーザがデジタルカメラ１を右方向に４５度回転させた場合には東方向の画像（図８）を表示し、左方向に４５度回転させた場合には北方向の画像（図６）を表示する。
【００９０】
図１２にこのときの再生動作を示す。まず、モードスイッチ１０の操作により動作モードを再生モード「Ｐ」に切り替え、続いてメニューキー１２の操作により「パノラマモード」を設定しておく（ステップＣ１１，Ｃ１２）。
【００９１】
ここで、ユーザがデジタルカメラ１を任意の方角に向けた状態で、予め表示対象として指定されたパノラマ画像の中の所定の画像が基準画像として表示部１７に表示される（ステップＣ１３）。前記所定の画像とは、上述したように例えばパノラマ画像の中心部分に当たる画像である。
【００９２】
この状態で、ユーザがデジタルカメラ１の向きを変えたことが方位センサ１８により検出されると（ステップＣ１４のＹｅｓ）、変更前の方角と変更後の方角に基づいてユーザがデジタルカメラ１をどちら向きに何度が動かしたのかが求められる（ステップＣ１５）。この場合、例えば変更前の方角が北東であり、変更後の方角が東であったならば、デジタルカメラ１を右回りに４５度動かしたことが判る。また、変更後の方角が北であったならば、デジタルカメラ１を左回りに４５度動かしたことが判る。
【００９３】
このようにして、デジタルカメラ１を動かした方向とその変更角度が求められると、当該パノラマ画像の中で前記基準画像の中心位置からデジタルカメラ１の変更方向に変更角度分だけずらした位置が新たに表示する画像の中心として定められ（ステップＣ１６）、メモリカード３８の中から該当する部分の画像が読み出されて表示部１７に表示される（ステップＣ１７）。
【００９４】
以下同様に、再生終了の指示があるまで（ステップＣ１８のＮｏ）、デジタルカメラ１の向きの変化に連動させて当該パノラマ画像を構成する各画像が連続的に表示部１７に表示される。
【００９５】
このように、デジタルカメラ１の向きの変化に対応させてパノラマ画像の表示を変化させることでも、従来のような面倒なスクロール操作を不要として、パノラマ画像を構成する各画像を連続して見ることができる。
【００９６】
（画像再生システム）
次に、図１３および図１４を参照して前記デジタルカメラ１を利用した画像再生システムについて説明する。
【００９７】
図１３はその画像再生システムの構成を示すブロック図であり、本システムは前記デジタルカメラ１に接続されるサーバ５１、そのサーバ５１の持つデータベース（ＤＢ）５２、そして、画像再生装置５３および複数の表示装置５４ａ、５４ｂ、５４ｃ…からなる。
【００９８】
サーバ５１は、デジタルカメラ１にて撮影されたパノラマ画像の各画像をこれらに付加された方位情報と共に受信してデータベース５２に保存する。なお、サーバ５１とデジタルカメラ１との接続形態は有線であっても無線であっても良い。サーバ５１と画像再生装置５３との接続形態についても同様であり、有線であっても無線であっても良い。有線には、インターネット等の通信ネットワークを含む。また、無線としては、赤外線の他に、例えばＢｌｕｅｔｏｏｔｈ（Ｒ）などの近距離無線通信システムを含む。前記Ｂｌｕｅｔｏｏｔｈ（Ｒ）は、短距離の無線通信規格に準じた無線通信システムであり、例えば２．４５ＧＨｚのＩＳＭ（Industrial Scientific Medical）帯の無線電波を用いて約１０ｍの無線通信を実現するものである。
【００９９】
サーバ５１は、外部から表示要求があったときなど、所定のタイミングでデータベース５２から前記デジタルカメラ１で撮影されたパノラマ画像の各画像を読み出し、これらを画像再生装置５３に送る。上述したように各画像には方位情報が付加されており、画像再生装置５３はその方位情報に基づいて各画像を表示装置５４ａ、５４ｂ、５４ｃ…に転送することで、これらの画像を方位別に分けて同時に表示する。
【０１００】
すなわち、例えば北方向の画像、北東方向の画像、東方向の画像の３方向からなるパノラマ画像であれば、画像再生装置５３はそのパノラマ画像の北方向の画像を表示装置５４ａ、北東方向の画像を表示装置５４ｂ、東方向の画像を表示装置５４ｃに送って、これらの画像を同時に表示する。
【０１０１】
このように、本システムによれば、デジタルカメラ１とは離れた別の場所にて、そのデジタルカメラ１で撮影されたパノラマ画像を見ることができる。この場合、図１４に示すように表示装置５４ａ、５４ｂ、５４ｃ…を各方位毎に円を描くように並べておけば、３６０度のパノラマ画像をその円の中心から眺め回して見ることができる。
【０１０２】
なお、前記実施形態では、電子機器としてデジタルカメラを例にして説明したが、本発明はこれに限るものでなく、例えばカメラ付きの携帯電話やＰＤＡ（Personal Digital Assistant）など、撮影機能を備えた電子機器であれば全てに適用可能である。
【０１０３】
その他、本発明は前記実施形態に限らず、その要旨を逸脱しない範囲で種々に変形して実施することが可能である。
【０１０４】
更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態で示される全構成要件から幾つかの構成要件が削除されても、「発明が解決しようとする課題」で述べた効果が解決でき、「発明の効果」の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１０５】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【０１０６】
また、記録媒体としては、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の他にも、例えば、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（Ｒ）やＡＯＤ(Advanced Optical Disc)などの青色レーザを用いた次世代光ディスク、赤色レーザを用いるHD-DVD9、青紫色レーザを用いるＢｌｕｅ Ｌａｓｅｒ ＤＶＤなど、今後開発される種々の大容量記録媒体を用いて本発明を実施することが可能である。
【０１０７】
【発明の効果】
以上詳記したように本発明によれば、デジタルカメラなどからなる撮像装置において、その装置本体の向き（つまりカメラの向き）を変えながら複数枚の画像からなるパノラマ画像を作成した場合に、そのパノラマ画像の各画像に撮影時のカメラ向きを示す方位情報が付加されるので、各画像がどの方角から撮ったものであるかを知ることができる。
【０１０８】
また、これらの画像の再生時には、装置本体を任意の方角に向けることにより、その方角に対応した画像が表示されるので、従来のような面倒なスクロール操作を必要とせずにパノラマ画像の表示切替えを簡単に行うことができる。さらに、装置本体のカメラの動きに合わせてパノラマ画像の各画像が連続的に表示されるため、実際に周囲を見回しているような感覚でパノラマ画像を見ることができる。
【０１０９】
更に、複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録し、再生対象となるパノラマ画像の種類が指定された場合に、この指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に取得される方位情報に対応する画像を装置本体の動きに連動させて順次読み出し、この読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示するようにしたので、パノラマ画像を構成する複数の画像を記録しておくだけで、所望の種類のパノラマ画像を再生して表示させることが可能となり、今までの機器にない画像の楽しみ方ができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子機器としてデジタルカメラを用いた場合の外観構成を示す斜視図。
【図２】前記デジタルカメラの電子回路の構成を示すブロック図。
【図３】前記デジタルカメラを用いて３６０度のパノラマ画像を作成する方法を説明するための図。
【図４】前記デジタルカメラによって撮影されたパノラマ画像の各画像の記録方法を説明するための図。
【図５】前記デジタルカメラによるパノラマ画像の記録処理の動作を示すフローチャート。
【図６】前記デジタルカメラの記録モード時に表示部に表示される画像の一例を示す図。
【図７】前記デジタルカメラの記録モード時に表示部に表示される画像の一例を示す図。
【図８】前記デジタルカメラの記録モード時に表示部に表示される画像の一例を示す図。
【図９】前記デジタルカメラにて撮影された複数枚の画像をつなぎ合わせて作成されたパノラマ画像の一例を示す図。
【図１０】前記デジタルカメラによるパノラマ画像の再生処理の動作を示すフローチャート。
【図１１】前記デジタルカメラを向けた方向に対応した画像の生成方法を説明するための図。
【図１２】前記デジタルカメラの他の再生処理の動作を示すフローチャート。
【図１３】前記デジタルカメラを利用した画像再生システムの構成を示すブロック図。
【図１４】前記画像再生システムにおける各表示装置の配置例を示す図。
【図１５】従来のデジタルカメラにおけるパノラマ画像の再生時の操作方法を説明するための図。
【符号の説明】
１…デジタルカメラ
２…撮影レンズ
３…セルフタイマランプ
４…光学ファインダ窓
５…マイクロホン部（ＭＩＣ）
６…ストロボ発光部
７…ラバーグリップ
８…電源キー
９…シャッタキー
１０…モードスイッチ（ＳＷ）
１１…スピーカ部（ＳＰ）
１２…メニューキー
１３…十字キー
１４…セットキー
１５…光学ファインダ
１６…ストロボチャージランプ
１７…表示部
１８…方位センサ
Claims (7)
- 被写体を撮影する撮像装置であって、
前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影手段と、
前記装置本体の向いている方向を示す方位情報を取得する方位検出手段と、
前記撮影手段により得られた各画像を記録するとともに、各画像の撮影時に前記方位検出手段によって取得された方位情報を各画像のそれぞれに付加して記録する記録処理手段と、
複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理手段と、
再生対象となるパノラマ画像の種類を指定するパノラマ画像指定手段と、
前記パノラマ画像指定手段により指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出手段によって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理手段と、
この再生処理手段によって読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示する表示手段と
を具備したことを特徴とする撮像装置。 - 前記撮影手段は、すでに撮影した画像の一部を現在の撮影対象に重なるように半透明状態で表示することを特徴とする請求項１記載の撮像装置。
- 前記再生処理手段は、前記記録処理手段によって記録された複数の画像のうちの１つを基準画像として表示した後、その基準画像を起点にして前記装置本体が向けられた角度に応じた画像を当該複数の画像の中から読み出して表示することを特徴とする請求項１記載の撮像装置。
- 前記方位検出手段は、前記装置本体の向いている方角を示す方位情報を取得することを特徴とする請求項１記載の撮像装置。
- 前記方位検出手段は、前記装置本体が最初に向いていた方向からの変化量を示す方位情報を取得することを特徴とする請求項１記載の撮像装置。
- 被写体を撮影する撮像装置による撮影画像処理方法であって、
前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影ステップと、
前記装置本体の向いている方向を示す方位情報を取得する方位検出ステップと、
前記撮影ステップにより得られた各画像を記録するとともに、各画像の撮影時に前記方位検出ステップによって取得された方位情報を各画像のそれぞれに付加して記録する記録処理ステップと、
複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理ステップと、
再生対象となるパノラマ画像の種類を指定するパノラマ画像指定ステップと、
前記パノラマ画像指定ステップにより指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出ステップによって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理ステップと、
この再生処理ステップによって読み出された複数の画像に基づいて前記パノラマ画像指定ステップにより指定された種類のパノラマ画像を順次作成して表示する表示ステップと
を前記撮像装置が実行することを特徴とする画像処理方法。 - 被写体を撮影する撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータを、
前記被写体に対する装置本体の向きを変えながら複数枚の画像を得る撮影手段と、
前記装置本体の向いている方向を示す方位情報を取得する方位検出手段と、
前記撮影手段により得られた各画像を記録するとともに、各画像の撮影時に前記方位検出手段によって取得された方位情報を各画像のそれぞれに付加して記録する記録処理手段と、
複数種類のパノラマ画像の各々を構成する各画像に対して、該パノラマ画像の種類を識別する識別情報を付加して記録するパノラマ画像管理手段と、
再生対象となるパノラマ画像の種類を指定するパノラマ画像指定手段と、
前記パノラマ画像指定手段により指定されたパノラマ画像の種類に対応する識別情報が付加されている複数の画像の中で、該パノラマ画像の再生中に前記方位検出手段によって取得される方位情報に対応する方位情報を有する画像を前記装置本体の動きに連動させて順次読み出す再生処理手段と、
この再生処理手段によって読み出された複数の画像に基づいて前記パノラマ画像指定手段により指定された種類のパノラマ画像を順次作成して表示する表示手段と
して機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003188356A JP4324728B2 (ja) | 2003-06-30 | 2003-06-30 | 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003188356A JP4324728B2 (ja) | 2003-06-30 | 2003-06-30 | 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005026859A JP2005026859A (ja) | 2005-01-27 |
| JP4324728B2 true JP4324728B2 (ja) | 2009-09-02 |
Family
ID=34186925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003188356A Expired - Fee Related JP4324728B2 (ja) | 2003-06-30 | 2003-06-30 | 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4324728B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160037134A1 (en) * | 2014-07-31 | 2016-02-04 | Todd MEDEMA | Methods and systems of simulating time of day and environment of remote locations |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4479829B2 (ja) * | 2008-04-03 | 2010-06-09 | ソニー株式会社 | 撮像装置及び撮像方法 |
| JP5279326B2 (ja) * | 2008-04-15 | 2013-09-04 | キヤノン株式会社 | 再生装置及びその制御方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体 |
| JP5347716B2 (ja) | 2009-05-27 | 2013-11-20 | ソニー株式会社 | 画像処理装置、情報処理方法およびプログラム |
| JP5253300B2 (ja) * | 2009-06-03 | 2013-07-31 | キヤノン株式会社 | 表示制御装置、表示装置の制御方法、プログラム、記憶媒体 |
| JP2011070312A (ja) | 2009-09-24 | 2011-04-07 | Casio Computer Co Ltd | 画像表示装置及び方法並びにプログラム |
| JP5446794B2 (ja) | 2009-12-04 | 2014-03-19 | ソニー株式会社 | 撮像装置、およびデータ処理方法、並びにプログラム |
| JP5663934B2 (ja) * | 2010-04-09 | 2015-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP5452412B2 (ja) * | 2010-08-04 | 2014-03-26 | 株式会社Ｎｔｔドコモ | 電子装置および画像出力方法 |
| US9241144B2 (en) | 2011-03-21 | 2016-01-19 | Intel Corporation | Panorama picture scrolling |
| JP2013054318A (ja) * | 2011-09-06 | 2013-03-21 | Nikon Corp | 画像表示装置 |
| WO2018157464A1 (zh) * | 2017-03-03 | 2018-09-07 | 华为技术有限公司 | 一种图像显示方法及电子设备 |
| CN115187529B (zh) * | 2022-06-24 | 2024-06-21 | 长春理工大学 | 一种使用连续全景图像测量车辆转向角度的方法及系统 |
-
2003
- 2003-06-30 JP JP2003188356A patent/JP4324728B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160037134A1 (en) * | 2014-07-31 | 2016-02-04 | Todd MEDEMA | Methods and systems of simulating time of day and environment of remote locations |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005026859A (ja) | 2005-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017221659A1 (ja) | 撮像装置、表示装置、及び撮像表示システム | |
| JP4569389B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP4324728B2 (ja) | 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム | |
| JP4697078B2 (ja) | 撮像装置及びそのプログラム | |
| JP2018007041A (ja) | 撮像装置、表示装置、及び撮像表示システム | |
| JP4259339B2 (ja) | 撮像装置、撮影条件設定方法及びプログラム | |
| JP2006319541A (ja) | 撮像装置、動画処理方法及びプログラム | |
| JP4701709B2 (ja) | 投影システム及び同システムに用いられる付加情報記録方法 | |
| JP2013135459A (ja) | 撮影装置とその制御方法及びプログラム | |
| JP4424035B2 (ja) | 撮像装置、この撮像装置に用いられる音声入力制御方法及びプログラム | |
| JP2007089075A (ja) | 撮像装置、ナビゲーション装置、及び位置情報記憶システム | |
| JP4678273B2 (ja) | 撮像装置、動画記憶方法および動画記憶プログラム | |
| JP4438332B2 (ja) | 電子機器、この電子機器に用いられるモニタ表示方法及びプログラム | |
| JP2006186930A (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP6704301B2 (ja) | 撮像装置、及び撮像表示システム | |
| JP5088051B2 (ja) | 電子カメラおよびプログラム | |
| JP4535089B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP7101285B2 (ja) | 表示装置 | |
| JP7024018B2 (ja) | 撮像表示方法 | |
| JP2005229370A (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP2006094200A (ja) | 撮像装置、合焦表示方法及びプログラム | |
| JP2006094202A (ja) | 撮像装置、合焦処理方法及びプログラム | |
| JP4654677B2 (ja) | 撮像装置、画像パラメータ設定方法及びプログラム | |
| JP4269890B2 (ja) | 撮像装置、画像処理方法、プログラム及び画像印刷システム | |
| JP2006237713A (ja) | 撮像装置、マーク作成方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |