WO2011064918A1

WO2011064918A1 - 画像データ作成支援装置および画像データ作成支援方法

Info

Publication number: WO2011064918A1
Application number: PCT/JP2010/004774
Authority: WO
Inventors: 大場章男; 山岸建; 勢川博之; 稲田徹悟
Original assignee: 株式会社ソニー・コンピュータエンタテインメント
Priority date: 2009-11-24
Filing date: 2010-07-27
Publication date: 2011-06-03
Also published as: CN102668585B; JP2011114401A; EP2506219A4; US8670046B2; EP2506219B1; US20120281119A1; JP5340895B2; CN102668585A; EP2506219A1

Abstract

　ユーザは撮影モードを選択する入力を行う（Ｓ１０）。そしてユーザはターゲット画像としてターゲットを所望のズーム倍率で撮影する（Ｓ１２）。撮影装置は、当該ターゲット画像を起点として撮影すべき画像のズーム倍率を決定し、決定したズーム倍率へズームアウトさせながら画像を撮影する（Ｓ１４、Ｓ１６）。ズーム倍率の変更および撮影の処理を、決定したズーム倍率のうち最小のズーム倍率となるまで繰り返し（Ｓ１８のＮ、Ｓ１４、Ｓ１６）、最小のズーム倍率の画像を撮影し終えたら（Ｓ１８のＹ）、各画像のズーム倍率、画像の相対位置情報を含むメタデータを作成し、撮影した画像のデータに対応させて記憶部に格納する（Ｓ２０）。

Description

画像データ作成支援装置および画像データ作成支援方法

　本発明は、表示画像の拡大縮小を行う画像処理技術において使用する画像データの作成支援装置および作成支援方法に関する。

　ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。

　一方、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。

米国特許第６５６３９９９号公報

　近年は携帯端末などでも表示画面のサイズが拡大し、情報処理装置の種類によらず高精細画像を表示することが可能となってきている。そのため視覚に訴える様々なコンテンツがより身近なものとなった。同時に、魅力のあるコンテンツを作成したいという要求も強くなっている。しかしながら、例えば上述の階層構造を有する画像データを用いて画像表示コンテンツを作成するような場合、効果的な演出をしようと思うほど、素材画像の取得やコンテンツデータの生成が複雑化し、専門的な知識や手間が必要となる、という問題があった。

　本発明はこのような課題に鑑みてなされたものであり、その目的は、様々な表現を可能とする画像のデータを容易に作成することのできる技術を提供することにある。

　本発明のある態様は画像データ作成支援装置に関する。この画像データ作成支援装置は、表示画像を拡大縮小する際、所定の縮尺率で表示に用いる画像のデータを、異なるズーム倍率で撮影した複数の画像のデータ間で切り替える表示装置が用いる画像データの作成を支援する装置であって、ユーザから、対象物の画像の所望のズーム倍率を指定する入力を受け付ける入力情報取得部と、入力情報取得部が受け付けた、ユーザが指定したズーム倍率を起点として、表示に用いる複数のズーム倍率で、対象物を含む複数の画像を撮影する撮影部と、撮影部が撮影した複数の画像を関連づけるとともに、表示時の切り替え順および切り替えのタイミングを決定づける、各画像のズーム倍率をメタデータとして取得し、画像のデータに付加して記憶装置に格納するメタデータ作成部と、を備えることを特徴とする。

　本発明の別の態様は画像データ作成支援方法に関する。この画像データ作成支援方法は、表示画像を拡大縮小する際、所定の縮尺率で表示に用いる画像のデータを、異なるズーム倍率で撮影した複数の画像のデータ間で切り替える表示装置が用いる画像データの作成を支援する方法であって、ユーザから、対象物の画像の所望のズーム倍率を指定する入力を受け付けるステップと、ユーザが指定したズーム倍率を起点として、表示に用いる複数のズーム倍率で、対象物を含む複数の画像を撮影装置で撮影するステップと、撮影した複数の画像を関連づけるとともに、表示時の切り替え順および切り替えのタイミングを決定づける、各画像のズーム倍率をメタデータとして取得するステップと、複数の画像をズーム倍率順に階層化したうえ、各画像を解析して、画像に写る同一の物の特徴点を抽出し、各階層の画像を拡縮させてサイズを揃えたとき当該特徴点の位置が一致するように位置合わせを行った階層データを、画像データとして作成して記憶装置に格納するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、様々な表現が可能な画像データの作成がユーザの負担を最小限に実現できる。

本発明の実施の形態にかかる画像処理システムの使用環境を示す図である。図１の画像処理システムに適用できる入力装置の外観構成を示す図である。本実施の形態において使用する画像データの階層構造例を示す図である。本実施の形態で生成する画像データを表示する画像処理装置の構成を示す図である。本実施の形態において生成対象となる複数の階層データの関係を模式的に示す図である。本実施の形態の、画像データ作成支援を行う撮影装置の使用形態を例示する図である。本実施の形態における撮影装置の構成を詳細に示す図である。本実施における画像データ作成支援手法の基本的な態様を説明するための図である。本実施の形態において階層データを作成するための画像撮影を支援する処理手順の例を示すフローチャートである。本実施の形態において階層データを作成する処理手順を示すフローチャートである。本実施の形態において階層データを作成するための画像撮影を支援する処理の別の例を説明するための図である。本実施の形態において画像撮影を支援する処理の手順を示すフローチャートである。図１２のＳ３４でディスプレイに表示する画面の構成例を示す図である。本実施の形態において、ユーザがターゲット画像を選択する態様でディスプレイに表示する画面の構成例を示す図である。図１４で説明した画像撮影を支援する処理の手順を示すフローチャートである。

　本実施の形態で作成する画像データは、複数の解像度の画像、または複数のズーム倍率で撮影した画像のデータを階層化してなる階層構造を有する。そこでまず、階層構造を有する画像データを表示する機構について説明する。

　図１は、本発明の実施の形態で生成する画像データを表示する画像処理システムの構成例を示す。画像処理システム１は、画像表示に係る処理を実施する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。

　画像処理システム１において、画像処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、階層化された圧縮画像のデータを含むコンテンツのソフトウェアなどをダウンロードして取得してもよい。なお画像処理装置１０は、無線通信により外部ネットワークに接続してもよい。画像処理装置１０は、ゲーム装置やパーソナルコンピュータなどであってもよく、ソフトウェアを各種記録媒体からロードすることで後述する機能を実現してもよい。なお画像処理装置１０は、以後に述べる画像表示以外の処理、例えば音声処理、ゲームの実行、ネットワークへの接続などを行う機能を有していてよい。

　ユーザが、表示装置１２に表示された画像を見ながら、表示領域の拡大／縮小、上下左右方向へのスクロールを要求する入力を入力装置に対して行うと、入力装置はそれに応じて、表示領域の移動および拡大縮小の要求信号を画像処理装置１０に送信する。画像処理装置１０は当該信号に応じて、表示装置１２の画面内の画像を変化させる。

　図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５で構成される。画像処理システム１において、入力装置２０の操作手段には、表示領域の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。

　たとえば、表示領域の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示領域の縮小要求を入力でき、また手前から押すことで、表示領域の拡大要求を入力できる。また、表示領域のスクロールの入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、表示領域移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。

　入力装置２０は、入力された表示領域移動要求信号を画像処理装置１０に伝送する機能をもち、本実施の形態では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、表示領域移動要求信号を画像処理装置１０に伝送してもよい。

　図３は、本実施の形態において使用する画像データの階層構造例を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。

　図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、第３階層３６、第２階層３４、第１階層３２、第０階層３０の順で解像度が小さくなっている。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。

　また図３では各階層において全てのタイル画像が描かれているが、例えば第３階層３６などの高解像度の画像は、部分的な領域のみタイル画像を準備してもよい。タイル画像を準備しない領域を拡大する場合は、上の階層の対応する領域の画像を拡大して表示したり、拡大できないようにしたりする。このように一部の領域のみタイル画像を準備する場合も、例えば第２階層３４の右下の１つのタイル画像と第３階層３６の右下の２×２のタイル画像といった、上下の階層の対応する領域の画像が致するように位置合わせをすることにより、表示時の階層の切り替えをシームレスに実現できる。

　画像処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態で記憶装置に保持されており、画像表示コンテンツの起動などに際し記憶装置から読み出されてデコードされる。画像処理装置１０は複数種類の圧縮形式に対応したデコード機能を有してよく、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層または複数の階層に含まれる複数のタイル画像単位に行われていてもよい。

　階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。画像処理装置１０は、入力装置２０から供給される表示領域移動要求信号から表示領域の移動量を導出すると、その移動量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。仮想空間におけるフレーム座標は、表示画像の生成処理に利用される。なお、仮想空間におけるフレーム座標の代わりに、画像処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。

　階層データに含まれる各階層の画像データは仮想空間のＺ軸に対して離散的に存在する。そのため、画像データがない階層間の縮尺率で画像を表示する場合は、Ｚ軸方向で近傍にある画像データを用いる。例えば、表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は当該第２階層の画像データを用いて作成する。これを実現するためには、各階層の間、例えば中間にソース画像の切り替え境界を設定する。表示画像の縮尺率が当該切り替え境界を越えると、表示画像の生成に用いる画像データを切り替え、当該画像を拡大したり縮小したりして表示する。

　図４は画像処理装置１０の構成を示している。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。

　スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、階層化された圧縮画像データを含むコンテンツファイルを受信してもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された表示領域移動要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。

　ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。スイッチ４２を介して受信された各種データは、ハードディスクドライブ５０に格納される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはこれらの記録媒体に格納されていてもよい。

　制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（PowerPC Processor Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic Processor Unit）と呼ばれる。

　制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。

　メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた処理結果を出力する。

　画像処理装置１０は、表示画像を円滑に移動するために、あらかじめ圧縮画像データの少なくとも一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。また、ユーザからの表示領域移動要求をもとに、将来表示させる領域を予測し、メインメモリ６０にロードした圧縮画像データのさらに一部をデコードしてバッファメモリ７０に格納しておく。これにより、後の必要なタイミングで、表示画像の生成に使用する画像を瞬時に切り替えることが可能となる。表示対象として複数の階層データを用意し、表示画像が階層データ間を行き来するようにしてもよい。

　図５はそのような態様において表示対象となる複数の階層データの関係を模式的に示している。図中、２つの三角形は異なる階層データ１５０および１５２を示している。それぞれの階層データ１５０、１５２は実際には、図３に示すように解像度の異なる複数の画像データが図のＺ軸に対し離散的に存在する構成を有する。ユーザが入力装置２０によって表示領域の拡大／縮小を要求すると、表示領域が、図のＺ軸方向に移動することになる。一方、表示領域を上下左右に移動させる要求を行うと、図の水平面を移動することになる。このような仮想空間において、２つの階層データ１５０および１５２が図のように重なり合った画像データを構築する。

　このような画像データを用いて階層データ１５０の画像を表示中、ユーザが、ある領域で継続的に拡大要求を行うと、表示領域が矢印ａのように移動し階層データ１５２の領域へ進入する。この操作によって、表示画像を生成するためのデータを階層データ１５０から階層データ１５２へと切り替える。この処理は、これまで述べた画像表示の処理手順において、メインメモリ６０へロードする対象の階層データを変更することで実現できる。

　図５のような複数の階層データからなる画像データを構築するために、階層データ１５０と階層データ１５２を切り替えるときの画像の解像度および位置をあらかじめ設定しておく。この設定は図５中、線１５４で表され、これにより階層データの重なり具合が決定できる。同図の例では、Ｚ軸がｚ１なる解像度、線１５４が表す位置において、階層データ１５０から階層データ１５２への切り替えが行われる。以後、このような階層データ間の切り替えを「リンク」と呼ぶ。なお切り替えを行う階層データの画像は解像度の異なる同一の画像でもよいし、全く異なる画像でもよい。

　さらに、階層データ１５２への表示画像の切り替えに代わり、動画再生、音声再生、表示の加工、表示領域の移動、といった処理を行うようにしてもよい。この場合も、線１５４のように、階層データ１５０に対しリンク領域を設定しておき、視点が当該領域に到達したらそれに対応づけておいた処理を開始する。

　このようにすると、ユーザが階層データ１５０の画像を見ながら表示領域を移動させ、表示領域がリンク領域に達すると、その領域に対応づけた画像や情報が表示されたり、動画再生がなされたりする、といった態様を実現できる。例えば、人の全体像の画像から顔、目、と表示領域を拡大していくと、やがて瞳の画像となり、さらに拡大していくと、瞳に映っている別世界へ表示が移り変わったりその世界にある物が動き出したり、といった表示上の演出が可能になる。なお一つの階層データに複数の階層データへのリンクを設定してもよいし、リンク先の階層データに、さらに別の階層データへのリンクを設定してもよい。

　このような階層データの画像を表示する場合、Ｚ軸、すなわち解像度方向の可変範囲が大きいほどデータ構造の利点を生かすことができる。また上述したように、リンクの有無に関わらず同一の対象物を含む画像を複数の階層で表現する場合は、上下の階層の対応する領域における対象物の位置を合致させることで、階層によって対象物がずれたりすることなくシームレスに表示を切り替え、上述のような様々な演出を実現できる。

　しかしながら階層データを構成する画像を、同じ対象物を含む像をズーム倍率を異ならせて撮影した写真や動画などとした場合、撮影している間に天候や撮影条件の変化、被写体の移動などが生じ、色合いや構図が変化してしまうことは十分考えられる。また、このように個別に撮影した画像における同一の対象物を、階層間および同一階層内で位置合わせする作業は多大な労力を要する。そこで本実施の形態では、写真や動画などを撮影して階層データを生成する態様において、作成者の負担を軽減するための支援を行う。なお以後の説明では、リンクが設定されている複数の階層データもまとめて「階層データ」と呼ぶ場合がある。

　図６は本実施の形態の、画像データ作成支援を行う撮影装置の使用形態を例示している。撮影装置２００は外観上、一般的なデジタルカメラ、デジタルビデオカメラなどと同様の構成を有し、被写体２０２を撮影する機能を含む。そのため被写体２０２側には一般的なカメラに備えられるレンズやズーム倍率変更機能などの機構を含む（図示せず）。撮影装置２００はさらに、レンズが捉えている像の表示のほか、後述する機能を発揮するためにユーザに必要な情報を提示するためのディスプレイ２０４、ディスプレイ２０４を確認しながらユーザが指示入力を行うために操作する指示入力部２０６を含む。

　ディスプレイ２０４は一般的なカメラに備えられる液晶パネルなどで構成する。表示する画面例については後に述べる。指示入力部２０６は、ユーザが押下することにより撮影を実行するシャッターボタン２０６ａ、ズーム倍率を変更するズームボタン２０６ｂ、ディスプレイ２０４に表示されたモードや枠の選択を行う方向指示ボタン２０６ｄ、選択を決定する入力を行う決定ボタン２０６ｃを含む。指示入力部２０６も、一般的なカメラに備えられる物と同様の構造で実現してよい。

　撮影装置２００は、一般的なカメラと同じくユーザがシャッターを切ることにより写真を撮影したり、動画を撮影したりする通常モードと、階層データを作成する支援を行う画像作成支援モードの２つのモードを切り替え可能に構成してよい。または、画像作成支援を行う装置を一般的なカメラに接続することによって、作成支援機能を実現するようにしてもよい。通常モードについては一般的なカメラと同様であるため、以後は、画像作成支援モード時の構成について説明する。

　図７は撮影装置２００の構成をより詳細に示している。撮影装置２００は、上述の指示入力部２０６、およびディスプレイ２０４のほか、ユーザの指示入力の内容を取得する入力情報取得部２０８、画像データの作成支援のために撮影装置の向きやズーム倍率を制御する撮影制御部２１０、実際の撮影を行う撮影部２１２、階層データ生成のために必要なメタデータを取得するメタデータ作成部２１４、ディスプレイ２０４に表示する画像を制御する表示画像制御部２１６、画像データおよびメタデータを記憶する記憶部２１８を含む。撮影装置２００はさらに、撮影された画像から階層データを作成する階層データ作成部２２０を含み、記憶部２１８は作成された階層データも記憶する。

　入力情報取得部２０８は、ユーザが指示入力部２０６に対して行った操作を解釈し支援に必要な情報に変換して撮影制御部２１０に供給する。ここで必要な情報とは、ディスプレイ２０４に表示された選択肢からの選択結果のほか、ユーザが画像を撮影したときのズーム倍率などの撮影条件を含む。撮影制御部２１０は、ユーザの入力に応じた支援に必要な情報に基づき撮影条件を決定し、その条件となるように撮影装置を制御したうえ撮影部２１２に撮影を指示する。制御対象は撮影装置２００のレンズの方向およびズーム倍率である。

　そのため撮影制御部２１０は、一般的なパンチルトカメラに装備されているレンズの方向制御機構を装備する。またズーム倍率を制御する信号を撮影部２１２に送信する。また撮影制御部２１０は、後述する支援手法によっては、ＧＰＳ（Global Positioning System)による位置情報取得機構やジャイロセンサによる方向取得機構を装備してもよい。この場合、ユーザが撮影装置２００を保持して移動したりレンズの方向を変えたりした結果、決定した撮影条件となったときにユーザにそれを通知することにより、ユーザ自らにシャッターを切らせることもできる。

　撮影部２１２は、撮影制御部２１０からの指示に従い画像を撮影する。撮影した写真や動画などの画像データは記憶部２１８に格納する。メタデータ作成部２１４は、撮影された画像のズーム倍率、レンズの方向、画像同士の関連付け情報など画像データに付加するメタデータを、撮影部２１２が画像を撮影する都度、あるいは一つの階層データを構成する一連の画像が撮影された後などに作成し、記憶部２１８に格納する。

　表示画像制御部２１６は、レンズが捉えている像をリアルタイムで画像化してディスプレイ２０４に出力する。また、通常モード、画像作成支援モードの選択画面、画像作成支援モードにおける各種支援手法の選択画面、後に詳述するターゲット画像の選択画面などの画像データを生成し、ディスプレイ２０４に出力する。また支援手法によっては、撮影した画像を解析し、ターゲットの検出も行う。

　階層データ作成部２２０は、記憶部２１８に格納された画像データおよびメタデータを読み出し、メタデータに基づき階層データを作成する。作成する階層データは上述のとおり、異なるズーム倍率で撮影した画像を別の階層とする場合、リンクが設定された別の階層データとする場合、同じズーム倍率で撮影した画像を貼り合わせて一つの階層とする場合、またはそれらの組み合わせのいずれでもよい。具体例は後に述べる。

　作成した階層データは適宜圧縮して記憶部２１８に格納する。当該階層データを記録媒体などに書き出し、当該記録媒体を図４の記録媒体装着部５２に装着するなどにより、撮影した画像の表示が可能になる。なお階層データ作成部２２０は、その他の機能と独立した別の装置として実現してもよい。また画像の撮影と階層データの生成の処理は時間的に連続していてもよいし、別の機会に実施してもよい。

　図８は本実施における画像データ作成支援手法の基本的な態様を説明するための図である。被写体２０２を含む画像の階層データを作成するとき、撮影装置２００は、例えばズーム倍率が最小の第１画像２３０、ズーム倍率が最大の第３画像２３４、その中間のズーム倍率の第２画像２３２を撮影画像として取得する。実際に表示する際は、第１画像２３０を初期画像、第３画像２３４は最も高い解像度で表示したい画像、第２画像はその移行期の画像とすることができる。

　このような画像表示を実現するため、撮影時は、第１画像２３０を基準画像としたときのその他の画像、すなわち第２画像２３２、第３画像２３４の相対的なズーム倍率、および相対位置を取得する。また、第１画像２３０、第２画像２３２、第３画像２３４を、一つの階層データの素材として用いることを示す関連づけも行う。これらの情報はメタデータとして、関連付けがなされた画像データとともに記憶部２１８に格納する。なお図８に示した画像の枚数はあくまで例示であり、第１画像２３０と第３画像２３４の間のズーム倍率の差、シームレスな表示を行えるズーム倍率の間隔などによって、必要なズーム倍率を決定する。

　なお第１画像２３０、第２画像２３２、第３画像２３４の撮影順は特に限定されない。後述するように、実施する支援手法、被写体の性質、あるいはユーザの設定によって、第３画像を先に撮影してズームアウトし第２画像、第３画像と撮影してもよいし、その逆でもよい。また第１画像２３０を撮影したあと、ズームインして第３画像２３４を撮影し、ズームアウトさせて第２画像２３２を撮影するなどでもよい。

　第１画像２３０、第２画像２３２、第３画像２３４を、リンク設定のない一つの階層データの別の階層の画像として使用する場合は、各階層の解像度に対応するように所定の間隔のズーム倍率で撮影を行うか、撮影した画像を適宜拡大縮小して所定の間隔の解像度の画像を取得する。例えば図３に示した階層データの場合、各階層の画像が上の階層の画像の縦横２倍の倍率を有する、４階層で構成されている。したがってこのような階層データを作成する場合、４段階にズーム倍率を変化させて撮影を行う。このとき、基準画像である最小倍率の画像、最大倍率の画像のどちらか一方をユーザが撮影し、それに基づき撮影制御部２１０の制御によって、所定の変化量でズーム倍率を変化させて各階層の画像を撮影してもよいし、最小倍率の画像と最大倍率の画像をユーザが撮影してから、その間を補間するズーム倍率で残りの階層の画像を撮影制御部２１０の制御によって撮影してもよい。

　またこのように一つの階層データを作成するときは、一つのズーム倍率で複数の写真を撮影してもよい。ズーム倍率が基準画像の縦横Ｎ倍であれば、縦横Ｎ枚の計Ｎ^２枚の画像を、パノラマ写真のようにパンチルタを制御して連続撮影する。そして撮影した画像をつなげることにより、一つの階層を構成する画像とすることができる。あるいは上述のように、高解像度で表示したい領域のみを撮影し、基準画像における当該領域に対応する位置に撮影画像を配置した階層を作成してもよい。

　また撮影した画像のいずれかを、リンクが設定された別の階層データとしてもよい。例えば第１画像２３０と第２画像２３２によって構成される第１階層データと、第２画像２３２と第３画像２３４によって構成される第２階層データに対し、共通画像である第２画像２３２においてリンクを設定する。このような場合は、個々の階層データにおいて倍率の刻み幅を設定できるため、撮影するズーム倍率は表示したい画像に応じて決定してよい。ただし上下の階層でズーム倍率が離れすぎないように適宜、補間する画像を撮影する。

　このようにリンクを設定した複数の階層データを生成する態様は、特にリンクが設定されている領域を拡大して表示することを想定しているため、基準画像で撮影した全ての領域を全てのズーム倍率で撮影せずとも、一部の領域を、選択的にズーム倍率を上げて撮影すればよくなる。すると上述のように、被写体２０２である人物全体が写った第１画像２３０を表示させた状態で顔の辺りの拡大率を上げていくと、顔が拡大された第２画像２３２が表示され、さらに拡大率を上げていくと、瞳が拡大された第３画像２３４が表示されるような画像データを作成できる。

　階層データ作成部２２０は、メタデータのうち画像同士の関連付けの情報やズーム倍率に基づき、撮影画像を階層データの各階層に割り当てる。さらにメタデータのうち基準画像に対する各画像の相対位置、および各画像を画像解析することによって取得した、被写体２０２などの対象物またはその一部位の特徴点の位置に基づき、階層同士の位置合わせを行う。位置合わせが正確になるほど、表示時の階層の切り替わりをシームレスに実現することができる。

　各画像の基準画像に対する相対位置は、パンチルタが制御するレンズの方向情報とズーム倍率とから、連写画像からパノラマ画像を合成する技術と同様の幾何計算によって算出できる。またはジャイロセンサで取得したレンズの方向とズーム倍率とから算出してもよい。この場合は、ユーザが手動でレンズの方向を変化させても対応可能となる。あるいは、ＧＰＳによる位置情報を取得し、ユーザが手動で撮影装置を移動させて画像の倍率を変化させる場合にも対応できるようにしてもよい。いずれの場合も、階層データを作成する際には特徴点によって最終的な位置合わせを行うため、メタデータの段階ではおよその相対位置が特定できていればよい。

　次に、上述の構成による動作を説明する。図９は階層データを作成するための画像撮影を支援する処理手順の例を示すフローチャートである。この例は、ユーザが撮影した初期画像から段階的にズームアウトさせながら複数の画像を撮影する手法を示している。図８の例では、ユーザが高倍率の第３画像２３４を撮影したあと、撮影制御部２１０および撮影部２１２によって第２画像２３２および第１画像２３０を撮影する場合である。

　初めにズーム倍率の高い画像を撮影しておき、次第にズームアウトさせて画像を撮影していくことにより、レンズの方向を調整せずにズーム倍率を変化させるのみで、瞳など高倍率で表示したい対象物（以後、「ターゲット」と呼ぶ）が必ず視野に収まる画像を撮影できる。またズーム倍率が小さいほど、多少の動きに対しても画像に大きな変化を与えなくなる。このことは、ターゲットが虫や動物など撮影者の意図に反して動いてしまう物の場合には特に重要である。またそのようなターゲットの場合、本実施の形態のようにズーム倍率を変化させながら連写をすることで短期間に撮影を完了できれば、撮影中に飛んで行っていなくなってしまうといった可能性が低くなる。

　まずユーザは、撮影装置２００のディスプレイ２０４に表示されたモード選択画面に表示されたモードリストのうち、画像作成支援モードを選択し、さらに当該支援手法を実施するモードを選択する入力を行う（Ｓ１０）。そしてユーザはターゲット画像としてターゲットを所望のズーム倍率で撮影する（Ｓ１２）。すると撮影制御部２１０は上述のように、当該ターゲット画像を起点として撮影すべき画像のズーム倍率を決定し、決定したズーム倍率での撮影を指示することで、撮影部２１２が画像を撮影する（Ｓ１４、Ｓ１６）。このときの撮影装置２００のレンズの方向はＳ１２の撮影時の方向と同一でよい。

　ズーム倍率の変更および撮影の処理を、決定したズーム倍率のうち最小のズーム倍率となるまで繰り返し（Ｓ１８のＮ、Ｓ１４、Ｓ１６）、最小のズーム倍率の画像を撮影し終えたら（Ｓ１８のＹ）、メタデータ作成部２１４がメタデータを作成し、撮影した画像のデータに対応させて記憶部２１８に格納する（Ｓ２０）。メタデータ作成部２１４はメタデータとして、上述したもののほか、画像の手ぶれ情報、顔検出技術によって検出する顔の各部位の位置情報などを取得してもよい。また同じズーム倍率で複数の画像を撮影して貼り合わせ、一階層とする場合は、当該ズーム倍率で撮影した枚数もメタデータとする。

　図１０は撮影した画像のデータとメタデータとを用いて、階層データ作成部２２０が階層データを作成する処理手順を示すフローチャートである。まず階層データ作成部２２０は、画像データおよびメタデータを記憶部２１８より読み出す（Ｓ２２）。読み出す画像データはメタデータにより関連付けられたものを対象とする。次に、ズーム倍率の順に階層データの階層を割り当てる（Ｓ２４）。

　この際、ユーザの指示などにより、リンクを設定した複数の階層データの階層を割り当ててもよい。この場合は、どの画像のどの領域でリンクを設定するかをユーザより受け付けることにより、リンクを設定したファイルも生成する。また一つの階層に複数の画像を貼り合わせたものを使用する場合は、メタデータをもとに当該複数の画像を特定し、それらに対して一つの階層を割り当てる。

　次に、上下関係を有する２つの階層の画像、あるいは基準画像とその他の階層の画像とで、メタデータにおける相対位置情報に基づきおよその対応位置を絞り込んだうえ、画像解析により位置合わせを行う（Ｓ２６）。例えばある階層の画像を、その下の階層の画像のズーム倍率まで拡大し、同じ対象物の特徴点の位置を比較する。そして位置が一致するように下の階層の画像を平行移動させて当該階層の最終的な画像を決定する。これを全ての階層において繰り返す。このようにすることで、図３に示すような仮想空間内で、階層間のタイル画像の対応関係が正確に得られる。

　一つの階層を構成する複数の画像を撮影した場合も、レンズの方向などの情報によって同じズーム倍率の画像の位置合わせを行い、貼り合わせることで一つの画像を生成する。本実施の形態で撮影する画像は基本的に、どのズーム倍率においても同じターゲットが撮影されている、という性質を有する。この性質を利用し、当該ターゲットに着目してその特徴点の位置を比較することにより、階層間、階層内で精度よく位置合わせができる。そのようにして生成した階層データは記憶部２１８に格納する（Ｓ２８）。

　図１１は階層データを作成するための画像撮影を支援する処理の別の例を説明するための図である。この手法では、まずパノラマ画像などズーム倍率が小さく最も広角の画像を初期画像２４０として撮影する。そしてユーザが当該初期画像２４０中からターゲットを選び、そこをズームアップすることでターゲット画像を自分で撮影する。図１１の例では、初期画像２４０のうち家の画像２４２、木の画像２４４がターゲット画像として撮影されたことを示している。ユーザはさらに、そのようにして撮影したターゲット画像からさらにターゲットを選びズームアップして撮影してもよい。図１１の例では、木の画像２４４のうち、木の根元にある花の画像２４６がターゲット画像として撮影されたことを示している。

　このような態様で撮影された画像は、初期画像２４０をルートノードとして画像同士が包含関係で結びつけられるツリー構造を構成すると考えることができる。図１１の例では、初期画像２４０から直接選択して撮影した家の画像２４２、木の画像２４４が、初期画像２４０のルートノードに接続され、花の画像２４６は木の画像２４４に接続されるツリー構造となる。以後、このようなツリー構造で接続された上のノードの画像を親画像、それに含まれる下のノードの画像を子画像と呼ぶ。

　本手法においてメタデータ作成部２１４は、画像データのツリー構造をメタデータとして作成する。このようなツリー構造を撮影とともに作成することで、階層データ作成部２２０は、一つの階層データに複数の階層データへのリンクを設定することができる。例えば、初期画像２４０を表示中、家の辺りで画像が拡大された場合、画像２４２のデータを用いた表示に切り替えることによりさらに拡大が可能となる。同様に木の辺りで画像が拡大された場合、画像２４４のデータを用いた表示に切り替え、さらに木の根元が拡大された場合、画像２４６のデータを用いた表示に切り替えることにより、初期画像２４０ではよく見えなかった花の詳細な構造を表示する、といった態様を実現できる。

　ユーザが家の画像２４２などのターゲット画像を撮影した後、撮影装置２００は、初期画像２４０とターゲット画像をズーム倍率に対して補間する補間画像を撮影する。撮影手順は図９で説明したのと同様、ターゲット画像からズームアウトしていき初期画像２４０のズーム倍率になるまで撮影を繰り返す。初期画像に人、動物、乗り物など動く物が写っている場合は、初期画像２４０と同じ構図の画像を再度撮影し、それを階層データとして使用してもよい。これはユーザがターゲット画像を撮影した後に、撮影装置２００がズームアウトさせながら自動で連写する所要時間は短くてすみ、最初に撮影した初期画像２４０より、一連の画像における構図内の変化を少なくできるためである。

　図１２は図１１で説明した画像撮影を支援する処理の手順を示すフローチャートである。まずユーザは、撮影装置２００のディスプレイ２０４に表示されたモード選択画面に表示されたモードリストのうち、画像作成支援モードを選択し、さらに当該支援手法を実施するモードを選択する入力を行う（Ｓ３０）。すると撮影制御部２１０は、モード選択時などにユーザが指定した画角の情報に従いパノラマ画像などの初期画像を撮影する（Ｓ３２）。

　例えばユーザがパノラマ画像の左上および右下の画角を指定し、撮影制御部２１０は、指定された画角が左上、右下になるようなパノラマ画像全体の画角を計算し、パンチルタを制御してカメラの方向を動かしながらパノラマ画像を構成する複数の画像を撮影部２１２に撮影させる。そのようにして撮影した画像をつなぎ合わせてパノラマ画像を生成する。複数の画像をつなぎ合わせる必要のない１枚の画像を初期画像とする場合は、Ｓ３２の処理をユーザが行ってもよい。

　次に表示画像制御部２１６は、ディスプレイ２０４にＳ３２で撮影した初期画像を親画像として表示し、レンズが捉えている現在の画角が初期画像のどこに当たるかを矩形などで表した画像をディスプレイ２０４に表示する（Ｓ３４）。ユーザはそれを見ながら撮影装置２００の方向やズーム倍率を変化させ、所望のターゲット画像を撮影する（Ｓ３６）。すると撮影制御部２１０は、図９で説明したのと同様に、補間画像として撮影すべき画像のズーム倍率を決定し、決定したズーム率での撮影を撮影部２１２に指示することで、撮影部２１２が補間画像を撮影する（Ｓ３８、Ｓ４０）。

　ユーザが、別のターゲット画像またはターゲット画像からさらに選択したターゲットの画像を撮影するために撮影の続行を指示する入力を行ったら（Ｓ４２のＹ）、Ｓ３４、Ｓ３６、Ｓ３８、およびＳ４０の処理を繰り返す。このとき、ターゲット画像内でさらにターゲット画像を撮影する場合は、Ｓ３４において、親画像となるターゲット画像へ表示を切り替える。全てのターゲット画像とその間の補間画像を撮影し終えたら（Ｓ４２のＮ）、メタデータ作成部２１４は、撮影された複数の画像の親子関係を特定し、画像データのツリー構造の情報を生成する（Ｓ４４）。

　画像の親子関係は、Ｓ３４に表示する親画像において矩形で表示された領域がＳ３６で撮影されたらそれを子画像とすることで特定できる。このとき、親画像と子画像の相対位置も自動的に判明する。またＳ４０で補間画像を撮影したら、ツリー構造において対応するノードを挿入していく。なお、各画像が撮影された時刻を取得しておき、所定の時間内に撮影された画像に対し、ズーム倍率、レンズの方向に基づきツリー構造の情報を生成してもよい。そしてメタデータ作成部２１４は、ツリー構造の情報や相対位置の情報を含むメタデータを作成し、撮影した画像のデータに対応させて記憶部２１８に格納する（Ｓ４６）。

　図１３は図１２のＳ３４でディスプレイ２０４に表示する画面の構成例を示している。ターゲット選択画面２５０は、現在レンズが捉えている像を表示する電子ファインダー領域２５２および、初期画像など親画像を表示する親画像表示領域２５４を含む。親画像表示領域２５４は図示するように電子ファインダー領域２５２の一部に重なるように配置してもよいし、独立した領域に配置してもよい。

　電子ファインダー領域２５２は一般的なデジタルカメラなどに備えられる電子ファインダーで構成する。親画像表示領域２５４は、現在撮影しようとしているターゲット画像の親画像となる撮影済みの画像を表示する。初期画像を撮影した直後は親画像として初期画像を表示する。そして親画像表示領域２５４において、現在レンズが捉えている画角が親画像のどの領域に対応するかを示す現画角領域枠２５６を矩形などで示す。現画角領域枠２５６で囲まれた領域の画像は、電子ファインダー領域２５２に表示されている画像と一致する。さらに親画像表示領域２５４には、すでにターゲット画像として撮影されている領域を示す撮影済み領域枠２５８も矩形などで示す。

　現画角領域枠２５６と撮影済み領域枠２５８は互いに区別できるように線の態様や色を異ならせる。同図では前者を実線、後者を破線で表している。なお親画像表示領域２５４には常に初期画像を表示しておき、ターゲット画像からさらにターゲット画像を撮影する場合も初期画像においてどの位置であるかがわかるようにしてもよい。この場合、撮影済み領域枠２５８の内部に現画角領域枠２５６がある、といった態様となる。このような画面をディスプレイ２０４に表示することにより、ユーザが初期画像からターゲットを自由に選ぶことができるとともに、メタデータ作成部２１４は親画像と子画像の相対位置を明確に得られる。

　このようにして撮影した画像のデータとメタデータとを用いた階層データの作成は、図１０で説明したのと同様の処理手順で実現できる。ただし図１１で表したように、一つの親画像に対し複数の子画像が存在するツリー構造が許容されるため、メタデータとして取得したツリー構造の情報に基づき、一つの階層の複数の領域に画像を貼り付けたり、一つの階層データに複数の階層データへのリンクを設定する必要がある。このとき、子画像が複数であっても親画像に対してそれぞれ位置合わせを実施することで、図１１の初期画像２４０である全体的な風景からターゲット画像である花のアップまで、表示をシームレスに変化させることができる。

　図１１から図１３で説明した手法は、最初にパノラマ写真など広角の初期画像を撮影し、その後にユーザが自分でターゲットを選択しターゲット画像を撮影した。一方、撮影装置２００が、初期画像を撮影後、ターゲットとなり得る物を画像解析によって検出し、ユーザがそこから選択できるようにしてもよい。図１４はそのような態様においてディスプレイ２０４に表示する画面の構成例を示している。ターゲット画像選択画面２６０は、初期画像などの親画像を表示する親画像表示領域２６２を含む。

　親画像表示領域２６２において、表示画像制御部２１６は、親画像を画像解析した結果、人の顔や物などターゲットとなり得るものが検出された領域をターゲット画像候補枠２６４、２６６などで表す。ここで実施する画像解析には、顔検出、前景抽出、周波数解析、カラーヒストグラム、特徴点抽出、パターンマッチングなど、一般的な画像解析技術を適用できる。あらかじめターゲットとしたいものの属性をユーザに指定させることにより画像解析手法を決定してもよい。

　そしてユーザが、ターゲット画像候補枠２６４、２６６などから選択する入力を行うと、撮影制御部２１０および撮影部２１２は、選択された画像が得られるようにパンチルタやズーム倍率を変化させてターゲット画像を撮影する。なお図１４のターゲット画像選択画面２６０に代え、ターゲット画像の候補のみをサムネイル画像として配列表示してもよい。

　図１５は図１４で説明した画像撮影を支援する処理の手順を示すフローチャートである。まずユーザは、撮影装置２００のディスプレイ２０４に表示されたモード選択画面に表示されたモードリストのうち、画像作成支援モードを選択し、さらに当該支援手法を実施するモードを選択する入力を行う（Ｓ５０）。すると撮影制御部２１０は、モード選択時などにユーザが指定した画角の情報に従いパノラマ画像などの初期画像を撮影する（Ｓ５２）。これらの処理は図１２のＳ３０、Ｓ３２と同様である。

　次に表示画像制御部２１６は、撮影した初期画像を画像解析し、ターゲットとなり得るものが写っている領域をターゲット画像候補枠で囲った初期画像をディスプレイ２０４に表示する（Ｓ５４）。ユーザは、表示されたターゲット画像候補枠のうち、所望のターゲットの画像候補枠を選択する入力を行う（Ｓ５６）。すると撮影制御部２１０および撮影部２１２は、選択された枠に対応する画角が得られるように、必要に応じてパンチルタを動かしつつズーム倍率を上げ、ターゲット画像を撮影する（Ｓ５８、Ｓ６０）。

　なおＳ５８、Ｓ６０の処理をユーザ自身が実施してもよい。このときユーザが撮影装置２００を保持してターゲット近辺へレンズの方向、ズーム倍率を合わせる。その後、撮影制御部２１０が微調整を行ったあと撮影部２１２が撮影を実施してもよいし、ユーザがズーム倍率などを変化させている途中で、レンズが捉えている画角が選択された枠に対応するものとなったときに音声や表示などでその旨をユーザに通知し、ユーザが撮影してもよい。

　次に撮影制御部２１０は、図９で説明したのと同様に、補間画像として撮影すべき画像のズーム倍率を決定し、決定したズーム倍率での撮影を指示することで、撮影部２１２が補間画像を撮影する（Ｓ６２、Ｓ６４）。ユーザが別のターゲット画像を撮影する旨の指示入力を行ったら（Ｓ６６のＹ）、Ｓ５４からＳ６４の処理を繰り返す。ターゲット画像の中にさらに倍率を上げて撮影したいターゲットがある場合は、ユーザがその旨の指示入力を行うことにより、Ｓ５４において表示する画像を、親画像となる当該ターゲット画像に置き換えてもよい。

　全てのターゲット画像とその補間画像を撮影し終えたら（Ｓ６６のＮ）、図１２のＳ４４と同様、メタデータ作成部２１４は、撮影された複数の画像の親子関係を特定し、画像データのツリー構造の情報を生成する（Ｓ６８）。そして相対位置情報など他のメタデータとともに、撮影した画像のデータに対応させて記憶部２１８に格納する（Ｓ７０）。

　この手法では、候補となるターゲット画像を表示し、ユーザがその中から選択したが、表示させたい画像のパターン候補をあらかじめ準備しておき、ユーザがＳ５０の撮影モード設定時に選択するようにしてもよい。例えば、人物の全体像→顔→瞳のパターン、風景→人→顔のパターンなど、汎用的なパターンを準備して記憶部２１８に格納しておく。そしてユーザがそのうちの一つのパターンを、撮影モード設定時に選択したうえ、撮影装置２００のレンズの前に被写体である人物や風景を配置する。

　すると撮影制御部２１０および撮影部２１２は、図１５のＳ５２において、選択されたパターンで最も広角な画像を撮影する。そしてＳ５４、Ｓ５６の処理に代え、表示画像制御部２１６が、撮影された画像を解析し、選択されたパターンに従ったターゲットを抽出してターゲット画像の画角を決定する。以後の処理は図１５と同様となる。このようにすると、ユーザがイメージする表示態様に適した画像のデータが、ユーザの手間を最小限に取得できる。パターンの選択時には、どのような表示が可能となるかをイメージできるように、ディスプレイ２０４にサンプル画像を表示するようにしてもよい。

　以上述べた本実施の形態によれば、一つの画像を幅広い解像度で表示させたり別の画像へシームレスに表示を切り替えたりすることが可能な階層データの表示技術に適した画像の撮影および階層データの作成を支援する。具体的には、ターゲットとなる被写体を含む画像を、ズーム倍率を変化させながら連続的に撮影する。これにより、光の加減や物の移動などの変化が少ない一連の画像のデータを取得でき、表示時に画像の拡大、縮小がなされることにより表示に用いる画像のデータが切り替わっても、それを気づかせることなくシームレスな変化が実現できる。

　また撮影と同時に、各画像の相対位置情報、ズーム倍率をメタデータとして取得しておくことにより、階層データの階層の割り振り、リンクの設定を、ユーザの負担を少なく実施できる。それらのデータに加え、ＧＰＳやジャイロセンサなどで得られた撮影装置の位置や方向もメタデータとすることにより、ユーザが撮影装置を持って移動しても、画像同士のおよその位置合わせを行える。その後に、特徴点抽出によって正確な位置合わせを行えば、表示時に画像データの切り替わりによって対象物の位置が微妙にずれる、といった不具合の発生を抑制できる。また、同じ撮影装置で多くの撮影を行っても、親子関係をメタデータとしたり、撮影時刻が近接していたりすることにより、一つの階層データを作成すべき一連の画像の抽出が容易にできる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば本実施の形態において示した図は静止画である写真を例示しているが、撮影装置で撮影する画像は動画であっても、動画と静止画が混在していてもよい。例えば広角の画像は写真、ズーム倍率を最大に上げたターゲット画像は動画とすることもできる。この場合、広角の画像のうち動画が撮影された領域に、当該動画を再生するリンクを設定したデータを作成する。すると、例えば風景写真から線路へ表示を拡大していくと、風景写真の一部であった電車が動き出す、といった、静止画と動画を混在させた効果的な表現を実現させる画像データを容易に生成できる。

　また、本実施の形態では短時間に連写して取得した画像を一つの階層データとしたが、逆に撮影間隔が長期にわたってもよい。例えば同じ風景を季節ごとに撮影し、表示時には表示領域移動要求などによって表示する季節を切り替える。この場合、撮影時にはメタデータとして、ＧＰＳおよびジャイロセンサで取得した撮影装置の位置および向きを取得しておく。そして、前の季節で撮影した画像のデータとそのメタデータを呼び出すことにより、当該画像と同じ画角で撮影を行う。そして画像同士を関連付けて記憶部に格納することにより、本実施の形態で説明したのと同様に階層データを生成することができる。

　１　画像処理システム、　１０　画像処理装置、　１２　表示装置、　２０　入力装置、　３０　第０階層、　３２　第１階層、　３４　第２階層、　３６　第３階層、　３８　タイル画像、　４４　表示処理部、　５０　ハードディスクドライブ、　６０　メインメモリ、　７０　バッファメモリ、　１００　制御部、　２００　撮影装置、　２０４　ディスプレイ、　２０６　指示入力部、　２０８　入力情報取得部、　２１０　撮影制御部、　２１２　撮影部、　２１４　メタデータ作成部、　２１６　表示画像制御部、　２１８　記憶部、　２２０　階層データ作成部。

　以上のように本発明は撮影機、画像処理装置などの情報処理装置に利用可能である。

Claims

　表示画像を拡大縮小する際、所定の縮尺率で表示に用いる画像のデータを、異なるズーム倍率で撮影した複数の画像のデータ間で切り替える表示装置が用いる画像データの作成を支援する装置であって、
　ユーザから、対象物の画像の所望のズーム倍率を指定する入力を受け付ける入力情報取得部と、
　前記入力情報取得部が受け付けた、ユーザが指定したズーム倍率を起点として、表示に用いる複数のズーム倍率で、前記対象物を含む複数の画像を撮影する撮影部と、
　前記撮影部が撮影した複数の画像を関連づけるとともに、表示時の切り替え順および切り替えのタイミングを決定づける、各画像のズーム倍率をメタデータとして取得し、画像のデータに付加して記憶装置に格納するメタデータ作成部と、
　を備えることを特徴とする画像データ作成支援装置。
　前記複数の画像をズーム倍率順に階層化したうえ、各画像を解析して、画像に写る同一の物の特徴点を抽出し、各階層の画像を拡縮させてサイズを揃えたとき当該特徴点の位置が一致するように位置合わせを行った階層データを、前記画像データとして作成する階層データ作成部をさらに備えたことを特徴とする請求項１に記載の画像データ作成支援装置。
　前記撮影部が備えるレンズの方向を制御する撮影制御部をさらに備え、
　前記メタデータ作成部は、少なくとも、前記撮影部が撮影した各画像の撮影時のズーム倍率およびレンズの方向に基づき、最もズーム倍率の小さい基準画像に対する各画像の相対位置情報をメタデータとしてさらに取得し、
　前記階層データ作成部は、当該相対位置情報に基づき第１段階の位置合わせを行い、前記特徴点の位置によって第２段階の位置合わせを行うことを特徴とする請求項２に記載の画像データ作成支援装置。
　前記画像データ作成支援装置の方向を特定するジャイロセンサをさらに備え、
　前記メタデータ作成部は、少なくとも、前記撮影部が撮影した各画像の撮影時のズーム倍率および前記ジャイロセンサによって測定された前記画像データ作成支援装置の方向に基づき、最もズーム倍率の小さい基準画像に対する各画像の相対位置情報をメタデータとしてさらに取得し、
　前記階層データ作成部は、当該相対位置情報に基づき第１段階の位置合わせを行い、前記特徴点の位置によって第２段階の位置合わせを行うことを特徴とする請求項２に記載の画像データ作成支援装置。
　前記画像データ作成支援装置の位置を特定するＧＰＳ（Global Positioning System)の電波受信部をさらに備え、
　前記メタデータ作成部は、少なくとも、前記撮影部が撮影した各画像の撮影時のズーム倍率および前記電波受信部によって測定された前記画像データ作成支援装置の位置に基づき、最もズーム倍率の小さい基準画像に対する各画像の相対位置情報をメタデータとしてさらに取得し、
　前記階層データ作成部は、当該相対位置情報に基づき第１段階の位置合わせを行い、前記特徴点の位置によって第２段階の位置合わせを行うことを特徴とする請求項２に記載の画像データ作成支援装置。
　前記入力情報取得部は、最もズーム倍率の小さい画像の画角を指定する入力をユーザより受け付け、
　前記撮影部は、前記入力情報取得部が受け付けた、ユーザが指定した画角で初期画像を撮影し、
　前記入力情報取得部は、前記初期画像中で、ユーザがターゲットとして選択した領域のターゲット画像を撮影した際のズーム倍率を、前記ズーム倍率を指定する入力として受け付けることを特徴とする請求項１から５のいずれかに記載の画像データ作成支援装置。
　ユーザが前記初期画像からターゲットを選択するため、レンズが捉えている画角の枠を前記初期画像上に表した画像を表示するディスプレイをさらに備えることを特徴とする請求項６に記載の画像データ作成支援装置。
　前記入力情報取得部は、最もズーム倍率の小さい画像の画角を指定する入力をユーザより受け付け、
　前記撮影部は、前記入力情報取得部が受け付けた、ユーザが指定した画角で初期画像を撮影し、
　前記入力情報取得部は、前記初期画像を解析した結果抽出された、ターゲット画像の候補からユーザが選択する入力を、前記ズーム倍率を指定する入力として受け付けることを特徴とする請求項１から５のいずれかに記載の画像データ作成支援装置。
　ユーザが前記ターゲット画像の候補から選択する入力を行うため、ターゲット画像候補の輪郭を表す枠を前記初期画像上に表した画像を表示するディスプレイをさらに備えることを特徴とする請求項８に記載の画像データ作成支援装置。
　ユーザが前記ターゲット画像の候補から選択する入力を行うため、ターゲット画像候補サムネイル表示した画像を表示するディスプレイをさらに備えることを特徴とする請求項８に記載の画像データ作成支援装置。
　前記撮影部は、前記初期画像と前記ターゲット画像のズーム倍率の間のズーム倍率を補間する補間画像を撮影することを特徴とする請求項６から１０のいずれかに記載の画像データ作成支援装置。
　前記入力情報取得部は、前記初期画像中、複数のターゲットに対するズーム倍率の指定を受け付け、
　前記メタデータ作成部は、前記撮影部が撮影した複数の画像を関連づける、前記初期画像をルートノードとする画像データのツリー構造の情報をメタデータとして取得することを特徴とする請求項６から１１のいずれかに記載の画像データ作成支援装置。
　前記撮影部は、前記複数の画像のいずれかとして、当該ターゲットを含む動画像を撮影することを特徴とする請求項１から１２のいずれかに記載の画像データ作成支援装置。
　前記入力情報取得部は、あらかじめ準備されたターゲットのパターンからユーザが選択する入力と、ユーザがレンズの前に配置した被写体に基づき、選択されたパターンにおけるターゲットを撮影するために必要なズーム倍率を取得し、それをもってユーザが指定する前記ズーム倍率とすることを特徴とする請求項１から５のいずれかに記載の画像データ作成支援装置。
　表示画像を拡大縮小する際、所定の縮尺率で表示に用いる画像のデータを、異なるズーム倍率で撮影した複数の画像のデータ間で切り替える表示装置が用いる画像データの作成を支援する方法であって、
　ユーザから、対象物の画像の所望のズーム倍率を指定する入力を受け付けるステップと、
　ユーザが指定したズーム倍率を起点として、表示に用いる複数のズーム倍率で、前記対象物を含む複数の画像を撮影装置で撮影するステップと、
　撮影した複数の画像を関連づけるとともに、表示時の切り替え順および切り替えのタイミングを決定づける、各画像のズーム倍率をメタデータとして取得するステップと、
　前記複数の画像をズーム倍率順に階層化したうえ、各画像を解析して、画像に写る同一の物の特徴点を抽出し、各階層の画像を拡縮させてサイズを揃えたとき当該特徴点の位置が一致するように位置合わせを行った階層データを、前記画像データとして作成して記憶装置に格納するステップと、
　を含むことを特徴とする画像データ作成支援方法。
　表示画像を拡大縮小する際、所定の縮尺率で表示に用いる画像のデータを、異なるズーム倍率で撮影した複数の画像のデータ間で切り替える表示装置が用いる画像データの作成の支援をコンピュータに実現させるコンピュータプログラムであって、
　ユーザから、対象物の画像の所望のズーム倍率を指定する入力を受け付ける機能と、
　ユーザが指定したズーム倍率を起点として、表示に用いる複数のズーム倍率で、前記対象物を含む複数の画像を撮影装置で撮影する機能と、
　撮影した複数の画像を関連づけるとともに、表示時の切り替え順および切り替えのタイミングを決定づける、各画像のズーム倍率をメタデータとして取得する機能と、
　前記複数の画像をズーム倍率順に階層化したうえ、各画像を解析して、画像に写る同一の物の特徴点を抽出し、各階層の画像を拡縮させてサイズを揃えたとき当該特徴点の位置が一致するように位置合わせを行った階層データを、前記画像データとして作成して記憶装置に格納する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。
　表示画像を拡大縮小する際、所定の縮尺率で表示に用いる画像のデータを、異なるズーム倍率で撮影した複数の画像のデータ間で切り替える表示装置が用いる画像データの作成の支援をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
　ユーザから、対象物の画像の所望のズーム倍率を指定する入力を受け付ける機能と、
　ユーザが指定したズーム倍率を起点として、表示に用いる複数のズーム倍率で、前記対象物を含む複数の画像を撮影装置で撮影する機能と、
　撮影した複数の画像を関連づけるとともに、表示時の切り替え順および切り替えのタイミングを決定づける、各画像のズーム倍率をメタデータとして取得する機能と、
　前記複数の画像をズーム倍率順に階層化したうえ、各画像を解析して、画像に写る同一の物の特徴点を抽出し、各階層の画像を拡縮させてサイズを揃えたとき当該特徴点の位置が一致するように位置合わせを行った階層データを、前記画像データとして作成して記憶装置に格納する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。