JP4611231B2 - パノラマ画像作成装置、方法およびプログラム - Google Patents

Description

本発明は、パノラマ画像作成装置、方法およびプログラムに関する。

動画像を撮影するシステムにおいては、撮影するためのカメラにパン／ティルト／ズーム（PTZ）制御などの動作をさせることで、撮影領域を変更し、カメラを静止させて撮影する場合よりも広い範囲を撮影することができる。このように動画像を撮影するとき、撮影範囲の全体の静止画（以下、パノラマ画像と称する）を得る必要がある場合がある。

例えばWMV形式でのライブ映像配信などの、特に映像遅延の大きなシステムで遠隔地の端末からカメラ制御を行う場合には、リアルタイムでカメラ制御すると制御結果の画情報が端末（の操作者）に届くまでに時間遅延が発生するため、カメラがどのぐらい動いたかがすぐには判らず、カメラ制御が難しくなってしまう。そこで、予めパノラマ画像を準備しておいて端末に提示し、このパノラマ画像の中の部分を操作者が操作指示することによって、指示された部分にカメラをパンさせたりズームさせたりすることが一般的に行われている。

図９は、従来技術に係るパノラマ画像作成の方法の一例を示す概要図である。このパノラマ画像作成システムには、一般的な動画像撮影用カメラ 900 、動画像作成デバイス 910 、クライアント端末 920 、一般的な静止画撮影用カメラ 930 、Webサーバ 940 が含まれている。動画像撮影用カメラ 900 が作動して撮影すると、動画像作成デバイス 910 における動画像符号化処理によってデジタルの動画像（例えば、JPEG、MPEG）が作成される。ここで、動画像撮影用カメラ 900 が撮影することになる範囲について、予め別の静止画撮影用カメラ 930 を用いて、（例えば手動で）静止画写真を撮影し、これを例えばパソコン上のソフトウェアで合成処理してパノラマ画像 932 を作成しておく必要がある。このパノラマ画像 932 をWebサーバ 940 にアップロードし、クライアント端末 920 がダウンロードできるようにしておく。

動画像作成デバイス 910 から動画像がクライアント端末 920 に送られて、クライアント端末 920 の表示手段 922 に表示される。表示手段 922 には、ダウンロードしたパノラマ画像 924 と、動画像 926 とが表示される。パノラマ画像 924 上には動画像 926 が現在映している領域が例えば矩形枠で示される。これによって、クライアント端末 920 を通じて動画像を観る視聴者は、動画像カメラの撮影位置を知ることができる。

また、動画像から直接にパノラマ画像を作成する方法もある。このような場合、カメラの移動量を適切に調節して記録（録画）を行い、その動画像のフレーム画像の一部もしくは全部に関して、重複する部分を抽出する。その重複部分に対して適切な演算を行い、各画像を適宜つなぎあわせて合成する処理を施す。このような方法を、例えばコンピュータ上のソフトウェアに実行させることによって、パノラマ画像を得ることができる。

上述したような動画像からパノラマ画像を作成する方法については、例えば、特許文献１および特許文献２に記載の方法が公知である。
特開２０００−２４４８１４号公報 特開平１１−０８８８１１号公報

しかしながら、パノラマ画像を別のカメラで撮影する従来の作業は、手間のかかるものであるため、（手動で行う場合には特に）パノラマ画像の更新がおろそかになりやすいという問題が生じる。

また、上述した先行技術文献に記載されているような動画像からパノラマ画像を作成する方法でも、パノラマ画像の生成タイミングを調節することができないという問題が生じる。

例えば監視カメラ用途のように、ある程度長時間に亘って動画像を撮影しながらその動画像からパノラマ画像を作成する場合がある。このような場合には、パノラマ画像は動画像の撮影範囲の概観を示すものでもあるために、できるだけ動画像（現時点での映像）と同じ映像（天候、時刻など）であることが望ましい。このため、パノラマ画像は適切な間隔をおいて更新されるのが望ましい。

しかしながら、一般的には、動画像からのパノラマ画像の作成処理は非常に負荷が高い処理であるため、動画像を撮影している間に間断無くパノラマ画像を作成し続ける（「リアルタイムなパノラマ画像作成」を行う）と、厖大なリソースを消費することになる。

また、上述した従来の方法では、パノラマ画像の更新は、新規追加画像データが逐一追加されていくことによって行われることになり、データ転送量が大きくなってしまう問題も生じる。

このような問題点から、特にネットワークを介した動画像配信に伴うパノラマ画像作成においては、このような厖大なリソースをパノラマ画像作成のみに投じ、且つ、毎回新規なデータを送信するような従来の方法は、コスト面などの問題から現実的とは言い難い。

したがって、以上のような問題点に鑑みて、動画像からパノラマ画像を適切なタイミングで作成でき、コンピュータリソースの有効活用ができるような新規な手法が求められてきた。

本発明の実施形態においては、撮像手段から取得した画像信号を動画像符号化する動画像符号化手段と、前記符号化した複数のフレーム画像のうちの少なくとも二つのフレーム画像について動きベクトルを算出する動きベクトル算出手段と、前記符号化した複数のフレーム画像のうちの少なくともひとつのフレーム画像について空間周波数を算出する空間周波数算出手段と、前記符号化した複数のフレーム画像の位置データに基づいてインデックスを作成する静止画インデックス作成手段と、前記インデックスを格納する記憶手段と、前記インデックスに基づいて前記対象画像を配列して合成することによって初期パノラマ画像を生成して前記記憶手段に格納する初期パノラマ静止画作成手段と、を含んだパノラマ画像作成装置において、
前記動きベクトル計算手段が算出した動きベクトルが所定の閾値よりも大きくなったことを検出する動きベクトルモニタリング手段と、
前記空間周波数計算手段が算出した空間周波数が所定の閾値よりも小さくなったことを検出する空間周波数モニタリング手段と、
前記動きベクトルモニタリング手段の検出結果、もしくは前記空間周波数モニタリング手段の検出結果に基づいて、対象となったフレーム画像の差分静止画を作成し、前記インデックスに基づき作成した前記差分静止画を前記記憶手段に格納する差分静止画作成手段と
を含むことを特徴とする、パノラマ画像作成装置が提供される。

また、本発明の実施形態においては、撮像手段から取得した画像信号を動画像符号化する画像符号化手段と、前記符号化した複数のフレーム画像のうちの少なくとも二つのフレーム画像について動きベクトルを算出する動きベクトル算出手段と、前記符号化した複数のフレーム画像のうちの少なくともひとつのフレーム画像について空間周波数を算出する空間周波数算出手段と、前記符号化した複数のフレーム画像の位置データに基づいてインデックスを作成する静止画インデックス作成手段と、前記インデックスを格納する記憶手段と、前記インデックスに基づいて前記対象画像を配列して合成することによって初期パノラマ画像を生成して前記記憶手段に格納する初期パノラマ静止画作成手段とを備えたコンピュータシステムにおいて実行されるパノラマ画像作成方法であって、
動きベクトルモニタリング手段が、前記動きベクトル算出手段が算出した動きベクトルが所定の閾値よりも大きくなったことを検出するステップと、
空間周波数モニタリング手段が、前記空間周波数算出手段が算出した空間周波数が所定の閾値よりも小さくなったことを検出するステップと、
差分静止画作成手段が、前記動きベクトルモニタリング手段の検出結果、もしくは前記空間周波数モニタリング手段の検出結果に基づいて、対象となったフレーム画像の差分静止画を作成し、前記インデックスに基づき作成した前記差分静止画を前記記憶手段に格納するステップと
を含むことを特徴とする、パノラマ画像作成方法も提供される。

また、本発明の実施形態においては、撮像手段から取得した画像信号を動画像符号化する画像符号化手段と、前記符号化した複数のフレーム画像のうちの少なくとも二つのフレーム画像について動きベクトルを算出する動きベクトル算出手段と、前記符号化した複数のフレーム画像のうちの少なくともひとつのフレーム画像について空間周波数を算出する空間周波数算出手段と、前記符号化した複数のフレーム画像の位置データに基づいてインデックスを作成する静止画インデックス作成手段と、前記インデックスを格納する記憶手段と、前記インデックスに基づいて前記対象画像を配列して合成することによって初期パノラマ画像を生成して前記記憶手段に格納する初期パノラマ静止画作成手段とを備えたコンピュータシステムにおいて実行されるパノラマ画像作成プログラムであって、
動きベクトルモニタリング手段が、前記動きベクトル計算手段が算出した動きベクトルが所定の閾値よりも大きくなったことを検出するステップと、
空間周波数モニタリング手段が、前記空間周波数計算手段が算出した空間周波数が所定の閾値よりも小さくなったことを検出するステップと、
差分静止画作成手段が、前記動きベクトルモニタリング手段の検出結果、もしくは前記空間周波数モニタリング手段の検出結果に基づいて、対象となったフレーム画像の差分静止画を作成し、前記インデックスに基づき作成した前記差分静止画を前記記憶手段に格納するステップと
を含むことを特徴とする、パノラマ画像作成プログラムも提供される。

本発明に係るパノラマ画像作成装置、方法およびプログラムを用いることにより、動画像作成時に行われる演算データを流用することによって、動画像からパノラマ画像を適切なタイミングで作成することができ、コンピュータリソースの有効活用を図ることが可能となる。

以下、本発明を実施形態を図面に基づいて詳細に説明するが、これは本発明を何ら限定するものではない。
［概要］
図１は、本発明の実施形態に係るパノラマ画像作成システムの概要を示す図である。このパノラマ画像作成システムのホスト（センタ側）には、撮像手段 100 が接続された動画像作成センタ部 110 があり、例えばネットワーク等を介してセンタ側と接続されているクライアント側には、クライアント端末 120 がある。なお、ここでは簡単のためにクライアント端末 120 がひとつであるとして説明するが、本発明はこれに限定されることなく複数のクライアント端末 120 を用いて実施することができる。また、ここでは簡単のために撮像手段 100 がひとつであるとして説明するが、本発明はこれに限定されることなく複数の撮像手段 100 を用いて実施することもできる。

撮像手段 100 は動画像を撮影できるものであれば特に限定はされず、例えば一般的なNTSCカメラを用いることができる。
動画像作成センタ部 110 には、動画像符号化手段としての動画像符号化部 111 、パノラマ作成部 112 、静止画インデックス作成手段としてのインデックス作成部 113 、差分静止画作成手段としての差分静止画作成部 114 、撮像範囲分布フィードバック手段 115 、および画像欠落検出・補完手段 116 、および記憶手段（図示せず）が含まれている。

撮像手段 100 が撮影したNTSC等のアナログ画像信号が、動画像作成センタ部 110 の動画像符号化部 111 に送られ、アナログ画像信号からMPEG等の画像圧縮処理のために、例えば動きベクトルの算出、離散コサイン変換（DCT）等の処理が行われ、デジタルの動画像が作成される。作成された動画像は、MPEG等の所定のフォーマットを備え、通常は複数のフレーム画像から成る。パノラマ作成部 112 は、このフレーム画像をつなぎあわせる処理を行う。これらのフレーム画像に含まれる位置データ（例えば、撮像手段 100 が撮影する範囲全体における座標、もしくは撮影開始時の点から起算した相対座標等）から、パノラマ作成部 112 に含まれる後述する静止画インデックス作成手段が、インデックスを作成して記憶手段に格納する。このインデックスに基づいて、後述する初期パノラマ静止画作成手段が、初期パノラマ画像を生成して記憶手段に格納し、クライアント端末 120 へと送信する。その一方、基となった動画像もクライアント端末 120 に送られている。ただ動画像のカバーする画像範囲はパノラマ画像のカバーする画像範囲の一部に過ぎない。

初期パノラマ画像を受けたクライアント端末 120 は、表示手段に動画像 124 とパノラマ画像 122 とを表示する。パノラマ画像 122 には、現在動画像 124 が映している範囲を示すインジケータ（例えば、パノラマ画像 122 中の枠）が有ることが好ましい。時間の経過につれて、動画像 124 は更新されていく。その一方、パノラマ画像 122 が更新されるタイミングは、詳細を後述する閾値に関する判断に応じて行われる。パノラマ画像 122 の更新タイミングになったと判断されると、差分静止画作成部 114 が動画像符号化部 111 から対象となるフレーム画像（例えば、MPEGのＩフレーム）を受け取って差分静止画を作成し、クライアント端末 120 へと送信する。差分静止画を受けたクライアント端末 120 は、初期パノラマ画像 122 にこの差分静止画を例えば上書してパノラマ画像の更新を行うことができる。

クライアント端末 120 は撮像手段 100 を操作・制御するための撮像範囲調整手段（図示せず）を有することもできる。撮像範囲調整手段は、例えばネットワークを介して撮像手段 100 と接続される。クライアント端末 120 から、撮像範囲調整手段によって撮像手段 100 を制御して、撮像範囲を変更することができる。本発明の別の形態においては、撮像範囲調整手段はセンタ側のみが有することができる。本発明のさらに別の形態においては、撮像範囲調整手段はセンタ側・クライアント側の双方が有しており、適切なプライオリティ制御を施して撮像手段 100 を操作することもできる。撮像範囲調整手段によって制御された撮像範囲の分布は、撮像範囲分布フィードバック手段 115 によって収集することができる。撮像範囲分布フィードバック手段 115 は、例えば、最も長い時間撮影されていた撮像範囲、もしくは、クライアント端末 120 から最も多くリクエストのあった撮像範囲を抽出し、それを「よく見るアングル」（リクエストの多いアングル）として記憶手段に格納することができる。あるいは、撮像範囲分布フィードバック手段 115 は、撮像手段 100 がリクエストを受けて移動した経路の分布を収集して、「よく見る経路」を抽出することもできる。このようにして得られた撮像範囲の分布について、これを撮像手段 100 にフィードバックし、撮像手段の動作を最適化することもできる。このような最適化には、例えば撮像手段の初期位置もしくは撮像手段のアングル位置を「よく見るアングル」に合わせること等が含まれる。

好ましくは、動画像作成センタ部 110 は画像欠落検出・補完手段 116 を含む。撮像手段 100 は必ずしも規則正しくすべての範囲を順繰りに撮影してゆくような動作をするとは限らないため、パノラマ画像の「抜け」が生じることがある。このような「抜け」が残存したままであると、パノラマ画像として体裁が悪くなる（例えば、監視カメラ用途では「抜け」の存在は好ましくないと言える）ことになる。したがって、このような「抜け」を適切な画像を以って「埋める」作業が行われることが好ましい。本発明の或る実施形態においては、画像欠落検出・補完手段 116 が存在する。画像欠落検出・補完手段 116 は、クライアント端末 120 の表示手段に表示されるパノラマ画像 122 の形状およびサイズと、撮像範囲の総計（撮像手段 100 が撮影可能であるすべての範囲）の形状およびサイズとを、比較して、前述したようなパノラマ画像の「抜け」（例えば、図１のパノラマ画像 122 の黒ベタ部分）を補完する処理を行うことができる。好ましくは、画像欠落検出・補完手段 116 は動画像作成センタ部 110 の処理の空き時間に補完処理を行い、リソースを有効に活用することができる。

図２は、本発明の実施形態に係るシステムの、映像表示時の動作を示すフローチャートである。まず、撮像手段によって動画像の撮影が開始される （ステップ S200） と、映像データが動画像符号化手段に送られて、動画像として作成される （ステップ S210） 。この動画像作成の際に、動画像符号化手段で行われる演算（例えば、動きベクトル計算、もしくはDCT演算）のデータおよびフレーム画像のデータを流用して、初期パノラマ静止画作成手段による初期パノラマ画像の作成 （ステップ S220） 、差分静止画作成手段による差分静止画の作成 （ステップ S230） 、静止画インデックス作成手段によるインデックスの作成 （ステップ S240）が行われる。

ステップ S220 では、この実施形態においては、初期パノラマ画像は、システムの動作開始時から一度のみクライアント端末へと送られる。別の実施形態においては、所定の時間間隔をおいて定期的に初期パノラマ画像を作成してクライアント端末へと送られる。

ステップ S230 では、差分静止画は、後述する判定処理の結果に基づいて適切なタイミングで作成される。この実施形態においては、作成された差分静止画は記憶手段（図示せず）にストックされ、所定の時間間隔をおいて定期的にクライアント端末へと送られる。別の実施形態においては、差分静止画は作成されると即座にクライアント端末へと送られる。

ステップ S240 では、動画像のフレーム画像から得られたデータ（例えば、前述したような位置データ、総撮影時間、撮影回数等）から、インデックスが作成される。この実施形態においては、インデックスは動画像のフレーム画像を逐一利用して作成され記憶手段に格納される。別の実施形態においては、インデックスは初期パノラマ画像の作成時に作成され、以降の差分静止画の作成に応じて更新される。インデックスは動画像作成センタ部のみが保持することも可能であり、また、クライアント端末と動画像作成センタ部とがインデックスを共有して使用することも可能である。

符号化された動画像データは、直接、クライアント端末が受けることになる（ステップ S250）。
図３は、本発明の実施形態に係るシステムの、カメラ操作時の動作を示すフローチャートである。この実施形態においては、クライアント端末は撮像範囲調整手段を有している。まず、クライアント端末が撮像範囲調整手段を介して操作命令を発信する（ステップ S300）。或る実施形態においては、この操作命令を受けて動画像作成センタ部内のインデックス作成手段がインデックスを作成する（ステップ S310）。別の実施形態においては、クライアント端末は直接に撮像手段を操作し、インデックスはクライアント端末内もしくは撮像手段内に作成されて保持される。

このインデックスの内容にしたがい、撮像手段が例えばPZT制御のような動作を行い（ステップ S320）、クライアント端末の操作者が見たいアングルへと撮像手段を向けることができる。

図４は、本発明の実施形態に係るシステムの、システム未使用時の動作を示すフローチャートである。この場合、撮像手段は操作するための命令がまったく出ていないため、システムは休止状態となる（ステップ S400）。或る実施形態においては、動画像作成センタ部は、休止状態に入ったと判断するとともに、記憶手段に格納されたインデックスを参照して（ステップ S410）、空き領域の補完処理を行う（ステップ S420）。この補完処理では、ここまでに撮影されていないアングルへと撮像手段を操作して撮影を行い、補完のための画像を取得することになる。

必要な補完処理が終了すると、好ましくは、再び撮像手段を例えば「よく見るアングル」（最もインデックスのあるアングル）、もしくは所定の初期位置へと設定し直すことになる（ステップ S430）。この処理はインデックスに基づいて自動的に行うことが可能である。

［パノラマ画像作成処理の詳細］
図５は、本発明の実施形態に係るパノラマ画像作成の詳細を説明するための、動画像からパノラマ画像を作成するフローチャートおよび構成図である。ここでは、一般的な撮像手段 500 に接続する動画像・パノラマ画像作成センタの詳細を示している。動画像・パノラマ画像作成センタは、主に動画像符号化部 510 、およびパノラマ作成部 520 に大別される。なお、ここでは動画像をクライアント端末へと送信する経路については省略して図示していない。

動画像符号化部 510 は、撮像手段 500 から例えばNTSC等でアナログ画像信号を取得し、符号化処理を行って、MPEG等の圧縮化されたデジタル動画像を得る。この実施形態においては、符号化処理には動きベクトル計算（ステップ S530）、DCT演算（ステップ S532）、I-Frame（Intra Frame）作成（ステップ S534）が含まれ、さらにその他の処理（ステップ S536）として算術符号化、フレーム間予測、イントラ予測を含むことができる。なお、以下の説明においては、便宜上、フレーム画像が単独で復元できるデータになっているかのように説明しているが、本発明の実施形態においては任意の圧縮形式の動画、もしくは未圧縮の動画を扱うことが可能であり、実際には圧縮されていて単独で復元できないフレーム画像についても用いることができることに留意されたい。

ステップ S530 では、動きベクトル計算手段によって、動画像を作成する際の動きベクトル計算が行われる（ａ１）。（ａ１）の算出結果を流用して、動きベクトルモニタリング手段が、判定処理Ａとして、動きベクトルが所定の閾値よりも大きくなったかどうかを判定する（ステップ S540）。ここでは、元の動画像に含まれるフレーム画像のうちの或る二つの組について、動きベクトルが所定の閾値よりも大きくなったかどうかを判定している。ここで対象となるフレーム画像の組は任意に設定することができる。判定処理Ａの結果、動きベクトルが閾値を超えた（即ち、動画像内に映っているオブジェクトが大きく動いた、ということに相当する）フレーム画像を抽出し、後述する処理のためにパノラマ作成部 520 に送ることになる。

ステップ S532 では、空間周波数計算手段によって、動画像を作成する際の空間周波数計算が行われる（ａ２）。（ａ２）の算出結果を流用して、空間周波数モニタリング手段が、判定処理Ｂとして、空間周波数が所定の閾値よりも小さくなったかどうかを判定する（ステップ S542）。この実施形態においては、離散コサイン変換（DCT）演算が空間周波数計算として用いられている。ここでは、元の動画像に含まれるフレーム画像のうち、空間周波数が所定の閾値よりも小さくなったかどうかを判定している。ここで対象となるフレーム画像は任意に設定することができる。判定処理Ｂの結果、空間周波数が閾値を下回った（即ち、フレーム画像全体に亘る色の変化が少ない、ということに相当する）フレーム画像を抽出し、後述する処理のためにパノラマ作成部 520 に送ることになる。

この実施形態に係るステップ S534 では、単独で復元可能なフレーム画像であるI-Frameの作成が行われ（ａ３）、これもパノラマ作成部 520 に送られる。
以上の（ａ１）、（ａ２）、（ａ３）で得られたフレーム画像が、それぞれがパノラマ作成部 520 に送られると、それらのフレーム画像に基づいてインデックスが作成される（ステップ S550）。この実施形態においては、前述の判定処理ＡもしくはＢのいずれかが真となったときに、差分静止画が作成される（ステップ S552）（ｃ）。本発明に係る別の実施形態においては、判定処理ＡおよびＢの結果を適切に組み合わせて、総合的に差分静止画の作成の可否を判断するように構成することが可能である。

また、この実施形態においては、システム動作時に一回だけ初期パノラマ画像が生成され（ステップ S554）、記憶手段に格納される（ステップ S556）（ｂ）。（ｂ）の初期パノラマ画像は、一回だけクライアント端末へ送信されることになる（ｄ）。本発明に係る別の実施形態では、初期パノラマ画像は所定の時間間隔を置いて定期的に作成されて定期的にクライアント端末へと送信される。

この実施形態においては、差分静止画は動画像・パノラマ画像作成センタが含む記憶手段に格納され、定期的にクライアント端末へ送信される（ｅ）。本発明に係る別の実施形態では、差分静止画は作成される都度にクライアント端末へと送信されるようにすることも可能である。

この実施形態においては、パノラマ画像作成部 520 は、空き時間のときには、システムリソースの有効活用のためにインデックスを用いて自動補完処理を行い（ステップ S558）、補完のための差分静止画を作成して、適切なタイミングでクライアント端末へと送信する。

図６は、動画像作成時に行う処理を示す概要図である。ここでは、前述の判定処理Ａを説明する。なお、以下の説明では、動きベクトル算出をフレーム画像を 6x6 の部分に分割した各部分について行っているが、本発明はこれに限定されず、任意の手法で動きベクトルを算出して実施することができる。また、動きベクトルを算出する基準となるフレーム画像については表記を省略している。

図６の上の (1) は、動きベクトルが小さいときの例である。フレーム画像の各部分の動きベクトルを合成した結果、所定の閾値を超えなかったので、判定処理Ａの結果は偽となる。つまり、このフレーム画像では、基準としたフレーム画像からの動きが少なかったということになり、したがって、パノラマ画像（差分静止画）の作成は不要と判断される。

図６の下の (2) は、動きベクトルが大きいときの例である。フレーム画像の各部分の動きベクトルを合成した結果、所定の閾値を超えたので、判定処理Ａの結果は真となる。つまり、このフレーム画像では、基準としたフレーム画像からの動きが大きかったということになり、したがって、パノラマ画像（差分静止画）の作成が必要であると判断されることになる。

図７は、前述の判定処理Ｂを説明するための、動画像作成時に行う処理を示す概要図である。
図７の上の (3) は、動きベクトルが小さいが、空間周波数に高周波成分が有るときの例である。このフレーム画像はいわば「変化に富んだ」ものを映していることになるため、動きベクトルが小さくてもパノラマ画像（差分静止画）の作成が必要であると判断されることになる。

図７の下の (4) は、動きベクトルが大きいが、空間周波数に高周波成分が無いときの例である。このフレーム画像はいわば「変化に乏しい」ものを映していることになるため、動きベクトルが大きくてもパノラマ画像（差分静止画）の作成が不要であると判断されることになる。

図８は、本発明に係るプログラムを実行するハードウェア構成、すなわちホストの構成の概要図であって、CPU 800 、メモリ 802 、入力装置 804 、出力装置 806 、外部記憶装置 808 、媒体駆動装置 810 、可搬記録媒体 812 、ネットワーク接続装置 814 が、バス 816 によって接続されている。本発明に係るプログラムは、外部記憶装置 808 もしくは媒体駆動装置 810 によって駆動される可搬記録媒体 812 に格納することができる。また、ハードウェアは、ネットワーク接続装置 814 を介してネットワークと接続することができ、入力装置 804 および出力装置 806 を通じて本発明に係るプログラムを入出力することが可能である。

本発明に係るパノラマ画像作成装置、方法およびプログラムを用いて、動画像作成時に行われる演算データを流用し、動画像からパノラマ画像を適切なタイミングで作成することができ、コンピュータリソースの有効活用およびデータ転送量の増加を抑えることが可能となる。

（付記１）
撮像手段から取得した画像信号を動画像符号化する動画像符号化手段と、前記符号化した複数のフレーム画像のうちの少なくとも二つのフレーム画像について動きベクトルを算出する動きベクトル算出手段と、前記符号化した複数のフレーム画像のうちの少なくともひとつのフレーム画像について空間周波数を算出する空間周波数算出手段と、前記符号化した複数のフレーム画像の位置データに基づいてインデックスを作成する静止画インデックス作成手段と、前記インデックスを格納する記憶手段と、前記インデックスに基づいて前記対象画像を配列して合成することによって初期パノラマ画像を生成して前記記憶手段に格納する初期パノラマ静止画作成手段と、を含んだパノラマ画像作成装置において、
前記動きベクトル計算手段が算出した動きベクトルが所定の閾値よりも大きくなったことを検出する動きベクトルモニタリング手段と、
前記空間周波数計算手段が算出した空間周波数が所定の閾値よりも小さくなったことを検出する空間周波数モニタリング手段と、
前記動きベクトルモニタリング手段の検出結果、もしくは前記空間周波数モニタリング手段の検出結果に基づいて、対象となったフレーム画像の差分静止画を作成し、前記インデックスに基づき作成した前記差分静止画を前記記憶手段に格納する差分静止画作成手段と
を含むことを特徴とする、パノラマ画像作成装置。
（付記２）
所定のパノラマ画像枠の形状およびサイズと、前記初期パノラマ画像の形状およびサイズ、または前記初期パノラマ画像と前記差分静止画との合成によって更新されたパノラマ画像の形状およびサイズとを比較し、前記所定のパノラマ画像枠内の画像欠落部分を検出して補完する、画像欠落検出・補完手段
をさらに含むことを特徴とする、付記１記載の装置。
（付記３）
前記空間周波数計算手段が離散コサイン変換手段を含むことを特徴とする、付記１に記載の装置。
（付記４）
前記初期パノラマ画像と前記差分静止画とを、ネットワークを介してクライアント端末へと配信する、ネットワーク送信手段
をさらに含むことを特徴とする、付記１〜３のいずれか一項に記載の装置。
（付記５）
前記初期パノラマ静止画作成手段が、前記初期パノラマ静止画を前記ネットワーク送信手段を介して前記クライアント端末へと配信し、前記差分静止画作成手段が、前記差分静止画を前記ネットワーク送信手段を介して前記クライアント端末へと配信し、前記クライアント端末は、前記初期パノラマ画像に前記差分静止画を上書きしてパノラマ画像の更新を行うことを特徴とする、付記４記載の装置。
（付記６）
表示手段と、前記所定のパノラマ画像枠の範囲内において任意に前記表示手段が表示する撮像範囲を設定するために前記撮像手段を操作する撮像範囲調整手段とを有する前記クライアント端末において、前記撮像範囲調整手段によって前記表示手段が表示した選択された撮像範囲の分布を取得し、前記撮像手段の制御にフィードバックして、前記撮像手段の動作を最適化することを特徴とする、付記５に記載の装置。
（付記７）
撮像手段から取得した画像信号を動画像符号化する画像符号化手段と、前記符号化した複数のフレーム画像のうちの少なくとも二つのフレーム画像について動きベクトルを算出する動きベクトル算出手段と、前記符号化した複数のフレーム画像のうちの少なくともひとつのフレーム画像について空間周波数を算出する空間周波数算出手段と、前記符号化した複数のフレーム画像の位置データに基づいてインデックスを作成する静止画インデックス作成手段と、前記インデックスを格納する記憶手段と、前記インデックスに基づいて前記対象画像を配列して合成することによって初期パノラマ画像を生成して前記記憶手段に格納する初期パノラマ静止画作成手段とを備えたコンピュータシステムにおいて実行されるパノラマ画像作成方法であって、
動きベクトルモニタリング手段が、前記動きベクトル算出手段が算出した動きベクトルが所定の閾値よりも大きくなったことを検出するステップと、
空間周波数モニタリング手段が、前記空間周波数算出手段が算出した空間周波数が所定の閾値よりも小さくなったことを検出するステップと、
差分静止画作成手段が、前記動きベクトルモニタリング手段の検出結果、もしくは前記空間周波数モニタリング手段の検出結果に基づいて、対象となったフレーム画像の差分静止画を作成し、前記インデックスに基づき作成した前記差分静止画を前記記憶手段に格納するステップと
を含むことを特徴とする、パノラマ画像作成方法。
（付記８）
撮像手段から取得した画像信号を動画像符号化する画像符号化手段と、前記符号化した複数のフレーム画像のうちの少なくとも二つのフレーム画像について動きベクトルを算出する動きベクトル算出手段と、前記符号化した複数のフレーム画像のうちの少なくともひとつのフレーム画像について空間周波数を算出する空間周波数算出手段と、前記符号化した複数のフレーム画像の位置データに基づいてインデックスを作成する静止画インデックス作成手段と、前記インデックスを格納する記憶手段と、前記インデックスに基づいて前記対象画像を配列して合成することによって初期パノラマ画像を生成して前記記憶手段に格納する初期パノラマ静止画作成手段とを備えたコンピュータシステムにおいて実行されるパノラマ画像作成プログラムであって、
動きベクトルモニタリング手段が、前記動きベクトル計算手段が算出した動きベクトルが所定の閾値よりも大きくなったことを検出するステップと、
空間周波数モニタリング手段が、前記空間周波数計算手段が算出した空間周波数が所定の閾値よりも小さくなったことを検出するステップと、
差分静止画作成手段が、前記動きベクトルモニタリング手段の検出結果、もしくは前記空間周波数モニタリング手段の検出結果に基づいて、対象となったフレーム画像の差分静止画を作成し、前記インデックスに基づき作成した前記差分静止画を前記記憶手段に格納するステップと
を含むことを特徴とする、パノラマ画像作成プログラム。

本発明の実施形態に係るパノラマ画像作成システムの概要を示す図である。 本発明の実施形態に係るシステムの、映像表示時の動作を示すフローチャートである。 本発明の実施形態に係るシステムの、カメラ操作時の動作を示すフローチャートである。 本発明の実施形態に係るシステムの、システム未使用時の動作を示すフローチャートである。 本発明の実施形態に係るパノラマ画像作成の詳細を説明するための、動画像からパノラマ画像を作成するフローチャートおよび構成図である。 動画像作成時に行う処理を示す概要図（その1）である。 動画像作成時に行う処理を示す概要図（その2）である。 本発明に係るプログラムを実行するハードウェア構成の概要図である。 従来技術に係るパノラマ画像作成の方法を示す概要図である。

符号の説明

100 撮像手段
110 動画像作成センタ部
111 動画像符号化部
112 パノラマ作成部
113 インデックス作成部
114 差分静止画作成部
115 撮像範囲分布フィードバック手段
116 画像欠落検出・補完手段
120 クライアント端末
122 クライアント端末の表示手段に表示されたパノラマ画像
124 クライアント端末の表示手段に表示された動画像
500 撮像手段
510 動画像符号化部
520 パノラマ作成部
800 CPU
802 メモリ
804 入力装置
806 出力装置
808 外部記憶装置
810 媒体駆動装置
812 可搬記録媒体
814 ネットワーク接続装置
816 バス
900 動画像撮影用カメラ
910 動画像作成デバイス
920 クライアント端末
922 クライアント端末の表示手段
924 パノラマ画像の表示
926 動画像の表示
930 静止画撮影用カメラ
932 パノラマ画像
940 Webサーバ

Claims (5)

1. パノラマ画像作成装置であって、
   パノラマ画像を生成する生成部と、
   撮像手段から取得している動画像のフレーム画像を、動きベクトルの算出と、離散コサイン変換とを用いて符号化する動画像符号化手段と、
   前記符号化手段において算出された前記動きベクトルが閾値よりも大きいか否かを判定する動きベクトルモニタリング手段と、
   前記フレーム画像を前記離散コサイン変換して得られた空間周波数に閾値よりも高い周波数成分が含まれているか否かを判定する空間周波数モニタリング手段と、
   前記動きベクトルモニタリング手段により前記動きベクトルが閾値よりも大きいと判定された場合、又は、前記周波数モニタリング手段により閾値よりも高い周波数成分が含まれていると判定された場合に、前記フレーム画像の差分静止画を作成して、前記パノラマ画像に上書きすることで前記パノラマ画像を更新する、パノラマ画像作成手段と、
   前記パノラマ画像の更新に使われた前記フレーム画像の、前記パノラマ画像内での位置情報からインデックスを生成するインデックス作成手段と、
   前記インデックスを格納する記憶手段と、
   前記記憶手段に格納されたインデックスに基づいて、前記パノラマ画像中の更新されていない領域のフレーム画像を前記撮像手段から取得し、前記パノラマ画像を補完する画像欠落検出・補完手段と、
   を含むことを特徴とする、パノラマ画像作成装置。
2. 前記パノラマ画像作成手段は、前記動きベクトルモニタリング手段により前記動きベクトルが閾値よりも大きいと判定された場合、且つ、前記周波数モニタリング手段により閾値よりも高い周波数成分が含まれていると判定された場合に、前記フレーム画像の差分静止画を作成して、前記パノラマ画像に上書きすることで前記パノラマ画像を更新することを特徴とする、請求項１記載のパノラマ画像作成装置。
3. 前記パノラマ画像と前記差分静止画とを、ネットワークを介してクライアント端末へと配信する、ネットワーク送信手段
   をさらに含むことを特徴とする、請求項１又は２に記載のパノラマ画像作成装置。
4. コンピューターがパノラマ画像を作成する方法であって、
   パノラマ画像を生成する生成ステップと、
   撮影している動画像のフレーム画像を、動きベクトルの算出と、離散コサイン変換とを用いて符号化する符号化ステップと、
   前記符号化ステップにおいて生成された前記動きベクトルが閾値よりも大きいか否かを判定する動きベクトル判定ステップと、
   前記フレーム画像を前記離散コサイン変換して得られた空間周波数に閾値よりも高い周波数成分が含まれているか否かを判定する空間周波数判定ステップと、
   前記動きベクトル判定ステップにおいて前記動きベクトルが閾値よりも大きいと判定された場合、又は、前記空間周波数判定ステップにおいて閾値よりも高い周波数成分が含まれていると判定された場合に、前記フレーム画像の差分静止画を作成して、前記パノラマ画像に上書きすることで前記パノラマ画像を更新する更新ステップと、
   前記パノラマ画像の更新に使われた前記フレーム画像の、前記パノラマ画像内での位置情報からインデックスを生成するインデックス生成ステップと、
   前記インデックスを記憶手段に格納するステップと、
   前記記憶手段に格納されたインデックスに基づいて、前記パノラマ画像中の更新されていない領域のフレーム画像を撮影して取得し、前記パノラマ画像を補完するステップと、
   を含む、パノラマ画像作成方法。
5. コンピューターに、
   パノラマ画像を生成する生成ステップと、
   撮影している動画像のフレーム画像を、動きベクトルの算出と、離散コサイン変換とを用いて符号化する符号化ステップと、
   前記符号化ステップにおいて生成された前記動きベクトルが閾値よりも大きいか否かを判定する動きベクトル判定ステップと、
   前記フレーム画像を前記離散コサイン変換して得られた空間周波数に閾値よりも高い周波数成分が含まれているか否かを判定する空間周波数判定ステップと、
   前記動きベクトル判定ステップにおいて前記動きベクトルが閾値よりも大きいと判定された場合、又は、前記空間周波数判定ステップにおいて閾値よりも高い周波数成分が含まれていると判定された場合に、前記フレーム画像の差分静止画を作成して、前記パノラマ画像に上書きすることで前記パノラマ画像を更新する更新ステップと、
   前記パノラマ画像の更新に使われた前記フレーム画像の、前記パノラマ画像内での位置情報からインデックスを生成するインデックス生成ステップと、
   前記インデックスを記憶手段に格納するステップと、
   前記記憶手段に格納されたインデックスに基づいて、前記パノラマ画像中の更新されていない領域のフレーム画像を撮影して取得し、前記パノラマ画像を補完するステップと、
   を含む処理を実行させる、パノラマ画像作成プログラム。