JP5395621B2 - 画像生成方法および画像再生方法 - Google Patents

Description

本発明は、圧縮画像データの生成技術に関する。詳しくは、ユーザの要望に応じたフレームレートで圧縮画像データを生成する技術に関する。

監視カメラで撮像された画像は、監視カメラにおいて圧縮される。監視カメラは、たとえば警備室に設置された記録装置とケーブルを介して接続されている。記録装置には、モニタが接続されている。記録装置は、ハードディスクなどの記録媒体を備えている。監視カメラから記録装置に圧縮画像データが転送される。記録装置は、圧縮画像データを入力すると、必要に応じて、モニタに撮像画像を表示する。記録装置は、圧縮画像データをハードディスクなどの記録媒体に格納する。

モニタに表示される画像は、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）などの、比較的フレームレートの高い画像である。監視員は、リアルタイムでフレームレートの高い画像を参照することができる。

これに対して、ハードディスクに格納される画像は、１ｆｐｓ〜５ｆｐｓなど、比較的フレームレートの低い画像である。これは、大量の圧縮画像データを蓄積するため、ハードディスクに必要となる容量を削減するためである。

ハードディスクに格納する画像に要求されるフレームレートは、ユーザによって異なる。ユーザが、設定したフレームレートで圧縮画像データを記録装置に格納できるようにすることが好ましい。この要望に応えるための１つの方法として、監視カメラにおいて、複数種類のフレームレートの圧縮画像データを生成し、それら複数のフレームレートの圧縮画像データを記録装置に転送するという方法がある。たとえば、監視カメラは、リアルタイム表示用の３０ｆｐｓのほかに、２ｆｐｓ、３ｆｐｓの圧縮画像データを生成し、生成した複数種類の圧縮画像データを記録装置に転送する。記録装置では、３０ｆｐｓの画像をモニタに表示する。そして、記録装置では、ユーザによって設定された内容に応じて、２ｆｐｓあるいは３ｆｐｓの圧縮画像データを選択して、ハードディスクに格納する。

大久保榮監修、「Ｈ．２６４／ＡＶＣ教科書」、改訂三版、インプレスＲ＆Ｄ、２００９年１月１日、ｐ２９６

上記のような方法をとった場合、監視カメラでは複数種類のフレームレートの圧縮画像データを作成しなければならない。監視カメラにおける処理負担が増加し、監視カメラに必要とされるバッファ容量も大きくなる。また、監視カメラから記録装置に転送されるデータ容量も多くなり無駄が多い。

上記非特許文献１で示されているように、ある１つのフレームレートの圧縮画像データから別のフレームレートの圧縮画像データを生成する方法が提案されている。フレームレートスケーラビリティ機能は、Ｈ．２６４、ＭＰＥＧ４など、基準フレームと差分フレームとから構成される動画系圧縮データに適用される機能である。フレームレートスケーラビリティ機能を使うことで、圧縮画像データを伸張する前にフレーム間引きを行うことが可能である。

以下の説明において、フレームレートスケーラビリティ機能を利用して抽出される下位のフレームレートの圧縮画像データを２次圧縮画像データと呼び、２次圧縮画像データを抽出可能な上位のフレームレートの圧縮画像データを１次圧縮画像データと呼ぶことにする。

図４は、フレームレートスケーラビリティ機能を利用して、２ｆｐｓの２次圧縮画像データ２１２を抽出可能な３０ｆｐｓの１次圧縮画像データ２１１を生成する方法を示す図である。１次圧縮画像データ２１１は、１秒あたり３０枚のフレーム画像から構成される。図中の矢印は、画像の参照構造を示している。たとえば、２枚目のフレーム画像は、１枚目のフレーム画像を参照し、３枚目のフレーム画像は２枚目のフレーム画像を参照している。１６枚目のフレーム画像は１枚目のフレーム画像を参照している。１７枚目のフレーム画像は１６枚目のフレーム画像を参照している。

このような参照構造の１次圧縮画像データ２１１を監視カメラが生成して、記録装置に転送する。記録装置は、３０ｆｐｓのフレームレートでモニタに画像を表示させる。各フレームの画像は、図４の矢印の参照構造によって生成される。

記録装置は、また、１次圧縮画像データ２１１から２ｆｐｓの２次圧縮画像データ２１２を抽出して、ハードディスクに格納する。記録装置は、図４に示した１次圧縮画像データ２１１から１枚目の基準画像データと１６枚目の差分画像データだけを抽出してハードディスクに格納する。１６枚目の差分画像データは、１枚目の基準画像データを参照しているだけであるので、２〜１５、１７〜３０枚目のフレーム画像を破棄しても、２ｆｐｓの画像を再生可能である。

図５は、フレームレートスケーラビリティ機能を利用して、３ｆｐｓの２次圧縮画像データ２２２を抽出可能な１次圧縮画像データ２２１を生成する方法を示す図である。１次圧縮画像データ２２１も、１秒あたり３０枚のフレーム画像から構成される。たとえば、１１枚目のフレーム画像は、１枚目のフレーム画像を参照し、１２枚目のフレーム画像は１１枚目のフレーム画像を参照している。２１枚目のフレーム画像は１１枚目のフレーム画像の参照している。２２枚目のフレーム画像は２１枚目のフレーム画像を参照している。

記録装置は、３０ｆｐｓのフレームレートでモニタに画像を表示させる。各フレームの画像は、図５の矢印の参照構造によって生成される。記録装置は、また、３ｆｐｓの２次圧縮画像データ２２２を抽出してハードディスクに格納する。記録装置は、図５に示した圧縮画像データ２２１から１枚目の基準画像データと１１枚目の差分画像データと２１枚目の差分画像データだけを抽出してハードディスクに格納する。１１枚目の差分画像データは、１枚目の基準画像データを参照しているだけであり、２１枚目の差分画像データは、１１枚目の差分画像データを参照しているだけであるので、２〜１０、１２〜２０、２２〜３０枚目のフレーム画像を破棄しても、３ｆｐｓの画像を再生可能である。

同様に、図６に示す１次圧縮画像データ２３１により、５ｆｐｓの２次圧縮画像データ２３２を抽出可能である。

図４〜図６は、１次圧縮画像データから別の１つの２次圧縮画像データを抽出可能である（もちろん、１ｆｐｓの２次圧縮画像データも抽出可能であるが、ここでは１ｆｐｓは含めずに考える）。さらに、図７で示す例であれば、１次圧縮画像データ２４１から２種類の２次圧縮画像データ２４２、２４３を抽出可能である。

図７は、フレームレートスケーラビリティ機能を利用して、５ｆｐｓの２次圧縮画像データ２４２と１５ｆｐｓの２次圧縮画像データ２４３とを抽出可能な３０ｆｐｓの１次圧縮画像データ２４１を生成する方法を示す図である。１次圧縮画像データ２４１も、１秒あたり３０枚のフレーム画像から構成される。たとえば、３枚目のフレーム画像は、１枚目のフレーム画像を参照し、４枚目のフレーム画像は３枚目のフレーム画像を参照している。７枚目のフレーム画像は１枚目のフレーム画像を参照している。９枚目のフレーム画像は７枚目のフレーム画像を参照している。

記録装置は、３０ｆｐｓのフレームレートでモニタに画像を表示させる。各フレームの画像は、図７の矢印の参照構造によって生成される。記録装置は、５ｆｐｓの２次圧縮画像データ２４２あるいは１５ｆｐｓの２次圧縮画像データ２４３をハードディスクに格納可能である。記録装置は、図７に示した１次圧縮画像データ２４１から１枚目、７枚目、１３枚目、１９枚目、２５枚目のフレーム画像を抽出することで、５ｆｐｓの２次圧縮画像データ２４２をハードディスクに格納可能である。記録装置は、図７に示した１次圧縮画像データ２４１から１フレーム間隔で奇数番号のフレーム画像を抽出することで、１５ｆｐｓの２次圧縮画像データ２４３をハードディスクに格納可能である。

図７で示した１次圧縮画像データ２４１を監視カメラで生成することで、記録装置は、ハードディスクに格納する２次圧縮画像データのフレームレートを２種類（１ｆｐｓを含めると３種類）の中から選択可能である。

ただし、複数種類のフレームレートの圧縮画像データを選択可能とするためには、１次圧縮画像データの構造に特別の条件が必要である。必ず下位のフレームレートの２次圧縮画像データに含まれるフレーム画像は、上位のフレームレートの２次圧縮画像データに含まれていなければならない。図７の例であれば、５ｆｐｓの２次圧縮画像データ２４２を構成するフレーム画像は、全て１５ｆｐｓの２次圧縮画像データ２４３を構成するフレーム画像に含まれている。同様に、１５ｆｐｓの２次圧縮画像データ２４３を構成するフレーム画像は、全て３０ｆｐｓの１次圧縮画像データ２４１を構成するフレーム画像に含まれている。

これに対して、２ｆｐｓおよび３ｆｐｓの２種類の２次圧縮画像データを抽出可能な１次圧縮画像データを生成することはできない。２ｆｐｓの２次圧縮画像データを構成するフレーム画像の全てが３ｆｐｓの２次圧縮画像データを構成するフレーム画像に含まれないからである。

たとえば、図８に示すように、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓの２次圧縮画像データを抽出可能な１次圧縮画像データ２５１を作成することはできない。図から分かるように、２ｆｐｓの２次圧縮画像データに含まれる１６枚目のフレーム画像は、上位の３ｆｐｓ、５ｆｐｓ、１５ｆｐｓの２次圧縮画像データを構成するフレーム画像に含まれない。また、３ｆｐｓの２次圧縮画像データに含まれる１１枚目および２１枚目のフレーム画像は、上位の５ｆｐｓの２次圧縮画像データを構成するフレーム画像に含まれない。

本発明は前記問題点に鑑み、ある１つのフレームレートの圧縮画像データから複数種類のフレームレートの圧縮画像データを自由に抽出可能な技術を提供することを目的とする。

上記課題を解決するため、本実施の形態の画像生成方法は、Ｎ１（Ｎ１は自然数）ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の第１圧縮画像データから、異なるフレームレートの圧縮画像データを生成する画像生成方法であって、前記第１圧縮画像データからは、Ｎ２（Ｎ２は自然数；Ｎ１＞Ｎ２）ｆｐｓの第２圧縮画像データをフレーム間引きにより抽出可能であり、Ｎ３（Ｎ３は自然数；Ｎ１＞Ｎ３＞Ｎ２）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第１工程と、前記第２圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第２工程と、前記第１工程および前記第２工程で抽出されたフレーム画像から構成されるＮ３ｆｐｓの第３圧縮画像データを生成する第３工程とを備える。

本実施の形態によれば、第１圧縮画像データから異なるフレームレートの圧縮画像データを抽出可能である。従来のフレームレートスケーラビリティ機能の制約を取り払うことができる。つまり、上位フレームレートのフレーム画像が、下位フレームレートのフレーム画像を含まないような関係がある場合であっても、第１圧縮画像データから、それら両方の圧縮画像データを抽出することが可能である。たとえば、３０ｆｐｓの第１圧縮画像データから、２ｆｐｓと３ｆｐｓの圧縮画像データをいずれも抽出可能である。

本実施の形態に係る監視システムの全体図である。 本実施の形態に係る圧縮画像データの構成を示す図である。 本実施の形態に係る圧縮画像データの構成を示す図である。 従来のフレームレートスケーラビリティ機能で利用される圧縮画像データの構成を示す図である。 従来のフレームレートスケーラビリティ機能で利用される圧縮画像データの構成を示す図である。 従来のフレームレートスケーラビリティ機能で利用される圧縮画像データの構成を示す図である。 従来のフレームレートスケーラビリティ機能で利用される圧縮画像データの構成を示す図である。 従来のフレームレートスケーラビリティ機能を利用できない圧縮画像データの構成を示す図である。

｛１．全体構成｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態に係る監視システムの全体図である。この監視システムは、監視カメラ１、記録装置２およびモニタ３を備えている。

監視カメラ１は、監視エリアに設置されており、監視エリア内の画像を撮像する。記録装置２およびモニタ３は、たとえば、警備室などに設置される。記録装置２は、監視カメラ１とケーブル４によって接続されている。

監視カメラ１は、撮像部１１、圧縮部１２およびバッファ１３を備える。撮像部１１は、ＣＣＤなどで構成され、監視エリア内の画像を撮像する。撮像部１１で撮像された画像は、圧縮部１２において圧縮される。圧縮部１２における処理の内容は、後で詳しく説明するが、圧縮部１２は、フレーム間引きにより、２次圧縮画像データが抽出可能な１次圧縮画像データを生成する。本実施の形態の画像記録方法を利用して抽出される下位のフレームレートの圧縮画像データを２次圧縮画像データと呼び、２次圧縮画像データを抽出可能な上位のフレームレートの圧縮画像データを１次圧縮画像データと呼ぶことにする。

バッファ１３は、圧縮部１２において生成された１次圧縮画像データを一時的に格納する。バッファ１３に格納された１次圧縮画像データは、ケーブル４を介して記録装置２に転送される。

記録装置２において、監視カメラ１から転送された１次圧縮画像データがメモリ２１に格納される。メモリ２１に格納された１次圧縮画像データは、再生部２２を介してモニタ３に出力される。あるいは、メモリ２１に格納された１次圧縮画像データは、抽出部２３によって２次圧縮画像データが抽出されハードディスク２４に格納される。

｛２．１次圧縮画像データの生成方法｝
次に、監視カメラ１の圧縮部１２において生成される１次圧縮画像データ１１１のデータ構造について説明する。図２は、圧縮部１２において生成される１次圧縮画像データ１１１の構成を示す図である。

１次圧縮画像データ１１１は、３０ｆｐｓのデータである。１次圧縮画像データ１１１からは、画像を伸張することなく、本実施の形態において工夫されているフレーム間引きを行うことで、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓの２次圧縮画像データ１１２、１１３、１１４、１１５、１１６を抽出可能である。

図２には、１次圧縮画像データ１１１の３０枚のフレーム画像が表示されている。つまり、３０ｆｐｓの１次圧縮画像データ１１１の１秒間の画像に含まれるフレーム画像が表示されている。図２の上段は、フレーム参照構造を示している。フレーム参照構造の欄に描かれている矢印の根元が参照元フレームであり、矢印の先端が参照元フレームを参照しているフレームである。たとえば、２枚目のフレーム画像は、１枚目のフレーム画像を参照している。３枚目のフレーム画像は１枚目のフレーム画像を参照している。８枚目のフレーム画像は７枚目のフレーム画像を参照している。

１次圧縮画像データ１１１は、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓの２次圧縮画像データ１１２、１１３、１１４、１１５、１１６を、フレーム間引きにより個別に抽出可能となっている。ただし、２次圧縮画像データ１１２〜１１６のうち、ある２次圧縮画像データを生成するためには、それより下位の全てのフレームレートの２次圧縮画像データに含まれる全てのフレーム画像を合わせて抽出する。

たとえば、３ｆｐｓの２次圧縮画像データ１１４を生成するために、２ｆｐｓの２次圧縮画像データ１１３で必要とされるフレーム画像が全て抽出される。図に示すように、３ｆｐｓの２次圧縮画像データ１１４に必要なフレーム画像は本来１枚目、１１枚目および２１枚目の３枚のフレーム画像である。しかし、２１枚目のフレーム画像は、１６枚目のフレーム画像を参照している。したがって、２ｆｐｓの２次圧縮画像データ１１３で必要とされる１６枚目のフレーム画像を含めることで、３ｆｐｓの２次圧縮画像データ１１４が抽出可能である。

また、たとえば、５ｆｐｓの２次圧縮画像データ１１５は、２ｆｐｓの２次圧縮画像データ１１３および３ｆｐｓの２次圧縮画像データ１１４で必要とされる全てのフレーム画像を含める必要がある。図に示すように、５ｆｐｓの２次圧縮画像データ１１５に必要なフレーム画像は本来１枚目、７枚目、１３枚目、１９枚目、２５枚目の５枚のフレーム画像である。しかし、１３枚目のフレーム画像は、１１枚目のフレーム画像を参照している。１９枚目のフレーム画像は、１６枚目のフレーム画像を参照している。２５枚目のフレーム画像は、２１枚目のフレーム画像（さらに、２１枚目のフレーム画像も１６枚目のフレーム画像を参照している。）を参照している。したがって、２ｆｐｓの２次圧縮画像データ１１３で必要とされる１６枚目のフレーム画像と、３ｆｐｓの２次圧縮画像データ１１４で必要とされる１１枚目のフレーム画像および２１枚目のフレーム画像とを含めることで、５ｆｐｓの２次圧縮画像データ１１５が抽出される。

１次圧縮画像データ１１１の参照構造は、以上のような構造であり、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓの５種類のフレームレートの２次圧縮画像データを抽出可能となっている。

これらの特徴から本実施の形態において圧縮部１２で生成される１次圧縮画像データの参照構造の条件は次のようになる。

１次圧縮画像データから抽出可能としたい２次圧縮画像データのフレームレートのうち、最もフレームレートの低いものをＬ１ｆｐｓ（Ｌ１は自然数）とする。ただし、ここでは１ｆｐｓは除いて考えるので、Ｌ１＞１とする。まず、Ｌ１ｆｐｓの２次圧縮画像データを構成する各フレーム画像だけを抽出しても、Ｌ１ｆｐｓの２次圧縮画像データが再生可能となるように参照構造を作成する。つまり、Ｌ１ｆｐｓの２次圧縮画像データを構成する各フレーム画像が、それぞれ時間方向で１枚前のフレーム画像を参照するように参照関係を形成する。

次に、１次圧縮画像データから抽出可能としたい２次圧縮画像データのフレームレートのうち、２番目にフレームレートの低いものをＬ２ｆｐｓ（Ｌ２は自然数；Ｌ２＞Ｌ１）とする。そして、Ｌ１ｆｐｓの２次圧縮画像データを構成する全フレーム画像とＬ２ｆｐｓの２次圧縮画像データを構成する全フレーム画像との集合を考える。この集合内で、すでに、Ｌ１ｆｐｓの２次圧縮画像データに対して形成されている参照関係はそのまま利用される。まだ、参照元が決定していないフレーム画像については、集合内に存在するフレーム画像の中で、時間方向で１枚前のフレーム画像を参照するように参照関係を形成する。

このような参照関係の形成方法を繰り返し、順次、高いフレームレートの２次圧縮画像データも抽出可能となるようにする。一般的には、あるフレームレートの２次圧縮画像データを抽出可能とするためには、それよりも下位のフレームレートの２次圧縮画像データのために作成された参照関係を全て利用する。そして、参照元が決定していないフレーム画像については、下位のフレームレートも含む全てのフレーム画像の集合内で、時間方向で１枚前のフレーム画像を参照するように参照関係を形成する。

Ｈ．２６４／ＡＶＣにおけるＳＶＣ規格に規定されているフレームレートスケーラビリティ機能を利用する場合には、上位フレームレートのフレーム画像は、全ての下位フレームレートのフレーム画像を含む必要があると説明した。本実施の形態の１次圧縮画像データには、そのような制約はない。たとえば、図８を用いて説明したように、従来のフレームレートスケーラビリティ機能であれば、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓのフレームレートの２次圧縮画像データを選択して抽出可能な１次圧縮画像データを生成することはできなかった。本実施の形態の１次圧縮画像データ１１１であれば、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓのフレームレートの２次圧縮画像データを選択して抽出可能である。

｛３．２次圧縮画像データの記録方法｝
上述した方法により作成された１次圧縮画像データ１１１が監視カメラ１の圧縮部１２で作成され、記録装置２に転送される。

記録装置２は、圧縮画像データ１１１をメモリ２１に格納する。再生部２２は、１次圧縮画像データ１１１を伸張し、モニタ３に出力する。モニタ３では、３０ｆｐｓの画像が再生される。監視員は、モニタを参照することで、３０ｆｐｓのフレームレートの高い画像をリアルタイムで確認することができる。

抽出部２３は、ユーザの設定に応じたフレームレートの２次圧縮画像データをハードディスク２４に格納する。ユーザは、図示せぬ操作部を操作して、ハードディスク２４に格納する２次圧縮画像データのフレームレートを設定する。

たとえば、ユーザによって２ｆｐｓの２次圧縮画像データ１１３を格納することが設定されているとする。この場合、抽出部２３は、図２に示す１次圧縮画像データ１１１から、１枚目のフレーム画像と１６枚目のフレーム画像をフレーム間引きにより抽出して２次圧縮画像データ１１３としてハードディスク２４に格納する。

たとえば、ユーザによって３ｆｐｓの２次圧縮画像データ１１４を格納することが設定されているとする。この場合、抽出部２３は、図２に示す１次圧縮画像データ１１１から、１枚目のフレーム画像と１１枚目のフレーム画像と１６枚目のフレーム画像と２１枚目のフレーム画像を抽出して２次圧縮画像データ１１４としてハードディスク２４に格納する。ここで、１６枚目のフレーム画像は、３ｆｐｓの２次圧縮画像データ１１４には本来必要のないフレーム画像である。しかし、２１枚目のフレーム画像を生成するために必要なフレームとして抽出される。１６枚目のフレーム画像は２１枚目のフレーム画像を生成するためにのみ利用され、表示されないフレームである。図には、２次圧縮画像データ１１４に含まれる１６枚目のフレーム画像を非表示フレームとして示している。

たとえば、ユーザによって５ｆｐｓの２次圧縮画像データ１１５を格納することが設定されているとする。この場合、抽出部２３は、図２に示す１次圧縮画像データ１１１から、１、７、１１、１３、１６、１９、２１および２５枚目のフレーム画像を抽出して２次圧縮画像データ１１５としてハードディスク２４に格納する。ここで、１１、１６および２１枚目のフレーム画像は、５ｆｐｓの２次圧縮画像データ１１５には本来必要のないフレーム画像である。しかし、１１枚目のフレーム画像は１３枚目のフレーム画像を生成するため、１６枚目のフレーム画像は１９枚目のフレーム画像を生成するため、２１枚目のフレーム画像は２５枚目のフレーム画像を生成するために必要なフレームである。１１、１６および２１枚目のフレーム画像は、表示されないフレームであるので、図には非表示フレームとして示している。

たとえば、ユーザによって１５ｆｐｓの２次圧縮画像データ１１６を格納することが設定されているとする。この場合、抽出部２３は、図２に示す１次圧縮画像データ１１１から、奇数番目の全てのフレーム画像と１６枚目のフレーム画像を抽出して２次圧縮画像データ１１６としてハードディスク２４に格納する。ここで、１６枚目のフレーム画像は、１５ｆｐｓの２次圧縮画像データ１１６には本来必要のないフレーム画像である。しかし、１６枚目のフレーム画像は１７枚目のフレーム画像を生成するために必要なフレームである。１６枚目のフレーム画像は、表示されないフレームであるので、図には非表示フレームとして示している。

｛４．圧縮画像データの再生方法｝
再生部２２は、抽出部２３によってハードディスク２４に格納されている２次圧縮画像データをモニタ３に表示させる。ハードディスク２４には、たとえば、上述した方法により抽出された２次圧縮画像データ１１２〜１１６が格納されている。

再生部２２は、ハードディスク２４に格納されている２次圧縮画像データに非表示フレームが含まれている場合には、非表示フレームは他のフレーム画像を生成するためにだけ利用する。再生部２２は、非表示フレームは、モニタ３に表示しない。

たとえば、図２で示した１次圧縮画像データ１１１から５ｆｐｓのフレームレートの２次圧縮画像データ１１５が抽出されてハードディスク２４に格納されていたとする。再生部２２は、まず、１枚目のフレーム画像をモニタ３に表示する。次に、１枚目のフレーム画像を参照している７枚目のフレーム画像をモニタ３に表示する。次に、１枚目のフレーム画像を参照している１１枚目のフレーム画像を生成する。続いて、１１枚目のフレーム画像を参照している１３枚目のフレーム画像をモニタ３に表示する。１１枚目のフレーム画像は非表示フレームであるので表示されない。次に、１枚目のフレーム画像を参照している１６枚目のフレーム画像を生成する。続いて、１６枚目のフレーム画像を参照している１９枚目のフレーム画像をモニタ３に表示する。１６枚目のフレーム画像は非表示フレームであるので表示されない。次に、１６枚目のフレーム画像を参照している２１枚目のフレーム画像を生成する。続いて、２１枚目のフレーム画像を参照している２５枚目のフレーム画像をモニタ３に表示する。２１枚目のフレーム画像は非表示フレームであるので表示されない。

他のフレームレートの２次圧縮画像データを再生する場合も同様である。非表示フレームは、後続のフレーム画像を生成するためにだけ用いられ、表示されない。

このように、再生部２２は、ハードディスク２４に格納された２次圧縮画像データを再生することができる。再生部２２は、２次圧縮画像データのフレームレートから非表示フレームを特定することができる。２次圧縮画像データのヘッダに、非表示フレームを指定する情報が記録するようにしてもよい。再生部２２は、２次圧縮画像データのヘッダを参照することで、非表示フレームを特定し、他のフレーム画像の再生のために利用する。

本実施の形態によれば、抽出部２３は、１次圧縮画像データ１１１から異なるフレームレートの２次圧縮画像データを抽出可能である。特に、上述した参照構造を適用させることと、非表示フレームを記録することにより、従来のフレームレートスケーラビリティ機能の制約を取り払うことができる。つまり、上位フレームレートのフレーム画像が、下位フレームレートのフレーム画像を含まないような関係がある場合であっても、１次圧縮画像データから、その両方の２次圧縮画像データを抽出することが可能である。たとえば、３０ｆｐｓの１次圧縮画像データから、２ｆｐｓと３ｆｐｓの２次圧縮画像データをいずれも抽出可能である。

抽出部２３は、ユーザにより設定されたフレームレートに従って、１つの１次圧縮画像データ１１１から複数種類のフレームレートを選択して抽出することができる。図２の例であれば、抽出部２３は、２ｆｐｓ、３ｆｐｓ、５ｆｐｓ、１５ｆｐｓのフレームレートの中から任意のフレームレートを選択して２次圧縮画像データを抽出することができる。

抽出部２３は、複数種類のフレームレートの２次圧縮画像データをハードディスク２４に格納してもよい。たとえば、図２の例であれば、抽出部２３は、２ｆｐｓと３ｆｐｓの２次圧縮画像データ１１３、１１４を同時に抽出して、両方の２次圧縮画像データ１１３、１１４をハードディスク２４に格納してもよい。

｛５．アラーム時の再生｝
上述したように、本実施の形態によれば、抽出部２３は、複数種類のフレームレートの中から選択したフレームレートで２次圧縮画像データを記録可能である。たとえば、通常は、１次圧縮画像データ１１１から２ｆｐｓなどの低フレームレートの２次圧縮画像データを抽出し、ハードディスク２４に格納しておく。そして、アラーム時には、１次圧縮画像データ１１１から、５ｆｐｓなどの比較的高いフレームレートの２次圧縮画像データを抽出し、ハードディスク２４に格納することが可能である。

メモリ２１には、たとえば、５分間程度の１次圧縮画像データ１１１を蓄積しておくようにすればよい。これにより、アラーム時には、過去に戻って、異なるフレームレートの２次圧縮画像データを抽出可能である。たとえば、通常は、２ｆｐｓで２次圧縮画像データ１１３を格納しておき、アラーム発生時には、５分前まで遡って５ｆｐｓの２次圧縮画像データ１１５を記録することができる。

｛６．非表示フレームの利用｝
抽出部２３は、下位のフレームレートのフレーム画像を非表示フレームとして記録する。上記の実施の形態では、非表示フレームは表示されず、別のフレーム画像の再生用に用いられた。再生部２２は、非表示フレームを利用することで、下位のフレームレートの画像を再生することもできる。

たとえば、図２の例において、１次圧縮画像データ１１１から５ｆｐｓの２次圧縮画像データ１１５が抽出されハードディスク２４に格納されていたとする。再生部２２は、５ｆｐｓの画像を再生するだけでなく、３ｆｐｓあるいは２ｆｐｓの画像を再生することも可能である。

｛７．別の例｝
図３は、別の例として１次圧縮画像データ１１２を示す。１次圧縮画像データ１２１も、同様に、監視カメラ１の圧縮部１２によって生成される。１次圧縮画像データ１２１は、図に示すように、１ｆｐｓ、２ｆｐｓ、３ｆｐｓ、１０ｆｐｓ、１５ｆｐｓの５種類のフレームレートの２次圧縮画像データ１２２〜１２６を抽出可能である。図２の例で示した場合と同様、図中の砂地は、非表示フレームを示す。

１ 監視カメラ
２ 記録装置
３ モニタ
２４ ハードディスク

Claims (8)

1. Ｎ１（Ｎ１は自然数）ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の第１圧縮画像データから、異なるフレームレートの圧縮画像データを生成する画像生成方法であって、
   前記第１圧縮画像データからは、Ｎ２（Ｎ２は自然数；Ｎ１＞Ｎ２）ｆｐｓの第２圧縮画像データをフレーム間引きにより抽出可能であり、
   Ｎ３（Ｎ３は自然数；Ｎ１＞Ｎ３＞Ｎ２）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第１工程と、
   前記第２圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第２工程と、
   Ｎ３ｆｐｓでフレーム画像を再生することができる第３圧縮画像データを生成する第３工程であって、
   （１）前記第１工程で抽出されたフレーム画像と、前記第２工程で抽出されたフレーム画像とが、同一時刻に対応するフレーム画像である場合、前記第１工程で抽出されたフレーム画像と、前記第２工程で抽出されたフレーム画像とのいずれかのフレーム画像を、前記第３圧縮画像データの当該時刻に対応するフレーム画像として取得し、
   （２）前記第１工程で抽出されたフレーム画像に対応する時刻において、前記第２工程で抽出されたフレーム画像がない場合、前記第１工程で抽出されたフレーム画像を、前記第３圧縮画像データの当該時刻に対応するフレーム画像として取得し、
   （３）前記第２工程で抽出されたフレーム画像に対応する時刻において、前記第１工程で抽出されたフレーム画像がない場合、前記第２工程で抽出されたフレーム画像を、前記第３圧縮画像データの当該時刻に対応するフレーム画像として取得する、
   ことで、Ｎ３ｆｐｓでフレーム画像を再生することができる前記第３圧縮画像データを生成する前記第３工程と、
   を備える画像生成方法。
2. 請求項１に記載の画像生成方法であって、
   前記第２圧縮画像データを構成するフレーム画像には、前記第３圧縮画像データを構成するフレーム画像に含まれないフレーム画像が存在する画像生成方法。
3. Ｎ１（Ｎ１は自然数）ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の第１圧縮画像データから、異なるフレームレートの圧縮画像データを生成する画像生成方法であって、
   前記第１圧縮画像データからは、Ｎ２（Ｎ２は自然数；Ｎ１＞Ｎ２）ｆｐｓの第２圧縮画像データをフレーム間引きにより抽出可能であり、
   Ｎ３（Ｎ３は自然数；Ｎ１＞Ｎ３＞Ｎ２）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第１工程と、
   Ｎ４（Ｎ４は自然数；Ｎ１＞Ｎ４＞Ｎ３）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第２工程と、
   前記第２圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第３工程と、
   Ｎ４ｆｐｓでフレーム画像を再生することができる第３圧縮画像データを生成する第４工程であって、
   （１）前記第１工程、前記第２工程および前記第３工程で抽出されたフレーム画像において、同一時刻に対応するフレーム画像が、前記第１工程、前記第２工程および前記第３工程の中の複数の工程により抽出された場合、当該時刻に対応するフレーム画像を抽出した前記複数の工程のうちの１つの工程により抽出されたフレーム画像を、前記第３圧縮画像データの当該時刻に対応するフレーム画像として取得し、
   （２）前記第１工程、前記第２工程および前記第３工程で抽出されたフレーム画像において、同一時刻に対応するフレーム画像が、前記第１工程、前記第２工程および前記第３工程の中の１つの工程により抽出された場合、当該時刻に対応するフレーム画像を抽出した当該１つの工程により抽出されたフレーム画像を、前記第３圧縮画像データの当該時刻に対応するフレーム画像として取得する、
   ことで、Ｎ４ｆｐｓでフレーム画像を再生することができる前記第３圧縮画像データを生成する前記第４工程と、
   を備える画像生成方法。
4. Ｎ１（Ｎ１は自然数）ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の第１圧縮画像データから生成された異なるフレームレートの圧縮画像データを再生する画像再生方法であって、
   前記第１圧縮画像データからは、Ｎ２（Ｎ２は自然数；Ｎ１＞Ｎ２）ｆｐｓの第２圧縮画像データをフレーム間引きにより抽出可能であり、
   Ｎ３（Ｎ３は自然数；Ｎ１＞Ｎ３＞Ｎ２）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第１工程と、
   前記第２圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第２工程と、
   前記第１工程および前記第２工程で抽出されたフレーム画像から、同一時刻に対応するフレーム画像が複数ある場合、当該時刻に対応するフレーム画像を、前記第１工程および前記第２工程のいずれかで抽出されたフレーム画像とすることで、Ｎ３ｆｐｓで再生可能な第３圧縮画像データを生成する第３工程と、
   前記第３工程で生成された前記第３圧縮画像データを再生する第４工程と、
   を備え、
   前記第４工程は、Ｎ３ｆｐｓのフレームレートで圧縮画像を再生する場合、前記第２工程で抽出されたフレーム画像のうち前記第１工程で抽出されたフレーム画像に含まれないフレーム画像は、前記第１工程で抽出されたフレーム画像を生成するために用い、当該フレーム画像を表示させないことで、Ｎ３ｆｐｓのフレームレートで圧縮画像を再生する、画像再生方法。
5. 請求項４に記載の画像再生方法であって、
   前記第２工程で抽出されたフレーム画像を利用して、前記Ｎ２ｆｐｓの画像を再生する画像再生方法。
6. Ｎ１（Ｎ１は自然数）ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の第１圧縮画像データから生成された異なるフレームレートの圧縮画像データを再生する画像再生方法であって、
   前記第１圧縮画像データからは、Ｎ２（Ｎ２は自然数；Ｎ１＞Ｎ２）ｆｐｓの第２圧縮画像データをフレーム間引きにより抽出可能であり、
   Ｎ３（Ｎ３は自然数；Ｎ１＞Ｎ３＞Ｎ２）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第１工程と、
   Ｎ４（Ｎ４は自然数；Ｎ１＞Ｎ４＞Ｎ３）ｆｐｓの圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第２工程と、
   前記第２圧縮画像データを構成するフレーム画像を前記第１圧縮画像データから抽出する第３工程と、
   前記第１工程、前記第２工程および前記第３工程で抽出されたフレーム画像から、同一時刻に対応するフレーム画像が複数ある場合、当該時刻に対応するフレーム画像を、前記第１工程、前記第２工程および前記第３工程のいずれかで抽出されたフレーム画像とすることで、Ｎ４ｆｐｓで再生可能な第３圧縮画像データを生成する第４工程と、
   前記第４工程で生成された前記第３圧縮画像データを再生する第５工程と、
   を備え、
   前記第５工程は、Ｎ４ｆｐｓのフレームレートで圧縮画像を再生する場合、前記第１工程あるいは前記第３工程で抽出されたフレーム画像のうち前記第２工程で抽出されたフレーム画像に含まれないフレーム画像は、前記第２工程で抽出されたフレーム画像を生成するために用い、当該フレーム画像を表示させないことで、Ｎ４ｆｐｓのフレームレートで圧縮画像を再生する、画像再生方法。
7. 請求項６に記載の画像再生方法であって、
   前記第３工程で抽出されたフレーム画像を利用して、前記Ｎ２ｆｐｓの画像を再生する画像再生方法。
8. 請求項６に記載の画像再生方法であって、
   前記第１工程で抽出されたフレーム画像を利用して、前記Ｎ３ｆｐｓの画像を再生する画像再生方法。
   
   

Images