JP4828354B2 - 複数チャンネル画像転送装置 - Google Patents

Description

本発明は、複数スキャン画像転送装置に関する。

一般的に、人間の目は、静止画像が連続的に描画されたものを、動画として認識している。日本のテレビ放送などでは、１秒間に約３０回画像が連続表示される仕様になっている。１秒間に何回静止画像が表示されると（以下、１フレームの静止画像が１秒間に表示される回数を「秒間フレームレート」と言う。）、人間の目は連続表示される静止画像を違和感なく動画として認識することができるのかについては実証的に示すことが不可能であるため、本明細書では具体的な秒間フレームレート値を定義しない。しかしながら、秒間フレームレートが減少するにつれて、人間の目が連続静止画を動画であると認識しづらくなることは一般的に広く知られている事実である。

そこで、本明細書では、人間の目が連続静止画を違和感なく動画であると認識できる秒間フレームレートを「比較的高い秒間フレームレート」として、又、連続静止画が少しカクカクして見えてしまい動画として認識するには少し違和感がある秒間フレームレートを「比較的低い秒間フレームレート」として、更に、動画として認識するには著しく違和感がある秒間フレームレートを「極端に低い秒間フレームレート」と定義して、議論を進める。

表示すべき連続静止画データが再生端末側に蓄積されている場合には、それを倍速再生することは比較的容易である。即ち、再生端末側の不揮発性記録領域に格納されている静止画像を、通常再生の２倍の秒間フレームレートで表示(更新)することで、倍速再生が実現される。

次に、再生端末側に連続静止画データが蓄積されておらず、ネットワークを介して遠隔地から画像データを取得して再生する状況を考える。一般的に、このような再生方法は、「ネットワーク再生」と呼ばれている。ネットワークで接続された再生端末で、通常再生あるいは倍速再生を行う場合には、ネットワークの転送帯域（１秒間に転送可能なデータ量）を考慮する必要がある。再生端末側で再生画面を注視しているユーザに、違和感なく再生画像を動画像として認識させるためには、１秒間に複数枚の静止画像を転送する必要がある。ここで、１秒間に転送すべき画像データの合計がネットワークの転送帯域を下回っていれば問題は発生しないが、逆の場合にはコマ落ちが発生する。

とりわけ、映像入力系統が１つでない場合には、その傾向が顕著になる。例えば、画像転送側の装置が１６個の映像入力系統を有しており、且つ、画像データのサイズが同じであると仮定すると、１秒間に転送すべき画像データの合計は、映像入力系統が１つの場合と比較して１６倍になる。このように膨大なデータ量を転送しなければならない場合、理論上すべてのデータを転送できない可能性が高くなる。

ここで、多チャンネルの入力系統を搭載しており、主に監視用途などに使用されることを目的とした画像蓄積装置が再生端末とネットワークで接続され、且つ、転送帯域が制限された環境下において、画像蓄積装置から転送された画像を、再生端末側のソフトウェアで、すべてのチャンネルを１つのモニタへ分割多画面表示した状態で、通常再生あるいは多倍速再生することを考える。前述のとおり、ネットワーク環境においては転送帯域制限がボトルネックとなり、オフライン環境のようにコマ落ちすることなく多倍速再生することが難しいだけでなく、通常再生においてもパケットロスや遅延などが起きる可能性も否めないことから、再生環境が堅牢であるとはいえない。

特開２００１−３３３３８３号公報 特開２００４−１５９０３４号公報 特開２００６−５０４３５号公報 特開平８−２９７７９２号公報

本発明で想定している複数チャンネル画像転送装置（例えばデジタルレコーダの様な画像蓄積装置）は、画像入力機器（監視カメラ等）を介して任意の記録秒間フレームレートで画像を記録し、機器の内部又は外部に搭載している不揮発性記憶領域に当該画像を蓄積し、その蓄積画像をネットワークで接続された再生端末へ転送することができるものであり、且つ、画像入力機器を制御することで、記録する静止画の記録秒間フレームレートを任意に設定できる機能を有しているものとする。又、不揮発性記憶領域には、図２に示すように、１、２・・と順に各チャンネルの画像が格納されているものとする。最後のチャンネルの次には、次のタームの始めのチャンネルから各チャンネルの画像が順に格納されており、順次この繰り返しで全チャンネルの画像が蓄積されている。ここで言う「ターム」とは時刻を指し、「現タームの画像」とは同一時刻に記録された全てのチャンネルの画像を指すものとする。又、本発明の後述する具体的記載では、簡単化のために便宜上、入力系統が４チャンネルの場合を例にしている。このときの、再生端末側のソフトウェアによって制御されて、再生端末側の一つのモニタの画面上に分割表示される４チャンネルの画面を、図３に示す。

ネットワークを用いない実機での通常再生の場合、ネットワーク環境とは異なり転送帯域制限等がないため、多倍速再生に関する先行発明は多く提案されている。比較的多いのは、MPEG関連の従来発明であり、例えば、MPEGの多倍速再生における表示画面のフレーム間の欠性を軽減した特許文献１がある。また、再生関連として、MPEGの巻き戻し再生に関する先行技術を開示する特許文献２もある。MPEGやJPEG等に代表される圧縮画像は、データ構造そのものがビットマップ画像とは異なる複雑な形態をとっており、再生するためには圧縮画像を復号化する必要がある。特にMPEGは、ビットストリーム構造であるため、静止画像のように１枚毎にデータを切り分けることが難しい場合が多い。これらの先行文献は、再生関連の先行技術例として紹介したが、本発明ではネットワーク環境での再生を想定しているため、本発明と上記先行文献の従来発明とでは、分野が少し異なる。本発明のシステムにおいて、想定している静止画像の画像フォーマットは、ビットストリーム構造をとらないビットマップや、JPEG、JPEG2000等をはじめとするものである。

本発明の想定環境に比較的近いネットワーク監視システムを提案している先行発明としては、特許文献３が挙げられる。ネットワーク監視システムにおいては、特許文献３の文中にも記載されているように、ネットワーク環境では転送帯域の制限などがあるため、再生端末側での再生時のコマ落ちを完全に防ぐことはできない。特許文献３は、多少のコマ落ちは伴うものの、ネットワークカメラが遠隔地に於いて取得した画像をネットワークで接続された再生端末側においてリアルタイムで監視することを目的として、斯かるリアルタイム監視を実現している。しかしながら、この特許文献３では、監視用途で使用する際に、コマ落ちが発生した場合に関して、再生端末側のユーザが不審（人)物などを見落とす確率を下げる手法については提案されていない。

又、フレーム間差分を用いた動き検知機を有している監視システムを提案している特許文献４がある。特許文献４では、映像だけでなく音声情報も利用することで、動き検知の精度を高めることに成功している。しかしながら、特許文献４も、ネットワークで接続された端末側で画像を再生する手法自体には触れておらず、再生端末側に異常事態を知らせることを主たる目的としている。

又、その他にも、監視用画像蓄積装置等自体でフレーム間差分を行い、動きのある画像を高い画質で記録しておくシステム等は多く存在するが、これらはネットワーク接続された再生端末で再生することを想定していないか、あるいは、再生端末側での再生を想定しているものであっても単純に画像蓄積装置に記録されている画像を再生端末側に転送するものでしかない。

これに対して、本発明は、再生端末側への画像の転送方法、及び、再生端末側での表示方法を提案する。

即ち、本発明の課題ないしは目的とは、複数チャンネルの入力系統を搭載した画像蓄積装置がネットワークを介して再生端末と接続され、且つ、ネットワーク転送帯域が制限された環境下において、画像蓄積装置から取得した画像を、再生端末側のソフトウェアで、すべてのチャンネルを１つのモニタへ分割多画面表示した状態で通常再生あるいは多倍速再生する際にコマ落ちが発生した場合、主に監視用途として使用する際に、再生端末側で監視するユーザが不審（人)物等を見逃すケースを減らすことが可能な複数チャンネル画像転送装置及び複数チャンネル画像再生装置を提供する点にある。

本発明の主題に係る複数チャンネル画像転送装置は、複数チャンネルの入力系統で各画像入力機器からの静止画像を入力する画像入力手段と、前記画像入力手段で入力した複数チャンネルの各々の静止画像を不揮発性記憶領域に順次蓄積する画像蓄積手段と、ネットワークを介して前記不揮発性記憶領域に蓄積されている前記複数チャンネルの各々の静止画像を再生端末側に転送する際に、チャンネル毎に、前回転送した静止画像と現タームで転送対象となっている静止画像とのフレーム間差分値を算出し、前記複数チャンネルの内で、当該フレーム間差分値が所定のしきい値を上回る記録画像間の動きが激しい優先的に選択すべきチャンネルの静止画像の選択確率を相対的に上げる処理を行った後に、各チャンネルの選択確率に基づく乱数処理にて転送すべきチャンネルを選択し、被選択チャンネルの静止画像を転送する静止画像転送手段とを備えることを特徴とする。

以下、この発明の主題の様々な具体化を、添付図面を基に、その効果・利点と共に、詳述する。

本発明の主題によれば、複数チャンネルの静止画像中、不審（人）物等が出現した可能性が高いチャンネルの画像を、ネットワークを介して再生端末側に優先的に転送することが出来る可能性を、格段に高めることが出来る。

（実施の形態１）
図１は、本発明の各実施の形態に係る複数チャンネル画像転送装置が適用されるシステム全体の構成を示すブロック図である。本発明の中核部たる画像蓄積装置（例えば業務用デジタルレコーダー）４は、各入力端でその出力端が接続された監視カメラ等の各画像入力機器１で記録した画像を蓄積しておくための機器であり、機能的にはパーソナルコンピュータ（以下、ＰＣと言う。）のような性能を必要とする。このため、市販のＰＣを画像蓄積装置４として利用しても良いと考えられる。

又、画像蓄積装置４は、その最低限の機能として、複数チャンネルの画像入力機器１からの静止画像を記録する際に任意の記録秒間フレームレート（１秒間に記録可能なフレーム数を言う。）で当該静止画像を記録し、その静止画像を本装置４の内部（図１の一例に該当）あるいは外部に設けた不揮発性記憶領域５に蓄積しておくことができるハードウェアを有しており、他の機器への画像転送機能及びネットワーク通信を行うための通信プロトコルの両方を実装した組み込みソフトウェアを搭載している。

又、画像蓄積装置４の不揮発性記憶領域５には、例えば図２に示すように、１、２、３、４と順に各チャンネルの静止画像が記録（格納）されているものとする。

本実施の形態では、記載の簡単化のために、入力系統が４チャンネルの場合を例にしている。即ち、画像入力機器（例えば、監視カメラ等）１が４台配置されており、画像蓄積装置４は、これら４台の画像入力機器１から送られてくる静止画像をそれぞれ入力することのできる４チャンネルの入力系統（入力端、Ａ／Ｄ変換器、チップセット等）を有しているものとする。

不揮発性記憶領域５に於いては、図２に模式的に示す通り、最後のチャンネルの次には、また１チャンネルから順に次の時刻（ここでは、ターム）の画像６が順に格納されており、順次この繰り返しで画像６が蓄積されていくものとする。ただし、蓄積方法について特に限定するものではなく、図２に示す様な方法は説明のための一実装例である。なお、不揮発性記憶領域５は、図１の様に、画像蓄積装置４の内部に内蔵されていても良いとする。

特に、画像蓄積装置４の組み込みソフトウェアには、比較的多くの機能を実装する必要がある。そのため、実装の負担を減らし且つ信頼性を高める意味でも、マルチタスクやネットワーク関連の通信プロトコルが実装済みである比較的高機能なオペレーティングシステムを採用することが現実的である(例えば、Linux, Windows（登録商標）CE, Vxworks等)。

図１の再生端末（例えば、ＰＣ、ワークステーション等）３は、その最低限の機能として、画像蓄積装置４からネットワーク２を介して転送されて来る複数チャンネルの静止画像を一つのモニタに多画面分割表示を行うことができ、且つ、通常再生及び倍速再生をユーザが任意に設定することができる機能を有している。

ユーザは、再生端末３にインストールされているソフトウェアを操作することにより、転送されて来た画像を通常再生あるいは多倍速再生して当該画像を閲覧する。

尚、図１は、画像蓄積装置４と再生端末３とがネットワーク２を介して互いに接続されている場合の一例であるが、接続形態はこれに限られるものではなく、ローカル接続やグローバル接続であっても良い。

図３は、再生端末３の一つのモニタ（表示装置）上に、チャンネル７毎に分割表示された画面８を示す図である。図３に示す様に、分割画面８には、画像蓄積装置４から取得した１〜４チャンネルの各画像が表示される。

図４は、画像蓄積装置４側の画像転送手順を示したフローチャートである。本実施の形態は、多倍速再生する際は、転送回数を固定にした状態で、転送するチャンネルの画像選択方法を工夫する。尚、ここでいう「転送回数」は、転送画像の枚数と同義である。ここでは、簡単化のため、倍速再生を例にして画像転送手順を記載するが、画像転送手順の内容としては、この点は多倍速再生の場合でも同じである。

又、図４の例では、ネットワークとして一般的に良く知られているTCP/IPプロトコルを使用して通信している。TCP/IPプロトコルを利用した通信では、はじめに再生端末３側から画像転送要求コマンドを画像蓄積装置４に送信し、それを受けた画像蓄積装置４は画像要求コマンドに対する着信応答を返送し、続けて画像データを送信する。画像蓄積装置４は一枚の画像データを「パケット」と呼ばれるデータ単位に分割し、複数回にわけて一枚の画像データを送信する。再生端末３側は適宜、画像データパケットに対する着信応答を返し、画像データのどの部分までを受信したのかを画像蓄積装置４に伝える。画像蓄積装置４はこの着信応答に応じて残りの画像データを送信する。このような手順を順次繰り返すことで、再生端末３側は一枚の画像データを取得することができる。これは、画像蓄積装置４がサーバ、再生端末３側がクライアントの役割を担った、いわゆるクライアントサーバシステムである。

処理手順としては、最初に、画像蓄積装置４のＣＰＵは、変数cntに０を設定することで初期化している（ステップＳ１）。ここで、変数cntは、現ターム内で再生端末３側に転送した画像の枚数を格納しておくためのものである。再生端末３側から画像転送要求があると（ステップＳ２）、画像蓄積装置４のＣＰＵは、選択したチャンネルの画像を１枚単位で転送するが（ステップＳ３、Ｓ４）、この例では倍速再生であるため、４チャンネルすべての画像を転送することができない。このため、画像蓄積装置４のＣＰＵは、２枚の画像を転送した時点で（ステップＳ６）、次のタームへ移動することで（ステップＳ７）、倍速再生を実現している。

本実施の形態では、４チャンネルの計４枚の画像から、２枚の画像を選択しているフローチャート中段のステップＳ３[転送するチャンネルを１つ選択]の処理が最も重要となる。

図５は、本実施の形態における、図４で示したステップＳ３[転送するチャンネルを１つ選択]の処理手順を詳細に示すフローチャートである。図５の処理手順では、画像蓄積装置４のＣＰＵは、始めにチャンネル数を格納する目的で使用する変数Ａを１に設定することで初期化する（ステップＳ３１）。これは、１チャンネルから処理を開始するためである。次に、画像蓄積装置４のＣＰＵは、該当するチャンネルの前回転送した静止画像を取得し（ステップＳ３２）、その静止画像と現タームで転送対象となっている静止画像とのフレーム間差分値を計算する（ステップＳ３３）。このとき、フレーム間差分値が高いほど、前回転送した静止画像と、現タームの静止画像との画像間の動きが激しいことになる。ただし、図５のフローチャート中のステップＳ３２の処理で取得される[前回転送したＡチャンネルの画像]は、必ずしも現タームの１つ前のタームの静止画像であるとは限らない。これは、１つ前のタームの静止画像が転送されたとは限らないためである。

本実施の形態では、画像蓄積装置４のＣＰＵは、経験値に基づき予め設定された「フレーム間差分値のしきい値」と前回ステップＳ３３で算出した当該チャンネルのフレーム間差分値との大小関係を比較し（ステップＳ３４）、上記しきい値を上回るフレーム間差分値が検出された場合には、該当チャンネルの静止画像が転送対象として選択される確率を上げる処理を行なう（ステップＳ３５）。その結果、選択確率を上げる処理を行なったチャンネルの静止画像が転送画像として選択される確率は、高くなる。従って、選択される確率が増加したチャンネルの画像に対して、その他３つのチャンネルの静止画像に関しては、転送画像として選択される確率は相対的に低くなる。そして、画像蓄積装置４のＣＰＵは、４チャンネル全ての現タームの静止画像に関して、選択確率を求める（ステップＳ３６、Ｓ３７）。最後に、画像蓄積装置４のＣＰＵは、これら４チャンネル計４つの画像から、各チャンネルの画像の選択確率を考慮したうえで、転送するチャンネルの画像を１つ選択する（ステップＳ３８）。即ち、画像蓄積装置４のＣＰＵは、各チャンネルの画像の選択確率に対して例えば重み付けの乱数処理を行うことで、各チャンネルの画像の選択確率に基づき優先的に転送すべきチャンネルの画像を１つ選択し、被選択チャンネルの静止画像を再生端末３側に転送する。

尚、本実施の形態で用いている「フレーム間差分」という用語は広義の意味であり、一般的な画像処理技術(例えば、背景差分、オプティカルフロー検出処理等)においてもその処理過程においてフレーム間差分処理を利用するものはすべて、本発明の対象となる。

又、これら一連の処理を、ハードウェアとソフトウェアのどちらを用いて実行しても問題はないが、処理手順が比較的複雑であるため、一般的にはソフトウェアで上記処理手順を実現するのが現実的である。

又、上述の記載では、チャンネル数が４チャンネルの場合について説明しているが、これに限られるものではなく、２チャンネル以上の複数チャンネルであれば良い。

以上に記載したように、本実施の形態に係る、ネットワーク監視のための複数チャンネル画像転送装置は、（１）複数チャンネルの入力系統で画像入力機器１からの静止画像を入力する「画像入力手段」（図１の入力端、Ａ／Ｄ変換器等から成る部分に該当）と、（２）画像入力機器１を制御して任意の記録秒間フレームレートで各チャンネルの静止画像を不揮発性記憶領域５に順次蓄積する「画像蓄積手段」（図１ではＣＰＵの機能に該当）と、（３）ネットワークを介して不揮発性記憶領域５に蓄積されている複数チャンネルの静止画像を再生端末３側へ転送する際に、フレーム間差分を利用した指標を利用し、記録画像中、前回転送時の静止画像と比較して動きの激しいチャンネルの静止画像を優先的に転送する「静止画像転送手段」（図１ではＣＰＵの機能に該当）を備えている。

そのため、本実施の形態によれば、再生端末３側で蓄積画像を再生するユーザが、不審（人)物などが出現している可能性が高い、画像間で動きの激しいチャンネルの画像を優先的に閲覧することができる可能性を格段に高めることが出来る。

とりわけ、屋内で不審（人)物の発見や警報等の目的で監視カメラを設置する場合、基本的に動物体がない場所に監視カメラが設置されることが多いと考えられる。この場合、照明条件（電器照明の強さ、規則的点滅等など）がほぼ一定であると仮定すると、監視カメラから入力される各画像間の輝度値の差分値は、不審（人)物をはじめとする動物体が出現しない限り、殆ど変化しないケースが多い。

又、本実施の形態においては、再生端末３側で蓄積画像を再生するユーザが、コマ落ちが発生する３倍速以上の再生においても、不審（人)物の出現などの重要な情報を見逃す確率を低くすることができる。

しかも、本実施の形態においては、再生端末３は、ネットワーク２を介して画像蓄積装置４から転送されてくる静止画像を多倍速再生する機能を備えている。従って、通常再生の場合に比べて、再生端末３側での画像再生時間を短縮することができる。例えば、再生端末３で倍速再生する場合は、通常再生のおよそ半分に、Ｎ(Ｎ；１以上の整数)倍速再生の場合は通常再生のおよそＮ分の１に短縮できる。

（実施の形態２）
実施の形態１は、画像蓄積装置１に蓄積されている複数チャンネルの静止画像をネットワーク２を介して多倍速再生するための再生端末３に転送する際に、一般的な画像処理技術であるフレーム間差分を利用した指標を導入することで、記録画像中、前回転送時の静止画像と較べて動きの激しいチャンネルの静止画像を優先的に転送するものであった。

実施の形態１のみであっても、有用性は高いと考えられるが、本発明で想定している環境においては、画像入力機器１から任意の記録秒間フレームレートで画像蓄積装置４に画像を蓄積しておくことができる。

そこで、本実施の形態では、前述の実施の形態１で用いたフレーム間差分に加えて、記録秒間フレームレートの情報も利用して、各チャンネルの選択確率を求めて、当該各チャンネルの選択確率に基づき優先的に転送すべきチャンネルの静止画像を選択する。尚、記録秒間フレームレートの情報に関しては、画像蓄積装置４のハードウェア側で当該情報を管理しているため、画像蓄積装置４に於いてユーザが自由に当該情報を設定することができ、しかも、ソフトウェアの処理によって当該情報を容易に参照・取得することが出来る。

本実施の形態に係る処理手順を図６のフローチャートに示す。処理手順では、実施の形態１で用いたフレーム間差分処理に加えて、記録秒間フレームレートの情報を利用している。従って、画像蓄積装置４のＣＰＵが行う、図６中のステップＳ３５１及びＳ３５２が追加されることとなる。ここで、記録秒間フレームレートが少なくなるにつれて、１秒間当たりの情報量を密に取得できなくなる。そのため、記録秒間フレームレートの場合にも、フレーム間差分値の場合と同じく、しきい値（第２しきい値とも言う。それに対して、フレーム間差分値のしきい値を第１しきい値と定義する。）を設定し、画像蓄積装置４のＣＰＵは、所定の第２しきい値よりも記録秒間フレームレートが低い場合には（ステップＳ３５１）、実施の形態１と同じく、該当チャンネルの静止画像が再生端末３側への転送画像として選択される確率を上げる処理を行なう（ステップＳ３５２）。選択確率を上げたチャンネルの静止画像は、転送画像として選択される確率が高くなる。従って、選択される確率が増加したチャンネルの画像に対して、その他３つのチャンネルに関しては、相対的に転送画像として選択される確率は低くなる。最後に、画像蓄積装置４のＣＰＵは、これら４チャンネル計４つの静止画像から、各チャンネルの静止画像の選択確率を考慮した上で（各チャンネルの静止画像の選択確率に基づき）、優先的に転送すべきチャンネルの静止画像を１つ選択する。

本実施の形態では、記録秒間フレームレートが低くなればなるほど、且つ、フレーム間差分値が高くなるほどに、その該当チャンネルが転送画像として優先的に選択される確率が高くなる。但し、これはあくまで一例であり、複数チャンネルの画像を取得し、再生端末３側で分割画面表示した状態で倍速以上の再生を行なう際に記録秒間フレームレートとフレーム間差分技術を利用するものは全て、本発明の対象内にある。

本実施の形態によれば、実施の形態１で記載した利点を残しつつ、画像入力機器１からの記録の際に１秒間当たりの情報が密にとれていないチャンネルの画像に関しても、再生端末３側のユーザが優先的に閲覧することができる蓋然性を格段に高めることが出来る。

ここで、実施の形態１、２の処理手順中のステップＳ３８[転送するチャンネルを１つ選択]の処理に関するシンプルな一実装例を示す。

図７は、１〜４チャンネルが転送チャンネルとして選択される確率を基に、実際に転送するチャンネルを決定する手順を示している。ここで、Ｓ（Ｎ）はＮチャンネル（Ｎ；１〜４）が転送チャンネルとして選択される確率（％）を各々示している。ここでは簡単化のために、（１）式が成立するものとする。

例えば、各チャンネルの選択確率が全く変更されていない場合には、Ｓ（１）＝Ｓ（２）＝Ｓ（３）＝Ｓ（４）＝２５であり、各チャンネルが選択される確率はそれぞれ２５％である。処理手順では、始めに各チャンネル格納用の変数を１００個準備し、この変数の中に各チャンネルをそれぞれの選択確率の数だけ格納する。最後に、１から１００までの乱数を発生させることで、それぞれの選択確率を反映させて、転送するチャンネルを選択することができる。尚、この実装例はソフトウェアで実現するための例であり、乱数発生処理などは言語のライブラリ等を用いて行なっても良い。

（実施の形態３）
実施の形態１及び２は、転送あるいは蓄積する静止画像のフォーマットに関しては、ビットマップであるか、あるいは、その他の圧縮形態(JPEG,JPEG2000等)であるかについては、特に定めていない。しかしながら、ネットワーク２の転送帯域に制限がある場合には、転送画像に圧縮形態フォーマットを採用することが現実的な選択肢となる場合が多い。

そこで、本実施の形態では、実施の形態１及び２に共通の処理である図６及び図７で示したステップＳ３８[転送するチャンネルを１つ選択]の処理後に、選択されたチャンネルの静止画像を圧縮形態のフォーマットにエンコードする処理（ステップＳ３９；静止画像圧縮手段）を追加する。ここで、実施の形態１に本実施の形態を適用した場合の、画像蓄積装置４のＣＰＵ（静止画像転送手段）に於ける処理手順を示すフローチャートを図８に例示する。更に、画像蓄積装置４のＣＰＵ（静止画像転送手段）は、転送画像の圧縮形態のフォーマットを選択した上で、圧縮後の当該転送画像を再生端末３側に転送する。尚、圧縮形態としては、JPEG、JPEG2000等が候補となる。但し、CODECの圧縮率は、任意の値で固定されているものとする。

これにより、再生端末３側のユーザは、ネットワーク２の転送帯域を有効に利用することが可能となったため、コマ落ちが少ない再生環境を得ることができると共に、再生端末３側に転送された画像は圧縮形態の画像であるため、再生端末３側の記憶部が存在する場合は、その容量も節約することができる。

尚、本実施の形態は、倍速以上の再生に限らず、通常再生の場合にも適用することができる。

（実施の形態４）
実施の形態３は、再生端末３への転送対象として選択されたチャンネルの静止画像のみを所定の圧縮形態に変換し、再生端末３側に転送することを特徴としている。但し、このときの圧縮形態の圧縮率は、任意の値で固定されているものであった。

本実施の形態では、実施の形態３に於ける特徴点を踏襲しつつ、転送対象となったチャンネルの選択確率に応じて、転送対象の画像の圧縮率を動的に変化させる。

図９は、実施の形態１及び２で説明したフレーム間差分や記録秒間フレームレートの情報を利用して転送チャンネルが選択された以後、転送前での圧縮処理手順の一例を示す。

本実施の形態では、一例として、それぞれ異なる画像圧縮率を持つCODECを１０個用意し、圧縮率が高い方から順に、CODEC１、２、・・１０とする。図９に示す画像蓄積装置４のＣＰＵに於ける処理手順では、始めに転送チャンネルの画像の選択確率を取得し、選択確率が高くなるにつれて、圧縮率の低いCODECで転送画像を圧縮し、圧縮画像の画質を高めている。又、本実施の形態では、簡単化のために、実施の形態３と同様に、選択確率(％)の合計を１００としている。

本実施の形態では、転送チャンネルの画像の選択確率に応じて転送画像の圧縮率を変化させる処理をソフトウェアで実現する例を示している。しかしながら、圧縮形態によっては、JPEG2000等のようにエンコードに時間がかかるものもあるため、ハードウェアエンコードを使用した方が良い場合もある。

本実施の形態により、再生端末３側のユーザにとって重要度が高いと考えられる画像ほど、その画質を高めることができる。又、転送画像として選択されたものの、選択確率が低くさほど重要度が高くないと考えられる画像の圧縮率は高くなるため、余分なデータ量を節約することができ、ネットワーク転送帯域を効率的に利用することが可能となる。

（実施の形態５）
本実施の形態では、再生端末３側のユーザがマウス等の入力デバイスを使用して分割表示された各チャンネルの秒間再生フレームレート（１秒間当たりに再生ないし表示可能なフレーム数）を調節できるシステムについて記載する。

本実施の形態では、再生端末３側の分割表示された各チャンネルの画面上にマウスポインタを移動させ、マウスの左ボタンをクリックすると当該チャンネルの秒間再生フレームレートが高くなり、マウスの右ボタンをクリックすると当該チャンネルの秒間再生フレームレートが低くなるものとする。

図１０は、本実施の形態に関する再生端末３側及び画像蓄積装置４のＣＰＵ側の処理手順を示す。本処理手順では、再生端末３側のソフトウェアで、ユーザが分割表示された各チャンネルの画面でマウスをクリックした時のチャンネル数、及び、クリックしたマウスのボタンの状態を示す情報を取得し、再生端末３は、それらのデータを「秒間再生フレームレート変更要求」として画像蓄積装置４側に送信する。尚、本実施の形態では、マウスの左ボタンをクリックしたときのマウスボタン情報として１という数字が、逆にマウスの右ボタンをクリックしたときのマウスボタン情報として２という数字が、用意された変数Ｍに格納されるものとする。

他方、秒間再生フレームレート変更要求を受けた画像蓄積装置４のＣＰＵは、再生端末３から送信された情報（ＣＨ，Ｍ）を基に、クリックされたチャンネルの選択確率を上下させる処理を行なうことで、再生端末３側に於けるクリックされたチャンネルの秒間再生フレームレートを調整することができる。

本実施の形態の実装は比較的容易であると考えられるが、以下に実装の指針を示す。始めに、再生端末３側のソフトウェアに関しては、いま、再生端末３がＰＣであると仮定すると、マウスなどのデバイス情報に関しては、一般的なオペレーティングシステムを利用することで、デバイス取得情報をソフトウェア側に比較的容易に渡すことができる。

次に、画像蓄積装置４側にも組み込みソフトウェアが搭載されており、ネットワークプロトコルスタックやマルチタスクが実装済みの一般的なオペレーティングシステムを利用すれば、画像蓄積装置４のＣＰＵは、再生端末３側からの再生フレームレート変更要求を正確に受信することができる。

実施の形態１及び２で示したフレーム間差分などの画像処理技術は、画像中の輝度値の変化を用いた手法である。しかしながら、不審（人)物などが存在しない場合でも、照明条件(太陽、電器照明の強さ、規則的点滅等)や不審（人)物以外の動き(木、葉、旗のゆれ等)によって記録画像中の輝度値が変化することでフレーム間差分値が高くなり、不審（人)物が存在しないチャンネルであっても、再生端末３側に当該チャンネルの静止画像が転送される確率が高くなってしまう場合が考えられる。

本実施の形態によれば、再生端末３側のユーザが、不審（人)物が存在しないにもかかわらず、フレーム間差分値などが高いため画像蓄積装置４側から優先して転送されてくるチャンネルの画像の転送レート（再生秒間フレームレート）を制限したり、あるいは、継続して情報を監視したいと考えるチャンネルの転送レートを上げたりというような操作を行なうことができる。

（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。

本発明は、画像蓄積装置とネットワークで接続された再生端末に於いて、１つのモニタへ分割多画面で表示した状態で通常再生あるいは多倍速再生を行うような環境下であれば、どのようなケースにも適用できる。例えば、本発明の複数チャンネル画像転送装置を用いたシステムを監視用途に用いる場合について考えると、ユーザである監視者は、監視カメラ等の画像入力機器から入力され、監視用画像蓄積装置内部の不揮発性記憶領域に蓄積された画像を、監視用画像蓄積装置とネットワークで接続された再生端末側のモニタですべてのチャンネルをひとつのモニタに表示した状態で、通常再生あるいは多倍速再生することができる。更に本発明は、記録秒間フレームレートの情報やフレーム間差分を利用することで、前回転送時と較べて動きの激しい画像を優先して再生できるため、監視業務等で動きの激しいシーンに出現する可能性が高いと考えられる不審（人)物を見落とす確率を低下させることに加えて、通常再生よりも短時間で再生を終えることができるため、ユーザは再生端末側で効率的に監視業務を行うことができる。

本発明に係る複数チャンネル画像転送装置が適用されるシステム全体の構成を示すブロック図である。 不揮発性記憶領域への画像の記録状況を模式的に示す図である。 各チャンネルの画像が表示される再生端末側の分割画面を示す図である。 倍速再生のための画像蓄積装置側の画像転送手順を示すフローチャートである。 実施の形態１に於ける転送チャンネルの選択ステップを示すフローチャートである。 実施の形態２に於ける転送チャンネルの選択ステップを示すフローチャートである。 実施の形態１及び２に共通する部分の処理の一実装例を示すフローチャートである。 実施の形態３に於ける処理手順の一例を示すフローチャートである。 実施の形態４に於ける処理手順の一例を示すフローチャートである。 実施の形態５に於ける処理手順の一例を示すフローチャートである。

符号の説明

１ 画像入力機器、２ ネットワーク、３ 再生端末、４ 画像蓄積装置、５ 不揮発性記憶領域、６ 画像、７ チャンネル、 ８ 分割表示された画面。

Claims (5)

1. 複数チャンネルの入力系統で各画像入力機器からの静止画像を入力する画像入力手段と、
   前記画像入力手段で入力した複数チャンネルの各々の静止画像を不揮発性記憶領域に順次蓄積する画像蓄積手段と、
   ネットワークを介して前記不揮発性記憶領域に蓄積されている前記複数チャンネルの各々の静止画像を再生端末側に転送する際に、チャンネル毎に、前回転送した静止画像と現タームで転送対象となっている静止画像とのフレーム間差分値を算出し、前記複数チャンネルの内で、当該フレーム間差分値が所定のしきい値を上回る記録画像間の動きが激しい優先的に選択すべきチャンネルの静止画像の選択確率を相対的に上げる処理を行った後に、各チャンネルの選択確率に基づく乱数処理にて転送すべきチャンネルを選択し、被選択チャンネルの静止画像を転送する静止画像転送手段とを備えることを特徴とする、
   複数チャンネル画像転送装置。
2. 複数チャンネルの入力系統で各画像入力機器からの静止画像を入力する画像入力手段と、
   前記画像入力手段で入力した複数チャンネルの各々の静止画像を不揮発性記憶領域に順次蓄積する画像蓄積手段と、
   ネットワークを介して前記不揮発性記憶領域に蓄積されている前記複数チャンネルの各々の静止画像を再生端末側に転送する際に、チャンネル毎に、（１）前回転送した静止画像と現タームで転送対象となっている静止画像とのフレーム間差分値を算出し、前記複数チャンネルの内で、当該フレーム間差分値が所定の第１しきい値を上回る記録画像間の動きが激しい優先的に選択すべきチャンネルの静止画像の選択確率を相対的に上げる処理を行うと共に、（２）当該チャンネルの記録秒間フレームレートが所定の第２しきい値よりも低い場合には当該チャンネルの静止画像の選択確率を相対的に上げる処理を行った後に、各チャンネルの選択確率に基づく乱数処理にて転送すべきチャンネルを選択し、被選択チャンネルの静止画像を転送する静止画像転送手段とを備えることを特徴とする、
   複数チャンネル画像転送装置。
3. 請求項１又は２に記載の複数チャンネル画像転送装置であって、
   前記静止画像転送手段は、
   前記再生端末側へ転送される前記被選択チャンネルの静止画像のみを、転送前に、圧縮率固定でJPEGフォーマット又はJPEG2000フォーマットの一方のフォーマットの画像データに圧縮する静止画像圧縮手段を有することを特徴とする、
   複数チャンネル画像転送装置。
4. 請求項１又は２に記載の複数チャンネル画像転送装置であって、
   前記静止画像転送手段は、
   前記再生端末側へ転送される前記被選択チャンネルの静止画像のみを、転送前に、その転送画像の選択確率に応じてJPEGフォーマット又はJPEG2000フォーマットの一方のフォーマットの圧縮率を動的に変化させて当該静止画像を圧縮する静止画像圧縮手段を有することを特徴とする、
   複数チャンネル画像転送装置。
5. 請求項１乃至４の何れか一つに記載の複数チャンネル画像転送装置であって、
   前記再生端末側のソフトウェアで分割表示された各チャンネルの再生秒間フレームレートを任意に調節できる手段を更に備えたことを特徴とする、
   複数チャンネル画像転送装置。
   

Images