JP7085764B2 - 時空間信号を符号化する方法及び装置 - Google Patents

Description

本発明は、情報符号化技術分野に関し、特に、時空間信号を符号化する方法及び装置に関する。

一定の時間及び空間内の存在形式は、情報の源となっており、例えば、空間における光の伝播により動的な映像が形成され、大量の水分子の流れにより海洋情報が生成され、空気分子及びその他の浮遊物の動的な動きにより気候情報が形成される。動的な映像については、人類及び生物が目で光子を捕らえて世界を感知していることや、現代のカメラがＣＣＤ（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補型金属酸化物半導体）を用いて光子を捕らえて動的に変化していく世界を記録しているため、大量の画像及びビデオデータが生じている。

動的な映像を表現する従来の方法としては、２次元画像、及び、画像のシーケンスであるビデオがある。従来の画像は、２次元的な情報形式であり、狭義での画像は、光が物理的な世界で反射、乱反射、屈折や散乱等の過程を経て撮影平面に投影された結果となる一方、広義での画像は、２次元平面上に分布しているいかなる情報形式を含む。デジタル形式で表される画像のほうは、取り扱い、伝送及び記憶がより容易であるが、アナログ信号形式で存在している画像をデジタル形式で表される画像、即ちデジタル画像に変換することが必要とされる。画像デジタル化の過程には、主に、サンプリング、量子化及び符号化の３つのステップが含まれる。サンプリングは、画像の分布空間を離散化する過程であり、２次元画像の場合、最も一般的なやり方としては、画像が占めている矩形領域を同じサイズのサンプリング点に等間隔的に分割し、このように分割されたサンプリング点の行数及び行ごとのサンプリング点の数が、いわゆるデジタル画像解像度（より正確な解像度は、単位物理寸法ごとのサンプリング点の数を指す）となる。量子化は、各サンプリング点での画像の色（又は他の物理量）を離散化する過程であり、一般的に量子化レベルで表される。各サンプリング点及びその色（又は他の物理量）の量子化値が画像の１つの画素を形成し、全ての画素が行列状で配列されてデジタル画像を構成している。

従来のビデオの概念としては、一定の時間間隔で得られた画像のシーケンスであり、シーケンス内の画像がフレーム画像とも呼ばれるため、ビデオが画像のシーケンスにもなっており、画像の間の時間間隔の分割もサンプリングの一部であり、通常は、等間隔で分割し、１秒当たりに収集された画像の数がフレームレートと呼ばれる。デジタル化の過程において情報が失われることがなく、即ちアナログ形式に復元する際に完全に復元できるように保証するために、サンプリング定理によれば、画像空間信号の周波数の少なくとも２倍となる周波数でサンプリングする必要がある。

従来のやり方によって収集されたビデオは、デジタル化を経て大量のデータが生成されている。高精細ビデオを例とすると、１秒当たりのデータ量は、１９２０×１０８０×２４ビット×３０フレーム／秒＝１４９２９９２０００ビット／秒であり、即ち、約１．５Ｇｂｐｓとなる。このようなデータ量を放送通信ネットワークを介して伝送したり、インターネットで何千何万という利用者にビデオサービスを提供したり、都市における百万に上るカメラから２４時間内に生成されたビデオデータを保存したりすることは、ネットワーク及びストレージ技術にとっては、ほぼ不可能である。高精度デジタル化のビデオデータに存在しているこのような大量の冗長を除去する必要があり、これは、デジタルビデオ符号化の中心的な目標であり、従って、デジタルビデオ符号化は、デジタルビデオ圧縮とも呼ばれる。１９４０年代末期と１９５０年代初期のハフマン符号化や差分パルス符号変調などの技術ついての研究を初めとして、ビデオ符号化技術は、６０年近くの発展を経験してきた。この過程では、それぞれビデオ信号の空間的冗長、時間的冗長、情報エントロピーの冗長を除去するための、変換符号化、予測符号化、エントロピー符号化の３種類の古典的な技術が徐々に形成された。

３０年以上の技術蓄積と情報技術の発展の必要性に応じて、１９８０年代にさまざまなビデオ符号化技術が収束し、ブロックを単位とする予測＋変換によるハイブリッド符号化フレームワークが徐々に形成され、規格化組織によって規格化され、業界に大規模に適用され始めた。世界には、ビデオ符号化規格の策定に特化している国際組織としては、２つあり、即ち、ＩＳＯ／ＩＥＣ傘下のＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、動的な映像専門家グループ）組織、及び、ＩＴＵ－ＴのＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ビデオ符号化専門家グループ）組織である。１９８６年に設立されたＭＰＥＧは、主にストレージ、放送テレビ、インターネットや無線ネットワーク上のストリーミングメディアなどに適用される、マルチメディア分野における関連規格の策定に特化している。その一方、国際電気通信連合（ＩＴＵ）は、主に、ビデオ電話やビデオ会議などに適用される、リアルタイムビデオ通信分野に向けのビデオ符号化規格を策定している。中国では、２００２年６月に設立したＡＶＳワークグループは、国内のマルチメディア産業に向けて、対応するデジタルオーディオおよびビデオの符号化規格の策定を担当している。

ＭＰＥＧ組織は、１９９２年に、データレートが１．５Ｍｂｐｓ程度である、ＶＣＤ（ビデオＣＤ、Ｖｉｄｅｏ Ｃｏｍｐａｃｔ Ｄｉｓｋ）用途に向けのＭＰＥＧ－１規格（１９８８年にスタート、ＩＴＵ Ｈ．２６１のスーパーセットの１つである）を策定し、１９９４年に、１．５～６０Ｍｂｐｓまたはそれ以上のコードレートに適する、ＤＶＤやデジタルビデオ放送等の用途に向けのＭＰＥＧ－２規格（１９９０年にスタート）をリリースし、１９９８年に、低コードレート伝送に向けのＭＰＥＧ－４規格（１９９３年にスタート、ＭＰＥＧ－２，Ｈ．２６３に基づく）を策定した。国際電気通信連合（ＩＴＵ）は、基本的に、ＭＰＥＧの発展ペースに合わせて、一連のＨ．２６ｘ規格も策定した。１９８４年にスタートしたＨ．２６１規格は、ＭＰＥＧ－１規格の前身であり、１９８９年に基本的に完成され、主に、ＩＳＤＮでテレビ電話やビデオ会議を実現するために策定したものである。Ｈ．２６１に基づいて、ＩＴＵ－Ｔは、１９９６年に、Ｈ．２６３符号化規格（１９９２年にスタート）を策定し、それからＨ．２６３＋、Ｈ．２６３＋＋等を次々とリリースした。

２００１年に、ＩＴＵ－Ｔ及びＭＰＥＧは、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）ワークグループを共同設立して新しいビデオ符号化規格を策定し、その初版は、２００３年に完成され、ＩＳＯでは、ＭＰＥＧ－４規格のパート１０（ＭＰＥＧ－４ ＰａｒｔＡＶＣ）と呼ばれ、ＩＴＵでは、Ｈ．２６４規格と呼ばれている。４ヶ月後、マイクロソフトが主導したＶＣ－１ビデオ符号化規格は、アメリカ映画テレビ技術者協会（Ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ、ＳＭＰＴＥ）によって業界規格として公布された。中国では、２００４年に、独立した知的財産権を持つ国家規格が策定され、チップ実装などの産業化の検証を経て、２００６年２月に、《情報技術 高度なオーディオ及びビデオ パート２：ビデオ》という国家規格として公布された。（国家規格番号は、ＧＢ／Ｔ ２００９０．２－２００６、通常、ＡＶＳビデオ符号化規格と略す）。これらの３つの規格は、通常、第２世代ビデオ符号化規格と呼ばれており、符号化効率が第１世代よりも２倍となり、圧縮比が約１５０倍程度となっており、即ち、高精細ビデオ（品質が放送要件を満たす場合）を１０Ｍｂｐｓ以下に圧縮することができる。

２０１３年前半には、第３世代ビデオ符号化国際規格ＩＴＵ－Ｔ Ｈ．２６５およびＩＳＯ／ＩＥＣ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化）が公布され、Ｈ．２６４よりも、その符号化効率が更に倍増した。これと並行して、中国では、「情報技術 高効率マルチメディア符号化」と呼ばれる第二世代ＡＶＳ規格ＡＶＳ２を策定した。第１世代ＡＶＳ規格と比較して、ＡＶＳ２のコードレートが５０％以上低減され、即ち、符号化効率が倍増している。監視ビデオなどのシーンビデオの場合、ＡＶＳ２の圧縮効率が更に倍増し、ＡＶＣ／Ｈ．２６４の４倍に達し、即ち、圧縮効率が６００倍に達している。

現代のビデオ符号化技術は、顕著な効果を達成し幅広く適用され、圧縮効率が「１０年ごとに倍増する」ことを達成しているにもかかわらず、理想からはまだ遠い。既存の調査報告によると、２０１２年、世界のデータ総量は２．８４ＺＢに達しており、この数字が、約２年ごとに倍増し、２０２０年まで、約４０ＺＢに上昇する見込みであり、そのうち、監視ビデオが４４％を占めており、他の健康データ、取引データ、オンラインメディア、エンターテイメントなどのデータでも、画像及びビデオが大部分を占めている。中国の場合、公共の場所には、既に３０００万台以上のカメラが設置され、これらのカメラによって約１００ＥＢのビデオが生成されており、そのストレージには数千億元が必要となる。従って、ビデオ符号化効率の「１０年ごとに倍増する」という技術的進歩は、遥かに、ビデオビッグデータの「２年ごとに倍増する」という高速な成長を満たせなくなっており、どのようにビデオ符号化の効率を向上させるかは、既に情報化時代の大きな課題になっている。

上記のように、ビデオの概念は、映画の発明から生まれており、画像のシーケンスでビデオを表現するという技術案は、人類の視覚におけるの視覚残像現象に基づくものであり、映画の場合、２４フレーム／秒とし、テレビの場合、２５フレーム／秒又は３０フレーム／秒とすることで、連続感を得るという人間の目の要求を基本的に満たすことができるが、このような技術的な設定は、映画やテレビ及び個人的な撮影機器の幅広い応用に伴って技術上の決まった様式として固定されるようになる。しかしながら、その欠点も明らかであり、このような動的な映像表現方法は、例えば回転している車輪、高速に動いている卓球やフットボールなどのより高速な動きを記録できず、ビデオ監視でも動きの細部をキャッチャできず、更には、科学研究や高精度検出などの特別なニーズに対応することができない。新しい高精細テレビや超高精細テレビでは、高速に動いている卓球などをより良く表現するために、フレームレートを６０フレーム／秒以上に向上させようとしている。しかし、このようなビデオフレームレートは、より速く変化する物理現象を表すことができないため、高周波数カメラが現れ、そのフレームレートは、１，０００フレーム／秒に達することが可能であり、更には、１０，０００フレーム／秒またはそれ以上に達することも可能であるが、これに伴う問題としては、データ量の大規模な増加であり、対応する収集及び処理回路の設計がコストが掛かり、ひいては、不可能となってしまい、さらに重要なのは、フレームレートの増加とは、単一フレームの露光時間が短縮され、収集された単一フレームの画像の露光量が著しく不十分となってしまうことを意味しており、救済策としては、画素寸法を大きくすることが考えられるが、そうすると、空間解像度が低下してしまう。これらの問題の全ては、結局、ビデオの収集及び表示に「時間よりも、空間を優先させる」という等時間間隔的な収集方法が用いられていることに起因したものであり、この方法は、映画が現れるときの人間の視覚残像特性に基づく技術的選択の１つに過ぎず、動的な映像を表現するための最適な手段であるとは限らない。

そのため、時間情報と空間情報との両方を考慮した効果的なビデオ符号化方法の開発が急務となっている。

本発明の実施例は、時間情報と空間情報との両方を考慮した時空間信号の符号化方法を提供するために、時空間信号を符号化する方法および装置を提供する。

上記目的を達成するために、本発明は、次の技術案を採用している。

本発明の一つの局面によれば、時空間信号を符号化する方法が提供され、この方法は、
各局所空間位置により構成されたモニタリング領域内の各局所空間位置の時空間信号を収集することと、
前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得ることと、
各前記局所空間位置のパルスシーケンスを空間位置関係に従って空間領域符号化して、パルスシーケンスアレイを得ることと、を含む。

また、前記の、前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得ることは、
前記局所空間位置の時空間信号を時間的に累積して、累積信号強度値を得ることと、
前記累積信号強度値を変換して、変換結果が特定の閾値を超えている場合、１つのパルス信号を出力することと、
前記局所空間位置に対応するパルス信号を時間の前後の順でシーケンスに配列して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得ることと、を含んでもよい。

また、前記の、モニタリング領域内の各局所空間位置の時空間信号を収集することは、
各信号収集器が、指定された局所空間位置から時空間信号を収集して、時間領域サンプリングを完成させることと、
複数の前記信号収集器がアレイに配列して互いに協働し、モニタリング領域をカバーして、モニタリング領域に対する空間領域サンプリングを完成させることと、を含んでもよい。

また、前記時空間信号は、光信号であり、前記信号収集器は、感光素子であり、前記の、局所空間位置の時空間信号を累積して、累積信号強度値を得ることは、
前記信号収集器から光電変換によって出力された電気信号強度と、収集された光強度とが正の相関を持ち、１つの前記信号収集器と１つ又は複数の信号累積器とが接続され、前記信号収集器が、電気信号強度を、その接続された信号累積器に伝達することと、
前記信号累積器が、過去の一定期間内の信号を累積するものであり、その出力が累積信号強度値であり、１つの前記信号累積器と１つのフィルタとが接続され、前記信号累積器が、累積信号強度値を、その接続されたフィルタに伝達することと、
前記フィルタが、１つ又は複数の前記信号累積器を入力とし、特定のフィルタ関数に従って、入力された累積信号強度値を変換して、変換結果が前記特定の閾値を超えている場合、局所空間位置に対応するパルス信号を出力することと、を含んでもよい。

また、前記信号収集器と複数の前記信号累積器とが接続されると、前記信号収集器は、同じ電気信号強度を下流の全ての前記信号累積器に同時に出力し、又は、電気信号強度を下流の全ての前記信号累積器に平均的に分配し、又は、電気信号強度を一定の重みに従って下流の全ての前記信号累積器に分配し、前記重みは、前記信号収集器に対する前記信号累積器の空間位置距離の関数であってもよい。

また、前記信号累積器は、時間限定ローリング信号累積器又は時間無制限信号累積器であり、前記時間限定ローリング信号累積器は、現在時刻の前の特定の期間内の信号のみを累積するものであり、更に前の信号が自動的にクリアされ、前記時間無制限信号累積器は、累積し続けるものであってもよい。

また、前記フィルタのフィルタ関数は、前記フィルタが捕捉する必要がある空間位置のスパース性に応じて設定され、前記フィルタが捕捉する必要がある空間位置のスパース性は、該フィルタに関連付けられた前記信号収集器が信号の収集を担当している局所空間範囲によって決められ、及び／又は、
冗長設計によって、複数の前記フィルタでモニタリング領域をカバーして、前記モニタリング領域内の各前記局所空間位置のスパースパターンは、いずれも、該当の前記フィルタにより捕捉されることが可能であり、及び／又は、
複数の前記フィルタは、空間スケールのカバレッジ上で複数レベルの冗長設計を採用し、異なるレベルの前記フィルタが、該当の空間スケールの空間スパース性に対して敏感であり、複数レベルの前記フィルタが協働して、モニタリング領域内の任意スケールのスパース性に対する効果的な捕捉が実現され、及び／又は、
前記フィルタは、設定されたフィルタ関数に従って信号累積器からの累積信号強度値を変換し、局所空間位置内の信号分布に関連する変換係数を得て、変換係数が設定された閾値を超えている場合、前記フィルタは、パルス強度付きのパルス信号を１つ出力し、該パルス強度と累積信号強度値とが対応関係を持ち、及び／又は、
前記フィルタがパルス信号を出力した後、前記フィルタに対応する全ての信号累積器をクリアしてリセットさせてもよい。

また、前記のフィルタは、２値フィルタであり、前記フィルタ関数は、閾値関数であり、
前記２値フィルタに入力される前記信号累積器が１つしかない場合、前記信号累積器により入力された累積信号強度値が指定された閾値超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力せず、又は、
前記２値フィルタに入力される前記信号累積器が複数ある場合、前記２値フィルタは、複数の前記信号累積器により入力された累積信号強度値を単純に加算するか、若しくは、一定のルールに従って重み付け加算及びフィルタ変換を行い、変換結果が指定された閾値を超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力しなくてもよい。

また、前記方法は、
高周波クロックを用いて、前記フィルタのパルス出力を時間領域で離散的に表すことで、フィルタのパルス出力が等間隔の時刻でしか発生しないようにし、同じ時刻で全てのフィルタにより出力された変換係数が、スパースアレイを構成し、該時刻で出力のなかったフィルタに対応する変換係数を０とし、前記スパースアレイが等時間間隔の順で変換係数アレイに配列することを更に含んでもよい。

また、前記２値フィルタの出力パルスを２進数で表し、前記２値フィルタがパルスを出力する場合、「１」で表し、そうでない場合、「０」で表し、
同じ時刻でパルスの放出があった前記２値フィルタが「１」を出力し、パルスの出力がなかった前記２値フィルタが「０」を出力し、
同じ時刻の全ての前記２値フィルタの出力が、フィルタアレイに従って２値スパースアレイを構成し、各時刻の２値スパースアレイが、クロックにより規定された等時間間隔の順で２値スパースシーケンスアレイに配列されてもよい。

また、前記方法は、
前記信号収集器、信号累積器及びフィルタが、１対１の形で収集－累積－変換トリプレットを構成し、即ち、各信号収集器がいずれも、１つの信号累積器にしか出力せず、各信号累積器が１つのフィルタにしか出力せず、該信号累積器の出力端の信号強度が、過去の一定期間内に信号収集器により収集された信号強度の累計値を表しており、該信号強度が指定された閾値を超えている場合、フィルタが１つのパルス信号を放出することを更に含んでもよい。

また、前記パルス信号をバイナリ「１」で表し、
前記信号収集器に対応する前記局所空間位置のパルスシーケンスは、間欠的に現れるバイナリシーケンスであり、そのシーケンス内の２つの「１」の間の時間間隔は、その２つの「１」のうち後ろの「１」の累積に必要な時間を表し、
全「１」となるバイナリシーケンスは、該当の前記信号収集器に対応する前記局所空間位置の信号がずっと最高強度状態にあることを表し、
全てのバイナリシーケンスは、空間位置に従ってバイナリシーケンスアレイに配列されてもよい。

また、時刻ｔ０における再構成画像は、位置（ｉ，ｊ）におけるＩの画素値であり、過去のΔｔ内で該当のバイナリシーケンスに現れた「１」の数になっており、ここで、Δｔは、必要に応じて設定されてもよい。

また、前記方法は、前記バイナリシーケンスの前後の統計的相関に応じて、より少ないビットで前記バイナリシーケンスをコンパクトに表すことを、更に含んでもよい。

また、前記方法は、空間的に隣接・近接しているシーケンスの間の統計的相関に応じて、前記バイナリシーケンスアレイを再符号化することを更に含んでもよい。

また、前記方法は、コンパクトビットストリーム生成過程の逆過程に応じて、前記バイナリシーケンスアレイを復元することを更に含んでもよい。

本発明のもう１つの局面によれば、時空間信号を符号化する装置が提供され、この装置は、
各局所空間位置により構成されたモニタリング領域内の各前記局所空間位置の時空間信号を収集するための信号収集器と、
前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得るための時間領域符号化モジュールと、
各前記局所空間位置のパルスシーケンスを空間位置関係に従って空間領域符号化して、パルスシーケンスアレイを得るための空間領域符号化モジュールと、を含む。

また、前記時間領域符号化モジュールは、
前記局所空間位置の時空間信号を時間的に累積して、累積信号強度値を得るための信号累積器と、
前記累積信号強度値を変換して、変換結果が特定の閾値を超えている場合、１つのパルス信号を出力するためのフィルタと、
前記局所空間位置に対応するパルス信号を時間の前後の順でシーケンスに配列して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得るための処理ユニットと、を含んでもよい。

また、前記信号収集器は、具体的に、指定された局所空間位置から時空間信号を収集して、時間領域サンプリングを完成させることと、複数の前記信号収集器がアレイに配列して互いに協働し、モニタリング領域をカバーして、モニタリング領域に対する空間領域サンプリングを完成させることとに用いられてもよい。

また、前記時空間信号は、光信号であり、前記信号収集器は、感光素子であり、
前記信号収集器から光電変換によって出力された電気信号強度と、収集された光強度とが正の相関を持ち、１つの前記信号収集器が、１つ又は複数の前記信号累積器に接続され、電気信号強度をその接続された信号累積器に伝達し、
前記信号累積器が、過去の一定期間内の信号を累積するものであり、その出力が累積信号強度値であり、１つの前記信号累積器が、１つの前記フィルタに接続され、累積信号強度値をその接続された前記フィルタに伝達し、
前記フィルタが、１つ又は複数の前記信号累積器を入力とし、特定のフィルタ関数に従って、入力された累積信号強度値を変換して、変換結果が前記特定の閾値を超えている場合、局所空間位置に対応するパルス信号を出力してもよい。

また、前記信号収集器と複数の前記信号累積器とが接続されると、前記信号収集器は、同じ電気信号強度を下流の全ての前記信号累積器に同時に出力し、又は、電気信号強度を下流の全ての前記信号累積器に平均的に分配し、又は、電気信号強度を一定の重みに従って下流の全ての前記信号累積器に分配し、前記重みは、前記信号収集器に対する前記信号累積器の空間位置距離の関数であってもよい。

また、前記信号累積器は、時間限定ローリング信号累積器又は時間無制限信号累積器であり、前記時間限定ローリング信号累積器は、現在時刻の前の特定の期間内の信号のみを累積するものであり、更に前の信号が自動的にクリアされ、前記時間無制限信号累積器は、累積し続けるものであってもよい。

また、前記フィルタのフィルタ関数は、前記フィルタが捕捉する必要がある空間位置のスパース性に応じて設定され、前記フィルタが捕捉する必要がある空間位置のスパース性は、該フィルタに関連付けられた前記信号収集器が信号の収集を担当している局所空間範囲によって決められ、及び／又は、
冗長設計によって、複数の前記フィルタでモニタリング領域をカバーして、前記モニタリング領域内の各前記局所空間位置のスパースパターンは、いずれも、該当の前記フィルタにより捕捉されることが可能であり、複数の前記フィルタは、空間スケールのカバレッジ上で複数レベルの冗長設計を採用し、異なるレベルの前記フィルタが、該当の空間スケールの空間スパース性に対して敏感であり、複数レベルの前記フィルタが協働して、モニタリング領域内の任意スケールのスパース性に対する効果的な捕捉が実現され、及び／又は、
前記フィルタは、設定されたフィルタ関数に従って信号累積器からの累積信号強度値を変換し、局所空間位置内の信号分布に関連する変換係数を得て、変換係数が設定された閾値を超えている場合、前記フィルタは、パルス強度付きのパルス信号を１つ出力し、該パルス強度と累積信号強度値とが対応関係を持ち、及び／又は、
前記フィルタがパルス信号を出力した後、前記フィルタに対応する全ての信号累積器をクリアしてリセットさせてもよい。

また、前記のフィルタは、２値フィルタであり、前記フィルタ関数は、閾値関数であり、
前記２値フィルタに入力される前記信号累積器が１つしかない場合、前記信号累積器により入力された累積信号強度値が指定された閾値超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力せず、
前記２値フィルタに入力される前記信号累積器が複数ある場合、前記２値フィルタは、複数の前記信号累積器により入力された累積信号強度値を単純に加算するか、若しくは、一定のルールに従って重み付け加算及びフィルタ変換を行い、変換結果が指定された閾値を超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力しなくてもよい。

また、前記装置は、
高周波クロックを用いて、前記フィルタのパルス出力を時間領域で離散的に表すことで、フィルタのパルス出力が等間隔の時刻でしか発生しないようにし、同じ時刻で全てのフィルタにより出力された変換係数が、スパースアレイを構成し、該時刻で出力のなかったフィルタに対応する変換係数を０とし、前記スパースアレイが等時間間隔の順で変換係数アレイに配列するように配置されている変換係数処理モジュールを更に含んでもよい。

また、前記２値フィルタの出力パルスを２進数で表し、前記２値フィルタがパルスを出力する場合、「１」で表し、そうでない場合、「０」で表し、同じ時刻でパルスの放出があった前記２値フィルタが「１」を出力し、パルスの出力がなかった前記２値フィルタが「０」を出力し、
前記空間領域符号化モジュールは、同じ時刻の全ての前記２値フィルタの出力が、フィルタアレイに従って２値スパースアレイを構成し、各時刻の２値スパースアレイが、クロックにより規定された等時間間隔の順で２値スパースシーケンスアレイに配列されるように、更に配置されてもよい。

また、前記信号収集器、信号累積器及びフィルタが、１対１の形で収集－累積－変換トリプレットを構成し、即ち、各信号収集器がいずれも、１つの信号累積器にしか出力せず、各信号累積器が１つのフィルタにしか出力せず、該信号累積器の出力端の信号強度が、過去の一定期間内に信号収集器により収集された信号強度の累計値を表しており、該信号強度が指定された閾値を超えている場合、フィルタが１つのパルス信号を放出してもよい。

また、前記パルス信号をバイナリ「１」で表し、前記信号収集器に対応する前記局所空間位置のパルスシーケンスは、間欠的に現れるバイナリシーケンスであり、そのシーケンス内の２つの「１」の間の時間間隔は、その２つの「１」のうち後ろの「１」の累積に必要な時間を表し、全「１」となるバイナリシーケンスは、該当の前記信号収集器に対応する前記局所空間位置の信号がずっと最高強度状態にあることを表し、
全てのバイナリシーケンスは、空間位置に従ってバイナリシーケンスアレイに配列されてもよい。

また、前記信号収集器は、感光素子であり、全ての信号収集器は、感光アレイに配列され、前記信号累積器は、時間積分機能を持つ光電変換回路であり、前記フィルタは、２値パルスフィルタであり、信号累積器とフィルタとにより遅れ２値パルスフィルタが構成され、前記装置は、新型の撮像装置であり、その中の結像ユニットが独立に動作しており、収集された光強度が閾値に達すると、１つのパルスを出力することで対応する局所空間位置の信号強度を表してもよい。

また、前記フィルタの動作周波数は、１０００Ｈｚよりも高くなっていてもよい。

また、前記信号収集器は、高感度感光素子であり、前記信号累積器は、高感度変換素子であり、前記信号収集器と前記信号累積器とが協働して、収集された光子の数を精確に計量し、前記フィルタのパルス放出時間間隔は、ピコ秒レベルであり、出力されたバイナリシーケンスアレイは、モニタリング領域に照射された光子の数を表していてもよい。

上記本発明の実施例による技術案から分かるように、本発明の実施例は、時間領域符号化を行った後に空間領域符号化を行うという構想で、局所空間位置の時空間信号を期間によって累積し、空間スパース性に応じて局所空間位置の累積信号強度値を変換して、局所空間位置に対応するパルス信号を出力することを提案している。これにより、各局所空間位置の変化過程が保存され、高速動きオブジェクトの動き過程を細かく再構成し、その後の動き解析、及び、オブジェクト検出・追跡のために豊富な情報源を提供することができるのに対して、従来のビデオが保存する変化情報は、フレームレートを上限としていた。本発明は、任意の時刻の画像を再構成することができるのに対して、従来のビデオは、フレームサンプリング時刻の画像しか保存していなかった。

本発明のさらなる局面および利点は、以下の説明に記載され、以下の説明から明らかになるか、または本発明の実施を通じて理解される。

本発明の実施例における技術案をより明らかに説明するために、以下、実施例の説明に使用する必要がある図面を簡単に紹介する。勿論、以下に説明する図面は、本発明の一部の実施例に過ぎず、当業者にとって、創造的労働を払わずに、これらの図面から他の図面を得ることもできる。

図１は、本発明の実施例一による時空間信号を符号化する方法の処理フロー図である。 図２は、本発明の実施例二による時空間信号を符号化する装置の具体的な実現構造図である。

本発明の目的、技術手段及び利点をより明確にするために、以下では、図面を参照して本発明を詳細に説明する。

当業者であれば理解できるように、特に断りのない限り、本明細書で使用される単数形「一」、「１つ」、「前記」及び「該」は、複数形をも含み得る。更に理解すべきなのは、本発明の明細書で使用される「含む」という言葉は、前記特征、整数、ステップ、操作、要素及び／又はコンポーネントが存在していることを指すが、１つ又は複数の他の特征、整数、ステップ、操作、要素、コンポーネント、及び／又は、それらの組み合せが存在していることや追加されていることを排除しない。理解すべきなのは、要素が他の要素に「接続」又は「結合」されると言った際、他の要素に直接に接続又は結合されてもよいし、又は、中間要素を介してもよい。なお、ここで使用される「接続」又は「結合」は、無線接続または結合を含み得る。ここで使用される「及び／又は」という言葉は、１つまたは複数の列挙された関連項目のうち、何れか１つおよび全ての組み合わせを含む。

当業者であれば理解できるように、特に定義のない限り、本明細書で使用される全ての用語（技術的および科学的用語を含む）は、本発明が属する技術分野の普通の技術者によって一般的に理解されるのと同じ意味を有する。また、一般的な辞書に定義されているような用語は、従来技術の文脈における意味と一致する意味を有すると理解されるべきであり、ここで定義されない限り、理想化されたまたは過度に形式的な意味で解釈されることがない。

本発明の実施形態の理解を容易にするために、図面を参照して、いくつかの具体的な実施例をさらに例示して説明するが、各実施例は、本発明の実施例を限定するものではない。
実施例一

ビデオ等の時空間信号の効率的な符号化の問題を根本的に解決するために、本発明は、ビデオの表し方及び符号化方法の２つの側面から新しいソリューションを提案している。映画やテレビの出現以来、動的な映像を画像のシーケンス（ここの“画像”は、「フレーム」とも称される）として表す方法と異なって、本発明は、先ず、モニタリング領域を構成する各局所空間位置の時空間信号変化（映像の場合、１つの画素の変化過程）を収集して、それぞれ時系列的に時間領域符号化することで、前記局所空間位置における時空間信号変化過程を表すパルスシーケンスを取得し、動的な映像の場合、このような時系列信号は、「画素ストリーム」と称され、そして、各局所空間位置の時系列信号により構成されたパルスシーケンスマトリックスを空間位置関係（空間スパース性）に従って空間領域符号化することで、パルスシーケンスアレイを取得する。特に説明すべきなのは、複数の画素ストリームが、依然として、空間的な相対位置に従ってアレイに配列されるが、各画素ストリーム同士は、従来のビデオのように等間隔にサンプリングされて「フレームレベルで整列」されるのではなく、変化情報及び時間領域スパース性が保存されており、画素ストリームアレイに対する空間符号化も、単純な画像符号化ではなく、該空間範囲における過去の一定期間内の信号を累積して符号化しており、そのため、このような方法は、時間領域過程情報を高精度に保存しながら効率的な空間情報符号化を実現することができ、従来の時空間信号符号化方法を覆させた。

該実施例は、時空間信号を符号化する方法を提供しており、その処理フローは、図１に示すように、次の処理ステップＳ１１０～Ｓ１４０を含む。

ステップＳ１１０として、信号収集器によってモニタリング領域内の光信号を収集し、光信号の信号強度値を算出して信号累積器に伝送する。

各信号収集器は、指定された局所空間位置から時空間信号を収集して、パルスシーケンス生成し、時間領域サンプリングを完成させ、複数の信号収集器は、アレイに配列され、互いに協働してモニタリング領域の全体をカバーし、モニタリング領域に対する空間領域サンプリングを完成させる。

前記時空間信号は、光信号であり、前記信号収集器は、感光素子であり、光電変換を実現するものであり、その出力端の電気信号強度と、収集された光強度とが正の相関をもっており、各感光素子が、１つの小さな四角い局所領域を担当し、全ての素子が、行及び列で、整然とした正方行列に配列される。また、ハニカムパターン（六角形分割）又は三角分割若しくは他の配列方式も使用可能であり、この場合、信号収集器の中心位置が一直線上ではなくてもよい。各信号収集器は、いずれも特定の局所空間位置に対応しているため、信号収集器自体が、出力された光信号の局所空間位置の標識となっている。

各信号収集器は、設定された収集時間間隔に従って局所空間位置の時空間信号を収集し、現在の常用カメラのフレームレートは、２４～１２０（フレーム／秒）であり、つまり、時間間隔は、数十ミリ秒である。本発明が採用する時間間隔は明らかに短く、必要に応じて、ミリ秒レベル、マイクロ秒レベル、ナノ秒レベル、またはピコ秒レベルであってもよい。

１つの信号収集器と１つ又は複数の信号累積器とを接続しており、前記信号収集器は、信号強度値をその接続された信号累積器に伝達する。

ステップＳ１２０として、信号累積器によって各局所空間位置における過去の一定期間内の累積信号強度値を算出して、１つのフィルタに出力する。

信号累積器は、過去の一定期間内の信号を累積するものであり、その出力端が累積信号強度値である。

１つの信号収集器は、１つ又は複数の信号累積器に出力可能である。

１つの信号累積器は、１つのフィルタにしか接続されず、該フィルタの入力とされる。

１つのフィルタは、１つ又は複数の信号累積器の入力を受取可能である。即ち、信号累積器のファンアウトが１である一方、フィルタのファンインが１であるか、若しくは、１よりも大きくてもよい。

最も単純なケースとしては、信号コレクタと、信号アキュムレータと、フィルタとの間に１対１の関係があり、つまり、１つの信号収集器が、唯一に、１つの信号累積器の入力とされ、該信号累積器が１つのフィルタに更に接続され、唯一に、該フィルタの入力とされている。一方、該フィルタは、該信号累積器の入力しか受け入れず、他の信号累積器の入力を受け入れない。

１つの信号収集器により複数の信号累積器がファンアウトされると、信号強度値を伝達する方法は、少なくとも３つある。即ち、前記信号収集器が複数の信号累積器に接続されると、前記信号収集器が、同じ信号強度値を下流の全ての信号累積器に同時に出力し、又は、信号強度値を下流の全ての信号累積器に平均的に分配し、又は、信号強度値を一定の重みに従って下流の全ての信号累積器に分配し、前記重みは、信号収集器に対する信号累積器の空間位置距離の関数である。

前記信号累積器は、時間限定ローリング信号累積器又は時間無制限信号累積器であり、前記時間限定ローリング信号累積器は、現在時刻の前の特定の期間内の信号のみを累積するものであり、更に前の信号が自動的にクリアされ、前記時間無制限信号累積器は、累積し続けるものである。

信号累積器は、前記累積信号強度値をその接続されたフィルタに伝達し、前記フィルタは、１つ又は複数の信号累積器を入力とし、特定のフィルタ関数に従って、入力された累積信号強度値を変換する。

ステップＳ１３０として、フィルタは、特定のフィルタ関数に従って、信号累積器からの累積信号強度値を変換して、局所空間位置内の信号分布に関連する変換係数を得て、変換係数が設定された閾値を超えている場合、フィルタは、局所空間位置に対応する、数値で表すパルス信号を１回出力する。パルス信号は、パルス強度付きであり、該パルス強度と累積信号強度値とが対応関係を持ち、フィルタは、その接続された信号累積器によって、入力信号の局所空間位置情報を得る。

フィルタがパルス信号を出力した後、フィルタの全ての信号累積器をクリアしてリセットさせる。

任意位置、任意スケールの空間スパースパターンをできるだけ捕捉するために、フィルタのフィルタ関数は、フィルタが捕捉する必要がある空間位置のスパース性に応じて設定され、フィルタが捕捉する必要がある空間位置のスパース性は、該フィルタに関連付けられた前記信号収集器が信号の収集を担当している局所空間範囲によって決められ、冗長設計によって、複数のフィルタでモニタリング領域をカバーして、前記モニタリング領域内の各前記局所空間位置のスパースパターンは、いずれも、該当のフィルタにより捕捉されることが可能であり、複数のフィルタは、空間スケールのカバレッジ上で複数レベルの冗長設計を採用し、異なるレベルのフィルタが、該当の空間スケールの空間スパース性に対して敏感であり、複数レベルのフィルタが協働して、モニタリング領域内の任意スケールのスパース性に対する効果的な捕捉が実現される。

最も単純なケースとしては、１つのフィルタが、１つの信号累積器の入力しか受け入れない。また、フィルタは、複数の信号累積器からの入力を受け入れてもよい。各フィルタは、特定のフィルタ関数に従って、各信号累積器からの局所空間位置に対応する累積信号強度値を変換して、局所空間位置に対応する変換係数を得る。

単純な形態のフィルタは、２値フィルタであり、即ち、フィルタ関数が閾値関数となる。

２値フィルタに入力される信号累積器が１つしかない場合、信号累積器に入力された累積信号強度値が指定された閾値を超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力しない。

２値フィルタに入力される信号累積器が複数ある場合、前記２値フィルタは、複数の信号累積器により入力された累積信号強度値を単純に加算するか、若しくは、一定のルールに従って重み付け加算及びフィルタ変換を行い、変換結果が指定された閾値を超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力しない。累積信号強度値の重み付け累積過程において、収集時間が早いほど、信号の重みが低くなる。

２値フィルタの出力パルスを２進数で表し、２値フィルタがパルスを出力する場合、「１」で表し、そうでない場合、「０」で表し、同じ時刻でパルスの放出があったフィルタが「１」を出力し、パルスの出力がなかったフィルタが「０」を出力し、同じ時刻の全てのフィルタの出力が、フィルタアレイに従って２値スパースアレイを構成し、各時刻の２値スパースアレイが、クロックにより規定された等時間間隔の順で２値スパースシーケンスアレイに配列され、モニタリング領域の時空間信号に対する効率的なバイナリ表現とされる。

前記信号収集器、信号累積器及びフィルタが、１対１の形で「収集－累積－変換」トリプレットを構成し、即ち、各信号収集器がいずれも、１つの信号累積器にしか出力せず、各信号累積器が１つのフィルタにしか出力せず、該信号累積器の出力端の信号強度が、過去の一定期間内に信号収集器により収集された信号強度の累計値を表しており、該強度が指定された閾値を超えている場合、フィルタは、バイナリ「１」で表すパルス信号を１つ放出する。このようにして、該信号収集器に対応する局所空間位置の動的な信号は、間欠的に現れるバイナリシーケンスに変換され、シーケンス内の２つの「１」の間の時間間隔は、その２つの「１」のうち後ろの「１」の累積に必要な時間を表し、全「１」となるバイナリシーケンスは、該当の信号収集器に対応する局所空間位置の信号がずっと最高強度状態にあることを表す。

全ての「収集－累積－変換」トリプレットにより生成されたバイナリシーケンスは、対応する局所空間位置に従ってバイナリシーケンスアレイに配列され、モニタリング領域の時空間信号に対する効率的なバイナリ表現とされる。

前記信号収集器は、感光素子であり、全ての信号収集器は、感光アレイに配列され、前記信号累積器は、時間積分機能を持つ光電変換回路であり、前記フィルタは、２値パルスフィルタであり、信号累積器とフィルタとにより遅れ２値パルスフィルタが構成され、前記装置は、新型の撮像装置であり、その中の結像ユニット（即ち、上記の「信号収集器－信号累積器－フィルタ」の組）独立に動作しており、収集された光強度が閾値に達すると、１つのパルス（バイナリ「１」）を出力することで、対応する局所空間位置の信号強度を表す。

フィルタ関数は、斑点型の入力に対して最も敏感なガウス－ラプラス（ＬｏＧ、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタのように、より複雑であってもよい。フィルタ組のフィルタ関数は、一定の関係を満たす関数ファミリであってもよく、典型的な例として、ウェーブレット変換関数ファミリである。

フィルタにより算出された或る局所空間位置に対応する変換係数が設定された閾値を超えていれば、フィルタは、該当の局所空間信号強度を反映するパルス信号を１回出力し、上記パルス信号には、累積信号強度値に対応付けられたパルス強度情報が付けられてもよい。何れの局所空間位置に対応する変換係数も設定された閾値を超えていなければ、フィルタは、パルス信号を出力せず、ローレベル信号を選択的に出力してもよい。

フィルタがパルス信号を出力した後、フィルタの全ての信号累積器をリセットさせる。

ステップＳ１４０として、局所空間位置に対応するパルス信号を時間の前後の順でシーケンスに配列して、局所空間位置における時空間信号及びその変化過程を表すパルスシーケンスを得て、全ての局所空間位置のパルスシーケンスを空間位置の相互関係に従ってパルスシーケンスアレイに配列し、前記モニタリング領域の動的な時空間信号に対する符号化とする。

フィルタアレイ内の各フィルタは、それ自体の閾値設定に従ってパルス信号をそれぞれ出力し、フィルタ間の出力が同期しなくてもよい。このようにして、局所空間位置に対応する累積信号強度値の時間領域特性の符号化が実現される。

実際の応用では、フィルタは、アナログフィルタであり、その出力がパルスシーケンスアレイであってもよい。

実際の応用では、フィルタにより出力されたパルス信号には、「０」（パルス出力無し）又は「１」（パルス出力有り）の何れかになる１ビットの情報だけ付けられてもよく、この際、パルスシーケンスマトリックスは、ビットシーケンスアレイに縮退し、ビットストリームアレイと略称される。

実際の応用では、信号累積器の出力は、一定範囲内の数値であり、前記フィルタは、デジタルフィルタであり、その出力が一定範囲内の数値となる。フィルタ出力の数値は、２つの状態だけであってもよく、即ち、「０」（出力無し）、又は、「１」（出力有り）である。

高周波クロックを用いて、前記フィルタのパルス出力を時間領域で離散的に表すことで、フィルタのパルス出力が等間隔の時刻でしか発生しないようにする。同じ時刻で全てのフィルタにより出力された変換係数が、スパースアレイを構成し、該時刻で出力のなかったフィルタに対応する変換係数を０とし、前記スパースアレイが等時間間隔の順で変換係数アレイに配列して、モニタリング領域の時空間信号に対する効率的な表現とする。

前記フィルタの動作周波数は、１０００Ｈｚよりも高くなっており、即ち、フィルタ出力の離散時間間隔を１ミリ秒未満にすることができ、マイクロ秒、ナノ秒乃至ピコ秒レベルに達することができる。

前記信号収集器は、高感度感光素子であり、前記信号累積器は、高感度変換素子であり、両者が協働して、収集された光子の数を精確に計量することができ、前記フィルタのパルス放出時間間隔は、ピコ秒レベルであり、出力されたバイナリシーケンスアレイは、モニタリング領域に照射された光子の数を表している。

いずれの時刻においても、フィルタに対応する逆変換器組によって、過去の一定期間内の変換係数アレイを逆変換して、現在時刻の時空間信号を再構成する。

前の時刻に既に配列済みの係数アレイを元に、現在時刻に来ている変換係数で、同じ位置の既存の変換係数を置き換えて、現在時刻の空間信号を再構成し、以降同様にして、動的な信号が再構成される。

時刻ｔ０における再構成画像は、位置（ｉ，ｊ）におけるＩの画素値であり、該画素値過去のΔｔ内で該当のバイナリシーケンスに現れた「１」の数になっている。ここで、Δｔは、必要に応じて設定されてもよい。

前記バイナリシーケンスを、シーケンスの前後の統計的相関に応じて、より少ないビットでコンパクトに表し、例えば、ランレングス符号化や算術符号化などを採用してもよいが、これに限定されない。

空間的に隣接・近接しているシーケンスの間の統計的相関に応じて、前記バイナリシーケンスアレイを再符号化し、例えば、使用ビット数を減らすために、算術符号化する。

コンパクトビットストリーム生成過程の逆過程に応じて、前記バイナリシーケンスアレイを復元する。

上記変換係数アレイ又はパルスシーケンスマトリックスの規則性に基づき、予測符号化、ランレングス符号化やエントロピー符号化等の方法で圧縮して、より効率的な圧縮ビットストリームを形成し、圧縮ビットストリームに対して該当の復号アルゴリズムを適用して、元の係数シーケンスアレイを得る。

パルスシーケンスアレイの時系列特性を解析することで、入力信号に含まれるオブジェクト動き情報を得て、オブジェクトの位置及び動き過程についての記述を得ることができ、係数シーケンスアレイを解析することで、時空間信号に含まれるオブジェクトに対する検出及び属性記述を行うことができる。
実施例二

該実施例は、時空間信号を符号化する装置を提供しており、該装置の具体的な実現構造は、
各局所空間位置により構成されたモニタリング領域内の各前記局所空間位置の時空間信号を収集するための信号収集器２１と、
前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得るための時間領域符号化モジュールと、
各前記局所空間位置のパルスシーケンスを空間位置関係に従って空間領域符号化して、パルスシーケンスアレイを得るための空間領域符号化モジュールと、を含む。

本発明の一実施例において、図２に示すように、前記時間領域符号化モジュールは、
前記局所空間位置の時空間信号を時間的に累積して、累積信号強度値を得るための信号累積器２２と、
前記累積信号強度値を変換して、変換結果が特定の閾値を超えている場合、１つのパルス信号を出力するためのフィルタ２３と、
前記局所空間位置に対応するパルス信号を時間の前後の順でシーケンスに配列して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得るための処理ユニットと、を含む。
本発明の一実施例において、前記信号収集器２１は、具体的に、指定された局所空間位置から時空間信号を収集して、時間領域サンプリングを完成させることと、複数の前記信号収集器２１がアレイに配列して互いに協働し、モニタリング領域をカバーして、モニタリング領域に対する空間領域サンプリングを完成させることとに用いられる。

本発明の一実施例において、前記時空間信号は、光信号であり、前記信号収集器２１は、感光素子であり、
前記信号収集器２１から光電変換によって出力された電気信号強度と、収集された光強度と正の相関をもち、１つの前記信号収集器２１が、１つ又は複数の前記信号累積器２２に接続され、電気信号強度をその接続された信号累積器２２に伝達し、
前記信号累積器２２が、過去の一定期間内の信号を累積するものであり、その出力端が累積信号強度値であり、１つの前記信号累積器２２が、１つの前記フィルタ２３に接続され、累積信号強度値をその接続された前記フィルタ２３に伝達し、
前記フィルタ２３が、１つ又は複数の前記信号累積器２２を入力とし、特定のフィルタ関数に従って、入力された累積信号強度値を変換して、変換結果が前記特定の閾値を超えている場合、局所空間位置に対応するパルス信号を出力する。

本発明の一実施例において、前記信号収集器２１と複数の前記信号累積器２２とが接続されると、前記信号収集器２１は、同じ電気信号強度を下流の全ての前記信号累積器２２に同時に出力し、又は、電気信号強度を下流の全ての前記信号累積器２２に平均的に分配し、又は、電気信号強度を一定の重みに従って下流の全ての前記信号累積器２２に分配し、前記重みは、前記信号収集器２１に対する前記信号累積器２２の空間位置距離の関数である。

本発明の一実施例において、前記信号累積器２２は、時間限定ローリング信号累積器２２又は時間無制限信号累積器２２であり、前記時間限定ローリング信号累積器２２は、現在時刻の前の特定の期間内の信号のみを累積するものであり、更に前の信号が自動的にクリアされ、前記時間無制限信号累積器２２は、累積し続けるものである。

本発明の一実施例において、前記フィルタ２３のフィルタ関数は、前記フィルタ２３が捕捉する必要がある空間位置のスパース性に応じて設定され、前記フィルタ２３が捕捉する必要がある空間位置のスパース性は、該フィルタ２３に関連付けられた前記信号収集器２１が信号の収集を担当している局所空間範囲によって決められ、及び／又は、
冗長設計によって、複数の前記フィルタ２３でモニタリング領域をカバーして、前記モニタリング領域内の各前記局所空間位置のスパースパターンは、いずれも、該当の前記フィルタ２３により捕捉されることが可能であり、及び／又は、
複数のフィルタ２３は、空間スケールのカバレッジ上で複数レベルの冗長設計を採用し、異なるレベルの前記フィルタ２３が、該当の空間スケールの空間スパース性に対して敏感であり、複数レベルのフィルタ２３が協働して、モニタリング領域内の任意スケールのスパース性に対する効果的な捕捉が実現され、及び／又は、
前記フィルタ２３は、設定されたフィルタ関数に従って信号累積器２２からの累積信号強度値を変換し、局所空間位置内の信号分布に関連する変換係数を得て、変換係数が設定された閾値を超えている場合、前記フィルタ２３は、パルス強度付きのパルス信号を１つ出力し、該パルス強度と累積信号強度値とが対応関係を持ち、及び／又は、
前記フィルタ２３がパルス信号を出力した後、前記フィルタ２３に対応する全ての信号累積器２２をクリアしてリセットさせる。

本発明の一実施例において、前記のフィルタ２３は、２値フィルタ２３であり、前記フィルタ関数は、閾値関数であり、
前記２値フィルタ２３に入力される前記信号累積器２２が１つしかない場合、前記信号累積器２２により入力された累積信号強度値が指定された閾値を超えていれば、前記２値フィルタ２３は、１つのパルス信号を出力し、そうでなければ、パルス信号を出力せず、
前記２値フィルタ２３に入力される前記信号累積器２２が複数ある場合、前記２値フィルタ２３は、複数の前記信号累積器２２により入力された累積信号強度値を単純に加算するか、若しくは、一定のルールに従って重み付け加算及びフィルタ変換を行い、変換結果が指定された閾値を超えていれば、前記２値フィルタ２３は、１つのパルス信号を出力し、そうでなければ、パルス信号を出力しない。

本発明の一実施例において、該装置は、高周波クロックを用いて、前記フィルタ２３のパルス出力を時間領域で離散的に表すことで、フィルタ２３のパルス出力が等間隔の時刻でしか発生しないようにし、同じ時刻で全てのフィルタ２３により出力された変換係数が、スパースアレイを構成し、該時刻で出力のなかったフィルタ２３に対応する変換係数を０とし、前記スパースアレイが等時間間隔の順で変換係数アレイに配列して、モニタリング領域の時空間信号に対する表現とするように配置された変換係数処理モジュールを更に含む。

本発明の一実施例において、前記２値フィルタ２３の出力パルスを２進数で表し、前記２値フィルタ２３がパルスを出力する場合、「１」で表し、そうでない場合、「０」で表し、同じ時刻でパルスの放出があったフィルタ２３が「１」を出力し、パルスの出力がなかった前記２値フィルタ２３が「０」を出力し、前記空間領域符号化モジュールは、同じ時刻の全ての前記２値フィルタ２３の出力が、フィルタ２３のアレイに従って２値スパースアレイを構成し、各時刻の２値スパースアレイが、クロックにより規定された等時間間隔の順で２値スパースシーケンスアレイに配列され、モニタリング領域の時空間信号に対するバイナリ表現とされるように、更に配置されている。

本発明の一実施例において、前記信号収集器２１、信号累積器２２及びフィルタ２３が、１対１の形で収集－累積－変換トリプレットを構成し、即ち、各信号収集器２１がいずれも、１つの信号累積器２２にしか出力せず、各信号累積器２２が１つのフィルタ２３にしか出力せず、該信号累積器２２の出力端の信号強度が、過去の一定期間内に信号収集器２１により収集された信号強度の累計値を表しており、該信号強度が指定された閾値を超えている場合、フィルタ２３が１つのパルス信号を放出する。

本発明の一実施例において、前記パルス信号をバイナリ「１」で表し、前記信号収集器２１に対応する前記局所空間位置のパルスシーケンスは、間欠的に現れるバイナリシーケンス、そのシーケンス内の２つの「１」の間の時間間隔は、その２つの「１」のうち後ろの「１」の累積に必要な時間を表し、全「１」となるバイナリシーケンスは、該当の前記信号収集器２１に対応する前記局所空間位置の信号がずっと最高強度状態にあることを表し、全てのバイナリシーケンスは、空間位置に従ってバイナリシーケンスアレイに配列され、モニタリング領域の時空間信号に対するバイナリ表現とされる。

本発明の一実施例において、前記信号収集器２１は、感光素子であり、全ての信号収集器２１は、感光アレイに配列され、前記信号累積器２２は、時間積分機能を持つ光電変換回路であり、前記フィルタ２３は、２値パルスフィルタ２３であり、信号累積器２２とフィルタ２３とにより遅れ２値パルスフィルタ２３が構成され、前記装置は、新型の撮像装置であり、その中の結像ユニットが独立に動作しており、収集された光強度が閾値に達すると、１つのパルスを出力することで対応する局所空間位置の信号強度を表す。前記フィルタ２３の動作周波数は、１０００Ｈｚよりも高い。

本発明の一実施例において、前記信号収集器２１は、高感度感光素子であり、前記信号累積器２２は、高感度変換素子であり、前記信号収集器２１と前記信号累積器２２とが協働して、収集された光子の数を精確に計量し、前記フィルタ２３のパルス放出時間間隔は、ピコ秒レベルであり、出力されたバイナリシーケンスアレイは、モニタリング領域に照射された光子の数を表している。

本発明の実施例による装置で、時空間信号を符号化する具体的な過程は、前述した方法の実施例と類似しているため、ここで繰り返して説明しない。

以上を纏めて、本発明の実施例は、時間領域符号化を行った後に空間領域符号化を行うという構想で、局所空間位置の時空間信号を期間によって累積し、空間スパース性に応じて局所空間位置の累積信号強度値を変換して、局所空間位置に対応するパルス信号を出力し、更に、局所空間位置の時系列信号を得て、全ての局所空間位置の時系列信号によってパルスシーケンスマトリックスを構成することで、時間情報及び空間情報の両方を考慮した時空間信号の符号化方法を提供している。

本発明の有益な効果は、少なくとも、以下の１）～５）を含む。

１）各局所空間位置の変化過程が保存され、高速動きオブジェクトの動き過程を細かく再構成し、その後の動き解析、及び、オブジェクト検出・追跡のために豊富な情報源を提供することができるのに対して、従来のビデオが保存する変化情報は、フレームレートを上限としていたものであり、
２）任意の時刻の画像を再構成することができ、具体的に、１つの特定時刻の静的な画像が過去の一定期間内の変化過程の累積であり、本発明によれば、任意の時刻の画像を再構成することができるのに対して、従来のビデオは、フレームサンプリング時刻の画像しか保存していなかったものであり、
３）任意の時刻及び任何空間ウインドウ内の非常に動的な画像を再構成することができ、具体的に、従来のビデオに記録されるのは、２つのフレームの間の光照射の変化に対する累積であり、該当の動的範囲が限られて固定されることが多いのに対して、本発明によれば、任意期間及び任意空間ウインドウ範囲内の光照射を累積することができ、得られる動的範囲は、該期間及び該空間範囲内の光照射状況に依存しており、動的であり、非常に動的になることも可能であり、
４）時間領域の圧縮アルゴリズムの設計に有利であり、具体的に、従来のビデオ圧縮におけるフレーム間予測は、複雑な動き推定及び動き補償計算に関わっているのに対して、本発明は、時間領域情報をそのまま元のコードストリームに暗黙的に含ませ、フレーム間予測などの複雑なアルゴリズム及び符号化動きベクトルなどのデータを意図的に設計する必要がなく、しかも、本発明のコードストリームが時間領域で「連続している」（離散パターンにおける時間間隔も非常に小さく、例えばミリ秒レベルか、それよりも小さい）ものであり、関連性が高いため、効率的な符号化アルゴリズムの設計がより容易であり、
５）空間領域の圧縮効率の向上に有利であり、具体的に、従来のビデオは、一定の期間内（２つのフレームの間）の光照射の変化を強引に１つの画像に「絞り」、画像の複雑さが向上するとともに、従来のビデオ圧縮における空間領域符号化（主に、変換符号化を指す）の難しさが増加し、残差の表示コストが大きいのに対して、本発明においては、時系列アレイで動的な映像を現しており、圧縮に変換符号化方法を使用し続けることができ（フィルタ組のフィルタ関数及関数ファミリに対応）、従来の方法のように「むりやり」に同じ時刻で同期に変換符号化するのではなく、各フィルタが、それ自体の入力パターンに従って出力するかどうかを随時に決めることができ、そのため、空間領域における信号パターンをより良好に捕捉して、空間領域の圧縮効率を向上させることができる。

当業者であれば理解できるように、図面は、単に実施例の模式図であり、図面におけるモジュールまたはフローは、必ずしも本発明を実施するために必須なものではない。

上記の実施形態に対する説明から、当業者は、ソフトウェアに、必要な汎用ハードウェアプラットフォームを加えるという方式で、本発明が実現できることが、明確に分かることができる。このような理解に基づいて、本発明の技術案の本質的部分、あるいは先行技術に対する貢献をもたらす部分は、ソフトウェア製品の形で体現することができ、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどの記憶媒体に格納可能であり、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器など）が本発明の各実施例または実施例における一部の前記方法を実行できるようにするためのいくつかのコマンドを含む。

本明細書における各実施例は、全て、漸進的な形で説明され、各実施例の同一部分または類似部分を相互参照してもよく、各実施例は、他の実施例との相違点を示すことに着目している。特に、装置又はシステムの実施例は、基本的に方法の実施例と類似しているので、簡単に説明されており、関連する部分は方法の実施例の説明の一部を参照すればよい。以上に記載の装置及システム実施例は、あくまでも例示的なものであり、前記の独立部材として説明した部分は、物理的に独立したものであってもよく、物理的に独立したものでなくてもよく、ユニットとして示した部材は、物理的なユニットであってもよく、物理的なユニットでなくてもよく、一箇所に位置していてもよく、複数のネットワークユニットに分布されていてもよい。本発明の実施例の目的を実現するには、実際の需要に応じて、そのうちの一部或いは全部を選択することができる。当業者は、創造的労働を払わずに、本発明を理解及び実施することができる。

以上は、本発明の好ましい具体的な実施形態に過ぎず、本発明の保護範囲は、これに限られるものではなく、当業者であれば、本発明に開示された技術範囲内の変形或いは代替が容易に想到でき、これらは全て本発明の保護範囲内のものとすべきである。このため、本発明の保護範囲は、特許請求範囲の保護範囲を基準とすべきである。

Claims (18)

1. 時空間信号を符号化する方法であって、
   各局所空間位置により構成されたモニタリング領域内の各局所空間位置の時空間信号を収集することと、
   前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得ることと、
   各前記局所空間位置のパルスシーケンスを空間位置関係に従って空間領域符号化して、パルスシーケンスアレイを得ることと、を含み、
   前記パルスシーケンスにおいて、隣接する２つのパルスの間の時間間隔は、前記時空間信号を累積することによって前記隣接する２つのパルスのうちの２つ目のパルスを取得するために必要な時間を表す
   ことを特徴とする時空間信号を符号化する方法。
2. 前記の、モニタリング領域内の各局所空間位置の時空間信号を収集することは、
   複数の信号収集器のうちの各信号収集器が、指定された局所空間位置から時空間信号を収集して、時間領域サンプリングを完成させることと、
   前記複数の信号収集器がアレイに配列して互いに協働し、モニタリング領域をカバーして、モニタリング領域に対する空間領域サンプリングを完成させることと、を含む
   ことを特徴とする請求項１に記載の時空間信号を符号化する方法。
3. 前記の、前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得ることは、
   前記局所空間位置の時空間信号を時間的に累積して、累積信号強度値を得ることと、
   前記累積信号強度値を変換して、変換結果が特定の閾値を超えている場合、１つのパルス信号を出力することと、
   前記局所空間位置に対応するパルス信号を時間の前後の順でシーケンスに配列して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得ることと、を含む
   ことを特徴とする請求項１または２に記載の時空間信号を符号化する方法。
4. 前記時空間信号は、光信号であり、前記時空間信号は信号収集器により収集され、前記信号収集器は、感光素子であり、前記の、局所空間位置の時空間信号を累積して、累積信号強度値を得ることは、
   前記信号収集器から光電変換によって出力された電気信号強度と、収集された光強度とが正の相関を持ち、１つの前記信号収集器と少なくとも１つの信号累積器とが接続され、前記信号収集器が、電気信号強度を、その接続された前記少なくとも１つの信号累積器に伝達することと、
   前記少なくとも１つの信号累積器が、過去の一定期間内の信号を累積するものであり、その出力が累積信号強度値であり、前記少なくとも１つの信号累積器のうちの各信号累積器と１つのフィルタとが接続され、前記少なくとも１つの信号累積器が、累積信号強度値を、その接続されたフィルタに伝達することと、
   前記フィルタが、前記少なくとも１つの信号累積器を入力とし、特定のフィルタ関数に従って、入力された累積信号強度値を変換して、変換結果が前記特定の閾値を超えている場合、局所空間位置に対応するパルス信号を出力することと、を含む
   ことを特徴とする請求項３に記載の時空間信号を符号化する方法。
5. 前記少なくとも１つの信号累積器は複数の信号累積器を含み、
   前記信号収集器と前記複数の信号累積器とが接続されると、前記信号収集器は、同じ電気信号強度を下流にある前記複数の信号累積器に同時に出力し、又は、電気信号強度を下流にある前記複数の信号累積器に平均的に分配し、又は、電気信号強度を一定の重みに従って下流にある前記複数の信号累積器に分配し、前記重みは、前記信号収集器に対する前記複数の信号累積器のうちの各信号累積器の空間位置距離の関数である
   ことを特徴とする請求項４に記載の時空間信号を符号化する方法。
6. 前記少なくとも１つの信号累積器は、時間限定ローリング信号累積器又は時間無制限信号累積器であり、前記時間限定ローリング信号累積器は、現在時刻の前の特定の期間内の信号のみを累積するものであり、更に前の信号が自動的にクリアされ、前記時間無制限信号累積器は、累積し続けるものである
   ことを特徴とする請求項４または５に記載の時空間信号を符号化する方法。
7. 前記フィルタのフィルタ関数は、前記フィルタが捕捉する必要がある空間位置のスパース性に応じて設定され、
   前記フィルタが捕捉する必要がある空間位置のスパース性は、該フィルタに関連付けられた前記信号収集器が信号の収集を担当している局所空間範囲によって決められる
   ことを特徴とする請求項４乃至６のいずれか一項に記載の時空間信号を符号化する方法。
8. 冗長設計によって、複数の前記フィルタでモニタリング領域をカバーし、
   前記モニタリング領域内の各前記局所空間位置のスパースパターンは、いずれも、該当の前記フィルタにより捕捉されることが可能である
   ことを特徴とする請求項４乃至７のいずれか一項に記載の時空間信号を符号化する方法。
9. 複数の前記フィルタは、空間スケールのカバレッジ上で複数レベルの冗長設計を採用し、
   異なるレベルの前記フィルタが、該当の空間スケールの空間スパース性に対して敏感であり、複数レベルの前記フィルタが協働して、モニタリング領域内の任意スケールのスパース性に対する効果的な捕捉が実現される
   ことを特徴とする請求項４乃至８のいずれか一項に記載の時空間信号を符号化する方法。
10. 前記フィルタがパルス信号を出力した後、前記フィルタに対応する全ての信号累積器をクリアしてリセットさせる
    ことを特徴とする請求項４乃至９のいずれか一項に記載の時空間信号を符号化する方法。
11. 前記フィルタは、設定されたフィルタ関数に従って信号累積器からの累積信号強度値を変換し、局所空間位置内の信号分布に関連する変換係数を得て、変換係数が設定された閾値を超えている場合、前記フィルタは、パルス強度付きのパルス信号を１つ出力し、前記パルス強度と累積信号強度値とが対応関係を持ち、
    高周波クロックを用いて、前記フィルタのパルス出力を時間領域で離散的に表すことで、前記フィルタのパルス出力が等間隔の時刻でしか発生しないようにし、同じ時刻で全てのフィルタにより出力された変換係数が、スパースアレイを構成し、該時刻で出力のなかったフィルタに対応する変換係数を０とし、前記スパースアレイが等時間間隔の順で変換係数アレイに配列することを更に含む
    ことを特徴とする請求項４乃至６のいずれか一項に記載の時空間信号を符号化する方法。
12. 前記のフィルタは、２値フィルタであり、前記フィルタ関数は、閾値関数であり、
    前記２値フィルタに入力される前記信号累積器が１つしかない場合、前記信号累積器により入力された累積信号強度値が指定された閾値超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力せず、又は、
    前記２値フィルタに入力される前記信号累積器が複数ある場合、前記２値フィルタは、複数の前記信号累積器により入力された累積信号強度値を単純に加算するか、若しくは、一定のルールに従って重み付け加算及びフィルタ変換を行い、変換結果が指定された閾値を超えていれば、前記２値フィルタは、１つのパルス信号を出力し、そうでなければ、パルス信号を出力しない
    ことを特徴とする請求項４乃至１１のいずれか一項に記載の時空間信号を符号化する方法。
13. 前記２値フィルタの出力パルスを２進数で表し、前記２値フィルタがパルスを出力する場合、「１」で表し、そうでない場合、「０」で表し、
    同じ時刻でパルスの放出があった前記２値フィルタが「１」を出力し、パルスの出力がなかった前記２値フィルタが「０」を出力し、
    同じ時刻の全ての前記２値フィルタの出力が、フィルタアレイに従って２値スパースアレイを構成し、各時刻の２値スパースアレイが、クロックにより規定された等時間間隔の順で２値スパースシーケンスアレイに配列される
    ことを特徴とする請求項１２に記載の時空間信号を符号化する方法。
14. 前記信号収集器、信号累積器及びフィルタが、１対１の形で収集－累積－変換トリプレットを構成し、即ち、各信号収集器がいずれも、１つの信号累積器にしか出力せず、各信号累積器が１つのフィルタにしか出力せず、前記信号累積器の出力端の信号強度が、過去の一定期間内に前記信号収集器により収集された信号強度の累計値を表しており、前記信号強度が指定された閾値を超えている場合、フィルタが１つのパルス信号を放出することを、更に含む
    ことを特徴とする請求項４乃至１３のいずれか一項に記載の時空間信号を符号化する方法。
15. 前記パルス信号をバイナリ「１」で表し、
    前記信号収集器に対応する前記局所空間位置のパルスシーケンスは、間欠的に現れるバイナリシーケンスであり、そのシーケンス内の２つの「１」の間の時間間隔は、その２つの「１」のうち後ろの「１」の累積に必要な時間を表し、
    全「１」となるバイナリシーケンスは、該当の前記信号収集器に対応する前記局所空間位置の信号がずっと最高強度状態にあることを表し、
    全てのバイナリシーケンスは、空間位置に従ってバイナリシーケンスアレイに配列される
    ことを特徴とする請求項４乃至１４のいずれか一項に記載の時空間信号を符号化する方法。
16. 各局所空間位置により構成されたモニタリング領域内の各前記局所空間位置の時空間信号を収集するための複数の信号収集器と、
    前記局所空間位置の時空間信号を時間領域符号化して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得るための時間領域符号化モジュールと、
    各前記局所空間位置のパルスシーケンスを空間位置関係に従って空間領域符号化して、パルスシーケンスアレイを得るための空間領域符号化モジュールと、を含み、
    前記パルスシーケンスにおいて、隣接する２つのパルスの間の時間間隔は、前記時空間信号を累積することによって前記隣接する２つのパルスのうちの２つ目のパルスを取得するために必要な時間を表す
    ことを特徴とする時空間信号を符号化する装置。
17. 前記複数の信号収集器は、それぞれ指定された局所空間位置から時空間信号を収集して、時間領域サンプリングを完成させることと、前記複数の信号収集器がアレイに配列して互いに協働し、モニタリング領域をカバーして、モニタリング領域に対する空間領域サンプリングを完成させることとに用いられる
    ことを特徴とする請求項１６に記載の時空間信号を符号化する装置。
18. 前記時間領域符号化モジュールは、
    前記局所空間位置の時空間信号を時間的に累積して、累積信号強度値を得るための信号累積器と、
    前記累積信号強度値を変換して、変換結果が特定の閾値を超えている場合、１つのパルス信号を出力するためのフィルタと、
    前記局所空間位置に対応するパルス信号を時間の前後の順でシーケンスに配列して、前記局所空間位置における前記時空間信号の変化過程を表すパルスシーケンスを得るための処理ユニットと、を含む
    ことを特徴とする請求項１６または１７に記載の時空間信号を符号化する装置。

Images