JP7092211B2 - データ処理方法及びコンピューティング機器 - Google Patents

Description

［関連出願の相互引用］
本出願は２０１８年5月4日に提出された中国特許出願No.201810421130.0に基づく優先権の利益を主張するものであり、その内容は本出願に援用される。
本発明はデータ処理の技術分野に関し、特にデータ処理方法及びコンピューティング機器に関する。

リアルタイムなオプティカルフロー計算は、例えば、オプティカルフローに基づく分割、運動検出、航空機や車両用の目標追跡及び障害物回避等のコンピュータビジョン分野では重要な役割を果たしてきている。リアルタイム応用では、高精度を維持しながらオプティカルフロー計算の速度を高めることは急務の一つである。その中で、オプティカルフローは決定的な役割を果たす基本的な要素として、多くのオプティカルフロー計算方法が拡張されている。従来のオプティカルフロー方法は普通の画像センサーから捕捉される大量のフレームデータを処理し、従って、静的背景から冗長データが繰り返して発生する。大量の冗長データの読み出し及び処理は、膨大な計算コストにつながり、処理速度が制限される。

一方、イベントに基づくモーションセンサーは、オプティカルフロー計算のリアルタイム性の向上の点では極めて大きな潜在力を示している。普通の画像センサーに比べて、モーションセンサーは相対輝度変化を示すイベントに非同期で応答する。且つ、モーションセンサーの出力は非同期デジタルイベントのストリームであり、露光時間やフレームレートに制限されることがなく、通常高価な高速カメラが数千フレームレートで捕捉する高速運動物体を検出できる反面、出力される冗長データが大幅に減少する。従って、モーションセンサーに対して、イベントに基づくオプティカルフロー方法は幅広く適用されている。

一般には、イベントに基づくオプティカルフロー方法は、イベントに基づくＬｕｃａｓ－Ｋａｎａｄｅ方法、及び局所平面フィッティング方法に分けられる。イベントに基づくオプティカルフロー方法では、１つの重要なステップとして、局所領域中の画素強度に基づいて勾配（又は傾き）情報を抽出する。しかしながら、従来のダイナミックビジョンセンサー（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ、ＤＶＳ）システムでは、イベントは照明なし場合にしか画素位置を報告しない。従って、短時間内に累積されたイベントの数を使用して各画素の強度をシミュレーションする。以上からわかるように、このシミュレーション方法は、リアルタイム強度レベルではなく、相対強度変化を示すため、不正確である。また、イベントに基づくオプティカルフロー計算の正確性を制限する別の課題は、高速運動物体の検出時のイベントのスパース性である。従来のＤＶＳの動作時、各画素は個別に動作し、且つ単一アクティブ画素によって発生するイベントはオプティカルフローの計算に十分な情報を提供できない。

上記理由に鑑みて、オプティカルフロー計算の速度を高めるために、画素強度に基づいて勾配情報を抽出する新たなスキームが望まれている。

本発明は、以上の少なくとも１つの課題を解決又は少なくとも軽減するために、データ処理方法及びコンピューティング機器を提供する。

本発明の一態様によれば、データ処理方法を提供し、ダイナミックビジョンセンサーからのイベントデータストリームを処理して、異なる時間帯におけるシーン変化を表す画像フレームを得ることに用いられ、イベントデータストリームは輝度が変化した画素の座標を含み、該方法は、所定の時間間隔でイベントデータストリームを複数のデータスライスに分割するステップと、第１数のデータスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップと、を含む。

好ましくは、本発明に係るデータ処理方法では、異なる時間帯におけるシーン変化の画像フレームに応じて、シーン内の運動物体の運動方向及び運動速度を計算するステップをさらに含む。

好ましくは、本発明に係るデータ処理方法では、所定のルールに従って第１数の重み因子を含む重みシーケンスを生成し、前記第１数のデータスライスを加重計算するステップをさらに含む。

好ましくは、本発明に係るデータ処理方法では、所定のルールは、前記重みシーケンス中の重み因子の変化傾向は単調に変化することを含む。

好ましくは、本発明に係るデータ処理方法では、第１数のデータスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップは、第１数のデータスライスをデータグループとして順番に選択し、隣接するデータグループ同士は第２数のデータスライスが互い重なるステップと、重みシーケンスを利用して各データグループ内のデータスライスを加重計算し、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップと、を含む。

好ましくは、本発明に係るデータ処理方法では、第１数のデータスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップは、複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成するステップと、第１数のスライス画像を順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップと、をさらに含む。

好ましくは、本発明に係るデータ処理方法では、複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成するステップは、各データスライスに対して、該データスライス中の輝度が変化した画素の座標に対応する画素値を第１値にマッピングするステップと、該データスライス中の輝度が変化していない画素の座標に対応する画素値を第２値にマッピングするステップと、第１値及び第２値に応じて該データスライスのスライス画像を構成するステップと、を含む。

好ましくは、本発明に係るデータ処理方法では、複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成するステップは、各データスライスに対して、該データスライス中の各画素の変化回数を該画素の初期画素値として統計するステップと、各画素の初期画素値を所定の区間内にマッピングし、該データスライスのスライス画像を得るステップと、を含む。

好ましくは、本発明に係るデータ処理方法では、第１数のスライス画像を順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップは、第１数のスライス画像を画像グループとして順番に選択し、隣接する画像グループ同士は第２数のスライス画像が互いに重なるステップと、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップと、を含む。

好ましくは、本発明に係るデータ処理方法では、第１数は第２数よりも大きい。

好ましくは、本発明に係るデータ処理方法では、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップは、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、各画像グループに対応する加重画像を得るステップと、加重画像の各画素値を所定の区間内にマッピングし、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップと、をさらに含む。

本発明の別の態様によれば、コンピューティング機器を提供し、１つ又は複数のプロセッサと、メモリと、１つ又は複数のプログラムとを備え、前記１つ又は複数のプログラムは前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行されるように構成され、前記１つ又は複数のプログラムは前記方法のいずれかを実行するための命令を含む。

本発明のさらに別の態様によれば、１つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体を提供し、前記１つ又は複数のプログラムは命令を含み、前記命令がコンピューティング機器により実行されると、前記コンピューティング機器に前記方法のいずれかを実行させる。

本発明のデータ処理スキームによれば、時間順にイベントデータストリームをスライス化し、その後、所定の重みで複数のデータスライスを重ね合わせ、ある時間帯におけるシーンの変化を表す加重画像フレームを得る。該加重画像フレームによって、ある時間帯におけるシーン内の物体の運動速度及び運動方向を簡単かつ効果的に分析でき、オプティカルフロー計算の速度の向上に寄与する。

上記及び関連目的を実現するために、本明細書では、以下の説明及び図面を参照しながらいくつかの例示的な態様を説明し、これらの態様は本明細書に開示されている原理を実施できる様々な形態を示し、且つすべての態様及びその同等態様は請求された主題の範囲に属する。図面を参照しながら以下の詳細説明を読むことにより、本開示の上記及びほかの目的、特徴及び利点がさらに明らかになる。本開示を通して、同一符号は通常、同一部材又は要素を示す。

図１は本発明のいくつかの実施例に係るコンピューティング機器１００の模式図を示す。 図２は本発明のいくつかの実施例に係るイベントデータストリームの模式図を示す。 図３は本発明のいくつかの実施例に係るデータ処理方法３００のフローチャートを示す。 図４は本発明の一実施例に係るデータストリームを分割してデータスライスを生成するプロセスの模式図を示す。 図５は本発明の一実施例に係るシーン変化を表す画像フレームを累積により生成するプロセスの模式図を示す。 図６は本発明の一実施例に係る複数の加重画像フレームの模式図を示す。 図７は３種の典型的な運動方向に対応する加重画像フレームの効果図を示す。

以下、図面を参照しながら本開示の例示的な実施例をさらに詳細に説明する。図面には本開示の例示的な実施例が示されているが、ここで説明される実施例に限定されることなく、様々な形態で本開示を実施できると理解すべきである。その反面、これらの実施例は本開示をよりよく理解でき、且つ本開示の範囲を当業者に完全に伝えることができるために提供されている。

図１は例示的なコンピューティング機器１００のブロック図である。基本的な構成１０２では、コンピューティング機器１００は典型的には、システムメモリ１０６及び１つ又は複数のプロセッサ１０４を備える。メモリバス１０８はプロセッサ１０４とシステムメモリ１０６との通信に使用できる。

所望の構成に応じて、プロセッサ１０４は様々なタイプのプロセッサであってもよく、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル情報プロセッサ（ＤＳＰ）又はそれらの任意の組み合わせを含むが、これらに限定されない。プロセッサ１０４は、例えば、一次高速バッファ１１０及び二次高速バッファ１１２のような１つ又は複数のレベルの高速バッファ、プロセッサカーネル１１４及びレジスタ１１６を備えてもよい。例示的なプロセッサカーネル１１４は演算論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理カーネル（ＤＳＰカーネル）又はそれらの任意の組み合わせを備えてもよい。例示的なメモリコントローラ１１８はプロセッサ１０４と組み合わせて使用されてもよく、又は、いくつかの実現では、メモリコントローラ１１８はプロセッサ１０４の１つの内部部分であってもよい。

所望の構成によって、システムメモリ１０６は様々なタイプのメモリであってもよく、揮発性メモリ（例えば、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリ等）、又はそれらの任意の組み合わせを含むが、これらに限定されない。システムメモリ１０６はオペレーティングシステム１２０、１つ又は複数のアプリケーション１２２、及びプログラムデータ１２４を備えてもよい。いくつかの実施形態では、アプリケーション１２２はオペレーティングシステム上でプログラムデータ１２４を利用して操作を行うように構成されてもよい。いくつかの実施例では、コンピューティング機器１００はデータ処理方法３００を実行するように構成され、プログラムデータ１２４は前記方法３００を実行するための命令を含む。

コンピューティング機器１００はさらに、バス／インターフェースコントローラ１３０を経由する様々なインターフェース機器（例えば、出力機器１４２、ペリフェラルインターフェース１４４及び通信機器１４６）から基本的な構成１０２への通信に寄与するインターフェースバス１４０を備えてもよい。例示的な出力機器１４２はグラフィックス処理ユニット１４８及びオーディオ処理ユニット１５０を備える。それらは、１つ又は複数のＡ／Ｖポート１５２を経由して例えば、ディスプレイ又はスピーカーのような様々な外部機器と通信することに寄与するように構成されてもよい。例示的なペリフェラルインターフェース１４４はシリアルインターフェースコントローラ１５４及びパラレルインターフェースコントローラ１５６を備えてもよく、１つ又は複数のＩ／Ｏポート１５８を経由して例えば、入力機器（例えば、キーボード、マウス、ペン、音声入力機器、画像入力機器）又はほかのペリフェラル（例えば、プリンタ、スキャナー等）のような外部機器と通信することに寄与するように構成されてもよい。例示的な通信機器１４６は、１つ又は複数の通信ポート１６４を経由してネットワーク通信リンクによって１つ又は複数のほかのコンピューティング機器１６２と通信することに寄与するように構成されてもよいネットワークコントローラ１６０を備えてもよい。

ネットワーク通信リンクは通信媒体の一例であってもよい。通信媒体は通常、例えば、キャリア又はほかの伝送メカニズムのような変調データ信号中のコンピュータ可読命令、データ構造、プログラムモジュールとして具体化されてもよく、且つ任意の情報伝送媒体を含んでもよい。「変調データ信号」は、そのデータセット中の１つ又は複数又はその変更が信号内で情報を符号化することによって行われるような信号であってもよい。非限定的な例として、通信媒体は、例えば、有線ネットワーク又は専用ネットワークのような有線媒体、及び例えば、音、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）又はほかの無線媒体のような様々な無線媒体を含んでもよい。ここで使用される用語のコンピュータ可読媒体は記憶媒体及び通信媒体の両方を含んでもよい。

コンピューティング機器１００はデスクトップコンピュータ及びノートコンピュータ構成を含むパーソナルコンピュータとして実現されてもよい。勿論、コンピューティング機器１００は、小型ポータブル（又は運動）電子機器の一部として実現されてもよく、これらの電子機器は例えば、携帯電話、デジタルカメラ、パーソナルデジタルアシスタント（ＰＤＡ）、パーソナルメディアプレーヤー機器、無線ネットワークブラウジング機器、パーソナル頭部装着型機器、特定用途向け機器、又は上記の任意の機能を含むハイブリッド機器であってもよい。本発明の実施例ではそれを限定しない。

オプティカルフロー計算では、従来の画像センサーの代わりに常にモーションセンサーを採用し、それはモーションセンサーが相対輝度変化を示すイベントに応答できるからである。一実施形態では、シーン内にダイナミックビジョンセンサー（Ｅｖｅｎｔ Ｃａｍｅｒａ）を配置し、シーン内に物体の運動がない場合、ダイナミックビジョンセンサーはなんの内容も表示しない。しかしながら、一旦シーン内に物体の運動が発生したと検出される場合（すなわち、光が変化した）、動的画素（すなわち、輝度が変化した画素）のイベントデータストリームを出力する。

図２はダイナミックビジョンセンサーにより出力されるイベントデータストリームを示し、データストリームは輝度が変化した画素の画素情報のみを含み、従って、該イベントデータストリームは動的画素シーケンスともいう。一般には、画素情報は、画素の座標（ｒｏｗ，ｃｏｌｕｍｎ）、画素の輝度値ｉｎｔｅｎｓｉｔｙ、及び輝度が変化した時間ｔｉｍｅを含んでもよい。図２に示すように、時間の経過とともに、ダイナミックビジョンセンサーは動的画素の画素情報を連続的に出力し、各短い線は１つの動的画素の画素情報を示し、時点Ａから時点Ｂまでの期間内に、５個の動的画素の画素情報が順番に出力される。なお、図２中の動的画素シーケンスの出力数及び出力間隔等は単に例示であり、本発明はそれらを限定しない。

本発明のデータ処理方法２００によれば、ダイナミックビジョンセンサーからのイベントデータストリームを処理し、異なる時間帯におけるシーン変化を表す異なる画像フレームを生成し、後続では、これらの画像フレームに基づいてシーン内の運動を分析し、それによってリアルタイムオプティカルフロー計算の速度を高める。

図３は本発明のいくつかの実施例に係るデータ処理方法３００のフローチャートを示す。図３に示すように、方法３００はステップＳ３１０から開始する。

ステップＳ３１０では、ダイナミックビジョンセンサーにより出力されるイベントデータストリームを読み取って記憶し、記憶したイベントデータストリームを所定の時間間隔で複数のデータスライスに分割する。本発明の一実施例では、所定の時間間隔は３０ミリ秒に設定される。つまり、イベントデータストリームを３０ミリ秒ごとに複数のフラグメントに分割し、分割された各３０ミリ秒のデータフラグメントは１つのデータスライスである。勿論、本発明の実施例では、所定の時間間隔を限定しないが、実際の応用では、ニーズに応じて異なる時間間隔を設定することができる。

図４は本発明の一実施例に係るデータストリームを分割してデータスライスを生成するプロセス模式図を示す。図４からわかるように、イベントは時間とともに連続的に発生し、所定の時間間隔ｔ０ごとに分割して１つのデータスライス（データスライスはｓｌｉｃｅとも呼ばれてもよい）を生成する。

その後、ステップＳ３２０では、第１数のデータスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成する。

本発明の実施形態によれば、加重計算前、方法３００は、所定のルールに従って１つの重みシーケンス（ｗ_１，ｗ_２，ｗ_３，...，ｗ_ｉ）を生成し、該重みシーケンスは第１数の重み因子を含み、選択した第１数のデータスライスを加重計算するステップをさらに含む。本発明の実施例では、重みシーケンスの値を限定しないが、１組の乱数であってもよい。なお、重みシーケンスは任意の乱数生成アルゴリズムによって生成されてもよく、且つ適切な任意の形式としてもよく、所定のルールを満たせばよい。つまり、重みシーケンスのランダム性は厳密な意味で完全にランダムである必要がなく、すなわち、各重み因子の値は一定のランダム性を有するが、その変化傾向が特定の法則を示してもよく、本発明の実施例のように、重み因子の変化傾向は単調に変化し、さらに、重みシーケンスを生成する際に、各重み因子間の比例関係を設定してもよく、例えば、（１６，８，４，２）が挙げられる。

本発明に係る方法３００では、重みシーケンスは最終的に生成された画像フレームに対して非常に大きな影響を与える。一般には、重み因子が大きいほど、該重み因子に対応するデータスライスの情報が強調される。

いくつかの実施形態では、シーン内の運動物体の現在の運動情報及びその運動軌跡を強調するために、現在のデータスライスの重み因子は最も大きく設定され、その後、ほかの重み因子は順番に所定の比例で小さくなり、表１は１０個の重み因子を有する重みシーケンスの例を示すが、実際の使用では、重みシーケンス中の重み因子の大きさは柔軟に設定でき、本発明の実施例ではそれを限定しない。

別のいくつかの実施形態では、シーン内の運動物体の開始運動情報（例えば、運動物体はどこからくるか）を強調するために、前の時刻にあるデータスライスの重み因子を比較的大きくする。さらに別のいくつかの実施形態では、シーン内の運動物体の運動軌跡のみに注目する場合、複数のデータスライスの重み因子を同一に設定してもよい。

以上、単にいくつかの重みシーケンスの例である。実際の応用では、シーンに応じて適切な重みシーケンスを選択することができる。

本発明の実施例では、ステップＳ３２０は以下の２つのステップに分けられる。

ステップ１では、第１数のデータスライスをデータグループとして順番に選択し、該データグループはこの期間内に輝度が変化した画素の画素情報（例えば、輝度が変化した画素の画素座標）を含み、本発明の実施例では、隣接するデータグループ同士は第２数のデータスライスが互いに重なる。且つ、第１数は第２数よりも大きい。

ステップ２では、生成された重みシーケンスを利用して各データグループ中のデータスライスを加重計算し、以上と同様に、画素情報が画素座標であることを例に、各データグループ中の異なるデータスライスに属する画素座標にそれぞれ異なる重み因子を割り当て、例えば第１個のデータスライス中のすべての画素座標に重み因子１を割り当て、第２個のデータスライス中のすべての画素座標に重み因子３を割り当てるなどが挙げられ、それと同時に、変化した画素の初期値を１とし、対応する重み因子と乗算して対応するデータスライスの結果を得る。さらに、第１数のデータスライスの結果を加算し、該データグループ内のすべての画素座標に最終的に対応する値を得て、１フレームの画像にマッピングし、すなわち、対応する時間帯におけるシーン変化を表す画像フレームである。本発明では、１組のデータを１フレームの画像にマッピングするマッピング方式を限定しないが、好ましくは、以下説明される方式を参照して、データグループ内のすべての画素座標に対応する値を［０，２５５］にマッピングし、１フレームのグレー画像を得る。

なお、画素情報は輝度が変化した画素の画素座標に加えて、さらに輝度が変化した画素の輝度値及び輝度が変化した時間を含んでもよい。輝度が変化した画素の初期値を１つの定数として加重計算するようにしてもよく、画素自体の輝度値を初期値として加重計算するようにしてもよく、又は、さらに輝度の変化回数を画素の初期値として統計して加重計算するようにしてもよいが、本発明の実施例ではそれらを限定しない。

さらに、どのようにデータスライスを加重計算して、異なる時間帯におけるシーン変化を表す画像フレームを生成するかをより鮮明に説明するために、本発明の別のいくつかの実施例では、スキームを提供し、ステップＳ３２０を２つのステップに分ける。ステップ（１）では、複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成する。ステップ（２）では、第１数のスライス画像を順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成する。以下、該プロセスを詳細に説明する。

（１）複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成する。

つまり、各データスライスに対して、１フレームの画像を構成し（本発明の一実施例では、構成された画像のサイズは７６８×６４０であるが、これに限定されず、構成された画像のサイズはダイナミックビジョンセンサー中の画素回路の数を含むだけでよい）、該データスライス中の輝度が変化した画素を、構成された画像にマッピングし、１フレームのスライス画像を得る。なお、マッピングされたスライス画像は二値画像であってもよく、グレー画像であってもよいが、本発明の実施例ではそれらを限定しない。

本発明の一実施形態では中、各データスライスに対して、以下の方式を採用してマッピングして、対応するスライス画像を得る。まず、該データスライス中の輝度が変化した画素の座標に対応する画素値を第１値にマッピングする。本発明の実施例では、第１値を２５５とする。その後、該データスライス中の輝度が変化していない画素の座標に対応する画素値を第２値にマッピングする。本発明の実施例では、第２値を０とする。最後に、第１値及び第２値に応じて、該データスライスを除いた二値スライス画像を構成する。

１つのデータスライス中の輝度が変化した画素の座標を｛（０，１），（０，６），（１，１），（２，３），（２，６），（４，２）｝とし、構成された画像のサイズを５×８とする場合、該データスライスをマッピングして得たスライス画像の画素値は表２に示され、表２中の左上の第１個の「０」は座標が（０，０）（すなわち、第０行第０列）の画素輝度が変化していないことを示し、右側の「２５５」は座標が（０，１）（すなわち、第０行第１列）の画素輝度が変化したことを示し、以下同様である。

本発明の別の実施形態では、各データスライスに対して、以下の方式を採用してマッピングして、対応するスライス画像を得る。まず、該データスライス中の各画素の変化回数を該画素の初期画素値として統計する。その後、各画素の初期画素値を所定の区間内にマッピングし、該データスライスのスライス画像を得る。本発明の実施例では、所定の区間を［０，２５５］とする。勿論、［０，１０２３］、又はほかの任意の区間としてもよいが、本発明の実施例ではそれを限定しない。

１つのデータスライス中の輝度が変化した画素の座標を｛（０，１），（０，６），（１，１），（０，６），（２，３），（２，６），（０，６），（１，１），（４，２）｝とし、構成された画像のサイズを５×８とする。各画素の変化回数を該画素の初期画素値として統計し、１つの初期のスライス画像とする。この場合、該データスライスに対応する初期画素値は表３に示されてもよい。

表３中、座標（０，６）（すなわち、第０行第６列）の画素が３回変化したため、その初期画素値を３とする。座標（１，１）（第１行第１列）の画素は２回変化したため、その初期値を２とする。

次に、上記得た初期画素値を所定の区間内にマッピングし、本発明の一実施例では、所定の区間を［０，２５５］とし、以下の式によって初期画素値を所定の区間にマッピングする。

式中、ｘは初期画素値、ｘ'はマッピング後の画素値、ｍａｘ及びｍｉｎはそれぞれ該データスライスのすべての初期画素値の最大値及び最小値を表す。

表３中の初期画素値を［０，２５５］にマッピングした後、得たスライス画像の画素値は表４に示される。

なお、以上の例は本発明に係るデータ処理方法３００の処理プロセスをより鮮明かつ詳細に説明するためのものであり、実際の操作では、動的画素の場合はさらに複雑であり、マッピング方式も多様であり、本発明の実施例ではそれらを限定しない。本発明のいくつかの実施例に係る実施形態に基づいて、当業者は、ほかの様々なマッピング処理方式によって各データスライスのスライス画像を生成することを想到し得る。紙面の都合上、ここでは一々詳述しない。

（２）第１数のスライス画像を順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成する。

以上説明したように、重みシーケンス（ｗ_１，ｗ_２，ｗ_３，...，ｗ_ｉ）を生成した後、以下の方式によってスライス画像を累積計算する。図５は本発明の一実施例に係るシーン変化を表す画像フレームを累積により生成するプロセスの模式図を示し、時間軸上で並べられる各格子は１フレームが時間とともに順番に生成されるスライス画像であるスライス画像１、スライス画像２、…を示す。まず、第１数のスライス画像を画像グループとして順番に選択し、且つ隣接する画像グループ同士は第２数のスライス画像が互いに重なる。図５に示される実施例では、第１数は１０、第２数は９である。勿論、本発明の実施例では、第１数及び第２数を限定しないが、第１数は第２数よりも大きいことを満たせばよい。その後、重みシーケンスを利用して各画像グループ内の第１数のスライス画像を加重計算し、対応する時間帯におけるシーン変化を表す画像フレーム（該画像フレームは、多時間スライスに基づく加重画像フレームとみなしてもよい）を生成する。つまり、第１０個のスライス画像から開始し、前の１０個のスライス画像の加重画像フレームを出力する。図５に示すように、第１－１０個のスライス画像を累積して加重画像フレーム１を得て、第２－１１個のスライス画像を累積して加重画像フレーム２を得て、第３－１２個のスライス画像を累積して加重画像フレーム３を得て、以下同様である。

以上のように、加重計算のプロセスは以下の式で示されてもよい。

式中、Ｎは第１数、ｗ_ｉは重みシーケンス中の第ｉ個の重み因子、Ｆｒａｍｅ（ｉ）は画像グループ中の第ｉ個のスライス画像を示す。

ここまで、本発明の実施例に係る加重画像フレームが算出される。図６は本発明の一実施例に係る複数の加重画像フレームの模式図を示す。図６に示すように、時間とともに順番に生成される加重画像フレームＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆである。以上からわかるように、本発明に係るデータ処理スキームによって生成される加重画像フレームはＸＹ平面に対して一定の傾斜角度を有し、つまり、加重画像フレームは勾配及び向きを有する。当業者はＭｅａｎｓｈｉｆｔミーンシフト等のアルゴリズムによって加重画像フレームの勾配及び向きを算出することができ、例えば、勾配の頂（最大値）及び勾配の底（最小値）を決定し、Ｍｅａｎｓｈｉｆｔアルゴリズムによって勾配の頂と勾配の底との間の最短登山経路を見つけ、該経路が指す方向は向きであり、該経路とＸＹ平面の投影線との夾角は勾配である。一般には、向きに応じて、シーン内の物体の運動方向を容易に取得でき、さらに勾配に応じて物体の運動速度の相対変化傾向を分析できる。なお、ここでは、加重画像フレームの勾配及び向きを計算することによって物体の運動方向及び運動速度を分析する方法を簡単に説明したが、本発明の実施例ではそれを限定しない。実際には、加重画像フレームをもとに、当業者は任意の方式を参照して勾配及び向きを算出し、さらにシーン中の運動物体の運動方向及び運動速度を分析することができ、どのアルゴリズムを利用して加重画像フレームによって物体の運動速度及び運動方向を分析することも本発明の保護範囲に属する。

図６からわかるように、時間が長いほど、重ね合わせられた加重画像フレームの勾配が大きく、位置が後ろにあるほど（すなわち、時間上で最新な位置）、対応する重み因子が大きく、重ね合わせられた加重画像フレームの勾配も大きい。異なる時間帯におけるシーン変化の画像フレーム（すなわち、加重画像フレーム）によって形成されるランプの傾斜度及び向きに応じて、シーン内の運動物体の運動方向及び運動速度を算出できる。物体運動の方向及び速度が異なるため、ダイナミックビジョンセンサーは異なるイベントデータストリームを生成し、図６に示される加重画像フレームの重ね合わせ方式に応じて、異なる運動方式は異なる向き及び大きさの勾配を得て、図７は３種の典型的な運動方向に対応する加重画像フレームの効果図を示す。図７中の（１）は物体が同一方向に沿って異なる運動速度でシーン内を運動する時に形成される加重画像を示す。運動方向が変化しないため、３つの加重画像フレームの向きが同じであるが、異なる速度によって加重画像フレームの傾斜度が異なる。また、図７中の（２）、（３）はそれぞれ物体がほかの異なる方向に沿って運動する加重画像フレームを示し、矢印は加重画像フレームの向きを指示する。

本発明の別のいくつかの実施例では、該加重画像フレームをより直感的に表示するために、さらに加重された画像をさらにマッピング処理して、加重画像フレーム中の各画素点のグレー値を得て、加重画像フレームを１つのグレー画像として表示する。具体的には、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、各画像グループに対応する加重画像フレームを得た後、加重画像フレームの各画素値を所定の区間内にマッピングし、対応する時間帯におけるシーン変化を表す画像フレームを生成する。マッピング方式は上記マッピング処理方法を採用してもよく、ほかのマッピング方法を採用してもよく、本発明の実施例ではそれを限定しない。なお、マッピング処理は本発明の実施形態の加重画像フレームをよりよく表示するために行われ、加重画像フレームに基づく運動方向及び運動速度の分析に影響しない。

本発明のデータ処理スキームによれば、時間順にイベントデータストリームをスライス化し、その後、所定の重みで複数のデータスライスを重ね合わせ、ある時間帯におけるシーンの変化を表す加重画像フレームを得る。特に、分析のニーズに応じて重みシーケンスの変化傾向（例えば、単調に逓増すること、単調に逓減すること等）を設定する。該加重画像フレームによって、ある時間帯におけるシーン内の物体の運動速度及び運動方向を簡単かつ効果的に分析でき、オプティカルフロー計算の速度の向上に寄与する。また、本発明のデータ処理スキームはデータ処理スキームをさらに提供し、まず、データスライスをスライス画像にマッピングし、さらに同じ加重方式を採用してスライス画像を加重計算し、加重画像フレームを得る。

ここで提供される明細書では、大量の詳細が説明されている。それにもかかわらず、本発明の実施例はこれらの詳細なしで実施されてもよいと理解できる。いくつかの例では、本明細書の理解の曖昧さを回避するために、公知の方法、構造及び技術は詳細説明されていない。

同様に、本開示を簡略化し各発明の態様の１つ又は複数を理解するのを助けるために、以上の本発明の例示的な実施例についての説明では、本発明の各特徴は単一の実施例、図、又はその説明にグループされてもよいと理解すべきである。それにもかかわらず、該開示されている方法は、主張する本発明は各請求項に明確に記載される特徴よりも多くの特徴を必要とすることを反映するものではないと理解すべきである。より正確には、以下の特許請求の範囲に反映されるように、発明の態様は前に開示された単一の実施例のすべての特徴よりも少ないことにある。従って、具体的な実施形態に準拠する特許請求の範囲は該具体的な実施形態に明確に組み込まれており、各請求項自体は本発明の単独な実施例である。

当業者であれば、本明細書に開示されている例における機器のモジュール又はユニット又はアセンブリは該実施例に説明されている機器に配置され、又は該例における機器と異なる１つ又は複数の機器に置換可能に位置決めされるようにしてよいと理解すべきである。上記例におけるモジュールを組み合わせて１つのモジュールを形成してもよく、さらに複数のサブモジュールに分けてもよい。

当業者であれば、実施例における機器のモジュールを適応的に変更し、該実施例と異なる１つ又は複数の機器に設置するようにしてもよいと理解できる。実施例におけるモジュール又はユニット又はアセンブリを組み合わせて１つのモジュール又はユニット又はアセンブリを形成してもよく、さらにそれらを複数のサブモジュール又はサブユニット又はサブアセンブリに分けてもよい。このような特徴及び／又はプロセス又はユニットの少なくとも一部が相互に矛盾する以外、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されるすべての特徴及びこのように開示されているいずれかの方法又は機器のすべてのプロセス又はユニットを任意に組み合わせることができる。特に断らない限り、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されている各特徴は同一、同等又は類似目的を提供する代替特徴によって代替されてもよい。

本発明はさらに以下のように開示している。

Ａ９、第１数のスライス画像を順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップは、第１数のスライス画像を画像グループとして順番に選択し、隣接する画像グループ同士は第２数のスライス画像が互いに重なるステップと、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップと、を含むＡ６に記載の方法。

Ａ１０、第１数は第２数よりも大きいＡ５又は９に記載の方法。

Ａ１１、以下の式によって第Ｔ個の時間帯におけるシーン変化を表す画像フレームＭｕｌｔｉ＿Ｓｌｉｃｅ（Ｔ）を計算するＡ９に記載の方法。

式中、Ｎは第１数、ｗ_ｉは重みシーケンス中の第ｉ個の重み因子、Ｆｒａｍｅ（ｉ）は画像グループ中の第ｉ個のスライス画像を示す。

Ａ１２、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップは、重みシーケンスを利用して各画像グループ内のスライス画像を加重計算し、各画像グループに対応する加重画像を得るステップと、加重画像の各画素値を所定の区間内にマッピングし、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップと、をさらに含むＡ９－１１のいずれか一項に記載の方法。

Ａ１３、所定の区間は［０，２５５］であるＡ８－１２のいずれか一項に記載の方法。

また、当業者であれば、ここに記載されるいくつかの実施例はほかの特徴ではなく、ほかの実施例に含まれるいくつかの特徴を含むにもかかわらず、異なる実施例の特徴の組み合わせは本発明の範囲内に属し且つ異なる実施例を形成すると理解できる。例えば、以下の特許請求の範囲では、主張する実施例のいずれかを任意な組み合わせ方式で使用してもよい。

また、前記実施例のうちのいくつかは、ここでは、コンピュータシステムのプロセッサ又は前記機能を実行するほかの装置に実施可能な方法又は方法の要素の組み合わせとして説明されている。従って、前記方法又は方法の要素を実施するための必要な命令を有するプロセッサは該方法又は方法の要素を実施するための装置を形成する。また、装置の実施例のここで記載される要素は、該発明の目的を実施するための要素によって実行される機能を実施するための装置の例である。

ここで使用されるように、特に断らない限り、「第１」、「第２」、「第３」等の序数詞を使用して普通の対象を説明する場合、単に係る類似対象の異なる例を示し、このように説明される対象が必ず時間、空間、ランキング又はほかの任意の方式での特定の順序を有することを暗示しない。

限られた実施例を参照しながら本発明を説明したが、以上の説明からわかるように、当業者は、ここで説明される本発明の範囲を逸脱せずに、ほかの実施例を想到し得ると理解できる。また、なお、本明細書に使用される言語は主に可読性及び教示の目的のために選択され、本発明の主題を説明又は限定するためのものではない。従って、添付特許請求の範囲の範囲及び精神を逸脱せずに、当業者には種々の修正や変更が明らかになる。本発明の範囲について、本発明は制限的ではなく例示的に開示されており、本発明の範囲は添付特許請求の範囲によって定められる。

Claims (9)

1. ダイナミックビジョンセンサーからの輝度が変化した画素の座標を含むイベントデータストリームを処理して、異なる時間帯におけるシーン変化を表す画像フレームを得ることに用いられるデータ処理方法であって、
   所定の時間間隔で前記イベントデータストリームを複数のデータスライスに分割するステップと、
   第１数の前記データスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップと、
   所定のルールに従って第１数の重み因子を含む重みシーケンスを生成し、前記第１数のデータスライスを加重計算するステップと、を含む方法。
2. 異なる時間帯におけるシーン変化の画像フレームに応じて、シーン内の運動物体の運動方向及び運動速度を計算するステップをさらに含む請求項１に記載のデータ処理方法。
3. 前記所定のルールは、前記重みシーケンス中の重み因子の変化傾向は単調に変化することを含む請求項２に記載のデータ処理方法。
4. 前記第１数のデータスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップは、
   第１数のデータスライスをデータグループとして順番に選択し、隣接するデータグループ同士は第２数のデータスライスが互い重なるステップと、
   前記重みシーケンスを利用して各データグループ内のデータスライスを加重計算し、対応する時間帯におけるシーン変化を表す画像フレームを生成するステップと、を含む請求項３に記載のデータ処理方法。
5. 前記第１数のデータスライスを順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップは、
   前記複数のデータスライスをマッピング処理し、対応する複数のスライス画像を生成するステップと、
   第１数の前記スライス画像を順番に選択して加重計算し、異なる時間帯におけるシーン変化を表す画像フレームを生成するステップと、をさらに含む請求項１から３のいずれか一項に記載のデータ処理方法。
6. 前記複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成するステップは、
   各データスライスに対して、該データスライス中の輝度が変化した画素の座標に対応する画素値を第１値にマッピングするステップと、
   該データスライス中の輝度が変化していない画素の座標に対応する画素値を第２値にマッピングするステップと、
   前記第１値及び第２値により該データスライスのスライス画像を構成するステップと、を含む請求項５に記載のデータ処理方法。
7. 前記複数のデータスライスをマッピング処理して、対応する複数のスライス画像を生成するステップは、
   各データスライスに対して、該データスライス中の各画素の変化回数を該画素の初期画素値として統計するステップと、
   各画素の初期画素値を所定の区間内にマッピングし、該データスライスのスライス画像を得るステップと、を含む請求項５に記載のデータ処理方法。
8. １つ又は複数のプロセッサと、
   メモリと、
   前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行されるように構成され、請求項１－７に記載の方法のいずれかを実行するための命令を含む１つ又は複数のプログラムと、
   を備えるコンピューティング機器。
9. 命令を含み、前記命令がコンピューティング機器により実行されると、前記コンピューティング機器に請求項１－７に記載の方法のいずれかを実行させる１つ又は複数のプログラム。

Images