JP4988872B2 - 映像における移動物体の一般的な色への分類方法、装置およびプログラム（映像における移動物体の一般的な色への分類） - Google Patents

Description

本発明の態様は、一般に、ビデオ処理および色検索に関し、更に具体的には、映像において移動物体を一般的な色に分類することに関する。

多くの場合、色検索は、１組の画像から画像を検索することに基づいている。通常は画像全体が用いられる。場合によっては、画像を予め分割し、次いで物体の検索を実行する。ごく最近になって、色情報に基づいた映像からの移動物体検索について検討する研究が行われている。この研究は予備的なものであり、色の不変性の問題によって制限されている。その問題には、照明条件の変化、照明に対する表面の向きの変化、および物体の一般的な複雑さが含まれる。

色検索は、通常、予め定義された一般的な色に基づき、色サーチ空間から導出された問い合わせ例または色分類に基づいている。多くの場合、色検索は、問い合わせ入力または管理されていない学習を必要とし、これらは双方ともリソースを消費する。更に、訓練データ、特に、カメラ、ビュー、照明条件、または物体の種類の各組ごとに手動でまたは半自動的にラベルを付けたデータを有しなければならない必要性は、非効率的である。

また、これらの様々な色検索方法は適応的でない。新しいカメラ、ビュー、照明条件、または物体の種類に対処するためには、分類を更新するための追加の訓練データが暗黙的に必要とされている。

更に、色検索方法は、画像、領域、または物体を照合するために、複雑な色分布情報を用いる。例えば、空間色ヒストグラムを用いて複雑な物体の色を記述する。しかしながら、これらの方法はいくつかの問題に対して適切に対処しないので、これらには欠点がある。その第１のものは、色不変性の問題である。人は、広範囲の照明条件にわたって、ある物体を同一の色として知覚する。しかしながら、実際の物体の画素は、同じ色に知覚されても、照明条件によっては色スペクトル全体におよぶ値を有する場合がある。第２に、映像から抽出された移動物体は、背景から完全には分割されない。多くの場合、影は物体の一部であり、物体と背景モデルとの類似性のために、分割においてエラーが生じる。最後に、複雑な物体は１つの色が支配的ではない。人にとって重要なのは物体のいくつかの側面であるが、これは物体および用途の種類によって異なる。これらの欠点は全て、一般的な色記述子に基づいた移動物体の選択を難しくする。

前述のことに鑑み、関連技術における欠点の１つ以上を克服する必要がある。

本発明の態様は、映像において移動物体を一般的な色に分類するための改良された解決策を提供する。本発明の一実施形態では、映像において移動物体を分類するための方法は、映像入力を受信するステップと、映像入力の少なくとも１つの物体軌跡を特定するステップと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するステップと、ヒストグラムのパラメータ化量子化を実行するステップであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含む、ステップ、または、量子化ヒストグラムの有意な色を識別するステップの１つと、を含む。

本発明の第１の態様は、映像において移動物体を分類するための方法を提供する。この方法は、映像入力を受信するステップと、映像入力の少なくとも１つの物体軌跡を特定するステップと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するステップと、ヒストグラムのパラメータ化量子化を実行するステップであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含む、ステップ、または、量子化ヒストグラムの有意な色を識別するステップの１つと、を含む。

本発明の第２の態様は、映像において移動物体を分類するためのシステムを提供する。この方法は、映像入力を受信するためのシステムと、映像入力の少なくとも１つの物体軌跡を特定するためのシステムと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するためのシステムと、ヒストグラムのパラメータ化量子化を実行するためのシステムであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含む、システム、または、量子化ヒストグラムの有意な色を識別するためのシステムの１つと、を含む。

本発明の第３の態様は、コンピュータ読み取り可能媒体上に記憶されるコンピュータ・プログラム・コードを含むコンピュータ・プログラムを提供する。このプログラムは、実行されると、コンピュータ・システムが映像において移動物体を一般的な色に分類する方法を実施することを可能とする。この方法は、映像入力を受信するステップと、映像入力の少なくとも１つの物体軌跡を特定するステップと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するステップと、ヒストグラムのパラメータ化量子化を実行するステップであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含む、ステップ、または、量子化ヒストグラムの有意な色を識別するステップの１つと、を含む。

本発明の第４の態様は、電話会議の参加者に優先順位をつけるためのシステムを発生する方法を提供する。この方法は、映像入力を受信することと、映像入力の少なくとも１つの物体軌跡を特定することと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成することと、ヒストグラムのパラメータ化量子化を実行することであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含むこと、または、量子化ヒストグラムの有意な色を識別することの１つと、を実行するように動作可能であるコンピュータ・システムを提供するステップを含む。

本発明の第５の態様は、映像において移動物体を一般的な色に分類するためのデータ処理システムを提供する。このシステムは、処理ユニットと、処理ユニットに結合されたバスと、バスに結合されプログラム・コードを含むメモリ媒体と、を含み、このプログラム・コードは、処理ユニットによって実行された場合、データ処理ユニットに、映像入力を受信することと、映像入力の少なくとも１つの物体軌跡を特定することと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成することと、ヒストグラムのパラメータ化量子化を実行することであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含むこと、または、量子化ヒストグラムの有意な色を識別することの１つと、を実行させる。

本発明の第６の態様は、映像において移動物体を一般的な色に分類するための少なくとも１つの伝搬信号において具現化されるコンピュータ・ソフトウェアを提供する。少なくとも１つの伝搬信号は、少なくともコンピュータ・システムに、映像入力を受信することと、映像入力の少なくとも１つの物体軌跡を特定することと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成することと、ヒストグラムのパラメータ化量子化を実行することであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含むこと、または、量子化ヒストグラムの有意な色を識別することの１つと、を実行させるための命令を含む。

本発明の第７の態様は、映像において移動物体を一般的な色に分類するための事業方法を提供する。この事業方法は、本発明に記載したプロセスを実行する少なくとも１つのコンピュータ・システムを含むネットワークを管理するステップと、この管理に基づいて支払いを受け取るステップと、を含む。

本発明の例示的な態様は、本発明において述べた問題の１つ以上または述べない１つ以上の他の問題あるいはその両方を解決するように意図されている。

本発明のこれらおよび他の特徴は、以下の本発明の様々な態様の詳細な説明を、本発明の様々な実施形態を示す添付図面に関連付けることによって、より容易に明らかとなろう。

図面は縮尺どおりに描かれているわけではないことに留意すべきである。図面は、本発明の典型的な態様を図示するように意図されており、従って、本発明の範囲を限定するものとして見なされるものではない。図面において、同様の番号は図面全体を通して同様の要素を表す。

本発明の一実施形態に従った、映像において移動物体を一般的な色に分類するためのシステムのための例示的な環境を示す。 本発明の一実施形態に従った、映像において移動物体を一般的な色に分類するための例示的な環境の詳細図を示す。 本発明の一実施形態に従った、映像において移動物体を一般的な色に分類するための例示的なデータ・フローを示す。 本発明の実施形態に従った例示的な色空間を示す。 本発明の実施形態に従った例示的な色空間を示す。

上述のように、本発明の態様は、映像において移動物体を一般的な色に分類するための改良された解決策を提供する。本発明の一実施形態では、映像において移動物体を分類するための方法は、映像入力を受信するステップと、映像入力の少なくとも１つの物体軌跡を特定するステップと、少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するステップと、ヒストグラムのパラメータ化量子化を実行するステップであって、彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいてヒストグラムを複数の領域に分離することを含む、ステップ、または、量子化ヒストグラムの有意な色を識別するステップの１つと、を含む。本発明において用いる場合、特に注記しない限り、「設定」という言葉は１つ以上（少なくとも１つ以上）を意味し、「いずれかの解決策」という言葉はいずれかの既知または後に生み出される解決策を意味する。

本発明の態様は、移動物体を、例えば、少数の予め定義された色または規範の色あるいはその両方の１つに分類することを実行する。この方法の態様は、各物体軌跡ごとの正規化累積色ヒストグラムを収集し、それを円筒形の（色相、彩度、光度）ＨＳＩ空間に変換することに基づいている。本発明の態様は、この空間を、ユーザによってまたはシーンのアクティブな色測定によって設定可能なパラメータ化によってインテリジェントに分割するための機構を記述する。色空間をインテリジェントに個別化（discretize）する機能は、色相、彩度、および光度間の関係の使用に基づいている。色情報は彩度および光度の双方が欠如することによって制限される場合があるので、本発明の方法の態様は、円筒形の空間において彩度および光度の関数によって定義した表面に沿って色空間を分離する。また、対象となる有意な色の学習は、ユーザ・パラメータに基づくことができ、または、シーンの前景において「追跡された」移動物体の区分から累積された情報を用いて導出することができる。これによって、本発明の態様は、一般的な色または一般的な色記述子あるいはその両方に基づいた移動物体イベントの有益な選択を行うことを可能とする。

図面に移ると、図１は、本発明の一実施形態に従って映像において移動物体を一般的な色に分類するための例示的な環境を示す。この範囲において、少なくとも１つのカメラ４２が、シーンまたは背景９０を捕捉する。多くの場合、背景またはシーン９０は、９４で示す移動中の車両、人物、動物等、少なくとも１つの物体９２（または物体軌跡）を含むことができる。デジタル映像入力４２が取得され、システム１２に送信される。このシステム１２は、例えば、本発明において述べるように、色分類プログラム３０、データ５０等を含む。

図２は、本発明の一実施形態に従って、映像４０において移動物体９２（図１）を一般的な色に分類するための例示的な環境１０の詳細な図を示す。この範囲において、環境１０は、コンピュータ・システム１２を含み、これが、映像４０において移動物体９２を一般的な色に分類するために本発明において記載するプロセスを実行することができる。具体的には、コンピュータ・システム１２は、コンピューティング・デバイス１４を含むものとして図示され、これは色分類プログラム３０を含み、本発明に記載するプロセスを実行することによって、映像４０において移動物体９２（図１）を一般的な色に分類するためにコンピューティング・デバイス１４を動作可能とする。

コンピューティング・デバイス１４は、プロセッサ２０と、メモリ２２Ａと、入出力（Ｉ／Ｏ）インタフェース２４と、バス２６と、を含むものとして図示されている。更に、コンピューティング・デバイス１４は、外部のＩ／Ｏデバイス／リソース２８および記憶デバイス２２Ｂと通信を行うように図示されている。一般に、プロセッサ２０は、メモリ２２Ａまたは記憶デバイス２２Ｂあるいはその両方等の記憶システムに記憶された色分類プログラム３０等のプログラム・コードを実行する。プログラム・コードを実行する一方で、プロセッサ２０は、メモリ２２Ａ、記憶デバイス２２Ｂ、またはＩ／Ｏインタフェース２４あるいはそれら全てへのまたはそれらからのデータ３６等のデータの読み取りまたは書き込みまたはその両方を実行することができる。バス２６は、コンピューティング・デバイス１４内の各コンポーネント間の通信リンクを提供する。Ｉ／Ｏデバイス２８は、ユーザ１６とコンピューティング・デバイス１４との間、またはデジタル映像入力４０とコンピューティング・デバイス１４との間、またはそれら両方の間で情報を転送するいずれかのデバイスを含むことができる。この範囲において、Ｉ／Ｏデバイス２８はユーザＩ／Ｏデバイスを含み、これによって各ユーザ１６はコンピューティング・デバイス１４または通信デバイスあるいはそれら両方と対話することができ、デジタル映像入力４０等の要素が、いずれかの種類の通信リンクを用いてコンピューティング・デバイス１４と通信を行うことを可能とすることができる。

いずれの場合であっても、コンピューティング・デバイス１４は、インストールされたプログラム・コードを実行可能ないずれかの汎用コンピューティング製造品を含むことができる。しかしながら、コンピューティング・デバイス１４および色分類プログラム３０は、本発明において記載するプロセスを実行可能である様々な考えられる均等なコンピューティング・デバイスを表すに過ぎないことは理解されよう。この範囲において、他の実施形態においては、コンピューティング・デバイス１４および色分類プログラム３０が提供する機能は、汎用または特定用途向けあるいはその両方のハードウェアまたはプログラム・コードあるいはその両方のいずれかの組み合わせを含むコンピューティング製造品によって実施することができる。各実施形態において、プログラム・コードおよびハードウェアは、標準的なプログラミングおよびエンジニアリング技法を用いてそれぞれ生成することができる。

同様に、コンピューティング・システム１２は、本発明の態様を実施するための様々な種類のコンピュータ・システムを例示するに過ぎない。例えば、一実施形態において、コンピュータ・システム１２は、ネットワーク、共有メモリ等のいずれかの種類の通信リンクを介して通信を行って本発明に記載するプロセスを実行する２つ以上のコンピューティング・デバイスを含む。更に、本発明に記載されるプロセスを実行する一方で、コンピュータ・システム１２内の１つ以上のコンピューティング・デバイスが、いずれかの種類の通信リンクを用いて、コンピュータ・システム１２の外部の１つ以上の他のコンピューティング・デバイスと通信を行うことができる。いずれの場合であっても、通信リンクは、様々な種類の有線または無線あるいはその両方のリンクのいずれかの組み合わせを含むことができ、１つ以上の種類のネットワークのいずれかの組み合わせを含むことができ、または様々な種類の伝送技法およびプロトコルのいずれかの組み合わせを利用することができ、またはそれら全てとすることができる。

本発明において述べるように、色分類プログラム３０によって、コンピュータ・システム１２は、映像４０において移動物体９２（図１）を一般的な色（複数の色）に分類することができる。この範囲において、色分類プログラム３０は、物体軌跡モジュール３２と、ヒストグラム・モジュール３４と、パラメータ化モジュール３６と、色表明（signifier）モジュール３８と、を含むものと図示されている。これらのモジュールの各々の動作については、本明細書において更に述べる。しかしながら、図２に示す様々なモジュールのいくつかは、別個に実施されるか、組み合わされるか、またはコンピュータ・システム１２に含まれる１つ以上の別個のコンピューティング・デバイスのメモリに記憶されるか、あるいはそれら全てとすることができることは理解されよう。更に、モジュールまたは機能あるいはその両方のいくつかは実施されない場合があり、または、追加のモジュールまたは機能あるいはその両方をコンピューティング・システム１２の一部として含ませることも可能であることは理解されよう。

本発明の態様は、映像４０において移動物体９２（図１）を一般的な色に分類するための改良された解決策を提供する。この範囲において、図３は、本発明の一実施形態に従って、色分類プログラム３０（図２）のモジュールを用いることによって映像４０において移動物体９２（図１）を一般的な色に分類するための例示的なデータ・フローを示す。例えば、システム１２は、Ｄ１において、デジタル色映像入力４０を受信する。デジタル色映像入力４０は、典型的には赤−緑−青（ＲＧＢ）フォーマットであり、各時点において映像入力フレームが物体軌跡モジュール３２（図２）に到着する。

Ｓ１において、オブジェクト軌跡モジュール３２（図２）は、リアル・タイムでまたは遅延モードでフレームを分析して、デジタル色映像入力４０において生じる物体軌跡９２（図１）の全てを特定する。物体軌跡９２は、フレーム当たり１つずつ、分割された１組の物体を含み、以降の１組のフレーム全体を通して関連付けられている。例えば、物体軌跡９２は、車または人物がシーン９０（図１）の９２（図１）を通ってまたはその中であるいはその両方で横断または移動する際のその車または人物のインスタンスとすることができる。物体軌跡モジュール３２（図２）は更に、少なくとも２つの部分を含むことができる。すなわち、分割された前景「ブロブ（blob）」（例えば背景モデルとは大きく異なる隣接画素）を出力する背景減算モジュールと、分割された前景「ブロブ」を関連付けて物体軌跡９２を構成する追跡（tracker）・モジュールと、である。追跡モジュールが用いるモデルに従って、前景「ブロブ」を、合併し、分割し、または再構成し、あるいはそれら全てを行って、シーン９０内の移動物体軌跡９２を最適に特定することができる。

物体軌跡９２は、画素当たりの色情報を含むことができる。これは通常、赤、緑、および青に関連付けられた３つの８ビット色である。別の一般的な表現は、輝度／帯域幅／クロミナンス（ＹＵＶ）、または輝度／クロミナンス空間である。Ｓ２において、物体軌跡モジュール３２は、画素色を色調／彩度／光度すなわちＨＳＩ（時にＨＳＶと呼ばれる）空間に変換する。ＨＳＩ空間に変換するために、現在既知であるかまたは後に生成される標準的な非線形変換方法を使用可能である。

この方法をリアル・タイム・システムにとって計算的に実現可能とするために、任意にＳ３を含むことができる。Ｓ３では、物体軌跡モジュール３２は更にサブ軌跡（sub-track）色選択モジュールを含み、これは、ＨＳＩ物体軌跡９２のフレームをリアル・タイムでサブサンプリング（sub sample）する。サブ軌跡色選択モジュールは、軌跡がどのくらい長いのかを必ずしもあらかじめ知っているわけではない。このように、サブ軌跡色選択モジュールは、最初は頻繁に色情報を取得し、軌跡の寿命が持続するにつれて徐々にこの頻度を低下させる。このように、軌跡は、その持続時間が短い場合には充分なサンプルが保証されるが、軌跡の寿命が長い場合には、軌跡の寿命全体に分布したデータをサンプリングするように、周期的に更新される。サンプリングには、以下の幾何学公式を用いることができる。

ｉ＞Ｓ＋Ｍ＊２^ｎ （式１−１）

式１−１において、ｉはこれまでの物体軌跡のフレーム数であり、Ｓはサンプリングの開始前に必要なフレーム数である。後者は、軌跡が現在安定した状態にあることを保証するための最小フレーム数に基づいている。このパラメータは、物体軌跡モジュール３２から取得した他の情報によって置換することができる。定数Ｍは、スキップするフレームの最初の番号（最初のＳフレームの後）であり、以降、次のサンプリングの前に続けて２倍にされる数である。反復（iterator）ｎは、最初はゼロに設定され、式１−１を満たすたびに増分される。

例えば、映像４０が毎秒３０フレームのフレーム・レートを有する場合、Ｓ＝６０（２秒）およびＭ＝５であり、物体軌跡は６０、６５、７０、８０、１００、１４０、および１８０（等）のフレームでサンプリングされる。軌跡が安定化した後にサンプリングが開始され、最初は高頻度でサンプリングされ、徐々に遅くなっていく。

Ｓ４では、ヒストグラム・モジュール３４によって、Ｓ２（または用いる場合はＳ３）におけるサブＨＳＩ物体軌跡出力に基づいて、物体軌跡のためのＨＳＩ空間における正規化累積ヒストグラムを生成する。ＨＳＩ物体軌跡の各フレームがヒストグラム・モジュール３４に入力されると、この物体軌跡のためのＨＳＩヒストグラムに累積されて連続的に正規化される。例えば、８ｘ８ｘ８ビン（bin）を使用可能である。任意に、ヒストグラム・モジュール３４は出力５４を生成することができ、これは、パラメータ５２（Ｄ２またはＤ３あるいはその両方）の発生に役立てることができる。この方法は次いで、Ｓ５に進むか、または直接Ｓ６に進むことができる。

Ｓ５において、パラメータ化モジュール３６（図２）は、各軌跡ヒストグラムに対してパラメータ化量子化を実行する。これは、軌跡が終了し、最後のヒストグラムが計算された時点で行うことができる。量子化は段階的なものである。第１に、彩色および無彩色の色空間領域のパラメータ化分離を行う。次いで、各副領域（subregion）を更に分離する。彩色／無彩色分離は、光度によって変動する彩度レベルに従ってＨＳＩ空間６０（図４、図５）を分割する曲線群に基づいている。図４に、この曲線群７０の１つの構成要素の一例を（断面で）示す。ＨＳＩ空間６０に、光度６２、彩度６４、および色相６６が図示されている。例えば、光度６２が極めて大きいか極めて小さい場合、彩色領域に含まれるために必要な彩度レベル６４は非常に高い。中間領域の光度６２では、彩度レベル６４が非常に高いことは必要でない。これは実際には、いくつかのカメラ／ビュー／証明条件では、ある程度、色相６６によって変動し得る。しかしながら、この曲線７０がパラメータに従って変動して、無彩色として抽出される花瓶型の領域が徐々に狭くなるか、または２つの円錐形領域になるようにすることができる。図５に、このタイプの曲線群の構成要素または曲線７０の一例を示す。この曲線群７０を生成するために用いるパラメータを定義可能な方法はいくつかある。ヒストグラムが比較的小さい場合に使用可能な１つの簡単な例は、各光度レベル６２ごとに彩度の境界を明確に含むことである。別の可能性は、図４に示す円ｐ１、ｐ２、およびｐ３からの内挿に基づいた双一次または単純な曲線モデルである。いったんこの分離を実行したら、各副領域を更に分解する。無彩色領域は、閾値に基づいて少数のグレー・レベル（grey level）に分離することができる。彩色領域は、指定された色相数およびそれらの対応する波長に基づいて、様々な色相に分離される。人工的な着色を導入する照明条件では、それに従って色分離を歪める場合がある。

Ｓ５の代わりに、またはＳ５の後に、この方法ではＳ６において、色表明モジュール３８（図２）が、量子化奇跡ヒストグラムにおいて見出された少数（例えば３つ）の主要な色を計算または検出する。一実施形態において、これは、ヒストグラムにおいて最大のピークまたはモードを求めることに基づいている。

Ｓ７において、色表明モジュール３８（図２）は、Ｓ６において求められた主要な色に基づいて、物体軌跡の単一の主要な色を特定する。色表明モジュール３８は、従来技術と共に述べた問題の２つに対処する。第１の問題は、背景から真の物体を分割する困難から生じる。多くの場合、影が含まれ、物体の一部が失われるか、または背景の一部がカモフラージュ・エラー（camouflage error）のために誤って含まれてしまう。カモフラージュ・エラーは、背景および前景の物体の類似性のために生じる。第２の問題は、多くの場合、移動物体が複雑で、多数の構成要素を含み、その各々が多数の色であり得るという事実によるものである。それらは実際には、人の知覚によっても（すなわち色の不変性の問題なしでも）、１色が支配的ではない。しかしながら、人はこのような複雑な物体を、少数の規範色の１つとして分類することができる（実際に分類する）。この良い例が車両色認識の場合である。多くの場合、典型的な車は、タイヤ、窓、フロントガラス、およびバンパのために主として黒または銀である（影、反射、および誤って道路または背景の断片を含むことは言うまでもない）が、人は車のボディーの色に基づいてその車両に言及するということが頻繁に起こる。同様に、人は、コートまたはジャケットの色に従って小売環境に入る人々を分類することが役立つと感じている。

色表明モジュール３８は、有意な色検出を実行するために、黒、白、および各々が有意の色となるのに必要な色の量を示す閾値を、ユーザ１６（またはシステム１２）が指定することを可能とする。それらの量が充分である場合（これは極めて小さい場合がある）、無彩色領域上で色相が選択される。また、異なる色を識別する難しさに関連したパラメータに基づいて異なる色が存在するか否かを決定するために、異なる閾値を用いる。例えば、赤、黄、オレンジ、ピンク、および白に比べて、黒、緑、紫、および灰は、見分けることが難しい場合がある。このように、色表明モジュール３８は、本発明の様々な実施形態においてフィードバックを提供することができる。

別の実施形態においては、ユーザ１６は、Ｄ２において、軌跡ヒストグラムを量子化するためのパラメータ５２を明確に指定することができる。

別の実施形態においては、ユーザ１６は、物体軌跡上で直接色空間の個別化をフィードバック視覚化することによって、または物体軌跡をデータ５０に記憶される色カテゴリに分類することによって、パラメータ５２を指定することができる。本発明において述べるこれらの実施形態の全てにおいて、ＩＢＭ社のSmart Surveillance System［Ｓ３］等のシステムを用いて、物体追跡、軌跡色ヒストグラム生成、量子化、またはカテゴリ化あるいはそれら全ての中間結果および最終結果にアクセスすることができる。かかるシステムによって、ユーザは、パラメータ化の現在の結果を迅速に視覚的に調べ、このパラメータ化の変更の影響に関するフィードバックを即座に得ることができる。一実施形態では、ユーザ１６は、色空間のパラメータ化を対話式に変更し、どのように物体軌跡の画素を色空間において個別化するか、または一般的な色に分類するか、あるいはその両方について検討することができる。

別の実施形態においては、パラメータ５２（図３）は、Ｓ４において累積ヒストグラムを生成したヒストグラム・モジュール３４からの軌跡ヒストグラム出力５４（図３）から導出される。

別の実施形態では、物体色分布を用いて、色空間を量子化するパラメータを最適に指定することができる。これは、自動的に、またはユーザ・フィードバックを用いて実行可能であるが、映像／シーン／カメラ／照明条件の再評価を必要としない。色分布情報が長期間にわたって変更された条件を通して収集される場合、この情報を用いて、色分類を最適化するのに必要なパラメータにおける相対的な差を学ぶことができる。

別の実施形態においては、本発明は、コンピュータ読み取り可能媒体上に記憶されるコンピュータ・プログラムを提供する。このプログラムは、実行されると、コンピュータ・システムが映像４０において移動物体９２（図１）を一般的な色に分類することを可能とする。この範囲において、コンピュータ読み取り可能媒体は、本発明に記載するプロセスを実施する色分類プログラム３０（図１）等のプログラム・コードを含む。「コンピュータ読み取り可能媒体」という言葉は、プログラム・コードのコピーを具現化（例えば物理的な具現化）することができるいずれかの種類の有形の（tangible）表現媒体の１つ以上を含むことは理解されよう。具体的には、コンピュータ読み取り可能媒体は、１つ以上の携帯型記憶製造品上、メモリ２２Ａ（図１）または記憶システム２２Ｂ（図１）あるいはその両方等のコンピューティング・デバイスの１つ以上のデータ記憶部分上に、ネットワーク上を搬送されるデータ信号として（例えばコンピュータ・プログラムの有線／無線電子的配信中に）、紙上で（例えばスキャンされて電子データに変換することができる）等によって具現化されたプログラム・コードを含むことができる。

別の実施形態では、本発明は、映像４０において移動物体９２（図１）を一般的な色に分類するためのシステムを発生する方法を提供する。この場合、コンピュータ・システム１２（図１）等のコンピュータ・システムを取得（例えば生成、維持、利用可能とする等）することができ、本発明に記載したプロセスを実行するための１つ以上のプログラム／システムを取得（例えば生成、購入、使用、変更等）して、コンピュータ・システムに展開することができる。この範囲で、この展開は、（１）コンピュータ読み取り可能媒体からコンピューティング・デバイス１４（図１）等のコンピューティング・デバイス上にプログラム・コードをインストールすること、（２）コンピュータ・システムに１つ以上のコンピューティング・デバイスを追加すること、および（３）コンピュータ・システムの１つ以上の既存デバイスを組み込むかまたは変更するかあるいはその両方を行って、コンピュータ・システムが本発明に記載したプロセスを実行することを可能とすること、の１つ以上を含むことができる。

更に別の実施形態においては、本発明は、映像４０において移動物体９２（図１）を一般的な色に分類する事業方法を提供する。これによって、ユーザは、申し込み制、広告、または料金制、あるいはそれら全てで、本発明に記載したプロセスを実行することができる。すなわち、サービス提供業者は、本発明に記載したように、ユーザが映像４０において移動物体９２（図１）を一般的な色に分類することを可能とするネットワークまたはコンピュータ・システム１２（図１）あるいはその両方を管理しようとする。この場合、サービス提供業者は、本発明に記載したプロセスを実行するコンピュータ・システム１２等のコンピュータ・システムを用いてユーザが内容を伝達可能である仮想的または物理的あるいはその両方のネットワークを維持（例えば生成、維持、支持等）することができる。これに応答して、サービス提供業者は、申し込み契約または料金契約あるいはその両方のもとでユーザ（複数のユーザ）からの支払いを受け、１つ以上の第三者等への広告販売からの支払いを受けることができる。

本発明において用いる場合、「プログラム・コード」とは、いずれかの言語、コード、または表記におけるいずれかの１組のステートメントまたは命令を意味し、情報処理機能を有するコンピューティング・デバイスに、直接または、（ａ）別の言語、コード、または表記への変換、（ｂ）異なる材料形態における再生、または（ｃ）伸張、あるいはそれら全てのいずれかの組み合わせの後に、特定の機能を実行させることは理解されよう。この範囲で、プログラム・コードは、アプリケーション／ソフトウェア・プログラム、コンポーネント・ソフトウエア／機能ライブラリ、オペレーティング・システム、特定のコンピューティング、記憶、またはＩ／Ｏあるいはそれら全てのデバイスのための基本Ｉ／Ｏシステム／ドライバ等、コンピュータ・プログラムの１つ以上の種類のいずれかの組み合わせとして具現化することができる。

本発明の様々な態様のこれまでの記載は、例示および説明の目的のために提示したものである。網羅的であったり、開示した形態に本発明を厳密に限定したりすることは意図しておらず、明らかに、多くの変更および変形が可能である。当業者に明らかであり得るかかる変更および変形は、添付図面によって規定される本発明の範囲内に含まれる。

Claims (14)

1. コンピュータ・システムにより映像において移動物体を分類するための方法であって、
   映像入力を受信するステップと、
   前記映像入力の少なくとも１つの物体軌跡を特定するステップと、
   前記少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するステップと、
   前記ヒストグラムのパラメータ化量子化を実行するステップと、
   前記量子化ヒストグラムの有意な色を識別するステップと、
   を含み、
   前記実行するステップが、
   彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいて前記ヒストグラムを彩色領域および無彩色領域に分離することと、
   前記彩色領域を、指定された色相数およびそれらに対応する波長に基づいて、様々な色相に分離すること、
   前記無彩色領域を、閾値を用いて、複数のグレー・レベルに分離すること、
   を含む方法。
2. 前記物体軌跡は、フレーム当たり一つずつ、分割された一組の物体を含み、以降の一組のフレーム全体を通じて関連付けられており、
   前記物体軌跡を色相／彩度／光度（ＨＳＩ）空間に変換するステップと、
   前記物体軌跡のフレームをリアル・タイムでサンプリングするステップであり、その色情報の取得頻度を徐々に低下させる、ステップと
   を更に含む請求項１に記載の方法。
3. 前記パラメータ化量子化および前記有意な色の１つを出力することを更に含む、請求項１又は２に記載の方法。
4. 前記少なくとも１つの物体軌跡の複数のフレームをサブサンプリングすることを更に含む、請求項１乃至３のいずれかに記載の方法。
5. 前記実行するステップが、色の個別化のフィードバック視覚化またはデータベースからの移動物体の色分類結果の１つを有する量子化パラメータを設定することを含む、請求項１乃至４のいずれかに記載の方法。
6. 前記ヒストグラムの出力を用いて量子化および有意な色の識別のパラメータの１つを導出するステップを更に含む、請求項１乃至５のいずれかに記載の方法。
7. 物体色分布を用いて前記量子化パラメータを指定するステップを更に含む、請求項１乃至６のいずれかに記載の方法。
8. 量子化および有意な色の識別のパラメータの１つに関連した相対的な差を求めるために、物体色分布に関連した履歴データを用いるステップを更に含む、請求項１乃至７のいずれかに記載の方法。
9. 前記少なくとも１つの物体軌跡を色相／彩度／光度（ＨＳＩ）空間に変換するステップを更に含む、請求項１乃至８のいずれかに記載の方法。
10. 前記識別するステップが、色当たりの閾値を用いて黒および白にかけての色相を選択することを含む、請求項１乃至９のいずれかに記載の方法。
11. 前記特定するステップが、
    分割された前景領域を出力することと、
    前記分割された前景領域を前記少なくとも１つの物体軌跡に関連付けることと、
    を含む、請求項１乃至１０のいずれかに記載の方法。
12. 前記量子化ヒストグラムに関連した複数の主要な色を検出するステップを更に含む、請求項１乃至１１のいずれかに記載の方法。
13. 映像において移動物体を分類するための装置であって、
    映像入力を受信するための手段と、
    前記映像入力の少なくとも１つの物体軌跡を特定するための手段と、
    前記少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成するための手段と、
    前記ヒストグラムのパラメータ化量子化を実行するための手段と、
    前記量子化ヒストグラムに関連した有意な色を識別するための手段と、
    を含み、
    前記実行するための手段が、
    彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいて前記ヒストグラムを彩色領域および無彩色領域に分離するサブ・手段と、
    前記彩色領域を、指定された色相数およびそれらに対応する波長に基づいて、様々な色相に分離するサブ・手段と、
    前記無彩色領域を、閾値を用いて、複数のグレー・レベルに分離するサブ・手段と、
    を含む装置。
14. コンピュータに映像において移動物体を分類させるコンピュータ・プログラムであって、
    前記コンピュータに、
    映像入力を受信させるステップと、
    前記映像入力の少なくとも１つの物体軌跡を特定させるステップと、
    前記少なくとも１つの物体軌跡の正規化累積ヒストグラムを生成させるステップと、
    前記ヒストグラムのパラメータ化量子化を実行させるステップと、
    前記量子化ヒストグラムの有意な色を識別させるステップと、
    を実行させ、
    前記実行させるステップが、
    彩度および光度の１つから導出された少なくとも１つの表面曲線に基づいて前記ヒストグラムを彩色領域および無彩色領域に分離させることと、
    前記彩色領域を、指定された色相数およびそれらに対応する波長に基づいて、様々な色相に分離させること、
    前記無彩色領域を、閾値を用いて、複数のグレー・レベルに分離させること、
    を含む、
    コンピュータ・プログラム。

Images