JP6592183B2 - モニタリング - Google Patents

モニタリング Download PDF

Info

Publication number
JP6592183B2
JP6592183B2 JP2018506907A JP2018506907A JP6592183B2 JP 6592183 B2 JP6592183 B2 JP 6592183B2 JP 2018506907 A JP2018506907 A JP 2018506907A JP 2018506907 A JP2018506907 A JP 2018506907A JP 6592183 B2 JP6592183 B2 JP 6592183B2
Authority
JP
Japan
Prior art keywords
virtual boundary
space
monitored scene
scene space
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506907A
Other languages
English (en)
Other versions
JP2018523424A (ja
Inventor
アルト レフティニエミ
アルト レフティニエミ
ユッシ レッパネン
ユッシ レッパネン
アンッティ エロネン
アンッティ エロネン
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2018523424A publication Critical patent/JP2018523424A/ja
Application granted granted Critical
Publication of JP6592183B2 publication Critical patent/JP6592183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態はシーンのモニタリングに関する。特に、自動化されたモニタリングに関する。
背景
現在のモニタリングシステムは、一つ又は複数のセンサを備え、これらのセンサは、有線又は無線で中央装置に接続される。中央装置は、シーンの記録データを保存したり、また保存することを可能にしたりする。
摘要
本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、請求項１から１３のいずれかに記載の方法が提供される。
本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、請求項１４に記載の装置が提供されてもよい。
必ずしも全ての実施例がそうであるわけではないが、いくつかの実施例によれば、次のような装置が提供される。この装置は、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記プログラムコードが前記少なくとも一つのプロセッサに実行されると、前記装置に少なくとも、請求項１から１３のいずれかに記載の方法を遂行させる。
本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、少なくとも１つのプロセッサに実行されると、少なくとも、請求項１−１３のいずれかに記載の方法が遂行されるように構成される、コンピュータプログラムコードが提供される。
本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、コンピュータで実行されると、請求項１−１３のいずれかに記載の方法を遂行するコンピュータプログラムが提供される。
必ずしも全てではないが本発明の種々の実施形態によれば、添付する特許請求の範囲で特定されるような実施例が提供される。
前述の簡単な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
システムの例の概略図である。 状態マシンの例を描いた図である。 処理モジュールの例を描いた図である。 コンピュータプログラムの配送メカニズムの例を描いた図である。 システムの動作の例を描いた図である。 システムによって遂行されうる方法の例を描いた図である。 追跡されるオブジェクトシステムの方角の例を描いた図である。 追跡される移動オブジェクトの方角に依存して、マイクロフォンの出力を適応的にフィルタリングするシステムの例を描いた図である。 図９Ａ−９Ｅは、追跡される移動オブジェクトの方角に依存して、マイクロフォンの出力を適応的にフィルタリングするシステムを使用する例を描いた図である。 図１０Ａ−１０Ｅは、追跡される移動オブジェクトの方角に依存して、マイクロフォンの出力を適応的にフィルタリングするシステムを使用する例を描いた図である。
詳細説明
ここで紹介されるシステム１００は、少なくとも一つのシーンを監視すると共に、当該シーン中で追跡される移動オブジェクトの方角に依存して、空間的に分散配置される複数のマイクロフォンの出力を適応的にフィルタリングするシステムである。
図１に描かれるシステム１００は、シーン１４０からセンサデータ１１２を記録するように構成される一つ又は複数のセンサ１１０と、シーン１１４から記録されたセンサデータ１１２を処理し、シーン１４０で生じるイベントを自動的に認識し、その認識の結果として自動的に決定を下すように構成される処理モジュール１２０と、処理モジュール１２０によって通信することの決定がなされた場合に通信を行うように構成される通信モジュール１３０とを備える。
認識されるイベントの幾つか（但し必ずしも全てではない）は、シーン１４０の中のオブジェクト１５２（又は特定のオブジェクト１５２）に関連していてもよい。このオブジェクトは、シーン１４０の中の非生物の物体であったり、動物であったり、人物であったり、特定の人物１５０であったりしてもよい。システム１００の実施例の幾つか（但し必ずしも全てではない）において、システム１００は、リアルタイムの認識システムであり、センサデータ１１２が記録されたら、それとほぼ同時に自動的に認識及び判断を行う。
システム１００は、監督や監視等のアプリケーションに使用されてもよい。システム１００は、ビジネスで使用されてもよいし、公共の場所や自宅で使用されてもよい。
システム１００は、ユーザがモニタリングを制御することを可能にする。例えば、ユーザがシーン１４０中の人物１５０であるときに、そのような制御を行うことを可能にする。システム１００はまた、ユーザが、認識および／または認識の結果を制御することを可能にする。例えばユーザがシーン１４０中の人物１５０であるときに、そのような制御を行うことを可能にする。
（必ずしも全ての例においてではないが）いくつかの例において、システム１００は、物理的に異なるいくつかの装置を備えていてもよい。例えば、複数のセンサ１１０を有してもよく、これらセンサ１１０はそれぞれ複数の異なる装置のいずれか配されていてもよい。また、処理モジュール１２０や通信モジュール１３０も、１つ以上の装置の中に配されていてもよい。システム１００の構成要素または構成要素群が物理的に異なる複数の装置に配される場合、これらの装置は全てローカルに存在していても、それぞれ互いにリモートに存在していてもよく、これらの装置がリモートにある場合、これらは、例えば、ネットワークを介して通信することができる。
（必ずしも全ての例においてではないが）いくつかの例において、システム１００は、単一の装置の中に収容されていてもよい。
センサ１１０は、シーン１４０からセンサデータ１１２を記録するか記録を可能にするように構成される。
シーン１４０は、例として、例えば静的なオブジェクトなど、相対的位置が固定された静的な構成要素を有してもよい。これらの静的なオブジェクトは、シーンの三次元空間（シーン空間）においていろいろな静的位置を有する。シーン１４０は、例えば動くオブジェクトなど、動く構成要素を有してもよい。動くオブジェクトは、シーン空間中で時間経過とともに様々な位置をとる。様々なセンサデータ１１２又は様々な時間に関連する「シーン」への言及は、シーン１４０中で検出された静的構成要素がそこに存在し続けることを暗示するが、動的な構成要素の一部または全部がそこに存在し続けることは、そのような場合があることはあるにしても、必ずしも暗示しない。
センサデータ１１２の記録は、一時的記録だけを含むこともあり、または恒久的記録を含むこともあり、または、一時的記録および恒久的記録の両方を含むこともある。一時的記録はデータを一時的に記録することを意味する。これは、例えば、検出する過程で行われることがあり、ダイナミックメモリで行われることがあり、循環バッファなどのバッファ、レジスタ、キャッシュ、または類似のものにおいて行われることもある。恒久的記録は、当該データがアドレス可能なメモリ空間から読み出し可能なアドレス可能データ構造の形式であることを暗示し、したがって削除または上書きされるまでは格納され読み出すことができるが、非揮発的な格納がされることもされないこともある。
センサ１１０は、音波および／または光波などの伝搬波を、電気信号に変換するように構成することができる。この電気信号は、シーン１４０からの伝搬波データを符号化するセンサデータ１１２である。
（必ずしも全ての例においてではないが）いくつかの例において、センサ１１０は、シーン空間１４０に対して空間的に固定される。他の例では、センサ１１０は、シーン空間１４０に対して移動しうるか、または移動している。
（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、センサ１１０はイメージセンサ１１４であるか、またはイメージセンサを備える。イメージセンサ１１４の一例は、カメラとして動作するように構成されたデジタルイメージセンサである。こうしたカメラは、静止画、ビデオ画像の一方又は両方を記録するように動作することができる。
（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、カメラは、シーン１４０がいろいろな視点から視覚的にサンプリングされうるように、立体的配置（または他の空間的配置）に構成することができる。これは、三次元画像の生成、視差効果等を介した奥行きを設定する処理の一方又は両方を可能する。
（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、センサ１１０はオーディオセンサ１１６であるか、またはオーディオセンサを備える。オーディオセンサ１１６の一例は、１つ又は複数のマイクロフォンである。マイクロフォンは、いろいろな収録点からシーン１４０が音声サンプリングされうるように、マイクロフォンアレイなど、立体的配置（または他の空間的配置）に構成することができる。これは、シーン１４０内のオーディオのポジショニングを可能にする三次元空間オーディオ処理を可能にできる。
（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、これらのセンサは奥行きセンサ１１８であるか、または奥行きセンサを備える。深度センサ１１８は、トランスミッタ及びレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタ及び単一のレシーバを用い、送信から受信までの伝搬時間を測定することによって、一部の奥行き情報を得ることができる。使用するトランスミッタの数又は使用するレシーバの数、あるいはその両方の数が多ければ多いほど、より高い分解能（空間的ダイバーシティ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、シーン１４０を「描く」ように構成される。レシーバによる特定のパターンの検出は、シーン１４０が空間的に分解されることを可能にする。シーン１４０の空間的に分解された部分への距離は、伝搬時間および／または（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法によって測定ができる。
これらの奥行き検出の「受動的」または「非能動的」例では、検出対象の人物１５０またはオブジェクト１５２は受動的で、トランスミッタによって放射される光または音波を反射しているだけである。但し、検出されるオブジェクトの動き必要とする「能動的」例を、追加してまたは代わりに用いることができる。一例として、人物１５０は、測位装置を携行していてもよく、この測位装置は、シーン空間内で、当該測位装置の位置を決定しうるように構成されてもよい。この測位装置は、例えば加速度計を使って、基準位置からの当該測位装置の動きを測定することができる。実施例によっては、方位を測定するためにジャイロスコープを用いてもよい。上記に加えてまたは換えて、上記測位装置は、複数のレシーバに送信したり、複数のトランスミッタから受信したりすることによって、三角測量（三辺測量）を用い、位置決定を行ってもよい。
必ずしも全ての例ではないが、本願で示される例において、処理モジュール１２０は、メモリサブモジュール１２２、処理サブモジュール１２４、認識サブモジュール１２６、および制御サブモジュール１２８を備える。これらの「モジュール」は別々に記載され、示されているが、これらは、必須ではない。実施形態によってはこれらは別々のモジュールではないこともある。また、いろいろな組み合せに結合されている場合もある。例えば、処理サブモジュール１２４、認識サブモジュール１２６、および制御サブモジュール１２８は、同一の回路、または同一のコンピュータプログラムの制御の下で実装されることができる。上記に換えて、処理サブモジュール１２４、認識サブモジュール１２６、および制御サブモジュール１２８の１つ以上を、専用の回路または専用のコンピュータプログラムによって実装することもできる。これらサブモジュールは、ソフトウェア、専用のハードウェア、またはプログラムされたハードウェアとソフトウェアとの混成を使って実行することができる。
メモリサブモジュール１２２は、未処理のセンサデータおよび／または処理済みのセンサデータ１１２（シーンデータ）、コンピュータプログラム、シーン空間モデル、および処理モジュール１２０によって使われる他のデータを格納するために用いることができる。実施例によっては、他のサブモジュールがそれぞれ独自にメモリを有してもよい。
処理サブモジュール１２４は、シーン１４０について有意味なシーンデータを判断するために、センサデータ１１２を処理するように構成されてもよい。
処理サブモジュール１２４は、センサデータ１１２がカメラまたはカメラ群１１４からの画像データを含む場合に、画像処理を行うように構成されることができる。
処理サブモジュール１２４は、センサデータ１１２がマイクロフォンまたはマイクロフォン群１１６からのオーディオデータを含む場合に、オーディオ処理を行うように構成されることができる。
処理サブモジュール１２４は、シーン１４０に対して有意味な可能性のあるシーンデータを生成するために、センサデータ１１２を用いて、以下のタスクの１つ以上を自動的に実行するように構成されることができる。
（ア）マシン（コンピュータ）ビジョンを用いて、
・ （移動しているまたは静的な）オブジェクトまたは人物を検出する。
・ （移動しているまたは静的な）オブジェクトまたは人物を分類する。
・ （移動しているまたは静的な）オブジェクトまたは人物を追跡する。の１つ以上を実行する；
（イ）空間分析を用い、
・ 奥行き検出を使ってシーン空間中の（移動しているまたは静的な）オブジェクトの位置決めをする。
・ シーン空間のマップを生成する。
（ウ）挙動分析を用いて、シーン１４０中で生じるイベントを、有意味な可能性のあるシンボルとして記述する。
画像処理の一例に、画像に対する輝度勾配またはエッジ方向の分布を生成する「勾配特徴ヒストグラム（histogram of gradient features）」分析がある。画像は小さな結合された領域（セル）に分割することが可能で、各セルに対し、セル内の画素に対する勾配方向またはエッジ方位のヒストグラムが生成される。次いで、これらのヒストグラムの組み合せが、記述子（descriptor）を表現する。
オーディオ処理の例には、「メル周波数ケプストラル係数（mel-frequency cepstral coefficients）」決定、（例えばオーディオビーム形成技法を使う）空間オーディオ処理、オーディオイベント認識もしくは分類、話者認識もしくは検証、またはスピーチ認識がある。
動き検出は、例えば、背景モデルに対する差分（背景除去法）、もしくは先行画像に対する差分（時間差分）を用い、または、ベクトルベースのアプローチを使うオプティカルフロー分析など、何らかの他のアプローチを用いて達成することができる。
オブジェクト分類は、例えば、形状ベースの分析、および／または動きベースの分析を用いて達成することができる。
人物の分類処理は、オブジェクトが人間か否かという分類処理であってもよい。または、オブジェクトが特定の人間（身元）であるか否かという分類処理であってもよい。身元確認は、可能性のある人物群のセット内の人物を一意的に識別する属性または属性の組み合せを用いて達成ができる。属性の例は、顔または声など、人物の固有のまたは固有であり得るバイオメトリック特徴を含んでもよい。また、人物の外形およびサイズ、その挙動を含んでもよい。
オブジェクトの追跡は、オブジェクトを標識し、該標識されたオブジェクトのシーン１４０中での位置を記録することによって達成することができる。このアルゴリズムは、シーン１４０へのオブジェクトの入場、シーン１４０からのオブジェクトの退場、シーン１４０へのオブジェクトの再入場、オブジェクトの遮蔽、オブジェクトの統合、のイベントのうちの１つ以上を取り扱う必要があり得る。これらのイベントをどう取り扱うかは本願の技術分野で既に知られている。
オブジェクト追跡は、オブジェクトまたは人物がいつ変化したかを判断するために用いてもよい。例えば、物体を大きなマクロスケールで追跡することで、その物体と共に移動する基準枠を生成することができる。この基準枠は、物体に対する時間差分を用いて物体の形状の時間進展的な変化を追跡するために使うことができる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（のみ）の動きである。
システムは、例えば、人物の体の関節１つ以上など、人物の身体に関連する複数のオブジェクトおよび／またはポイントを追跡することができる。いくつかの例において、システム１００は、人物の身体の全身骨格的な追跡を実行することができる。
人物の身体に関連する１つ以上のオブジェクトおよび／またはポイントの追跡技術が、ジェスチャの認識などにおいて、システム１００によって使用されてよい。
行動分析（Behaviour analysis）は、有意味シンボル体系を使って、シーン１４０中で生じるイベントを表すことを必要とする。イベントは、時空的なインスタンスで生じるある事柄でもよく、また時空的なシーケンス（時間経過における時空的インスタンスのパターン）でもよい。イベントは、オブジェクト（または人物）の動き、または人物とオブジェクトとの相互作用に関連するものでもよい。
（必ずしも全てではないが）いくつかの実装例において、イベントは、マシン（コンピュータ）ビジョン分析および／または空間分析から決定されたパラメータに関して定義された推定シンボルによって表現できる。これらのパラメータは、起こっていること、起こっている場所、起こっている時間、および誰がそれをしているかの、一つ以上を符号化する。
認識サブモジュール１２６は、シーン１４０中のイベントを、特定の意味に関連付けられた有意味シンボルとして符号化する推定シンボルを認識するように構成される。
認識サブモジュール１２６は、意味を有するとして、マシン（コンピュータ）ビジョン分析および／または空間分析から決定されたパラメータに関して定義され、処理サブモジュール１２４によって生成された推定シンボルを、認識するように構成することができる。認識サブモジュール１２６は、例えば、有意味参照シンボルのデータベースに格納を行い、またはアクセスすることが可能で、推定シンボルが或る有意味シンボルに「類似」しているかどうかを判断するための相似検査を用いることができる。
認識サブモジュール１２６は、パラメータ空間中の人工ニューラルネットワークまたはクラスタリングなど、マシン（コンピュータ）推論エンジンまたは他の認識エンジンとして構成してもよい。いくつかの例において、認識サブモジュール１２６には、有意味シンボルを参照シンボルと類似であると認識するために、教師あり学習（supervised learning）を介して教育訓練を施すことができる。
制御サブモジュール１２８は、有意味なイベントがシーン１４０で生じたとの判断に、そのイベントに応じて応答する。
ａ）推定シンボルが、応答シンボルに類似している場合、有意味なイベントは「応答」イベントであり、制御サブモジュール１２６は、応答アクションを実行する。
（必ずしも全ての例においてではないが）いくつかの例において、実行されるアクションはユーザによってプログラムすることができる。（必ずしも全ての例においてではないが）いくつかの例において、このプログラミングは、シーン内のユーザの動きを介して行うことができる。
ｂ）推定シンボルがユーザ制御シンボルと類似している場合、有意味なイベントは「ユーザ制御」イベントであり、制御サブモジュール１２６は、モニタリングのユーザ制御および／または応答のユーザ制御を可能にする。
例えばユーザは、参照シンボルのデータベースに加えられる有意味な応答をプログラムしたり教えたりすることができてもよい。（必ずしも全ての例においてではないが）いくつかの例において、このプログラミングは、シーン１４０内のユーザの動きを介して行うことができる。
例えばユーザは、推定シンボルが応答シンボルに一致する場合に実行されるアクションをプログラムしたり教えたりすることができてもよい。
処理モジュール１２０の動作は、処理モジュール１２０に対する状態マシン２００を示す図２から、さらに理解することができる。状態マシン２００は、モニタリング状態２１０、ユーザ制御状態２２０、および自動応答状態２３０を有する。
モニタリング状態２１０において、センサ１１０はセンサデータ１１２を提供し、処理サブモジュール１２４は、有意味な可能性のあるシーンデータを生成するために、センサデータ１１２（映像および／またはオーディオおよび／または奥行き）を自動的に処理する。認識サブモジュール１２６は、シーンデータ内の実際の意味、すなわち有意味シンボルを識別するため、該シーンデータを自動的に処理する。
有意味シンボルは事前決定されている、すなわち、認識の前に、シンボルを決める処置が取られている。但し、「事前決定」は厳密性または固定性を意味すると見なすべきではない。類似性の照合のために使われるシンボルは、単に先行の定めを有するのであり、これは動的に進展することもあり、または固定されることもある。
認識サブモジュール１２６が、シーン１４０中で有意味なイベントが発生したと判断した場合、制御サブモジュール１２６は、そのイベントに応じて自動的に応答する。有意味なイベントが「応答」イベントである場合、状態マシン２００は、応答状態２３０に遷移し、制御サブモジュール１２６は、応答アクションを実行する。応答アクションは、応答イベントに関連付けられていることができる。イベントが「ユーザ制御」イベントである場合、状態マシン２００は、ユーザ制御状態２２０に遷移し、モニタリングおよび／または応答のユーザ制御が有効化される。この有効化は、ユーザ制御状態２２０に関連付けられたものであってもよい。
「ユーザ制御」イベントとして、特定のジェスチャユーザ入力を用いることができる。ジェスチャユーザ入力は、システム１００に対しユーザ入力としての意味を有するジェスチャである。
いくつかの例において、システム１００は、ジェスチャ認識において、人物の身体に関連する１つ以上のオブジェクトおよび／またはポイントを追跡することができる。例えば、システム１００は、ジェスチャ認識において、人の身体の全骨格的追跡を実行することができる。
処理モジュール１２０または処理モジュール１２０の部分の実装は、コントローラ回路としてであってもよい。コントローラ回路は、ハードウェアのみ（例えば、回路、プロセッサなど）のみにより実装されてもよく、（ファームウェアを含む）ソフトウェア主体で実装されてもよい。または、ハードウェアとソフトウェア（ファームウェアを含む）の組み合わせにより実装されてもよい。
図３に描かれるように、コントローラ１２０は、ハードウェア機能を実現する命令であって、例えば、汎用プロセッサまたは特定用途向けプロセッサ３１０で実行可能なコンピュータプログラム命令３２２を用いて実装されてもよい。こうした命令は、プロセッサ３１０で実行されうるように、コンピュータ可読記憶媒体（ディスクやメモリ等）に格納されてもよい。
プロセッサ３１０は、メモリ３２０から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ３１０は出力インタフェースと入力インタフェースを備えてもよい。データ又は命令、あるいはその両方は、プロセッサ３１０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ３１０に入力される。
メモリ３２０はコンピュータプログラム３２２を格納する。コンピュータプログラム３２２は、プロセッサ３１０にロードされて処理モジュール１２０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を含む。コンピュータプログラム３２２のコンピュータプログラム命令は、処理モジュールが、図１， ２， ５， ６， ７， ８， ９， １０のいずれか一つ以上を参照して紹介された方法を遂行することを可能とするロジックとルーチンとを提供する。プロセッサ３１０は、メモリ３２０を読み取ることによりコンピュータプログラム３２２をロードして実行することができる。
従ってシステム１００は装置１２０を含むことができ、この装置１２０は、少なくとも一つのプロセッサ３１０と、コンピュータプログラムコード３２２を含む少なくとも一つのメモリ３２０とを備える。コンピュータプログラムコード３２２は、プロセッサ３１０に実行されると、装置１２０に、図１のブロック１２４，１２６，１２８の一つ又は複数や、図６や８の一つ又は複数のブロックの少なくともいずれかを遂行させるように構成される。
図４に描かれるように、コンピュータプログラム３２２は、任意の適切な配信機構３２４を介して装置に提供されてもよい。配信メカニズム３２４は、例えば、非一時的なコンピュータ読取り可能記憶媒体、コンピュータプログラム製品、メモリデバイス、記録媒体、例えば、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）またはデジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、コンピュータプログラム３２２を有形に具現した製造品であってもよい。配信メカニズムは、変調された電磁波又はデジタル的に符号化された電気信号のようなコンピュータプログラム３２２を確実に伝達するように構成される信号であってもよい。装置１２０は、コンピュータデータ信号としてコンピュータプログラム３２２を伝達または伝送してもよい。
メモリ３２０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、永久／半永久／動的／キャッシュの記憶方式でもよく、あるいはそれら全てでもよい。
プロセッサ３１０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。プロセッサ３１０はシングルコアのプロセッサでもよいし、マルチコアのプロセッサであってもよい。
「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」，「有形物として具現化されたコンピュータプログラム」等の用語や、「コントローラ」，「コンピュータ」，「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータのみならず、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ），シグナルプロセッシングデバイス，その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。
なお本願において使用される「回路（ｃｉｒｃｕｉｔｒｙ）」との語句は、次の全てを表す。
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む），ソフトウェア，一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。
この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（ｃｉｒｃｕｉｔｒｙ）」という用語は、単一（または複数）のプロセッサのみの実装やプロセッサの一部と、付随するソフトウェア、ファームウェアの全部又は一部とによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。
図１のブロック１２４，１２６，１２８や、図６や８のブロックは、コンピュータプログラム３２２のコードにより具現化される、方法全体および／またはその一部のステップを表わしてもよい。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更することができる。また、一部のブロックを省略することも可能である。
図５は、システム１００の動作の例を描いた図である。図５のａは、シーン１４０を描いている。シーン１４０は現実世界のシーンである。シーン１４０は３次元空間を有し、従ってシーン空間１４０であると考えられてもよい。シーン空間１４０は、システム１００によって監視される。従ってこのシーン空間は、被監視シーン空間１４０であると考えられてもよい。図５の例において、被監視シーン空間１４０は、四つの壁、天井及び床を有する部屋である。
いくつかの実施例では、被監視シーン空間１４０は境界を有さない場合もある。さらに別の実施例では、被監視シーン空間１４０は複数の部屋を有してもよい。また、それら複数の部屋は空間的に繋がっている場合もあれば、つながっていない場合もある。
図５の例において、人物１５０は、被監視シーン空間１４０の中で起立している。人物１５０は、少なくとも一つのジェスチャユーザ入力１４６を実行している。このジェスチャユーザ入力１４６は、コンピュータにより設定される少なくとも一つの仮想境界１４４を定義する。ジェスチャユーザ入力１４６はジェスチャ１４６と呼ばれてもよい。また、図２を参照して前に説明されたようなものであってもよい。ジェスチャ１４６は、境界指示ジェスチャ１４６であると考えられてもよい。
図示された例において、人物１５０は、コンピュータにより設定される単一の仮想境界１４４を定義するために、ジェスチャ１４６を実行してもよい。
ジェスチャ１４６は、被監視シーン空間１４０の中の位置において、経路１４８に沿った動きを備えるものであってもよい。図５の例において、ジェスチャ１４６は、経路１４８に沿って自分の手でオブジェクト１５２を動かす人物１５０を有していてもよい。この例において、経路１４８は被監視シーン空間１４０を横切る直線である。
この例において、経路１４８は、一つの空間次元における動きを有していてもよく、又は２つの空間次元、３つの空間次元における動きを有していてもよく、又はその他の如何なる形態を有していてもよい。
図５のｃは、被監視シーン空間１４０を上から見た図であり、人物１５０が、コンピュータにより設定される仮想境界１４４を定義するために、ジェスチャ１４６を行っていることが描かれている。
図５のａ及びｃの例からわかるように、ジェスチャ１４６は、座標（ｘ，ｙ，ｚ）を有するシーン１４０中の位置から始まっている。ここでｘは左の壁から測られ、ｙは前面の壁から測られ、ｚは床から測られている。ジェスチャ１４６は、座標（ｘ'，ｙ'，ｚ'）を有する位置で終わっている。この位置は図５には描かれていない。
図５の例において、ジェスチャ１４６は、開始位置（ｘ，ｙ，ｚ）から経路１４８に沿ってオブジェクト１５２を動かす人物１５０を有する。ここで計５４８は、被監視シーン空間１４０を横切る直線である。
図示される例において、ジェスチャ１４６は一次元の動きである。つまり、経路１４８に沿ってｘの値が変化するが、ｙ及びｚの値は変わらず一定である。
別の例においては、被監視シーン空間１４０中の開始位置から経路１４８に沿ってｘ，ｙ，ｚの二つ以上の値が変化するかもしれない。
図５の例のｂは、監視空間１４２を描いている。監視空間１４２は、被監視シーン空間１４０の仮想的な表現を有する。この仮想的な表現は、システム１００によって作られ、使用される。監視空間１４２は、例えば、センサ１１０から受け取ったデータ（例えばイメージデータや奥行きデータ）から形成されてもよい。
図５のｂ，ｄは、それぞれａ，ｃに対応する監視空間１４２を描いており、同じ視点から描かれている。
実施例によっては、システム１００は、監視空間１４２を形成するために、被監視シーン空間１４０の形状情報を使用してもよい。例えばシステム１００は、監視空間１４２を形成するにおいて、被監視シーン空間１４０の３次元モデルを使用してもよい。被監視シーン空間１４０の３次元モデルは、システム１００によって作られてもよいし、システム１００が外部から受け取ったものであってもよい。被監視シーン空間１４０の３次元モデルを形成する方法は既知である。
システム１００は、シーン空間１４０を監視するために、監視空間１４２を使用してもよい。例えばシステムは、少なくとも一つの仮想境界１４４を作り監視するために、監視空間１４２を使用してもよい。
図５において、ａとｂとの間の矢印や、ｃとｄとの間の矢印で示されているように、監視空間１４２と被監視シーン空間１４０とは対応している。実施例によっては、監視空間１４２と被監視シーン空間１４０との間には、一対一の対応関係があってもよい。
実施例によっては、監視空間１４２と被監視シーン空間１４０との間には、スケール不変の変換があってもよい。
システム１００は人物１５０によってなされたジェスチャ１４６を認識し、それに応じて監視空間１４２において、仮想境界１４４を少なくとも一つ作ってもよい。実施例によっては、ジェスチャ１４６を認識することは、受信データを処理することを含んでもよい。この受信データは例えばイメージデータであってもよい。例えばシステム１００は、一つ又は複数のビデオフィードを解析してもよい。
実施例によっては、仮想境界１４４の少なくとも一部分は、被監視シーン空間１４０中の経路１４８によって決定されてもよい。また、仮想境界１４４の前記一部分は、被監視シーン空間１４０中の経路１４８の位置に相当する、監視空間中の対応する位置に位置してもよい。
例えば、少なくとも一つの仮想境界１４４は、被監視シーン空間１４０中の経路１４８の位置に相当する、監視空間１４２中の経路１４８に沿って、作られてもよい。
ジェスチャ１４６は独立的なジェスチャであってもよいし、図２に関連して説明されたような、何かに縛られたジェスチャであってもよい。
図５のｂやｄに描かれるように、仮想境界１４４は、監視空間１４２において、点（ｘ，ｙ，ｚ）から経路１４４に沿って作られてもよい。監視空間における点（ｘ，ｙ，ｚ）は、被監視シーン空間１４０における点（ｘ，ｙ，ｚ）と同じである。
システム１００は、仮想境界１４４を、経路１４８を超えて延長してもよい。システム１００は、仮想境界１４４を延ばすために、被監視シーン空間１４０の形状情報（例えば３次元モデル）を使用してもよい。
実施例によっては、システム１００は、監視空間１４２の少なくとも一つの境界（これは被監視シーン空間１４０の少なくとも一つの物理的境界に対応する）まで、仮想境界１４４を延長してもよい。例えばシステム１００は、仮想境界１４４を、第１の壁から第２の壁まで延長してもよい。また例えば、床から天井まで延長してもよい（図６参照）。
図５の例において、破線は仮想境界１４４の延長部分を示している。当該延長部分は監視空間１４２の左の境界へと、また右の境界へと延びている。これらの境界は、それぞれ、被監視シーン空間１４０の左の壁及び右の壁までに対応している。
実施例によっては、ユーザは、ある領域を包み込むような仮想境界の一部を含むような、経路１４８を示してもよい。そしてシステム１００は、自動的に、当該領域を包み込む仮想境界１４４を完成してもよい。例えば、ユーザが描く経路１４８は、ある形状の一部を含むようなものであってもよい。そしてシステム１００は、仮想境界１４４を作るときに、その形状を自動的に完成させてもよい。
例として、ユーザが描いた経路が円の一部である場合、システム１００は仮想境界１４４を自動的に延長し、完全な円としてもよい。
実施例によっては、ユーザはシステム１００に、ジェスチャ１４６及び／又は一つ又は複数の他の入力を用いて、仮想境界１４４を、ある領域を包み込むような境界を完成させるように延長すべきであることを、指示してもよい。
実施例によっては、システム１００は、描かれた経路１４８から、仮想境界１４４が、ある領域を包み込むように延長すべきものであることを推測し、仮想境界１４４を自動的に延長してもよい。
システム１００は、システム１００がジェスチャ１４６を理解し、仮想境界１４４を作成したことを確認するためのフィードバックをユーザに提供してもよい。このフィードバックは適切な如何なる形式のものでもよく、例えば音声フィードバックや視覚フィードバック、触覚フィードバック等であってもよい。それに加えて、またはそれに代えて、システム１００は、システム１００が仮想境界１４４を形成したことをユーザに知らせるために、一つ又は複数のメッセージを一つ又は複数のデバイスに送信してもよい。
少なくとも一つの仮想境界１４４に関連して被監視シーン空間１４０の一部に変化があったとき、システム１００は、受け取ったデータを処理して応答イベントを生成してもよい。例えばシステム１００は、センサ１１０から受け取ったデータを処理して応答イベントを作成してもよい。このデータは音声データやイメージデータであってもよい。システムは、一つ又は複数のオーディオフィード又はビデオフィードを解析し、応答イベントを生成してもよい。実施例によっては、受け取ったデータを処理して応答イベントを生成することは、仮想境界１４４をモニタリングすることを考慮してもよい。
例えば、同じセンサ（例えばカメラ）が、少なくとも一つの仮想境界１４４を定義するジェスチャ１４６を認識することと、この仮想境界１４４をモニタリングすることとの両方に使われてもよい。
実施例によっては、受け取ったデータを処理して応答イベントを生成することは、仮想境界１４４を監視して仮想境界１４４を横切るアクティビティを検出すべく、受信したデータを処理することを含んでもよい。及び／又はは、仮想境界１４４から閾値以下の距離で発生したアクティビティを検出すべく、受信したデータを処理することを含んでもよい。例えばシステム１００は、オーディオデータ、イメージデータ、奥行きデータのいずれか一つ以上を処理することにより、仮想境界１４４を監視し、仮想境界１４４を横切るアクティビティ（又は仮想境界１４４から閾値以下の距離で発生したアクティビティ）を検出してもよい。
システム１００は、一つ又は複数の仮想境界１４４が、応答イベントを生成することなしに作成されたことを、ユーザが確認することを可能にしてもよい。例えば、ユーザは、被監視シーン空間１４０のある位置でジェスチャ１４６を使って仮想境界１４４を定義してもよく、そして、被監視シーン空間１４０の当該位置とやり取りし、仮想境界１４４が適切な位置にあることを確認してもよい。例えば、ユーザが自身の体の少なくとも一部（例えば手）を被監視シーン空間の中で動かしたとき、システム１００は、ユーザが仮想境界１４４に触ったか又は境界を横切ったかを教えるフィードバックを提供してもよい。適切などのようなフィードバックが提供されてもよい。例えば音声フィードバックや視覚フィードバック、触覚フィードバックが提供されてもよい。それに加えて、又はそれに代えて、システム１００は、ユーザの一つ又は複数のデバイスに少なくとも一つのメッセージを送信してもよい。
実施例によっては、システム１００は、ユーザが仮想境界１４４を確認した後に、応答イベントを生成すべく受け取ったデータの処理を始めてもよい。例えばシステム１００は、ユーザが仮想境界１４４を確認するまでは、警告を生成したり、カウンタを増分させたりしないようにされてもよい。
応答イベントは、例えば、空間オーディオ処理を生じさせたり、それを変更させたりしてもよい。応答イベントは、例えば、空間的に分散して配置された複数のマイクロフォンからの出力の適応フィルタ（adaptive filtering）を変化させ、生成される結合オーディオ信号を変化させてもよい。この変化は、例えば、指向性ゲイン（向きを有するゲイン）に影響を与えてもよいし、それに影響を与えなくてもよい。この変化は、追跡されるオブジェクトにより生成される音声を強調するように、指向性ゲインを変えもよい。または、追跡されるオブジェクト以外のオブジェクトにより生成される音声を強調するように、指向性ゲインを変えもよい。
システム１００のユーザ、例えば人物１５０は、応答イベントを構成してもよい。例えばユーザは、応答イベントを構成するために、システム１００に認識されうる一つ又は複数の追加的なジェスチャ１４６を行ってもよい。それに加えて、又はそれに代えて、ユーザは、タブレットや携帯電話のようなデバイスを使ってシステム１００に入力を提供し、応答イベントを構成してもよい。
実施例によっては、システム１００は、受け取ったデータを処理して、仮想境界１４４やオブジェクト１５２に関して被監視シーン空間１４０の一部に変化があったときに、応答イベントを生成してもよい。例えばシステムは、何らかのオブジェクト１５２が仮想境界１４４を横切ったり、接触したり、閾値以下の距離に近づいたりした場合に、応答イベントを生成してもよい。このような仮想境界１４４は、一般的な仮想境界１４４であると考えられてもよい。
実施例によっては、システム１００は、受け取ったデータを処理して、仮想境界１４４やユーザが指定したオブジェクト１５２に関して被監視シーン空間１４０の一部に変化があったときに、応答イベントを生成してもよい。
例えば、少なくとも一つの仮想境界１４４を定義するためのジェスチャ１４６を行った後、システム１００のユーザ１５０は、一つ又は複数のオブジェクト１５２をシステム１００に示すべく、ジェスチャ１４６を行ってもよい。例えばユーザ１５０は、その手や携帯電話を用いて、一つ又は複数のオブジェクト１５２を指し示してもよい。または、デバイスのビューファインダーに一つ又は複数のオブジェクトが位置するようにしてもよい。
実施例によっては、一つ又は複数のオブジェクトを指し示すジェスチャ１４６は、仮想境界１４４を定義するジェスチャ１４６の前に行われてもよい。
システム１００は、一つ又は複数のオブジェクト１５２を指し示すジェスチャ１４６を認識し、それに応じて、しかし仮想境界１４４や指示されたオブジェクト１５２に関して被監視シーン空間１４０の一部に変化があったときのみ、応答イベントを生成してもよい。例えばシステム１００は、指示されたオブジェクト１５２が仮想境界１４４を横切ったり、接触したり、閾値以下の距離に近づいたりした場合のみ、応答イベントを生成してもよい。このような仮想境界１４４は、特殊な仮想境界であると考えられてもよい。
図５の例を参照すると、人物１５０は、仮想境界１４４を定義すべくジェスチャ１４６を行っていてもよく、システム１００は、ジェスチャ１４６を認識し仮想境界１４４を形成してもよい。
人物１５０は更に、自身や他人、他のオブジェクトを指し示すような更なるジェスチャを行ってもよい。システムはこの更なるジェスチャを認識し、指し示したオブジェクトに関してのみ、仮想境界１４４を監視する。例えばシステム１００は、そのオブジェクトが仮想境界１４４を横切ったり接触したり、閾値以下の距離に近づいたときに、応答イベントを生成するか、オブジェクト１５２が仮想境界１４４を横切ったり接触したり、閾値以下の距離に近づいたとしても、応答イベントを生成しないようにされてもよい。
実施例によっては、仮想境界１４４は、条件付きで監視されてもよく、及び／又は、条件付きで有効化されたり無効化されたりしてもよい。例えばシステム１００は、受信したデータを処理して、仮想境界１４４に関して被監視空間１４４の一部に変化があり、一つ又は複数の基準を満たしたときのみ、応答イベントを生成してもよい。しかし、そのような基準を満たさないときは、当該データを処理して応答イベントを生成することはしないようにされてもよい。
この基準は既定であってもよく、ユーザによって設定されたものでもよい。ユーザは例えば、ジェスチャや一つ又は複数の別の方法による入力を用いて、当該基準を設定できてもよい。
どのような基準が使用されてもよい。例えば、時間的な基準や物理的な基準を使ってもよい。例えば、仮想境界１４４は、特定の時間帯や、特定の曜日、特定の週、特定の月のような条件付きで監視されてもよい。また、被監視シーン空間１４０の中に一つ又は複数のオブジェクト１５２が存在するかどうかに応じて監視されてもよい。
図６は、結合オーディオ信号４２１を生成するためにシステム１００が実行する方法４００の例を描いた図である。
ブロック４０２において、システム１００は、受信したイメージデータ及び／又は深度データを処理し、被監視シーン空間中を移動するオブジェクトを追跡する。
ブロック４０４において、システム１００は、被監視シーン空間中の追跡対象移動オブジェクトの方角を決定する。
ブロック４０６において、システム１００は、被監視シーン空間中の追跡対象移動オブジェクトの方角に依存して、空間的に分散配置される複数のマイクロフォンの出力を適応的にフィルタリングし、結合オーディオ信号を生成する。
ブロック４００，４０２，４０４は、リアルタイムで処理され、リアルタイムで結合オーディオ出力信号を生成してもよい。
図７は、被監視シーン空間１４０で追跡される移動オブジェクト１５０を描いたものである。座標系も描かれている。この例においては、被監視シーン空間中で追跡される移動オブジェクト１５０の原点０からの方角４０１を定義するために、球座標系が使用されている。原点０は、空間的に分散配置された複数のマイクロフォンの場所に位置している。球座標系における方角４０１は(θ', φ')で表される。ここでθ'は極核θの値であり、0度から１８０度の値をとる。またφ'は方位角φの値であり、0度から３６０度の値をとる。
システム１００は被監視シーン空間１４０中の追跡される移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置された複数のマイクロフォンからの出力を適応的にフィルタリングし、結合オーディオ信号を生成するように構成されてもよい。ここで結合オーディオ信号は、例えば、追跡されるオブジェクト１５０により生成される音声を強調する、指向性ゲイン４０３を有していてもよい。結合オーディオ出力信号は例えば、ターゲット方向 (θ'', φ'')において、指向性ゲイン４０３を有していてもよい。ここでθ''は極核θの値であり、0度から１８０度の値をとる。またφ''は方位角φの値であり、0度から３６０度の値をとる。
ターゲット方向 (θ'', φ'')は、追跡される移動オブジェクト１５０の方角(θ', φ')によって定まる。ターゲット方向 (θ'', φ'')及び方角(θ', φ')は、図７の例に描かれるように、例えば並んでいても（同じであっても）よい。（図７では、追跡される移動オブジェクト１５０の方角(θ', φ')は、ターゲット方向 (θ'', φ'')でもある。）一方、ターゲット方向 (θ'', φ'')及び方角(θ', φ')は、並んでいない（同じではない）場合もあってもよい。
図8は、システム１００の動作の例を描いた図である。
この例において、処理モジュール１２０は、受信したイメージデータ１１２及び／又は深度データ１１２を処理し、被監視シーン空間中を移動するオブジェクト１５０を追跡する。処理モジュール１２０は、被監視シーン空間１４０中を移動する、追跡対象移動オブジェクト１５０の方角４０１を決定するように構成される。処理モジュール１２０は、被監視シーン空間における追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし（４１６）、結合オーディオ信号４２１を生成するように構成される。結合オーディオ出力信号４２１はリアルタイムで生成されてもよい。従ってシステム１００は、複数の入力４１３を有し単一の出力４２１を有する（MISO; Multiple Input Single Output）。
図8の例では、ビームフォーミングモジュール４２０が、空間的に分散配置される複数のマイクロフォン４１２のそれぞれの出力(xi)４１３のために、フィルタ係数(fi)４１４ を生成するように構成されている。フィルタ４１６の各々は、特定のマイクロフォン４１２の出力(xi)４１３にフィルタを適用し、当該マイクロフォン４１２のために、フィルタ済み出力４１７を生成する。フィルタ４１６の各々は、例えば有限インパルス応答フィルタ（FIRフィルタ）であってもよい。これは、特定のマイクロフォン４１２の出力(xi)４１３に適用されるフィルタの係数(fi)４１４ によって定義される。空間的に分散配置される複数のマイクロフォン４１２の出力がフィルタリングされたものは、結合オーディオ出力信号（S）４２１を足し合わされる。
ビームフォーミングモジュール４２０は、結合オーディオ出力信号（S）４２１の指向性ゲインを制御する。例えば、いくつかのフィルタ係数(fi)４１４ が、それぞれ特定のマイクロフォン４１２の出力(xi)４１３ のために使用され、所望のゲインを得てもよい。フィルタ係数(fi)４１４ は例えば、無指向性ゲインが得られるように選択されてもよい。フィルタ係数(fi)４１４ は例えば、ターゲット方向において利得が得られるように選択されてもよい。
フィルタ係数(fi)４１４ は例えば、被監視シーン空間１４０中の追跡対象移動オブジェクトの方角４０１に依存して生成されてもよく、それによって、ターゲット方向において指向性ゲイン４０３を有する結合オーディオ出力信号（S）４２１が生成されてもよい。
上述のビームフォーミングモジュール４２０は、フィルタサム（filter-sum）型のビームフォーミングモジュールである。実施例によっては、フィルタサム型のビームフォーミングモジュールは、ディレイサム（delay-sum）型のビームフォーミングモジュールであってもよい。ディレイサム型のビームフォーミング要素は、空間的に分散配置される複数のマイクロフォン４１２のそれぞれの出力(xi)４１３に、それぞれディレイ（遅延）を付加するように、フィルタ係数(fi)４１４を使用する。
i=1, 2...Nで番号付けられた、空間的に分散配置された複数のマイクロフォン４１２が、単位ベクトルｄ（下線はベクトルであることを示す。以下の説明においても、下線を引いた記号はベクトルを表す。）に沿って、一定の間隔Dをおいて並んでいる例を考える。すると、原点にある一番目の（i=1の）マイクロフォン４１２とi番目のマイクロフォンとのスカラ間隔は、D*iと表すことができ、ベクトル間隔S i は、D*i*dと表すことができる。指向性ゲイン４０３がターゲット方向において単位ベクトルtを有する場合、原点（i=1）と比較した、i番目のフィルタにおける経路長の違いLiは、ターゲット方向の単位ベクトルtに沿うベクトル間隔S i の要素であり、これは、ベクトル間隔S i と単位ベクトルtとのドット積によって得られる（つまり、Li = S i ・t = D*i* d・tである）。
経路長の違いLiによって生じる、原点（i=1）と比較した、i番目のフィルタにおける位相差φiは、経路長の違いLiを波長λで割り、２πラジアンを乗じて得ることができる（φi = L i *2π/ λ = S i ・ t *2π/ λ = D*i*d ・t *2π/ λ）。フィルタ fi はexp(j * φi)であってもよい。従って、i番目のフィルタに関連して、マイクロフォン４１２の出力４１３について生じる位相遅延は、(D*i*d)・tに比例する。ここで"・"はドット積である。フィルタfi はexp(j *D*i* d・t *2π/λ)である。ここでλは音の波長である。指向性ゲイン４０３のターゲット方向tは、追跡対象移動オブジェクト１５０の方角４０１に依存する。
任意の原点に一般化すると、空間的に分散配置された複数のマイクロフォン４１２が、単位ベクトルd i に沿って距離Di に位置しており、指向性ゲイン４０３が単位ベクトルtを有するターゲット方向にある場合、マイクロフォン４１２の出力４１３についてフィルタiによって生じる（任意の原点に対する）位相差は、Di*d i・t*2π/λである。ここで"・"はドット積である。一番目（すなわちi=1）のマイクロフォン４１２に位置する原点に対する、フィルタiによって生じる位相差は、[Di*d i・t - D1*d 1・t]*2π/λである。ここで"・"はドット積である。フィルタfi はexp(j *(Di*d i・t- D1*d 1・t)*2π/λ)である。ここでλは音の波長である。指向性ゲイン４０３のターゲット方向tは、追跡対象移動オブジェクト１５０の方角４０１に依存する。
実施例によっては、システム１００は更に、ターゲット方向に指向性ゲイン４０３を有する結合オーディオ出力信号（Ｓ）４２１をフィルタリングするための、ポストフィルタ４２４を有していてもよい。ポストフィルタ４２４は例えば、ノイズを減らすための適応型ポストフィルタであってもよい。
空間的に分散配置された複数のマイクロフォン４１２は例えば、一つ、２つ、または３つの方向に沿った、固定的なマイクアレイであってもよい。実施例によっては、空間的に分散配置された複数のマイクロフォン４１２は、取り外しできる周辺機器のようにデバイスに外付けされるマイクではなく、デバイスの中に固定的に装備された内蔵マイクであってもよい。
図９Ａ−９Ｅは、システム１００の使われ方のいくつかの例を描いたものである。ここでシステム１００は、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし、結合オーディオ信号４２１を生成する。
これらの例において、システム１００は、監視空間１４０に対応する被監視シーン空間１４０中でコンピュータにより設定される仮想境界１４４に対する、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングする。
図示された例において、監視空間１４２に対応する被監視シーン空間１４０の様々な部分が、それぞれ異なる仮想境界１４４で区切られている。なお、これらの境界の数や形状、その他の属性は、単なる例示であって、被監視シーン空間の一つ又は複数の任意の部分が、被監視シーン空間１４０中でコンピュータにより設定される仮想境界１４４により、適当な方法で区切られることができる。
被監視シーン空間の第１の部分Ａは、第１の（一つ又は複数の）仮想境界１４４によって区切られている。
被監視シーン空間の第２の部分Ｂは、第２の（一つ又は複数の）仮想境界１４４によって区切られている。
被監視シーン空間の第３の部分Ｃは、第３の（一つ又は複数の）仮想境界１４４によって区切られている。
被監視シーン空間の第４の部分Ｄは、第４の（一つ又は複数の）仮想境界１４４によって区切られている。
この例において、第４の部分Ｄは、第１の部分Ａ、第２の部分Ｂ、第３の部分Ｃと、境界１４４を共有している。つまり、第１の部分Ａ、第２の部分Ｂ、第３の部分Ｃは、第４の部分Ｄから切り離された島のような部分となっている。
システム１００は追跡対象オブジェクト１５０の動きを検出し、追跡対象オブジェクト１５０が、第１〜第４のどの部分にいるかを決定することができる。
図９Ａに描かれるように、追跡対象オブジェクト１５０が第１の部分Ａにいるとき、システム１００は、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし、結合オーディオ信号４２１を生成する。結合オーディオ信号（Ｓ）４２１は、追跡対象移動オブジェクト１５０の方角(θ', φ')から決定されたターゲット方向に、指向性ゲイン４０３を有する。ターゲット方向(θ'', φ'')と方角(θ', φ')とは同じ方向にはない。ターゲット方向(θ'', φ'')は、追跡対象移動オブジェクト１５０の方角(θ', φ')ではないが、第１の部分Ａの中の予め定められた方角１６１の方向にある。ターゲット方向(θ'', φ'')は、追跡対象移動オブジェクト１５０が第１の部分Ａの中にいる限り、変化しない。
図９Ｂ及び９Ｄに描かれるように、追跡対象オブジェクト１５０が第４の部分Ｄにいるとき、システム１００は、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし、結合オーディオ信号４２１を生成する。このとき例えば、結合オーディオ信号（Ｓ）４２１は、無指向性ゲイン４０３を有する。
図９Ｃに描かれるように、追跡対象オブジェクト１５０が第２の部分Ｂにいるとき、システム１００は、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし、結合オーディオ信号４２１を生成する。結合オーディオ信号（Ｓ）４２１は、追跡対象移動オブジェクト１５０の方角(θ', φ')から決定されたターゲット方向に、指向性ゲイン４０３を有する。ターゲット方向(θ'', φ'')と方角(θ', φ')とは同じ方向にある。ターゲット方向(θ'', φ'')は、追跡対象移動オブジェクト１５０の方角(θ', φ')でもある。そして、追跡対象移動オブジェクト１５０が第２の部分Ｂの中を移動するにつれて、変化する。
図９Ｅに描かれるように、追跡対象オブジェクト１５０が第３の部分Ｃにいるとき、システム１００は、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし、結合オーディオ信号４２１を生成する。結合オーディオ信号（Ｓ）４２１は、追跡対象移動オブジェクト１５０の方角(θ', φ')から決定されたターゲット方向に、指向性ゲイン４０３を有する。ターゲット方向(θ'', φ'')と方角(θ', φ')とは同じ方向にはない。ターゲット方向(θ'', φ'')は、追跡対象移動オブジェクト１５０の方角(θ', φ')ではないが、第３の部分Ｃの中の予め定められた方角１６１の方向にある。または、別の追跡対象移動オブジェクトの方向である。この例では、ターゲット方向(θ'', φ'')は、追跡対象移動オブジェクト１５０が第３の部分Ｃの中にいる限り、変化しない。
仮想境界１４４を跨いで部分Ａ−Ｄの間の移動することは、前述のように、検出することが可能であり、またそれぞれの部分における適応フィルタリングも前述のように行われることができ、またこれら適応フィルタリングは、前述のように、応答イベントであってもよい。
その結果、適応フィルタリングは、コンピュータにより設定された仮想境界１４４の少なくとも一つをまたいだ、被監視シーン空間のある部分から別の部分への、追跡対象オブジェクト１５０の検出された移動に依存して、変化する。
前述のように、コンピュータにより設定される仮想境界は、ユーザにより事前定義されてもよい。
ユーザは、個々の部分において、マイクロフォン４１２の出力４１３のフィルタリング４１６が、被監視シーン空間中における追跡対象オブジェクト１５０の方角４０１にどのように依存するかを定義してもよい。
例えばユーザは、結合オーディオ信号（Ｓ）４２１が指向性ゲイン４０３を有するか無指向性ゲインを有するかを定めてもよい。
例えばユーザは、ターゲット方向の指向性ゲイン４０３が、追跡対象移動オブジェクト１５０の方角(θ', φ')からどのように決定されるかを定めてもよい。
例えばユーザは、ターゲット方向(θ'', φ'')と方角(θ', φ')とが一致すべきかそうでないかを定めてもよい。
例えばユーザは、ターゲット方向(θ'', φ'')と方角(θ', φ')とが一致しない場合に、ターゲット方向(θ'', φ'')の性質として、それが固定された方向とするか変化しうる方向とするかを定めてもよい。
図９Ａ及び９Ｃの例では、マイクロフォン４１２の出力４１３に対する適応フィルタリング４１６は、追跡対象オブジェクト１５０により生成される音声を強調するように構成される指向性ゲインを有する。
図９Ｄの例では、マイクロフォン４１２の出力４１３に対する適応フィルタリング４１６は、追跡対象オブジェクト１５０以外のものにより生成される音声を強調するように構成される指向性ゲインを有する。
これらの例において、処理モジュール１２０は、少なくとも一つの仮想境界１４４に関連して被監視シーン空間１４２の一部に変化があったとき、受け取ったデータを１１２処理して応答イベントを生成してもよい。そして応答イベントに応じて、マイクロフォン４１２の出力４１３に対する適応フィルタリング４１６を変化させ、結合オーディオ出力信号４２１を生成してもよい。
応答イベントを生成するための、受け取ったデータ１１２の処理は、イメージデータ及び／又は深度データを処理して、少なくとも一つの仮想境界に関連する、被監視シーン空間中のオブジェクト１５０の移動を追跡し、少なくとも一つの仮想境界を跨ぐ動きを検出すること、及び／又は、少なくとも一つの仮想境界の閾値以内の動きを検出することを含む。応答イベントを生成するための、受け取ったデータの処理は、条件によって変化してもよい。例えば、少なくとも一つの条件が満たされたときのみ、そのような処理が行われてもよい。または例えば、少なくとも一つの条件が満たされない場合は、そのような処理が行われないこととしてもよい。
図１０Ａ及び１０Ｂは、システム１００の使われ方のいくつかの例を描いたものである。ここでシステム１００は、被監視シーン空間１４０中の追跡対象移動オブジェクト１５０の方角４０１に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングし、結合オーディオ信号４２１を生成する。
これらの例において、システム１００は、被監視シーン空間１４２中でコンピュータにより設定される仮想境界１４４に対する、追跡対象移動オブジェクト１５０Ａ又は追跡対象移動オブジェクト１５０Ｂの方角に依存して、空間的に分散配置される複数のマイクロフォン４１２の出力４１３を適応的にフィルタリングする。
被監視シーン空間の第１の部分Ａは、第１の（一つ又は複数の）仮想境界１４４によって区切られている。被監視シーン空間の第２の部分Ｂは、第２の（一つ又は複数の）仮想境界１４４によって区切られている。
システム１００は、複数のオブジェクトを同時に追跡する。システム１００は、オブジェクト１５０Ａ及びオブジェクト１５０Ｂを同時に追跡する。
オブジェクト１５０Ａが第１の部分Ａにいるとき、空間的に分散配置されたマイクロフォン４１２の出力４１３に対する適応フィルタリング４１６は、追跡対象オブジェクト１５０Ａにより生成される音声を強調し、追跡対象オブジェクト１５０Ｂにより生成される音声は強調しないように構成される、指向性ゲインを有する。
オブジェクト１５０Ａが第２の部分Ｂにいるとき、マイクロフォン４１２の出力４１３に対する適応フィルタリング４１６は、追跡対象オブジェクト１５０Ｂにより生成される音声を強調し、追跡対象オブジェクト１５０Ａにより生成される音声は強調しないように構成される、指向性ゲインを有する。
実施例によっては、様々な条件が、それか満たされた場合に、マイクロフォン４１２の出力４１３に対する適応フィルタリング４１６を変化させうる。例えばそのような条件の充足は、追跡対象オブジェクト１５０Ａの方角のみに基づいてもよいし、追跡対象オブジェクト１５０Ｂの方角のみに基づいてもよいし、オブジェクト１５０Ａ及び１５０Ｂの両方の方角に基づいていてもよい。そのような条件は、追跡対象オブジェクト１５０Ａの方角のみに基づいて変化してもよいし、追跡対象オブジェクト１５０Ｂの方角のみに基づいて変化してもよいし、オブジェクト１５０Ａ及び１５０Ｂの両方の方角に基づいて変化してもよい。
この簡潔な説明では、様々な例への参照がなされてきた。実施例に関する特徴または機能の説明は、これらの特徴または機能が、その実施例に認められることを示す。「実施例」「例えば」「〜できる、〜の場合がある」は、ある例示群における特定の事例であることを指す。上記特定の事例の特性は、その事例のみの特性である場合、または上記例示群に属する一部の群の特性である場合がある。すなわち、上記特定の事例の特性は、例示群中の例示の全特性とは限らないが特性の一部を含む。したがって、ある特定の実施例を参照しているが別の実施例を参照しないで記述された特徴は、それが他の実施例でも使用される可能性もあれば、他の実施例での使用が不要である可能性もあることを示唆している。
本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。
これまでに記述してきた事項は、明示的に記述された組合せのみならず、それ以外の組合せで用いられてもよい。
特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。
特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。
前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (15)

  1. 被監視シーン空間に対応する三次元監視空間中に、少なくとも一つの仮想境界をコンピュータにより設定することと；
    前記被監視シーン空間中を移動するオブジェクトを追跡すべく、受信したイメージデータ及び深度データを処理することと；
    前記被監視シーン空間における前記オブジェクトの方角を決定することと；
    結合オーディオ信号を生成すべく、前記方角に依存して、空間的に分散配置される複数のマイクロフォンの出力を適応的にフィルタリングすることと；
    を含む方法であって、
    前記結合オーディオ信号は、ターゲット方向において指向性ゲインを有し、
    前記被監視シーン空間中に、前記仮想境界により区切られる、第１の部分及び第２の部分を少なくとも設定することと；
    前記第１の部分から前記第２の部分へ前記仮想境界をまたいで前記オブジェクトが移動することを検出することと；
    前記移動を前記検出することに応じて、前記ターゲット方向を、前記第１の部分に関連付けられる一つ又は複数のターゲット方向のいずれかである第１の方向から、前記第２の部分に関連付けられる一つ又は複数のターゲット方向のいずれかであって前記第１の方向とは異なる第２の方向へと変化させることと；
    を更に含む、方法。
  2. 前記結合オーディオ信号は、前記オブジェクトにより生成される音声を強調する指向性ゲインを有するように構成される、請求項１に記載の方法。
  3. 前記仮想境界は、前記コンピュータがジェスチャを認識することに応じて設定される、請求項１又は２に記載の方法。
  4. 前記ターゲット方向は前記方角に依存して決定されるか、及び／又は、前記ターゲット方向は前記方角と同じ方向である、請求項１から３のいずれかに記載の方法。
  5. コンピュータにより設定される仮想境界によって区切られた複数の部分を前記被監視シーン空間に設定することと；
    前記複数の部分中の初めの部分から前記複数の部分中の移動先部分へ、前記仮想境界のいずれか一つ以上をまたいで前記オブジェクトが移動することを検出することと；
    前記移動を前記検出することに応じて、前記ターゲット方向を、前記初めの部分中の既定の方向を指す方向から、前記移動先部分中の既定の方向を指す方向へと変化させること；
    を更に含む、請求項１から４のいずれかに記載の方法。
  6. コンピュータにより設定される一つ又は複数の仮想境界のユーザ設定、及び／又は、一つ又は複数のターゲット方向のユーザ設定を可能にすることを含む、請求項１から５のいずれかに記載の方法。
  7. 前記フィルタリングすることは、前記方角に依存して構成される、フィルタサム型のビームフォーミング要素またはディレイサム型のビームフォーミング要素を用いることを含む、請求項１から６の何れかに記載の方法。
  8. 前記フィルタリングすることは、前記複数のマイクロフォンの全ての出力に共通のフィルタリングを施すか、前記複数のマイクロフォンの出力にそれぞれ異なるフィルタリングを施すかを決定することを含む、請求項１から７の何れかに記載の方法。
  9. 請求項１から８の何れかに記載の方法であって、
    前記フィルタリングが、前記オブジェクトにより生成された音声を強調するように構成される指向性ゲインを有するか、前記オブジェクト以外により生成された音声を強調するように構成される指向性ゲインを有するかを決定すること；
    及び／又は、
    前記フィルタリングが、前記オブジェクトにより生成された音声を強調するように構成される指向性ゲインを有するか、別のオブジェクトにより生成された音声を強調するように構成される指向性ゲインを有するかを決定すること；
    を含む、方法。
  10. 前記処理すること、前記決定すること、前記フィルタリングすることはリアルタイムで行われ、リアルタイムで前記結合オーディオ信号を生成する、請求項１から９の何れかに記載の方法。
  11. 前記複数のマイクロフォンは、一様な間隔で配されるアレイ、固定的なアレイ、デバイスに内蔵されるマイクロフォン、のいずれか一つ以上である、請求項１から１０の何れかに記載の方法。
  12. 少なくとも一つの仮想境界に関連して前記被監視シーン空間の一部に変化があったとき、受け取ったデータを処理して応答イベントを生成することと；
    前記応答イベントに応じて、前記フィルタリングを変化させることと；
    を含む、請求項１から１１の何れかに記載の方法。
  13. 監視空間内に、コンピュータにより設定される少なくとも一つの仮想境界を定めるべく、少なくとも一つのジェスチャを認識すること、但し前記監視空間と前記被監視シーン空間との間には対応関係が存在する、前記認識することと；
    前記被監視シーン空間に対応する前記監視空間に前記少なくとも一つの仮想境界を設定することと；
    を含む、請求項１２に記載の方法。
  14. 少なくとも請求項１から１３のいずれかに記載の方法を実行する手段を備える、装置。
  15. 装置の少なくとも一つのプロセッサにより実行されると、前記装置に、請求項１から１３のいずれかに記載の方法が少なくとも遂行させるように構成されるコンピュータプログラムコードを備える、コンピュータプログラム。
JP2018506907A 2015-08-14 2016-08-10 モニタリング Active JP6592183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15181162.7A EP3131311B1 (en) 2015-08-14 2015-08-14 Monitoring
EP15181162.7 2015-08-14
PCT/FI2016/050560 WO2017029434A1 (en) 2015-08-14 2016-08-10 Monitoring

Publications (2)

Publication Number Publication Date
JP2018523424A JP2018523424A (ja) 2018-08-16
JP6592183B2 true JP6592183B2 (ja) 2019-10-16

Family

ID=54007517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506907A Active JP6592183B2 (ja) 2015-08-14 2016-08-10 モニタリング

Country Status (5)

Country Link
US (1) US10402984B2 (ja)
EP (1) EP3131311B1 (ja)
JP (1) JP6592183B2 (ja)
CN (1) CN107925821B (ja)
WO (1) WO2017029434A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783585B1 (en) 2012-08-16 2020-09-22 Allstate Insurance Company Agent-facilitated claims damage estimation
US8712893B1 (en) 2012-08-16 2014-04-29 Allstate Insurance Company Enhanced claims damage estimation using aggregate display
US11532048B2 (en) 2012-08-16 2022-12-20 Allstate Insurance Company User interactions in mobile damage assessment and claims processing
US20220036463A1 (en) 2012-08-16 2022-02-03 Allstate Insurance Company User devices in claims damage estimation
US10430885B1 (en) 2012-08-16 2019-10-01 Allstate Insurance Company Processing insured items holistically with mobile damage assessment and claims processing
US12175540B2 (en) 2012-08-16 2024-12-24 Allstate Insurance Company Processing insured items holistically with mobile damage assessment and claims processing
US10580075B1 (en) 2012-08-16 2020-03-03 Allstate Insurance Company Application facilitated claims damage estimation
US8510196B1 (en) 2012-08-16 2013-08-13 Allstate Insurance Company Feedback loop in mobile damage assessment and claims processing
US11455691B2 (en) * 2012-08-16 2022-09-27 Allstate Insurance Company Processing insured items holistically with mobile damage assessment and claims processing
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN106028227B (zh) * 2016-07-08 2019-05-24 乐鑫信息科技（上海）股份有限公司 分布式麦克风阵列及其适用的声源定位系统
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
JP6819368B2 (ja) * 2017-03-07 2021-01-27 株式会社リコー 装置、システム、方法およびプログラム
CN107102737A (zh) * 2017-04-28 2017-08-29 北京理工大学 基于线性调频音频信号的非接触式手掌移动轨迹追踪方法
US11004567B2 (en) 2017-08-15 2021-05-11 Koko Home, Inc. System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life
US12094614B2 (en) 2017-08-15 2024-09-17 Koko Home, Inc. Radar apparatus with natural convection
GB2567244A (en) 2017-10-09 2019-04-10 Nokia Technologies Oy Spatial audio signal processing
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
KR102706386B1 (ko) * 2018-08-16 2024-09-12 한화비전 주식회사 시각화된 객체에서 특정영역의 소리를 추출하는 감시 카메라 시스템 및 그 동작 방법
CN112889296B (zh) 2018-09-20 2025-01-10 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
EP3683794B1 (en) * 2019-01-15 2021-07-28 Nokia Technologies Oy Audio processing
US11997455B2 (en) 2019-02-11 2024-05-28 Koko Home, Inc. System and method for processing multi-directional signals and feedback to a user to improve sleep
US10810850B2 (en) 2019-02-19 2020-10-20 Koko Home, Inc. System and method for state identity of a user and initiating feedback using multiple sources
US11971503B2 (en) 2019-02-19 2024-04-30 Koko Home, Inc. System and method for determining user activities using multiple sources
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
CN113841421B (zh) 2019-03-21 2025-02-11 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
TWI862596B (zh) 2019-05-31 2024-11-21 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US11719804B2 (en) 2019-09-30 2023-08-08 Koko Home, Inc. System and method for determining user activities using artificial intelligence processing
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11240635B1 (en) * 2020-04-03 2022-02-01 Koko Home, Inc. System and method for processing using multi-core processors, signals, and AI processors from multiple sources to create a spatial map of selected region
US11184738B1 (en) 2020-04-10 2021-11-23 Koko Home, Inc. System and method for processing using multi core processors, signals, and AI processors from multiple sources to create a spatial heat map of selected region
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
JP7814400B2 (ja) 2021-01-28 2026-02-16 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム
US12452584B2 (en) 2021-01-29 2025-10-21 Shure Acquisition Holdings, Inc. Scalable conferencing systems and methods
US12542123B2 (en) 2021-08-31 2026-02-03 Shure Acquisition Holdings, Inc. Mask non-linear processor for acoustic echo cancellation
US11941320B2 (en) * 2021-09-28 2024-03-26 Arlo Technologies, Inc. Electronic monitoring system having modified audio output
EP4413745A1 (en) 2021-10-04 2024-08-14 Shure Acquisition Holdings, Inc. Networked automixer systems and methods
WO2023081645A1 (en) 2021-11-05 2023-05-11 Shure Acquisition Holdings, Inc. Distributed algorithm for automixing speech over wireless networks
JP7540429B2 (ja) * 2021-12-28 2024-08-27 トヨタ自動車株式会社 制御システム、制御方法、及びプログラム
WO2023133513A1 (en) 2022-01-07 2023-07-13 Shure Acquisition Holdings, Inc. Audio beamforming with nulling control system and methods

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2612519B1 (fr) 1987-03-20 1989-12-15 Rhone Merieux Nouvelles fractions peptidiques inductrices d'anticorps protecteurs contre le virus de la leucemie bovine, procede pour l'obtention de telles fractions, leurs sequences codantes et vaccins realises a partir de ces fractions
JPH05227531A (ja) 1992-02-17 1993-09-03 Sanyo Electric Co Ltd カメラ監視システム
JP3537962B2 (ja) 1996-08-05 2004-06-14 株式会社東芝 音声収集装置及び音声収集方法
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8024189B2 (en) * 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
JP5139111B2 (ja) * 2007-03-02 2013-02-06 本田技研工業株式会社 移動音源からの音の抽出方法および装置
JP5240832B2 (ja) 2008-06-04 2013-07-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音入力装置、音入力方法およびプログラム
US9445193B2 (en) * 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
US8761412B2 (en) * 2010-12-16 2014-06-24 Sony Computer Entertainment Inc. Microphone array steering with image-based source location
US20130024819A1 (en) 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods for gesture-based creation of interactive hotspots in a real world environment
US9269146B2 (en) * 2012-08-23 2016-02-23 Microsoft Technology Licensing, Llc Target object angle determination using multiple cameras
CN102831898B (zh) * 2012-08-31 2013-11-13 厦门大学 带声源方向跟踪功能的麦克风阵列语音增强装置及其方法
WO2014162171A1 (en) 2013-04-04 2014-10-09 Nokia Corporation Visual audio processing apparatus
KR102150013B1 (ko) * 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치
US9596437B2 (en) * 2013-08-21 2017-03-14 Microsoft Technology Licensing, Llc Audio focusing via multiple microphones
KR20150068112A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 오디오를 추적하기 위한 방법 및 전자 장치
US9729833B1 (en) * 2014-01-17 2017-08-08 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections along with centralized monitoring
US9282399B2 (en) * 2014-02-26 2016-03-08 Qualcomm Incorporated Listen to people you recognize
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
JP6202277B2 (ja) * 2014-08-05 2017-09-27 パナソニックＩｐマネジメント株式会社 音声処理システム及び音声処理方法
EP3800532B1 (en) 2014-12-24 2024-06-19 Nokia Technologies Oy Automated monitoring of a scene
US9892611B1 (en) * 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection
EP3101511A1 (en) 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
EP3115926A1 (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
EP3115870B1 (en) 2015-07-09 2023-11-08 Nokia Technologies Oy Monitoring
US10978187B2 (en) * 2017-08-10 2021-04-13 Nuance Communications, Inc. Automated clinical documentation system and method

Also Published As

Publication number Publication date
US20190019295A1 (en) 2019-01-17
EP3131311A1 (en) 2017-02-15
EP3131311B1 (en) 2019-06-19
US10402984B2 (en) 2019-09-03
CN107925821B (zh) 2020-12-11
WO2017029434A1 (en) 2017-02-23
CN107925821A (zh) 2018-04-17
JP2018523424A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6592183B2 (ja) モニタリング
US11429189B2 (en) Monitoring
US10027888B1 (en) Determining area of interest in a panoramic video or photo
KR102032662B1 (ko) 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용
JP6568224B2 (ja) サーベイランス
JP2019198077A (ja) 監視
EP3115870B1 (en) Monitoring
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
JP6600359B2 (ja) モニタリング
JP2018523231A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6592183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250