JP6386187B2 - 監視画面サウンド採集方法、装置、プログラムおよび記録媒体 - Google Patents

監視画面サウンド採集方法、装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6386187B2
JP6386187B2 JP2017531954A JP2017531954A JP6386187B2 JP 6386187 B2 JP6386187 B2 JP 6386187B2 JP 2017531954 A JP2017531954 A JP 2017531954A JP 2017531954 A JP2017531954 A JP 2017531954A JP 6386187 B2 JP6386187 B2 JP 6386187B2
Authority
JP
Japan
Prior art keywords
sound
monitoring
acquisition device
sound acquisition
monitoring target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017531954A
Other languages
English (en)
Other versions
JP2017537565A (ja
Inventor
ミンヨン タン
ミンヨン タン
ファイージュン リュウ
ファイージュン リュウ
タオ チェン
タオ チェン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2017537565A publication Critical patent/JP2017537565A/ja
Application granted granted Critical
Publication of JP6386187B2 publication Critical patent/JP6386187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L2025/783Detection of presence or absence of voice signals based on threshold decision
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Selective Calling Equipment (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本開示は、コンピュータ技術分野に関し、特に、監視画面サウンド採集方法、装置、プログラムおよび記録媒体に関する。
カメラが各種のイベントの発生の過程を忠実に監視することができるため、カメラの監視機能は、例えば、交通監視、スーパーマーケット監視、団地監視などに広く用いられている。
モニタ機器のカメラを用いて監視する際、撮像された監視対象が遠ければ、当該モニタ機器が一般的に監視対象から発せられたサウンドを明確に取得できないため、監視の情報は不完全となってしまう。
モニタ機器が当該モニタ機器から遠く離れている監視対象によって発せられたサウンドを明確に取得できないという課題を解決するために、本開示は、監視画面サウンド採集方法、装置、プログラムおよび記録媒体を提供する。前記技術案は下記の通りである。
本開示の実施例の第1の態様によれば、監視画面サウンド採集方法を提供する。前記方法は、監視画面がモニタ機器のカメラにより採集されたとき、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するステップと、前記監視画面に前記サウンドを発した監視対象が存在する場合、サウンド取得機器で採集された前記監視対象のサウンド信号強度が前記モニタ機器で採集された前記監視対象のサウンド信号強度よりも大きいという所定条件を満たす前記サウンド取得機器を特定するステップと、前記サウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するステップと、を含む。
好ましくは、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するステップは、前記監視画面にサウンドを発した画像変化要素が存在するか否かを検出するステップ、または、前記監視画面における指定種類対象がサウンドを発したか否かを検出するステップ、または、検出機器からレポートされた指定指標に基づいて、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するステップを含み、前記画像変化要素は、前記監視画面に入っている監視対象、あるいは、口形の変化がある監視対象を含み、前記指定種類対象は、ドア、窓及び家電製品のうちの少なくとも1つを含み、前記検出機器は、前記モニタ機器とバインディングされた、前記指定指標をモニタリングするための機器であり、前記指定指標は、オン・オフ状態、空気品質パラメータ、温度、熱源変化パラメータあるいは生理特徴パラメータである。
好ましくは、前記所定条件を満たすサウンド取得機器を特定するステップは、前記モニタ機器で採集された前記監視画面に対応するサウンドが所定サウンド閾値よりも小さいか否かを検出するステップと、前記モニタ機器で採集された前記監視画面に対応するサウンドが前記所定サウンド閾値よりも小さい場合、前記所定条件を満たすサウンド取得機器を特定するステップと、を含む。
好ましくは、前記所定条件を満たすサウンド取得機器を特定するステップは、前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を取得し、取得されたサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するステップ、または、前記モニタ機器とバインディングされた全てのサウンド取得機器がサウンドの元となる前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御し、最も強いサウンド信号を採集したサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するステップ、または、前記モニタ機器とバインディングされた少なくとも1つの移動機器を、前記所定条件を満たすサウンド取得機器として特定するステップを含む。
好ましくは、前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を取得するステップは、前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を室内測位技術によって特定するステップ、または、サウンドを発した前記監視対象が存在する位置を画像識別技術によって特定し、前記サウンド取得機器のそれぞれに対応するリスリング領域範囲に基づいて、サウンドを発した前記監視対象をリスリングするためのサウンド取得機器を特定するステップを含む。
好ましくは、前記サウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するステップは、前記所定条件を満たすサウンド取得機器がサウンドを発した監視対象に最も近いサウンド取得機器である場合、前記サウンド取得機器がサウンドを採集するように当該サウンド取得機器を制御するステップと、前記所定条件を満たすサウンド取得機器が最も強いサウンド信号を採集したサウンド取得機器である場合、前記サウンド取得機器がサウンドを継続して採集するように当該サウンド取得機器を制御するステップと、前記所定条件を満たすサウンド取得機器が前記モニタ機器とバインディングされた移動機器である場合、前記移動機器が前記監視画面におけるサウンドを発した監視対象の位置に移動するように当該移動機器を制御し、かつ、前記移動機器が前記監視対象の存在する位置でのサウンドを採集するように当該移動機器を制御するステップと、を含む。
本開示の実施例の第2の態様によれば、監視画面サウンド採集装置を提供する。前記装置は、監視画面がモニタ機器のカメラにより採集されたとき、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するように構成される検出モジュールと、前記監視画面に前記サウンドを発した監視対象が存在すると前記検出モジュールにより検出されたとき、サウンド取得機器で採集された前記監視対象のサウンド信号強度が前記モニタ機器で採集された前記監視対象のサウンド信号強度よりも大きいという所定条件を満たす前記サウンド取得機器を特定するように構成される特定モジュールと、前記特定モジュールにより特定されたサウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するように構成される制御モジュールと、を備える。
好ましくは、前記検出モジュールは、前記監視画面にサウンドを発した画像変化要素が存在するか否かを検出するように構成される第1の検出サブモジュール、または、前記監視画面における指定種類対象がサウンドを発したか否かを検出するように構成される第2の検出サブモジュール、または、検出機器からレポートされた指定指標に基づいて、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するように構成される第3の検出サブモジュールを有し、前記画像変化要素は、前記監視画面に入っている監視対象、あるいは、口形の変化がある監視対象を含み、前記指定種類対象は、ドア、窓及び家電製品のうちの少なくとも1つを含み、前記検出機器は、前記モニタ機器とバインディングされた、前記指定指標をモニタリングするための機器であり、前記指定指標は、オン・オフ状態、空気品質パラメータ、温度、熱源変化パラメータあるいは生理特徴パラメータである。
好ましくは、前記特定モジュールは、前記モニタ機器で採集された前記監視画面に対応するサウンドが所定サウンド閾値よりも小さいか否かを検出するように構成される第4の検出サブモジュールと、前記モニタ機器で採集された前記監視画面に対応するサウンドが前記所定サウンド閾値よりも小さいと前記第4の検出サブモジュールにより検出されたとき、前記所定条件を満たすサウンド取得機器を特定するように構成される第1の特定サブモジュールと、を有する。
好ましくは、前記特定サブモジュールは、前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を取得し、取得されたサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するように構成される第1の取得サブモジュール、または、前記モニタ機器とバインディングされた全てのサウンド取得機器がサウンドの元となる前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御し、最も強いサウンド信号を採集したサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するように構成される第2の取得サブモジュール、または、前記モニタ機器とバインディングされた少なくとも1つの移動機器を、前記所定条件を満たすサウンド取得機器として特定するように構成される第2の特定サブモジュールを有する。
好ましくは、前記第1の取得サブモジュールは、前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を室内測位技術によって特定するように構成される第3の特定サブモジュール、または、サウンドを発した前記監視対象が存在する位置を画像識別技術によって特定し、前記サウンド取得機器のそれぞれに対応するリスリング領域範囲に基づいて、サウンドを発した前記監視対象をリスリングするためのサウンド取得機器を特定するように構成される第4の特定サブモジュールを有する。
好ましくは、前記制御モジュールは、前記所定条件を満たすサウンド取得機器がサウンドを発した監視対象に最も近いサウンド取得機器である場合、前記サウンド取得機器がサウンドを採集するように当該サウンド取得機器を制御するように構成される第1の制御サブモジュールと、前記所定条件を満たすサウンド取得機器が最も強いサウンド信号を採集したサウンド取得機器である場合、前記サウンド取得機器がサウンドを継続して採集するように当該サウンド取得機器を制御するように構成される第2の制御サブモジュールと、前記所定条件を満たすサウンド取得機器が前記モニタ機器とバインディングされた移動機器である場合、前記移動機器が前記監視画面におけるサウンドを発した監視対象の位置に移動するように当該移動機器を制御し、かつ、前記移動機器が前記監視対象の存在する位置でのサウンドを採集するように当該移動機器を制御するように構成される第3の制御サブモジュールと、を有する。
本開示の実施例の第3の態様によれば、監視画面サウンド採集装置を提供する。前記装置は、プロセッサと、前記プロセッサが実行可能な指令を記憶するためのメモリと、を備え、前記プロセッサは、監視画面がモニタ機器のカメラにより採集されたとき、前記監視画面にサウンドを発した監視対象が存在するか否かを検出し、前記監視画面に前記サウンドを発した監視対象が存在する場合、サウンド取得機器で採集された前記監視対象のサウンド信号強度が前記モニタ機器で採集された前記監視対象のサウンド信号強度よりも大きいという所定条件を満たすサウンド取得機器を特定し、前記サウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するように構成される。
本開示の実施例の第4の態様によれば、プロセッサに実行されることにより、本開示の実施例の第1の態様に記載の監視画面サウンド採集方法を実現するプログラムを提供する。
本開示の実施例の第5の態様によれば、本開示の実施例の第4の態様に記載のプログラムが記録された記録媒体を提供する。
本開示の実施例による技術案は、以下の格別な作用効果を含むことができる。
サウンドを発した監視対象を監視画面において特定し、監視対象が発したサウンドを採集するように、採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいサウンド取得機器を制御することにより、モニタ機器が当該モニタ機器から遠く離れている監視対象によって発せられたサウンドを明確に取得できないという課題を解決し、サウンド取得機器が監視対象から発せられたサウンドを採集するようにモニタ機器が制御でき、モニタされる情報がより充実するという効果を奏する。
上述した一般的な記述および後続の詳細な記述は、単に例示的および解釈的なものであり、本発明を制限できるものでないと理解されるべきである。
ここでの図面は、明細書を構成する一部として見なされ、本開示に適した実施例を示し、かつ、明細書の文字記載とともに本開示の仕組みを解釈するために用いられる。
ある実施例による監視画面サウンド採集方法を示すフローチャートである。 ある実施例による監視画面にサウンドを発した監視対象が存在するか否かを検出するフローチャートである。 ある実施例による監視画面にサウンドを発した監視対象が存在するか否かを検出する方法を示すフローチャートである。 ある実施例による監視対象が監視画面に入っている模式図である。 ある実施例による監視画面には口形の変化がある監視対象が存在する模式図である。 ある実施例による監視画面における指定種類対象がサウンドを発した模式図である。 ある実施例による検出機器からレポートされた指定指標に基づいて、監視画面にサウンドを発した監視対象が存在するか否かを検出する模式図である。 ある実施例による所定条件を満たすサウンド取得機器を特定する方法を示すフローチャートである。 ある実施例による最も強いサウンド信号を採集したサウンド取得機器を、所定条件を満たすサウンド取得機器として特定する模式図である。 ある実施例によるモニタ機器とバインディングされた全てのサウンド取得機器のうち、監視画面におけるサウンドを発した監視対象に最も近いサウンド取得機器を取得する方法を示すフローチャートである。 ある実施例によるサウンドを発した監視対象をリスリングするためのサウンド取得機器をモニタ機器が特定する模式図である。 ある実施例によるサウンド取得機器が監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御する方法を示すフローチャートである。 ある実施例による移動機器が監視画面におけるサウンドを発した監視対象の位置に移動するようにモニタ機器が当該移動機器を制御する模式図である。 ある実施例による監視画面サウンド採集装置を示すブロック図である。 別の実施例による監視画面サウンド採集装置を示すブロック図である。 ある実施例による監視画面のサウンドを採集するためのブロック図である。
次に、実施例を詳細に説明し、例示が図に示されている。以下の記述が図に係る場合、別途にて示さない限り、異なる図面における同じ符号は、同じまたは類似する要素を示す。以下の実施例に記述される実施形態は、本発明と一致する全ての実施形態を代表するとは限らない。逆に、それらは、添付の特許請求の範囲に記載されているように、本発明の一部の局面と一致する装置および方法の例に過ぎない。
図1は、ある実施例による監視画面サウンド採集方法を示すフローチャートである。図1に示すように、当該監視画面サウンド採集方法は、以下のステップを含む。
ステップ101では、監視画面がモニタ機器のカメラにより採集されたとき、監視画面にサウンドを発した監視対象が存在するか否かを検出する。
通常のモニタ機器は、監視画面を採集できるだけではなく、監視画面における監視対象が発したサウンドをも採集できる。
ステップ102では、監視画面にサウンドを発した監視対象が存在する場合、サウンド取得機器で採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいという所定条件を満たすサウンド取得機器を特定する。
現在では、モニタ機器は監視画面をきれいに採集できるが、監視画面における監視対象のサウンドに対する採集効果があまり良くなく、例えば、監視画面における監視対象の発したサウンドが非常に微弱であり、または、監視画面における監視対象がモニタ機器から遠く離れているため、当該監視対象の発したサウンドが、モニタ機器により明確に採集されず、ひいては、モニタ機器により自動でフィルタリングされる可能性があり、このとき、所定条件のサウンド取得機器を別途設けて当該監視対象のサウンドを採集する必要がある。
ここで言う所定条件は、サウンド取得機器で採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいことである。所定条件を満たす場合、当該サウンド取得機器を起動して当該監視対象のサウンドを採集する。
ここで言うサウンド取得機器は、携帯電話、オーディオ、ブルートゥースヘッドフォンといったサウンド採集部材を有する機器である。
ステップ103では、サウンド取得機器が監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御する。
モニタ機器は、監視画面における監視対象がサウンドを発したことを検出するが、監視対象の発したサウンドが微弱過ぎ、または、監視対象がモニタ機器からも遠く離れるため、監視対象の発したサウンドを明確に採集できず、このとき、監視対象が発したサウンドを採集するように、所定条件を満たすサウンド取得機器を制御する。
以上により、本開示の実施例による監視画面サウンド採集方法によれば、サウンドを発した監視対象を監視画面において特定し、監視対象が発したサウンドを採集するように、採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいサウンド取得機器を制御することにより、モニタ機器が当該モニタ機器から遠く離れている監視対象によって発せられたサウンドを明確に取得できないという課題を解決し、サウンド取得機器が監視対象から発せられたサウンドを採集するようにモニタ機器が制御でき、モニタされる情報がより充実するという効果を奏する。
ある可能な実現方式では、図1におけるステップ102をさらにステップ102a乃至ステップ102bで置換しても良い。図2Aは、ある実施例による監視画面にサウンドを発した監視対象が存在するか否かを検出するフローチャートである。図2Aに示すように、モニタ機器が、監視画面にサウンドを発した監視対象が存在するか否かを検出するとき、以下のステップを含む。
ステップ102aでは、モニタ機器で採集された監視画面に対応するサウンドが所定サウンド閾値よりも小さいか否かを検出する。
監視画面における監視対象の発したサウンドが非常に微弱であり、または、監視画面における監視対象がモニタ機器から遠く離れているとき、当該監視対象の発したサウンドが、モニタ機器により明確に採集されることができない可能性があるので、ここで言う所定サウンド閾値とは、モニタ機器が監視画面に対応するサウンドを明確に採集できるか否かの限界値である。モニタ機器で採集された監視画面に対応するサウンドが所定サウンド閾値よりも小さいことは、モニタ機器が当該監視画面に対応するサウンドを一時に採集できないことを意味する。
ステップ102bでは、モニタ機器で採集された監視画面に対応するサウンドが所定サウンド閾値よりも小さい場合、所定条件を満たすサウンド取得機器を特定する。
モニタ機器で採集された監視画面に対応するサウンドが所定サウンド閾値よりも小さいことは、モニタ機器が当該監視画面に対応するサウンドを一時に採集できないことを意味するため、所定条件を満たすサウンド取得機器を特定してモニタ機器を替えて当該監視画面に対応するサウンドを採集する必要がある。
以上により、本開示の実施例による監視画面サウンド採集方法によれば、サウンドを発した監視対象を監視画面において特定し、監視対象が発したサウンドを採集するように、採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいサウンド取得機器を制御することにより、モニタ機器が当該モニタ機器から遠く離れている監視対象によって発せられたサウンドを明確に取得できないという課題を解決し、サウンド取得機器が監視対象から発せられたサウンドを採集するようにモニタ機器が制御でき、モニタされる情報がより充実するという効果を奏する。
また、モニタ機器が監視対象の発したサウンドを明確に採集できないとき、所定条件を満たすサウンド取得機器へ採集指令を送信して、監視対象を採集する旨を当該サウンド取得機器に命令しても良く、当該所定条件は、監視対象に最も近く離れること、または、採集されたサウンド信号が最も強いこと、または、モニタ機器とバインディングされた移動機器であっても良い。
ある可能な実現方式では、図2Bは、ある実施例による監視画面にサウンドを発した監視対象が存在するか否かを検出する方法を示すフローチャートである。図2Bに示すように、ステップ101は、以下の3つの方式を含んでも良い。
第1の方式101aとしては、監視画面にサウンドを発した画像変化要素が存在するか否かを検出し、画像変化要素は、監視画面に入っている監視対象、あるいは、口形の変化がある監視対象を含む。
ここで言う画像変化要素は、監視画面に移動している人または物であっても良いし、人または動物の口の口形変化であっても良い。
図2Cは、ある実施例による監視対象が監視画面に入っている模式図である。図2Cに示すように、モニタ機器10で監視される画面には、人11、猫12及び犬13が入っている場合、モニタ機器10は、人11、猫12及び犬13を監視対象としても良い。図2Dは、ある実施例による監視画面には口形の変化がある監視対象が存在する模式図である。図2Dに示すように、モニタ機器10で監視される画面における人11a及び人11bが対話をしている場合、モニタ機器10は、人11a及び人11bの口形が変化したことを検出したとき、人11a及び人11bを監視対象としても良い。
第2の方式101bとしては、監視画面における指定種類対象がサウンドを発したか否かを検出し、指定種類対象は、ドア、窓及び家電製品のうちの少なくとも1つを含む。
時には、監視画面におけるドア、窓及び家電製品がサウンドを発し、例えば、誰かがノッキングし、テレビを起動し、ファンを回転するといったことをしたが、監視画面が大きく変化しておらず、よって、ここで言う指定種類対象とは、自身が移動できず、カメラが採集されたサウンドによってサウンドを取得すべき対象を判断する必要があるものである。
図2Eは、ある実施例による監視画面における指定種類対象がサウンドを発した模式図である。図2Eに示すように、監視画面におけるドア14がノッキングされ、テレビ15が起動され、及びファン16が回転しているとき、全体の監視画面が大きく変化していないが、モニタ機器10は依然としてノッキングのサウンド、テレビ番組のサウンド、羽回転のサウンドに基づいて、ドア14、テレビ15、ファン16を監視対象と見なしても良い。
第3の方式101cとしては、検出機器からレポートされた指定指標に基づいて、監視画面にサウンドを発した監視対象が存在するか否かを検出し、検出機器は、モニタ機器とバインディングされた、指定指標をモニタリングするための機器であり、指定指標は、オン・オフ状態、空気品質パラメータ、温度、熱源変化パラメータあるいは生理特徴パラメータである。
監視画面における監視対象の発したサウンドが微弱過ぎる場合、モニタ機器は、検出機器によって、画面におけるどちらの監視対象がサウンドを発したかを判断しても良く、ここで言う検出機器は、監視対象周囲または監視対象に取り付けられて監視対象状態を監視するための検出機器である。
1つの例としては、検出機器を電器のスイッチに取り付けており、電器を起動した場合、検出機器は、起動状態データをモニタ機器へフィードバックし、モニタ機器は、データを受信した後、当該電器を監視対象として特定し、採集指令を、条件を満たしているサウンド取得機器へ送信して、当該電器から発せられたサウンドを採集する旨を、条件を満たしているサウンド取得機器に命令する。もう1つ例としては、検出機器を窓またはドア近傍に取り付けており、窓またはドアが開けられた場合、検出機器は、周囲空気温度が変化したことを感知したとき、温度変化データをモニタ機器へフィードバックし、モニタ機器は、データを受信した後、窓またはドアを監視対象として特定し、採集指令を、条件を満たしているサウンド取得機器へ送信して、当該電器から発せられたサウンドを採集する旨を、条件を満たしているサウンド取得機器に命令する。
図2Fは、ある実施例による検出機器からレポートされた指定指標に基づいて、監視画面にはサウンドを発した監視対象が存在するか否かを検出する模式図である。図2Fに示すように、監視画面におけるドア18が開けられた後、ドア18上方に取り付けられたセンサ17は、周囲空気温度が変化したことを感知したとき、温度変化データをモニタ機器10へフィードバックし、モニタ機器10は、フィードバックデータを受信した後、条件を満たしているサウンド取得機器へ採集指令を送信して、ドア18の発したサウンドを採集する旨を、命令条件を満たしているサウンド取得機器に命令しても良い。
ある可能な実現方式では、図2Gは、ある実施例による所定条件を満たすサウンド取得機器を特定する方法を示すフローチャートである。図2Gに示すように、所定条件を満たすサウンド取得機器を特定し、実際の実現時、ステップ102bは、以下の3つの方式を含んでも良い。
第1の方式102b1としては、モニタ機器とバインディングされた全てのサウンド取得機器から、サウンドを発した監視対象に最も近いサウンド取得機器を取得し、取得されたサウンド取得機器を、所定条件を満たすサウンド取得機器として特定する。
所定条件が最も近い距離である場合、モニタ機器は、監視画面によって、サウンドを発した監視対象に最も近いサウンド取得機器を特定し、当該サウンド取得機器を、所定条件を満たすサウンド取得機器として特定しても良い。
第2の方式102b2としては、モニタ機器とバインディングされた全てのサウンド取得機器がサウンドの元となる監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御し、最も強いサウンド信号を採集したサウンド取得機器を、所定条件を満たすサウンド取得機器として特定する。
所定条件が最も強いサウンド信号である場合、モニタ機器は、採集指令を全てのサウンド取得機器へ送信しても良く、当該採集指令は、当該監視画面における監視対象に対してサウンドを採集する旨を全てのサウンド取得機器に命令するために用いられる。全てのサウンド取得機器は、当該採集指令を受信した後、当該監視対象に対してサウンドを採集し始め、採集されたサウンドをモニタ機器へ送信して一括テストを行わせ、モニタ機器は、全てのサウンド取得機器で採集されたサウンドを受信且つテストした後、採集サウンド信号が最も強いサウンド取得機器を特定し、当該サウンド取得機器を、所定条件を満たすサウンド取得機器として特定しても良い。
図2Hは、ある実施例による最も強いサウンド信号を採集したサウンド取得機器を、所定条件を満たすサウンド取得機器として特定する模式図である。図2Hに示すように、監視画面には、オーディオ19、ブルートゥースヘッドフォン20及び携帯電話21という3つのサウンド取得機器があり、当該監視画面に人11が入っている場合、モニタ機器10は、人11を監視対象として特定した後、オーディオ19、ブルートゥースヘッドフォン20及び携帯電話21へ採集指令を送信しても良く、この3つのサウンド取得機器は、当該採集指令を受信した後、それぞれ人11が発したサウンドを採集し、採集されたサウンドをモニタ機器10へ送信し、モニタ機器10は、この3つのサウンド取得機器で採集されたサウンドをテストして、採集サウンド信号が最も強いブルートゥースヘッドフォン20を特定し、かつ、ブルートゥースヘッドフォン20を、所定条件を満たすサウンド取得機器として特定する。
第3の方式102b3としては、モニタ機器とバインディングされた少なくとも1つの移動機器を、所定条件を満たすサウンド取得機器として特定する。
モニタ機器は、移動端末、ロボット掃除機、リモコン航空機といった室内に移動便利な移動機器とバインディングしても良く、監視対象がモニタ機器から遠く離れている場合、これらの移動機器を、所定条件を満たすサウンド取得機器として特定する。
ある可能な実現方式では、図2Iは、ある実施例によるモニタ機器とバインディングされた全てのサウンド取得機器のうち、監視画面におけるサウンドを発した監視対象に最も近いサウンド取得機器を取得する方法を示すフローチャートである。図2Iに示すように、ステップ102bにおける第1の方式102b1は、以下の2つの方式を含んでも良い。
第1の方式102b1aとしては、モニタ機器とバインディングされた全てのサウンド取得機器のうち、サウンドを発した監視対象に最も近いサウンド取得機器を室内測位技術によって特定する。
モニタ機器を複数の部屋に取り付けても良く、全てのモニタ機器を無線または有線ネットワークを介して互いに接続して、室内測位システムを形成し、室内空間での人、動物、電器などの物体に対する監視を図れる。あるモニタ機器の監視画面には、サウンドを発した監視対象が出現しているとき、モニタ機器とバインディングされた全てのサウンド取得機器から、当該監視対象に最も近い1つのサウンド取得機器を特定し、当該サウンド取得機器へ採集指令を送信して、当該監視対象が発したサウンドを採集する旨を当該サウンド取得機器に命令しても良い。
第2の方式102b1bとしては、サウンドを発した監視対象が存在する位置を画像識別技術によって特定し、サウンド取得機器のそれぞれに対応するリスリング領域範囲に基づいて、サウンドを発した監視対象をリスリングするためのサウンド取得機器を特定する。
サウンド取得機器毎は、それぞれ対応するリスリング領域範囲を有している。全てのサウンド取得機器の監視範囲データをモニタ機器に入力し、モニタ機器は、監視画面によって、サウンドを発した監視対象がどのサウンド取得機器のリスリング領域範囲内にあるかを特定し、当該監視対象を監視するためのサウンド取得機器を特定することができる。
図2Jは、ある実施例によるモニタ機器がサウンドを発した監視対象をリスリングするためのサウンド取得機器を特定する模式図である。図2Jに示すように、現在の画面には2つの隅があり、この2つの隅にはそれぞれモニタ機器10aとモニタ機器10bが取り付けられており、モニタ機器10aとモニタ機器10bを、無線または有線ネットワークを介して互いに接続して、室内測位システムを形成する。モニタ機器10aで監視される画面にあるテレビ15が起動された後、モニタ機器10aは、監視画面によって、オーディオ19というたった1つのサウンド取得機器があることを特定するが、テレビ15がオーディオ19のリスリング領域範囲19a内に位置しておらず、このとき、モニタ機器10aはモニタ機器10bへ問い合わせ指令を送信し、当該問い合わせ指令は、モニタ機器10bで監視される画面には、全てのモニタ機器とバインディングされた移動機器が存在するか否かをモニタ機器10bに問い合わせるために用いられる。モニタ機器10bは問い合わせ指令を受信した後、対応する監視画面において、全てのモニタ機器とバインディングされたロボット掃除機23を特定し、かつ、ロボット掃除機23へ移動指令を送信し、モニタ機器10aの監視画面に移動する旨をロボット掃除機23に命令し、モニタ機器10aがロボット掃除機23へ移動指令及び採集指令を送信し、移動指令は、ロボット掃除機23をテレビ15の存在する位置近傍に移動し、テレビ15をロボット掃除機23のリスリング領域範囲23a内に配置するようにロボット掃除機23を制御するために用いられ、採集指令は、テレビ15が発したサウンドを採集するようにロボット掃除機23を制御するために用いられる。
依然として図2Jを参照すると、モニタ機器10bに監視される画面には犬13が入っている場合、モニタ機器10bは、監視画面によって、携帯電話21及びロボット掃除機23という2つのサウンド取得機器があることを特定し、犬13が携帯電話21のリスリング領域範囲21a内にあるが、ロボット掃除機23のリスリング領域範囲23a内に位置しておらず、このとき、モニタ機器10bは、携帯電話21へ採集指令を送信し、犬13が発したサウンドを採集する旨を携帯電話21に命令しても良い。また、より良いサウンド採集効果を得るために、モニタ機器10bは、ロボット掃除機23へ移動指令及び採集指令を送信しても良く、移動指令は、ロボット掃除機23を犬13の存在する位置近傍に移動し、犬13をロボット掃除機23のリスリング領域範囲23a内に配置するように、ロボット掃除機23を制御するために用いられ、採集指令は、犬13が発したサウンドを採集するようにロボット掃除機23を制御するために用いられる。
ある可能な実現方式では、図2Kは、ある実施例によるサウンド取得機器が監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御する方法を示すフローチャートである。図2Kに示すように、ステップ103は、以下の3つの方式を含んでも良い。
第1の方式103aとしては、所定条件を満たすサウンド取得機器がサウンドを発した監視対象に最も近いサウンド取得機器である場合、サウンド取得機器がサウンドを採集するように当該サウンド取得機器を制御する。
モニタ機器は、当該監視画面においてサウンドを発した監視対象に対応するサウンドを一時に採集できないとき、採集指令を、サウンドを発した監視対象に最も近いサウンド取得機器に出しても良く、当該採集指令は、監視対象が発したサウンドを採集する旨を、当該サウンド取得機器に命令するために用いられる。
第2の方式103bとしては、所定条件を満たすサウンド取得機器が最も強いサウンド信号を採集したサウンド取得機器である場合、サウンド取得機器がサウンドを継続して採集するように当該サウンド取得機器を制御する。
モニタ機器は、当該監視画面においてサウンドを発した監視対象に対応するサウンドを一時に採集できないとき、採集サウンド信号が最も強いサウンド取得機器へ採集指令を送信しても良く、当該採集指令は、監視対象が発したサウンドを採集する旨を、当該採集サウンド信号が最も強いサウンド取得機器に命令するために用いられる。
第3の方式103cとしては、所定条件を満たすサウンド取得機器がモニタ機器とバインディングされた移動機器である場合、移動機器が監視画面におけるサウンドを発した監視対象の位置に移動するように当該移動機器を制御し、かつ、移動機器が監視対象の存在する位置でのサウンドを採集するように当該移動機器を制御する。
モニタ機器で特定された所定条件を満たすサウンド取得機器がモニタ機器とバインディングされた移動機器である場合、モニタ機器は、当該移動機器へ移動指令及び採集指令を送信しても良く、移動指令は、監視画面におけるサウンドを発した監視対象の位置近傍に移動するように当該移動機器を制御するために用いられてもよく、採集指令は、監視対象が発したサウンドを採集するように移動機器を制御するために用いられる。
図2Lは、ある実施例による移動機器が監視画面におけるサウンドを発した監視対象の位置に移動するようにモータ機器が移動機器を制御する模式図である。図2Lに示すように、モニタ機器10は、猫12が発したサウンドを検出できず、所定条件を満たすサウンド取得機器を、当該モニタ機器10とバインディングされているリモコン飛行機22及びロボット掃除機23として特定した場合、リモコン飛行機22またはロボット掃除機23へ移動指令及び採集指令を出しても良く、移動指令は、猫12の存在する位置近傍に移動するようにリモコン飛行機22またはロボット掃除機23を制御するために用いられ、採集指令は、猫12が発したサウンドを採集するようにリモコン飛行機22またはロボット掃除機23を制御するために用いられる。
以下は本開示の装置の実施例であり、本開示の方法の実施例を実行するために用いることができる。本開示の装置の実施例に開示されていない具体的なものは、本開示の方法の実施例を参照すれば良い。
図3は、ある実施例による監視画面サウンド採集装置を示すブロック図である。図3に示すように、当該監視画面サウンド採集装置は、検出モジュール201と特定モジュール202と制御モジュール203とを備えるが、これらに限定されない。
検出モジュール201は、監視画面がモニタ機器のカメラにより採集されたとき、監視画面にはサウンドを発した監視対象が存在するか否かを検出するように構成される。
特定モジュール202は、監視画面にサウンドを発した監視対象が存在すると当該検出モジュール201により検出されたとき、サウンド取得機器で採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいという所定条件を満たすサウンド取得機器を特定するように構成される。
制御モジュール203は、監視対象が発したサウンドを採集するように、当該特定モジュール202により特定されたサウンド取得機器を制御するように構成される。
ある可能な実現方式では、図4は、別の実施例による監視画面サウンド採集装置を示すブロック図である。図4に示すように、当該検出モジュール201は、第1の検出サブモジュール201aと第2の検出サブモジュール201bと第3の検出サブモジュール201cとを備える。
第1の検出サブモジュール201aは、監視画面にサウンドを発した画像変化要素が存在するか否かを検出するように構成され、画像変化要素は、監視画面に入っている監視対象、あるいは、口形の変化がある監視対象を含み、または、
第2の検出サブモジュール201bは、監視画面における指定種類対象がサウンドを発したか否かを検出するように構成され、指定種類対象は、ドア、窓及び家電製品のうちの少なくとも1つを含み、または、
第3の検出サブモジュール201cは、検出機器からレポートされた指定指標に基づいて、監視画面にサウンドを発した監視対象が存在するか否かを検出するように構成され、検出機器は、モニタ機器とバインディングされた、指定指標をモニタリングするための機器であり、指定指標は、オン・オフ状態、空気品質パラメータ、温度、熱源変化パラメータあるいは生理特徴パラメータであり、または、
ある可能な実現方式では、依然として図4を参照すると、当該特定モジュール202は、第4の検出サブモジュール202aと第1の特定サブモジュール202bとを有する。
第4の検出サブモジュール202aは、モニタ機器で採集された監視画面に対応するサウンドが所定サウンド閾値よりも小さいか否かを検出するように構成される。
第1の特定サブモジュール202bは、モニタ機器で採集された監視画面に対応するサウンドが所定サウンド閾値よりも小さいと当該第4の検出サブモジュール202aにより検出されたとき、所定条件を満たすサウンド取得機器を特定するように構成される。
ある可能な実現方式では、依然として図4を参照すると、当該第1の特定サブモジュール202bは、第1の取得サブモジュール202b1と第2の取得サブモジュール202b2と第2の特定サブモジュール202b3とを有する。
第1の取得サブモジュール202b1は、モニタ機器とバインディングされた全てのサウンド取得機器から、サウンドを発した監視対象に最も近いサウンド取得機器を取得し、取得されたサウンド取得機器を、所定条件を満たすサウンド取得機器として特定するように構成される。
第2の取得サブモジュール202b2は、モニタ機器とバインディングされた全てのサウンド取得機器がサウンドの元となる監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御し、最も強いサウンド信号を採集したサウンド取得機器を、所定条件を満たすサウンド取得機器として特定するように構成される。
第2の特定サブモジュール202b3は、モニタ機器とバインディングされた少なくとも1つの移動機器を、所定条件を満たすサウンド取得機器として特定するように構成される。
ある可能な実現方式では、依然として図4を参照すると、当該第1の取得サブモジュール202b1は、第3の特定サブモジュール202b1aと第4の特定サブモジュール202b1bとを有する。
第3の特定サブモジュール202b1aは、モニタ機器とバインディングされた全てのサウンド取得機器のうち、サウンドを発した監視対象に最も近いサウンド取得機器を室内測位技術によって特定するように構成され、または、
第4の特定サブモジュール202b1bは、サウンドを発した監視対象が存在する位置を画像識別技術によって特定し、サウンド取得機器のそれぞれに対応するリスリング領域範囲に基づいて、サウンドを発した監視対象をリスリングするためのサウンド取得機器を特定するように構成される。
ある可能な実現方式では、依然として図4を参照すると、当該制御モジュール203は、第1の制御サブモジュール203aと第2の制御サブモジュール203bと第3の制御サブモジュール203cとを有する。
第1の制御サブモジュール203aは、所定条件を満たすサウンド取得機器がサウンドを発した監視対象に最も近いサウンド取得機器である場合、サウンド取得機器がサウンドを採集するように当該サウンド取得機器を制御するように構成される。
第2の制御サブモジュール203bは、所定条件を満たすサウンド取得機器が最も強いサウンド信号を採集したサウンド取得機器である場合、サウンド取得機器がサウンドを継続して採集するように当該サウンド取得機器を制御するように構成される。
第3の制御サブモジュール203cは、所定条件を満たすサウンド取得機器がモニタ機器とバインディングされた移動機器である場合、移動機器が監視画面におけるサウンドを発した監視対象の位置に移動するように当該移動機器を制御し、かつ、移動機器が監視対象の存在する位置でのサウンドを採集するように当該移動機器を制御するように構成される。
以上により、本開示の実施例による監視画面サウンド採集装置によれば、サウンドを発した監視対象を監視画面において特定し、監視対象が発したサウンドを採集するように、採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいサウンド取得機器を制御することにより、モニタ機器が当該モニタ機器から遠く離れている監視対象によって発せられたサウンドを明確に取得できないという課題を解決し、サウンド取得機器が監視対象から発せられたサウンドを採集するようにモニタ機器を制御でき、モニタされる情報がより充実するという効果を奏する。
また、モニタ機器は監視対象が発したサウンドを明確に採集できないとき、所定条件を満たすサウンド取得機器へ採集指令を送信して、監視対象に対してサウンドを採集する旨を当該サウンド取得機器に命令しても良く、当該所定条件は、監視対象に最も近いこと、または、採集されたサウンド信号が最も強いこと、または、モニタ機器とバインディングされた移動機器にすることであっても良い。
上記実施例における装置中の各モジュールが操作を実行する具体的な形態は、当該方法に関する実施例において詳細に記述されているため、ここで詳細に説明しない。
本開示のある実施例は、本開示による監視画面サウンド採集方法を実現可能な監視画面サウンド採集装置を提供する。監視画面サウンド採集装置は、プロセッサと、プロセッサが実行可能な指令を記憶するためのメモリと、を備え、プロセッサは、監視画面がモニタ機器のカメラにより採集されたとき、監視画面にはサウンドを発した監視対象が存在するか否かを検出し、監視画面にサウンドを発した監視対象が存在する場合、サウンド取得機器で採集された監視対象のサウンド信号強度がモニタ機器で採集された監視対象のサウンド信号強度よりも大きいという所定条件を満たすサウンド取得機器を特定し、サウンド取得機器が監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するように構成される。
図5は、ある実施例による監視画面のサウンドを採集するためのブロック図である。例えば、装置400は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療設備、フィットネス機器、PDAなどであってもよい。
図5を参照すると、装置400は、以下の1つ又は複数のユニット、すなわち、処理ユニット402、メモリ404、電源ユニット406、マルチメディアユニット408、オーディオユニット410、入力/出力(I/O)インターフェース412、センサユニット414及び通信ユニット416を備えてもよい。
処理ユニット402は通常、装置400の全般操作、例えば、表示、電話発呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット402は、前記方法のステップの全部又は一部を実行するように、指令を実行する1つ又は複数のプロセッサ418を備えてもよい。また、処理ユニット402は、処理ユニット402と他のユニットとの間の相互作用を容易にするように、1つ又は複数のモジュールを備えてもよい。例えば、処理ユニット402は、マルチメディアユニット408と処理ユニット402との間の相互作用を容易にするように、マルチメディアモジュールを備えてもよい。
メモリ404は、装置400での操作をサポートするために、各種別のデータを記憶するように構成される。これらのデータの例示は、装置400で操作する如何なるアプリケーションプログラムまたは方法の指令、連絡先データ、電話帳データ、メッセージ、ピクチャ、映像などを含む。メモリ404は、如何なる種別の揮発性もしくは不揮発性記憶デバイスまたはそれらの組合せ、例えば、静的ランダムアクセスメモリ(SRAM)、電気的に消去可能なプログラマブル読み出し専用メモリ(EEPROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクによって実現されてもよい。
電源ユニット406は、装置400のユニットのそれぞれに電力を供給する。電源ユニット406は、電源管理システム、1つまたは複数の電源、並びに、装置400用の電力を生成、管理および配分するに関する他のユニットを含んでもよい。
マルチメディアユニット408は、装置400とユーザとの間に1つの出力インターフェースを供給するスクリーンを備える。一部の実施例では、スクリーンは、液晶ディスプレイ(LCD)およびタッチパネル(TP)を含んでも良い。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを感知するように、1つまたは複数のタッチセンサを含む。タッチセンサは、タッチまたはスライド動作の境界を感知するだけではなく、タッチまたはスライド操作と関連する持続時間および圧力をさらに検出することができる。一部の実施例では、マルチメディアユニット408は、1つのフロントカメラおよび/またはバックカメラを含む。装置400が操作モード、例えば、撮像モードまたは映像モードにあるとき、フロントカメラおよび/またはバックカメラは、外部のマルチメディアデータを受信することができる。フロントカメラおよびバックカメラのそれぞれは、1つの固定の光学レンズシステムであってもよいし、焦点距離および光学ズーム能力を有するものであってもよい。
オーディオユニット410は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオユニット410は、マイク(MIC)を備え、装置400が操作モード、例えば、発呼モード、記録モードおよび音声識別モードにあるとき、マイクは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらに、メモリ404に記憶される、または、通信ユニット416を介して送信されることができる。一部の実施例では、オーディオユニット410は、さらに、オーディオ信号を出力するためのスピーカをさらに含む。
I/Oインターフェース412は、処理ユニット402とペリフェラルインターフェースモジュールとの間でインターフェースを供給するものであり、前記ペリフェラルインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームページボタン、ボリュームボタン、起動ボタンおよびロックボタンを含んでも良いが、それらに限定されない。
センサユニット414は、様々な側面での状態推定を装置400に供給するための1つまたは複数のセンサを含む。例えば、センサユニット414は、装置400のオン/オフ状態、ユニットの相対位置を検出することができ、例えば、ユニットは、装置400のディスプレイおよびキーパッドである。センサユニット414は、さらに、装置400もしくは装置400の1つのユニットの位置変更、ユーザと装置400との接触の存在もしくは不存在、装置400の方位または加速/減速および装置400の温度変化をさらに検出することができる。センサユニット414は、如何なる物理的接触もないとき、周辺にある物体の存在を検出するための近接センサを含んでもよい。センサユニット414は、さらに、イメージングアプリケーションに使用される光センサ、例えばCMOSまたはCCD画像センサを含んでも良い。一部の実施例では、当該センサユニット414は、さらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでも良い。
通信ユニット416は、装置400と他の機器間の無線または有線方式の通信が便利になるように構成される。装置400は、通信規格に基づく無線ネットワーク、例えば、WiFi、2Gもしくは3G、またはそれらの組合せにアクセスすることができる。ある実施例では、通信ユニット416は、外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャスト関連情報をブロードキャストチャネルを介して受信する。ある実施例では、前記通信ユニット416は、さらに、短距離通信を容易にするように、ニアフィールド通信(NFC)モジュールを含んでも良い。例えば、NFCモジュールでは、無線周波数識別(RFID)技術、赤外データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術および他の技術によって実現されてもよい。
実施例では、装置400は、上記監視画面サウンド採集方法を実行するための1つ又は複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって実現されてもよい。
実施例では、指令を含む非一時的コンピュータ読み取り可能な記憶媒体、例えば、指令を含むメモリ404をさらに提供し、上記指令が装置400のプロセッサ418によって実行されることで上記監視画面サウンド採集方法を実施させることができる。例えば、前記非一時的コンピュータ読み取り可能な記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピーディスク(登録商標)および光データ記憶機器などであっても良い。
当業者は、明細書を考慮し、ここに公開された開示を実践した後、本開示の他の実施案を容易に想到する。本願は、本開示の如何なる変形、用途または適応的変化もカバーすることを意図する。これらの変形、用途または適応的変化は、本開示の一般的な仕組みに従い、かつ、本開示に開示されていない当分野における公知常識または慣用技術手段を含む。明細書および実施例は単なる例示と見なされ、本開示の本当の範囲および思想は添付の特許請求の範囲によって与えられる。
本開示が以上で記載され、且つ図面に示された正確な構造に限定されるものでなく、その要旨を逸脱しない範囲で様々な補正や変更も可能であることは理解されるべきである。本開示の範囲は、添付する特許請求の範囲のみによって限定される。
本発明は、出願番号がCN201510462792.9であり、出願日が2015年7月31日である中国特許出願を基に提出するものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、参照のため本願に援用される。

Claims (15)

  1. 監視画面がモニタ機器のカメラにより採集されたとき、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するステップと、
    前記監視画面に前記サウンドを発した監視対象が存在する場合、サウンド取得機器で採集された前記監視対象のサウンド信号強度が前記モニタ機器で採集された前記監視対象のサウンド信号強度よりも大きいという所定条件を満たす前記サウンド取得機器を特定するステップと、
    前記サウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するステップと、を含み、
    前記サウンド取得機器は採集部材を有し、モニタ機器でない機器であることを特徴とする監視画面サウンド採集方法。
  2. 前記監視画面にサウンドを発した監視対象が存在するか否かを検出するステップは、
    前記監視画面にサウンドを発した画像変化要素が存在するか否かを検出するステップ、または、
    前記監視画面における指定種類対象がサウンドを発したか否かを検出するステップ、または、
    検出機器からレポートされた指定指標に基づいて、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するステップを含み、
    前記画像変化要素は、前記監視画面に入っている監視対象、あるいは、口形の変化がある監視対象を含み、
    前記指定種類対象は、ドア、窓及び家電製品のうちの少なくとも1つを含み、
    前記検出機器は、前記モニタ機器とバインディングされた、前記指定指標をモニタリングするための機器であり、
    前記指定指標は、オン・オフ状態、空気品質パラメータ、温度、熱源変化パラメータあるいは生理特徴パラメータであることを特徴とする請求項1に記載の監視画面サウンド採集方法。
  3. 前記所定条件を満たすサウンド取得機器を特定するステップは、
    前記モニタ機器で採集された前記監視画面に対応するサウンドが所定サウンド閾値よりも小さいか否かを検出するステップと、
    前記モニタ機器で採集された前記監視画面に対応するサウンドが前記所定サウンド閾値よりも小さい場合、前記所定条件を満たすサウンド取得機器を特定するステップと、を含むことを特徴とする請求項1に記載の監視画面サウンド採集方法。
  4. 前記所定条件を満たすサウンド取得機器を特定するステップは、
    前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を取得し、取得されたサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するステップ、または、
    前記モニタ機器とバインディングされた全てのサウンド取得機器がサウンドの元となる前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御し、最も強いサウンド信号を採集したサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するステップ、または、
    前記モニタ機器とバインディングされた少なくとも1つの移動機器を、前記所定条件を満たすサウンド取得機器として特定するステップを含むことを特徴とする請求項3に記載の監視画面サウンド採集方法。
  5. 前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を取得するステップは、
    前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を室内測位技術によって特定するステップ、または、
    サウンドを発した前記監視対象が存在する位置を画像識別技術によって特定し、前記サウンド取得機器のそれぞれに対応するリスリング領域範囲に基づいて、サウンドを発した前記監視対象をリスリングするためのサウンド取得機器を特定するステップを含むことを特徴とする請求項4に記載の監視画面サウンド採集方法。
  6. 前記サウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するステップは、
    前記所定条件を満たすサウンド取得機器がサウンドを発した監視対象に最も近いサウンド取得機器である場合、前記サウンド取得機器がサウンドを採集するように当該サウンド取得機器を制御するステップと、
    前記所定条件を満たすサウンド取得機器が最も強いサウンド信号を採集したサウンド取得機器である場合、前記サウンド取得機器がサウンドを継続して採集するように当該サウンド取得機器を制御するステップと、
    前記所定条件を満たすサウンド取得機器が前記モニタ機器とバインディングされた移動機器である場合、前記移動機器が前記監視画面におけるサウンドを発した監視対象の位置に移動するように当該移動機器を制御し、かつ、前記移動機器が前記監視対象の存在する位置でのサウンドを採集するように当該移動機器を制御するステップと、を含むことを特徴とする請求項1〜5の何れかに記載の監視画面サウンド採集方法。
  7. 監視画面がモニタ機器のカメラにより採集されたとき、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するように構成される検出モジュールと、
    前記監視画面に前記サウンドを発した監視対象が存在すると前記検出モジュールにより検出されたとき、サウンド取得機器で採集された前記監視対象のサウンド信号強度が前記モニタ機器で採集された前記監視対象のサウンド信号強度よりも大きいという所定条件を満たす前記サウンド取得機器を特定するように構成される特定モジュールと、
    前記特定モジュールにより特定されたサウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するように構成される制御モジュールと、を備え
    前記サウンド取得機器は採集部材を有し、モニタ機器でない機器であることを特徴とする監視画面サウンド採集装置。
  8. 前記検出モジュールは、
    前記監視画面にサウンドを発した画像変化要素が存在するか否かを検出するように構成される第1の検出サブモジュール、または、
    前記監視画面における指定種類対象がサウンドを発したか否かを検出するように構成される第2の検出サブモジュール、または、
    検出機器からレポートされた指定指標に基づいて、前記監視画面にサウンドを発した監視対象が存在するか否かを検出するように構成される第3の検出サブモジュールを有し、
    前記画像変化要素は、前記監視画面に入っている監視対象、あるいは、口形の変化がある監視対象を含み、
    前記指定種類対象は、ドア、窓及び家電製品のうちの少なくとも1つを含み、
    前記検出機器は、前記モニタ機器とバインディングされた、前記指定指標をモニタリングするための機器であり、
    前記指定指標は、オン・オフ状態、空気品質パラメータ、温度、熱源変化パラメータあるいは生理特徴パラメータであることを特徴とする請求項7に記載の監視画面サウンド採集装置。
  9. 前記特定モジュールは、
    前記モニタ機器で採集された前記監視画面に対応するサウンドが所定サウンド閾値よりも小さいか否かを検出するように構成される第4の検出サブモジュールと、
    前記モニタ機器で採集された前記監視画面に対応するサウンドが前記所定サウンド閾値よりも小さいと前記第4の検出サブモジュールにより検出されたとき、前記所定条件を満たすサウンド取得機器を特定するように構成される第1の特定サブモジュールと、を有することを特徴とする請求項7に記載の監視画面サウンド採集装置。
  10. 前記第1の特定サブモジュールは、
    前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を取得し、取得されたサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するように構成される第1の取得サブモジュール、または、
    前記モニタ機器とバインディングされた全てのサウンド取得機器がサウンドの元となる前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御し、最も強いサウンド信号を採集したサウンド取得機器を、前記所定条件を満たすサウンド取得機器として特定するように構成される第2の取得サブモジュール、または、
    前記モニタ機器とバインディングされた少なくとも1つの移動機器を、前記所定条件を満たすサウンド取得機器として特定するように構成される第2の特定サブモジュールを有することを特徴とする請求項9に記載の監視画面サウンド採集装置。
  11. 前記第1の取得サブモジュールは、
    前記モニタ機器とバインディングされた全てのサウンド取得機器のうち、前記サウンドを発した監視対象に最も近いサウンド取得機器を室内測位技術によって特定するように構成される第3の特定サブモジュール、または、
    サウンドを発した前記監視対象が存在する位置を画像識別技術によって特定し、前記サウンド取得機器のそれぞれに対応するリスリング領域範囲に基づいて、サウンドを発した前記監視対象をリスリングするためのサウンド取得機器を特定するように構成される第4の特定サブモジュールを有することを特徴とする請求項10に記載の監視画面サウンド採集装置。
  12. 前記制御モジュールは、
    前記所定条件を満たすサウンド取得機器がサウンドを発した監視対象に最も近いサウンド取得機器である場合、前記サウンド取得機器がサウンドを採集するように当該サウンド取得機器を制御するように構成される第1の制御サブモジュールと、
    前記所定条件を満たすサウンド取得機器が最も強いサウンド信号を採集したサウンド取得機器である場合、前記サウンド取得機器がサウンドを継続して採集するように当該サウンド取得機器を制御するように構成される第2の制御サブモジュールと、
    前記所定条件を満たすサウンド取得機器が前記モニタ機器とバインディングされた移動機器である場合、前記移動機器が前記監視画面におけるサウンドを発した監視対象の位置に移動するように当該移動機器を制御し、かつ、前記移動機器が前記監視対象の存在する位置でのサウンドを採集するように当該移動機器を制御するように構成される第3の制御サブモジュールと、を有することを特徴とする請求項7〜11の何れかに記載の監視画面サウンド採集装置。
  13. プロセッサと、
    前記プロセッサが実行可能な指令を記憶するためのメモリと、を備え、
    前記プロセッサは、
    監視画面がモニタ機器のカメラにより採集されたとき、前記監視画面にサウンドを発した監視対象が存在するか否かを検出し、
    前記監視画面に前記サウンドを発した監視対象が存在する場合、サウンド取得機器で採集された前記監視対象のサウンド信号強度が前記モニタ機器で採集された前記監視対象のサウンド信号強度よりも大きいという所定条件を満たすサウンド取得機器を特定し、
    前記サウンド取得機器が前記監視対象から発せられたサウンドを採集するように当該サウンド取得機器を制御するように構成され
    前記サウンド取得機器は採集部材を有し、モニタ機器でない機器であることを特徴とする監視画面サウンド採集装置。
  14. プロセッサに実行されることにより、請求項1から請求項6のいずれか1項に記載の監視画面サウンド採集方法を実現することを特徴とするプログラム。
  15. 請求項14に記載のプログラムが記録された記録媒体。
JP2017531954A 2015-07-31 2015-12-24 監視画面サウンド採集方法、装置、プログラムおよび記録媒体 Active JP6386187B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510462792.9A CN105049807B (zh) 2015-07-31 2015-07-31 监控画面声音采集方法及装置
CN201510462792.9 2015-07-31
PCT/CN2015/098720 WO2017020507A1 (zh) 2015-07-31 2015-12-24 监控画面声音采集方法及装置

Publications (2)

Publication Number Publication Date
JP2017537565A JP2017537565A (ja) 2017-12-14
JP6386187B2 true JP6386187B2 (ja) 2018-09-05

Family

ID=54455959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017531954A Active JP6386187B2 (ja) 2015-07-31 2015-12-24 監視画面サウンド採集方法、装置、プログラムおよび記録媒体

Country Status (8)

Country Link
US (1) US10354678B2 (ja)
EP (1) EP3125152B1 (ja)
JP (1) JP6386187B2 (ja)
KR (1) KR101770930B1 (ja)
CN (1) CN105049807B (ja)
MX (1) MX362891B (ja)
RU (1) RU2638763C2 (ja)
WO (1) WO2017020507A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049807B (zh) * 2015-07-31 2018-05-18 小米科技有限责任公司 监控画面声音采集方法及装置
JP2017102085A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN105657362A (zh) * 2015-12-30 2016-06-08 广州励丰文化科技股份有限公司 地板受力与多麦克风场景下的监控方法及系统
CN105828038A (zh) * 2016-03-31 2016-08-03 顾佳捷 基于can总线的工业现场多媒体无线监控系统及方法
CN108319965A (zh) * 2018-03-28 2018-07-24 江苏珩图智能科技有限公司 一种利用图像获取声音的装置及方法
CN110933254B (zh) * 2019-12-11 2021-09-07 杭州叙简科技股份有限公司 一种基于图像分析的声音过滤系统及其声音过滤方法
CN113763657B (zh) * 2020-06-04 2023-04-21 浙江宇视科技有限公司 监控警报装置、监控警报控制方法及监控系统
CN115499568B (zh) * 2022-09-09 2024-03-05 深圳市云起光电有限公司 一种基于智能家具系统的安防摄像头

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0666542A3 (en) * 1994-02-04 1996-05-15 Fuji Facom Corp Multimedia system for monitoring and controlling processes.
JPH0981233A (ja) 1995-09-18 1997-03-28 Mitsubishi Electric Corp 監視制御支援装置
US6968905B2 (en) * 2003-03-18 2005-11-29 Schlumberger Technology Corporation Distributed control system
JP2005252660A (ja) * 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 撮影システム及び撮影制御方法
KR100681840B1 (ko) * 2005-04-15 2007-02-12 주식회사 에스원 로봇 감시 시스템 및 이를 이용하는 로봇 감시 방법
JP2006339741A (ja) * 2005-05-31 2006-12-14 Matsushita Electric Ind Co Ltd 監視装置および監視方法
JP2009105612A (ja) 2007-10-23 2009-05-14 Yamaha Corp 検知装置および監視カメラ
US10007758B2 (en) * 2009-03-04 2018-06-26 Masimo Corporation Medical monitoring system
JP5189536B2 (ja) * 2009-03-26 2013-04-24 池上通信機株式会社 監視装置
JP5204707B2 (ja) 2009-03-30 2013-06-05 セコム株式会社 画像監視装置
US20110087535A1 (en) * 2009-10-14 2011-04-14 Seiko Epson Corporation Information processing device, information processing system, control method for an information processing device, and a program
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
JP5489778B2 (ja) 2010-02-25 2014-05-14 キヤノン株式会社 情報処理装置およびその処理方法
JP5418327B2 (ja) 2010-03-16 2014-02-19 株式会社リコー ビデオ会議装置
KR20120002801A (ko) * 2010-07-01 2012-01-09 엘지전자 주식회사 감시용 카메라와 그에 따른 음원 추적 방법
CN102056053B (zh) * 2010-12-17 2015-04-01 中兴通讯股份有限公司 一种多话筒混音方法及装置
US9195799B2 (en) * 2011-02-08 2015-11-24 Aulisa Medtech International, Inc. Wireless patient monitoring system
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム
TWI429938B (zh) * 2011-09-16 2014-03-11 Vatics Inc 聲源監視系統及其方法
CN102385389B (zh) * 2011-11-01 2014-08-06 中国科学院深圳先进技术研究院 巡逻机器人、预警系统以及巡逻机器人的监控方法
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
JP2014137767A (ja) 2013-01-18 2014-07-28 Hochiki Corp イベント監視システム
US9594163B2 (en) * 2013-04-15 2017-03-14 Electronics And Telecommunications Research Institute Security and surveillance system and method
CN103595953B (zh) * 2013-11-14 2017-06-20 华为技术有限公司 一种控制视频拍摄的方法和装置
CN103841360A (zh) * 2013-12-11 2014-06-04 三亚中兴软件有限责任公司 分布式视频会议的实现方法及系统、终端、音视频一体化设备
KR20150075224A (ko) * 2013-12-24 2015-07-03 주식회사 케이티 관제 서비스 제공 시스템 및 방법
GB2526666B (en) * 2014-03-31 2016-12-07 Electronics & Telecommunications Res Inst Security monitoring apparatus and method using correlation coefficient variation pattern of sound field spectrum
US10262655B2 (en) * 2014-11-03 2019-04-16 Microsoft Technology Licensing, Llc Augmentation of key phrase user recognition
JP5866551B1 (ja) * 2014-11-20 2016-02-17 パナソニックIpマネジメント株式会社 監視システム及び監視システムにおける監視方法
CN104574745A (zh) * 2015-01-26 2015-04-29 成都美联微智科技有限公司 基于生理特征的安防监控系统
KR20150060626A (ko) 2015-04-24 2015-06-03 롯데건설 주식회사 능동형 무인 경비 시스템
CN105049807B (zh) 2015-07-31 2018-05-18 小米科技有限责任公司 监控画面声音采集方法及装置

Also Published As

Publication number Publication date
CN105049807A (zh) 2015-11-11
RU2638763C2 (ru) 2017-12-15
CN105049807B (zh) 2018-05-18
MX362891B (es) 2019-02-22
KR101770930B1 (ko) 2017-08-23
RU2016115037A (ru) 2017-10-24
EP3125152A1 (en) 2017-02-01
JP2017537565A (ja) 2017-12-14
US20170032805A1 (en) 2017-02-02
MX2016004997A (es) 2017-05-04
EP3125152B1 (en) 2021-09-15
US10354678B2 (en) 2019-07-16
KR20170023753A (ko) 2017-03-06
WO2017020507A1 (zh) 2017-02-09

Similar Documents

Publication Publication Date Title
JP6386187B2 (ja) 監視画面サウンド採集方法、装置、プログラムおよび記録媒体
JP6275268B2 (ja) スマート機器グルーピングシステム、方法および装置
JP6508199B2 (ja) スマートホーム機器の制御方法、装置、システムおよび機器
JP6416916B2 (ja) 機器グルーピング管理システム、方法および装置
KR101695075B1 (ko) 지능형 원격제어 방법, 장치, 프로그램 및 기록매체
JP6389014B2 (ja) スマート機器の音声制御方法、装置、プログラム、記録媒体、制御機器およびスマート機器
CN104540184B (zh) 设备联网方法及装置
JP6262920B2 (ja) アプリケーションのインタラクション方法、装置、プログラム及び記録媒体
KR20180032613A (ko) 기기 제어 방법 및 장치
EP3163804B1 (en) Method, apparatus and system for setting the working mode of a device
WO2017101497A1 (zh) 设备控制方法及装置
CN105246045A (zh) 用户位置变化的确定方法及装置
JP6220106B2 (ja) 情報収集方法およびその装置、プログラム及び記録媒体
JP2017503444A (ja) 撮影制御方法、装置、プログラム及び記録媒体
CN105681928A (zh) 设备控制方法及装置
KR101684203B1 (ko) 스트림 미디어 데이터를 방송하기 위한 방법 및 장치
CN105160793A (zh) 报警方法及装置
CN105049813A (zh) 控制视频画面的方法、装置及终端
EP3823251A1 (en) Function control method, function control device, and computer-readable storage medium
CN104637288B (zh) 指令组确定方法和装置
CN105045125A (zh) 在家电控制中使用的提示方法及装置
CN106878654A (zh) 视频通信的方法及装置
EP4203440A1 (en) Method and device for sharing data, electronic device, and storage medium
KR20150057128A (ko) 이동 단말기, 및 그 동작방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180808

R150 Certificate of patent or registration of utility model

Ref document number: 6386187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250