KR20170023753A - 모니터링 화면 소리 수집 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체 - Google Patents

모니터링 화면 소리 수집 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체 Download PDF

Info

Publication number
KR20170023753A
KR20170023753A KR1020167004628A KR20167004628A KR20170023753A KR 20170023753 A KR20170023753 A KR 20170023753A KR 1020167004628 A KR1020167004628 A KR 1020167004628A KR 20167004628 A KR20167004628 A KR 20167004628A KR 20170023753 A KR20170023753 A KR 20170023753A
Authority
KR
South Korea
Prior art keywords
sound
monitoring
monitored
monitoring screen
acquiring
Prior art date
Application number
KR1020167004628A
Other languages
English (en)
Other versions
KR101770930B1 (ko
Inventor
밍용 탕
후아이준 리우
타오 첸
Original Assignee
시아오미 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시아오미 아이엔씨. filed Critical 시아오미 아이엔씨.
Publication of KR20170023753A publication Critical patent/KR20170023753A/ko
Application granted granted Critical
Publication of KR101770930B1 publication Critical patent/KR101770930B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Selective Calling Equipment (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 모니터링 화면 소리 수집 방법 및 장치를 공개한 것으로, 컴퓨터 기술분야에 속한다. 상기 모니터링 화면 소리 수집 방법은, 모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계와; 상기 모니터링 화면 중에 상기 소리를 발생하는 피모니터링 대상이 존재하면, 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계 -상기 기설정된 조건이란 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 것임- 와; 상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하는 단계를 포함한다. 따라서 모니터링 기기가 모니터링 기기로부터 비교적 먼 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없는 문제를 해결하고; 모니터링 기기가 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하여, 모니터링된 정보가 완전하도록 하는 효과를 달성한다.

Description

모니터링 화면 소리 수집 방법 및 장치{METHOD AND APPARATUS FOR COLLECTING SOUND OF MONITORING SCREEN}
본원 발명은 출원번호가 201510462792.9이고 출원일자가 2015년 7월 31일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 발명에 원용된다.
본 발명은 컴퓨터 기술분야에 관한 것으로, 특히 모니터링 화면 소리 수집 방법 및 장치에 관한 것이다.
카메라는 여러가지 사건이 발생되는 과정을 진실성 있게 모니터링(monitoring)할 수 있기에, 카메라의 모니터링 기능은 점점 광범위하게 응용되는 바, 예를 들어, 교통 모니터링, 슈퍼마켓 모니터링, 주택 단지 모니터링 등이다.
모니터링 기기 상의 카메라를 이용하여 모니터링을 진행할 경우, 촬영된 피모니터링 대상이 비교적 먼 곳에 있으면, 해당 모니터링 기기는 일반적으로 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없으므로, 모니터링된 정보가 불완전하게 될 수 있다.
모니터링 기기가, 모니터링 기기로부터 비교적 먼 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없는 문제를 해결하기 위하여, 본 발명은 모니터링 화면 소리 수집 방법 및 장치를 제공한다. 상기 과제 해결 수단은 하기와 같다.
본 발명 실시예의 제1양태에 따르면,
모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계와;
상기 모니터링 화면 중에 상기 소리를 발생하는 피모니터링 대상이 존재하면, 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계 -상기 기설정된 조건이란 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 것임- 와;
상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하는 단계를 포함하는 모니터링 화면 소리 수집 방법을 제공한다.
선택적으로, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계는,
상기 모니터링 화면 중에, 소리를 발생하는 이미지 변화 요소(element)가 존재하는지의 여부를 검출하는 단계 -상기 이미지 변화 요소는 상기 모니터링 화면에 나타나는 피모니터링 대상 또는 입 모양이 변화된 피모니터링 대상을 포함함-; 또는,
상기 모니터링 화면 중에, 문, 창문 및 가전제품 중의 적어도 하나를 포함하는 지정 유형 대상이 소리를 발생시키는지의 여부를 검출하는 단계; 또는,
기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계 -상기 감지 기기는 상기 모니터링 기기와 바인딩(binding)된 것으로, 스위칭 상태, 공기 품질 파라미터, 온도, 열원 변화 파라미터 또는 생리적 특징 파라미터인 상기 지정 지표를 감지하기 위한 것임- 를 포함한다.
선택적으로, 상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계는,
상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작은지의 여부를 검출하는 단계와;
상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 상기 기설정된 소리 임계값보다 작으면, 상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계를 포함한다.
선택적으로, 상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계는,
상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 상기 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계; 또는,
상기 모니터링 기기와 바인딩된 모든 소리 획득 기기를 제어하여 소리를 발생하는 상기 피모니터링 대상이 발생시키는 소리를 수집하고, 가장 강한 소리 신호를 수집한 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계; 또는,
상기 모니터링 기기와 바인딩된 적어도 하나의 이동 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계를 포함한다.
선택적으로, 상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 상기 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계는,
실내 위치 결정 기술을 통하여 상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 결정하는 단계; 또는,
이미지 인식 기술을 통하여 소리를 발생하는 상기 피모니터링 대상이 위치하는 위치를 결정하고, 상기 소리 획득 기기 각각에 대응되는 감청 영역 범위에 기반하여, 소리를 발생하는 상기 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하는 단계를 포함한다.
선택적으로, 상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하는 단계는,
상기 기설정된 조건에 부합되는 소리 획득 기기가 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 수집하는 단계와;
상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 가장 강한 소리 신호를 수집한 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 계속 수집하는 단계와;
상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 모니터링 기기와 바인딩된 이동 기기일 경우, 상기 이동 기기가 상기 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하고, 상기 이동 기기가 상기 피모니터링 대상이 위치하는 위치의 소리를 수집하도록 제어하는 단계를 포함한다.
본 발명 실시예의 제2양태에 따르면,
모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하도록 구성된 검출 모듈과;
상기 검출 모듈이 상기 모니터링 화면 중에 상기 소리를 발생하는 피모니터링 대상이 존재한다고 검출될 경우, 기설정된 조건에 부합되는 소리 획득 기기를 결정하도록 구성된 결정 모듈 -상기 기설정된 조건이란 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 것임- 과;
상기 결정 모듈에 의해 결정된 상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하도록 구성된 제어 모듈을 포함하는 모니터링 화면 소리 수집 장치를 제공한다.
선택적으로, 상기 검출 모듈은,
상기 모니터링 화면 중에, 소리를 발생하는 이미지 변화 요소가 존재하는지의 여부를 검출하는 제 1 검출 서브 모듈 -상기 이미지 변화 요소는 상기 모니터링 화면에 나타나는 피모니터링 대상 또는 입 모양이 변화된 피모니터링 대상을 포함함-; 또는,
상기 모니터링 화면 중에, 문, 창문 및 가전제품 중의 적어도 하나를 포함하는 지정 유형 대상이 소리를 발생시키는지의 여부를 검출하도록 구성된 제2검출 서브 모듈; 또는,
기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하도록 구성된 제3검출 서브 모듈 -상기 감지 기기는 상기 모니터링 기기와 바인딩된 것으로, 스위칭 상태, 공기 품질 파라미터, 온도, 열원 변화 파라미터 또는 생리적 특징 파라미터인 상기 지정 지표를 감지하기 위한 것임- 을 포함한다.
선택적으로, 상기 결정 모듈은,
상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작은지의 여부를 검출하도록 구성된 제4검출 서브 모듈과;
상기 제4검출 서브 모듈이, 상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 상기 기설정된 소리 임계값보다 작다는 것을 검출할 경우, 상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하도록 구성된 제1결정 서브 모듈을 포함한다.
선택적으로, 상기 결정 서브 모듈은,
상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 상기 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된 제1획득 서브 모듈; 또는,
상기 모니터링 기기와 바인딩된 모든 소리 획득 기기를 제어하여 소리를 발생하는 상기 피모니터링 대상이 발생시키는 소리를 수집하고, 가장 강한 소리 신호를 수집한 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된 제2획득 서브 모듈; 또는,
상기 모니터링 기기와 바인딩된 적어도 하나의 이동 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된 제2결정 서브 모듈을 포함한다.
선택적으로, 상기 제1획득 서브 모듈은,
실내 위치 결정 기술을 통하여 상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 결정하도록 구성된 제3결정 서브 모듈; 또는,
이미지 인식 기술을 통하여 소리를 발생하는 상기 피모니터링 대상이 위치하는 위치를 결정하고, 상기 소리 획득 기기 각각에 대응되는 감청 영역 범위에 기반하여, 소리를 발생하는 상기 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하도록 구성된 제4결정 서브 모듈을 포함한다.
선택적으로, 상기 제어 모듈은,
상기 기설정된 조건에 부합되는 소리 획득 기기가 소리를 발생하는 피모니터링 대상과 가장 가까운 상기 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 수집하도록 구성된 제1제어 서브 모듈과;
상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 가장 강한 소리 신호를 수집한 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 계속 수집하도록 구성된 제2제어 서브 모듈과;
상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 모니터링 기기와 바인딩된 이동 기기일 경우, 상기 이동 기기가 상기 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하고, 상기 이동 기기가 상기 피모니터링 대상이 위치하는 위치의 소리를 수집하도록 제어하는 제3제어 서브 모듈을 포함한다.
본 발명 실시예의 제3양태에 따르면,
프로세서와;
상기 프로세서가 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고;
상기 프로세서는,
모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하고;
상기 모니터링 화면 중에 상기 소리를 발생하는 피모니터링 대상이 존재하면, 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 기설정된 조건에 부합되는 소리 획득 기기를 결정하며;
상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하도록 구성되는 모니터링 화면 소리 수집 장치를 제공한다.
본 발명의 실시예가 제공하는 과제 해결 수단은 하기와 같은 유리한 효과를 포함할 수 있다.
모니터링 화면 중에서 소리를 발생하는 피모니터링 대상을 결정하고, 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 큰 소리 획득 기기를 제어하여, 피모니터링 대상에 의해 발생되는 소리를 수집함으로써, 모니터링 기기가, 모니터링 기기로부터 비교적 먼 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없는 문제를 해결하고, 모니터링 기기가 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하여, 모니터링된 정보가 완전하도록 하는 효과를 달성한다.
상기의 일반적인 설명과 후술되는 구체적인 설명은 단지 예시적인 것이며 본 발명을 한정하는 것이 아님을 이해해야 한다.
아래의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며 본 발명에 맞는 실시예를 예시하여 명세서와 함께 본 발명의 원리를 설명하기 위한 것이다.
도1은 예시적인 일 실시예에 따라 도시한 모니터링 화면 소리 수집 방법의 흐름도이다.
도2a는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 흐름도이다.
도2b는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 방법의 흐름도이다.
도2c는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 피모니터링 대상이 나타나는 모식도이다.
도2d는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 입 모양이 변화된 피모니터링 대상이 존재하는 모식도이다.
도2e는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중의 지정 유형 대상이 소리를 발생시키는 모식도이다.
도2f는 예시적인 일 실시예에 따라 도시한, 기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 모식도이다.
도2g는 예시적인 일 실시예에 따라 도시한, 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 방법의 흐름도이다.
도2h는 예시적인 일 실시예에 따라 도시한, 가장 강한 소리 신호를 수집한 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 모식도이다.
도2i는 예시적인 일 실시예에 따라 도시한, 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 모니터링 화면 중의 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하는 방법의 흐름도이다.
도2j는 예시적인 일 실시예에 따라 도시한, 모니터링 기기가 소리를 발생하는 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하는 모식도이다.
도2k는 예시적인 일 실시예에 따라 도시한, 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하는 방법의 흐름도이다.
도2l은 예시적인 일 실시예에 따라 도시한, 모니터링 기기가, 이동 기기가 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하는 모식도이다.
도3은 예시적인 일 실시예에 따라 도시한 모니터링 화면 소리 수집 장치의 블록도이다.
도4는 다른 예시적인 일 실시예에 따라 도시한 모니터링 화면 소리 수집 장치의 블록도이다.
도5는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 소리를 수집하기 위한 장치의 블록도이다.
여기서, 예시적 실시예에 대해 상세하게 설명하고, 이를 첨부되는 도면에 예시적으로 나타냈다. 하기에서 첨부되는 도면에 대해 설명할 때 별도로 표시하지 않는 한, 다른 도면의 동일한 숫자는 동일하거나 유사한 구성요소를 나타낸다. 하기의 예시적 실시예에서 설명한 실시형태는 본 발명과 일치한 모든 실시형태를 의미하는 것은 아니다. 반대로, 이들은 첨부된 특허청구범위에서 설명한, 본 발명의 일부 양태와 일치한 장치와 방법에 대한 예일 뿐이다.
도1은 예시적인 일 실시예에 따라 도시한 모니터링 화면 소리 수집 방법의 흐름도이고, 도1에 도시된 바와 같이, 상기 모니터링 화면 소리 수집 방법은 하기와 같은 단계들을 포함한다.
단계101에서, 모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출한다.
일반적으로, 모니터링 기기는 모니터링 화면을 수집할 수 있을 뿐만 아니라, 모니터링 화면 중의 피모니터링 대상에 의해 발생되는 소리도 수집할 수 있다.
단계102에서, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하면, 소리 획득 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 크다는 기설정된 조건에 부합되는 소리 획득 기기를 결정한다.
현재, 모니터링 기기는 비록 모니터링 스크린을 뚜렷하게 수집할 수 있지만, 모니터링 스크린 중의 피모니터링 대상 소리의 수집 효과가 비교적 좋지 않은 바, 예를 들어, 모니터링 화면 중의 피모니터링 대상에 의해 발생되는 소리는 매우 미약하거나, 또는 모니터링 화면 중의 피모니터링 대상은 모니터링 기기로부터 비교적 멀기 때문에, 상기 피모니터링 대상의 발생된 소리는 모니터링 기기에 의해 뚜렷하게 수집될 수 없을 뿐만 아니라, 심지어 모니터링 기기에 의해 자동으로 여과될 수 있는데, 이때, 기설정된 조건이 별도로 설정된 소리 획득 기기로 상기 피모니터링 대상의 소리를 수집해야 한다.
여기서 말하는 기설정된 조건은 소리 획득 기기에 의해 획득된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 큰 것일 수 있고, 기설정된 조건을 만족시키면, 상기 소리 획득 기기가 상기 피모니터링 대상 소리에 대한 수집을 시작한다.
여기서 말하는 소리 획득 기기는 소리 수집 부품을 구비하는 휴대폰, 스피커, 블루투스 이어폰 등 기기일 수 있다.
단계103에서, 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집한다.
모니터링 기기는 모니터링 화면 중의 피모니터링 대상에 의해 발생되는 소리를 검출하는데, 피모니터링 대상에 의해 발생되는 소리가 너무 미약하거나 또는, 피모니터링 대상이 모니터링 기기로부터 비교적 멀기 때문에, 모니터링 기기가 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 수집할 수 없는데, 이때, 모니터링 기기는 기설정된 조건에 부합되는 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집할 수 있다.
상술한 바를 종합하면, 본 발명의 실시예에서 제공하는 모니터링 화면 소리 수집 방법은, 모니터링 화면 중에서 소리를 발생하는 피모니터링 대상을 결정하고, 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 큰 소리 획득 기기를 제어하여, 피모니터링 대상에 의해 발생되는 소리를 수집함으로써, 모니터링 기기가, 모니터링 기기로부터 비교적 먼 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없는 문제를 해결하고, 모니터링 기기가 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하여, 모니터링된 정보가 완전하도록 하는 효과를 달성한다.
하나의 가능한 실시형태에서, 도1 중의 단계102를 추가적으로 단계102a 내지 단계 102b로 대체할 수 있다. 도2a를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 흐름도이고, 도2a에 도시된 바와 같이, 모니터링 기기가 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출될 경우, 하기와 같은 단계들을 포함한다.
단계102a에서, 모니터링 기기에 의해 수집된 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작은지의 여부를 검출한다.
모니터링 화면 중의 피모니터링 대상에 의해 발생되는 소리가 너무 미약하거나, 또는 모니터링 화면 중의 피모니터링 대상이 모니터링 기기로부터 비교적 멀기 때문에, 상기 피모니터링 대상의 발생된 소리는 모니터링 기기에 의해 뚜렷하게 수집될 수 없으므로, 여기서 말하는 기설정된 소리 임계값은, 모니터링 기기가 모니터링 화면에 대응되는 소리를 뚜렷하게 수집할 수 있는가 하는 임계값이다. 모니터링 기기에 의해 수집된 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작을 경우, 모니터링 기기는 잠시 상기 모니터링 화면에 대응되는 소리를 수집할 수 없다는 것을 표명한다.
단계102b에서, 모니터링 기기에 의해 수집된 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작으면, 기설정된 조건에 부합되는 소리 획득 기기를 결정한다.
모니터링 기기에 의해 수집된 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작을 경우, 모니터링 기기가 잠시 상기 모니터링 화면에 대응되는 소리를 수집할 수 없다는 것을 설명하므로, 기설정된 조건에 부합되는 소리 획득 기기를 결정하여, 모니터링 기기가 상기 모니터링 화면에 대응되는 소리를 수집하는 것을 대체해야 된다.
상술한 바를 종합하면, 본 발명의 실시예에서 제공하는 모니터링 화면 소리 수집 방법은, 모니터링 화면 중에서 소리를 발생하는 피모니터링 대상을 결정하고, 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 큰 소리 획득 기기를 제어하여, 피모니터링 대상에 의해 발생되는 소리를 수집함으로써, 모니터링 기기가, 모니터링 기기로부터 비교적 먼 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없는 문제를 해결하고, 모니터링 기기가 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하여, 모니터링된 정보가 완전하도록 하는 효과를 달성한다.
이 밖에, 모니터링 기기가 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 수집할 수 없을 경우, 기설정된 조건에 부합되는 소리 획득 기기에 수집 인스트럭션을 송신하여, 피모니터링 대상을 수집하도록 상기 소리 획득 기기에 명령할 수 있는 바, 여기서 상기 기설정된 조건은 피모니터링 대상으로부터 가장 가깝거나, 또는 수집된 소리 신호가 가장 강하거나, 또는 모니터링 기기와 바인?壅? 이동 기기를 의미할 수 있다.
하나의 가능한 실시형태에서, 도2b를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 방법의 흐름도이고, 도2b에 도시된 바와 같이, 단계101은 하기와 같은 세가지 방식을 포함할 수 있다.
첫 번째 방식 101a에서, 모니터링 화면 중에, 소리를 발생하는 이미지 변화 요소가 존재하는지의 여부를 검출하되, 상기 이미지 변화 요소는 모니터링 화면에 나타나는 피모니터링 대상 또는 입 모양이 변화된 피모니터링 대상을 포함하는 것이다.
여기서 말하는 이미지 변화 요소는 모니터링 화면 중에 이동되는 사람 또는 물체일 수 있고, 사람 또는 동물의 입 부분의 입 모양 변화일 수도 있다.
도2c를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 피모니터링 대상이 나타나는 모식도이고, 도2c에 도시된 바와 같이, 모니터링 기기 10에 의해 모니터링된 스크린 중에 사람 11, 고양이 12 및 강아지(13)가 나타나면, 모니터링 기기(10)는 사람(11), 고양이(12) 및 강아지(13)를 피모니터링 대상으로 볼 수 있고; 도2d를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중에 입 모양이 변화된 피모니터링 대상이 존재하는 모식도이고, 도2d에 도시된 바와 같이, 모니터링 기기(10)에 의해 모니터링된 스크린 중에 사람(11a)과 사람(11b)이 대화 중이면, 모니터링 기기(10)에 의해 검출된 사람(11a)과 사람(11b)의 입 모양이 변화될 경우, 사람(11b)과 사람(11b)을 피모니터링 대상으로 볼 수 있다.
두 번째 방식 101b에서, 모니터링 화면 중에, 문, 창문 및 가전제품 중의 적어도 하나를 포함하는 지정 유형 대상이 소리를 발생시키는지의 여부를 검출한다.
때로는, 모니터링 화면에서, 문, 창문 및 가전제품에 의해 소리가 발생될 경우, 모니터링 화면은 너무 큰 변화가 발생되지 않는 바, 예를 들어, 사람이 문을 두드리거나, 텔레비전이 켜지거나, 선풍기가 도는 등인데, 여기서 말하는 지정 유형 대상은 자체가 이동될 수 없는 것을 의미하므로, 카메라는 수집된 소리를 통하여 소리를 획득할 대상을 판정해야 한다.
도2e를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 중의 지정 유형 대상이 소리를 발생시키는 모식도이고, 도2e에 도시된 바와 같이, 모니터링 스크린 중의 문(14)을 두드려서 소리가 나거나, 텔레비전(15)이 켜지거나 선풍기(16)가 돌 경우, 전반적인 모니터링 화면이 큰 변화를 발생하지 않지만, 모니터링 기기(10)는 여전히 문을 두드리는 소리, 텔레비전 프로그램의 소리, 날개가 돌아가는 소리에 기반하여, 문(14), 텔레비전(15), 선풍기(16)를 피모니터링 대상으로 볼 수 있다.
세 번째 방식 101c에서, 기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하되, 감지 기기는 모니터링 기기와 바인딩된 것으로, 스위칭 상태, 공기 품질 파라미터, 온도, 열원 변화 파라미터 또는 생리적 특징 파라미터인 지정 지표를 감지한다.
모니터링 화면 중에 피모니터링 대상에 의해 발생되는 소리가 지나치게 미약할 경우, 모니터링 기기는 감지 기기에 의해 스크린 중의 어떠한 피모니터링 대상들이 소리를 발생시킨다는 것을 판정할 수 있는 바, 여기서 말하는 감지 기기는 피모니터링 대상의 주위 또는 피모니터링 대상 상에 설치되어 피모니터링 대상의 상태를 감지하기 위한 감지 기기이다.
예를 들어, 감지 기기를 가전제품의 스위치 상에 설치하면, 가전제품이 작동될 경우, 감지 기기는 작동 상태 데이터를 모니터링 기기에 피드백할 수 있고, 모니터링 기기는 데이터를 수신한 후 상기 가전제품이 피모니터링 대상이라는 것을 결정하고, 조건에 부합되는 소리 획득 기기에 수집 인스트럭션을 송신하여, 상기 가전제품이 발생시키는 소리를 수집하도록 조건에 부합되는 소리 획득 기기를 명령한다. 또한 예를 들어, 감지 기기가 창문 또는 문 부근에 설치되면, 창문 또는 문이 열릴 경우, 감지 기기가, 주위 공기 온도가 변화된 것을 감응할 경우, 온도 변화 데이터를 모니터링 기기에 피드백할 수 있고, 모니터링 기기가 데이터를 수신한 후 창문 또는 문이 피모니터링 대상이라는 것을 결정하며, 조건에 부합되는 소리 획득 기기에 수집 인스트럭션을 송신하여, 상기 가전제품이 발생시키는 소리를 수집하도록 조건에 부합되는 소리 획득 기기를 명령한다.
도2f를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 모식도이고, 도2f에 도시된 바와 같이, 모니터링 화면 중의 문(18)이 열린 후, 문(18)의 상방에 설치된 센서(17)가 주위 공기 온도가 변화된 것을 감응할 경우, 온도 변화 데이터를 모니터링 기기(10)에 피드백하고, 모니터링 기기(10)가 피드백 데이터를 수신한 후 조건에 부합되는 소리 획득 기기에 수집 인스트럭션을 송신하여, 문(18)이 발생시키는 소리를 수집하도록 조건에 부합되는 소리 획득 기기를 명령한다
하나의 가능한 실시형태에서, 도2g를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 방법의 흐름도이고, 도2g에 도시된 바와 같이, 기설정된 조건에 부합되는 소리 획득 기기를 결정하고, 실제적으로 구현할 경우, 단계102b는 하기와 같은 세가지 방식을 포함할 수 있다.
첫 번째 방식 102b1에서, 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
기설정된 조건이 가장 가까운 거리일 경우, 모니터링 기기는 모니터링 화면을 통하여, 소리를 발생하는 피모니터링 대상으로부터 가장 가까운 소리 획득 기기를 결정하고, 상기 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
두 번째 방식 102b2에서, 모니터링 기기와 바인딩된 모든 소리 획득 기기를 제어하여 소리를 발생하는 피모니터링 대상이 발생시키는 소리를 수집하고, 가장 강한 소리 신호를 수집한 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
기설정된 조건이 가장 강한 소리 신호일 경우, 모니터링 기기는, 모든 소리 획득 기기를 향해 상기 모니터링 화면 중의 피모니터링 대상을 수집하도록 명령하기 위한 수집 인스트럭션을 모든 소리 획득 기기에 송신하는 것을 통하여, 모든 소리 획득 기기가 상기 수집 인스트럭션을 수신한 후 상기 피모니터링 대상을 향해 소리 수집을 시작하고, 수집하여 얻은 소리를 모니터링 기기에 송신하여 종합 테스트를 진행하며, 모니터링 기기는, 모든 소리 획득 기기에 의해 수집된 소리를 수신하고 테스트한 후, 소리 신호가 가장 강한 소리 획득 기기를 결정하고, 상기 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
도2h를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 가장 강한 소리 신호를 수집한 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 모식도이고, 도2h에 도시된 바와 같이, 모니터링 화면 중에 스피커(19), 블루투스 이어폰(20) 및 휴대폰(21)인 세 개의 소리 획득 기기가 있는데, 상기 모니터링 화면 중에 사람(11)이 나타날 경우, 모니터링 기기(10)는 사람(11)을 피모니터링 대상으로 결정한 후, 스피커(19), 블루투스 이어폰(20) 및 휴대폰(21)에 수집 인스트럭션을 송신하고, 이 세 개의 소리 획득 기기가 상기 수집 인스트럭션을 수신한 후, 각각 사람(11)에 의해 발생된 소리를 수집하며, 수집된 소리를 모니터링 기기(10)에 송신하고, 모니터링 기기(10)는 이 세 개의 소리 획득 기기에 의해 수집된 소리를 테스트하여, 소리 신호가 가장 강한 블루투스 이어폰(20)을 결정하고, 블루투스 이어폰(20)을 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
세 번째 방식 102b3에서, 모니터링 기기와 바인딩된 적어도 하나의 이동 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
모니터링 기기는 이동 단말기, 청소 로봇, 원격조종 비행기 등 실내에서 이동이 편리한 이동 기기와 바인?壅? 수 있는 바, 피모니터링 대상이 모니터링 기기로부터 비교적 멀 경우, 이러한 이동 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정한다.
하나의 가능한 실시형태에서, 도2i를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 모니터링 화면 중의 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하는 방법의 흐름도이고, 도2i에 도시된 바와 같이, 단계102b 중의 첫 번째 방식 102b1은 하기와 같은 두 가지 방식을 포함할 수 있다.
첫 번째 방식 102b1a에서, 실내 위치 결정 기술을 통하여 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 결정한다.
모니터링 기기는 복수의 방에 설치될 수 있는 바, 모든 모니터링 기기는 무선 또는 유선 네트워크를 통하여 서로 연결되어, 실내 위치 결정 시스템을 형성하므로, 사람, 동물, 가전제품 등 물체가 실내 공간에 있는 것에 대한 모니터링을 실현할 수 있다. 어느 모니터링 기기의 모니터링 화면에 소리를 발생하는 모니터링 대상이 나타날 경우, 모니터링 기기와 바인딩된 모든 소리 획득 기기 중에서, 상기 피모니터링 대상으로부터 가장 가까운 하나의 소리 획득 기기를 결정할 수 있고, 상기 소리 획득 기기에 수집 인스트럭션을 송신하여, 상기 피모니터링 대상에 의해 발생되는 소리를 수집하도록 상기 소리 획득 기기에 명령한다.
두 번째 방식 102b1b에서, 이미지 인식 기술을 통하여 소리를 발생하는 피모니터링 대상이 위치하는 위치를 결정하고, 소리 획득 기기 각각에 대응되는 감청 영역 범위에 기반하여, 소리를 발생하는 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정한다.
각각의 소리 획득 기기에는 모두 각각에 대응되는 감청 영역 범위가 있고, 모든 소리 획득 기기의 감청 범위 데이터를 모니터링 기기에 입력하면, 모니터링 기기는 모니터링 화면을 통하여, 소리를 발생하는 피모니터링 대상이 어느 소리 획득 기기의 감청 영역 범위 내에 위치하는지를 결정하여, 상기 상기 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정한다.
도2j를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 기기가 소리를 발생하는 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하는 모식도이고, 도2j에 도시된 바와 같이, 스크린 중에 두 개의 구석이 있을 경우, 이 두 개의 구석은 각각 모니터링 기기(10a)와 모니터링 기기(10b)가 설치되어 있고, 모니터링 기기(10a)와 모니터링 기기(10b)는 무선 또는 유선 네트워크를 통하여 서로 연결되어, 실내 위치 결정 시스템을 형성하며, 모니터링 기기(10a)에 의해 모니터링된 스크린 중에 위치한 텔레비전(15)이 켜진 후, 모니터링 기기(10a)는 모니터링 화면을 통하여 모니터링된 스크린 중에 스피커(19)인 하나의 소리 획득 기기만 있다는 것을 결정하지만, 텔레비전(15)은 스피커(19)의 감청 영역 범위(19a) 내에 있지 않는데, 이때, 모니터링 기기(10a)는 모니터링 기기(10b)에 조회 인스트럭션을 송신하되, 상기 조회 인스트럭션은, 모니터링 기기(10b)에 의해 모니터링된 스크린 중에 모든 모니터링 기기와 바인?壅? 이동 기기가 존재하는지의 여부를 모니터링 기기(10b)에 조회하기 위한 것이다. 모니터링 기기(10b)가 조회 인스트럭션을 수신한 후, 대응되는 모니터링 화면에서, 모든 모니터 기기와 바인딩된 청소 로봇(23)을 결정하고, 청소 로봇(23)에 이동 인스트럭션을 송신하여, 청소 로봇(23)이 모니터링 기기(10a)의 모니터링 화면 중에 이동되도록 명령하며, 모니터링 기기(10a)에 의해 청소 로봇(23)에 이동 인스트럭션과 수집 인스트럭션이 송신되는 바, 여기서 이동 인스트럭션은, 텔레비전(15)이 청소 로봇(23)의 감청 영역 범위(23a) 내에 위치하도록 청소 로봇(23)을 텔레비전(15)이 위치하는 위치 부근으로 이동시키기 위한 것일 수 있고, 수집 인스트럭션은 청소 로봇(23)을 제어하여 텔레비전(15)에 의해 발생되는 소리를 수집하는 것을 제어하기 위한 것이다.
여전히 도2j를 참조해 보면, 모니터링 기기(10b)에 의해 모니터링된 스크린 중에 강아지(13)가 나타날 경우, 모니터링 기기(10b)는 모니터링 화면을 통하여, 모니터링된 스크린 중에 휴대폰(21)과 청소 로봇(23)인 두 개의 소리 획득 기기가 있다는 것을 결정하는 바, 여기서 강아지(13)는 휴대폰(21)의 감청 영역 범위(21a) 내에 있지만, 청소 로봇(23)의 감청 영역 범위(23a) 내에 있지 있지 않은데, 이때, 모니터링 기기(10b)는 휴대폰(21)에 수집 인스트럭션을 송신하여, 강아지(13)에 의해 발생되는 소리를 수집하도록 휴대폰(21)을 명령할 수 있다, 이 밖에, 더 좋은 소리 수집 효과를 획득하기 위하여, 모니터링 기기(10b)는 청소 로봇(23)에 이동 인스트럭션과 수집 인스트럭션을 송신할 수도 있는 바, 여기서 이동 인스트럭션은, 강아지(13)가 청소 로봇(23)의 감청 영역 범위(23a) 내에 위치하도록 청소 로봇(23)을 강아지(13)가 위치하는 위치 부근에 이동시키는 것을 제어하기 위한 것일 수 있고, 수집 인스트럭션은, 청소 로봇(23)을 제어하여 강아지(13)에 의해 발생되는 소리를 수집하는 것을 제어하기 위한 것이다.
하나의 가능한 실시형태에서, 도2k를 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하는 방법의 흐름도이고, 도2k에 도시된 바와 같이, 단계103은 하기와 같은 세가지 방식을 포함할 수 있다.
첫 번째 방식 103a에서, 기설정된 조건에 부합되는 소리 획득 기기가 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기일 경우, 소리 획득 기기를 제어하여 소리를 수집한다.
모니터링 기기가 상기 모니터링 화면 중의 소리를 발생하는 피모니터링 대상에 대응되는 소리를 잠시 수집할 수 없을 경우, 소리를 발생하는 피모니터링 대상으로부터 가장 가까운 소리 획득 기기에 하나의 수집 인스트럭션을 송신할 수 있는 바, 피모니터링 대상에 의해 발생되는 소리를 수집하도록 상기 수집 인스트럭션은 상기 소리 획득 기기를 명령하기 위한 것이다.
두 번째 방식 103b에서, 기설정된 조건에 부합되는 소리 획득 기기가 가장 강한 소리 신호를 수집한 소리 획득 기기일 경우, 소리 획득 기기를 제어하여 소리를 계속 수집한다.
모니터링 기기가 상기 모니터링 화면 중의 소리를 발생하는 피모니터링 대상에 대응되는 소리를 잠시 수집할 수 없을 경우. 가장 강한 소리 신호를 수집한 소리 획득 기기에 수집 인스트럭션을 송신할 수 있는 바, 상기 수집 인스트럭션은 피모니터링 대상에 의해 발생되는 소리를 수집하도록 가장 강한 소리 신호를 수집한 소리 획득 기기를 명령하기 위한 것이다.
세번째 방식 103c에서, 기설정된 조건에 부합되는 소리 획득 기기가 모니터링 기기와 바인딩된 이동 기기일 경우, 이동 기기가 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하고, 이동 기기가 피모니터링 대상이 위치하는 위치의 소리를 수집하도록 제어한다.
모니터링 기기가, 기설정된 조건에 부합되는 소리 획득 기기가 모니터링 기기와 바인딩된 이동 기기인 것으로 결정할 경우, 모니터링 기기는 상기 이동 기기에 이동 인스트럭션과 수집 인스트럭션을 송신할 수 있는 바, 여기서 이동 인스트럭션은, 상기 이동 기기를 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치 부근에 이동시키도록 제어하기 위한 것일 수 있고, 수집 인스트럭션은, 이동 기기가 피모니터링 대상에 의해 발생되는 소리를 수집하도록 제어하기 위한 것이다.
도2l을 참조해 보면, 이는 예시적인 일 실시예에 따라 도시한, 모니터링 기기가, 이동 기기가 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하는 모식도이고, 도2l에 도시된 바와 같이, 모니터링 기기(10)가 고양이(12)에 의해 발생되는 소리를 검출할 수 없고, 기설정된 조건에 부합되는 소리 획득 기기를 상기 모니터링 기기(10)와 바인딩 된 원격조종 헬리콥터(22)와 청소 로봇(23)으로 결정할 경우, 모니터링 기기(10)는 원격조종 헬리콥터(22) 또는 청소 로봇(23)에 이동 인스트럭션과 수집 인스트럭션을 송신할 수 있는 바, 여기서 이동 인스트럭션은, 원격조종 헬리콥터(22) 또는 청소 로봇(23)이 고양이(12)가 위치하는 위치 부근에 이동되도록 제어하기 위한 것일 수 있고, 수집 인스트럭션은 원격조종 헬리콥터(22) 또는 청소 로봇(23)이 고양이(12)에 의해 발생되는 소리를 수집하도록 제어하기 위한 것이다.
아래는 본 발명의 장치 실시예로서, 본 발명의 방법 실시예를 수행하는데 사용될 수 있다. 본 발명의 장치 실시예에서 개시되지 않은 세부적인 내용은 본 발명의 실시예를 참조하면 된다.
도3은 예시적인 일 실시예에 따라 도시한 모니터링 화면 소리 수집 장치의 블록도이고, 도3에 도시된 바와 같이, 상기 모니터링 화면 소리 수집 장치는 검출 모듈(201), 결정 모듈(202) 및 제어 모듈(203)을 포함하지만 이에 한정되지 않는다.
검출 모듈(201)은, 모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하도록 구성되고;
결정 모듈(202)은, 상기 검출 모듈(201)이 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재한다고 검출될 경우, 소리 획득 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 크다는 기설정된 조건에 부합되는 소리 획득 기기를 결정하도록 구성되며;
제어 모듈(203)은, 상기 결정 모듈(203)에 의해 결정된 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하도록 구성된다.
하나의 가능한 실시형태에서, 도4를 참조해 보면, 이는 다른 예시적인 일 실시예에 따라 도시한 모니터링 화면 소리 수집 장치의 블록도이고, 도4에 도시된 바와 같이, 상기 검출 모듈(201)은, 제1검출 서브 모듈(201a), 제2검출 서브 모듈(201b) 및 제3검출 서브 모듈(201c)을 포함한다.
제1검출 서브 모듈(201a)은, 모니터링 화면 중에, 소리를 발생하는 이미지 변화 요소가 존재하는지의 여부를 검출하되, 상기 이미지 변화 요소는 모니터링 화면에 나타나는 피모니터링 대상 또는 입 모양이 변화된 피모니터링 대상을 포함하도록 구성되거나; 또는
제2검출 서브 모듈(201b)은, 모니터링 화면 중에, 문, 창문 및 가전제품 중의 적어도 하나를 포함하는 지정 유형 대상이 소리를 발생시키는지의 여부를 검출하도록 구성되거나; 또는,
제3검출 서브 모듈(201c)은, 기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하되, 감지 기기는 모니터링 기기와 바인딩된 것으로, 스위칭 상태, 공기 품질 파라미터, 온도, 열원 변화 파라미터 또는 생리적 특징 파라미터인 지정 지표를 감지하기 위한 것이다.
하나의 가능한 실시형태에서, 여전히 도4를 참조해 보면, 상기 결정 모듈(202)은, 제4검출 서브 모듈(202a) 및 제1결정 서브 모듈(202b)을 포함한다.
제4검출 서브 모듈(202a)은, 모니터링 기기에 의해 수집된 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작은지의 여부를 검출하도록 구성되고;
제1결정 서브 모듈(202b)은, 상기 제4검출 서브 모듈(202a)이, 모니터링 기기에 의해 수집된 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작다는 것을 검출할 경우, 기설정된 조건에 부합되는 소리 획득 기기를 결정하도록 구성된다.
하나의 가능한 실시형태에서, 여전히 도4를 참조해 보면, 상기 제1결정 서브 모듈(202b)은, 제1획득 서브 모듈(202b1), 제2획득 서브 모듈(202b2) 및 제2결정 서브 모듈(202b3)을 포함한다.
제1획득 서브 모듈(202b1)은, 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성되거나; 또는,
제2획득 서브 모듈(202b2)은, 모니터링 기기와 바인딩된 모든 소리 획득 기기를 제어하여 소리를 발생하는 피모니터링 대상이 발생시키는 소리를 수집하고, 가장 강한 소리 신호를 수집한 소리 획득 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성되거나; 또는,
제2결정 서브 모듈(202b3)은, 모니터링 기기와 바인딩된 적어도 하나의 이동 기기를 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된다.
하나의 가능한 실시형태에서, 여전히 도4를 참조해 보면, 상기 제1획득 서브 모듈(202b1)은, 제3결정 서브 모듈(202b1a) 및 제4결정 서브 모듈(202b1b)을 포함한다.
제3결정 서브 모듈(202b1a)은, 실내 위치 결정 기술을 통하여 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 결정하도록 구성되거나; 또는,
제4결정 서브 모듈(202b1b)은, 이미지 인식 기술을 통하여 소리를 발생하는 피모니터링 대상이 위치하는 위치를 결정하고, 소리 획득 기기 각각에 대응되는 감청 영역 범위에 기반하여, 소리를 발생하는 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하도록 구성된다.
하나의 가능한 실시형태에서, 여전히 도4를 참조해 보면, 상기 제어 모듈(203)은, 제1제어 서브 모듈(203a), 제2제어 서브 모듈(203b) 및 제3제어 서브 모듈(203c)을 포함한다.
제1제어 서브 모듈(203a)은, 기설정된 조건에 부합되는 소리 획득 기기가 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기일 경우, 소리 획득 기기를 제어하여 소리를 수집하도록 구성되고;
제2제어 서브 모듈(203b)은, 기설정된 조건에 부합되는 소리 획득 기기가 가장 강한 소리 신호를 수집한 소리 획득 기기일 경우, 소리 획득 기기를 제어하여 소리를 계속 수집하도록 구성되며;
제3제어 서브 모듈(203c)은, 기설정된 조건에 부합되는 소리 획득 기기가 모니터링 기기와 바인딩된 이동 기기일 경우, 이동 기기가 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하고, 이동 기기가 피모니터링 대상이 위치하는 위치의 소리를 수집하도록 제어한다.
상술한 바를 종합하면, 본 발명의 실시예에서 제공하는 모니터링 화면 소리 수집 장치는, 모니터링 화면 중에서 소리를 발생하는 피모니터링 대상을 결정하고, 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 큰 소리 획득 기기를 제어하여, 피모니터링 대상에 의해 발생되는 소리를 수집함으로써, 모니터링 기기가, 모니터링 기기로부터 비교적 먼 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 획득할 수 없는 문제를 해결하고, 모니터링 기기가 소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하여, 모니터링된 정보가 완전하도록 하는 효과를 달성한다.
이 밖에, 모니터링 기기가 피모니터링 대상에 의해 발생되는 소리를 뚜렷하게 수집할 수 없을 경우, 기설정된 조건에 부합되는 소리 획득 기기에 수집 인스트럭션을 송신하여, 피모니터링 대상을 수집하도록 상기 소리 획득 기기를 명령할 수 있는 바, 여기서 상기 기설정된 조건은 피모니터링 대상으로부터 가장 가깝거나, 또는 수집된 소리 신호가 가장 강하거나, 또는 모니터링 기기와 바인?壅? 이동 기기를 의미할 수 있다.
상기 실시예의 장치에 관하여, 각각의 모듈에 의해 실행되는 동작의 구체적인 방식은 해당 모니터링 화면 소리 수집 방법의 실시예에서 상세하게 설명하였으므로, 여기서는 이에 대하여 더 이상 상세하게 설명하지 않도록 한다.
본 발명의 예시적인 일 실시예는 모니터링 화면 소리 수집 장치를 제공하는 바, 본 발명이 제공하는 모니터링 화면 소리 수집 방법을 실현할 수 있고, 모니터링 화면 소리 수집 장치는,
프로세서와;
상기 프로세서가 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고;
여기서, 상기 프로세서는,
모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하고;
모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하면, 기설정된 조건에 부합되는 소리 획득 기기를 결정하되, 상기 기설정된 조건이란 소리 획득 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도가 모니터링 기기에 의해 수집된 피모니터링 대상의 소리 신호 강도보다 크다는 것이며;
소리 획득 기기를 제어하여 피모니터링 대상에 의해 발생되는 소리를 수집하도록 구성된다.
도5 는 예시적인 일 실시예에 따라 도시한, 모니터링 화면 소리를 수집하기 위한 장치(400)의 블록도이다. 예를 들어, 장치(400)는 휴대폰, 컴퓨터, 디지털방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿기기, 의료기기, 휘트니스기기, 개인 휴대 정보 단말기 등일 수 있다.
도5를 참조하면, 장치(400)는 프로세싱 어셈블리(402), 메모리(404), 전원 어셈블리(406), 멀티미디어 어셈블리(408), 오디오 어셈블리(410), 입력/출력(I/O) 인터페이스(412), 센서 어셈블리(414) 및 통신 어셈블리(416) 중의 하나 또는 복수의 어셈블리를 포함할 수 있다.
프로세싱 어셈블리(402)는 통상적으로 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련한 장치(400)의 전체 동작을 제어한다. 프로세싱 어셈블리(402)는 상기 모니터링 화면 소리 수집 방법의 전부 또는 일부 단계를 완성하도록 하나 또는 복수의 프로세서(418)를 포함하여 인스트럭션을 실행할 수 있다. 이 외에, 프로세싱 어셈블리(402)는 프로세싱 어셈블리(402)와 기타 어셈블리 사이의 인터랙션이 편리하도록, 하나 또는 복수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 어셈블리(402)는 멀티미디어 어셈블리(408)와 프로세싱 어셈블리(402) 사이의 인터랙션이 편리하도록 멀티미디어 모듈을 포함할 수 있다.
메모리(404)는 장치(400)의 작동을 지원하도록 각종 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예시는 장치(400)에서 작동되는 임의의 응용 프로그램 또는 방법의 인스트럭션, 연락 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(404)는 스태틱 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독전용 메모리(EEPROM), 소거 및 프로그램 가능 판독전용 메모리(EPROM), 프로그램 가능 판독전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 CD와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 기기 또는 그들의 조합으로 이루어질 수 있다.
전원 어셈블리(406)는 장치(400)의 각종 어셈블리에 전력을 제공한다. 전원 어셈블리(406)는 전원관리시스템, 하나 또는 복수의 전원, 장치(400)에 전력을 생성, 관리 및 분배하는 것과 관련되는 기타 어셈블리를 포함할 수 있다.
멀티미디어 어셈블리(408)는 상기 장치(400)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서 스크린은 액정디스플레이(LCD)와 터치패널(TP)을 포함할 수 있다. 스크린이 터치패널을 포함하면, 스크린은 사용자가 입력한 신호를 수신하도록 터치스크린으로 실현될 수 있다. 터치패널은 터치, 슬라이딩과 터치패널의 손동작을 감지하도록 하나 또는 복수의 터치센서를 포함한다. 상기 터치센서는 터치 또는 슬라이딩 동작의 경계를 감지할 수 있을 뿐만 아니라 상기 터치 또는 슬라이딩 동작과 관련한 지속시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 어셈블리(408)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(400)가 작동모드 예를 들어, 촬영모드 또는 화상모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 전방 카메라와 후방 카메라 각각은 고정된 광학렌즈 시스템이거나 초점 거리와 광학 줌 능력을 구비할 수 있다.
오디오 어셈블리(410)는 오디오신호를 출력 및/또는 입력한다. 예를 들어, 오디오 어셈블리(410)는 하나의 마이크(MIC)를 포함하는 바, 장치(400)가 작동모드, 예를 들어 호출모드, 기록모드 및 소리인식 모드일 경우, 마이크는 외부의 오디오신호를 수신한다. 수신된 오디오신호는 또한 메모리(404)에 저장되거나 통신 어셈블리(416)를 거쳐 발송될 수 있다. 일부 실시예에서 오디오 어셈블리(410)는 오디오신호를 출력하기 위한 하나의 스피커를 더 포함한다.
입력/출력(I/O) 인터페이스(412)는 프로세싱 어셈블리(402)와 주변 인터페이스모듈 사이에 인터페이스를 제공하되 상기 주변 인터페이스모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량버튼, 작동버튼과 잠금버튼을 포함할 수 있지만 이에 한정되지는 않는다.
센서 어셈블리(414)는 하나 또는 복수의 센서를 포함하여 장치(400)에 여러 방면의 상태평가를 제공한다. 예를 들어, 센서 어셈블리(414)는 장치(400)의 온/오프상태, 장치(400)의 모니터와 키패드와 같은 어셈블리의 상대위치를 검출할 수 있고, 센서 어셈블리(414)는 장치(400) 또는 장치(400)의 한 어셈블리의 위치변화, 사용자와 장치(400)의 접촉여부, 장치(400) 방위 또는 가속/감속과 장치(400)의 온도변화를 검출할 수 있다. 센서 어셈블리(414)는 아무런 물리접촉 없이 주변 물체의 소재를 검출하도록 구성된 근접센서를 포함할 수 있다. 센서 어셈블리(414)는CMOS 또는 CCD 영상센서와 같은 광 센서를 더 포함하여 영상 애플리케이션에 사용한다. 일부 실시예에서, 상기 센서 어셈블리(414)는 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 더 포함할 수 있다.
통신 어셈블리(416)는 장치(400)와 기타 기기 사이의 유선 또는 무선방식의 통신이 편리하도록 구성된다. 장치(400)는 통신표준에 의한 무선 네트워크, 예를 들어 WiFi, 2G 또는 3G 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서, 통신 어셈블리(416)는 방송신호를 거쳐 외부 방송관리 시스템의 방송신호 또는 방송과 관련한 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 어셈블리(416)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC)모듈을 더 포함한다. 예를 들어 NFC모듈은 무선주파수 인식(RFID)기술, 적외선 통신규격(IrDA)기술, 초광대역(UWB)기술, 블루투스(BT)기술과 기타 기술에 기반하여 실현할 수 있다.
예시적인 실시예에서 장치(400)는 상기 모니터링 화면 소리 수집 방법을 수행하도록 하나 또는 복수의 응용 주문형 집적회로(ASIC), 디지털신호 프로세서(DSP), 디지털신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자부품에 의해 실현될 수 있다.
예시적인 실시예에서, 인스트럭션을 포함하는 비휘발성 컴퓨터 판독 가능한 기록매체, 예를 들어 상기 모니터링 화면 소리 수집 방법을 완성하도록 장치(400)의 프로세서(418)가 실행하는 인스트럭션을 포함한 메모리(404)를 더 제공한다. 예를 들어, 상기 비휘발성 컴퓨터 판독 가능한 기록매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 테이프, 플로피 디스켓과 광 데이터 저장기기 등일 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들은 명세서를 고려하여 여기서 공개한 발명을 실시한 후 본 발명의 기타 실시형태를 용이하게 생각해낼 수 있다. 본원 발명은 본 발명의 모든 변형, 용도 또는 적응성 변화를 포함하고 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리를 따르며 본 발명이 공개하지 않은 본 기술분야에서의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서와 실시예는 예시적인 것일 뿐 본 발명의 진정한 범위와 기술적 사상은 하기의 청구범위에 의해 밝혀질 것이다.
본 발명은 상기에서 설명하고 도면에 도시한 정확한 구조에 한정되는 것이 아니라 그 범위를 벗어나지 않는 한 여러가지 수정과 변경을 할 수 있음을 이해해야 한다. 본 발명의 범위는 첨부되는 청구범위에 의해서만 한정된다.

Claims (13)

  1. 모니터링(monitoring) 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계와;
    상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하면, 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계 -상기 기설정된 조건이란 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 것임- 와;
    상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하는 단계를 포함하는
    모니터링 화면 소리 수집 방법.
  2. 제1항에 있어서,
    상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계는,
    상기 모니터링 화면 중에, 소리를 발생하는 이미지 변화 요소(element)가 존재하는지의 여부를 검출하는 단계 -상기 이미지 변화 요소는 상기 모니터링 화면에 나타나는 피모니터링 대상 또는 입 모양이 변화된 피모니터링 대상을 포함함-; 또는,
    상기 모니터링 화면 중에, 문, 창문 및 가전제품 중의 적어도 하나를 포함하는 지정 유형 대상이 소리를 발생시키는지의 여부를 검출하는 단계; 또는,
    기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하는 단계 -상기 감지 기기는 상기 모니터링 기기와 바인딩(binding)된 것으로, 스위칭 상태, 공기 품질 파라미터, 온도, 열원 변화 파라미터 또는 생리적 특징 파라미터인 상기 지정 지표를 감지하기 위한 것임- 를 포함하는
    모니터링 화면 소리 수집 방법.
  3. 제1항에 있어서,
    상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계는,
    상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작은지의 여부를 검출하는 단계와;
    상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 상기 기설정된 소리 임계값보다 작으면, 상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계를 포함하는
    모니터링 화면 소리 수집 방법.
  4. 제3항에 있어서,
    상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하는 단계는,
    상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 상기 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계; 또는,
    상기 모니터링 기기와 바인딩된 모든 소리 획득 기기를 제어하여 소리를 발생하는 상기 피모니터링 대상이 발생시키는 소리를 수집하고, 가장 강한 소리 신호를 수집한 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계; 또는,
    상기 모니터링 기기와 바인딩된 적어도 하나의 이동 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계를 포함하는
    모니터링 화면 소리 수집 방법.
  5. 제4항에 있어서,
    상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 상기 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하는 단계는,
    실내 위치 결정 기술을 통하여 상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 결정하는 단계; 또는,
    이미지 인식 기술을 통하여 소리를 발생하는 상기 피모니터링 대상이 위치하는 위치를 결정하고, 상기 소리 획득 기기 각각에 대응되는 감청 영역 범위에 기반하여, 소리를 발생하는 상기 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하는 단계를 포함하는
    모니터링 화면 소리 수집 방법.
  6. 제1항 내지 제5항 중의 어느 한 항에 있어서,
    상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하는 단계는,
    상기 기설정된 조건에 부합되는 소리 획득 기기가 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 수집하는 단계와;
    상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 가장 강한 소리 신호를 수집한 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 계속 수집하는 단계와;
    상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 모니터링 기기와 바인딩된 이동 기기일 경우, 상기 이동 기기가 상기 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하고, 상기 이동 기기가 상기 피모니터링 대상이 위치하는 위치의 소리를 수집하도록 제어하는 단계를 포함하는
    모니터링 화면 소리 수집 방법.
  7. 모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하도록 구성된 검출 모듈과;
    상기 검출 모듈에 의해 상기 모니터링 화면 중에 상기 소리를 발생하는 피모니터링 대상이 존재한다고 검출될 경우, 기설정된 조건에 부합되는 소리 획득 기기를 결정하도록 구성된 결정 모듈 -상기 기설정된 조건이란 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 것임- 과;
    상기 결정 모듈에 의해 결정된 상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하도록 구성된 제어 모듈을 포함하는
    모니터링 화면 소리 수집 장치.
  8. 제7항에 있어서,
    상기 검출 모듈은,
    상기 모니터링 화면 중에, 소리를 발생하는 이미지 변화 요소가 존재하는지의 여부를 검출하도록 구성된 제 1 검출 서브 모듈 -상기 이미지 변화 요소는 상기 모니터링 화면에 나타나는 피모니터링 대상 또는 입 모양이 변화된 피모니터링 대상을 포함함- ; 또는,
    상기 모니터링 화면 중에, 문, 창문 및 가전제품 중의 적어도 하나를 포함하는 지정 유형 대상이 소리를 발생시키는지의 여부를 검출하도록 구성된 제2검출 서브 모듈; 또는,
    기타 감지 기기 상에서 제공된 지정 지표에 기반하여, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하도록 구성된 제 3 검출 서브 모듈 -상기 감지 기기는 상기 모니터링 기기와 바인딩된 것으로, 스위칭 상태, 공기 품질 파라미터, 온도, 열원 변화 파라미터 또는 생리적 특징 파라미터인 상기 지정 지표를 감지하기 위한 것임- 을 포함하는
    모니터링 화면 소리 수집 장치.
  9. 제7항에 있어서,
    상기 결정 모듈은,
    상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 기설정된 소리 임계값보다 작은지의 여부를 검출하도록 구성된 제4검출 서브 모듈과;
    상기 제4검출 서브 모듈이, 상기 모니터링 기기에 의해 수집된 상기 모니터링 화면에 대응되는 소리가 상기 기설정된 소리 임계값보다 작다고 검출할 경우, 상기 기설정된 조건에 부합되는 소리 획득 기기를 결정하도록 구성된 제1결정 서브 모듈을 포함하는
    모니터링 화면 소리 수집 장치.
  10. 제9항에 있어서,
    상기 제1결정 서브 모듈은,
    상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 획득하고, 획득된 상기 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된 제1획득 서브 모듈; 또는,
    상기 모니터링 기기와 바인딩된 모든 소리 획득 기기를 제어하여 소리를 발생하는 상기 피모니터링 대상이 발생시키는 소리를 수집하고, 가장 강한 소리 신호를 수집한 소리 획득 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된 제2획득 서브 모듈; 또는,
    상기 모니터링 기기와 바인딩된 적어도 하나의 이동 기기를 상기 기설정된 조건에 부합되는 소리 획득 기기로 결정하도록 구성된 제2결정 서브 모듈을 포함하는
    모니터링 화면 소리 수집 장치.
  11. 제10항에 있어서,
    상기 제1획득 서브 모듈은,
    실내 위치 결정 기술을 통하여 상기 모니터링 기기와 바인딩된 모든 소리 획득 기기에서, 상기 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기를 결정하도록 구성된 제3결정 서브 모듈; 또는,
    이미지 인식 기술을 통하여 소리를 발생하는 상기 피모니터링 대상이 위치하는 위치를 결정하고, 상기 소리 획득 기기 각각에 대응되는 감청 영역 범위에 기반하여, 소리를 발생하는 상기 피모니터링 대상을 감청하기 위한 소리 획득 기기를 결정하도록 구성된 제4결정 서브 모듈을 포함하는
    모니터링 화면 소리 수집 장치.
  12. 제7항 내지 제11항 중의 어느 한 항에 있어서,
    상기 제어 모듈은,
    상기 기설정된 조건에 부합되는 소리 획득 기기가 소리를 발생하는 피모니터링 대상과 가장 가까운 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 수집하도록 구성된 제1제어 서브 모듈과;
    상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 가장 강한 소리 신호를 수집한 소리 획득 기기일 경우, 상기 소리 획득 기기를 제어하여 소리를 계속 수집하도록 구성된 제2제어 서브 모듈과;
    상기 기설정된 조건에 부합되는 소리 획득 기기가 상기 모니터링 기기와 바인딩된 이동 기기일 경우, 상기 이동 기기가 상기 모니터링 화면 중의 소리를 발생하는 피모니터링 대상의 위치에 이동되도록 제어하고, 상기 이동 기기가 상기 피모니터링 대상이 위치하는 위치의 소리를 수집하도록 제어하는 제3제어 서브 모듈을 포함하는
    모니터링 화면 소리 수집 장치.
  13. 프로세서와;
    상기 프로세서가 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고;
    상기 프로세서는,
    모니터링 기기의 카메라에서 모니터링 화면이 수집될 경우, 상기 모니터링 화면 중에 소리를 발생하는 피모니터링 대상이 존재하는지의 여부를 검출하고;
    상기 모니터링 화면 중에 상기 소리를 발생하는 피모니터링 대상이 존재하면, 기설정된 조건에 부합되는 소리 획득 기기를 결정 -상기 기설정된 조건이란 상기 소리 획득 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도가 상기 모니터링 기기에 의해 수집된 상기 피모니터링 대상의 소리 신호 강도보다 크다는 것임- 하고;
    상기 소리 획득 기기를 제어하여 상기 피모니터링 대상에 의해 발생되는 소리를 수집하도록 구성되는
    모니터링 화면 소리 수집 장치.
KR1020167004628A 2015-07-31 2015-12-24 모니터링 화면 소리 수집 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체 KR101770930B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510462792.9A CN105049807B (zh) 2015-07-31 2015-07-31 监控画面声音采集方法及装置
CN201510462792.9 2015-07-31
PCT/CN2015/098720 WO2017020507A1 (zh) 2015-07-31 2015-12-24 监控画面声音采集方法及装置

Publications (2)

Publication Number Publication Date
KR20170023753A true KR20170023753A (ko) 2017-03-06
KR101770930B1 KR101770930B1 (ko) 2017-08-23

Family

ID=54455959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004628A KR101770930B1 (ko) 2015-07-31 2015-12-24 모니터링 화면 소리 수집 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체

Country Status (8)

Country Link
US (1) US10354678B2 (ko)
EP (1) EP3125152B1 (ko)
JP (1) JP6386187B2 (ko)
KR (1) KR101770930B1 (ko)
CN (1) CN105049807B (ko)
MX (1) MX362891B (ko)
RU (1) RU2638763C2 (ko)
WO (1) WO2017020507A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049807B (zh) * 2015-07-31 2018-05-18 小米科技有限责任公司 监控画面声音采集方法及装置
JP2017102085A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN105657362A (zh) * 2015-12-30 2016-06-08 广州励丰文化科技股份有限公司 地板受力与多麦克风场景下的监控方法及系统
CN105828038A (zh) * 2016-03-31 2016-08-03 顾佳捷 基于can总线的工业现场多媒体无线监控系统及方法
CN108319965A (zh) * 2018-03-28 2018-07-24 江苏珩图智能科技有限公司 一种利用图像获取声音的装置及方法
CN110933254B (zh) * 2019-12-11 2021-09-07 杭州叙简科技股份有限公司 一种基于图像分析的声音过滤系统及其声音过滤方法
CN113763657B (zh) * 2020-06-04 2023-04-21 浙江宇视科技有限公司 监控警报装置、监控警报控制方法及监控系统
CN115499568B (zh) * 2022-09-09 2024-03-05 深圳市云起光电有限公司 一种基于智能家具系统的安防摄像头

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0666542A3 (en) * 1994-02-04 1996-05-15 Fuji Facom Corp Multimedia system for monitoring and controlling processes.
JPH0981233A (ja) 1995-09-18 1997-03-28 Mitsubishi Electric Corp 監視制御支援装置
US6968905B2 (en) * 2003-03-18 2005-11-29 Schlumberger Technology Corporation Distributed control system
JP2005252660A (ja) * 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 撮影システム及び撮影制御方法
KR100681840B1 (ko) * 2005-04-15 2007-02-12 주식회사 에스원 로봇 감시 시스템 및 이를 이용하는 로봇 감시 방법
JP2006339741A (ja) * 2005-05-31 2006-12-14 Matsushita Electric Ind Co Ltd 監視装置および監視方法
JP2009105612A (ja) 2007-10-23 2009-05-14 Yamaha Corp 検知装置および監視カメラ
US10007758B2 (en) * 2009-03-04 2018-06-26 Masimo Corporation Medical monitoring system
JP5189536B2 (ja) * 2009-03-26 2013-04-24 池上通信機株式会社 監視装置
JP5204707B2 (ja) 2009-03-30 2013-06-05 セコム株式会社 画像監視装置
US20110087535A1 (en) * 2009-10-14 2011-04-14 Seiko Epson Corporation Information processing device, information processing system, control method for an information processing device, and a program
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
JP5489778B2 (ja) 2010-02-25 2014-05-14 キヤノン株式会社 情報処理装置およびその処理方法
JP5418327B2 (ja) 2010-03-16 2014-02-19 株式会社リコー ビデオ会議装置
KR20120002801A (ko) * 2010-07-01 2012-01-09 엘지전자 주식회사 감시용 카메라와 그에 따른 음원 추적 방법
CN102056053B (zh) * 2010-12-17 2015-04-01 中兴通讯股份有限公司 一种多话筒混音方法及装置
US9195799B2 (en) * 2011-02-08 2015-11-24 Aulisa Medtech International, Inc. Wireless patient monitoring system
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム
TWI429938B (zh) * 2011-09-16 2014-03-11 Vatics Inc 聲源監視系統及其方法
CN102385389B (zh) * 2011-11-01 2014-08-06 中国科学院深圳先进技术研究院 巡逻机器人、预警系统以及巡逻机器人的监控方法
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
JP2014137767A (ja) 2013-01-18 2014-07-28 Hochiki Corp イベント監視システム
US9594163B2 (en) * 2013-04-15 2017-03-14 Electronics And Telecommunications Research Institute Security and surveillance system and method
CN103595953B (zh) * 2013-11-14 2017-06-20 华为技术有限公司 一种控制视频拍摄的方法和装置
CN103841360A (zh) * 2013-12-11 2014-06-04 三亚中兴软件有限责任公司 分布式视频会议的实现方法及系统、终端、音视频一体化设备
KR20150075224A (ko) * 2013-12-24 2015-07-03 주식회사 케이티 관제 서비스 제공 시스템 및 방법
GB2526666B (en) * 2014-03-31 2016-12-07 Electronics & Telecommunications Res Inst Security monitoring apparatus and method using correlation coefficient variation pattern of sound field spectrum
US10262655B2 (en) * 2014-11-03 2019-04-16 Microsoft Technology Licensing, Llc Augmentation of key phrase user recognition
JP5866551B1 (ja) * 2014-11-20 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
CN104574745A (zh) * 2015-01-26 2015-04-29 成都美联微智科技有限公司 基于生理特征的安防监控系统
KR20150060626A (ko) 2015-04-24 2015-06-03 롯데건설 주식회사 능동형 무인 경비 시스템
CN105049807B (zh) 2015-07-31 2018-05-18 小米科技有限责任公司 监控画面声音采集方法及装置

Also Published As

Publication number Publication date
CN105049807A (zh) 2015-11-11
RU2638763C2 (ru) 2017-12-15
CN105049807B (zh) 2018-05-18
MX362891B (es) 2019-02-22
KR101770930B1 (ko) 2017-08-23
RU2016115037A (ru) 2017-10-24
EP3125152A1 (en) 2017-02-01
JP2017537565A (ja) 2017-12-14
US20170032805A1 (en) 2017-02-02
MX2016004997A (es) 2017-05-04
EP3125152B1 (en) 2021-09-15
US10354678B2 (en) 2019-07-16
WO2017020507A1 (zh) 2017-02-09
JP6386187B2 (ja) 2018-09-05

Similar Documents

Publication Publication Date Title
KR101770930B1 (ko) 모니터링 화면 소리 수집 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체
KR101842379B1 (ko) 지능형 전기 장치의 작동 방법 및 작동 디바이스
KR101998460B1 (ko) 디바이스 그루핑 관리 시스템, 방법 및 장치
KR101695075B1 (ko) 지능형 원격제어 방법, 장치, 프로그램 및 기록매체
KR101736318B1 (ko) 스마트 기기의 조작 제어 방법, 장치, 프로그램 및 기록매체
WO2017071070A1 (zh) 智能设备的语音控制方法、装置、控制设备及智能设备
EP3023928A1 (en) Method and device for setting task
KR101815229B1 (ko) 리마인드 방법, 장치, 프로그램 및 기록매체
CN105259765A (zh) 生成控制界面的方法及装置
KR20190022567A (ko) 이미지 출력 방법 및 장치
CN104902059A (zh) 来电提醒方法及装置
KR101684203B1 (ko) 스트림 미디어 데이터를 방송하기 위한 방법 및 장치
CN105681928A (zh) 设备控制方法及装置
CN105160793A (zh) 报警方法及装置
CN105281994A (zh) 工作模式切换方法和装置
CN105101368A (zh) 网络接入方法、设备及系统
CN104301308A (zh) 通话控制方法及装置
CN105049813A (zh) 控制视频画面的方法、装置及终端
EP3823251A1 (en) Function control method, function control device, and computer-readable storage medium
CN105589345A (zh) 设备控制的方法及装置
CN105549572A (zh) 智能家居设备的控制方法、装置及设备
CN105306857A (zh) 投影的显示方法及装置
CN109040651A (zh) 视频通信的方法及装置
EP3182393B1 (en) Method, device and system for releasing a binding of a remote controller
EP4203440A1 (en) Method and device for sharing data, electronic device, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant