WO2020255280A1 - データ処理装置、データ処理方法、及びプログラム - Google Patents

データ処理装置、データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2020255280A1
WO2020255280A1 PCT/JP2019/024205 JP2019024205W WO2020255280A1 WO 2020255280 A1 WO2020255280 A1 WO 2020255280A1 JP 2019024205 W JP2019024205 W JP 2019024205W WO 2020255280 A1 WO2020255280 A1 WO 2020255280A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
processing
data processing
equipment
room
Prior art date
Application number
PCT/JP2019/024205
Other languages
English (en)
French (fr)
Inventor
貴幸 畑
栄作 石井
Original Assignee
シャープＮｅｃディスプレイソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープＮｅｃディスプレイソリューションズ株式会社 filed Critical シャープＮｅｃディスプレイソリューションズ株式会社
Priority to PCT/JP2019/024205 priority Critical patent/WO2020255280A1/ja
Publication of WO2020255280A1 publication Critical patent/WO2020255280A1/ja
Priority to US17/550,201 priority patent/US20220101631A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/823—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent when the measured values exceed a threshold, e.g. sending an alarm

Definitions

  • the present invention relates to a data processing apparatus, a data processing method, and a program.
  • Various facilities are provided in rooms such as conference rooms. Then, the user of these rooms uses the room on the assumption that there is no abnormality in the equipment in the room. Therefore, when an abnormality occurs in the equipment in the room, it is desirable to detect it as soon as possible.
  • Patent Document 1 describes that an abnormality in an environmental equipment such as an air conditioner is determined based on the frequency of filing a request for the environmental equipment. Further, in Patent Document 2, it is confirmed whether the doors and windows are open when an abnormality occurs in the environmental adjustment equipment such as the air conditioner, the refrigerator, the freezer, and the lighting equipment, and whether there is an abnormality in the indoor fan. It is stated to confirm.
  • Patent Document 2 describes that a surveillance camera is provided to monitor the state of the conference room.
  • An example of an object of the present invention is to reduce the load on the processing device when detecting an abnormality or a sign of equipment by analyzing moving images and sounds.
  • an acquisition means for acquiring processing target data generated by recording or recording a room and A processing means for processing a processing target portion which is a part of the processing target data in order to generate equipment information regarding the equipment in the room, and
  • the processing means provides a data processing apparatus that detects a reference timing that satisfies a predetermined reference timing and sets the processing target portion using the reference timing.
  • the computer The acquisition process to acquire the processing target data generated by recording or recording the room, A processing process that generates and outputs equipment information related to the equipment in the room by processing the processing target portion that is a part of the processing target data. And In the processing step, the computer provides a data processing method that detects a reference timing that satisfies a predetermined reference timing and sets the processing target portion using the reference timing.
  • a computer An acquisition function that acquires processing target data generated by recording or recording a room, A processing function that generates and outputs equipment information related to the equipment in the room by processing the processing target part that is a part of the processing target data, and
  • a program is provided that causes the computer to detect a reference timing that satisfies a predetermined reference timing and set the processing target portion using the reference timing.
  • the load on the processing device is reduced when detecting an abnormality or a sign of equipment by analyzing moving images and sounds.
  • FIG. 1 is a diagram showing a functional configuration of the data processing device 10 according to the present embodiment.
  • the data processing device 10 is a device that detects an abnormality in equipment provided in a room or a sign thereof, and has an acquisition unit 110 and a processing unit 120.
  • the acquisition unit 110 acquires the data to be processed.
  • the data to be processed is generated by recording or recording the room.
  • the processing unit 120 processes a part of the data to be processed (hereinafter, referred to as the processing target part) in order to generate equipment information regarding the equipment in the room. Then, the processing unit 120 detects a reference timing which is a timing satisfying a predetermined reference timing, and sets a processing target portion using the reference timing.
  • the data processing device 10 will be described in detail.
  • the room managed by the data processing device 10 is, for example, a conference room, a meeting room, a reception room, or the like.
  • the data processing device 10 manages a plurality of rooms. At least one facility is provided in the room managed by the data processing device 10. This equipment is, for example, at least one of air conditioners such as air conditioners, lighting, computers, electronic boards, displays, projectors, video conferencing systems, wiring, connectors, tables, and chairs.
  • a data generation device for generating data to be processed is provided in the room managed by the data processing device 10.
  • the data generator has at least one of an imaging device and a microphone.
  • the data generator may be a surveillance camera.
  • the processing target data generated by the data generation device is, for example, moving image data with audio, but may be either audio data or moving image data.
  • the acquisition unit 110 acquires the data to be processed as described above.
  • the acquisition unit 110 may acquire the processing target data from the data generation device, or may acquire the processing target data from the storage. In the latter case, the data generator stores the data to be processed in the storage. Then, the acquisition unit 110 acquires the processing target data from this storage.
  • the data processing device 10 manages a plurality of rooms.
  • the acquisition unit 110 acquires the processing target data in association with the information that identifies the room in which the processing target data is generated (hereinafter, referred to as room identification information).
  • the data generation device transmits the data to be processed to the acquisition unit 110 or the storage together with the room identification information of the room in which the data generation device is installed.
  • the storage stores the processing target data in association with the room identification information.
  • the acquisition unit 110 reads out the processing target data together with the room identification information associated with the processing target data.
  • the processing unit 120 sets the processing target portion of the processing target data using the reference timing.
  • a detailed example of a method of detecting the reference timing by the processing unit 120 and a method of setting the processing target portion will be described later.
  • the processing unit 120 processes the processing target portion in order to generate equipment information.
  • the equipment information indicates, for example, that an abnormality has occurred in the equipment in the room, or that an abnormality may occur in the future.
  • the processing target data includes a moving image
  • the processing unit 120 detects the movement of a person by processing the moving image in order to generate equipment information.
  • the processing unit 120 detects the movement of a person by performing detection processing of each part (for example, face or hand) of a person on the frame image constituting the moving image and specifying the position of the detected part for each frame. .
  • the processing target data includes voice
  • the processing unit 120 detects a voiceprint or a spoken word in order to generate equipment information. The details of the processing for generating the equipment information by the processing unit 120 will be described later using a flowchart.
  • the equipment information generated by the processing unit 120 is transmitted to the terminal of the room manager together with, for example, the room identification information of the room.
  • the equipment information may be stored in the storage device in association with the room identification information.
  • the room manager reads out the equipment information and the room identification information from the storage device at a desired timing.
  • FIG. 2 is a diagram showing a hardware configuration example of the data processing device 10.
  • the data processing device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the data processing device 10 (for example, the acquisition unit 110 and the processing unit 120).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the input / output interface 1050 is an interface for connecting the data processing device 10 and various input / output devices.
  • the network interface 1060 is an interface for connecting the data processing device 10 to the network.
  • This network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection. Then, the data processing device 10 connects to an external device or storage via the network interface 1060.
  • FIG. 3 is a flowchart showing an example of processing performed by the data processing device 10.
  • the acquisition unit 110 of the data processing device 10 acquires the data to be processed (step S10).
  • the processing unit 120 performs a reference timing detection process (step S20).
  • the processing unit 120 detects the reference timing by processing the data to be processed.
  • the reference timing indicates, for example, the timing at which a meeting, a meeting, or a meeting begins. A specific example of step S20 will be described later.
  • the processing unit 120 sets the processing target portion using the reference timing detected in step S20 (step S30).
  • the processing unit 120 sets the processing target portion by using any of the following three methods.
  • the processing unit 120 sets the start point to a predetermined time before the reference timing and the target portion to the period ending from the reference timing.
  • the processing unit 120 has a reference timing as a starting point and a period ending after a predetermined time from the reference timing as a processing target portion.
  • the processing unit 120 sets a period starting from the first predetermined time before the reference timing and ending after the second predetermined time from the reference timing as the processing target portion.
  • the first predetermined time and the second predetermined time may be the same time or may be different from each other.
  • the processing unit 120 processes using, for example, the method (2) above. Set the target part.
  • the processing unit 120 may perform the above-mentioned ( All of 1) to (3) can be used.
  • the processing unit 120 processes the processing target portion and determines whether or not the equipment information generation standard is satisfied (step S40).
  • the generation standard of the equipment information is, for example, one of the following (A) and (B).
  • the criteria used here are, for example, the following (a) and (b).
  • a word uttered by a person is detected by processing the voice included in the processing target portion. Then, the movement of a person located around the equipment is detected. Then, the detection of the predetermined keyword (second keyword) a predetermined number of times is made at least a part of the necessary conditions for generating the equipment information.
  • the second keyword may be set for each equipment.
  • At least one of the necessary conditions for generating the equipment information is that the log data in the time zone corresponding to the processing target portion satisfies the standard. It may be a part.
  • the processing unit 120 acquires log data via, for example, a communication network.
  • the criteria for generating equipment information are as follows, for example. (I) When the power button is operated more than the reference number of times (for example, twice) within the specified time (ii) When the connector is inserted and removed more than the reference number of times (for example, twice) within the specified time (iii) The same operation is performed When the standard number of times (for example, 2 times) or more is performed within the specified time
  • the equipment information may mean that the equipment is difficult to use, not an abnormality of the equipment or a sign thereof.
  • a second keyword different from the equipment abnormality or sign may be set.
  • the processing unit 120 processes the processing target portion and determines whether or not the processing target portion satisfies the equipment information generation standard. When the condition is satisfied (step S40: Yes), the processing unit 120 generates and outputs equipment information (step S50).
  • the processing unit 120 may process the processing target data other than the processing target portion in the same manner, and determine whether or not the portion satisfies the equipment information generation standard. In this case, for example, the processing unit 120 generates a value indicating a processing result (for example, "1" when the criteria are satisfied, and "0" in other cases) in each of the processing target portion and other than the processing target portion. When the total value of the values meets the standard, equipment information is generated and output. At this time, the processing unit 120 may relatively increase the weight of the processing target portion. As an example, the processing unit 120 makes the value when the processing target portion satisfies the standard larger than the value when the processing target portion other than the processing target portion satisfies the standard.
  • FIG. 4 is a flowchart showing a first example of step S20 of FIG.
  • the processing unit 120 processes a moving image taken in the room.
  • the processing unit 120 detects at least one of the movement and the line of sight of a person located around the equipment (step S202).
  • the reference timing is set (step S206). Examples of the criteria used here are as follows.
  • FIG. 5 is a flowchart showing a second example of step S20 of FIG.
  • the processing unit 120 processes the sound in the room.
  • the processing unit 120 performs voiceprint detection processing on the voice of a person included in the voice, and determines the number of people speaking per unit time (for example, a time of 10 seconds or more and 1 minute or less) (step). S212).
  • the number of detected persons satisfies the standard, for example, when the number is equal to or less than a predetermined number (one person) (step S214: Yes)
  • the reference timing is set (step S216).
  • the fact that the number of people meets the criteria may be part of the requirement for reference timing.
  • FIG. 6 is a flowchart showing a third example of step S20 of FIG. Also in the example shown in this figure, the processing unit 120 processes the sound in the room.
  • the processing unit 120 detects a word included in the voice (step S222). Then, when the detected word is at least one predetermined keyword (first keyword) (step S224: Yes), the reference timing is set (step S226).
  • the reference timing may be set so that the first keyword is detected a plurality of times (it does not have to be the same first keyword). Further, the detection of the first keyword may be a part of the requirement of the reference timing.
  • the data processing device 10 generates equipment information regarding an abnormality of equipment and a sign thereof by processing data (data to be processed) obtained by photographing or recording a room.
  • the processing unit 120 of the data processing device 10 selects a part of the processing target data (processing target portion) as the processing target. Therefore, it is not necessary to process the sound and the image after the processing target portion for generating the equipment information. Therefore, the amount of calculation of the data processing device 10 is reduced.
  • FIG. 7 is a diagram showing a functional configuration of the data processing device 10 according to the present embodiment.
  • the data processing according to the first embodiment is performed except that the processing unit 120 acquires the reservation information of each room and uses this summary information for setting the reference timing. It has the same configuration as the device 10.
  • the reservation information is stored in the schedule storage device 20.
  • the reservation information includes the room identification information and the scheduled start time and end time of the room corresponding to the room identification information. Therefore, the processing unit 120 can grasp the scheduled start time of use of the room by using the reservation information.
  • the processing unit 120 acquires the room identification information of the target room, and reads out the scheduled use start time corresponding to the room identification information from the schedule storage device 20. Then, the reference timing is set using this room identification information. For example, the processing unit 120 makes the elapse of the reference time from the scheduled start time of use as at least a part of the necessary condition of the reference timing.
  • the processing unit 120 may set the reference timing when the reference time has elapsed from the scheduled start time of use.
  • the amount of calculation of the data processing device 10 is reduced as in the first embodiment. Further, since it is not necessary to process the processing target data at the time of setting the reference timing, that is, setting the processing target portion, the calculation amount of the data processing device 10 can be further reduced.
  • FIG. 8 is a diagram showing a functional configuration of the data processing device 10 according to the present embodiment.
  • the data processing device 10 according to the present embodiment has the same configuration as the data processing device 10 according to the first embodiment, except that brightness information is used for setting the processing target portion.
  • the processing unit 120 of the data processing device 10 acquires the brightness information.
  • the brightness information is information that can identify the brightness of the room.
  • the brightness information may be generated using, for example, an illuminance sensor in the room, or may be information indicating on / off of the switch of the lighting in the room.
  • FIG. 9 is a flowchart showing an example of processing performed by the data processing device 10 according to the present embodiment.
  • the data processing device 10 generates equipment information while the room is in use.
  • the processing unit 120 continues to acquire brightness information. Then, when the brightness information satisfies the standard (step S302: Yes), the acquisition unit 110 is made to start the acquisition of the processing target data. At this time, the acquisition unit 110 also specifies the timing at which the acquisition of the processing target data ends. In other words, the acquisition unit 110 acquires only the processing target portion of the processing target data (step S304).
  • the criteria used in step S302 are, for example, as follows, which means that it is estimated or specified that the brightness of the room is below the reference value.
  • A When the brightness information is generated using the indoor illuminance sensor, the indoor brightness is below the reference value.
  • B The brightness information indicates whether the indoor lighting is on / off. When the predetermined lighting is turned off
  • step S306 and step S308 is as described using step S40 and step S50 in the first embodiment.
  • step S20 shown in FIG. 3 of the first embodiment it may be at least a part of the necessary condition of the reference timing that the brightness information shown in the present embodiment satisfies the above-mentioned criteria.
  • the amount of calculation of the data processing device 10 is reduced as in the first embodiment.
  • the processing target data includes moving image data.
  • the processing means is a data processing device that detects the movement of a person existing in the room by processing the moving image data, and makes it at least a part of the reference condition that the movement of the person satisfies the standard. 3. 3.
  • the processing means is a data processing device that makes the distance between the person and the equipment equal to or less than a reference value as at least a part of the reference condition. 4. In the data processing apparatus described in 3 above, The processing means is a data processing device that makes the contact of the person with the equipment at least a part of the reference condition. 5. In the data processing apparatus described in 2 above, The processing means is a data processing device that makes the contact of the person with the controller of the equipment at least a part of the reference condition. 6. In the data processing apparatus described in 2 above, The processing means is a data processing device that makes it at least a part of the reference condition that no one is standing in the room. 7. In the data processing apparatus according to any one of 1 to 6 above.
  • the processing means is a data processing device that sets a timing estimated or specified as the brightness of the room or a reference value or less to be at least a part of the reference condition.
  • the processing target data includes voice data and
  • the processing means is a data processing device that analyzes the voice data and makes at least a part of the reference condition that the number of people speaking within a unit time is equal to or less than the reference number.
  • the processing target data includes voice data and
  • the processing means is a data processing device that makes the detection of a predetermined first keyword from the voice data at least a part of the reference condition. 10. In the data processing apparatus according to any one of 1 to 9 above.
  • the processing means is a data processing device that acquires a scheduled start time of use of the room from the reservation information of the room and sets the reference timing using the scheduled start time of use. 11.
  • the processing means is a data processing device that sets at least a part of the reference condition that a reference time has elapsed from the scheduled start time of use. 12.
  • the data to be processed includes moving images.
  • the equipment information indicates that an abnormality has occurred in the equipment or there is a sign thereof.
  • the processing means By processing the moving image, the movement of a person located around the equipment is detected.
  • a data processing device that makes that the movement meets the criteria at least as part of the requirements for generating the equipment information. 13.
  • the processing target data includes voice data and
  • the equipment information indicates that an abnormality has occurred in the equipment or there is a sign thereof.
  • the processing means is a data processing device that makes the detection of a predetermined second keyword from the voice data a predetermined number of times at least a part of the necessary conditions for generating the equipment information. 14.
  • the processing means The log data indicating the operation of the equipment in the time zone corresponding to the processing target portion is acquired, and the log data is acquired. Further, a data processing device that makes the fact that the log data meets the criteria at least a part of the necessary conditions for generating the equipment information. 15.
  • the computer The acquisition process to acquire the processing target data generated by recording or recording the room, A processing process that generates and outputs equipment information related to the equipment in the room by processing the processing target portion that is a part of the processing target data. And A data processing method in which, in the processing step, the computer detects a reference timing that satisfies a predetermined reference timing, and sets the processing target portion using the reference timing. 16.
  • the processing target data includes moving image data.
  • a data processing method in which the computer detects the movement of a person existing in the room by processing the moving image data, and makes it at least a part of the reference condition that the movement of the person satisfies the standard. 17.
  • the computer is a data processing method in which the distance between the person and the equipment is equal to or less than a reference value, which is at least a part of the reference condition. 18.
  • the computer is a data processing method that makes the person's contact with the equipment at least a part of the reference condition. 19.
  • a data processing method in which the computer makes at least a part of the reference condition that no one is standing in the room. 21.
  • the processing target data includes voice data and A data processing method in which the computer analyzes the voice data and sets the number of people speaking within a unit time to be at least a part of the reference condition.
  • the processing target data includes voice data and A data processing method in which the computer detects a predetermined first keyword from the voice data as at least a part of the reference condition. 24.
  • the equipment information indicates that an abnormality has occurred in the equipment or there is a sign thereof.
  • the computer By processing the moving image, the movement of a person located around the equipment is detected.
  • a data processing method that makes the fact that the movement meets the criteria at least part of the requirements for generating the equipment information.
  • the processing target data includes voice data and
  • the equipment information indicates that an abnormality has occurred in the equipment or there is a sign thereof.
  • the computer The log data indicating the operation of the equipment in the time zone corresponding to the processing target portion is acquired, and the log data is acquired.
  • a data processing method in which the fact that the log data meets the criteria is at least a part of the necessary conditions for generating the equipment information. 29.
  • An acquisition function that acquires processing target data generated by recording or recording a room, A processing function that generates and outputs equipment information related to the equipment in the room by processing the processing target part that is a part of the processing target data, and A program that causes the computer to detect a reference timing that satisfies a predetermined reference timing in the processing function and set the processing target portion using the reference timing.
  • the processing target data includes moving image data.
  • the computer is made to detect the movement of a person existing in the room by processing the moving image data.
  • the processing target data includes voice data and A program that analyzes the voice data and makes it at least a part of the reference condition that the number of people speaking within a unit time is equal to or less than the reference number.
  • the processing target data includes voice data and A program that makes the detection of a predetermined first keyword from the voice data at least a part of the reference condition. 38.
  • the equipment information indicates that an abnormality has occurred in the equipment or there is a sign thereof. By having the computer process the moving image, the movement of a person located around the equipment is detected. A program that makes the movement meet the criteria at least as part of the prerequisites for generating the equipment information. 41.
  • the processing target data includes voice data and
  • the equipment information indicates that an abnormality has occurred in the equipment or there is a sign thereof.
  • the computer acquires log data indicating the operation of the equipment in the time zone corresponding to the processing target portion, and obtains log data. Further, a program that makes the fact that the log data meets the criteria at least a part of the necessary conditions for generating the equipment information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

データ処理装置（１０）は、部屋に設けられた設備の異常又はその予兆を検知する装置であり、取得部（１１０）及び処理部（１２０）を有している。取得部（１１０）は、処理対象データを取得する。処理対象データは、室内を録音又は録画することにより生成されている。処理部（１２０）は、処理対象データの一部（以下、処理対象部分と記載）を、室内の設備に関する設備情報を生成するために処理する。そして処理部（１２０）は、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて処理対象部分を設定する。

Description

データ処理装置、データ処理方法、及びプログラム
　本発明は、データ処理装置、データ処理方法、及びプログラムに関する。
　会議室などの部屋の中には、様々な設備が設けられている。そしてこれらの部屋のユーザは、室内の設備に異常がないことを前提に、その部屋を使用する。このため、室内の設備に異常が生じた場合、そのことをなるべく早く検知することが望ましい。
　特許文献１には、空調設備などの環境設備機器の異常を、その環境設備機器に対する要望の申告頻度に基づいて判断することが記載されている。また特許文献２には、空気調和器、冷蔵庫、冷凍庫、及び照明機器などの環境調整機器に異常が生じたときに、ドアや窓が開いているかを確認したり、室内ファンに異常がないかを確認することが記載されている。特許文献２において、会議室の状態を監視するために監視カメラを設けることが記載されている。
特開２００６－３００４８４号公報 特開２００４－１２７０４７号公報
　室内を録音した音声データや室内を撮影した動画を解析することにより、設備の異常や予兆を検知する場合、これらの音声データや動画のすべてに対して設備の異常や予兆を検知する処理を行うと、処理装置の負荷が増大する。
　本発明の目的の一例は、動画や音声を解析することによって設備の異常や予兆を検知する際に、処理装置の負荷を少なくすることにある。
　本発明によれば、室内を録音又は録画することにより生成された処理対象データを取得する取得手段と、
　前記処理対象データの一部である処理対象部分を、前記室内の設備に関する設備情報を生成するために処理する処理手段と、
を備え、
　前記処理手段は、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定する、データ処理装置が提供される。
　本発明によれば、コンピュータが、
　　室内を録音又は録画することにより生成された処理対象データを取得する取得工程と、
　　前記処理対象データの一部である処理対象部分を処理することにより、前記室内の設備に関する設備情報を生成して出力する処理工程と、
を行い、
　前記処理工程において、前記コンピュータは、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定する、データ処理方法が提供される。
　本発明によれば、コンピュータに、
　　室内を録音又は録画することにより生成された処理対象データを取得する取得機能と、
　　前記処理対象データの一部である処理対象部分を処理することにより、前記室内の設備に関する設備情報を生成して出力する処理機能と、
を持たせ
　前記処理機能において、前記コンピュータに、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定させる、プログラムが提供される。
　本発明によれば、動画や音声を解析することによって設備の異常や予兆を検知する際に、処理装置の負荷は少なくなる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１実施形態に係るデータ処理装置の機能構成を示す図である。 データ処理装置のハードウェア構成例を示す図である。 データ処理装置が行う処理の一例を示すフローチャートである。 図３のステップＳ２０の第１例を示すフローチャートである。 図３のステップＳ２０の第２例を示すフローチャートである。 図３のステップＳ２０の第３例を示すフローチャートである。 第２実施形態に係るデータ処理装置の機能構成を示す図である。 第３実施形態に係るデータ処理装置の機能構成を示す図である。 第３実施形態に係るデータ処理装置が行う処理の一例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　［第１実施形態］
　図１は、本実施形態に係るデータ処理装置１０の機能構成を示す図である。データ処理装置１０は、部屋に設けられた設備の異常又はその予兆を検知する装置であり、取得部１１０及び処理部１２０を有している。取得部１１０は、処理対象データを取得する。処理対象データは、室内を録音又は録画することにより生成されている。処理部１２０は、処理対象データの一部（以下、処理対象部分と記載）を、室内の設備に関する設備情報を生成するために処理する。そして処理部１２０は、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて処理対象部分を設定する。以下、データ処理装置１０について詳細に説明する。
　本実施形態において、データ処理装置１０が管理する部屋は、例えば会議室やミーティングルーム、応接室等である。データ処理装置１０は、複数の部屋を管理している。データ処理装置１０が管理している部屋の中には、少なくとも一つの設備が設けられている。この設備は、例えば、エアコンなどの空調機、照明、コンピュータ、電子ボード、ディスプレイ、プロジェクタ、テレビ会議システム、配線、コネクタ、テーブル、及び椅子の少なくとも一つである。
　データ処理装置１０が管理する部屋の中には、処理対象データを生成するためのデータ生成装置が設けられている。データ生成装置は、撮像デバイス及びマイクの少なくとも一方を有している。データ生成装置は、監視カメラであってもよい。そして、データ生成装置が生成する処理対象データは、例えば音声付の動画データであるが、音声データと動画データの一方であってもよい。
　取得部１１０は、上記したように処理対象データを取得する。取得部１１０は、データ生成装置から処理対象データを取得してもよいし、ストレージから処理対象データを取得してもよい。後者の場合、データ生成装置は処理対象データをストレージに格納する。そして取得部１１０は、このストレージから処理対象データを取得する。
　上記したように、データ処理装置１０は複数の部屋を管理している。取得部１１０は、処理対象データを、その処理対象データが生成された部屋を特定する情報（以下、部屋特定情報と記載）に対応付けて取得する。例えばデータ生成装置は、処理対象データを、そのデータ生成装置が設置されている部屋の部屋特定情報とともに、取得部１１０又はストレージに送信する。処理対象データ及び部屋特定情報がストレージに送信される場合、ストレージは、処理対象データを部屋特定情報に紐づけて記憶する。そして取得部１１０は、処理対象データを、その処理対象データに紐づけられた部屋特定情報とともに読み出す。
　処理部１２０は、上記したように、処理対象データの処理対象部分を、基準タイミングを用いて設定する。処理部１２０による基準タイミングの検出方法及び処理対象部分の設定方法の詳細例に関しては、後述する。
　処理部１２０は、上記したように、処理対象部分を、設備情報を生成するために処理する。設備情報は、例えば室内の設備に異常が発生していること、又は今後異常が発生し得ることを示している。例えば処理対象データが動画を含んでいる場合、処理部１２０は、設備情報を生成するために、動画を処理することにより人の動きを検出する。例えば処理部１２０は、動画を構成するフレーム画像について人の各部分（例えば顔や手）の検出処理を行い、検出された部分の位置をフレームごとに特定することにより、人の動きを検出する。また処理対象データが音声を含んでいる場合、処理部１２０は、設備情報を生成するために、声紋を検出したり、発話された単語を検出したりする。なお、処理部１２０による設備情報を生成するための処理の詳細については、フローチャートを用いて後述する。
　処理部１２０が生成した設備情報は、例えばその部屋の部屋特定情報とともに、部屋の管理者の端末に送信される。ただし、設備情報は、部屋特定情報に紐づけて記憶装置に記憶されてもよい。この場合、部屋の管理者は、所望のタイミングで、設備情報及び部屋特定情報を記憶装置から読み出す。
　図２は、データ処理装置１０のハードウェア構成例を示す図である。データ処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０はデータ処理装置１０の各機能（例えば取得部１１０及び処理部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
　入出力インタフェース１０５０は、データ処理装置１０と各種入出力機器とを接続するためのインタフェースである。
　ネットワークインタフェース１０６０は、データ処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。そして、データ処理装置１０は、ネットワークインタフェース１０６０を介して外部の装置やストレージに接続する。
　図３は、データ処理装置１０が行う処理の一例を示すフローチャートである。まず、データ処理装置１０の取得部１１０は、処理対象データを取得する（ステップＳ１０）。そして処理部１２０は、基準タイミングの検出処理を行う（ステップＳ２０）。例えば処理部１２０は、処理対象データを処理することにより、基準タイミングを検出する。基準タイミングは、例えば会議、打ち合わせ、又はミーティングが始まるタイミングを示している。ステップＳ２０の具体例については、後述する。
　次いで処理部１２０は、ステップＳ２０で検出した基準タイミングを用いて、処理対象部分を設定する（ステップＳ３０）。
　例えば処理対象データがストレージなどに記憶されている場合、処理部１２０は、以下の３つの方法のいずれかを用いて処理対象部分を設定する。
（１）処理部１２０は、基準タイミングから所定時間前を始点とし、当該基準タイミングを終点とする期間を対象部分とする。
（２）処理部１２０は、基準タイミングを始点とし、当該基準タイミングから所定時間後を終点とする期間を処理対象部分とする。
（３）処理部１２０は、基準タイミングから第１所定時間前を始点とし、当該基準タイミングから第２所定時間後を終点とする期間を処理対象部分とする。ここで、第１所定時間と第２所定時間は同じ時間であってもよいし、互いに異なっていてもよい。
　また、取得部１１０が処理対象データをデータ生成装置から取得する場合、すなわちデータ処理装置１０が処理対象データをすぐに処理する場合、処理部１２０は、例えば上記（２）の方法を用いて処理対象部分を設定する。なお、データ処理装置１０が処理対象データを一定時間記憶する機能を有している場合、取得部１１０が処理対象データをデータ生成装置から取得する場合であっても、処理部１２０は、上記（１）～（３）のすべてを用いることができる。
　そして処理部１２０は、処理対象部分を処理し、設備情報の生成基準を満たすか否かを判断する（ステップＳ４０）。設備情報が、その設備に異常が発生したこと又はその予兆があることを示している場合、設備情報の生成基準は、例えば以下の（Ａ）及び（Ｂ）のいずれかである。
（Ａ）処理対象部分に含まれる動画を処理することにより、設備の周囲に位置する人の動きを検出する。そして、これらの人の動きが基準を満たしたことを、設備情報を生成するための必要条件の少なくとも一部にする。ここで用いられる基準は、例えば以下の（ａ）及び（ｂ）である。
（ａ）基準数以上（例えば二人以上）の人が設備の周囲に集まる
（ｂ）設備の周囲に位置する人が基準時間以内に基準回数（例えば２回）以上入れ替わる
（Ｂ）処理対象部分に含まれる音声を処理することにより、人によって発話された単語を検出する。そして設備の周囲に位置する人の動きを検出する。そして、予め定められたキーワード（第２キーワード）を所定回数検出したことを、設備情報を生成するための必要条件の少なくとも一部にする。室内に複数種類の設備が設けられている場合、第２キーワードは設備別に設定されていてもよい。
　なお、処理部１２０は、設備の動作を示すログデータを取得できる場合、処理対象部分に対応する時間帯のログデータが基準を満たしたことを、設備情報を生成するための必要条件の少なくとも一部にしてもよい。この場合、処理部１２０は、例えば通信網を介してログデータを取得する。なお、設備情報を生成するための基準は、例えば以下の通りである。
（i）電源ボタンが所定時間内に基準回数（例えば２回）以上操作されたとき
（ii）コネクタが所定時間内に基準回数（例えば２回）以上抜き差しされたとき
（iii）同一の操作が所定時間内に基準回数（例えば２回）以上行われたとき
　また、設備情報は、設備の異常やその予兆ではなく、設備が使いづらいことを意味していてもよい。この場合は、設備の異常や予兆とは異なる第２キーワードを設定すればよい。
　その後、処理部１２０は処理対象部分を処理し、処理対象部分が設備情報の生成基準を満たすか否かを判断する。満たす場合（ステップＳ４０：Ｙｅｓ）、処理部１２０は設備情報を生成して出力する（ステップＳ５０）。
　なお、処理部１２０は、処理対象部分以外の処理対象データも同様に処理し、当該部分が設備情報の生成基準を満たすか否かを判断してもよい。この場合、処理部１２０は、例えば、処理対象部分と処理対象部分以外それぞれにおいて、処理結果を示す値（例えば基準を満たす時には「１」で、それ以外のときには「０」）を生成し、この値の合計値が基準を満たしたときに、設備情報を生成して出力する。この際、処理部１２０は、処理対象部分の重みを相対的に大きくしてもよい。一例として、処理部１２０は、処理対象部分が基準を満たす時の値を、処理対象部分以外が基準を満たしたときの値よりも大きくする。
　図４は、図３のステップＳ２０の第１例を示すフローチャートである。本図に示す例において、処理部１２０は室内を撮影した動画を処理する。まず処理部１２０は、設備の周囲に位置する人の動き及び視線の少なくとも一方を検出する（ステップＳ２０２）。そして人の動きや視線が基準を満たしたとき（ステップＳ２０４：Ｙｅｓ）を、基準タイミングに設定する（ステップＳ２０６）。ここで用いられる基準の例は、以下の通りである。
・室内に人がいることが検知されたとき。
・人と設備の距離が基準値以下になったとき。
・人が設備に接触したとき
・人が設備のコントローラに接触したとき
・室内で立っている人がいなくなったとき
・室内の人の動きの量が基準以下になったとき
・室内の人の視線がディスプレイを向いたとき
　なお、上記した基準は、基準タイミングの必要条件の一部なわち基準条件の一部であってもよい。
　図５は、図３のステップＳ２０の第２例を示すフローチャートである。本図に示す例において、処理部１２０は室内の音声を処理する。まず処理部１２０は、音声に含まれる人の声に対して声紋の検出処理を行い、単位時間当たり（例えば１０秒以上１分以下の時間）に発言している人の数を判断する（ステップＳ２１２）。そして検出した人の数が基準を満たしたとき、例えば予め定められた数（一人）以下になった時（ステップＳ２１４：Ｙｅｓ）を、基準タイミングに設定する（ステップＳ２１６）。なお、ステップＳ２１４において、人の数が基準を満たすことは、基準タイミングの必要条件の一部であってもよい。
　図６は、図３のステップＳ２０の第３例を示すフローチャートである。本図に示す例においても、処理部１２０は室内の音声を処理する。まず処理部１２０は、音声に含まれる単語を検出する（ステップＳ２２２）。そして検出した単語が予め定められた少なくとも一つのキーワード（第１キーワード）であったとき（ステップＳ２２４：Ｙｅｓ）を、基準タイミングに設定する（ステップＳ２２６）。なお、ステップＳ２２４において、第１キーワードが複数回検出される（同一の第１キーワードである必要はない）ことを、基準タイミングの設定条件にしてもよい。また、第１キーワードが検出されることは、基準タイミングの必要条件の一部であってもよい。
　以上、本実施形態によれば、データ処理装置１０は、室内を撮影または録音したデータ（処理対象データ）を処理することにより、設備の異常やその予兆に関する設備情報を生成する。ここで、データ処理装置１０の処理部１２０は、処理対象データの一部（処理対象部分）を、処理対象として選択する。このため、処理対象部分より後の音声や画像を、設備情報の生成のために処理しなくて済む。従って、データ処理装置１０の演算量は少なくなる。
［第２実施形態］
　図７は、本実施形態に係るデータ処理装置１０の機能構成を示す図である。本実施形態に係るデータ処理装置１０は、処理部１２０が、各部屋の予約情報を取得し、この要約情報を基準タイミングの設定のために用いる点を除いて、第１実施形態に係るデータ処理装置１０と同様の構成である。
　本図に示す例において、予約情報はスケジュール記憶装置２０に記憶されている。予約情報は、部屋特定情報、並びにその部屋特定情報に対応する部屋の使用開始予定時刻及び使用終了予定時刻を含んでいる。このため、処理部１２０は、予約情報を用いることにより、その部屋の使用開始予定時刻を把握することができる。
　具体的には、処理部１２０は、対象となる部屋の部屋特定情報を取得し、この部屋特定情報に対応する使用開始予定時刻をスケジュール記憶装置２０から読み出す。そして、この部屋特定情報を用いて基準タイミングを設定する。例えば処理部１２０は、使用開始予定時刻から基準時間が経過したことを、基準タイミングの必要条件の少なくとも一部にする。ここで処理部１２０は、使用開始予定時刻から基準時間が経過したときを基準タイミングにしてもよい。
　本実施形態によっても、第１実施形態と同様に、データ処理装置１０の演算量は少なくなる。また、基準タイミングの設定処理すなわち処理対象部分の設定時に処理対象データを処理する必要がなくなるため、データ処理装置１０の演算量をさらに少なくすることができる。
［第３実施形態］
　図８は、本実施形態に係るデータ処理装置１０の機能構成を示す図である。本実施形態に係るデータ処理装置１０は、処理対象部分の設定に明るさ情報を用いる点を除いて、第１実施形態に係るデータ処理装置１０と同様の構成である。
　データ処理装置１０の処理部１２０は、明るさ情報を取得する。明るさ情報は室内の明るさが特定可能な情報である。明るさ情報は、例えば室内の照度センサを用いて生成されていてもよいし、室内の照明のスイッチのオン／オフを示す情報であってもよい。
　図９は、本実施形態に係るデータ処理装置１０が行う処理の一例を示すフローチャートである。本図に示す例において、データ処理装置１０は、部屋が使用されている間に設備情報を生成する。
　まず処理部１２０は、明るさ情報を取得し続ける。そして、明るさ情報が基準を満たしたとき（ステップＳ３０２：Ｙｅｓ）、取得部１１０に、処理対象データの取得を開始させる。この際、取得部１１０は、処理対象データの取得が終わるタイミングも指定する。言い換えると、取得部１１０は、処理対象データのうち処理対象部分のみを取得する（ステップＳ３０４）。
　ステップＳ３０２で用いられる基準は、例えば以下の通りであり、室内の明るさか基準値以下になったと推定又は特定されることを意味している。
（ａ）明るさ情報が室内の照度センサを用いて生成されているときは、室内の明るさが基準値以下になること
（ｂ）明るさ情報が室内の照明のオン／オフを示しているときは、予め定められた照明がオフになっていること
　その後の処理（ステップＳ３０６及びステップＳ３０８）は、第１実施形態においてステップＳ４０及びステップＳ５０を用いて説明した通りである。
　なお、第１実施形態の図３に示したステップＳ２０において、本実施形態に示した明るさ情報が上記した基準を満たすことを、基準タイミングの必要条件の少なくとも一部にしてもよい。
　本実施形態によっても、第１実施形態と同様に、データ処理装置１０の演算量は少なくなる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．室内を録音又は録画することにより生成された処理対象データを取得する取得手段と、
　前記処理対象データの一部である処理対象部分を、前記室内の設備に関する設備情報を生成するために処理する処理手段と、
を備え、
　前記処理手段は、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定する、データ処理装置。
２．上記１に記載のデータ処理装置において、
　前記処理対象データは動画データを含んでおり、
　前記処理手段は、前記動画データを処理することにより前記室内に存在する人の動きを検出し、当該人の動きが基準を満たしたことを前記基準条件の少なくとも一部にするデータ処理装置。
３．上記２に記載のデータ処理装置において、
　前記処理手段は、前記人と前記設備の距離が基準値以下になったことを、前記基準条件の少なくとも一部にするデータ処理装置。
４．上記３に記載のデータ処理装置において、
　前記処理手段は、前記人が前記設備に接触したことを、前記基準条件の少なくとも一部にするデータ処理装置。
５．上記２に記載のデータ処理装置において、
　前記処理手段は、前記人が前記設備のコントローラに接触したことを、前記基準条件の少なくとも一部にするデータ処理装置。
６．上記２に記載のデータ処理装置において、
　前記処理手段は、前記室内で立っている人がいなくなったことを、前記基準条件の少なくとも一部にするデータ処理装置。
７．上記１～６のいずれか一項に記載のデータ処理装置において、
　前記処理手段は、前記室内の明るさか基準値以下になったと推定又は特定されたタイミングを、前記基準条件の少なくとも一部にするデータ処理装置。
８．上記１～７のいずれか一項に記載のデータ処理装置において、
　前記処理対象データは音声データを含んでおり、
　前記処理手段は、前記音声データを解析し、単位時間内に発話している人の数が基準数以下になったことを、前記基準条件の少なくとも一部にするデータ処理装置。
９．上記１～８のいずれか一項に記載のデータ処理装置において、
　前記処理対象データは音声データを含んでおり、
　前記処理手段は、前記音声データから予め定められた第１キーワードを検出したことを、前記基準条件の少なくとも一部にするデータ処理装置。
１０．上記１～９のいずれか一項に記載のデータ処理装置において、
　前記処理手段は、前記室の予約情報から前記室の使用開始予定時刻を取得し、当該使用開始予定時刻を用いて前記基準タイミングを設定するデータ処理装置。
１１．上記１０に記載のデータ処理装置において、
　前記処理手段は、前記使用開始予定時刻から基準時間が経過したことを、前記基準条件の少なくとも一部に設定するデータ処理装置。
１２．上記１～１１のいずれか一項に記載のデータ処理装置において、
　前記処理対象データは動画を含んでおり、
　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
　前記処理手段は、
　　前記動画を処理することにより、前記設備の周囲に位置する人の動きを検出し、
　　当該動きが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理装置。
１３．上記１～１２のいずれか一項に記載のデータ処理装置において、
　前記処理対象データは音声データを含んでおり、
　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
　前記処理手段は、前記音声データから予め定められた第２キーワードを所定回数検出したことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理装置。
１４．上記１２又は１３に記載のデータ処理装置において、
　前記処理手段は、
　　前記処理対象部分に対応する時間帯の前記設備の動作を示すログデータを取得し、
　　さらに前記ログデータが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理装置。
１５．コンピュータが、
　　室内を録音又は録画することにより生成された処理対象データを取得する取得工程と、
　　前記処理対象データの一部である処理対象部分を処理することにより、前記室内の設備に関する設備情報を生成して出力する処理工程と、
を行い、
　前記処理工程において、前記コンピュータは、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定する、データ処理方法。
１６．上記１５に記載のデータ処理方法において、
　前記処理対象データは動画データを含んでおり、
　前記コンピュータは、前記動画データを処理することにより前記室内に存在する人の動きを検出し、当該人の動きが基準を満たしたことを前記基準条件の少なくとも一部にするデータ処理方法。
１７．上記１６に記載のデータ処理方法において、
　前記コンピュータは、前記人と前記設備の距離が基準値以下になったことを、前記基準条件の少なくとも一部にするデータ処理方法。
１８．上記１７に記載のデータ処理方法において、
　前記コンピュータは、前記人が前記設備に接触したことを、前記基準条件の少なくとも一部にするデータ処理方法。
１９．上記１７に記載のデータ処理方法において、
　前記コンピュータは、前記人が前記設備のコントローラに接触したことを、前記基準条件の少なくとも一部にするデータ処理方法。
２０．上記１７に記載のデータ処理方法において、
　前記コンピュータは、前記室内で立っている人がいなくなったことを、前記基準条件の少なくとも一部にするデータ処理方法。
２１．上記１５～２０のいずれか一項に記載のデータ処理方法において、
　前記コンピュータは、前記室内の明るさか基準値以下になったと推定又は特定されたタイミングを、前記基準条件の少なくとも一部にするデータ処理方法。
２２．上記１５～２１のいずれか一項に記載のデータ処理方法において、
　前記処理対象データは音声データを含んでおり、
　前記コンピュータは、前記音声データを解析し、単位時間内に発話している人の数が基準数以下になったことを、前記基準条件の少なくとも一部にするデータ処理方法。
２３．上記１５～２２のいずれか一項に記載のデータ処理方法において、
　前記処理対象データは音声データを含んでおり、
　前記コンピュータは、前記音声データから予め定められた第１キーワードを検出したことを、前記基準条件の少なくとも一部にするデータ処理方法。
２４．上記１５～２３のいずれか一項に記載のデータ処理方法において、
　前記コンピュータは、前記室の予約情報から前記室の使用開始予定時刻を取得し、当該使用開始予定時刻を用いて前記基準タイミングを設定するデータ処理方法。
２５．上記２４に記載のデータ処理方法において、
　前記コンピュータは、前記使用開始予定時刻から基準時間が経過したことを、前記基準条件の少なくとも一部に設定するデータ処理方法。
２６．上記１５～２５のいずれか一項に記載のデータ処理方法において、
　前記処理対象データは動画を含んでおり、
　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
　前記コンピュータは、
　　前記動画を処理することにより、前記設備の周囲に位置する人の動きを検出し、
　　当該動きが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理方法。
２７．上記１５～２６のいずれか一項に記載のデータ処理方法において、
　前記処理対象データは音声データを含んでおり、
　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
　前記コンピュータは、前記音声データから予め定められた第２キーワードを所定回数検出したことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理方法。
２８．上記２６又は２７に記載のデータ処理方法において、
　前記コンピュータは、
　　前記処理対象部分に対応する時間帯の前記設備の動作を示すログデータを取得し、
　　さらに前記ログデータが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理方法。
２９．コンピュータに、
　　室内を録音又は録画することにより生成された処理対象データを取得する取得機能と、
　　前記処理対象データの一部である処理対象部分を処理することにより、前記室内の設備に関する設備情報を生成して出力する処理機能と、
を持たせ
　前記処理機能において、前記コンピュータに、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定させる、プログラム。
３０．上記２９に記載のプログラムにおいて、
　前記処理対象データは動画データを含んでおり、
　前記コンピュータに、前記動画データを処理することにより前記室内に存在する人の動きを検出させ、
　当該人の動きが基準を満たしたことを前記基準条件の少なくとも一部にするプログラム。
３１．上記３０に記載のプログラムにおいて、
　前記人と前記設備の距離が基準値以下になったことを、前記基準条件の少なくとも一部にするプログラム。
３２．上記３１に記載のプログラムにおいて、
　前記人が前記設備に接触したことを、前記基準条件の少なくとも一部にするプログラム。
３３．上記３１に記載のプログラムにおいて、
　前記人が前記設備のコントローラに接触したことを、前記基準条件の少なくとも一部にするプログラム。
３４．上記３１に記載のプログラムにおいて、
　前記室内で立っている人がいなくなったことを、前記基準条件の少なくとも一部にするプログラム。
３５．上記２９～３４のいずれか一項に記載のプログラムにおいて、
　前記室内の明るさか基準値以下になったと推定又は特定されたタイミングを、前記基準条件の少なくとも一部にするプログラム。
３６．上記２９～３５のいずれか一項に記載のプログラムにおいて、
　前記処理対象データは音声データを含んでおり、
　前記音声データを解析し、単位時間内に発話している人の数が基準数以下になったことを、前記基準条件の少なくとも一部にするプログラム。
３７．上記２９～３６のいずれか一項に記載のプログラムにおいて、
　前記処理対象データは音声データを含んでおり、
　前記音声データから予め定められた第１キーワードを検出したことを、前記基準条件の少なくとも一部にするプログラム。
３８．上記２９～３７のいずれか一項に記載のプログラムにおいて、
　前記コンピュータに、前記室の予約情報から前記室の使用開始予定時刻を取得し、当該使用開始予定時刻を用いて前記基準タイミングを設定させるプログラム。
３９．上記３８に記載のプログラムにおいて、
　前記使用開始予定時刻から基準時間が経過したことを、前記基準条件の少なくとも一部に設定するプログラム。
４０．上記２９～３９のいずれか一項に記載のプログラムにおいて、
　前記処理対象データは動画を含んでおり、
　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
　前記コンピュータに、前記動画を処理することにより、前記設備の周囲に位置する人の動きを検出させ、
　当該動きが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするプログラム。
４１．上記２９～４０のいずれか一項に記載のプログラムにおいて、
　前記処理対象データは音声データを含んでおり、
　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
　前記音声データから予め定められた第２キーワードを所定回数検出したことを、前記設備情報を生成するための必要条件の少なくとも一部にするプログラム。
４２．上記４０又は４１に記載のプログラムにおいて、
　前記コンピュータは、前記処理対象部分に対応する時間帯の前記設備の動作を示すログデータを取得し、
　さらに前記ログデータが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするプログラム。

Claims (16)

  1. 　室内を録音又は録画することにより生成された処理対象データを取得する取得手段と、
    　前記処理対象データの一部である処理対象部分を、前記室内の設備に関する設備情報を生成するために処理する処理手段と、
    を備え、
    　前記処理手段は、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定する、データ処理装置。
  2. 　請求項１に記載のデータ処理装置において、
    　前記処理対象データは動画データを含んでおり、
    　前記処理手段は、前記動画データを処理することにより前記室内に存在する人の動きを検出し、当該人の動きが基準を満たしたことを前記基準条件の少なくとも一部にするデータ処理装置。
  3. 　請求項２に記載のデータ処理装置において、
    　前記処理手段は、前記人と前記設備の距離が基準値以下になったことを、前記基準条件の少なくとも一部にするデータ処理装置。
  4. 　請求項３に記載のデータ処理装置において、
    　前記処理手段は、前記人が前記設備に接触したことを、前記基準条件の少なくとも一部にするデータ処理装置。
  5. 　請求項２に記載のデータ処理装置において、
    　前記処理手段は、前記人が前記設備のコントローラに接触したことを、前記基準条件の少なくとも一部にするデータ処理装置。
  6. 　請求項２に記載のデータ処理装置において、
    　前記処理手段は、前記室内で立っている人がいなくなったことを、前記基準条件の少なくとも一部にするデータ処理装置。
  7. 　請求項１～６のいずれか一項に記載のデータ処理装置において、
    　前記処理手段は、前記室内の明るさか基準値以下になったと推定又は特定されたタイミングを、前記基準条件の少なくとも一部にするデータ処理装置。
  8. 　請求項１～７のいずれか一項に記載のデータ処理装置において、
    　前記処理対象データは音声データを含んでおり、
    　前記処理手段は、前記音声データを解析し、単位時間内に発話している人の数が基準数以下になったことを、前記基準条件の少なくとも一部にするデータ処理装置。
  9. 　請求項１～８のいずれか一項に記載のデータ処理装置において、
    　前記処理対象データは音声データを含んでおり、
    　前記処理手段は、前記音声データから予め定められた第１キーワードを検出したことを、前記基準条件の少なくとも一部にするデータ処理装置。
  10. 　請求項１～９のいずれか一項に記載のデータ処理装置において、
    　前記処理手段は、前記室の予約情報から前記室の使用開始予定時刻を取得し、当該使用開始予定時刻を用いて前記基準タイミングを設定するデータ処理装置。
  11. 　請求項１０に記載のデータ処理装置において、
    　前記処理手段は、前記使用開始予定時刻から基準時間が経過したことを、前記基準条件の少なくとも一部に設定するデータ処理装置。
  12. 　請求項１～１１のいずれか一項に記載のデータ処理装置において、
    　前記処理対象データは動画を含んでおり、
    　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
    　前記処理手段は、
    　　前記動画を処理することにより、前記設備の周囲に位置する人の動きを検出し、
    　　当該動きが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理装置。
  13. 　請求項１～１２のいずれか一項に記載のデータ処理装置において、
    　前記処理対象データは音声データを含んでおり、
    　前記設備情報は、前記設備に異常が発生したこと又はその予兆があることを示しており、
    　前記処理手段は、前記音声データから予め定められた第２キーワードを所定回数検出したことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理装置。
  14. 　請求項１２又は１３に記載のデータ処理装置において、
    　前記処理手段は、
    　　前記処理対象部分に対応する時間帯の前記設備の動作を示すログデータを取得し、
    　　さらに前記ログデータが基準を満たしたことを、前記設備情報を生成するための必要条件の少なくとも一部にするデータ処理装置。
  15. 　コンピュータが、
    　　室内を録音又は録画することにより生成された処理対象データを取得する取得工程と、
    　　前記処理対象データの一部である処理対象部分を処理することにより、前記室内の設備に関する設備情報を生成して出力する処理工程と、
    を行い、
    　前記処理工程において、前記コンピュータは、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定する、データ処理方法。
  16. 　コンピュータに、
    　　室内を録音又は録画することにより生成された処理対象データを取得する取得機能と、
    　　前記処理対象データの一部である処理対象部分を処理することにより、前記室内の設備に関する設備情報を生成して出力する処理機能と、
    を持たせ
    　前記処理機能において、前記コンピュータに、予め定められた基準条件を満たすタイミングである基準タイミングを検出し、当該基準タイミングを用いて前記処理対象部分を設定させる、プログラム。
PCT/JP2019/024205 2019-06-19 2019-06-19 データ処理装置、データ処理方法、及びプログラム WO2020255280A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/024205 WO2020255280A1 (ja) 2019-06-19 2019-06-19 データ処理装置、データ処理方法、及びプログラム
US17/550,201 US20220101631A1 (en) 2019-06-19 2021-12-14 Data processing device, data processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024205 WO2020255280A1 (ja) 2019-06-19 2019-06-19 データ処理装置、データ処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/550,201 Continuation US20220101631A1 (en) 2019-06-19 2021-12-14 Data processing device, data processing method, and program

Publications (1)

Publication Number Publication Date
WO2020255280A1 true WO2020255280A1 (ja) 2020-12-24

Family

ID=74037050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024205 WO2020255280A1 (ja) 2019-06-19 2019-06-19 データ処理装置、データ処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20220101631A1 (ja)
WO (1) WO2020255280A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106753A (ja) * 2018-12-28 2020-07-09 ローランド株式会社 情報処理装置および映像処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03245299A (ja) * 1990-02-23 1991-10-31 Tokyo Electric Power Co Inc:The 異常検知装置
JP2003272066A (ja) * 2002-03-15 2003-09-26 Mitsubishi Electric Building Techno Service Co Ltd ビル群管理システム
JP2005222476A (ja) * 2004-02-09 2005-08-18 Fuji Xerox Co Ltd 設備利用支援装置、設備利用支援方法及びそのプログラム
JP2007013733A (ja) * 2005-06-30 2007-01-18 Canon Inc ファイル作成装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03245299A (ja) * 1990-02-23 1991-10-31 Tokyo Electric Power Co Inc:The 異常検知装置
JP2003272066A (ja) * 2002-03-15 2003-09-26 Mitsubishi Electric Building Techno Service Co Ltd ビル群管理システム
JP2005222476A (ja) * 2004-02-09 2005-08-18 Fuji Xerox Co Ltd 設備利用支援装置、設備利用支援方法及びそのプログラム
JP2007013733A (ja) * 2005-06-30 2007-01-18 Canon Inc ファイル作成装置および方法

Also Published As

Publication number Publication date
US20220101631A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
EP1449369B1 (en) A system and method for providing an awareness of remote people in the room during a videoconference
US8743198B2 (en) Method and system for real time detection of conference room occupancy
US10264210B2 (en) Video processing apparatus, method, and system
US8560315B2 (en) Conference support device, conference support method, and computer-readable medium storing conference support program
WO2015029362A1 (ja) 機器制御方法及び機器制御システム
US10931919B2 (en) Video conference system, video conference apparatus, and video conference method
US20200126549A1 (en) Device control system
JP2010183417A (ja) 音声情報表示システム、音声情報表示方法、及び音声情報表示装置
WO2020255280A1 (ja) データ処理装置、データ処理方法、及びプログラム
JP2004505514A (ja) カメラに基づくシステム内のモード切り換えのための方法及び、装置
CN104954730B (zh) 一种播放视频的方法及装置
JP7105380B2 (ja) 情報処理システム及び方法
JP7241195B2 (ja) 設備管理装置、設備管理方法、及びプログラム
CN110401864B (zh) 一种基于物联网的计算机设备连接系统
JP6896666B2 (ja) 勤務管理システム及び方法
WO2021192039A1 (ja) 設備管理装置、設備管理方法およびプログラム
WO2020059879A1 (ja) 発話装置、サーバ、制御システム、制御方法、およびプログラム
CN114205450B (zh) 集体终端工作模式设置方法、装置、集体终端及存储介质
JP6633139B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN111742363B (zh) 语音控制信息输出系统、语音控制信息输出方法以及记录介质
JP6810641B2 (ja) 命令実行装置、サーバ、命令実行システム、命令実行方法、及び命令実行プログラム
WO2019198541A1 (ja) 空間情報共有装置、空間情報共有方法、およびプログラム
US20190387061A1 (en) Information processing device, information processing method, and program
KR20220041413A (ko) 전자장치 및 그 제어방법
JP2022129308A (ja) 結露情報処理システム、空調機器、結露情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP