WO2020240772A1 - 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム - Google Patents

映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム Download PDF

Info

Publication number
WO2020240772A1
WO2020240772A1 PCT/JP2019/021535 JP2019021535W WO2020240772A1 WO 2020240772 A1 WO2020240772 A1 WO 2020240772A1 JP 2019021535 W JP2019021535 W JP 2019021535W WO 2020240772 A1 WO2020240772 A1 WO 2020240772A1
Authority
WO
WIPO (PCT)
Prior art keywords
recording device
video recording
video
frame image
video data
Prior art date
Application number
PCT/JP2019/021535
Other languages
English (en)
French (fr)
Inventor
邦博 太田
庸一朗 原
耕大 中村
Original Assignee
株式会社Mory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Mory filed Critical 株式会社Mory
Priority to JP2021521687A priority Critical patent/JPWO2020240772A1/ja
Priority to PCT/JP2019/021535 priority patent/WO2020240772A1/ja
Publication of WO2020240772A1 publication Critical patent/WO2020240772A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Definitions

  • the present invention relates to a technique for recording video while protecting privacy.
  • Patent Document 1 in a drive recorder capable of identifying at least one of another vehicle and a person related to the event when an event occurs in an image, the area and the person to which the other vehicle is struck are photographed. It is stated that at least one of the areas will be subjected to image processing for privacy protection.
  • the present invention provides a technique for recording video while protecting privacy more strongly.
  • One aspect of the present invention is an imaging means that outputs a video signal obtained by photographing the surroundings, a temporary storage means that temporarily stores a frame image indicated by the video signal, and a frame image stored in the temporary storage means.
  • a face recognition means for performing face recognition processing, a replacement means for replacing a portion of the frame image determined to be a face by the face recognition means with another image, and a frame image processed by the replacement means.
  • a video recording apparatus having a generation means for generating video data by compression and a permanent storage means for permanently storing the video data generated by the generation means.
  • the other image may be an image that can be converted into the original image by reversible processing.
  • the video recording device includes a switching means for switching the operation mode of the video recording device from one operation mode among a plurality of operation modes of the normal mode and the emergency mode to another operation mode, and the operation mode is the emergency mode.
  • it may have a transmission means for transmitting the video data to a predetermined external device and not transmitting the video data to the external device when the operation mode is the normal mode.
  • the video recording device has an analysis means for analyzing the situation around the video recording device using the frame image stored in the temporary storage means, and the switching means responds to the analysis result by the analysis means.
  • the operation mode may be switched.
  • the video recording device has a sound collecting means that outputs a sound signal collected from the surroundings, or a motion detecting means that outputs a motion signal indicating the motion of the video recording device, and the analysis means is the frame image. And the sound signal or the motion signal may be used to analyze the situation around the video recording device.
  • the switching means may shift the operation mode from the normal mode to the emergency mode in response to the acquisition of information indicating the occurrence of a disaster.
  • the video recording device has a processing means for reducing the amount of data in a portion of the frame image that is determined to be a face by the face recognition means and is separated from the portion by a predetermined distance.
  • Video data may be generated by compressing the frame image processed and replaced by the processing means and the replacement means.
  • the video recording device uses the frame image stored in the temporary storage means to provide analysis means for analyzing the situation around the video recording device and additional information indicating the situation analyzed by the analysis means. It may have an additional means to be added to the data.
  • the video recording device uses the frame image stored in the temporary storage means to provide analysis means for analyzing the situation around the video recording device and additional information indicating the situation analyzed by the analysis means.
  • the transmitting means transmits the video data retroactively to a time point before the operation mode is switched to the emergency mode. May be good.
  • the video recording device does not have to have a display means for displaying the video obtained by reproducing the video data.
  • Another aspect of the present invention includes a server and a video recording device, wherein the video recording device temporarily outputs an imaging means for outputting a video signal of the surroundings and a frame image indicated by the video signal.
  • Another image is a temporary storage means for storing, a face recognition means for performing face recognition processing on a frame image stored in the temporary storage means, and a portion of the frame image determined to be a face by the face recognition means.
  • a switching means for switching the operation mode of the video recording device from one operation mode among a plurality of operation modes of the normal mode and the emergency mode to another operation mode, and when the operation mode is the emergency mode, the server is informed.
  • a storage means for storing the video data, a receiving means for receiving the video data from the video recording device, and a transmitting means for transmitting the video data received by the receiving means to the video playback device corresponding to the video recording device.
  • the video recording device includes an analysis means for analyzing a situation around the video recording device using the frame image stored in the temporary storage means, an acquisition means for acquiring position information of the video recording device, and the above. It has additional information indicating the situation analyzed by the analysis means and additional means for adding the position information to the video data, and the server displays the situation indicated by the additional information on a map using the position information.
  • the transmitting means may transmit a map to which the situation is mapped to the video reproduction device.
  • the transmitting means periodically transmits the position information to the server, and in the server, the transmitting means maps the specific information to the video recording device by the position information.
  • a control signal for switching the operation mode to the emergency mode is transmitted, and in the video recording device, the switching means responds to the control signal.
  • the operation mode may be switched to the emergency mode.
  • a remote monitoring method having a step of transmitting to a playback device.
  • another aspect of the present invention includes a step of temporarily storing a frame image indicated by a video signal obtained by photographing the surroundings in a temporary storage means in a computer, and a frame image stored in the temporary storage means.
  • the block diagram which illustrates the functional structure of the remote monitoring system 1. The block diagram which illustrates the hardware composition of the image recording apparatus 10.
  • a sequence chart illustrating the operation of the remote monitoring system 1. A sequence chart illustrating the operation of the video recording device 10.
  • a sequence chart illustrating the operation of the remote monitoring system 1. The figure which illustrates the streaming screen.
  • a sequence chart illustrating the operation of the remote monitoring system 1E. A diagram exemplifying a disaster map.
  • Camera 103 ... frame memory, 104 ... image processing circuit, 105 ... encoder, 106 ... storage device, 107 ... communication IF, 108 ... button, 109 ... motion sensor, 110 ... GPS receiver, 111 ... microphone, 153 ... face recognition unit , 301 ... Processor, 302 ... Memory, 303 ... Storage device, 304 ... Communication IF.
  • FIG. 1 is a diagram illustrating the configuration of the remote monitoring system 1 according to the embodiment.
  • the remote monitoring system 1 is a system that provides watching services for children, women, the elderly, and the like.
  • the remote monitoring system 1 includes a video recording device 10, a video playback device 20, and a server 30.
  • the video recording device 10 is a device carried by a protected person (for example, a child) to be watched over.
  • the video playback device 20 is a device used by a guardian (for example, a parent of a child), and is, for example, a general-purpose computer such as a smartphone, a tablet terminal, or a laptop computer.
  • the server 30 is a so-called cloud server.
  • the video recording device 10 and the video playback device 20 are connected to the server 30 by the communication line 2.
  • the communication line 2 includes, for example, the Internet, a mobile communication network, a telephone line, or a LAN (Local Area Network).
  • the video recording device 10 is a device carried by a protected person (that is, a so-called wearable device).
  • the video recording device 10 is attached to, for example, a person's belongings (for example, a school bag, a handbag, a name tag, a mobile phone, a name plate), clothes, or the like, and a mounting member (strap, mounting bracket, hook-and-loop fastener, safety pin). Etc.) and used.
  • the video recording device 10 may be carried with a neck strap attached and hung from the neck of the protected person.
  • a belt may be attached to the video recording device 10 and used by being worn on the wrist, ankle, waist or the like of the protected person.
  • the video recording device 10 includes a camera 102 and a button 108.
  • the camera 102 outputs a video signal of the surroundings.
  • the video data representing the captured video is stored (or stored) in the storage device of the video recording device 10.
  • the button 108 is an operator operated by a user (that is, a protected person), and is an operator for switching the operation mode of the video recording device from the normal mode to the emergency mode.
  • the normal mode refers to an operation mode in which the image captured by the camera 102 is recorded in the storage device 106.
  • the emergency mode refers to an operation mode in which image data captured by the camera 102 is streamed to the video playback device 20 via the server 30.
  • the protected person presses the button 108 under predetermined conditions, for example, when he / she feels danger and wants to ask for help.
  • the operation mode of the video recording device 10 is switched from the normal mode to the emergency mode.
  • Parents check the streaming video and take measures such as reporting to the police.
  • one video recording device 10 and one video playback device 20 are shown, but the plurality of video recording devices 10 and the plurality of video playback devices 20 are shown. It may be included in the remote monitoring system 1.
  • FIG. 2 is a block diagram illustrating the functional configuration of the remote monitoring system 1.
  • the video recording device 10 includes an imaging means 11, a temporary storage means 12, a face recognition means 13, a replacement means 14, a generation means 15, a permanent storage means 16, a switching means 17, and a transmission means 18.
  • the server 30 has a storage means 31, a receiving means 32, and a transmitting means 33.
  • the imaging means 11 outputs a video signal that captures the surroundings.
  • the temporary storage means 12 temporarily stores the frame image indicated by the video signal.
  • “temporarily stored” means that the storage capacity is only about several times that of one frame image, the data is frequently rewritten, and the data is lost when the power is turned off.
  • the face recognition means 13 performs face recognition processing on the frame image stored in the temporary storage means 12.
  • the replacement means 14 replaces a portion of the frame image determined to be a face by the face recognition means 13 with another image.
  • the generation means 15 compresses the frame image processed by the replacement means 14 to generate video data.
  • the permanent storage means 16 permanently stores the video data generated by the generation means 15.
  • “permanently memorizing” means that there is a capacity to store moving images of several tens of minutes to several hours, and data is not lost (nonvolatile) even when the power is turned off.
  • the storage capacity of the permanent storage means 16 is limited, the data is overwritten when the storage capacity is exceeded. For example, when the permanent storage means 16 has a storage capacity of 60 minutes of moving images, when a moving image of more than 60 minutes is shot, the data is overwritten in order from the oldest one, and the latest 60 minutes of data is always stored permanently. It is stored in means 16.
  • the switching means 17 switches the operation mode of the video recording device 10 from one operation mode among a plurality of operation modes including the normal mode and the emergency mode to another operation mode.
  • the transmission means 18 transmits video data to a predetermined external device (server 30 in this example) when the operation mode is the emergency mode, and does not transmit the video data to the external device when the operation mode is the normal mode.
  • the storage means 31 stores information that identifies the video reproduction device 20 corresponding to the video recording device 10.
  • a plurality of video reproduction devices 20 may be associated with one video recording device 10.
  • the receiving means 32 receives video data from the video recording device 10.
  • the transmitting means 33 transmits the video data received by the receiving means 32 to the video reproducing device 20 corresponding to the video recording device 10.
  • FIG. 3 is a block diagram illustrating the hardware configuration of the video recording device 10.
  • the control device 101 includes a processor that controls other elements of the video recording device 10 and a memory that functions as a work area for the processor to execute a program.
  • the storage device 106 is a storage device that stores various programs and data, and includes, for example, an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • the communication IF 107 communicates with another device according to a predetermined wireless or wired communication standard.
  • the communication IF 107 includes mobile communication (for example, LTE (Long Term Evolution, registered trademark)) for communicating with the server 30 via a network, and a guardian's terminal device (video playback device 20, etc.). It is possible to perform communication according to two standards of short-range wireless communication (Wi-Fi (registered trademark), Bluetooth (registered trademark), etc.) for direct communication.
  • a SIM Subscriber Identification Module
  • the camera 102 outputs a video signal of the surroundings.
  • the camera 102 is provided, for example, in a direction in which a person and / or a person's face at a position facing the protected person is photographed when the image recording device 10 is attached to the chest of the protected person.
  • the microphone 111 outputs a sound signal collected from the surroundings.
  • the frame memory 103 is a temporary memory for storing a frame image obtained from a video signal output from the camera 102, and has a storage capacity of, for example, one frame.
  • the image processing circuit 104 performs predetermined image processing on the frame image data stored in the frame memory 103.
  • the image-processed frame image data is converted into video data by using, for example, the relationship with the previous and next frame images.
  • This video data may include a sound signal output from the microphone 111 in the audio track.
  • This video data is stored in the storage device 106.
  • the button 108 is an operator for the user to switch the operation mode (normal mode and emergency mode) of the video recording device 10.
  • the motion sensor 109 includes sensors such as an acceleration sensor, a gyro sensor, and a speed sensor, and outputs a motion signal indicating the motion of the video recording device 10.
  • the GPS receiving unit 110 receives a GPS signal from a GPS (Global Positioning System) satellite and outputs position information calculated from the received GPS signal.
  • the video recording device 10 does not have a display means for displaying a video in which video data is reproduced.
  • the video recording device 10 has a built-in secondary battery (not shown), and each component operates by the electric power supplied from the secondary battery. Further, the video recording device 10 has a power button (not shown), and the device can be turned on / off by operating the power button. When the power is turned on, the program stored in the storage device 106 is automatically started, and the video recording device 10 starts operating in the normal mode.
  • the camera 102 is an example of the imaging means 11.
  • the frame memory 103 is an example of the temporary storage means 12.
  • the image processing circuit 104 is an example of the face recognition means 13 and the replacement means 14.
  • the encoder 105 is an example of the generation means 15.
  • the storage device 106 is an example of the permanent storage means 16.
  • the control device 101 is an example of the switching means 17.
  • the communication IF 107 is an example of the transmission means 18.
  • FIG. 4 is a block diagram illustrating the hardware configuration of the server 30.
  • the processor 301 is a processor that controls other elements of the server 30.
  • the memory 302 is a storage device that functions as a work area for the processor 301 to execute a program, and includes, for example, a RAM (Random Access Memory).
  • the storage device 303 is a storage device that stores various programs and data, and includes, for example, an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • the communication IF 304 communicates with other devices in accordance with a predetermined wireless or wired communication standard (eg, Ethernet®).
  • a predetermined wireless or wired communication standard eg, Ethernet®
  • the function shown in FIG. 2 is implemented by the processor 301 executing the program stored in the storage device 303 (hereinafter referred to as "server program").
  • the processor 301 and / or the communication IF 304 executing the server program is an example of the receiving means 32 and the transmitting means 33.
  • the storage device 303 is an example of the storage means 31.
  • identification information of one or more corresponding video playback devices 20 is registered in the video recording device 10.
  • the video playback device 20 is a general-purpose computer device (for example, a smartphone).
  • a program (hereinafter referred to as "client program") for causing the computer device to function as the video playback device 20 in the remote monitoring system 1 is installed in the video playback device 20.
  • This client program implements a function of receiving streaming video distribution from the server 30 and a function of notifying related organizations (both described later).
  • FIG. 5 is a sequence chart illustrating the initial registration operation of the remote monitoring system 1.
  • the video recording device 10 and the video playback device 20 are linked.
  • An application for using the service provided by the remote monitoring system 1 is pre-installed in the video playback device 20.
  • the user of the video playback device 20 operates the UI unit to start the application, and performs an operation for associating the video recording device 10 with the own device.
  • the processor of the video reproduction device 20 reads the identification information from the video recording device 10.
  • the identification information is described as visual information (for example, a character string or an image code such as a QR code (registered trademark)) outside the main body of the video recording device 10.
  • the identification information may be electronically recorded as data in a non-volatile memory or an RFID tag built in the main body.
  • the video reproduction device 20 reads the identification information by a method suitable for the recording method of the identification information (for example, a camera for visual information and an RFID reader for data recorded on an RFID tag).
  • step S501 the video playback device 20 transmits the identification information of the video recording device 10 and the identification information for identifying the video playback device 20 to the server 30 in response to the user's operation.
  • the server 30 associates the identification information that identifies the video recording device 10 with the identification information that identifies the video playback device 20 and stores (registers) them in a database stored in the storage device 303 or the like.
  • the video recording device 10 and the video playback device 20 may be associated with each other on a one-to-one basis, or may be linked on a plurality of pairs.
  • the terminal for registering the identification information is not limited to the video playback device 20, and registration may be performed by another terminal.
  • the shooting video recording device 10 is carried by a protected person. While the power is on, the camera 102 continuously photographs the surroundings of the image recording device 10. The captured moving image is stored in the storage device 106.
  • FIG. 6 is a sequence chart illustrating the processing flow in the video recording apparatus 10.
  • the camera 102 outputs a video signal of the surroundings (step S101).
  • the frame memory 103 stores, for example, the image data of the frame images of the last two frames (step S102).
  • the data stored in the frame memory 103 is raster data and indicates the gradation value for each pixel.
  • the image processing circuit 104 performs face recognition processing on the latest frame image stored in the frame memory 103 (step S103).
  • the face recognition process is performed, for example, by collating a feature extracted from a frame image with a predetermined collation pattern and extracting a portion (area) in which the collation result satisfies a predetermined condition.
  • the image processing circuit 104 performs replacement processing for replacing a portion recognized as a face with another image in the latest frame image stored in the frame memory 103 (step S104).
  • the replacement process is a process of concealing the information contained in the image of the portion determined to be a face, for example, replacing the original image with another image or processing the original image into a mode that cannot be discriminated.
  • Image processing is, for example, an image obtained by subjecting the original image to mosaic processing or blurring processing.
  • this image processing is a reversible processing, and the original data can be reproduced by performing a predetermined processing on the processed data.
  • face recognition processing and replacement processing are always performed on the video indicated by the video signal output from the camera 102.
  • the encoder 105 generates video data from the image data stored in the frame memory 103 (step S105).
  • the video data referred to here is data compressed according to a predetermined data format (for example, mp4 format).
  • the encoder 105 generates video data by referring to, for example, two consecutive frame images stored in the frame memory 103.
  • the encoder 105 outputs the generated video data to the storage device 106.
  • the storage device 106 stores the video data output from the encoder 105. Since the storage capacity of the storage device 106 is finite, when the free area is exhausted, the storage device 106 overwrites the old video data with new video data in order. That is, the storage device 106 always stores a recent fixed period of video data.
  • the video data output from the encoder 105 is also supplied to the communication IF 107 (step S108).
  • the communication IF 107 transmits the video data output from the encoder 105 to the server 30 (step S109).
  • the operation mode is the normal mode, the video data is not supplied to the communication IF 107, and the video data to the server 30 is not supplied. No data is sent.
  • Operation mode switching The video recording device 10 switches the operation mode triggered by a predetermined event.
  • the operation mode is switched when the user (protected person) presses the button 108.
  • the video recording device 10 switches the operation mode to the emergency mode when the button 108 is pressed.
  • FIG. 7 is a sequence chart illustrating the operation of the remote monitoring system 1 in the emergency mode.
  • the video recording device 10 transmits video data to the server 30.
  • the server 30 receives video data from the video recording device 10.
  • the transmitted video data is provided with identification information that identifies the video recording device 10 that is the transmission source.
  • the server 30 stores the identification information attached to the received video data in association with the identification information that identifies the video recording device 10 and the identification information that identifies the video playback device 20.
  • a search is performed from the database, and the video reproduction device 20 corresponding to the video recording device 10 that is the transmission source is specified.
  • the smartphone of the mother of the child carrying the video recording device 10 and the smartphone of the father are specified as the video playback device 20.
  • step S203 the server 30 transmits (that is, streaming distribution) the video data to the specified video playback device 20.
  • the video playback device 20 receives video data from the server 30 and displays the video represented by the received video data on the UI unit of its own device.
  • FIG. 8 is a diagram illustrating a streaming screen SC1 displayed on the video playback device 20.
  • the portion determined to be a face by the face recognition unit 153 is mosaic-processed (in the figure, it is represented by a black single-color elliptical image).
  • this streaming screen the area of the face part is replaced, and the other areas are not processed.
  • the guardian can easily grasp the surrounding situation of the protected person while protecting the privacy of passersby and the like.
  • This streaming screen includes a window W1, an area A1, a button B1, and a button B2.
  • the window W1 is an area for displaying a video to be streamed.
  • the area A1 is an area for displaying the current position of the protected person. In this example, the current position of the protected person is represented using a lot number.
  • Button B1 is a UI object for notifying related organizations.
  • the related organizations referred to here include at least one of investigative organizations such as police, private security companies, fire departments, and hospitals.
  • the contact information of the related organization to be notified is set in advance by, for example, a guardian.
  • the call application is activated in the video playback device 20, and a call is automatically made to the related organization registered in advance.
  • the server 30 may directly report to the reporting system of the related organization.
  • This report includes, for example, location information indicating the current position of the protected person, attribute information of the protected person (photograph and name of the protected person, etc.), and attribute information of the guardian who made the report (name and contact information, etc.). ..
  • the server 30 may stream the video transmitted from the video recording device 10 to the reporting system of the related organization.
  • Button B2 is a UI object for instructing to end the emergency mode.
  • the video playback device 20 instructs the server 30 to end the emergency mode.
  • the server 30 transmits a control signal instructing the change of the operation mode to the video recording device 10.
  • the video recording device 10 changes the operation mode from the emergency mode to the normal mode.
  • the streaming distribution of the video data is stopped. The storage of video data in the storage device 106 continues.
  • the video recording device 10 stores video data in the storage device 106 even in the emergency mode as in the normal mode.
  • the video data stored in the storage device 106 is transmitted (output) to the other device (for example, the server 30 or the video playback device 20) in response to a request from the device.
  • the server 30 may store video data for streaming distribution.
  • the face portion of the video data stored in the storage device 106 or the server 30 is replaced, but the replacement process performed by the video recording device 10 is a reversible process (a process that can be restored).
  • the server 30 stores data (for example, an encryption key and an algorithm) used for this reverse processing, and performs reverse processing using this data.
  • the mosaic is removed from the portion corresponding to the face in the image, and the original image is obtained. In this way, it is possible to identify the person appearing in the captured image.
  • the video in the emergency mode can be submitted to the investigative agency as evidence.
  • the video data stored in the video recording device 10 is data in which the face portion of a person is replaced with another image. Therefore, even if a malicious person takes out this video data from the video recording device 10, the face portion of the person is replaced with another image, so that the privacy of the person shown there is protected. In this way, according to the video recording device 10, it is possible to record the video around the protected person while protecting the privacy.
  • the camera 102 is provided in the video recording device 10 carried by the protected person. It is expected that a kind of crime deterrent effect can be obtained only by the protected person carrying the video recording device 10 because it can be seen by others that "it is not being photographed".
  • Modification 1 (trigger for switching to emergency mode)
  • the operation mode is switched from the normal mode to the emergency mode when the user presses the button 108.
  • the predetermined event that triggers the switch to the emergency mode is not limited to that shown in the above-described embodiment.
  • the video recording device 10 is received from at least one analysis result of video, audio, and motion, position information indicating the position of the video recording device 10, and / or another device such as the video playback device 20. You may switch to the emergency mode according to the information (for example, switching request).
  • the predetermined event that triggers the switching to the emergency mode may be, for example, one shown in at least one of the following (a) to (h).
  • A When an adult talks to a user (protected person) of the video recording device 10.
  • B When an adult talks to a user (protected person) of the video recording device 10, and the adult is not an acquaintance.
  • C When a specific keyword such as "help” is detected.
  • D When the user (protected person) of the video recording device 10 has fallen ( fallen), and the symptom determined from the fall pattern specified by the motion sensor 109 is a specific symptom.
  • E When the user (guardian) of the video playback device 20 forcibly instructs the activation of the emergency mode.
  • F When the video playback device 20 goes out of the preset safety area.
  • G When the AI (artificial intelligence) that analyzed the captured image is judged to be dangerous.
  • H When a disaster occurs.
  • FIG. 9 is a block diagram illustrating the functional configuration of the remote monitoring system 1B according to this modified example.
  • the video recording device 10 automatically (or voluntarily) switches the operation mode according to the surrounding conditions and / or an instruction from another terminal (video playback device 20 or the like). Do.
  • the situation around the protected person is determined using at least one of video, audio, and motion.
  • the remote monitoring system 1B of FIG. 9 differs from the remote monitoring system 1 of FIG. 2 in that the video recording device 10 has an analysis means 53, a sound collecting means 51, a motion detecting means 52, a receiving means 54, and an acquiring means 56.
  • the analysis means 53 analyzes the situation around the video recording device 10 by using the frame image stored in the temporary storage means 12.
  • the sound collecting means 51 outputs a sound signal collected from the surroundings.
  • the motion detecting means 52 outputs a motion signal indicating the motion of the video recording device 10.
  • the receiving means 54 receives information from another device (video playback device 20, server 30, etc.). The information received is, for example, an instruction to switch to the emergency mode or information indicating a safe area.
  • the acquisition means 56 acquires the position information of the video recording device 10 identified from the GPS signal received by the GPS receiving unit 110.
  • the analysis means 53 and the acquisition means 56 are implemented by the control device 101 of the video recording device 10 executing the program stored in the storage device 106.
  • the control device 101 executing the program is an example of the analysis means 53 and the acquisition means 56.
  • the microphone 111 is an example of the sound collecting means 51.
  • the motion sensor 109 is an example of the motion detecting means 52.
  • the communication IF 107 is an example of the receiving means 54.
  • the analysis means 53 uses the frame image stored in the temporary storage means 12, the sound signal output from the sound collecting means 51, and / or the motion signal output from the motion detecting means 52.
  • the situation around the video recording device 10 is analyzed. Specifically, the analysis means 53 determines from the acquired video, audio, and / or motion whether the situation is imminent (or may be) in which the operation mode should be switched to the emergency mode. ..
  • the switching means 17 switches the operation mode according to the analysis result by the analysis means 53. For example, when the image captured by the camera 102, the sound collected by the microphone 111, and / or the detection result by the motion sensor 109 satisfy a predetermined condition, the analysis means 53 switches the switching to the emergency mode. Instruct means 17.
  • an AI method such as deep learning using a learning model may be used.
  • the machine learning algorithm used in AI is not limited to the algorithm for supervised learning, and may be an algorithm for other machine learning such as unsupervised learning, semi-supervised learning, reinforcement learning, and expression learning.
  • the machine learning algorithm is not limited to be used, and the determination using the rule-based algorithm may be performed. For example, the above determination may be made by collating the video feature, the sound feature, and the motion detection result with a predetermined collation pattern.
  • the characteristics of the captured video and / or the characteristics of the collected sound are given to the AI as inputs.
  • the analysis means 53 uses AI technology such as deep learning to estimate whether or not the person who has spoken to the user (protected person) is an adult.
  • the switching means 17 switches the operation mode to the emergency mode (example of (a) above).
  • the switching means 17 does not switch the operation mode in the normal mode.
  • a method other than AI technology such as deep learning may be used to determine whether or not the person with whom the person has spoken is an adult.
  • the determination may be made by collating video features and / or audio features with a predetermined collation pattern.
  • the analysis means 53 collates the video feature and / or the audio feature with a predetermined collation pattern, and when the similarity satisfies the predetermined condition, the switching means 17 is switched to the emergency mode. Instruct to switch.
  • the collation pattern is, for example, a pattern showing the feature amount of the adult face, a pattern showing the feature amount of the child's face, a pattern showing the feature amount of the adult voice, and a pattern showing the feature amount of the child's voice.
  • the analysis means 53 determines whether the image captured by the camera 102 is closer to the collation pattern corresponding to an adult or the collation pattern corresponding to a child (whether the degree of similarity is high), and the microphone 111. It is determined whether the collation pattern for adults or the collation pattern for children is closer (higher similarity), and the person who talks to them uses the similarity. Estimate whether you are an adult or a child.
  • the video recording device 10 may control to switch to the emergency mode only when the adult who has spoken to is not acquainted (example of (b) above).
  • facial image features and / or voice features for example, facial photographs or audio data
  • the video recording device 10 is used. Use this information to determine if the adult you are talking to is an acquaintance.
  • the pre-registration may be performed by the video recording device 10, or may be performed by using another terminal (for example, the video playback device 20).
  • the video recording device 10 When the video recording device 10 is used, when a predetermined operation is performed by the user, the camera 102 takes a picture, the face recognition means 13 performs face recognition processing on the taken image, and the analysis means 53 takes a picture of the face. Collation data representing the characteristics of the image is generated, and the generated collation data is stored in the storage device 106.
  • the predetermined operation is, for example, long pressing of the button 108 or continuous pressing of the button 108 a predetermined number of times (for example, twice).
  • the video recording device 10 analyzes and collates the image data included in the received pre-registration request. Data is generated, and the generated collation data is stored in the storage device 106.
  • the analysis means 53 collates the features of the face image taken by the camera 102 in the storage device 106 when it is estimated that an adult has spoken to the user (protected person). Compare with the data to determine if the person you talked to is an acquaintance. If not acquainted, the switching means 17 switches the operation mode to the emergency mode (example of (b) above). On the other hand, when the person with whom the person has spoken is an acquaintance, the switching means 17 does not switch the operation mode in the normal mode.
  • the analysis means 53 analyzes the voice collected by the microphone 111 to extract the characteristics of the voice, and the extracted characteristics are given to the AI as an input, and a specific keyword is used by using AI technology such as deep learning. It may be determined whether or not (such as "help") has been issued by the user. The particular keyword may represent a screaming audio feature. In this case, when the user issues a specific keyword (such as "help") or the user screams, the analysis means 53 detects that fact and instructs the switching means 17 to switch to the emergency mode. (Example of (c) above).
  • Judgment as to whether or not a specific keyword has been issued is not limited to those using AI methods such as deep learning.
  • the determination may be made by collating the characteristics of the voice with a predetermined collation pattern.
  • the analysis means 53 instructs the switching means 17 to switch to the emergency mode when the collation result of the extracted feature and the predetermined collation pattern satisfies the predetermined condition.
  • the collation pattern is data representing the characteristics of the voice of a specific keyword such as "help". Further, the collation pattern may be, for example, data representing a characteristic of a voice representing a scream.
  • the analysis means 53 collates the characteristics of the voice collected by the microphone 111 with the collation pattern, and instructs the switching means 17 to switch to the emergency mode when the degree of coincidence between the two exceeds a predetermined threshold value.
  • the emergency mode may be switched to using the motion feature amount of the video recording device 10 specified by the detection result of the motion sensor 109.
  • the analysis means 53 Instruct the switching means 17 to switch to the emergency mode.
  • the analysis means 53 identifies the symptom from the pattern of the fall, and in the case of a specific symptom, the emergency mode is entered. May be switched.
  • the symptom is specified, for example, by giving an output from the motion sensor 109 to the AI as an input and using an AI method such as deep learning using a learning model.
  • the analysis means 53 instructs the switching means 17 to switch to the emergency mode (example of (d) above).
  • a control for switching to the emergency mode using the detection result of the motion sensor 109 for example, when the moving speed of the video recording device 10 specified by the output from the motion sensor 109 is equal to or higher than a preset threshold value.
  • a switch to emergency mode may be made.
  • the video recording device 10 is moving at a speed much faster than the walking speed of the child, for example, by being placed on a vehicle such as a car, the switching to the emergency mode is automatically performed.
  • the detection result of the motion sensor 109 is given to the AI as an input and it is estimated that the video recording device 10 has been discarded or dropped by using AI technology such as machine learning, or Switching to the emergency mode when the video recording device 10 is vibrating in small steps (for example, when the user wearing the video recording device 10 (or the hand of the user holding the video recording device 10) is shaking). May be done.
  • the video recording device 10 is thrown away or dropped, for example, based on the detection result of the motion sensor 109, the video recording device 10 performs a constant acceleration motion (falls) for a period of a predetermined time or longer, and then an object (falls). This is the case when a collision with the ground is detected.
  • the switching to the emergency mode is automatically performed.
  • the video recording device 10 may switch to the emergency mode when receiving a request for switching to the emergency mode from another device (for example, the video playback device 20 or the server 30).
  • another device for example, the video playback device 20 or the server 30.
  • the user (guardian) of the video playback device 20 can use the video playback device 20 to put the video recording device 10 into the emergency mode. Perform the operation.
  • the video playback device 20 transmits a request for switching to the emergency mode to the video recording device 10 according to the user's operation.
  • the switching means 17 controls to switch the operation mode to the emergency mode (example of (e) above). With this function, it is easy to deal with not only the case where the protected person is a child but also, for example, the wandering of an elderly person.
  • the video recording device 10 may switch to the emergency mode when the information indicating the occurrence of a disaster is received.
  • Information indicating the occurrence of a disaster is received from another device such as the server 30.
  • the switching means 17 controls to switch the operation mode to the emergency mode (example of (h) above). In this case, all the video recording devices 10 located in the disaster area are switched to the emergency mode.
  • a family member for example, a child or a parent
  • a predetermined standard for example, an earthquake with a seismic intensity of 4 or more
  • Information indicating the occurrence of a disaster can be obtained, for example, by using an API (Application Programming Interface) that provides information on the disaster.
  • Information on a disaster may be acquired directly from an external service by the video recording device 10 itself using the API.
  • the server 30 may acquire information about the disaster from an external service and instruct the video recording device 10 to start the emergency mode.
  • Receiving an emergency mode start instruction from the server 30 at the time of a disaster corresponds to the video recording device 10 indirectly acquiring information indicating the occurrence of a disaster.
  • processing that reduces the amount of data compared to the emergency mode in cases other than disaster for example, lowering the frame rate, lowering the resolution, or lowering the number of colors). Etc.
  • the video recording device 10 may switch to the emergency mode when the position of the own device goes out of the preset safety area.
  • the safety area is set, for example, by a business operator operating a remote monitoring system. Further, the safety area may be set by the user of the video reproduction device 20. In this case, the video reproduction device 20 displays a map on the UI unit of its own device, and the user sets the safety area by performing an operation such as designating a position on the displayed map. Instead of the user setting the safe area, the user may set an unsafe area. In this case, an area other than the area specified by the user is specified as a safe area.
  • the video playback device 20 transmits information indicating the set safety area to the video recording device 10.
  • the video recording device 10 stores the received information in the storage device 106.
  • the analysis means 53 is in a safe area from the position information acquired by the acquisition means 56 and the information stored in the storage device 106. Is determined.
  • the analysis means 53 instructs the switching means 17 to switch to the emergency mode (example of (f) above). With this function, it is easy to deal with not only the case where the protected person is a child but also, for example, the wandering of an elderly person.
  • the presence or absence of danger is determined by AI from the image captured by the camera 102, and when it is determined to be dangerous, the operation mode may be switched to the emergency mode.
  • the features of the image captured by the camera 102 are given to the AI as an input.
  • the analysis means 53 uses AI technology such as deep learning to determine the presence or absence of danger in the vicinity of the video recording device 10. When it is determined that there is a danger, the analysis means 53 instructs the switching means 17 to switch to the emergency mode (example of (g) above).
  • the situation around the video recording device 10 can be analyzed from each of the above-mentioned plurality of information or from a combination of some information.
  • the situation around the video recording device 10 includes the situation of the protected person himself / herself, the situation of others in the vicinity of the protected person, and the situation of the environment around the protected person.
  • the situation of the protected person is, for example, a situation in which a non-protected person screams, a protected person has fallen, or a protected person is running.
  • the situation of the other is, for example, that the other is yelling, the other is screaming and approaching, or the other is running and approaching.
  • the surrounding environment is, for example, a sidewalk on the side of a road with heavy traffic, a road with few street lights, or a road with few traffic.
  • the video recording device 10 automatically (even if the protected person does not press the button 108) ( Or (voluntarily) shift to emergency mode.
  • the server 30 may determine the situation in consideration of the current time.
  • the server 30 stores a table in which the time zone and the collation pattern are recorded in association with each other.
  • the server 30 refers to this table and the current time, and determines whether or not to switch to the emergency mode. For example, if you are walking on a low-traffic road, you may not automatically switch to emergency mode during the day, but may automatically switch to emergency mode at night.
  • this table may be edited or updated automatically by machine learning or the like, or manually by the user of the video playback device 20.
  • a machine learning method may be used instead of the pattern collation.
  • the machine learning algorithm used may be an algorithm for supervised learning, or may be an algorithm for other machine learning such as unsupervised learning, semi-supervised learning, reinforcement learning, and expression learning.
  • FIG. 10 is a block diagram illustrating a functional configuration of the remote monitoring system 1C according to this modified example.
  • the video recording device 10 performs processing for reducing the amount of video data transmitted to the server 30.
  • the video recording device 10 performs a process of reducing the amount of data for a portion separated from the face by a predetermined distance.
  • the difference between the remote monitoring system 1C of FIG. 10 and the remote monitoring system 1 of FIG. 2 is that it has a processing means 55.
  • the processing means 55 performs a process of reducing the amount of data in a portion of the frame image that is separated from a portion determined to be a face by the face recognition means 13 by a predetermined distance.
  • the process of reducing the amount of data is, for example, a process of reducing the resolution, a process of reducing the number of gradations or the number of colors.
  • An example of the processing means 55 is a dedicated image processing circuit (not shown) or a control device 101 executing a program that performs this processing.
  • the generation means 15 compresses the frame image processed and replaced by the processing means 55 and the replacement means 14 to generate video data. According to this aspect, the amount of data at the time of streaming distribution is reduced.
  • the processing order of the processing means 55 and the replacing means 14 may be either first.
  • the processing means 55 is configured to process only the video data transmitted from the transmitting means 18 to the external device, and the permanent storage means 16 is a video that has not been processed by the processing means 55. Data may be stored.
  • FIG. 11 is a block diagram illustrating a functional configuration of the remote monitoring system 1D according to this modified example.
  • the video recording device 10 adds additional information (or annotation) indicating the surrounding situation to the video signal.
  • the remote monitoring system 1D of FIG. 11 differs from the remote monitoring system 1 of FIG. 2 in that it has an analysis means 53, an addition means 57, an acquisition means 56, a reception means 58, a mapping means 34, and a transmission means 35.
  • the control device 101 executing the program is an example of the analysis means 53 and the addition means 57.
  • the processor 301 executing the program is an example of the mapping means 34.
  • the analysis means 53 analyzes the situation around the video recording device 10 by using the frame image stored in the temporary storage means 12.
  • the surrounding situation is, for example, a suspicious person has appeared, a snatch has appeared, there is little traffic, a dark road, and the like.
  • the additional means 57 adds additional information indicating the situation analyzed by the analysis means 53 to the video data.
  • the acquisition means 56 acquires the position information of the video recording device 10 received by the GPS receiving unit 110.
  • the transmission means 18 transmits the video data to which the additional information is added to the server 30. Further, the transmission means 18 periodically transmits the position information to the server 30 together with the transmission of the video data or independently of the transmission of the video data.
  • the mapping means 34 maps the situation indicated by the additional information on the map using the position information.
  • the server 30 receives additional information from each of the plurality of video recording devices 10. Additional information obtained from the plurality of video recording devices 10 is mapped to the map.
  • the server 30 stores these plurality of additional information in the storage means 31 together with the corresponding position information.
  • the transmission means 33 transmits an instruction to shift the operation mode to the emergency mode to the video recording device located in a predetermined area (for example, an area in which the appearance of suspicious persons is recorded in a predetermined number or more) on the map. ..
  • the receiving means 58 receives this instruction.
  • the switching means 17 shifts the operation mode to the emergency mode according to this instruction.
  • FIG. 12 is a sequence chart illustrating the operation of the remote monitoring system 1D.
  • the video recording device 10A is operating in the emergency mode, and the video recording device 10B is operating in the normal mode.
  • step S301 the analysis means 53 of the video recording device 10A analyzes the situation around the video recording device 10 using the frame image stored in the temporary storage means 12.
  • step S302 the acquisition means 56 acquires the position information of the video recording device 10 received by the GPS receiving unit 110.
  • step S303 the addition means 57 adds additional information and position information indicating the situation analyzed by the analysis means 53 to the video data.
  • the video data to which the additional information and the position information are added is transmitted from the video recording device 10 to the server 30 in step S201.
  • the video data transmitted from the video recording device 10 is received by the server 30.
  • the server 30 receives the video data to which the additional information and the position information are added from the plurality of video recording devices 10.
  • the mapping means 34 maps the situation indicated by the additional information on the map using the position information.
  • this mapping process not only the position information and additional information attached to the video data received from one video recording device 10 but also the video data received from a plurality of other video recording devices 10 are attached.
  • Location information and additional information are also used.
  • the server 30 is informed that the appearance of a suspicious person is detected by a plurality of video recording devices 10 in the vicinity of yy-chome, xx-ku, Tokyo. Accumulate. Based on this information, the server 30 can define a dangerous area on the map.
  • the server 30 stores the information defining the dangerous area in the storage means 31.
  • the video recording device 10B periodically transmits its own position information to the server 30, for example, independently of the video recording device 10A (step S305).
  • the server 30 determines that the current position of the video recording device 10B has a predetermined positional relationship (for example, within the dangerous area) with the dangerous area defined by the information stored in the storage means 31. Alternatively, it is determined whether the distance to the dangerous area is equal to or less than the threshold value (step S306).
  • the transmitting means 33 transmits an instruction to shift the operation mode to the emergency mode to the video recording device 10B (step S307).
  • the receiving means 58 receives the instruction from the server 30. Upon receiving this instruction, the switching means 17 shifts the operation mode from the normal mode to the emergency mode (step S308).
  • the processing in the emergency mode is as described above. In this case, information related to the dangerous area may be displayed on the screen of the corresponding video playback device 20, such as "there is a lot of suspicious person sighting information in this area". This information is transmitted to the video playback device 20 together with the video data to be streamed.
  • the server 30 may transmit additional information related to the vicinity of the current position of the video recording device 10B when streaming the video to the video playback device 20 corresponding to the video recording device 10B. Upon receiving this additional information, the video playback device 20 displays the additional information on the map.
  • the video playback device 20 receives map data (and video data) from the server 30 and displays the map represented by the received map data on the UI unit of its own device.
  • map data and video data
  • the video represented by the video data and / or the map represented by the map data is displayed in the UI unit.
  • FIG. 13 is a diagram illustrating the screen SC2 displayed on the UI unit of the video playback device 20.
  • a map showing the periphery of the video recording device 10 carried by the protected person is displayed, and an icon I11 indicating the position of the video recording device 10 on the map is displayed.
  • the dangerous area defined by using the additional information mapped by the server 30 is displayed on the map.
  • the hatched area Z1 is a dangerous area. The user of the video reproduction device 20 can easily grasp the surrounding situation of the protected person by checking the screen displayed on the UI unit.
  • the video data from that time point (that is, the time point when the emergency mode is switched to) is transmitted to the server 30.
  • the video recording device 10 may transmit the video data retroactively to a time point before switching to the emergency mode.
  • the time when a predetermined condition is satisfied means that the situation analyzed by the analysis means 53 is a situation in which a specific criminal act is presumed to have occurred. For example, consider a situation in which a criminal who rides a motorcycle in front of a protected person snatches a bag owned by the protected person.
  • the analysis means 53 detects, for example, the voice of the protected person, "Ah, snatch!, The video recording device 10 switches to the emergency mode, and the video data is transferred from the server 30 to the server 30. Sending to is not sufficient as evidence of the case after the criminal has already left. Therefore, when the analysis means 53 determines that a snatching incident has occurred, the transmission means 18 transmits the video data to the server 30 retroactively for a predetermined time (for example, from one minute before). According to this example, more useful information can be transmitted to the server 30.
  • a predetermined time for example, from one minute before
  • the transmission of video data retroactively to the time before switching to the emergency mode is not limited to the situation in which the situation analyzed by the analysis means 53 is presumed to have caused a specific criminal act.
  • the video data is transmitted from that point, and the video recording device 10 is triggered by the analysis by the analysis means 53 (that is, regardless of the operation of the protected person).
  • the video data may be transmitted retroactively before the switching.
  • the video recording device 10 is instructed to switch to the emergency mode via the button 108, the video recording device 10 transmits the video data retroactively before that time, and the analysis means 53 triggers the analysis to the emergency mode.
  • video data may be transmitted from that point.
  • the video recording device 10 may execute a process different from that in the normal mode.
  • a server that is temporarily used in the event of a disaster may be prepared separately, and the server may provide services related to disaster countermeasures.
  • FIG. 14 is a diagram illustrating the configuration of the remote monitoring system 1E according to this modified example.
  • the remote monitoring system 1E includes a temporary server 40 in addition to the video recording device 10, the video playback device 20, and the server 30.
  • the temporary server 40 is a server used when a special event such as a disaster occurs.
  • the video recording device 10 includes a speaker (not shown) that outputs audio.
  • FIG. 15 is a sequence chart illustrating the operation of the remote monitoring system 1E.
  • the video recording device 10 receives information indicating the occurrence of a disaster or the like (hereinafter referred to as “emergency information”) from another device such as the temporary server 40 (step S401).
  • the video recording device 10 controls to switch the operation mode to the emergency mode (step S402). As a result, all the video recording devices 10 located in the disaster area are switched to the emergency mode.
  • the video recording device 10 transmits video data representing the video captured by the camera 102 to the temporary server 40 instead of the video playback device 20 (step S403).
  • the temporary server 40 receives the video data from the video recording device 10 and stores the video data in the storage device (step S404). As a result, the temporary server 40 stores video data from a plurality of video recording devices 10 located in the disaster area.
  • step S405 the temporary server 40 creates a disaster map based on the video data received from the plurality of video recording devices 10.
  • a disaster map is a map of information about a disaster.
  • Information about disasters is, for example, information indicating evacuation shelters, information indicating roads that are impassable due to disasters, information on dangerous places such as falling objects that can pass, information indicating the location of water supply stations, and flooding due to tsunami.
  • the temporary server 40 uses AI technology such as deep learning using a learning model to analyze the video represented by the video data, generate information on the disaster, and map the generated information on the map. Generates a disaster map.
  • the temporary server 40 identifies an evacuation route based on the generated disaster map. Evacuation routes are identified using information that indicates roads, impassable locations, and the location of evacuation shelters.
  • the temporary server 40 is accessed by the video recording device 10 and the video playback device 20. Further, the temporary server 40 can be accessed from terminals other than the video recording device 10 and the video playback device 20. Other terminals are, for example, communication terminals owned by rescue teams or smartphones of other victims in the disaster area.
  • the temporary server 40 transmits data indicating an evacuation route based on the generated disaster map to the terminal accessing the temporary server 40 (step S406).
  • terminals such as the video recording device 10 and the video playback device 20 receive data from the temporary server 40, they guide the user of the evacuation route by outputting the information represented by the received data (step S407).
  • the terminal that has received the data is a terminal (video playback device 20 or the like) provided with a display unit (UI unit), a screen showing an evacuation route is displayed on the display unit.
  • FIG. 16 is a diagram illustrating the displayed disaster map.
  • the disaster map m1 is a map showing the periphery of the video playback device 20 carried by the user, and information about the disaster is mapped.
  • the icon I31 indicating the position of the video reproduction device 20 on the map is displayed, and the icon I21 is displayed at the position where the passage is impassable.
  • the icon I22 indicating the location of the evacuation shelter is displayed, and the arrow I23 indicating the evacuation route is displayed.
  • the user of the terminal such as the video reproduction device 20 can easily grasp the evacuation route by checking the screen displayed on the display unit.
  • the video recording device 10 when it receives the information indicating the evacuation route from the temporary server 40, it outputs the information indicating the received evacuation route to guide the user of the evacuation route.
  • Information is output, for example, by outputting audio from the speaker of the video recording device 10. Specifically, a voice such as "Go right on XX street and evacuate to ⁇ elementary school" is output. Alternatively, in more real time, the guidance "turn the next corner to the right" may be output based on the position information of the video recording device 10.
  • the video recording device 10 generates information specifically indicating the evacuation route from the position information of the own device and the information indicating the evacuation route received from the temporary server 40, and outputs audio in real time. The user of the video recording device 10 can easily grasp the evacuation route by listening to the output audio.
  • another image to be replaced with a portion recognized as a face has been described as an example obtained by reversible processing from the original image (that is, the image of the face). That is, the image after replacement was obtained by reversible processing using the image before replacement. However, the image after replacement was obtained by irreversible processing using the image before replacement. That is, it may not be possible to restore the image before replacement from the image after replacement. For example, if information other than the face (voice, clothes, belongings, body shape, etc.) is clearly recorded, it may be sufficient as evidence to be submitted during the investigation period.
  • the operation mode of the video recording device 10 is not limited to the normal mode and the emergency mode.
  • it may have an operation mode other than these two, such as a power saving mode in which images are intermittently photographed and stored.
  • the functional configuration of the video recording device 10 is not limited to that illustrated in FIG. Some of the functions shown in FIG. 2 may be omitted, and functions (not shown) may be added. Further, the division of functions in the devices constituting the remote monitoring system 1 is not limited to the one illustrated in the embodiment.
  • the functions implemented in the video recording device 10 may be shared and provided by a plurality of devices (for example, the video recording device 10 and the server 30).
  • the server 30 may perform the face recognition process performed by the video recording device 10 in the above-described embodiment. Further, the server 30 may perform the analysis processing performed by the analysis means 53 of the video recording device 10 in the above-described embodiment.
  • the face recognition means 13 and the replacement means 14 may be omitted.
  • the problem to be solved by the video recording device 10 is not to protect privacy, but to easily confirm the situation of the user. This is useful, for example, in applications where usage is limited (eg, on-site use that only employees of a particular company can enter).
  • the machine learning algorithm performed by the analysis means 53 in the above-described embodiment and modification is not limited to the supervised learning algorithm, but is used for machine learning such as unsupervised learning, semi-supervised learning, reinforcement learning, and expression learning. It may be an algorithm. Further, the algorithm for machine learning may include algorithms such as data mining and deep learning. Further, these learning algorithms may include those using various techniques such as neural networks, clustering, and Bayesian networks. In short, the algorithm for machine learning may be processed together with some data acquired by the analysis means 53, and as a result of the processing, the information desired by the user may be output.
  • the processing steps performed in the remote monitoring system 1 are not limited to the examples described in the above-described embodiment.
  • the processing steps may be swapped as long as there is no contradiction.
  • the present invention may be provided as a remote monitoring method performed in the remote monitoring system 1.
  • the hardware configuration of the video recording device 10 and the hardware configuration of the server 30 are not limited to those illustrated in FIGS. 3 and 4.
  • the video recording device 10 and the server 30 may have any hardware configuration as long as the required functions can be realized.
  • the video recording device 10 an example of a device dedicated to this system having a dedicated hardware element has been described in the embodiment, but the video recording device 10 is a general-purpose computer device (for example, a smartphone) and is dedicated.
  • the desired function may be implemented by software processing.
  • a program for making a general-purpose computer device function as the video recording device 10 is installed in the video recording device 10.
  • the program executed by the video recording device 10 and the program executed by the server 30 may be provided by a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, or may be downloaded via a communication line such as the Internet. Good.

Abstract

一実施形態に係る映像記録装置は、周囲を撮影した映像信号を出力する撮像手段と、映像信号により示されるフレーム画像を一時的に記憶する一時記憶手段と、一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行う顔認識手段と、フレーム画像のうち顔認識手段により顔と判断された部分を別の画像へ置換をする置換手段と、置換手段により処理されたフレーム画像を圧縮して映像データを生成する生成手段と、生成手段により生成された映像データを永続的に記憶する永続記憶手段とを有する。

Description

映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム
 本発明は、プライバシーを保護しつつ映像を記録する技術に関する。
 映像を記録する技術がある。例えば、特許文献1には、イベントが発生したときにイベントに関連する他車両と人物の少なくとも一方を画像において特定することができるドライブレコーダにおいて、他車両がうちされた領域及び人物が写された領域の少なくとも一方にプライバシー保護のための画像処理を施すことが記載されている。
特開2018-124824号公報
 特許文献1に記載の技術においては、イベントの発生前及び発生後の少なくとも一方において、他車両及び人物の少なくとも一方を特定可能な画像が記録される。この場合、他の装置からこのデータを読み出せば、プライバシーが破られてしまうという問題があった。
 これに対し本発明は、プライバシーをより強固に保護しつつ映像を記録する技術を提供する。
 本発明の一態様は、周囲を撮影した映像信号を出力する撮像手段と、前記映像信号により示されるフレーム画像を一時的に記憶する一時記憶手段と、前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行う顔認識手段と、前記フレーム画像のうち前記顔認識手段により顔と判断された部分を別の画像へ置換をする置換手段と、前記置換手段により処理されたフレーム画像を圧縮して映像データを生成する生成手段と、前記生成手段により生成された映像データを永続的に記憶する永続記憶手段とを有する映像記録装置を提供する。
 前記別の画像は、可逆処理により元の画像に変換可能な画像であってもよい。
 前記映像記録装置は、前記映像記録装置の動作モードを、通常モード及び緊急モードの複数の動作モードのうち一の動作モードから別の動作モードに切り替える切り替え手段と、前記動作モードが前記緊急モードの場合、所定の外部装置に前記映像データを送信し、当該動作モードが前記通常モードの場合、当該外部装置に当該映像データを送信しない送信手段とを有してもよい。
 前記映像記録装置は、前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段を有し、前記切り替え手段は、前記解析手段による解析結果に応じて前記動作モードを切り替えてもよい。
 前記映像記録装置は、前記周囲から集音した音信号を出力する集音手段、又は前記映像記録装置のモーションを示すモーション信号を出力するモーション検知手段を有し、前記解析手段は、前記フレーム画像及び前記音信号又は前記モーション信号を用いて、前記映像記録装置周辺の状況を解析してもよい。
 前記切り替え手段は、災害の発生を示す情報を取得したことに応じて、前記動作モードを前記通常モードから前記緊急モードに移行してもよい。
 前記映像記録装置は、前記フレーム画像のうち前記顔認識手段により顔と判断された部分から所定の距離離れた部分のデータ量を低減する処理を行う処理手段を有し、前記生成手段は、前記処理手段及び前記置換手段により前記処理及び前記置換をされたフレーム画像を圧縮して映像データを生成してもよい。
 前記映像記録装置は、前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段と、前記解析手段により解析された状況を示す付加情報を前記映像データに付加する付加手段とを有してもよい。
 前記映像記録装置は、前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段と、前記解析手段により解析された状況を示す付加情報を前記映像データに付加する付加手段とを更に有し、前記状況が特定の条件を満たす場合、前記送信手段は、前記動作モードが前記緊急モードに切り替えられる前の時点まで遡って前記映像データを送信してもよい。
 前記映像記録装置は、前記映像データを再生した映像を表示する表示手段を有さなくてもよい。
 本発明の別の態様は、サーバと、映像記録装置とを有し、前記映像記録装置は、周囲を撮影した映像信号を出力する撮像手段と、前記映像信号により示されるフレーム画像を一時的に記憶する一時記憶手段と、前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行う顔認識手段と、前記フレーム画像のうち前記顔認識手段により顔と判断された部分を別の画像へ置換をする置換手段と、前記置換手段により処理されたフレーム画像を圧縮して映像データを生成する生成手段と、前記生成手段により生成された映像データを永続的に記憶する永続記憶手段と、前記映像記録装置の動作モードを、通常モード及び緊急モードの複数の動作モードのうち一の動作モードから別の動作モードに切り替える切り替え手段と、前記動作モードが前記緊急モードの場合、前記サーバに前記映像データを送信し、当該動作モードが前記通常モードの場合、当該サーバに当該映像データを送信しない送信手段とを有し、前記サーバは、前記映像記録装置に対応する映像再生装置を識別する情報を記憶する記憶手段と、前記映像記録装置から前記映像データを受信する受信手段と、前記受信手段により受信された映像データを、前記映像記録装置に対応する前記映像再生装置に送信する送信手段とを有する遠隔監視システムを提供する。
 前記映像記録装置は、前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段と、前記映像記録装置の位置情報を取得する取得手段と、前記解析手段により解析された状況を示す付加情報及び前記位置情報を前記映像データに付加する付加手段とを有し、前記サーバは、前記付加情報により示される状況を、前記位置情報を用いて地図上にマッピングするマッピング手段を有し、前記送信手段は、前記状況がマッピングされた地図を前記映像再生装置に送信してもよい。
 前記映像記録装置において、前記送信手段は、前記位置情報を定期的に前記サーバに送信し、前記サーバにおいて、前記送信手段は、前記位置情報により前記映像記録装置が、特定の前記情報がマッピングされた領域と所定の位置関係に入ったことが示された場合、前記動作モードを前記緊急モードに切り替えるための制御信号を送信し、前記映像記録装置において、前記切り替え手段は、前記制御信号に応じて前記動作モードを前記緊急モードに切り替えてもよい。
 また、本発明のさらに別の態様は、映像記録装置と通信するサーバが、当該映像記録装置に対応する映像再生装置を識別する識別情報を記憶するステップと、前記映像記録装置が、周囲を撮影した映像信号により示されるフレーム画像を一時記憶手段に一時的に記憶するステップと、前記映像記録装置が、前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行うステップと、前記映像記録装置が、前記フレーム画像のうち前記顔と判断された部分を別の画像へ置換をするステップと、前記映像記録装置が、前記置換されたフレーム画像を圧縮して映像データを生成するステップと、前記映像記録装置が、前記生成された映像データを永続的に記憶するステップと、前記映像記録装置が、前記映像記録装置の動作モードを、通常モード及び緊急モードの複数の動作モードのうち一の動作モードから別の動作モードに切り替えるステップと、前記映像記録装置が、前記動作モードが前記緊急モードの場合、前記サーバに前記映像データを送信し、当該動作モードが前記通常モードの場合、当該サーバに当該映像データを送信しないステップと、前記サーバが、前記映像記録装置から前記映像データを受信するステップと、前記サーバが、前記受信された映像データを、前記映像記録装置に対応する前記映像再生装置に送信するステップとを有する遠隔監視方法を提供する。
 また、本発明のさらに別の態様は、コンピュータに、周囲を撮影した映像信号により示されるフレーム画像を一時記憶手段に一時的に記憶するステップと、前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行うステップと、前記フレーム画像のうち前記顔と判断された部分を別の画像へ置換をするステップと、前記置換されたフレーム画像を圧縮して映像データを生成するステップと、前記生成された映像データを永続的に記憶するステップと、を実行させるためのプログラムを提供する。
 本発明によれば、プライバシーをより強固に保護しつつ映像を記録することができる。
一実施形態に係る遠隔監視システム1の構成を例示する図。 遠隔監視システム1の機能構成を例示するブロック図。 映像記録装置10のハードウェア構成を例示するブロック図。 サーバ30のハードウェア構成を例示するブロック図。 遠隔監視システム1の動作を例示するシーケンスチャート。 映像記録装置10の動作を例示するシーケンスチャート。 遠隔監視システム1の動作を例示するシーケンスチャート。 ストリーミング画面を例示する図。 遠隔監視システム1Bの機能構成を例示するブロック図。 遠隔監視システム1Cの機能構成を例示するブロック図。 遠隔監視システム1Dの機能構成を例示するブロック図。 遠隔監視システム1Dの動作を例示するシーケンスチャート。 映像再生装置20に表示される画面を例示する図。 遠隔監視システム1Eの構成を例示する図。 遠隔監視システム1Eの動作を例示するシーケンスチャート。 被災マップを例示した図。
1・1B・1C・1D…遠隔監視システム、2…通信回線、10・10A・10B…映像記録装置、11…撮像手段、12…一時記憶手段、13…顔認識手段、14…置換手段、15…生成手段、16…永続記憶手段、17…切り替え手段、18…送信手段、20…映像再生装置、30…サーバ、31…記憶手段、32…受信手段、33…送信手段、34…マッピング手段、35…送信手段、51…集音手段、52…モーション検知手段、53…解析手段、55…処理手段、56…取得手段、57…付加手段、58…受信手段、101…制御装置、102…カメラ、103…フレームメモリ、104…画像処理回路、105…エンコーダ、106…記憶装置、107…通信IF、108…ボタン、109…モーションセンサ、110…GPS受信部、111…マイク、153…顔認識部、301…プロセッサ、302…メモリ、303…記憶装置、304…通信IF。
1.構成
 図1は、一実施形態に係る遠隔監視システム1の構成を例示する図である。遠隔監視システム1は、子供、女性、及び高齢者等の見守りサービスを提供するシステムである。遠隔監視システム1は、映像記録装置10、映像再生装置20、及びサーバ30を有する。映像記録装置10は、見守りの対象とされる被保護者(例えば子供)が携帯する装置である。映像再生装置20は、保護者(例えば子供の親)により使用される装置であり、例えば、スマートフォン、タブレット端末、又はラップトップ型コンピュータ等の汎用コンピュータである。サーバ30はいわゆるクラウドサーバである。映像記録装置10及び映像再生装置20は通信回線2によりサーバ30に接続されている。通信回線2は、例えば、インターネット、移動体通信網、電話回線、又はLAN(Local Area Network)を含む。
 映像記録装置10は、被保護者に携帯される装置(すなわち、いわゆるウェアラブルデバイス)である。映像記録装置10は、例えば、被保護者の所持品(例えば、ランドセル、手提げカバン、名札、携帯電話、ネームプレート)、又は衣服等に、取付部材(ストラップ、取付用金具、面ファスナー、安全ピン等)によって取り付けられて用いられる。他の例として、映像記録装置10は、ネックストラップが取り付けられて被保護者の首からぶら下げられて携帯されてもよい。また、映像記録装置10にベルトが取り付けられ、被保護者の手首、足首、又は腰等に装着されて用いられてもよい。
 映像記録装置10は、カメラ102及びボタン108を備える。カメラ102は周囲を撮影した映像信号を出力する。撮影された映像を表す映像データは映像記録装置10の記憶装置に蓄積(又は記憶)される。ボタン108はユーザ(すなわち被保護者)により操作される操作子であり、映像記録装置の動作モードを通常モードから緊急モードに切り替えるための操作子である。通常モードとは、カメラ102で撮影された映像が記憶装置106に記録される動作モードをいう。緊急モードとは、カメラ102により撮影された画像データがサーバ30を介して映像再生装置20にストリーミング配信される動作モードをいう。被保護者は、例えば危険を感じて助けを求めたい場合等、所定の条件下でボタン108を押下する。ボタン108が押下されると、映像記録装置10の動作モードが通常モードから緊急モードに切り替えられる。保護者は、ストリーミング配信される映像を確認し、警察に通報する等の対処をする。
 図1の例では、図面が煩雑になるのを防ぐため、映像記録装置10及び映像再生装置20をそれぞれ1台ずつ図示しているが、複数の映像記録装置10及び複数の映像再生装置20が遠隔監視システム1に含まれてもよい。
 図2は、遠隔監視システム1の機能構成を例示するブロック図である。図において、映像記録装置10は、撮像手段11、一時記憶手段12、顔認識手段13、置換手段14、生成手段15、永続記憶手段16、切り替え手段17、及び送信手段18を有する。サーバ30は、記憶手段31、受信手段32、及び送信手段33を有する。
 撮像手段11は、周囲を撮影した映像信号を出力する。一時記憶手段12は、映像信号により示されるフレーム画像を一時的に記憶する。ここで、「一時的に記憶する」とは、記憶容量がフレーム画像1枚分の数倍程度しかなくデータが頻繁に書き換えられ、かつ電源をオフにするとデータが消失することをいう。顔認識手段13は、一時記憶手段12に記憶されているフレーム画像に対し顔認識処理を行う。置換手段14は、フレーム画像のうち顔認識手段13により顔と判断された部分を別の画像へ置換をする。生成手段15は、置換手段14により処理されたフレーム画像を圧縮して映像データを生成する。永続記憶手段16は、生成手段15により生成された映像データを永続的に記憶する。ここで、「永続的に記憶する」とは、数十分から数時間の動画を記憶する容量があり、かつ電源をオフにしてもデータが消失しない(不揮発性である)ことをいう。ただし、永続記憶手段16の記憶容量にも限りがあるので、記憶容量を超えた場合はデータが上書きされる。例えば、永続記憶手段16が動画60分ぶんの記憶容量を有する場合において、60分を超える動画を撮影したときは、データは古いものから順に上書きされ、常に最新の60分ぶんのデータが永続記憶手段16に記憶される。
 切り替え手段17は、映像記録装置10の動作モードを、通常モード及び緊急モードを含む複数の動作モードのうち一の動作モードから別の動作モードに切り替える。送信手段18は、動作モードが緊急モードの場合、所定の外部装置(この例ではサーバ30)に映像データを送信し、動作モードが通常モードの場合、外部装置に映像データを送信しない。
 記憶手段31は、映像記録装置10に対応する映像再生装置20を識別する情報を記憶する。1台の映像記録装置10に対して、複数台の映像再生装置20が対応付けられてもよい。受信手段32は、映像記録装置10から映像データを受信する。送信手段33は、受信手段32により受信された映像データを、映像記録装置10に対応する映像再生装置20に送信する。
 図3は、映像記録装置10のハードウェア構成を例示するブロック図である。制御装置101は、映像記録装置10の他の要素を制御するプロセッサ及びこのプロセッサがプログラムを実行するためのワークエリアとして機能するメモリを含む。記憶装置106は各種のプログラム及びデータを記憶する記憶装置であり、例えば、SSD(Solid State Drive)又はHDD(Hard Disk Drive)を含む。通信IF107は、予め定められた無線又は有線の通信規格に従って他の装置と通信を行う。この例において、通信IF107は、サーバ30とネットワークを介した通信をするための移動体通信(例えばLTE(Long Term Evolution、登録商標))、及び保護者の端末装置(映像再生装置20等)と直接通信をするための近距離無線通信(Wi-Fi(登録商標)又はBluetooth(登録商標)等)の、2つの規格に従った通信をすることができる。移動体通信を行うため、映像記録装置10にはSIM(Subscriber Identification Module)が装着される。
 カメラ102は周囲を撮影した映像信号を出力する。カメラ102は例えば、映像記録装置10が被保護者の胸元に装着された状態において、被保護者と相対する位置に居る人及び/又は人の顔が撮影される向きで設けられている。マイク111は、周囲から集音した音信号を出力する。フレームメモリ103は、カメラ102から出力される映像信号から得られるフレーム画像を記憶する一時メモリであり、例えば1フレームぶんの記憶容量を有する。画像処理回路104は、フレームメモリ103に記憶されているフレーム画像のデータに対し所定の画像処理を施す。画像処理されたフレーム画像のデータは、例えば前後のフレーム画像との関係を用いて映像データ化される。この映像データは、マイク111から出力される音信号を音声トラックに含んでもよい。この映像データは記憶装置106に記憶される。
 ボタン108は映像記録装置10の動作モード(通常モード及び緊急モード)をユーザが切り替えるための操作子である。モーションセンサ109は、例えば加速度センサ、ジャイロセンサ、速度センサ等のセンサを備え、映像記録装置10のモーションを示すモーション信号を出力する。GPS受信部110はGPS(Global Positioning System)衛星からGPS信号を受信し、受信したGPS信号から計算される位置情報を出力する。なお、この実施形態では、図示のように、映像記録装置10は、映像データを再生した映像を表示する表示手段を有さない。
 映像記録装置10は二次電池(図示略)を内蔵しており、各構成要素は二次電池から供給される電力により動作する。また、映像記録装置10は電源ボタン(図示略)を有しており、電源ボタンの操作により装置のオン/オフが切り替えられる。電源が投入されると記憶装置106に記憶されたプログラムが自動的に起動し、映像記録装置10は通常モードでの動作を開始する。
 この例において、カメラ102が撮像手段11の一例である。フレームメモリ103が一時記憶手段12の一例である。画像処理回路104が顔認識手段13及び置換手段14の一例である。エンコーダ105が生成手段15の一例である。記憶装置106が永続記憶手段16の一例である。制御装置101が切り替え手段17の一例である。通信IF107が送信手段18の一例である。
 図4は、サーバ30のハードウェア構成を例示するブロック図である。プロセッサ301は、サーバ30の他の要素を制御するプロセッサである。メモリ302は、プロセッサ301がプログラムを実行するためのワークエリアとして機能する記憶装置であり、例えばRAM(Random Access Memory)を含む。記憶装置303は各種のプログラム及びデータを記憶する記憶装置であり、例えば、SSD(Solid State Drive)又はHDD(Hard Disk Drive)を含む。通信IF304は、予め定められた無線又は有線の通信規格(例えば、イーサネット(登録商標))に従って他の装置と通信を行う。
 プロセッサ301が記憶装置303に記憶されたプログラム(以下「サーバプログラム」という)を実行することにより、図2に示される機能が実装される。サーバプログラムを実行しているプロセッサ301及び/又は通信IF304は、受信手段32及び送信手段33の一例である。記憶装置303は、記憶手段31の一例である。
 サーバ30の記憶装置303には、映像記録装置10に対して、対応する1以上の映像再生装置20(例えば、母親のスマートフォンと父親のスマートフォン)の識別情報が登録されている。
 詳細な説明は省略するが、映像再生装置20は、汎用のコンピュータ装置(例えばスマートフォン)である。この映像再生装置20には、コンピュータ装置を遠隔監視システム1における映像再生装置20として機能させるためのプログラム(以下「クライアントプログラム」という)がインストールされている。このクライアントプログラムにより、サーバ30から映像のストリーミング配信を受ける機能、及び関係機関に通報する機能(いずれも後述)が実装される。
2.動作
2-1.登録
 図5は、遠隔監視システム1の初期登録動作を例示するシーケンスチャートである。図5に示される処理により、映像記録装置10と映像再生装置20との紐付けが行われる。映像再生装置20には、遠隔監視システム1が提供するサービスを利用するためのアプリケーションが予めインストールされている。映像再生装置20のユーザは、UI部を操作してアプリケーションを起動し、映像記録装置10と自装置とを紐付けるための操作を行う。まず、映像再生装置20のプロセッサは、映像記録装置10から識別情報を読み取る。識別情報は、映像記録装置10の本体外部に視覚的な情報(例えば文字列又はQRコード(登録商標)等の画像コード)として記載されている。あるいは、識別情報は、本体に内蔵されている不揮発性メモリ又はRFIDタグにデータとして電子的に記録されてもよい。映像再生装置20は、識別情報の記録方式に適合した方法で(例えば、視覚的な情報ならカメラで、RFIDタグに記録されているデータならRFIDリーダーで)その識別情報を読み取る。
 ステップS501において、映像再生装置20は、ユーザの操作に応じて、映像記録装置10の識別情報及び映像再生装置20を識別する識別情報をサーバ30に送信する。ステップS502において、サーバ30は、映像記録装置10を識別する識別情報と映像再生装置20を識別する識別情報とを対応付けて記憶装置303等に記憶されたデータベースに記憶(登録)する。なお、映像記録装置10と映像再生装置20との紐付けは、1対1で行われてもよく、また、複数対複数で行われてもよい。また、識別情報の登録を行う端末は映像再生装置20に限られず、他の端末により登録が行われてもよい。
2-2.撮影
 映像記録装置10は、被保護者に携帯される。電源がオンになっている間、カメラ102は継続的に映像記録装置10の周囲を撮影する。撮影された動画は、記憶装置106に記憶される。
 図6は、映像記録装置10における処理の流れを例示するシーケンスチャートである。ここでは、映像のある1枚のフレーム画像の映像信号又は画像データに対する処理の流れを示す。カメラ102は、周囲を撮影した映像信号を出力する(ステップS101)。フレームメモリ103は、例えば直近の2フレームぶんのフレーム画像の画像データを記憶する(ステップS102)。フレームメモリ103に記憶されるデータはラスタデータであり、画素毎の階調値を示す。画像処理回路104は、フレームメモリ103に記憶されている最新のフレーム画像に対し、顔認識処理を行う(ステップS103)。顔認識処理は例えば、フレーム画像から抽出される特徴を予め定められた照合パターンと照合し、照合結果が予め定められた条件を満たす部分(領域)を抽出することにより行われる。画像処理回路104は、フレームメモリ103に記憶されている最新のフレーム画像のうち、顔と認識された部分を別の画像へ置換する置換処理を行う(ステップS104)。この実施形態において置換処理とは、顔と判断された部分の画像が持つ情報を秘匿する処理、例えば、元の画像を別の画像に差し替えたり、元の画像を判別できない態様に加工したりする画像処理をいう。別の画像とは、例えば、元の画像に対しモザイク処理又はぼかし処理を施した画像である。また、この画像処理は可逆処理であって、処理後のデータに対し所定の処理を施すことにより元のデータが再現可能である。このように映像記録装置10においては、カメラ102から出力される映像信号により示される映像に対しては必ず顔認識処理及び置換処理が施される。
 エンコーダ105は、フレームメモリ103に記憶されている画像データから、映像データを生成する(ステップS105)。ここでいう映像データは、所定のデータフォーマット(例えばmp4形式)に従って圧縮されたデータである。エンコーダ105は、例えばフレームメモリ103に記憶されている連続する2つのフレーム画像を参照して映像データを生成する。エンコーダ105は、生成した映像データを記憶装置106に出力する。記憶装置106は、エンコーダ105から出力される映像データを記憶する。記憶装置106の記憶容量は有限であるので、空き領域がなくなった場合、記憶装置106は、古い映像データから順に、新たな映像データで上書きする。すなわち、記憶装置106には常に、最近の一定期間ぶんの映像データが保存される。
 映像記録装置10の動作モードが緊急モードである場合、エンコーダ105から出力される映像データは、通信IF107にも供給される(ステップS108)。通信IF107は、エンコーダ105から出力される映像データをサーバ30に送信する(ステップS109)なお、動作モードが通常モードである場合、通信IF107への映像データの供給は行われず、サーバ30への映像データの送信は行われない。
2-3.動作モード切替
 映像記録装置10は、所定のイベントを契機として動作モードを切り替える。この実施形態では、動作モードは、ユーザ(被保護者)がボタン108を押下したことを契機として切り替えられる。具体的には、映像記録装置10は、ボタン108が押下されると動作モードを緊急モードに切り替える。
2-4.緊急モード
 図7は、遠隔監視システム1の緊急モードにおける動作を例示するシーケンスチャートである。ステップS201において、映像記録装置10はサーバ30へ映像データを送信する。サーバ30は映像記録装置10から映像データを受信する。送信される映像データには、送信元である映像記録装置10を識別する識別情報が付されている。ステップS202において、サーバ30は、受信された映像データに付された識別情報を、映像記録装置10を識別する識別情報と映像再生装置20を識別する識別情報とが互いに紐付けられて記憶されたデータベースから検索し、送信元である映像記録装置10に対応する映像再生装置20を特定する。この処理により、例えば、映像記録装置10を携帯している児童の母親のスマートフォンと父親のスマートフォンとが映像再生装置20として特定される
 ステップS203において、サーバ30は、映像データを特定された映像再生装置20に送信(すなわちストリーミング配信)する。映像再生装置20は、サーバ30から映像データを受信し、受信した映像データの表す映像を自装置のUI部に表示する。
 図8は映像再生装置20において表示されるストリーミング画面SC1を例示する図である。図8の例では、映像記録装置10のカメラ102に撮影された映像において顔認識部153により顔と判断された部分がモザイク処理(図では黒単色の楕円画像で表す)されている。このストリーミング画面においては、顔の部分の領域が置換処理され、それ以外の領域は加工されていない。この実施形態では、通行人等のプライバシーを保護しつつ、被保護者の周囲の状況を保護者が容易に把握することができる。
 このストリーミング画面は、ウインドウW1、領域A1、ボタンB1、及びボタンB2を含む。ウインドウW1は、ストリーミング配信される映像を表示するための領域である。領域A1は、被保護者の現在位置を表示するための領域である。この例においては、被保護者の現在位置は地番を用いて表される。ボタンB1は、関係機関に通報を行うためのUIオブジェクトである。ここでいう関係機関は、警察等の捜査機関、民間警備会社、消防、及び病院の少なくとも1つを含む。通報先である関係機関の連絡先は、例えば、保護者により事前に設定される。この例において、ボタンB1が選択されると、映像再生装置20において通話アプリケーションが起動し、あらかじめ登録された関係機関に自動的に電話をかける。
 あるいは、関係機関の通報システムと遠隔監視システム1とが接続されている又は連携している場合、サーバ30は、関係機関の通報システムに対し直接、通報を行ってもよい。この通報は、例えば、被保護者の現在位置を示す位置情報、被保護者の属性情報(被保護者の写真及び氏名等)、通報した保護者の属性情報(氏名及び連絡先等)を含む。サーバ30は、この関係機関の通報システムに対し、映像記録装置10から送信される映像をストリーミング配信してもよい。
 ボタンB2は、緊急モードを終了するよう指示するためのUIオブジェクトである。ボタンB2が選択されると、映像再生装置20は、サーバ30に対して緊急モードを終了するよう指示する。映像再生装置20から指示を受信すると、サーバ30は動作モードの変更を指示する制御信号を映像記録装置10へ送信する。サーバ30から制御信号を受信すると、映像記録装置10は、動作モードを緊急モードから通常モードに変更する。動作モードが通常モードに変更されると、映像データのストリーミング配信は停止される。なお、記憶装置106への映像データの蓄積は続行される。
 映像記録装置10は、緊急モードにおいても、通常モードと同様に映像データを記憶装置106に蓄積する。記憶装置106に蓄積された映像データは、他の装置(例えば、サーバ30又は映像再生装置20)からの要求に応じて、その装置に送信(出力)される。あるいは、サーバ30が、ストリーミング配信をする映像データを蓄積してもよい。記憶装置106又はサーバ30に蓄積された映像データには顔部分に置換処理が施されているが、映像記録装置10により施された置換処理は可逆的な処理(元に戻すことが可能な処理)である。サーバ30は、この逆処理に用いられるデータ(例えば、暗号鍵及びアルゴリズム)を記憶しており、このデータを用いて逆処理を行う。逆処理を行うと、映像において顔に相当する部分はモザイクが除去され、元の映像が得られる。こうして、撮影された映像に映っている人物を特定する等が可能である。犯罪行為、犯罪未遂、又はこれらの準ずる行為があった場合において、例えば捜査機関から要請があったときは、このように緊急モード時の映像を証拠として捜査機関に提出することができる。
 映像記録装置10に蓄積される映像データは、全て人物の顔の部分が他の画像に置換処理されたデータである。したがって、仮に悪意ある者がこの映像データを映像記録装置10から取り出したとしても、人物の顔の部分は他の画像に置換されているので、そこに写っている者のプライバシーは保護される。このように、映像記録装置10によれば、プライバシーを保護しつつ、被保護者周辺の映像を記録することができる。
 また、上述したように、被保護者により携帯される映像記録装置10にはカメラ102が設けられている。他者が見れば「撮影されているな」ということが分かるため被保護者が映像記録装置10を携帯するだけで、一種の犯罪抑止効果が得られることが期待される。
3.変形例
 本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
3-1.変形例1(緊急モードへの切り替えの契機)
 上述の実施形態では、ユーザがボタン108を押下したことを契機として、動作モードが通常モードから緊急モードに切り替えられた。緊急モードへの切り替えの契機となる所定のイベントは、上述した実施形態で示したものに限られない。例えば、映像記録装置10は、映像、音声、及びモーションの少なくともいずれか1つの解析結果、映像記録装置10の位置を示す位置情報、及び/又は、映像再生装置20等の他の装置から受信される情報(例えば切替要求)、に従って緊急モードへの切り替えを行ってもよい。
 具体的には、緊急モードへの切り替えの契機となる所定のイベントは、例えば以下の(a)~(h)の少なくとも1つに示すものであってもよい。
(a)映像記録装置10のユーザ(被保護者)に大人が話しかけてきたとき。
(b)映像記録装置10のユーザ(被保護者)に大人が話しかけてきたときであって、その大人が知り合いでないとき。
(c)「助けて」等、特定のキーワードが検知されたとき。
(d)映像記録装置10のユーザ(被保護者)が倒れた(転んだ)場合であって、モーションセンサ109により特定された倒れ方のパターンから判定される症状が特定症状であるとき。
(e)映像再生装置20のユーザ(保護者)から強制的に緊急モードの起動が指示されたとき。
(f)映像再生装置20が、予め設定された安全エリアの外に出たとき。
(g)撮影している画像を解析したAI(artificial intelligence)が危険であると判断したとき。
(h)災害が発生したとき。
 上記(a)~(h)の例について、以下に図面を参照しつつ説明する。
 図9は、この変形例に係る遠隔監視システム1Bの機能構成を例示するブロック図である。遠隔監視システム1Bにおいて、映像記録装置10は、動作モードの切り替えを周辺の状況、及び/又は、他の端末(映像再生装置20等)からの指示に応じて自動的に(又は自発的に)行う。この例において、被保護者周辺の状況は、映像、音声、及びモーションの少なくとも1つを用いて判断される。
 図9の遠隔監視システム1Bが図2の遠隔監視システム1と異なる点は、映像記録装置10が解析手段53、集音手段51、モーション検知手段52、受信手段54、及び取得手段56を有する点である。解析手段53は、一時記憶手段12に記憶されたフレーム画像を用いて、映像記録装置10周辺の状況を解析する。集音手段51は、周囲から集音した音信号を出力する。モーション検知手段52は、映像記録装置10のモーションを示すモーション信号を出力する。受信手段54は、他の装置(映像再生装置20又はサーバ30等)から情報を受信する。受信される情報は例えば、緊急モードへの切り替え指示、又は、安全なエリアを示す情報、である。取得手段56は、GPS受信部110により受信されたGPS信号から特定される、映像記録装置10の位置情報を取得する。
 映像記録装置10の制御装置101が記憶装置106に記憶されたプログラムを実行することにより、解析手段53及び取得手段56が実装される。プログラムを実行している制御装置101は解析手段53及び取得手段56の一例である。マイク111は集音手段51の一例である。モーションセンサ109はモーション検知手段52の一例である。通信IF107は受信手段54の一例である。
 遠隔監視システム1Bにおいて、解析手段53は、一時記憶手段12に記憶されたフレーム画像、集音手段51から出力される音信号、及び/又はモーション検知手段52から出力されるモーション信号を用いて、映像記録装置10周辺の状況を解析する。具体的には、解析手段53は、取得される映像、音声、及び/又はモーションから、動作モードを緊急モードに切り替えるべき、危険が迫った(又はその可能性がある)状況であるか判断する。切り替え手段17は、解析手段53による解析結果に応じて動作モードを切り替える。例えば、カメラ102により撮影された映像、マイク111により集音された音声、及び/又はモーションセンサ109による検知結果が予め定められた条件を満たす場合に、解析手段53は緊急モードへの切り替えを切り替え手段17に指示する。緊急モードへ切り替えるか否かの判定は、例えば学習モデルを用いたディープラーニング等のAIの手法が用いられてもよい。AIで用いられる機械学習のアルゴリズムは、教師あり学習のアルゴリズムに限らず、教師なし学習、半教師あり学習、強化学習、表現学習等の他の機械学習用のアルゴリズムであってもよい。また、機械学習のアルゴリズムが用いられるのに限らず、ルールベースのアルゴリズムを用いた判定が行われてもよい。例えば、映像の特徴、音声の特徴、モーションの検知結果が予め定められた照合パターンと照合されることにより、上記判定が行われてもよい。
 例えば、撮影された映像の特徴及び/又は集音された音声の特徴がAIに入力として与えられる。解析手段53は、ディープラーニング等のAI技術を用いて、ユーザ(被保護者)に話しかけてきた相手が大人であるかを推定する。話しかけてきた相手が大人であると推定される場合、切り替え手段17は、動作モードを緊急モードに切り替える(上記(a)の例)。一方、話しかけてきた相手が子供である場合、切り替え手段17は動作モードを通常モードのまま切り替えない。
 話しかけてきた相手が大人であるか否かの判定は、ディープラーニング等のAI技術以外の手法が用いられてもよい。例えば、上記判定は、映像の特徴及び/又は音声の特徴を予め定められた照合パターンと照合することにより行われてもよい。この場合、解析手段53は、映像の特徴及び/又は音声の特徴を予め定められた照合パターンと照合し、その類似度が予め定められた条件を満たす場合に、切り替え手段17に緊急モードへの切り替えを指示する。照合パターンは例えば、大人の顔の特徴量を示すパターン、及び子供の顔の特徴量を示すパターン、大人の声の特徴量を示すパターン、及び子供の声の特徴量を示すパターンである。この場合、解析手段53は、カメラ102により撮影された映像が、大人に対応する照合パターンと子供に対応する照合パターンとのどちらに近いか(類似度が高いか)を判定するとともに、マイク111により集音された音声が大人に対応する照合パターンと子供に対応する照合パターンとのどちらに近いか(類似度が高いか)を判定し、それらの類似度を用いて、話しかけてきた人物が大人であるか子供であるかを推定する。
 また、この場合において、映像記録装置10は、話しかけてきた大人が知り合いでない場合にのみ、緊急モードに切り替える制御を行ってもよい(上記(b)の例)。この場合、ユーザ(被保護者)の知り合いである人物の顔画像の特徴及び/又は声の特徴(例えば顔写真又は音声データ)が事前に映像記録装置10に登録され、映像記録装置10は、話しかけてきた大人が知り合いであるか否か、この情報に基づいて判断する。事前登録は、映像記録装置10により行われてもよいし、また、他の端末(例えば映像再生装置20)が用いられて行われてもよい。映像記録装置10が用いられる場合、ユーザにより所定の操作が行われると、カメラ102が撮影し、撮影された画像に対し顔認識手段13が顔認識処理を行い、解析手段53が撮影された顔画像の特徴を表す照合用データを生成し、生成した照合用データを記憶装置106に記憶する。所定の操作とは例えば、ボタン108の長押し、又はボタン108の所定回数(例えば2回)連続押し、である。映像再生装置20等の他の端末により事前登録が行われる場合、映像記録装置10は、他の端末から事前登録要求を受信すると、受信された事前登録要求に含まれる画像データを解析して照合用データを生成し、生成した照合用データを記憶装置106に記憶する。
 事前登録がなされている場合、解析手段53は、ユーザ(被保護者)に大人が話しかけてきたと推定された場合に、カメラ102により撮影された顔画像の特徴を記憶装置106に記憶された照合用データと照合し、話しかけてきた相手が知り合いであるかを判定する。知り合いでない場合、切り替え手段17は、動作モードを緊急モードに切り替える(上記(b)の例)。一方、話しかけてきた相手が知り合いである場合、切り替え手段17は動作モードを通常モードのまま切り替えない。
 また、解析手段53がマイク111により集音された音声を解析して音声の特徴を抽出し、抽出された特徴がAIに入力として与えられ、ディープラーニング等のAI技術を用いて、特定のキーワード(「助けて」等)がユーザにより発せられたか否かが判定されてもよい。特定のキーワードは、悲鳴を表す音声の特徴を表すものであってもよい。この場合、ユーザが特定のキーワード(「助けて」等)を発した場合、又はユーザが悲鳴をあげた場合、解析手段53がその旨を検知し、切り替え手段17に緊急モードへの切り替えを指示する(上記(c)の例)。
 特定のキーワードが発せられたか否かの判定は、ディープラーニング等のAIの手法が用いられるものに限られない。例えば、上記判定は、音声の特徴を予め定められた照合パターンと照合することにより行われてもよい。この場合、解析手段53は、抽出された特徴と予め定められた照合パターンとの照合結果が予め定められた条件を満たす場合に、切り替え手段17に緊急モードへの切り替えを指示する。照合パターンは例えば、「助けて」等の特定のキーワードの音声の特徴を表すデータである。また、照合パターンは例えば、悲鳴を表す音声の特徴を表すデータであってもよい。解析手段53は、マイク111により集音された音声の特徴を照合パターンと照合し、両者の一致度が所定の閾値を上回る場合に、切り替え手段17に緊急モードへの切り替えを指示する。
 また、モーションセンサ109の検知結果により特定される映像記録装置10のモーションの特徴量を用いて緊急モードへの切り替えが行われてもよい。例えば、モーションセンサ109の検知結果がAIに入力として与えられ、ディープラーニング等のAI技術を用いて、ユーザ(被保護者)が倒れた(転んだ)と推定される場合に、解析手段53が緊急モードへの切り替えを切り替え手段17に指示する。
 また、他の例として、ユーザ(被保護者)が倒れた(転んだ)と推定される場合において、解析手段53が倒れ方のパターンから症状を特定し、特定の症状の場合に緊急モードへの切り替えが行われてもよい。症状の特定は、例えば、モーションセンサ109からの出力がAIに入力として与えられ、学習モデルを用いたディープラーニング等のAIの手法が用いられることにより行われる。特定の症状であると推定された場合、解析手段53は緊急モードへの切り替えを切り替え手段17に指示する(上記(d)の例)。
 また、モーションセンサ109の検知結果を用いた緊急モードへの切り替え制御として、例えば、モーションセンサ109からの出力により特定される映像記録装置10の移動速度が予め設定された閾値以上である場合に、緊急モードへの切り替えが行われてもよい。この態様によれば、例えば車等の乗り物にのせられることにより子供の歩行速度よりもはるかに速い速度で映像記録装置10が移動している場合、緊急モードへの切り替えが自動的に行われる。
 また、他の例として、モーションセンサ109の検知結果がAIに入力として与えられ、機械学習等のAI技術を用いて、映像記録装置10が捨てられたり落ちたりしたと推定される場合、又は、映像記録装置10が小刻みに振動している場合(例えば、映像記録装置10を装着したユーザ(又は映像記録装置10を把持しているユーザの手)が震えている場合)に緊急モードへの切り替えが行われてもよい。映像記録装置10が捨てられたり落ちたりした場合とは、例えば、モーションセンサ109の検知結果により、映像記録装置10が所定時間以上の期間にわたって等加速度運動を行った(落下した)後、物体(地面など)に衝突した場合が検知された場合である。この態様によれば、例えば子供が危険な状態であるにも関わらずボタン108を押下できない(押下することを忘れている)ような場合であっても、緊急モードへの切り替えが自動的に行われる。
 また、映像記録装置10は、他の装置(例えば映像再生装置20、又はサーバ30)から緊急モードへの切り替え要求を受信した場合に緊急モードへの切り替えを行ってもよい。例えば、約束をした時刻になっても被保護者が帰ってこない場合等、映像再生装置20のユーザ(保護者)は、映像再生装置20を用いて映像記録装置10を緊急モードにするための操作を行う。映像再生装置20はユーザの操作に従い、緊急モードへの切り替え要求を映像記録装置10に送信する。映像記録装置10の受信手段54により切り替え要求が受信されると、切り替え手段17は、動作モードを緊急モードに切り替える制御を行う(上記(e)の例)。この機能により、被保護者が子供である場合だけでなく、例えば老人の徘徊等にも対応し易い。
 また、映像記録装置10は、災害の発生を示す情報が受信された場合に緊急モードへの切り替えを行ってもよい。災害の発生を示す情報は、サーバ30等の他の装置から受信される。受信手段54により災害の発生を示す情報が受信されると、切り替え手段17は、動作モードを緊急モードに切り替える制御を行う(上記(h)の例)。この場合、被災地に位置している映像記録装置10は全て緊急モードに切り替わる。この例によれば、所定の基準以上の災害(例えば震度4以上の地震)が発生した地域に自分の家族(例えば子供又は親)がいた場合、自動的にストリーミングが開始され、その家族の安否を容易に確認することができる。災害の発生を示す情報は、例えば、災害に関する情報を提供するAPI(Application Programming Interface)を利用して取得することができる。災害に関する情報は、映像記録装置10自身がAPIを利用して外部サービスから直接、取得してもよい。あるいは、サーバ30が外部サービスから災害に関する情報を取得し、映像記録装置10に対して緊急モードの起動を指示してもよい。災害時にサーバ30から緊急モード起動の指示を受けることは、映像記録装置10が災害の発生を示す情報を間接的に取得することに相当する。なお、災害発生時には通信の輻輳が発生することが予想されるため、災害以外の場合における緊急モードよりもデータ量を少なくする処理(例えば、フレームレートを下げる、解像度を下げる、又は色数を下げる等)を映像記録装置10又はサーバ30において行ってもよい。
 また、映像記録装置10は、自装置の位置が事前に設定された安全エリアの外に出た場合に緊急モードへの切り替えを行ってもよい。安全エリアの設定は例えば、遠隔監視システムを運営する事業者により行われる。また、安全エリアの設定は映像再生装置20のユーザにより行われてもよい。この場合、映像再生装置20は自装置のUI部に地図を表示し、ユーザは、表示された地図上の位置を指定する等の操作を行うことにより、安全エリアの設定を行う。なお、ユーザが安全エリアを設定するのに代えて、ユーザが安全でないエリアを設定してもよい。この場合、ユーザにより指定されたエリア以外のエリアが安全なエリアとして特定される。
 ユーザにより安全エリアが設定されると、映像再生装置20は設定された安全エリアを示す情報を映像記録装置10に送信する。映像記録装置10は受信された情報を記憶装置106に記憶する。映像記録装置10が通常モードで動作している期間において、解析手段53は、取得手段56により取得される位置情報と記憶装置106に記憶された情報とから、自装置が安全なエリア内にあるかを判定する。自装置が安全なエリアの外に出たと判定された場合、解析手段53は、緊急モードへの切り替えを切り替え手段17に指示する(上記(f)の例)。この機能により、被保護者が子供である場合だけでなく、例えば老人の徘徊等にも対応し易い。
 また、カメラ102により撮影されている画像からAIにより危険の有無が判定され、危険であると判定された場合に動作モードが緊急モードに切り替えられてもよい。この場合、カメラ102により撮影された映像の特徴がAIに入力として与えられる。解析手段53は、ディープラーニング等のAI技術を用いて、映像記録装置10の周辺における危険の有無を判定する。危険があると判定された場合、解析手段53は、緊急モードへの切り替えを切り替え手段17に指示する(上記(g)の例)。
 このように、上述した複数の情報の各々から、又はいくつかの情報の組み合わせから、映像記録装置10の周辺の状況を解析することができる。映像記録装置10周辺の状況には、被保護者本人の状況、被保護者の周辺にいる他者の状況、及び被保護者周辺の環境の状況が含まれる。被保護者本人の状況は、例えば、非保護者が悲鳴を上げた、被保護者が倒れた、又は被保護者が走っている、という状況である。他者の状況は、例えば、他者が怒声を上げた、他者が叫びながら近づいてきた、又は他者が走りながら近づいてきた、という状況である。周辺環境の状況は、例えば、交通量の多い道路脇の歩道、街灯の少ない道、又は人通りの少ない道、という状況である。この態様によれば、被保護者に危険が迫った状況にいる可能性がある場合に、被保護者によりボタン108が押下されていない場合であっても、映像記録装置10は自動的に(又は自発的に)緊急モードに移行する。
 また、他の例として、例えば、サーバ30は、現在時刻を考慮して状況を判断してもよい。この場合、サーバ30は、時間帯と照合パターンとが対応付けて記録されたテーブルを記憶する。サーバ30は、このテーブル及び現在時刻を参照し、緊急モードへの切り替えを行うか否か判断する。例えば、人通りの少ない道を歩いている場合、昼間は緊急モードに自動的に移行せず、夜間は緊急モードに自動的に移行してもよい。なお、このテーブルが、機械学習等により自動的に、又は映像再生装置20のユーザにより手動で、編集又は更新されてもよい。また、この例において、パターン照合に代えて機械学習の手法が用いられてもよい。用いられる機械学習のアルゴリズムは、教師あり学習のアルゴリズムであってもよく、また、教師なし学習、半教師あり学習、強化学習、表現学習等の他の機械学習用のアルゴリズムであってもよい。
3-2.変形例2
 図10は、この変形例に係る遠隔監視システム1Cの機能構成を例示するブロック図である。遠隔監視システム1Bにおいて、映像記録装置10は、サーバ30に送信する映像データのデータ量を削減するための処理を行う。この例において、映像記録装置10は、顔から所定の距離、離れた部分についてデータ量を削減する処理を行う。
 図10の遠隔監視システム1Cが図2の遠隔監視システム1と異なる点は、処理手段55を有する点である。処理手段55は、フレーム画像のうち顔認識手段13により顔と判断された部分から所定の距離離れた部分のデータ量を低減する処理を行う。データ量を低減する処理は例えば、解像度を落とす処理、階調数又は色数を落とす処理である。専用の画像処理回路(図示略)又はこの処理を行うプログラムを実行している制御装置101が処理手段55の一例である。
 遠隔監視システム1Cにおいて、生成手段15は、処理手段55及び置換手段14により処理及び置換をされたフレーム画像を圧縮して映像データを生成する。この態様によれば、ストリーミング配信の際のデータ量が削減される。なお、処理手段55及び置換手段14の処理の順序はどちらが先でもよい。なお、この態様において、送信手段18から外部装置に送信される映像データに対してのみ処理手段55による処理が行われるように構成し、永続記憶手段16は、処理手段55により処理されていない映像データを記憶してもよい。
3-3.変形例3
 図11は、この変形例に係る遠隔監視システム1Dの機能構成を例示するブロック図である。遠隔監視システム1Dにおいて、映像記録装置10は、映像信号に対し周辺の状況を示す付加情報(又はアノテーション)を付加する。
 図11の遠隔監視システム1Dが図2の遠隔監視システム1と異なる点は、解析手段53、付加手段57、取得手段56、受信手段58、マッピング手段34、及び送信手段35を有する点である。プログラムを実行している制御装置101が、解析手段53、及び付加手段57の一例である。プログラムを実行しているプロセッサ301が、マッピング手段34の一例である。
 映像記録装置10において、解析手段53は、一時記憶手段12に記憶されたフレーム画像を用いて、映像記録装置10周辺の状況を解析する。周辺の状況は例えば、不審者が出現した、ひったくりが出現した、人通りが少ない、暗い道、等である。付加手段57は、解析手段53により解析された状況を示す付加情報を映像データに付加する。取得手段56は、GPS受信部110により受信された映像記録装置10の位置情報を取得する。送信手段18は、付加情報が付加された映像データを、サーバ30に送信する。また、送信手段18は、映像データの送信と共に、又は映像データの送信とは独立して定期的に、位置情報をサーバ30に送信する。
 サーバ30において、マッピング手段34は、付加情報により示される状況を、位置情報を用いて地図上にマッピングする。サーバ30は、複数の映像記録装置10の各々から、付加情報を受信する。地図には、複数の映像記録装置10から得られた付加情報がマッピングされる。サーバ30は、記憶手段31にこれら複数の付加情報を、対応する位置情報とともに記憶する。マップ上において所定の領域(例えば、不審者の出現が所定数以上記録されている領域)に位置する映像記録装置に対して、送信手段33は、動作モードを緊急モードに移行させる指示を送信する。映像記録装置10において、受信手段58がこの指示を受信する。切り替え手段17は、この指示に従って動作モードを緊急モードに移行する。
 図12は、遠隔監視システム1Dの動作を例示するシーケンスチャートである。ここでは、それぞれ異なる被保護者(それぞれ対応する保護者は異なる)に携帯される2台の映像記録装置10A及び映像記録装置10Bを考える。図12のフローの開始前の時点において、映像記録装置10Aは緊急モードで動作しており、映像記録装置10Bは通常モードで動作している。
 ステップS301において、映像記録装置10Aの解析手段53は、一時記憶手段12に記憶されたフレーム画像を用いて映像記録装置10周辺の状況を解析する。ステップS302において、取得手段56は、GPS受信部110により受信される映像記録装置10の位置情報を取得する。ステップS303において、付加手段57は、解析手段53により解析された状況を示す付加情報及び位置情報を映像データに付加する。付加情報及び位置情報が付加された映像データは、ステップS201において、映像記録装置10からサーバ30に送信される。映像記録装置10から送信された映像データはサーバ30により受信される。サーバ30は、複数の映像記録装置10から、付加情報及び位置情報が付加された映像データを受信する。
 ステップS304において、マッピング手段34は、付加情報により示される状況を、位置情報を用いて地図上にマッピングする。このマッピング処理には、1台の映像記録装置10から受信された映像データに付されていた位置情報と付加情報だけでなく、他の複数の映像記録装置10から受信された映像データに付された位置情報及び付加情報も用いられる。マッピングにより、例えば本日午前9時00分から午前9時10分の間において、東京都xx区yy丁目付近において複数の映像記録装置10によって不審者の出現が検知されている、といった情報がサーバ30に蓄積される。この情報に基づき、サーバ30は、地図上において危険地域を定義することができる。サーバ30は、危険地域を規定する情報を記憶手段31に記憶する。
 なお、映像記録装置10Aは緊急モードで動作しているので、サーバ30に送信される映像データは対応する映像再生装置20にストリーミング配信されるが、この点は図12においては図示を省略する。
 映像記録装置10Bは、映像記録装置10Aとは独立して自身の位置情報を例えば定期的にサーバ30に送信する(ステップS305)。映像記録装置10Bから位置情報を受信すると、サーバ30は、映像記録装置10Bの現在位置が、記憶手段31に記憶されている情報により規定される危険地域と所定の位置関係(例えば、危険地域内又は危険地域までの距離がしきい値以下)であるか判断する(ステップS306)。映像記録装置10Bの現在位置が危険地域と所定の位置関係にあると判断された場合、送信手段33は、動作モードを緊急モードに移行する指示を映像記録装置10Bに送信する(ステップS307)。
 映像記録装置10Bにおいて、受信手段58がサーバ30からの指示を受信する。この指示を受信すると、切り替え手段17は、動作モードを通常モードから緊急モードに移行する(ステップS308)。緊急モード時の処理は既に説明したとおりである。なおこの場合において、対応する映像再生装置20の画面上において、「この地域で不審者目撃情報多数あり」等、危険地域に関連する情報を表示してもよい。この情報は、ストリーミング配信される映像データと共に映像再生装置20に送信される。
 さらにこの場合において、サーバ30は、映像記録装置10Bに対応する映像再生装置20に映像をストリーミング配信する際に、映像記録装置10Bの現在位置周辺に関連する付加情報を送信してもよい。この付加情報を受信すると、映像再生装置20は、マップ上にこの付加情報を表示する。
 映像再生装置20は、サーバ30から地図データ(及び映像データ)を受信し、受信した地図データの表す地図を自装置のUI部に表示する。映像データがストリーミング配信されている場合、映像データの表す映像及び/又は地図データの表す地図がUI部に表示される。
 図13は、映像再生装置20のUI部に表示される画面SC2を例示する図である。画面SC2には、被保護者が携帯している映像記録装置10の周辺を表す地図が表示されるとともに、地図上における映像記録装置10の位置を示すアイコンI11が表示される。更に、サーバ30によりマッピングされた付加情報を用いて規定される危険地域が地図上に表示される。図13の例ではハッチングされた領域Z1が危険地域である。映像再生装置20のユーザは、UI部に表示される画面を確認することで、被保護者の周囲の状況を容易に把握することができる。
3-4.変形例4
 実施形態において、通常モードから緊急モードに切り替えられたとき、その時点(すなわち緊急モードに切り替えられた時点)からの映像データをサーバ30に送信する例を説明した。しかし、被保護者の周辺の状況が所定の条件を満たすときには、映像記録装置10は、緊急モードに切り替えられる前の時点に遡って映像データを送信してもよい。所定の条件を満たすときとは、解析手段53により解析された状況が、特定の犯罪行為が発生したと推測される状況であるときをいう。例えば、被保護者の前からバイクに乗ってきた犯人に、被保護者が所持するカバンをひったくられた状況を考える。この場合、解析手段53が、例えば被保護者が発した「あっ、ひったくり!」という声を検知したことを契機として、映像記録装置10が緊急モードに切り替わったとすると、そこから映像データをサーバ30に送信したのでは既に犯人が去った後で、事件の証拠としては不十分である。そこで、ひったくり事件が発生したと解析手段53が判断した場合、送信手段18は、所定の時間遡って(例えば、1分前から)映像データをサーバ30に送信する。この例によれば、より有用な情報をサーバ30に送信することができる。
 なお緊急モードに切り替えられる前の時点に遡って映像データを送信するのは、解析手段53により解析された状況が、特定の犯罪行為が発生したと推測される状況に限定されない。例えば、ボタン108を介して緊急モードへの切り替えが指示された場合はその時点から映像データを送信し、解析手段53による解析を契機として(すなわち被保護者の操作によらず映像記録装置10が自発的に)緊急モードへの切り替えをした場合は、切り替えの前に遡って映像データを送信してもよい。あるいは逆に、映像記録装置10は、ボタン108を介して緊急モードへの切り替えが指示された場合はその時点より前に遡って映像データを送信し、解析手段53による解析を契機として緊急モードへの切り替えをした場合はその時点から映像データを送信してもよい。
3-5.変形例5(災害関連)
 映像記録装置10は、災害等の特別な事象が発生した場合において、通常モードの場合と異なる処理を実行してもよい。例えば、災害時に臨時で用いられるサーバを別途用意しておき、そのサーバが災害対策に関するサービスを提供してもよい。
 図14は、この変形例に係る遠隔監視システム1Eの構成を例示する図である。遠隔監視システム1Eは、映像記録装置10、映像再生装置20、及びサーバ30に加えて、臨時サーバ40を備える。臨時サーバ40は、災害等の特別な事象が発生した場合に用いられるサーバである。また、この変形例において、映像記録装置10は、音声を出力するスピーカ(図示略)を備える。
 図15は、遠隔監視システム1Eの動作を例示するシーケンスチャートである。災害等の特別な事象が発生した場合、映像記録装置10は、臨時サーバ40等の他の装置から災害等の発生を示す情報(以下「緊急情報」という)を受信する(ステップS401)。緊急情報を受信した場合、映像記録装置10は動作モードを緊急モードに切り替える制御を行う(ステップS402)。これにより、被災地に位置している映像記録装置10は全て緊急モードに切り替わる。
 災害等の発生時においては、映像記録装置10は、映像再生装置20ではなく臨時サーバ40に、カメラ102により撮影された映像を表す映像データを送信する(ステップS403)。臨時サーバ40は映像記録装置10から映像データを受信し、記憶装置に蓄積する(ステップS404)。これにより、臨時サーバ40には、被災地に位置している複数の映像記録装置10からの映像データが蓄積される。
 ステップS405において、臨時サーバ40は、複数の映像記録装置10から受信した映像データをもとに被災マップを作成する。被災マップとは、災害に関する情報が地図上にマッピングされたものである。災害に関する情報とは例えば、避難所を示す情報、災害により通行できなくなっている道路を示す情報、通行できるものの落下物などの危険がある場所の情報、給水所の位置を示す情報、津波により浸水の虞がある場所を示す情報、及び避難経路を示す情報、である。
 この例で、臨時サーバ40は、学習モデルを用いたディープラーニング等のAI技術を用いて、映像データの表す映像を解析して災害に関する情報を生成し、生成した情報を地図上にマッピングすることにより被災マップを生成する。また、臨時サーバ40は、生成した被災マップに基づき避難経路を特定する。避難経路の特定は、道路、通行できなくなっている箇所、及び避難所の位置を示す情報を用いて行われる。
 臨時サーバ40は、映像記録装置10及び映像再生装置20によりアクセスされる。また、臨時サーバ40は、映像記録装置10及び映像再生装置20以外の他の端末からもアクセス可能である。他の端末は例えば、レスキュー隊が所有している通信端末、又は被災エリアに居る他の被災者のスマートフォンである。臨時サーバ40は、臨時サーバ40にアクセスしてきた端末に対し、生成した被災マップに基づく避難経路を示すデータを送信する(ステップS406)。
 映像記録装置10及び映像再生装置20等の端末は、臨時サーバ40からデータを受信すると、受信したデータの表す情報を出力することにより、ユーザに避難経路の案内を行う(ステップS407)。データを受信した端末が表示部(UI部)を備えた端末(映像再生装置20等)である場合、避難経路を示す画面が表示部に表示される。
 図16は、表示される被災マップを例示した図である。図において、被災マップm1は、ユーザが携帯している映像再生装置20の周辺を示す地図に、災害に関する情報がマッピングされたものである。図16の例では、地図上における映像再生装置20の位置を示すアイコンI31が表示されるとともに、通行できなくなっている位置にアイコンI21が表示される。また、被災マップm1には、避難所の位置を示すアイコンI22が表示されるとともに、避難経路を示す矢印I23が表示される。映像再生装置20等の端末のユーザは、表示部に表示される画面を確認することで、避難経路を容易に把握することができる。
 また、映像記録装置10は、臨時サーバ40から避難経路を示す情報を受信すると、受信した避難経路を示す情報を出力することにより、ユーザに避難経路の案内を行う。情報の出力は例えば、映像記録装置10のスピーカから音声が出力されることにより行われる。具体的には、音声で「○○通りを右に進んで△△小学校に避難してください」、といった音声が出力される。あるいは、よりリアルタイムに、映像記録装置10の位置情報に基づいて「次の角を右に」と案内が出力されてもよい。この場合、映像記録装置10は、自装置の位置情報と臨時サーバ40から受信した避難経路を示す情報とから、避難経路を具体的に示す情報を生成し、リアルタイムで音声出力する。映像記録装置10のユーザは、出力される音声を聴くことで、避難経路を容易に把握することができる。
3-6.他の変形例
 実施形態において、顔と認識された部分に置換される別の画像は、元の画像(すなわち顔の画像)から可逆処理により得られる例を説明した。すなわち、置換後の画像は、置換前の画像を用いて、可逆処理により得られるものであった。しかし、置換後の画像は、置換前の画像を用いて、非可逆処理により得られるものであった。すなわち、置換後の画像から置換前の画像を復元できなくてもよい。例えば、顔以外の情報(音声、服装、持ち物、及び体型等)が鮮明に記録されていれば、捜査期間に提出する証拠としては十分な場合がある。
 映像記録装置10の動作モードは、通常モード及び緊急モードの2つに限定されない。例えば、映像を間欠的に撮影及び蓄積する省電力モード等、これら2つ以外の動作モードを有していてもよい。
 映像記録装置10の機能構成は図2で例示したものに限定されない。図2に示した機能の一部が省略されてもよく、また、図示されていない機能が追加されてもよい。また、遠隔監視システム1を構成する装置における機能の分担は、実施形態において例示したものに限定されない。例えば、映像記録装置10に実装された機能が複数の装置(例えば、映像記録装置10とサーバ30)により分担されて提供されてもよい。例えば、上述の実施形態において映像記録装置10が行っていた顔認識処理をサーバ30が行ってもよい。また、上述の実施形態において映像記録装置10の解析手段53が行っていた解析処理をサーバ30が行ってもよい。
 また、顔認識手段13及び置換手段14は省略されてもよい。この場合、映像記録装置10が解決すべき課題はプライバシーの保護ではなく、使用者の状況を容易に確認する、ということになる。これは例えば、使用状況が限られる用途(例えば、特定の会社の従業員のみが入れる作業現場での使用)において有用である。
 また、上述の実施形態及び変形例において解析手段53が行う機械学習のアルゴリズムは、教師あり学習のアルゴリズムに限らず、教師なし学習、半教師あり学習、強化学習、表現学習等の機械学習用のアルゴリズムであってもよい。また、機械学習用のアルゴリズムは、データマイニングやディープラーニング等のアルゴリズムを含んでもよい。また、これらの学習用のアルゴリズムは、例えばニューラルネットワーク、クラスタリング、ベイジアンネットワーク等の各種の技術を用いたものが含まれてもよい。要するに、機械学習用のアルゴリズムは、解析手段53により取得される何らかのデータとともに処理されて、その処理の結果、ユーザが得たい情報を出力するものであればよい。
 遠隔監視システム1において行われる処理のステップは、上述した実施形態において説明された例に限定されない。処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、遠隔監視システム1において行われる遠隔監視方法として提供されてもよい。
 映像記録装置10のハードウェア構成、及びサーバ30のハードウェア構成は、図3及び図4に例示されたものに限定されない。要求される機能を実現できるものであれば、映像記録装置10及びサーバ30は、どのようなハードウェア構成を有していてもよい。特に映像記録装置10については、実施形態においては専用のハードウェア要素を有する本システム専用の装置である例を説明したが、映像記録装置10が汎用のコンピュータ装置(例えばスマートフォン)であり、専用のハードウェア要素(画像処理回路104)を用いる代わりにソフトウェア処理により所望の機能を実装してもよい。映像記録装置10には、汎用のコンピュータ装置を映像記録装置10として機能させるためのプログラムがインストールされる。
 映像記録装置10において実行されるプログラム及びサーバ30において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。

Claims (15)

  1.  周囲を撮影した映像信号を出力する撮像手段と、
     前記映像信号により示されるフレーム画像を一時的に記憶する一時記憶手段と、
     前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行う顔認識手段と、
     前記フレーム画像のうち前記顔認識手段により顔と判断された部分を別の画像へ置換をする置換手段と、
     前記置換手段により処理されたフレーム画像を圧縮して映像データを生成する生成手段と、
     前記生成手段により生成された映像データを永続的に記憶する永続記憶手段と
     を有する映像記録装置。
  2.  前記別の画像は、可逆処理により元の画像に変換可能な画像である
     請求項1に記載の映像記録装置。
  3.  前記映像記録装置の動作モードを、通常モード及び緊急モードを含む複数の動作モードのうち一の動作モードから別の動作モードに切り替える切り替え手段と、
     前記動作モードが前記緊急モードの場合、所定の外部装置に前記映像データを送信し、当該動作モードが前記通常モードの場合、当該外部装置に当該映像データを送信しない送信手段と
     を有する請求項1又は2に記載の映像記録装置。
  4.  前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段を有し、
     前記切り替え手段は、前記解析手段による解析結果に応じて前記動作モードを切り替える
     請求項3に記載の映像記録装置。
  5.  前記周囲から集音した音信号を出力する集音手段、又は前記映像記録装置のモーションを示すモーション信号を出力するモーション検知手段を有し、
     前記解析手段は、前記フレーム画像及び前記音信号又は前記モーション信号を用いて、前記映像記録装置周辺の状況を解析する
     請求項4に記載の映像記録装置。
  6.  前記切り替え手段は、災害の発生を示す情報を取得したことに応じて、前記動作モードを前記通常モードから前記緊急モードに移行する
     請求項3に記載の映像記録装置。
  7.  前記フレーム画像のうち前記顔認識手段により顔と判断された部分から所定の距離離れた部分のデータ量を低減する処理を行う処理手段を有し、
     前記生成手段は、前記処理手段及び前記置換手段により前記処理及び前記置換をされたフレーム画像を圧縮して映像データを生成する
     請求項1乃至6のいずれか一項に記載の映像記録装置。
  8.  前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段と、
     前記解析手段により解析された状況を示す付加情報を前記映像データに付加する付加手段と
     を有する請求項1乃至3のいずれか一項に記載の映像記録装置。
  9.  前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段と、
     前記解析手段により解析された状況を示す付加情報を前記映像データに付加する付加手段と
     を更に有し、
     前記状況が特定の条件を満たす場合、前記送信手段は、前記動作モードが前記緊急モードに切り替えられる前の時点まで遡って前記映像データを送信する
     請求項3に記載の映像記録装置。
  10.  前記映像データを再生した映像を表示する表示手段を有さない
     請求項1乃至9のいずれか一項に記載の映像記録装置。
  11.  サーバと、
     映像記録装置と
     を有し、
     前記映像記録装置は、
      周囲を撮影した映像信号を出力する撮像手段と、
      前記映像信号により示されるフレーム画像を一時的に記憶する一時記憶手段と、
      前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行う顔認識手段と、
      前記フレーム画像のうち前記顔認識手段により顔と判断された部分を別の画像へ置換をする置換手段と、
      前記置換手段により処理されたフレーム画像を圧縮して映像データを生成する生成手段と、
      前記生成手段により生成された映像データを永続的に記憶する永続記憶手段と、
      前記映像記録装置の動作モードを、通常モード及び緊急モードの複数の動作モードのうち一の動作モードから別の動作モードに切り替える切り替え手段と、
      前記動作モードが前記緊急モードの場合、前記サーバに前記映像データを送信し、当該動作モードが前記通常モードの場合、当該サーバに当該映像データを送信しない送信手段と
     を有し、
     前記サーバは、
      前記映像記録装置に対応する映像再生装置を識別する情報を記憶する記憶手段と、
      前記映像記録装置から前記映像データを受信する受信手段と、
      前記受信手段により受信された映像データを、前記映像記録装置に対応する前記映像再生装置に送信する送信手段と
     を有する
     遠隔監視システム。
  12.  前記映像記録装置は、
      前記一時記憶手段に記憶された前記フレーム画像を用いて、前記映像記録装置周辺の状況を解析する解析手段と、
      前記映像記録装置の位置情報を取得する取得手段と、
      前記解析手段により解析された状況を示す付加情報及び前記位置情報を前記映像データに付加する付加手段と
     を有し、
     前記サーバは、
      前記付加情報により示される状況を、前記位置情報を用いて地図上にマッピングするマッピング手段を有し、
      前記送信手段は、前記状況がマッピングされた地図を前記映像再生装置に送信する
     請求項11に記載の遠隔監視システム。
  13.  前記映像記録装置において、前記送信手段は、前記位置情報を定期的に前記サーバに送信し、
     前記サーバにおいて、前記送信手段は、前記位置情報により前記映像記録装置が、特定の前記情報がマッピングされた領域と所定の位置関係に入ったことが示された場合、前記動作モードを前記緊急モードに切り替えるための制御信号を送信し、
     前記映像記録装置において、前記切り替え手段は、前記制御信号に応じて前記動作モードを前記緊急モードに切り替える
     請求項12に記載の遠隔監視システム。
  14.  映像記録装置と通信するサーバが、当該映像記録装置に対応する映像再生装置を識別する識別情報を記憶するステップと、
     前記映像記録装置が、周囲を撮影した映像信号により示されるフレーム画像を一時記憶手段に一時的に記憶するステップと、
     前記映像記録装置が、前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行うステップと、
     前記映像記録装置が、前記フレーム画像のうち前記顔と判断された部分を別の画像へ置換をするステップと、
     前記映像記録装置が、前記置換されたフレーム画像を圧縮して映像データを生成するステップと、
     前記映像記録装置が、前記生成された映像データを永続的に記憶するステップと、
     前記映像記録装置が、前記映像記録装置の動作モードを、通常モード及び緊急モードの複数の動作モードのうち一の動作モードから別の動作モードに切り替えるステップと、
     前記映像記録装置が、前記動作モードが前記緊急モードの場合、前記サーバに前記映像データを送信し、当該動作モードが前記通常モードの場合、当該サーバに当該映像データを送信しないステップと、
     前記サーバが、前記映像記録装置から前記映像データを受信するステップと、
     前記サーバが、前記受信された映像データを、前記映像記録装置に対応する前記映像再生装置に送信するステップと
     を有する遠隔監視方法。
  15.  コンピュータに、
     周囲を撮影した映像信号により示されるフレーム画像を一時記憶手段に一時的に記憶するステップと、
     前記一時記憶手段に記憶されているフレーム画像に対し顔認識処理を行うステップと、
     前記フレーム画像のうち前記顔と判断された部分を別の画像へ置換をするステップと、
     前記置換されたフレーム画像を圧縮して映像データを生成するステップと、
     前記生成された映像データを永続的に記憶するステップと、
     を実行させるためのプログラム。
PCT/JP2019/021535 2019-05-30 2019-05-30 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム WO2020240772A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021521687A JPWO2020240772A1 (ja) 2019-05-30 2019-05-30
PCT/JP2019/021535 WO2020240772A1 (ja) 2019-05-30 2019-05-30 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/021535 WO2020240772A1 (ja) 2019-05-30 2019-05-30 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020240772A1 true WO2020240772A1 (ja) 2020-12-03

Family

ID=73553577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021535 WO2020240772A1 (ja) 2019-05-30 2019-05-30 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2020240772A1 (ja)
WO (1) WO2020240772A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049912A (ja) * 2000-08-04 2002-02-15 Nri & Ncc Co Ltd 人物画像取得システム
JP2005117621A (ja) * 2003-09-16 2005-04-28 Honda Motor Co Ltd 画像配信システム
JP2005236464A (ja) * 2004-02-18 2005-09-02 Hitachi Ltd 監視カメラ映像配信システム
JP2008090602A (ja) * 2006-10-02 2008-04-17 Sachiyoshi Katsuragi 登下校時の防犯システム
JP2010237781A (ja) * 2009-03-30 2010-10-21 National Institute Of Advanced Industrial Science & Technology 監視用撮像装置及び監視用撮像システム
JP2014007566A (ja) * 2012-06-25 2014-01-16 Sharp Corp 安否確認システム、端末装置、安否確認方法およびプログラム
JP2016111393A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019041353A (ja) * 2017-08-29 2019-03-14 京セラ株式会社 電子機器及びシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049912A (ja) * 2000-08-04 2002-02-15 Nri & Ncc Co Ltd 人物画像取得システム
JP2005117621A (ja) * 2003-09-16 2005-04-28 Honda Motor Co Ltd 画像配信システム
JP2005236464A (ja) * 2004-02-18 2005-09-02 Hitachi Ltd 監視カメラ映像配信システム
JP2008090602A (ja) * 2006-10-02 2008-04-17 Sachiyoshi Katsuragi 登下校時の防犯システム
JP2010237781A (ja) * 2009-03-30 2010-10-21 National Institute Of Advanced Industrial Science & Technology 監視用撮像装置及び監視用撮像システム
JP2014007566A (ja) * 2012-06-25 2014-01-16 Sharp Corp 安否確認システム、端末装置、安否確認方法およびプログラム
JP2016111393A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019041353A (ja) * 2017-08-29 2019-03-14 京セラ株式会社 電子機器及びシステム

Also Published As

Publication number Publication date
JPWO2020240772A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
US20160112461A1 (en) Collection and use of captured vehicle data
US8665089B2 (en) Personal safety mobile notification system
US8630820B2 (en) Methods and systems for threat assessment, safety management, and monitoring of individuals and groups
US20100245583A1 (en) Apparatus for remote surveillance and applications therefor
US20100246669A1 (en) System and method for bandwidth optimization in data transmission using a surveillance device
US20100245582A1 (en) System and method of remote surveillance and applications therefor
US20150230072A1 (en) Personal safety mobile notification system
US20140118140A1 (en) Methods and systems for requesting the aid of security volunteers using a security network
US20100245072A1 (en) System and method for providing remote monitoring services
US20120087482A1 (en) Method Of Providing An Emergency Call Center
JP2008529354A (ja) 無線イベント認証システム
KR200448955Y1 (ko) 이동 가능한 감시시스템
JP2011215767A (ja) サーバ装置、防犯カメラ映像利用方法、防犯カメラ映像利用プログラムおよび防犯カメラシステム
WO2008120971A1 (en) Method of and apparatus for providing tracking information together with environmental information using a personal mobile device
JP5779380B2 (ja) 監視装置およびプログラム
KR101404272B1 (ko) Cctv 감시장치 지능형 관제시스템 제어방법
US20170098118A1 (en) Face recognition using concealed mobile camera
US20210281886A1 (en) Wearable camera system for crime deterrence
WO2020240772A1 (ja) 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム
KR101473971B1 (ko) 다기능 방범카메라 통합방범 시스템
US20160086480A1 (en) Crime evidence provider cum help seeker
Park et al. Multi-log analysis platform for supporting public safety service
JP7447626B2 (ja) 情報処理方法、情報処理装置、プログラム及び情報処理システム
KR101236640B1 (ko) 이동통신 단말을 이용한 개인 보호 장치
KR101484457B1 (ko) 휴대용 블랙박스 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930391

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021521687

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930391

Country of ref document: EP

Kind code of ref document: A1