WO2023032283A1 - 通報装置、通報方法及び通報プログラム - Google Patents

通報装置、通報方法及び通報プログラム Download PDF

Info

Publication number
WO2023032283A1
WO2023032283A1 PCT/JP2022/010399 JP2022010399W WO2023032283A1 WO 2023032283 A1 WO2023032283 A1 WO 2023032283A1 JP 2022010399 W JP2022010399 W JP 2022010399W WO 2023032283 A1 WO2023032283 A1 WO 2023032283A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
unit
image transmission
transmission trigger
image
Prior art date
Application number
PCT/JP2022/010399
Other languages
English (en)
French (fr)
Inventor
僚太 大川
Original Assignee
株式会社トランストロン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トランストロン filed Critical 株式会社トランストロン
Priority to CN202280057183.3A priority Critical patent/CN117916785A/zh
Publication of WO2023032283A1 publication Critical patent/WO2023032283A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a reporting device, reporting method, and reporting program.
  • Patent Document 1 discloses a method and apparatus for monitoring at least one occupant of a vehicle.
  • the invention described in US Pat. No. 6,200,402 captures images of a vehicle occupant using at least one image capture device and determines at least one vital sign of the vehicle occupant by analysis of the captured images.
  • the reporting device is, for example, a reporting device mounted on a vehicle, provided in the vehicle, and an imaging unit that acquires a planar image of the interior of the vehicle. and a conversion unit that converts the planar image into an audio signal to generate a first audio signal, and a communication unit that is provided in the vehicle and transmits the first audio signal. do.
  • a reporting method includes, for example, the steps of capturing a planar image of the interior of a vehicle, and converting the planar image into an audio signal to generate a first audio signal. and transmitting the first audio signal.
  • a reporting program converts, for example, a computer into an audio signal a planar image of the vehicle interior captured by an imaging unit provided in the vehicle to generate a first audio signal. and a communication unit that transmits the first audio signal.
  • the computer program can be provided by downloading via a network such as the Internet, or can be provided by being recorded on various computer-readable recording media such as a CD-ROM.
  • the imaging unit provided in the vehicle acquires a planar image of the interior of the vehicle, converts the planar image into an audio signal, and generates and transmits the first audio signal.
  • the image information of the vehicle interior can be transmitted using the existing voice communication system. Therefore, it is not necessary to change the specifications of the communication equipment including the TCU and the communication infrastructure. In addition, even if the passenger cannot make a voice call, the information in the passenger compartment can be grasped.
  • An image transmission trigger detection unit that detects an image transmission trigger requesting transmission of the planar image may be provided, and the conversion unit may generate the first audio signal when the image transmission trigger is detected.
  • an audio signal generated by converting a planar image can be transmitted only when necessary. Since the first audio signal generated by converting the planar image sounds like noise, it may interfere with the communication, but transmitting the first audio signal only when necessary does not interfere with the communication.
  • the image transmission trigger is sound
  • the communication unit receives the sound and outputs it to the image transmission trigger detection unit
  • the image transmission trigger detection unit transmits the image when the sound is detected.
  • a trigger may be detected.
  • the external device for example, the center device
  • the external device that received the audio signal transmits the first audio signal.
  • the timing is easy to understand, and it is easy to create a spectrogram based on the first audio signal.
  • a microphone is provided in the vehicle interior, and the image transmission trigger detection unit detects an utterance from the sound acquired by the microphone, and the image transmission trigger is detected when the utterance is not detected for a predetermined time.
  • the reporting device can automatically generate and transmit the first voice signal in situations where the occupant cannot make a voice call (such as fainting).
  • the transform unit uses the plane image in which real numbers are arranged two-dimensionally as a spectrogram, adds phase information to the spectrogram to generate complex number data in which complex numbers are arranged two-dimensionally, and performs an inverse Fourier transform on the complex number data. may generate the first audio signal. Further, the conversion unit may randomly generate the phase information using random numbers. Thereby, the first audio signal can be generated from the planar image. In addition, by using random numbers, it is possible to appropriately add phase information.
  • a time-series data acquisition unit that acquires time-series data
  • the conversion unit converts the time-series data into an audio signal to generate a second audio signal
  • the communication unit transmits the second audio signal.
  • the conversion unit may generate the second audio signal by analog-modulating the time-series data so that the frequency range falls within the audio band. This makes it possible to transmit not only planar images (two-dimensional data) but also time-series data (one-dimensional data) using an existing voice communication system.
  • the time-series data acquisition unit is a biometric information acquisition unit that acquires biometric information including at least one of heart rate, respiratory rate, blood pressure, blood sugar level, body temperature, arterial blood oxygen saturation, and the conversion unit is the biometric
  • biometric information including at least one of heart rate, respiratory rate, blood pressure, blood sugar level, body temperature, arterial blood oxygen saturation, and the conversion unit is the biometric
  • the information may be converted into an audio signal to generate a second audio signal. This makes it possible to transmit not only planar images but also biological information using existing voice communication systems.
  • a biological information acquisition unit that acquires biological information including at least one of heart rate, respiratory frequency, blood pressure, blood sugar level, body temperature, and arterial blood oxygen saturation;
  • the image transmission trigger may be detected when greater than a second threshold less than or greater than the first threshold.
  • the reporting device can automatically generate and transmit the first voice signal in situations where the occupant cannot make a voice call (such as fainting).
  • the imaging unit may continuously capture the planar images, and the conversion unit may continuously generate the first audio signal. As a result, the change in the situation inside the vehicle can be more reliably grasped by an external device or the like.
  • image information inside the vehicle can be transmitted using an existing voice communication system.
  • FIG. 4 is a diagram schematically showing the flow of processing for generating a spectrogram
  • 2 is a block diagram schematically showing an example of the hardware configuration of reporting device 1.
  • FIG. 2 is a block diagram showing an outline of the functional configuration of the reporting device 1;
  • FIG. 4 is a diagram schematically showing processing performed by a first conversion unit 102a;
  • FIG. 4 is a diagram schematically showing processing performed by a first conversion unit 102a;
  • FIG. 4 is a diagram schematically showing processing performed by a first conversion unit 102a;
  • FIG. 4 is a diagram schematically showing processing performed by a first conversion unit 102a;
  • FIG. 9 is a flow chart showing the flow of processing in a modified example of the reporting device 1.
  • FIG. 2 is a block diagram showing an outline of the functional configuration of the reporting device 2;
  • FIG. 4 is a flow chart showing the flow of processing performed by the reporting device 2.
  • FIG. 3 is a block diagram showing an outline of the functional configuration of the reporting device 3;
  • FIG. 4 is a flow chart showing the flow of processing performed by the reporting device 3.
  • the reporting device of the present invention is mounted on a vehicle, and is a device for starting a voice conversation by reporting from the vehicle to a call center.
  • the present invention will be described as an example of an emergency call device that automatically reports to a call center when an accident such as deployment of an airbag occurs or when an emergency call button is pressed.
  • the notification device is not limited to the emergency notification device.
  • FIG. 1 is a diagram schematically showing a vehicle 10 provided with a reporting device 1 according to the first embodiment and a center device 20 provided in a call center.
  • the reporting device 1 is connected to the center device 20 wirelessly or via a network (a communication network for mobile phones in this embodiment).
  • the notification device 1 mainly includes an imaging unit 11, a microphone 12, a speaker 13, a biological information acquisition unit 14, a processing unit 15 that performs processing such as converting an image into sound, a TCU (telematics control unit) 16, Antennas 18 and 19 are provided.
  • the imaging unit 11 , the microphone 12 and the speaker 13 are provided inside the passenger compartment 10 a of the vehicle 10 .
  • the imaging unit 11 is, for example, a visible light camera such as an RGB camera that captures a color image, a black-and-white camera, or an infrared camera or a thermography that detects electromagnetic waves in the infrared wavelength region and creates an image. Get P1.
  • the biological information acquisition unit 14 is, for example, a heart rate monitor provided on the steering wheel, and acquires the driver's heart rate.
  • the biological information acquisition unit 14 is not limited to the heart rate meter, and may acquire biological information including at least one of heart rate, respiratory rate, blood pressure, blood sugar level, body temperature, and arterial blood oxygen saturation.
  • the processing unit 15 converts the planar image P1 (two-dimensional data) into an audio signal to generate an audio signal A1.
  • the processing unit 15 also converts the biological information (one-dimensional data) acquired by the biological information acquisition unit 14 into an audio signal to generate an audio signal A2. Processing for converting the planar image P1 and the biological information into an audio signal will be described in detail later.
  • the TCU 16 controls two-way communication such as telephone calls and ETC (Electronic Toll Collection System).
  • the TCU 16 also transmits the audio signals A1 and A2 and the audio signal input from the microphone 12 to the center side device 20 via the antenna 18 .
  • processing unit 15 and the TCU 16 may be constructed as a dedicated board mounted on an in-vehicle device provided in the vehicle 10, for example.
  • the antenna 18 receives radio waves transmitted from the center device 20 via the mobile phone network, and also transmits radio waves to the center device 20 .
  • the antenna 19 receives radio waves transmitted from GNSS (Global Navigation Satellite System).
  • GNSS Global Navigation Satellite System
  • the center-side device 20 mainly includes a microphone 21 , a speaker 22 , a communication device 23 , a processing section 24 that performs processing such as converting sound into an image, a display section 25 , and an antenna 26 .
  • the communication device 23 receives radio waves transmitted from the reporting device 1 via the antenna 26 and the mobile phone network, and also transmits radio waves to the reporting device 1 .
  • the communication device 23 is connected to the microphone 21 , the speaker 22 and the processing unit 24 , receives an audio signal from the microphone 21 , and outputs the audio signal to the speaker 22 and the processing unit 24 .
  • An audio signal input from the microphone 12 is output to the speaker 22 , and audio signals A ⁇ b>1 and A ⁇ b>2 are output to the processing unit 24 .
  • the processing unit 24 generates a spectrogram P2 based on the input audio signal A1, and acquires biological information based on the input audio signal A2.
  • the spectrogram P2 is output from the processing section 24 to the display section 25 and displayed on the display section 25 .
  • a spectrogram is a two-dimensional graph (time axis, frequency axis) representing the results of temporally continuous frequency analysis.
  • Fig. 2 is an example of a spectrogram.
  • the upper part of FIG. 2 shows the audio signal x(t), where the horizontal axis represents time and the vertical axis represents amplitude. Note that (t) represents a function of time.
  • the lower part of Fig. 2 shows the spectrogram
  • the spectrogram display method is not limited to a two-dimensional graph, and may be a three-dimensional graph (waterfall plot).
  • FIG. 3 is a diagram schematically showing the flow of processing for generating a spectrogram.
  • the audio signal x(t) is multiplied by the window function (see the dotted line in FIG. 3) to cut out a portion of the audio signal x(t).
  • the clipped section will be referred to as a frame.
  • overlap processing is applied to overlap a portion of the previous frame and a portion of the current frame.
  • the two-dimensional array obtained here is hereinafter referred to as STFT data X(m, k).
  • the STFT data X(m, k) is a complex number, it is converted to a real number by obtaining the absolute value
  • is obtained by obtaining a two-dimensional array of absolute values
  • the spectrogram is drawn as a black and white image in FIGS. 2 and 3, the spectrogram may be displayed as a color image. Further, the color density of the spectrogram may be logarithmically converted (dB converted) and displayed.
  • FIG. 4 is a block diagram schematically showing an example of the hardware configuration of the reporting device 1.
  • the reporting device 1 includes a control device 50 , a communication device 52 and a storage device 54 .
  • the control device 50 mainly includes a CPU (Central Processing Unit) 56 and a memory 58 .
  • the CPU 56 executes predetermined programs stored in the storage device 54, memory 58, or the like, thereby functioning as various functional units.
  • the program may be temporarily or permanently stored (stored) in a removable storage medium such as a semiconductor memory, memory card, optical disk, magneto-optical disk, or magnetic disk.
  • the communication device 52 is configured with a communication interface or the like for communicating with an external device.
  • the communication device 52 transmits and receives various types of information to and from, for example, the center-side device 20 and the like.
  • the storage device 54 is composed of a hard disk or the like.
  • the storage device 54 stores various programs and information necessary for execution of processing in the control device 50 and information on processing results.
  • FIG. 5 is a block diagram showing an outline of the functional configuration of the reporting device 1.
  • the reporting device 1 functionally includes a control unit 100 .
  • the control unit 100 includes at least an image transmission trigger detection unit 101, a conversion unit 102, and a communication unit 103 as software resources by an arithmetic device such as a CPU (Central Processing Unit) 56 for executing information processing and a storage device 54. , a speaker amplifier 104 , a position information acquisition unit 105 , and an emergency call initiation unit 106 .
  • a CPU Central Processing Unit
  • the image transmission trigger detection unit 101 is a functional unit that detects an image transmission trigger that requests image transmission.
  • the image transmission trigger is a sound.
  • the image transmission trigger is a sound of 440 Hz and 880 Hz successively continuing for 0.5 seconds each.
  • the form of the image transmission trigger is not limited to this, and may be, for example, a voice such as "Please send an image.”
  • the image transmission trigger is transmitted from the center-side device 20 , received by the communication unit 103 , and output from the communication unit 103 to the image transmission trigger detection unit 101 .
  • the image transmission trigger detection unit 101 acquires a sound indicating an image transmission trigger in advance, and compares the acquired sound with the sound output from the communication unit 103 to detect the image transmission trigger. .
  • the conversion unit 102 mainly includes a first conversion unit 102a that converts a planar image P1 captured by the imaging unit 11 into an audio signal to generate an audio signal A1, and a first conversion unit 102a that converts the biological information acquired by the biological information acquisition unit 14 into an audio signal. and a second conversion unit 102b for converting into a signal to generate an audio signal A2.
  • the first conversion unit 102a uses a plane image P1 in which real numbers are arranged two-dimensionally (which is two-dimensional data) as a spectrogram, adds phase information to the spectrogram, and converts complex numbers into complex number data (STFT data X) in which complex numbers are arranged two-dimensionally. (m, k)) and performs inverse Fourier transform on the complex data to generate an audio signal A1.
  • FIG. 6 and 7 are diagrams schematically showing the processing performed by the first conversion unit 102a.
  • the first transforming unit 102a adds phase information to the plane image P1 to convert it into a complex number to generate STFT data X(m, k), and performs an inverse short-time Fourier transform. Transforms (iSTFT, inverse STFT) are performed, and the speech signal x(t) is generated by splicing them.
  • the inverse short-time Fourier transform is an inverse transform of the short-time Fourier transform.
  • k can be converted to each other.
  • phase information is randomly generated using random numbers as shown in Equation 1 below.
  • FIG. 8(A) is an example of a plane image P1
  • FIG. 8(B) is an example of an audio signal A1 and a spectrogram
  • the upper part of FIG. 8B is the audio signal A1
  • the lower part of FIG. 8B is the spectrogram
  • clearly illustrates the outline of the planar image P1, and viewing the spectrogram
  • the second conversion unit 102b is a functional unit that converts biological information, which is a time-series signal (one-dimensional data) in which real numbers are arranged in time series, into an audio signal to generate an audio signal A2.
  • the audio signal A2 can be generated by analog modulation such as FM modulation, AM modulation, and PM modulation.
  • analog modulation such as FM modulation, AM modulation, and PM modulation.
  • the generation of the audio signal A2 is not limited to analog modulation.
  • biological information may be digitized into binary data, and the audio signal A2 may be generated by digital modulation such as QAM (Quadrature Amplitude Modulation).
  • QAM Quadrature Amplitude Modulation
  • the communication unit 103 is a functional unit that transmits and receives signals via the antennas 18 and 19. After the conversion unit 102 generates the audio signals A1 and A2, the communication unit 103 transmits the audio signals A1 and A2. Also, the communication unit 103 transmits an audio signal input from the microphone 12 .
  • the communication unit 103 receives the voice transmitted from the center-side device 20 .
  • the communication unit 103 outputs the received sound to the image transmission trigger detection unit 101 and the speaker amplifier 104 .
  • the communication unit 103 receives radio waves transmitted from the GNSS 30 via the antenna 19 and outputs the radio waves to the position information acquisition unit 105 .
  • the speaker amplifier 104 is a functional unit that amplifies the signal output from the communication unit 103 and outputs it to the speaker 13 .
  • the location information acquisition unit 105 is a functional unit that acquires radio waves transmitted from the GNSS 30 via the communication unit 103 and acquires location information based on the acquired radio waves. Since the speaker amplifier 104 and the position information acquisition unit 105 are already known, the description thereof will be omitted.
  • the emergency call start unit 106 is a functional unit that starts an emergency call when an emergency call start trigger is input.
  • the emergency call start trigger is input from an in-vehicle device (not shown) or the like.
  • the emergency call start unit 106 is connected to the image transmission trigger detection unit 101, the communication unit 103, the speaker amplifier 104, and the position information acquisition unit 105, and when an emergency call start trigger is input, these function units are notified of the emergency call start. Output instructions.
  • FIG. 4 merely shows a part of the main hardware configuration of the reporting device 1, and the reporting device 1 can be provided with other configurations generally included in server devices.
  • the reporting device 1 can be implemented using an information processing device such as a dedicated or general-purpose server computer. Further, the reporting device 1 may be composed of a single information processing device, or may be composed of a plurality of information processing devices distributed over a communication network. Further, the functional components of the reporting device 1 shown in FIG. 5 may be classified into more components according to the processing contents, or one component may execute the processing of a plurality of components. .
  • FIG. 9 is a flow chart showing the flow of processing performed by the reporting device 1.
  • the emergency call start unit 106 outputs an emergency call start instruction to the image transmission trigger detection unit 101, the communication unit 103, the speaker amplifier 104, and the position information acquisition unit 105. Then, an emergency call is started (step SP11).
  • the communication unit 103 receives voice and the like from the center device 20 via the antenna 18 based on the emergency call start instruction, and outputs the voice and the like to the speaker amplifier 104 . As a result, the sound output from the center-side device 20 is output from the speaker 13 . In addition, the communication unit 103 outputs the voice (emergency call voice) input from the microphone 12 to the center device 20 via the antenna 18 based on the emergency call start instruction. This makes it possible for the center-side device 20 to hear the emergency call voice. Further, when an emergency call start instruction is input, the image transmission trigger detection unit 101 waits for input of an image transmission trigger. These processes are continuously performed while an emergency call is made.
  • the location information acquisition unit 105 receives radio waves from the GNSS 30 via the antenna 19 and outputs them to the location information acquisition unit 105 based on the emergency call start instruction.
  • Position information acquisition section 105 obtains position information and outputs it to communication section 103 .
  • the communication unit 103 outputs the position information to the center device 20 via the antenna 18 . Note that the location information acquisition unit 105 and transmission of location information are not essential.
  • the image transmission trigger detection unit 101 determines whether or not an image transmission trigger has been input via the communication unit 103 (step SP13).
  • step SP13 If the image transmission trigger has not been input (NO in step SP13), the image transmission trigger detection unit 101 repeats the processing of step SP13. If an image transmission trigger has been input (YES in step SP13), the image transmission trigger detection unit 101 outputs to the conversion unit 102 that an image transmission trigger has been input, and the first conversion unit 102a receives a signal from the imaging unit 11. A planar image P1 is acquired (step SP15).
  • the first conversion unit 102a converts the planar image P1 acquired in step SP13 into audio to generate an audio signal A1 (step SP17).
  • the first conversion unit 102 a outputs the generated audio signal A ⁇ b>1 to the communication unit 103 .
  • the communication unit 103 superimposes the voice signal A1 on the emergency call voice and transmits it (step SP19).
  • the emergency call initiation unit 106 terminates a series of processes. Further, when an emergency call start trigger is input from an in-vehicle device or the like while the process shown in FIG. 9 is being performed, the emergency call start unit 106 ends the process shown in FIG.
  • the center-side device 20 receives the voice signal A1 transmitted from the reporting device 1 after this. As shown in FIG. 1, the processing unit 24 generates a spectrogram P2 based on the input audio signal A1. As a result, the spectrogram P2 is displayed on the display unit 25 of the center-side device 20, so that the call center can confirm the state inside the passenger compartment 10a.
  • the second conversion unit 102b acquires biometric information from the biometric information acquisition unit 14 at the same time as step SP13, and performs the second conversion at the same time as step SP17.
  • the unit 102b may convert the biological information into voice to generate the voice signal A2, and the communication unit 103 may superimpose the voice signal A2 on the emergency call voice and transmit it at the same time as step SP19.
  • the planar image P1 captured by the image capturing unit 11 is converted into an audio signal to generate the audio signal A1, and when the audio signal A1 is generated, the audio signal A1 is transmitted.
  • a voice communication system can be used to transmit image information of the interior of the vehicle. Therefore, it is unnecessary to change the specifications of the communication equipment including the TCU 16 and the communication infrastructure. Since the TCU 16 relays a report voice and does not have an image transmission function, in order to transmit an image via the TCU 16, an interface with the imaging unit 11 and firmware for image transmission must be provided. However, it is time-consuming and costly.
  • the TCU 16 does not need to be changed, which saves labor and cost, and the TCU 16 having no image transmission function is installed. It is possible to add an image communication function to the vehicle after the fact.
  • the information in the vehicle interior 10a can be grasped even when the passenger cannot make a voice call.
  • the first conversion unit 102a converts the plane image P1 into voice and converts it into the voice signal A1. so that the audio signal A1 can be sent only when it is needed. If the audio signal A1 is always transmitted, the audio signal A1 sounds like noise, which may interfere with communication. In contrast, by transmitting the audio signal A1 using the image transmission trigger as a trigger as in the present embodiment, the audio signal A1 can be transmitted as needed without interfering with the call.
  • the timing at which the audio signal A1 was transmitted from the center device 20 can be easily understood. It is easy to create a spectrogram based on signal A1.
  • the image transmission trigger can be superimposed on the call voice. Therefore, the image transmission trigger can be sent from the center device 20 without changing the specifications of the TCU 16 .
  • the planar image P1 can be obtained using an existing audio communication system. Not only that, but also biometric information can be transmitted.
  • the reporting device 1 includes the microphone 12, the speaker 13 and the speaker amplifier 104 in order to make two-way calls with the center device 20.
  • the microphone 12, the speaker 13 and the speaker Amplifier 104 is not essential.
  • the notification device 1 may include at least the image transmission trigger detection section 101, the conversion section 102, and the communication section 103. FIG.
  • the image transmission trigger detection unit 101 it is not essential for the image transmission trigger detection unit 101, that is, to generate and transmit the audio signal A1 based on the image transmission trigger.
  • the voice signal A1 may be generated and transmitted when the reporting device 1 starts reporting.
  • the biometric information acquired by the biometric information acquisition unit 14 is converted into the audio signal A2 by the second conversion unit 102b and transmitted from the communication unit 103, but the biometric information acquisition unit 14 and the second conversion Part 102b is not essential.
  • the reporting device 1 may acquire biometric information via the communication unit 103 from a device other than the biometric information acquisition unit 14, such as a wearable device.
  • the reporting device 1 converts the biometric information acquired by the biometric information acquisition unit 14 into the audio signal A2 and transmits it from the communication unit 103.
  • the communication device includes at least one of a temperature sensor, a humidity sensor, and an air pressure sensor, acquires temperature data, humidity data, and air pressure data, which are time series data, from the temperature sensor, the humidity sensor, and the air pressure sensor, respectively.
  • the conversion unit 102 b may convert the audio signal into an audio signal, and the audio signal may be transmitted from the communication unit 103 .
  • the communication device includes a gas sensor (for example, a CO 2 sensor), acquires substance concentration data (for example, carbon dioxide concentration data) as time-series data from the gas sensor, and converts it into an audio signal by the second conversion unit 102b. and the audio signal may be transmitted from the communication unit 103 .
  • a gas sensor for example, a CO 2 sensor
  • substance concentration data for example, carbon dioxide concentration data
  • the audio signal may be transmitted from the communication unit 103 .
  • Time-series data such as temperature data, humidity data, atmospheric pressure data, and substance concentration data can also be converted into audio signals in the same manner as biological information.
  • step SP15 the communication unit 103 superimposes the voice signal A1 on the emergency call voice and transmits it, but the communication unit 103 may transmit only the voice signal A1.
  • FIG. 10 is a flow chart showing the flow of processing in the modified example of the notification device 1. As shown in FIG. Since steps SP11 to SP19 are the same, their description is omitted.
  • the image transmission trigger detection unit 101 determines via the communication unit 103 whether the emergency call has ended or a transmission end trigger has been input. Determine (step SP21). For example, in the image transmission trigger detection unit 101, a signal instructing the termination of the emergency call is output from an in-vehicle device or the like, is input to the emergency call start unit 106, and is input from the emergency call start unit 106 to the image transmission trigger detection unit 101. It is assumed that the emergency call is terminated at this time. Further, for example, when a transmission end trigger is transmitted from the center-side device 20 and input to the image transmission trigger detection unit 101 via the communication unit 103, the image transmission trigger detection unit 101 receives the transmission end trigger.
  • the image transmission trigger detection unit 101 acquires in advance a sound indicating a transmission end trigger, and compares the pre-acquired sound with the sound output from the communication unit 103 to detect the transmission end trigger.
  • a sound of 440 Hz and 880 Hz successively continuing for one second each can be used as a transmission end trigger, but the form of the transmission end trigger is not limited to this.
  • the image transmission trigger detection unit 101 returns the process to step SP15. That is, until the transmission end trigger is input, the first conversion unit 102a acquires the plane image P1 (step SP15), converts the plane image P1 into voice to generate the voice signal A1 (step SP17), and the communication unit 103 continuously performs the process of superimposing the voice signal A1 on the emergency call voice and transmitting it (step SP19).
  • the emergency call initiation unit 106 ends a series of processes. Further, when an emergency call start trigger is input from an in-vehicle device or the like while the process shown in FIG. 10 is being performed, the emergency call start unit 106 ends the process shown in FIG.
  • the center-side device 20 can more reliably grasp the change in the situation inside the vehicle compartment 10a.
  • the first conversion unit 102a converts the planar image P1 into Although the voice signal A1 is generated by voicing and the communication unit 103 superimposes the voice signal A1 on the emergency call voice and transmits it, the trigger for generating the voice signal A1 from the plane image P1 is not limited to this.
  • the second embodiment of the present invention is a mode in which the sound signal A1 is generated from the planar image P1 by using the fact that no human speech is detected in the vehicle compartment 10a as a trigger.
  • a notification device 2 according to a second embodiment of the present invention will be described below. The same reference numerals are assigned to the same parts as in the first embodiment, and the description thereof is omitted.
  • FIG. 11 is a block diagram showing an outline of the functional configuration of the reporting device 2.
  • the reporting device 2 includes a control device 50, a communication device 52, and a storage device 54 as a hardware configuration. Further, the reporting device 2 functionally includes a control section 100A.
  • the control unit 100A has at least an image transmission trigger detection unit 101A, a conversion unit 102, and a communication unit 103 as software resources by an arithmetic device such as a CPU (Central Processing Unit) 56 for executing information processing and a storage device 54. , a speaker amplifier 104 , a position information acquisition unit 105 , and an emergency call initiation unit 106 .
  • an arithmetic device such as a CPU (Central Processing Unit) 56 for executing information processing and a storage device 54.
  • a speaker amplifier 104 for executing information processing and a storage device 54.
  • a position information acquisition unit 105 for executing information processing
  • an emergency call initiation unit 106 for executing information processing and a storage device 54.
  • the image transmission trigger detection unit 101A is a functional unit that detects an image transmission trigger that requests image transmission.
  • a sound acquired by the microphone 12 is input to the image transmission trigger detection unit 101A.
  • the image transmission trigger detection unit 101A detects an utterance from the sound acquired by the microphone 12, and assumes that the image transmission trigger is detected when the utterance is not detected for a predetermined time.
  • the predetermined time is, for example, 10 seconds, and can be set to any time.
  • the reporting device 2 indicates that the occupant is in a situation where voice communication is not possible (fainting, death, etc.) and that it is time to transmit an image of the interior of the vehicle compartment 10a.
  • the notification device 2 side can automatically determine.
  • the image transmission trigger detection unit 101A determines that there is speech when the sound pressure level obtained by the microphone 12 exceeds a threshold, and determines that there is no speech if it does not exceed the threshold.
  • FIG. 12 is a flowchart showing the flow of processing performed by the reporting device 2.
  • the emergency call start unit 106 outputs an emergency call start instruction to the image transmission trigger detection unit 101A, the communication unit 103, the speaker amplifier 104, and the position information acquisition unit 105. Notification is started (step SP11).
  • the image transmission trigger detection unit 101A detects speech from the sound acquired by the microphone 12, and determines whether speech has been detected for a predetermined time (step SP12).
  • step SP12 When speech is detected (YES in step SP12), the image transmission trigger detection unit 101A repeats the process of step SP12. If no speech is detected for a predetermined time (NO in step SP12), the image transmission trigger detection unit 101A outputs to the conversion unit 102 that an image transmission trigger has been input, and the first conversion unit 102a detects the image pickup unit 11. acquires a planar image P1 from (step SP15).
  • the first conversion unit 102a converts the planar image P1 acquired in step SP13 into audio to generate an audio signal A1 (step SP17).
  • the first conversion unit 102 a outputs the generated audio signal A ⁇ b>1 to the communication unit 103 .
  • the communication unit 103 superimposes the voice signal A1 on the emergency call voice and transmits it (step SP19).
  • the emergency call initiation unit 106 ends the series of processes. Further, when an emergency call start trigger is input from an in-vehicle device or the like while the process shown in FIG. 12 is being performed, the emergency call start unit 106 ends the process shown in FIG.
  • speech is detected from the sound acquired by the microphone 12, and the speech signal A1 is generated when speech is not detected for a predetermined time.
  • the notification device 2 can automatically generate and transmit the audio signal A1.
  • the sound signal A1 is generated from the planar image P1 by using the fact that no human speech is detected in the vehicle interior 10a as a trigger.
  • the trigger is not limited to this.
  • the third embodiment of the present invention is a mode in which an audio signal A1 is generated from a planar image P1 using the occurrence of an abnormality in biological information as a trigger.
  • the reporting device 3 according to the third embodiment of the present invention will be described below.
  • the same reference numerals are assigned to the same parts as in the first embodiment, and the description thereof is omitted.
  • FIG. 13 is a block diagram showing an outline of the functional configuration of the reporting device 3.
  • the reporting device 3 includes a control device 50, a communication device 52, and a storage device 54 as a hardware configuration. Further, the reporting device 3 functionally includes a control section 100B.
  • the control unit 100B includes at least an image transmission trigger detection unit 101B, a conversion unit 102, and a communication unit 103 as software resources by an arithmetic device such as a CPU (Central Processing Unit) 56 for executing information processing and a storage device 54. , a speaker amplifier 104 , a position information acquisition unit 105 , and an emergency call initiation unit 106 .
  • an arithmetic device such as a CPU (Central Processing Unit) 56 for executing information processing and a storage device 54.
  • a speaker amplifier 104 for executing information processing and a storage device 54.
  • a position information acquisition unit 105 for executing information processing
  • an emergency call initiation unit 106 includes at least an emergency call initiation unit 106 .
  • the image transmission trigger detection unit 101B is a functional unit that detects an image transmission trigger that requests image transmission.
  • the biometric information acquired by the biometric information acquisition unit 14 is input to the image transmission trigger detection unit 101B.
  • the biological information acquisition unit 14 is a heart rate monitor, and the image transmission trigger detection unit 101B continuously acquires the heart rate.
  • the image transmission trigger detection unit 101B compares the biometric information with the first threshold and the second threshold, and assumes that the image transmission trigger is detected when the biometric information is smaller than the first threshold or larger than the second threshold. .
  • the second threshold is greater than the first threshold. For example, assume that the image transmission trigger detection unit 101B detects an image transmission trigger when the heart rate is less than 50 (first threshold) or when the heart rate is greater than 120 (second threshold).
  • the notification device 3 when the heart rate is smaller than the first threshold or larger than the second threshold, it means that the occupant cannot make a voice call (fainting, death, etc.), and the image inside the vehicle compartment 10a is displayed.
  • the notification device 3 side can automatically determine that it is time to transmit.
  • FIG. 14 is a flowchart showing the flow of processing performed by the reporting device 3.
  • the emergency call start unit 106 outputs an emergency call start instruction to the image transmission trigger detection unit 101B, the communication unit 103, the speaker amplifier 104, and the position information acquisition unit 105. Notification is started (step SP11).
  • the image transmission trigger detection unit 101B acquires the biometric information from the biometric information acquisition unit 14, and determines whether or not there is an abnormality in the biometric information, that is, whether the biometric information is smaller than the first threshold or larger than the second threshold. (step SP14).
  • the image transmission trigger detection unit 101B repeats the process of step SP14. If the biometric information is smaller than the first threshold or larger than the second threshold (YES in step SP14), the image transmission trigger detection unit 101B outputs that the image transmission trigger is input to the conversion unit 102, and the first conversion is performed.
  • the unit 102a acquires the planar image P1 from the imaging unit 11 (step SP15).
  • the first conversion unit 102a converts the planar image P1 acquired in step SP13 into audio to generate an audio signal A1 (step SP17).
  • the first conversion unit 102 a outputs the generated audio signal A ⁇ b>1 to the communication unit 103 .
  • the communication unit 103 superimposes the voice signal A1 on the emergency call voice and transmits it (step SP19).
  • the emergency call initiation unit 106 ends the series of processes. Further, when an emergency call start trigger is input from an in-vehicle device or the like while the process shown in FIG. 14 is being performed, the emergency call start unit 106 ends the process shown in FIG.
  • the voice signal A1 is generated when the biological information is smaller than the first threshold or larger than the second threshold.
  • the audio signal A1 can be generated and transmitted automatically.
  • the biometric information acquisition unit 14 is a heart rate monitor, and the image transmission trigger is detected when the biometric information falls below the threshold value.
  • the biometric information acquisition unit 14 is not limited to a heart rate monitor.
  • the biological information acquisition unit 14 may be a non-contact vital sensor that measures respiratory rate and pulse, a wearable device that measures heart rate, arterial blood oxygen saturation (SpO 2 ), body temperature, etc., and may measure blood pressure.
  • a sphygmomanometer for example, a watch-type wearable sphygmomanometer
  • the image transmission trigger detection unit 101B detects an image transmission trigger when, for example, the respiratory rate, arterial blood oxygen saturation, body temperature, blood pressure, etc. are smaller than the first threshold or larger than the second threshold, according to the acquired biological information. may be detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

既存の音声通信システムを用いて車室内の画像情報を送信することができる。　車両に搭載される通報装置である。車両に設けられており、車両の車室内の平面画像を取得する撮像部と、平面画像を音声信号に変換して第１音声信号を生成する変換部と、車両に設けられており、変換部により前記第１音声信号が生成されたら当該第１音声信号を送信する通信部と、を備える。

Description

通報装置、通報方法及び通報プログラム
　本発明は、通報装置、通報方法及び通報プログラムに関する。
　特許文献１には、車両の少なくとも１人の乗員を監視するための方法及び装置が開示されている。特許文献１に記載の発明は、少なくとも１つの画像取込装置を使用して車両乗員の画像を取り込み、取り込まれた画像の解析により車両乗員の少なくとも１つの生命徴候を判定する。
特開２０１４－１０１９６７号公報
　特許文献１に記載の発明では、画像解析の結果を非常事態の診療の際に提供すると記載されているが、結果をどのような形態で提供するのか不明である。例えば、乗員が生存はしているが会話が不可能である場合に画像を送信することは有効であるといえるが、緊急通報に使用している音声通信システムに対して仕様変更を行わなければ画像の送信が行えず、容易ではない。
　本発明はこのような事情に鑑みてなされたもので、既存の音声通信システムを用いて車室内の画像情報を送信することができる通報装置、通報方法及び通報プログラムを提供することを目的とする。
　上記課題を解決するために、本発明に係る通報装置は、例えば、車両に搭載される通報装置であって、前記車両に設けられており、前記車両の車室内の平面画像を取得する撮像部と、前記平面画像を音声信号に変換して第１音声信号を生成する変換部と、前記車両に設けられており、前記第１音声信号を送信する通信部と、を備えたことを特徴とする。
　上記課題を解決するために、本発明に係る通報方法は、例えば、車両の車室内の平面画像を撮像するステップと、前記平面画像を音声信号に変換して第１音声信号を生成するステップと、前記第１音声信号を送信するステップと、を含むことを特徴とする。
　上記課題を解決するために、本発明に係る通報プログラムは、例えば、コンピュータを、車両に設けられた撮像部により撮像された車室内の平面画像を音声信号に変換して第１音声信号を生成する変換部、前記第１音声信号を送信する通信部、として機能させることを特徴とする。
　なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、ＣＤ－ＲＯＭなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。
　本発明の上記いずれかの態様では、車両に設けられた撮像部で車室内の平面画像を取得し、平面画像を音声信号に変換して第１音声信号を生成して送信する。これにより、既存の音声通信システムを用いて車室内の画像情報を送信することができる。したがって、ＴＣＵを含む通信設備や通信インフラ側の仕様変更は不要である。また、乗員が音声通話できない場合にも、車室内の情報を把握することができる。
　前記平面画像の送信を要求する画像送信トリガを検出する画像送信トリガ検出部を備え、前記変換部は、前記画像送信トリガが検出されたら前記第１音声信号を生成してもよい。これにより、平面画像を変換して生成された音声信号を必要なときにだけ送信することができる。平面画像を変換して生成された第１音声信号はノイズのように聴こえるため、通話の妨げになるおそれがあるが、必要な時にだけ第１音声信号を送信することで通話の妨げにならない。
　前記画像送信トリガは、音であり、前記通信部は、前記音を受信して前記画像送信トリガ検出部に出力し、前記画像送信トリガ検出部は、前記音が検出されたときに前記画像送信トリガを検出したとしてもよい。このように、外部の装置（例えば、センタ側装置）からの指示に応じて第１音声信号を外部の装置に送信することで、音声信号を受信した外部の装置で第１音声信号が送信されたタイミングが分かりやすく、第１音声信号に基づいてスペクトログラムを作成しやすい。
　前記車室内に設けられたマイクロホンを備え、前記画像送信トリガ検出部は、前記マイクロホンにより取得された音声から発話を検知し、所定時間発話が検知されなかった場合に前記画像送信トリガが検出されたとしてもよい。これにより、乗員が音声通話ができない状況（気絶等）で、通報装置が自動的に第１音声信号を生成及び送信することができる。
　前記変換部は、実数が２次元配列された前記平面画像をスペクトログラムとし、当該スペクトログラムに位相情報を付加して複素数が２次元配列された複素数データを生成し、当該複素数データを逆フーリエ変換することにより前記第１音声信号を生成してもよい。また、前記変換部は、前記位相情報を乱数を用いてランダムに生成してもよい。これにより、平面画像から第１音声信号を生成することができる。また、乱数を用いることで、位相情報を適宜付加することができる。
　時系列データを取得する時系列データ取得部を備え、前記変換部は、前記時系列データを音声信号に変換して第２音声信号を生成し、前記通信部は、前記第２音声信号を送信してもよい。また、前記変換部は、周波数範囲が音声帯域に収まるように前記時系列データをアナログ変調して前記第２音声信号を生成してもよい。これにより、既存の音声通信システムを使用して、平面画像（二次元データ）のみでなく、時系列データ（１次元データ）をも送信することができる。
　前記時系列データ取得部は、心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部であり、前記変換部は、前記生体情報を音声信号に変換して第２音声信号を生成してもよい。これにより、既存の音声通信システムを使用して、平面画像のみならず生体情報をも送信することができる。
　心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部を備え、前記画像送信トリガ検出部は、前記生体情報が第１閾値より小さい又は前記第１閾値より大きい第２閾値より大きいときに前記画像送信トリガが検出されたとしてもよい。これにより、乗員が音声通話ができない状況（気絶等）で、通報装置が自動的に第１音声信号を生成及び送信することができる。
　前記撮像部は、前記平面画像を連続して撮像し、前記変換部は、前記第１音声信号を連続して生成してもよい。これにより、外部装置等で車室内の状況の変化をより確実に把握することができる。
　本発明によれば、既存の音声通信システムを用いて車室内の画像情報を送信することができる。
第１の実施の形態に係る通報装置１が設けられた車両１０及びコールセンターに設けられたセンタ側装置２０を模式的に示す図である。 スペクトログラムの一例である。 スペクトログラムを生成する処理の流れを模式的に示す図である。 通報装置１のハードウェア構成の一例を概略的に示すブロック図である。 通報装置１の機能構成の概略を示すブロック図である。 第１変換部１０２ａが行う処理を模式的に示す図である。 第１変換部１０２ａが行う処理を模式的に示す図である。 （Ａ）は、平面画像Ｐ１の一例であり、（Ｂ）は音声信号Ａ１及びスペクトログラム|X(m, k)|の一例である。 通報装置１が行う処理の流れを示すフローチャートである。 通報装置１の変形例における処理の流れを示すフローチャートである。 通報装置２の機能構成の概略を示すブロック図である。 通報装置２が行う処理の流れを示すフローチャートである。 通報装置３の機能構成の概略を示すブロック図である。 通報装置３が行う処理の流れを示すフローチャートである。
　以下、本発明に係る通報装置の実施形態を、図面を参照して詳細に説明する。本発明の通報装置は、車両に搭載されるものであり、車両からコールセンターに通報して音声会話を開始する装置である。以下、本発明について、エアバックが展開するような事故が発生した場合や、緊急通報ボタンが押下された場合等に自動的にコールセンターに通報する緊急通報装置を例に説明するが、本発明の通報装置は緊急通報装置に限られない。
　＜第１の実施の形態＞
　図１は、第１の実施の形態に係る通報装置１が設けられた車両１０及びコールセンターに設けられたセンタ側装置２０を模式的に示す図である。通報装置１は、センタ側装置２０と無線又はネットワーク（本実施の形態では、携帯電話用の通信ネットワーク）により接続されている。通報装置１は、主として、撮像部１１と、マイクロホン１２と、スピーカ１３と、生体情報取得部１４と、画像を音声化する処理等を行う処理部１５と、ＴＣＵ（テレマティクス制御ユニット）１６と、アンテナ１８、１９とを備える。
　撮像部１１、マイクロホン１２及びスピーカ１３は、車両１０の車室１０ａ内に設けられている。撮像部１１は、例えば、カラー画像を撮像するＲＧＢカメラ、白黒カメラ等の可視光カメラ、赤外波長領域の電磁波を検出して画像にする赤外線カメラやサーモグラフィであり、車室１０ａ内の平面画像Ｐ１を取得する。
　生体情報取得部１４は、例えばハンドルに設けられた心拍計であり、運転者の心拍数を取得する。なお、生体情報取得部１４は、心拍計に限られず、心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得すればよい。
　処理部１５は、平面画像Ｐ１（２次元データ）を音声信号に変換して、音声信号Ａ１を生成する。また、処理部１５は、生体情報取得部１４で取得された生体情報（１次元データ）を音声信号に変換して、音声信号Ａ２を生成する。平面画像Ｐ１や生体情報を音声信号に変換する処理等については後に詳述する。
　ＴＣＵ１６は、通話やＥＴＣ（Electronic Toll Collection System）等において双方向の通信を制御する。また、ＴＣＵ１６は、音声信号Ａ１、Ａ２やマイクロホン１２から入力された音声信号を、アンテナ１８を介してセンタ側装置２０へ送信する。
　なお、処理部１５及びＴＣＵ１６は、例えば、車両１０に設けられた車載装置に搭載される専用ボードとして構築されてもよい。
　アンテナ１８は、携帯電話用のネットワークを介してセンタ側装置２０から送信された電波を受信し、また、センタ側装置２０へ電波を送信する。アンテナ１９は、ＧＮＳＳ（Global Navigation Satellite System、全球測位衛星システム）から発信された電波を受信する。
　センタ側装置２０は、主として、マイクロホン２１と、スピーカ２２と、通信装置２３と、音声を画像化する処理等を行う処理部２４と、表示部２５と、アンテナ２６とを備える。
　通信装置２３は、アンテナ２６及び携帯電話用のネットワークを介して通報装置１から送信された電波を受信し、また、通報装置１へ電波を送信する。通信装置２３は、マイクロホン２１、スピーカ２２及び処理部２４と接続されており、マイクロホン２１から音声信号が入力され、スピーカ２２及び処理部２４に音声信号を出力する。スピーカ２２には、マイクロホン１２から入力された音声信号が出力され、処理部２４には、音声信号Ａ１、Ａ２が出力される。
　処理部２４は、入力された音声信号Ａ１に基づいてスペクトログラムＰ２を生成し、入力された音声信号Ａ２に基づいて生体情報を取得する。スペクトログラムＰ２は、処理部２４から表示部２５に出力され、表示部２５に表示される。スペクトログラムとは、周波数分析を時間的に連続して行った結果を２次元のグラフ（時間軸、周波数軸）で表したものである。
　図２は、スペクトログラムの一例である。図２の上段は音声信号x(t)であり、横軸が時間を表し、縦軸が振幅を表す。なお、(t)は時間の関数であることを表す。図２の下段はスペクトログラム|X(m, k)|であり、横軸が時間を表し、縦軸が周波数を表し、各点の色の濃さがある時点のある周波数での大きさ（振幅）を表す。なお、mはフレーム番号であり、kは離散周波数番号である。なお、スペクトログラムの表示方法は、２次元のグラフに限られず、３次元のグラフ（ウォーターフォールプロット）としてもよい。
　図３は、スペクトログラムを生成する処理の流れを模式的に示す図である。まず、音声信号x(t)に窓関数（図３点線参照）を積算して音声信号x(t)の一部分を切り出す。以下、切り出した区間をフレームという。このとき、オーバラップ処理を適用して、直前フレームの一部と現在のフレームの一部を重ね合わせる。
　次に、各フレームに対して高速フーリエ変換（FFT）を行い、その計算結果を時間軸に沿って並べる。その結果、複素数の二次元配列が得られる。以下、ここで得られた二次元配列をＳＴＦＴデータX(m, k)という。
　ＳＴＦＴデータX(m, k)は複素数であるため、ＳＴＦＴデータの絶対値|X(m, k)|又はＳＴＦＴデータのパワー|X(m, k)|2を求めることにより実数化する。本実施の形態では、ＳＴＦＴデータの絶対値|X(m, k)|の二次元配列を取得することで、スペクトログラム|X(m, k)|が求められる。
　なお、図２、３では、スペクトログラムを白黒画像として描画しているが、スペクトログラムをカラー画像として表示してもよい。また、スペクトログラムの色の濃さを対数変換（ｄＢ変換）して表示してもよい。
　図４は、通報装置１のハードウェア構成の一例を概略的に示すブロック図である。通報装置１は、制御装置５０と、通信装置５２と、記憶装置５４と、を備える。
　制御装置５０は、ＣＰＵ（Central Processing Unit）５６及びメモリ５８を主に備えて構成される。制御装置５０では、記憶装置５４又はメモリ５８等に格納された所定のプログラムをＣＰＵ５６が実行することにより、各種の機能部として機能する。なお、プログラムは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）してもよい。
　通信装置５２は、外部の装置と通信するための通信インターフェース等で構成される。通信装置５２は、例えばセンタ側装置２０等との間で各種の情報を送受信する。記憶装置５４は、ハードディスク等で構成される。この記憶装置５４は、制御装置５０における処理の実行に必要な各種プログラムや各種の情報、及び処理結果の情報を記憶する。
　図５は、通報装置１の機能構成の概略を示すブロック図である。通報装置１は、機能的には制御部１００を備える。制御部１００は、情報処理を実行するためのＣＰＵ（Central Processing Unit）５６等の演算装置や記憶装置５４により、ソフトウェア資源として少なくとも、画像送信トリガ検出部１０１と、変換部１０２と、通信部１０３と、スピーカアンプ１０４と、位置情報取得部１０５と、緊急通報開始部１０６とを有する。
　画像送信トリガ検出部１０１は、画像の送信を要求する画像送信トリガを検出する機能部である。本実施の形態では、画像送信トリガは音であり、例えば、４４０Ｈｚと８８０Ｈｚが順に０．５秒ずつ続く音を画像送信トリガとする。なお、画像送信トリガの形態はこれに限られず、例えば「画像を送ってください」等の音声でもよい。
　画像送信トリガは、センタ側装置２０から送信されて通信部１０３で受信され、通信部１０３から画像送信トリガ検出部１０１に出力される。画像送信トリガ検出部１０１は、画像送信トリガを示す音を予め取得しておき、当該予め取得された音と、通信部１０３から出力された音声とを比較することにより、画像送信トリガを検出する。
　変換部１０２は、主として、撮像部１１により撮像された平面画像Ｐ１を音声信号に変換して音声信号Ａ１を生成する第１変換部１０２ａと、生体情報取得部１４で取得された生体情報を音声信号に変換して音声信号Ａ２を生成する第２変換部１０２ｂとを有する。
　第１変換部１０２ａは、実数が２次元配列された（２次元データである）平面画像Ｐ１をスペクトログラムとし、当該スペクトログラムに位相情報を付加して複素数が２次元配列された複素数データ（ＳＴＦＴデータX(m, k)）を生成し、当該複素数データを逆フーリエ変換することにより音声信号Ａ１を生成する機能部である。
　図６、７は、第１変換部１０２ａが行う処理を模式的に示す図である。具体的には、図６に示すように、第１変換部１０２ａは、まず、平面画像Ｐ１に位相情報を付加して複素数化してＳＴＦＴデータX(m, k)を生成し、逆短時間フーリエ変換（iSTFT、inverse STFT）を行い、これらを繋ぎ合わせることで音声信号x(t)を生成する。
　図７に示すように、逆短時間フーリエ変換は、短時間フーリエ変換の逆変換であり、短時間フーリエ変換及び逆短時間フーリエ変換を行うことにより音声信号x(t)とＳＴＦＴデータX(m, k)とを相互に変換可能である。
　ＳＴＦＴデータX(m, k)からスペクトログラム|X(m, k)|への変換は、絶対値を求めているため、位相情報を捨てればよい。それに対し、スペクトログラム|X(m, k)|からＳＴＦＴデータX(m, k)への変換は、位相情報を付加して複素数化するする必要がある。本実施の形態では、以下の数式１に示すように、乱数を用いて位相情報をランダムに生成する。
Figure JPOXMLDOC01-appb-M000001
　図８（Ａ）は、平面画像Ｐ１の一例であり、図８（Ｂ）は音声信号Ａ１及びスペクトログラム|X(m, k)|の一例である。図８（Ｂ）の上段が音声信号Ａ１であり、図８（Ｂ）の下段がスペクトログラム|X(m, k)|である。スペクトログラム|X(m, k)|では平面画像Ｐ１の輪郭線が明確に図示されており、スペクトログラム|X(m, k)|を見ることで平面画像Ｐ１を見ることと同等の効果が得られる。
　図５の説明に戻る。第２変換部１０２ｂは、実数が時系列に並んだ時系列信号（１次元データ）である生体情報を音声信号に変換して音声信号Ａ２を生成する機能部である。音声信号Ａ２の生成は、例えば、ＦＭ変調、ＡＭ変調、ＰＭ変調等のアナログ変調により行うことができる。ただし、変調後の周波数が緊急通報の音声帯域に収まるようにする必要がある。例えば、通信においてナローバンドの音声コーデックを使用する場合には、ＦＭ搬送波の周波数を２ｋＨｚとし、最大周波数偏移を１ｋＨｚとしてＦＭ変調すれば、周波数範囲が１ｋＨｚ～３ｋＨｚとなり、０．３ｋＨｚ～３．４ｋＨｚの音声帯域に収まる。
　なお、音声信号Ａ２の生成は、アナログ変調に限られない。例えば、生体情報をデジタル化してバイナリデータとし、ＱＡＭ（直角位相振幅変調）等のデジタル変調により音声信号Ａ２を生成してもよい。
　通信部１０３は、アンテナ１８、１９を介して信号の送信、受信を行う機能部である。通信部１０３は、変換部１０２により音声信号Ａ１、Ａ２が生成されたら、音声信号Ａ１、Ａ２を送信する。また、通信部１０３は、マイクロホン１２から入力された音声信号を送信する。
　また、通信部１０３は、センタ側装置２０から送信された音声を受信する。通信部１０３は、受信した音声を画像送信トリガ検出部１０１及びスピーカアンプ１０４に出力する。
　また、通信部１０３は、アンテナ１９を介してＧＮＳＳ３０から発信された電波を受信して、位置情報取得部１０５に出力する。
　スピーカアンプ１０４は、通信部１０３から出力された信号を増幅してスピーカ１３に出力する機能部である。位置情報取得部１０５は、ＧＮＳＳ３０から発信された電波を通信部１０３を介して取得し、当該取得した電波に基づいて位置情報を取得する機能部である。スピーカアンプ１０４、位置情報取得部１０５は既に公知であるため、説明を省略する。
　緊急通報開始部１０６は、緊急通報開始トリガが入力されたら、緊急通報を開始する機能部である。緊急通報開始トリガは、図示しない車載装置等から入力される。緊急通報開始部１０６は、画像送信トリガ検出部１０１、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に接続されており、緊急通報開始トリガが入力されたらこれらの機能部に緊急通報開始の指示を出力する。
　なお、図４は、通報装置１が有する主要なハードウェア構成の一部を示しているに過ぎず、通報装置１は、サーバ装置が一般的に備える他の構成を備えることができる。通報装置１は、専用又は汎用のサーバ・コンピュータ等の情報処理装置を用いて実現することができる。また、通報装置１は、単一の情報処理装置により構成されるものであってもよく、通信ネットワーク上に分散した複数の情報処理装置により構成されるものであってもよい。また、図５に示す通報装置１の機能構成要素は、処理内容に応じてさらに多くの構成要素に分類されてもよいし、１つの構成要素が複数の構成要素の処理を実行してもよい。
　図９は、通報装置１が行う処理の流れを示すフローチャートである。まず、緊急通報開始部１０６は、車載装置等から緊急通報開始トリガが入力されたら、緊急通報の開始指示を画像送信トリガ検出部１０１、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に出力して、緊急通報を開始する（ステップＳＰ１１）。
　具体的には、通信部１０３は、緊急通報の開始指示に基づいて、アンテナ１８を介してセンタ側装置２０からの音声等を受信し、スピーカアンプ１０４に出力する。これにより、センタ側装置２０から出力された音声がスピーカ１３から出力される。また、通信部１０３は、緊急通報の開始指示に基づいて、マイクロホン１２から入力された音声（緊急通報音声）をアンテナ１８を介してセンタ側装置２０に出力する。これにより、緊急通報音声がセンタ側装置２０で聞き取り可能になる。また、画像送信トリガ検出部１０１は、緊急通報の開始指示が入力されたら、画像送信トリガの入力を待機する。これらの処理は、緊急通報が行われている間、継続して行われる。
　また、位置情報取得部１０５は、緊急通報の開始指示に基づいて、アンテナ１９を介してＧＮＳＳ３０からの電波を受信し、位置情報取得部１０５に出力する。位置情報取得部１０５は、位置情報を求めて通信部１０３に出力する。通信部１０３は、位置情報をアンテナ１８を介してセンタ側装置２０に出力する。なお、位置情報取得部１０５及び位置情報の送信は必須ではない。
　次に、画像送信トリガ検出部１０１は、通信部１０３を介して、画像送信トリガが入力されたか否かを判定する（ステップＳＰ１３）。
　画像送信トリガが入力されていない場合（ステップＳＰ１３でＮＯ）には、画像送信トリガ検出部１０１はステップＳＰ１３の処理を繰り返す。画像送信トリガが入力された場合（ステップＳＰ１３でＹＥＳ）には、画像送信トリガ検出部１０１は変換部１０２に画像送信トリガが入力されたことを出力し、第１変換部１０２ａは撮像部１１から平面画像Ｐ１を取得する（ステップＳＰ１５）。
　次に、第１変換部１０２ａは、ステップＳＰ１３で取得した平面画像Ｐ１を音声化し、音声信号Ａ１を生成する（ステップＳＰ１７）。第１変換部１０２ａは、生成した音声信号Ａ１を通信部１０３に出力する。そして、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）。
　その後、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図９に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図９に示す処理を終了する。
　センタ側装置２０は、このようにしてから通報装置１から送信された音声信号Ａ１を受信する。図１に示すように、処理部２４は、入力された音声信号Ａ１に基づいてスペクトログラムＰ２を生成する。これにより、センタ側装置２０の表示部２５にスペクトログラムＰ２が表示され、車室１０ａ内の様子をコールセンターで確認することができる。
　なお、画像送信トリガ検出部１０１から変換部１０２に画像送信トリガが入力されたら、ステップＳＰ１３と同時に第２変換部１０２ｂが生体情報取得部１４から生体情報を取得し、ステップＳＰ１７と同時に第２変換部１０２ｂが生体情報を音声化して音声信号Ａ２を生成し、ステップＳＰ１９と同時に通信部１０３が音声信号Ａ２を緊急通報音声に重畳して送信してもよい。
　本実施の形態によれば、撮像部１１により撮像された平面画像Ｐ１を音声信号に変換して音声信号Ａ１を生成し、音声信号Ａ１が生成されたら音声信号Ａ１を送信することにより、既存の音声通信システムを用いて車室内の画像情報を送信することができる。したがって、ＴＣＵ１６を含む通信設備や通信インフラ側の仕様変更は不要である。ＴＣＵ１６は通報音声を中継するものであり、画像送信機能を有していないため、ＴＣＵ１６を介して画像を送信するためには、撮像部１１とのインターフェース及び画像送信のためのファームウェアを設けなければならず、手間やコストがかかる。それに対し、本実施の形態のように平面画像を変換した音声信号Ａ１を送信する場合には、ＴＣＵ１６の変更は不要であり、手間やコストがかからないうえ、画像送信機能を有しないＴＣＵ１６が搭載された車両に事後的に画像通信機能を追加することができる。
　また、本実施の形態によれば、平面画像Ｐ１を音声化した音声信号Ａ１を送信することで、乗員が音声通話できない場合にも車室１０ａ内の情報を把握することができる。
　また、本実施の形態によれば、センタ側装置２０から送信された画像送信トリガが画像送信トリガ検出部１０１で検出されたら、第１変換部１０２ａで平面画像Ｐ１を音声化して音声信号Ａ１を生成するため、必要なときにだけ音声信号Ａ１を送信することができる。常に音声信号Ａ１を送信する場合には、音声信号Ａ１がノイズのように聴こえることで、通話の妨げになるおそれがある。それに対し、本実施の形態のように画像送信トリガをトリガとして音声信号Ａ１を送信することで、通話の妨げになることなく必要に応じて音声信号Ａ１を送信することができる。特に、本実施の形態では、センタ側装置２０から送信された画像送信トリガを音声信号Ａ１の送信のトリガとすることで、センタ側装置２０で音声信号Ａ１が送信されたタイミングが分かりやすく、音声信号Ａ１に基づいてスペクトログラムを作成しやすい。
　また、本実施の形態によれば、センタ側装置２０からの画像送信トリガを音とすることで、画像送信トリガを通話音声に乗せることができる。したがって、ＴＣＵ１６の仕様変更を行うことなく、センタ側装置２０から画像送信トリガを送ることができる。
　また、本実施の形態によれば、生体情報取得部１４で取得された生体情報を音声信号に変換して音声信号Ａ２を生成することにより、既存の音声通信システムを使用して、平面画像Ｐ１のみならず生体情報をも送信することができる。
　なお、本実施の形態では、通報装置１は、センタ側装置２０との間で双方向で通話を行うため、マイクロホン１２、スピーカ１３及びスピーカアンプ１０４を備えたが、マイクロホン１２、スピーカ１３及びスピーカアンプ１０４は必須ではない。音声信号Ａ１を送信するためには、通報装置１が少なくとも画像送信トリガ検出部１０１、変換部１０２及び通信部１０３を備えていればよい。
　また、画像送信トリガ検出部１０１、すなわち画像送信トリガに基づいて音声信号Ａ１を生成及び送信することも必須ではない。例えば、通報装置１が通報を開始するときに音声信号Ａ１を生成して送信するようにしてもよい。ただし、通話の妨げにならないように、画像送信トリガに基づいて必要な時だけ音声信号Ａ１を送信することが望ましい。
　また、本実施の形態では、生体情報取得部１４で取得された生体情報を第２変換部１０２ｂで音声信号Ａ２に変換して通信部１０３から送信したが、生体情報取得部１４及び第２変換部１０２ｂは必須ではない。例えば、通報装置１は、生体情報取得部１４以外の装置、例えばウェアラブルデバイスから通信部１０３を介して生体情報を取得してもよい。
　また、本実施の形態では、通報装置１は、生体情報取得部１４で取得された生体情報を音声信号Ａ２に変換して通信部１０３から送信したが、通報装置が生体情報以外の様々な形態の時系列データを音声信号として送信してもよい。例えば、通信装置が温度センサ、湿度センサ、気圧センサの少なくとも１つを備え、温度センサ、湿度センサ、気圧センサから時系列データである温度データ、湿度データ、気圧データをそれぞれ取得し、これを第２変換部１０２ｂで音声信号に変換し、当該音声信号を通信部１０３から送信してもよい。また、例えば、通信装置がガスセンサ（例えばCO2センサ）を備え、ガスセンサから時系列データである物質濃度データ（例えば二酸化炭素濃度データ）を取得し、これを第２変換部１０２ｂで音声信号に変換し、当該音声信号を通信部１０３から送信してもよい。温度データ、湿度データ、気圧データ、物質濃度データ等の時系列データについても、生体情報と同様の方法で音声信号に変換することができる。
　また、本実施の形態では、ステップＳＰ１５において、通信部１０３が音声信号Ａ１を緊急通報音声に重畳して送信したが、通信部１０３が音声信号Ａ１のみを送信してもよい。
　また、本実施の形態では、音声信号Ａ１を１回だけ送信して処理を終了しているが、音声信号Ａ１を複数送信してもよい。図１０は、通報装置１の変形例における処理の流れを示すフローチャートである。ステップＳＰ１１～ＳＰ１９は同一であるため、説明を省略する。
　音声信号Ａ１を緊急通報音声に重畳して送信（ステップＳＰ１９）したら、画像送信トリガ検出部１０１は、通信部１０３を介して、緊急通報が終了されたか又は送信終了トリガが入力されたか否かを判定する（ステップＳＰ２１）。例えば、画像送信トリガ検出部１０１は、緊急通報の終了を指示する信号が車載装置等から出力されて緊急通報開始部１０６に入力され、緊急通報開始部１０６から画像送信トリガ検出部１０１に入力されたときに、緊急通報が終了されたとする。また、例えば、画像送信トリガ検出部１０１は、送信終了トリガがセンタ側装置２０から送信されて、通信部１０３を介して画像送信トリガ検出部１０１に入力されたときに、送信終了トリガが入力されたとする。画像送信トリガ検出部１０１は、送信終了トリガを示す音を予め取得しておき、当該予め取得された音と、通信部１０３から出力された音声とを比較することにより、送信終了トリガを検出する。なお、例えば、４４０Ｈｚと８８０Ｈｚが順に１秒ずつ続く音を送信終了トリガとすることができるが、送信終了トリガの形態はこれに限られない。
　緊急通報が終了されなかった又は送信終了トリガが入力されなかった場合（ステップＳＰ２１でＮＯ）には、画像送信トリガ検出部１０１は、処理をステップＳＰ１５に戻す。すなわち、第１変換部１０２ａは、送信終了トリガが入力されるまで、平面画像Ｐ１を取得し（ステップＳＰ１５）、平面画像Ｐ１を音声化して音声信号Ａ１を生成し（ステップＳＰ１７）、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）処理を連続して行う。
　緊急通報が終了された又は送信終了トリガが入力された場合（ステップＳＰ２１でＹＥＳ）には、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図１０に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図１０に示す処理を終了する。
　本変形例によれば、連続して音声信号Ａ１を送ることができるため、センタ側装置２０で車室１０ａ内の状況の変化をより確実に把握することができる。
　＜第２の実施の形態＞
　本発明の第１の実施の形態は、センタ側装置２０から送信された画像送信トリガが通信部１０３を介して画像送信トリガ検出部１０１に入力されたら、第１変換部１０２ａが平面画像Ｐ１を音声化して音声信号Ａ１を生成し、通信部１０３が音声信号Ａ１を緊急通報音声に重畳して送信したが、平面画像Ｐ１から音声信号Ａ１を生成するためのトリガはこれに限られない。
　本発明の第２の実施の形態は、車室１０ａ内で人による発話が検知されないことをトリガとして平面画像Ｐ１から音声信号Ａ１を生成する形態である。以下、本発明の第２の実施の形態に係る通報装置２について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　図１１は、通報装置２の機能構成の概略を示すブロック図である。通報装置２は、通報装置１と同様に、ハードウェア構成として、制御装置５０と、通信装置５２と、記憶装置５４と、を備える。また、通報装置２は、機能的には制御部１００Ａを備える。
　制御部１００Ａは、情報処理を実行するためのＣＰＵ（Central Processing Unit）５６等の演算装置や記憶装置５４により、ソフトウェア資源として少なくとも、画像送信トリガ検出部１０１Ａと、変換部１０２と、通信部１０３と、スピーカアンプ１０４と、位置情報取得部１０５と、緊急通報開始部１０６とを有する。
　画像送信トリガ検出部１０１Ａは、画像の送信を要求する画像送信トリガを検出する機能部である。画像送信トリガ検出部１０１Ａには、マイクロホン１２により取得された音声が入力される。例えば、画像送信トリガ検出部１０１Ａは、マイクロホン１２により取得された音声から発話を検知し、所定時間発話が検知されなかった場合に画像送信トリガが検出されたとする。所定時間は、例えば１０秒であり、任意の時間を設定することができる。
　このように、通報装置２では、所定時間発話が検知できない場合には、乗員が音声通話ができない状況（気絶、死亡等）であり、車室１０ａ内の画像を送信すべきタイミングであることを通報装置２側で自動的に判定することができる。
　なお、マイクロホン１２により取得された音声から発話を検知する手法は、既に公知の様々な手法を用いることができる。本実施の形態では、画像送信トリガ検出部１０１Ａは、マイクロホン１２で取得された音圧レベルが閾値を超えた場合には発話ありと判定し、閾値を越えなければ発話なしと判定する。
　図１２は、通報装置２が行う処理の流れを示すフローチャートである。まず、緊急通報開始部１０６は、緊急通報開始トリガが入力されたら、緊急通報の開始指示を画像送信トリガ検出部１０１Ａ、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に出力して、緊急通報を開始する（ステップＳＰ１１）。
　次に、画像送信トリガ検出部１０１Ａは、マイクロホン１２により取得された音声から発話を検知し、所定時間発話が検知されたか否かを判定する（ステップＳＰ１２）。
　発話が検知された場合（ステップＳＰ１２でＹＥＳ）には、画像送信トリガ検出部１０１ＡはステップＳＰ１２の処理を繰り返す。所定時間発話が検知されなかった場合（ステップＳＰ１２でＮＯ）には、画像送信トリガ検出部１０１Ａは変換部１０２に画像送信トリガが入力されたことを出力し、第１変換部１０２ａは撮像部１１から平面画像Ｐ１を取得する（ステップＳＰ１５）。
　次に、第１変換部１０２ａは、ステップＳＰ１３で取得した平面画像Ｐ１を音声化し、音声信号Ａ１を生成する（ステップＳＰ１７）。第１変換部１０２ａは、生成した音声信号Ａ１を通信部１０３に出力する。そして、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）。そして、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図１２に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図１２に示す処理を終了する。
　本実施の形態によれば、マイクロホン１２により取得された音声から発話を検知し、所定時間発話が検知されなかった場合に音声信号Ａ１を生成するため、乗員が音声通話ができない状況（気絶等）で、通報装置２が自動的に音声信号Ａ１を生成及び送信することができる。
　＜第３の実施の形態＞
　本発明の第２の実施の形態は、車室１０ａ内で人による発話が検知されないことをトリガとして平面画像Ｐ１から音声信号Ａ１を生成したが、平面画像Ｐ１から音声信号Ａ１を生成するためのトリガはこれに限られない。
　本発明の第３の実施の形態は、生体情報に異常が発生したことをトリガとして平面画像Ｐ１から音声信号Ａ１を生成する形態である。以下、本発明の第３の実施の形態に係る通報装置３について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　図１３は、通報装置３の機能構成の概略を示すブロック図である。通報装置３は、通報装置１と同様に、ハードウェア構成として、制御装置５０と、通信装置５２と、記憶装置５４と、を備える。また、通報装置３は、機能的には制御部１００Ｂを備える。
　制御部１００Ｂは、情報処理を実行するためのＣＰＵ（Central Processing Unit）５６等の演算装置や記憶装置５４により、ソフトウェア資源として少なくとも、画像送信トリガ検出部１０１Ｂと、変換部１０２と、通信部１０３と、スピーカアンプ１０４と、位置情報取得部１０５と、緊急通報開始部１０６とを有する。
　画像送信トリガ検出部１０１Ｂは、画像の送信を要求する画像送信トリガを検出する機能部である。画像送信トリガ検出部１０１Ｂには、生体情報取得部１４により取得された生体情報が入力される。本実施の形態では、生体情報取得部１４は心拍計であり、画像送信トリガ検出部１０１Ｂは心拍数を連続して取得する。
　そして、画像送信トリガ検出部１０１Ｂは、生体情報を第１閾値、第２閾値と比較し、生体情報が第１閾値より小さいときに又は第２閾値より大きいときに画像送信トリガが検出されたとする。なお、第２閾値は第１閾値より大きい。例えば、画像送信トリガ検出部１０１Ｂは、心拍数が５０（第１閾値）より小さいとき、又は、心拍数が１２０（第２閾値）より大きいときに、画像送信トリガが検出されたとする。
　このように、通報装置３では、心拍数が第１閾値より小さいときに又は第２閾値より大きいときには、乗員が音声通話ができない状況（気絶、死亡等）であり、車室１０ａ内の画像を送信すべきタイミングであることを通報装置３側で自動的に判定することができる。
　図１４は、通報装置３が行う処理の流れを示すフローチャートである。まず、緊急通報開始部１０６は、緊急通報開始トリガが入力されたら、緊急通報の開始指示を画像送信トリガ検出部１０１Ｂ、通信部１０３、スピーカアンプ１０４及び位置情報取得部１０５に出力して、緊急通報を開始する（ステップＳＰ１１）。
　次に、画像送信トリガ検出部１０１Ｂは、生体情報取得部１４から生体情報を取得し、生体情報に異常があるか否か、すなわち生体情報が第１閾値より小さい又は第２閾値より大きいか否かを判定する（ステップＳＰ１４）。
　生体情報が第１閾値より小さくない又は第２閾値より大きくない場合（ステップＳＰ１４でＮＯ）には、画像送信トリガ検出部１０１ＢはステップＳＰ１４の処理を繰り返す。生体情報が第１閾値より小さい又は第２閾値より大きい場合（ステップＳＰ１４でＹＥＳ）には、画像送信トリガ検出部１０１Ｂは変換部１０２に画像送信トリガが入力されたことを出力し、第１変換部１０２ａは撮像部１１から平面画像Ｐ１を取得する（ステップＳＰ１５）。
　次に、第１変換部１０２ａは、ステップＳＰ１３で取得した平面画像Ｐ１を音声化し、音声信号Ａ１を生成する（ステップＳＰ１７）。第１変換部１０２ａは、生成した音声信号Ａ１を通信部１０３に出力する。そして、通信部１０３は、音声信号Ａ１を緊急通報音声に重畳して送信する（ステップＳＰ１９）。そして、緊急通報開始部１０６は、一連の処理を終了する。また、緊急通報開始部１０６は、図１４に示す処理を行っている間に車載装置等から緊急通報開始トリガが入力されたら、図１４に示す処理を終了する。
　本実施の形態によれば、生体情報が第１閾値より小さい又は第２閾値より大きい場合に音声信号Ａ１を生成するため、乗員が音声通話ができない状況（気絶等）で、通報装置２が自動的に音声信号Ａ１を生成及び送信することができる。
　なお、本実施の形態では、生体情報取得部１４が心拍計であり、生体情報が閾値を下回ったときに画像送信トリガが検出されたとしたが、生体情報取得部１４は心拍計に限られない。例えば、生体情報取得部１４は、呼吸回数や脈拍を測定する非接触バイタルセンサでもよいし、心拍数、動脈血酸素飽和度（SpO2）、体温等を測定するウェアラブルデバイスでもよいし、血圧を測定する血圧計（例えば、時計型のウェアラブル血圧計）でもよい。また、画像送信トリガ検出部１０１Ｂは、取得された生体情報に応じて、例えば、呼吸回数、動脈血酸素飽和度、体温、血圧等が第１閾値より小さい又は第２閾値より大きいときに画像送信トリガが検出されたとしてもよい。
　以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本明細書で説明した各実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、実施形態の構成に他の構成を追加、削除、置換等をすることが可能である。
１、２、３：通報装置
１０　　　：車両
１０ａ　　：車室
１１　　　：撮像部
１２　　　：マイクロホン
１３　　　：スピーカ
１４　　　：生体情報取得部
１５　　　：処理部
１８、１９：アンテナ
２０　　　：センタ側装置
２１　　　：マイクロホン
２２　　　：スピーカ
２３　　　：通信装置
２４　　　：処理部
２５　　　：表示部
２６　　　：アンテナ
５０　　　：制御装置
５２　　　：通信装置
５４　　　：記憶装置
５６　　　：ＣＰＵ
５８　　　：メモリ
１００、１００Ａ、１００Ｂ：制御部
１０１、１０１Ａ、１０１Ｂ：画像送信トリガ検出部
１０２　　：変換部
１０２ａ　：第１変換部
１０２ｂ　：第２変換部
１０３　　：通信部
１０４　　：スピーカアンプ
１０５　　：位置情報取得部
１０６　　：緊急通報開始部

Claims (13)

  1. 　車両に搭載される通報装置であって、
    　前記車両に設けられており、前記車両の車室内の平面画像を取得する撮像部と、
    　前記平面画像を音声信号に変換して第１音声信号を生成する変換部と、
    　前記車両に設けられており、前記第１音声信号を送信する通信部と、
    　を備えたことを特徴とする通報装置。
  2. 　前記平面画像の送信を要求する画像送信トリガを検出する画像送信トリガ検出部を備え、
    　前記変換部は、前記画像送信トリガが検出されたら前記第１音声信号を生成する
    　ことを特徴とする請求項１に記載の通報装置。
  3. 　前記画像送信トリガは、音であり、
    　前記通信部は、前記音を受信して前記画像送信トリガ検出部に出力し、
    　前記画像送信トリガ検出部は、前記音が検出されたときに前記画像送信トリガを検出したとする
    　ことを特徴とする請求項２に記載の通報装置。
  4. 　前記車室内に設けられたマイクロホンを備え、
    　前記画像送信トリガ検出部は、前記マイクロホンにより取得された音声から発話を検知し、所定時間発話が検知されなかった場合に前記画像送信トリガが検出されたとする
    　ことを特徴とする請求項２又は３に記載の通報装置。
  5. 　前記変換部は、実数が２次元配列された前記平面画像をスペクトログラムとし、当該スペクトログラムに位相情報を付加して複素数が２次元配列された複素数データを生成し、当該複素数データを逆フーリエ変換することにより前記第１音声信号を生成する
    　ことを特徴とする請求項１から４のいずれか一項に記載の通報装置。
  6. 　前記変換部は、前記位相情報を乱数を用いてランダムに生成する
    　ことを特徴とする請求項５に記載の通報装置。
  7. 　時系列データを取得する時系列データ取得部を備え、
    　前記変換部は、前記時系列データを音声信号に変換して第２音声信号を生成し、
    　前記通信部は、前記第２音声信号を送信する
    　ことを特徴とする請求項１から６のいずれか一項に記載の通報装置。
  8. 　前記変換部は、周波数範囲が音声帯域に収まるように前記時系列データをアナログ変調して前記第２音声信号を生成する
    　ことを特徴とする請求項７に記載の通報装置。
  9. 　前記時系列データ取得部は、心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部であり、
    　前記変換部は、前記生体情報を音声信号に変換して前記第２音声信号を生成する
    　ことを特徴とする請求項７又は８に記載の通報装置。
  10. 　心拍数、呼吸回数、血圧、血糖値、体温、動脈血酸素飽和度の少なくとも１つを含む生体情報を取得する生体情報取得部を備え、
    　前記画像送信トリガ検出部は、前記生体情報が第１閾値より小さい又は前記第１閾値より大きい第２閾値より大きいときに前記画像送信トリガが検出されたとする
    　ことを特徴とする請求項２から４のいずれか一項に記載の通報装置。
  11. 　前記撮像部は、前記平面画像を連続して撮像し、
    　前記変換部は、前記第１音声信号を連続して生成する
    　ことを特徴とする請求項１から１０のいずれか一項に記載の通報装置。
  12. 　車両の車室内の平面画像を撮像するステップと、
    　前記平面画像を音声信号に変換して第１音声信号を生成するステップと、
    　前記第１音声信号を送信するステップと、
    　を含むことを特徴とする通報方法。
  13. 　コンピュータを、
    　車両に設けられた撮像部により撮像された車室内の平面画像を音声信号に変換して第１音声信号を生成する変換部、
    　前記第１音声信号を送信する通信部、
    　として機能させることを特徴とする通報プログラム。
PCT/JP2022/010399 2021-09-02 2022-03-09 通報装置、通報方法及び通報プログラム WO2023032283A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280057183.3A CN117916785A (zh) 2021-09-02 2022-03-09 通报装置、通报方法以及通报程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021143218A JP2023036262A (ja) 2021-09-02 2021-09-02 通報装置、通報方法及び通報プログラム
JP2021-143218 2021-09-02

Publications (1)

Publication Number Publication Date
WO2023032283A1 true WO2023032283A1 (ja) 2023-03-09

Family

ID=85412428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010399 WO2023032283A1 (ja) 2021-09-02 2022-03-09 通報装置、通報方法及び通報プログラム

Country Status (3)

Country Link
JP (1) JP2023036262A (ja)
CN (1) CN117916785A (ja)
WO (1) WO2023032283A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114576A1 (ja) * 2004-05-21 2005-12-01 Asahi Kasei Kabushiki Kaisha 動作内容判定装置
JP2014101967A (ja) 2012-11-21 2014-06-05 Sumitomo Heavy Ind Ltd 車輪駆動装置
JP2017228280A (ja) * 2016-06-21 2017-12-28 株式会社デンソー 覚醒維持装置
JP2018206197A (ja) * 2017-06-07 2018-12-27 トヨタ自動車株式会社 覚醒支援装置および覚醒支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114576A1 (ja) * 2004-05-21 2005-12-01 Asahi Kasei Kabushiki Kaisha 動作内容判定装置
JP2014101967A (ja) 2012-11-21 2014-06-05 Sumitomo Heavy Ind Ltd 車輪駆動装置
JP2017228280A (ja) * 2016-06-21 2017-12-28 株式会社デンソー 覚醒維持装置
JP2018206197A (ja) * 2017-06-07 2018-12-27 トヨタ自動車株式会社 覚醒支援装置および覚醒支援方法

Also Published As

Publication number Publication date
JP2023036262A (ja) 2023-03-14
CN117916785A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN108762494B (zh) 显示信息的方法、装置及存储介质
US7539083B2 (en) Remote voice detection system
CN111954143B (zh) 一种获取振动传递函数的方法和系统
US20230028004A1 (en) Systems and methods for obtaining vibration transfer functions
CN108986839A (zh) 减少音频信号中的噪声
CN111741394A (zh) 一种数据处理方法、装置及可读介质
US20150071455A1 (en) Systems and methods for filtering sound in a defined space
WO2023032283A1 (ja) 通報装置、通報方法及び通報プログラム
KR101031113B1 (ko) 초소형 마이크로폰 기반 청각 보조장치
CN111128219B (zh) 一种激光多普勒取声方法及装置
CN111681668B (zh) 声学成像方法及终端设备
JP2006313344A (ja) 雑音を含む音響信号の質を向上させる方法および音響信号を取得して該音響信号の質を向上させるシステム
US20160142817A1 (en) Method and device for measurement of propagation delay characteristic in multipath propagation environment, and external audio perception device
JP4367143B2 (ja) 拡声通話装置
US20230011909A1 (en) Systems and methods for detecting state of bone conduction hearing device
US20230320903A1 (en) Ear-worn device and reproduction method
US20230056862A1 (en) Hearing device, and method for adjusting hearing device
JP2007082914A (ja) 会話システムおよび磁気共鳴映像システム
RU2803713C1 (ru) Системы и способы получения передаточной функции вибрации
JP5251473B2 (ja) 音声処理装置、及び、音声処理方法
EP4040190A1 (en) Method and apparatus for event detection, electronic device, and storage medium
WO2023243279A1 (ja) 遠隔監視装置、遠隔監視方法、遠隔監視プログラム、遠隔監視システム、及び装置
JPH08184660A (ja) 方位検出装置
CN112356774B (zh) 一种用于警告音发声的车载娱乐系统及其功能诊断方法
US20230247355A1 (en) Sound generation apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22863873

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280057183.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022863873

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022863873

Country of ref document: EP

Effective date: 20240402