WO2023047654A1 - 車両用記録制御装置および記録方法 - Google Patents

車両用記録制御装置および記録方法 Download PDF

Info

Publication number
WO2023047654A1
WO2023047654A1 PCT/JP2022/011873 JP2022011873W WO2023047654A1 WO 2023047654 A1 WO2023047654 A1 WO 2023047654A1 JP 2022011873 W JP2022011873 W JP 2022011873W WO 2023047654 A1 WO2023047654 A1 WO 2023047654A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
recording
line
passenger
Prior art date
Application number
PCT/JP2022/011873
Other languages
English (en)
French (fr)
Inventor
拓之 照内
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021214916A external-priority patent/JP2023098263A/ja
Priority claimed from JP2021214915A external-priority patent/JP2023048064A/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2023047654A1 publication Critical patent/WO2023047654A1/ja
Priority to US18/442,565 priority Critical patent/US20240185854A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present invention relates to a vehicle recording control device and recording method, and more particularly to a vehicle recording control device and recording method used in vehicles such as automobiles.
  • Non-Patent Document 1 Some recording devices for vehicles, so-called drive recorders, record events by voice commands in addition to impact detection by acceleration sensors (for example, Non-Patent Document 1). Event recording by voice commands enables safe event recording without the need to operate a touch panel or the like while driving, such as when recording an accident in which the driver is not a party to the accident.
  • Patent Literature 1 discloses a drive recorder that records an event by issuing a voice instruction in response to event detection based on acceleration.
  • the drive recorder is equipped with a function to record events using voice commands, there are few opportunities to record events, so it may not be possible to immediately remember what voice commands are used to record events.
  • an operation by a voice command is not performed by uttering a similar word by mistake. In such a case, the driver of the vehicle may miss the timing to record the event, or the driver of the vehicle may manually perform the operation to record the event while the vehicle is being driven. may be lost.
  • This embodiment provides a vehicle recording control device and a recording method that can appropriately record events using voice commands.
  • a recording control device for a vehicle acquires first captured data captured by a first camera that captures the surroundings of a vehicle and second captured data captured by a second camera that captures an interior of the vehicle.
  • a captured data acquisition unit A line-of-sight detection unit that detects the line-of-sight direction of the vehicle occupant from the second photographed data, a voice recognition unit that recognizes a voice command instructing event recording, and a line-of-sight of the passenger directed toward the display unit.
  • an output control unit for outputting information indicating the voice command to the passenger when the line-of-sight detection unit detects that, and when the voice recognition unit recognizes the voice command, the first photographed data as event data.
  • a recording control device for a vehicle includes a captured data acquisition unit that acquires first captured data captured by a first camera that captures images of the surroundings of a vehicle, and an emotion detection unit that detects the emotions of passengers in the vehicle. a voice recognition unit for recognizing a voice command instructing to record an event; and when the emotion detection unit detects that the emotion of the passenger is a negative emotion, the voice command is presented to the passenger. An output control unit for outputting information, and a recording control unit for storing the first shooting data as event data when the voice recognition unit recognizes the voice command.
  • the recording method executed by the recording control device for a vehicle includes first image data captured by a first camera that captures the surroundings of the vehicle and second image data captured by a second camera that captures the interior of the vehicle.
  • a photographed data acquisition step of acquiring photographed data includes a line-of-sight detection step of detecting a line-of-sight direction of an occupant of the vehicle from the second photographed data; a voice recognition step of recognizing a voice command instructing event recording; an output step of outputting information indicating the voice command to the passenger when it is detected that the passenger's line of sight is directed toward the display unit; and the first photographed data when the voice command is recognized. as event data.
  • a recording method executed by the recording control apparatus for a vehicle includes a photographed data obtaining unit step of obtaining first photographed data photographed by a first camera for photographing the surroundings of the vehicle; a speech recognition step of recognizing a voice command instructing event recording; and if the emotion detection step detects that the emotion of the passenger is a negative emotion, and a recording control step of storing the first photographed data as event data when the voice command is recognized in the voice recognition step.
  • FIG. 1 is a block diagram showing the configuration of a vehicle recording apparatus according to a first embodiment of the present invention
  • FIG. 4 is a flow chart showing an example of processing of the vehicle recording control device according to the first embodiment of the present invention
  • 9 is a flow chart showing a processing example of the vehicle recording control device according to the second embodiment of the present invention
  • It is a flow chart which shows the example of processing of the record control device for vehicles concerning a 3rd embodiment of the present invention.
  • FIG. 12 is a block diagram showing the configuration of a vehicle recording apparatus according to a fourth embodiment of the present invention
  • FIG. 11 is a flow chart showing a processing example of the vehicle recording control device according to the fourth embodiment of the present invention
  • FIG. FIG. 11 is a block diagram showing the configuration of a vehicle recording device according to a fifth embodiment of the present invention
  • FIG. 11 is a flow chart showing a processing example of the vehicle recording control device according to the fifth embodiment of the present invention
  • FIG. 1 is a block diagram showing the configuration of a vehicle recording apparatus 100 according to the first embodiment of the invention.
  • the vehicle recording device 100 is a so-called drive recorder.
  • the vehicle recording device 100 is mounted on the upper part of the windshield of a vehicle or the like, detects an impact equivalent to an accident, that is, an acceleration equivalent to an accident applied to the vehicle, and records an image when the accident is detected as event data. save.
  • the vehicular recording apparatus 100 shown in FIG. 1 is not limited to being mounted on a vehicle as a single device, but may be implemented as a function of a navigation device or mounted in advance on a vehicle. Applicable.
  • the vehicle recording device 100 includes a control unit 200 as a vehicle recording control device, a first camera 102, a second camera 104, a recording unit 106, an output unit 108, a microphone 110, an acceleration sensor 112, and an operation unit 114. and a GNSS (Global Navigation Satellite System) receiver 116 .
  • the output unit 108 is composed of a display unit 108a and an audio output unit 108b.
  • the control unit 200 is composed of a single or multiple CPUs (Central Processing Units), GPUs (Graphics Processing Units), RAMs (Random Access Memory), etc. that perform various data processing, and executes various processes according to programs.
  • the control unit 200 includes, as its configuration or realized functions, a photographed data acquisition unit 202, a buffer memory 204, a photographed data processing unit 206, a recording control unit 208, a reproduction control unit 210, an output control unit 212, a line-of-sight detection unit 214, At least a voice recognition unit 216 , an event detection unit 218 , an operation control unit 220 and a position information acquisition unit 222 are provided.
  • the output control section 212 is composed of a display control section 212a and an audio output control section 212b.
  • the control unit 200 is a vehicle recording control device that executes the recording method according to the present invention, and is a computer that operates the program according to the present invention.
  • the first camera 102 captures the surroundings of the vehicle, which is a mobile object.
  • the first camera 102 may be provided integrally with the vehicle recording device 100, or may be connected separately by wire or wirelessly.
  • the first camera 102 includes a lens, an imaging element, an AD (Analog to Digital) conversion element, etc., although not shown.
  • the first camera 102 outputs the captured first image data to the image data acquisition unit 202 .
  • the first camera 102 is provided inside the vehicle interior above the windshield of the vehicle. It is provided on the shield side.
  • the first camera 102 may be composed of not only a single camera but also a plurality of cameras. For example, it may be an arbitrary combination of a plurality of cameras, or all of them, which respectively photograph the front, rear, sides, and interior of the vehicle.
  • the second camera 104 captures the interior of the vehicle, which is a mobile object.
  • the second camera 104 may be provided integrally with the vehicle recording device 100, or may be connected separately by wire or wirelessly.
  • the second camera 104 includes a lens, an imaging element, an AD conversion element, etc., although not shown.
  • the second camera 104 outputs the captured second image data to the image data acquisition unit 202 .
  • the second camera 104 is provided at a position where the face of the vehicle occupant can be photographed and the line of sight of the vehicle occupant can be detected.
  • the second camera 104 is provided inside the vehicle interior above the windshield of the vehicle. Provided indoors.
  • the second camera 104 When the second camera 104 is provided at a position where the line of sight of the driver who is a passenger of the vehicle can be detected, for example, the direction in which the face of the driver of the vehicle is located on the instrument panel of the vehicle. Ready for shooting. If the second camera 104 is provided at a position where the line of sight of other passengers in addition to the driver of the vehicle can be detected, for example, the entire vehicle interior can be viewed near or inside the rear view mirror of the vehicle. It may be provided so that it can be photographed.
  • the second camera 104 may be composed of not only a single camera but also a plurality of cameras. Also, the second camera 104 may be a camera that captures visible light, a camera that captures infrared light, or a combination thereof.
  • the first camera 102 and the second camera 104 are described as different cameras, but for example, if the range captured by the above-described first camera 102 and second camera 104 can be captured by a single camera, Alternatively, a single camera may be used.
  • a single camera is, for example, an omnidirectional camera capable of shooting 180 degrees or 360 degrees.
  • the image data captured by the first camera 102 and the second camera 104 are moving image data. These photographed data may include audio data in addition to moving image data.
  • the recording unit 106 is a non-volatile memory, such as a memory card, for recording the first photographed data photographed by the first camera 102 under the control of the recording control unit 208 .
  • the first shooting data and event data recorded in the recording unit 106 are reproduced under the control of the reproduction control unit 210 .
  • the recording unit 106 may be replaced with a separate recording/reproducing device that includes a recording control unit 208 and a reproduction control unit 210 in addition to the recording unit 106 .
  • the recording unit 106 may be provided integrally as a recording/reproducing device, or may be connected separately by wire or wirelessly.
  • the output unit 108 outputs information indicating voice commands to passengers of the vehicle.
  • the output unit 108 is composed of a display unit 108a and an audio output unit 108b.
  • the display unit 108a When the display unit 108a operates as the output unit 108, the display unit 108a displays information such as character information indicating the voice command on the display unit 108a as an output of information indicating the voice command to the passenger of the vehicle.
  • the voice output unit 108b operates as the output unit 108, the voice output unit 108b outputs voice indicating voice commands.
  • the display unit 108a is a display device that displays various information under the control of the display control unit 212a.
  • the display unit 108a includes a display panel such as a liquid crystal panel or an organic EL (Organic Electro-Luminescence) panel.
  • the display unit 108a may be provided integrally with the vehicle recording device 100, or may be connected separately by wire or wirelessly.
  • the display unit 108a may be another device that is wirelessly connected and has a display control unit 212a.
  • the display unit 108a is arranged at a position that is easily visible to the passengers of the vehicle.
  • the display unit 108a is provided in the interior of the vehicle above the windshield of the vehicle. provided inside. In this case, the display unit 108 a is provided near the second camera 104 .
  • the audio output unit 108b outputs various sounds under the control of the audio output control unit 212b.
  • the audio output unit 108b is specifically composed of an audio amplifier, a speaker, and the like.
  • the voice output unit 108b outputs the same voice as the voice command as information indicating the voice command to the passengers of the vehicle.
  • the voice output unit 108b When outputting information indicating a voice command, the voice output unit 108b outputs such that the output voice is not erroneously recognized as a voice command. For this reason, the voice output unit 108b is configured so that it is easy for passengers in the vehicle to hear the voice, and the voice is not input to the microphone 110.
  • FIG. The audio output unit 108b is, for example, a speaker provided above the seat on which the passenger of the vehicle is seated. Also, the audio output unit 108b is a neck speaker worn by the passenger of the vehicle.
  • the microphone 110 acquires voices spoken by passengers such as the driver of the vehicle.
  • a microphone 110 is provided in the second camera 104, and voices spoken by passengers such as the driver of the vehicle may be included in the second captured data.
  • the microphone 110 is arranged at a position where it is possible to acquire the voice uttered by a passenger such as the driver of the vehicle.
  • the microphone 110 may have directivity capable of acquiring voices spoken by passengers such as the driver of the vehicle.
  • the acceleration sensor 112 detects acceleration applied to the vehicle recording device 100 or the vehicle.
  • the acceleration sensor 112 is, for example, a three-axis acceleration sensor, and detects acceleration applied in the longitudinal direction of the vehicle as the x-axis direction, the lateral direction of the vehicle as the y-axis direction, and the vertical direction of the vehicle as the z-axis direction. Acceleration sensor 112 outputs the detected acceleration information to event detection section 218 .
  • the acceleration sensor 112 may be provided integrally with the vehicle recording device 100, or may be connected separately by wire or wirelessly. Alternatively, the acceleration sensor 112 may be separate as a unit including the acceleration sensor 112 and the event detection section 218 .
  • the operation unit 114 is an interface that accepts operations for the vehicle recording device 100 and outputs the received operation information to the operation control unit 220 .
  • the operation unit 114 includes various buttons provided in the vehicle recording device 100 and a touch panel provided in the display unit 108a, and receives user's operations.
  • the operation unit 114 may accept operations from other wirelessly connected devices.
  • the operation unit 114 receives, for example, a user's operation to start event recording. Further, the operation unit 114 receives an operation for reproducing event data by the user.
  • the GNSS receiving unit 116 is composed of, for example, a receiving device for receiving signals from GPS (Global Positioning System) satellites, an antenna, and the like.
  • the GNSS reception unit 116 outputs the received signal to the position information acquisition unit 222 .
  • the GNSS receiver 116 may be provided integrally as the vehicle recording device 100, or may be connected separately by wire or wirelessly. Also, the GNSS receiver 116 may be a separate device that includes the GNSS receiver 116 and the location information acquisition unit 222 .
  • the captured data acquisition unit 202 acquires first captured data captured by the first camera 102 and second captured data captured by the second camera 104 .
  • the captured data acquisition unit 202 outputs the first captured data acquired from the first camera 102 to the buffer memory 204 .
  • the captured data acquisition unit 202 outputs the second captured data acquired from the second camera 104 to the line-of-sight detection unit 214 .
  • the photographed data acquisition unit 202 also functions as a photographing control unit that controls photographing by the first camera 102 and the second camera 104 .
  • the photographed data acquisition unit 202 causes the first camera 102 and the second camera 104 to photograph as necessary while the vehicle recording device 100 is operating.
  • the buffer memory 204 is an internal memory provided in the control unit 200, and temporarily stores the captured data for a certain period of time acquired by the captured data acquisition unit 202 while updating.
  • the photographed data processing unit 206 converts the photographed data temporarily stored in the buffer memory 204 into H.264, for example. 264, MPEG-4 (Moving Picture Experts Group), or any other codec, and converted into any file format, such as MP4 format.
  • a photographed data processing unit 206 generates photographed data as a file for a certain period of time from the photographed data temporarily stored in the buffer memory 204 .
  • the photographed data processing unit 206 generates a file of photographed data temporarily stored in the buffer memory 204 for 60 seconds in the order of photographing.
  • the captured data processing unit 206 outputs the generated captured data to the recording control unit 208 .
  • the imaging data processing unit 206 outputs the generated imaging data to the display control unit 212a.
  • the period of photographing data generated as a file is set to 60 seconds as an example, but is not limited to this.
  • the recording control unit 208 controls the recording unit 106 to record the photographed data filed by the photographed data processing unit 206 .
  • the recording control unit 208 records the photographic data filed by the photographic data processing unit 206 in the recording unit 106 as overwritable photographic data while the vehicle recording device 100 is operating.
  • the recording control unit 208 selects new photographed data from a recording area in which old photographed data is recorded among the overwritable photographed data recorded in the recording unit 106. overwrite and record.
  • the captured data recorded in the recording unit 106 by the recording control unit 208 is the first captured data captured by the first camera 102 .
  • the recording control unit 208 continues to record the photographed data based on the first photographed data in the recording unit 106 while the vehicle recording device 100 is operating. Such recording processing is called normal recording or loop recording.
  • the recording control unit 208 stores the first captured data for a predetermined period including the event occurrence time as overwrite-prohibited event data.
  • the event data is, for example, photographed data for 15 seconds before and after the event occurs.
  • the recording control unit 208 replaces the first captured data of a predetermined period including the time when the event recording operation is performed with overwrite-prohibited event data. Save as .
  • the event data is, for example, photographed data for 15 seconds before and after the operation for event recording is performed.
  • the recording control unit 208 replaces the first captured data for a predetermined period including the time when the voice command for event recording is recognized as an overwrite-prohibited event. Save as data.
  • the event data is, for example, photographed data for 15 seconds before and after the time when the voice command for event recording was recognized.
  • any method can be used to store the event data by the recording control unit 208 .
  • an overwrite prohibition flag is added to the header or payload of a section in which overwrite is prohibited in the first captured data, and stored in the recording unit 106 .
  • the overwrite-prohibited section in the first captured data is saved in the overwrite-prohibited area of the recording unit 106 .
  • the section in which overwriting is prohibited in the first photographed data is transmitted to another device and stored.
  • the playback control unit 210 controls playback of the shooting data and event data recorded in the recording unit 106 .
  • the reproduction control unit 210 reproduces overwrite-prohibited event data recorded in the recording unit 106 in addition to reproduction of overwritable shooting data, and outputs the reproduced event data to the display control unit 212a.
  • the output control unit 212 performs processing for outputting various types of information to passengers of the vehicle. Specifically, when the emotion detection unit 224 detects that the emotion of the vehicle occupant is a negative emotion, the output control unit 212 outputs information indicating a voice command to the occupant.
  • the output control unit 212 is composed of a display control unit 202a and an audio output control unit 212b.
  • the display control unit 212a controls the display unit 108a to display various information on the display unit 108a.
  • the display control unit 212a functions as the output control unit 212
  • the display control unit 212a displays an event on the display unit 108a when the line-of-sight detection unit 214 detects that the passenger's line of sight is directed toward the display unit 108a.
  • Display information indicating a voice command for recording When the voice command for instructing event recording is "start recording", the display control unit 212a causes the display unit 108a to display information indicating the voice command such as "start recording" or "start recording”.
  • the display control unit 212a causes the display unit 108a to display information indicating a voice command instructing event recording.
  • the vehicle recording device 100 is integrally provided with the display unit 108 .
  • the display control unit 212a may cause the display unit 108a to display the first image data acquired by the imaging data acquisition unit 202. In this case, the image captured by the first camera 102 is displayed on the display unit 108a. In addition, the display control unit 212a causes the display unit 108a to display the shooting data or event data reproduced by the reproduction control unit 210. FIG.
  • the audio output control unit 212b causes the audio output unit 108b to output various sounds.
  • the voice output control unit 212b functions as the output control unit 212
  • the voice output control unit 212b is controlled by the voice output unit 108b when the line of sight detection unit 214 detects that the passenger's line of sight is directed toward the display unit 108a. to output a voice indicating a voice command instructing event recording.
  • the voice output control unit 212b causes the voice output unit 108b to output the voice "Rokuga kaishi”.
  • the audio output control unit 212b causes the audio output unit 108b to output audio contained in the shooting data or event data reproduced by the reproduction control unit 210.
  • the line-of-sight detection unit 214 detects the line-of-sight direction of the vehicle occupant from the second photographed data acquired by the photographed data acquisition unit 202 .
  • the line-of-sight detection unit 214 detects the line-of-sight direction of the vehicle driver captured in the second captured data when the second camera 104 is arranged to capture the driver of the vehicle.
  • the line-of-sight detection unit 214 detects the direction of the line-of-sight of the driver of the vehicle when the second camera 104 is arranged at a position capable of photographing the entire vehicle interior, and when a passenger other than the driver is on board. In addition to the detection, it also detects the gaze direction of passengers other than the driver.
  • the line-of-sight detection unit 214 detects a person's face from the second photographed data, and detects the positions of the eyes on the detected face. Detection of faces and eyes by the line-of-sight detection unit 214 is performed using an arbitrary method such as pattern matching.
  • the line-of-sight detection unit 214 detects the line-of-sight direction based on the positional relationship between the inner corner of the eye and the iris detected from the image of the eye, and detects the line-of-sight direction based on the positional relationship between the corneal reflection and the pupil.
  • the line-of-sight detection method is not limited to those described above, and any method can be applied.
  • the line-of-sight detection unit 214 detects that the line of sight of the passenger of the vehicle is directed toward the display unit 108a.
  • the line-of-sight detection unit 214 detects that the line of sight of the vehicle occupant is directed toward the display unit 108a based on prestored data indicating the positional relationship between the second camera 104 and the display unit 108a. In other words, the line-of-sight detection unit 214 detects that the vehicle occupant gazes at the display unit 108a. Therefore, the line-of-sight detection unit 214 may detect that the line-of-sight of the passenger of the vehicle is directed toward the display unit 108a for a predetermined period of time or longer.
  • the predetermined time in this case is, for example, 0.5 seconds, which is a time during which it can be determined that the passenger has seen the display unit 108a, not just when the line of sight of the passenger passes in the direction of the display unit 108a. set.
  • the line-of-sight detection unit 214 may detect that the line of sight of the passenger of the vehicle is directed toward the vehicle recording device 100 . For example, it is effective when the vehicle recording device 100 is integrally provided with the display unit 108a.
  • the voice recognition unit 216 analyzes the voice acquired by the microphone 110 and recognizes the contents of the utterance.
  • the speech recognition unit 216 performs acoustic model analysis for each phoneme or word on the speech acquired by the microphone 110, and recognizes the utterance content by comparing with the phoneme model and the language model.
  • the voice recognition unit 216 recognizes voice commands for the vehicle recording device 100 .
  • the voice commands recognized by the voice recognition unit 216 are, for example, a voice command “recording start” for recording an event, a voice command “photograph” for taking a still image, and the like.
  • the speech recognition unit 216 determines that each phoneme is “rokuga kaishi” in succession by phoneme model analysis of the speech acquired by the microphone 110, the speech recognition unit 216 accepts the voice command “recording start” and records it. An instruction to perform event recording is output to the control unit 208 .
  • the event detection unit 218 acquires acceleration information detected by the acceleration sensor 112, and determines that an event has been detected when acceleration corresponding to an event is detected.
  • the acceleration corresponding to the event is the acceleration corresponding to the acceleration when another object such as another vehicle collides with the vehicle in which the vehicle recording device 100 is mounted. Detection of acceleration corresponding to an event may be weighted in each of the x-axis direction, y-axis direction, and z-axis direction.
  • the event detection section 218 outputs an instruction to record the event to the recording control section 208 .
  • the operation control unit 220 acquires operation information received by the operation unit 114, and outputs operation instructions based on the operation information to each component.
  • the operation control unit 220 outputs an instruction for event recording to the recording control unit 208 when receiving an operation of a button or icon for event recording from the operation unit 114 .
  • the operation control unit 220 acquires operation information indicating a selection operation, a reproduction operation, an erasure operation, a pause operation, various setting operations of the vehicle recording device 100, and the like for event data, etc. Instructions for processing corresponding to
  • the location information acquisition unit 222 calculates the current location information of the vehicle by a known method based on the radio waves received by the GNSS reception unit 116 .
  • the position information calculated by the position information acquisition unit 222 is recorded by the recording control unit 208 together with the shooting data and the event data.
  • the recording process executed by the vehicle recording device 100 is executed based on a program by the control unit 200 as a computer that operates as the vehicle recording control device.
  • the start of processing in FIG. 2 means that the vehicle recording apparatus 100 starts operating when, for example, the engine or power of the vehicle, which is a moving object, is turned on.
  • the vehicle recording device 100 starts normal recording processing and line-of-sight detection processing (step S10).
  • the recording control unit 208 starts normal recording processing for recording the photographed data based on the first photographed data in the recording unit 106, and the line-of-sight detection unit 214 detects the orientation of the passenger of the vehicle from the second photographed data. start detecting.
  • step S11 the vehicle recording device 100 determines whether or not there is an operation for recording an event. Specifically, the operation control unit 220 determines whether or not an operation of a button or icon for event recording has been received on the operation unit 114 . If it is determined that there is an operation for event recording (step S11: Yes), the process proceeds to step S16. If it is not determined that there is an operation for event recording (step S11: No), the process proceeds to step S12.
  • step S12 the vehicle recording device 100 determines whether or not a voice command for event recording has been received. Specifically, the voice recognition unit 216 determines whether or not the voice acquired by the microphone 110 includes an utterance indicating a voice command for event recording. If it is determined that the voice command for event recording has been received (step S12: Yes), the process proceeds to step S16. If it is not determined that the voice command for event recording has been received (step S12: No), the process proceeds to step S14.
  • step S13 the vehicle recording device 100 determines whether an event has been detected. Specifically, the event detection unit 218 determines whether an event has been detected based on the acceleration detected by the acceleration sensor 112 . If it is determined that an event has been detected (step S13: Yes), the process proceeds to step S16. If it is not determined that an event has been detected (step S13: No), the process proceeds to step S14.
  • step S14 the vehicle recording device 100 determines whether or not the display unit 108a has been gazed at by the passenger of the vehicle. Specifically, the line-of-sight detection unit 214 determines whether or not the line of sight of the passenger of the vehicle is directed toward the display unit 108a. The line-of-sight detection unit 214 may determine whether or not the line of sight of the passenger of the vehicle has been directed toward the display unit 108a for a predetermined period of time or longer.
  • step S15 determines the display unit 108a has been gazed at by the passenger of the vehicle. If it is not determined that the display unit 108a has been gazed at by the passenger of the vehicle (step S14: No), the process proceeds to step S17.
  • step S15 the vehicle recording device 100 uses the output unit 108 to output information indicating the voice command to the passenger of the vehicle.
  • the display unit 108a that operates as the output unit 108 displays information such as characters indicating the voice command, such as "start recording” or "start recording”.
  • the display unit 108a determined to be gazed at by the passenger of the vehicle in step S14 and the display unit 108a displaying the information indicating the voice command in step S15 are the same display unit.
  • the voice output unit 108b operating as the output unit 108 is caused to output a voice indicating a voice command such as "Rokuga kaishi".
  • steps S11, S12, S13 and S14 are started in parallel with the start of the process of step S10, and are executed until the process of FIG. 2 is completed.
  • step S16 the vehicle recording device 100 saves the event data. Specifically, the recording control unit 208 stores the event data based on the first captured data as overwrite prohibited. In step S16, if it is determined in step S11 that there has been an operation for event recording, the first captured data, such as 15 seconds before and after the time when the operation for event recording was performed, is saved as event data. . In step S16, when it is determined in step S12 that the voice command for event recording has been received, the first captured data, such as 15 seconds before and after the time when the voice command for event recording was recognized, is saved as event data. A step S16 stores, as event data, the first photographed data for 15 seconds before and after the event occurrence time point when it is determined that an event has been detected in the step S13.
  • step S17 the vehicle recording device 100 determines whether or not the recording process and the like have ended. Specifically, the vehicle recording device 100 determines whether or not the processing started in step S10 has ended. The end of the process started in step S10 means that the operation of the vehicle recording apparatus 100 ends, for example, by turning off the engine or power source of the vehicle, which is a moving object. If it is determined that the process has ended (step S17: Yes), the process of FIG. 2 ends. If it is not determined that the process has ended (step S17: No), the process proceeds to step S11.
  • the event data When a passenger such as a vehicle driver wants to record as event data the captured data of an event such as an accident to which the vehicle is not a party, the event data may be saved using a voice command.
  • a voice command such as when the vehicle is being harassed by surrounding vehicles. In these cases, no event is detected in the process of step S13. Further, it may not be safe for the driver who is driving the vehicle to perform the event recording operation using the operation unit 114 . In addition, even for passengers other than the driver, it is difficult for a passenger who cannot reach the operation unit 114 of the vehicle recording device 100 to perform an event recording operation using the operation unit 113 .
  • the vehicle passenger can turn on the vehicle recording device 100, particularly the display unit 108a. often watched. In such a case, by outputting a voice command for instructing event recording by the processing shown in FIG. , can properly record events.
  • the line-of-sight detection unit 214 detects that the line-of-sight of the vehicle occupant is continuously directed toward the display unit 108a multiple times.
  • the phrase "continuously multiple times" means, for example, that the line of sight of the vehicle occupant is directed to the display unit 108a two or more times within three seconds.
  • steps S20 to S23 and steps S25 to S27 shown in FIG. 3 are the same as the processes of steps S10 to S13 and steps S15 to S17 shown in FIG.
  • step S24 the vehicle recording device 100 determines whether or not the display unit 108a has been continuously gazed at multiple times by the passenger of the vehicle. Specifically, the line-of-sight detection unit 214 determines whether or not the line-of-sight of the vehicle occupant is continuously directed toward the display unit 108a a plurality of times. In other words, it is determined whether or not the line of sight of the passenger of the vehicle has been directed toward the display unit 108a multiple times within a predetermined period of time for a predetermined period of time or more. When it is determined that the display unit 108a has been continuously gazed at by the vehicle occupant a plurality of times (step S24: Yes), the process proceeds to step S25. If it is not determined that the display unit 108a has been continuously gazed at by the occupant of the vehicle a plurality of times (step S24: No), the process proceeds to step S27.
  • the vehicle passenger When a passenger such as a vehicle driver suddenly cannot recall an accurate voice command and utters an incorrect voice command, the vehicle passenger intends to record an event by turning on the vehicle recording device 100, particularly After gazing at the display section 108a, the vehicle recorder 100, especially the display section 108a, is often watched again in order to confirm whether event recording is being performed, that is, whether or not the voice command is correct. .
  • a third embodiment of the present invention will now be described with reference to FIG.
  • the configuration of the vehicle recording apparatus 100 according to the third embodiment is the same as that of the first embodiment, and the description other than the difference in processing will be omitted.
  • the voice recognition unit 216 recognizes voices other than voice commands in addition to voice commands for the vehicle recording device 100 . To recognize a voice other than a voice command, it is sufficient if it can be determined that there was some other utterance rather than the utterance of the voice command.
  • the voice recognition unit 216 outputs an instruction to record the event to the recording control unit 208 when the voice corresponding to the voice command is recognized. Further, when a voice other than a voice command is recognized, the voice recognition unit 216 outputs to the recording control unit 208 that the voice other than the voice command has been recognized.
  • the voice recognition unit 216 does not need to constantly output to the recording control unit 208 that voices other than voice commands have been recognized. For example, when a voice other than a voice command is recognized during a period in which the vehicle passenger gazes at the display unit 108a, or in a period such as three seconds after the vehicle passenger gazes at the display unit 108a. , outputs to the recording control unit 208 that the voice other than the voice command has been recognized.
  • steps S30 to S34 and steps S36 to S37 shown in FIG. 4 are the same as the processes of steps S10 to S14 and steps S15 to S17 shown in FIG.
  • step S34 determines whether or not a voice other than a voice command has been recognized (step S35). Specifically, the speech recognition unit 216, during a period in which the vehicle occupant gazes at the display unit 108a, or within a predetermined period such as three seconds after the vehicle occupant gazes at the display unit 108a, Determine whether or not a voice other than a voice command has been recognized. If it is determined that a voice other than a voice command has been recognized (step S35: Yes), the process proceeds to step S36. If it is determined that no voice other than the voice command has been recognized (step S35: No), the process proceeds to step S38.
  • step S31 becomes Yes. If the utterance is other than a voice command, a voice command for instructing event recording is displayed on the display unit 108a by the processing shown in FIG. Therefore, event recording can be appropriately performed with little delay in the timing of event recording.
  • step S35 it may be determined whether or not a voice similar to the voice command has been recognized.
  • a speech similar to a voice command is an utterance of a phrase that does not match the voice command but partially matches the voice command.
  • the speech recognition unit 216 compares the acquired speech analysis result with pre-stored speech commands to determine whether there is a phrase that matches the phrase indicated by the speech command.
  • the speech recognizer 216 may determine that certain phrases match. For example, if the voice command is "recording start" and there is an utterance containing the phrase "recording”, it is determined that a voice similar to the voice command has been recognized.
  • the voice recognition unit 216 may determine whether or not a synonym has been recognized as a voice similar to the voice command. For example, when the voice command is "start recording”, if there is an utterance containing the word “record” such as “start recording” or “record event", it is determined that the voice similar to the voice command was recognized. do.
  • a voice command for instructing event recording is displayed on the display unit 108a by the processing shown in FIG. event recording can be performed appropriately.
  • uttering the correct voice command leads to understanding of the voice command, and also prevents unintentional event recording due to an erroneous voice command.
  • a fourth embodiment of the present invention will now be described with reference to FIG.
  • the configuration of the vehicle recording apparatus 100A according to the fourth embodiment differs from that of the vehicle recording apparatus 100 according to the first embodiment in that the control unit 200 is the control unit 200A.
  • Control unit 200A further includes emotion detection unit 224 in contrast to control unit 200 .
  • the description of the same configuration as that of the vehicle recording apparatus 100 according to the first embodiment will be omitted.
  • the control unit 200A includes, as its configuration or realized functions, a photographed data acquisition unit 202, a buffer memory 204, a photographed data processing unit 206, a recording control unit 208, a reproduction control unit 210, an output control unit 212, a voice recognition unit 216, At least an emotion detection unit 224 is provided in addition to the event detection unit 218 , the operation control unit 220 and the position information acquisition unit 222 .
  • the output control section 212 is composed of a display control section 212a and an audio output control section 212b.
  • the second camera 104 is provided at a position where the face of the vehicle occupant can be photographed and the facial expression or line of sight of the vehicle occupant can be detected.
  • the second camera 104 is provided inside the vehicle interior above the windshield of the vehicle. Provided indoors.
  • the second camera 104 is provided at a position where the facial expression or line of sight of the driver who is a passenger of the vehicle can be detected, the face of the driver of the vehicle is located, for example, on the instrument panel of the vehicle. It is equipped so that the direction can be photographed. If the second camera 104 is provided at a position where facial expressions or lines of sight of other passengers in addition to the driver of the vehicle can be detected, the second camera 104 may be positioned near or inside the rear view mirror of the vehicle, for example. It may be provided so that the whole can be photographed.
  • the display unit 108a is a display device that displays various information under the control of the display control unit 212.
  • the display unit 108a includes a display panel such as a liquid crystal panel or an organic EL (Organic Electro-Luminescence) panel.
  • the display unit 108a may be provided integrally with the vehicle recording device 100, or may be connected separately by wire or wirelessly.
  • the display unit 108a may be another device that is wirelessly connected and has a display control unit 212a.
  • the display unit 108a is arranged at a position that is easily visible to the passengers of the vehicle.
  • the captured data acquisition unit 202 acquires first captured data captured by the first camera 102 and second captured data captured by the second camera 104 .
  • the captured data acquisition unit 202 outputs the first captured data acquired from the first camera 102 to the buffer memory 204 .
  • the photographed data acquisition unit 202 outputs the second photographed data acquired from the second camera 104 to the emotion detection unit 224 when the emotion detection unit 224 detects the emotion based on the facial expression of the vehicle occupant. .
  • the display control unit 212a controls the display unit 108a to display various information on the display unit 108a.
  • the display control unit 212a functions as the output control unit 212
  • the display control unit 212a instructs the display unit 108a to record an event when the emotion detection unit 224 detects that the emotion of the passenger is negative.
  • display information indicating the voice command to When the voice command for instructing event recording is "recording start”, the display control unit 212 causes the display unit 108a to display information indicating the voice command such as "recording start” or "recording".
  • the audio output control unit 212b causes the audio output unit 108b to output various sounds.
  • the voice output control unit 212b functions as the output control unit 212
  • the voice output control unit 212b causes the voice output unit 108b to record an event when the emotion detection unit 224 detects that the emotion of the passenger is negative. output a voice indicating a voice command for
  • the voice output control unit 212b causes the voice output unit 108b to output the voice "Rokuga kaishi”.
  • the emotion detection unit 224 performs processing to detect the emotions of the passengers of the vehicle.
  • the emotion detection unit 224 detects the emotion of the vehicle occupant by, for example, detecting the vehicle occupant from the second image data and analyzing the detected facial expression of the vehicle occupant.
  • the emotion detection unit 224 also detects the emotion of the vehicle occupant by analyzing the uttered voice of the vehicle occupant acquired by the voice recognition unit 216 .
  • a known technique can be applied to either technique.
  • the emotion detection unit 224 When detecting the emotions of the vehicle occupant from the second photographed data, the emotion detection unit 224 acquires the movements of the eyes and mouth that make up the occupant's face, and mechanically detects the movements of various facial components. Emotions such as joy, calmness, anger, and fear are detected using trained models. The emotion detection unit 224 determines that the emotion detected from the facial expression of the vehicle occupant is a negative emotion when the emotion is anger or fear.
  • the emotion detection unit 224 acquires the content and intonation of the utterance of the passenger when detecting the emotion of the vehicle occupant from the uttered voice of the vehicle occupant, and performs machine learning on various utterance contents and the intonation of the utterance. Emotions such as joy, calmness, anger, fear, and surprise are detected by using a trained model. The emotion detection unit 224 determines that the emotion detected from the uttered voice of the vehicle occupant is a negative emotion when the emotion is anger or fear.
  • the emotion detection unit 224 may determine that the emotion of the vehicle occupant is a negative emotion when the emotion of anger, fear, or surprise continues for a predetermined period of time, such as 60 seconds or longer.
  • the recording process executed by the vehicle recording device 100 is executed based on a program by a control unit 200A as a computer that operates as a vehicle recording control device.
  • the start of processing in FIG. 2 means that the vehicle recording apparatus 100 starts operating when, for example, the engine or power of the vehicle, which is a moving object, is turned on.
  • the vehicle recording device 100 starts normal recording processing and line-of-sight detection processing (step S40). Specifically, the recording control unit 208 starts normal recording processing for recording the photographed data based on the first photographed data in the recording unit 106, and the line-of-sight detection unit 214 detects the emotion of the vehicle occupant from the second photographed data. start detecting.
  • step S41 the vehicle recording device 100 determines whether or not there is an operation for recording an event. Specifically, the operation control unit 220 determines whether or not an operation of a button or icon for event recording has been received on the operation unit 114 . If it is determined that there is an operation for event recording (step S41: Yes), the process proceeds to step S46. If it is not determined that there has been an operation for event recording (step S41: No), the process proceeds to step S42.
  • step S42 the vehicle recording device 100 determines whether or not a voice command for event recording has been received. Specifically, the voice recognition unit 216 determines whether or not the voice acquired by the microphone 110 includes an utterance indicating a voice command for event recording. If it is determined that the voice command for event recording has been received (step S42: Yes), the process proceeds to step S46. If it is not determined that the voice command for event recording has been received (step S42: No), the process proceeds to step S44.
  • step S43 the vehicle recording device 100 determines whether an event has been detected. Specifically, the event detection unit 218 determines whether an event has been detected based on the acceleration detected by the acceleration sensor 112 . If it is determined that an event has been detected (step S43: Yes), the process proceeds to step S46. If it is not determined that an event has been detected (step S43: No), the process proceeds to step S44.
  • the vehicle recording device 100 determines whether or not the emotion of the vehicle passenger is negative. Specifically, the emotion detection unit 224 determines whether or not the emotion of the vehicle occupant is a negative emotion based on the vehicle occupant's facial expression or speech. Passengers whose emotions become negative when driving a vehicle, that is, passengers who feel anger, fear, or surprise are often drivers of vehicles. The reason is that they are in a position where they can easily grasp dangers while driving a vehicle. This is also because the driver of the vehicle often speaks the voice command for event recording. Therefore, the determination of whether or not the emotions of the vehicle occupant are negative emotions may be rephrased as the determination of whether or not the emotions of the vehicle driver are negative emotions. However, vehicle passengers include passengers other than the driver of the vehicle. The emotion detection unit 224 may determine whether or not the emotion of the vehicle occupant has been in a state of negative emotion for a predetermined time or longer.
  • step S44 If it is determined in step S44 that the emotion of the vehicle occupant is negative (step S44: Yes), the process proceeds to step S45. If the emotion of the vehicle occupant is not determined to be negative emotion (step S44: No), the process proceeds to step S47.
  • step S45 the vehicle recording device 100 uses the output unit 108 to output information indicating the voice command to the passenger of the vehicle.
  • the display unit 108a that operates as the output unit 108 displays information such as characters indicating the voice command, such as "start recording” or "start recording”.
  • the voice output unit 108b operating as the output unit 108 is caused to output a voice indicating a voice command such as "Rokugakushi”.
  • steps S41, S42, S43, and S44 are started in parallel with the start of the process of step S40, and are executed until the process of FIG. 2 is completed.
  • step S46 the vehicle recording device 100 saves the event data. Specifically, the recording control unit 208 stores the event data based on the first captured data as overwrite prohibited. In step S46, if it is determined in step S41 that there has been an operation for event recording, the first captured data, such as 15 seconds before and after the time when the operation for event recording was performed, is saved as event data. . A step S46 stores, as event data, the first captured data for 15 seconds before and after the time when the voice command for event recording is recognized when it is determined that the voice command for event recording is received in step S42. A step S46 stores, as event data, the first photographed data for 15 seconds before and after the event occurrence, if it is determined in the step S43 that an event has been detected.
  • step S47 the vehicle recording device 100 determines whether the recording process or the like has ended. Specifically, the vehicle recording device 100 determines whether or not the processing started in step S40 has ended. The end of the process started in step S40 means that the operation of the vehicle recording apparatus 100 ends, for example, by turning off the engine or power of the vehicle, which is a moving object. If it is determined that the process has ended (step S47: Yes), the process of FIG. 2 ends. If it is not determined that the process has ended (step S47: No), the process proceeds to step S41.
  • the event data When a passenger such as a vehicle driver wants to record as event data the captured data of an event such as an accident to which the vehicle is not a party, the event data may be saved using a voice command.
  • a voice command such as when the vehicle is being harassed by surrounding vehicles. In these cases, no event is detected in the process of step S43. Further, it may not be safe for the driver who is driving the vehicle to perform the event recording operation using the operation unit 114 . In addition, even for passengers other than the driver, it is difficult for a passenger who cannot reach the operation unit 114 of the vehicle recording device 100 to perform an event recording operation using the operation unit 113 .
  • a fifth embodiment of the present invention will now be described with reference to FIG.
  • the configuration of the vehicle recording apparatus 100B according to the fifth embodiment differs from that of the vehicle recording apparatus 100A according to the fourth embodiment in that the control section 200A is replaced by the control section 200B.
  • Control unit 200B further includes line-of-sight detection unit 214 in contrast to control unit 200A.
  • the description of the same configuration as that of the vehicle recording apparatus 100A according to the fourth embodiment will be omitted.
  • the line-of-sight detection unit 214 detects the line-of-sight direction of the vehicle occupant from the second photographed data acquired by the photographed data acquisition unit 202 .
  • the line-of-sight detection unit 214 detects the line-of-sight direction of the vehicle driver captured in the second captured data when the second camera 104 is arranged to capture the driver of the vehicle.
  • the line-of-sight detection unit 214 detects the direction of the line-of-sight of the driver of the vehicle when the second camera 104 is arranged at a position capable of photographing the entire vehicle interior, and when a passenger other than the driver is on board. In addition to the detection, it also detects the gaze direction of passengers other than the driver.
  • the line-of-sight detection unit 214 detects a person's face from the second photographed data, and detects the positions of the eyes on the detected face. Detection of faces and eyes by the line-of-sight detection unit 214 is performed using an arbitrary method such as pattern matching.
  • the line-of-sight detection unit 214 detects the line-of-sight direction based on the positional relationship between the inner corner of the eye and the iris detected from the image of the eye, and detects the line-of-sight direction based on the positional relationship between the corneal reflection and the pupil.
  • the line-of-sight detection method is not limited to those described above, and any method can be applied.
  • the line-of-sight detection unit 214 detects that the line of sight of the vehicle occupant tends to gaze outside the vehicle.
  • the line-of-sight detection unit 214 detects the tendency of the line-of-sight of the vehicle occupant to gaze outside the vehicle based on pre-stored data indicating the positional relationship between the second camera 104 and the vehicle's windshield, side windows, and the like. detect that there is Outside the vehicle also includes the front direction of the vehicle. This is because, for example, when an accident or the like occurs in the vicinity of a vehicle, passengers of the vehicle tend to pay attention to the accident.
  • the line-of-sight detection unit 214 detects that the line-of-sight of the passenger of the vehicle tends to gaze at an inner mirror provided in the vehicle or a display device having an inner mirror function. You can judge that you are watching the outside.
  • the line-of-sight detection unit 214 determines whether the line-of-sight of the vehicle occupant is outside the vehicle based on prestored data indicating the positional relationship between the second camera 104 and the vehicle's inner mirror or a display device having the function of an inner mirror. Detects a tendency to gaze. This is because, for example, when the vehicle is being pushed by a vehicle behind the vehicle, the occupants of the vehicle tend to look behind the vehicle, that is, outside the vehicle, using an inner mirror or the like.
  • “Gaze” here means, for example, that the line of sight of the vehicle occupant is facing outside the vehicle for a predetermined period of time, such as 5 seconds or longer.
  • the line-of-sight detection unit 214 may determine that the vehicle occupant tends to gaze outside the vehicle when the line-of-sight of the vehicle occupant is directed to the outside of the vehicle and the change in the line-of-sight direction is small.
  • the line-of-sight direction when looking outside the vehicle through the windshield or side windows of the vehicle may be conditional on the fact that the absolute line-of-sight direction does not change much with respect to the vehicle. The condition may be a case where the positional relationship with the site fluctuates, or a change in the relative line-of-sight direction with respect to the vehicle being small.
  • the line-of-sight detection unit 214 may determine that there is a tendency to gaze outside the vehicle when the line-of-sight of the vehicle occupant faces the same direction outside the vehicle continuously multiple times.
  • a plurality of consecutive times is, for example, a case where the line of sight of the vehicle occupant is turned to the same direction outside the vehicle two or more times within three seconds.
  • the recording process executed by the vehicle recording device 100B is executed based on a program by a control section 200B as a computer that operates as a vehicle recording control device.
  • steps S50 to S54, steps S56 and steps S57 to S58 shown in FIG. 8 are the same as the processes of steps S40 to S44, steps S45 and steps S46 to S47 shown in FIG. omitted.
  • step S54 determines whether or not the vehicle occupant tends to gaze outside the vehicle, that is, the vehicle occupant's line of sight tends to gaze outside the vehicle. or not. If it is determined that the line of sight of the vehicle occupant tends to gaze outside the vehicle (step S55: Yes), the process proceeds to step S56. If it is not determined that the line of sight of the vehicle occupant tends to gaze outside the vehicle (step S55: No), the process proceeds to step S58.
  • a program for causing a computer to execute the above-described processes can be stored using various types of non-transitory computer-readable media and supplied to a computer that operates as a vehicle recording control device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両用記録制御（２００）は、装置車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部（２０２）と、前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出部（２１４）と、イベント記録を指示する音声コマンドを認識する音声認識部（２１６）と、前記搭乗者の視線が表示部に向けられたことが前記視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部（２１２）と、前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部（２０８）と、を備える。

Description

車両用記録制御装置および記録方法
　本発明は、車両用記録制御装置および記録方法に関し、特に詳しくは、自動車など車両において用いられる車両用記録制御装置および記録方法に関する。
　車両用記録装置、所謂ドライブレコーダにおいては、加速度センサによる衝撃検出に加え、音声コマンドによってイベント記録を行うものもある（例えば、非特許文献１）。音声コマンドによるイベント記録は、自らが事故の当事者ではない場合の事故を記録する場合など、運転中にタッチパネル等の操作を必要とせず、安全にイベント記録を行うことができる。特許文献１には、加速度によるイベント検出に対して音声による指示を行うことで、イベント記録を行うドライブレコーダが開示されている。
特開２０２０－１５４９０４号公報
ＤＲＶ－ＭＲ７６０[令和３年９月２４日検索]、インターネット＜https://www.kenwood.com/jp/car/drive-recorders/products/drv-mr760/＞
　ドライブレコーダに音声コマンドによるイベント記録を行う機能を備えた場合、イベント記録を行う機会は少ないため、どのような音声コマンドによってイベント記録を行うのか、咄嗟に思い出せない場合がある。または、誤って類似した語句を発話することで音声コマンドによる動作が行われない場合もある。このような場合、イベント記録を行うタイミングを逃してしまうことや、車両の運転中にイベント記録を行うための操作を、車両の運転者が手を用いて行うことで、安全性が阻害されてしまう場合がある。
　本実施形態は、音声コマンドを用いて、適切にイベント記録を行うことができる車両用記録制御装置および記録方法を提供する。
　本実施形態に係る車両用記録制御装置は、車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部と、
　前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出部と、イベント記録を指示する音声コマンドを認識する音声認識部と、前記搭乗者の視線が表示部に向けられたことが前記視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部と、前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部と、を備える。
　本実施形態に係る車両用記録制御装置は、車両の周辺を撮影する第一カメラが撮影した第一撮影データを取得する撮影データ取得部と、前記車両の搭乗者の感情を検出する感情検出部と、イベント記録を指示する音声コマンドを認識する音声認識部と、前記搭乗者の感情がネガティブ感情であることが前記感情検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部と、前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部と、を備える。
　本実施形態に係る車両用記録制御装置が実行する記録方法は、車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得ステップと、前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出ステップと、イベント記録を指示する音声コマンドを認識する音声認識ステップと、前記搭乗者の視線が表示部に向けられたことが検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力ステップと、前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録ステップと、を有する。
　本実施形態に係る車両用記録制御装置が実行する記録方法は、車両の周辺を撮影する第一カメラが撮影した第一撮影データを取得する撮影データ取得部ステップと、前記車両の搭乗者の感情を検出する感情検出ステップと、イベント記録を指示する音声コマンドを認識する音声認識ステップと、前記搭乗者の感情がネガティブ感情であることが前記感情検出ステップで検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御ステップと、前記音声認識ステップで前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御ステップと、を有する。
　本実施形態によれば、音声コマンドを用いて、適切にイベント記録を行うことができる。
本発明の第１実施形態に係る車両用記録装置の構成を示すブロック図である。 本発明の第１実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。 本発明の第２実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。 本発明の第３実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。 本発明の第４実施形態に係る車両用記録装置の構成を示すブロック図である。 本発明の第４実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。 本発明の第５実施形態に係る車両用記録装置の構成を示すブロック図である。 本発明の第５実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。
［第１実施形態］
　以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の説明では、本実施の形態にかかる車両用記録装置の例として、移動体である自動車において用いられるドライブレコーダの例として説明する。しかし、本発明はこれに限られるものではない。例えば、オートバイ、自転車などの各種車両、鉄道、船舶、ロボット、さらには人など様々な移動体に対して適用することが可能である。また、以下の実施形態により本発明が限定されるものではない。
　以下、図１および図２を参照して、本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る車両用記録装置１００の構成を示すブロック図である。車両用記録装置１００は、所謂ドライブレコーダである。車両用記録装置１００は、車両のウィンドシールド上部などに装着され、事故に相当する衝撃、つまり車両に加わった事故に相当する加速度を検出し、事故が検出されたときの映像などをイベントデータとして保存する。
　図１に示す車両用記録装置１００は、単体の装置として車両に装着されるものに限らず、ナビゲーション装置の機能として実現される構成や、車両に予め装着されている構成など、様々な構成が適用可能である。
　図１において、車両用記録装置１００は、車両用記録制御装置としての制御部２００、第一カメラ１０２、第二カメラ１０４、記録部１０６、出力部１０８、マイクロフォン１１０、加速度センサ１１２、操作部１１４およびＧＮＳＳ（Global　Navigation　Satellite  System）受信部１１６を備える。出力部１０８は、表示部１０８ａおよび音声出力部１０８ｂとで構成される。
　制御部２００は、各種データ処理を行う単数または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）などで構成され、プログラムによって様々な処理を実行する。制御部２００は、その構成または実現される機能として、撮影データ取得部２０２、バッファメモリ２０４、撮影データ処理部２０６、記録制御部２０８、再生制御部２１０、出力制御部２１２、視線検出部２１４、音声認識部２１６、イベント検出部２１８、操作制御部２２０および位置情報取得部２２２を少なくとも備える。出力制御部２１２は、表示制御部２１２ａおよび音声出力制御部２１２ｂとで構成される。
　制御部２００は、本発明にかかる記録方法を実行する車両用記録制御装置であり、本発明にかかるプログラムを動作させるコンピュータである。
　第一カメラ１０２は、移動体である車両の周囲を撮影する。第一カメラ１０２は、車両用記録装置１００に一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。第一カメラ１０２には、図示しないが、レンズ、撮像素子、Ａ－Ｄ（Analog to Digital）変換素子等が含まれる。第一カメラ１０２は、撮影した第一撮影データを、撮影データ取得部２０２に出力する。
　第一カメラ１０２は、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００のウィンドシールド側に備えられる。
　第一カメラ１０２は、単数のカメラに限らず複数のカメラで構成されていてもよい。例えば、車両の前方、後方、側方、車室内などを各々撮影する任意の組合せの複数のカメラや、全であってもよい。
　第二カメラ１０４は、移動体である車両の車室内を撮影する。第二カメラ１０４は、車両用記録装置１００に一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。第二カメラ１０４には、図示しないが、レンズ、撮像素子、Ａ－Ｄ変換素子等が含まれる。第二カメラ１０４は、撮影した第二撮影データを、撮影データ取得部２０２に出力する。
　第二カメラ１０４は、車両の搭乗者の顔が撮影でき、車両の搭乗者の視線が検出可能な位置に備えられている。第二カメラ１０４は、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００の車室内側に備えられる。
　第二カメラ１０４は、車両の搭乗者である運転者の視線が検出可能な位置に備えられている場合は、例えば、車両のインストルメントパネルなどに、車両の運転者の顔が位置する方向を撮影可能に備えられている。第二カメラ１０４は、車両の運転者に加えて、他の搭乗者の視線が検出可能な位置に備えられている場合は、例えば、車両のリヤビューミラーなどの近傍または内部に、車室内全体を撮影可能に備えられていてもよい。
　第二カメラ１０４は、単数のカメラに限らず複数のカメラで構成されていてもよい。また、第二カメラ１０４は、可視光を撮影するカメラ、赤外線領域を撮影するカメラ、またはこれらの組み合わせであってもよい。
　図１においては、第一カメラ１０２と第二カメラ１０４とは、異なるカメラとして説明したが、例えば上述した第一カメラ１０２と第二カメラ１０４が撮影する範囲を単一のカメラで撮影可能であれば、単一のカメラを用いてもよい。単一のカメラとは、例えば１８０度や３６０度の撮影が可能な全周囲カメラである。
　第一カメラ１０２および第二カメラ１０４が撮影する撮影データは、動画像データである。これらの撮影データには、動画像データに加えて音声データを含んでいてもよい。
　記録部１０６は、第一カメラ１０２が撮影した第一撮影データを、記録制御部２０８の制御によって記録するための不揮発性メモリであり、例えばメモリカードである。記録部１０６に記録された第一撮影データおよびイベントデータは、再生制御部２１０の制御によって再生される。記録部１０６は、記録部１０６に加えて記録制御部２０８および再生制御部２１０を備える別体の記録再生装置と置き換えてもよい。記録部１０６は、記録再生装置として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。
　出力部１０８は、車両の搭乗者に対して、音声コマンドを示す情報を出力する。出力部１０８は、表示部１０８ａおよび音声出力部１０８ｂで構成される。表示部１０８ａが出力部１０８として動作する場合、表示部１０８ａは、車両の搭乗者に対する音声コマンドを示す情報の出力として、表示部１０８ａへの音声コマンドを示す文字情報などの情報の表示を行う。音声出力部１０８ｂが出力部１０８として動作する場合、音声出力部１０８ｂは、音声コマンドを示す音声の出力を行う。
　表示部１０８ａは、表示制御部２１２ａの制御により各種情報を表示する表示装置である。表示部１０８ａは、例えば液晶パネルや有機ＥＬ（Organic Electro-Luminescence）パネルなどの表示パネルを備える。表示部１０８ａは、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。表示部１０８ａは、無線により接続され、表示制御部２１２ａを備える他の装置であってもよい。表示部１０８ａは、車両の搭乗者が目視しやすい位置に配置されている。
　表示部１０８ａは、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００の車室内側に備えられる。この場合、表示部１０８ａは、第二カメラ１０４の近傍に備えられる。
　音声出力部１０８ｂは、音声出力制御部２１２ｂの制御により各種音声を出力する。音声出力部１０８ｂは、具体的には、音声増幅装置およびスピーカなどで構成される。音声出力部１０８ｂは、車両の搭乗者に、音声コマンドを示す情報として音声コマンドと同一の音声を出力する。
　音声出力部１０８ｂは、音声コマンドを示す情報を出力するときは、出力した音声が、音声コマンドとして誤って認識されないように出力する。このため、音声出力部１０８ｂは、車両の搭乗者には聞き取りやすく、マイクロフォン１１０には入力されないような構成とする。音声出力部１０８ｂは、例えば、車両の搭乗者が着座しているシートの上部に備えられるスピーカである。また、音声出力部１０８ｂは、車両の搭乗者が装着しているネックスピーカである。
　マイクロフォン１１０は、車両の運転者などの搭乗者が発話した音声を取得する。マイクロフォン１１０は、第二カメラ１０４に備えられ、車両の運転者などの搭乗者が発話した音声は、第二撮影データに含まれていてもよい。マイクロフォン１１０は、車両の運転者などの搭乗者が発話した音声を取得可能な位置に配置される。マイクロフォン１１０は、車両の運転者などの搭乗者が発話した音声を取得可能な指向性を備えていてもよい。
　加速度センサ１１２は、車両用記録装置１００または車両に加わった加速度を検出する。加速度センサ１１２は、例えば３軸の加速度センサであり、ｘ軸方向として車両の前後方向、ｙ軸方向として車両の左右方向、ｚ軸方向として車両の上下方向に加わった加速度を検出する。加速度センサ１１２は、検出した加速度情報をイベント検出部２１８に出力する。加速度センサ１１２は、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、加速度センサ１１２は、加速度センサ１１２およびイベント検出部２１８を含むユニットとして別体であってもよい。
　操作部１１４は、車両用記録装置１００に対する操作を受け付けるインターフェースであり、受け付けた操作情報を操作制御部２２０に出力する。操作部１１４は、車両用記録装置１００に備えられた各種ボタンや、表示部１０８ａに備えられたタッチパネルであり、ユーザによる操作を受け付ける。操作部１１４は、無線接続された他の装置による操作を受け付けてもよい。操作部１１４は、例えば、ユーザによるイベント記録開始の操作を受け付ける。また、操作部１１４は、ユーザによるイベントデータの再生を行う操作を受け付ける。
　ＧＮＳＳ受信部１１６は、例えば、ＧＰＳ（Global Positioning System）衛星などからの信号を受信する受信装置およびアンテナなどで構成される。ＧＮＳＳ受信部１１６は、受信した信号を位置情報取得部２２２に出力する。ＧＮＳＳ受信部１１６は、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、ＧＮＳＳ受信部１１６は、ＧＮＳＳ受信部１１６および位置情報取得部２２２を含む他の装置として別体であってもよい。
　撮影データ取得部２０２は、第一カメラ１０２が撮影した第一撮影データおよび第二カメラ１０４が撮影した第二撮影データを取得する。撮影データ取得部２０２は、第一カメラ１０２から取得した第一撮影データを、バッファメモリ２０４へ出力する。撮影データ取得部２０２は、第二カメラ１０４から取得した第二撮影データを、視線検出部２１４に出力する。
　撮影データ取得部２０２は、第一カメラ１０２および第二カメラ１０４による撮影を制御する撮影制御部としての機能も有する。撮影データ取得部２０２は、車両用記録装置１００が動作している期間、必要に応じて、第一カメラ１０２および第二カメラ１０４に撮影を行わせる。
　バッファメモリ２０４は、制御部２００が備える内部メモリであり、撮影データ取得部２０２が取得した一定時間分の撮影データを、更新しながら一時的に記憶する。
　撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データを、例えばＨ．２６４やＭＰＥＧ－４（Moving Picture Experts Group）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データから、一定時間分のファイルとした撮影データを生成する。具体例として、撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データを、撮影順に６０秒間の撮影データをファイルとして生成する。撮影データ処理部２０６は、生成した撮影データを記録制御部２０８へ出力する。また、撮影データ処理部２０６は、生成した撮影データを表示制御部２１２ａへ出力する。ファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。
　記録制御部２０８は、撮影データ処理部２０６でファイル化された撮影データを、記録部１０６に記録させる制御を行う。記録制御部２０８は、車両用記録装置１００が動作している期間は、撮影データ処理部２０６でファイル化された撮影データを、上書き可能な撮影データとして、記録部１０６に記録する。記録制御部２０８は、記録部１０６の記録容量が上限となった場合、記録部１０６に記録されている上書き可能な撮影データのうち、古い撮影データが記録されている記録領域から、新しい撮影データを上書きして記録する。記録制御部２０８が記録部１０６に記録する撮影データは、第一カメラ１０２が撮影した第一撮影データである。
　記録制御部２０８は、車両用記録装置１００動作している期間中、第一撮影データに基づく撮影データを、記録部１０６に記録し続ける。このような記録処理を、通常記録またはループ記録と称する。
　記録制御部２０８は、イベント検出部２１８が、イベントが発生したと判断したことを受けて、イベント発生時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベントデータとして保存する。イベントデータは、例えば、イベント発生時点の前後１５秒間などの撮影データである。
　記録制御部２０８は、操作制御部２２０がイベント記録を行う操作を受け付けた場合、イベント記録を行う操作が行われた時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベントデータとして保存する。イベントデータは、例えば、イベント記録を行う操作が行われた時点の前後１５秒間などの撮影データである。
　記録制御部２０８は、音声認識部２１６がイベント記録を行う音声コマンドを認識した場合、イベント記録を行う音声コマンドを認識した時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベントデータとして保存する。イベントデータは、例えば、イベント記録を行う音声コマンドが認識された時点の前後１５秒間などの撮影データである。
　記録制御部２０８によるイベントデータの保存方法は任意である。例えば、第一撮影データにおける上書き禁止とする区間のヘッダもしくはペイロードなどに上書き禁止フラグを付与して、記録部１０６に保存する。または、第一撮影データにおける上書き禁止とする区間を、記録部１０６の上書き禁止エリアに保存する。あるいは、第一撮影データにおける上書き禁止とする区間を他の装置に送信して保存する。
　再生制御部２１０は、記録部１０６に記録された撮影データおよびイベントデータを再生する制御を行う。再生制御部２１０は、記録部１０６に記録された、上書き可能な撮影データの再生に加えて、上書き禁止となっているイベントデータの再生を行い、表示制御部２１２ａに出力する。
　出力制御部２１２は、車両の搭乗者に対して、各種情報を出力させる処理を行う。具体的には、出力制御部２１２は、車両の搭乗者の感情がネガティブ感情であることが感情検出部２２４によって検出された場合、搭乗者に対して音声コマンドを示す情報を出力させる。出力制御部２１２は、表示制御部２０２ａおよび音声出力制御部２１２ｂで構成される。
　表示制御部２１２ａは、表示部１０８ａを制御して表示部１０８ａに様々な情報を表示させる。表示制御部２１２ａが出力制御部２１２として機能する場合、表示制御部２１２ａは、視線検出部２１４によって搭乗者の視線が表示部１０８ａに向けられたことが検出された場合、表示部１０８ａに、イベント記録を指示する音声コマンドを示す情報を表示させる。表示制御部２１２ａは、イベント記録を指示するための音声コマンドが「録画開始」である場合、「録画開始」または「ろくがかいし」など、音声コマンドを示す情報を表示部１０８ａに表示させる。
　表示制御部２１２ａは、視線検出部２１４によって搭乗者の視線が車両用記録装置１００に向けられたことが検出された場合、表示部１０８ａに、イベント記録を指示する音声コマンドを示す情報を表示させてもよい。例えば、車両用記録装置１００に表示部１０８が一体的に備えられている場合に有効である。
　表示制御部２１２ａは、出力制御部２１２としての機能に加えて、撮影データ取得部２０２が取得した第一映像データを表示部１０８ａに表示させてもよい。この場合、第一カメラ１０２が撮影している映像が表示部１０８ａに表示される。また、表示制御部２１２ａは、再生制御部２１０が再生する撮影データまたはイベントデータを表示部１０８ａに表示させる。
　音声出力制御部２１２ｂは、音声出力部１０８ｂに様々な音声を出力させる。音声出力制御部２１２ｂが出力制御部２１２として機能する場合、音声出力制御部２１２ｂは、視線検出部２１４によって搭乗者の視線が表示部１０８ａに向けられたことが検出された場合、音声出力部１０８ｂにイベント記録を指示する音声コマンドを示す音声を出力させる。音声出力制御部２１２ｂは、イベント記録を指示するための音声コマンドが「録画開始」である場合、「ろくがかいし」の音声を音声出力部１０８ｂに出力させる。
　音声出力制御部２１２ｂは、出力制御部２１２としての機能に加えて、再生制御部２１０が再生する撮影データまたはイベントデータに含まれる音声を、音声出力部１０８ｂに出力させる。
　視線検出部２１４は、撮影データ取得部２０２が取得した第二撮影データから、車両の搭乗者の視線の向きを検出する。視線検出部２１４は、第二カメラ１０４が、車両の運転者を撮影するように配置されている場合は、第二撮影データに撮影されている、車両の運転者の視線の向きを検出する。視線検出部２１４は、第二カメラ１０４が、車室内全体を撮影可能な位置に配置されている場合は、運転者以外の搭乗者が搭乗している場合、車両の運転者の視線の向きの検出に加えて、運転者以外の搭乗者の視線の向きを検出する。
　視線検出部２１４は、第二撮影データから人の顔を検出し、検出した顔における目の位置を検出する。視線検出部２１４による顔や目の検出は、パターンマッチングなどの任意の手法を用いて行われる。視線検出部２１４は、目の映像から検出した目頭と光彩の位置関係に基づく視線向き検出や、角膜反射と瞳孔の位置関係に基づく視線向き検出を行う。視線検出手法は、上述したものに限らず任意の手法が適用可能である。
　視線検出部２１４は、車両の搭乗者の視線が表示部１０８ａに向けられたことを検出する。視線検出部２１４は、予め記憶されている第二カメラ１０４と表示部１０８ａとの位置関係を示すデータに基づき、車両の搭乗者の視線が表示部１０８ａの方向に向けられたことを検出する。言い換えると、視線検出部２１４は、車両の搭乗者が表示部１０８ａを注視したことを検出する。従って、視線検出部２１４は、車両の搭乗者の視線が所定時間以上表示部１０８ａに向けられたことを検出することとしてもよい。この場合の所定時間とは、例えば０．５秒など、単に搭乗者の視線の向きが表示部１０８ａの方向を通過した場合ではなく、搭乗者が表示部１０８ａを見たことが判別できる時間が設定される。
　視線検出部２１４は、車両の搭乗者の視線が車両用記録装置１００に向けられたことを検出してもよい。例えば、車両用記録装置１００に表示部１０８ａが一体的に備えられている場合に有効である。
　音声認識部２１６は、マイクロフォン１１０が取得した音声を分析し、発話内容を認識する。音声認識部２１６は、マイクロフォン１１０が取得した音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識する。音声認識部２１６は、車両用記録装置１００に対する音声コマンドを認識する。音声認識部２１６が認識する音声コマンドは、例えば、イベント記録を行うための音声コマンドである「録画開始」、静止画の撮影を行うための音声コマンドである「写真撮影」などである。
　音声認識部２１６は、マイクロフォン１１０が取得した音声の音素モデル分析により、各音素が連続して「ろくがかいし」であることを判定した場合に、「録画開始」の音声コマンドを受け付け、記録制御部２０８にイベント記録を行う指示を出力する。
　イベント検出部２１８は、加速度センサ１１２が検出している加速度情報を取得し、イベントに該当する加速度が検出された場合、イベントが検出されたと判断する。イベントに該当する加速度とは、車両用記録装置１００が搭載されている車両に対して、他車両などの他の物体が衝突したときの加速度に該当する加速度である。イベントに該当する加速度の検出は、ｘ軸方向、ｙ軸方向およびｚ軸方向の各々で重み付けを行ってもよい。イベント検出部２１８は、イベントが検出されたと判断された場合、記録制御部２０８にイベント記録を行う指示を出力する。
　操作制御部２２０は、操作部１１４が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部２２０は、操作部１１４からイベント記録を行うボタンやアイコンの操作を受け付けた場合、記録制御部２０８にイベント記録を行う指示を出力する。操作制御部２２０は、上記に加えて、イベントデータ等の選択操作、再生操作、消去操作、一時停止操作、車両用記録装置１００の各種設定操作などを示す操作情報を取得し、取得した操作情報に対応した処理の指示を行う。
　位置情報取得部２２２は、ＧＮＳＳ受信部１１６が受信した電波に基づいて、車両の現在の位置情報を公知の方法によって算出する。位置情報取得部２２２が算出した位置情報は、記録制御部２０８によって撮影データやイベントデータとともに記録される。
　次に、図２を用いて、車両用記録装置１００が実行する記録処理の流れについて説明する。車両用記録装置１００が実行する記録処理は、車両用記録制御装置として動作するコンピュータとしての制御部２００が、プログラムに基づき実行する。
　図２における処理の開始とは、例えば、移動体である車両のエンジンまたは電源等がオンとなることによって、車両用記録装置１００が動作開始することを意味する。
　処理の開始に伴い、車両用記録装置１００は、通常記録処理および視線検出処理を開始する（ステップＳ１０）。具体的には、記録制御部２０８は、第一撮影データに基づく撮影データを記録部１０６に記録する通常記録処理を開始し、視線検出部２１４は、第二撮影データから車両の搭乗者の向きの検出を開始する。
　ステップＳ１０の処理の開始とともに、車両用記録装置１００は、イベント記録を行うための操作が有ったか否かを判定する（ステップＳ１１）。具体的には、操作制御部２２０は、操作部１１４に対してイベント記録を行うボタンやアイコンの操作が受け付けられたか否かを判定する。イベント記録を行うための操作が有ったと判定した場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１６に進む。イベント記録を行うための操作が有ったと判定しない場合（ステップＳ１１：Ｎｏ）、ステップＳ１２に進む。
　ステップＳ１２においては、車両用記録装置１００は、イベント記録を行う音声コマンドを受け付けたか否かを判定する。具体的には、音声認識部２１６は、マイクロフォン１１０が取得した音声に、イベント記録を行う音声コマンドを示す発話が有ったか否かを判定する。イベント記録を行う音声コマンドを受け付けたと判定した場合（ステップＳ１２：Ｙｅｓ）、ステップＳ１６に進む。イベント記録を行う音声コマンドを受け付けたと判定しない場合（ステップＳ１２：Ｎｏ）、ステップＳ１４に進む。
　ステップＳ１３においては、車両用記録装置１００は、イベントが検出されたか否かを判定する。具体的には、イベント検出部２１８は、加速度センサ１１２が検出した加速度に基づいて、イベントが検出されたか否かを判定する。イベントが検出されたと判定した場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１６に進む。イベントが検出されたと判定しない場合（ステップＳ１３：Ｎｏ）、ステップＳ１４に進む。
　ステップＳ１４においては、車両用記録装置１００は、車両の搭乗者によって表示部１０８ａが注視されたか否かを判定する。具体的には、視線検出部２１４は、車両の搭乗者の視線が、表示部１０８ａに向けられたか否かを判定する。視線検出部２１４は、車両の搭乗者の視線が、所定時間以上、表示部１０８ａに向けられたか否かを判定してもよい。車両の搭乗者によって表示部１０８ａが注視されたと判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５に進む。車両の搭乗者によって表示部１０８ａが注視されたと判定しない場合（ステップＳ１４：Ｎｏ）、ステップＳ１７に進む。
　ステップＳ１５においては、車両用記録装置１００は、出力部１０８を用いて、車両の搭乗者に音声コマンドを示す情報を出力する。ステップＳ１５の一例としては、出力部１０８として動作する表示部１０８ａに音声コマンドを示す文字などの情報を、例えば、「録画開始」や「ろくがかいし」のように表示する。ステップＳ１４で車両の搭乗者が注視したことが判定された表示部１０８ａと、ステップＳ１５で音声コマンドを示す情報が表示される表示部１０８ａは、同一の表示部である。ステップＳ１５の他の例としては、出力部１０８として動作する音声出力部１０８ｂに、例えば「ろくがかいし」のような音声コマンドを示す音声を出力させる。
　ステップＳ１１、ステップＳ１２、ステップＳ１３およびステップＳ１４の処理は、ステップＳ１０の処理の開始とともに、同時並行的に処理が開始され、図２の処理が終了するまで実行される。
　ステップＳ１６においては、車両用記録装置１００は、イベントデータを保存する。具体的には、記録制御部２０８は、第一撮影データに基づいたイベントデータを上書禁止として保存する。ステップＳ１６は、ステップＳ１１においてイベント記録を行うための操作が有ったと判定した場合、イベント記録を行うための操作が行われた時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。ステップＳ１６は、ステップＳ１２においてイベント記録を行う音声コマンドを受け付けたと判定した場合、イベント記録を行う音声コマンドが認識された時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。ステップＳ１６は、ステップＳ１３においてイベントが検出されたと判定した場合、イベント発生時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。
　ステップＳ１４でＮｏと判定された場合、ステップＳ１５の処理後、およびステップＳ１６の処理後、車両用記録装置１００は、記録処理等が終了したか否かを判定する（ステップＳ１７）。具体的には、車両用記録装置１００は、ステップＳ１０で開始した処理が終了したか否かを判定する。ステップＳ１０で開始した処理の終了とは、例えば、移動体である車両のエンジンまたは電源等がオフとなることで、車両用記録装置１００の動作が終了することを意味する。処理が終了したと判定された場合（ステップＳ１７：Ｙｅｓ）、図２の処理を終了する。処理が終了したと判定されない場合（ステップＳ１７：Ｎｏ）、ステップＳ１１に進む。
　車両の運転者など搭乗者が、自車両が当事者ではない事故などのイベントを撮影した撮影データをイベントデータとして記録したい場合に、音声コマンドを用いてイベントデータを保存したい場合が生じる。また、周囲の車両から煽られている場合なども、音声コマンドを用いてイベントデータを保存したい場合が生じる。これらのような場合、ステップＳ１３の処理ではイベントは検出されない。また、車両を運転中の運転者は、操作部１１４によるイベント記録操作を行うことが安全ではない場合もある。また、運転者以外の搭乗者であっても、車両用記録装置１００の操作部１１４に手が届かない搭乗者は、操作部１１３によるイベント記録操作を行うことが困難である。
　また、音声コマンドを用いてイベント記録を指示する場合であっても、イベント記録を指示する音声コマンドを咄嗟に思い出すことができない場合がある。例えば、音声コマンドを用いたイベント記録の指示を行う頻度が少ない場合や、複数の車両を利用しており、車両毎に備えられている車両用記録装置のイベント記録を指示する音声コマンドが異なる場合などである。
　このように、車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せない場合や、誤った音声コマンドを発話した場合、車両の搭乗者は車両用記録装置１００、特に表示部１０８ａを注視することが多い。このようなときに、図２に示す処理によって、イベント記録を指示する音声コマンドが出力されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。
［第２実施形態］
　次に、図３を参照して、本発明の第２実施形態を説明する。第２実施形態にかかる車両用記録装置１００の構成は、第１実施形態と同一であり、処理の異なる点以外の説明は省略する。
　視線検出部２１４は、車両の搭乗者の視線が連続的に複数回、表示部１０８ａに向けられたことを検出する。連続的に複数回とは、例えば、３秒間の間に２回以上、車両の搭乗者の視線が表示部１０８ａに向けられた場合などである。また、連続的に複数回とは、例えば０．５秒など、単に搭乗者の視線の向きが表示部１０８ａの方向を通過した場合ではなく、搭乗者が表示部１０８ａを見たことが判別できる時間以上、搭乗者の視線が表示部１０８ａに向けられたことが複数回検出された場合としてもよい。車両の搭乗者が複数存在する場合は、同一の搭乗者の視線が連続的に複数回、表示部１０８ａに向けられたことを検出する。
　図３に示すステップＳ２０～ステップＳ２３、ステップＳ２５～ステップＳ２７の処理は、図２に示すステップＳ１０～ステップＳ１３、ステップＳ１５～ステップＳ１７の処理と同一であるため、説明を省略する。
　ステップＳ２４においては、車両用記録装置１００は、車両の搭乗者によって表示部１０８ａが連続的に複数回注視されたか否かを判定する。具体的には、視線検出部２１４は、車両の搭乗者の視線が、連続的に複数回、表示部１０８ａに向けられたか否かを判定する。言い換えると、車両の搭乗者の視線が、所定期間内に複数回、所定時間以上、表示部１０８ａに向けられたか否かを判定する。車両の搭乗者によって表示部１０８ａが連続的に複数回、注視されたと判定した場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５に進む。車両の搭乗者によって表示部１０８ａが連続的に複数回、注視されたと判定しない場合（ステップＳ２４：Ｎｏ）、ステップＳ２７に進む。
　車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せずに、誤った音声コマンドを発話した場合、車両の搭乗者は、イベント記録を行いたいという意思によって車両用記録装置１００、特に表示部１０８ａを注視した後、イベント記録が行われているか、つまり音声コマンドが正確であったか否かの確認を行うために、再度、車両用記録装置１００、特に表示部１０８ａを注視することが多い。
　このようなときに、図３に示す処理によって、イベント記録を指示する音声コマンドが出力されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。
［第３実施形態］
　次に、図４を参照して、本発明の第３実施形態を説明する。第３実施形態にかかる車両用記録装置１００の構成は、第１実施形態と同一であり、処理の異なる点以外の説明は省略する。
　音声認識部２１６は、車両用記録装置１００に対する音声コマンドに加えて、音声コマンド以外の音声も認識する。音声コマンド以外の音声が認識されることは、音声コマンドの発話ではなく、何か他の発話があったことが判別できればよい。音声認識部２１６は、音声コマンドに該当する音声が認識された場合は、記録制御部２０８にイベント記録を行う指示を出力する。また、音声認識部２１６は、音声コマンド以外の音声が認識された場合、音声コマンド以外の音声が認識されたことを記録制御部２０８に出力する。
　音声認識部２１６は、音声コマンド以外の音声が認識されたことを記録制御部２０８に常時出力する必要はない。例えば、車両の搭乗者が表示部１０８ａを注視している期間や、車両の搭乗者が表示部１０８ａを注視してから例えば３秒間などの期間において、音声コマンド以外の音声が認識された場合に、音声コマンド以外の音声が認識されたことを記録制御部２０８に出力する。
　図４に示すステップＳ３０～ステップＳ３４、ステップＳ３６～ステップＳ３７の処理は、図２に示すステップＳ１０～ステップＳ１４、ステップＳ１５～ステップＳ１７の処理と同一であるため、説明を省略する。
　ステップＳ３４において、車両の搭乗者によって表示部１０８ａが注視されたと判定した場合（ステップＳ３４：Ｙｅｓ）、ステップＳ３５に進む。ステップＳ３５においては、車両用記録装置１００は、音声コマンド以外の音声が認識されたか否かを判定する（ステップＳ３５）。具体的には、音声認識部２１６は、車両の搭乗者が表示部１０８ａを注視している期間や、車両の搭乗者が表示部１０８ａを注視してから例えば３秒間など所定の期間内に、音声コマンド以外の音声が認識されたか否かを判定する。音声コマンド以外の音声が認識されたと判定された場合（ステップＳ３５：Ｙｅｓ）、ステップＳ３６に進む。音声コマンド以外の音声が認識されたと判定されない場合（ステップＳ３５：Ｎｏ）、ステップＳ３８に進む。
　このように、車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せない場合や、車両の搭乗者は車両用記録装置１００を注視して、何らかの発話を行うことが多い。この発話は、音声コマンドであった場合は、ステップＳ３１がＹｅｓになる。また、発話が音声コマンド以外であった場合は、図３に示す処理によって、表示部１０８ａにイベント記録を指示する音声コマンドが表示されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。
　本発明の第３実施形態の変形例として、ステップＳ３５においては、音声コマンドに類似する音声が認識されたか否かを判定してもよい。音声コマンドに類似する音声とは、音声コマンドとは一致していないが、音声コマンドと部分的に一致するような語句の発話である。
　このような場合、音声認識部２１６は、取得した音声の分析結果と、予め記憶されている音声コマンドとを対比して、音声コマンドが示す語句と一致する語句があるかを判定する。音声認識部２１６は、特定の語句が一致することを判定してもよい。例えば、音声コマンドが「録画開始」である場合に、「録画」の語句が含まれる発話があった場合に、音声コマンドに類似する音声が認識されたと判定する。
　また、ステップＳ３５においては、音声認識部２１６は、音声コマンドに類似する音声として、同義語が認識されたか否かを判定してもよい。例えば、音声コマンドが「録画開始」である場合に、「記録開始」や「イベント記録」など「記録」の語句が含まれる発話があった場合に、音声コマンドに類似する音声が認識されたと判定する。
　このように、車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せずに誤った音声コマンドを発話した場合、車両の搭乗者は車両用記録装置１００、特に表示部１０８ａを注視することが多い。このようなときに、図３に示す処理によって、表示部１０８ａにイベント記録を指示する音声コマンドが表示されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。また、正しい音声コマンドを発話させることで、音声コマンドの理解にもつながり、さらには、誤った音声コマンドによって意図せずにイベント記録が行われることも防止する。
［第４実施形態］
　次に、図５を参照して、本発明の第４実施形態を説明する。第４実施形態にかかる車両用記録装置１００Ａの構成は、第１実施形態にかかる車両用記録装置１００に対して、制御部２００が制御部２００Ａとなることが異なる。制御部２００Ａは、制御部２００に対して、感情検出部２２４をさらに備える。第４実施形態にかかる車両用記録装置１００Ａの構成において、第１実施形態にかかる車両用記録装置１００の構成と同一の構成に対しては、説明は省略する。
　制御部２００Ａは、その構成または実現される機能として、撮影データ取得部２０２、バッファメモリ２０４、撮影データ処理部２０６、記録制御部２０８、再生制御部２１０、出力制御部２１２、音声認識部２１６、イベント検出部２１８、操作制御部２２０および位置情報取得部２２２に加え、感情検出部２２４を少なくとも備える。出力制御部２１２は、表示制御部２１２ａおよび音声出力制御部２１２ｂとで構成される。
　第二カメラ１０４は、車両の搭乗者の顔が撮影でき、車両の搭乗者の表情または視線が検出可能な位置に備えられている。第二カメラ１０４は、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００の車室内側に備えられる。
　第二カメラ１０４は、車両の搭乗者である運転者の表情または視線が検出可能な位置に備えられている場合は、例えば、車両のインストルメントパネルなどに、車両の運転者の顔が位置する方向を撮影可能に備えられている。第二カメラ１０４は、車両の運転者に加えて、他の搭乗者の表情または視線が検出可能な位置に備えられている場合は、例えば、車両のリヤビューミラーなどの近傍または内部に、車室内全体を撮影可能に備えられていてもよい。
　表示部１０８ａは、表示制御部２１２の制御により各種情報を表示する表示装置である。表示部１０８ａは、例えば液晶パネルや有機ＥＬ（Organic Electro-Luminescence）パネルなどの表示パネルを備える。表示部１０８ａは、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。表示部１０８ａは、無線により接続され、表示制御部２１２ａを備える他の装置であってもよい。表示部１０８ａは、車両の搭乗者が目視しやすい位置に配置されている。
　撮影データ取得部２０２は、第一カメラ１０２が撮影した第一撮影データおよび第二カメラ１０４が撮影した第二撮影データを取得する。撮影データ取得部２０２は、第一カメラ１０２から取得した第一撮影データを、バッファメモリ２０４へ出力する。撮影データ取得部２０２は、感情検出部２２４が、車両の搭乗者の表情に基づいて感情の検出を行う場合は、第二カメラ１０４から取得した第二撮影データを、感情検出部２２４に出力する。
　表示制御部２１２ａは、表示部１０８ａを制御して表示部１０８ａに様々な情報を表示させる。表示制御部２１２ａが出力制御部２１２として機能する場合、表示制御部２１２ａは、感情検出部２２４によって搭乗者の感情がネガティブ感情であることが検出された場合、表示部１０８ａに、イベント記録を指示する音声コマンドを示す情報を表示させる。表示制御部２１２は、イベント記録を指示するための音声コマンドが「録画開始」である場合、「録画開始」または「ろくがかいし」など、音声コマンドを示す情報を表示部１０８ａに表示させる。
　音声出力制御部２１２ｂは、音声出力部１０８ｂに様々な音声を出力させる。音声出力制御部２１２ｂが出力制御部２１２として機能する場合、音声出力制御部２１２ｂは、感情検出部２２４によって搭乗者の感情がネガティブ感情であることが検出された場合、音声出力部１０８ｂにイベント記録を指示する音声コマンドを示す音声を出力させる。音声出力制御部２１２ｂは、イベント記録を指示するための音声コマンドが「録画開始」である場合、「ろくがかいし」の音声を音声出力部１０８ｂに出力させる。
　感情検出部２２４は、車両の搭乗者の感情を検出する処理を行う。感情検出部２２４は、例えば、第二撮影データから車両の搭乗者を検出し、検出した搭乗者の顔の表情を分析することで、車両の搭乗者の感情を検出する。また、感情検出部２２４は、音声認識部２１６が取得した、車両の搭乗者の発話音声を分析することで、車両の搭乗者の感情を検出する。いずれの手法も、公知の手法が適用可能である。
　感情検出部２２４は、第二撮影データから車両の搭乗者の感情を検出する場合、搭乗者の顔を構成する目や口の動きなどを取得し、様々な顔の構成要素の動きなどを機械学習させた学習済モデルを用いることで、喜び、平穏、怒り、恐怖などの感情を検出する。感情検出部２２４は、車両の搭乗者の表情から検出された感情が、怒り、恐怖である場合に、ネガティブ感情として判断する。
　感情検出部２２４は、車両の搭乗者の発話音声から車両の搭乗者の感情を検出する場合、搭乗者の発話の内容や抑揚などを取得し、様々な発話内容や発話の抑揚などを機械学習させた学習済モデルを用いることで、喜び、平穏、怒り、恐怖、驚きなどの感情を検出する。感情検出部２２４は、車両の搭乗者の発話音声から検出された感情が、怒り、恐怖である場合に、ネガティブ感情として判断する。
　感情検出部２２４は、車両の搭乗者の感情が怒り、恐怖、驚きを示すことが、例えば、６０秒以上などの所定期間継続した場合に、ネガティブ感情であると判断してもよい。
　次に、図２を用いて、車両用記録装置１００が実行する記録処理の流れについて説明する。車両用記録装置１００が実行する記録処理は、車両用記録制御装置として動作するコンピュータとしての制御部２００Ａが、プログラムに基づき実行する。
　図２における処理の開始とは、例えば、移動体である車両のエンジンまたは電源等がオンとなることによって、車両用記録装置１００が動作開始することを意味する。
　処理の開始に伴い、車両用記録装置１００は、通常記録処理および視線検出処理を開始する（ステップＳ４０）。具体的には、記録制御部２０８は、第一撮影データに基づく撮影データを記録部１０６に記録する通常記録処理を開始し、視線検出部２１４は、第二撮影データから車両の搭乗者の感情の検出を開始する。
　ステップＳ４０の処理の開始とともに、車両用記録装置１００は、イベント記録を行うための操作が有ったか否かを判定する（ステップＳ４１）。具体的には、操作制御部２２０は、操作部１１４に対してイベント記録を行うボタンやアイコンの操作が受け付けられたか否かを判定する。イベント記録を行うための操作が有ったと判定した場合（ステップＳ４１：Ｙｅｓ）、ステップＳ４６に進む。イベント記録を行うための操作が有ったと判定しない場合（ステップＳ４１：Ｎｏ）、ステップＳ４２に進む。
　ステップＳ４２においては、車両用記録装置１００は、イベント記録を行う音声コマンドを受け付けたか否かを判定する。具体的には、音声認識部２１６は、マイクロフォン１１０が取得した音声に、イベント記録を行う音声コマンドを示す発話が有ったか否かを判定する。イベント記録を行う音声コマンドを受け付けたと判定した場合（ステップＳ４２：Ｙｅｓ）、ステップＳ４６に進む。イベント記録を行う音声コマンドを受け付けたと判定しない場合（ステップＳ４２：Ｎｏ）、ステップＳ４４に進む。
　ステップＳ４３においては、車両用記録装置１００は、イベントが検出されたか否かを判定する。具体的には、イベント検出部２１８は、加速度センサ１１２が検出した加速度に基づいて、イベントが検出されたか否かを判定する。イベントが検出されたと判定した場合（ステップＳ４３：Ｙｅｓ）、ステップＳ４６に進む。イベントが検出されたと判定しない場合（ステップＳ４３：Ｎｏ）、ステップＳ４４に進む。
　ステップＳ４４においては、車両用記録装置１００は、車両の搭乗者の感情がネガティブ感情であるか否かを判定する。具体的には、感情検出部２２４は、車両の搭乗者の表情または発話音声に基づき、車両の搭乗者の感情がネガティブ感情であるか否かを判定する。車両の運転時に、感情がネガティブになる搭乗者、つまり、怒り、恐怖、驚きを感じる搭乗者は、車両の運転者であることが多い。理由としては、車両の運転中の危険を把握しやすい立場にあるためである。また、イベント記録を行う音声コマンドの発話も、車両の運転者が発話することが多いためである。したがって、車両の搭乗者の感情がネガティブ感情であるか否かの判定は、車両の運転者の感情がネガティブ感情であるか否かの判定と言い換えてもよい。ただし、車両の搭乗者は、車両の運転者以外の搭乗者も対象となる。感情検出部２２４は、車両の搭乗者の感情が所定時間以上、ネガティブ感情の状態であるか否かを判定してもよい。
　ステップＳ４４において、車両の搭乗者の感情がネガティブ感情であると判定された場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５に進む。車両の搭乗者の感情がネガティブ感情であると判定されない場合（ステップＳ４４：Ｎｏ）、ステップＳ４７に進む。
　ステップＳ４５においては、車両用記録装置１００は、出力部１０８を用いて、車両の搭乗者に音声コマンドを示す情報を出力する。ステップＳ４５の一例としては、出力部１０８として動作する表示部１０８ａに、音声コマンドを示す文字などの情報を、例えば、「録画開始」や「ろくがかいし」のように表示する。ステップＳ４５の他の例としては、出力部１０８として動作する音声出力部１０８ｂに、例えば「ろくがかいし」のような音声コマンドを示す音声を出力させる。
　ステップＳ４１、ステップＳ４２、ステップＳ４３およびステップＳ４４の処理は、ステップＳ４０の処理の開始とともに、同時並行的に処理が開始され、図２の処理が終了するまで実行される。
　ステップＳ４６においては、車両用記録装置１００は、イベントデータを保存する。具体的には、記録制御部２０８は、第一撮影データに基づいたイベントデータを上書禁止として保存する。ステップＳ４６は、ステップＳ４１においてイベント記録を行うための操作が有ったと判定した場合、イベント記録を行うための操作が行われた時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。ステップＳ４６は、ステップＳ４２においてイベント記録を行う音声コマンドを受け付けたと判定した場合、イベント記録を行う音声コマンドが認識された時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。ステップＳ４６は、ステップＳ４３においてイベントが検出されたと判定した場合、イベント発生時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。
　ステップＳ４４でＮｏと判定された場合、ステップＳ４５の処理後、およびステップＳ１６の処理後、車両用記録装置１００は、記録処理等が終了したか否かを判定する（ステップＳ４７）。具体的には、車両用記録装置１００は、ステップＳ４０で開始した処理が終了したか否かを判定する。ステップＳ４０で開始した処理の終了とは、例えば、移動体である車両のエンジンまたは電源等がオフとなることで、車両用記録装置１００の動作が終了することを意味する。処理が終了したと判定された場合（ステップＳ４７：Ｙｅｓ）、図２の処理を終了する。処理が終了したと判定されない場合（ステップＳ４７：Ｎｏ）、ステップＳ４１に進む。
　車両の運転者など搭乗者が、自車両が当事者ではない事故などのイベントを撮影した撮影データをイベントデータとして記録したい場合に、音声コマンドを用いてイベントデータを保存したい場合が生じる。また、周囲の車両から煽られている場合なども、音声コマンドを用いてイベントデータを保存したい場合が生じる。これらのような場合、ステップＳ４３の処理ではイベントは検出されない。また、車両を運転中の運転者は、操作部１１４によるイベント記録操作を行うことが安全ではない場合もある。また、運転者以外の搭乗者であっても、車両用記録装置１００の操作部１１４に手が届かない搭乗者は、操作部１１３によるイベント記録操作を行うことが困難である。
　また、音声コマンドを用いてイベント記録を指示する場合であっても、イベント記録を指示する音声コマンドを咄嗟に思い出すことができない場合がある。例えば、音声コマンドを用いたイベント記録の指示を行う頻度が少ない場合や、複数の車両を利用しており、車両毎に備えられている車両用記録装置のイベント記録を指示する音声コマンドが異なる場合などである。
　このように、車両の運転者など搭乗者が、自車両の近傍で事故などが発生し、恐怖や驚きのネガティブ感情となった場合や、他の車両から煽られることによって、怒りや恐怖のネガティブ感情となった場合は、イベント記録を行う必要性が高い状態である。このような場合に、咄嗟に正確な音声コマンドが思い出せない場合や、誤った音声コマンドを発話してしまうことがある。このようなときに、図２に示す処理によって、イベント記録を示す音声コマンドが出力されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。
［第５実施形態］
　次に、図７を参照して、本発明の第５実施形態を説明する。第５実施形態にかかる車両用記録装置１００Ｂの構成は、第４実施形態にかかる車両用記録装置１００Ａに対して、制御部２００Ａが制御部２００Ｂとなることが異なる。制御部２００Ｂは、制御部２００Ａに対して、視線検出部２１４をさらに備える。第５実施形態にかかる車両用記録装置１００Ｂの構成において、第４実施形態にかかる車両用記録装置１００Ａの構成と同一の構成に対しては、説明は省略する。
　視線検出部２１４は、撮影データ取得部２０２が取得した第二撮影データから、車両の搭乗者の視線の向きを検出する。視線検出部２１４は、第二カメラ１０４が、車両の運転者を撮影するように配置されている場合は、第二撮影データに撮影されている、車両の運転者の視線の向きを検出する。視線検出部２１４は、第二カメラ１０４が、車室内全体を撮影可能な位置に配置されている場合は、運転者以外の搭乗者が搭乗している場合、車両の運転者の視線の向きの検出に加えて、運転者以外の搭乗者の視線の向きを検出する。
　視線検出部２１４は、第二撮影データから人の顔を検出し、検出した顔における目の位置を検出する。視線検出部２１４による顔や目の検出は、パターンマッチングなどの任意の手法を用いて行われる。視線検出部２１４は、目の映像から検出した目頭と光彩の位置関係に基づく視線向き検出や、角膜反射と瞳孔の位置関係に基づく視線向き検出を行う。視線検出手法は、上述したものに限らず任意の手法が適用可能である。
　視線検出部２１４は、車両の搭乗者の視線が、車両外を注視している傾向にあることを検出する。視線検出部２１４は、予め記憶されている第二カメラ１０４と車両のウィンドシールドやサイドウィンドなどの位置関係を示すデータに基づき、車両の搭乗者の視線が、車両外を注視している傾向にあることを検出する。車両外とは、車両の前方方向も含む。例えば、車両の近傍で事故などが発生した場合、車両の搭乗者は、事故を注視する傾向にあるためである。
　視線検出部２１４は、車両の搭乗者の視線が、車両に備えられているインナーミラー、またはインナーミラーの機能を備える表示装置を注視している傾向にあることが検出された場合にも、車両外を注視していると判断してもよい。視線検出部２１４は、予め記憶されている第二カメラ１０４と車両のインナーミラー、またはインナーミラーの機能を備える表示装置の位置関係を示すデータに基づき、車両の搭乗者の視線が、車両外を注視している傾向にあることを検出する。例えば、後方の車両から煽られている場合、車両の搭乗者は、インナーミラーなどを用いて車両の後方、つまり車両外を注視する傾向にあるためである。
　ここで言う注視とは、例えば、車両の搭乗者の視線方向が、例えば５秒以上などの所定期間以上、車両外に向いていることである。視線検出部２１４は、車両の搭乗者の視線が車両外を向いており、且つ、視線方向の変化が少ない場合に、車両外を注視している傾向にあると判断してもよい。また、車両のウィンドシールドやサイドウィンド越しに車外を注視している場合の視線方向とは、車両を基準として絶対的な視線方向の変化が少ないことを条件としてもよく、車両の走行によって事故の現場との位置関係が変動する場合や、車両を基準として相対的な視線方向の変化が少ないことを条件としてもよい。
　視線検出部２１４は、車両の搭乗者の視線が連続的に複数回、車両外の同一方向を向いた場合に、車両外を注視している傾向にあると判断してもよい。連続的に複数回とは、例えば、３秒間の間に２回以上、車両の搭乗者の視線が車両外の同一方向に向けられた場合などである。車両の搭乗者が複数存在する場合は、同一の搭乗者の視線が連続的に複数回、車両外の同一方向に向けられたことを検出する。
　次に、図８を用いて、車両用記録装置１００Ｂが実行する記録処理の流れについて説明する。車両用記録装置１００Ｂが実行する記録処理は、車両用記録制御装置として動作するコンピュータとしての制御部２００Ｂが、プログラムに基づき実行する。
　図８に示すステップＳ５０～ステップＳ５４、ステップＳ５６およびステップＳ５７～ステップＳ５８の処理は、図６に示すステップＳ４０～ステップＳ４４、ステップＳ４５およびステップＳ４６～ステップＳ４７の処理と同一であるため、説明を省略する。
　ステップＳ５４において、車両の搭乗者の感情がネガティブ感情であると判定された場合（ステップＳ５４：Ｙｅｓ）、ステップＳ５５に進む。ステップＳ５５においては、車両用記録装置１００は、車両の搭乗者が車両外を注視している傾向であるか否か、つまり、車両の搭乗者の視線が車両外を注視している傾向であるか否かを検出する。車両の搭乗者の視線が車両外を注視している傾向であると判定された場合（ステップＳ５５：Ｙｅｓ）、ステップＳ５６に進む。車両の搭乗者の視線が車両外を注視している傾向であると判定されない場合（ステップＳ５５：Ｎｏ）、ステップＳ５８に進む。
　このように、車両の運転者など搭乗者が、自車両の近傍で事故などが発生し、恐怖や驚きのネガティブ感情となった場合や、他の車両から煽られることによって、怒りや恐怖のネガティブ感情となった場合であって、事故や煽りの対象を注視している傾向にある場合は、イベント記録を行う必要性が高い状態である。このような場合に、咄嗟に正確な音声コマンドが思い出せない場合や、誤った音声コマンドを発話してしまうことがある。このようなときに、図４に示す処理によって、イベント記録を示す音声コマンドが出力されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、車両用記録制御装置として動作するコンピュータに供給することができる。
　所謂ドライブレコーダなどの車両用記録装置に適用することができる。
１００、１００Ａ、１００Ｂ　車両用記録装置
１０２　第一カメラ
１０４　第二カメラ
１０６　記録部
１０８　出力部
１０８ａ　表示部
１０８ｂ　音声出力部
１１０　マイクロフォン
１１２　加速度センサ
１１４　操作部
１１６　ＧＮＳＳ受信部
２００、２００Ａ、２００Ｂ　制御部（車両用記録制御装置）
２０２　撮影データ取得部
２０４　バッファメモリ
２０６　撮影データ処理部
２０８　記録制御部
２１０　再生制御部
２１２　出力制御部
２１２ａ　表示制御部
２１２ｂ　音声出力制御部
２１４　視線検出部
２１６　音声認識部
２１８　イベント検出部
２２０　操作制御部
２２２　位置情報取得部
２２４　感情検出部

Claims (12)

  1. 　車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部と、
    　前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出部と、
    　イベント記録を指示する音声コマンドを認識する音声認識部と、
    　前記搭乗者の視線が表示部に向けられたことが前記視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部と、
    　前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部と、
    　を備える、車両用記録制御装置。
  2. 　前記出力制御部は、前記視線検出部が、前記搭乗者の視線が所定時間以上、前記表示部に向けられたことを検出した場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる、
    　請求項１に記載の車両用記録制御装置。
  3. 　前記出力制御部は、前記視線検出部が、前記搭乗者の視線が連続的に複数回、前記表示部に向けられたことを検出した場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる、
    　請求項１に記載の車両用記録制御装置。
  4. 　前記音声認識部は、前記音声コマンド以外の音声を認識し、
    　前記出力制御部は、前記搭乗者の視線が前記表示部に向けられたことが前記視線検出部によって検出され、且つ、前記音声認識部によって前記音声コマンド以外の音声が認識された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる、
    　請求項１から３のいずれか１項に記載の車両用記録制御装置。
  5. 　車両の周辺を撮影する第一カメラが撮影した第一撮影データを取得する撮影データ取得部と、
    　前記車両の搭乗者の感情を検出する感情検出部と、
    　イベント記録を指示する音声コマンドを認識する音声認識部と、
    　前記搭乗者の感情がネガティブ感情であることが前記感情検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部と、
    　前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部と、
    　を備える、車両用記録制御装置。
  6. 　前記車両の搭乗者の視線の向きを検出する視線検出部をさらに備え、
    　前記出力制御部は、前記視線検出部によって、前記搭乗者の視線が車両外を注視する傾向にあり、前記搭乗者の感情がネガティブ感情であることを検出した場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる、
    　請求項５に記載の車両用記録制御装置。
  7. 　前記感情検出部は、前記車両の搭乗者の表情から、前記車両の搭乗者の感情を検出する、
    　請求項５または６に記載の車両用記録制御装置。
  8. 　前記感情検出部は、前記車両の搭乗者の発話から、記車両の搭乗者の感情を検出する、
    　請求項５または６に記載の車両用記録制御装置。
  9. 　前記出力制御部は、表示部に情報を表示させる表示制御部であり、前記搭乗者の視線が前記表示部に向けられたことが視線検出部によって検出された場合、前記表示部に前記音声コマンドを示す情報を表示する、
    　請求項１から８のいずれか１項に記載の車両用記録制御装置。
  10. 　前記出力制御部は、前記搭乗者に対して音声出力する音声出力制御部であり、前記搭乗者の視線が表示部に向けられたことが視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す音声を出力する、
    　請求項１から８のいずれか１項に記載の車両用記録制御装置。
  11. 　車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得ステップと、
    　前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出ステップと、
    　イベント記録を指示する音声コマンドを認識する音声認識ステップと、
    　前記搭乗者の視線が表示部に向けられたことが検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力ステップと、
    　前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録ステップと、
    　を車両用記録制御装置が実行する記録方法。
  12. 　車両の周辺を撮影する第一カメラが撮影した第一撮影データを取得する撮影データ取得部ステップと、
    　前記車両の搭乗者の感情を検出する感情検出ステップと、
    　イベント記録を指示する音声コマンドを認識する音声認識ステップと、
    　前記搭乗者の感情がネガティブ感情であることが前記感情検出ステップで検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御ステップと、
    　前記音声認識ステップで前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御ステップと、
    　を車両用記録制御装置が実行する記録方法。
PCT/JP2022/011873 2021-09-27 2022-03-16 車両用記録制御装置および記録方法 WO2023047654A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/442,565 US20240185854A1 (en) 2021-09-27 2024-02-15 Vehicular recording control device and recording method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2021-156788 2021-09-27
JP2021156788 2021-09-27
JP2021-214915 2021-12-28
JP2021214916A JP2023098263A (ja) 2021-12-28 2021-12-28 車両用記録制御装置および記録方法
JP2021214915A JP2023048064A (ja) 2021-09-27 2021-12-28 車両用記録制御装置および記録方法
JP2021-214916 2021-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/442,565 Continuation US20240185854A1 (en) 2021-09-27 2024-02-15 Vehicular recording control device and recording method

Publications (1)

Publication Number Publication Date
WO2023047654A1 true WO2023047654A1 (ja) 2023-03-30

Family

ID=85720374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011873 WO2023047654A1 (ja) 2021-09-27 2022-03-16 車両用記録制御装置および記録方法

Country Status (2)

Country Link
US (1) US20240185854A1 (ja)
WO (1) WO2023047654A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061858A (ja) * 2011-09-14 2013-04-04 Denso Corp インターフェース装置
JP2013255168A (ja) * 2012-06-08 2013-12-19 Toyota Infotechnology Center Co Ltd 撮像装置、および撮像方法
JP2016009202A (ja) * 2014-06-20 2016-01-18 株式会社デンソー ドライブレコーダーおよびドライブレコーダー用のプログラム
JP2021114081A (ja) * 2020-01-17 2021-08-05 株式会社Ｊｖｃケンウッド ドライブレコーダ、記録方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061858A (ja) * 2011-09-14 2013-04-04 Denso Corp インターフェース装置
JP2013255168A (ja) * 2012-06-08 2013-12-19 Toyota Infotechnology Center Co Ltd 撮像装置、および撮像方法
JP2016009202A (ja) * 2014-06-20 2016-01-18 株式会社デンソー ドライブレコーダーおよびドライブレコーダー用のプログラム
JP2021114081A (ja) * 2020-01-17 2021-08-05 株式会社Ｊｖｃケンウッド ドライブレコーダ、記録方法およびプログラム

Also Published As

Publication number Publication date
US20240185854A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
US9704484B2 (en) Speech recognition method and speech recognition device
US11616905B2 (en) Recording reproduction apparatus, recording reproduction method, and program
JP2017090613A (ja) 音声認識制御システム
US11450316B2 (en) Agent device, agent presenting method, and storage medium
JP2014096632A (ja) 撮像システム
JP2017090614A (ja) 音声認識制御システム
JP2006090790A (ja) 運転支援装置
US11995927B2 (en) On-vehicle recording control apparatus, on-vehicle recording apparatus, on-vehicle recording control method, and non-transitory computer-readable recording medium
JP2011017802A (ja) 表示装置、プログラム、及び表示方法
WO2023047654A1 (ja) 車両用記録制御装置および記録方法
JPH11352987A (ja) 音声認識装置
JP2023098263A (ja) 車両用記録制御装置および記録方法
JP2023048064A (ja) 車両用記録制御装置および記録方法
JP3270403B2 (ja) 装置角度制御方式
JP2009098217A (ja) 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識方法、音声認識プログラム、および記録媒体
WO2024029187A1 (ja) 音声コマンド受付装置、および音声コマンド受付方法
WO2024029192A1 (ja) 音声コマンド受付装置、および音声コマンド受付方法
WO2023074162A1 (ja) 車両用記録制御装置および記録制御方法
WO2023145405A1 (ja) 音声操作制御装置および音声操作方法
JP2023107446A (ja) 車両用記録制御装置および記録制御方法
JP2023107445A (ja) 車両用記録制御装置および記録制御方法
JP2023094516A (ja) 音声コマンド受付装置、音声コマンド受付方法およびプログラム
JP2024030853A (ja) 音声コマンド受付装置、および音声コマンド受付方法
JP2024030925A (ja) 音声コマンド受付装置、音声コマンド受付方法およびプログラム
JP2023067736A (ja) 車両用記録制御装置および記録制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872413

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE