WO2021140760A1 - 記録制御装置、記録制御方法、および記録制御プログラム - Google Patents

記録制御装置、記録制御方法、および記録制御プログラム Download PDF

Info

Publication number
WO2021140760A1
WO2021140760A1 PCT/JP2020/043369 JP2020043369W WO2021140760A1 WO 2021140760 A1 WO2021140760 A1 WO 2021140760A1 JP 2020043369 W JP2020043369 W JP 2020043369W WO 2021140760 A1 WO2021140760 A1 WO 2021140760A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
image file
recording
video
recording control
Prior art date
Application number
PCT/JP2020/043369
Other languages
English (en)
French (fr)
Inventor
佐藤 貴之
純一 糟谷
功大 中村
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to CN202080078334.4A priority Critical patent/CN114731386A/zh
Priority to EP20911385.1A priority patent/EP4089676A4/en
Publication of WO2021140760A1 publication Critical patent/WO2021140760A1/ja
Priority to US17/854,119 priority patent/US11750771B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a recording control device for recording video, a recording control method, and a recording control program.
  • a chase playback function of recording a program and playing back the program being recorded from the beginning is common, and there is an example in which the same function is applied to a drive recorder (for example,). See Patent Document 1).
  • chasing playback was premised on playback from the beginning of the recording, and was not premised on immediate playback of any part other than the beginning.
  • the content that the occupants of the vehicle want to reproduce immediately while shooting while driving is not necessarily the first part of the shot video.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a recording control device capable of reproducing an immediately preceding image during shooting around a vehicle.
  • the recording control device of an embodiment of the present invention captures an image acquisition unit that acquires an image being photographed while photographing the surroundings of the vehicle, and an image acquisition unit that acquires the image being photographed by the image acquisition unit.
  • a recording control unit that sets a moving image file for recording by dividing it into predetermined units and records the video being shot in the moving image file until the predetermined unit is satisfied, and a display for playing back the video recorded in the moving image file. It includes a control unit and an operation reception unit that receives user operation input. When the operation reception unit receives an instruction from the user to play the immediately preceding part during video recording, the recording control unit sets a subsequent moving image file to be a new recording destination of the video and changes the recording destination. At the same time, the preceding video file that was the recording destination until then is closed, and the display control unit reproduces the file from a predetermined time back from the end of the preceding video file.
  • Another aspect of the present invention is a recording control method.
  • This method includes the process of acquiring the image being shot while shooting the surroundings of the vehicle, the process of setting a moving image file for recording the image being shot by dividing it into predetermined units, and the image being shot.
  • the process of recording in a moving image file until a predetermined unit is satisfied the process of playing back the video recorded in the moving image file, and the process of playing back the immediately preceding part during video recording.
  • FIG. 1 is a block diagram schematically showing the functional configuration of the drive recorder 10.
  • Each functional block shown in the figure can be realized by elements and mechanical devices such as a computer CPU and memory in terms of hardware, and by a computer program or the like in terms of software. Here, by linking them. It is drawn as a functional block to be realized. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by combining hardware and software.
  • the drive recorder 10 includes an image acquisition unit 12, a voice acquisition unit 14, a vehicle information acquisition unit 16, an event detection unit 18, a recording control unit 20, a temporary storage unit 22, a communication unit 24, an operation reception unit 26, and an image processing unit 50. It includes a display control unit 28 and an audio output unit 29.
  • the image acquisition unit 12 may be configured as a part of the vehicle information acquisition unit 16, and the image acquisition unit 12 may be included in the vehicle information acquisition unit 16.
  • the drive recorder 10 is mounted on the vehicle.
  • the communication unit 24 transmits / receives information to / from an external device via a wireless communication connection.
  • the operation reception unit 26 receives the user's operation input.
  • the display control unit 28 controls the display of the captured image on the display device 49.
  • the display device 49 is a monitor included in the navigation device 11, but as a modification, the drive recorder 10 may be configured to incorporate the display device 49, or an infotainment system or an electronic mirror (not shown). It may be configured to be superimposed or interrupted on a display device equipped in the vehicle such as a head-up display.
  • the voice output unit 29 controls the voice output to the speaker 47 that outputs voice such as recorded voice and warning sound.
  • the speaker 47 is a speaker included in the navigation device 11 or the vehicle, but as a modification, the drive recorder 10 may be configured to include the speaker 47.
  • the connection between the drive recorder 10 and the navigation device 11 may be a wireless communication connection via the communication unit 24, or a wired communication connection such as a UART (Universal Asynchronous Receiver / Transmitter) or USB (Universal Serial Bus). May be good.
  • the image acquisition unit 12 acquires the image being photographed while the surroundings of the vehicle are being photographed.
  • the image acquisition unit 12 acquires images taken by the front camera 40 and the rear camera 42 provided in the vehicle.
  • the front camera 40 is configured to photograph the surroundings of the vehicle, particularly the front of the own vehicle.
  • the rear camera 42 is configured to photograph the surroundings of the vehicle, particularly the rear of the own vehicle.
  • the front camera 40 may be configured to capture both the front and the interior of the own vehicle, and the front camera 40 may be configured to capture the entire front, side, and interior of the own vehicle, and is capable of capturing 360 degrees around the entire vehicle. It may be configured by a peripheral camera, or may be configured by a plurality of cameras that shoot front and back or sideways.
  • the front camera 40 and the rear camera 42 may be built in the drive recorder 10 or may be separate from the drive recorder 10.
  • the rear camera 42 is a camera that sends a rear image to the navigation device 11, and is also used as a camera for both the drive recorder 10 and the navigation device 11.
  • the image acquisition unit 12 may acquire images taken by the front camera 40 and the rear camera 42 as vehicle information related to the running of the vehicle, and the image acquisition unit 12 may be regarded as a part of the vehicle information acquisition unit 16.
  • the image acquisition unit 12 acquires the image from the front camera 40, and also acquires the image from the rear camera 42 regardless of whether or not vehicle information indicating that the gear is in reverse is acquired. ..
  • the display control unit 28 causes the display device 49 to display the image from the front camera 40 while the vehicle information indicating that the gear is put in other than the reverse such as driving and parking is acquired. While the vehicle information indicating that the gear is in reverse is acquired, the image from the rear camera 42 is displayed on the display device 49.
  • the display device 49 includes not only the image from the front camera 40 but also the image from the rear camera 42 regardless of whether or not vehicle information indicating that the gear is in reverse is acquired. May be displayed at all times.
  • the voice acquisition unit 14 acquires voice data acquired by the microphone 44 provided in the vehicle.
  • the microphone 44 is configured to collect sound from inside and outside the vehicle.
  • the microphone 44 may be built in the drive recorder 10, may be separate from the drive recorder 10, or may be integrated with the front camera 40 or the rear camera 42. Alternatively, it may be built in the navigation device 11. When built into the navigation device 11, the microphone 44 is used for voice recognition operation of the navigation device 11.
  • the voice acquisition unit 14 may acquire voice by the microphone 44 as vehicle information related to the running of the vehicle, or the voice acquisition unit 14 may be regarded as a part of the vehicle information acquisition unit 16.
  • the vehicle information acquisition unit 16 acquires vehicle information related to the running of the vehicle from the in-vehicle device 46 provided in the vehicle.
  • the in-vehicle device 46 include a vehicle speed sensor, a steering angle sensor, an accelerator operation amount sensor, a brake operation amount sensor, an acceleration sensor, a gyro sensor, a radar sensor, a lidar (LiDAR; Light Detection and Ringing), and a position information sensor (for example, GNSS; Global Navigation Satellite System), occupant seating sensors, etc., but are not limited to these.
  • the vehicle information acquisition unit 16 may acquire vehicle information via various control ECUs (Electronic Control Units), or may acquire vehicle information via the navigation device 11.
  • the position information may be acquired from the position information sensor built in the navigation device 11.
  • the vehicle information acquisition unit 16 may acquire information detected by each sensor such as an acceleration sensor, a gyro sensor, and a position information sensor built in a terminal such as a user's mobile phone via a communication unit 24.
  • the vehicle information acquisition unit 16 may acquire information on the running of the vehicle from a sensor built in the drive recorder 10.
  • the drive recorder 10 may incorporate a sensor such as an acceleration sensor or a position information sensor.
  • the front camera 40, the rear camera 42, and the microphone 44 may be regarded as one of the in-vehicle devices, and the vehicle information acquisition unit 16 may be configured to include the image acquisition unit 12 and the voice acquisition unit 14.
  • the vehicle information acquisition unit 16 relates, for example, information on the state of the vehicle, information on the operation of the vehicle, information on the speed of the vehicle, information on the position of the vehicle, information on obstacles around the vehicle, and the operating state of the driving support function of the vehicle. Information and the like are acquired from the in-vehicle device 46.
  • the various information acquired by the vehicle information acquisition unit 16 is detection information from a sensor other than the camera, unlike the image recognition by the image processing unit 50, which will be described later, to detect an object around the vehicle.
  • the vehicle information acquisition unit 16 may acquire, for example, information indicating an open / closed state of a door or a window as information regarding the state of the vehicle.
  • the vehicle information acquisition unit 16 may acquire information indicating that, for example, an operation for instructing opening / closing of a door or a window has been performed as information regarding an operation on the vehicle. As information on obstacles around the vehicle, the vehicle information acquisition unit 16 determines whether or not another vehicle exists within a certain range around the vehicle, and pedestrians, bicycles, falling objects, and construction in the running lane. Information indicating whether or not an obstacle such as an object exists may be acquired. The vehicle information acquisition unit 16 may acquire information indicating whether or not an occupant is present in the vehicle. The vehicle information acquisition unit 16 acquires information on the on / off of the automatic driving function and the remote control function and information on whether or not a specific driving support function is operating as a state related to the operating state of the driving support function of the vehicle. You may. Examples of the driving support function include, but are not limited to, Adaptive Cruise Control (ACC) and Lane Keeping Assistance System (LKAS).
  • ACC Adaptive Cruise Control
  • LKAS Lane Keeping Assistance System
  • the event detection unit 18 is based on video data acquired by the image acquisition unit 12, audio data acquired by the audio acquisition unit 14, and vehicle information acquired by the vehicle information acquisition unit 16, and various predetermined events (hereinafter, "" Detects the occurrence of "trigger event”).
  • the trigger event is a storage trigger event that is assumed to be a serious event such as a vehicle accident or trouble, and when the occurrence or detection occurs, the video data is saved as overwrite-prohibited data.
  • the event detection unit 18 detects an accident such as a vehicle collision, contact, rollover, or fall, or a trouble such as a violent act or dangerous driving by a driver of a peripheral vehicle.
  • the event detection unit 18 detects the occurrence of an accident or trouble by image recognition or voice recognition based on a predetermined recognition pattern from, for example, video data acquired by the front camera 40 and the rear camera 42 and voice data acquired by the microphone 44. You may.
  • the event detection unit 18 recognizes a sudden change in vehicle behavior due to sudden start, sudden stop, sudden turn, etc.
  • the event detection unit 18 detects an approach to an object around the vehicle, deviation from the traveling lane, etc. based on a predetermined recognition pattern from information such as video data of the front camera 40 and the rear camera 42 and a radar sensor of the vehicle. The occurrence of the trigger event may be detected by recognizing it.
  • the event detection unit 18 may also detect the occurrence of a trigger event when the operation reception unit 26 receives a voice instruction indicating the pressing of the save start button provided on the drive recorder 10 or the save start.
  • the image processing unit 50 stores in advance an image recognition pattern for detecting various objects from the image, and detects an object appearing in the image using a predetermined image recognition algorithm based on the image recognition pattern.
  • Image recognition patterns may be defined by machine learning such as deep learning, especially on and around roads such as four-wheeled vehicles, two-wheeled vehicles, pedestrians, road installations, and other objects that can be captured by drive recorder cameras. It may be an image recognition pattern specialized for a possible object.
  • the image processing unit 50 further recognizes white lines and lanes on the road.
  • the image processing unit 50 detects a vehicle such as a four-wheeled vehicle or a two-wheeled vehicle as a peripheral vehicle among the objects detected from the image captured by the rear camera 42.
  • the recording control unit 20 is a video data constantly photographed by the front camera 40 or the rear camera 42 and acquired by the image acquisition unit 12, audio data constantly collected by the microphone 44 and acquired by the audio acquisition unit 14, and a vehicle information acquisition unit.
  • the vehicle information acquired by 16 is temporarily stored in the temporary storage unit 22.
  • the recording control unit 20 records the video data and audio data stored in the temporary storage unit 22 on the recording medium 48 by the ring buffer method.
  • the temporary storage unit 22 may be a non-volatile memory such as a flash memory or a solid state drive (SSD; Solid State Drive), or a buffer memory composed of a volatile memory such as a DRAM.
  • the recording medium 48 is, for example, a memory card such as an SD card (registered trademark), is used by being inserted into a slot provided in the drive recorder 10, and is configured to be removable from the drive recorder 10.
  • the recording medium 48 may be composed of an auxiliary storage device such as a solid state drive or a hard disk drive, or an auxiliary storage device built in the navigation device 11 may be used as such an auxiliary storage device.
  • the audio data stored in the temporary storage unit 22 and the audio data recorded in the recording medium 48 are stored or recorded in the format of a moving image file synthesized with the video data.
  • the moving image file may be stored or recorded as silent video data that does not include audio data. Therefore, although not particularly described, the concept of "moving image file" described below may or may not include audio data.
  • the video data to be stored in the temporary storage unit 22 may be stored as a moving image file in a streaming format separated by a predetermined time such as MPEG2-TS.
  • the video data to be recorded in the recording medium 48 may be in the same format as the moving image file stored in the temporary storage unit 22, or may be in a different format, for example, a format having a higher compression ratio such as MP4 format.
  • the recording control unit 20 Since the recording control unit 20 records the moving image file in the temporary storage unit 22 and the recording medium 48 by the ring buffer method, when the data recorded in the temporary storage unit 22 and the recording medium 48 is full, the oldest data is started first. It will be overwritten.
  • the recording control unit 20 temporarily records the moving image file in the temporary storage unit 22 and the recording medium 48 with an overwritable attribute.
  • the recording control unit 20 overwrites the moving image file recorded on the recording medium 48 for a period including at least the detection timing of the trigger event.
  • Overwriteable and non-overwritable attributes may be set, for example, by writing to a predetermined flag included in the moving image file, or writing the overwritable attribute to a management file such as an index independent of the moving image file. It may be set by.
  • When writing the overwriteability attribute in the original moving image file itself for example, information indicating the start position and end position of the period to be saved, which cannot be overwritten in the original moving image file, may be written.
  • the part other than the save target that is, the part that can be overwritten
  • the part from the start position to the end position of the save target is eventually cut out and remains in the other part.
  • Overwrite Further, by cutting out the part to be saved from the original moving image file and separately saving it in the form of an independent file, it may be a specification that distinguishes between overwriteable and non-overwritable.
  • the part to be cut out as a save target straddles a plurality of moving image files, the files cut out from each moving image file and concatenated may be saved.
  • the recording control unit 20 sets a moving image file as a container for recording the video being photographed acquired by the image acquisition unit 12 by dividing it into predetermined units.
  • the predetermined unit is, for example, one minute, and the recording of the frame image in the moving image file is divided every minute and a new moving image file is set.
  • the recording control unit 20 records a plurality of frame images constituting the image being photographed in the moving image file until a predetermined unit (for example, 1 minute) is satisfied.
  • a predetermined unit for example, 1 minute
  • the recording control unit 20 changes the recording destination of the video to the succeeding moving image file and closes the preceding moving image file that has been the recording destination until then.
  • the recording control unit 20 can target the moving image file for reproduction by adding information indicating the end to the end of the moving image file when the moving image file is closed.
  • the display control unit 28 reproduces the video recorded in the moving image file.
  • the drive recorder 10 or the like is provided with a button (hereinafter, also referred to as "previous playback button”) for instructing playback of the immediately preceding portion (hereinafter, "previous playback”), and the user is shooting. Nevertheless, it is possible to instruct immediate playback of the immediately preceding part by operating the last-minute playback button.
  • the immediately preceding playback button may be provided on the main body of the drive recorder 10 as a dedicated button, for example, or may be provided on the main body of the drive recorder 10 as a button that is also used as a normal playback button.
  • the dual-purpose button for example, when it is pressed once, it becomes a normal playback instruction, and it may function as a immediately preceding playback button only when it is long-pressed or repeatedly hit two or more times. Further, depending on the length of the long press time or the number of repeated hits, the time to go back to the playback start timing may be increased by 10 seconds.
  • reverse playback may be performed from the GOP (Group Of Pictures) immediately before the point being recorded, and sequential playback may be performed from the time when the long-press is released. In that case, by displaying only the keyframes included in the GOP, reverse playback may be performed like fast-forward rewinding.
  • the last-minute playback button may be displayed on the touch panel of the display device 49 included in the drive recorder 10, the navigation device 11, or an information terminal such as a mobile phone so that the user can operate it.
  • the operation reception unit 26 may receive an instruction for immediately preceding playback by voice input via the microphone 44.
  • the recording control unit 20 sets a subsequent moving image file to be a new recording destination of the video and changes the recording destination. , Close the preceding video file that was the recording destination until then.
  • the display control unit 28 reproduces the video from a predetermined time, for example, 20 seconds back from the end of the closed preceding moving image file, and ends the reproduction when the recording position at the time when the immediately preceding reproduction is instructed is reached.
  • the reproduction may be performed from the time when the immediately preceding reproduction is instructed to the time when a predetermined time elapses, such as 10 seconds later.
  • the recording control unit 20 triggers an instruction to reproduce the immediately preceding part.
  • the recording destination to the subsequent moving image file is not changed. More specifically, when the time point that goes back a predetermined time is included in the moving image file that is one step before the preceding moving image file, the playback starts from the time point that goes back a predetermined time and the previous moving image file. If the recording to the preceding moving image file can be completed by the time the end is reached, the recording destination to the subsequent moving image file is not changed triggered by the instruction to reproduce the immediately preceding part.
  • the recording control unit 20 changes the recording destination to the subsequent moving image file triggered by the instruction to reproduce the immediately preceding part, the recording control unit 20 finishes the reproduction of the immediately preceding part and then shifts the preceding moving image file and the succeeding moving image file.
  • the length of the subsequent moving image file is less than 1 minute according to the length of the preceding moving image file, that is, from 1 minute to the preceding, so that the combined moving image file becomes a 1-minute file.
  • the length is determined by subtracting the length of the moving image file.
  • the preceding moving image file and the succeeding moving image file are not combined after the immediately preceding playback, and the succeeding moving image file may be a one-minute file as usual.
  • the recording control unit 20 sets a non-overwriteable storage format for the moving image file that was the target of the immediately preceding playback. In this case, the entire moving image file that was the target of the previous playback may not be overwritten, only the part that was the target of the previous playback may be in a non-overwrite format, or only that part may be cut out from the original moving image file. You may save it in a non-overwrite format.
  • the event detection unit 18 may detect that the user has instructed the previous playback as a trigger event, and may set a non-overwriteable storage format for the moving image file targeted for the previous playback as a trigger. ..
  • the maximum number of moving image files to be set in a non-overwritable format may be set when the target of the immediately preceding playback is set.
  • the upper limit is, for example, 10.
  • the user may be allowed to select whether or not to set the moving image file that is the target of the immediately preceding playback in a non-overwritable format. For example, at the end of the last playback, "Do you want to save?" Is displayed on the screen, and the format may be set so that it cannot be overwritten only when the user selects to save.
  • the specification may be such that the target to be saved in a non-overwritable format is not a moving image file but a still image file.
  • the user may be allowed to specify the scene to be saved as a still image file.
  • the playback is paused at the position specified by the user during the previous playback, and the area specified by the user is enlarged and displayed. The area may be cut out and saved as a still image file.
  • FIG. 2 shows a first example of the time relationship between the video recording process and the playback process.
  • the upper part of the figure shows the state up to the reproduction instruction, and the lower part shows the state after the reproduction instruction. In both cases, recording starts from the leftmost position, and the rightmost position indicates the recording position.
  • the recording control unit 20 starts recording the video with the first moving image file 60a as the recording destination (t1), divides the moving image file one minute later (t2), and sets the new recording destination.
  • the second moving image file 60b is set and recording is continued with this as a new recording destination.
  • the moving image file is separated (t3), a third moving image file 60c as a new recording destination is set, and recording is continued with this as the new recording destination.
  • the recording control unit 20 closes the third moving image file 60c and adds information indicating the end as shown in the lower row, and new recording is performed.
  • the fourth moving image file 60d is set as the destination, and recording is continued with this as a new recording destination.
  • the display control unit 28 reproduces the portion 61 immediately before the reproduction instruction timing t5, that is, the portion for 20 seconds from the timing t4 to t5 that is 20 seconds back from t5.
  • the recording control unit 20 continues recording the video in the fourth moving image file 60d.
  • the remaining recording time of the 4th moving image file 60d is determined so that the 3rd moving image file 60c and the 4th moving image file 60d are later combined to form a 1-minute file, and the recording time has elapsed.
  • t6 a fifth moving image file 60e as a new recording destination is set, and recording is continued with this as a new recording destination (t7).
  • the recording control unit 20 After the reproduction of the immediately preceding portion 61 and the recording in the fourth moving image file 60d are completed, the recording control unit 20 combines the third moving image file 60c and the fourth moving image file 60d into one moving image file ( t3 to t6). Then, set a non-overwrite save format for this moving image file. As a result, all the moving image files are finally one minute long regardless of whether or not the moving image files are instructed to be played back. As a modification, it is assumed that the moving image file instructed to be played immediately before and the moving image file following it are not combined, and the subsequent moving image file including the fourth moving image file 60d is a moving image for 1 minute. It may be a file.
  • the third moving image file 60c instructed to be played immediately before remains as a moving image file of less than 1 minute even after the end of playback.
  • the third moving image file 60c being recorded is not closed and a new recording is performed. Playback may be started without setting the subsequent moving image file.
  • the playback position approaches the end of the second moving image file 60b, a subsequent moving image file to be a new recording destination is set, the recording destination is changed, and the third moving image file 60c is closed.
  • FIG. 3 shows a second example of the time relationship between the video recording process and the playback process.
  • the upper part of the figure shows the state up to the reproduction instruction, and the lower part shows the state after the reproduction instruction. In both cases, recording starts from the leftmost position, and the rightmost position indicates the recording position.
  • the recording control unit 20 starts recording the video with the sixth moving image file 62a as the recording destination (t11), divides the moving image file one minute later (t12), and sets the new recording destination.
  • the 7th moving image file 62b is set and recording is continued with this as a new recording destination.
  • the moving image file is separated (t14), the 8th moving image file 62c as a new recording destination is set, and recording is continued with this as the new recording destination.
  • the immediately preceding portion 63 for one minute from the position of t13, which is one minute back from the timing t15 is reproduced.
  • the purpose of reproducing the 7th moving image file 62b from t13 is purposely taken.
  • the time ⁇ from t13 to t14 which is the end of the 7th moving image file 62b, is equal to the time ⁇ from the playback instruction timing t15 to the scheduled end timing t17 of the 8th moving image file 62c. That is, the recording in the 8th moving image file 62c can be completed and closed by the end of the reproduction of the 7th moving image file 62b which started the reproduction from t13.
  • the previous seventh moving image file 62b is played back without closing the eighth moving image file 62c that was being recorded, and t14.
  • the portion from to t15 can also be continuously reproduced from the 7th moving image file 62b across the recording end timing of the 8th moving image file 62c.
  • the reproduction is performed as an example of reproducing from the time when the time is traced back one minute, but the same control can be performed even when the reproduction is performed from the time when the reproduction is performed one or more times earlier.
  • the video goes back to the sixth moving image file 62a, which is two before the eighth moving image file 62c in which the video is being recorded. Two minutes from the position may be reproduced as the immediately preceding part.
  • FIG. 4 is a flowchart showing the video recording process and the playback process. If the image acquisition unit 12 acquires the video (S10) and there is no setting of the moving image file to be the recording destination of the video (N in S12), the recording control unit 20 sets a new moving image file (S14). A video is recorded in the moving image file (S16). If there is a moving image file setting in S12, S14 is skipped (Y in S12) and the video is recorded in the moving image file (S16). If one minute has passed since the video was recorded in the video file (Y in S18), the recording control unit 20 newly sets the subsequent video file (S20), and the video is recorded in the subsequent video. Change to an image file (S22) and close the preceding moving image file (S24).
  • S20 to S24 are skipped (N in S18).
  • the recording control unit 20 when the user gives an instruction for immediately preceding playback (Y in S26), the recording control unit 20 newly sets a subsequent moving image file (S28), and sets the video recording destination to the subsequent moving image file. The change is made (S30), the preceding moving image file is closed (S32), and the display control unit 28 starts playback retroactively for a predetermined time (S34). If there is no playback instruction in S26, S28 to S34 are skipped (N in S26).
  • the immediately preceding image can be immediately reproduced during the shooting around the vehicle.
  • a scene that the driver misses or a target that has passed by occurs while the vehicle is running
  • a scene that he / she wants to review again can be immediately reproduced and confirmed by a simple operation. ..
  • the moving image file is divided for playback of the immediately preceding part, by combining it with the subsequent moving image file, the influence on file management due to playback in the middle should be minimized. Can be done.
  • by adjusting the playback method of the immediately preceding part it is possible to eliminate unnecessary division processing of the moving image file and minimize the influence on the file management.
  • the present invention relates to a recording control device for recording video, a recording control method, and a recording control program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

記録制御装置において、画像取得部12は、車両の周囲を撮影中にその撮影中の映像を取得する。記録制御部20は、画像取得部12で取得する撮影中の映像を所定単位ごとに区切って記録するための動画像ファイルを設定し、撮影中の映像を所定単位を満たすまで動画像ファイルに記録する。表示制御部28は、動画像ファイルに記録された映像を再生する。操作受付部26は、ユーザの操作入力を受け付ける。映像の記録中にその直前部分を再生する指示を操作受付部26がユーザから受けたとき、記録制御部20は、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じ、表示制御部28は、先行の動画像ファイルの終端より所定時間遡る時点から再生する。

Description

記録制御装置、記録制御方法、および記録制御プログラム
 本発明は、映像を記録する記録制御装置、記録制御方法、および記録制御プログラムに関する。
 テレビ放送用の録画装置においては、番組を録画しながらその録画中の番組を先頭から再生する追いかけ再生の機能が一般的であり、同様の機能がドライブレコーダに適用された例もある(例えば、特許文献1参照)。
特開2015-8483号公報
 しかし、追いかけ再生は、あくまで録画した最初からの再生を前提としており、先頭以外の任意の部分を即再生することは前提としていなかった。また、車両の乗員にとって、走行中に撮影しながらすぐに再生したいと思う内容は、必ずしも撮影した映像の先頭部分ではなかった。
 本発明はこうした状況に鑑みてなされたものであり、その目的は、車両周囲の撮影中に直前の映像を再生できる記録制御装置を提供することにある。
 上記課題を解決するために、本発明のある態様の記録制御装置は、車両の周囲を撮影中にその撮影中の映像を取得する画像取得部と、画像取得部で取得する撮影中の映像を所定単位ごとに区切って記録するための動画像ファイルを設定し、撮影中の映像を所定単位を満たすまで動画像ファイルに記録する記録制御部と、動画像ファイルに記録された映像を再生する表示制御部と、ユーザの操作入力を受け付ける操作受付部と、を備える。映像の記録中にその直前部分を再生する指示を操作受付部がユーザから受けたとき、記録制御部は、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じ、表示制御部は、先行の動画像ファイルの終端より所定時間遡る時点から再生する。
 本発明の別の態様は、記録制御方法である。この方法は、車両の周囲を撮影中にその撮影中の映像を取得する過程と、撮影中の映像を所定単位ごとに区切って記録するための動画像ファイルを設定する過程と、撮影中の映像を所定単位を満たすまで動画像ファイルに記録する過程と、動画像ファイルに記録された映像を再生する過程と、映像の記録中にその直前部分を再生する指示をユーザから受けたとき、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じる過程と、先行の動画像ファイルの終端より所定時間遡る時点から再生する過程と、を備える。
 なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システム、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。
 本発明によれば、車両周囲の撮影中に直前の映像を再生できる記録制御装置を提供することができる。
ドライブレコーダの機能構成を模式的に示すブロック図である。 映像の記録処理と再生処理の時間的関係について第1の例を示す図である。 映像の記録処理と再生処理の時間的関係について第2の例を示す図である。 映像の記録過程と再生過程を示すフローチャートである。
 以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。以下説明する実施の形態においては、記録制御装置として主にドライブレコーダおよびナビゲーション装置を例示する。
 図1は、ドライブレコーダ10の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのCPUやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
 ドライブレコーダ10は、画像取得部12、音声取得部14、車両情報取得部16、イベント検出部18、記録制御部20、一時記憶部22、通信部24、操作受付部26、画像処理部50、表示制御部28、音声出力部29を備える。画像取得部12は、車両情報取得部16の一部として構成されてもよく、画像取得部12が車両情報取得部16に含まれてもよい。ドライブレコーダ10は、車両に搭載される。通信部24は、外部機器との間で無線通信接続によって情報を送受信する。操作受付部26は、ユーザの操作入力を受け付ける。表示制御部28は、撮影した映像の表示装置49への表示を制御する。表示装置49は、ナビゲーション装置11が備えるモニタであるが、変形例としては、ドライブレコーダ10が表示装置49を内蔵する形で構成してもよいし、図示しないがインフォテインメントシステムや電子ミラー、ヘッドアップディスプレイなどの車両に装備されている表示装置に重畳表示や割り込み表示する形で構成してもよい。音声出力部29は、録音した音声や警告音などの音声を出力するスピーカ47への音声出力を制御する。スピーカ47は、ナビゲーション装置11または車両が備えるスピーカであるが、変形例としては、ドライブレコーダ10がスピーカ47を内蔵する形で構成してもよい。ドライブレコーダ10とナビゲーション装置11の接続は、通信部24を介した無線通信接続であってもよいし、UART(Universal Asynchronous Receiver/Transmitter)やUSB(Universal Serial Bus)などの有線通信接続であってもよい。
 画像取得部12は、車両の周囲を撮影中にその撮影中の映像を取得する。画像取得部12は、車両に設けられる前方カメラ40および後方カメラ42が撮影する映像を取得する。前方カメラ40は、車両の周囲、特に自車両の前方を撮影するように構成される。後方カメラ42は、車両の周囲、特に自車両の後方を撮影するように構成される。前方カメラ40は、自車両の前方および室内の双方を撮影するように構成されてもよく、自車両の前方や側方および室内をすべて撮影する構成として、周囲360度を撮影可能な一つの全周カメラで構成してもよいし、前後や側方を撮影する複数のカメラで構成してもよい。前方カメラ40、後方カメラ42は、ドライブレコーダ10に内蔵されてもよいし、ドライブレコーダ10とは別体であってもよい。後方カメラ42は、ナビゲーション装置11にも後方の映像を送るカメラであり、ドライブレコーダ10とナビゲーション装置11の両方のカメラとして兼用される。
 画像取得部12は、車両の走行に関する車両情報として前方カメラ40、後方カメラ42が撮影した映像を取得してもよく、画像取得部12を車両情報取得部16の一部とみなしてもよい。画像取得部12は、前方カメラ40からの映像を取得し、また、後方カメラ42からの映像を、ギアがリバースに入れられていることを示す車両情報が取得されるかどうかにかかわらず取得する。表示制御部28は、ギアがドライブやパーキングなどリバース以外に入れられていることを示す車両情報が取得される間は前方カメラ40からの映像を表示装置49に表示させる。ギアがリバースに入れられていることを示す車両情報が取得される間は後方カメラ42からの映像を表示装置49に表示させる。変形例としては、ギアがリバースに入れられていることを示す車両情報が取得されるかどうかにかかわらず、前方カメラ40からの映像だけでなく、後方カメラ42からの映像も合わせて表示装置49に常時表示させてもよい。
 音声取得部14は、車両に設けられるマイク44が取得する音声データを取得する。マイク44は、車両の内外から集音するよう構成される。マイク44は、ドライブレコーダ10に内蔵されてもよいし、ドライブレコーダ10とは別体であってもよいし、前方カメラ40または後方カメラ42と一体であってもよい。あるいは、ナビゲーション装置11に内蔵されてもよい。ナビゲーション装置11に内蔵される場合、マイク44はナビゲーション装置11の音声認識操作に用いられる。音声取得部14は、車両の走行に関する車両情報としてマイク44により音声を取得してもよく、音声取得部14を車両情報取得部16の一部とみなしてもよい。
 車両情報取得部16は、車両に設けられる車載装置46から車両の走行に関する車両情報を取得する。車載装置46の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、レーダセンサ、ライダ(LiDAR;Light Detection and Ranging)、位置情報センサ(例えば、GNSS;Global Navigation Satellite System)、乗員の着座センサなどが挙げられるが、これらに限定されるものではない。車両情報取得部16は、各種制御ECU(Electronic Control Unit)を介して車両情報を取得してもよいし、ナビゲーション装置11を介して車両情報を取得してもよい。また、ナビゲーション装置11が内蔵する位置情報センサから位置情報を取得してもよい。車両情報取得部16は、通信部24を介してユーザの携帯電話等の端末に内蔵された加速度センサ、ジャイロセンサ、位置情報センサ等の各センサによって検出された情報を取得してもよい。車両情報取得部16は、ドライブレコーダ10が内蔵するセンサから車両の走行に関する情報を取得してもよい。例えば、ドライブレコーダ10が加速度センサや位置情報センサなどのセンサを内蔵してもよい。なお、前方カメラ40、後方カメラ42やマイク44を車載装置の一つとしてみなし、車両情報取得部16が画像取得部12や音声取得部14を含むように構成されてもよい。
 車両情報取得部16は、例えば車両の状態に関する情報、車両に対する操作に関する情報、車両の速度に関する情報、車両の位置に関する情報、車両の周囲の障害物に関する情報、車両の運転支援機能の作動状態に関する情報などを車載装置46から取得する。車両情報取得部16が取得する各種情報は、後述する画像処理部50による画像認識で車両周囲の物体を検出するのとは異なり、カメラ以外のセンサからの検知情報である。車両情報取得部16は、車両の状態に関する情報として、例えばドアや窓の開閉状態を示す情報を取得してもよい。車両情報取得部16は、車両に対する操作に関する情報として、例えばドアや窓の開閉を指示する操作があったことを示す情報を取得してもよい。車両情報取得部16は、車両の周囲の障害物に関する情報として、車両の周囲の一定範囲内に他車両が存在するか否かや、走行中の車線上に歩行者や自転車、落下物や建造物などの障害物が存在するか否かを示す情報を取得してもよい。車両情報取得部16は、車両内に乗員が存在するか否かを示す情報を取得してもよい。車両情報取得部16は、車両の運転支援機能の作動状態に関する状態として、自動運転機能や遠隔操作機能のオンオフに関する情報や、特定の運転支援機能が作動中であるか否かに関する情報を取得してもよい。運転支援機能として、例えば、アダプティブ・クルーズ・コントロール(ACC;Adaptive Cruise Control)やレーン・キープ・アシスト(LKAS;Lane Keeping Assistance System)などが挙げられるが、これらに限定されるものではない。
 イベント検出部18は、画像取得部12が取得する映像データ、音声取得部14が取得する音声データ、車両情報取得部16が取得する車両情報に基づいて、予め定められた各種イベント(以下、「トリガーイベント」という)の発生を検出する。
 トリガーイベントは、車両の事故やトラブル等の重大事象として想定され、その発生や検出があった場合に映像データを上書き禁止データとして保存する契機となる保存契機イベントである。イベント検出部18は、トリガーイベントとして、例えば車両の衝突、接触、横転、転落などの事故や、周辺車両の運転者による粗暴行為や危険運転などのトラブルの発生を検知する。イベント検出部18は、例えば前方カメラ40、後方カメラ42によって取得される映像データやマイク44によって取得される音声データから、所定の認識パターンに基づく画像認識や音声認識によって事故やトラブルの発生を検出してもよい。イベント検出部18は、例えば車両の走行速度や加速度の情報、アクセル、ブレーキおよびステアリングなどの操作情報から、急発進、急停止、急旋回などによる車両挙動の急激な変化を認識することでトリガーイベントの発生を検出してもよい。イベント検出部18は、前方カメラ40、後方カメラ42の映像データや車両のレーダセンサなどの情報から、所定の認識パターンに基づいて車両周囲の物体との接近、走行中の車線からの逸脱などを認識することでトリガーイベントの発生を検出してもよい。イベント検出部18は、ドライブレコーダ10に設けられた保存開始ボタンの押下や保存開始を示す音声指示を操作受付部26が受け付けたときにも、これをトリガーイベントの発生として検出してもよい。
 画像処理部50は、画像から様々な物体を検出するための画像認識パターンを予め記憶するとともに、その画像認識パターンに基づいて所定の画像認識アルゴリズムを用いて画像に写る物体を検出する。画像認識パターンは、深層学習などの機械学習によって定義されてもよいし、特にドライブレコーダのカメラによって撮影し得る物体、例えば四輪車、二輪車、歩行者、道路設置物などの道路およびその周辺に存在し得る物体に特化した画像認識パターンであってもよい。画像処理部50は、道路上の白線や車線をさらに認識する。画像処理部50は、後方カメラ42によって撮影される画像から検出された物体のうち、四輪車や二輪車などの車両を周辺車両として検出する。
 記録制御部20は、前方カメラ40または後方カメラ42により常時撮影されて画像取得部12が取得した映像データ、マイク44により常時集音されて音声取得部14が取得した音声データ、車両情報取得部16が取得した車両情報を、一時記憶部22へ一時的に記憶させる。記録制御部20は、一時記憶部22に記憶される映像データおよび音声データをリングバッファ方式で記録媒体48に記録する。
 一時記憶部22は、フラッシュメモリないしソリッドステートドライブ(SSD;Solid State Drive)などの不揮発性メモリ、または、DRAMなどの揮発性メモリで構成されるバッファメモリであってもよい。記録媒体48は、例えば、SDカード(登録商標)などのメモリカードであり、ドライブレコーダ10に設けられるスロットに挿入して使用され、ドライブレコーダ10から取り外し可能となるよう構成される。記録媒体48は、ソリッドステートドライブやハードディスクドライブなどの補助記憶装置で構成されてもよいし、このような補助記憶装置としてナビゲーション装置11が内蔵する補助記憶装置を利用してもよい。なお、一時記憶部22へ記憶させる音声データや記録媒体48に記録される音声データは、映像データと合成された動画像ファイルの形式で記憶ないし記録される。ただし、ユーザが選択するモードに応じて、音声データが含まれない無音の映像データとして動画像ファイルが記憶ないし記録される場合もある。したがって、以下に説明する「動画像ファイル」の概念には、特に説明しないが、音声データが含まれる場合と含まれない場合とがあり得る。
 一時記憶部22へ記憶させる映像データは、MPEG2-TSなどの所定時間で区切られたストリーミング形式の動画像ファイルとして記憶させてもよい。記録媒体48へ記録する映像データは、一時記憶部22へ記憶させる動画像ファイルと同じ形式でもよいし、異なる形式、例えばMP4形式などのより圧縮率の高い形式でもよい。
 記録制御部20は、動画像ファイルをリングバッファ方式で一時記憶部22および記録媒体48へ記録するため、一時記憶部22および記録媒体48に記録されたデータが容量一杯になると、最も古いデータから上書きされる。記録制御部20は、動画像ファイルを上書き可能の属性で一時記憶部22および記録媒体48にいったん記録する。
 記録制御部20は、イベント検出部18によりトリガーイベントの発生が検出された場合に、記録媒体48に記録された動画像ファイルのうち、少なくともトリガーイベントの検出タイミングを含む期間の動画像ファイルに上書き不可の保存形式を設定する。上書き可能および上書き不可の属性は、例えば動画像ファイルに含まれる所定のフラグ等に書き込むことによって設定してもよいし、動画像ファイルから独立したインデックス等の管理ファイルに上書き可否の属性を書き込むことによって設定してもよい。元の動画像ファイル自体に上書き可否の属性を書き込む場合、例えば元の動画像ファイルのうち上書き不可とする保存対象の期間の開始位置と終了位置を示す情報を書き込んでもよい。この場合、保存対象以外の部分、すなわち上書き可能とする部分を後から別データで上書きする際に、保存対象の開始位置から終了位置までが結果的に切り出されて残るようにそれ以外の部分に上書きする。また、保存対象とする部分を元の動画像ファイルから切り出して独立させたファイルの形で別途保存することで、上書き可能と上書き不可を区別する仕様としてもよい。保存対象として切り出す部分が複数の動画像ファイルをまたぐ場合、それぞれの動画像ファイルから切り出して連結したファイルを保存してもよい。独立させたファイルの形で別途保存する場合、上書き可能なデータが記録された領域とは異なる特定の領域、例えば特定のフォルダに記録することで、上書き可能と上書き不可を区別する仕様としてもよい。上書き不可の属性が設定されたデータは、ユーザの明示的な操作によって削除または上書き可能の属性への変更がされるまで上書き禁止の状態が保持される。
 記録制御部20は、画像取得部12で取得する撮影中の映像を所定単位ごとに区切って記録するためのコンテナとして動画像ファイルを設定する。所定単位は、例えば1分間であり、動画像ファイルへのフレーム画像の記録を1分ごとに区切って新たに動画像ファイルを設定する。記録制御部20は、撮影中の映像を構成する複数のフレーム画像を、所定単位(例えば1分間)を満たすまで動画像ファイルに記録する。記録制御部20は、新たに後続の動画像ファイルを設定すると、その後続の動画像ファイルに映像の記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じる。記録制御部20は、動画像ファイルを閉じるときにファイルの終端に終端を示す情報を付加することにより、その動画像ファイルを再生の対象とすることができる。表示制御部28は、動画像ファイルに記録された映像を再生する。
 ここで、車両の走行中に運転者が見逃した光景や通り過ぎた目標物等、あらためて見直したい場面が生じることがある。例えば、交通情報表示、道路案内表示、道路標識、看板、事故現場、目的地、曲がる予定であった場所、駐車場の空き状況、飲食店の行列状況、人物や動物の出現等を通り過ぎて見直したい場合が想定される。このような場合、従来であればドライブレコーダ10によって映像を記録していても、直前に見逃したり通り過ぎたりした場面を即再生することはできず、メモリカードに保存して後から確認するしかなかった。本実施の形態においては、ドライブレコーダ10等に、直前部分の再生(以下、「直前再生」という)を指示するためのボタン(以下、「直前再生ボタン」ともいう)を設け、ユーザは撮影中にもかかわらず直前再生ボタンを操作して直前部分の即再生を指示することができる。直前再生ボタンは、例えば専用のボタンとしてドライブレコーダ10の本体に設けてもよいし、通常の再生ボタンと兼用のボタンとしてドライブレコーダ10の本体に設けてもよい。兼用ボタンの場合、例えば1回押下する場合は通常の再生指示となり、長押しまたは2回以上の連打をした場合にだけ直前再生ボタンとして機能するようにしてもよい。また、長押し時間の長さ、または連打の回数に応じて、再生開始タイミングまでの遡る時間を10秒ずつ長くするようにしてもよい。変形例においては、直前再生ボタンを長押しする間、記録中のポイントの直前にあるGOP(Group Of Pictures)から逆再生し、長押しが解除された時点から順再生する仕様としてもよい。その場合、GOPに含まれるキーフレームだけを表示することで早回しの巻き戻しのように逆再生してもよい。直前再生ボタンは、ドライブレコーダ10、ナビゲーション装置11、または携帯電話等の情報端末に含まれる表示装置49のタッチパネル上に表示してユーザが操作できるようにしてもよい。あるいは、操作受付部26はマイク44を介した音声入力により直前再生の指示を受けてもよい。
 記録制御部20は、映像の記録中に直前再生の指示を操作受付部26がユーザから受けたとき、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じる。表示制御部28は、閉じられた先行の動画像ファイルの終端より所定時間、例えば20秒遡る時点から再生し、直前再生が指示された時点の記録位置に達したときに再生を終了する。変形例として、直前再生が指示された時点からさらに10秒後等の所定時間経過時点まで再生するようにしてもよい。記録制御部20は、所定時間遡る時点が先行の動画像ファイルよりさらに一つ前の動画像ファイルに含まれる場合であって所定基準より前である場合には、直前部分を再生する指示を契機とする後続の動画像ファイルへの記録先の変更はしない。より具体的には、所定時間遡る時点が先行の動画像ファイルよりさらに一つ前の動画像ファイルに含まれる場合であって、所定時間遡る時点から再生開始して一つ前の動画像ファイルの終端に達するまでに先行の動画像ファイルへの記録が終了し得る場合には、直前部分を再生する指示を契機とする後続の動画像ファイルへの記録先の変更はしない。動画像ファイルを1分ごとに区切る仕様の場合、直前再生のために遡る時間が動画像ファイルの長さと等しい1分またはそれ以上である場合には、後続の動画像ファイルへ記録先を変更せずに、先行の動画像ファイルに含まれる直前部分を再生することができる。詳細は、図3において後述する。
 記録制御部20は、直前部分を再生する指示を契機として後続の動画像ファイルに記録先を変更した場合、直前部分の再生を終了した後、先行の動画像ファイルと後続の動画像ファイルとを結合する。結合後の動画像ファイルが1分間のファイルとなるように、後続の動画像ファイルの長さは、先行の動画像ファイルの長さに応じた1分未満の長さ、すなわち1分間から先行の動画像ファイルの長さを差し引いた長さに決定される。変形例においては、直前再生後に先行の動画像ファイルと後続の動画像ファイルを結合しない前提とし、後続の動画像ファイルも通常通りに1分間のファイルとしてもよい。
 記録制御部20は、直前再生の対象となった動画像ファイルに対しては、上書き不可の保存形式を設定する。この場合、直前再生の対象となった動画像ファイル全体を上書き不可としてもよいし、直前再生の対象となった部分だけを上書き不可の形式にしたり、その部分だけを元の動画像ファイルから切り出して上書き不可の形式で保存したりしてもよい。イベント検出部18は、ユーザから直前再生の指示があったことをトリガーイベントとして検出し、その検出を契機として直前再生の対象となった動画像ファイルに上書き不可の保存形式を設定してもよい。また、直前再生の対象となったことを契機として上書き不可の形式に設定する動画像ファイルの上限個数を設けてもよい。上限個数は、例えば10個である。直前再生の対象となった動画像ファイルを上書き不可の形式に設定するか否かをユーザに選択させるようにしてもよい。例えば、直前再生の終了時に、画面に「保存しますか?」と表示し、ユーザが保存を選択した場合にだけ上書き不可の形式に設定してもよい。直前再生の対象となった動画像ファイルのうち、上書き不可の形式で保存する対象を動画像ファイルではなく静止画ファイルとする仕様でもよい。この場合、静止画ファイルとして保存する場面をユーザに指定させてもよく、例えば直前再生中にユーザが指定した位置で再生を一時停止し、ユーザが指定した領域を拡大表示してその拡大された領域を切り出して静止画ファイルとして保存するようにしてもよい。
 図2は、映像の記録処理と再生処理の時間的関係について第1の例を示す。図の上段は再生指示までの状態を示し、下段は再生指示後の状態を示す。いずれも左端の位置から記録を開始して、右端が記録中の位置を示す。図の上段に示すように、記録制御部20が第1動画像ファイル60aを記録先として映像の記録を開始し(t1)、1分後に動画像ファイルを区切り(t2)、新たな記録先となる第2動画像ファイル60bを設定してこれを新たな記録先として記録を継続する。さらに1分後に動画像ファイルを区切り(t3)、新たな記録先となる第3動画像ファイル60cを設定してこれを新たな記録先として記録を継続する。映像記録中の任意のタイミングt5においてユーザが直前再生を指示したとき、下段に示すように、記録制御部20が第3動画像ファイル60cを閉じて終端を示す情報を付加するとともに、新たな記録先となる第4動画像ファイル60dを設定してこれを新たな記録先として記録を継続する。同時に、下段に示すように再生指示タイミングt5の直前部分61、すなわちt5から20秒遡ったタイミングt4からt5にかけての20秒間の部分を表示制御部28が再生する。表示制御部28が直前部分61を再生する間も記録制御部20は第4動画像ファイル60dへの映像の記録を継続する。ただし、第3動画像ファイル60cと第4動画像ファイル60dを後から結合して1分間のファイルとなるように第4動画像ファイル60dの残りの記録時間が決定され、その記録時間が経過したときに(t6)、新たな記録先となる第5動画像ファイル60eを設定してこれを新たな記録先として記録を継続する(t7)。
 直前部分61の再生および第4動画像ファイル60dへの記録が終了した後、記録制御部20は第3動画像ファイル60cと第4動画像ファイル60dを結合して一つの動画像ファイルとする(t3~t6)。その上で、この動画像ファイルに上書き不可の保存形式を設定する。これにより、再生指示のあった動画像ファイルか否かにかかわらず、最終的にはすべての動画像ファイルが1分間の長さとなる。なお、変形例として、直前再生を指示された動画像ファイルとその後続の動画像ファイルとを結合しないことを前提とし、第4動画像ファイル60dを含む後続の動画像ファイルは1分間の動画像ファイルとしてもよい。この場合、直前再生を指示された第3動画像ファイル60cは、再生終了後も1分未満の動画像ファイルとして残る。また、変形例として、直前再生の指示タイミングt5から所定時間遡る時点が一つ前の第2動画像ファイル60bに含まれる場合、記録中である第3動画像ファイル60cを閉じず、新たな記録先となる後続の動画像ファイルも設定しないまま再生を開始してもよい。この場合、再生位置が第2動画像ファイル60bの終端に差し掛かったタイミングで新たな記録先となる後続の動画像ファイルを設定して記録先を変更し、第3動画像ファイル60cを閉じる。ただし、このような処理をするのは、直前再生を指示されたときに遡る時間が1分未満である仕様の場合であり、1分以上遡る仕様の場合は後述する図3のように制御する。
 図3は、映像の記録処理と再生処理の時間的関係について第2の例を示す。図の上段は再生指示までの状態を示し、下段は再生指示後の状態を示す。いずれも左端の位置から記録を開始して、右端が記録中の位置を示す。本図では、直前再生を指示された場合に1分遡った時点から再生する例を説明する。図の上段に示すように、記録制御部20が第6動画像ファイル62aを記録先として映像の記録を開始し(t11)、1分後に動画像ファイルを区切り(t12)、新たな記録先となる第7動画像ファイル62bを設定してこれを新たな記録先として記録を継続する。さらに1分後に動画像ファイルを区切り(t14)、新たな記録先となる第8動画像ファイル62cを設定してこれを新たな記録先として記録を継続する。映像記録中の任意のタイミングt15においてユーザが直前再生を指示したとき、下段に示すように、タイミングt15から1分遡った時点であるt13の位置から1分間の直前部分63を再生する。ここで、t13の位置は、映像を記録中である第8動画像ファイル62cより一つ前の第7動画像ファイル62bに含まれるため、t13から第7動画像ファイル62bを再生する目的でわざわざ第8動画像ファイル62cを閉じる必要がなく、t15の再生指示以降も第8動画像ファイル62cへの映像の記録を継続できる(t16)。また、t13から再生開始して第7動画像ファイル62bの終端であるt14までの時間αは、再生指示タイミングt15から第8動画像ファイル62cの終了予定タイミングt17までの時間βと等しい。すなわち、t13から再生開始した第7動画像ファイル62bの再生終了までに第8動画像ファイル62cへの記録も終了して閉じることができる。このように、再生指示のタイミングt15から1分以上遡って再生する場合は、記録中であった第8動画像ファイル62cを閉じることなく一つ前の第7動画像ファイル62bを再生し、t14からt15までの部分も、第8動画像ファイル62cの記録終了タイミングをまたいで第7動画像ファイル62bから継続的に再生することができる。図3においては1分遡った時点から再生する例として説明したが、一つ以上前のさらに長い時間遡った時点から再生するとした場合においても同様に制御できる。例えば映像記録中の任意のタイミングt15においてユーザが2分間遡った直前再生を指示した場合は、映像を記録中となる第8動画像ファイル62cより二つ前の第6動画像ファイル62aまで遡った位置からの2分間を直前部分として再生すればよい。
 図4は、映像の記録過程と再生過程を示すフローチャートである。画像取得部12が映像を取得し(S10)、映像の記録先となる動画像ファイルの設定がない場合は(S12のN)、記録制御部20が新しい動画像ファイルを設定し(S14)、その動画像ファイルに映像を記録する(S16)。S12において動画像ファイルの設定がある場合はS14をスキップし(S12のY)、動画像ファイルに映像を記録する(S16)。動画像ファイルへの映像の記録が1分を経過していたら(S18のY)、記録制御部20が新たに後続の動画像ファイルを設定し(S20)、映像の記録先をその後続の動画像ファイルに変更し(S22)、先行の動画像ファイルを閉じる(S24)。S18において1分が経過していなければ、S20~S24をスキップする(S18のN)。ここで、ユーザから直前再生の指示があった場合(S26のY)、記録制御部20が新たに後続の動画像ファイルを設定し(S28)、映像の記録先をその後続の動画像ファイルに変更し(S30)、先行の動画像ファイルを閉じ(S32)、表示制御部28が所定時間遡って再生開始する(S34)。S26において再生指示がなかった場合、S28~S34をスキップする(S26のN)。再生位置が直前部分の終端に達した場合(S36のY)、直前再生を終了し(S38)、動画像ファイルの結合が必要な場合は(S40のY)、先行の動画像ファイルと後続の動画像ファイルを結合し(S42)、結合の必要がない場合はS42をスキップする(S40のN)。S36において直前部分の終端に達していなければS38~S42をスキップする(S36のN)。本図のフローを抜けて最初に戻り、本図のフローを繰り返す。
 以上、実施の形態において説明したように、車両周囲の撮影中に直前の映像を即再生することができる。これにより、車両の走行中に運転者が見逃した光景や通り過ぎた目標物等、あらためて見直したい場面が生じたときに、簡単な操作だけで即座に直前の映像を再生して確認することができる。またこのような直前部分の再生のために動画像ファイルを分割した場合であっても後続の動画像ファイルと結合することにより、途中で再生することによるファイル管理上の影響を最小限にすることができる。さらに、直前部分の再生方法を調整することで、動画像ファイルの不必要な分割処理をなくし、ファイル管理上の影響を最小限にすることができる。
 以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
 10 ドライブレコーダ、 12 画像取得部、 20 記録制御部、 26 操作受付部、 28 表示制御部、 49 表示装置。
 本発明は、映像を記録する記録制御装置、記録制御方法、および記録制御プログラムに関する。

Claims (5)

  1.  車両の周囲を撮影中にその撮影中の映像を取得する画像取得部と、
     前記画像取得部で取得する撮影中の映像を所定単位ごとに区切って記録するための動画像ファイルを設定し、前記撮影中の映像を前記所定単位を満たすまで前記動画像ファイルに記録する記録制御部と、
     前記動画像ファイルに記録された映像を再生する表示制御部と、
     ユーザの操作入力を受け付ける操作受付部と、
     を備え、
     前記映像の記録中にその直前部分を再生する指示を前記操作受付部がユーザから受けたとき、
     前記記録制御部は、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じ、
     前記表示制御部は、前記先行の動画像ファイルの終端より所定時間遡る時点から再生することを特徴とする記録制御装置。
  2.  前記記録制御部は、前記所定時間遡る時点が前記先行の動画像ファイルよりさらに一つ以上前の動画像ファイルに含まれる場合であって所定基準より前である場合には、前記直前部分を再生する指示を契機とする前記後続の動画像ファイルへの記録先の変更はしないことを特徴とする請求項1に記載の記録制御装置。
  3.  前記記録制御部は、前記直前部分を再生する指示を契機として前記後続の動画像ファイルに記録先を変更した場合、前記直前部分の再生を終了した後、前記先行の動画像ファイルと前記後続の動画像ファイルとを結合することを特徴とする請求項1に記載の記録制御装置。
  4.  車両の周囲を撮影中にその撮影中の映像を取得する過程と、
     前記撮影中の映像を所定単位ごとに区切って記録するための動画像ファイルを設定する過程と、
     前記撮影中の映像を前記所定単位を満たすまで前記動画像ファイルに記録する過程と、
     前記動画像ファイルに記録された映像を再生する過程と、
     前記映像の記録中にその直前部分を再生する指示をユーザから受けたとき、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じる過程と、
     前記先行の動画像ファイルの終端より所定時間遡る時点から再生する過程と、
     を備えることを特徴とする記録制御方法。
  5.  車両の周囲を撮影中にその撮影中の映像を取得する機能と、
     前記撮影中の映像を所定単位ごとに区切って記録するための動画像ファイルを設定し、前記撮影中の映像を前記所定単位を満たすまで前記動画像ファイルに記録する機能と、
     前記動画像ファイルに記録された映像を再生する機能と、
     ユーザの操作入力を受け付ける機能と、
     をコンピュータに実現させ、
     前記映像の記録中にその直前部分を再生する指示をユーザから受けたとき、
     前記記録する機能は、映像の新たな記録先となる後続の動画像ファイルを設定して記録先を変更するとともに、それまで記録先であった先行の動画像ファイルを閉じ、
     前記再生する機能は、前記先行の動画像ファイルの終端より所定時間遡る時点から再生することを特徴とする記録制御プログラム。
PCT/JP2020/043369 2020-01-06 2020-11-20 記録制御装置、記録制御方法、および記録制御プログラム WO2021140760A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080078334.4A CN114731386A (zh) 2020-01-06 2020-11-20 记录控制装置、记录控制方法及记录控制程序
EP20911385.1A EP4089676A4 (en) 2020-01-06 2020-11-20 RECORDING CONTROL DEVICE, RECORDING CONTROL METHOD AND RECORDING CONTROL PROGRAM
US17/854,119 US11750771B2 (en) 2020-01-06 2022-06-30 Recording control apparatus, recording control method, and recording control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020000383A JP7418681B2 (ja) 2020-01-06 2020-01-06 記録制御装置、記録制御方法、および記録制御プログラム
JP2020-000383 2020-01-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/854,119 Continuation US11750771B2 (en) 2020-01-06 2022-06-30 Recording control apparatus, recording control method, and recording control program

Publications (1)

Publication Number Publication Date
WO2021140760A1 true WO2021140760A1 (ja) 2021-07-15

Family

ID=76787826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043369 WO2021140760A1 (ja) 2020-01-06 2020-11-20 記録制御装置、記録制御方法、および記録制御プログラム

Country Status (5)

Country Link
US (1) US11750771B2 (ja)
EP (1) EP4089676A4 (ja)
JP (1) JP7418681B2 (ja)
CN (1) CN114731386A (ja)
WO (1) WO2021140760A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328154A (ja) * 2004-05-12 2005-11-24 Canon Inc 記録装置、ファイル分割方法、及びプログラム
JP2015008483A (ja) 2014-08-01 2015-01-15 株式会社ユピテル 車両用映像記録装置、再生装置、プログラム
JP2015046948A (ja) * 2014-12-10 2015-03-12 キヤノン株式会社 画像処理装置
JP2016092464A (ja) * 2014-10-30 2016-05-23 株式会社ユピテル 電子機器及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
US9230602B2 (en) * 2014-03-17 2016-01-05 Clipcast Technologies, LLC Media clip creation and distribution systems, apparatus, and methods
US9974663B2 (en) * 2014-10-09 2018-05-22 Warsaw Orthopedic, Inc. Spinal implant system and method
US20170280096A1 (en) * 2016-03-22 2017-09-28 Marc Vayn Recoil activated video recording through a digital imaging system
JP6778626B2 (ja) * 2017-02-01 2020-11-04 株式会社デンソーテン 運転情報記録装置、運転情報表示処理システム、運転情報記録方法、表示処理方法、及び、プログラム
CN110324549B (zh) * 2018-03-28 2022-05-13 沈阳美行科技股份有限公司 一种录像方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328154A (ja) * 2004-05-12 2005-11-24 Canon Inc 記録装置、ファイル分割方法、及びプログラム
JP2015008483A (ja) 2014-08-01 2015-01-15 株式会社ユピテル 車両用映像記録装置、再生装置、プログラム
JP2016092464A (ja) * 2014-10-30 2016-05-23 株式会社ユピテル 電子機器及びプログラム
JP2015046948A (ja) * 2014-12-10 2015-03-12 キヤノン株式会社 画像処理装置

Also Published As

Publication number Publication date
CN114731386A (zh) 2022-07-08
EP4089676A4 (en) 2023-05-10
US20220329751A1 (en) 2022-10-13
JP2021111804A (ja) 2021-08-02
EP4089676A1 (en) 2022-11-16
US11750771B2 (en) 2023-09-05
JP7418681B2 (ja) 2024-01-22

Similar Documents

Publication Publication Date Title
JP7122729B2 (ja) ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム
JP5177821B2 (ja) 車両用映像記録装置、再生装置、プログラム
JP7327042B2 (ja) 記録制御装置、記録制御方法、および記録制御プログラム
JP2000006854A (ja) 車両用ドライブレコーダ
US20200043260A1 (en) Recording control device, recording apparatus, navigation apparatus, recording method, and non-transitory computer readable medium
JP7462973B2 (ja) 記録装置及びプログラム
WO2021140760A1 (ja) 記録制御装置、記録制御方法、および記録制御プログラム
JP7370446B2 (ja) 車載映像記録装置及びその制御方法
JP6769504B2 (ja) 車両用記録制御装置、車両用撮影装置、車両用記録制御方法およびプログラム
JP6002975B2 (ja) 車両用映像記録装置、再生装置、プログラム
WO2019203107A1 (ja) ドライブレコーダ、表示制御方法およびプログラム
JP7277894B2 (ja) システム,制御方法,プログラム等
JP5604722B2 (ja) 車両用映像記録装置、再生装置、プログラム
WO2022091666A1 (ja) 車両用記録制御装置および車両用記録制御方法
JP2021184547A (ja) データ記録装置及び方法
JP7367556B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP6427780B2 (ja) 車両用映像記録装置、再生装置、プログラム
JP7310196B2 (ja) 記録装置、記録方法およびプログラム
JP7447455B2 (ja) 車両用記録制御装置および車両用記録制御方法
JP6201112B2 (ja) 車両用映像記録装置、再生装置、プログラム
WO2022190481A1 (ja) 車両用記録装置および記録方法
JP2023155621A (ja) 映像記録装置および映像記録方法
JP2021135958A (ja) 記録制御装置、記録制御方法、およびプログラム
JP2021005407A (ja) 車両用記録制御装置、および車両用記録制御方法
JP2024017152A (ja) 車両用記録制御装置および記録制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911385

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020911385

Country of ref document: EP

Effective date: 20220808