WO2018047393A1 - 映像出力システム - Google Patents

映像出力システム Download PDF

Info

Publication number
WO2018047393A1
WO2018047393A1 PCT/JP2017/014368 JP2017014368W WO2018047393A1 WO 2018047393 A1 WO2018047393 A1 WO 2018047393A1 JP 2017014368 W JP2017014368 W JP 2017014368W WO 2018047393 A1 WO2018047393 A1 WO 2018047393A1
Authority
WO
WIPO (PCT)
Prior art keywords
condition
unit
video
camera
information
Prior art date
Application number
PCT/JP2017/014368
Other languages
English (en)
French (fr)
Inventor
山田　哲也
浩一 横浦
敏之 印南
春樹 的野
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP17848340.0A priority Critical patent/EP3511911A4/en
Priority to US16/327,010 priority patent/US11023750B2/en
Priority to CN201780048809.3A priority patent/CN109661688B/zh
Publication of WO2018047393A1 publication Critical patent/WO2018047393A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a video output system.
  • Patent Document 1 data acquisition means for constantly acquiring a plurality of types of data from an external device mounted on a vehicle, a memory buffer for temporarily storing the acquired types of data, and a plurality of acquired A data recording means for selecting only a predetermined type of data based on a predetermined condition among the types of data, and a data storage area for recording data selected by the data recording means among the predetermined types of data , Scene / situation judging means for judging a plurality of scenes and situations around the vehicle itself and information from the information temporarily stored in the memory buffer, and the plurality of scenes / situations judged by the scene / situation judging means And acquisition data switching means for designating to the data recording means the type of data to be recorded in the data recording area.
  • Vehicle information storage device is disclosed, wherein.
  • Patent Document 2 discloses a vehicle-mounted video device that can be operated during driving of a vehicle, imaging an ambient condition of the vehicle and outputting a video signal, and video recording for recording the video signal Means, display means for displaying the video signal or imaging conditions on a predetermined part of the vehicle, and imaging operation means for controlling the imaging means, wherein the imaging operation means is a zoom of the imaging means, and An on-vehicle video apparatus capable of setting an imaging optical axis is disclosed.
  • an image sensor is mentioned as a typical sensor used for automatic driving.
  • the video captured by the camera is presented to the occupant as it is, it is difficult for the occupant to grasp the recognition status of the surrounding environment, and if the video captured by the camera is recorded as it is, the amount of information becomes enormous. For this reason, it is required to obtain an image that matches a predetermined condition from the image captured by the camera.
  • Patent Document 1 it is impossible to output an image that satisfies a predetermined condition.
  • Patent Document 2 it is assumed that the user manually operates the imaging operation means, and an image corresponding to a predetermined condition cannot be obtained without the user's manual operation.
  • a video output system is a video output system including a camera and an interface device, the interface device including a condition storage unit that instructs the camera to select a video, and the camera A video output unit that outputs a captured video received from the image sensor, wherein the camera is an image sensor, a video generation unit that generates a captured video based on the output of the image sensor, and a condition for acquiring the condition from the interface device
  • Identification information based on the recognition result of the recognition target according to the condition in the captured image that is determined whether the captured image generated by the acquisition unit and the image generation unit matches the condition, and determined to meet the condition
  • a recognition comparison unit that generates the image, and at least the recognition comparison unit among the captured images generated by the image generation unit satisfies the condition. Matches and determining the captured image, and and a camera operation section for outputting the identification information to the interface device.
  • the figure which shows the structure of the video output system in 1st Embodiment The figure which shows an example of a recording condition table The figure which shows an example of UI for sensors The figure which shows an example of a process table Diagram showing the outline of the operation of the video output system The flowchart showing operation
  • the figure which shows the operation example in 3rd Embodiment The figure which shows an example of an auxiliary recognition information table
  • FIG. 1 is a diagram showing a configuration of a video output system 100 mounted on a vehicle.
  • the video output system 100 includes a camera 1, an interface device 2, a recording device 3, and an in-vehicle device 4.
  • the vehicle includes an in-vehicle network such as a CAN (Controller Area Network), and the CAN is connected to the camera 1.
  • CAN Controller Area Network
  • the camera 1 includes an image sensor 5, a CPU, a ROM, and a RAM for photographing the surroundings of the vehicle.
  • the CPU develops a program (not shown) stored in the ROM into the RAM and executes the program, thereby generating a video generation unit 6 that generates a captured video based on the output of the image sensor 5 and a subject that is captured in the captured video.
  • a recognition unit 7 that recognizes and outputs identification information and additional information, a condition acquisition unit 8 that acquires a recording condition ID (to be described later) from the interface device 2, a comparison unit 9 that compares a recognition result by the recognition unit 7 and a recording condition, It functions as a camera calculation unit 10 that outputs the captured video, additional information, and identification information to the interface device 2.
  • the image sensor 5 outputs a signal obtained by photographing the periphery of the vehicle to the video generation unit 6.
  • the image sensor 5 starts to operate when the camera 1 is turned on.
  • the video generation unit 6 generates a captured video based on the output of the image sensor 5.
  • the video generation unit 6 outputs the generated captured video to the recognition unit 7 and the camera calculation unit 10.
  • the captured video is a set of images arranged in time series, and the images constituting the captured video are also referred to as “frames” below.
  • the reference timing for example, the number of shots from the start of shooting is also referred to as “frame number”.
  • the tenth frame from the start of photographing is referred to as “the tenth frame” or “the frame whose frame number is 10.”
  • the recognizing unit 7 receives the captured video from the video generating unit 6, and receives the recognition method, information regarding correction of the captured video, and the type of additional information from the condition acquiring unit 8.
  • the recognition unit 7 performs recognition processing on objects such as pedestrians, vehicles, two-wheeled vehicles, signs, road lane markings, and environments such as daytime, nighttime, and backlight conditions, and captures these recognition targets.
  • Each recognition method suitable for recognition in video is provided.
  • the recognition unit 7 performs recognition processing for each of the frames constituting the captured video using the recognition method specified by the condition acquisition unit 8, and sets the recognition target object or environment corresponding to the recognition method in the processing target frame. If it is recognized, identification information and additional information are output to the camera calculation unit 10.
  • the recognition unit 7 also outputs the identification information to the comparison unit 9.
  • the recognizing unit 7 identifies, for example, that an object such as a pedestrian or a two-wheeled vehicle has been photographed in the processing target frame, or that the environment in which the processing target frame has been photographed is in the daytime or in a backlight state.
  • the identification information corresponding to each is output.
  • the identification information is a predetermined three-digit integer, for example, “001” when a pedestrian is recognized, “002” when a two-wheeled vehicle is recognized, and when it is recognized as being in a backlight state. “004” is output as identification information.
  • the additional information is information related to the recognition target recognized by the recognition unit 7 in the captured video. For example, when an object such as a pedestrian or a vehicle is recognized as the recognition target, the coordinates of the target are output as additional information. Is done.
  • the recognition unit 7 may perform the recognition process not for each frame but for each predetermined number of frames, for example, every 10 frames.
  • the condition acquisition unit 8 includes a processing table 81.
  • the processing table 81 stores a plurality of conditions for recording the captured video by the recording device 3, a recognition method for each condition, correction to the captured video to be output, and additional information to be output. Which of the plurality of conditions stored in the processing table 81 is currently valid is specified by the recording condition ID acquired from the interface device 2. The processing table 81 will be described later. Based on the processing table 81 and the recording condition ID, the condition acquisition unit 8 outputs a recording condition, which is a condition for recording the captured video by the recording device 3, to the comparison unit 9, and provides information regarding correction of the captured video to the camera calculation unit 10. The recognition method and the type of additional information are output to the recognition unit 7.
  • the comparison unit 9 is based on the identification information output from the recognition unit 7 and the vehicle operation status obtained from the CAN with respect to the frame of the captured image in which the recognition unit 7 has recognized a specific object or environment in the recognition process described above. It is determined whether the frame satisfies the recording condition output from the condition acquisition unit 8.
  • the vehicle operation status obtained from CAN includes, for example, engine speed, vehicle speed, brake operation, acceleration, and the like.
  • the comparison unit 9 determines that the recording condition is satisfied, the comparison unit 9 outputs success / failure information indicating that the condition is satisfied, for example, success / failure information having a value of “1” to the camera calculation unit 10 and determines that the recording condition is not satisfied. In this case, success / failure information indicating that the condition is not satisfied, for example, success / failure information having a value of “0” is output to the camera calculation unit 10.
  • the camera calculation unit 10 outputs the captured video output from the video generation unit 6 to the interface device 2. Further, when the recognition unit 7 outputs the identification information and the additional information and the comparison unit 9 determines that the recording condition is satisfied, the identification information and the additional information are added to the captured video and output to the interface device 2. On the other hand, when the recognition unit 7 does not output the identification information and the additional information, or when the comparison unit 9 determines that the recording condition is not satisfied, the identification information and the additional information are not added, and only the captured image is displayed. Output to. However, when adding the identification information and the additional information, the camera calculation unit 10 corrects the captured image based on an instruction from the condition acquisition unit 8, for example, corrects the gamma value and outputs the corrected image.
  • the camera calculation unit 10 may process the captured video so that the object recognized by the recognition unit 7 can be easily identified based on the additional information output by the recognition unit 7. For example, the camera calculation unit 10 performs a process of surrounding the object recognized by the recognition unit 7 with a circle or a rectangle.
  • the interface device 2 includes a CPU, a ROM, a RAM, and a nonvolatile memory.
  • the CPU functions as a match information generation unit 20, a video output unit 21, and a condition storage unit 22 by developing and executing a program (not shown) stored in the ROM on the RAM.
  • the match information generation unit 20 Based on the identification information, the match information generation unit 20 generates condition match information indicating the first frame and the last frame of frames that match the shooting conditions in the shot video.
  • the match information generation unit 20 outputs the generated condition match information to the recording device 3 and the in-vehicle device 4.
  • the video output unit 21 receives a captured video, identification information, and additional information from the camera 1.
  • the video output unit 21 outputs the input captured video, identification information, and additional information to the recording device 3.
  • the video output unit 21 also outputs the input captured video to the in-vehicle device 4.
  • the condition storage unit 22 includes a recording condition table 221, and when a recording condition is input from the in-vehicle device 4, the recording condition ID corresponding to the recording condition is specified from the recording condition table 221 and stored in the nonvolatile memory. In addition, the recording condition ID is output to the camera 1. However, the condition storage unit 22 may output the recording condition ID stored in the non-volatile memory to the camera 1 when it detects that the camera 1 is activated at an appropriate timing.
  • the output of the recording condition ID to the camera 1 is realized, for example, when the interface device 2 is a master and the camera 1 is a slave in serial communication, and the interface device 2 sends a clock and data to the slave.
  • the recording device 3 is, for example, a drive recorder including a CPU, a ROM, a RAM, and a nonvolatile memory.
  • the CPU functions as the recording control unit 30 by expanding a program (not shown) stored in the ROM into the RAM and executing it.
  • the recording control unit 30 causes the storage unit 32 to store a part of the captured video temporarily stored in the recording buffer 31 based on the condition matching information received from the interface device 2.
  • the condition matching information is information indicating the first frame and the last frame that match the recording conditions, and therefore, the storage from the first frame to the last frame is stored in the storage unit 32.
  • the recording control unit 30 receives a recording instruction from a recorder UI 41 described below, the recording unit 30 stores the captured video received from the interface device 2 in the storage unit 32 while the instruction continues, regardless of the condition matching information. .
  • the recording buffer 31 is realized by using a RAM area, and temporarily stores captured video, identification information, and additional information received from the interface device 2.
  • the storage unit 32 is realized by using an area of a nonvolatile memory, and stores a part of the captured video based on an instruction from the recording control unit 30.
  • the storage unit 32 further stores identification information stored in the recording buffer 31 and additional information.
  • the in-vehicle device 4 is, for example, a car navigation device including a display unit 43, a CPU, a ROM, a RAM, and an input unit (not shown).
  • the CPU develops a program (not shown) stored in the ROM in the RAM and executes it, thereby executing a sensor user interface (hereinafter referred to as “sensor UI”) 40 and a recorder user interface (hereinafter referred to as “recorder UI”).
  • sensor UI 40 is a user interface for setting recording conditions. When the user operates the sensor UI 40 to set the recording condition, the setting is output to the interface device 2.
  • the recorder UI 41 outputs a recording start command and a recording end command to the recording device 3 based on a user operation. For example, when the user presses a button (not shown), the in-vehicle device 4 outputs a recording start command, and when the user finishes pressing the button, outputs a recording end command.
  • the display unit 43 displays the video output from the display control unit 42.
  • the display control unit 42 receives the captured video and the condition matching information from the interface device 2. Based on the condition matching information received from the interface device 2, the display control unit 42 outputs a captured video that matches the recording conditions to the display unit 43. That is, if the above-described recording start command is excluded, the captured video displayed on the display unit 43 and the captured video recorded in the storage unit 32 are the same.
  • FIG. 2 is a diagram illustrating an example of the recording condition table 221.
  • the recording conditions are a combination of environmental conditions and object conditions.
  • the recording condition table 221 is a table showing the correspondence between recording condition IDs and combinations of environmental conditions and object conditions.
  • the environmental condition is a condition related to the environment of the photographed video, for example, “less illumination at night” or “daytime”.
  • the object condition is a condition related to the subject of the captured image, that is, the object captured in the captured image. For example, “pedestrian” and “two-wheeled vehicle” are captured.
  • the condition of the target object includes not only that a specific object is photographed but also that a target event such as a lane change or a sudden brake is performed on the vehicle. Whether or not the target event has been performed is determined based on the situation estimated from the temporal context of the subject in the captured video, the vehicle operating situation obtained from CAN, and the like.
  • the recording condition ID is defined for each combination of environmental condition and object condition.
  • the recording condition ID “0001” corresponds to a combination of the environmental condition “lighting is low at night” and the object condition that the shooting target is “pedestrian”.
  • FIG. 3 is a diagram illustrating an example of the sensor UI 40.
  • the sensor UI 40 shown in FIG. 3 is configured to be able to independently select an environmental condition and an object condition that constitute a recording condition.
  • FIG. 3 shows an example of the sensor UI 40 in which three sets of environmental conditions and object conditions can be selected, at least one set of environmental conditions and object conditions may be selected.
  • the respective conditions are output to the condition storage unit 22.
  • the condition storage unit 22 refers to the recording condition table 221, specifies a recording condition ID corresponding to the output condition, stores the recording condition ID, and outputs it to the camera 1.
  • FIG. 4 is a diagram illustrating an example of the processing table 81.
  • the processing table 81 shown in FIG. 4 shows a combination of conditions, a captured video recognition method, and output information.
  • the condition is composed of fields of “recording condition ID”, “environmental condition”, and “object condition”, the recognition method of the photographed video is composed of fields of “recognition method”, and information on output is “video correction”, And “additional information” fields.
  • the “recording condition ID” field the value of the recording condition ID output from the condition storage unit 22 is stored. Since a plurality of records are stored in the processing table 81, the condition acquisition unit 8 acquires the value of the recording condition ID from the interface device 2 and determines a currently valid record.
  • the values stored in the “recording condition ID”, “environmental condition”, and “object condition” fields are the same as those in the recording condition table 221 shown in FIG.
  • the “recognition technique” field information for identifying a recognition technique to be performed on a captured video in order to determine a recording condition is stored.
  • the recognition unit 7 determines that the recording condition is satisfied if the photographed image is an environment with little night illumination and a pedestrian is photographed. Therefore, it is indicated that the luminance value evaluation and the pedestrian recognition process should be executed.
  • the camera calculation unit 10 performs gamma correction on the captured video and outputs the same to the interface device 2 and outputs the pedestrian's coordinates as additional information.
  • the camera calculation unit 10 also outputs identification information indicating what is recognized by the recognition unit 7 as described above.
  • FIG. 5 is a diagram showing an outline of the operation of the video output system 100.
  • time passes from the upper part to the lower part in the figure. Squares in the figure indicate that each device is operating.
  • the user operates the in-vehicle device 4 to activate the camera 1, the interface device 2, and the recording device 3 (S101).
  • the interface apparatus 2 refers to the recording condition table 221 to search for the corresponding recording condition ID, and records this.
  • the recording condition ID is output to the camera 1 (S103).
  • the camera 1 captures an image (S104), and if the recognition unit 7 and the comparison unit 9 determine that the captured image matches the recording condition, the camera calculation unit 10 displays the captured image, identification information, and additional information as an interface device. 2 (S105).
  • the interface device 2 that has received this creates condition matching information based on the identification information.
  • the interface device 2 outputs the captured video, condition matching information, identification information, and additional information to the recording device 3 (S106), and outputs the captured video and condition matching information to the in-vehicle device 4 (S107). If the camera 1 determines that the captured video does not match the recording conditions, the camera 1 outputs the captured video to the interface device 2 but does not output identification information or assignment information.
  • the interface device 2 does not generate condition matching information, so that the captured image is not displayed on the in-vehicle device 4. Further, except for the case where a recording start command is output from the recorder UI 41 of the in-vehicle device 4, the recorded video is not recorded in the recording device 3.
  • FIG. 6 is a flowchart showing the operations of the recognition unit 7, the comparison unit 9, and the camera calculation unit 10 of the camera 1.
  • the execution subject of each step described below is a CPU (not shown) provided in the camera 1.
  • the video generation unit 6 When the camera 1 is turned on and the video generation unit 6 generates a captured video, an operation described below is started. Although not described in the following flowchart, the video generation unit 6 generates a captured video, that is, a new frame of the captured video, as needed.
  • step S ⁇ b> 201 the recognition unit 7 sets a recognition method used for recognition processing of a recognition target according to the specified recording condition and sets which information is output as additional information based on the output of the condition acquisition unit 8. To do.
  • the recognizing unit 7 performs a recognition process on a new frame generated as a captured video, and generates identification information and additional information.
  • the comparison unit 9 compares the identification information generated by the recognition unit 7 with the recording condition. At this time, if it is specified as a recording condition that a target event such as a lane change or sudden braking was performed on the vehicle as described above, the operation status of the vehicle obtained from CAN is also used as necessary. Thus, the comparison process in step S203 is performed.
  • step S204 if it is determined by the comparison in step S203 that the identification information matches the recording condition, the process proceeds to step S205. If it is determined that the identification information does not match, the process proceeds to step 207.
  • step S ⁇ b> 205 the camera calculation unit 10 corrects the captured video based on the output of the condition acquisition unit 8.
  • step S206 the camera calculation unit 10 outputs the captured image corrected in step S205, the identification information and additional information generated by the recognition unit 7 to the interface device 2, and proceeds to step S208.
  • step S207 which is executed when a negative determination is made in step S204, the captured video generated by the video generation unit 6 is output to the interface device 2 and the process proceeds to step S208.
  • information indicating that the recording condition is not satisfied may be added to the captured video and output instead of the identification information and additional information output by adding to the captured video in step S206.
  • step S208 it is determined whether or not the power has been changed to off. If it is determined that the power has been turned off, the flowchart shown in FIG. 6 is terminated. If it is determined that the power has not been turned off, step S201 is performed. Return to.
  • FIG. 7 is a flowchart showing the operation of the recording apparatus 3.
  • An execution subject of each step described below is a recording control unit 30, that is, a CPU (not shown) provided in the recording apparatus 3.
  • the recording control unit 30 starts the operation described below when the power of the recording apparatus 3 is turned on.
  • step S301 it is determined whether or not a recording start command is received from the recorder UI 41 of the in-vehicle device 4. If it is determined that a recording start command has been received, the process proceeds to step S302. If it is determined that a recording start command has not been received, the process proceeds to step S305. In step S302, recording of the captured video, identification information, and additional information received from the interface device 2 to the storage unit 32 is started. However, when the captured video is output from the interface device 2 but the identification information and the additional information are not output, only the captured video is recorded in the storage unit 32. As described above, reception of information from the interface device 2 is performed at any time, and this recording is continued until step S304 described later is executed.
  • step S303 it is determined whether a recording end command is received from the recorder UI 41 or not. If it is determined that it has been received, the process proceeds to step S304. If it is determined that a recording end command has not been received, the process remains in step S303. In step S304, recording in the storage unit 32 is terminated, and the process proceeds to step S305.
  • step S305 it is determined whether or not condition matching information is received from the interface device 2. If it is determined that the condition matching information has been received, the process proceeds to step S306. If it is determined that the condition matching information has not been received, the process proceeds to step S310. In step S306, it is determined whether the first frame of the captured video specified from the condition matching information has been received. If it is determined that the first frame has been received, the process proceeds to step S307. If it is determined that the first frame has not been received, the process remains in step S306. In step S307, recording of the captured video, identification information, and additional information received from the interface device 2 to the storage unit 32 is started.
  • step S308 it is determined whether or not the last frame of the captured video specified from the condition matching information is received. If it is determined that the end frame has been received, the process proceeds to step S309. If it is determined that the end frame has not been received, the process remains in step S308. In step S309, recording in the storage unit 32 is terminated, and the process proceeds to step S310. In step S310, it is determined whether or not the power has been changed to off. If it is determined that the power has been turned off, the flowchart shown in FIG. 7 is terminated. If it is determined that the power has not been turned off, step S301 is performed. Return to.
  • the video output system 100 includes a camera 1 and an interface device 2.
  • the interface device 2 includes a condition storage unit 22 that instructs the camera 1 on a recording condition that is a condition for selecting a video, and a video output unit 21 that outputs a captured video received from the camera 1.
  • the camera 1 includes an image sensor 5, a video generation unit 6 that generates a captured video based on the output of the image sensor 5, a condition acquisition unit 8 that acquires recording conditions from the interface device 2, and a captured video generated by the video generation unit 6.
  • a camera calculation unit 10 that outputs at least the captured video that the comparison unit 9 has determined to match the recording condition and the identification information to the interface device 2 among the captured videos generated by the video generation unit 6. Therefore, an image that matches the recording condition can be obtained from the captured image of the camera 1.
  • the interface device 2 Based on the identification information output from the camera 1, the interface device 2 generates matching information that generates condition matching information indicating the first frame that matches the condition and the last frame that matches the condition in the captured video received from the camera 1.
  • a generation unit 20 is provided.
  • the match information generation unit 20 outputs condition match information. Therefore, it is possible to discriminate a frame that matches the recording condition from the output captured video.
  • the condition matching information can be created in accordance with a data format predetermined in the recording device 3 or the in-vehicle device 4 that is the data output destination of the interface device.
  • the video output system 100 includes the recording device 3.
  • the recording device 3 includes a storage unit 32 that stores video, and a recording control unit 30 that records the captured video output by the video output unit of the interface device 2 based on the condition matching information in the storage unit 32. Therefore, the recording device 3 can record a captured video that matches the recording conditions.
  • the video output system 100 includes the in-vehicle device 4 that is also a display device.
  • the in-vehicle device 4 includes a display unit 43 that displays a video, and a display control unit 42 that displays a captured video output from the video output unit 21 of the interface device 2 based on the condition matching information. Therefore, the in-vehicle device 4 can display a captured video that matches the recording conditions. For example, when a vehicle is automatically driven, an event that triggers the operation of the vehicle is designated as a shooting condition, so that the vehicle occupant assumes the movement of the vehicle in advance by looking at the display on the display unit 43. Can give you a sense of security. Specifically, when an algorithm for stopping when a pedestrian is detected in automatic driving is included, the image of the pedestrian is displayed when the vehicle stops by setting the shooting condition to “detect pedestrian”. 43.
  • the photographing conditions include at least one of environmental conditions and object conditions.
  • the recognition unit 7 further outputs additional information related to the recognition target, and the camera calculation unit 10 processes and outputs the captured video based on the additional information. Therefore, the captured video can be processed and output based on the recognition result of the recognition unit 7.
  • the video output system 100 includes an in-vehicle device 4 through which a user inputs recording conditions. Recording conditions input by the user using the in-vehicle device 4 are stored in the condition storage unit 22 of the interface device 2. Therefore, the user can arbitrarily set recording conditions.
  • the first embodiment described above may be modified as follows.
  • (Modification 1) The camera 1 may output the captured video only when the comparison unit 9 determines that the recording condition is satisfied. If the comparison unit 9 determines that the recording condition is not satisfied, the camera calculation unit 10 may or may not output information indicating that the recording condition is not satisfied. If the comparison unit 9 determines that the recording condition is not satisfied, the video signal itself may not be output, or a black or white filled image may be output. In this modification, the video output unit 21 does not have to output the condition matching condition.
  • the display control unit 42 of the in-vehicle device 4 does not perform any special processing even when the condition matching information is received.
  • the display control unit 42 causes the display unit 43 to display the captured video without performing selection of the video based on the condition matching information as in the first embodiment.
  • FIG. 8 is a flowchart illustrating operations of the recognition unit 7, the comparison unit 9, and the camera calculation unit 10 of the camera 1 according to the first modification. The difference from the flowchart shown in FIG. 6 in the first embodiment is that step S207 does not exist. In other words, in this modified example, if a negative determination is made in step S204, the process proceeds to step S208 without outputting a photographed video or the like.
  • the video output system 100 includes the in-vehicle device 4 including the display unit 43 that displays the captured video output from the interface device 2.
  • the camera calculation unit 10 outputs only the photographic video that the comparison unit 9 determines to meet the recording conditions among the photographic video generated by the video generation unit 6.
  • the video output unit 21 outputs a captured video received from the camera calculation unit 10. Therefore, since the camera 1 outputs only the captured video that matches the recording conditions, the amount of data transmitted from the camera 1 to the interface device 2 can be reduced. The reduction of the communication amount is particularly effective when a plurality of devices are connected to the interface device 2.
  • Modification 2 When the recording control unit 30 of the recording device 3 can determine whether or not it is necessary to record each frame of the captured video based on the identification information and additional information, or the display control unit 42 of the in-vehicle device 4 performs display based on the identification information and additional information.
  • the interface apparatus 2 may output identification information and additional information instead of the condition matching information without generating the condition matching information. That is, the interface device 2 does not need to include the match information generation unit 20. In this case, the identification information and additional information output from the camera 1 are output to the recording device 3 and the in-vehicle device 4 as they are together with the captured video.
  • the video output unit 21 outputs a captured video and identification information received from the camera 1. Therefore, the configuration of the interface device 2 can be simplified.
  • the display control unit 42 can surround the pedestrian with a circle or a rectangle using the additional information, for example, the display control unit 42 can explicitly notify the driver of the location of the object to be alerted.
  • the recognition unit 7 may not generate additional information in principle, and may generate additional information only when a request is received from the comparison unit 9. In this case, when the comparison unit 9 determines that the recording condition is satisfied, the comparison unit 9 requests the recognition unit 7 to generate additional information.
  • the configuration of the camera 1, the interface device 2, the recording device 3, and the in-vehicle device 4 and their function sharing are determined for convenience, and may be different configurations or different function sharing.
  • the interface device 2 may be configured integrally with the camera 1, the recording device 3, or the in-vehicle device 4. Further, correction of the captured video may be performed by a device other than the camera 1, for example, the video output unit 21 of the interface device 2.
  • the configuration of the video generation unit 6, the recognition unit 7, the condition acquisition unit 8, the comparison unit 9, and the camera calculation unit 10 and their function sharing are determined for convenience. It may be.
  • the recognition unit 7 and the comparison unit 9 may be integrally configured, or the video generation unit 6 may correct the captured video. That is, any configuration may be used as long as the camera 1 has the functions of the video generation unit 6, the recognition unit 7, the condition acquisition unit 8, the comparison unit 9, and the camera calculation unit 10.
  • Each of the environmental condition and the object condition constituting the recording condition may include “no condition”. For example, when the environmental condition is “no condition” and the object condition is “pedestrian”, it is determined that the recording condition is satisfied only by detecting the pedestrian.
  • the video output system 100 may include a plurality of cameras 1, and the interface device 2 may be connected to the plurality of cameras 1.
  • the interface device 2 can be handled by providing connection ports corresponding to the number of cameras 1. Therefore, the video output system 100 including a plurality of cameras 1 can be realized without changing the configuration of the recording device 3 and the in-vehicle device 4.
  • the camera calculation unit 10 may output success / failure information output by the comparison unit 9 together with the captured video.
  • the video output unit 21 outputs the received success / failure information together with the captured video.
  • the recording device 3 and the in-vehicle device 4 may determine whether to record or display a photographed video or the like based on the success / failure information.
  • the interface device 2 may not include the match information generation unit 20.
  • a second embodiment of the video output system 100 will be described with reference to FIG.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment differs from the first embodiment mainly in that the in-vehicle device has a database function.
  • FIG. 9 is a diagram illustrating a configuration of a video output system according to the second embodiment.
  • the in-vehicle device 4 further includes a database 45.
  • the recorder UI 41 is not shown.
  • Condition matching information is input to the database 45 from the matching information generation unit 20, and identification information and additional information are input from the video output unit 21.
  • the captured video is not input to the database 45.
  • the database 45 Based on these pieces of input information, the database 45 accumulates recording control information including information on frames that match the recording conditions in the captured video and information on the recording conditions.
  • the format of the database 45 may be a relational database, a column store database, or any other format, and the format is not limited.
  • the video output system 100 includes the in-vehicle device 4 including the database 45.
  • the recognition unit 7 of the camera 1 outputs recognition information indicating which of the recording conditions the captured video matches.
  • the video output unit 21 outputs the recognition information input from the camera 1 to the in-vehicle device 4.
  • the database 45 records recording control information including information on the frame corresponding to the recording condition and information on the recording condition in the captured video. For this reason, the information of the captured video recorded in the recording device 3 is accumulated in the database 45, so that a desired captured video can be easily accessed by searching the database 45.
  • FIGS. 1 and 2 A third embodiment of the video output system 100 will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment mainly in that two cameras are connected to the interface device and information is shared between the cameras.
  • FIG. 10 is a diagram illustrating a configuration of a video output system according to the third embodiment.
  • the difference from the first embodiment is that a first camera 1A and a second camera 1B are provided instead of the camera 1.
  • the configuration of the first camera 1A and the second camera 1B is the same, and the range that the camera captures is different as will be described later.
  • the video output unit 21 of the interface device 2 outputs the input identification information to another camera. For example, when identification information is input from the first camera 1A, the identification information is output to the second camera 1B.
  • FIG. 11 is a diagram illustrating the configuration of the first camera 1 ⁇ / b> A and the relationship between the first camera 1 ⁇ / b> A and the interface device 2.
  • the configuration of the first camera 1A is substantially the same as that of the camera 1 in the first embodiment, and the difference is the operation of the recognition unit 7.
  • the recognition unit 7 performs recognition processing of the captured video in consideration of the identification information. For example, based on the known positional relationship between the first camera 1A and the second camera 1B, the probability that an object recognized by the second camera 1B will be photographed by the first camera 1A is calculated and considered in object recognition. . In addition, when some object is detected from the captured video, it may be possible to confirm over several frames in order to confirm that it is not noise when the recognition result by another camera is not used. However, if the same object is detected in the second camera 1B, it can be determined that the object has been recognized without confirmation over several frames, and identification information can be output.
  • FIG. 12 is a diagram illustrating an operation example in the third embodiment.
  • Video output system 100 is mounted on vehicle 410.
  • the vehicle 410 includes a first camera 1A on the left front side and a second camera 1B in the center.
  • the field of view 431 of the first camera 1A is the front left of the vehicle 410
  • the field of view 432 of the second camera 1B is the front of the vehicle 410.
  • the vehicle 411 and the vehicle 412 are stopped in the adjacent travel lane on which the vehicle 410 travels.
  • a pedestrian 420 is walking in the direction of the vehicle 410 from between these vehicles.
  • the current position of the pedestrian 420 is within the range of the visual field 431 of the first camera 1A, but is outside the range of the visual field 432 of the second camera 1B.
  • the operation of the video output system 100 in this situation will be described.
  • the recognition unit 7 of the first camera 1A determines that the pedestrian 420 has been recognized from the analysis result over a plurality of frames of the captured image, and the identification information indicating the pedestrian is transmitted to the video of the interface device 2 via the camera calculation unit 10.
  • the video output unit 21 outputs the identification information received from the first camera 1A to the recognition unit 7 of the second camera 1B. Since the identification information indicating the pedestrian is input to the second camera 1B, the captured image is recognized in consideration of the high possibility of detecting the pedestrian compared to other objects. Therefore, when the pedestrian 420 enters the range of the visual field 423 of the second camera 1B, the pedestrian can be quickly recognized.
  • the video output system 100 includes a first camera 1A and a second camera 1B.
  • the first camera 1A determines whether or not the image sensor 5 that acquires ambient information
  • the condition acquisition unit 8 that acquires conditions from the interface device 2
  • the ambient information acquired by the image sensor 5 matches the conditions.
  • An auxiliary recognition signal indicating whether or not the condition is met, that is, identification information is generated, and the sensor additional information generation unit that outputs the identification information to the interface device 2, that is, the recognition unit 7, the comparison unit 9, and the camera calculation unit 10 are provided.
  • the interface device 2 includes an auxiliary recognition signal transfer unit that transmits an identification signal output from the first camera 1A to the second camera 1B, that is, a video output unit 21.
  • the recognition unit 7 of the second camera 1B is a video generation unit of the second camera 1B based on the captured video generated by the video generation unit 6 of the second camera 1B and the identification information of the first camera 1A transmitted from the interface device 2. It is determined whether or not the photographed video generated by 6 meets the conditions. Therefore, early recognition of captured images and improvement of recognition accuracy can be realized by using the recognition results of other cameras.
  • the recognition unit 7 of the first camera 1A and the second camera 1B may output auxiliary recognition information in addition to the identification information when a three-dimensional object is recognized.
  • the auxiliary recognition information is information obtained by combining the type, position, moving direction, moving speed, and distance of the three-dimensional object.
  • the auxiliary recognition information can be transmitted using an auxiliary recognition ID based on a predetermined auxiliary recognition information table, for example.
  • FIG. 13 is a diagram illustrating an example of the auxiliary recognition information table.
  • the auxiliary recognition information table includes auxiliary recognition ID, solid object, position, moving direction, moving speed, and distance fields. A 4-digit integer is stored in the “auxiliary recognition ID” field.
  • Information indicating the type of the recognized three-dimensional object is stored in the “three-dimensional object” field.
  • the “position” field stores information indicating a predefined positional relationship. For example, A1 indicates the left front and A2 indicates the right front.
  • Information indicating the direction in which the three-dimensional object is moving is stored in the “movement direction” field.
  • Information indicating the moving speed of the three-dimensional object is stored in the “moving speed” field.
  • distance information indicating the distance to the three-dimensional object is stored.
  • This auxiliary recognition information table is stored in the first camera 1A and the second camera 1B.
  • the recognition unit 7 When the recognized three-dimensional object meets one of the conditions described in the auxiliary recognition information table, the recognition unit 7 outputs the corresponding auxiliary recognition ID as auxiliary identification information in addition to the identification information.
  • the interface device 2 When receiving the auxiliary recognition information from any camera, the interface device 2 outputs the auxiliary recognition information to the recognition unit 7 of the other camera.
  • the recognition unit 7 to which the auxiliary recognition information is input from the interface device 2 recognizes the captured image in consideration of the auxiliary recognition information in addition to the identification information. According to this modification, detailed information of the three-dimensional object recognized by another camera can be obtained, which is more effective for early recognition of captured images and improvement of recognition accuracy.
  • the sensor connected to the interface device 2 is not limited to the camera. Any sensor can be used as long as it can acquire ambient information, such as a laser radar or an ultrasonic sensor. Further, the number of sensors connected to the interface device 2 is not limited to 2, and may be 3 or more. In this case, the interface device 2 may output information acquired by a certain sensor to all other sensors, or may output only to a specific sensor. Moreover, you may determine to which sensor it outputs according to the acquired information.
  • the programs of the camera 1 and the interface device 2 are stored in a ROM (not shown), the programs may be stored in a nonvolatile memory.
  • the camera 1 or the interface device 2 may include an input / output interface (not shown), and the program may be read from another device via a medium that can use the input / output interface when necessary.
  • the medium refers to, for example, a storage medium that can be attached to and detached from the input / output interface, or a communication medium, that is, a wired, wireless, or optical network, or a carrier wave or digital signal that propagates through the network.
  • part or all of the functions realized by the program may be realized by a hardware circuit or FPGA.

Abstract

映像出力システム（１００）は、カメラ（１）およびインタフェース装置（２）を備える映像出力システム（１００）であって、インタフェース装置（２）は、カメラに映像が選択される条件を指示する条件格納部（２２）と、カメラ（１）から受信する撮影映像を出力する映像出力部（２１）とを備え、カメラ（１）は、イメージセンサ（５）と、イメージセンサ（５）の出力に基づき撮影映像を生成する映像生成部（６）と、インタフェース装置（２）から条件を取得する条件取得部（８）と、映像生成部（６）が生成する撮影映像が条件に合致するか否かを判断し、条件に合致すると判断した撮影映像における条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部（７、９）と、映像生成部（６）が生成する撮影映像のうち少なくとも認識比較部（７、９）が条件に合致すると判断した撮影映像、および識別情報をインタフェース装置（２）に出力するカメラ演算部（１０）と、を備える。

Description

映像出力システム
　本発明は、映像出力システムに関する。
　近年、交通事故の減少、渋滞の削減、効率的な走行によるCO2削減に向けて、自動運転の技術開発が盛んである。自動運転されている車両において、ユーザが車両の動作に違和感を与えないように、車両が備えるセンサによる周囲環境の認識状況をその車両の乗員へ提示することが考えられる。また、問題が発生した場合の事後解析のために、車両が備えるセンサの出力を記録することも有用である。
　特許文献１には、車両に搭載される外部の機器から複数の種類のデータを常時取得するデータ取得手段と、取得した複数の種類のデータを一時的に保管するメモリバッファと、取得した複数の種類のデータのうち、所定の条件の基に、所定の種類のデータのみ選択するデータ記録手段と、所定の種類のデータのうち、前記データ記録手段によって選択されたデータを記録するデータ記憶領域と、前記メモリバッファに一時的に蓄積された情報から、車両自体及び周辺の複数の場面や状況を判断する場面・状況判断手段と、前記場面・状況判断手段によって判断された前記複数の場面・状況を前記所定の条件として、前記データ記録領域に記録させるデータの種類を前記データ記録手段に対して指定する取得データ切り替え手段とを備えたことを特徴とする車載情報蓄積装置が開示されている。
　特許文献２には、車両の運転中に操作可能な車両搭載用映像装置であって、上記車両の周囲状況を撮像して、映像信号を出力する撮像手段と、上記映像信号を記録する映像記録手段と、上記映像信号、または撮像条件を上記車両の所定部位に表示する表示手段と、記撮像手段を制御する撮像操作手段とを具備し、上記撮像操作手段が、上記撮像手段のズーム、および撮像光軸方向の設定操作が可能である車両搭載用映像装置が開示されている。
日本国特開２０１１－１４１６５５号公報 日本国特開平９－６３０００号公報
　ところで自動運転に用いられるセンサの代表的なものとして、画像センサが挙げられる。たとえば、画像センサを用いたカメラにより車両周囲の映像を撮影し、その映像を利用して周囲環境の認識状況を乗員へ提示したり、カメラから出力された映像を記録したりすることが考えられる。しかしながら、カメラの撮影映像をそのまま乗員に提示しても、乗員は周囲環境の認識状況を把握することが難しく、またカメラの撮影映像をそのまま記録すると、情報量が膨大になる。そのため、カメラの撮影映像から所定の条件に合致する映像を得ることが求められる。
　特許文献１に記載されている発明では、所定の条件を満たす映像を出力することができない。また特許文献２に記載されている発明では、ユーザが手動で撮像操作手段を操作することが前提となっており所定の条件に該当する映像をユーザの手動操作なしで得ることができない。
　本発明の第１の態様による映像出力システムは、カメラおよびインタフェース装置を備える映像出力システムであって、前記インタフェース装置は、前記カメラに映像が選択される条件を指示する条件格納部と、前記カメラから受信する撮影映像を出力する映像出力部とを備え、前記カメラは、イメージセンサと、前記イメージセンサの出力に基づき撮影映像を生成する映像生成部と、前記インタフェース装置から前記条件を取得する条件取得部と、前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断し、前記条件に合致すると判断した撮影映像における前記条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部と、前記映像生成部が生成する撮影映像のうち少なくとも前記認識比較部が前記条件に合致すると判断した撮影映像、および前記識別情報を前記インタフェース装置に出力するカメラ演算部と、を備える。
　本発明によれば、カメラの撮影映像から条件に合致する映像を得ることができる。
第１の実施の形態における映像出力システムの構成を示す図 記録条件テーブルの一例を示す図 センサ用ＵＩの一例を示す図 処理テーブルの一例を示す図 映像出力システムの動作の概要を示す図 第１の実施の形態におけるカメラの認識部、比較部、およびカメラ演算部の動作を表すフローチャート 記録装置の動作を表すフローチャート 変形例１におけるカメラの認識部、比較部、およびカメラ演算部の動作を表すフローチャート 第２の実施の形態における映像出力システムの構成を示す図 第３の実施の形態における映像出力システムの構成を示す図 第１カメラの構成、および第１カメラとインタフェース装置との関係を示す図 第３の実施の形態における動作例を示す図 補助認識情報テーブルの一例を示す図
（第１の実施の形態）
　以下、図１～図７を参照して、映像出力システム１００の第１の実施の形態を説明する。
（構成）
　図１は、車両に搭載される映像出力システム１００の構成を示す図である。映像出力システム１００は、カメラ１と、インタフェース装置２と、記録装置３と、車載装置４とを備える。車両は車載ネットワーク、たとえばＣＡＮ（Controller Area Network）を備え、ＣＡＮはカメラ１に接続される。
　カメラ１は、車両の周囲を撮影するイメージセンサ５、ＣＰＵ、ＲＯＭ，およびＲＡＭを備える。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、イメージセンサ５の出力に基づき撮影映像を生成する映像生成部６と、撮影映像に撮影されている被写体などを認識し識別情報および付加情報を出力する認識部７と、インタフェース装置２から後述する記録条件ＩＤを取得する条件取得部８と、認識部７による認識結果と記録条件を比較する比較部９と、撮影映像、付加情報、および識別情報をインタフェース装置２に出力するカメラ演算部１０として機能する。
　イメージセンサ５は、車両の周囲を撮影して得られた信号を映像生成部６に出力する。イメージセンサ５は、カメラ１の電源がオンになると動作を開始する。
　映像生成部６は、イメージセンサ５の出力に基づき撮影映像を生成する。映像生成部６は、生成した撮影映像を認識部７およびカメラ演算部１０に出力する。撮影映像は時系列順に並べられた画像の集合であり、撮影映像を構成する画像を以下では「フレーム」とも呼ぶ。また、基準となるタイミング、たとえば撮影開始時からの撮影枚数を「フレーム番号」とも呼ぶ。たとえば撮影開始から１０枚目のフレームは、「１０フレーム目」、または「フレーム番号が１０のフレーム」と呼ぶ。
　認識部７は、映像生成部６から撮影映像が入力され、条件取得部８から認識手法、撮影映像の補正に関する情報、および付加情報の種類が入力される。認識部７は、歩行者、車両、二輪車、標識、道路区画線などの対象物や、昼間、夜間、逆光状態などの環境を認識対象として認識処理を行うものであり、これらの認識対象を撮影映像において認識するのに適したそれぞれの認識手法を備える。認識部７は撮影映像を構成するフレームのそれぞれを対象として条件取得部８から指定された認識手法で認識処理を行い、その認識手法に対応する認識対象の対象物や環境を処理対象のフレーム内で認識した場合には、識別情報および付加情報をカメラ演算部１０に出力する。ただし認識部７は、識別情報を比較部９にも出力する。認識部７はたとえば、処理対象のフレームに歩行者、二輪車などの対象物が撮影されていることや、処理対象のフレームが撮影された環境が昼間や逆光状態であることなどを識別して、それぞれに対応する識別情報を出力する。識別情報とは、たとえばあらかじめ定められた３桁の整数であり、歩行者が認識された場合は「００１」、二輪車が認識された場合は「００２」、逆光状態であると認識された場合は「００４」がそれぞれ識別情報として出力される。複数の対象物や複数種類の環境の認識が同時に行われた場合は、たとえばそれぞれの認識に対応する識別情報を連結したものが１つの識別情報として出力される。付加情報とは、認識部７が撮影映像において認識した認識対象に関する情報であり、たとえば歩行者や車両などの対象物を認識対象として認識した場合は、その対象物の座標が付加情報としてそれぞれ出力される。ただし認識部７は、フレームごとではなく所定のフレーム数ごと、たとえば１０フレームごとに認識処理を行ってもよい。
　条件取得部８は、処理テーブル８１を備える。処理テーブル８１には、撮影映像を記録装置３が記録する複数の条件、条件ごとの認識手法、出力する撮影映像への補正、および出力する付加情報が格納される。処理テーブル８１に格納される複数の条件のうち、いずれの条件が現在有効であるかはインタフェース装置２から取得する記録条件ＩＤにより特定される。処理テーブル８１については後述する。条件取得部８は、処理テーブル８１および記録条件ＩＤに基づき、撮影映像を記録装置３が記録する条件である記録条件を比較部９に出力し、撮影映像の補正に関する情報をカメラ演算部１０に出力し、認識手法および付加情報の種類を認識部７に出力する。
　比較部９は、前述の認識処理において認識部７が特定の対象物や環境を認識した撮影画像のフレームについて、認識部７が出力する識別情報、およびＣＡＮから得られる車両の動作状況に基づき、当該フレームが条件取得部８から出力された記録条件を満たすか否かを判断する。ＣＡＮから得られる車両の動作状況とはたとえば、エンジンの回転数、車速、ブレーキの動作、加速度などである。比較部９は、記録条件を満たすと判断する場合は条件を満たすことを示す成否情報、たとえば値が「１」である成否情報をカメラ演算部１０に出力し、記録条件を満たさないと判断する場合は条件を満たさないことを示す成否情報、たとえば値が「０」である成否情報をカメラ演算部１０に出力する。
　カメラ演算部１０は、映像生成部６が出力する撮影映像をインタフェース装置２に出力する。さらに、認識部７が識別情報および付加情報を出力し、かつ比較部９が記録条件を満たすと判断した場合には、撮影映像に識別情報および付加情報を付与してインタフェース装置２に出力する。一方、認識部７が識別情報および付加情報を出力しない場合や、比較部９が記録条件を満たさないと判断した場合には、識別情報および付加情報を付与せず、撮影映像のみをインタフェース装置２に出力する。ただし識別情報および付加情報を付与する場合は、カメラ演算部１０は撮影映像を条件取得部８の指示に基づき補正、たとえばガンマ値の補正を行ったうえで出力する。なおカメラ演算部１０は、認識部７が出力する付加情報に基づき、認識部７が認識した対象物が容易に識別できるように撮影映像を加工してもよい。たとえばカメラ演算部１０は、認識部７が認識した対象物を○や矩形で囲む加工を行う。
　インタフェース装置２は、ＣＰＵ、ＲＯＭ，ＲＡＭ，および不揮発性メモリを備える。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、合致情報生成部２０と、映像出力部２１と、条件格納部２２として機能する。
　合致情報生成部２０は、撮影映像のうち撮影条件に合致するフレームの先頭フレームおよび末尾フレームを示す条件合致情報を、識別情報に基づき生成する。合致情報生成部２０は、生成した条件合致情報を記録装置３および車載装置４に出力する。
　映像出力部２１は、カメラ１から撮影映像、識別情報、および付加情報が入力される。映像出力部２１は、入力された撮影映像、識別情報、および付加情報を記録装置３に出力する。映像出力部２１は、入力された撮影映像を車載装置４にも出力する。
　条件格納部２２は、記録条件テーブル２２１を備えており、車載装置４から記録条件が入力されると、この記録条件に対応する記録条件ＩＤを記録条件テーブル２２１から特定して不揮発性メモリに格納するとともに、記録条件ＩＤをカメラ１に出力する。ただし条件格納部２２は、適切なタイミング、たとえばカメラ１が起動したことを検出した際に不揮発性メモリに格納されている記録条件ＩＤをカメラ１に出力してもよい。記録条件ＩＤのカメラ１への出力は、たとえばシリアル通信においてインタフェース装置２がマスター、カメラ１がスレーブとなり、インタフェース装置２がクロックとデータをスレーブに送出することで実現される。
　記録装置３は、ＣＰＵ、ＲＯＭ，ＲＡＭ，および不揮発性メモリを備える、たとえばドライブレコーダである。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、記録制御部３０として機能する。記録制御部３０は、インタフェース装置２から受信する条件合致情報に基づき、記録バッファ３１に一時的に格納された撮影映像の一部を記憶部３２に格納させる。前述のとおり条件合致情報は、記録条件に合致する先頭フレームと末尾フレームを示す情報なので、その先頭フレームから末尾フレームまでを記憶部３２に格納させる。ただし記録制御部３０は、後述するレコーダ用ＵＩ４１から記録指示を受信すると、その指示が継続している間は条件合致情報に関わらず、インタフェース装置２から受信する撮影映像を記憶部３２に記憶させる。
　記録バッファ３１は、ＲＡＭの領域を用いて実現され、インタフェース装置２から受信する撮影映像、識別情報、および付加情報を一時的に格納する。記憶部３２は不揮発性メモリの領域を用いて実現され、記録制御部３０の指示に基づき撮影映像の一部を格納する。記憶部３２はさらに、記録バッファ３１に格納される識別情報、および付加情報を格納する。
　車載装置４は、表示部４３、および不図示のＣＰＵ、ＲＯＭ，ＲＡＭ、入力部を備える、たとえばカーナビゲーション装置である。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、センサ用ユーザインタフェース（以下、「センサ用ＵＩ」と呼ぶ）４０、レコーダ用ユーザインタフェース（以下、「レコーダ用ＵＩ」と呼ぶ）４１、および表示制御部４２として機能する。センサ用ＵＩ４０は、記録条件を設定するためのユーザインタフェースである。ユーザがセンサ用ＵＩ４０を操作して記録条件を設定すると、インタフェース装置２にその設定が出力される。
　レコーダ用ＵＩ４１は、ユーザの操作に基づき記録装置３に記録開始指令および記録終了指令を出力する。たとえば、ユーザが不図示のボタンを押下すると車載装置４は記録開始指令を出力し、ユーザがボタンの押下を終了すると記録終了指令を出力する。
　表示部４３は、表示制御部４２が出力する映像を表示する。表示制御部４２は、インタフェース装置２から撮影映像および条件合致情報が入力される。表示制御部４２は、インタフェース装置２から受信する条件合致情報に基づき、記録条件に合致する撮影映像を表示部４３に出力する。すなわち、前述の記録開始指令を除外すれば、表示部４３に表示される撮影映像と、記憶部３２に記録される撮影映像は同じである。
（記録条件テーブル）
　図２は、記録条件テーブル２２１の一例を示す図である。記録条件は、環境条件と対象物条件の組み合わせである。記録条件テーブル２２１は、記録条件ＩＤと、環境条件および対象物条件の組み合わせとの対応を示すテーブルである。環境条件とは、撮影映像の環境に関する条件であり、たとえば「夜間で照明が少ない」や「昼」などである。対象物条件とは、撮影映像の被写体、すなわち撮影映像において撮影されている対象物に関する条件であり、たとえば「歩行者」、「二輪車」が撮影されていることである。また対象物の条件には、特定の物体が撮影されていることだけでなく、車線変更や急ブレーキなどの対象イベントが車両で行われたことも含まれる。対象イベントが行われたか否かは、撮影映像における被写体の時間的な前後関係から推測される状況や、ＣＡＮから得られる車両の動作状況などに基づいて判断される。
　記録条件ＩＤは環境条件と対象物条件の組み合わせごとに定義される。たとえば図２に示すように、記録条件ＩＤ「０００１」は、「夜間で照明が少ない」という環境条件と、撮影対象が「歩行者」であるという対象物条件の組み合わせに対応する。
（センサ用ＵＩ）
　図３は、センサ用ＵＩ４０の一例を示す図である。図３に示すセンサ用ＵＩ４０は、記録条件を構成する環境条件と対象物条件とを独立して選択可能に構成される。図３には、環境条件と対象物条件が３組選択可能であるセンサ用ＵＩ４０の例を示しているが、少なくとも１組の環境条件と対象物条件を選択すればよい。ユーザが所望の環境条件および対象物条件を選択すると、それぞれの条件が条件格納部２２に出力される。条件格納部２２は、記録条件テーブル２２１を参照し、出力された条件に対応する記録条件ＩＤを特定し、その記録条件ＩＤを保存するとともにカメラ１に出力する。
（処理テーブル）
　図４は、処理テーブル８１の一例を示す図である。図４に示す処理テーブル８１は、条件と、撮影映像の認識手法と、出力に関する情報の組み合わせを示すものである。条件は「記録条件ＩＤ」、「環境条件」、および「対象物条件」のフィールドから構成され、撮影映像の認識手法は「認識手法」のフィールドから構成され、出力に関する情報は「映像補正」、および「付加情報」のフィールドから構成される。「記録条件ＩＤ」のフィールドには、条件格納部２２から出力される記録条件ＩＤの値が格納される。処理テーブル８１には複数のレコードが格納されるので、条件取得部８は、インタフェース装置２から記録条件ＩＤの値を取得して現在有効なレコードを判断する。「記録条件ＩＤ」、「環境条件」、および「対象物条件」のフィールドに格納される値は、図２に示した記録条件テーブル２２１と同様である。「認識手法」のフィールドには、記録する条件を判断するために撮影映像に対して実行する認識手法を特定する情報が格納される。
　たとえば、記録条件ＩＤが「０００１」である場合は、撮影画像が夜間の照明が少ない環境であり歩行者が撮影されていれば記録条件を満たしていると認識部７が判断し、この判断のために輝度値の評価および歩行者認識処理を実行するべきであることが示されている。そして記録条件を満たしている場合は、カメラ演算部１０が撮影映像にガンマ補正を施してインタフェース装置２に出力するとともに、歩行者の座標を付加情報として出力する。またカメラ演算部１０は、前述のとおり認識部７が識別したものを示す識別情報も併せて出力する。
（動作例）
　図５は、映像出力システム１００の動作の概要を示す図である。図５では図示上部から下部に向かって時間が経過している。図中の四角は各装置が動作していることを示す。
　始めにユーザが車載装置４を操作し、カメラ１、インタフェース装置２、および記録装置３を起動する（Ｓ１０１）。次にユーザがセンサ用ＵＩ４０を操作して環境条件および対象物条件を設定すると（Ｓ１０２）、インタフェース装置２は記録条件テーブル２２１を参照して該当する記録条件ＩＤを検索し、これを記録するとともにカメラ１へ記録条件ＩＤを出力する（Ｓ１０３）。
　次にカメラ１が撮影を行い（Ｓ１０４）、認識部７と比較部９により撮影映像が記録条件に合致すると判断されると、カメラ演算部１０は撮影映像、識別情報、および付加情報をインタフェース装置２に出力する（Ｓ１０５）。これを受信したインタフェース装置２は、識別情報に基づき条件合致情報を作成する。そしてインタフェース装置２は、記録装置３に撮影映像、条件合致情報、識別情報、および付加情報を出力する（Ｓ１０６）とともに、車載装置４に撮影映像、および条件合致情報を出力する（Ｓ１０７）。
　なお、カメラ１は撮影映像が記録条件に合致しないと判断すると、撮影映像をインタフェース装置２に出力するが、識別情報や付与情報は出力しない。この場合、インタフェース装置２は条件合致情報を生成しないので、車載装置４における撮影映像の表示は行われない。また、車載装置４のレコーダＵＩ４１から記録開始指令が出力された場合を除いて、記録装置３における撮影映像の記録は行われない。
（フローチャート）
　図６は、カメラ１の認識部７、比較部９、およびカメラ演算部１０の動作を表すフローチャートである。以下に説明する各ステップの実行主体はカメラ１に備えられる不図示のＣＰＵである。カメラ１の電源がオンになり映像生成部６が撮影映像を生成すると、以下に説明する動作が開始される。なお以下のフローチャートには記載されていないが、映像生成部６による撮影映像の生成、すなわち撮影映像の新たなフレームの生成は随時行われている。
　ステップＳ２０１では、認識部７は条件取得部８の出力に基づき、指定された記録条件に応じた認識対象の認識処理に用いる認識手法を設定すると共に、どの情報を付加情報として出力するかを設定する。続くステップＳ２０２では、認識部７は撮影映像として生成された新たなフレームを対象として認識処理を実行し、識別情報および付加情報を生成する。続くステップＳ２０３では、比較部９は認識部７が生成した識別情報と記録条件を比較する。このとき、前述のように車線変更や急ブレーキなどの対象イベントが車両で行われたことが記録条件として指定された場合には、ＣＡＮから得られる車両の動作状況なども必要に応じて使用して、ステップＳ２０３の比較処理が行われる。続くステップＳ２０４では、ステップＳ２０３における比較により識別情報が記録条件と一致すると判断する場合はステップＳ２０５に進み、一致しないと判断する場合はステップ２０７に進む。ステップＳ２０５では、カメラ演算部１０は、条件取得部８の出力に基づき撮影映像を補正する。続くステップＳ２０６では、カメラ演算部１０は、ステップＳ２０５において補正した撮影映像と、認識部７が生成した識別情報および付加情報とをインタフェース装置２に出力してステップＳ２０８に進む。
　ステップＳ２０４において否定判定されると実行されるステップＳ２０７では、映像生成部６が生成した撮影映像をインタフェース装置２に出力してステップＳ２０８に進む。このとき、ステップＳ２０６で撮影映像に付与して出力される識別情報や付加情報の代わりに、記録条件を満たさないことを示す情報を撮影映像に付与して出力してもよい。ステップＳ２０８では、電源がオフに変更されたか否かを判断し、電源がオフにされたと判断する場合は図６に示すフローチャートを終了し、電源がオフにされていないと判断する場合はステップＳ２０１に戻る。
　図７は、記録装置３の動作を表すフローチャートである。以下に説明する各ステップの実行主体は記録制御部３０、すなわち記録装置３に備えられる不図示のＣＰＵである。記録制御部３０は、記録装置３の電源がオンになると以下に説明する動作を開始する。なお以下のフローチャートには記載されていないが、インタフェース装置２および車載装置４からの情報の受信は随時行われている。
　ステップＳ３０１では、車載装置４のレコーダ用ＵＩ４１から記録開始指令を受信したか否かを判断する。記録開始指令を受信したと判断する場合はステップＳ３０２に進み、記録開始指令を受信していないと判断する場合はステップＳ３０５に進む。ステップＳ３０２ではインタフェース装置２から受信する撮影映像、識別情報、付加情報の記憶部３２への記録を開始する。ただし、インタフェース装置２から撮影映像が出力されているが、識別情報および付加情報が出力されていない場合には、撮影映像のみを記憶部３２に記録する。前述のとおり、インタフェース装置２からの情報の受信は随時行われており、後述するステップＳ３０４が実行されるまでこの記録は継続される。ステップＳ３０３では、レコーダ用ＵＩ４１から記録終了指令を受信したか否かを判断する。受信したと判断する場合はステップＳ３０４に進み、記録終了指令を受信していないと判断する場合はステップＳ３０３に留まる。ステップＳ３０４では、記憶部３２への記録を終了してステップＳ３０５に進む。
　ステップＳ３０５では、インタフェース装置２から条件合致情報を受信したか否かを判断する。条件合致情報を受信したと判断する場合はステップＳ３０６に進み、条件合致情報を受信していないと判断する場合はステップＳ３１０に進む。ステップＳ３０６では、条件合致情報から特定される撮影映像の先頭フレームを受信したか否かを判断する。先頭フレームを受信したと判断する場合はステップＳ３０７に進み、先頭フレームを受信していないと判断する場合はステップＳ３０６に留まる。ステップＳ３０７では、インタフェース装置２から受信する撮影映像、識別情報、付加情報の記憶部３２への記録を開始する。続くステップＳ３０８では、条件合致情報から特定される撮影映像の末尾フレームを受信したか否かを判断する。末尾フレームを受信したと判断する場合はステップＳ３０９に進み、末尾フレームを受信していないと判断する場合はステップＳ３０８に留まる。ステップＳ３０９では、記憶部３２への記録を終了してステップＳ３１０に進む。ステップＳ３１０では、電源がオフに変更されたか否かを判断し、電源がオフにされたと判断する場合は図７に示すフローチャートを終了し、電源がオフにされていないと判断する場合はステップＳ３０１に戻る。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）映像出力システム１００は、カメラ１およびインタフェース装置２を備える。インタフェース装置２は、映像が選択される条件である記録条件をカメラ１に指示する条件格納部２２と、カメラ１から受信する撮影映像を出力する映像出力部２１とを備える。カメラ１はイメージセンサ５と、イメージセンサ５の出力に基づき撮影映像を生成する映像生成部６と、インタフェース装置２から記録条件を取得する条件取得部８と、映像生成部６が生成する撮影映像が記録条件に合致するか否かを判断し、記録条件に合致すると判断した撮影映像における記録条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部、すなわち認識部７および比較部９と、映像生成部６が生成する撮影映像のうち少なくとも比較部９が記録条件に合致すると判断した撮影映像、および識別情報をインタフェース装置２に出力するカメラ演算部１０と、を備える。そのため、カメラ１の撮影映像から記録条件に合致する映像を得ることができる。
（２）インタフェース装置２は、カメラ１が出力する識別情報に基づいて、カメラ１から受信する撮影映像において条件に合致する先頭フレームおよび条件に合致する末尾フレームを示す条件合致情報を生成する合致情報生成部２０を備える。合致情報生成部２０は、条件合致情報を出力する。
　そのため、出力される撮影映像のうち記録条件に合致するフレームを判別することができる。さらに、インタフェース装置がデータの出力先である記録装置３や車載装置４においてあらかじめ定められているデータフォーマットにあわせて条件合致情報を作成することができる。
（３）映像出力システム１００は、記録装置３を備える。記録装置３は、映像が記憶される記憶部３２と、条件合致情報に基づきインタフェース装置２の映像出力部が出力する撮影映像を記憶部３２に記録する記録制御部３０とを備える。そのため記録装置３は、記録条件に合致する撮影映像を記録することができる。
（４）映像出力システム１００は、表示装置でもある車載装置４を備える。車載装置４は、映像が表示される表示部４３と、条件合致情報に基づきインタフェース装置２の映像出力部２１が出力する撮影映像を表示部４３に表示する表示制御部４２とを備える。そのため車載装置４は、記録条件に合致する撮影映像を表示することができる。たとえば車両が自動運転されている場合に、その車両が動作する契機となる事象を撮影条件に指定することにより、車両の乗員は表示部４３の表示を見て車両の動きを事前に想定することができ、安心感が得られる。具体的には、自動運転において歩行者を検出したら停車するアルゴリズムが含まれる場合に、撮影条件を「歩行者の検出」に設定することで、車両が停車した際に歩行者の映像が表示部４３に表示される。
（５）撮影条件には、環境条件、および対象物条件の少なくとも一方が含まれる。認識部７は、認識対象に関する付加情報をさらに出力し、カメラ演算部１０は、付加情報に基づき撮影映像を加工して出力する。
　そのため認識部７の認識結果に基づき撮影映像を加工して出力することができる。
（６）映像出力システム１００は、ユーザが記録条件を入力する車載装置４を備える。ユーザが車載装置４を用いてて入力した記録条件は、インタフェース装置２の条件格納部２２に格納される。そのため、ユーザが記録条件を任意に設定することができる。
　上述した第１の実施の形態は、以下のように変形してもよい。
（変形例１）
　カメラ１は、比較部９が記録条件を満たすと判断した場合のみ、撮影映像を出力してもよい。なお、比較部９が記録条件を満たさないと判断した場合には、カメラ演算部１０は、記録条件を満たさないことを示す情報を出力してもよいし、出力しなくてもよい。また、比較部９が記録条件を満たさないと判断した場合は、映像信号そのものを出力しなくてもよいし、黒の塗りつぶしや白の塗りつぶしの映像を出力してもよい。また本変形例では、映像出力部２１は条件合致条件を出力しなくてもよい。
　車載装置４の表示制御部４２は、条件合致情報を受信しても特段の処理を行わない。そして表示制御部４２は、インタフェース装置２から撮影映像を受信すると、第１の実施の形態のような条件合致情報に基づく映像の取捨選択を行うことなく、表示部４３に撮影映像を表示させる。
　図８は、変形例１におけるカメラ１の認識部７、比較部９、およびカメラ演算部１０の動作を表すフローチャートである。第１の実施の形態における図６に示したフローチャートとの相違点は、ステップＳ２０７が存在しない点である。すなわち本変形例では、ステップＳ２０４において否定判定された場合に撮影映像などを出力することなくステップＳ２０８に進む。
　この変形例１によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（７）映像出力システム１００は、インタフェース装置２が出力する撮影映像を表示する表示部４３を備える車載装置４を備える。カメラ演算部１０は、映像生成部６が生成する撮影映像のうち比較部９が記録条件に合致すると判断した撮影映像のみを出力する。映像出力部２１は、カメラ演算部１０から受信する撮影映像を出力する。
　そのため、カメラ１は記録条件に合致する撮影映像しか出力しないので、カメラ１からインタフェース装置２へ送信するデータ量を削減することができる。通信量の削減は、特にインタフェース装置２に複数の装置が接続されている場合に効果が高い。
（変形例２）
　記録装置３の記録制御部３０が識別情報や付加情報に基づき撮影映像の各フレームの記録の要否を判断できる場合、または車載装置４の表示制御部４２が識別情報や付加情報に基づき表示の可否を判断できる場合は、インタフェース装置２は条件合致情報を生成せずに、条件合致情報に代えて識別情報や付加情報を出力してもよい。すなわちインタフェース装置２は、合致情報生成部２０を備えなくてもよく、この場合はカメラ１から出力された識別情報や付加情報を撮影映像と併せてそのまま記録装置３および車載装置４に出力する。
　この変形例２によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（８）映像出力部２１は、カメラ１から受信する撮影映像および識別情報を出力する。
　そのため、インタフェース装置２の構成を簡素化することができる。
（９）表示制御部４２は、付加情報を用いて、例えば、歩行者に丸や矩形で囲むことができるため、ドライバに注意喚起する対象物の箇所を明示的に知らせることができる。
（変形例３）
　認識部７は、原則として付加情報を生成せず、比較部９から要求を受けた場合のみ付加情報を生成してもよい。この場合は、比較部９は記録条件を満たすと判断すると認識部７に付加情報の生成を要求する。
（変形例４）
　映像出力システム１００における、カメラ１、インタフェース装置２、記録装置３、および車載装置４の構成、およびこれらの機能分担は便宜的に定めたものであり、異なる構成や異なる機能分担であってもよい。たとえばインタフェース装置２が、カメラ１、記録装置３、または車載装置４と一体に構成されてもよい。また、撮影映像の補正をカメラ１以外の装置、たとえばインタフェース装置２の映像出力部２１が行ってもよい。
（変形例５）
　カメラ１において、映像生成部６、認識部７、条件取得部８、比較部９、およびカメラ演算部１０の構成およびこれらの機能分担は便宜的に定めたものであり、異なる構成や異なる機能分担であってもよい。たとえば、認識部７と比較部９が一体に構成されてもよいし、撮影映像の補正を映像生成部６が行ってもよい。すなわち、カメラ１が映像生成部６、認識部７、条件取得部８、比較部９、およびカメラ演算部１０の機能を有していればどのような構成でもよい。
（変形例６）
　センサ用ＵＩ４０、レコーダ用ＵＩ４１、表示部４３は、それぞれ独立した装置として構成されてもよい。
（変形例７）
　記録条件を構成する環境条件と対象物条件には、それぞれ「条件なし」が含まれてもよい。たとえば環境条件が「条件なし」、対象物条件が「歩行者」の場合は、歩行者が検出されたことのみをもって記録条件が満たされたと判断される。
（変形例８）
　映像出力システム１００が複数のカメラ１を備え、インタフェース装置２は複数のカメラ１と接続されてもよい。この場合は、たとえばインタフェース装置２はカメラ１の数に対応する接続ポートを備えることにより対応が可能である。そのため、記録装置３や車載装置４の構成を変更することなく複数のカメラ１を備える映像出力システム１００を実現することができる。
（変形例９）
　カメラ演算部１０は、比較部９が出力する成否情報を撮影映像とともに出力してもよい。この場合は、映像出力部２１は受信した成否情報を撮影映像とともに出力する。そして記録装置３および車載装置４は、この成否情報に基づき撮影映像などの記録や表示を行うか否かを判断してもよい。記録装置３および車載装置４が成否情報に基づき撮影映像などの記録や表示を行うか否かを判断する場合は、インタフェース装置２は合致情報生成部２０を備えなくてもよい。
（第２の実施の形態）
　図９を参照して、映像出力システム１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、車載装置がデータベース機能を備える点で、第１の実施の形態と異なる。
（構成）
　図９は、第２の実施の形態における映像出力システムの構成を示す図である。第１の実施の形態との相違点は、車載装置４がデータベース４５をさらに備える点である。なお図９ではレコーダ用ＵＩ４１の図示を省略している。
　データベース４５には、合致情報生成部２０から条件合致情報が入力され、映像出力部２１から識別情報、および付加情報が入力される。ただしデータベース４５には撮影映像は入力されない。データベース４５には、入力されたこれらの情報に基づいて、撮影映像において記録条件に合致するフレームの情報と、その記録条件の情報とを含む記録制御情報が蓄積される。データベース４５の形式は、リレーショナルデータベースでもよいし、カラムストアデータベースでもよいし、その他の形式でもよく、形式は問わない。
　上述した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（１０）映像出力システム１００は、データベース４５を備える車載装置４を備える。カメラ１の認識部７は、撮影映像が記録条件のいずれと一致するかを示す認識情報を出力する。映像出力部２１は、カメラ１から入力される認識情報を車載装置４に出力する。データベース４５には、条件合致情報および識別情報に基づき、撮影映像において記録条件に該当するフレームの情報および記録条件の情報を含む記録制御情報が記録される。
　そのため、記録装置３に記録される撮影映像の情報がデータベース４５に蓄積されるので、データベース４５を検索することにより所望の撮影映像に容易にアクセスできる。
（第３の実施の形態）
　図１０～図１２を参照して、映像出力システム１００の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、インタフェース装置に２台のカメラが接続されカメラ間で情報が共有される点で第１の実施の形態と異なる。
（構成）
　図１０は、第３の実施の形態における映像出力システムの構成を示す図である。第１の実施の形態との相違点は、カメラ１に代えて第１カメラ１Ａおよび第２カメラ１Ｂを備える点である。第１カメラ１Ａと第２カメラ１Ｂの構成は同一であり、後述するようにカメラが撮影する範囲が異なる。
　インタフェース装置２の映像出力部２１は、第１の実施の形態における動作に加えて、入力された識別情報を他のカメラに出力する。たとえば、第１カメラ１Ａから識別情報が入力された場合は、その識別情報を第２カメラ１Ｂに出力する。
　図１１は、第１カメラ１Ａの構成、および第１カメラ１Ａとインタフェース装置２との関係を示す図である。前述のとおり第１カメラ１Ａと第２カメラ１Ｂの構成は同一なので、第２カメラ１Ｂの説明は省略する。第１カメラ１Ａの構成は、第１の実施の形態におけるカメラ１と略同一であり、相違点は認識部７の動作である。
　認識部７は、インタフェース装置２から識別情報が入力されると、その識別情報を考慮して、撮影映像の認識処理を実行する。たとえば、既知である第１カメラ１Ａと第２カメラ１Ｂの位置関係に基づき、第２カメラ１Ｂにおいて認識された物体が第１カメラ１Ａにおいて撮影される確からしさを算出し、物体の認識において考慮する。また、撮影映像から何らかの物体が検出された際に、他のカメラによる認識結果を用いない場合はノイズではないことを確認するために数フレームにわたって確認をすることも考えられる。しかし第２カメラ１Ｂにおいて同一の物体が検出されている場合は、数フレームにわたる確認を省略して物体を認識したと判断して識別情報を出力することができる。
（動作例）
　図１２は、第３の実施の形態における動作例を示す図である。
　まず動作例の状況を説明する。
　映像出力システム１００は、車両４１０に搭載される。車両４１０は左前方に第１カメラ１Ａを備え、中央部に第２カメラ１Ｂを備える。第１カメラ１Ａの視野４３１は車両４１０の左前方、第２カメラ１Ｂの視野４３２は車両４１０の前方である。車両４１０が走行する隣の走行レーンには、車両４１１と車両４１２が停まっている。これらの車両の間から歩行者４２０が車両４１０の方向に向かって歩いている。歩行者４２０の現在位置は第１カメラ１Ａの視野４３１の範囲内であるが、第２カメラ１Ｂの視野４３２の範囲外である。この状況における映像出力システム１００の動作を説明する。
　歩行者４２０は図示左側から現在の位置まで移動したので、現在までに第１カメラ１Ａの複数のフレームで歩行者４２０が撮影されている。そのため第１カメラ１Ａの認識部７は、撮影画像の複数フレームにわたる解析結果から歩行者４２０を認識したと判断し、歩行者を示す識別情報をカメラ演算部１０を経由してインタフェース装置２の映像出力部２１に出力する。映像出力部２１は、第１カメラ１Ａから受信した識別情報を、第２カメラ１Ｂの認識部７に出力する。第２カメラ１Ｂは、歩行者を示す識別情報が入力されるので、他の対象物に比べて歩行者を検出する可能性が高いことを考慮して撮影映像の認識処理を行う。そのため、歩行者４２０が第２カメラ１Ｂの視野４２３の範囲内に入ると、迅速に歩行者を認識することができる。
　上述した第３の実施の形態によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（１１）映像出力システム１００は、第１カメラ１Ａと第２カメラ１Ｂとを備える。第１カメラ１Ａは、周囲情報を取得するイメージセンサ５と、インタフェース装置２から条件を取得する条件取得部８と、イメージセンサ５が取得する周囲情報が条件に合致するか否かを判断し、条件に合致するか否かを示す補助認識信号、すなわち識別情報を生成し、識別情報をインタフェース装置２に出力するセンサ付加情報生成部、すなわち認識部７、比較部９、およびカメラ演算部１０を備える。インタフェース装置２は、第１カメラ１Ａから出力される識別信号を第２カメラ１Ｂに送信する補助認識信号転送部、すなわち映像出力部２１を備える。第２カメラ１Ｂの認識部７は、第２カメラ１Ｂの映像生成部６が生成する撮影映像、およびインタフェース装置２から送信された第１カメラ１Ａの識別情報に基づき第２カメラ１Ｂの映像生成部６が生成する撮影映像が条件に合致するか否かを判断する。
　そのため、他のカメラの認識結果を用いることで、撮影映像の早期の認識や認識精度向上を実現できる。
（第３の実施の形態の変形例１）
　第１カメラ１Ａおよび第２カメラ１Ｂの認識部７は、立体物を認識した際に識別情報に加えて補助認識情報を出力してもよい。補助認識情報とは、立体物の種類、位置、移動方向、移動速度、距離を組み合わせた情報である。補助認識情報はたとえば、あらかじめ定めた補助認識情報テーブルに基づき補助認識ＩＤを用いて伝達することができる。
　図１３は、補助認識情報テーブルの一例を示す図である。補助認識情報テーブルは、補助認識ＩＤ、立体物、位置、移動方向、移動速度、距離のフィールドから構成される。「補助認識ＩＤ」のフィールドには４桁の整数が格納される。「立体物」のフィールドには、認識した立体物の種類を示す情報が格納される。「位置」のフィールドには、あらかじめ定義された位置関係を示す情報が格納される。たとえばＡ１は左前方、Ａ２は右前方を示す。「移動方向」のフィールドには、立体物が移動している方向を示す情報が格納される。「移動速度」のフィールドには、立体物の移動速度を示す情報が格納される。「距離」のフィールドには、立体物までの距離を示す情報が格納される。
　この補助認識情報テーブルは第１カメラ１Ａおよび第２カメラ１Ｂに記憶される。認識部７は、認識した立体物が補助認識情報テーブルに記載されたいずれかの条件に該当すると、識別情報に加えて該当する補助認識ＩＤを補助識別情報として出力する。インタフェース装置２は、識別情報と同様に、いずれかのカメラから補助認識情報を受信すると、他のカメラの認識部７に補助認識情報を出力する。インタフェース装置２から補助認識情報が入力された認識部７は、識別情報に加えて補助認識情報を考慮して撮影映像を認識する。
　この変形例によれば、他のカメラで認識した立体物の詳細な情報を得ることができるので、撮影映像の早期の認識や認識精度向上により効果的である。
（第３の実施の形態の変形例２）
　インタフェース装置２に接続されるセンサはカメラに限定されない。レーザレーダや超音波センサなど、周囲情報を取得できるセンサであればセンサの種類は問わない。また、インタフェース装置２に接続されるセンサの数は２に限定されず３以上であってもよい。この場合にインタフェース装置２は、あるセンサにより取得された情報を全ての他のセンサに出力してもよいし、特定のセンサのみに出力してもよい。また、取得された情報に応じていずれのセンサに出力するかを決定してもよい。
　カメラ１およびインタフェース装置２のプログラムは不図示のＲＯＭに格納されるとしたが、プログラムは不揮発性メモリに格納されていてもよい。また、カメラ１やインタフェース装置２が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースが利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。
　上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１６年第１７７３２２号（２０１６年９月１２日出願）
　　１　…　カメラ
　　２　…　インタフェース装置
　　３　…　記録装置
　　４　…　車載装置
　　５　…　イメージセンサ
　　６　…　映像生成部
　　７　…　認識部
　　８　…　条件取得部
　　９　…　比較部
　１０　…　カメラ演算部
　２０　…　合致情報生成部
　２１　…　映像出力部
　２２　…　条件格納部
　３０　…　記録制御部
　３２　…　記憶部
　４２　…　表示制御部
　４３　…　表示部
　４５　…　データベース
１００　…　映像出力システム

Claims (9)

  1. 　カメラおよびインタフェース装置を備える映像出力システムであって、
    　前記インタフェース装置は、
    　映像が選択される条件を前記カメラに指示する条件格納部と、
    　前記カメラから受信する撮影映像を出力する映像出力部とを備え、
    　前記カメラは、
    　イメージセンサと、
    　前記イメージセンサの出力に基づき撮影映像を生成する映像生成部と、
    　前記インタフェース装置から前記条件を取得する条件取得部と、
    　前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断し、前記条件に合致すると判断した撮影映像における前記条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部と、
    　前記映像生成部が生成する撮影映像のうち少なくとも前記認識比較部が前記条件に合致すると判断した撮影映像、および前記識別情報を前記インタフェース装置に出力するカメラ演算部と、を備える映像出力システム。
  2. 　請求項１に記載の映像出力システムにおいて、
    　前記インタフェース装置は、前記カメラが出力する前記識別情報に基づいて、前記カメラから受信する撮影映像において前記条件に合致する先頭フレームおよび前記条件に合致する末尾フレームを示す条件合致情報を生成する合致情報生成部をさらに備え、
    　前記合致情報生成部は、前記条件合致情報を出力する映像出力システム。
  3. 　請求項１に記載の映像出力システムにおいて、
    　前記映像出力部は、前記カメラから受信する撮影映像および前記識別情報を出力する映像出力システム。
  4. 　請求項２または請求項３に記載の映像出力システムにおいて、
    　記録装置をさらに備え、
    　前記記録装置は、
    　映像が記憶される記憶部と、
    　前記条件合致情報または前記識別情報に基づき前記インタフェース装置の前記映像出力部が出力する撮影映像を前記記憶部に記録する記録制御部とを備える映像出力システム。
  5. 　請求項２または請求項３に記載の映像出力システムにおいて、
    　表示装置をさらに備え、
    　前記表示装置は、
    　映像が表示される表示部と、
    　前記条件合致情報または前記識別情報に基づき前記インタフェース装置の前記映像出力部が出力する撮影映像を前記表示部に表示する表示制御部とを備える映像出力システム。
  6. 　請求項１に記載の映像出力システムにおいて、
    　前記認識比較部は、前記認識対象に関する付加情報をさらに出力し、
    　前記カメラ演算部は、前記付加情報に基づき前記撮影映像を加工して出力する映像出力システム。
  7. 　請求項１に記載の映像出力システムにおいて、
    　ユーザが前記条件を入力するユーザ入力装置をさらに備え、
    　前記ユーザ入力装置において入力された前記条件は、前記インタフェース装置の前記条件格納部に格納される映像出力システム。
  8. 　請求項２に記載の映像出力システムにおいて、
    　データベース記憶部を備えるデータベース装置をさらに備え、
    　前記映像出力部は、前記識別情報を前記データベース装置に出力し、
    　前記データベース記憶部には、前記条件合致情報および前記識別情報に基づき、前記撮影映像において前記条件に合致するフレームの情報および前記条件の情報を含む記録制御情報が記録される映像出力システム。
  9. 　請求項１に記載の映像出力システムにおいて、
    　センサ装置をさらに備え、
    　前記センサ装置は、
    　周囲情報を取得するセンサ部と、
    　前記インタフェース装置から前記条件を取得するセンサ装置条件取得部と、
    　前記センサ部が取得する前記周囲情報が前記条件に合致するか否かを判断し、前記条件に合致するか否かを示す補助認識信号を生成し、前記補助認識信号を前記インタフェース装置に出力するセンサ付加情報生成部とを備え、
    　前記インタフェース装置は、前記センサ装置から出力される前記補助認識信号を前記カメラに送信する補助認識信号転送部をさらに備え、
    　前記カメラの前記認識比較部は、前記補助認識信号に基づき前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断する映像出力システム。
     
PCT/JP2017/014368 2016-09-12 2017-04-06 映像出力システム WO2018047393A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17848340.0A EP3511911A4 (en) 2016-09-12 2017-04-06 VIDEO OUTPUT SYSTEM
US16/327,010 US11023750B2 (en) 2016-09-12 2017-04-06 Video output system
CN201780048809.3A CN109661688B (zh) 2016-09-12 2017-04-06 影像输出系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-177322 2016-09-12
JP2016177322A JP6788447B2 (ja) 2016-09-12 2016-09-12 映像出力システム

Publications (1)

Publication Number Publication Date
WO2018047393A1 true WO2018047393A1 (ja) 2018-03-15

Family

ID=61561803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014368 WO2018047393A1 (ja) 2016-09-12 2017-04-06 映像出力システム

Country Status (5)

Country Link
US (1) US11023750B2 (ja)
EP (1) EP3511911A4 (ja)
JP (1) JP6788447B2 (ja)
CN (1) CN109661688B (ja)
WO (1) WO2018047393A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
JP6708237B2 (ja) * 2018-09-13 2020-06-10 株式会社Ｊｖｃケンウッド 映像記録制御装置、映像記録システム、映像記録方法、および映像記録制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003112671A (ja) * 2001-10-04 2003-04-15 Riki Mano 走行体の運転状況記録装置
JP2008033822A (ja) * 2006-07-31 2008-02-14 Fujitsu Ten Ltd 運転支援装置
JP2009098738A (ja) * 2007-10-12 2009-05-07 Fujitsu Ten Ltd 画像記録条件設定装置、画像記録条件設定方法及びドライブレコーダ
JP2015122101A (ja) * 2015-02-12 2015-07-02 株式会社ユピテル 車両用映像記録装置及び車載システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0963000A (ja) 1995-08-21 1997-03-07 Olympus Optical Co Ltd 車両搭載用映像装置
US20060165386A1 (en) * 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
TWI282942B (en) 2005-05-10 2007-06-21 Univ Nat Chiao Tung Audio-video recorder for vehicle
JP5544886B2 (ja) 2010-01-06 2014-07-09 三菱電機株式会社 車載情報蓄積装置
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
EP2763404B1 (en) 2011-09-29 2019-11-13 Toyota Jidosha Kabushiki Kaisha Image display device, and image display method
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
WO2014129026A1 (ja) 2013-02-21 2014-08-28 本田技研工業株式会社 運転支援装置、および画像処理プログラム
WO2015169829A1 (de) 2014-05-06 2015-11-12 Continental Teves Ag & Co. Ohg Verfahren und system zur erfassung und/oder sicherung von videodaten in einem kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003112671A (ja) * 2001-10-04 2003-04-15 Riki Mano 走行体の運転状況記録装置
JP2008033822A (ja) * 2006-07-31 2008-02-14 Fujitsu Ten Ltd 運転支援装置
JP2009098738A (ja) * 2007-10-12 2009-05-07 Fujitsu Ten Ltd 画像記録条件設定装置、画像記録条件設定方法及びドライブレコーダ
JP2015122101A (ja) * 2015-02-12 2015-07-02 株式会社ユピテル 車両用映像記録装置及び車載システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3511911A4 *

Also Published As

Publication number Publication date
US20190180123A1 (en) 2019-06-13
CN109661688A (zh) 2019-04-19
JP6788447B2 (ja) 2020-11-25
US11023750B2 (en) 2021-06-01
EP3511911A1 (en) 2019-07-17
JP2018045268A (ja) 2018-03-22
CN109661688B (zh) 2021-10-15
EP3511911A4 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
JP7342197B2 (ja) 撮像装置及び撮像装置の制御方法
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
US20180334099A1 (en) Vehicle environment imaging systems and methods
KR101751362B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
EP2698982B1 (en) Image processing device
US10546422B2 (en) System and method for augmented reality support using a lighting system's sensor data
KR101723401B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP7073972B2 (ja) 情報処理システム、プログラム、及び制御方法
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2018047393A1 (ja) 映像出力システム
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
US20210327113A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
JP5604930B2 (ja) 車両用情報表示装置
KR101601500B1 (ko) 스마트폰을 이용한 차량 운전 지원 시스템 및 방법
JP2012054689A (ja) 可視光データ処理装置、可視光通信システム、可視光データ処理方法及びそのプログラム
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20150129542A (ko) 어라운드 뷰 시스템의 동작방법
JP2006024120A (ja) 車両用画像処理システム及び画像処理装置
WO2018179695A1 (ja) 制御装置、撮像装置、制御方法及びプログラム
CN105704438B (zh) 基于视频预览车辆前方道路区段的方法和设备及基于视频记录车辆的道路区段的方法和设备
JP2018180585A (ja) 車両用システム
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
WO2021157622A1 (ja) 評価装置、評価方法及び評価プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848340

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017848340

Country of ref document: EP