WO2019220851A1 - 映像出力装置、映像出力方法、及びコンピュータプログラム - Google Patents

映像出力装置、映像出力方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2019220851A1
WO2019220851A1 PCT/JP2019/016491 JP2019016491W WO2019220851A1 WO 2019220851 A1 WO2019220851 A1 WO 2019220851A1 JP 2019016491 W JP2019016491 W JP 2019016491W WO 2019220851 A1 WO2019220851 A1 WO 2019220851A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
occupant
display
vehicle
movement
Prior art date
Application number
PCT/JP2019/016491
Other languages
English (en)
French (fr)
Inventor
竹内　正人
勝 根岸
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP19802954.8A priority Critical patent/EP3795424A4/en
Priority to CN201980029620.9A priority patent/CN112055670A/zh
Publication of WO2019220851A1 publication Critical patent/WO2019220851A1/ja
Priority to US17/092,866 priority patent/US11084424B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/008—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles allowing the driver to see passengers, e.g. for busses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Definitions

  • the present invention relates to a video output device, a video output method, and a computer program that output a video of a passenger such as an infant riding in a vehicle.
  • Patent Document 1 For example, when driving a vehicle with an infant on a child seat installed in the rear seat of the vehicle, the driver monitors the infant as appropriate to recognize whether he is sleeping, waking up or crying To do.
  • a video output device for monitoring the state of such an occupant for example, the one disclosed in Patent Document 1 is known.
  • Patent Document 1 the state of the occupant in the rear seat is recognized by recognizing the facial expression of the occupant riding in the rear seat of the vehicle and displaying icons such as a crying face, a smiling face, a good night face on the display. Making it easier to monitor.
  • Patent Document 1 since the state of the occupant is displayed as an icon, there is a problem that the driver who is driving the vehicle cannot instantly recognize a change in the state of the occupant. Further, when the vehicle is stopped, the driver wants to directly check the occupant's facial expression, but there is a problem that only the icon is displayed.
  • the present invention has been made to solve such a conventional problem, and provides a video output device, a video output method, and a computer program capable of appropriately recognizing a passenger's state change. Objective.
  • an image acquisition unit that acquires an occupant image obtained by capturing an occupant of a vehicle, a motion detection unit that detects the movement of the occupant based on the occupant image, and the occupant's
  • a video control unit that performs control to generate a display video to be displayed on the display unit based on the movement, and the video control unit displays the display video according to the movement of the occupant detected by the motion detection unit.
  • a video output device characterized by changing at least a part of the display form and the display state of the occupant video.
  • a video output method comprising: a step of changing a display form of at least a part of a display video and a display state of the occupant video.
  • the step of acquiring an occupant image obtained by imaging the occupant of the vehicle the step of detecting the movement of the occupant based on the occupant image, and the movement of the occupant
  • a computer program that causes a computer to execute a display form of at least a part of a display image and a step of changing a display state of the passenger image.
  • FIG. 1 is a block diagram showing a configuration of a video output apparatus according to the first and second embodiments of the present invention.
  • FIG. 2A is an explanatory diagram illustrating a display example of an infant image, and is a display example when movement of the infant is detected.
  • FIG. 2B is an explanatory diagram illustrating a display example of an infant image, and is a display example when no movement of the infant is detected.
  • FIG. 3 is an explanatory diagram showing an example in which an image of an infant is displayed on a monitor for navigation display.
  • FIG. 4 is an explanatory diagram showing an example in which an image of an infant is displayed on an electronic mirror.
  • FIG. 5 is an explanatory diagram showing an example in which an image of an infant is displayed on the monitor of the drive recorder.
  • FIG. 1 is a block diagram showing a configuration of a video output apparatus according to the first and second embodiments of the present invention.
  • FIG. 2A is an explanatory diagram illustrating a display example of an infant image, and
  • FIG. 6 is a flowchart showing a processing procedure of the video output apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of the video output apparatus according to the second embodiment.
  • FIG. 8 is a block diagram showing the configuration of the video output apparatus according to the third embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a processing procedure of the video output apparatus according to the third embodiment.
  • FIG. 10 is a display example of an image showing the state of an infant who gets on a plurality of seats according to the fourth embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a video output device and peripheral devices according to a first embodiment and a second embodiment described later.
  • a video output device 101 is mounted on a vehicle and is mounted on a camera 21 that captures an occupant such as an infant riding on a vehicle seat, and a display 22 (display unit) that displays various images. It is connected.
  • the camera 21 captures images of passengers in at least one of the front passenger seat, rear left seat, rear right seat, and the like. Further, only one camera 21 can be provided at a position overlooking the entire seat in the vehicle, or for example, only a seat on which an infant can be placed can be provided at a position where it can be imaged. Furthermore, the camera 21 can also be used as a camera for a drive recorder provided in the vehicle.
  • the camera 21 may be composed of a plurality of cameras. Further, the camera 21 may be configured so that a wide range can be imaged by one camera using an ultra-wide angle lens.
  • the display 22 displays video data (display video) output from the video control unit 15 described later.
  • the display 22 is provided exclusively for displaying video data.
  • the display 22 may also be used as a monitor screen for displaying a navigation image, an electronic mirror, or a monitor screen for a drive recorder. Details will be described later.
  • the video output device 101 includes a video data acquisition unit 11 (video acquisition unit), an occupant recognition unit 12, a motion detection unit 13, a video control unit 15, a color image generation unit 16, a clock circuit 17, and vehicle information.
  • An acquisition unit 18 is provided.
  • the video data acquisition unit 11 acquires video data captured by the camera 21.
  • an occupant image that is an image of an occupant such as an infant is acquired.
  • the occupant recognition unit 12 recognizes an infant (occupant) from the video acquired by the video data acquisition unit 11. Specifically, since the video data captured by the camera 21 includes a child seat for placing an infant and a background image, the image of the infant, particularly the image of the face and the torso, is recognized.
  • the motion detection unit 13 detects whether or not a motion is occurring in the infant based on the infant image recognized by the occupant recognition unit 12.
  • the “movement” of an infant includes an operation of moving a part of a face such as an eye and a mouth and an operation of moving a limb.
  • a reference value of the movement amount is set, and it is determined that the movement is occurring when the movement amount of the infant is equal to or greater than the reference value.
  • the video control unit 15 performs a process of generating a video (display video) to be displayed on the display 22 according to whether or not the baby is moving in the motion detection unit 13. Details will be described later.
  • the color image generation unit 16 generates a color image of the display video generated by the video control unit 15 and outputs it to the video control unit 15.
  • the vehicle information acquisition unit 18 is connected to a CAN (Controller Area Network) or sensor mounted on the vehicle, and acquires travel information such as vehicle speed data, acceleration data, and accelerator opening.
  • travel information such as vehicle speed data, acceleration data, and accelerator opening.
  • information on what driving support function the vehicle is currently performing may be acquired.
  • LKS Li Keeping System
  • ACC Adaptive Cruise Control
  • the vehicle information acquisition unit 18 is a component used in a second embodiment to be described later, and is not an essential component in the first embodiment.
  • the clock circuit 17 measures the elapsed time. Specifically, the intermittent display time (2 seconds, 10 seconds, etc.) described later is counted. Further, without providing the clock circuit 17, time data may be acquired from CAN or the like to measure the elapsed time.
  • FIG. 2A is an explanatory diagram illustrating a display example when movement occurs in an infant.
  • FIG. 2B is an explanatory diagram illustrating a display example when no movement occurs in the infant.
  • the video control unit 15 determines that the motion is detected in the infant by the motion detection unit 13, that is, when it is determined that the above-described motion amount is greater than or equal to the reference value. Then, a display image in which at least a part of the display area 30, for example, the peripheral frame 31, is red (predetermined display color) is generated. In other words, the video control unit 15 generates a display video having a red frame image generated by the color image generation unit 16. At this time, the video control unit 15 does not display anything in the area within the peripheral frame 31. In addition, the video control unit 15 may generate a display video in which the entire display area 30 has a predetermined display color. The video control unit 15 may generate a display video in which a part of the display area 30 such as an upper part and a lower part has a predetermined display color.
  • the surrounding frame 31 is changed to green (other display colors) as shown in FIG.
  • a display image in which an image of the infant 32 (occupant image) is displayed in the area is generated.
  • the video control unit 15 may gradually change the color of the surrounding frame 31 from red to green as the amount of movement decreases from the state in which the infant is moving. That is, the video control unit 15 may gradually change the chromaticity displayed on the peripheral frame 31.
  • the video control unit 15 can change the density of the display color or change the transmittance. By changing the transmittance, it is possible to obtain a display mode in which red is gradually thinned to be colorless.
  • the video control unit 15 changes the color of the peripheral frame 31 from red to green, and in addition, the video of the infant 32 is displayed in the area inside the peripheral frame 31. Is displayed intermittently.
  • the video control unit 15 generates a display video in which the display time and the non-display time are alternately repeated, such as 2 seconds, 10 seconds, 2 seconds, and so on. That is, when the movement of the infant is not detected, the video control unit 15 generates a display video that displays the video of the infant 32 for a predetermined time.
  • the video control unit 15 outputs the generated display video to the display 22.
  • the video control unit 15 instead of intermittently displaying the video of the infant 32, the infant 32 for a predetermined time (for example, 5 seconds) from the time when it is detected that no movement of the infant has occurred. May be displayed, and then only the surrounding frame 31 that is green may be displayed. In other words, the video control unit 15 may change the display state of the occupant video.
  • the color of the surrounding frame 31 is changed to green, and the video of the infant 32 is displayed in the area inside the surrounding frame 31.
  • a display image to be generated is generated and output to the display 22.
  • operator can confirm the state which the infant is sleeping in the image
  • the video image of the infant 32 is displayed intermittently, it is possible to prevent the driver from continuously watching the display area 30 for a long time.
  • the video control unit 15 displays at least a part of the display 22, for example, the surrounding frame 31 in red (predetermined display color). Control for generating a display video to be displayed and generating a display video (for example, a display video to be displayed intermittently) for displaying the video of the infant for a predetermined time when no movement of the infant is detected. I do.
  • FIG. 3 shows an example in which the display area 30 of the display video is displayed at the lower right of the navigation screen 41.
  • FIG. 4 shows an example displayed on the right side of the electronic mirror 42.
  • FIG. 5 shows an example of display on the display screen of the drive recorder 43.
  • the video control unit 15 may have a wireless communication function or a wireless communication module may be connected, and the display video may be transmitted and displayed on the portable terminal via the wireless communication. That is, the display 22 may be a display screen of a mobile terminal.
  • step S ⁇ b> 11 the video data acquisition unit 11 acquires video data (occupant video) captured by the camera 21.
  • step S12 the occupant recognition unit 12 recognizes an infant (occupant) included in the video data acquired by the video data acquisition unit 11.
  • step S13 the motion detector 13 detects whether or not a motion has occurred in the infant from the infant image.
  • step S14 the motion detection unit 13 determines whether or not the amount of movement of the infant detected in step S13 is greater than or equal to a reference value. As described above, the motion detection unit 13 determines that a motion has occurred in the infant when the amount of motion of the infant is greater than or equal to the reference value.
  • step S15 the color image generation unit 16 generates a red frame image.
  • step S ⁇ b> 16 the video control unit 15 synthesizes a red frame image with the surrounding frame 31 of the display area 30. As a result, as shown in FIG. 2A, a red frame image is synthesized with the peripheral frame 31 of the display area 30. Furthermore, the video control unit 15 removes the video data acquired in the process of step S11. Accordingly, the peripheral frame 31 is red, and a display image in which nothing exists inside is generated.
  • step S17 the video control unit 15 outputs the display video data generated in the process of step S16 to the display 22.
  • step S18 the color image generating unit 16 generates a green frame image.
  • step S19 the video control unit 15 synthesizes a green frame image with the video data.
  • a green frame image is combined with the surrounding frame 31 of the display area 30, and a display image in which an infant image exists inside the surrounding frame 31 is generated.
  • the video control unit 15 gradually changes the color of the peripheral frame 31 in accordance with the change in the amount of movement of the infant. For example, when the amount of movement of the infant slowly decreases to less than the reference value, the color of the peripheral frame 31 is gradually changed from red to green. By doing so, it can be recognized from the change in the color of the peripheral frame 31 that the infant is gradually shifting to bed.
  • step S20 the video control unit 15 outputs the video data included in the display video generated in the process of step S19 to the display 22 as an image in which display and non-display are alternately repeated.
  • a display image in which the surrounding frame 31 is displayed in red is displayed on the display 22 as shown in FIG. 2A.
  • the surrounding frame 31 is displayed in green, and the infant image is displayed intermittently inside the surrounding frame 31.
  • the video is displayed on the display 22.
  • the video output device 101 detects the movement of the infant, and determines that the infant is awake when the movement amount is equal to or greater than the reference value.
  • the surrounding frame 31 provided around is displayed in red (predetermined display color). At this time, an image of the infant is not displayed in the area inside the peripheral frame 31. Therefore, the driver can easily recognize that the infant is awake by visually recognizing the red color of the surrounding frame 31. Moreover, since it can avoid that a driver
  • the video output device 101 determines that the infant is sleeping when the amount of movement of the infant is less than the reference value, and displays the surrounding frame 31 in green. Infants' images are displayed intermittently inside the surrounding frame. That is, the image of the infant is displayed for a predetermined time. The driver can intuitively recognize that the infant is sleeping because the display color of the surrounding frame 31 is green. In addition, it is possible to confirm whether or not the child is sleeping in a safe posture by viewing the image of the infant.
  • the vehicle information acquisition unit 18 shown in FIG. 1 acquires vehicle travel information such as vehicle speed data, accelerator opening, and driving support level, and displays it on the display 22 in accordance with the travel state of the vehicle. This is different from the first embodiment described above in that the display mode of the image to be changed is changed.
  • the video output device 101 continuously displays the infant image when the vehicle is stopped, and intermittently displays the infant image when the vehicle is running.
  • the display time for display is changed according to the vehicle speed.
  • the vehicle information acquisition unit 18 illustrated in FIG. 1 acquires vehicle speed data from a CAN or sensor mounted on the vehicle.
  • the acquired vehicle speed data is output to the video controller 15.
  • step S39 the video control unit 15 determines whether the vehicle is running or stopped based on the vehicle speed. When the vehicle speed is zero, the video control unit 15 determines that the vehicle is stopped. Alternatively, a threshold speed (for example, 5 km / h) is set, and when the vehicle speed is less than the threshold speed (less than a predetermined value), the video control unit 15 may determine that the vehicle is stopped.
  • a threshold speed for example, 5 km / h
  • the video control unit 15 may determine that the vehicle is stopped.
  • step S40 the color image generation unit 16 generates a green frame image and controls the video as shown in FIG. 2B. To the unit 15.
  • step S41 the video control unit 15 synthesizes a green frame image with the video data. Accordingly, a display image in which the peripheral frame 31 is green and an infant image is present inside the frame 31 is generated.
  • step S42 the video control unit 15 outputs the generated display video to the display 22 so that the video of the infant is intermittently displayed. Therefore, when the vehicle is traveling, an image in which a green frame image is synthesized around the infant image is intermittently displayed on the display 22.
  • the display time for intermittently displaying the video data is changed according to the vehicle speed. For example, when the vehicle speed is 40 km / h or less, the video data is displayed for 2 seconds and not displayed for 10 seconds. When the vehicle speed exceeds 40 km / h, the display time is gradually shortened as the vehicle speed increases. For example, when the vehicle speed is 60 km / h, the display time is 1 second and the non-display time is 11 seconds. As the vehicle speed increases, the time for the occupant to watch the display 22 is shortened, so that an image of the infant can be displayed while considering safe driving of the vehicle.
  • step S43 the video control unit 15 sets the time when the infant goes to sleep based on the time data output from the clock circuit 17 and the continuous bedtime. Calculate and synthesize to display video. Therefore, a display image is generated by combining the data of the infant's video with the data of the time when the infant started going to bed and the continuous bedtime. Then, the video control unit 15 outputs this display video to the display 22. Therefore, when the vehicle is stopped, the infant image and bedtime data are displayed on the display 22. At this time, the infant image can be more easily recognized by zooming the infant image.
  • the video output device 101 displays the surrounding frame 31 in red when the amount of movement of the infant is equal to or greater than the reference value, as in the first embodiment described above, and , Do not display the infant image. Therefore, the driver can easily recognize that the infant is awake by visually recognizing the red color of the surrounding frame 31. Moreover, since it can avoid that a driver
  • the video output device 101 further determines whether or not the vehicle is running when the amount of movement of the infant is less than the reference value.
  • the surrounding frame 31 is displayed in green, and further, an image of the infant is displayed for a predetermined time (for example, intermittently) inside the surrounding frame. Therefore, the driver can intuitively recognize that the infant is sleeping when the display color of the surrounding frame 31 is green. In addition, the driver can confirm whether or not he / she is sleeping in a safe posture by watching an image of the infant for only 2 seconds, for example.
  • traveling information indicating whether the vehicle is executing a driving support process such as LKS or ACC may be acquired. If the driving support status is not executing a predetermined process, in other words, if it is relatively high that the driver of the vehicle needs to pay attention to safe driving (the vehicle executes driving support of a predetermined degree or more). In this case, the intermittent video display can prevent the driver from watching the video for a long time.
  • a driving support process such as LKS or ACC
  • the image of the infant is displayed intermittently, it is possible to prevent the driver from seeing the display 22 for a long time. Also, as the vehicle speed increases, the display time for intermittent display is shortened (predetermined time is shortened), so that aside driving can be prevented.
  • the video output device 101 When the vehicle is stopped, the video output device 101 according to the second embodiment displays the video of the infant, the bedtime, and bedtime data, so that the driver can see the infant in more detail. Can be recognized. For example, when the vehicle is stopped at a red light, the driver can check the state of the infant in detail.
  • the driver may display the infant in detail. For example, if you are performing automatic driving at level 3 or higher as defined by SAE International, which is defined by SAE ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ J3016, you can drive with a relatively large margin, so the driver will check the infant's condition in detail. be able to. Further, when the driving support process is being executed, there may be a display form such as extending a predetermined time for displaying an infant image or extending an intermittent display interval time.
  • FIG. 8 is a block diagram showing the configuration of the video output apparatus 102 according to the third embodiment.
  • the video output device 102 according to the third embodiment includes a state determination unit 14 and an audio acquisition unit 19 in contrast to the video output device 101 shown in FIG.
  • the sound acquisition unit 19 is different in that it is connected to the microphone 23. Since the other configuration is the same as that of FIG. 1, the same reference numerals are given and the description thereof is omitted.
  • the microphone 23 may use a microphone of a portable terminal and connect the microphone 23 and the voice acquisition unit 19 or between the voice acquisition unit 19 and the state determination unit 14 by wireless communication.
  • the microphone 23 shown in FIG. 8 detects the voice uttered by the infant and outputs it to the voice acquisition unit 19.
  • the state determination unit 14 determines whether the infant is sleeping or close to bed based on the movement of the infant detected by the motion detection unit 13 or is awake. Criteria for going to bed, such as changes in face orientation and limb movements greater than or equal to a certain value, continued movements for more than a certain amount of time, and intermittent movements occurring more than a certain number of times For this, a known technique may be used. In addition, when the person to be observed is not an infant, a state in which meditation or meditation is performed or a state in which each person is indulgent may be determined to be at bedtime or a state close to bedtime.
  • the determination of the transition from sleeping to awakening is performed, for example, by setting an infant movement threshold time (for example, 2 seconds), and when the infant's movement is detected continuously for the threshold time or longer, the state determination unit 14 Judges that she is awake. In other words, movements of less than 2 seconds are considered arousal because there is a possibility of random movements that occur during sleep, such as eye movements (Rapid Eye Movement), missing, and turning over when an infant is sleeping. do not do.
  • an infant movement threshold time for example, 2 seconds
  • the state determination unit 14 determines that the infant is awake.
  • the state determination unit 14 stores a sample of a voice that is utterly produced while the infant is sleeping, such as “Ah, Uh” and “Mama”, and if a voice that matches the sample is detected, Do not use to determine if it is happening. That is, the above sample may be emitted even when the infant is sleeping, and therefore, when a voice that matches this sample is detected, it is not adopted as data for determining arousal.
  • the determination of the transition from awakening to bedtime is made, for example, when 10 seconds have elapsed after the infant's movement and voice are no longer detected, the state determination unit 14 determines that the baby has gone to bed.
  • step S51 the video data acquisition unit 11 acquires video data (occupant video) captured by the camera 21.
  • step S52 the occupant recognition unit 12 recognizes an infant (occupant) included in the video acquired by the video data acquisition unit 11.
  • step S53 the motion detector 13 detects whether or not a motion has occurred in the infant from the infant image. Further, the state determination unit 14 acquires audio data detected by the microphone 23.
  • step S54 the state determination unit 14 analyzes the movement and voice of the infant, and in step S55, determines whether the infant has gone to bed.
  • steps S56 to S58 are performed.
  • the processing in steps S56 to S58 is the same as the processing in steps S15 to S17 shown in FIG.
  • steps S59 to S61 are performed.
  • the processing in steps S59 to S61 is the same as the processing in steps S18 to S20 shown in FIG.
  • the video output device 102 determines whether or not the infant is sleeping. If the infant is not sleeping, the peripheral frame 31 provided around the display area 30 is red. Display in (predetermined display color). At this time, an image of the infant is not displayed in the area inside the peripheral frame 31. Therefore, the driver can easily recognize that the infant is awake by visually recognizing the red color of the surrounding frame 31. Moreover, since it can avoid that a driver
  • the video output device 102 displays the peripheral frame 31 in green, and further displays the video of the infant intermittently inside the peripheral frame.
  • the driver can intuitively recognize that the infant is sleeping because the display color of the surrounding frame 31 is green.
  • FIGS. 2A and 2B an example in which the state of the infant is displayed in the display region 30 (see FIGS. 2A and 2B) with the surrounding frame 31 being red or green is shown.
  • the present invention is not limited to this.
  • a configuration in which at least a part of colors in the display area 30 is changed may be employed.
  • the configuration of the apparatus is the same as that in FIG.
  • the video data acquisition unit 11 is different from the video captured by the camera 21 in that it acquires videos of infants at a plurality of seats of the vehicle.
  • the motion detection unit 13 detects the movements of the plurality of infants, and the video control unit 15 generates a display image to be displayed on the display 22 for each infant.
  • FIG. 10 is an explanatory diagram showing a display example of the video displayed on the display 22.
  • FIG. 10 shows an example in which the seats of the vehicle 60 include a total of six seats 61a to 61f including two front row seats, two middle row seats, and two rear row seats.
  • display areas are set for each of the five seats 61b to 61f excluding the driver's seat, and the seats on which infants are riding are displayed as in the first embodiment.
  • the video to be changed is changed. That is, when the infant is awake, the frame around the position corresponding to the seat on which the infant is riding is displayed in red. In addition, when the infant is sleeping, the surrounding frame is changed to green, and an image of the infant is displayed intermittently.
  • the state of the infant can be displayed on the display 22 for each seat. It becomes possible to easily recognize the state of the infant.
  • the video output device is mounted on the vehicle.
  • the video output device is provided in a remote place such as a base station other than the vehicle, and communication with the vehicle is performed. It is also possible to adopt a configuration for executing the process.
  • the infant was mentioned as an example as a passenger
  • a form in which the state of an elderly person or a sick person is appropriately displayed on the display may be used.
  • the video output devices 101 and 102 described above can be configured as, for example, an integrated computer including a CPU, a memory, and an input / output unit.
  • Each function shown in the present embodiment can be implemented by one or a plurality of processing circuits.
  • the processing circuit includes a processing device including an electric circuit.
  • Processing devices include devices such as application specific integrated circuits (ASICs) and conventional circuit components arranged to perform the functions described in the embodiments.
  • ASICs application specific integrated circuits
  • the video output devices 101 and 102 can be replaced with portable terminals, and each function may be realized by an application.
  • the display form may be changed instead of changing the display color of at least a part of the display image. For example, it is possible to display in a display form that is easy for the driver to understand, such as synthesizing the symbol mark with the video, or widening the peripheral frame of the video. Moreover, when a motion is detected, the form which displays the image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

映像出力装置（１０１，１０２）は、映像データ取得部（１１）、動き検出部（１３）及び映像制御部（１５）を備える。映像データ取得部（１１）は、車両の乗員を撮像した乗員映像を取得する。動き検出部（１３）は、取得した乗員映像に基づいて、乗員の動きを検出する。映像制御部（１５）は、乗員の動きに基づいて、ディスプレイ（２２）に表示する表示映像を生成する制御を行う。映像制御部（１５）は、動き検出部（１３）にて検出される乗員の動きに応じて、表示映像の少なくとも一部の表示形態および乗員映像の表示状態を変化させる。

Description

映像出力装置、映像出力方法、及びコンピュータプログラム
　本発明は、車両に乗車している乳幼児等の乗員の映像を出力する映像出力装置、映像出力方法、及びコンピュータプログラムに関する。
　例えば、車両の後部座席に設置したチャイルドシートに乳幼児を乗せて車両を運転する場合には、運転者は乳幼児を適宜監視して、寝ているか、起きているか、或いは泣いているか等の状態を認識する。このような乗員の状態を監視するための映像出力装置として、例えば特許文献１に開示されたものが知られている。
　特許文献１には、車両の後部座席に乗車している乗員の顔の表情を認識して、泣き顔、ニコニコ顔、おやすみ顔、等のアイコンをディスプレイに表示することにより、後部座席の乗員の状態を監視しやすくすることが開示されている。
特開２０１５－６７２５４号公報
　しかしながら、特許文献１では乗員の状態をアイコンで表示するため、車両を運転中の運転者は、乗員の状態変化を瞬時に認識できないという問題があった。また、車両が停止中である場合には、運転者は乗員の表情を直接確認したいが、アイコンしか表示されないという問題があった。
　本発明は、このような従来の課題を解決するためになされたものであり、乗員の状態変化を適切に認識することが可能な映像出力装置、映像出力方法、及びコンピュータプログラムを提供することを目的とする。
　本実施形態の第１の態様によれば、車両の乗員を撮像した乗員映像を取得する映像取得部と、前記乗員映像に基づいて、前記乗員の動きを検出する動き検出部と、前記乗員の動きに基づいて表示部に表示する表示映像を生成する制御を行う映像制御部と、を備え、前記映像制御部は、前記動き検出部にて検出される前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させることを特徴とする映像出力装置が提供される。
　本実施形態の第２の態様によれば、車両の乗員を撮像した乗員映像を取得するステップと、前記乗員映像に基づいて、前記乗員の動きを検出するステップと、前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップとを備えたことを特徴とする映像出力方法が提供される。
　本実施形態の第３の態様によれば、車両の乗員を撮像した乗員映像を取得するステップと、前記乗員映像に基づいて、前記乗員の動きを検出するステップと、前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップとをコンピュータに実行させることを特徴とするコンピュータプログラムが提供される。
　本実施形態によれば、乗員の状態変化を容易に認識することが可能となる。
図１は、本発明の第１、第２実施形態に係る映像出力装置の構成を示すブロック図である。 図２Ａは、乳幼児画像の表示例を示す説明図であり、乳幼児の動きが検出されたときの表示例である。 図２Ｂは、乳幼児画像の表示例を示す説明図であり、乳幼児の動きが検出されないときの表示例である。 図３は、乳幼児の画像をナビゲーション表示用のモニタに表示した例を示す説明図である。 図４は、乳幼児の画像を電子ミラーに表示した例を示す説明図である。 図５は、乳幼児の画像をドライブレコーダのモニタに表示した例を示す説明図である。 図６は、第１実施形態に係る映像出力装置の処理手順を示すフローチャートである。 図７は、第２実施形態に係る映像出力装置の処理手順を示すフローチャートである。 図８は、本発明の第３実施形態に係る映像出力装置の構成を示すブロック図である。 図９は、第３実施形態に係る映像出力装置の処理手順を示すフローチャートである。 図１０は、第４実施形態に係り、複数の座席に乗車する乳幼児の状態を示す画像の表示例である。
　以下、本発明の実施形態を図面を参照して説明する。
　（第１実施形態）
　図１は、第１実施形態、及び後述する第２実施形態に係る映像出力装置、及びその周辺機器の構成を示すブロック図である。図１に示すように映像出力装置１０１は、車両に搭載されて、車両の座席に乗車している乳幼児等の乗員を撮像するカメラ２１と、各種の画像を表示するディスプレイ２２（表示部）に接続されている。
　カメラ２１は、車両の助手席、後部左座席、後部右座席等の各座席の、少なくとも一つの座席に乗車している乗員を撮像する。また、カメラ２１は、車両内の座席全体を俯瞰する位置に１台だけ設けることや、例えば、乳幼児を乗せる座席のみを撮像可能な位置に設けることができる。更に、カメラ２１は、車両に設けられるドライブレコーダ用のカメラと兼用することもできる。カメラ２１は、複数のカメラによって構成されてもよい。また、カメラ２１は、超広角レンズを用いて1台のカメラで広範囲を撮像できるように構成されてもよい。
　ディスプレイ２２は、後述する映像制御部１５より出力される映像データ（表示映像）を表示する。ディスプレイ２２は、映像データの表示用に専用に設けられる。また、ディスプレイ２２は、ナビゲーション画像表示用のモニタ画面、電子ミラー、或いはドライブレコーダのモニタ画面と兼用してもよい。詳細については後述する。
　映像出力装置１０１は、映像データ取得部１１（映像取得部）と、乗員認識部１２と、動き検出部１３と、映像制御部１５と、色画像生成部１６と、時計回路１７、及び車両情報取得部１８、を備えている。
　映像データ取得部１１は、カメラ２１で撮像された映像データを取得する。特に、乳幼児等の乗員を撮像した映像である乗員映像を取得する。
　乗員認識部１２は、映像データ取得部１１で取得された映像から、乳幼児（乗員）を認識する。具体的には、カメラ２１にて撮像された映像データには、乳幼児を乗せるためのチャイルドシートや背景の映像が含まれているので、乳幼児の映像、特に、顔及び胴体の映像を認識する。
　動き検出部１３は、乗員認識部１２で認識された乳幼児の映像に基づき、乳幼児に動きが発生しているか否かを検出する。乳幼児の「動き」には、乳幼児が目や口などの顔の一部を動かす動作、手足を動かす動作が含まれる。乳幼児の動きを検出する際には、動き量の基準値を設定し、乳幼児の動き量が基準値以上の場合に動きが発生していると判断する。
　映像制御部１５は、動き検出部１３で、乳幼児に動きが発生しているか否かに応じて、ディスプレイ２２に表示する映像（表示映像）を生成する処理を行う。詳細については後述する。
　色画像生成部１６は、映像制御部１５で生成する表示映像の色画像を生成して、映像制御部１５に出力する。
　車両情報取得部１８は、車両に搭載されるＣＡＮ（Controller Area Network）やセンサ等に接続されており、車両の車速データや加速度データ、アクセル開度などの走行情報を取得する。車両が自動運転もしくは運転支援装置を備える場合には、車両が現在どのような運転支援機能を実行して走行中であるかについての情報を取得してもよい。運転支援を行う機能としては、ＬＫＳ(Lane Keeping System)やＡＣＣ(Adaptive Cruise Control)などが知られている。なお、車両情報取得部１８は、後述する第２実施形態で用いる構成要素であり、第１実施形態では必須の構成要素ではない。
　時計回路１７は、経過時間を計時する。具体的には、後述する間欠表示の時間（２秒、１０秒等）を計時する。また、時計回路１７を設けずに、ＣＡＮ等から時刻データを取得して、経過時間を計時してもよい。
　次に、映像制御部１５の詳細な処理について、図２Ａ～図５に示す表示例を参照して説明する。図２Ａは乳幼児に動きが発生しているときの表示例を示す説明図である。図２Ｂは乳幼児に動きが発生していないときの表示例を示す説明図である。
　映像制御部１５は、動き検出部１３にて乳幼児に動きが発生していると判断する場合、即ち、上述した動き量が基準値以上であると判断する場合には、図２Ａに示すように、表示領域３０の少なくとも一部、たとえば周囲枠３１を赤色（所定の表示色）とした表示映像を生成する。即ち、映像制御部１５は、色画像生成部１６にて生成される赤色の枠画像を有する表示映像を生成する。この際、映像制御部１５は、周囲枠３１内の領域には何も表示しない。また、映像制御部１５は、表示領域３０の全体を所定の表示色とした表示映像を生成してもよい。映像制御部１５は、表示領域３０の上部、下部などの一部を所定の表示色とした表示映像を生成してもよい。
　また、映像制御部１５は、乳幼児に動きが発生していないと判断する場合には、図２Ｂに示すように、周囲枠３１を緑色（他の表示色）に変更し、更に、周囲枠３１内の領域に乳幼児３２の映像（乗員映像）が表示された表示映像を生成する。映像制御部１５は、乳幼児に動きが発生している状態から、動き量が減少するにつれて、周囲枠３１の色を、赤色から緑色に徐々に変化させてもよい。即ち、映像制御部１５は、周囲枠３１に表示する色度を徐々に変化させてもよい。また、映像制御部１５は、色度以外にも、表示色の濃度を変化させることや、透過率を変化させることもできる。透過率を変化させることにより、赤色を徐々に薄くして無色に変化させる表示態様とすることができる。
　また、映像制御部１５は、乳幼児に動きが発生していない場合には、周囲枠３１の色を赤色から緑色に変化させることに加えて、周囲枠３１の内側の領域に、乳幼児３２の映像を間欠的に表示する。例えば、映像制御部１５は、２秒間表示、１０秒間非表示、２秒間表示、・・のように、表示時間と非表示時間が交互に繰り返される表示映像を生成する。即ち、映像制御部１５は、乳幼児の動きが検出されない場合には、乳幼児３２の映像を所定時間だけ表示する表示映像を生成する。映像制御部１５は、生成した表示映像をディスプレイ２２に出力する。なお、映像制御部１５は、乳幼児３２の映像を間欠的に表示することに代えて、乳幼児の動きが発生していないことが検出された時点から、所定時間（例えば、５秒間）だけ乳幼児３２の映像を表示し、その後、緑色とされた周囲枠３１のみを表示するようにしてもよい。即ち、映像制御部１５は、乗員映像の表示状態を変化させればよい。
　従って、乳幼児に動きが発生しており、乳幼児が覚醒中であると判断される場合には、表示領域３０の周囲枠３１が赤色で点灯する表示映像が生成されてディスプレイ２２に出力される。これにより、運転中の運転者は、表示領域３０を長時間注視することなく、乳幼児が覚醒していることを自然な目の動きで認識することができる。また、乳幼児の映像は表示されないので、運転者が長時間に亘って表示領域３０を見続けることを防止できる。
　一方、乳幼児に動きが発生しておらず、就寝中であると判断される場合には、周囲枠３１の色を緑色に変更し、更に周囲枠３１の内部の領域に乳幼児３２の映像を表示する表示映像が生成されてディスプレイ２２に出力される。これにより、運転者は、乳幼児が就寝している状態を映像で確認することができる。更に、乳幼児３２の映像は間欠的に表示されるので、運転者が長時間に亘って表示領域３０を見続けることを防止できる。
　このように、映像制御部１５は、動き検出部１３にて乳幼児（乗員）の動きが検出された場合には、ディスプレイ２２の少なくとも一部、たとえば周囲枠３１を赤色（所定の表示色）で表示する表示映像を生成し、乳幼児の動きが検出されない場合には、乳幼児の映像を所定時間だけ表示する表示映像（例えば、間欠的に表示する表示映像）を生成してディスプレイ２２に表示する制御を行う。
　次に、表示領域３０の具体的な表示例について説明する。図３は、表示映像の表示領域３０を、ナビゲーション画面４１の右下に表示する例を示している。図４は、電子ミラー４２の右側に表示する例を示している。図５は、ドライブレコーダ４３の表示画面に表示する例を示している。このように、表示領域３０を既存のモニタ設備に設定することにより、乳幼児監視用の特別なモニタを設ける必要がない。なお、映像制御部１５に、無線通信の機能を持たせるあるいは無線通信モジュールを接続し、無線通信を介して携帯端末に表示映像を送信して表示するようにしてもよい。つまり、ディスプレイ２２は、携帯端末の表示画面であってもよい。
　次に、上述した第１実施形態に係る映像出力装置１０１の処理手順を、図６に示すフローチャートを参照して説明する。
　初めに、ステップＳ１１において、映像データ取得部１１は、カメラ２１で撮像された映像データ（乗員映像）を取得する。
　ステップＳ１２において、乗員認識部１２は、映像データ取得部１１で取得した映像データに含まれる乳幼児（乗員）を認識する。
　ステップＳ１３において、動き検出部１３は、乳幼児の映像から該乳幼児に動きが発生しているか否かを検出する。
　ステップＳ１４において、動き検出部１３は、ステップＳ１３で検出された乳幼児の動き量が基準値以上であるか否かを判断する。前述したように、動き検出部１３は、乳幼児の動き量が基準値以上である場合に、乳幼児に動きが発生したものと判断する。
　動き量が基準値以上である場合には（ステップＳ１４でＹＥＳ）、ステップＳ１５において、色画像生成部１６は、赤色の枠画像を生成する。
　ステップＳ１６において、映像制御部１５は、表示領域３０の周囲枠３１に赤色の枠画像を合成する。その結果、図２Ａに示したように、表示領域３０の周囲枠３１に赤色の枠画像が合成される。更に、映像制御部１５は、ステップＳ１１の処理で取得した映像データを除去する。従って、周囲枠３１が赤色とされ、その内側には何も存在しない表示映像が生成される。
　ステップＳ１７において、映像制御部１５は、ステップＳ１６の処理で生成した表示映像のデータをディスプレイ２２に出力する。
　一方、乳幼児の動き量が基準値未満である場合には（ステップＳ１４でＮＯ）、ステップＳ１８において、色画像生成部１６は、緑色の枠画像を生成する。
　ステップＳ１９において、映像制御部１５は、映像データに緑色の枠画像を合成する。その結果、図２Ｂに示したように、表示領域３０の周囲枠３１に緑色の枠画像が合成され、更に、周囲枠３１の内側に乳幼児の映像が存在する表示映像が生成される。この際、映像制御部１５は、乳幼児の動き量の変化に応じて、周囲枠３１の色を徐々に変化させる。例えば、乳幼児の動き量がゆっくりと少なくなって基準値未満となった場合には、周囲枠３１の色を赤色から徐々に緑色に変化させる。こうすることにより、乳幼児が徐々に就寝に移行していることを周囲枠３１の色の変化で認識することができる。
　ステップＳ２０において、映像制御部１５は、ステップＳ１９の処理で生成した表示映像に含まれる映像データを、表示、非表示が交互に繰り返される画像として、ディスプレイ２２に出力する。
　その結果、乳幼児の動きが基準値以上である場合には、図２Ａに示すように、周囲枠３１が赤色で表示される表示映像がディスプレイ２２に表示される。また、乳幼児の動きが基準値未満である場合には、図２Ｂに示すように、周囲枠３１が緑色で表示され、且つ周囲枠３１の内部に乳幼児の映像が、間欠的に表示される表示映像がディスプレイ２２に表示されることになる。
　このように、第１実施形態に係る映像出力装置１０１は、乳幼児の動きを検出し、動き量が基準値以上である場合には、乳幼児は覚醒中であると判断して、表示領域３０の周囲に設けた周囲枠３１を赤色（所定の表示色）で表示する。この際、周囲枠３１の内側の領域には乳幼児の映像を表示しない。従って、運転者は、周囲枠３１の赤色を視認することにより、乳幼児が覚醒中であることを容易に認識することができる。また、運転者がディスプレイ２２を長時間見続けることを回避できるので、ディスプレイ２２を見続けることによる脇見運転を防止できる。
　一方、第１実施形態に係る映像出力装置１０１は、乳幼児の動き量が基準値未満である場合には、乳幼児は就寝していると判断して、周囲枠３１を緑色で表示し、更に、周囲枠の内側に乳幼児の映像を間欠的に表示する。即ち、乳幼児の映像を所定時間だけ表示する。運転者は、周囲枠３１の表示色が緑色であることにより、乳幼児が就寝していることを直感的に認識することができる。また、乳幼児の映像を見ることにより、安全な姿勢で寝ているか否かを確認することができる。
　また、乳幼児の映像は間欠的に表示されるので、運転者がディスプレイ２２に長時間見入ってしまうことを回避することができる。
　（第２実施形態）
　次に、本発明の第２実施形態について説明する。装置の構成は、第１実施形態で示した図１と同様であるので、説明を省略する。第２実施形態では、図１に示した車両情報取得部１８にて、車速データ、アクセル開度、運転支援レベルなどの車両の走行情報を取得し、車両の走行状態に応じてディスプレイ２２に表示する画像の表示態様を変更する点で、前述した第１実施形態と相違する。
　具体的には、第２実施形態に係る映像出力装置１０１は、車両が停車しているときには、乳幼児の映像を連続的に表示し、車両が走行している場合には、乳幼児の映像を間欠表示する際の表示時間を、車速に応じて変更する。以下、第２実施形態に係る映像出力装置１０１の処理手順を、図７に示すフローチャートを参照して説明する。
　図７に示すステップＳ３１～Ｓ３７の処理は、図６に示したステップＳ１１～Ｓ１７の処理と同様であるので、説明を省略する。
　図７に示すステップＳ３８において、図１に示す車両情報取得部１８は、車両に搭載されるＣＡＮ、或いはセンサより、車速データを取得する。取得した車速データを映像制御部１５に出力する。
　ステップＳ３９において、映像制御部１５は、車速に基づいて車両が走行中であるか、或いは停止中であるかを判断する。車速がゼロの場合に、映像制御部１５は、車両が停止中であると判断する。或いは、閾値速度（例えば、時速５ｋｍ）を設定し、車速が閾値速度未満（所定値未満）の場合に、映像制御部１５は、車両が停止中であると判断しても良い。
　ステップＳ３９にて走行中であると判断された場合には（ステップＳ３９でＹＥＳ）、ステップＳ４０において、色画像生成部１６は、図２Ｂに示すように、緑色の枠画像を生成して映像制御部１５に出力する。
　ステップＳ４１において、映像制御部１５は、映像データに緑色の枠画像を合成する。従って、周囲枠３１が緑色とされ、その内側に乳幼児の映像が存在する表示映像が生成される。
　ステップＳ４２において、映像制御部１５は、生成された表示映像の乳幼児の映像が間欠的に表示されるように、ディスプレイ２２に出力する。従って、車両が走行している場合には、乳幼児の映像の周囲に緑色の枠画像が合成された画像が、間欠的にディスプレイ２２に表示される。ここで、映像データを間欠的に表示する際の表示時間を、車速に応じて変化させる。例えば、車速が４０ｋｍ／ｈ以下の場合には、映像データを、２秒間表示し、１０秒間非表示とする。車速が４０ｋｍ／ｈを超えた場合には、車速の増加に応じて、徐々に表示時間を短くする。例えば、車速が６０ｋｍ／ｈとなった場合には、表示時間を１秒間とし、非表示時間を１１秒とする。このように車速が高い場合ほど乗員がディスプレイ２２を注視する時間を短くすることで、車両の安全な走行に配慮しながら、乳幼児の映像を表示することができる。
　一方、車両が走行中でない場合には（ステップＳ３９でＮＯ）、ステップＳ４３において、映像制御部１５は、時計回路１７より出力される時刻データに基づいて乳幼児が就寝した時刻、継続した就寝時間を演算し、表示映像に合成する。従って、乳幼児の映像に、乳幼児が就寝を開始した時刻、及び継続されている就寝時間のデータを合成した表示映像が生成される。そして、映像制御部１５は、この表示映像をディスプレイ２２に出力する。従って、車両が停止している場合には、乳幼児の映像及び就寝時間のデータがディスプレイ２２に表示されることになる。この際、乳幼児の映像をズーム表示することにより、より一層乳幼児の状態を認識しやすくすることができる。
　このように、第２実施形態に係る映像出力装置１０１は、前述した第１実施形態と同様に、乳幼児の動き量が基準値以上である場合には、周囲枠３１を赤色で表示し、且つ、乳幼児の映像を表示しない。従って、運転者は、周囲枠３１の赤色を視認することにより、乳幼児が覚醒中であることを容易に認識することができる。また、運転者がディスプレイ２２を長時間見続けることを回避できるので、ディスプレイ２２を見続けることによる脇見運転を防止できる。
　一方、第２実施形態に係る映像出力装置１０１は、乳幼児の動き量が基準値未満である場合には、更に、車両が走行中であるか否かを判断し、走行中である場合には、前述した第１実施形態と同様に、周囲枠３１を緑色で表示し、更に、周囲枠の内側に乳幼児の映像を所定時間だけ（例えば、間欠的に）表示する。従って、運転者は、周囲枠３１の表示色が緑色であることにより、乳幼児が就寝していることを直感的に認識することができる。また、運転者は、乳幼児の映像をたとえば２秒間だけでも見ることにより、安全な姿勢で寝ているか否かを確認することができる。
　車両が運転支援または自動運転を行う機能を有する場合、車両が、ＬＫＳやＡＣＣなどの運転支援処理を実行中であるか否かの走行情報を取得してもよい。運転支援状況が予め定めた所定の処理を実行中ではない場合、換言すれば、車両の運転者が安全走行に留意する必要が相対的に高い場合（車両が所定度合い以上の運転支援を実行していないことを示す場合）、このように間欠的な映像表示とすることで、運転者が映像を長時間注視することを防止することができる。
　更に、乳幼児の映像は間欠的に表示されるので、運転者がディスプレイ２２に長時間見入ってしまうことを回避することができる。また、車速が高いほど、間欠表示する際の表示時間を短くする（所定時間を短くする）ので、脇見運転を防止することができる。
　また、車両が停車中である場合には、第２実施形態に係る映像出力装置１０１は、乳幼児の映像、及び就寝した時刻、就寝時間のデータを表示するので、乳幼児の様子をより詳しく運転者に認識させることができる。例えば、車両が赤信号で停車している場合には、運転者は、乳幼児の様子を詳細に確認することが可能となる。
　運転支援状況が予め定めた所定の処理を実行中である場合、換言すれば、車両の運転者が安全走行に留意する必要が相対的に低い場合（車両が所定の度合い以上の運転支援を実行していることを示す場合）、運転者が乳幼児の様子を詳細に確認できる表示としてもよい。たとえばＳＡＥインターナショナルが定める「SAE J3016」が規定するレベル３以上の自動運転を実施中である場合には、比較的余裕をもって運転を行うことができるため、運転者が乳幼児の様子を詳細に確認することができる。また、運転支援処理を実行中の場合には、乳幼児の映像を表示する所定時間を長くする、または、間欠表示のインターバル時間を長くするなどの表示形態があってもよい。
　（第３実施形態）
　次に、本発明の第３実施形態について説明する。図８は、第３実施形態に係る映像出力装置１０２の構成を示すブロック図である。図８に示すように第３実施形態に係る映像出力装置１０２は、前述した図１に示した映像出力装置１０１と対比して、状態判断部１４、及び音声取得部１９を備えている点、及び音声取得部１９がマイクロフォン２３に接続されている点で相違する。それ以外の構成は、図１と同様であるので、同一符号を付して説明を省略する。なお、マイクロフォン２３は、携帯端末のマイクロフォンを利用し、マイクロフォン２３と音声取得部１９の間、あるいは、音声取得部１９と状態判断部１４との間を無線通信で接続してもよい。
　図８に示すマイクロフォン２３は、乳幼児の発する音声を検出して、音声取得部１９に出力する。
　状態判断部１４は、動き検出部１３で検出される乳幼児の動きに基づいて、乳幼児が就寝しているもしくは就寝に近い状態であるか、或いは覚醒しているかを判断する。顔の向きの変化や手足の動きが所定値以上の大きさであること、所定時間以上に動きが継続していること、断続的な動きが所定回数以上に発生したことなど、就寝の判定基準には、公知の技術を用いてよい。また、被観察者が乳幼児でない場合には、黙想や瞑想などを行っている状態や考えごとにふけっている状態を、就寝もしくは就寝に近い状態と判定してもよい。
　就寝から覚醒への移行の判断は、例えば、乳幼児の動き閾値時間（例えば、２秒間）を設定し、閾値時間以上連続して乳幼児の動きが検出された場合に、状態判断部１４は、乳幼児は覚醒したものと判断する。即ち、２秒未満の動きは、乳幼児が就寝しているときの目の振動（Rapid Eye Movement）や欠伸、寝返り等の、就寝中に行われる無造作な動きの可能性があるため、覚醒と判断しない。
　なお、欠伸は、初めに緩やかな長い呼吸を行うために、大きく口を開け、次にしばらく開けた状態が続き、そして閉める。このような動作を示す「欠伸モデル」を用意し、乳幼児の動きと対比することにより、欠伸を判断し、欠伸と判断された場合には、覚醒していないものと判断することもできる。
　更に、動きが検出されない場合でも、マイクロフォン２３で乳幼児が発する音声が検出された場合には、状態判断部１４は、乳幼児は起きているものと判断する。また、状態判断部１４は、「あー、うー」や「ままー」等の、乳幼児が就寝中に無造作に発する音声のサンプルを記憶しておき、サンプルと一致する音声を検出した場合には、起きているか否かの判断に使用しない。即ち、上記のサンプルは、乳幼児が就寝中においても発することがあるので、このサンプルと一致する音声を検出した場合には、覚醒を判断するためのデータとして採用しない。
　また、覚醒から就寝への移行の判断は、乳幼児の動きや音声が検出されなくなってから、例えば１０秒間が経過した場合に、状態判断部１４は、乳幼児は就寝したものと判断する。
　次に、図９に示すフローチャートを参照して、第３実施形態に係る映像出力装置１０２の処理手順について説明する。
　初めに、ステップＳ５１において、映像データ取得部１１は、カメラ２１で撮像された映像データ（乗員映像）を取得する。
　ステップＳ５２において、乗員認識部１２は、映像データ取得部１１で取得した映像に含まれる乳幼児（乗員）を認識する。
　ステップＳ５３において、動き検出部１３は、乳幼児の映像から該乳幼児に動きが発生しているか否かを検出する。更に、状態判断部１４は、マイクロフォン２３で検出される音声データを取得する。
　ステップＳ５４において、状態判断部１４は、乳幼児の動き及び音声を解析し、ステップＳ５５において、乳幼児が就寝したか否かを判断する。
　就寝していないと判断された場合には（ステップＳ５５でＮＯ）、ステップＳ５６～Ｓ５８の処理を行う。ステップＳ５６～Ｓ５８の処理は、図６に示したステップＳ１５～Ｓ１７の処理と同様である。
　一方、就寝していると判断された場合には（ステップＳ５５でＹＥＳ）、ステップＳ５９～Ｓ６１の処理を行う。ステップＳ５９～Ｓ６１の処理は、図６に示したステップＳ１８～Ｓ２０の処理と同様である。
　その結果、乳幼児が就寝していない場合には、図２Ａに示すように、周囲枠３１が赤色で表示される映像がディスプレイ２２に表示される。また、乳幼児が就寝している場合には、図２Ｂに示すように、周囲枠３１が緑色で表示され、且つ周囲枠３１の内部に乳幼児の映像が、間欠的にディスプレイ２２に表示されることになる。
　このようにして、第３実施形態に係る映像出力装置１０２は、乳幼児が就寝しているか否かを判断し、就寝していない場合には、表示領域３０の周囲に設けた周囲枠３１を赤色（所定の表示色）で表示する。この際、周囲枠３１の内側の領域には乳幼児の映像を表示しない。従って、運転者は、周囲枠３１の赤色を視認することにより、乳幼児が起きていることを容易に認識することができる。また、運転者がディスプレイ２２を長時間見続けることを回避できるので、ディスプレイ２２を見続けることによる脇見運転を防止できる。
　一方、第３実施形態に係る映像出力装置１０２は、乳幼児が就寝している場合には、周囲枠３１を緑色で表示し、更に、周囲枠の内側に乳幼児の映像を間欠的に表示する。運転者は、周囲枠３１の表示色が緑色であることにより、乳幼児が就寝していることを直感的に認識することができる。また、乳幼児の映像を見ることにより、安全な姿勢で寝ているか否かを確認することができる。
　また、乳幼児の映像は間欠的に表示されるので、運転者がディスプレイ２２に長時間見入ってしまうことを回避することができる。
　なお、上述した第１～第３実施形態では、表示領域３０（図２Ａ及び図２Ｂ参照）のうち、周囲枠３１の色を赤色、或いは緑色として、乳幼児の状態を表示する例について示したが、本発明はこれに限らない。例えば、表示領域３０のうちの少なくとも一部の色を変更する構成とすることもできる。
　（第４実施形態）
　次に、本発明の第４実施形態について説明する。前述した第１～第３実施形態では、車両の一人の乳幼児（乗員）の状態を示す表示について説明した。第４実施形態では、複数の座席に存在する乳幼児の状態を検出して、座席毎に表示する。
　装置の構成は、前述した図１と同様であるので説明を省略する。但し、映像データ取得部１１は、カメラ２１で撮像される映像から、車両の複数の座席の乳幼児の映像を取得する点で相違する。また、複数の乳幼児の映像を取得するため、動き検出部１３は、複数の乳幼児の動きを検出し、映像制御部１５は、乳幼児毎に、ディスプレイ２２に表示する表示映像を生成する。
　図１０は、ディスプレイ２２に表示する映像の表示例を示す説明図である。図１０は、車両６０の座席が、前列２席、中列２席、後列２席の合計６つの座席６１ａ～６１ｆが存在する例を示している。図１０に示すように、運転席を除く５つの座席６１ｂ～６１ｆにそれぞれ表示領域が設定されており、各座席のうち乳幼児が乗っている座席について、前述した第１実施形態と同様に、表示する映像が変更される。即ち、乳幼児が覚醒している場合には、該乳幼児が乗っている座席に対応する位置の周囲枠を赤色で表示する。また、乳幼児が就寝している場合には、この周囲枠を緑色に変更し、更に、間欠的に乳幼児の画像を表示する。
　このようにして、第４実施形態に係る映像出力装置１０２では、車両の複数の座席に乳幼児が乗っている場合には、座席毎に乳幼児の状態をディスプレイ２２に表示することができるので、複数の乳幼児の状態を容易に認識することが可能となる。
　なお、上述した第１～第４実施形態では、映像出力装置を車両に搭載する例について示したが、映像出力装置を車両以外の基地局などの遠隔地に設け、車両との間での通信により処理を実行する構成とすることも可能である。また、乗員として乳幼児を例に挙げて説明したが、本発明はこれに限定されない。例えば、高齢者や病気の人の状態を適切にディスプレイに表示する形態であってもよい。
　また、上述した映像出力装置１０１、１０２は、例えば、ＣＰＵ、メモリ、及び入出力部を備える一体型のコンピュータとして構成することができる。本実施形態で示す各機能は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置を含む。処理装置は、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。映像出力装置１０１、１０２は、携帯端末に置き換えることが可能であり、各機能をアプリケーションで実現してもよい。
　動き検出部にて検出される乗員の動きが検出された場合に表示映像の少なくとも一部の表示色を変化させることに代えて、表示形態を変化させてもよい。たとえば、シンボルマークを映像に合成する、映像の周囲枠の幅を広くするなど、運転者にとって判りやすい表示形態で表示させることができる。また、動きが検出された場合に、乳幼児の映像を表示させる形態であってもよい。この場合、運転者が、乳幼児の映像を長時間に渡って注視しないよう、間欠的な映像表示とすることが好ましい。
　以上、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
　本発明によれば、乗員の状態変化を容易に認識することが可能となる。

Claims (11)

  1. 　車両の乗員を撮像した乗員映像を取得する映像取得部と、
    　前記乗員映像に基づいて、前記乗員の動きを検出する動き検出部と、
    　前記乗員の動きに基づいて表示部に表示する表示映像を生成する制御を行う映像制御部と、を備え、
    　前記映像制御部は、前記動き検出部にて検出される前記乗員の動きに応じて、前記表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させることを特徴とする映像出力装置。
  2. 　前記乗員の動きに基づいて前記乗員の状態を判断する状態判断部、を更に備え、
    　前記映像制御部は、前記状態判断部にて前記乗員の動き量が基準値以上と判断される場合には、少なくとも前記表示映像の一部を所定の表示とした表示映像を生成し、前記乗員の動き量が基準値未満と判断された場合には、前記乗員映像を所定時間だけ表示する表示映像を生成することを特徴とする請求項１に記載の映像出力装置。
  3. 　前記乗員が発する音声を取得する音声取得部、を更に備え、
    　前記状態判断部は、前記乗員の動きに加え、前記乗員が発する音声に基づいて前記乗員の状態を判断することを特徴とする請求項２に記載の映像出力装置。
  4. 　前記車両の車速を取得する車両情報取得部、を更に備え、
    　前記映像制御部は、前記車速が高いほど、前記乗員映像を表示する所定時間が短くなるように前記表示映像を生成することを特徴とする請求項１～３のいずれか１項に記載の映像出力装置。
  5. 　前記車両の走行状態を取得する車両情報取得部、を更に備え、
    　前記映像制御部は、前記車両の走行状態が、車速が所定値以上である、または、前記車両が所定の度合い以上の運転支援を実行していないことを示す場合、前記乗員映像を間欠的に表示する表示映像を生成することを特徴とする請求項１～４のいずれか１項に記載の映像出力装置。
  6. 　前記車両の走行状態を取得する車両情報取得部、を更に備え、
    　前記映像制御部は、前記車両の走行状態が、車速が所定値未満である、または、前記車両が所定の度合い以上の運転支援を実行していることを示す場合、前記乗員映像を連続的に表示し、且つ、前記乗員の動きが検出されなくなった時刻、および、乗員の動きが検出されなくなった時刻からの経過時間の少なくとも一方を前記表示映像に合成することを特徴とする請求項１～５のいずれか１項に記載の映像出力装置。
  7. 　前記映像制御部は、前記乗員の動き量に応じて、前記表示映像の少なくとも一部の表示色を変更することを特徴とする請求項１～６のいずれか１項に記載の映像出力装置。
  8. 　前記映像制御部は、前記乗員の動き量に応じて、前記表示色の濃度、色度、透過率のうちの少なくとも一つを変更することを特徴とする請求項７に記載の映像出力装置。
  9. 　前記映像取得部は、前記車両に設けられる複数の座席に存在する乗員の乗員映像を取得し、
    　前記映像制御部は、前記座席の位置を示す画像、及び乗員の状態を示す表示映像を生成することを特徴とする請求項１～８のいずれか１項に記載の映像出力装置。
  10. 　車両の乗員を撮像した乗員映像を取得するステップと、
    　前記乗員映像に基づいて、前記乗員の動きを検出するステップと、
    　前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップと
    　を備えたことを特徴とする映像出力方法。
  11. 　車両の乗員を撮像した乗員映像を取得するステップと、
    　前記乗員映像に基づいて、前記乗員の動きを検出するステップと、
    　前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップと
    　をコンピュータに実行させることを特徴とするコンピュータプログラム。
PCT/JP2019/016491 2018-05-16 2019-04-17 映像出力装置、映像出力方法、及びコンピュータプログラム WO2019220851A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19802954.8A EP3795424A4 (en) 2018-05-16 2019-04-17 VIDEO OUTPUT DEVICE, VIDEO OUTPUT PROCESS AND COMPUTER PROGRAM
CN201980029620.9A CN112055670A (zh) 2018-05-16 2019-04-17 影像输出装置、影像输出方法及计算机程序
US17/092,866 US11084424B2 (en) 2018-05-16 2020-11-09 Video image output apparatus, video image output method, and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018094305A JP6969493B2 (ja) 2018-05-16 2018-05-16 映像出力装置、映像出力方法、及びコンピュータプログラム
JP2018-094305 2018-05-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/092,866 Continuation US11084424B2 (en) 2018-05-16 2020-11-09 Video image output apparatus, video image output method, and medium

Publications (1)

Publication Number Publication Date
WO2019220851A1 true WO2019220851A1 (ja) 2019-11-21

Family

ID=68540198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016491 WO2019220851A1 (ja) 2018-05-16 2019-04-17 映像出力装置、映像出力方法、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11084424B2 (ja)
EP (1) EP3795424A4 (ja)
JP (1) JP6969493B2 (ja)
CN (1) CN112055670A (ja)
WO (1) WO2019220851A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090094A1 (ja) * 2022-10-27 2024-05-02 株式会社Ｊｖｃケンウッド 電子ミラー装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
DE112019007988B4 (de) * 2019-12-20 2023-06-29 Mitsubishi Electric Corporation Fahrzeuginnenraum-Überwachungsvorrichtung, Fahrzeuginnenraum-Überwachungssystem und Fahrzeuginnenraum-Überwachungsverfahren
CN113409543A (zh) * 2021-06-24 2021-09-17 广西宁达汽车科技有限公司 一种车内小孩照看系统及方法
JPWO2023053487A1 (ja) * 2021-09-28 2023-04-06

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012121387A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車室内監視装置
US20140015971A1 (en) * 2012-07-10 2014-01-16 Christopher DeJuliis System for passenger monitoring
JP2014223887A (ja) * 2013-05-17 2014-12-04 日産自動車株式会社 車室内監視装置
JP2015067254A (ja) 2013-10-01 2015-04-13 パナソニックＩｐマネジメント株式会社 車載機器と、それを搭載した自動車

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553296B2 (en) * 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US6947071B2 (en) * 2002-11-13 2005-09-20 Kirstin Eichmann Vehicle compartment monitor
US6809643B1 (en) * 2003-03-18 2004-10-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Health monitoring system for car seat
GB2426851B (en) * 2005-05-28 2007-07-18 Martin Charles Adams An occupant monitoring system for homes or offices
JP2007153035A (ja) * 2005-12-01 2007-06-21 Auto Network Gijutsu Kenkyusho:Kk 乗員着座判定システム
US7463161B2 (en) * 2005-12-02 2008-12-09 Delphi Technologies, Inc. Child restraint system with child seat monitoring system and method for monitoring a child seat
KR20090035510A (ko) * 2006-06-28 2009-04-09 존슨 컨트롤스 테크놀러지 컴퍼니 차량 비전 시스템
JP2008199515A (ja) * 2007-02-15 2008-08-28 Fujifilm Corp 同乗者着座姿勢検出・判定装置及び方法
US20090134984A1 (en) * 2007-11-26 2009-05-28 Cheng-Ting Chen Car Poster that Changes Display Contents
US20090174774A1 (en) * 2008-01-03 2009-07-09 Kinsley Tracy L Video system for viewing vehicle back seat
US8179274B2 (en) * 2009-04-02 2012-05-15 Ford Global Technologies, Llc Child seat monitoring system
CN102958756B (zh) * 2011-04-22 2016-07-06 松下知识产权经营株式会社 车辆用输入装置及车辆用输入方法
US9381856B1 (en) * 2012-10-05 2016-07-05 All Distributors, LLC Vehicle temperature alarm for occupants and pets
US9565402B2 (en) * 2012-10-30 2017-02-07 Baby-Tech Innovations, Inc. Video camera device and method to monitor a child in a vehicle
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
US10237211B2 (en) * 2013-10-30 2019-03-19 Mitsubishi Electric Corporation Information processing apparatus, information terminal, information communication relay apparatus, and information processing method
JP6399096B2 (ja) * 2014-09-11 2018-10-03 日本電気株式会社 情報処理装置、表示方法およびコンピュータプログラム
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
KR101858694B1 (ko) * 2015-11-03 2018-06-27 엘지전자 주식회사 차량 및 그 제어방법
JP2017207859A (ja) * 2016-05-17 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6795457B2 (ja) * 2017-06-02 2020-12-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6804416B2 (ja) * 2017-09-25 2020-12-23 矢崎総業株式会社 監視システム
DE112018006598B4 (de) * 2018-01-31 2024-07-04 Mitsubishi Electric Corporation Fahrzeuginnenraumüberwachungsvorrichtung und Fahrzeuginnenraumüberwachungsverfahren
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
JP7076331B2 (ja) * 2018-08-10 2022-05-27 本田技研工業株式会社 車両システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012121387A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車室内監視装置
US20140015971A1 (en) * 2012-07-10 2014-01-16 Christopher DeJuliis System for passenger monitoring
JP2014223887A (ja) * 2013-05-17 2014-12-04 日産自動車株式会社 車室内監視装置
JP2015067254A (ja) 2013-10-01 2015-04-13 パナソニックＩｐマネジメント株式会社 車載機器と、それを搭載した自動車

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3795424A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090094A1 (ja) * 2022-10-27 2024-05-02 株式会社Ｊｖｃケンウッド 電子ミラー装置

Also Published As

Publication number Publication date
EP3795424A4 (en) 2021-07-14
JP6969493B2 (ja) 2021-11-24
EP3795424A1 (en) 2021-03-24
US11084424B2 (en) 2021-08-10
CN112055670A (zh) 2020-12-08
US20210053491A1 (en) 2021-02-25
JP2019199153A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
WO2019220851A1 (ja) 映像出力装置、映像出力方法、及びコンピュータプログラム
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
KR20200123183A (ko) 운전자 주의력 모니터링 방법, 장치 및 전자 기기
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
Chang et al. Design and implementation of a drowsiness-fatigue-detection system based on wearable smart glasses to increase road safety
US9492630B2 (en) Wearable computing device and user interface method
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
US20220165073A1 (en) State detection device and state detection method
WO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
CN114332831A (zh) 一种汽车座舱的智能视觉监控系统
JP2008171108A (ja) 顔状況判定処理装置および撮像装置
JP2022149287A (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
JP2021115911A (ja) 表示制御装置、表示システム、表示制御方法及びプログラム
JP2005338934A (ja) 車両内コミュニケーション装置
CN111126292A (zh) 一种安全监控方法、装置及系统
Shibli et al. Developing a vision-based driving assistance system
JP6662329B2 (ja) 情報制御装置
JP2017103627A (ja) 車両後方表示装置
KR20160064601A (ko) 차량 내의 객체 검출 장치 및 이의 방법
KR20210119243A (ko) 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법
JP2020177303A (ja) 監視システム、移動体、監視方法及びプログラム
JPWO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2019179370A (ja) 車速制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19802954

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019802954

Country of ref document: EP

Effective date: 20201216