WO2023276732A1 - 車載装置、物体の報知方法、及びプログラム - Google Patents

車載装置、物体の報知方法、及びプログラム Download PDF

Info

Publication number
WO2023276732A1
WO2023276732A1 PCT/JP2022/024352 JP2022024352W WO2023276732A1 WO 2023276732 A1 WO2023276732 A1 WO 2023276732A1 JP 2022024352 W JP2022024352 W JP 2022024352W WO 2023276732 A1 WO2023276732 A1 WO 2023276732A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
post
unit
vehicle device
Prior art date
Application number
PCT/JP2022/024352
Other languages
English (en)
French (fr)
Inventor
浩一郎 竹内
正也 伊藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2023276732A1 publication Critical patent/WO2023276732A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Definitions

  • the present disclosure relates to an in-vehicle device, an object notification method, and a program.
  • Patent Document 1 discloses a device for preventing items left behind in the car.
  • a device for preventing an item left behind in a vehicle detects an item left behind by comparing an image obtained by photographing the interior of the vehicle with a reference image. When an item left behind in the vehicle is detected, the device for preventing an item left behind in the vehicle notifies the user that there is an item left behind by the vehicle interior speaker and the vehicle interior display when the door is opened.
  • an in-vehicle device an object notification method, and a program capable of accurately recognizing an object in the vehicle interior and suppressing the calculation time and power consumption required for recognizing the object.
  • the in-vehicle device uses a camera to capture a pre-boarding image, which is an image of the interior of the vehicle before the occupant boards the vehicle, and a post-boarding image, which is an image of the interior of the vehicle after the occupant boards the vehicle.
  • an image acquisition unit configured to acquire an object configured to extract a difference area between the pre-boarding image and the post-boarding image, and perform a process of recognizing the object by image recognition in the difference area; a recognition unit; and an object determination unit configured to determine whether the object recognized by the object recognition unit is an object to be notified and whether the object exists in the vehicle interior.
  • a notification unit that performs notification when the object determination unit determines that the object is the object to be notified and that the object exists in the vehicle interior.
  • the in-vehicle device which is one aspect of the present disclosure, uses image recognition, so it can accurately recognize objects in the vehicle interior.
  • the in-vehicle device which is one aspect of the present disclosure, performs image recognition in the difference area, it is possible to reduce calculation time and power consumption compared to the case where image recognition is performed in the entire post-boarding image.
  • the in-vehicle device capable of communicating with the cloud via a communication device.
  • the in-vehicle device provides a pre-boarding image that is an image of the interior of the vehicle before the occupant gets on the vehicle, a post-boarding image that is an image of the interior of the vehicle after the occupant has gotten on the vehicle, and an image of the vehicle when the vehicle stops.
  • an image acquisition unit configured to acquire, using a camera, an after-vehicle image that is an image of the interior of the vehicle, and an after-locking image that is an image of the interior of the vehicle when the doors of the vehicle are locked
  • an object recognition unit configured to extract a difference area between the pre-boarding image and the post-boarding image, and perform processing for recognizing an object by image recognition in the difference area
  • a notification unit configured to:
  • the object recognition unit recognizes the object based on the difference area and the post-stop image when a predetermined object is recognized in the difference area, and the notification unit recognizes the object recognition unit as the difference area.
  • notification is performed.
  • the in-vehicle device which is another aspect of the present disclosure, uses image recognition, so it can accurately recognize objects in the vehicle interior.
  • the in-vehicle device which is one aspect of the present disclosure, performs image recognition in the difference area, it is possible to reduce calculation time and power consumption compared to the case where image recognition is performed in the entire post-boarding image.
  • a pre-boarding image that is an image of the interior of the vehicle before an occupant boards the vehicle and a post-boarding image that is an image of the interior of the vehicle after the occupant boards the vehicle are captured by a camera.
  • to extract a difference area between the pre-boarding image and the post-boarding image perform a process of recognizing an object by image recognition in the difference area, and determine whether the object is an object to be notified. and whether or not the object exists in the vehicle interior, and if it is determined that the object is the object to be notified and the object exists in the vehicle interior, perform notification;
  • the object notification method which is another aspect of the present disclosure, uses image recognition, so objects in the vehicle can be accurately recognized.
  • image recognition is performed in the difference area, so that calculation time and power consumption can be reduced compared to the case where image recognition is performed in the entire post-boarding image.
  • FIG. 1 is a block diagram showing the configuration of a mobility IoT system
  • FIG. 3 is a block diagram showing a functional configuration of a controller of the in-vehicle device
  • FIG. It is a flow chart showing processing which an in-vehicle device performs. It is a flow chart showing processing which an in-vehicle device performs. It is explanatory drawing showing the process which extracts the difference area
  • FIG. 10 is an explanatory diagram showing a method of tracking the position of an object using an image after the vehicle has stopped and an image while the vehicle is running; It is explanatory drawing showing the process which extracts the difference area
  • the configuration of the mobility IoT system 1 will be described based on FIG. IoT is an abbreviation for Internet of Things.
  • the mobility IoT system 1 includes an in-vehicle device 3 , a cloud 5 and a service providing server 7 . Although only one in-vehicle device 3 is shown in FIG. 1 for convenience, the mobility IoT system 1 includes a plurality of in-vehicle devices 3, for example. The multiple in-vehicle devices 3 are mounted on different vehicles 9, respectively.
  • the in-vehicle device 3 can communicate with the cloud 5 via a communication device 19 mounted on the vehicle 9. Detailed configurations of the in-vehicle device 3 and the vehicle 9 will be described later.
  • the cloud 5 can communicate with the in-vehicle device 3, the service providing server 7, and the mobile terminal 23.
  • the mobile terminal 23 is, for example, a mobile terminal possessed by an occupant of the vehicle 9 . Crew members correspond to users. Examples of the mobile terminal 23 include a smart phone, a tablet terminal, a notebook PC, and the like.
  • the cloud 5 includes a control unit 25, a communication unit 27, and a storage unit 29.
  • the control unit 25 includes a CPU 31 and a semiconductor memory such as RAM or ROM (hereinafter referred to as memory 33).
  • the functions of the control unit 25 are implemented by the CPU 31 executing programs stored in the memory 33 . Also, by executing this program, a method corresponding to the program is executed.
  • the communication unit 27 can perform wireless communication with the communication device 19 and the mobile terminal 23 .
  • the storage unit 29 can record information.
  • the service providing server 7 can communicate with the cloud 5.
  • the service providing server 7 is, for example, a server installed to provide a service for managing operation of the vehicle 9 .
  • the mobility IoT system 1 may include a plurality of service providing servers 7 having different service contents.
  • the cloud 5 collects vehicle 9 data transmitted from each of the multiple in-vehicle devices 3 via the communication device 19 .
  • the cloud 5 stores the collected data in the storage unit 29 for each vehicle 9 .
  • the cloud 5 creates a digital twin based on the data of the vehicle 9 stored in the storage unit 29.
  • a digital twin has normalized index data.
  • the service providing server 7 can acquire the data of the predetermined vehicle stored in the storage unit 29 using the index data acquired from the digital twin.
  • the service providing server 7 determines control details to be instructed to the vehicle 9 and transmits instructions corresponding to the control details to the cloud 5 .
  • the cloud 5 transmits control contents to the vehicle 9 based on the instruction.
  • the in-vehicle device 3 includes a control section 35 and a storage section 37 .
  • the control unit 35 includes a CPU 39 and a semiconductor memory such as RAM or ROM (hereinafter referred to as memory 41).
  • the functions of the control unit 35 are realized by the CPU 39 executing programs stored in the memory 41 . Also, by executing this program, a method corresponding to the program is executed.
  • the storage unit 37 can store information.
  • the storage unit 37 stores an image recognition model.
  • the image recognition model is used to recognize the object 107 by performing image recognition on an image generated using the camera 15 mounted on the vehicle 9 .
  • the functional configuration of the control section 35 includes an image acquisition unit 43, an object recognition unit 45, an object determination unit 47, a notification unit 49, a post-locking processing unit 50, and a post-locking notification unit. It includes a unit 51 , a tracking unit 53 and a vehicle state acquisition unit 55 .
  • the image acquisition unit 43 captures the interior of the vehicle 9 using the camera 15 and acquires the image.
  • the images include a pre-boarding image 101, a post-boarding image 103, a running image 109, a post-stop image 111, a post-locking image 113, and a post-door closing image.
  • the pre-boarding image 101 is an image of the interior of the vehicle 9 before the passenger gets on.
  • the pre-ride image 101 may be an image captured before the engine of the vehicle 9 is turned on, or may be an image captured when the vehicle 9 is in an idling state.
  • the image acquisition unit 43 acquires the pre-boarding image 101 when the door is unlocked.
  • the post-boarding image 103 is an image of the vehicle interior after the passenger has boarded the vehicle 9 .
  • the post-boarding image 103 is, for example, an image captured before the vehicle 9 starts traveling.
  • the running image 109 is an image of the interior of the vehicle while the vehicle 9 is running.
  • the post-stop image 111 is an image of the interior of the vehicle after the vehicle 9 has stopped, and is, for example, an image captured when the vehicle stops.
  • the after-vehicle image 111 is, for example, an image captured when the ignition is turned off.
  • the after-locking image 113 is an image of the interior of the vehicle after the doors of the vehicle 9 have been locked, and is an image captured when the doors are locked, for example.
  • the post-door-close image is an image of the interior of the vehicle after the door of the vehicle 9 is opened and then closed, and is, for example, an image captured when the door is closed after the door is opened.
  • the object recognition unit 45 extracts a difference area Y between the image 101 before boarding and the image 103 after boarding.
  • a difference area Y is an area where there is a difference between the image 101 before boarding and the image 103 after boarding.
  • the object recognition unit 45 performs processing for recognizing the object 107 in the difference region Y by image recognition.
  • the object determination unit 47 determines whether the object 107 recognized by the object recognition unit 45 is the alert target object 107 and whether the object 107 exists in the vehicle interior of the vehicle 9 .
  • the notification unit 49 notifies when the object determination unit 47 determines that the object 107 exists in the vehicle interior of the vehicle 9 .
  • Object determination unit 47 may be part of object recognition unit 45 .
  • An alert target is an object 107 to be notified in steps 12 and 18 .
  • An alert target corresponds to a predetermined object and notification target. Alert targets are stored in the storage unit 29 in advance.
  • the post-locking processing unit 50 performs processing for extracting a difference area Z between the post-locking image 113 and the post-stop image 111 .
  • the difference area Z is an area where there is a difference between the image 113 after locking and the image 111 after stopping.
  • the post-locking processing unit 50 performs processing for recognizing the object 107 by image recognition in the differential region Z.
  • FIG. The post-locking notification unit 51 notifies when the difference area Z is not extracted and when the object 107 is recognized in the difference area Z.
  • FIG. Post-lock processing unit 50 may be part of object recognition unit 45 .
  • the post-locking notification unit 51 performs notification when the object 107 to be alerted is recognized in the difference area Z, for example.
  • the post-locking notification unit 51 does not perform notification, for example, when the object 107 recognized in the difference area Z is not the object 107 to be alerted.
  • the tracking unit 53 tracks the position of the object 107 recognized by the object recognition unit 45 based on the running image 109 .
  • the vehicle state acquisition unit 55 acquires a signal representing the state of the vehicle 9 from the vehicle ECU 11 .
  • the state of the vehicle 9 includes, for example, ignition on, ignition off, engine on, engine off, start of travel, end of travel, door lock, door unlock, door open/close, and idling.
  • Tracking unit 53 may be part of object recognition unit 45 .
  • the vehicle 9 includes a vehicle ECU 11, a camera 15, a communication device 19, and an alert device 21 in addition to the in-vehicle device 3.
  • the in-vehicle device 3 can communicate with each of the vehicle ECU 11 , the camera 15 , the communication device 19 and the alert device 21 .
  • the vehicle ECU 11 detects the state of the vehicle 9 and transmits a signal representing the detected state to the vehicle state acquisition unit 55 of the in-vehicle device 3 via the bus. For example, the vehicle ECU 11 detects the vehicle speed of the vehicle 9 . When the vehicle speed of the vehicle 9 changes from 0 Km/h to a threshold value or more, the vehicle ECU 11 transmits a signal indicating start of travel to the vehicle state acquisition unit 55 . Further, when the vehicle speed of the vehicle 9 changes from the threshold value or higher to 0 Km/h, the vehicle ECU 11 transmits a signal representing the end of running to the vehicle state acquisition unit 55 .
  • the vehicle ECU 11 detects, for example, the shift position. When the shift position is changed to parking and the engine is turned off, the vehicle ECU 11 transmits a signal indicating that the vehicle is stopped to the vehicle state acquisition unit 55 . Further, when the shift position is changed to parking and the engine is on, the vehicle ECU 11 transmits a signal representing the idling state to the vehicle state acquisition unit 55 .
  • the camera 15 is installed inside the vehicle.
  • the photographing range of the camera 15 includes a range within the vehicle interior where the object 107 is likely to be placed.
  • the photographing range of the camera 15 includes, for example, part or all of the driver's seat, front passenger's seat, rear seat, and dashboard.
  • the image 101 before boarding, the image 103 after boarding, the image 109 during driving, the image 111 after stopping, the image 113 after locking, and the image after door closing are images generated by photographing using the camera 15 .
  • the communication device 19 can communicate with the communication unit 27 of the cloud 5.
  • the alert device 21 is, for example, a speaker, horn, meter, or the like.
  • a speaker and a meter are devices installed, for example, in a vehicle interior. Speakers and horns output sound. The meter displays images. Speakers and horns correspond to devices installed in the vehicle.
  • FIG. 3 Processing Executed by In-vehicle Device 3 Processing executed by the in-vehicle device 3 will be described with reference to FIGS. 3 to 7.
  • FIG. The processes shown in FIGS. 3 and 4 are executed, for example, when the in-vehicle device 3 in sleep mode is activated.
  • the in-vehicle device 3 is activated, for example, as follows.
  • the vehicle ECU 11 transmits a door unlock signal to the bus.
  • the in-vehicle device 3 is activated from the sleep state and enters a wakeup state. Note that the in-vehicle device 3 enters a sleep state when the processes shown in FIGS. 3 and 4 are completed.
  • the image acquisition unit 43 acquires the pre-boarding image 101 using the camera 15 .
  • the image acquisition unit 43 sufficiently shortens the time from when the door of the vehicle 9 is unlocked to when the pre-boarding image 101 is acquired. That is, the image acquisition unit 43 acquires an image taken immediately after the door is unlocked. In this case, the occupant has not yet boarded the vehicle 9 when the pre-boarding image 101 is acquired.
  • step 2 the vehicle state acquisition unit 55 determines whether or not the engine of the vehicle 9 is turned on based on the signal acquired from the vehicle ECU 11. If it is determined that the engine of the vehicle 9 has been turned on, the process proceeds to step 3 . If it is determined that the engine of the vehicle 9 is not on, the process returns to step 2 before. It should be noted that the occupant is in the vehicle 9 when the engine of the vehicle 9 is turned on.
  • the image acquisition unit 43 acquires the post-boarding image 103 using the camera 15 .
  • the image acquisition unit 43 acquires the post-boarding image 103 captured when the engine is turned on, for example.
  • the image acquisition unit 43 may acquire the post-boarding image 103 captured when the parking brake is turned off or when the shift is in the D range.
  • step 4 the object recognition unit 45 performs object recognition processing.
  • Object recognition processing is as follows. As shown in FIG. 5 , the object recognition unit 45 compares the pre-boarding image 101 and the post-boarding image 103 to extract a difference region Y between the pre-boarding image 101 and the post-boarding image 103 .
  • the difference area Y is an area in the image 103 after boarding that is different from the image 101 before boarding.
  • the object recognition unit 45 performs processing for recognizing the object 107 in the difference region Y by image recognition.
  • the object recognition unit 45 performs image recognition using the image recognition model stored in the storage unit 37 and identifies the type of the object 107 .
  • the object 107 becomes the difference area Y.
  • FIG. For example, an occupant may bring an object 107 into the passenger compartment when boarding the vehicle 9 .
  • objects 107 include baggage, infants, babies, and the like.
  • Examples of the object 107 include things (excluding people and animals), people, animals, and the like.
  • the object is, for example, an object that can be carried by an occupant of the vehicle 9 .
  • Examples of people include adults, infants, and babies.
  • the object to be alerted when there is a misplacement in the vehicle is defined as the alert object.
  • Alert targets are, for example, infants, babies, animals, baggage such as bags, and the like.
  • the object recognition unit 45 may be configured to recognize only alert objects 107 .
  • step 5 the vehicle state acquisition unit 55 determines whether or not the vehicle 9 has started traveling based on the signal acquired from the vehicle ECU 11. If it is determined that the vehicle has started running, the process proceeds to step 6 . If it is determined that the vehicle has not started running, the process returns to step 5 before. It should be noted that the vehicle 9 is running from the time the vehicle 9 starts running until it is determined in step 10 to be described later that the vehicle 9 has finished running. Running includes not only the running state but also the temporary stopped state. Note that the processing of steps S3 to S5 may be configured to be performed immediately after the vehicle starts running. That is, the post-boarding image 103 described above may be an image after the vehicle 9 starts running.
  • step 6 the object recognition unit 45 determines whether or not the object 107 has been recognized in the process of step 4 above. If it is determined that the object 107 has been recognized, the process proceeds to step 7 . If it is determined that the object 107 could not be recognized, the process proceeds to step 21 . Note that the process proceeds to step 21 not only when it is determined that none of the objects 107 have been recognized, but also when the object 107 to be alerted cannot be recognized. In other words, when the object 107 to be alerted does not exist in the vehicle interior, tracking processing and the like, which will be described later, are not performed.
  • step 7 the image acquisition unit 43 acquires the running image 109 using the camera 15.
  • the image 109 during driving here means an image captured temporally after the image 103 after boarding.
  • the cycle of steps 6 to 10 is repeated each time a negative determination is made in step 10, which will be described later.
  • the running image 109 acquired in step 7 during the i-th cycle is assumed to be the i-th running image 109-i. i is a natural number.
  • step 8 the tracking unit 53 detects the object 107 recognized in the process of step 4 or the object 107 recognized in the process of step 20, which will be described later, based on the image 103 after boarding and the running image 109 acquired in step 7. Track the position of object 107 .
  • the tracking unit 53 compares the post-ride image 103 with the first running image 109-1, and based on the difference between them (hereinafter referred to as the difference area X1), The position of the object 107 recognized in step 4 is tracked. That is, in the difference area X1, an attempt is made to track the object 107 recognized in step 4, and the position of the object 107 is recognized. Further, when the object 107 is recognized in the process of step 20, which will be described later, the tracking unit 53 compares the image after door closing acquired in step 19 with the running image 109 acquired in subsequent step 7, and Based on the difference, the position of object 107 is tracked.
  • the tracking unit 53 compares the first running image 109-1 and the second running image 109-2, and based on the difference between them (hereinafter referred to as the difference area X2), the above step 4 Alternatively, the position of the object 107 recognized in step 20 is tracked. That is, in the difference area X2, an attempt is made to track the recognized object 107 and the position of the object 107 is recognized.
  • the tracking unit 53 compares the second running image 109-2 with the third running image 109-3, and based on the difference between them (hereinafter referred to as the difference area X3), the above step 4 Alternatively, the position of the object 107 recognized in step 20 is tracked.
  • the tracking unit 53 compares the (N+1)-th running image 109-(N+1) with the N-th running image 109-N, and the difference between them (hereinafter referred to as a difference area XN). Based on this, the position of the object 107 recognized in step 4 or step 20 is tracked. The tracking unit 53 periodically acquires the running image 109 and performs these processes. N is a natural number of 1 or more. In step 8, processing up to tracking is performed on the difference area, and image recognition for identifying the type of the object 107 is not performed.
  • tracking was performed by determining the difference area between the two images.
  • tracking may be done as follows.
  • the tracking unit 53 uses the difference region Y between the pre-boarding image 101 and the post-boarding image 103 to track the recognized object 107 in the region including the differential region Y in the first running image 109-1. try. Then, the tracking unit 53 determines the position of the object 107 in the first running image 109-1 (hereinafter referred to as an object existence region Y1). Tracking unit 53 attempts to track recognized object 107 in a region including object presence region Y1 in second running image 109-2. Tracking unit 53 then determines the position of object 107 in second running image 109-2 (hereinafter referred to as object existence region Y2). Similarly, the tracking unit 53 periodically repeats the above-described processing up to the N-th running image 109-N.
  • step 9 the vehicle state acquisition unit 55 determines whether or not an event in which the door of the vehicle 9 is opened and then closed (hereinafter referred to as an open/close event) has occurred based on the signal acquired from the vehicle ECU 11. If it is determined that an open/close event has occurred, the process proceeds to step 19 . If it is determined that no opening/closing event has occurred, the process proceeds to step 10 . Note that the opening/closing event here includes the case where a passenger other than the driver gets in and out while the engine is on.
  • the vehicle state acquisition unit 55 determines whether or not the vehicle 9 has finished traveling based on the signal acquired from the vehicle ECU 11. If it is determined that the vehicle 9 has finished traveling, the process proceeds to step 11 . For example, the vehicle state acquisition unit 55 determines that the vehicle 9 has finished traveling based on an engine-off or ignition-off signal. At the time when the vehicle 9 has finished traveling, the occupant has not gotten off the vehicle. If it is determined that the vehicle 9 has not finished running, the process proceeds to step 6 .
  • step 11 the object determination unit 47 determines whether or not the object 107 recognized in the process of step 4 or step 20 exists inside the vehicle.
  • the object determination unit 47 determines that the object 107 exists in the vehicle interior if the position of the object 107 can be tracked up to the last running image 109-M by the processing of step 8 above.
  • the object determination unit 47 determines that the object 107 does not exist in the vehicle interior if the position of the object 107 cannot be tracked until the last running image 109-M.
  • the object determination unit 47 determines whether or not the object 107 recognized in the process of step 4 or step 20 is the object 107 to be alerted. If it is determined that the alert target object 107 exists in the vehicle interior, the process proceeds to step 12 . If it is determined that the object 107 to be alerted does not exist in the vehicle interior, this process ends. Note that the last running image 109-M may be treated as the post-stop image 111. FIG.
  • the object 107 may be recognized using the last running image 109-M or the post-stop image 111 without performing the periodic tracking processing (step 8) using the running image 109.
  • the object recognition unit 45 performs image recognition on the difference area Y between the pre-boarding image 101 and the post-boarding image 103 in the last running image 109-M, and recognizes the object 107.
  • the object recognition unit 45 may attempt to track the object 107 and recognize the object 107 in the difference area Y and its surrounding area in the last running image 109-M.
  • the notification unit 49 notifies.
  • the notification unit 49 uses, for example, one of the alert devices 21 installed in the vehicle interior to notify the interior of the vehicle.
  • Devices installed in the passenger compartment include, for example, speakers and meters.
  • the notification unit 49 displays or sounds a warning so as not to leave a baby or an animal, or leave baggage behind.
  • step 13 the image acquisition unit 43 acquires the post-stop image 111 using the camera 15.
  • the image acquisition unit 43 acquires the post-stop image 111 from the camera 15 when it is determined that the vehicle has finished traveling.
  • the last running image 109-M may be treated as the post-stop image 111.
  • the vehicle state acquisition unit 55 determines whether or not the doors of the vehicle 9 are locked based on the signal acquired from the vehicle ECU 11. If the vehicle state acquisition unit 55 determines that the doors of the vehicle 9 are locked, the process proceeds to step 15 . If it is determined that the doors of the vehicle 9 are not locked, the process returns to before step 14 .
  • the door locking here includes the door locking state after the driver gets off the vehicle by opening and closing the door after the end of traveling.
  • step 15 the image acquisition unit 43 acquires the post-locking image 113 using the camera 15. For example, the image acquisition unit 43 acquires the post-locking image 113 from the camera 15 when it is determined that the door is locked.
  • step 16 of FIG. 4 the after-locking processing unit 50 performs a process of extracting the difference area Z between the post-stop image 111 and the post-locking image 113, as shown in FIG.
  • the difference area Z does not exist and is not extracted.
  • the difference region Z is extracted. For example, when the object 107 exists in the post-stop image 111 and the object 107 does not exist in the post-locking image 113B, the difference region Z exists and is extracted.
  • the post-locking processing unit 50 performs processing for recognizing the object 107 in the difference area Z by image recognition.
  • the after-locking processing unit 50 can recognize that the object 107 that exists in the post-stop image 111 does not exist in the post-locking image 113 in the differential region Z shown in FIG. 7 .
  • the post-lock processing unit 50 performs processing for recognizing the object 107 by image recognition in each difference area. Accordingly, it can be recognized that the object 107 exists in the region ⁇ in the post-stop image 111 and the object 107 exists in the region ⁇ in the post-locking image 113 .
  • step 17 the post-locking processing unit 50 determines whether or not the object 107 to be alerted remains in the interior of the vehicle 9 based on the result of the processing in step 16 above. If the differential region Z is not extracted, the post-locking processing unit 50 determines that the alert target object 107 remains in the vehicle compartment.
  • the object 107 to be alerted remains inside the vehicle.
  • the baby corresponds to the object 107 that is the alert target. If the baby exists in the post-stop image 111 and the baby exists in the same place in the post-locking image 113, the difference area Z does not exist.
  • a difference area Z is generated. Further, when the baby exists in the area ⁇ of the post-stop image 111 and the baby exists in an area ⁇ different from the area ⁇ in the post-locking image 113 (that is, the baby moves in the vehicle, but after locking If the baby is still inside the vehicle at the time the image 113 is captured), the areas ⁇ and ⁇ are the difference area Z.
  • the post-locking processing unit 50 determines that the object 107 to be alerted remains in the vehicle interior. Otherwise, post-lock processing unit 50 determines that there is no object 107 to be alerted in the vehicle interior. If it is determined that the alert target object 107 remains in the vehicle interior, the process proceeds to step 18 . If it is determined that the alert target object 107 does not remain in the vehicle interior, this process ends.
  • the post-locking notification unit 51 performs notification.
  • notification modes include the following modes.
  • the post-locking notification unit 51 notifies the portable terminal 23 via the cloud 5, for example.
  • the mobile terminal 23 notifies by voice, image, vibration, or the like.
  • the post-locking notification unit 51 transmits the post-locking image 113 or an image obtained by processing the post-locking image 113 to the mobile terminal 23 via the cloud 5 .
  • the mobile terminal 23 displays the post-locking image 113 or an image obtained by processing the post-locking image 113 .
  • the post-locking notification unit 51 for example, sounds the horn of the vehicle 9 and notifies the surroundings of the vehicle 9 so that the driver who got off the vehicle will notice.
  • step 9 If the determination in step 9 is affirmative, proceed to step 19.
  • the image acquisition unit 43 acquires a post-door close image using the camera 15.
  • the object recognition unit 45 performs object recognition processing.
  • Object recognition processing is as follows.
  • the object recognition unit 45 extracts the difference region Y between the last acquired running image 109-M and the door closed image by comparing the last acquired running image 109-M with the door closed image. process.
  • the differential region Y is a region of the image after the door is closed that is different from the last acquired running image 109-M.
  • the object recognition unit 45 performs processing for recognizing the object 107 in the difference area Y by image recognition.
  • the object 107 for example, an occupant who got off the vehicle 9 between the opening and closing of the door of the vehicle 9, an occupant who entered the vehicle 9 between the opening of the door and the closing of the door, and an occupant brought in by the occupant who got on the vehicle. baggage, etc.
  • the object recognition unit 45 performs image recognition using the image recognition model stored in the storage unit 37. If the object 107 is recognized, the object 107 is the object 107 brought into the passenger compartment by the occupant between the opening of the door of the vehicle 9 and the closing of the door.
  • step 21 the vehicle state acquisition unit 55 determines whether or not the vehicle 9 has stopped based on the signal acquired from the vehicle ECU 11 . If it is determined that the vehicle 9 has stopped, the process proceeds to step 22 . If it is determined that the vehicle 9 has not stopped, the process proceeds to step 9 .
  • step 22 the image acquisition unit 43 acquires the running image 109 using the camera 15 . The process then proceeds to step 9.
  • the in-vehicle device 3 acquires a pre-boarding image 101 and a post-boarding image 103 .
  • the in-vehicle device 3 extracts a difference area Y between the image 101 before boarding and the image 103 after boarding, and performs processing for recognizing an object 107 in the difference area Y by image recognition.
  • the difference area Y is the area where the object 107 exists in the after-boarding image 103 .
  • the in-vehicle device 3 extracts the area where the object 107 exists from the image 103 after boarding as the difference area Y, and recognizes the object 107 in the difference area Y by image recognition. .
  • step 11 If the occupant has not collected the object 107 by the time the vehicle 9 stops, it is determined in step 11 that the object 107 is inside the vehicle.
  • the in-vehicle device 3 notifies. The occupant can know that there is an object 107 in the vehicle compartment by the notification. By notifying the inside of the vehicle at the end of traveling, it is possible to preliminarily alert the driver before getting off the vehicle so as to prevent the driver from leaving or leaving the vehicle.
  • the in-vehicle device 3 uses image recognition, it can accurately recognize the type of the object 107 in the vehicle interior. In addition, since the in-vehicle device 3 performs image recognition in the difference region Y in the after-boarding image 103, the calculation time and power consumption can be reduced compared to the case where the image recognition is performed in the entire after-boarding image 103.
  • step 12 the in-vehicle device 3 notifies using a device installed in the vehicle interior.
  • the occupant for example, the driver
  • the occupant can more reliably know that the object 107 is present in the vehicle interior, and can be prevented from leaving the vehicle with the object 107 left in the vehicle interior.
  • the in-vehicle device 3 further acquires the post-stop image 111 and the post-lock image 113 .
  • the in-vehicle device 3 performs a process of extracting the difference area Z between the image 113 after locking and the image 111 after stopping the vehicle, and when the difference area Z is extracted, the process of recognizing the object 107 by image recognition in the difference area Z. I do.
  • the in-vehicle device 3 notifies when the difference area Z is not extracted and when the object 107 is recognized in the difference area Z.
  • a case where the difference region Z is not extracted is a case where the same object 107 exists at the same position in both the image 111 after stopping and the image 113 after locking.
  • the case where the differential region Z is not extracted is the case where the object 107 remains in the vehicle interior of the vehicle 9 after locking.
  • the object 107 is recognized in the difference area Z, the object 107 remains in the vehicle interior of the vehicle 9 after locking.
  • the in-vehicle device 3 notifies, the object 107 remains in the cabin of the vehicle 9 after locking.
  • the occupant of the vehicle 9 can know that the object 107 remains in the vehicle interior of the vehicle 9 after locking.
  • the in-vehicle device 3 can notify the passenger's mobile terminal 23 via the cloud 5 in step 18 above. Therefore, the occupant can more reliably know that the object 107 is present in the vehicle interior of the vehicle 9 .
  • step 18 the in-vehicle device 3 can transmit the post-locking image 113 or an image obtained by processing the post-locking image 113 to the passenger's mobile terminal 23 via the cloud 5 . Therefore, the passenger can know that there is an object 107 in the vehicle interior and what the object 107 is.
  • the in-vehicle device 3 can sound the horn of the vehicle 9 in step 18 above. Therefore, the passenger (for example, the driver) after getting off the vehicle can more reliably know that the object 107 is present in the vehicle compartment.
  • steps 16 and 17 may be the following processing.
  • the post-locking processing unit 50 estimates the range in which the object 107 exists in the post-locking image 113 based on the results of the tracking performed in step 8 above.
  • the post-lock processing unit 50 performs processing for recognizing the object 107 by image recognition for the estimated range.
  • step 17 the post-lock processing unit 50 determines whether or not the object 107 has been recognized in step 16 above. If it is determined that the object 107 has been recognized, the process proceeds to step 18 . If it is determined that the object 107 has not been recognized, this process ends. Since the locked image 113 is an image obtained by photographing the interior of the vehicle 9, the recognized object 107 exists in the interior of the vehicle. Also in this case, the same effects as in the first embodiment are obtained.
  • the in-vehicle device 3 may acquire the pre-boarding image 101 before the passenger gets into the vehicle 9 in the idling state. In this case, the in-vehicle device 3 can notify in step 12 or step 18 about the object 107 brought by the passenger when getting on the vehicle 9 in the idling state.
  • the in-vehicle device 3 may perform other processing in addition to notifying the portable terminal 23 and the like. For example, if the object 107 is a human infant, the in-vehicle device 3, in step 18, operates the air conditioner of the vehicle 9 to lower the temperature of the passenger compartment, opens the windows, unlocks the doors, and the like. It can be carried out.
  • the in-vehicle device 3 may have one or more functions of the camera 15, the communication device 19, and the alert device 21.
  • the in-vehicle device 3 may be configured to perform the measures for infants mentioned in (3) above based on instructions from the cloud 5 .
  • control unit 35 and techniques thereof described in the present disclosure may be implemented by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits.
  • controller 35 and techniques described in this disclosure are a combination of a processor and memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits.
  • may be implemented by one or more dedicated computers configured by The method of realizing the function of each unit included in the control unit 35 does not necessarily include software, and all the functions may be realized using one or more pieces of hardware.
  • a plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or a function possessed by one component may be realized by a plurality of components. . Also, a plurality of functions possessed by a plurality of components may be realized by a single component, or a function realized by a plurality of components may be realized by a single component. Also, part of the configuration of the above embodiment may be omitted. Also, at least part of the configuration of the above embodiment may be added or replaced with respect to the configuration of the other above embodiment.
  • the present disclosure can also be implemented in various forms such as a physical recording medium, an object recognition method, and the like.

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

車載装置（３）は、画像取得ユニットと、物体認識ユニットと、物体判断ユニットと、報知ユニットとを備える。画像取得ユニットは、乗車前画像、及び乗車後画像を、カメラ（１５）を用いて取得する。物体認識ユニットは、乗車前画像と乗車後画像との差分領域を抽出し、差分領域において、画像認識により物体を認識する処理を行う。物体判断ユニットは、認識した物体が報知対象となる物体であるか否か、及び、物体が車室内に存在するか否かを判断する。報知ユニットは、報知対象となる物体が車室内に存在する場合、報知を行う。

Description

車載装置、物体の報知方法、及びプログラム 関連出願の相互参照
　本国際出願は、２０２１年６月３０日に日本国特許庁に出願された日本国特許出願第２０２１－１０９２２０号に基づく優先権を主張するものであり、日本国特許出願第２０２１－１０９２２０号の全内容を本国際出願に参照により援用する。
　本開示は、車載装置、物体の報知方法、及びプログラムに関する。
　車内忘れ物防止装置が特許文献１に開示されている。車内忘れ物防止装置は、車室内を撮影して得られた画像と、基準画像とを比較することによって忘れ物を検知する。車内忘れ物防止装置は、忘れ物を検知した場合、ドアが開いたときに、車室内スピーカー及び車室内ディスプレイにより、ユーザに対して忘れ物があることを通知する。
特開２００９－７５７５６号公報
　発明者の詳細な検討の結果、以下の課題が見出された。車室内を撮影して得られた画像と、基準画像とを比較するだけでは、物体を正確に認識できないことがある。そこで、画像認識により物体を認識することが考えられる。しかしながら、画像の全体において画像認識を行うと、計算時間及び消費電力が増加してしまう。
　本開示の１つの局面では、車室内にある物体を正確に認識できるとともに、物体の認識に要する計算時間及び消費電力を抑制できる車載装置、物体の報知方法、及びプログラムを提供することが好ましい。
　本開示の１つの局面は、車載装置である。車載装置は、車両に乗員が乗車する前の車室内の画像である乗車前画像、及び、前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像を、カメラを用いて取得するように構成された画像取得ユニットと、前記乗車前画像と前記乗車後画像との差分領域を抽出し、前記差分領域において、画像認識により物体を認識する処理を行うように構成された物体認識ユニットと、前記物体認識ユニットが認識した前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断するように構成された物体判断ユニットと、前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると前記物体判断ユニットが判断した場合、報知を行う報知ユニットと、を備える。
　本開示の１つの局面である車載装置は、画像認識を用いるので、車室内にある物体を精度よく認識できる。また、本開示の１つの局面である車載装置は、差分領域において画像認識を行うので、乗車後画像の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。
　本開示の別の局面は、通信機を介してクラウドと通信可能な車載装置である。車載装置は、車両に乗員が乗車する前の車室内の画像である乗車前画像、前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像、前記車両が停車した際の前記車室内の画像である停車後画像、及び前記車両のドアが施錠された際の前記車室内の画像である施錠後画像を、カメラを用いて取得するように構成された画像取得ユニットと、前記乗車前画像と前記乗車後画像との差分領域を抽出し、前記差分領域において、画像認識により物体を認識する処理を行うように構成された物体認識ユニットと、前記車両のユーザに対し報知を行うように構成された報知ユニットと、を備える。
　前記物体認識ユニットは、前記差分領域に所定の物体が認識された場合、前記差分領域と前記停車後画像とに基づいて物体を認識し、前記報知ユニットは、前記物体認識ユニットが前記差分領域と前記停車後画像とに基づいて前記所定の物体を認識した場合、報知を行うよう構成されている。
　本開示の別の局面である車載装置は、画像認識を用いるので、車室内にある物体を精度よく認識できる。また、本開示の１つの局面である車載装置は、差分領域において画像認識を行うので、乗車後画像の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。
　本開示の別の局面は、車両に乗員が乗車する前の車室内の画像である乗車前画像、及び前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像を、カメラを用いて取得し、前記乗車前画像と前記乗車後画像との差分領域を抽出し、前記差分領域において、画像認識により物体を認識する処理を行い、前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断し、前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると判断した場合、報知を行う、物体の報知方法である。
　本開示の別の局面である物体の報知方法では、画像認識を用いるので、車室内にある物体を正確に認識できる。また、本開示の別の局面である物体の報知方法では、差分領域において画像認識を行うので、乗車後画像の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。
モビリティＩｏＴシステムの構成を表すブロック図である。 車載装置の制御部における機能的構成を表すブロック図である。 車載装置が実行する処理を表すフローチャートである。 車載装置が実行する処理を表すフローチャートである。 乗車前画像と乗車後画像との差分領域を抽出する処理を表す説明図である。 停車後画像及び走行中画像を用いて物体の位置をトラッキングする方法を表す説明図である。 停車後画像と施錠後画像との差分領域を抽出する処理を表す説明図である。
　本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
　１．モビリティＩｏＴシステム１の構成
　モビリティＩｏＴシステム１の構成を、図１に基づき説明する。ＩｏＴは、Internet of Thingsの略である。モビリティＩｏＴシステム１は、車載装置３と、クラウド５と、サービス提供サーバ７と、を備える。なお、図１では便宜上、１のみの車載装置３を記載しているが、モビリティＩｏＴシステム１は、例えば、複数の車載装置３を備える。複数の車載装置３は、それぞれ、異なる車両９に搭載されている。
　車載装置３は、車両９に搭載された通信機１９を介して、クラウド５と通信可能である。なお、車載装置３及び車両９の詳しい構成は後述する。
　クラウド５は、車載装置３、サービス提供サーバ７、及び携帯端末２３と通信可能である。携帯端末２３は、例えば、車両９の乗員が所持する携帯端末である。乗員はユーザに対応する。携帯端末２３として、例えば、スマートフォン、タブレット端末、ノートＰＣ等が挙げられる。
　クラウド５は、制御部２５と、通信部２７と、記憶部２９とを備える。制御部２５は、ＣＰＵ３１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ３３とする）とを備える。制御部２５の機能は、メモリ３３に格納されたプログラムをＣＰＵ３１が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。通信部２７は、通信機１９及び携帯端末２３との間で無線通信を行うことができる。記憶部２９は情報を記録することができる。
　サービス提供サーバ７は、クラウド５と通信可能である。サービス提供サーバ７は、例えば、車両９の運行を管理するサービス等を提供するために設置されたサーバである。なお、モビリティＩｏＴシステム１は、サービス内容が互いに異なる複数のサービス提供サーバ７を備えてもよい。
　クラウド５は、複数の車載装置３のそれぞれから通信機１９を介して送信された車両９のデータを収集する。クラウド５は、車両９ごとに、収集したデータを記憶部２９に記憶する。
　クラウド５は、記憶部２９に記憶されている車両９のデータに基づき、デジタルツインを作成する。デジタルツインは、正規化されたインデックスデータを有する。サービス提供サーバ７は、デジタルツインから取得したインデックスデータを用いて記憶部２９に記憶されている所定車両のデータを取得することができる。サービス提供サーバ７は、車両９に指示する制御内容を決定し、制御内容に対応する指示をクラウド５に送信する。クラウド５は、指示に基づき、車両９へ制御内容を送信する。
　２．車載装置３及び車両９の構成
　車載装置３及び車両９の構成を、図１～図２に基づき説明する。図１に示すように、車載装置３は、制御部３５と、記憶部３７と、を備える。制御部３５は、ＣＰＵ３９と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ４１とする）とを備える。制御部３５の機能は、メモリ４１に格納されたプログラムをＣＰＵ３９が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
　記憶部３７は情報を記憶することができる。記憶部３７には、画像認識モデルが記憶されている。画像認識モデルは、車両９に搭載されたカメラ１５を用いて生成した画像に対し画像認識を行い、物体１０７を識別するために使用される。
　図２に示すように、制御部３５の機能的な構成は、画像取得ユニット４３と、物体認識ユニット４５と、物体判断ユニット４７と、報知ユニット４９と、施錠後処理ユニット５０と、施錠後報知ユニット５１と、トラッキングユニット５３と、車両状態取得ユニット５５と、を含む。
　画像取得ユニット４３は、カメラ１５を用いて車両９の車室内を撮影し、画像を取得する。画像として、乗車前画像１０１と、乗車後画像１０３と、走行中画像１０９と、停車後画像１１１と、施錠後画像１１３と、ドアクローズ後画像とがある。
　乗車前画像１０１は、車両９に乗員が乗車する前の車室内の画像である。乗車前画像１０１は、車両９のエンジンがオンになる前に撮影された画像であってもよいし、車両９がアイドリング状態であるときに撮影された画像であってもよい。例えば、画像取得ユニット４３は、ドアロック解除を契機として乗車前画像１０１を取得する。
　乗車後画像１０３は、車両９に乗員が乗車した後の車室内の画像である。乗車後画像１０３は、例えば、車両９が走行を開始する前に撮影された画像である。走行中画像１０９は、車両９が走行中であるときの車室内の画像である。停車後画像１１１は、車両９が停車した後の車室内の画像であり、例えば、停車を契機として撮影された画像である。停車後画像１１１は、例えば、イグニッションオフを契機として撮影された画像である。施錠後画像１１３は、車両９のドアが施錠された後の車室内の画像であり、例えば、ドア施錠を契機として撮影された画像である。ドアクローズ後画像は、車両９のドアが開き、次に閉じた後の車室内の画像であり、例えば、ドア開放後のドア閉鎖を契機として撮影された画像である。
　物体認識ユニット４５は、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを抽出する。差分領域Ｙは、乗車前画像１０１と乗車後画像１０３との画像に差異がある領域である。物体認識ユニット４５は、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。物体判断ユニット４７は、物体認識ユニット４５が認識した物体１０７がアラート対象となる物体１０７であるか否か、及び、物体１０７が車両９の車室内に存在するか否かを判断する。報知ユニット４９は、物体１０７が車両９の車室内に存在すると物体判断ユニット４７が判断した場合、報知を行う。物体判断ユニット４７は、物体認識ユニット４５の一部であってもよい。アラート対象とは、ステップ１２、１８において報知を行う対象となる物体１０７である。アラート対象は所定の物体、及び報知対象に対応する。アラート対象は記憶部２９に予め記憶されている。
　施錠後処理ユニット５０は、施錠後画像１１３と停車後画像１１１との差分領域Ｚを抽出する処理を行う。差分領域Ｚは、施錠後画像１１３と停車後画像１１１との画像に差異がある領域である。施錠後処理ユニット５０は、差分領域Ｚが抽出された場合は、差分領域Ｚにおいて、画像認識により物体１０７を認識する処理を行う。施錠後報知ユニット５１は、差分領域Ｚが抽出されなかった場合、及び、差分領域Ｚで物体１０７が認識された場合、報知を行う。施錠後処理ユニット５０は、物体認識ユニット４５の一部であってもよい。施錠後報知ユニット５１は、例えば、差分領域Ｚで、アラート対象となる物体１０７が認識された場合、報知を行う。施錠後報知ユニット５１は、例えば、差分領域Ｚで認識された物体１０７がアラート対象となる物体１０７ではない場合は、報知を行わない。
　トラッキングユニット５３は、走行中画像１０９に基づき、物体認識ユニット４５が認識した物体１０７の位置をトラッキングする。車両状態取得ユニット５５は、車両ＥＣＵ１１から車両９の状態を表す信号を取得する。車両９の状態として、例えば、イグニッションオン、イグニッションオフ、エンジンオン、エンジンオフ、走行開始、走行終了、ドアの施錠、ドアの解錠、ドアの開閉、アイドリング状態等が挙げられる。トラッキングユニット５３は、物体認識ユニット４５の一部であってもよい。
　図１に示すように、車両９は、車載装置３に加えて、車両ＥＣＵ１１、カメラ１５、通信機１９、及びアラート機器２１を備える。車載装置３は、車両ＥＣＵ１１、カメラ１５、通信機１９、及びアラート機器２１のそれぞれと、通信を行うことができる。
　車両ＥＣＵ１１は、車両９の状態を検出し、検出した状態を表す信号を、バスを介して車載装置３の車両状態取得ユニット５５に送信する。例えば、車両ＥＣＵ１１は、車両９の車速を検出する。車両９の車速が０Ｋｍ／ｈから閾値以上に変化したとき、車両ＥＣＵ１１は、走行開始を表す信号を車両状態取得ユニット５５に送信する。また、車両９の車速が閾値以上から０Ｋｍ／ｈに変化したとき、車両ＥＣＵ１１は、走行終了を表す信号を車両状態取得ユニット５５に送信する。
　車両ＥＣＵ１１は、例えば、シフトの位置を検出する。シフトの位置がパーキングに変化し、エンジンがオフになったとき、車両ＥＣＵ１１は、停車を表す信号を車両状態取得ユニット５５に送信する。また、シフトの位置がパーキングに変化し、エンジンがオンであるとき、車両ＥＣＵ１１は、アイドリング状態を表す信号を車両状態取得ユニット５５に送信する。
　カメラ１５は、車室内に設置されている。カメラ１５の撮影範囲は、車室内のうち、物体１０７が置かれる可能性が高い範囲を含む。カメラ１５の撮影範囲は、例えば、運転席、助手席、後部座席、及びダッシュボード等の一部又は全部を含む。乗車前画像１０１、乗車後画像１０３、走行中画像１０９、停車後画像１１１、施錠後画像１１３、及びドアクローズ後画像は、カメラ１５を用いて撮影することで生成する画像である。
　通信機１９は、クラウド５の通信部２７との間で通信を行うことができる。アラート機器２１は、例えば、スピーカー、クラクション、メーター等である。スピーカー、及びメーターは、例えば、車室内に設置されている装置である。スピーカー、及びクラクションは音声を出力する。メーターは画像を表示する。スピーカー、及びクラクションは車両に設置された装置に対応する。
　３．車載装置３が実行する処理
　車載装置３が実行する処理を図３～図７に基づき説明する。図３、図４に示す処理は、例えば、スリープ状態にあった車載装置３が起動したときに実行される。車載装置３は、例えば、以下のように起動する。車両９のドアが解錠されたとき、車両ＥＣＵ１１がドア解錠信号をバスに送信する。ドア解錠信号を受信した車載装置３は、スリープ状態から起動し、ウェイクアップ状態となる。なお、車載装置３は、図３、図４に示す処理が終了したとき、スリープ状態となる。
　図３のステップ１では、画像取得ユニット４３が、カメラ１５を用いて乗車前画像１０１を取得する。例えば、画像取得ユニット４３は、車両９のドアが解錠された時点から、乗車前画像１０１を取得するまでの時間を十分に短くする。すなわち、画像取得ユニット４３は、ドアが解錠された直後に撮影された画像を取得する。その場合、乗車前画像１０１を取得した時点で、乗員は未だ車両９に乗車していない。
　ステップ２では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９のエンジンがオンになったか否かを判断する。車両９のエンジンがオンになったと判断した場合、本処理はステップ３に進む。車両９のエンジンがオンでないと判断した場合、本処理はステップ２の前に戻る。なお、車両９のエンジンがオンになったとき、乗員は車両９に乗車している。
　ステップ３では、画像取得ユニット４３が、カメラ１５を用いて乗車後画像１０３を取得する。画像取得ユニット４３は、例えば、エンジンオンを契機として撮影された乗車後画像１０３を取得する。例えば、画像取得ユニット４３は、パーキングブレーキオフやシフトがＤレンジになったことを契機として撮影された乗車後画像１０３を取得してもよい。
　ステップ４では、物体認識ユニット４５が物体認識処理を行う。物体認識処理は以下のとおりである。物体認識ユニット４５は、図５に示すように、乗車前画像１０１と乗車後画像１０３とを対比することで、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを抽出する処理を行う。
　差分領域Ｙとは、乗車後画像１０３のうち、乗車前画像１０１とは画像に差異がある領域である。物体認識ユニット４５は、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。物体認識ユニット４５は、記憶部３７に記憶されている画像認識モデルを使用して画像認識を行い、物体１０７の種類を識別する。乗車前画像１０１において物体１０７が存在せず、乗車後画像１０３において物体１０７が存在する場合、物体１０７は差分領域Ｙとなる。例えば、乗員は、車両９に乗車するとき、物体１０７を車室内に持ち込むことがある。物体１０７として、例えば、手荷物、幼児、赤ちゃん等が挙げられる。
　物体１０７として、例えば、物（人及び動物を除く）、人、動物等が挙げられる。物は、例えば、車両９の乗員が持ち運び可能な物である。人として、例えば、大人、幼児、赤ちゃん等が挙げられる。これらのうち、車室内に置き忘れがある場合にアラートする対象をアラート対象とする。アラート対象は、例えば、幼児、赤ちゃん、動物、バッグ等の手荷物等である。物体認識ユニット４５は、アラート対象となる物体１０７のみを認識するよう構成してもよい。
　ステップ５では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９が走行を開始したか否かを判断する。走行を開始したと判断した場合、本処理はステップ６に進む。走行を開始していないと判断した場合、本処理はステップ５の前に戻る。なお、車両９が走行を開始してから、後述するステップ１０で走行が終了したと判断するまで、車両９は走行中である。走行中とは、走行状態だけでなく、一時的な停車状態も含む。なお、ステップＳ３～Ｓ５の処理を、走行開始直後に行うように構成してもよい。すなわち、前述した乗車後画像１０３は、車両９が走行を開始した後の画像であってもよい。
　ステップ６では、前記ステップ４の処理で物体１０７を認識できたか否かを物体認識ユニット４５が判断する。物体１０７を認識できたと判断した場合、本処理はステップ７に進む。物体１０７を認識できなかったと判断した場合、本処理はステップ２１に進む。なお、いずれの物体１０７も認識できなかったと判断した場合だけでなく、アラート対象となる物体１０７を認識できなかった場合も、ステップ２１に進む。すなわち、アラート対象となる物体１０７が車室内に存在しない場合、後述するトラッキング処理等は行わない。
　ステップ７では、画像取得ユニット４３が、カメラ１５を用いて走行中画像１０９を取得する。ここでの走行中画像１０９とは、乗車後画像１０３よりも時間的に後に撮影された画像を意味する。なお、後述するステップ１０で否定判断するごとに、ステップ６～１０のサイクルが繰り返される。ｉ回目のサイクル中のステップ７で取得した走行中画像１０９を、ｉ回目の走行中画像１０９－ｉとする。ｉは自然数である。
　ステップ８では、トラッキングユニット５３が、乗車後画像１０３、及び前記ステップ７で取得した走行中画像１０９に基づき、前記ステップ４の処理で認識した物体１０７、又は、後述するステップ２０の処理で認識した物体１０７の位置をトラッキングする。
　例えば、図６に示すように、トラッキングユニット５３は、乗車後画像１０３と、１回目の走行中画像１０９－１とを対比し、それらの差（以下では差分領域Ｘ１とする）に基づき、前記ステップ４の処理で認識した物体１０７の位置をトラッキングする。すなわち、差分領域Ｘ１において、ステップ４で認識した物体１０７の追跡を試み、当該物体１０７の位置を認識する。また、後述するステップ２０の処理で物体１０７を認識した場合、トラッキングユニット５３は、ステップ１９で取得したドアクローズ後画像と、その後のステップ７で取得した走行中画像１０９とを対比し、それらの差に基づき、物体１０７の位置をトラッキングする。
　また、トラッキングユニット５３は、１回目の走行中画像１０９－１と、２回目の走行中画像１０９－２とを対比し、それらの差（以下では差分領域Ｘ２とする）に基づき、前記ステップ４又は前記ステップ２０の処理で認識された物体１０７の位置をトラッキングする。すなわち、差分領域Ｘ２において、認識された物体１０７の追跡を試み、当該物体１０７の位置を認識する。また、トラッキングユニット５３は、２回目の走行中画像１０９－２と、３回目の走行中画像１０９－３とを対比し、それらの差（以下では差分領域Ｘ３とする）に基づき、前記ステップ４又は前記ステップ２０の処理で認識された物体１０７の位置をトラッキングする。同様に、トラッキングユニット５３は、（Ｎ＋１）回目の走行中画像１０９－（Ｎ＋１）と、Ｎ回目の走行中画像１０９－Ｎとを対比し、それらの差（以下では差分領域ＸＮとする）に基づき、前記ステップ４又は前記ステップ２０の処理で認識された物体１０７の位置をトラッキングする。トラッキングユニット５３は定期的に走行中画像１０９を取得し、これらの処理を行う。Ｎは１以上の自然数である。なお、ステップ８では、差分領域に対してトラッキングをするまでの処理を行い、物体１０７の種類を識別するための画像認識は行わない。
　上述の説明では、２つの画像の差分領域を定めてトラッキングを行った。しかしながら、トラッキングは、次のように行っても良い。トラッキングユニット５３は、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを用いて、１回目の走行中画像１０９－１における当該差分領域Ｙを含む領域において、認識された物体１０７の追跡を試みる。そして、トラッキングユニット５３は、１回目の走行中画像１０９－１における物体１０７の位置（以下では物体存在領域Ｙ１とする）を決定する。トラッキングユニット５３は、２回目の走行中画像１０９－２における物体存在領域Ｙ１を含む領域において、認識された物体１０７の追跡を試みる。そして、トラッキングユニット５３は、２回目の走行中画像１０９－２における物体１０７の位置（以下では物体存在領域Ｙ２とする）を決定する。トラッキングユニット５３は、以下同様に、Ｎ回目の走行中画像１０９－Ｎまで上述した処理を定期的に繰り返す。
　ステップ９では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９のドアが開き、次に閉じた事象（以下では開閉事象とする）が生じたか否かを判断する。開閉事象が生じたと判断した場合、本処理はステップ１９に進む。開閉事象が生じなかったと判断した場合、本処理はステップ１０に進む。なお、ここでの開閉事象は、エンジンオンのままドライバ以外の乗員が乗降する場合を含む。
　ステップ１０では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９の走行が終了したか否かを判断する。車両９の走行が終了したと判断した場合、本処理はステップ１１に進む。例えば、車両状態取得ユニット５５は、エンジンオフ又はイグニッションオフの信号に基づき、車両９の走行が終了したと判断する。車両９の走行が終了した時点では、乗員は降車していない。車両９の走行が終了していないと判断した場合、本処理はステップ６に進む。
　ステップ１１では、前記ステップ４又は前記ステップ２０の処理で認識した物体１０７が車室内に存在するか否かを物体判断ユニット４７が判断する。物体判断ユニット４７は、前記ステップ８の処理により、最後の走行中画像１０９－Ｍまで、物体１０７の位置がトラッキングできていれば、物体１０７は車室内に存在すると判断する。物体判断ユニット４７は、最後の走行中画像１０９－Ｍまで、物体１０７の位置がトラッキングできていなければ、物体１０７は車室内に存在しないと判断する。
　また、物体判断ユニット４７は、前記ステップ４又は前記ステップ２０の処理で認識した物体１０７がアラート対象である物体１０７であるか否かを判断する。アラート対象である物体１０７が車室内に存在すると判断した場合、本処理はステップ１２に進む。アラート対象である物体１０７が車室内に存在しないと判断した場合、本処理は終了する。なお、最後の走行中画像１０９－Ｍを、停車後画像１１１として扱ってもよい。
　また、走行中画像１０９による定期的なトラッキング処理（ステップ８）を行うことなく、最後の走行中画像１０９－Ｍ又は停車後画像１１１を用いて、物体１０７を認識するように構成してもよい。例えば、物体認識ユニット４５は、最後の走行中画像１０９－Ｍにおける乗車前画像１０１と乗車後画像１０３との差分領域Ｙに対し、画像認識を行い、物体１０７を認識する。または、物体認識ユニット４５は、最後の走行中画像１０９－Ｍにおける差分領域Ｙ及びその周辺領域において、物体１０７の追跡を試み、物体１０７を認識してもよい。
　ステップ１２では、報知ユニット４９が報知を行う。報知ユニット４９は、例えば、アラート機器２１のうち、車室内に設置された装置を用いて、車室内に向けて報知を行う。車室内に設置された装置として、例えば、スピーカー、メーター等が挙げられる。報知ユニット４９は、赤ちゃんや動物の置き去り、手荷物の置き忘れ等をしないよう、表示又は音声にて注意喚起する。
　ステップ１３では、画像取得ユニット４３が、カメラ１５を用いて停車後画像１１１を取得する。例えば、画像取得ユニット４３は、走行終了の判断を契機としてカメラ１５から停車後画像１１１を取得する。また、最後の走行中画像１０９－Ｍを停車後画像１１１として扱ってもよい。
　ステップ１４では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９のドアが施錠されたか否かを判断する。車両９のドアが施錠されたと車両状態取得ユニット５５が判断した場合、本処理はステップ１５に進む。車両９のドアが施錠されていないと判断した場合、本処理はステップ１４の前に戻る。なお、ここでのドア施錠は、走行終了後のドア開閉によりドライバが降車した後のドア施錠状態を含む。
　ステップ１５では、画像取得ユニット４３が、カメラ１５を用いて施錠後画像１１３を取得する。例えば、画像取得ユニット４３は、ドアが施錠されたとの判断を契機として、カメラ１５から施錠後画像１１３を取得する。
　図４のステップ１６では、施錠後処理ユニット５０が、図７に示すように、停車後画像１１１と施錠後画像１１３との差分領域Ｚを抽出する処理を行う。例えば、停車後画像１１１と施錠後画像１１３Ａとの両方において、同一の物体１０７が同じ位置に存在する場合、差分領域Ｚは存在せず、抽出されない。
　施錠後画像１１３Ｂの内容が、停車後画像１１１の内容とは異なる場合、差分領域Ｚは抽出される。例えば、停車後画像１１１においては物体１０７が存在し、施錠後画像１１３Ｂにおいては物体１０７が存在しない場合、差分領域Ｚは存在し、抽出される。
　差分領域Ｚが抽出された場合、施錠後処理ユニット５０は、差分領域Ｚにおいて、画像認識により物体１０７を認識する処理を行う。施錠後処理ユニット５０は、図７に示す差分領域Ｚにおいて、停車後画像１１１では存在した物体１０７が施錠後画像１１３では存在しないことを認識することができる。ここで、停車後から施錠後までの間に物体１０７が移動した場合、異なる二つの差分領域が抽出される。施錠後処理ユニット５０は、各差分領域において画像認識により物体１０７を認識する処理を行う。これにより、停車後画像１１１では領域αに物体１０７が存在し、施錠後画像１１３では領域βに物体１０７が存在することを認識できる。
　ステップ１７では、施錠後処理ユニット５０が、前記ステップ１６の処理の結果に基づき、車両９の車室内にアラート対象である物体１０７が残っているか否かを判断する。差分領域Ｚが抽出されなかった場合、施錠後処理ユニット５０は、車室内にアラート対象である物体１０７が残っていると判断する。
　例えば、停車後画像１１１では赤ちゃんが存在し、施錠後画像１１３でも同じ場所に赤ちゃんが存在する場合は、車室内にアラート対象である物体１０７が残っている場合である。赤ちゃんは、アラート対象である物体１０７に対応する。停車後画像１１１では赤ちゃんが存在し、施錠後画像１１３でも同じ場所に赤ちゃんが存在する場合、差分領域Ｚは存在しない。
　停車後画像１１１では赤ちゃんが存在し、施錠後画像１１３では赤ちゃんが存在しない場合（すなわち、ドライバとともに赤ちゃんが降車した場合）、差分領域Ｚが生じる。また、停車後画像１１１のうち領域αに赤ちゃんが存在し、施錠後画像１１３のうち、領域αとは異なる領域βに赤ちゃんが存在する場合（すなわち、赤ちゃんが車室内で移動したが、施錠後画像１１３を撮影した時点で依然として赤ちゃんが車室内にいる場合）、領域α、βが差分領域Ｚとなる。
　また、画像認識の結果、差分領域Ｚでアラート対象である物体１０７が認識された場合、施錠後処理ユニット５０は、車室内にアラート対象である物体１０７が残っていると判断する。それ以外の場合、施錠後処理ユニット５０は、車室内にアラート対象である物体１０７が残っていないと判断する。車室内にアラート対象である物体１０７が残っていると判断した場合、本処理はステップ１８に進む。車室内にアラート対象である物体１０７が残っていないと判断した場合、本処理は終了する。
　ステップ１８では、施錠後報知ユニット５１が報知を行う。報知の態様として、例えば、以下の態様がある。施錠後報知ユニット５１は、例えば、クラウド５を介し、携帯端末２３へ報知する。携帯端末２３は、音声、画像、振動等により報知する。施錠後報知ユニット５１は、クラウド５を介し、携帯端末２３へ、施錠後画像１１３、又は施錠後画像１１３を加工した画像を送信する。携帯端末２３は、施錠後画像１１３、又は施錠後画像１１３を加工した画像を表示する。施錠後報知ユニット５１は、例えば、車両９のクラクションを鳴らし、降車したドライバに気づかせるように、車両９の周囲へ報知を行う。
　前記ステップ９で肯定判断した場合、ステップ１９に進む。ステップ１９では、画像取得ユニット４３が、カメラ１５を用いてドアクローズ後画像を取得する。
　ステップ２０では、物体認識ユニット４５が物体認識処理を行う。物体認識処理は以下のとおりである。物体認識ユニット４５は、最後に取得した走行中画像１０９―Ｍとドアクローズ後画像とを対比することで、最後に取得した走行中画像１０９－Ｍとドアクローズ後画像との差分領域Ｙを抽出する処理を行う。差分領域Ｙとは、ドアクローズ後画像のうち、最後に取得した走行中画像１０９－Ｍとは異なる領域である。
　例えば、車両９のドアが開いてからドアが閉じるまでの間に乗員が降車した場合、降車した乗員は、最後に取得した走行中画像１０９－Ｍには存在し、ドアクローズ後画像には存在しないため、差分領域Ｙが生じる。
　例えば、車両９のドアが開いてからドアが閉じるまでの間に乗員が乗車し、新たな手荷物を持ち込んだ場合、乗車した乗員及び新たな手荷物は、最後に取得した走行中画像１０９－Ｍには存在せず、ドアクローズ後画像には存在するため、差分領域Ｙが生じる。
　物体認識ユニット４５は、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。物体１０７として、例えば、車両９のドアが開いてからドアが閉じるまでの間に降車した乗員、車両９のドアが開いてからドアが閉じるまでの間に乗車した乗員、乗車した乗員により持ち込まれた手荷物等が挙げられる。
　物体認識ユニット４５は、記憶部３７に記憶されている画像認識モデルを使用して画像認識を行う。物体１０７が認識された場合、その物体１０７は、車両９のドアが開いてからドアが閉じるまでの間に乗員によって車室内に持ち込まれた物体１０７である。
　前記ステップ６で否定判断した場合、ステップ２１に進む。ステップ２１では、車両状態取得ユニット５５が、車両ＥＣＵ１１から取得した信号に基づき、車両９が停車したか否かを判断する。車両９が停車したと判断した場合、本処理はステップ２２に進む。車両９が停車していないと判断した場合、本処理はステップ９に進む。
　ステップ２２では、画像取得ユニット４３が、カメラ１５を用いて走行中画像１０９を取得する。次に、本処理はステップ９に進む。
　４．車載装置３が奏する効果
　（１Ａ）車載装置３は、乗車前画像１０１、及び乗車後画像１０３を取得する。車載装置３は、乗車前画像１０１と乗車後画像１０３との差分領域Ｙを抽出し、差分領域Ｙにおいて、画像認識により物体１０７を認識する処理を行う。
　車両９に乗車するときに、乗員が物体１０７を車室内に持ち込んだ場合、物体１０７は乗車前画像１０１においては存在せず、乗車後画像１０３においては存在する。そのため、乗員が物体１０７を車室内に持ち込んだ場合、乗車後画像１０３のうち、物体１０７が存在する領域は差分領域Ｙとなる。乗員が物体１０７を車室内に持ち込んだ場合、車載装置３は、乗車後画像１０３のうち、物体１０７が存在する領域を差分領域Ｙとして抽出し、差分領域Ｙにおいて画像認識により物体１０７を認識する。
　車両９が停車するまでに乗員が物体１０７を回収していない場合、前記ステップ１１において、物体１０７が車室内にあると判断される。物体１０７が車室内にあると判断された場合、車載装置３は報知を行う。乗員は、報知によって、車室内に物体１０７があることを知ることができる。走行終了時、車室内に向けて報知をすることで、ドライバ等による置き忘れ又は置き去りを抑制するよう、降車前のドライバ等に対して予め注意喚起できる。
　車載装置３は、画像認識を用いるので、車室内にある物体１０７の種類を精度よく認識できる。また、車載装置３は、乗車後画像１０３のうち、差分領域Ｙにおいて画像認識を行うので、乗車後画像１０３の全体において画像認識を行う場合に比べて、計算時間及び消費電力を抑制できる。
　（１Ｂ）車載装置３は、前記ステップ１２において、車室内に設置された装置を用いて報知を行う。前記ステップ１２の処理の時点において、乗員（例えばドライバ等）は車室内にいる可能性が高い。そのため、乗員は、車室内に物体１０７があることを一層確実に知ることができ、車室内に物体１０７を置き忘れて降車することを抑制できる。
　（１Ｃ）車載装置３は、停車後画像１１１及び施錠後画像１１３をさらに取得する。車載装置３は、施錠後画像１１３と停車後画像１１１との差分領域Ｚを抽出する処理を行い、差分領域Ｚが抽出された場合は、差分領域Ｚにおいて、画像認識により物体１０７を認識する処理を行う。車載装置３は、差分領域Ｚが抽出されなかった場合、及び、差分領域Ｚで物体１０７が認識された場合、報知を行う。
　差分領域Ｚが抽出されなかった場合とは、停車後画像１１１と施錠後画像１１３との両方において、同一の物体１０７が同じ位置に存在していた場合である。すなわち、差分領域Ｚが抽出されなかった場合とは、施錠後に車両９の車室内に物体１０７が残っている場合である。また、差分領域Ｚで物体１０７が認識された場合も、施錠後に車両９の車室内に物体１０７が残っている場合である。
　よって、車載装置３が報知を行う場合は、施錠後に車両９の車室内に物体１０７が残っている場合である。車両９の乗員は、報知により、施錠後に車両９の車室内に物体１０７が残っていることを知ることができる。
　（１Ｄ）車載装置３は、前記ステップ１８において、クラウド５を介し、乗員の携帯端末２３へ報知することができる。そのため、乗員は、車両９の車室内に物体１０７があることを一層確実に知ることができる。
　（１Ｅ）車載装置３は、前記ステップ１８において、クラウド５を介し、乗員の携帯端末２３へ、施錠後画像１１３、又は施錠後画像１１３を加工した画像を送信することができる。そのため、乗員は、車室内に物体１０７があること、及び物体１０７が何であるかを知ることができる。
　（１Ｆ）車載装置３は、前記ステップ１８において、車両９のクラクションを鳴らすことができる。そのため、降車後の乗員（例えばドライバ等）は、車室内に物体１０７があることを一層確実に知ることができる。
　（１Ｇ）車載装置３は、前記ステップ６において物体１０７を認識しなかったと判断した場合、トラッキング等を行わない。そのため、車載装置３は、制御部３５の処理負担を抑制することができる。
＜他の実施形態＞
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（１）前記ステップ１６、１７の処理は、以下の処理であってもよい。ステップ１６では、施錠後処理ユニット５０は、前記ステップ８において行われたトラッキングの結果に基づき、施錠後画像１１３において物体１０７が存在する範囲を推測する。施錠後処理ユニット５０は、推測した範囲に対し、画像認識により物体１０７を認識する処理を行う。
　ステップ１７では、施錠後処理ユニット５０が、前記ステップ１６において物体１０７を認識したか否かを判断する。物体１０７を認識したと判断した場合、本処理はステップ１８に進む。物体１０７を認識しなかったと判断した場合、本処理は終了する。なお、施錠後画像１１３は車両９の車室内を撮影して得られた画像であるから、認識された物体１０７は車室内に存在する。この場合も、第１実施形態と同様の効果を奏する。
　（２）車載装置３は、アイドリング状態にある車両９に乗員が乗車する前に、乗車前画像１０１を取得してもよい。この場合、車載装置３は、アイドリング状態にある車両９に乗車するときに乗員が持ち込んだ物体１０７について、前記ステップ１２又は前記ステップ１８で報知を行うことができる。
　（３）前記ステップ１８において、車載装置３は、携帯端末２３への報知等に加えて、他の処理を行ってもよい。例えば、物体１０７が人間の幼児である場合、車載装置３は、前記ステップ１８において、車両９のエアコンを動作させて車室の温度を下げる、窓を開ける、ドアを解錠する等の処理を行うことができる。
　（４）車載装置３は、カメラ１５、通信機１９、及びアラート機器２１のうちの１以上の機能を備えていてもよい。前記（３）で挙げた幼児に対する対策は、クラウド５からの指示に基づいて車載装置３が行うよう構成してもよい。
　（５）本開示に記載の制御部３５及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部３５及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。制御部３５に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
　（６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（７）上述した車載装置３の他、当該車載装置３を構成要素とするシステム、当該車載装置３の制御部３５としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物体の認識方法等、種々の形態で本開示を実現することもできる。

Claims (19)

  1. 　車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、及び前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）を、カメラ（１５）を用いて取得するように構成された画像取得ユニット（４３）と、
    　前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行うように構成された物体認識ユニット（４５）と、
    　前記物体認識ユニットが認識した前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断するように構成された物体判断ユニット（４７）と、
    　前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると前記物体判断ユニットが判断した場合、報知を行う報知ユニット（４９）と、
    　を備える車載装置（３）。
  2. 　請求項１に記載の車載装置であって、
    　前記画像取得ユニットは、前記車両が停車した後の前記車室内の画像である停車後画像（１１１）、及び前記車両のドアが施錠された後の前記車室内の画像である施錠後画像（１１３）をさらに取得するように構成され、
    　前記施錠後画像と前記停車後画像との差分領域（Ｚ）を抽出する処理を行うように構成され、前記差分領域が抽出された場合は、前記差分領域において、画像認識により前記物体を認識する処理を行うように構成された施錠後処理ユニット（５０）と、
    　前記差分領域が抽出されなかった場合、及び、前記差分領域で前記物体が認識された場合、報知を行う施錠後報知ユニット（５１）と、
    　をさらに備える、
    　車載装置。
  3. 　請求項２に記載の車載装置であって、
    　前記施錠後報知ユニットは、クラウド（５）を介し、前記車両のユーザの携帯端末（２３）へ報知するように構成された、
    　車載装置。
  4. 　請求項３に記載の車載装置であって、
    　前記施錠後報知ユニットは、前記クラウドを介し、前記携帯端末へ、前記施錠後画像、又は前記施錠後画像を加工した画像を送信するように構成された、
    　車載装置。
  5. 　請求項２～４のいずれか１項に記載の車載装置であって、
    　前記施錠後報知ユニットは、前記車両のクラクションを鳴らすように構成された、
    　車載装置。
  6. 　請求項１～５のいずれか１項に記載の車載装置であって、
    　前記画像取得ユニットは、前記車両が走行中であるときの前記車室内の画像である走行中画像（１０９）、及び、前記車両のドアが施錠された後の前記車室内の画像である施錠後画像（１１３）をさらに取得するように構成され、
    　前記走行中画像に基づき、前記物体認識ユニットが認識した前記物体の位置をトラッキングするように構成されたトラッキングユニット（５３）と、
    　前記トラッキングユニットが行ったトラッキングの結果に基づき、前記施錠後画像において前記物体が存在する範囲を推測し、推測した前記範囲に対し、画像認識により前記物体を認識する処理を行うように構成された施錠後処理ユニット（５０）と、
    　前記施錠後処理ユニットが前記物体を認識した場合、報知を行う施錠後報知ユニット（５１）と、
    をさらに備える、
    　車載装置。
  7. 　請求項６に記載の車載装置であって、
    　前記物体認識ユニットが前記物体を認識しなかった場合、前記トラッキングユニットはトラッキングを行わない、
    　車載装置。
  8. 　通信機（１９）を介してクラウド（５）と通信可能な車載装置（３）であって、
    　車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）、前記車両が停車した際の前記車室内の画像である停車後画像（１０９－Ｍ、１１１）、及び前記車両のドアが施錠された際の前記車室内の画像である施錠後画像（１１３）を、カメラ（１５）を用いて取得するように構成された画像取得ユニット（４３）と、
    　前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行うように構成された物体認識ユニット（４５）と、
    　前記車両のユーザに対し報知を行うように構成された報知ユニット（４９）と、を備え、
    　前記物体認識ユニットは、前記差分領域に所定の物体が認識された場合、前記差分領域と前記停車後画像とに基づいて物体を認識し、
    　前記報知ユニットは、前記物体認識ユニットが前記差分領域と前記停車後画像とに基づいて前記所定の物体を認識した場合、報知を行うよう構成された、
    車載装置。
  9. 　請求項８に記載の車載装置であって、
    　前記画像取得ユニットは、前記車両が走行中であるときの前記車室内の画像である走行中画像（１０９）をさらに取得するように構成され、
    　前記物体認識ユニットは、複数の前記走行中画像に基づき、認識した前記物体をトラッキングするように構成されたトラッキングユニット（５３）を有し、前記車両が走行終了したとき、前記トラッキングユニットによるトラッキング結果に応じて前記物体を認識し、
    　前記報知ユニットは、前記物体認識ユニットにより前記所定の物体を認識した場合、報知を行うよう構成された、
    　車載装置。
  10. 　請求項９に記載の車載装置であって、
    　前記物体認識ユニットは、前記トラッキングユニットが行ったトラッキングの結果に基づき、前記施錠後画像において前記物体が存在する範囲を推測し、推測した前記範囲に対し、画像認識により前記物体を認識する処理を行うように構成され、
    　前記報知ユニットは、前記物体認識ユニットにより前記所定の物体を認識した場合、報知を行うよう構成された、
    　車載装置。
  11. 　請求項９又は１０に記載の車載装置であって、
    　前記物体認識ユニットは、前記乗車前画像と前記乗車後画像との差分領域（Ｙ）において物体（１０７）を認識しなかった場合、前記トラッキングユニットによるトラッキングを行わない、
    　車載装置。
  12. 　請求項９～１１のいずれか１項に記載の車載装置であって、
    　前記物体認識ユニットは、前記施錠後画像と前記停車後画像との差分領域（Ｚ）を抽出する処理を行うように構成され、前記差分領域が抽出された場合は、前記差分領域において、画像認識により前記物体を認識するように構成され、
    　前記報知ユニットは、前記車両のドアが施錠された際に前記車室内に認識した前記物体が残存している場合、報知を行う、
    　車載装置。
  13. 　請求項８～１２のいずれか１項に記載の車載装置であって、
    　前記報知ユニットは、前記クラウドを介し、前記車両のユーザの携帯端末へ、前記施錠後画像、又は前記施錠後画像を加工した画像を送信するように構成された、
    　車載装置。
  14. 　請求項８～１３のいずれか１項に記載の車載装置であって、
    　前記報知ユニットは、前記車両に設置された装置を用いて前記車両の周辺に向けて報知を行うように構成された、
    　車載装置。
  15. 　請求項１～１４いずれか１項に記載の車載装置であって、
    　前記報知ユニットは、前記車室内に設置された装置（２１）を用いて前記車室内に向けて前記報知を行うように構成された、
    　車載装置。
  16. 　請求項１～１５のいずれか１項に記載の車載装置であって、
    　前記報知ユニットは、クラウド（５）を介し、前記車両のユーザの携帯端末（２３）へ報知するように構成された、
    　車載装置。
  17. 　請求項１～１６のいずれか１項に記載の車載装置であって、
    　前記乗車前画像は、アイドリング状態にある前記車両に前記乗員が乗車する前の前記車室内の画像を含む、
    　車載装置。
  18. 　車両（９）に乗員が乗車する前の車室内の画像である乗車前画像（１０１）、及び前記車両に前記乗員が乗車した後の前記車室内の画像である乗車後画像（１０３）を、カメラ（１５）を用いて取得し、
    　前記乗車前画像と前記乗車後画像との差分領域（Ｙ）を抽出し、前記差分領域において、画像認識により物体（１０７）を認識する処理を行い、
    　前記物体が報知対象となる物体であるか否か、及び、前記物体が前記車室内に存在するか否かを判断し、
    　前記物体が前記報知対象となる物体であり、前記物体が前記車室内に存在すると判断した場合、報知を行う、
    　物体の報知方法。
  19. 　請求項１～１７のいずれか１項に記載の車載装置の制御部としてコンピュータを機能させるプログラム。
PCT/JP2022/024352 2021-06-30 2022-06-17 車載装置、物体の報知方法、及びプログラム WO2023276732A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-109220 2021-06-30
JP2021109220A JP7517272B2 (ja) 2021-06-30 2021-06-30 車載装置、物体の報知方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023276732A1 true WO2023276732A1 (ja) 2023-01-05

Family

ID=84692363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024352 WO2023276732A1 (ja) 2021-06-30 2022-06-17 車載装置、物体の報知方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7517272B2 (ja)
WO (1) WO2023276732A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115911A (ja) * 2003-09-16 2005-04-28 Denso Corp 車両内忘れ物防止装置
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2015007873A (ja) * 2013-06-25 2015-01-15 日産自動車株式会社 車室内監視装置
EP3151158A1 (en) * 2015-10-02 2017-04-05 LG Electronics Inc. Apparatus, method and mobile terminal for providing object loss prevention service in vehicle
JP2020194416A (ja) * 2019-05-29 2020-12-03 三菱電機株式会社 通知制御装置及び通知制御方法
JP2021066275A (ja) * 2019-10-18 2021-04-30 株式会社デンソー 車両制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115911A (ja) * 2003-09-16 2005-04-28 Denso Corp 車両内忘れ物防止装置
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2015007873A (ja) * 2013-06-25 2015-01-15 日産自動車株式会社 車室内監視装置
EP3151158A1 (en) * 2015-10-02 2017-04-05 LG Electronics Inc. Apparatus, method and mobile terminal for providing object loss prevention service in vehicle
JP2020194416A (ja) * 2019-05-29 2020-12-03 三菱電機株式会社 通知制御装置及び通知制御方法
JP2021066275A (ja) * 2019-10-18 2021-04-30 株式会社デンソー 車両制御装置

Also Published As

Publication number Publication date
JP7517272B2 (ja) 2024-07-17
JP2023006558A (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
US10446011B2 (en) System and method for providing rear seat monitoring within a vehicle
CN110997418A (zh) 车辆占用管理系统和方法
US11893804B2 (en) Method and device for protecting child inside vehicle, computer device, computer-readable storage medium, and vehicle
US11760360B2 (en) System and method for identifying a type of vehicle occupant based on locations of a portable device
US11210540B2 (en) System and method for providing rear seat monitoring within a vehicle
US11410437B2 (en) System and method for removing false positives during determination of a presence of at least one rear seat passenger
WO2021212504A1 (zh) 车辆和车舱域控制器
US11364868B2 (en) Vehicle control system and vehicle control method
US20230083504A1 (en) Systems and methods for capturing images around vehicle for insurance claim processing
US11724666B2 (en) System and method for remotely monitoring vehicle access
US20240246547A1 (en) Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
US12026959B2 (en) Systems and methods for deterrence of intruders
JP2008095441A (ja) 車両用セキュリティシステム
US11173859B2 (en) System and method for providing vehicle occupant monitoring
US20220242352A1 (en) Cabin monitoring system
WO2023276732A1 (ja) 車載装置、物体の報知方法、及びプログラム
JP2022112799A (ja) 情報処理装置、車両、情報処理方法、およびプログラム
JP2019214249A (ja) 検知装置、コンピュータプログラム、検知方法及び学習モデル
JP7439797B2 (ja) 車載装置、物体の通知方法、及びプログラム
CN115848306B (zh) 一种车辆遗留人员的检测方法、检测装置与车辆
US11914914B2 (en) Vehicle interface control
CN114809833B (zh) 开启车门的控制方法、车门控制装置及车门控制系统
WO2023210433A1 (ja) 異常検出システム及び異常検出方法
US11653173B2 (en) Electronic device monitoring system
US20230311812A1 (en) Control system and control method of control system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22832882

Country of ref document: EP

Kind code of ref document: A1