WO2022149227A1 - 車室内報知制御装置、車室内報知装置および車室内報知制御方法 - Google Patents

車室内報知制御装置、車室内報知装置および車室内報知制御方法 Download PDF

Info

Publication number
WO2022149227A1
WO2022149227A1 PCT/JP2021/000279 JP2021000279W WO2022149227A1 WO 2022149227 A1 WO2022149227 A1 WO 2022149227A1 JP 2021000279 W JP2021000279 W JP 2021000279W WO 2022149227 A1 WO2022149227 A1 WO 2022149227A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
occupant
storage space
notification control
vehicle interior
Prior art date
Application number
PCT/JP2021/000279
Other languages
English (en)
French (fr)
Inventor
哲弥 横田
光生 下谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/000279 priority Critical patent/WO2022149227A1/ja
Priority to JP2022573852A priority patent/JPWO2022149227A1/ja
Publication of WO2022149227A1 publication Critical patent/WO2022149227A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R7/00Stowing or holding appliances inside vehicle primarily intended for personal property smaller than suit-cases, e.g. travelling articles, or maps
    • B60R7/04Stowing or holding appliances inside vehicle primarily intended for personal property smaller than suit-cases, e.g. travelling articles, or maps in driver or passenger space, e.g. using racks

Definitions

  • This disclosure relates to a technique for notifying occupants in the vehicle interior.
  • Patent Document 1 discloses a technique for detecting a forgotten object in a vehicle storage space by an occupant. According to the technique of Patent Document 1, it is determined from the movement of the occupant's hand with respect to the storage space whether the occupant puts an object in the storage space or takes out the object from the storage space (paragraph 0023). Then, when the occupant gets off the vehicle, if there is something left behind in the storage space, the occupant is notified that there is something left behind (paragraph 0034, 0064).
  • An example of a vehicle storage space is a cup holder.
  • an appropriate notification is given to the occupant, so that the operation of the occupant with respect to the storage space can be smoothed.
  • the cup holder is illuminated when the occupant reaches out to pick up the cup stored in the cup holder, the occupant can easily remove the cup.
  • the fact that the cup holder is illuminated is an example of notification to the occupant.
  • the cup holder is illuminated simply by the occupant's hand approaching the cup holder, the occupant will uselessly illuminate the cup holder even if the occupant has no special use for the cup holder. Is annoying information.
  • the purpose of this disclosure is to provide appropriate notification according to the situation to the occupants of the vehicle using the storage space in the vehicle interior.
  • the vehicle interior notification control device of the present disclosure includes a behavior detection unit that detects that the hand of the occupant of the vehicle has approached the storage space in the vehicle interior of the vehicle, and a possession status indicating whether or not the occupant has belongings. When the occupant's hand approaches the storage space, the vehicle will be affected by the possession status and the storage status. It is provided with a notification control unit that notifies the occupants by using the on-board notification device.
  • the vehicle interior notification control device of the present disclosure it is possible to appropriately notify the occupants of the vehicle using the storage space in the vehicle interior according to the situation.
  • FIG. It is a block diagram which shows the structure of the vehicle interior notification control device which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the vehicle interior notification control device which concerns on Embodiment 1. It is a figure which shows the example of the storable notification of Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the vehicle interior notification control device which concerns on Embodiment 2. It is a flowchart which shows the operation of the vehicle interior notification control device which concerns on Embodiment 2.
  • FIG. 1 is a block diagram showing a configuration of a vehicle interior notification control device 101 according to the first embodiment.
  • the vehicle interior notification control device 101 is connected to the first image processing device 21, the second image processing device 22, the first sensing device 23, and the notification device 24, and is configured to be usable.
  • the vehicle interior notification control device 101 determines the movement of the occupant's hand in the vehicle interior and the storage status of the storage space in the vehicle interior, and is appropriate for the occupant using the notification device 24 based on these determination results. It is a device that performs notification. Examples of storage spaces include glove boxes or cup holders.
  • the notification device 24 is a device mounted in the vehicle interior of a vehicle, and is, for example, a lighting device that emits light, a display that displays a display, a speaker that reproduces sound, a vibration device that vibrates a storage space, and the like.
  • a vehicle on which an occupant to be notified by the vehicle interior notification control device 101 is on board, and a vehicle equipped with the notification device 24 is simply referred to as a “vehicle”.
  • the vehicle interior notification control device 101 includes a behavior detection unit 11, an object detection unit 12, a storage detection unit 13, and a notification control unit 14.
  • the vehicle interior notification control device 101 is typically a device mounted on the vehicle, but at least a part thereof may be configured by a server outside the vehicle.
  • the behavior detection unit 11 has an approach detection function for detecting that the occupant's hand has approached the storage space.
  • the behavior detection unit 11 acquires the image processing result of the first image processing device 21, and based on this, detects that the occupant's hand has approached the storage space, but detects it using the sensing device. Alternatively, the detection logic using machine learning may be applied.
  • the first image processing device 21 processes the image taken by the camera mounted on the vehicle and photographs the interior of the vehicle, and outputs the image processing result regarding the occupant's hand to the action detection unit 11.
  • the object detection unit 12 has a possession detection function that detects whether or not an occupant's hand has belongings when the occupant's hand approaches the storage space.
  • the object detection unit 12 acquires the image processing result of the second image processing device 22, and detects whether or not the occupant has belongings based on the image processing result, but detects using the sensing device.
  • the detection logic using machine learning may be applied.
  • the second image processing device 22 processes the image taken by the camera mounted on the vehicle and photographs the interior of the vehicle, and outputs the image processing result regarding the occupant's hand to the action detection unit 11.
  • the storage detection unit 13 has a storage status detection function for detecting the storage status of the storage space in the vehicle interior, that is, whether or not there is a stored object in the storage space.
  • the storage detection unit 13 acquires the detection result of the first sensing device 23, and detects the storage status of the storage space based on the detection result.
  • the first sensing device 23 is an infrared sensor mounted on a vehicle and having, for example, a storage space as a detection range.
  • the notification control unit 14 determines whether or not notification to the occupant is necessary based on the detection results of the action detection unit 11, the object detection unit 12, and the storage detection unit 13, and when notification is necessary. Determines the notification method. Then, the notification control unit 14 controls the notification device 24 to notify the occupants by the determined notification method.
  • FIG. 2 is a flowchart showing the operation of the vehicle interior notification control device 101.
  • the operation of the vehicle interior notification control device 101 will be described according to the flow of FIG.
  • the flow of FIG. 2 starts, for example, when the accessory power of the vehicle is turned on.
  • the behavior detection unit 11 determines whether or not the occupant's hand is close to the storage space (step S101). Whether or not the hand is close to the storage space is determined by, for example, whether or not the distance between the hand and the storage space is less than a predetermined threshold value L1.
  • the threshold value L1 is also referred to as a first threshold value.
  • the threshold value L1 is, for example, 15 cm.
  • step S101 If the occupant's hand is not close to the storage space in step S101, the process of the vehicle interior notification control device 101 proceeds to step S108.
  • the object detection unit 12 determines whether or not the occupant's hand has belongings (step S102).
  • the storage detection unit 13 determines the storage status of the storage space close to the occupant's hand, that is, whether or not there is a stored object in the storage space (step S103).
  • the notification control unit 14 When there is a stored item in the storage space in step S103, the notification control unit 14 notifies the notification device 24 that the storage space close to the occupant's hand is not empty and is not a storageable space in which the belongings can be stored. (Step S105).
  • This notification is also referred to as a non-storable notification.
  • a buzzer sound or a voice saying "the storage space is not available" is played from the speaker, or the light emitting device set in the storage space lights up in red. Then, the process of the vehicle interior notification control device 101 proceeds to step S108.
  • the notification control unit 14 When there is no stored item in the storage space in step S103, the notification control unit 14 notifies the occupant by the notification device 24 that the storage space being approached by the occupant's hand is a storable space in which the belongings can be stored. (Step S106).
  • This notification is also referred to as a storable notification.
  • a lighting device illuminates the vicinity of the storage space, and a light emitting device installed in the storage space lights up in green. Then, the process of the vehicle interior notification control device 101 proceeds to step S108.
  • the storage detection unit 13 determines whether or not there is a stored object in the storage space that the occupant's hand is approaching (step S104).
  • the notification control unit 14 notifies the occupant by the notification device 24 that there is a stored object in the storage space where the occupant is approaching his / her hand (step S107).
  • This notification is also referred to as a stored item existence notification.
  • a lighting device illuminates the vicinity of the storage space, or a light emitting device set in the storage space lights up in green.
  • the speaker plays a voice indicating that an object is stored in the storage space. Then, the process of the vehicle interior notification control device 101 proceeds to step S108.
  • step S104 If no object is stored in the storage space in step S104, it is considered that the occupant has no intention of using the storage space and the hand accidentally approaches the storage space. In this case, the occupant is not notified. Further, when the notification in step S105, S106 or S107 is continuing in the previous processing cycle, the notification control unit 14 ends the notification. Then, the process of the vehicle interior notification control device 101 proceeds to step S108.
  • step S108 the notification control unit 14 determines whether or not the occupant has disembarked. This determination can be made, for example, by performing image processing on an image taken by a camera mounted on the vehicle. If the occupant has not disembarked in step S108, the processing of the vehicle interior notification control device 101 returns to step S101, and if the occupant has disembarked in step S108, the processing of the vehicle interior notification control device 101 ends.
  • FIG. 3 shows an example of the storable notification in step S106 of FIG.
  • the cup holder 33 is an example of a storage space
  • the vehicle interior lighting device 31 is an example of a notification device 24.
  • the vehicle interior lighting device 31 spotlights the cup holder 33.
  • the occupant can easily store the cup in the cup holder 33. Since the interior of the vehicle is often dark and it is difficult for the occupant to stare at the cup holder 33 while driving, it is effective to illuminate the cup holder 33 as described above.
  • the behavior detection unit 11 determines that the hand is close to the storage space because the distance between the occupant's hand and the storage space is within the threshold value L1 (step S101 in FIG. 2). However, the behavior detection unit 11 determines that the hand is approaching the storage space when the traveling direction of the hand is the direction approaching the storage space in addition to the distance between the occupant's hand and the storage space. You may do it. That is, when the distance between the hand and the storage space is less than the predetermined threshold L2 and the traveling direction of the hand is the direction approaching the storage space, the action detection unit 11 approaches the storage space.
  • the threshold value L2 is also referred to as a first threshold value. In this case, the threshold value L2 is larger than the threshold value L1, and may be, for example, 25 cm.
  • the behavior detection unit 11 uses the first image processing device 21, and the object detection unit 12 uses the second image processing device 22.
  • the behavior detection unit 11 and the object detection unit 12 may also use the same image processing device.
  • the first sensing device 23 used by the storage detection unit 13 may be an image processing device.
  • the image processing device used by the storage detection unit 13 may be used in combination with at least one of the first image processing device 21 and the second image processing device 22.
  • the vehicle interior notification control is performed.
  • the device 101 may notify the occupant of another storage space capable of accommodating the occupant's belongings at the same time as the non-storable notification in step S105 or instead of the non-storable notification in step S105. Notification of other storage spaces is also referred to as other storage notification.
  • the behavior detection unit 11 determines that the hand is close to the storage space because the distance between the occupant's hand and the storage space is within the threshold value L1 (step S101 in FIG. 2).
  • the behavior detection unit 11 may have a plurality of threshold values for the distance between the occupant's hand and the storage space, and may detect the degree of approach of the hand to the storage space by distinguishing it in a plurality of stages.
  • the notification control unit 14 may perform notification in different modes depending on the degree of approach to the storage space of the hand.
  • the behavior detection unit 11 has a threshold value L11 and a threshold value L12 smaller than the threshold value L11 with respect to the distance between the occupant's hand and the storage space.
  • the behavior detection unit 11 determines that the hand is close to the storage space to some extent, and the notification control unit 14 informs the notification device 24.
  • a weak level of notification such as lighting notification.
  • the behavior detection unit 11 determines that the hand is very close to the storage space, and the notification control unit 14 has a strong level for the notification device 24.
  • Notification for example, notification by both lighting and voice.
  • the threshold value L12 may be 0. That is, when the occupant's hand touches the storage space, a strong level of notification may be performed.
  • the first image processing device 21, the second image processing device 22, the first sensing device 23, and the notification device 24 are shown as external configurations of the vehicle interior notification control device 101. However, these configurations may be included in the vehicle interior notification control device 101.
  • the vehicle interior notification control device 101 of the first embodiment includes a behavior detection unit 11, an object detection unit 12, a storage detection unit 13, and a notification control unit 14.
  • the behavior detection unit 11 detects that the hand of the occupant of the vehicle has approached the storage space in the vehicle interior of the vehicle.
  • the object detection unit 12 detects the possession status indicating whether or not the occupant has possession in his / her hand.
  • the storage detection unit 13 detects a storage status indicating whether or not there is a stored object in the storage space.
  • the notification control unit 14 notifies the occupant using the notification device 24 mounted on the vehicle based on the possession status and the storage status.
  • the notifications carried out by the notification control unit 14 include a storable notification that the storage space is a storable space that can store belongings and a non-storable notification that the storage space is not a storable space. Is included. Then, the notification control unit 14 determines whether or not the storage space is a storable space based on the storage status when the occupant has belongings in his / her hand, and if the storage space is a storable space, the notification control unit 14 can store the occupant. If the storage space is not a storable space, a storable notification is given.
  • the vehicle interior notification control device 101 when the hand holding the occupant's belongings approaches the storage space, it is determined that the occupant intends to store the belongings in the storage space, and the occupant's belongings are stored. It is possible to notify whether or not the space can be stored according to the storage status of the space.
  • the notification performed by the notification control unit 14 includes a storage item existence notification indicating that there is a stored item in the storage space. Then, when the occupant does not have any belongings and the storage space has the stored items, the notification control unit 14 notifies the existence of the stored items. Based on the above configuration, according to the vehicle interior notification control device 101, it is determined that the occupant is willing to take out the stored items in the storage space when the occupant does not have any belongings in the hands and the stored items are in the storage space. It is possible to notify the existence of stored items.
  • the notification control unit 14 does not perform notification if the occupant has no belongings in the hand and there is no storage in the storage space. If the occupant has no belongings in his / her hand and there is no storage in the storage space, it is considered that the occupant has no intention of using the storage space. In such a case, by not giving any notice, it is possible to avoid giving unnecessary notice to the occupant.
  • FIG. 4 is a block diagram showing the configuration of the vehicle interior notification control device 102 according to the second embodiment.
  • the same reference reference numerals are given to the same or corresponding configurations as those of the vehicle interior notification control device 101 according to the first embodiment.
  • the vehicle interior notification control device 102 is connected to the first image processing device 21, the second image processing device 22, the first sensing device 23, the notification device 24, and the second sensing device 25, and is configured to be usable. ..
  • the first image processing device 21, the second image processing device 22, the first sensing device 23, and the notification device 24 are the same as those in the first embodiment.
  • the vehicle interior notification control device 102 includes an environment recognition unit 15 in addition to the configuration of the vehicle interior notification control device 101 according to the first embodiment.
  • the environment recognition unit 15 recognizes the environment inside the vehicle interior. Illuminance or noise level is an example of the environment inside the vehicle. In the example of FIG. 4, the environment recognition unit 15 acquires the detection result of the second sensing device 25 and recognizes the environment in the vehicle interior based on the detection result.
  • the second sensing device 25 is a sensing device mounted on a vehicle, and is, for example, an illuminance sensor or a sound level meter.
  • the notification control unit 14 determines the notification method in consideration of the recognition result of the environment recognition unit 15, which is different from the first embodiment.
  • the notification control unit 14 determines whether or not notification to the occupant is necessary based on the detection results of the action detection unit 11, the object detection unit 12, and the storage detection unit 13, and if notification is necessary, the notification control unit 14 determines whether or not notification is required.
  • the notification method is determined based on the recognition result of the environment recognition unit 15. Then, the notification control unit 14 controls the notification device 24 to notify the occupants by the determined notification method.
  • the notification control unit 14 determines the notification method according to the illuminance in the vehicle interior. For example, in the retractable notification shown in FIG. 3, the cup holder 33 is spot-lit. However, it is difficult for the occupant to notice that the storage space is spot-lit in the vehicle interior, especially when the storage space is illuminated in high light. Therefore, the notification control unit 14 adopts a notification method by spot lighting when the illuminance in the vehicle interior or the storage space is less than a predetermined threshold value E1, and when the illuminance is equal to or higher than the threshold value E1, a notification method other than lighting. For example, voice notification is adopted.
  • the threshold value E1 is also referred to as a second threshold value. In a twilight state or in a tunnel, the notification control unit 14 may use both voice notification and spot lighting notification.
  • the notification control unit 14 determines the notification method according to the noise level in the vehicle interior. For example, the notification control unit 14 performs voice notification using a speaker when the noise level in the vehicle interior is less than a predetermined threshold value D1, and the speaker when the noise level in the vehicle interior is equal to or higher than the threshold value D1. Notification of lighting or vibration by a notification device 24 other than the above is performed instead of the notification by voice or together with the notification by voice.
  • the threshold value D1 is also referred to as a third threshold value. Further, when the notification control unit 14 adopts voice notification, the notification sound may be increased according to the noise level in the vehicle interior.
  • the vehicle interior notification control device 102 includes an environment recognition unit 15 that recognizes the environment inside the vehicle interior in addition to the configuration of the vehicle interior notification control device 101 according to the first embodiment. Then, the notification control unit 14 notifies the mode according to the environment in the vehicle interior recognized by the environment recognition unit 15. With the above configuration, according to the vehicle interior notification control device 102, the following effects are obtained in addition to the effects of the vehicle interior notification control device 101 according to the first embodiment. For example, when the illuminance in the vehicle interior is high, the vehicle interior notification control device 102 notifies by a method other than lighting, and when the noise level in the vehicle interior is high, the vehicle interior notification control device 102 performs notification by a method other than voice. Notification can be performed in a way that is easy for the occupants to notice according to the environment inside the vehicle.
  • the vehicle interior notification control device 101 of the first embodiment tells the occupant that if the occupant has an item in his / her hand and the hand approaches the storage space, the occupant can store the item if there is no item in the storage space. I notified you.
  • the types of items that can be stored in the storage space are limited, it is not possible to store different types of belongings even if the storage space is free. For example, a cup holder can only store cups, cans or PET bottles, not other types of items. Therefore, in the vehicle interior notification control device 103 of the third embodiment, it is determined whether or not the vehicle can be stored in the storage space after comparing the types of belongings of the occupants with the types of the items that can be stored in the storage space.
  • the block diagram showing the configuration of the vehicle interior notification control device 103 according to the third embodiment is as shown in FIG. 1, and is the same as the vehicle interior notification control device 101 according to the first embodiment.
  • the behavior detection unit 11 of the vehicle interior notification control device 103 is the same as that of the first embodiment.
  • the object detection unit 12 of the vehicle interior notification control device 103 has a possession identification function for identifying the type of belongings of the occupant. Has.
  • the storage detection unit 13 of the vehicle interior notification control device 103 identifies the types of objects that can be stored in the storage space, in addition to the storage status detection function of the storage detection unit 13 in the vehicle interior notification control device 101 of the first embodiment. It has a storable item identification function.
  • the types of storable items may be recorded for each storage space in the database that can be referred to by the storage detection unit 13. For example, a cup, a can, or a PET bottle is recorded as something that can be stored in a storage space called a cup holder.
  • the notification control unit 14 determines whether or not notification to the occupant is necessary based on the detection results of the action detection unit 11, the object detection unit 12, and the storage detection unit 13, and if notification is necessary, the notification method. To determine.
  • the notification control unit 14 stores the belongings in the occupant's hand when the occupant has belongings and the hand approaches a storage space without storage, and the belongings are of a type that can be stored in the storage space.
  • the notification device 24 is made to perform the possible notification, and if not, the notification device 24 is made to perform the storage impossible notification.
  • the notification of the existence of the stored object is the same as that of the first embodiment.
  • FIG. 5 is a flowchart showing the operation of the vehicle interior notification control device 103.
  • the operation of the vehicle interior notification control device 103 will be described according to the flow of FIG. 5, but the parts common to the operation of the vehicle interior notification control device 101 described with reference to FIG. 2 will be omitted as appropriate.
  • step S102A the notification control unit 14 determines whether or not the occupant's belongings are of a type that can be stored in the storage space. Specifically, the notification control unit 14 acquires the type of belongings from the object detection unit 12, and further acquires the type of the object that can be stored in the storage space from the storage detection unit 13. Then, the notification control unit 14 determines whether or not the occupant's belongings are of a type that can be stored in the storage space by comparing the two.
  • step S102A if the occupant's belongings are of a type that can be stored in the storage space, the processing of the vehicle interior notification control device 103 proceeds to step S103.
  • step S102A if the occupant's belongings are not of a type that can be stored in the storage space, the notification control unit 14 notifies the notification device 24 that storage is not possible regardless of whether or not there is storage in the storage space. (Step S106A). Then, the process of the vehicle interior notification control device 103 proceeds to step S108.
  • FIG. 6 shows an example of a storable notification when the occupant's belongings are of a type that can be stored in the storage space.
  • the cup holder 35 is an example of a storage space
  • the cup 34 is an example of belongings.
  • the cup holder 35 already contains the cups 36 and 37, but there is still space in the space 38.
  • the occupant brings the hand holding the cup 34 close to the cup holder 35.
  • the cup 34 is a type that can be stored in the cup holder 35. Therefore, the vehicle interior lighting device 31 notifies the occupant that the cup 34 can be stored in the space 38 by illuminating the space 38 of the cup holder 35 with the blue spotlight 39.
  • This storable notification corresponds to step S106 in FIG.
  • FIG. 7 shows an example of notification when the occupant's belongings are not of a type that can be stored in the storage space.
  • the card 47 is an example of belongings.
  • the cup holder 35 has a space 38
  • the card 47 is not a type that can be stored in the cup holder 35. Therefore, the vehicle interior lighting device 31 illuminates the space 38 of the cup holder 35 with the red spotlight 41 to notify the occupants that the space 38 cannot be stored.
  • This non-storable notification corresponds to step S106A in FIG.
  • the colors of the spotlights 39 and 41 that illuminate the cup holder 35 were red in the storable notification and blue in the storable notification.
  • the spotlight irradiation mode can be changed between the storable notification and the non-storable notification by changing the spotlight whether it is always on or blinking, or by changing the size of the spotlight irradiation range. Is also good.
  • FIG. 8 shows an example of notification when the occupant brings the hand holding the cup 34 closer to the place where the cup 36 is already stored in the cup holder 35.
  • each space of the cup holder 35 is regarded as a separate storage space.
  • the cup 34 cannot be stored in the place where the cup 36 has already been stored. Therefore, the in-vehicle lighting device 31 notifies the occupant that the cup 34 cannot be stored in the storage place of the cup 36 by illuminating the cup 36 with, for example, a red spotlight 43.
  • This non-storable notification corresponds to step S105 in FIG.
  • the cup holder 35 has vacant spaces 38 and 42. In such a case, the in-vehicle lighting device 31 illuminates the spaces 38 and 42 with, for example, blue spotlights 44 and 45, thereby notifying that the cups 34 can be stored in the spaces 38 and 42. You may.
  • step S106A of FIG. 5 the notification control unit 14 causes the notification device 24 to notify that the storage is not possible. At this time, the notification control unit 14 may notify the notification device 24 that the occupant's belongings are of a type that cannot be stored in the storage space. Further, at this time, the notification control unit 14 may notify the notification device 24 of an example of an object that can be stored in the storage space that the occupant is close to.
  • the vehicle interior lighting device 31 illuminates the spaces 38 and 42 with the spotlights 44 and 45, and illuminates the storage location of the cup 36 with the spotlights 43.
  • the former lighting is a storage notification that notifies the storage space in which the occupant's belongings can be stored.
  • the latter lighting is a non-storable notification that notifies that the occupant's belongings cannot be stored in the storage space that the occupant is close to.
  • the other storage notification may be performed prior to the non-storage notification. That is, when the occupant's hand approaches the storage space and the distance between the two becomes larger than the threshold value L1 and less than the predetermined threshold value L3, the in-vehicle lighting device 31 gives another storage notification, and the occupant's hand further stores the storage space. When the distance between the two becomes less than the threshold value L1 as the vehicle approaches, the vehicle interior lighting device 31 notifies that the vehicle cannot be stored.
  • the object detection unit 12 identifies the type of belongings when the occupant has the belongings in their hands.
  • the storage detection unit 13 identifies the types of objects that can be stored in the storage space.
  • the notification control unit 14 determines whether or not the storage space is a storable space based on the storage status, the type of belongings, and the types of things that can be stored in the storage space. do. Therefore, according to the vehicle interior notification control device 103, the following effects are obtained in addition to the effect of the vehicle interior notification control device 101 according to the first embodiment.
  • the vehicle interior notification control device 103 determines whether or not the belongings can be stored in the storage space, the vehicle interior notification control device 103 can accurately determine whether or not the belongings can be stored in the storage space and can store the belongings. Notification or non-storable notification can be performed.
  • Embodiment 4 The vehicle interior notification control device 103 of the third embodiment determines whether or not the occupant's belongings can be stored in the storage space in consideration of whether or not the occupant's belongings can be stored in the storage space. However, even if the occupant's belongings are of a type that can be stored in the storage space, they may not always be able to be stored in the storage space depending on the size of the belongings. Therefore, in the vehicle interior notification control device 104 of the fourth embodiment, after comparing the type and size of the occupant's belongings with the type and size of the items that can be stored in the storage space, it is determined whether or not the storage space can be stored in the storage space. do.
  • FIG. 1 The block diagram showing the configuration of the vehicle interior notification control device 104 according to the fourth embodiment is as shown in FIG. 1, and the vehicle interior notification control device 101 according to the first embodiment and the vehicle interior according to the third embodiment are shown. This is the same as the notification control device 103.
  • the behavior detection unit 11 of the vehicle interior notification control device 104 is the same as that of the first embodiment.
  • the object detection unit 12 of the vehicle interior notification control device 104 measures the size of the occupant's belongings in addition to the possession detection function and the belongings identification function of the object detection unit 12 of the vehicle interior notification control device 103. Has a function.
  • the storage detection unit 13 of the vehicle interior notification control device 104 determines the size of an object that can be stored in the storage space, in addition to the storage status detection function and the storable object identification function of the storage detection unit 13 of the vehicle interior notification control device 103. It has a storage dimension identification function to identify. In order to realize the storage dimension identification function, the size of the items that can be stored may be recorded for each storage space as a database that can be referred to by the storage detection unit 13. For example, the upper limit of the height and the lower limit of the bottom area of the stored items that can be held without being tilted, the upper limit of the bottom area of the stored items that can be stored, and the like are recorded in the storage space called the cup holder.
  • the notification control unit 14 determines whether or not notification to the occupant is necessary based on the detection results of the action detection unit 11, the object detection unit 12, and the storage detection unit 13, and if notification is necessary, the notification method. To determine.
  • the notification control unit 14 is of a type in which the occupant's belongings can be stored in the storage space when the occupant has his / her belongings in his / her hand and the hand approaches a storage space without storage. If the occupant's belongings are large enough to be stored in the storage space, the notification device 24 is made to give a storage notification, and if not, the notification device 24 is made to notify the non-storable notification.
  • the notification of the existence of the stored object is the same as that of the first embodiment and the third embodiment.
  • FIG. 9 is a flowchart showing the operation of the vehicle interior notification control device 104. The flow of FIG. 9 is obtained by adding step S102B between steps S102A and S103 of the flow of FIG. 5 described in the third embodiment.
  • step S101 the behavior detection unit 11 determines that the occupant's hand is approaching the storage space, and in step S102, the object detection unit 12 determines that the occupant's hand is close to the storage space.
  • the notification control unit 14 determines in step S102A that the belongings are of a type that can be stored in the storage space
  • the vehicle interior notification control device 104 executes the process of step S102B.
  • step S102B the notification control unit 14 determines whether or not the occupant's belongings are large enough to be stored in the storage space. Specifically, the notification control unit 14 acquires the size of the belongings in the hand of the occupant approaching the storage space from the object detection unit 12, and further stores the size of the object that can be stored in the storage space. By acquiring from the detection unit 13 and comparing the two, it is determined whether or not the occupant's belongings are large enough to be stored in the storage space.
  • step S102B if the occupant's belongings are large enough to be stored in the storage space, the processing of the vehicle interior notification control device 103 proceeds to step S103. On the other hand, in step S102B, if the occupant's belongings are not large enough to be stored in the storage space, the notification device 24 is made to notify that the storage space is not available regardless of whether or not the storage space is available (step S106A). .. Then, the process of the vehicle interior notification control device 103 proceeds to step S108.
  • FIG. 10 shows an example of a non-storable notification when the occupant's belongings are of a type that can be stored in the storage space but are not large enough to be stored.
  • the cup 34 held by the occupant is a type that can be stored in the cup holder 35.
  • the diameter of the cup 34 is 50 cm, which is not large enough to be stored in the space 38 of the cup holder 35 having an opening diameter of 30 cm. Therefore, the vehicle interior lighting device 31 illuminates the space 38 of the cup holder 35 with the red spotlight 41 to notify the occupants that the space 38 cannot be stored. This operation corresponds to step S106A in FIG.
  • the occupant may be notified that the reason why the belongings cannot be stored, that is, the type or size of the belongings does not correspond to the storage space.
  • the object detection unit 12 may recognize the shape of the occupant's belongings instead of the size as the belongings measuring function.
  • the object detection unit 12 measures the size of the belongings when the occupant has the belongings, and the storage detection unit 13 can store the belongings in the storage space.
  • the notification control unit 14 identifies the size of an object, and if there is an item in the occupant's hand, the storage space is based on the storage status, the size of the item, and the size of the item that can be stored in the storage space. Determines if is a storable space. Therefore, according to the vehicle interior notification control device 104, the following effects are obtained in addition to the effect of the vehicle interior notification control device 101 according to the first embodiment.
  • the vehicle interior notification control device 104 determines whether or not the belongings are large enough to be stored in the storage space, the vehicle interior notification control device 104 accurately determines whether or not the belongings can be stored in the storage space and stores the belongings. Possible notification or non-storable notification can be performed.
  • Embodiment 5 ⁇ E-1. Configuration> The block diagram showing the configuration of the vehicle interior notification control device 105 according to the fifth embodiment is as shown in FIG. 1, with the vehicle interior notification control devices 101, 103, 104 according to the first, third, and fourth embodiments. The same is true.
  • the behavior detection unit 11 of the vehicle interior notification control device 105 identifies the occupant who is approaching the storage space. Has a function.
  • a name is registered in advance in the behavior detection unit 11 as occupant identification information, and the behavior detection unit 11 performs processing in association with the occupant and the name. That is, the behavior detection unit 11 acquires the identification information of the occupant whose hand is approaching the storage space.
  • the behavior detection unit 11 may perform processing by associating the occupant with the seating position. In this case, the seating position becomes the occupant's identification information.
  • the seating position of the occupant can be acquired, for example, from the shooting area of the camera that shoots the image to be image-processed by the first image processing device 21.
  • the object detection unit 12 of the vehicle interior notification control device 105 is the same as that of the fourth embodiment.
  • the storage detection unit 13 of the vehicle interior notification control device 105 stores, in addition to the storage status detection function, the storable object identification function, and the storage dimension identification function of the storage detection unit 13 in the vehicle interior notification control device 104 of the fourth embodiment. It has an owner recording function that records which occupant's belongings are stored in the space. When the occupant stores his / her belongings in the storage space, the storage detection unit 13 records identification information such as the occupant's name or seating position in association with the storage space. As a result, the owner recording function is realized. That is, the storage detection unit 13 acquires the identification information of the owner of the stored object in the storage space.
  • the notification control unit 14 determines whether or not notification to the occupant is necessary based on the detection results of the action detection unit 11, the object detection unit 12, and the storage detection unit 13, and if notification is necessary, the notification method. To determine.
  • FIG. 11 is a flowchart showing the operation of the vehicle interior notification control device 105. The flow of FIG. 11 is obtained by adding steps S104A and S107A to the flow of FIG. 9 described in the fourth embodiment.
  • step S101 the behavior detection unit 11 determines that the occupant's hand is approaching the storage space, and in step S102, the object detection unit 12 determines that the occupant does not have an object in the hand approaching the storage space. If it is determined by the storage detection unit 13 in step S104 that there is a stored object in the storage space, the processing of the vehicle interior notification control device 105 proceeds to step S104A.
  • step S104A the notification control unit 14 determines whether or not the occupant whose hand is close to the storage space and the owner of the stored object in the storage space close to the occupant's hand match. Specifically, the notification control unit 14 acquires the identification information of the occupant who is approaching the storage space from the behavior detection unit 11, and stores the storage space where the occupant's hand is approaching from the storage detection unit 13. The above determination is made by acquiring the identification information of the owner of the object and comparing the two.
  • step S104A when the occupant whose hand is approaching the storage space and the owner of the stored item in the storage space where the occupant's hand is approaching match, the notification control unit 14 notifies the presence of the stored item. 24 is performed (step S107).
  • step S104A when the occupant whose hand is close to the storage space and the owner of the stored item in the storage space close to the occupant's hand do not match, the notification control unit 14 approaches the occupant's hand.
  • the notification device 24 notifies the occupant that the occupant's property is not stored in the storage space (step S107A).
  • This notification is also referred to as a storage absence notification. Notification of the absence of stored items is performed, for example, by voice. Alternatively, the absence notification of the stored items may not be performed.
  • step S107A the process of the vehicle interior notification control device 105 proceeds to step S108.
  • FIG. 12 shows an example of notifying the owner's name.
  • the projector 46 is an example of the notification device 24. When the occupant A approaches the cup holder 35 without holding anything, the projector 46 projects "A's cup” on the cup 36 and "B's cup” on the cup 37. As a result, the occupant A can identify that the cup 36 is his / her own cup instead of the cup 37, and can take out the cup 36.
  • the identification information of the owner of the stored item stored in the storage space where the occupant is approaching may be notified.
  • This notification may be performed by being projected by the projector 46 as in the example of FIG. 12, or may be performed by voice.
  • the behavior detection unit 11 acquires the identification information of the occupant whose hand is approaching the storage space.
  • the storage detection unit 13 acquires the identification information of the owner of the stored object in the storage space.
  • the notification control unit 14 notifies the existence of the stored items when the occupant does not have any belongings in his / her hand, the stored items are in the storage space, and the identification information matches between the occupant and the owner of the stored items. Therefore, according to the vehicle interior notification control device 105, the following effects are obtained in addition to the effects of the vehicle interior notification control device 104 according to the fourth embodiment. According to the vehicle interior notification control device 105, the occupant can avoid taking out something that is not his property from the storage space.
  • the behavior detection unit 11, the object detection unit 12, the storage detection unit 13, the notification control unit 14, and the environment recognition unit 15 in the vehicle interior notification control device 101-105 described above are realized by the processing circuit 81 shown in FIG. That is, the processing circuit 81 includes an action detection unit 11, an object detection unit 12, a storage detection unit 13, a notification control unit 14, and an environment recognition unit 15 (hereinafter referred to as “behavior detection unit 11 and the like”).
  • Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in the memory may be applied to the processing circuit 81.
  • the processor is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
  • the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). GateArray), or a combination of these.
  • Each of the functions of each part such as the action detection unit 11 may be realized by a plurality of processing circuits 81, or the functions of each part may be collectively realized by one processing circuit.
  • the processing circuit 81 When the processing circuit 81 is a processor, the functions of the behavior detection unit 11 and the like are realized by a combination with software or the like (software, firmware or software and firmware). Software and the like are described as programs and stored in memory. As shown in FIG. 14, the processor 82 applied to the processing circuit 81 realizes the functions of each part by reading and executing the program stored in the memory 83. That is, the vehicle interior notification control device 101-105 has a step of detecting that the vehicle occupant's hand has approached the storage space in the vehicle interior when executed by the processing circuit 81, and possession of the vehicle interior notification control device 101-105 in the occupant's hand.
  • a step to detect the possession status indicating whether or not there is an object a step to detect a storage status indicating whether or not there is a stored object in the storage space, and a step to detect the possession status and storage when the occupant's hand approaches the storage space.
  • the vehicle includes a step of notifying the occupant using the notification device 24 mounted on the vehicle, and a memory 83 for storing a program to be executed as a result.
  • this program causes the computer to execute the procedure or method of the behavior detection unit 11 or the like.
  • the memory 83 is non-volatile, for example, RAM (RandomAccessMemory), ROM (ReadOnlyMemory), flash memory, EPROM (ErasableProgrammableReadOnlyMemory), EPROM (ElectricallyErasableProgrammableReadOnlyMemory), and the like. Or with volatile semiconductor memory, HDD (HardDiskDrive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (DigitalVersatileDisk) and its drive device, etc., or any storage medium used in the future. There may be.
  • RAM RandomAccessMemory
  • ROM ReadOnlyMemory
  • flash memory EPROM (ErasableProgrammableReadOnlyMemory), EPROM (ElectricallyErasableProgrammableReadOnlyMemory), and the like.
  • HDD HardDiskDrive
  • magnetic disk flexible disk
  • optical disk compact disk
  • mini disk mini disk
  • DVD DigitalVersatileDisk
  • each function of the behavior detection unit 11 and the like is realized by either hardware or software has been described above.
  • the present invention is not limited to this, and a configuration may be configured in which a part of the behavior detection unit 11 or the like is realized by dedicated hardware and another part is realized by software or the like.
  • the notification control unit 14 realizes its function by a processing circuit as dedicated hardware, and other than that, the processing circuit 81 as a processor 82 reads and executes a program stored in the memory 83 to execute the function. It is possible to realize.
  • the processing circuit can realize each of the above-mentioned functions by hardware, software, or a combination thereof.
  • the vehicle interior notification control device 101-105 is typically an in-vehicle device, but is installed in a PND (Portable Navigation Device), a communication terminal (for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet), and the like. It can also be applied to a system constructed by appropriately combining the functions of the application to be used and a server or the like. In this case, each function or each component of the vehicle interior notification control device 101-105 described above may be distributed and arranged in each device for constructing the system, or may be centrally arranged in any one device. May be done.
  • a PND Portable Navigation Device
  • a communication terminal for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet
  • each function or each component of the vehicle interior notification control device 101-105 described above may be distributed and arranged in each device for constructing the system, or may be centrally arranged in any one device. May be done.
  • FIG. 15 shows a configuration example of the vehicle interior notification control device 101 by the vehicle and the server.
  • the first image processing device 21, the second image processing device 22, the first sensing device 23, the action detection unit 11, the object detection unit 12, the storage detection unit 13, and the notification device 24 are arranged in the vehicle.
  • the notification control unit 14 is arranged on the server.
  • Behavior detection unit 12 Object detection unit, 13 Storage detection unit, 14 Notification control unit, 15 Environment recognition unit, 21 1st image processing device, 22 2nd image processing device, 23 1st sensing device, 24 Notification device, 25 2nd sensing device, 31 car interior lighting device, 33,35 cup holder, 34,36,37 cup, 39,41,43,44,45 spotlight, 46 projector, 47 card, 81 processing circuit, 82 processor, 83 Memory, 101, 102, 103, 104, 105 Vehicle interior notification control device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本開示の技術は、車室内の収納スペースを利用する車両の乗員に対して状況に応じた適切な報知を行うことを目的とする。本開示に係る車室内報知制御装置(101)は、車両の乗員の手が車両の車室内の収納スペースに接近したことを検出する行動検出部(11)と、乗員の手に所持物があるか否かを示す所持状況を検出する物体検出部(12)と、収納スペースに収納物があるか否かを示す収納状況を検出する収納検出部(13)と、乗員の手が収納スペースに接近すると、所持状況および収納状況に基づき、車両に搭載された報知装置(24)を用いて乗員への報知を行う報知制御部(14)と、を備える。

Description

車室内報知制御装置、車室内報知装置および車室内報知制御方法
 本開示は、車室内の乗員に報知を行う技術に関する。
 特許文献1には、車両の収納スペース内の忘れ物を乗員に検知する技術が開示されている。特許文献1の技術によれば、収納スペースに対する乗員の手の動きから、乗員が収納スペースに物を置いたか、または収納スペースから物を取り出したかが判定される(段落0023)。そして、乗員が降車する際に、収納スペースに忘れ物がある場合には、乗員に忘れ物があることを報知する(段落0034、0064)。
特開2018-173756号公報
 車両の収納スペースの一例はカップホルダである。乗員が収納スペースに物を収納したり収納スペースから物を取り出したりする際に、乗員に対して適切な報知を行うことにより、乗員の収納スペースに対する動作を円滑にすることが可能となる。例えば、乗員がカップホルダに収納されたカップを取ろうとして手を伸ばしたときに、カップホルダが照明されるならば、乗員はカップを取り出しやすくなる。ここで、カップホルダが照明されることは、乗員に対する報知の一例である。しかし、単に乗員の手がカップホルダに近づいたことをトリガとしてカップホルダが照明されるならば、乗員がカップホルダに特段の用がない場合にも無駄にカップホルダが照明されるため、乗員にとっては煩わしい情報となる。
 本開示は、車室内の収納スペースを利用する車両の乗員に対して状況に応じた適切な報知を行うことを目的とする。
 本開示の車室内報知制御装置は、車両の乗員の手が車両の車室内の収納スペースに接近したことを検出する行動検出部と、乗員の手に所持物があるか否かを示す所持状況を検出する物体検出部と、収納スペースに収納物があるか否かを示す収納状況を検出する収納検出部と、乗員の手が収納スペースに接近すると、所持状況および収納状況に基づき、車両に搭載された報知装置を用いて乗員への報知を行う報知制御部と、を備える。
 本開示の車室内報知制御装置によれば、車室内の収納スペースを利用する車両の乗員に対して状況に応じた適切な報知を行うことができる。本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る車室内報知制御装置の構成を示すブロック図である。 実施の形態1に係る車室内報知制御装置の動作を示すフローチャートである。 実施の形態1の収納可能報知の例を示す図である。 実施の形態2に係る車室内報知制御装置の構成を示すブロック図である。 実施の形態2に係る車室内報知制御装置の動作を示すフローチャートである。 乗員の所持物が収納スペースに収納可能な種類である場合の、実施の形態3の収納可能報知の例を示す図である。 乗員の所持物が収納スペースに収納可能な種類でない場合の、実施の形態3の収納不可報知の例を示す図である。 収納不可報知と他収納報知とが同時に行われる例を示す図である。 実施の形態3に係る車室内報知制御装置の動作を示すフローチャートである。 乗員の所持物が収納スペースに収納可能な大きさでない場合の、実施の形態4の収納不可報知の例を示す図である。 実施の形態4に係る車室内報知制御装置の動作を示すフローチャートである。 実施の形態5の収納物存在報知の例を示す図である。 車室内報知制御装置のハードウェア構成を示す図である。 車室内報知制御装置のハードウェア構成を示す図である。 車両とサーバによる車室内報知制御装置の構成例を示す図である。
 以下、複数の図面を用いて複数の実施の形態について説明する。各図面において、同一または対応する構成要素には同一の参照符号が付される。
 <A.実施の形態1>
 <A-1.構成>
 図1は、実施の形態1に係る車室内報知制御装置101の構成を示すブロック図である。車室内報知制御装置101は、第1画像処理装置21、第2画像処理装置22、第1センシング装置23および報知装置24と接続され、これらを利用可能に構成されている。
 車室内報知制御装置101は、車両の車室内にいる乗員の手の動きと車室内の収納スペースの収納状況とを判定し、これらの判定結果に基づいて報知装置24を用いて乗員に適切な報知を行う装置である。収納スペースの例として、グローブボックスまたはカップホルダが挙げられる。報知装置24は、車両の車室内に搭載された装置であり、例えば光を発する照明装置、表示を行うディスプレイ、音を再生するスピーカ、または収納スペースを振動させる振動装置などである。以下、車室内報知制御装置101が報知を行う対象の乗員が搭乗する車両であり、報知装置24が搭載された車両を単に「車両」と称する。
 車室内報知制御装置101は、行動検出部11、物体検出部12、収納検出部13および報知制御部14を備えて構成される。車室内報知制御装置101は、典型的には車両に搭載された装置であるが、少なくとも一部が車両の外部のサーバによって構成されていてもよい。
 行動検出部11は、乗員の手が収納スペースに接近したことを検出する接近検出機能を有する。図1の例で、行動検出部11は第1画像処理装置21の画像処理結果を取得し、これに基づき乗員の手が収納スペースに接近したことを検出するが、センシング装置を用いて検出しても良いし、機械学習を利用した検出ロジックを適用してもよい。第1画像処理装置21は、車両に搭載され車室内を撮影するカメラの撮影画像を画像処理し、乗員の手に関する画像処理結果を行動検出部11に出力する。
 物体検出部12は、乗員の手が収納スペースに接近した場合に、その手に所持物があるか否かを検出する所持検出機能を有する。図1の例で、物体検出部12は第2画像処理装置22の画像処理結果を取得し、これに基づき乗員の手に所持物があるか否かを検出するが、センシング装置を用いて検出しても良いし、機械学習を利用した検出ロジックを適用してもよい。第2画像処理装置22は、車両に搭載され車室内を撮影するカメラの撮影画像を画像処理し、乗員の手に関する画像処理結果を行動検出部11に出力する。
 収納検出部13は、車室内の収納スペースの収納状況、すなわち収納スペースに収納物があるか否かを検出する収納状況検出機能を有する。図1の例で、収納検出部13は第1センシング装置23の検出結果を取得し、これに基づき収納スペースの収納状況を検出する。第1センシング装置23は、車両に搭載され、例えば収納スペースを検出範囲とする赤外線センサである。
 報知制御部14は、行動検出部11、物体検出部12、および収納検出部13の検出結果を基に、乗員への報知が必要であるか否かを決定し、報知が必要である場合には、報知方法を決定する。そして、報知制御部14は、報知装置24を制御し、決定した報知方法により乗員への報知を行わせる。
 <A-2.動作>
 図2は、車室内報知制御装置101の動作を示すフローチャートである。以下、図2のフローに沿って車室内報知制御装置101の動作を説明する。図2のフローは、例えば車両のアクセサリ電源がオンになることにより開始する。
 まず、行動検出部11が、乗員の手が収納スペースに接近しているか否かを判断する(ステップS101)。手が収納スペースに接近しているか否かは、例えば、手と収納スペースとの距離が予め定められた閾値L1未満であるか否かによって判断される。閾値L1を第1閾値とも称する。ここで、閾値L1は例えば15cmである。
 ステップS101において乗員の手が収納スペースに接近していなければ、車室内報知制御装置101の処理はステップS108に進む。
 ステップS101において乗員の手が収納スペースに接近している場合、その手に所持物があるか否かを物体検出部12が判断する(ステップS102)。
 ステップS102において乗員の手に所持物がある場合、乗員は所持物を収納スペースに収納しようとしていると考えられる。そこで、収納検出部13は、乗員の手が接近した収納スペースの収納状況、すなわち当該収納スペースに収納物があるか否かを判断する(ステップS103)。
 ステップS103において収納スペースに収納物がある場合、報知制御部14は、乗員の手が接近している収納スペースは空きがなく、所持物を収納可能な収納可スペースではない旨を、報知装置24により乗員に報知させる(ステップS105)。この報知を、収納不可報知とも称する。収納不可報知の例として、スピーカからブザー音または「収納スペースが空いていません」という音声が再生されたり、収納スペースに設定された発光装置が赤で点灯したりする。そして、車室内報知制御装置101の処理はステップS108に進む。
 ステップS103において収納スペースに収納物がない場合、報知制御部14は、乗員の手が接近中の収納スペースが所持物を収納可能な収納可スペースであることを、報知装置24により乗員に報知させる(ステップS106)。この報知を、収納可能報知とも称する。収納可能報知の例として、照明装置が収納スペースの付近を照明したり、収納スペースに設置された発光装置が緑で点灯したりする。そして、車室内報知制御装置101の処理はステップS108に進む。
 ステップS102において乗員の手に所持物がない場合、乗員は収納スペースの収納物を取り出そうとしているか、または収納スペースを利用する意図がないと考えられる。そこで、収納検出部13は、乗員の手が接近中の収納スペースに収納物があるか否かを判断する(ステップS104)。
 ステップS104において収納スペースに収納物がある場合、乗員は収納スペースから収納物を取り出そうとしていると考えられる。そこで、報知制御部14は、乗員が手を接近中の収納スペースに収納物があることを、報知装置24により乗員に報知させる(ステップS107)。この報知を、収納物存在報知とも称する。ここでは、例えば照明装置が収納スペースの付近を照明したり、収納スペースに設定された発光装置が緑で点灯したりする。または、スピーカが収納スペースに物が収納されている旨の音声を再生する。そして、車室内報知制御装置101の処理はステップS108に進む。
 ステップS104において収納スペースに物が収納されていない場合、乗員は収納スペースを利用する意図がなく、偶然手が収納スペースに接近したと考えられる。この場合、乗員への報知は行われない。また、前回の処理サイクルにおいてステップS105、S106またはS107における報知が継続中である場合に、報知制御部14は報知を終了させる。そして、車室内報知制御装置101の処理はステップS108に進む。
 ステップS108において、報知制御部14は、乗員が降車したか否かを判断する。この判断は、例えば車両に搭載されたカメラの撮影画像を画像処理することにより行うことができる。ステップS108において乗員が降車していなければ、車室内報知制御装置101の処理はステップS101に戻り、ステップS108において乗員が降車していれば、車室内報知制御装置101の処理は終了する。
 図3は、図2のステップS106における収納可能報知の例を示している。図3において、カップホルダ33は収納スペースの一例であり、車内照明装置31は報知装置24の一例である。乗員がカップを持った手をカップホルダ33に近づけた場合に、車内照明装置31がカップホルダ33をスポット照明する。これにより、乗員は容易にカップホルダ33にカップを収納することができる。車室内は暗いことが多く、さらに乗員は運転中にカップホルダ33を凝視することが困難であるため、上記のとおりカップホルダ33が照明されることは有効である。
 <A-3.変形例>
 上記の説明において、行動検出部11は、乗員の手と収納スペースとの距離が閾値L1以内であることをもって、手が収納スペースに接近していると判断した(図2のステップS101)。しかし、行動検出部11は、乗員の手と収納スペースとの距離に加えて、手の進行方向が収納スペースに接近する方向であることを、手が収納スペースに接近していると判断する条件にしてもよい。すなわち、行動検出部11は、手と収納スペースとの距離が予め定められた閾値L2未満であり、かつ手の進行方向が収納スペースに接近する方向である場合に、手が収納スペースに接近していると判断する。閾値L2を閾値L1と同様、第1閾値とも称する。この場合、閾値L2は閾値L1よりも大きく、例えば25cmとしてもよい。
 図1の例において、行動検出部11は第1画像処理装置21を使用し、物体検出部12は第2画像処理装置22を使用する。しかし、行動検出部11と物体検出部12とは、同じ画像処理装置を兼用してもよい。また、収納検出部13が使用する第1センシング装置23は、画像処理装置であってもよい。この場合、収納検出部13が使用する画像処理装置は、第1画像処理装置21および第2画像処理装置22の少なくとも一方と兼用であってもよい。
 車室内に複数の収納スペースがあり、図2のステップS103において、乗員の手が接近している収納スペースには空きがないが、他の収納スペースには空きがある場合に、車室内報知制御装置101はステップS105の収納不可報知と同時に、またはステップS105の収納不可報知に代えて、乗員の所持物を収納可能な他の収納スペースを乗員に報知してもよい。この他の収納スペースの報知を他収納報知とも称する。
 上記の説明において、行動検出部11は、乗員の手と収納スペースとの距離が閾値L1以内であることをもって、手が収納スペースに接近していると判断した(図2のステップS101)。行動検出部11は、乗員の手と収納スペースとの距離の閾値を複数有し、手の収納スペースに対する接近の程度を複数段階で区別して検出してもよい。そして、報知制御部14は、手の収納スペースに対する接近の程度に応じて異なる態様で報知を行ってもよい。例えば、行動検出部11は、乗員の手と収納スペースとの距離に関し、閾値L11と、閾値L11より小さい閾値L12を有する。乗員の手と収納スペースとの距離が閾値L12以上閾値L11未満である場合に、行動検出部11は、手が収納スペースにある程度接近していると判断し、報知制御部14は報知装置24に弱いレベルの報知、例えば照明による報知を行わせる。そして、乗員の手と収納スペースとの距離が閾値L12未満である場合に、行動検出部11は、手が収納スペースにとても近づいていると判断し、報知制御部14は報知装置24に強いレベルの報知、例えば照明と音声の両方による報知を行う。ここで、閾値L12は0であってもよい。すなわち、乗員の手が収納スペースに触れた場合に強いレベルの報知が行われてもよい。
 図1の例で、第1画像処理装置21、第2画像処理装置22、第1センシング装置23および報知装置24は車室内報知制御装置101の外部の構成として示された。しかし、これらの構成は車室内報知制御装置101に含まれてもよい。
 <A-4.効果>
 実施の形態1の車室内報知制御装置101は、行動検出部11、物体検出部12、収納検出部13および報知制御部14を備える。行動検出部11は、車両の乗員の手が車両の車室内の収納スペースに接近したことを検出する。物体検出部12は、乗員の手に所持物があるか否かを示す所持状況を検出する。収納検出部13は、収納スペースに収納物があるか否かを示す収納状況を検出する。報知制御部14は、乗員の手が収納スペースに接近すると、所持状況および収納状況に基づき、車両に搭載された報知装置24を用いて乗員への報知を行う。以上の構成により、車室内報知制御装置101によれば、乗員が収納スペースを利用するにあたり状況に応じた適切な報知を乗員に行うことができる。
 具体的には、報知制御部14が実施する報知には、収納スペースが所持物を収納可能な収納可スペースである旨の収納可能報知と、収納スペースが収納可スペースでない旨の収納不可報知とが含まれる。そして、報知制御部14は、乗員の手に所持物がある場合、収納状況に基づき収納スペースが収納可スペースであるか否かを判断し、収納スペースが収納可スペースである場合に収納可能報知を行い、収納スペースが収納可スペースでない場合に収納不可報知を行う。以上の構成により、車室内報知制御装置101によれば、乗員の所持物を持った手が収納スペースに接近した場合に、乗員に所持物を収納スペースに収納する意思があると判断し、収納スペースの収納状況に応じて収納可能か否かを報知することができる。
 また、報知制御部14が実施する報知には、収納スペースに収納物がある旨の収納物存在報知が含まれる。そして、報知制御部14は、乗員の手に所持物がなく、収納スペースに収納物がある場合に、収納物存在報知を行う。以上の構成により、車室内報知制御装置101によれば、乗員の手に所持物がなく、収納スペースに収納物がある場合に、乗員に収納スペースの収納物を取り出す意志があると判断し、収納物存在報知を行うことができる。
 また、報知制御部14は、乗員の手が収納スペースに接近していても、乗員の手に所持物がなく、かつ収納スペースに収納物がなければ、報知を行わない。乗員の手に所持物がなく、かつ収納スペースに収納物がない場合、乗員には収納スペースを利用する意思がないと考えられる。このような場合には、何ら報知を行わないことにより、乗員にとって不要な報知を行うことが避けられる。
 <B.実施の形態2>
 <B-1.構成および動作>
 図4は、実施の形態2に係る車室内報知制御装置102の構成を示すブロック図である。図4において、実施の形態1に係る車室内報知制御装置101と同一または対応する構成には同一の参照符号が付されている。
 車室内報知制御装置102は、第1画像処理装置21、第2画像処理装置22、第1センシング装置23、報知装置24および第2センシング装置25と接続され、これらを利用可能に構成されている。第1画像処理装置21、第2画像処理装置22、第1センシング装置23および報知装置24については、実施の形態1と同様である。車室内報知制御装置102は、実施の形態1に係る車室内報知制御装置101の構成に加えて、環境認識部15を備えている。
 環境認識部15は、車室内の環境を認識する。照度または騒音レベルが、車室内の環境の一例として挙げられる。図4の例で、環境認識部15は、第2センシング装置25の検出結果を取得し、これに基づき車室内の環境を認識する。第2センシング装置25は、車両に搭載されたセンシング装置であり、例えば照度センサまたは騒音計である。
 実施の形態2に係る車室内報知制御装置102の動作の流れは、図2のフローチャートに示した通りである。しかし、図2のステップS105、S106、S107において、報知制御部14が環境認識部15の認識結果を考慮して報知方法を決定する点で、実施の形態1とは異なる。報知制御部14は、行動検出部11、物体検出部12および収納検出部13の検出結果を基に、乗員への報知が必要であるか否かを決定し、報知が必要である場合には、環境認識部15の認識結果に基づき報知方法を決定する。そして、報知制御部14は、報知装置24を制御し、決定した報知方法により乗員への報知を行わせる。
 環境認識部15が車室内の照度を認識する場合、報知制御部14は車室内の照度に応じて報知方法を決定する。例えば、図3に示される収納可能報知では、カップホルダ33がスポット照明される。しかし、車室内の、特に収納スペースの照度が高い場合に、乗員は収納スペースがスポット照明されていることに気づきにくい。そのため、報知制御部14は、車室内または収納スペースの照度が予め定められた閾値E1未満である場合に、スポット照明による報知方法を採用し、閾値E1以上の場合には照明以外の報知方法、例えば音声による報知を採用する。閾値E1を第2閾値とも称する。薄暮状態またはトンネルの中などで、報知制御部14は、音声報知とスポット照明による報知を兼用してもよい。
 環境認識部15が車室内の騒音レベルを認識する場合、報知制御部14は車室内の騒音レベルに応じて報知方法を決定する。例えば、報知制御部14は、車室内の騒音レベルが予め定められた閾値D1未満である場合に、スピーカを用いて音声による報知を行い、車室内の騒音レベルが閾値D1以上の場合に、スピーカ以外の報知装置24による照明または振動などの報知を、音声による報知に代えて、または音声による報知と共に行う。閾値D1を第3閾値とも称する。また、報知制御部14は、音声による報知を採用する場合に、車室内の騒音レベルに応じて報知音を大きくしてもよい。
 <B-2.効果>
 実施の形態2に係る車室内報知制御装置102は、実施の形態1に係る車室内報知制御装置101の構成に加えて、車室内の環境を認識する環境認識部15を備える。そして、報知制御部14は、環境認識部15が認識した車室内の環境に応じた態様の報知を行う。以上の構成により、車室内報知制御装置102によれば、実施の形態1に係る車室内報知制御装置101の効果に加えて以下の効果を奏する。車室内報知制御装置102は、例えば車室内の照度が高い場合には照明以外の方法で報知を行ったり、車室内の騒音レベルが高い場合には音声以外の方法で報知を行ったりするなど、車室内の環境に応じて乗員が気づきやすい方法で報知を行うことができる。
 <C.実施の形態3>
 実施の形態1の車室内報知制御装置101は、乗員の手に所持物があり、かつその手が収納スペースに接近した場合に、収納スペースに収納物がなければ収納可能である旨を乗員に報知した。しかし、収納スペースに収納可能な物の種類が限定される場合、収納スペースに空きがあっても異なる種類の所持物を収納することはできない。例えば、カップホルダにはカップ、缶またはペットボトルしか収納できず、他の種類の物は収納できない。そこで、実施の形態3の車室内報知制御装置103では、乗員の所持物の種類と収納スペースが収納可能な物の種類とを比較した上で、収納スペースへの収納可否を判断する。
 <C-1.構成>
 実施の形態3に係る車室内報知制御装置103の構成を示すブロック図は、図1に示した通りであり、実施の形態1に係る車室内報知制御装置101と同様である。
 車室内報知制御装置103の行動検出部11は、実施の形態1と同様である。
 車室内報知制御装置103の物体検出部12は、実施の形態1の車室内報知制御装置101における物体検出部12の所持検出機能に加えて、乗員の所持物の種類を識別する所持物識別機能を有する。
 車室内報知制御装置103の収納検出部13は、実施の形態1の車室内報知制御装置101における収納検出部13の収納状況検出機能に加えて、収納スペースに収納可能な物の種類を識別する収納可能物識別機能を有する。収納可能物識別機能を実現するため、収納検出部13が参照可能なデータベースに、収納スペースごとに収納可能な物の種類が記録されていてもよい。例えば、カップホルダという収納スペースに対して、カップ、缶またはペットボトルが収納可能な物として記録される。
 報知制御部14は、行動検出部11、物体検出部12および収納検出部13の検出結果に基づき、乗員への報知が必要であるか否かを判断し、報知が必要な場合には報知方法を決定する。
 具体的には、報知制御部14は、乗員の手に所持物があり、その手が収納物のない収納スペースに接近したとき、所持物が収納スペースに収納可能な種類である場合には収納可能報知を報知装置24に行わせ、そうでない場合には収納不可報知を報知装置24に行わせる。収納物存在報知については実施の形態1と同様である。
 <C-2.動作>
 図5は、車室内報知制御装置103の動作を示すフローチャートである。以下、図5のフローに沿って車室内報知制御装置103の動作を説明するが、図2で説明した車室内報知制御装置101の動作と共通する部分については適宜省略する。
 ステップS101において行動検出部11により乗員の手が収納スペースに接近していると判断され、ステップS102において物体検出部12により乗員の手に所持物があると判断された場合、車室内報知制御装置103はステップS102Aの処理を実行する。ステップS102Aにおいて、報知制御部14は、乗員の所持物が収納スペースに収納可能な種類であるか否かを判断する。具体的には、報知制御部14は、所持物の種類を物体検出部12から取得し、さらに収納スペースが収納可能な物の種類を収納検出部13から取得する。そして、報知制御部14は両者を比較することにより、乗員の所持物が収納スペースに収納可能な種類であるか否かを判断する。
 ステップS102Aにおいて、乗員の所持物が収納スペースに収納可能な種類であれば、車室内報知制御装置103の処理はステップS103に進む。一方、ステップS102Aにおいて、乗員の所持物が収納スペースに収納可能な種類でなければ、収納スペースに収納物があるか否かに関わらず、報知制御部14は収納不可報知を報知装置24に行わせる(ステップS106A)。そして、車室内報知制御装置103の処理はステップS108に進む。
 図6は、乗員の所持物が収納スペースに収納可能な種類である場合の収納可能報知の例を示している。図6において、カップホルダ35は収納スペースの例であり、カップ34は所持物の例である。カップホルダ35には既にカップ36,37が収納されているもの、まだスペース38に空きがある。ここで、乗員がカップ34を持った手をカップホルダ35に近づけたとする。カップ34は、カップホルダ35に収納可能な種類である。従って、車内照明装置31は、カップホルダ35のスペース38を青色のスポットライト39で照明することにより、カップ34をスペース38に収納可能である旨を乗員に報知する。この収納可能報知は、図5のステップS106に相当する。
 図7は、乗員の所持物が収納スペースに収納可能な種類でない場合の報知例を示している。図7において、カード47は所持物の例である。カップホルダ35はスペース38に空きがあるものの、カード47はカップホルダ35に収納可能な種類ではない。従って、車内照明装置31は、カップホルダ35のスペース38を赤色のスポットライト41で照明することにより、スペース38に収納不可である旨を乗員に報知する。この収納不可報知は、図5のステップS106Aに相当する。
 上記の例では、カップホルダ35を照明するスポットライト39,41の色が収納可能報知では赤色であり、収納不可報知では青色であった。このように、スポットライトの色を変えることにより、乗員は直感的に、所持物が収納可能であるか不可能であるかを把握することができる。なお、色の他、スポットライトを常時点灯させるか点滅させるかの違い、またはスポットライトの照射範囲の大きさを変えることによって、収納可能報知と収納不可報知とでスポットライトの照射態様を変えても良い。
 図8は、乗員がカップ34を持った手をカップホルダ35の既にカップ36が収納された場所に近づけた場合の報知例を示している。図8の例では、カップホルダ35の各スペースが個別の収納スペースとみなされる。既にカップ36が収納された場所にカップ34を収納することはできない。従って、車内照明装置31はカップ36を例えば赤色のスポットライト43で照明することにより、カップ34をカップ36の収納場所に収納不可である旨を乗員に報知する。この収納不可報知は、図5のステップS105に相当する。なお、カップホルダ35はスペース38,42に空きがある。このような場合、車内照明装置31は、スペース38,42を例えば青色のスポットライト44,45で照明することにより、スペース38,42にはカップ34を収納可能である旨の他収納報知を行ってもよい。
 <C-3.変形例>
 図5のステップS106Aにおいて、報知制御部14は収納不可報知を報知装置24に行わせる。この際、報知制御部14は、乗員の所持物が収納スペースに収納できない種類のものである旨を、報知装置24に報知させてもよい。さらにこの際、報知制御部14は、乗員が手を近づけている収納スペースに収納可能な物の例を、報知装置24に報知させてもよい。
 図8では、車内照明装置31がスペース38,42をスポットライト44,45で照明すると共に、カップ36の収納場所をスポットライト43で照明することについて説明した。前者の照明は、乗員の所持物を収納可能な収納スペースを報知する他収納報知である。後者の照明は、乗員が手を近づけている収納スペースに乗員の所持物を収納できない旨を報知する収納不可報知である。他収納報知は、収納不可報知に先立って行われてもよい。すなわち、乗員の手が収納スペースに近づいて両者の距離が閾値L1より大きい予め定められた閾値L3未満となった場合に、車内照明装置31は他収納報知を行い、乗員の手がさらに収納スペースに近づいて両者の距離が閾値L1未満となった場合に、車内照明装置31は収納不可報知を行う。
 <C-4.効果>
 実施の形態3に係る車室内報知制御装置103において、物体検出部12は、乗員の手に所持物がある場合に所持物の種類を識別する。収納検出部13は、収納スペースに収納可能な物の種類を識別する。報知制御部14は、乗員の手に所持物がある場合、収納状況、所持物の種類、および収納スペースに収納可能な物の種類に基づき、収納スペースが収納可スペースであるか否かを判断する。従って、車室内報知制御装置103によれば、実施の形態1に係る車室内報知制御装置101の効果に加えて以下の効果を奏する。車室内報知制御装置103は、所持物が収納スペースに収納可能な種類であるか否かを判断するため、所持物が収納スペースに収納可能であるか否かを正確に判断して、収納可能報知または収納不可報知を行うことができる。
 <D.実施の形態4>
 実施の形態3の車室内報知制御装置103は、乗員の所持物が収納スペースに収納可能な種類であるかを考慮して、収納スペースへの収納可否を判断した。しかし、乗員の所持物が収納スペースに収納可能な種類であっても、所持物の大きさによっては収納スペースに収納できるとは限らない。そこで、実施の形態4の車室内報知制御装置104では、乗員の所持物の種類および大きさと収納スペースが収納可能な物の種類および大きさとを比較した上で、収納スペースへの収納可否を判断する。
 <D-1.構成>
 実施の形態4に係る車室内報知制御装置104の構成を示すブロック図は、図1に示した通りであり、実施の形態1に係る車室内報知制御装置101および実施の形態3に係る車室内報知制御装置103と同様である。
 車室内報知制御装置104の行動検出部11は、実施の形態1と同様である。
 車室内報知制御装置104の物体検出部12は、車室内報知制御装置103の物体検出部12の所持検出機能および所持物識別機能に加えて、乗員の所持物の大きさを測定する所持物測定機能を有する。
 車室内報知制御装置104の収納検出部13は、車室内報知制御装置103の収納検出部13の収納状況検出機能および収納可能物識別機能に加えて、収納スペースに収納可能な物の大きさを識別する収納寸法識別機能を有する。収納寸法識別機能を実現するため、収納検出部13が参照可能なデータベースとして、収納スペースごとに収納可能な物の大きさが記録されていてもよい。例えば、カップホルダという収納スペースに対して、倒さず保持できる収納物の高さの上限値および底面積の下限値、ならびに収納可能な収納物の底面積の上限値などが記録される。
 報知制御部14は、行動検出部11、物体検出部12および収納検出部13の検出結果に基づき、乗員への報知が必要であるか否かを判断し、報知が必要な場合には報知方法を決定する。
 具体的には、報知制御部14は、乗員の手に所持物があり、その手が収納物のない収納スペースに接近したとき、乗員の所持物が収納スペースに収納可能な種類であり、かつ乗員の所持物が収納スペースに収納可能な大きさである場合には、収納可能報知を報知装置24に行わせ、そうでない場合には収納不可報知を報知装置24に行わせる。収納物存在報知については実施の形態1および実施の形態3と同様である。
 <D-2.動作>
 図9は、車室内報知制御装置104の動作を示すフローチャートである。図9のフローは、実施の形態3で説明した図5のフローのステップS102AとステップS103との間にステップS102Bを加えたものである。
 ステップS101において行動検出部11により乗員の手が収納スペースに接近していると判断され、ステップS102において物体検出部12により乗員の収納スペースに接近している手に所持物があると判断され、ステップS102Aにおいて報知制御部14により、所持物が収納スペースに収納可能な種類であると判断された場合、車室内報知制御装置104はステップS102Bの処理を実行する。
 ステップS102Bにおいて、報知制御部14は、乗員の所持物が収納スペースに収納可能な大きさであるか否かを判断する。具体的には、報知制御部14は、乗員が収納スペースに接近している手にある所持物の大きさを物体検出部12から取得し、さらに収納スペースが収納可能な物の大きさを収納検出部13から取得し、両者を比較することにより、乗員の所持物が収納スペースに収納可能な大きさであるか否かを判断する。
 ステップS102Bにおいて、乗員の所持物が収納スペースに収納可能な大きさであれば、車室内報知制御装置103の処理はステップS103に進む。一方、ステップS102Bにおいて、乗員の所持物が収納スペースに収納可能な大きさでなければ、収納スペースに空きがあるか否かに関わらず、収納不可報知を報知装置24に行わせる(ステップS106A)。そして、車室内報知制御装置103の処理はステップS108に進む。
 図10は、乗員の所持物が収納スペースに収納可能な種類であるが収納可能な大きさでない場合の、収納不可報知の例を示している。乗員が手に持っているカップ34は、カップホルダ35に収納可能な種類である。しかし、カップ34の直径は50cmであり、開口の直径が30cmであるカップホルダ35のスペース38に収納可能な大きさではない。従って、車内照明装置31は、カップホルダ35のスペース38を赤色のスポットライト41で照明することにより、スペース38に収納不可である旨を乗員に報知する。この動作は、図9のステップS106Aに相当する。
 <D-3.変形例>
 図9のステップS106Aにおける収納不可報知において、所持物を収納不可能な理由、すなわち、所持物の種類または大きさが、収納スペースに非対応である旨が乗員に報知されてもよい。
 物体検出部12は、所持物測定機能として乗員の所持物の大きさではなく形状を認識しても良い。
 <D-4.効果>
 実施の形態4に係る車室内報知制御装置104において、物体検出部12は、乗員の手に所持物がある場合に所持物の大きさを測定し、収納検出部13は、収納スペースに収納可能な物の大きさを識別し、報知制御部14は、乗員の手に所持物がある場合、収納状況、所持物の大きさ、および収納スペースに収納可能な物の大きさに基づき、収納スペースが収納可スペースであるか否かを判断する。従って、車室内報知制御装置104によれば、実施の形態1に係る車室内報知制御装置101の効果に加えて以下の効果を奏する。車室内報知制御装置104は、所持物が収納スペースに収納可能な大きさであるか否かを判断するため、所持物が収納スペースに収納可能であるか否かを正確に判断して、収納可能報知または収納不可報知を行うことができる。
 <E.実施の形態5>
 <E-1.構成>
 実施の形態5に係る車室内報知制御装置105の構成を示すブロック図は、図1に示した通りであり、実施の形態1,3,4に係る車室内報知制御装置101,103,104と同様である。
 車室内報知制御装置105の行動検出部11は、実施の形態4の行動検出部11の接近検出機能に加えて、収納スペースに手が接近している乗員が誰であるかを識別する乗員識別機能を有する。乗員識別機能を実現するため、行動検出部11には、事前に乗員の識別情報として例えば名前が登録されており、行動検出部11は乗員と名前を関連付けて処理を行う。すなわち、行動検出部11は、収納スペースに手が接近している乗員の識別情報を取得する。また、乗員の名前が事前に登録されていない場合、行動検出部11は乗員を着座位置と関連付けて処理を行ってもよい。この場合、着座位置が乗員の識別情報となる。乗員の着座位置は、例えば第1画像処理装置21が画像処理を行う画像を撮影するカメラの撮影領域から取得することが可能である。
 車室内報知制御装置105の物体検出部12は、実施の形態4と同様である。
 車室内報知制御装置105の収納検出部13は、実施の形態4の車室内報知制御装置104における収納検出部13の収納状況検出機能、収納可能物識別機能および収納寸法識別機能に加えて、収納スペースの収納物がどの乗員の所持物であるかを記録する所有者記録機能を有する。収納検出部13は、乗員が収納スペースに所持物を収納した際に、当該乗員の氏名または着座位置などの識別情報を、収納スペースの収納物と関連付けて記録する。これにより、所有者記録機能が実現する。すなわち、収納検出部13は、収納スペースの収納物の所有者の識別情報を取得する。
 報知制御部14は、行動検出部11、物体検出部12および収納検出部13の検出結果に基づき、乗員への報知が必要であるか否かを判断し、報知が必要な場合には報知方法を決定する。
 <E-2.動作>
 図11は、車室内報知制御装置105の動作を示すフローチャートである。図11のフローは、実施の形態4で説明した図9のフローにステップS104AおよびステップS107Aを加えたものである。
 ステップS101において行動検出部11により乗員の手が収納スペースに接近していると判断され、ステップS102において物体検出部12により乗員が収納スペースに接近している手に物を持っていないと判断され、ステップS104において収納検出部13により収納スペースに収納物があると判断された場合、車室内報知制御装置105の処理はステップS104Aに進む。
 ステップS104Aにおいて、報知制御部14は、収納スペースに手が接近している乗員と、乗員の手が接近している収納スペースの収納物の所有者とが一致するか否かを判定する。具体的には、報知制御部14は、行動検出部11から収納スペースに手を接近させている乗員の識別情報を取得し、収納検出部13から乗員の手が接近している収納スペースの収納物の所有者の識別情報を取得し、両者を比較することにより上記の判定を行う。
 ステップS104Aにおいて、収納スペースに手が接近している乗員と、乗員の手が接近している収納スペースの収納物の所有者とが一致する場合、報知制御部14は収納物存在報知を報知装置24に行わせる(ステップS107)。
 ステップS104Aにおいて、収納スペースに手が接近している乗員と、乗員の手が接近している収納スペースの収納物の所有者とが一致しない場合、報知制御部14は、乗員の手が接近している収納スペースに乗員の所有物が格納されていないことを、報知装置24により乗員に報知させる(ステップS107A)。この報知を、収納物不存在報知とも称する。収納物不存在報知は、例えば音声により行われる。あるいは、収納物不存在報知は行われなくてもよい。ステップS107Aの後、車室内報知制御装置105の処理はステップS108に進む。
 <E-3.変形例>
 図11のステップS107における収納物存在報知では、乗員の手が接近している収納スペースの全ての収納物の所有者の識別情報が報知されてもよい。図12は所有者の名前を報知する例を示している。図12において、投影機46は報知装置24の例である。乗員Aが何も持たずにカップホルダ35に手を近づけたとき、投影機46がカップ36に「A’s cup」、カップ37に「B’s cup」と投影する。これにより、乗員Aはカップ37ではなくカップ36が自身のカップであることを識別し、カップ36を取り出すことができる。
 図11のステップS107Aにおける収納物不存在報知では、乗員が手を近づけている収納スペースに格納されている収納物の所有者の識別情報が報知されてもよい。この報知は、図12の例のように投影機46で投影されることにより行われてもよいし、音声で行われてもよい。
 <E-4.効果>
 実施の形態5に係る車室内報知制御装置105において、行動検出部11は、収納スペースに手が接近している乗員の識別情報を取得する。収納検出部13は、収納スペースの収納物の所有者の識別情報を取得する。報知制御部14は、乗員の手に所持物がなく、収納スペースに収納物があり、乗員と収納物の所有者とで識別情報が一致する場合に、収納物存在報知を行う。従って、車室内報知制御装置105によれば、実施の形態4に係る車室内報知制御装置104の効果に加えて以下の効果を奏する。車室内報知制御装置105によれば、乗員は自身の所有物でないものを収納スペースから取り出してしまうことを避けられる。
 <F.ハードウェア構成>
 上述した車室内報知制御装置101-105における、行動検出部11、物体検出部12、収納検出部13、報知制御部14および環境認識部15は、図13に示す処理回路81により実現される。すなわち、処理回路81は、行動検出部11、物体検出部12、収納検出部13、報知制御部14および環境認識部15(以下、「行動検出部11等」と称する)を備える。処理回路81には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
 処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。行動検出部11等の各部の機能それぞれは、複数の処理回路81で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
 処理回路81がプロセッサである場合、行動検出部11等の機能は、ソフトウェア等(ソフトウェア、ファームウェアまたはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図14に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、車室内報知制御装置101-105は、処理回路81により実行されるときに、車両の乗員の手が車両の車室内の収納スペースに接近したことを検出するステップと、乗員の手に所持物があるか否かを示す所持状況を検出するステップと、収納スペースに収納物があるか否かを示す収納状況を検出するステップと、乗員の手が収納スペースに接近すると、所持状況および収納状況に基づき、車両に搭載された報知装置24を用いて乗員への報知を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、行動検出部11等の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
 以上、行動検出部11等の各機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、行動検出部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば報知制御部14については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 また、車室内報知制御装置101-105は、典型的には車載装置であるが、PND(Portable Navigation Device)、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせて構築されるシステムにも適用することができる。この場合、以上で説明した車室内報知制御装置101-105の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。
 図15は、車両とサーバによる車室内報知制御装置101の構成例を示している。図15の例において、第1画像処理装置21、第2画像処理装置22、第1センシング装置23、行動検出部11、物体検出部12、収納検出部13および報知装置24が車両に配置され、報知制御部14がサーバに配置される。
 なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。
 11 行動検出部、12 物体検出部、13 収納検出部、14 報知制御部、15 環境認識部、21 第1画像処理装置、22 第2画像処理装置、23 第1センシング装置、24 報知装置、25 第2センシング装置、31 車内照明装置、33,35 カップホルダ、34,36,37 カップ、39,41,43,44,45 スポットライト、46 投影機、47 カード、81 処理回路、82 プロセッサ、83 メモリ、101,102,103,104,105 車室内報知制御装置。

Claims (17)

  1.  車両の乗員の手が前記車両の車室内の収納スペースに接近したことを検出する行動検出部と、
     前記乗員の手に所持物があるか否かを示す所持状況を検出する物体検出部と、
     前記収納スペースに収納物があるか否かを示す収納状況を検出する収納検出部と、
     前記乗員の手が前記収納スペースに接近すると、前記所持状況および前記収納状況に基づき、前記車両に搭載された報知装置を用いて前記乗員への報知を行う報知制御部と、を備える、
    車室内報知制御装置。
  2.  前記報知は、前記収納スペースが前記所持物を収納可能な収納可スペースである旨の収納可能報知と、前記収納スペースが前記収納可スペースでない旨の収納不可報知とを含み、
     前記報知制御部は、前記乗員の手に前記所持物がある場合、前記収納状況に基づき前記収納スペースが前記収納可スペースであるか否かを判断し、前記収納スペースが前記収納可スペースである場合に前記収納可能報知を行い、前記収納スペースが前記収納可スペースでない場合に前記収納不可報知を行う、
    請求項1に記載の車室内報知制御装置。
  3.  前記報知は、前記収納スペースに前記収納物がある旨の収納物存在報知を含み、
     前記報知制御部は、前記乗員の手に前記所持物がなく、前記収納スペースに前記収納物がある場合に、前記収納物存在報知を行う、
    請求項2に記載の車室内報知制御装置。
  4.  前記報知制御部は、前記乗員の手に前記所持物がなく、前記収納スペースに前記収納物がなければ、前記報知を行わない、
    請求項3に記載の車室内報知制御装置。
  5.  前記報知制御部は、前記収納不可報知と同時に、前記乗員の手が接近していない他の前記収納スペースの中から前記収納可スペースを案内する他収納報知を行う、
    請求項2から請求項4のいずれか1項に記載の車室内報知制御装置。
  6.  前記行動検出部は、前記乗員の手と前記収納スペースとの距離が予め定められた第1閾値未満である場合に、前記乗員の手が前記収納スペースに接近したことを検出する、
    請求項1から請求項5のいずれか1項に記載の車室内報知制御装置。
  7.  前記行動検出部は、前記乗員の手と前記収納スペースとの距離が前記第1閾値未満であり、かつ前記乗員の手の進行方向が前記収納スペースに近づく方向である場合に、前記乗員の手が前記収納スペースに接近したことを検出する、
    請求項6に記載の車室内報知制御装置。
  8.  前記車室内の環境を認識する環境認識部をさらに備え、
     前記報知制御部は、前記環境認識部が認識した前記車室内の環境に応じた態様の前記報知を行う、
    請求項2から請求項7のいずれか1項に記載の車室内報知制御装置。
  9.  前記環境は前記車室内の照度を含み、
     前記報知装置は前記収納スペースに光を照射する照明装置を含み、
     前記報知制御部は、前記車室内の照度が予め定められた第2閾値未満の場合に、前記照明装置を用いて前記報知を行い、前記車室内の照度が前記第2閾値以上の場合に、前記照明装置以外の前記報知装置を用いて前記報知を行う、
    請求項8に記載の車室内報知制御装置。
  10.  前記環境は前記車室内の騒音レベルを含み、
     前記報知装置はスピーカを含み、
     前記報知制御部は、前記車室内の騒音レベルが予め定められた第3閾値未満の場合に、前記スピーカを用いて前記報知を行い、前記車室内の騒音レベルが前記第3閾値以上の場合に、前記スピーカ以外の前記報知装置を用いて前記報知を行う、
    請求項8に記載の車室内報知制御装置。
  11.  前記行動検出部は、前記乗員の手と前記収納スペースとの距離に基づき前記乗員の手の前記収納スペースに対する接近の程度を複数段階で検出し、
     前記報知制御部は、前記接近の程度に応じて異なる態様で前記報知を行う、
    請求項2から請求項10のいずれか1項に記載の車室内報知制御装置。
  12.  前記物体検出部は、前記乗員の手に前記所持物がある場合に前記所持物の種類を識別し、
     前記収納検出部は、前記収納スペースに収納可能な物の種類を識別し、
     前記報知制御部は、前記乗員の手に前記所持物がある場合、前記収納状況、前記所持物の種類、および前記収納スペースに収納可能な物の種類に基づき、前記収納スペースが前記収納可スペースであるか否かを判断する、
    請求項2から請求項5のいずれか1項に記載の車室内報知制御装置。
  13.  前記物体検出部は、前記乗員の手に前記所持物がある場合に前記所持物の大きさを測定し、
     前記収納検出部は、前記収納スペースに収納可能な物の大きさを識別し、
     前記報知制御部は、前記乗員の手に前記所持物がある場合、前記収納状況、前記所持物の大きさ、および前記収納スペースに収納可能な物の大きさに基づき、前記収納スペースが前記収納可スペースであるか否かを判断する、
    請求項2から請求項5、および請求項12のいずれか1項に記載の車室内報知制御装置。
  14.  前記行動検出部は、前記収納スペースに前記手が接近している前記乗員の識別情報を取得し、
     前記収納検出部は、前記収納スペースの前記収納物の所有者の識別情報を取得し、
     前記報知制御部は、前記乗員の手に前記所持物がなく、前記収納スペースに前記収納物があり、前記乗員と前記収納物の所有者とで前記識別情報が一致する場合に、前記収納物存在報知を行う、
    請求項3に記載の車室内報知制御装置。
  15.  前記乗員の識別情報は、前記乗員の前記車両における着座位置を示す情報であり、
     前記所有者の識別情報は、前記所有者の前記車両における着座位置を示す情報である、
    請求項14に記載の車室内報知制御装置。
  16.  請求項1から請求項15のいずれか1項に記載の車室内報知制御装置と、
     前記報知装置と、を備える、
    車室内報知装置。
  17.  車両の乗員の手が前記車両の車室内の収納スペースに接近したことを検出し、
     前記乗員の手に所持物があるか否かを示す所持状況を検出し、
     前記収納スペースに収納物があるか否かを示す収納状況を検出し、
     前記乗員の手が前記収納スペースに接近すると、前記所持状況および前記収納状況に基づき、前記車両に搭載された報知装置を用いて前記乗員への報知を行う、
    車室内報知制御方法。
PCT/JP2021/000279 2021-01-07 2021-01-07 車室内報知制御装置、車室内報知装置および車室内報知制御方法 WO2022149227A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/000279 WO2022149227A1 (ja) 2021-01-07 2021-01-07 車室内報知制御装置、車室内報知装置および車室内報知制御方法
JP2022573852A JPWO2022149227A1 (ja) 2021-01-07 2021-01-07

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000279 WO2022149227A1 (ja) 2021-01-07 2021-01-07 車室内報知制御装置、車室内報知装置および車室内報知制御方法

Publications (1)

Publication Number Publication Date
WO2022149227A1 true WO2022149227A1 (ja) 2022-07-14

Family

ID=82358169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000279 WO2022149227A1 (ja) 2021-01-07 2021-01-07 車室内報知制御装置、車室内報知装置および車室内報知制御方法

Country Status (2)

Country Link
JP (1) JPWO2022149227A1 (ja)
WO (1) WO2022149227A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022629A (ja) * 2003-06-12 2005-01-27 Nifco Inc 移動装置
JP2013200133A (ja) * 2012-03-23 2013-10-03 Panasonic Corp ナビゲーション装置
JP2018076012A (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022629A (ja) * 2003-06-12 2005-01-27 Nifco Inc 移動装置
JP2013200133A (ja) * 2012-03-23 2013-10-03 Panasonic Corp ナビゲーション装置
JP2018076012A (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Also Published As

Publication number Publication date
JPWO2022149227A1 (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
US10528804B2 (en) Detection device, detection method, and storage medium
US10304165B2 (en) Vehicle stain and trash detection systems and methods
CN103886757B (zh) 用于自动分类运动中的车辆的方法
JP6175430B2 (ja) 車両の周辺区域にある物体を認識する方法および装置
KR102128756B1 (ko) 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
JP6695866B2 (ja) 測位・マッピング方法及び測位・マッピングシステム
GB2564197A (en) Stain and trash detection systems and methods
US10894528B2 (en) Vehicle smart key system and control method thereof
WO2018203910A1 (en) Vehicle lost object prevention
JP6851482B2 (ja) 操作支援装置および操作支援方法
JP2012121386A (ja) 車載装置
US11305649B2 (en) Apparatus and method for controlling alcohol interlock
WO2022149227A1 (ja) 車室内報知制御装置、車室内報知装置および車室内報知制御方法
CN111332199A (zh) 一种车辆能源箱盖的关闭提醒方法和装置
US11794783B2 (en) Systems and methods to assist a customer retrieve a package from an autonomous vehicle
CN101046911A (zh) 车载装置
TW201515879A (zh) 汽車及其語音控制系統
US9658334B2 (en) Interior trim apparatuses for motor vehicles including one or more infrared emitting diodes and one or more infrared sensors
CN113799728A (zh) 车辆控制系统以及车辆控制方法
JP7090707B2 (ja) 報知対象検知装置、警報システムおよび報知対象検知方法
JP2019079085A (ja) 運転支援装置
US20200317125A1 (en) Vehicle status management apparatus and method
US20230068705A1 (en) Road surface state detection apparatus and road surface state notification apparatus
KR101305279B1 (ko) 차량용 블랙박스의 조명장치
JP2019153932A (ja) 汚れ報知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917454

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573852

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917454

Country of ref document: EP

Kind code of ref document: A1