WO2019150488A1 - 車内監視装置及び車内監視方法 - Google Patents

車内監視装置及び車内監視方法 Download PDF

Info

Publication number
WO2019150488A1
WO2019150488A1 PCT/JP2018/003216 JP2018003216W WO2019150488A1 WO 2019150488 A1 WO2019150488 A1 WO 2019150488A1 JP 2018003216 W JP2018003216 W JP 2018003216W WO 2019150488 A1 WO2019150488 A1 WO 2019150488A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
owner
baggage
unit
package
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/003216
Other languages
English (en)
French (fr)
Inventor
和則 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to US16/959,538 priority Critical patent/US11227480B2/en
Priority to JP2019568476A priority patent/JP6690871B2/ja
Priority to DE112018006598.7T priority patent/DE112018006598B4/de
Priority to PCT/JP2018/003216 priority patent/WO2019150488A1/ja
Publication of WO2019150488A1 publication Critical patent/WO2019150488A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems, e.g. audible personal calling systems
    • G08B3/10—Audible signalling systems, e.g. audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Definitions

  • This invention relates to an in-vehicle monitoring device and an in-vehicle monitoring method for monitoring misplacement of luggage.
  • Patent Document 1 when an occupant notices that a baggage is left behind after leaving the vehicle, the occupant acquires a captured image of the passenger compartment from the vehicle control device by operating the terminal. When the forgotten thing is reflected in the captured image, the occupant gives an instruction for concealing the forgotten thing to the vehicle control device via the terminal. In accordance with this instruction, the vehicle control device conceals forgotten things and prevents theft by controlling the state of the seat, for example.
  • Patent Document 1 has a problem that the misplacement itself is not concealed for the first time by operating the concealment instruction after the passenger notices the misplacement, and the misplacement itself cannot be prevented.
  • This invention has been made to solve the above-described problems, and aims to prevent misplacement of luggage.
  • An in-vehicle monitoring device detects an occupant's boarding / exiting using a captured image acquisition unit that acquires a captured image obtained by capturing an inside of a vehicle, and a captured image acquired by the captured image acquisition unit, An occupant identification unit that identifies and creates occupant identification information, and a baggage identification unit that detects the presence or absence of luggage using the captured image acquired by the captured image acquisition unit, identifies the detected luggage, and creates the luggage identification information Using the occupant identification information and the baggage identification information, the owner of the baggage identified by the baggage identification unit is determined from the occupants identified by the occupant identification unit and the baggage owner information is created.
  • a luggage misplacement determination unit that determines misplacement of the baggage owned by the occupant who gets off the vehicle using the luggage owner information regarding the occupant to get off, Occupant gets off the Shed forget determination unit is one that includes a warning unit for warning if the misplacement of the vehicle luggage owned was determined.
  • the occupant who is the owner of the baggage is determined, and when the occupant gets off, it is judged and warned that the baggage owned by the occupant is misplaced in the vehicle, so that the misplacement of the baggage is prevented. be able to.
  • FIG. 3 is a flowchart illustrating an operation example of an occupant identification unit in the first embodiment.
  • 6 is a diagram illustrating an example of occupant identification information in Embodiment 1.
  • FIG. 6 is a flowchart illustrating an operation example of a package identification unit in the first embodiment. It is a figure which shows an example of the package identification information in Embodiment 1.
  • 4 is a flowchart illustrating an operation example of a luggage owner determination unit according to the first embodiment. 6 is a diagram showing an example of luggage owner information in Embodiment 1.
  • FIG. 3 is a flowchart illustrating an operation example of an occupant identification unit in the first embodiment.
  • 6 is a diagram illustrating an example of occupant identification information in Embodiment 1.
  • FIG. 6 is a flowchart illustrating an operation example of a package identification unit in the first embodiment. It is a figure which shows an example of the package identification information in Embodiment 1.
  • 4 is a flowchart illustrating an operation example of a luggage owner
  • FIG. 6 is a diagram illustrating an example of information in which a relationship between a location of luggage identification information and a priority of seat position of occupant identification information that is likely to be an owner is defined in the first embodiment.
  • FIG. 6 is a diagram illustrating an example of creation of package owner information in the first embodiment.
  • FIG. 6 is a flowchart illustrating an operation example of a luggage misplacement determination unit and a warning unit according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a screen that warns of forgetting to leave a baggage displayed by the display unit in the first embodiment. It is a block diagram which shows the structural example of the vehicle interior monitoring apparatus which concerns on Embodiment 2.
  • FIG. 2 shows the structural example of the vehicle interior monitoring apparatus which concerns on Embodiment 2.
  • FIG. 10 is a diagram showing an example of a screen for changing a package owner displayed on a display unit in Embodiment 2.
  • FIG. 10 is a diagram showing an example of a screen for changing a package owner displayed on a display unit in Embodiment 2.
  • FIG. 10 is a diagram showing an example of a screen for changing a package owner displayed on a display unit in Embodiment 2.
  • FIG. 10 is a diagram showing an example of a screen for changing a package owner displayed on a display unit in Embodiment 2.
  • FIG. 10 is a diagram showing an example of a screen for changing a package owner displayed on a display unit in Embodiment 2.
  • FIG. FIG. 16 is a diagram illustrating an example of occupant identification information according to Embodiment 3. It is a figure which shows an example of the package identification information in Embodiment 3. It is a figure which shows an example of the package owner information in Embodiment 3.
  • 10 is a flowchart illustrating an operation example of a package owner
  • FIG. 1 is a block diagram illustrating a configuration example of the in-vehicle monitoring apparatus 1 according to the first embodiment.
  • the in-vehicle monitoring apparatus 1 includes a captured image acquisition unit 2, an occupant identification unit 3, an occupant identification information storage unit 4, a package identification unit 5, a package identification information storage unit 6, a package owner determination unit 7, and a package owner information storage unit 8. , A luggage storage leaving determination unit 9 and a warning unit 10 are provided.
  • the captured image acquisition unit 2 acquires a captured image captured by one or more cameras installed in the vehicle interior. For example, when a DMS (Driver Monitoring System) that monitors the state of a driver or the like using a camera, a sensor, or the like is mounted on the vehicle, the captured image acquisition unit 2 can use a DMS near infrared camera or the like. .
  • the captured image acquisition unit 2 outputs the acquired captured image to the occupant identification unit 3 and the luggage identification unit 5.
  • the occupant identification unit 3 detects the occupant's getting on and off using the captured image acquired by the captured image acquisition unit 2, identifies the occupant who has boarded, and creates occupant identification information.
  • the occupant identification unit 3 stores the created occupant identification information in the occupant identification information storage unit 4. Further, when the occupant identification unit 3 detects an occupant to get off, the occupant identification information of the occupant is acquired from the occupant identification information storage unit 4 and is output to the luggage misplacement determination unit 9.
  • the occupant identification unit 3 detects the presence or absence of a person who has boarded the vehicle and a person who is about to get off the vehicle, and the seat position where the person who has boarded the vehicle is seated. Identify individuals based on physical characteristics.
  • the above functions by the occupant identification unit 3 can be realized by DMS using a near infrared camera, for example.
  • the occupant identification unit 3 does not have to detect the presence / absence of the passenger's boarding operation, the presence / absence of the getting-off operation, and the seat position based only on the tracking of the occupant by the DMS, and vehicle information indicating the open / closed state of the vehicle door Etc. may be performed in combination.
  • the package identification unit 5 detects the presence or absence of a package using the captured image acquired by the captured image acquisition unit 2, identifies the detected package, and creates package identification information.
  • the package identification unit 5 stores the created package identification information in the package identification information storage unit 6. Further, when the package identification unit 5 detects the package, the package identification unit 5 acquires the package identification information of the package from the package identification information storage unit 6 and outputs it to the package owner determination unit 7.
  • the package identification unit 5 detects the presence or absence of a package existing in the vehicle, and detects the location of the detected package in the vehicle. Based on the detected location of the luggage, the luggage identification unit 5 detects whether the occupant has brought the luggage into the vehicle and whether the occupant who is getting off the vehicle has taken the luggage out of the vehicle. In addition, the package identification unit 5 recognizes and identifies each package by extracting the outer shape, size, feature points, and the like of the package existing in the vehicle. Note that the baggage identification unit 5 may detect another baggage taken out from the baggage already worn by the occupant or the clothes being worn, and may treat the other baggage as the baggage brought into the vehicle.
  • the luggage identification unit 5 may detect another baggage that has been brought into the baggage that the occupant has brought in, or clothes that are being worn, and may treat the other baggage as a baggage to be taken out of the vehicle. Furthermore, when the occupant takes off the clothes that the occupant is wearing and places it somewhere in the car, the baggage identification unit 5 may treat the garment as a baggage brought into the car. When wearing, the clothes may be handled as luggage to be taken out of the car.
  • the baggage owner determination unit 7 determines the owner of the baggage identified by the baggage identification unit 5 from among the passengers identified by the passenger identification unit 3 using the passenger identification information and the baggage identification information. Create information.
  • the package owner determination unit 7 stores the created package owner information in the package owner information storage unit 8.
  • the baggage misplacement determination unit 9 receives the occupant identification information of the occupant when the occupant getting off unit is detected by the occupant identification unit 3.
  • the baggage misplacement determination unit 9 uses the occupant identification information received from the occupant identification unit 3 to acquire the baggage owner information regarding the occupant to get off from the baggage owner information storage unit 8.
  • the baggage misplacement determination unit 9 determines whether the baggage owned by the passenger getting off the vehicle is left behind in the vehicle using the baggage owner information, and outputs the determination result to the warning unit 10. For example, the baggage misplacement determination unit 9 determines that the baggage is misplaced when the passenger in the getting-off operation does not have the baggage owned by the passenger, that is, the baggage is likely to be left behind.
  • the warning unit 10 warns that the baggage is left behind when the baggage misplacement determination unit 9 determines that the baggage owned by the passenger getting off the vehicle is left behind.
  • the warning unit 10 causes the sound output unit 11 to output a warning sound.
  • the warning unit 10 causes the display unit 12 to display an image representing an occupant getting off and a misplaced baggage. Note that the warning unit 10 may perform both the warning sound output and the image display, or only one of them.
  • the warning unit 10 preferably warns the “occupant to get off” that the luggage has been left before the “occupant to get off” gets off the vehicle.
  • the warning unit 10 applies the above “get off” to the passenger remaining in the vehicle after the “passenger to get off” has left the vehicle. It is also possible to warn that the luggage of the “occupant” is misplaced.
  • FIG. 2 is a flowchart illustrating an operation example of the occupant identification unit 3 according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of occupant identification information according to the first embodiment.
  • the occupant identification information shown in FIG. 3 includes an occupant image, an occupant ID, an getting-on / off state, and a seat position.
  • step ST ⁇ b> 101 the occupant identification unit 3 detects the presence or absence of an occupant using the captured image received from the captured image acquisition unit 2.
  • step ST101 “YES” the occupant identification unit 3 detects the occupant's boarding
  • step ST102 the occupant identification unit 3 proceeds to step ST102, and otherwise (step ST101 “NO”) proceeds to step ST106.
  • step ST102 the occupant identification unit 3 identifies the occupant detected in step ST101, creates an instance of occupant identification information, assigns a unique occupant ID, and sets the boarding / alighting state to “ride”.
  • step ST103 the occupant identification unit 3 creates, for example, occupant image data obtained by extracting an area in which the occupant is captured in the captured image, and sets the occupant image in the occupant identification information.
  • step ST104 the occupant identification unit 3 detects the seat position where the occupant sat using the captured image, and sets it to the seat position of the occupant identification information.
  • step ST105 the occupant identification unit 3 stores the occupant identification information in which the occupant image, the occupant ID, the getting on / off state, and the seat position are set in the occupant identification information storage unit 4.
  • step ST ⁇ b> 106 the occupant identification unit 3 detects the presence / absence of the passenger getting off using the captured image received from the captured image acquisition unit 2. The occupant identification unit 3 proceeds to step ST107 when detecting that the occupant gets off (step ST106 “YES”), and returns to step ST101 in other cases (step ST106 “NO”).
  • step ST107 the occupant identification unit 3 identifies the occupant from which the getting-off is detected in step ST106, and reads out the occupant identification information of the occupant from the occupant identification information storage unit 4. Then, the passenger identification unit 3 updates the boarding / alighting state of the read passenger identification information to “get off”.
  • step ST108 the occupant identification unit 3 updates the seat position of the occupant identification information to “seat position indefinite”.
  • step ST109 the occupant identification unit 3 outputs the occupant identification information to the luggage misplacement determination unit 9.
  • the baggage misplacement determination unit 9 performs a baggage misplacement determination operation shown in FIG. 10 to be described later, triggered by receiving from the occupant identification unit 3 the occupant identification information that signifies that the passenger is getting off.
  • step ST110 the occupant identification unit 3 deletes the occupant identification information from the occupant identification information storage unit 4.
  • the passenger identification unit 3 returns to step ST101 after step ST110.
  • the occupant identification unit 3 performs the occupant management by performing the operation shown in FIG.
  • FIG. 4 is a flowchart showing an operation example of the package identification unit 5 in the first embodiment.
  • FIG. 5 is a diagram showing an example of the package identification information in the first embodiment.
  • the package identification information shown in FIG. 5 includes a package image, a package ID, a carry-in state, and a location.
  • step ST201 the package identification unit 5 detects the carry-in of the package into the vehicle using the captured image received from the captured image acquisition unit 2.
  • the package identification unit 5 proceeds to step ST202 when the carry-in of the package is detected (step ST201 “YES”), and otherwise proceeds to step ST207.
  • step ST202 the package identification unit 5 creates an instance of the package identification information by identifying the package detected in step ST201, assigns a unique package ID, and sets the carry-in state to “carry-in”.
  • the package identification unit 5 creates, for example, package image data obtained by extracting an area in which the package is captured in the captured image, and sets the package image in the package identification information.
  • step ST204 the package identification unit 5 detects the location where the package is placed using the captured image, and sets the location of the package identification information.
  • step ST205 the package identification unit 5 stores the package identification information in which the package image, the package ID, the carry-in state, and the location are set in the package identification information storage unit 6.
  • step ST206 the package identification unit 5 outputs the package identification information to the package owner determination unit 7.
  • the package owner determination unit 7 performs the package owner determination operation shown in FIG. 6 to be described later with the receipt of the package identification information output from the package identification unit 5 in step ST206 or step ST210 described later as a trigger. .
  • step ST207 the baggage identification unit 5 uses the captured image received from the captured image acquisition unit 2 to detect the baggage being taken out of the vehicle.
  • the package identification unit 5 proceeds to step ST208 when the carry-out of the package is detected (step ST207 “YES”), and returns to step ST201 in other cases (step ST207 “NO”).
  • step ST208 the package identification unit 5 identifies the package detected in step ST207, and reads the package identification information of the package from the package identification information storage unit 6. Then, the package identification unit 5 updates the brought-in state of the read package identification information to “take out”.
  • step ST209 the package identification unit 5 updates the location of the package identification information to “unknown carry-in position”.
  • step ST210 the package identification unit 5 outputs the package identification information to the package owner determination unit 7.
  • step ST211 the package identification unit 5 deletes the package identification information from the package identification information storage unit 6.
  • the package identification unit 5 returns to step ST201 after step ST211.
  • the package identification unit 5 manages the location of the package by performing the operation shown in FIG.
  • FIG. 6 is a flowchart showing an operation example of the package owner determination unit 7 in the first embodiment.
  • FIG. 7 is a diagram showing an example of package owner information in the first embodiment.
  • the package owner information shown in FIG. 7 includes a package image, a package ID, a carry-in state, a location, an owner image, an owner ID, a boarding / alighting state, and a seat position.
  • step ST301 when the package owner determination unit 7 receives the package identification information from the package identification unit 5 (step ST301 “YES”), the package owner determination unit 7 proceeds to step ST302, and otherwise (step ST301 “NO”). Return to ST301.
  • step ST302 the package owner determination unit 7 proceeds to step ST303 when the carry-in state of the package identification information is “take-in” (“YES” in step ST302), and when the carry-in state is “take-out” (step ST302). ST302 “NO”), the process proceeds to step ST308.
  • the package owner determination unit 7 creates an instance of the package owner information, and stores the package image of the package identification information, the package ID, the carry-in state, and the location of the package owner information, respectively. , Copy to package ID, carry-in state, and location.
  • step ST304 the luggage owner determination unit 7 reads the occupant identification information of all occupants who are in the vehicle, which is stored in the occupant identification information storage unit 4.
  • step ST305 the luggage owner determination unit 7 gets on the vehicle using information that defines the relationship between the position of the luggage and the priority of the seat position where the owner of the luggage is likely to exist.
  • the owner of the package of the package identification information is determined from all the passengers.
  • FIG. 8 shows an example of information in which the relationship between the location of the package identification information and the priority of the seat position of the occupant identification information that is likely to be the owner is defined in the first embodiment. .
  • the table shown in FIG. 8 is defined such that a passenger sitting in a seat having a high possibility of placing a baggage at a specific location has a higher priority as an owner candidate.
  • the baggage owner determination unit 7 determines that the passenger sitting in the driver's seat is the owner of the baggage. Determine that there is.
  • the baggage owner determination unit 7 has a higher priority if passengers are seated in the driver seat and the passenger seat, respectively.
  • the passenger sitting in the passenger seat is determined to be the owner of the baggage, and if the passenger is sitting only in the driver's seat, the passenger sitting in the driver's seat is determined to be the owner of the baggage.
  • the luggage owner determination unit 7 determines the occupant image, the occupant ID, the boarding / alighting state, and the seat position of the occupant identification information of the occupant determined to be the owner of the luggage.
  • FIG. 9 shows an example of creation of package owner information in the first embodiment.
  • the baggage owner determination unit 7 compares the location of the baggage identification information with the seat position of the occupant identification information according to the information shown in FIG. 8, and determines the baggage owner. Then, the baggage owner determination unit 7 combines the baggage identification information of the baggage with the occupant identification information of the occupant determined to be the owner of the baggage to create the baggage owner information.
  • step ST307 the package owner determination unit 7 stores the package owner information in the package owner information storage unit 8. The package owner determination unit 7 returns to step ST301 after step ST307.
  • step ST308 the package owner determination unit 7 reads from the package owner information storage unit 8 the package owner information having the package ID that matches the package ID of the package identification information received from the package identification unit 5.
  • step ST309 the baggage owner determination unit 7 reads the baggage image, the baggage ID, the carry-in state, and the location of the baggage identification information from the baggage owner information storage unit 8, respectively. , Copy to package ID, carry-in state, and location.
  • step ST310 the package owner determination unit 7 writes the package owner information back into the package owner information storage unit 8.
  • the package owner determination unit 7 returns to step ST301 after step ST310.
  • the baggage owner determination unit 7 relates which baggage belongs to which occupant by performing the operation shown in FIG.
  • FIG. 10 is a flowchart illustrating an operation example of the luggage misplacement determination unit 9 and the warning unit 10 according to the first embodiment.
  • step ST401 the baggage misplacement determination unit 9 proceeds to step ST402 when it receives occupant identification information whose passenger boarding / alighting state is “get off” from the occupant identification unit 3 (step ST401 “YES”), and otherwise (step ST401). ST401 “NO”), the process returns to step ST401.
  • the baggage misplacement determination unit 9 determines whether or not baggage owner information having an owner ID that matches the occupant ID of the occupant identification information is stored in the baggage owner information storage unit 8.
  • the number of occupants assigned with the occupant ID is the same as the number of baggage owner information at the time of boarding. This means that you have brought in your luggage, and there is a possibility of getting off with the luggage you left behind.
  • the luggage owner information having the owner ID that matches the occupant ID does not exist in the luggage owner information storage unit 8, the occupant with the occupant ID has not brought the luggage when boarding. There is no misplacement of luggage when getting off.
  • step ST402 “YES”) If one or more pieces of baggage owner information having an owner ID that matches the occupant ID exists in the baggage owner information storage unit 8 (step ST402 “YES”), the baggage misplacement determination unit 9 proceeds to step ST403 and exists. If not (step ST402 “NO”), the process returns to step ST401.
  • step ST 403 the baggage misplacement determination unit 9 determines whether the carry-in state of the baggage owner information having the owner ID that matches the occupant ID of the occupant identification information is “take-out”. If the carry-in state of the baggage owner information is “take-out”, it means that the owned baggage has been taken out together with the passenger who got off, and the baggage is not forgotten. On the other hand, when the carry-in state of the baggage owner information is “carry-in”, it means that the passenger who got off has left the baggage owned by the passenger in the car.
  • step ST403 “YES”) the baggage-forgetting determination unit 9 proceeds to step ST404, and if the carry-out state is “take-in” (step ST403 “NO”). ), Go to step ST405.
  • step ST404 the left-luggage determination unit 9 deletes the unneeded baggage owner information from the baggage owner information storage unit 8.
  • step ST405 the luggage misplacement determination unit 9 outputs to the warning unit 10 the fact that the luggage has been misplaced and the above-mentioned luggage owner information.
  • the display unit 12 displays the package image and the owner image of the package owner information. In addition to the package image and the owner image, the display unit 12 may display a message to warn of misplacement of the package.
  • step ST406 the audio output unit 11 outputs a warning sound to notify that the luggage has been left behind.
  • the voice output unit 11 may output a message to warn of leaving the baggage in place of the warning sound.
  • step ST405 and step ST406 is continued until the carry-in state of all the baggage owner information confirmed to exist in the baggage owner information storage unit 8 in step ST402 changes from “take-in” to “take-out”.
  • the baggage misplacement determination unit 9 and the warning unit 10 perform an operation shown in FIG. 10 to warn of the misplacement of the baggage owned by the passenger when the passenger gets off.
  • FIG. 11 shows an example of a screen warning that the display unit 12 displays a forgotten luggage placement in the first embodiment.
  • the display unit 12 may be any display that is present in the vehicle, such as a center display installed on an instrument panel, a display of a navigation device, or a display of a rear entertainment system.
  • a center display installed on an instrument panel
  • a display of a navigation device or a display of a rear entertainment system.
  • the owner image 21 of the passenger who got off the luggage image 22 of the misplaced baggage owned by the passenger who got off, and “the following belongings of the left person remain Is displayed, and a close button 24 for stopping the display of the warning screen is displayed.
  • the misplaced baggage in this example is a coin.
  • the captured image acquisition unit 2 of Embodiment 1 acquires a captured image obtained by capturing the inside of the vehicle.
  • the occupant identification unit 3 detects the occupant's getting on and off using the captured image acquired by the captured image acquisition unit 2, identifies the occupant who has boarded, and creates occupant identification information.
  • the package identification unit 5 detects the presence or absence of a package using the captured image acquired by the captured image acquisition unit 2, identifies the detected package, and creates package identification information.
  • the baggage owner determination unit 7 determines the owner of the baggage identified by the baggage identification unit 5 from among the passengers identified by the passenger identification unit 3 using the passenger identification information and the baggage identification information. Create information.
  • the baggage misplacement determining unit 9 determines whether the baggage owned by the occupant getting off the vehicle is misplaced using the baggage owner information regarding the occupant getting off the vehicle.
  • the warning unit 10 warns when the baggage misplacement determination unit 9 determines that the baggage owned by the passenger getting off the vehicle is left behind in the vehicle.
  • the occupant identification unit 3 creates occupant identification information including the seat position of the identified occupant
  • the luggage identification unit 5 creates package identification information including the location of the identified luggage.
  • the luggage owner determination unit 7 determines the owner of the luggage based on the relationship between the seat position included in the occupant identification information and the location position included in the luggage identification information. With this configuration, the luggage owner determination unit 7 can relate which luggage is belonging to which occupant based on the positional relationship between the luggage and the occupant.
  • the luggage owner determination unit 7 performs the information as illustrated in FIG. 8 in which the relationship between the location of the luggage and the priority of the seat position where the possibility of the existence of the luggage is high is defined. To determine the owner of the package. With this configuration, the package owner determination unit 7 can determine the package owner by a simple reference process.
  • Embodiment 2 The in-vehicle monitoring apparatus 1 according to the first embodiment is configured to automatically determine the owner of the luggage.
  • the in-vehicle monitoring device 1 according to the second embodiment is configured to change the owner of the luggage based on the operation of the occupant.
  • FIG. 12 is a block diagram illustrating a configuration example of the in-vehicle monitoring apparatus 1 according to the second embodiment.
  • the in-vehicle monitoring device 1 according to Embodiment 2 has a configuration in which a luggage owner changing unit 13 is added to the in-vehicle monitoring device 1 of Embodiment 1 shown in FIG. 12, parts that are the same as or correspond to those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted.
  • the baggage owner changing unit 13 determines the correspondence between the baggage included in the baggage owner information created by the baggage owner determination unit 7 and stored in the baggage owner information storage unit 8 and the occupant who is the owner of the baggage. Change based on information input from outside.
  • the information input from the outside is information input to the luggage owner changing unit 13 from an input device such as a touch panel, a machine button, or a keypad (not shown), and details of operations performed by the passenger on the input device. It is information to show.
  • FIG. 13, FIG. 14, FIG. 15, and FIG. 16 are diagrams showing examples of screens for changing the package owner displayed on the display unit 12 in the second embodiment.
  • the baggage owner changing unit 13 receives a new baggage detected by the baggage identification unit 5 while the vehicle is stopped, after the occupant gets on and the vehicle door is closed and before the vehicle starts running.
  • the display unit 12 is instructed to display a luggage owner change screen as shown in FIG.
  • the display unit 12 of the first embodiment and the display unit 12 of the second embodiment may use the same display or different displays.
  • the luggage owner changing unit 13 displays on the screen of the display unit 12 an occupant A owner image 31, an occupant B owner image 32, an occupant A owner image 33, and an occupant C owner.
  • the image 34, the package image 35 of the package O, the package image 36 of the package P, the package image 37 of the package Q, and the package image 38 of the package R are displayed.
  • the luggage O is a coin
  • the luggage P is a smartphone
  • the luggage Q is a receipt
  • the luggage R is a cardboard box.
  • the luggage owner information the occupant A owns the luggage O and Q, the occupant B owns the luggage P, and the occupant C owns the luggage R.
  • the baggage owner changing unit 13 arranges the owner image 31 of the occupant A and the baggage image 35 of the baggage O in a vertical line based on the baggage owner information, and the baggage of the occupant B owner image 32 and the baggage P.
  • the image 36 is arranged in a vertical row
  • the owner image 33 of the passenger A and the baggage image 37 of the baggage Q are arranged in a vertical row
  • the owner image 34 of the passenger C and the baggage image 38 of the baggage R are arranged in a vertical row.
  • the luggage owner changing unit 13 replaces the occupant B next to the occupant B owner image 32.
  • An occupant image list 40 indicating candidate owners is displayed. The occupant operates an input device (not shown) to move the pointer 41 to the position of the occupant image to be changed and to confirm it.
  • FIG. 14 since the occupant moves the pointer 39 to the position of the occupant B owner image 32 and determines it, the luggage owner changing unit 13 replaces the occupant B next to the occupant B owner image 32.
  • An occupant image list 40 indicating candidate owners is displayed. The occupant operates an input device (not shown) to move the pointer 41 to the position of the occupant image to be changed and to confirm it.
  • the luggage owner changing unit 13 changes the owner of the luggage P from the occupant B to the occupant C. Then, the luggage owner changing unit 13 arranges the luggage image 36 of the luggage P and the owner image 42 of the occupant C in a vertical row as in the example of FIG.
  • 13, 14, 15, and 16 are examples of the screen and operation method for changing the baggage owner. Any screen and operation method can be used as long as the owner of the baggage can be changed by the occupant's operation. There may be.
  • the luggage owner changing unit 13 when the owner of the luggage P is changed from the occupant B to the occupant C, the luggage owner changing unit 13 combines the luggage identification information of the luggage P and the occupant identification information of the occupant B. Of the owner information, the occupant identification information of the occupant B is rewritten to the occupant identification information of the occupant C. At that time, the baggage owner changing unit 13 may extract the occupant identification information of the occupant C from the baggage owner information stored in the baggage owner information storage unit 8, or from the occupant identification information storage unit 4. You may get it. The package owner changing unit 13 stores the updated package owner information in the package owner information storage unit 8.
  • the package owner changing unit 13 determines the correspondence between the package included in the package owner information created by the package owner determining unit 7 and the occupant who is the owner of the package. Change based on information input from outside. With this configuration, the passenger can correct the bag when the baggage owner information has a bag.
  • Embodiment 3 FIG.
  • the in-vehicle monitoring apparatus 1 according to the first embodiment uses the information in which the relationship between the location of the luggage and the priority of the seat position where the owner of the luggage is likely to exist is used to determine the owner of the luggage. It was a configuration to decide.
  • the in-vehicle monitoring device 1 according to the third embodiment is configured to determine the occupant closest to the luggage as the owner.
  • the configuration of the in-vehicle monitoring device 1 according to the third embodiment is the same as that shown in FIG. 1 of the first embodiment or FIG. 12 of the second embodiment in the drawing. Is used.
  • the captured image acquisition part 2 acquires the captured image imaged with the stereo camera installed in the vehicle interior.
  • This stereo camera is, for example, a stereo camera used for DMS.
  • FIG. 17 is a diagram illustrating an example of occupant identification information in the third embodiment.
  • the occupant identification information in the third embodiment is the same as the occupant identification information shown in FIG. 3 of the first embodiment except that the seat position is “[x, y, z] coordinates”.
  • the occupant identification unit 3 according to the third embodiment is based on the principle of triangulation using a captured image captured by a stereo camera, and the occupant's [3D coordinate system] (hereinafter referred to as “three-dimensional coordinate system”).
  • x, y, z] coordinates are calculated and set to the seat position.
  • the [x, y, z] coordinates of the occupant are coordinates indicating the center of the face or the center of the body, for example.
  • FIG. 18 is a diagram showing an example of package identification information in the third embodiment.
  • the package identification information in the third embodiment is the same as the package identification information shown in FIG. 5 of the first embodiment except that the location is “[x, y, z] coordinates”.
  • the package identification unit 5 according to the third embodiment calculates the [x, y, z] coordinates of the package in the three-dimensional coordinate system based on the principle of triangulation using the captured image captured by the stereo camera, and sets the location. Set.
  • the [x, y, z] coordinates of the package are coordinates indicating the center of the package, for example.
  • FIG. 19 is a diagram illustrating an example of package owner information in the third embodiment.
  • the baggage owner information in the third embodiment is the same as the baggage owner information shown in FIG. 7 of the first embodiment except that the location position and the seat position are “[x, y, z] coordinates”. .
  • FIG. 20 is a flowchart showing an operation example of the luggage owner determination unit 7 in the third embodiment. Steps ST301 to ST304 and ST306 to ST310 in FIG. 20 are the same as steps ST301 to ST304 and ST306 to ST310 in FIG.
  • step ST305a the luggage owner determination unit 7 identifies the [x, y, z] coordinates that are the seat positions of all the occupant identification information read from the occupant identification information storage unit 4 in step ST304, and the package identification in step ST301.
  • the [x, y, z] coordinates that are the location of the package identification information received from the unit 5 are compared.
  • the luggage owner determination unit 7 determines an occupant having an [x, y, z] coordinate closest to the [x, y, z] coordinates of the luggage in the three-dimensional coordinate system among all occupants as the owner. .
  • the seat position included in the occupant identification information of the third embodiment is the coordinates of the identified occupant in the three-dimensional coordinate system
  • the location position included in the luggage identification information is the three-dimensional coordinates of the identified luggage.
  • the luggage owner determination unit 7 determines the occupant having the coordinates closest to the coordinates of the luggage in the three-dimensional coordinate system as the owner. With this configuration, the luggage owner determination unit 7 can determine the occupant present at the position closest to the luggage as the owner.
  • package owner information created by the package owner determination unit 7 of the third embodiment can be changed by the package owner changing unit 13 of the second embodiment.
  • 21A and 21B are diagrams illustrating a hardware configuration example of the in-vehicle monitoring device 1 according to each embodiment.
  • the occupant identification information storage unit 4, the package identification information storage unit 6, and the baggage owner information storage unit 8 in the in-vehicle monitoring device 1 are the memory 102.
  • the audio output unit 11 and the display unit 12 in the in-vehicle monitoring apparatus 1 are a speaker 111 and a display 112.
  • the functions of the captured image acquisition unit 2, the passenger identification unit 3, the baggage identification unit 5, the baggage owner determination unit 7, the baggage misplacement determination unit 9, and the baggage owner change unit 13 in the in-car monitoring device 1 are realized by a processing circuit. Is done. That is, the in-vehicle monitoring device 1 includes a processing circuit for realizing the above functions.
  • the processing circuit may be the processing circuit 100 as dedicated hardware, or may be the processor 101 that executes a program stored in the memory 102.
  • the processing circuit 100 when the processing circuit is dedicated hardware, includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit). ), FPGA (Field Programmable Gate Array), or a combination thereof.
  • the functions of the captured image acquisition unit 2, the occupant identification unit 3, the package identification unit 5, the package owner determination unit 7, the package misplacement determination unit 9, and the package owner change unit 13 may be realized by a plurality of processing circuits 100. However, the functions of the respective units may be realized by a single processing circuit 100.
  • the processing circuit is the processor 101
  • the captured image acquisition unit 2 the occupant identification unit 3, the package identification unit 5, the package owner determination unit 7, the package misplacement determination unit 9, and the package owner
  • Each function of the changing unit 13 is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 102.
  • the processor 101 reads out and executes the program stored in the memory 102, thereby realizing the function of each unit. That is, the vehicle interior monitoring apparatus 1 includes a memory 102 for storing a program that, when executed by the processor 101, results in the steps shown in the flowchart of FIG.
  • this program executes the procedure or method of the captured image acquisition unit 2, the occupant identification unit 3, the package identification unit 5, the package owner determination unit 7, the baggage misplacement determination unit 9, and the package owner change unit 13 on a computer. It can be said that
  • the processor 101 is a CPU (Central Processing Unit), a processing device, an arithmetic device, a microprocessor, or the like.
  • the memory 102 may be a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a nonvolatile or volatile semiconductor memory such as a flash memory, a hard disk, a flexible disk, or the like.
  • the magnetic disk may be an optical disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the processing circuit in the in-vehicle monitoring apparatus 1 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • the in-vehicle monitoring device warns the passenger of misplaced luggage not only in the vehicle but also in the railway, ship, aircraft, etc. It is suitable for use in a monitoring device.
  • 1 in-vehicle monitoring device 2 captured image acquisition unit, 3 occupant identification unit, 4 occupant identification information storage unit, 5 package identification unit, 6 package identification information storage unit, 7 package owner determination unit, 8 package owner information storage unit, 9 Luggage misplacement determination section, 10 warning section, 11 audio output section, 12 display section, 13 luggage owner change section, 21 owner image of passenger who got off, 22 misplaced luggage image, 23 message, 24 close button, 31 Crew A Owner Image, 32 Crew B Owner Image, 33 Crew A Owner Image, 34 Crew C Owner Image, 35 Baggage O Baggage Image, 36 Baggage P Baggage Image, 37 Baggage Q Luggage image, 38 Luggage R baggage image, 39, 41 pointer, 40 Crew image list, 42 Crew C owner image, 100 processing circuit, 101 process , 102 memory, 111 a speaker, 112 display.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Emergency Alarm Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

荷物所有者決定部（７）は、乗員識別情報及び荷物識別情報を用いて、乗員識別部（３）により識別された乗員の中から荷物識別部（５）により識別された荷物の所有者を決定して荷物所有者情報を作成する。荷物置き忘れ判定部（９）は、乗員識別部（３）により乗員の降車が検出された場合、降車する乗員に関する荷物所有者情報を用いて、降車する乗員が所有する荷物の車両への置き忘れを判定する。警告部（１０）は、荷物置き忘れ判定部（９）により降車する乗員が所有する荷物の車両への置き忘れが判定された場合に警告する。

Description

車内監視装置及び車内監視方法
　この発明は、荷物の置き忘れを監視する車内監視装置及び車内監視方法に関するものである。
　特許文献１に係る発明において、乗員は、車両を離れた後で荷物の置き忘れに気付いた場合、端末を操作することによって車両制御装置から車室の撮像画像を取得する。乗員は、撮像画像に忘れ物が写っている場合、この忘れ物を隠蔽するための指示を端末を介して車両制御装置に与える。車両制御装置は、この指示に従い、例えば座席の状態を制御することで忘れ物を隠蔽し盗難を防止する。
特開２００５－４７３４３号公報
　特許文献１に係る発明は、乗員が置き忘れに気付いた後に隠蔽指示の操作をすることで初めて置き忘れが隠蔽されるものに過ぎず、置き忘れ自体を防止できないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、荷物の置き忘れを防ぐことを目的とする。
　この発明に係る車内監視装置は、車両の内部を撮像した撮像画像を取得する撮像画像取得部と、撮像画像取得部により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する乗員識別部と、撮像画像取得部により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する荷物識別部と、乗員識別情報及び荷物識別情報を用いて、乗員識別部により識別された乗員の中から荷物識別部により識別された荷物の所有者を決定して荷物所有者情報を作成する荷物所有者決定部と、乗員識別部により乗員の降車が検出された場合、降車する乗員に関する荷物所有者情報を用いて降車する乗員が所有する荷物の車両への置き忘れを判定する荷物置き忘れ判定部と、荷物置き忘れ判定部により降車する乗員が所有する荷物の車両への置き忘れが判定された場合に警告する警告部とを備えるものである。
　この発明によれば、荷物の所有者である乗員を決定し、乗員が降車する場合にその乗員が所有する荷物の車両への置き忘れを判定して警告するようにしたので、荷物の置き忘れを防ぐことができる。
実施の形態１に係る車内監視装置の構成例を示すブロック図である。 実施の形態１における乗員識別部の動作例を示すフローチャートである。 実施の形態１における乗員識別情報の一例を示す図である。 実施の形態１における荷物識別部の動作例を示すフローチャートである。 実施の形態１における荷物識別情報の一例を示す図である。 実施の形態１における荷物所有者決定部の動作例を示すフローチャートである。 実施の形態１における荷物所有者情報の一例を示す図である。 実施の形態１における、荷物識別情報の所在位置と、所有者である可能性が高い乗員識別情報の座席位置の優先度との関係が定義された情報の一例を示す図である。 実施の形態１における、荷物所有者情報の作成例を示す図である。 実施の形態１における荷物置き忘れ判定部及び警告部の動作例を示すフローチャートである。 実施の形態１において表示部が表示する荷物置き忘れを警告する画面例を示す図である。 実施の形態２に係る車内監視装置の構成例を示すブロック図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態３における乗員識別情報の一例を示す図である。 実施の形態３における荷物識別情報の一例を示す図である。 実施の形態３における荷物所有者情報の一例を示す図である。 実施の形態３における荷物所有者決定部の動作例を示すフローチャートである。 図２１Ａ及び図２１Ｂは、各実施の形態に係る車内監視装置のハードウェア構成例を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る車内監視装置１の構成例を示すブロック図である。車内監視装置１は、撮像画像取得部２、乗員識別部３、乗員識別情報記憶部４、荷物識別部５、荷物識別情報記憶部６、荷物所有者決定部７、荷物所有者情報記憶部８、荷物置き忘れ判定部９、及び警告部１０を備える。
　撮像画像取得部２は、車室内に設置された１台以上のカメラが撮像した撮像画像を取得する。例えば、カメラ及びセンサ等を用いて運転者等の状態を監視するＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）が車両に搭載されている場合、撮像画像取得部２は、ＤＭＳの近赤外線カメラ等を利用可能である。撮像画像取得部２は、取得した撮像画像を乗員識別部３及び荷物識別部５へ出力する。
　乗員識別部３は、撮像画像取得部２により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する。乗員識別部３は、作成した乗員識別情報を乗員識別情報記憶部４に記憶させる。また、乗員識別部３は、降車する乗員を検出した場合、この乗員の乗員識別情報を乗員識別情報記憶部４から取得して荷物置き忘れ判定部９へ出力する。
　より具体的には、乗員識別部３は、車両に乗り込んだ人及び車両から降りようとしている人の有無、並びに車両に乗り込んだ人が座った座席位置を検出し、その人の顔又は体格といった身体的特徴に基づいて個人の識別を行う。乗員識別部３による上記機能は、例えば、近赤外線カメラを利用したＤＭＳによって実現できる。なお、乗員識別部３は、乗員の乗車動作の有無、降車動作の有無、及び座席位置の検出を、ＤＭＳによる乗員の追跡のみに基づいて行う必要はなく、車両ドアの開閉状態を示す車両情報等と組み合わせて行ってもよい。
　荷物識別部５は、撮像画像取得部２により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する。荷物識別部５は、作成した荷物識別情報を荷物識別情報記憶部６に記憶させる。また、荷物識別部５は、荷物を検出した場合、この荷物の荷物識別情報を荷物識別情報記憶部６から取得して荷物所有者決定部７へ出力する。
　より具体的には、荷物識別部５は、車内に存在する荷物の有無を検出し、検出した荷物の車内における所在位置を検出する。そして、荷物識別部５は、検出した荷物の所在位置に基づいて、乗員による荷物の車内への持ち込み、及び降車動作をしている乗員による荷物の車外への持ち出しの有無を検出する。また、荷物識別部５は、車内に存在する荷物の外形、大きさ、及び特徴点等を抽出して個々の荷物を認識して識別する。なお、荷物識別部５は、乗員が持ち込み済み荷物又は着用中の服等の中から取り出した別の荷物を検出し、当該別の荷物を、車内に持ち込まれた荷物として扱ってもよい。また、荷物識別部５は、乗員が持ち込み済み荷物又は着用中の服等の中に仕舞った別の荷物を検出し、当該別の荷物を、車外へ持ち出される荷物として扱ってもよい。さらに、荷物識別部５は、乗員が着用中の服を脱いで車内のいずれかの場所に置いた場合、当該服を、車内に持ち込まれた荷物として扱ってもよく、乗員が持ち込み済みの服を着用した場合、当該服を、車外へ持ち出される荷物として扱ってもよい。
　荷物所有者決定部７は、乗員識別情報及び荷物識別情報を用いて、乗員識別部３により識別された乗員の中から荷物識別部５により識別された荷物の所有者を決定して荷物所有者情報を作成する。荷物所有者決定部７は、作成した荷物所有者情報を荷物所有者情報記憶部８に記憶させる。
　荷物置き忘れ判定部９は、乗員識別部３により乗員の降車が検出された場合にこの乗員の乗員識別情報を受け取る。荷物置き忘れ判定部９は、乗員識別部３から受け取った乗員識別情報を用いて、降車する乗員に関する荷物所有者情報を荷物所有者情報記憶部８から取得する。そして、荷物置き忘れ判定部９は、荷物所有者情報を用いて、降車する乗員が所有する荷物の車両への置き忘れを判定し、判定結果を警告部１０へ出力する。例えば、荷物置き忘れ判定部９は、降車動作をしている状態の乗員が、当該乗員の所有する荷物を持っていない状況、つまり荷物を置き忘れそうな状況である場合、置き忘れと判定する。
　警告部１０は、荷物置き忘れ判定部９により、降車する乗員が所有する荷物の車両への置き忘れが判定された場合、荷物の置き忘れを警告する。警告部１０は、音声出力部１１から警告音を出力させる。または、警告部１０は、降車する乗員と置き忘れ荷物とを表す画像を表示部１２に表示させる。なお、警告部１０は、警告音の出力と画像の表示と両方実施してもよいし、いずれか一方のみ実施してもよい。この警告部１０は、上記「降車する乗員」が車両から降りきる前に、上記「降車する乗員」に対して荷物の置き忘れを警告することが望ましい。また、警告部１０は、上記「降車する乗員」以外の乗員が車内に残っている場合、上記「降車する乗員」が車両から降り切った後に、車内に残っている乗員に対して上記「降車する乗員」の荷物が置き忘れられていることを警告することも可能である。
　次に、車内監視装置１の詳細な動作を説明する。
　まず、乗員識別部３の動作を説明する。図２は、実施の形態１における乗員識別部３の動作例を示すフローチャートである。図３は、実施の形態１における乗員識別情報の一例を示す図である。図３に示される乗員識別情報は、乗員画像、乗員ＩＤ、乗降状態、及び座席位置を含む。
　ステップＳＴ１０１において、乗員識別部３は、撮像画像取得部２から受け取った撮像画像を用いて、乗員の乗車の有無を検出する。乗員識別部３は、乗員の乗車を検出した場合（ステップＳＴ１０１“ＹＥＳ”）、ステップＳＴ１０２へ進み、それ以外の場合（ステップＳＴ１０１“ＮＯ”）、ステップＳＴ１０６へ進む。
　ステップＳＴ１０２において、乗員識別部３は、ステップＳＴ１０１で検出した乗員を識別して乗員識別情報のインスタンスを作成し、固有の乗員ＩＤを付与すると共に乗降状態を「乗車」に設定する。
　ステップＳＴ１０３において、乗員識別部３は、例えば、撮像画像における乗員が写っている領域を抜き出した乗員の画像データを作成し、上記乗員識別情報の乗員画像に設定する。
　ステップＳＴ１０４において、乗員識別部３は、撮像画像を用いて乗員が座った座席位置を検出し、上記乗員識別情報の座席位置に設定する。
　ステップＳＴ１０５において、乗員識別部３は、乗員画像、乗員ＩＤ、乗降状態、及び座席位置を設定した上記乗員識別情報を、乗員識別情報記憶部４に格納する。
　ステップＳＴ１０６において、乗員識別部３は、撮像画像取得部２から受け取った撮像画像を用いて、乗員の降車の有無を検出する。乗員識別部３は、乗員の降車を検出した場合（ステップＳＴ１０６“ＹＥＳ”）、ステップＳＴ１０７へ進み、それ以外の場合（ステップＳＴ１０６“ＮＯ”）、ステップＳＴ１０１へ戻る。
　ステップＳＴ１０７において、乗員識別部３は、ステップＳＴ１０６で降車が検出された乗員を識別し、この乗員の乗員識別情報を乗員識別情報記憶部４から読み出す。そして、乗員識別部３は、読み出した乗員識別情報の乗降状態を「降車」に更新する。
　ステップＳＴ１０８において、乗員識別部３は、上記乗員識別情報の座席位置を「座席位置不定」に更新する。
　ステップＳＴ１０９において、乗員識別部３は、上記乗員識別情報を荷物置き忘れ判定部９へ出力する。荷物置き忘れ判定部９は、乗員の降車を意味する上記乗員識別情報を乗員識別部３から受け取ったことをトリガとして、後述する図１０に示される荷物置き忘れ判定動作を実施する。
　ステップＳＴ１１０において、乗員識別部３は、上記乗員識別情報を乗員識別情報記憶部４から削除する。乗員識別部３は、ステップＳＴ１１０の後、ステップＳＴ１０１へ戻る。
　以上のように、乗員識別部３は、図２に示される動作を行うことによって、乗員の乗降管理を行う。
　続いて、荷物識別部５の動作を説明する。図４は、実施の形態１における荷物識別部５の動作例を示すフローチャートである。図５は、実施の形態１における荷物識別情報の一例を示す図である。図５に示される荷物識別情報は、荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を含む。
　ステップＳＴ２０１において、荷物識別部５は、撮像画像取得部２から受け取った撮像画像を用いて、荷物の車内への持ち込みを検出する。荷物識別部５は、荷物の持ち込みを検出した場合（ステップＳＴ２０１“ＹＥＳ”）、ステップＳＴ２０２へ進み、それ以外の場合（ステップＳＴ２０１“ＮＯ”）、ステップＳＴ２０７へ進む。
　ステップＳＴ２０２において、荷物識別部５は、ステップＳＴ２０１で検出した荷物を識別して荷物識別情報のインスタンスを作成し、固有の荷物ＩＤを付与すると共に持ち込み状態を「持ち込み」に設定する。
　ステップＳＴ２０３において、荷物識別部５は、例えば、撮像画像における荷物が写っている領域を抜き出した荷物の画像データを作成し、上記荷物識別情報の荷物画像に設定する。
　ステップＳＴ２０４において、荷物識別部５は、撮像画像を用いて荷物が置かれた所在位置を検出し、上記荷物識別情報の所在位置に設定する。
　ステップＳＴ２０５において、荷物識別部５は、荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を設定した上記荷物識別情報を、荷物識別情報記憶部６に格納する。
　ステップＳＴ２０６において、荷物識別部５は、上記荷物識別情報を荷物所有者決定部７へ出力する。荷物所有者決定部７は、ステップＳＴ２０６又は後述するステップＳＴ２１０で荷物識別部５から出力された荷物識別情報を受け取ったことをトリガとして、後述する図６に示される荷物所有者決定動作を実施する。
　ステップＳＴ２０７において、荷物識別部５は、撮像画像取得部２から受け取った撮像画像を用いて、荷物の車外への持ち出しを検出する。荷物識別部５は、荷物の持ち出しを検出した場合（ステップＳＴ２０７“ＹＥＳ”）、ステップＳＴ２０８へ進み、それ以外の場合（ステップＳＴ２０７“ＮＯ”）、ステップＳＴ２０１へ戻る。
　ステップＳＴ２０８において、荷物識別部５は、ステップＳＴ２０７で検出した荷物を識別し、この荷物の荷物識別情報を荷物識別情報記憶部６から読み出す。そして、荷物識別部５は、読み出した荷物識別情報の持ち込み状態を「持ち出し」に更新する。
　ステップＳＴ２０９において、荷物識別部５は、上記荷物識別情報の所在位置を「持ち込み位置不定」に更新する。
　ステップＳＴ２１０において、荷物識別部５は、上記荷物識別情報を荷物所有者決定部７へ出力する。
　ステップＳＴ２１１において、荷物識別部５は、上記荷物識別情報を荷物識別情報記憶部６から削除する。荷物識別部５は、ステップＳＴ２１１の後、ステップＳＴ２０１へ戻る。
　以上のように、荷物識別部５は、図４に示される動作を行うことによって、荷物の所在管理を行う。
　続いて、荷物所有者決定部７の動作を説明する。図６は、実施の形態１における荷物所有者決定部７の動作例を示すフローチャートである。図７は、実施の形態１における荷物所有者情報の一例を示す図である。図７に示される荷物所有者情報は、荷物画像、荷物ＩＤ、持ち込み状態、所在位置、所有者画像、所有者ＩＤ、乗降状態、及び座席位置を含む。
　ステップＳＴ３０１において、荷物所有者決定部７は、荷物識別部５から荷物識別情報を受け取った場合（ステップＳＴ３０１“ＹＥＳ”）、ステップＳＴ３０２へ進み、それ以外の場合（ステップＳＴ３０１“ＮＯ”）、ステップＳＴ３０１へ戻る。
　ステップＳＴ３０２において、荷物所有者決定部７は、上記荷物識別情報の持ち込み状態が「持ち込み」である場合（ステップＳＴ３０２“ＹＥＳ”）、ステップＳＴ３０３へ進み、持ち込み状態が「持ち出し」である場合（ステップＳＴ３０２“ＮＯ”）、ステップＳＴ３０８へ進む。
　ステップＳＴ３０３において、荷物所有者決定部７は、荷物所有者情報のインスタンスを作成し、上記荷物識別情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を、それぞれ、荷物所有者情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置にコピーする。
　ステップＳＴ３０４において、荷物所有者決定部７は、乗員識別情報記憶部４に格納されている、車両に乗車している全乗員の乗員識別情報を読み出す。
　ステップＳＴ３０５において、荷物所有者決定部７は、荷物の所在位置とその荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された情報を用いて、車両に乗車している全乗員の中から上記荷物識別情報の荷物の所有者を決定する。
　ここで、図８に、実施の形態１における、荷物識別情報の所在位置と、所有者である可能性が高い乗員識別情報の座席位置の優先度との関係が定義された情報の一例を示す。図８に示されるテーブルは、特定の所在位置に荷物を置く可能性が高い座席に座っている乗員ほど所有者候補としての優先度が高くなるように定義されたものである。図８の例では、車内に持ち込まれた荷物の荷物識別情報の所在位置が「運転席」である場合、荷物所有者決定部７は、運転席に座っている乗員がその荷物の所有者であると決定する。また、車内に持ち込まれた荷物の荷物識別情報の所在位置が「助手席」である場合、荷物所有者決定部７は、運転席と助手席にそれぞれ乗員が座っていればより優先度の高い助手席に座っている乗員がその荷物の所有者であると決定し、運転席にのみ乗員が座っていれば運転席に座っている乗員がその荷物の所有者であると決定する。
　ステップＳＴ３０６において、荷物所有者決定部７は、荷物の所有者であると決定した乗員の乗員識別情報の乗員画像、乗員ＩＤ、乗降状態、及び座席位置を、それぞれ、上記荷物所有者情報の所有者画像、所有者ＩＤ、乗降状態、及び座席位置にコピーする。
　ここで、図９に、実施の形態１における、荷物所有者情報の作成例を示す。上述したように、荷物所有者決定部７は、図８に示される情報に従い、荷物識別情報の所在位置と乗員識別情報の座席位置とを比較し、荷物の所有者を決定する。そして、荷物所有者決定部７は、荷物の荷物識別情報と、その荷物の所有者であると決定された乗員の乗員識別情報とを結合し、荷物所有者情報を作成する。
　ステップＳＴ３０７において、荷物所有者決定部７は、上記荷物所有者情報を荷物所有者情報記憶部８へ格納する。荷物所有者決定部７は、ステップＳＴ３０７の後、ステップＳＴ３０１へ戻る。
　ステップＳＴ３０８において、荷物所有者決定部７は、荷物識別部５から受け取った荷物識別情報の荷物ＩＤと一致する荷物ＩＤを持つ荷物所有者情報を荷物所有者情報記憶部８から読み出す。
　ステップＳＴ３０９において、荷物所有者決定部７は、上記荷物識別情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を、それぞれ、荷物所有者情報記憶部８から読み出した荷物所有者情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置にコピーする。
　ステップＳＴ３１０において、荷物所有者決定部７は、上記荷物所有者情報を荷物所有者情報記憶部８に書き戻す。荷物所有者決定部７は、ステップＳＴ３１０の後、ステップＳＴ３０１へ戻る。
　以上のように、荷物所有者決定部７は、図６に示される動作を行うことによって、どの荷物がどの乗員の所有物であるかを関係付ける。
　続いて、荷物置き忘れ判定部９及び警告部１０の動作を説明する。図１０は、実施の形態１における荷物置き忘れ判定部９及び警告部１０の動作例を示すフローチャートである。
　ステップＳＴ４０１において、荷物置き忘れ判定部９は、乗降状態が「降車」である乗員識別情報を乗員識別部３から受け取った場合（ステップＳＴ４０１“ＹＥＳ”）、ステップＳＴ４０２へ進み、それ以外の場合（ステップＳＴ４０１“ＮＯ”）、ステップＳＴ４０１へ戻る。
　ステップＳＴ４０２において、荷物置き忘れ判定部９は、上記乗員識別情報の乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が荷物所有者情報記憶部８に格納されているか否かを判定する。乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が１つ以上荷物所有者情報記憶部８に存在する場合、上記乗員ＩＤが付与された乗員は乗車時に荷物所有者情報の数と同数の荷物を持ち込んだということであり、持ち込んだ荷物を置き忘れたまま降車する可能性がある。一方、乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が荷物所有者情報記憶部８に存在しない場合、上記乗員ＩＤが付与された乗員は乗車時に荷物を持ち込まなかったということであり、降車時の荷物の置き忘れは発生しない。荷物置き忘れ判定部９は、乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が１つ以上荷物所有者情報記憶部８に存在する場合（ステップＳＴ４０２“ＹＥＳ”）、ステップＳＴ４０３へ進み、存在しない場合（ステップＳＴ４０２“ＮＯ”）、ステップＳＴ４０１へ戻る。
　ステップＳＴ４０３において、荷物置き忘れ判定部９は、上記乗員識別情報の乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報の持ち込み状態が「持ち出し」であるか否かを判定する。荷物所有者情報の持ち込み状態が「持ち出し」である場合、降車した乗員と共に所有の荷物も持ち出されたということであり、降車時の荷物の置き忘れは発生しない。一方、荷物所有者情報の持ち込み状態が「持ち込み」である場合、降車した乗員は所有する荷物を車内に置き忘れているということである。荷物置き忘れ判定部９は、上記荷物所有者情報の持ち出し状態が「持ち出し」である場合（ステップＳＴ４０３“ＹＥＳ”）、ステップＳＴ４０４へ進み、持ち出し状態が「持ち込み」である場合（ステップＳＴ４０３“ＮＯ”）、ステップＳＴ４０５へ進む。
　ステップＳＴ４０４において、荷物置き忘れ判定部９は、不要となった上記荷物所有者情報を荷物所有者情報記憶部８から削除する。
　ステップＳＴ４０５において、荷物置き忘れ判定部９は、荷物の置き忘れがある旨と上記荷物所有者情報とを、警告部１０へ出力する。表示部１２は、上記荷物所有者情報の荷物画像及び所有者画像を表示する。また、表示部１２は、荷物画像及び所有者画像に加え、荷物の置き忘れを警告する旨のメッセージを表示してもよい。
　ステップＳＴ４０６において、音声出力部１１は、警告音を出力することによって、荷物の置き忘れを報知する。なお、音声出力部１１は、警告音の代わりに、荷物の置き忘れを警告する旨のメッセージを音声出力してもよい。
　ステップＳＴ４０５及びステップＳＴ４０６における置き忘れの警告は、ステップＳＴ４０２で荷物所有者情報記憶部８に存在が確認された全ての荷物所有者情報の持ち込み状態が「持ち込み」から「持ち出し」へ変化するまで継続される。
　以上のように、荷物置き忘れ判定部９及び警告部１０は、図１０に示される動作を行うことによって、乗員が降車するときにこの乗員が所有する荷物の置き忘れを警告する。
　ここで、図１１に、実施の形態１において表示部１２が表示する荷物置き忘れを警告する画面例を示す。表示部１２は、例えば、インストルメントパネルに設置されたセンタディスプレイ、ナビゲーション装置のディスプレイ、又はリアエンターテイメントシステムのディスプレイ等、車内に存在するディスプレイであれば何でもよい。図１１の例では、表示部１２の画面上に、降車した乗員の所有者画像２１と、降車した乗員が所有する置き忘れ荷物の荷物画像２２と、「左の人の以下の持ち物が残ったままです。」というメッセージ２３と、この警告画面の表示を止める閉じるボタン２４とが表示される。この例の置き忘れ荷物は硬貨である。
　以上のように、実施の形態１の撮像画像取得部２は、車両の内部を撮影した撮像画像を取得する。乗員識別部３は、撮像画像取得部２により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する。荷物識別部５は、撮像画像取得部２により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する。荷物所有者決定部７は、乗員識別情報及び荷物識別情報を用いて、乗員識別部３により識別された乗員の中から荷物識別部５により識別された荷物の所有者を決定して荷物所有者情報を作成する。荷物置き忘れ判定部９は、乗員識別部３により乗員の降車が検出された場合、降車する乗員に関する荷物所有者情報を用いて降車する乗員が所有する荷物の車両への置き忘れを判定する。警告部１０は、荷物置き忘れ判定部９により降車する乗員が所有する荷物の車両への置き忘れが判定された場合に警告する。この構成により、車内監視装置１は、乗員が降車する場合にその乗員が所有する荷物の置き忘れを警告でき、荷物の置き忘れを防ぐことができる。
　また、実施の形態１の乗員識別部３は、識別した乗員の座席位置を含む乗員識別情報を作成し、荷物識別部５は、識別した荷物の所在位置を含む荷物識別情報を作成する。荷物所有者決定部７は、乗員識別情報に含まれる座席位置と荷物識別情報に含まれる所在位置との関係に基づいて、荷物の所有者を決定する。この構成により、荷物所有者決定部７は、荷物と乗員との位置関係に基づいて、どの荷物がどの乗員の所有物であるかを関係付けることができる。
　また、実施の形態１の荷物所有者決定部７は、荷物の所在位置と、荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された図８のような情報を用いて、荷物の所有者を決定する。この構成により、荷物所有者決定部７は、単純な参照処理により、荷物の所有者を決定できる。
実施の形態２．
　実施の形態１の車内監視装置１は、荷物の所有者を自動的に決定する構成である。実施の形態２の車内監視装置１は、乗員の操作に基づいて、荷物の所有者を変更する構成である。
　図１２は、実施の形態２に係る車内監視装置１の構成例を示すブロック図である。実施の形態２に係る車内監視装置１は、図１に示された実施の形態１の車内監視装置１に対して荷物所有者変更部１３が追加された構成である。図１２において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　荷物所有者変更部１３は、荷物所有者決定部７により作成され荷物所有者情報記憶部８に記憶済みの荷物所有者情報に含まれる荷物とその荷物の所有者である乗員との対応関係を、外部から入力される情報に基づいて変更する。外部から入力される情報とは、図示しないタッチパネル、機械ボタン、又はキーパッド等の入力装置から荷物所有者変更部１３へ入力される情報であり、乗員が入力装置に対して行った操作内容を示す情報である。
　図１３、図１４、図１５、及び図１６は、実施の形態２において表示部１２が表示する、荷物所有者を変更する画面例を示す図である。荷物所有者変更部１３は、乗員が乗車して車両ドアが閉じた後であって車両が走行を開始するより前、車両の停止中、荷物識別部５により新たに荷物が検出されたとき、又は乗員が表示を指示したとき等に、図１３のような荷物所有者変更画面を表示するよう表示部１２に指示する。なお、実施の形態１の表示部１２と実施の形態２の表示部１２とは、同じディスプレイを利用してもよいし、異なるディスプレイを利用してもよい。
　図１３の例では、荷物所有者変更部１３が表示部１２の画面上に、乗員Ａの所有者画像３１、乗員Ｂの所有者画像３２、乗員Ａの所有者画像３３、乗員Ｃの所有者画像３４、荷物Ｏの荷物画像３５、荷物Ｐの荷物画像３６、荷物Ｑの荷物画像３７、及び荷物Ｒの荷物画像３８を表示させる。荷物Ｏは硬貨、荷物Ｐはスマートフォン、荷物Ｑは領収書、荷物Ｒは段ボール箱である。荷物所有者情報によれば、乗員Ａは荷物Ｏ，Ｑを所有し、乗員Ｂは荷物Ｐを所有し、乗員Ｃは荷物Ｒを所有している。荷物所有者変更部１３は、上記荷物所有者情報に基づき、乗員Ａの所有者画像３１と荷物Ｏの荷物画像３５とを縦一列に配置し、乗員Ｂの所有者画像３２と荷物Ｐの荷物画像３６とを縦一列に配置し、乗員Ａの所有者画像３３と荷物Ｑの荷物画像３７とを縦一列に配置し、乗員Ｃの所有者画像３４と荷物Ｒの荷物画像３８とを縦一列に配置することによって、所有関係を表現している。したがって、図１３の画面により、乗員は荷物の所有者を確認できる。
　乗員が荷物と所有者との所有関係を変更したい場合、図示しない入力装置を操作し、変更したい乗員の所有者画像の位置へポインタ３９を移動させ確定させる。図１４の例では、乗員がポインタ３９を乗員Ｂの所有者画像３２の位置に移動させ確定させたため、荷物所有者変更部１３は、乗員Ｂの所有者画像３２の横に、乗員Ｂに代わる所有者候補を示す乗員画像一覧４０を表示させる。乗員は、図示しない入力装置を操作し、変更したい乗員の画像の位置へポインタ４１を移動させ確定させる。図１５の例では、乗員がポインタ４１を乗員Ｃの画像の位置に移動させ確定させたため、荷物所有者変更部１３は、荷物Ｐの所有者を乗員Ｂから乗員Ｃへ変更する。そして、荷物所有者変更部１３は、図１６の例のように、荷物Ｐの荷物画像３６と乗員Ｃの所有者画像４２とを縦一列に配置する。
　なお、図１３、図１４、図１５、及び図１６に示される荷物所有者変更の画面及び操作方法は一例であり、乗員の操作によって荷物の所有者を変更できればどのような画面及び操作方法であってもよい。
　上記例のように、荷物Ｐの所有者が乗員Ｂから乗員Ｃへ変更された場合、荷物所有者変更部１３は、荷物Ｐの荷物識別情報と乗員Ｂの乗員識別情報とが結合された荷物所有者情報のうち、乗員Ｂの乗員識別情報を乗員Ｃの乗員識別情報に書き換える。その際、荷物所有者変更部１３は、乗員Ｃの乗員識別情報を、荷物所有者情報記憶部８に記憶されている荷物所有者情報から抽出してもよいし、乗員識別情報記憶部４から取得してもよい。荷物所有者変更部１３は、書き換え後の荷物所有者情報を荷物所有者情報記憶部８に記憶させる。
　以上のように、実施の形態２の荷物所有者変更部１３は、荷物所有者決定部７により作成された荷物所有者情報に含まれる荷物とこの荷物の所有者である乗員との対応関係を、外部から入力される情報に基づいて変更する。この構成により、乗員は、荷物所有者情報に齟齬があった場合にこの齟齬を修正することができる。
実施の形態３．
　実施の形態１の車内監視装置１は、荷物の所在位置と、荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された情報を用いて、荷物の所有者を決定する構成であった。実施の形態３の車内監視装置１は、荷物に最も近い乗員を所有者と決定する構成である。
　実施の形態３に係る車内監視装置１の構成は、実施の形態１の図１又は実施の形態２の図１２に示された構成と図面上は同一であるため、以下では図１及び図１２を援用する。この実施の形態３において、撮像画像取得部２は、車室内に設置されたステレオカメラが撮像した撮像画像を取得する。このステレオカメラは、例えば、ＤＭＳに利用されるステレオカメラである。
　図１７は、実施の形態３における乗員識別情報の一例を示す図である。実施の形態３における乗員識別情報は、座席位置が「［ｘ，ｙ，ｚ］座標」である以外、実施の形態１の図３に示された乗員識別情報と同じである。実施の形態３の乗員識別部３は、ステレオカメラが撮像した撮像画像を用いた三角測量の原理により、３次元の直交座標系（以下、「３次元座標系」と称する。）における乗員の［ｘ，ｙ，ｚ］座標を算出し、座席位置に設定する。また、乗員の［ｘ，ｙ，ｚ］座標は、例えば顔の中心又は身体の中心を示す座標である。
　図１８は、実施の形態３における荷物識別情報の一例を示す図である。実施の形態３における荷物識別情報は、所在位置が「［ｘ，ｙ，ｚ］座標」である以外、実施の形態１の図５に示された荷物識別情報と同じである。実施の形態３の荷物識別部５は、ステレオカメラが撮像した撮像画像を用いた三角測量の原理により、上記３次元座標系における荷物の［ｘ，ｙ，ｚ］座標を算出し、所在位置に設定する。荷物の［ｘ，ｙ，ｚ］座標は、例えば荷物の中心を示す座標である。
　図１９は、実施の形態３における荷物所有者情報の一例を示す図である。実施の形態３における荷物所有者情報は、所在位置及び座席位置が「［ｘ，ｙ，ｚ］座標」である以外、実施の形態１の図７に示された荷物所有者情報と同じである。
　図２０は、実施の形態３における荷物所有者決定部７の動作例を示すフローチャートである。図２０のステップＳＴ３０１～ＳＴ３０４，ＳＴ３０６～ＳＴ３１０は、図６のステップＳＴ３０１～ＳＴ３０４，ＳＴ３０６～ＳＴ３１０と同じ動作であるため、説明を省略する。
　ステップＳＴ３０５ａにおいて、荷物所有者決定部７は、ステップＳＴ３０４で乗員識別情報記憶部４から読み出した全乗員の乗員識別情報の座席位置である［ｘ，ｙ，ｚ］座標と、ステップＳＴ３０１で荷物識別部５から受け取った荷物識別情報の所在位置である［ｘ，ｙ，ｚ］座標とを比較する。そして、荷物所有者決定部７は、全乗員の中から、３次元座標系において荷物の［ｘ，ｙ，ｚ］座標に最も近い［ｘ，ｙ，ｚ］座標の乗員を所有者と決定する。
　以上のように、実施の形態３の乗員識別情報に含まれる座席位置は、識別した乗員の３次元座標系の座標であり、荷物識別情報に含まれる所在位置は、識別した荷物の３次元座標系の座標である。荷物所有者決定部７は、３次元座標系において荷物の座標に最も近い座標の乗員を所有者と決定する。この構成により、荷物所有者決定部７は、荷物に最も近い位置に存在する乗員を所有者と決定できる。
　なお、実施の形態３の荷物所有者決定部７により作成された荷物所有者情報は、実施の形態２の荷物所有者変更部１３によって変更可能である。
　最後に、各実施の形態に係る車内監視装置１のハードウェア構成例を説明する。
　図２１Ａ及び図２１Ｂは、各実施の形態に係る車内監視装置１のハードウェア構成例を示す図である。車内監視装置１における乗員識別情報記憶部４、荷物識別情報記憶部６、及び荷物所有者情報記憶部８は、メモリ１０２である。車内監視装置１における音声出力部１１及び表示部１２は、スピーカ１１１及びディスプレイ１１２である。車内監視装置１における撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の各機能は、処理回路により実現される。即ち、車内監視装置１は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
　図２１Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
　図２１Ｂに示されるように、処理回路がプロセッサ１０１である場合、撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の各機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、車内監視装置１は、プロセッサ１０１により実行されるときに、図２等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の手順又は方法をコンピュータに実行させるものであるとも言える。
　ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
　メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、車内監視装置１における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る車内監視装置は、乗員が降車するときにその乗員が所有する荷物の置き忘れを警告するようにしたので、車両だけでなく、鉄道、船舶又は航空機等における乗員の荷物の置き忘れを警告する監視装置等に用いるのに適している。
　１　車内監視装置、２　撮像画像取得部、３　乗員識別部、４　乗員識別情報記憶部、５　荷物識別部、６　荷物識別情報記憶部、７　荷物所有者決定部、８　荷物所有者情報記憶部、９　荷物置き忘れ判定部、１０　警告部、１１　音声出力部、１２　表示部、１３　荷物所有者変更部、２１　降車した乗員の所有者画像、２２　置き忘れ荷物の荷物画像、２３　メッセージ、２４　閉じるボタン、３１　乗員Ａの所有者画像、３２　乗員Ｂの所有者画像、３３　乗員Ａの所有者画像、３４　乗員Ｃの所有者画像、３５　荷物Ｏの荷物画像、３６　置荷物Ｐの荷物画像、３７　荷物Ｑの荷物画像、３８　荷物Ｒの荷物画像、３９，４１　ポインタ、４０　乗員画像一覧、４２　乗員Ｃの所有者画像、１００　処理回路、１０１　プロセッサ、１０２　メモリ、１１１　スピーカ、１１２　ディスプレイ。

Claims (7)

  1. 　車両の内部を撮像した撮像画像を取得する撮像画像取得部と、
    　前記撮像画像取得部により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する乗員識別部と、
    　前記撮像画像取得部により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する荷物識別部と、
    　前記乗員識別情報及び前記荷物識別情報を用いて、前記乗員識別部により識別された乗員の中から前記荷物識別部により識別された荷物の所有者を決定して荷物所有者情報を作成する荷物所有者決定部と、
    　前記乗員識別部により乗員の降車が検出された場合、降車する乗員に関する前記荷物所有者情報を用いて前記降車する乗員が所有する荷物の前記車両への置き忘れを判定する荷物置き忘れ判定部と、
    　前記荷物置き忘れ判定部により前記降車する乗員が所有する荷物の前記車両への置き忘れが判定された場合に警告する警告部とを備える車内監視装置。
  2. 　前記乗員識別部は、識別した乗員の座席位置を含む乗員識別情報を作成し、
    　前記荷物識別部は、識別した荷物の所在位置を含む荷物識別情報を作成し、
    　前記荷物所有者決定部は、前記乗員識別情報に含まれる座席位置と前記荷物識別情報に含まれる所在位置との関係に基づいて、荷物の所有者を決定することを特徴とする請求項１記載の車内監視装置。
  3. 　前記荷物所有者決定部は、荷物の所在位置と、前記荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された情報を用いて、荷物の所有者を決定することを特徴とする請求項２記載の車内監視装置。
  4. 　前記乗員識別情報に含まれる座席位置は、前記識別した乗員の３次元座標系の座標であり、前記荷物識別情報に含まれる所在位置は、前記識別した荷物の前記３次元座標系の座標であり、
    　前記荷物所有者決定部は、前記３次元座標系において荷物の座標に最も近い座標の乗員を所有者と決定することを特徴とする請求項２記載の車内監視装置。
  5. 　前記荷物所有者決定部により作成された荷物所有者情報に含まれる荷物と前記荷物の所有者である乗員との対応関係を、外部から入力される情報に基づいて変更する荷物所有者変更部を備えることを特徴とする請求項１記載の車内監視装置。
  6. 　前記乗員識別部は、識別した乗員の撮像画像を含む乗員識別情報を作成し、
    　前記荷物識別部は、識別した荷物の撮像画像を含む荷物識別情報を作成し、
    　前記警告部は、前記荷物置き忘れ判定部により前記降車する乗員が所有する荷物の前記車両への置き忘れが判定された場合、前記降車する乗員の撮像画像及び前記荷物の撮像画像を表示することを特徴とする請求項１記載の車内監視装置。
  7. 　撮像画像取得部が、車両の内部を撮像した撮像画像を取得するステップと、
    　乗員識別部が、前記撮像画像取得部により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成するステップと、
    　荷物識別部が、前記撮像画像取得部により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成するステップと、
    　荷物所有者決定部が、前記乗員識別情報及び前記荷物識別情報を用いて、前記乗員識別部により識別された乗員の中から前記荷物識別部により識別された荷物の所有者を決定して荷物所有者情報を作成するステップと、
    　荷物置き忘れ判定部が、前記乗員識別部により乗員の降車が検出された場合、降車する乗員に関する前記荷物所有者情報を用いて前記降車する乗員が所有する荷物の前記車両への置き忘れを判定するステップと、
    　警告部が、前記荷物置き忘れ判定部により前記降車する乗員が所有する荷物の前記車両への置き忘れが判定された場合に警告するステップとを備える車内監視方法。
PCT/JP2018/003216 2018-01-31 2018-01-31 車内監視装置及び車内監視方法 Ceased WO2019150488A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/959,538 US11227480B2 (en) 2018-01-31 2018-01-31 Vehicle interior monitoring device and vehicle interior monitoring method
JP2019568476A JP6690871B2 (ja) 2018-01-31 2018-01-31 車内監視装置及び車内監視方法
DE112018006598.7T DE112018006598B4 (de) 2018-01-31 2018-01-31 Fahrzeuginnenraumüberwachungsvorrichtung und Fahrzeuginnenraumüberwachungsverfahren
PCT/JP2018/003216 WO2019150488A1 (ja) 2018-01-31 2018-01-31 車内監視装置及び車内監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/003216 WO2019150488A1 (ja) 2018-01-31 2018-01-31 車内監視装置及び車内監視方法

Publications (1)

Publication Number Publication Date
WO2019150488A1 true WO2019150488A1 (ja) 2019-08-08

Family

ID=67478636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003216 Ceased WO2019150488A1 (ja) 2018-01-31 2018-01-31 車内監視装置及び車内監視方法

Country Status (4)

Country Link
US (1) US11227480B2 (ja)
JP (1) JP6690871B2 (ja)
DE (1) DE112018006598B4 (ja)
WO (1) WO2019150488A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260866A (zh) * 2020-01-19 2020-06-09 江苏铁锚玻璃股份有限公司 车端行李架行李防盗系统及其防盗方法
JP2021066275A (ja) * 2019-10-18 2021-04-30 株式会社デンソー 車両制御装置
DE102020210765A1 (de) 2020-08-25 2022-03-03 Volkswagen Aktiengesellschaft Erkennung von in einem Kraftfahrzeug zurückgelassenen Gegenständen
JP2022055594A (ja) * 2020-09-29 2022-04-08 株式会社ユピテル システム及びプログラム等
JP2022057223A (ja) * 2020-09-30 2022-04-11 株式会社デンソー 車両用装置、車両用システム及び置き忘れ報知管理プログラム
EP4044139A4 (en) * 2019-10-10 2022-10-19 NISSAN MOTOR Co., Ltd. INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JPWO2023053375A1 (ja) * 2021-09-30 2023-04-06
JP7783659B1 (ja) * 2024-12-05 2025-12-10 オリエンタル技研工業株式会社 判定装置、判定方法及びコンピュータープログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017129787A1 (de) * 2017-12-13 2019-06-13 HELLA GmbH & Co. KGaA Fahrzeug mit einer Kamera zur Erfassung eines Körperteils eines Benutzers und Verfahren für den Betrieb des Fahrzeugs
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
US12103544B2 (en) * 2021-12-23 2024-10-01 Kyndryl, Inc. Controlling autonomous vehicle functions
US11981279B2 (en) * 2022-06-27 2024-05-14 GM Global Technology Operations LLC System for notifying an occupant of a vehicle of unauthorized access to his or her possessions
DE102024125889A1 (de) * 2024-09-10 2026-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Durchführung durch eine Vorrichtung eines Fahrzeugs, Computerprogramm, Vorrichtung und Fahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2010055362A (ja) * 2008-08-28 2010-03-11 Toyota Motor Corp 車両用報知装置
JP2010182189A (ja) * 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2014203317A (ja) * 2013-04-08 2014-10-27 カルソニックカンセイ株式会社 携帯型通信機器
JP2015041344A (ja) * 2013-08-23 2015-03-02 イデアクロス株式会社 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
JP2017224049A (ja) * 2016-06-13 2017-12-21 クラリオン株式会社 車載装置、報知方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6820897B2 (en) * 1992-05-05 2004-11-23 Automotive Technologies International, Inc. Vehicle object detection system and method
US6323761B1 (en) * 2000-06-03 2001-11-27 Sam Mog Son Vehicular security access system
JP2005047343A (ja) 2003-07-31 2005-02-24 Fujitsu Ten Ltd 車両制御装置
US20120197522A1 (en) * 2009-12-25 2012-08-02 Hideki Fukuhara Navigation device
DE102014213531A1 (de) 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Funktionsaktivierung in Fahrzeugen
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror
KR101841948B1 (ko) 2015-10-02 2018-03-26 엘지전자 주식회사 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
DE102016206126A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen oder Regeln einer Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug und System für eine Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug
DE102017105243A1 (de) * 2016-03-14 2017-09-14 GM Global Technology Operations LLC Fahrzeugbasierte dreikörper-objektnachverfolgungs- und -benachrichtigungssysteme
DE102016215524B4 (de) 2016-08-18 2019-03-28 Volkswagen Aktiengesellschaft System zur Objekterkennung und Objekterinnerung bei einem Fahrzeug
US20190057264A1 (en) * 2017-08-16 2019-02-21 Ford Global Technologies, Llc Detecting objects in vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2010055362A (ja) * 2008-08-28 2010-03-11 Toyota Motor Corp 車両用報知装置
JP2010182189A (ja) * 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2014203317A (ja) * 2013-04-08 2014-10-27 カルソニックカンセイ株式会社 携帯型通信機器
JP2015041344A (ja) * 2013-08-23 2015-03-02 イデアクロス株式会社 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
JP2017224049A (ja) * 2016-06-13 2017-12-21 クラリオン株式会社 車載装置、報知方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4044139A4 (en) * 2019-10-10 2022-10-19 NISSAN MOTOR Co., Ltd. INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP2021066275A (ja) * 2019-10-18 2021-04-30 株式会社デンソー 車両制御装置
JP7338397B2 (ja) 2019-10-18 2023-09-05 株式会社デンソー 車両制御装置
CN111260866A (zh) * 2020-01-19 2020-06-09 江苏铁锚玻璃股份有限公司 车端行李架行李防盗系统及其防盗方法
DE102020210765A1 (de) 2020-08-25 2022-03-03 Volkswagen Aktiengesellschaft Erkennung von in einem Kraftfahrzeug zurückgelassenen Gegenständen
JP2022055594A (ja) * 2020-09-29 2022-04-08 株式会社ユピテル システム及びプログラム等
JP7493231B2 (ja) 2020-09-29 2024-05-31 株式会社ユピテル システム及びプログラム等
JP2022057223A (ja) * 2020-09-30 2022-04-11 株式会社デンソー 車両用装置、車両用システム及び置き忘れ報知管理プログラム
JP7439716B2 (ja) 2020-09-30 2024-02-28 株式会社デンソー 車両用装置、車両用システム及び置き忘れ報知管理プログラム
JPWO2023053375A1 (ja) * 2021-09-30 2023-04-06
WO2023053375A1 (ja) * 2021-09-30 2023-04-06 三菱電機株式会社 オンデマンド車両管理装置、オンデマンド車両管理システム、忘れ物検知方法およびオンデマンド車両管理プログラム
JP7783659B1 (ja) * 2024-12-05 2025-12-10 オリエンタル技研工業株式会社 判定装置、判定方法及びコンピュータープログラム

Also Published As

Publication number Publication date
US20210074144A1 (en) 2021-03-11
DE112018006598B4 (de) 2024-07-04
JPWO2019150488A1 (ja) 2020-04-09
DE112018006598T5 (de) 2020-09-03
JP6690871B2 (ja) 2020-04-28
US11227480B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
JP6690871B2 (ja) 車内監視装置及び車内監視方法
JP7621463B2 (ja) 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US11281919B2 (en) Object detection and passenger notification
JP4419672B2 (ja) 車両内忘れ物防止装置
JP6167690B2 (ja) 車室内監視装置
US10150448B2 (en) Autonomous vehicle unauthorized passenger or object detection
US20170103592A1 (en) Automated door and gate lock/unlock
KR20150103064A (ko) 스마트폰 위치 결정 시스템 및 방법
CN113492799B (zh) 车辆控制装置、车辆控制方法和存储介质
CN108140296A (zh) 报告系统
US9775100B1 (en) Passenger zone detection with signal strength data aided by physical signal barriers
CN111688636A (zh) 用于监控车辆的周围环境的方法
JP2012123491A (ja) 車載装置および忘れ物確認サービス
CN110088422B (zh) 车库门控制系统和方法
CN107533791A (zh) 车载装置、移动终端及紧急通知系统
CN109476320A (zh) 车载装置、控制权管理方法以及控制权管理程序
CN113799728A (zh) 车辆控制系统以及车辆控制方法
JP2020009302A (ja) 車載機、運行管理装置、運行管理システム、及び運転者確認方法
JP6851048B2 (ja) タクシー手荷物忘れ防止システム
US20150193989A1 (en) System and method for determining unapproved driving
JP2020093575A (ja) 制御装置及び制御システム
JP2018142130A (ja) 制御装置及びシステム
JP2020190993A (ja) 車載器及び運行管理システム
US20200320477A1 (en) Vehicle selection apparatus, vehicle selection method, and vehicle selection program
JP7225699B2 (ja) 車両の制御装置及び車両の運用方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903924

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019568476

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18903924

Country of ref document: EP

Kind code of ref document: A1