WO2015025435A1 - 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム - Google Patents

忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム Download PDF

Info

Publication number
WO2015025435A1
WO2015025435A1 PCT/JP2013/078279 JP2013078279W WO2015025435A1 WO 2015025435 A1 WO2015025435 A1 WO 2015025435A1 JP 2013078279 W JP2013078279 W JP 2013078279W WO 2015025435 A1 WO2015025435 A1 WO 2015025435A1
Authority
WO
WIPO (PCT)
Prior art keywords
passenger
state
analysis result
infrared image
imaging device
Prior art date
Application number
PCT/JP2013/078279
Other languages
English (en)
French (fr)
Inventor
中嶋　公栄
利孝 宮崎
Original Assignee
イデアクロス株式会社
国際自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イデアクロス株式会社, 国際自動車株式会社 filed Critical イデアクロス株式会社
Publication of WO2015025435A1 publication Critical patent/WO2015025435A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Definitions

  • This invention relates to a lost article prevention system for notifying passengers of passenger cars such as taxis and hires of the possibility of passenger lost items.
  • Patent Document 1 the inside of a vehicle is imaged when the door is opened when the vehicle is empty and when the door is closed after payment, and the captured vehicle image is compared with a reference image.
  • Patent Document 2 There has been proposed an in-vehicle left-behind prevention device that detects presence or absence.
  • the reference image is an image when the passenger gets on. When it is detected that there is something left behind, it notifies the passenger or crew that there is something left behind.
  • Patent Document 2 stores a list of articles that should be detected as forgotten items, discriminates the articles in the vehicle when a passenger gets off, and if the identified articles are included in the list, the articles are forgotten.
  • An in-vehicle device that detects the above has been proposed. The discrimination of the article is performed based on the difference between the images taken by the imaging device before and after the passenger is boarded.
  • Patent Documents 1 and 2 both capture the interior of a vehicle with an imaging device and detect forgotten things from the captured images.
  • the method of detecting forgotten things from an image captured by an imaging device is superior to the method of detecting forgotten things by a sensor or the like in terms of cost.
  • the passenger's face may be imaged. Imaging in a form that can identify a passenger is not preferable from the viewpoint of passenger privacy protection. Depending on the passenger, it is not preferable to take an image, and it is possible to have a sense of resistance. Further, in imaging with visible light, it becomes difficult to detect forgotten objects in a shadow of some object as seen from the imaging apparatus or in a dark part such as a trunk room.
  • the way of reflection varies depending on the weather (clear weather, cloudy weather), the time zone (daytime, nighttime), the traveling environment (whether there is a tunnel or the like), and the angle of sunlight. For this reason, an error may occur in the object recognition process due to unevenness in the amount of light at the time of imaging, or a shadow may be erroneously recognized as an object.
  • This invention makes it a subject to provide the lost article prevention system which can detect the lost article in a passenger car, without being influenced by the weather, time zone, etc., protecting a passenger's privacy.
  • the forgotten object prevention system of the present invention for solving the above problems is installed in a passenger car having a rented state where passengers exist and an empty state where no passengers exist.
  • An imaging device that images the interior of the passenger car using infrared light of a specific wavelength with high resolution, and an object reflected in the first infrared image acquired from the imaging device in the empty state, and the analysis
  • the result is held, and after changing from the unoccupied state to the rented state, the object reflected in the second infrared image obtained from the imaging device is analyzed when the passenger gets off, and the analysis result is retained.
  • An analysis means for comparing with the analysis result, a determination means for determining whether an object other than a passenger exists in the vehicle according to a comparison content by the analysis means, and an object other than the passenger in the vehicle When it is determined to be present, toward the crew of the passenger car, characterized in that it comprises a warning means for left behind to warn that may have occurred, the.
  • This forgotten object prevention system can be realized by the cooperation of a computer program and a computer that can read the computer program. Moreover, the information provision method with respect to the passenger
  • the present invention images the interior of a passenger car using, for example, an infrared ray having a specific wavelength that has an optimal resolution in accordance with the incident angle of the sunlight, the amount of light, and the weather. For this reason, it is possible to prevent the occurrence of a situation such as misidentifying a shadow as an object or not being able to recognize an object existing in a shadow portion, which may occur in a conventional imaging device that performs imaging using visible light. Further, since the object reflected in the infrared image is analyzed, passenger privacy is not harmed. Also, because objects and passengers that are likely to be forgotten are discriminated based on the analysis results of the objects reflected in the infrared image, the processing load is reduced compared to holding images or comparing images. Can be significantly reduced. Therefore, it is possible to quickly determine whether or not there is a possibility that the passenger is left behind.
  • the whole block diagram of a thing-left-behind prevention system The functional block diagram formed in a thing-left-behind prevention system.
  • (A), (b) is explanatory drawing of a camera arrangement
  • FIG. 1 is a configuration diagram of the forgotten object prevention system of the present embodiment.
  • the forgotten thing prevention system 1 is mounted on a taxi that is an example of a passenger car, and notifies the taxi crew of the presence or absence of a thing left behind by the passenger.
  • the forgotten object prevention system 1 includes a plurality of cameras 10 as imaging devices.
  • the plurality of cameras 10 are arranged in various places in the taxi vehicle so as not to make a blind spot as much as possible.
  • the right seat camera 11 that captures the foot of the right seat of the rear seat
  • the left seat camera 12 that captures the foot of the left seat of the rear seat
  • the overhead camera 13 that captures the rear seat from the overhead
  • the interior of the trunk A trunk camera 14 is provided in the vehicle.
  • the number and arrangement of the cameras 10 are not limited to this example, and are appropriately provided in consideration of cost and accuracy of detecting forgotten items.
  • the camera 10 is an infrared camera having sensitivity to infrared rays, and takes a still image with an automatic shutter. Set so that shutter sound does not come out.
  • An infrared camera is a camera having a wavelength longer than that of visible red (having a lower frequency) and sensitivity to an electromagnetic wave having a wavelength shorter than that of radio waves, and cannot be imaged by visible light, for example, inside a trunk, a floor mat of a rear seat, Even when the interior of the vehicle is dark like night, it is possible to take an image.
  • the infrared camera can recognize the presence of a passenger by analyzing the relative size of the subject, but does not identify the passenger's face. Therefore, passenger privacy is not harmed.
  • the thing-left-behind prevention system 1 forms the main function regarding the thing-left-behind detection in the control part 20 which is a kind of computer.
  • the control unit 20 includes an interface 21, a CPU (Central Processing Unit) 22, a RAM (Random Access Memory) 23, and a ROM (Read Only Memory) 24.
  • an HDD (Hard Disk Drive) 25 that is a large-capacity recording medium is provided.
  • the interface 21, CPU 22, RAM 23, ROM 24, and HDD 25 are connected to each other via a bus so as to be able to transmit and receive data.
  • the interface 21 acquires an infrared image captured by the camera 10.
  • the interface 21 is connected to the taximeter 30 and acquires state data representing the state of the taximeter 30 (rental, empty car, premium, payment).
  • the taxi meter 30 is changed in its state (rental state, empty state, premium state, payment state) by the operation of the crew, but as described later, the state is forcibly changed by the control data from the control unit 20. There is also a case.
  • the interface 21 is also connected to the warning unit 40.
  • the warning unit 40 is connected to a speaker 41 and a warning lamp 42.
  • the CPU 22 reads the computer program of the present invention from the HDD 25, reads the control program necessary for control from the ROM 24, and executes them using the RAM 23 as a work area, thereby executing processing related to the detection of the lost things of the passengers.
  • FIG. 2 is a functional block diagram showing functions formed in the control unit 20 when the CPU 22 executes a computer program.
  • the control unit 20 functions as the image management unit 101, the notification unit 104, the meter management unit 105, the image analysis units 201 to 204 for each wavelength, the analysis result comparison units 205 to 208, the analysis result holding units 209 to 212, and the determination unit 300. To do.
  • the meter management unit 105 performs management of the taximeter 30 and control of the image management unit 101 based on the status data from the taximeter 30.
  • the state of the taxi is recognized based on the state data acquired from the taximeter 30 through the interface 21. For example, if the state data from the taximeter 30 represents the rented state, the state is recognized as a state in which a passenger is riding. Similarly, if the vehicle is in an empty state, the vehicle is recognized as being in a state where no passenger is present. If it is in the premium state, it is recognized as a state where a passenger is riding in the middle of the night. If it is a payment state, it will stop after a hiring state, and will recognize that it is the state which has received payment from the passenger.
  • the meter management unit 105 sends to the image management unit 101 a camera control signal that determines the operation timing of the camera 10 (pressing of the shutter and the acquisition timing of an image captured thereby).
  • the state of the taximeter 30 is forcibly changed.
  • the image management unit 101 acquires an infrared image (electronic data for expressing an image) from the camera 10 based on the camera control signal.
  • the infrared image is repeatedly acquired at regular intervals, for example, every minute when the taxi is in an empty state.
  • the acquisition may be stopped.
  • the acquisition may be continued or the infrared image acquisition period may be set to 5 Get in minutes or more.
  • an infrared image is acquired at that point, and then image acquisition is stopped.
  • an infrared image acquired in an empty state or a rented state is referred to as a first infrared image
  • an infrared image acquired when the payment state is changed is referred to as a second infrared image.
  • the acquired infrared image is input to the image management unit 101 as a set of images of a plurality of wavelengths.
  • the wavelength A image analysis unit 201 analyzes the outline, arrangement, and the like of the object shown in the image of wavelength A among these multiple wavelength images, and causes the analysis result holding unit 209 to hold the analysis results. This process is repeated every time an infrared image is acquired.
  • the analysis result comparison unit 205 compares the analysis result held in the analysis result holding unit 209 with the current analysis result. If the analysis results are the same, information indicating that there is no change in the vehicle (“no change”) is output to the determination unit 300.
  • An object that is projected each time at the same position in the image is an object that is fixedly installed, so that the object can be held as a reference object, or the reference object can be masked and analyzed each time. The processing load for comparison may be reduced.
  • the determination unit 300 determines whether there has been a change in the arrangement of the object in the vehicle is changed.
  • the case where the analysis results are different is, for example, a case where an object different from the reference object is newly present, or a case where an object which is considered to be a passenger is present.
  • the passenger When a passenger is reflected, the passenger usually has a large relative ratio in the infrared image, and in the case of a passenger, the body temperature is detected. Therefore, such an object is regarded as a passenger, and information indicating the presence of the passenger (“passenger present”) is output to the determination unit 300 in addition to “changed”.
  • the same processing is performed for the wavelength B image analysis unit 202, the wavelength C image analysis unit 203, the wavelength D image analysis unit 204, the analysis result comparison units 206, 207, and 208, and the analysis result holding units 210, 211, and 212. That is, the wavelength B image analysis unit 202 analyzes the outline, arrangement, and the like of the object shown in the image of the wavelength B, and causes the analysis result holding unit 210 to hold the analysis result.
  • the wavelength C image analysis unit 203 analyzes the outline, arrangement, and the like of the object shown in the wavelength C image, and causes the analysis result holding unit 211 to hold the analysis result.
  • the wavelength D image analysis unit 203 analyzes the contour, arrangement, and the like of the object shown in the image of the wavelength D, and causes the analysis result holding unit 212 to hold the analysis result.
  • the analysis result comparison units 206, 207, and 208 compare the latest analysis result held in the corresponding analysis result holding unit with the current analysis result.
  • the image management unit 101 has one or several resolutions of wavelength A, wavelength B, wavelength C, and wavelength D that have higher resolution than other wavelengths in the imaging environment at the time of imaging (three or less in this example). It is desirable to notify the determination unit 300 that only the wavelength analysis result is valid.
  • the wavelength to be effective is individually determined based on the measurement result corresponding to the imaging environment such as the mounting position of the camera 10 in the vehicle, the performance of the camera 10, the traveling time zone, the weather, and the state of sunlight incident on the vehicle. Set.
  • the analysis result of the wavelength that is the easiest to compare the analysis results Are those of wavelength A and wavelength D.
  • the invalid flag is set for the wavelength B and the wavelength C, or the valid flag is set for the image analysis of the wavelength A and the wavelength D so that only the image analysis results of the wavelength A and the wavelength D are filtered.
  • the discriminating unit 300 is a passenger in the vehicle according to the comparison of the status data input from the meter management unit 105, the information on the effective wavelength input from the image management unit 101, and the analysis result of the infrared image of the effective wavelength. Identify objects that may be forgotten passengers. That is, the presence or absence of the passenger or the object is determined by comparing the analysis results of the object reflected in the acquired infrared image, rather than simply comparing the infrared images before the passenger gets on and when getting off.
  • the object is also a passenger Is determined not to exist.
  • the taxi is in an empty state and “passenger” information is input, or when the taxi is in a rented state and “no change” information is input Determines that the taximeter 30 may be forgotten to be changed.
  • the determination unit 300 When the state where there is a possibility that the taximeter 30 may be forgotten to be changed continues for a certain time (for example, 1 minute) or longer, the determination unit 300 outputs notification information indicating that fact to the notification unit 104 and controls data Is output to the taximeter management unit 105.
  • the notification information is information generated for the purpose of notifying the crew
  • the control data is data for changing the state of the taximeter 30.
  • the control data is output when it is in the same state even after a certain period of time has elapsed after the notification information is output.
  • the taximeter management unit 105 that has received the control data can forcibly change the state of the taximeter 30.
  • the notification unit 104 generates warning information based on the notification information from the meter management unit 105 and the determination result from the determination unit 300, and outputs this warning information to the warning unit 40.
  • the content and data format of the warning information differ depending on whether the information is notification information or the content of the determination result of the determination unit 300.
  • the warning information is generated as an operation signal of the warning lamp 42 so that the passenger is not informed. Due to this operation signal, the warning 42 flashes in red, for example.
  • the warning information is a voice message “There is a possibility that something left behind is present”, and is output from the speaker 41 as synthesized speech.
  • the warning information may be output from an output device other than the speaker 41 or the warning 42.
  • FIG. 3 is an explanatory diagram of a specific arrangement of the camera 10 and an imaging part.
  • FIG. 3A is a cross-sectional view when the inside of the taxi car is viewed from the side
  • FIG. 3B is an overhead view of the inside of the taxi car.
  • the four cameras 10 arranged in the present embodiment are the right seat camera 11, the left seat camera 12, the overhead camera 13, and the trunk camera 14.
  • the right seat camera 11 is provided at the lower part of the right seat in the front row seat, and is arranged on the floor mat in front of the rear seat right seat and between the rear seat right seat and the rear seat right door so as to be capable of imaging.
  • the left seat camera 12 is provided below the front seat left seat, and is disposed on the floor mat in front of the rear seat left seat and between the rear seat left seat and the rear seat left door so that an image can be taken.
  • Each of the right seat camera 11 and the left seat camera 12 captures images below the seating surface of the rear seat. Thereby, the right seat camera 11 and the left seat camera 12 cannot image the face of the passenger who gets on the rear seat, and the passenger does not notice the presence of these cameras 11 and 12.
  • the overhead camera 13 is provided on the ceiling above the rear seat, and is arranged so as to be able to image the seat surface of the rear seat.
  • the overhead camera 13 By disposing the overhead camera 13 behind the backrest portion of the rear seat, it is not possible to image the face of the passenger riding on the rear seat, and the passenger is not made aware of the presence of the camera 13. However, if it is too far behind, a blind spot is formed on the rear seat from the overhead camera 13. For this reason, it is not preferable to place the overhead camera 13 too far from the viewpoint of forgotten object detection.
  • the overhead camera 13 is provided above the headrest of the rear seat, and the entire seat surface of the rear seat is imaged without imaging the passenger's face.
  • the trunk camera 14 is provided in the upper part of the trunk, and is arranged so that the entire floor surface of the trunk can be imaged.
  • the camera 10 of the present embodiment is arranged so as to be able to image mainly the vicinity of the rear seat, the floor mat, and the trunk inside the taxi car. Increase the number of cameras in order to increase the accuracy of detecting lost items.
  • two overhead cameras 13 may be provided on the rear seat right seat and the rear seat left seat.
  • the cost may be reduced by excluding the rear seat left seat periphery that is relatively easy to see by the crew from the imaging region (excluding the left seat camera 12).
  • the camera 10 may be capable of panning and tilting, or a wide-angle lens, and the imaging region may be made variable to capture a wide range with a single camera.
  • FIG. 4 is an explanatory diagram of the timing of information processing executed in the forgotten object prevention system 1. This information processing is appropriately performed depending on the state of the taximeter 30 operated mainly by the crew by events such as passenger boarding, getting off, and taxi departure.
  • FIG. 4 shows an example in which there are no passengers in the empty state and there are passengers in the rental state.
  • the process executed by the forgotten object prevention system 1 analyzes the outline, position, etc. of the object shown in the effective wavelength image in the first infrared image acquired from the camera 10 when the taxi is empty. The result is retained, and the object reflected in the second infrared image acquired from the camera 10 is analyzed when the passenger gets off after changing from the empty state to the rented state, and the analysis result is retained. Comparing with results.
  • the analysis of the object shown in the infrared image requires a great deal of processing.
  • the processing load of the forgotten object prevention system 1 is relatively small, so that such an analysis can be performed in detail. Therefore, when the vehicle is in an empty state where it normally travels longer than the rented state, an analysis such as specifying the arrangement of the area around the rear seat, floor mat, and trunk is performed based on the first infrared image. , Keep the result. These processes are repeated during traveling. The period is normally about 1 minute as described above, but the interval may be automatically increased every time the empty state is continued for a certain period of time.
  • the taxi meter 30 is changed from the rented state to the paid state by the crew.
  • the process executed by the forgotten object prevention system 1 in the payment state analyzes the object reflected in the second infrared image, and compares the latest analysis result stored in advance with the analysis result by the first infrared image. Depending on the content of the comparison, it is possible to determine whether there are objects other than passengers in the vehicle, and if it is determined that objects other than passengers exist in the vehicle, there is a possibility that forgotten things have occurred for the crew Warning that there is sex.
  • the warning is given after the taxi meter 30 is in a rented state and before a lapse of a predetermined time when the passenger gets off, for example, within one minute immediately after getting off. Thereby, before a passenger leaves a taxi, a crew member can check the presence or absence of a thing left behind.
  • FIG. 5 is an explanatory diagram of the procedure for providing information when a passenger is about to get off.
  • the thing-left-behind prevention system 1 confirms that the taximeter 30 is in a payment state. If it is not in the payment state, the information providing process is not performed (S10: N). If the taxi meter 30 is in the payment state (S10: Y), it is time for the passengers to get off, so the control unit 20 says "Thank you for the ride. Please check the items around you so that there are no leftovers.
  • the voice guidance such as “is performed by the speaker 41 (S11). With such voice guidance, first, the passengers are alerted to things left behind.
  • the forgotten object prevention system 1 determines the object that may be forgotten according to the comparison contents of the analysis result of the object reflected in the first infrared image and the analysis result of the object reflected in the second infrared image. The presence or absence is discriminated (S12). Specifically, the analysis result in the second infrared image is compared with the analysis result in the first infrared image held in advance. As a result, if both are reference objects and there is no change, there is no object that may be forgotten, so a notification of no change is made, and the information providing process is finished as it is (S12 “No”). .
  • the object reflected in the second infrared image cannot be confirmed, for example, when the light from the outside of the vehicle is too strong (such as overexposure of the infrared image) (S12 “cannot be determined”), it is based on the second infrared image of the next cycle. Repeat the discrimination process. If it is still impossible to determine, it is determined that there is no object different from the reference object. If the object exists (S12: present), a warning is output (S13).
  • the crew can know the possibility of occurrence of forgotten things from the warning sound (voice) from the speaker 41 and the display of the warning light 42. You can call attention.
  • FIG. 6 and 7 are explanatory diagrams of processing procedures executed by the forgotten object prevention system 1 when a taxi is traveling.
  • FIG. 6 shows an example when the taxi starts running after the taxi meter 30 changes from the paid state to the empty state
  • FIG. 7 shows an example when the taxi meter 30 runs in the rented state.
  • FIG. 6 it is assumed that information on the reference object analyzed in the empty state is held as an analysis result.
  • the forgotten object prevention system 1 when the forgotten object prevention system 1 recognizes that the taximeter 30 is in an empty state (S20: Y), it performs the object / passenger discrimination process (S21). That is, an infrared image is acquired from the camera 10, and the outline, arrangement, etc. of the object in the vehicle reflected in the infrared image are analyzed. The criterion for determining whether or not the object shown in the infrared image is a passenger is as described above. If the current analysis result is compared with the previous analysis result held in advance, if there is no change from the reference object, there is no object that may be forgotten, so no change notification is given (S21 “ No change ", S22), and the process returns to S20. In the notification of no change, the warning lamp 42 may be lit in green, or nothing may be displayed.
  • the forgotten object prevention system 1 uses the contour or the like as the object Specify (S23). Since this state is an object discrimination failure in the information providing process of FIG. 5, a warning is issued again, and the process returns to S20.
  • the flashing of the warning light 42 can be eliminated when the crew member responds. Moreover, when it is not necessary to change the state of the taximeter 30 compulsorily, the process is abbreviate
  • the forgotten object prevention system 1 when the forgotten object prevention system 1 recognizes that the taximeter 30 is in a rented state (S30: Y), it determines whether or not there are passengers (S31). In S31, when it is determined that there is a passenger (S31: “passenger present”), the taxi meter 30 and the actual in-vehicle state match, so a passenger presence notification is made (S32), and the process returns to S30. In the passenger presence notification, the warning lamp 42 may be lit in green, or nothing may be displayed.
  • the inside of a taxi is imaged using infrared rays of a specific wavelength that has a higher resolution than other wavelengths in the imaging environment when the shutter of the camera 10 is pressed. For this reason, it is possible to prevent the occurrence of a situation such as misidentifying a shadow as an object or not being able to recognize an object existing in a shadow portion, which may occur in a conventional imaging device that performs imaging using visible light. Moreover, the analysis of the outline and arrangement of the object reflected in the infrared image is repeatedly performed, and the analysis results are compared with each other to determine an object that is likely to be a passenger or forgotten item.
  • the processing load is significantly reduced as compared with the case where the captured image itself is held and the images are compared with each other.
  • imaging is performed using infrared rays, it is possible not only to harm passengers' privacy, but also to identify objects that exist in dark places such as trunk rooms, lower seats of rear seats, or floor mats. Therefore, the detection accuracy can be remarkably improved as compared with the case where an imaging device using visible light is used.
  • this embodiment is an example when the forgotten object prevention system 1 is mounted in a taxi, it may be mounted in another passenger car such as a hire other than a taxi. Further, in this embodiment, as an example of analyzing an object reflected in an infrared image of a specific wavelength, image analysis units 201 to 204 for each wavelength, analysis result comparison units 205 to 208, and analysis result holding units 209 to 209 in FIG. 212 is provided, but is not limited to this example. For example, a filter (filtering circuit) that transmits only infrared rays having the specific wavelength may be provided. A GPS receiver may be provided so that it is possible to identify when and where the passenger is left behind based on position data and time data derived from the GPS data. In this case, when an object that may be forgotten is determined, it is necessary to store information about the object in association with GPS data.

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

　乗客のプライバシーを保護しつつ旅客自動車内の暗い部分であっても忘れ物を検知可能な忘れ物防止システムを提供することを課題とする。　忘れ物防止システム（１）は、可視光では撮像できない部位を含むタクシー車内の撮像を赤外線を用いて行うカメラ（１０）を備える。忘れ物防止システム（１）は、赤外線画像のうち解像度の高い特定波長の赤外線画像をもとに、乗客が乗車していないときには存在しない物体の有無を乗客の降車の際に解析する。物体が有る場合には、警告部（４０）により、タクシーの乗務員に忘れ物が発生した可能性があることを警告する。

Description

忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
　この発明は、タクシーやハイヤーなどの旅客自動車の乗務員に、乗客の忘れ物がある可能性を通知する忘れ物防止システムに関する。
　旅客自動車では、乗客による忘れ物防止のために、従来から様々な仕組みが提案されている。例えば特許文献１には、車内撮影用の監視カメラにより、空車時にドアが開いたとき及び精算後にドアが閉じたときに車内を撮像し、撮像した車内映像を基準映像と比較することで忘れ物の有無を検知する車内忘れ物防止装置が提案されている。基準映像は、乗客が乗車するときの映像である。忘れ物有りを検知した場合には、忘れ物が有ることを乗客又は乗務員に報知する。
　また、特許文献２には、忘れ物として検知すべき物品のリストを記憶しておき、乗客が降車した際に車両内の物品を判別し、判別した物品がリストに含まれる場合に当該物品を忘れ物として検知する車載装置が提案されている。物品の判別は、撮像装置により撮像された乗客の乗車前後の画像の差分に基づいて行われる。
特開２００６－３３８５３５号公報 特開２０１２－１２３４９７号公報
　特許文献１、２に開示された装置は、いずれも撮像装置により車内を撮像し、その撮像画像から忘れ物を検知するものである。撮像装置による撮像画像から忘れ物を検知する方法は、センサ等により忘れ物を検知する方法よりも一般的にはコスト面で優位となる。しかし、撮像装置で車内を撮像するため、乗客の顔が撮像される可能性がある。乗客を特定できる形態の撮像は、乗客のプライバシー保護の観点から好ましくない。乗客によっては、撮像されることを好ましく思わず、抵抗感を抱くことも考えられる。
　また、可視光による撮像では、撮像装置からみて何らかの物体の影になったり、トランクルームなどのように暗い部分では、忘れ物の検知が困難となる。さらに、従来の撮像装置による撮像では、天候（晴天、曇天）、時間帯（日中、夜間）、走行環境（トンネル等の有無）、太陽光の角度によって、映り方が異なる。そのため、撮像時の光量のムラによって物体の認識処理に誤差が生じたり、影を物体と誤認識したりする場合がある。
　本発明は、乗客のプライバシーを保護しつつ、天候、時間帯等の影響を受けずに旅客自動車内への忘れ物を検知可能な忘れ物防止システムを提供することを課題とする。
　上記課題を解決するための本発明の忘れ物防止システムは、乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置と、前記空車状態のときに前記撮像装置より取得した第１赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第２赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する解析手段と、前記解析手段による比較内容に応じて乗客以外の物体が車内に存在するかどうかを判別する判別手段と、前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する警告手段と、を備えることを特徴とする。
　この忘れ物防止システムは、コンピュータプログラムと、このコンピュータプログラムを読み込み可能なコンピュータとの協働により実現することができる。また、このコンピュータにより、旅客自動車の乗務員に対する情報提供方法を実施することができる。
　本発明は、例えば車内への太陽光の入射角度、光量、天候に応じて最適な解像度となる特定波長の赤外線を用いて旅客自動車の車内を撮像する。そのため、可視光により撮影を行う従来の撮像装置では生じ得る、影を物体と誤認したり、あるいは、影の部分に存在する物体を認識できないなどの事態の発生を防止することができる。また、赤外線画像に映された物体の解析を行うため、乗客のプライバシーを害することもない。
　また、赤外線画像に映された物体の解析結果に基づいて忘れ物の可能性がある物体や乗客の判別を行うので、画像を保持したり、画像同士を比較する場合に比べて、処理の負荷を著しく軽減させることができる。そのため、乗客の忘れ物の可能性の有無を迅速に判別することができる。
忘れ物防止システムの全体構成図。 忘れ物防止システムに形成される機能構成図。 （ａ）、（ｂ）はカメラの配置と撮像範囲の説明図。 忘れ物防止システムが実行する処理のタイミングの説明図。 乗客が降車するときに実行する忘れ物防止システムの処理手順説明図。 空車状態のときに実行される忘れ物防止システムの処理手順説明図。 賃走状態のときに実行される忘れ物防止システムの処理手順説明図。
　以下、本発明の実施の形態を図面を用いて詳細に説明する。
＜システム構成＞
　図１は、本実施形態の忘れ物防止システムの構成図である。この忘れ物防止システム１は、旅客自動車の一例であるタクシーに搭載されており、乗客の忘れ物の有無をタクシーの乗務員に通知する。
　忘れ物防止システム１は、撮像装置として、カメラ１０が複数台設けられる。複数のカメラ１０は、タクシーの車両内の各所に、できるだけ死角を作らないように配置される。本実施形態では、後部座席右シートの足下を撮像する右シートカメラ１１、後部座席左シートの足下を撮像する左シートカメラ１２、後部座席シートを頭上から撮像する頭上カメラ１３、及びトランク内部を撮像するトランクカメラ１４が、車両内に備えられる。
　但し、カメラ１０の数量、配置は、本例に限らず、コスト及び忘れ物の検知精度を考慮して、適宜設けられる。
　カメラ１０は、赤外線に感度を持つ赤外線カメラであり、自動シャッタにより静止画像を撮る。シャッタ音は出ないように設定する。赤外線カメラは、可視光線の赤色より波長が長く（周波数が低い）、電波より波長の短い電磁波に感度を持つカメラであり、可視光による撮像ができない部位、例えばトランク内部、後部座席のフロアマット、夜のように車内が暗い場合であっても撮像が可能である。また、赤外線カメラでは、被写体の相対的な大きさの解析によって乗客の存在は認識できるが、乗客の顔までは識別しない。そのため、乗客のプライバシーを害することもない。
　忘れ物防止システム１は、忘れ物検知に関する主な機能をコンピュータの一種である制御部２０において形成する。制御部２０は、インタフェース２１、ＣＰＵ（Central Processing Unit）２２、ＲＡＭ（Random Access Memory）２３、ＲＯＭ（Read Only Memory）２４を備える。また、大容量記録媒体であるＨＤＤ（Hard Disk Drive）２５を備える。
　インタフェース２１、ＣＰＵ２２、ＲＡＭ２３、ＲＯＭ２４及びＨＤＤ２５は、バスを介して相互にデータの送受信が可能に接続されている。
　インタフェース２１は、カメラ１０により撮像された赤外線画像を取得する。インタフェース２１は、タクシーメータ３０に接続されており、タクシーメータ３０の状態（賃走、空車、割増、支払）を表す状態データを取得する。タクシーメータ３０は、乗務員の操作により、その状態（賃走状態、空車状態、割増状態、支払状態）が変更されるが、後述するとおり、制御部２０からの制御データにより、状態が強制変更される場合もある。
　インタフェース２１は、警告部４０にも接続されている。警告部４０は、スピーカ４１及び警告灯４２に接続される。
　ＣＰＵ２２は、ＨＤＤ２５から本発明のコンピュータプログラムを読み込み、さらに、ＲＯＭ２４から制御に必要な制御プログラムを読み込み、これらをＲＡＭ２３を作業領域として実行することで、乗客の忘れ物検知に関する処理を実行する。
　図２は、ＣＰＵ２２がコンピュータプログラムを実行することで制御部２０に形成される機能を表す機能ブロック図である。
　制御部２０は、画像管理部１０１、通知部１０４、メータ管理部１０５、波長毎の画像解析部２０１～２０４、解析結果比較部２０５～２０８、解析結果保持部２０９～２１２、判別部３００として機能する。
　メータ管理部１０５は、タクシーメータ３０の管理と、タクシーメータ３０からの状態データに基づく画像管理部１０１の制御とを行う。具体的には、インタフェース２１を通じてタクシーメータ３０より取得した状態データに基づき、タクシーの状態を認識する。例えばタクシーメータ３０からの状態データが賃走状態を表すものであれば、乗客を乗車させて走行している状態と認識する。同様に、空車状態であれば、乗客が存在しない状態で走行している状態と認識する。割増状態であれば、深夜帯に乗客を乗車させて走行している状態と認識する。支払状態であれば、賃走状態の後に停止して、乗客から支払いを受けている状態と認識する。
　これらの認識結果に基づき、メータ管理部１０５は、カメラ１０の作動タイミング（シャッタの押下及びそれにより撮像された画像の取得タイミング）を定めるカメラ制御信号を画像管理部１０１へ送出する。また、後述する判別部３００から制御データを受信したときに、タクシーメータ３０の状態を強制的に変更する。
　メータ管理部１０５におけるこれらの機能動作については、後述する。
　画像管理部１０１は、上記のカメラ制御信号に基づき、カメラ１０から赤外線画像（画像を表現するための電子データ）を取得する。赤外線画像は、タクシーが空車状態のときは一定時間毎、例えば１分間毎に繰り返し取得する。タクシーが乗客を乗せるために停止し、賃走状態に変化したときは、取得を停止しても良いが、乗客の有無を監視する場合は、そのまま継続するか、あるいは赤外線画像の取得周期を５分以上にして取得する。タクシーが空車状態から賃走状態に変化し、さらに支払い状態に変化した場合は、その時点で赤外線画像を取得し、その後、画像取得を停止する。以後の説明では、特に、区別する必要がない場合を除き、空車状態又は賃走状態で取得する赤外線画像を第１赤外線画像、支払い状態に変化したときに取得する赤外線画像を第２赤外線画像という。
　取得した赤外線画像は、複数の波長の画像の集合として画像管理部１０１に入力される。波長Ａ画像解析部２０１は、これらの複数の波長の画像のうち、波長Ａの画像に映されている物体の輪郭、配置等を解析し、解析結果を、解析結果保持部２０９に保持させる。この処理を赤外線画像を取得する度に繰り返す。
　解析結果比較部２０５は、解析結果保持部２０９に保持されている解析結果と今回の解析結果とを比較する。解析結果が同じである場合は、車内に変化が無いことを表す情報（「変化無し」）を判別部３００へ出力する。画像の同じ位置で毎回映される物体は、固定的に設置されている物体ということになるので、当該物体を基準物体として保持したり、あるいは、当該基準物体にマスキングを施し、毎回の解析及び比較のための処理負荷を軽減するようにしてよい。
　一方、解析結果が異なる場合は、車内の物体の配置に変化があったことを表す情報（「変化有り」）を判別部３００へ出力する。解析結果が異なる場合は、例えば、基準物体とは異なる物体が新たに存在することになった場合、あるいは、乗客と思われる物体が存在する場合である。乗客が映り込む場合、乗客は赤外線画像における相対割合が大きくなるのが通常であり、しかも、乗客の場合には体温が検知される。そのため、そのような物体を乗客とみなし、「変化有り」に加え、乗客の存在を表す情報（「乗客有り」）を判別部３００へ出力する。
　同様の処理を、波長Ｂ画像解析部２０２、波長Ｃ画像解析部２０３、波長Ｄ画像解析部２０４、解析結果比較部２０６，２０７，２０８、解析結果保持部２１０，２１１，２１２について行う。すなわち、波長Ｂ画像解析部２０２は、波長Ｂの画像に映されている物体の輪郭、配置等を解析し、解析結果を解析結果保持部２１０に保持させる。波長Ｃ画像解析部２０３は、波長Ｃの画像に映されている物体の輪郭、配置等を解析し、解析結果を解析結果保持部２１１に保持させる。波長Ｄ画像解析部２０３は、波長Ｄの画像に映されている物体の輪郭、配置等を解析し、解析結果を解析結果保持部２１２に保持させる。解析結果比較部２０６，２０７，２０８は、それぞれ対応する解析結果保持部に保持されている最新の解析結果と今回の解析結果とを比較する。
　なお、画像管理部１０１は、波長Ａ、波長Ｂ、波長Ｃ、波長Ｄのうち、撮像時点の撮像環境では他の波長よりも高い解像度となる１つ又はいくつか（本例では３つ以下）の波長の解析結果だけを有効にすることを判別部３００に通知しておくことが望ましい。
　有効にする波長は、車内へのカメラ１０の取付位置、カメラ１０の性能、走行時間帯、天候、車内へ入射される太陽光の状況のような撮像環境に応じた実測結果に基づき、個別に設定する。例えば、さまざまな季節、天候、時間帯第１赤外線画像又は第２赤外線画像を波長Ａ、波長Ｂ、波長Ｃ、波長Ｄ毎に解析した結果、解析結果同士の比較が最も容易な波長の解析結果が波長Ａ，波長Ｄのものであったする。この場合、波長Ｂ、波長Ｃについては無効フラグを立て、あるいは、波長Ａ及び波長Ｄの画像解析について有効フラグを立て、波長Ａ及び波長Ｄの画像解析結果だけがフィルタリングされるようにする。
　判別部３００は、メータ管理部１０５より入力される状態データ、画像管理部１０１より入力される有効波長の情報、及び、有効波長の赤外線画像の解析結果の比較内容に応じて、車内における乗客、乗客の忘れ物である可能性のある物体の判別を行う。すなわち、乗客が乗車する前と降車するときの赤外線画像同士を単に比較するのではなく、取得した赤外線画像に映された物体の解析結果の比較により、乗客又は物体の存在の有無を判別する。
　例えば、タクシーが空車状態で、有効な波長の画像解析が波長Ａ及び波長Ｄのものであり、解析結果比較部２０５、２０８から「変化無し」の情報が入力されている場合は、物体も乗客も存在しないと判別する。
　他方、タクシーが賃走状態から支払状態に変化し、乗客が降車したにも関わらず「変化有り」の情報が入力されている場合は、直前に乗車した乗客の忘れ物の可能性がある物体が存在すると判別する。また、タクシーが空車状態であるにも関わらず、「乗客有り」の情報が入力される場合、あるいは、タクシーが賃走状態であるにも関わらず、「変化無し」の情報が入力される場合は、タクシーメータ３０の変更し忘れの可能性があると判別する。
　判別部３００は、タクシーメータ３０の変更し忘れの可能性がある状態が、一定時間（例えば１分間）以上継続する場合は、その旨を表す報知情報を通知部１０４へ出力するとともに、制御データをタクシーメータ管理部１０５に出力する。報知情報は乗務員へ報知する目的で生成される情報であり、制御データは、タクシーメータ３０の状態を変更させるためのデータである。制御データは、報知情報の出力後一定時間経過後も同じ状態であるときに出力される。制御データを受領したタクシーメータ管理部１０５は、タクシーメータ３０の状態を強制的に変更することができる。
　通知部１０４は、メータ管理部１０５からの報知情報と、判別部３００からの判別結果とをもとに警告情報を生成し、この警告情報を警告部４０に向けて出力する。警告情報の内容及びデータ形式は、報知情報かどうか、あるいは、判別部３００の判別結果がどのような内容かによって異なるものとなる。
　報知情報の場合、警告情報は、乗客にその旨が知得されることがないようにするため、警告灯４２の作動信号として生成される。この作動信号により、警告等４２が例えば赤色で点滅する。また、判別部３００の判別結果が「変化有り」の場合、警告情報は、「忘れ物が存在する可能性があります。」という音声メッセージであり、スピーカ４１から合成音声により出力される。
　なお、警告情報の出力は、スピーカ４１又は警告等４２以外の出力装置であってもよい。
＜カメラ配置＞
　図３は、カメラ１０の具体的な配置及び撮像部位の説明図である。図３（ａ）は、タクシー車内を横から見た場合の断面図であり、図３（ｂ）は、タクシー車内の俯瞰図である。上述の通り、本実施形態において配置されるカメラ１０は、右シートカメラ１１、左シートカメラ１２、頭上カメラ１３、及びトランクカメラ１４の４台である。
　右シートカメラ１１は、前列座席右シートの下部に設けられており、後部座席右シート前のフロアマット上及び後部座席右シートと後部座席右側ドアとの間を撮像可能に配置される。左シートカメラ１２は、前列座席左シートの下部に設けられており、後部座席左シート前のフロアマット上及び後部座席左シートと後部座席左側ドアとの間を撮像可能に配置される。右シートカメラ１１及び左シートカメラ１２は、それぞれ、後部座席シートの座面より下側を撮像するようにする。これにより、右シートカメラ１１及び左シートカメラ１２は、後部座席シートに乗車する乗客の顔を撮像することはできないし、乗客にこれらのカメラ１１，１２の存在を気付かせることもない。
　頭上カメラ１３は、後部座席シート上の天井に設けられており、後部座席シートの座面上を撮像可能に配置される。頭上カメラ１３を後部座席シートの背もたれ部分より後方に配置することで、後部座席シートに乗車する乗客の顔を撮像することはできないし、乗客にそのカメラ１３の存在を気付かせることもない。しかし、後方過ぎると頭上カメラ１３から後部座席シート上に死角ができる。そのため、忘れ物検知の観点からは、あまり後方に頭上カメラ１３を配置することは好ましくない。本実施形態では、頭上カメラ１３を後部座席シートのヘッドレスト上方に設けており、乗客の顔を撮像することなく、後部座席シートの座面上全体を撮像することとしている。
　トランクカメラ１４は、トランク内上部に設けられており、トランクの床面全体を撮像可能に配置される。
　以上のように本実施形態のカメラ１０は、タクシー車内の、主に後部座席シート周辺、フロアマット、及びトランク内部を撮像可能に配置される。忘れ物の検知精度を上げる場合には、カメラの台数を増やす。例えば頭上カメラ１３を２台にして、後部座席右シート上及び後部座席左シート上に設けるようにしてもよい。また、逆に、乗務員により比較的視認しやすい後部座席左シート周辺を撮像部位から除く（左シートカメラ１２を除く）ようにしてコストを削減してもよい。また、カメラ１０にパン、チルトが可能なもの或いは広角レンズを用いて、撮像部位を可変にして、１台のカメラで広範囲を撮像するようにしてもよい。
＜運用形態：情報提供方法＞
　次に、上記のように構成される忘れ物防止システム１の運用形態例を説明する。ここでは、忘れ物防止システム１を、乗務員に対する情報提供のためのツールとして使用する場合の例を挙げる。
　図４は、忘れ物防止システム１において実行される情報処理のタイミングの説明図である。この情報処理は、乗客の乗車、降車、タクシーの発車等のイベントにより、主として乗務員により操作されるタクシーメータ３０の状態に応じて適宜行われる。なお、図４では、空車状態では乗客が存在せず、賃走状態では乗客が存在する場合の例である。
　忘れ物防止システム１が実行する処理は、タクシーが空車状態のときに、カメラ１０より取得した第１赤外線画像のうち、有効波長の画像に映された物体の輪郭、位置等を解析し、その解析結果を保持するとともに、空車状態から賃走状態に変化した後、乗客が降車する際にカメラ１０より取得した第２赤外線画像に映された物体を解析し、その解析結果を保持されている解析結果と比較する段階を有する。
　赤外線画像に映された物体の解析には多大な処理を要するところ、空車状態では、忘れ物防止システム１の処理負荷が比較的少ないため、そのような解析を詳細に行うことができる。そのため、通常は賃走状態よりも長い時間走行する空車状態のときに、第１赤外線画像に基づき、車内後部のシート周辺、フロア・マット、及びトランク内部の配置状況を特定するなどの解析を行い、その結果を保持しておく。これらの処理は走行中、繰り返し行われる。その周期は、上述したとおり通常は１分程度であるが、空車状態が一定時間継続される度に自動的に間隔が長くなるようにしてもよい。
　乗客が降車するときには、乗務員により、タクシーメータ３０が賃走状態から支払状態に変えられる。支払状態のときに忘れ物防止システム１が実行する処理は、第２赤外線画像に映された物体の解析を行い、予め保持されている最新の解析結果と第１赤外線画像による解析結果との比較を行い、比較内容に応じて、乗客以外の物体が車内に存在するかどうかを判別する段階と、乗客以外の物体が車内に存在すると判別された場合に、乗務員に向けて、忘れ物が発生した可能性があることを警告する段階とを有する。
　警告は、タクシーメータ３０が賃走状態の後、乗客が降車した所定時間経過前、例えば降車直後から１分以内に行う。これにより、乗客がタクシーから離れる前に乗務員が忘れ物の有無を確認することができる。
　なお、乗客による支払いが迅速に行われ、警告が発車に間に合わない可能性もある。発車後に警告が行われると、忘れ物の可能性を検知しても忘れ物の防止にならない。そのため、警告を発車の前に確実に行うために、警告の他に忘れ物の可能性が無い旨の通知を行うようにしてもよい。
　あるいは、乗務員が警告又は報知情報に対して応答した場合にだけ発車を許可する許可機能を制御部２０に設けることで、警告が発車後に行われることを防止するようにしてもよい。この場合の乗務員による応答は、例えば警告又は報知情報の出力がスピーカ４１により行われる場合にはスピーカ４１の消音、警告灯４２により行われる場合には警告灯４２のリセットがある。これにより、忘れ物の可能性がある物体が存在する場合に、タクシーの乗務員に確実にその状況を知らせることができる。
　上記の乗務員に対する情報提供を行う際の忘れ物防止システム１の処理手順は、以下のようになる。
　図５は、乗客が降りようとするときの情報提供処理の手順説明図である。忘れ物防止システム１は、タクシーメータ３０が支払状態であることを確認する。支払状態でなければ、当該情報提供処理を行わない（Ｓ１０：Ｎ）。
　タクシーメータ３０が支払状態であれば（Ｓ１０：Y）、乗客が降車するタイミングであるので、制御部２０は、「ご乗車ありがとうございます。お忘れ物の無いようにお手回りの品をご確認ください。」のような音声案内を、スピーカ４１により行う（Ｓ１１）。このような音声案内により、まず、乗客に忘れ物への注意を喚起する。
　音声案内中に、忘れ物防止システム１は、第１赤外線画像に映された物体の解析結果と第２赤外線画像に映された物体の解析結果の比較内容に応じて忘れ物の可能性がある物体の有無を判別する（Ｓ１２）。具体的には、第２赤外線画像における解析結果と、予め保持されている第１赤外線画像における解析結果とを比較する。その結果、いずれも基準物体であり、変化が無い場合は、忘れ物の可能性のある物体が存在しないことになるので、変化無し通知を行い、そのまま当該情報提供処理を終える（Ｓ１２「無」）。
　第２赤外線画像に映された物体を確認できない場合、例えば車外からの光が強すぎる場合（赤外線画像の白飛び等）場合（Ｓ１２「判断不可」）、次の周期の第２赤外線画像に基づく判別処理を繰り返す。それでも判断できない場合は、基準物体と異なる物体が存在しないと判別する。当該物体が存在した場合（Ｓ１２：有）、警告を出力する（Ｓ１３）。
　以上のような処理により、乗務員は、スピーカ４１からの警告音（音声）や警告灯４２の表示により、忘れ物の発生の可能性を知ることができるので、降車した乗客に対して直ちに、忘れ物に対する注意を喚起することができる。
＜走行中の解析処理＞
　図６及び図７は、タクシーが走行しているときに忘れ物防止システム１が実行する処理手順説明図である。図６は、タクシーメータ３０が支払状態から空車状態に変化した後にタクシーが走行を開始したとき、図７はタクシーメータ３０が賃走状態で走行しているときの例である。なお、図６では、空車状態時に解析した基準物体に関する情報が解析結果として保持されているものとする。
　図６を参照すると、忘れ物防止システム１は、タクシーメータ３０が空車状態であることを認識すると（Ｓ２０：Y）、物体、乗客の判別処理を行う（Ｓ２１）。すなわちカメラ１０から赤外線画像を取得して、その赤外線画像に映された車内の物体の輪郭、配置等を解析する。赤外線画像に映された物体が乗客かどうかの判別基準については上述したとおりである。今回の解析結果と予め保持されている前回の解析結果と比較し、基準物体との変化が無ければ、忘れ物の可能性のある物体が存在しないことになるので、変化無し通知を行い（Ｓ２１「変化無し」，Ｓ２２）、Ｓ２０の処理に戻る。変化無し通知は、警告灯４２を緑色に点灯させてもよく、あるいは、何も表示させないようにしてもよい。
　Ｓ２１において、乗客に相当する物体は存在しないが、基準物体と異なる物体が存在すると判別した場合（Ｓ２１：「変化有り」，「乗客無し」）、忘れ物防止システム１は、その物体を輪郭等によって特定する（Ｓ２３）。この状態は、図５の情報提供処理の際における物体の判別漏れであるため、改めて警告を出した後、Ｓ２０の処理に戻る。
　Ｓ２１において、乗客が存在すると判別した場合（Ｓ２１：「変化有り」，「乗客有り」）、タクシーメータ３０の状態と実際の車内の状態とが異なることになる。これは、一般的には、乗務員がタクシーメータ３０を空車状態から賃走状態ないし割増状態に切り替え忘れた場合に生じる現象である。そこで、忘れ物防止システム１は、乗客有り通知を行い（Ｓ２４）、警告灯４２を点滅させる。一定時間経過前であれば、警告灯４２の点滅状態を継続したままＳ２０に戻る。一定時間経過後も同じであれば、タクシーメータ３０の状態を強制的に変更させる（Ｓ２５：Y、Ｓ２６）。
　なお、乗務員が応答した場合に警告灯４２の点滅を解消できることは、上述したとおりである。また、タクシーメータ３０の状態を強制的に変更させる必要がない場合は、その処理を省略し、乗客有り通知のまま、Ｓ２０に戻るようにする。
　図７を参照し、忘れ物防止システム１は、タクシーメータ３０が賃走状態であることを認識すると（Ｓ３０：Y）、乗客の有無の判別を行う（Ｓ３１）。
　Ｓ３１において、乗客が存在すると判別した場合（Ｓ３１：「乗客有り」）、タクシーメータ３０の状態と実際の車内の状態とが一致するので、乗客有り通知を行い（Ｓ３２）、Ｓ３０に戻る。乗客有り通知は、警告灯４２を緑色に点灯させてもよく、あるいは、何も表示させないようにしてもよい。
　Ｓ３１において、乗客が存在しないと判別した場合（Ｓ３１：「乗客無し」）、タクシーメータ３０の状態と実際の車内の状態とが異なることになる。これは、一般的には、乗務員がタクシーメータ３０を賃走状態から空車状態に切り替え忘れた場合に生じる現象である。そこで、忘れ物防止システム１は、乗客無し通知を行い（Ｓ３３）、警告灯４２を点滅させる。一定時間経過前であれば、警告灯４２の点滅状態を継続したままＳ３０に戻る。一定時間経過後も同じであれば、タクシーメータ３０の状態を強制的に変更させる（Ｓ３４：Y、Ｓ３５）。
　なお、乗務員が応答した場合は、点滅状態を解消できることは、上述したとおりである。また、タクシーメータ３０の状態を強制的に変更させる必要がない場合は、その処理を省略し、乗客無し通知のまま、Ｓ３０に戻るようにする。
［実施形態による効果］
　以上説明したように、本実施形態の忘れ物防止システム１では、カメラ１０のシャッタを押す時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いてタクシーの車内を撮像する。そのため、可視光により撮影を行う従来の撮像装置では生じ得る、影を物体と誤認したり、あるいは、影の部分に存在する物体を認識できないなどの事態の発生を防止することができる。
　また、赤外線画像に映された物体の輪郭や配置等の解析を繰り返し行い、解析結果同士を比較して、乗客及び忘れ物の可能性の高い物体を判別する。そのため、撮像画像それ自体を保持し、画像同士を比較する場合に比べて、処理の負荷量が著しく軽減される。これにより、乗客が支払いを済ませ、降車するまでの僅かな時間の間に、忘れ物の可能性のある物体を検知することができる。
　さらに、赤外線を用いて撮像するため、乗客のプライバシーを害さないことはもとより、トランクルームや後部座席のシート下部あるいはフロアマットのように暗い場所に存在する物体をも識別することができる。そのため、可視光を用いた撮像装置を用いる場合よりも、検知精度を格段に高めることができる。
［変形例］
　本実施形態は、忘れ物防止システム１をタクシーに搭載した場合の例であるが、タクシー以外にもハイヤー等の他の旅客自動車に搭載してもよい。
　また、本実施形態では、特定波長の赤外線画像に映された物体の解析を行う例として、図２の波長別画像解析部２０１～２０４、解析結果比較部２０５～２０８、解析結果保持部２０９～２１２を設けているが、この例に限定されない。例えば、当該特定波長の赤外線だけを透過させるフィルタ（フィルタリング回路）を設けるようにしてもよい。
　ＧＰＳレシーバを設け、ＧＰＳデータから導かれる位置データ及び時刻データに基づいて、いつ、どこで乗車した乗客の忘れ物であるかを特定できるようにしてもよい。この場合、忘れ物の可能性のある物体を判別したときに、当該物体に関する情報をＧＰＳデータに関連付けて保持しておく必要がある。
　１…忘れ物防止システム、１０…カメラ、１１…右シートカメラ、１２…左シートカメラ、１３…頭上カメラ、１４…トランクカメラ、２０…制御部、２１…インタフェース、２２…ＣＰＵ、２３…ＲＡＭ、２４…ＲＯＭ、２５・・・ＨＤＤ、３０…タクシーメータ、４０…警告部、４１…スピーカ、４２…警告灯、１０１…画像管理部、１０４…通知部、１０５…メータ管理部、２０１～２０４・・・波長別の画像解析部、２０５～２０８・・・解析結果比較部、２０９～２１２・・・解析結果保持部。

Claims (10)

  1. 　乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置と、
    　前記空車状態のときに前記撮像装置より取得した第１赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第２赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する解析手段と、
    　前記解析手段による比較内容に応じて、乗客以外の物体が車内に存在するかどうかを判別する判別手段と、
    　前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する警告手段と、を備える、
    　忘れ物防止システム。
  2. 　前記解析手段は、前記撮像装置により撮像された前記第１赤外線画像又は第２赤外線画像を異なる波長毎に解析し、解析結果同士の比較が最も容易な波長の解析結果を前記比較の結果として前記判別手段へ出力する、
    　請求項１記載の忘れ物防止システム。
  3. 　前記撮像装置は、前記波長の赤外線だけを透過させるフィルタを有する、
    　請求項２記載の忘れ物防止システム。
  4. 　前記撮像装置は、前記車内の後部座席のフロアのほか、フロアマット及びトランク内部の一方を撮像可能に配置される、
    　請求項１、２又は３記載の忘れ物防止システム。
  5. 　少なくとも賃走状態又は空車状態を示すメータをさらに備えており、
    　前記解析手段は、前記メータが空車状態を示す間、繰り返し前記第１赤外線画像を前記撮像装置から取得して前記解析を行い、最新の解析結果を保持するとともに、この最新の解析結果と前記第２赤外線画像に映された物体の解析結果とを比較するものであり、
    　前記警告手段は、前記メータが賃走状態の後、乗客が降車した所定時間経過前に、前記警告する、
    　請求項１ないし４のいずれかの項記載の忘れ物防止システム。
  6. 　前記メータが空車状態のときに前記撮像装置が撮像した第１赤外線画像又は前記第２赤外線画像の解析結果に乗客に相当する物体が存在するとき、又は、前記メータが賃走状態のときに前記撮像装置が撮像した前記第１赤外線画像又は前記第２赤外線画像の解析結果に乗客に相当する物体が存在するときに、その旨を表す報知情報を出力するメータ管理手段をさらに備える、
    　請求項１ないし５のいずれかの項記載の忘れ物防止システム。
  7. 　前記メータ管理手段は、前記報知情報の出力後一定時間経過しても前記メータの状態が変更されない場合に、強制的に当該メータの状態を変更させる、
    　請求項６記載の忘れ物防止システム。
  8. 　前記警告又は前記報知情報の出力に対して前記乗務員が応答することで、前記旅客自動車の発車を許可する許可手段をさらに備える、
    　請求項１～７のいずれかの記載の忘れ物防止システム。
  9. 　乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置が接続されるコンピュータが実行する方法であって、
    　前記旅客自動車が空車状態のときに前記撮像装置より取得した第１赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第２赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する段階と、
    　前記解析結果の比較内容に応じて乗客以外の物体が車内に存在するかどうかを判別する段階と、
    　前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する段階とを有する、
    　旅客自動車の乗務員に対する情報提供方法。
  10. 　乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置が接続されるコンピュータを忘れ物防止システムとして動作させるためのコンピュータプログラムであって、
    　前記コンピュータを、
    　前記空車状態のときに前記撮像装置より取得した第１赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第２赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する解析手段、
    　前記解析手段による比較内容に応じて乗客以外の物体が車内に存在するかどうかを判別する判別手段、
    　前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する警告手段、として機能させるコンピュータプログラム。
PCT/JP2013/078279 2013-08-23 2013-10-18 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム WO2015025435A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-173444 2013-08-23
JP2013173444A JP6343769B2 (ja) 2013-08-23 2013-08-23 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2015025435A1 true WO2015025435A1 (ja) 2015-02-26

Family

ID=52483237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/078279 WO2015025435A1 (ja) 2013-08-23 2013-10-18 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6343769B2 (ja)
WO (1) WO2015025435A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017000557A1 (de) 2017-01-21 2017-07-06 Daimler Ag Verfahren zur Überwachung eines Fahrzeuginnenraums
US9720416B1 (en) 2016-04-18 2017-08-01 Ford Global Technologies, Llc Vehicle security system
WO2017177849A1 (zh) * 2016-04-13 2017-10-19 京东方科技集团股份有限公司 出租车监控方法、装置及系统
US9965940B1 (en) 2017-09-05 2018-05-08 Honda Motor Co., Ltd. Passenger reminder systems and methods
US9975380B1 (en) 2017-09-05 2018-05-22 Honda Motor Co., Ltd. Passenger reminder systems and methods
GB2561062A (en) * 2017-02-03 2018-10-03 Ford Global Tech Llc A system and method for assessing the interior of an autonomous vehicle
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
CN110239538A (zh) * 2018-03-09 2019-09-17 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
CN111986453A (zh) * 2019-05-21 2020-11-24 奥迪股份公司 提醒系统、包括其的车辆及相应的方法和介质
CN112926970A (zh) * 2021-02-06 2021-06-08 孙伟嘉 一种基于智慧城市的公共交通运行管理系统
US11130446B2 (en) 2019-10-15 2021-09-28 Robert Bosch Gmbh System to detect objects ejected from a vehicle
CN113537117A (zh) * 2021-07-27 2021-10-22 广东机电职业技术学院 车载遗留物监控告警方法及其5g系统
US11780349B2 (en) 2021-03-10 2023-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting objects left behind by using heated resistive filament in a vehicle

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018024263A (ja) * 2013-10-28 2018-02-15 順一 浅間 タクシー内忘れ物発見システム
JP6014817B1 (ja) * 2015-04-28 2016-10-26 順一 浅間 タクシー乗客乗降車直後におけるタクシーの発進時の安全性向上システム及び方法
CN105809904A (zh) * 2016-05-10 2016-07-27 杨小平 办事窗口物品遗忘提醒器
KR101845077B1 (ko) 2016-12-12 2018-04-03 김한주 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템
JP6783684B2 (ja) * 2017-02-27 2020-11-11 株式会社東海理化電機製作所 制御装置
JP6851048B2 (ja) * 2017-09-04 2021-03-31 株式会社Ｚｍｐ タクシー手荷物忘れ防止システム
DE102017218100A1 (de) * 2017-10-11 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Konfigurieren von Fahrzeugfunktionen
WO2019150488A1 (ja) * 2018-01-31 2019-08-08 三菱電機株式会社 車内監視装置及び車内監視方法
JP2019144868A (ja) * 2018-02-21 2019-08-29 株式会社ミツバ 忘れ物防止支援装置及び忘れ物防止支援プログラム
JP2020142570A (ja) * 2019-03-04 2020-09-10 テイ・エス テック株式会社 通知システム及び通知システムを備える車両
CN111415347B (zh) * 2020-03-25 2024-04-16 上海商汤临港智能科技有限公司 遗留对象检测方法和装置及交通工具

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115911A (ja) * 2003-09-16 2005-04-28 Denso Corp 車両内忘れ物防止装置
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2010231415A (ja) * 2009-03-26 2010-10-14 Denso Corp 車両用監視装置
JP2011154618A (ja) * 2010-01-28 2011-08-11 Fbinnovation Inc 移動体用乗客有無判断装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP5142416B2 (ja) * 2011-07-07 2013-02-13 株式会社メガチップス 物体検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115911A (ja) * 2003-09-16 2005-04-28 Denso Corp 車両内忘れ物防止装置
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2010231415A (ja) * 2009-03-26 2010-10-14 Denso Corp 車両用監視装置
JP2011154618A (ja) * 2010-01-28 2011-08-11 Fbinnovation Inc 移動体用乗客有無判断装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177849A1 (zh) * 2016-04-13 2017-10-19 京东方科技集团股份有限公司 出租车监控方法、装置及系统
US9978249B1 (en) 2016-04-13 2018-05-22 Boe Technology Group Co., Ltd. Method, device, and system for monitoring taxi
US9720416B1 (en) 2016-04-18 2017-08-01 Ford Global Technologies, Llc Vehicle security system
DE102017000557A1 (de) 2017-01-21 2017-07-06 Daimler Ag Verfahren zur Überwachung eines Fahrzeuginnenraums
US10290158B2 (en) 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
GB2561062A (en) * 2017-02-03 2018-10-03 Ford Global Tech Llc A system and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
US9975380B1 (en) 2017-09-05 2018-05-22 Honda Motor Co., Ltd. Passenger reminder systems and methods
US9965940B1 (en) 2017-09-05 2018-05-08 Honda Motor Co., Ltd. Passenger reminder systems and methods
CN110239538A (zh) * 2018-03-09 2019-09-17 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110239538B (zh) * 2018-03-09 2022-07-12 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN111986453A (zh) * 2019-05-21 2020-11-24 奥迪股份公司 提醒系统、包括其的车辆及相应的方法和介质
US11130446B2 (en) 2019-10-15 2021-09-28 Robert Bosch Gmbh System to detect objects ejected from a vehicle
CN112926970A (zh) * 2021-02-06 2021-06-08 孙伟嘉 一种基于智慧城市的公共交通运行管理系统
US11780349B2 (en) 2021-03-10 2023-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting objects left behind by using heated resistive filament in a vehicle
CN113537117A (zh) * 2021-07-27 2021-10-22 广东机电职业技术学院 车载遗留物监控告警方法及其5g系统
CN113537117B (zh) * 2021-07-27 2022-05-06 广东机电职业技术学院 车载遗留物监控告警方法及其5g系统

Also Published As

Publication number Publication date
JP2015041344A (ja) 2015-03-02
JP6343769B2 (ja) 2018-06-20

Similar Documents

Publication Publication Date Title
JP6343769B2 (ja) 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
CA2864653C (en) Stop violation detection system and method
US20120286974A1 (en) Hit and Run Prevention and Documentation System for Vehicles
US10005425B2 (en) Seat-belt warning device
US20150286882A1 (en) Device, system and method for vehicle safety sensing and alerting
KR101487165B1 (ko) 차량 승객을 위한 승하차 안전 시스템
US20180072270A1 (en) Vehicle surround security system
CN105984407B (zh) 一种车后情况监视及警示装置
US11460376B2 (en) Vehicle scratch detection system and vehicle
EP3330923B1 (en) Automotive system with motion detection capabilities
US20180086307A1 (en) Device and method for monitoring a vehicle, particularly for the management of loss events
JP5182566B2 (ja) 監視装置
KR101205365B1 (ko) 차량용 탑승자 정보 획득 시스템 및 방법
JP7187080B2 (ja) 実時間で相対車両の速度及び距離を分析及び保存するイベント検知システム
KR102556845B1 (ko) 실시간 관제 기능을 갖는 avm 시스템
CN214084149U (zh) 乘员监测系统及车辆
US20210097316A1 (en) Vehicle interior detection device, vehicle interior detection method, and non-transitory storage medium
JP2018060487A (ja) タクシーの運行支援システム
JP2017224075A (ja) 出庫支援装置、出庫支援方法及び出庫支援システム
US20220227366A1 (en) Vehicular sensing system with upper and lower sensors and with reconfigurable alert triggers
JP6593708B2 (ja) 運転操作監視装置
KR101443746B1 (ko) 블랙박스 촬영 이벤트 통지 장치
CN116176490A (zh) 汽车安全带检测方法及相关设备
JPH07298249A (ja) 自動監視装置
JP2015178298A (ja) 車両用セキュリティ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13892036

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13892036

Country of ref document: EP

Kind code of ref document: A1