JP7446492B2 - Vehicle monitoring device, vehicle monitoring system, and vehicle monitoring method - Google Patents
Vehicle monitoring device, vehicle monitoring system, and vehicle monitoring method Download PDFInfo
- Publication number
- JP7446492B2 JP7446492B2 JP2022581114A JP2022581114A JP7446492B2 JP 7446492 B2 JP7446492 B2 JP 7446492B2 JP 2022581114 A JP2022581114 A JP 2022581114A JP 2022581114 A JP2022581114 A JP 2022581114A JP 7446492 B2 JP7446492 B2 JP 7446492B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- occupant
- detection
- absence
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 126
- 238000000034 method Methods 0.000 title claims description 77
- 238000012544 monitoring process Methods 0.000 title claims description 26
- 238000001514 detection method Methods 0.000 claims description 633
- 238000003384 imaging method Methods 0.000 claims description 84
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 230000001815 facial effect Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Air Bags (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本開示は、車両内部の乗員又は車両外部の人物を検知する車両監視装置及び車両監視システムに関する。 The present disclosure relates to a vehicle monitoring device and a vehicle monitoring system that detect an occupant inside a vehicle or a person outside the vehicle.
車内の乗員又は車外の人物を検知し、乗員が存在する位置等の検知結果に応じたエアバック、シートベルトリマインダ等の制御処理、車外の人物の検知結果に応じた不審人物の存在の報知等を行う技術が開発されている。従来、車内の乗員の検知に関しては、車両の前席及び後席を撮像範囲に含むように撮像装置を設け、撮像装置から取得した撮像画像における、乗員の頭部の位置、大きさ等に基づいて、乗員がいずれの座席に存在しているかを検知していた(例えば、特許文献1参照)。 Detects occupants inside the vehicle or people outside the vehicle, controls airbags, seatbelt reminders, etc. according to the detection results such as the position of the occupant, and reports the presence of a suspicious person according to the detection results of the person outside the vehicle. Technology has been developed to do this. Conventionally, when it comes to detecting occupants inside a vehicle, an imaging device is installed to include the front and rear seats of the vehicle in the imaging range, and detection is performed based on the position, size, etc. of the occupant's head in the captured image obtained from the imaging device. It was detected in which seat the occupant was present (for example, see Patent Document 1).
こうした車内の乗員又は車外の人物等、すなわち対象人物を検知しようとする場合、電波センサ又は着座センサ等、撮像装置とは異なるセンサを用いて検知することが考えられる。しかしながら、例えば、着座センサを用いて後席の乗員を検知しようとした場合、乗員が座席に着座する姿勢によっては、座席に着座する乗員の重量を正しく測定できない等、撮像装置とは異なるセンサを用いたとしても十分に検知できないおそれがあるという課題があった。 When attempting to detect such an occupant inside the vehicle or a person outside the vehicle, that is, a target person, it is conceivable to use a sensor different from the imaging device, such as a radio wave sensor or a seating sensor. However, for example, when trying to detect a passenger in the rear seat using a seating sensor, depending on the posture of the passenger in the seat, it may not be possible to accurately measure the weight of the passenger sitting in the seat. Even if it were used, there was a problem that it might not be able to detect it sufficiently.
本開示は、上述のような課題を解決するためになされたもので、撮像装置から得られた検知結果と、撮像装置とは異なるセンサから得られた検知結果とを用いることにより、対象人物の検知精度を向上することを目的とする。 The present disclosure has been made to solve the above-mentioned problems, and uses detection results obtained from an imaging device and detection results obtained from a sensor different from the imaging device to detect a target person. The purpose is to improve detection accuracy.
本開示に係る第1の車両監視装置は、車両の少なくとも後席を検知範囲に含むセンサから、センサ情報を取得する第1情報取得部と、車両の前席及び後席を撮像範囲に含む撮像装置から、撮像画像を取得する第2情報取得部と、第1情報取得部及び第2情報取得部がそれぞれ取得した、センサ情報及び撮像画像から、後席の乗員を検知する乗員検知部と、を備え、乗員検知部は、センサ情報から得られた後席の乗員の存否に関する検知結果と、撮像画像から得られた後席の乗員の存否に関する検知結果とが異なる場合、撮像画像から得られた後席の乗員の存否に関する検知結果を用いて、後席の乗員の存否を特定するものである。 A first vehicle monitoring device according to the present disclosure includes a first information acquisition unit that acquires sensor information from a sensor whose detection range includes at least the rear seats of a vehicle, and an imaging unit whose imaging range includes the front seats and rear seats of the vehicle. a second information acquisition unit that acquires a captured image from the device; an occupant detection unit that detects a rear seat occupant from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit; If the detection result regarding the presence or absence of a rear seat occupant obtained from the sensor information differs from the detection result regarding the presence or absence of a rear seat occupant obtained from the captured image, the occupant detection unit detects the presence or absence of the rear seat occupant obtained from the captured image. The presence or absence of a rear seat occupant is determined using the detection results regarding the presence or absence of a rear seat occupant.
また、本開示に係る第1の車両監視システムは、車両に搭載され、少なくとも車両の後席を検知範囲に含むセンサと、車両に搭載され、車両の前席及び後席を撮像範囲に含む撮像装置と、センサから、センサ情報を取得する第1情報取得部と、撮像装置から、撮像画像を取得する第2情報取得部と、第1情報取得部及び第2情報取得部がそれぞれ取得した、センサ情報及び撮像画像から、後席の乗員を検知する乗員検知部と、を備え、乗員検知部は、センサ情報から得られた後席の乗員の存否に関する検知結果と、撮像画像から得られた後席の乗員の存否に関する検知結果とが異なる場合、撮像画像から得られた後席の乗員の存否に関する検知結果を用いて、後席の乗員の存否を特定するものである。 Further, the first vehicle monitoring system according to the present disclosure includes a sensor that is mounted on a vehicle and whose detection range includes at least the rear seats of the vehicle, and an image sensor that is mounted on the vehicle and whose imaging range includes the front seats and rear seats of the vehicle. a first information acquisition unit that acquires sensor information from the device, a sensor, a second information acquisition unit that acquires a captured image from the imaging device, and the first information acquisition unit and the second information acquisition unit each acquire, an occupant detection section that detects an occupant in the rear seat from the sensor information and the captured image, and the occupant detection section detects the presence or absence of the occupant in the rear seat obtained from the sensor information and the detection result obtained from the captured image. If the detection result regarding the presence or absence of a rear seat occupant is different from the detection result regarding the presence or absence of a rear seat occupant, the presence or absence of a rear seat occupant is determined using the detection result regarding the presence or absence of a rear seat occupant obtained from the captured image.
また、本開示に係る第2の車両監視装置は、車両の外部を検知範囲に含むセンサから、センサ情報を取得する第1情報取得部と、車両の外部を撮像範囲に含む撮像装置から、撮像画像を取得する第2情報取得部と、第1情報取得部及び第2情報取得部がそれぞれ取得した、センサ情報及び撮像画像から、車両の外部の人物を検知する車外検知部と、を備え、車外検知部は、センサ情報から得られた車両の外部の人物の存否に関する検知結果と、撮像画像から得られた車両の外部の人物の存否に関する検知結果とが異なる場合、撮像画像から得られた車両の外部の人物の存否に関する検知結果を用いて、車両の外部の人物の存否を特定するものである。 Further, the second vehicle monitoring device according to the present disclosure includes a first information acquisition unit that acquires sensor information from a sensor whose detection range includes the exterior of the vehicle, and an image pickup unit that acquires sensor information from an imaging device whose imaging range includes the exterior of the vehicle. A second information acquisition unit that acquires an image; and an exterior detection unit that detects a person outside the vehicle from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit, If the detection result regarding the presence or absence of a person outside the vehicle obtained from the sensor information differs from the detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image, the vehicle exterior detection unit detects the presence or absence of a person outside the vehicle obtained from the captured image. The presence or absence of a person outside the vehicle is determined using the detection result regarding the presence or absence of a person outside the vehicle.
また、本開示に係る第2の車両監視システムは、車両に搭載され、車両の外部を検知範囲に含むセンサと、車両に搭載され、車両の外部を撮像範囲に含む撮像装置と、センサから、センサ情報を取得する第1情報取得部と、撮像装置から、撮像画像を取得する第2情報取得部と、第1情報取得部及び第2情報取得部がそれぞれ取得した、センサ情報及び撮像画像から、車両の外部の人物を検知する車外検知部と、を備え、車外検知部は、センサ情報から得られた車両の外部の人物の存否に関する検知結果と、撮像画像から得られた車両の外部の人物の存否に関する検知結果とが異なる場合、撮像画像から得られた車両の外部の人物の存否に関する検知結果を用いて、車両の外部の人物の存否を特定するものである。 Further, the second vehicle monitoring system according to the present disclosure includes a sensor that is mounted on a vehicle and whose detection range includes the outside of the vehicle, an imaging device that is mounted on the vehicle and whose imaging range includes the outside of the vehicle, and a sensor that includes: A first information acquisition unit that acquires sensor information; a second information acquisition unit that acquires a captured image from an imaging device; and a first information acquisition unit that acquires sensor information and a captured image that are acquired by the first information acquisition unit and the second information acquisition unit, respectively. , an outside detection unit that detects a person outside the vehicle, and the outside detection unit detects the presence or absence of a person outside the vehicle obtained from the sensor information, and the detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image. If the detection result regarding the presence or absence of a person is different from the detection result regarding the presence or absence of a person outside the vehicle, the presence or absence of the person outside the vehicle is specified using the detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image.
本開示によれば、撮像装置と、撮像装置と異なるセンサとを用いて、車内の乗員又は車外の人物、すなわち対象人物の検知を行うため、対象人物の検知精度を向上できる。 According to the present disclosure, since an occupant inside the vehicle or a person outside the vehicle, that is, a target person, is detected using an imaging device and a sensor different from the imaging device, the detection accuracy of the target person can be improved.
以下、図面に基づいて実施の形態について説明する。 Embodiments will be described below based on the drawings.
実施の形態1.
図1は、実施の形態1に係る車両監視システム100の構成例を示すブロック図である。車両監視システム100は、車両監視装置10、センサ20、及び撮像装置30を備えており、車両監視装置10、センサ20、及び撮像装置30はそれぞれ車両に搭載される。また、車両監視装置10は、車両監視装置10が搭載された車両における、空調機器、音響機器、ナビゲーション装置、報知部等の車載機器、及びエンジン等を制御する車両側制御装置200と接続されている。
FIG. 1 is a block diagram showing a configuration example of a
本実施の形態に係る車両監視システム100の検知における対象人物は、後席の乗員である。なお、車両監視システム100は、後席の乗員のみを検知するものでなく、対象人物に前席の乗員を含んでもよい。図2は、実施の形態1に係るセンサ20の検知範囲及び撮像装置30の撮像範囲を示す説明図である。図2Aは、車両監視装置10を搭載した車両50の内部を側方から見た図であり、図2Bは、車両監視装置10を搭載した車両50の内部を上方から見た図である。センサ20は、車両に搭載された、車内の乗員のうち少なくとも後席の乗員を検知可能に設けられたセンサ20である。センサ20は、例えば、乗員を検知可能な、電波センサ21、重量センサ(着座センサ)、音声センサ、超音波センサ等の、撮像装置30と異なるセンサ20である。また、センサ20は、これらのうちのいずれか1つもしくは複数の組み合わせである。
The target person for detection by the
図2Aには、センサ20が電波センサ21である例を示しており、電波センサ21の検知範囲を領域Aで示している。なお、電波センサ21は、例えば、ミリ波を送信し、動体で反射された反射波を受信するセンサである。図2Aの例において、センサ20は、少なくとも後席を検知範囲に含むよう、車両50における車室の天井等に設けられている。また、図2Bでは、後席左側の座席53に乗員58が着座している例を示している。ここで、後席左側の座席とは、後席のうち、車両前方に対して左側の座席53をいい、後席右側の座席とは、後席のうち、車両前方に対して右側の座席54をいい、後席中央の座席とは、後席のうち、後席左側の座席と右側の座席との間に設けられた座席55をいう。以下、説明のため、特に断りなく単に後席と記載する場合、後席左側の座席53、後席右側の座席54、及び後席中央の座席55をまとめたものをいう。なお、後席の数は図2Bの例のように3つでなくてもよく、後席の数は任意である。
FIG. 2A shows an example in which the
撮像装置30は、例えば、広角カメラ、赤外線カメラ等で構成され、車両50の内部を撮像する。また、撮像装置30は、撮像装置30と被写体との距離を反映した画像を撮像可能な、TOF(Time-of-flight)カメラであってもよい。撮像装置30は、例えば30~60fps(frames per second)の間隔で車内を撮像して、撮像した画像を、車両監視装置10が有する情報取得部11の第2情報取得部2に出力する。以下、撮像装置30が撮像した画像を、撮像画像と記載する。
The
図2Aの例において、撮像装置30の撮像範囲を領域Bで示している。撮像装置30は、運転席51及び助手席52の前席と、後席のうちの少なくともいずれかの座席とを撮像範囲に含むように、一台又は複数台、オーバーヘッドコンソール、インストメントパネル、ステアリングコラム、ルームミラー等に配置される。以下、車両監視装置10の検知対象となる乗員56、57、58等の車内の乗員をまとめて「乗員」ともいう。すなわち、乗員は運転者を含むものである。
In the example of FIG. 2A, the imaging range of the
図1に戻り、車両監視装置10について説明する。車両監視装置10は、センサ20及び撮像装置30から、それぞれセンサ情報及び撮像画像を取得する情報取得部11と、センサ情報及び撮像画像から、後席の乗員を検知する乗員検知部12とを備える。
Returning to FIG. 1, the
図1に示すように、情報取得部11は、第1情報取得部1と、第2情報取得部2とを有する。情報取得部11の第1情報取得部1は、センサ20と接続されており、センサ20からセンサ情報を取得する。ここで、センサ情報とは、車内の乗員の存否に関する情報である。例えば、センサ20が電波センサ21である場合、センサ情報は、電波センサ21と検知対象との距離を示す距離データ、電波センサ21に対する検知対象の角度を示す角度データ等である。例えば、センサ20が着座センサである場合、センサ情報は、着座センサが設けられた座席の情報を示す座席データ、着座センサが検出した重量データ等である。また、例えば、センサ20が音声センサである場合、センサ情報は、乗員が発話した音声の、音量及び到来方向等を示す音声データ等である。なお、センサ情報は、これらのうちのいずれか1つもしくは複数の組み合わせである。
As shown in FIG. 1, the
一方、情報取得部11の第2情報取得部2は、撮像装置30と接続されており、撮像装置30から撮像画像を取得する。なお、図1の例において、第1情報取得部1と第2情報取得部2とを分けて図示しているが、撮像装置30からの撮像画像の取得及びセンサ20からのセンサ情報の取得は一つの構成で行ってもよい。そして、情報取得部11は、取得したセンサ情報及び撮像画像を後述する乗員検知部12に出力する。
On the other hand, the second
また、情報取得部11は、車両側制御装置200と接続された車両情報取得部3を有する。車両情報取得部3は、車両側制御装置200から、車両の始動、停止等に関する信号等の車両情報を取得する。そして、車両情報取得部3は、車両側制御装置200から取得した車両情報を用いて、第1情報取得部1及び第2情報取得部2に、センサ情報及び撮像画像の取得を開始させる旨の信号、又はセンサ情報及び撮像画像の取得を終了させる旨の信号を出力する。
Further, the
例えば、車両情報取得部3は、車両側制御装置200から、ドアの開錠、ドアのオープン、イグニッションのON、人感センサのON、シフトレバーがドライブの位置に移動、車両速度が0km/hを超えた、ナビゲーション装置が案内を開始した、及び車両が自宅を出発した等のいずれかの信号を取得した場合、第1情報取得部1及び第2情報取得部2に、センサ情報及び撮像画像の取得を開始させる旨の信号を出力する。一方、例えば、車両情報取得部3は、車両側制御装置200から、イグニッションのOFF、人感センサのOFF、シフトレバーがパーキングの位置に移動、ナビゲーション装置が案内を終了した、及び車両が自宅へ帰着した等のいずれかの信号を取得した場合、第1情報取得部1及び第2情報取得部2に、センサ情報及び撮像画像の取得を終了させる旨の信号を出力する。
For example, the vehicle
車両監視装置10の乗員検知部12について説明する。乗員検知部12は、センサ情報を用いて乗員を検知する第1検知部4と、撮像画像を用いて乗員を検知する第2検知部5と、第1検知部4及び第2検知部5の検知結果を用いて、後席に乗員が存在しているか否かを判定する存否判定部6とを備える。なお、図1に示すように、乗員検知部12の第1検知部4及び第2検知部5はそれぞれ、情報取得部11の第1情報取得部1及び第2情報取得部2と接続されている。
The
乗員検知部12による、後席の乗員を検知する処理について説明する。以下の説明では、第1検知部4が、センサ情報として、電波センサ21から取得した距離データと、角度データとを取得し、後席の乗員を検知する例を挙げて説明する。
The process of detecting a rear seat occupant by the
まず、第1検知部4は、情報取得部11の第1情報取得部1から、距離データと、角度データとをセンサ情報として取得し、検知対象の大きさと、人、動物等の検知対象が存在する範囲等を算出する。例えば、第1検知部4は、算出した検知対象の大きさ及び存在する範囲等から、検知対象が後席左側に存在することが判明すれば、後席左側に乗員が検知されたという検知結果を導出し、検知結果を車両監視装置10の記憶部(図示せず)に出力する。
First, the first detection unit 4 acquires distance data and angle data as sensor information from the first
また、第1検知部4は、例えば、算出した検知対象の大きさ及び存在する範囲等から、検知対象が後席右側に存在することが判明すれば、後席右側に乗員が検知されたという検知結果を記憶部に出力する。同様に、例えば、第1検知部4は、算出した検知対象の大きさ及び存在する範囲等から、検知対象が後席中央に存在することが判明すれば、後席中央に乗員が検知されたという検知結果を出力する。なお、第1検知部4による乗員検知処理は上述の例に限らず、公知の種々のアルゴリズムを用いることが可能である。また、上述の例では、第1検知部4の検知結果を記憶部に格納する例を示しているが、第1検知部4は、検知結果を存否判定部6に出力してもよい。
In addition, if the first detection unit 4 determines that the detection target exists on the right side of the rear seat based on the calculated size of the detection target and the range in which it exists, the first detection unit 4 determines that an occupant has been detected on the right side of the rear seat. Output the detection results to the storage unit. Similarly, for example, if the first detection unit 4 determines that the detection target exists in the center of the rear seat based on the calculated size of the detection target and the range in which it exists, the first detection unit 4 detects that an occupant is detected in the center of the rear seat. Outputs the detection result. Note that the occupant detection processing by the first detection unit 4 is not limited to the above-mentioned example, and various known algorithms can be used. Further, in the above example, the detection result of the first detection unit 4 is stored in the storage unit, but the first detection unit 4 may output the detection result to the presence/
ここで、乗員が存在しているとは、厳密に乗員が座席に座っている状態だけでなく、座席の足元に乗員が存在している状態も含むものとする。乳幼児等、体格の小さい乗員は座席の足元に存在する可能性もあり、例えば、電波センサ21から取得したセンサ情報を用いて乗員を検知すれば、座席の足元に存在する乗員も検知可能であるためである。以下、説明のため、第1検知部4によるセンサ情報を用いた乗員検知処理を、第1乗員検知処理という。また、第1検知部4による第1乗員検知処理の検知結果を第1検知結果という。
Here, the presence of an occupant includes not only a state in which an occupant is strictly sitting on a seat, but also a state in which an occupant is present at the foot of the seat. There is a possibility that small-sized occupants, such as infants, are present at the foot of the seat. For example, if the occupant is detected using the sensor information acquired from the
ところで、センサ情報を用いて後席の乗員を検知する場合、検知結果の信頼性が問題となる場合がある。例えば、センサ20が電波センサ21である場合は、電波センサ21から取得した距離データ及び角度データ等の分解能を担保できず、異なる座席に着座する複数の乗員が連なって検知される等して、乗員がいずれの座席に存在しているのかを正確に判定できない場合がある。また、例えば、センサ20が着座センサである場合は、乗員が座席に着座する姿勢によっては、座席に着座する乗員の重量を正しく測定できず、座席上の配置された物体が人であるか否かを判定できない場合がある。
By the way, when detecting a passenger in a rear seat using sensor information, the reliability of the detection result may become a problem. For example, if the
一方で、撮像装置30を用いて乗員を検知する場合は、撮像装置30と異なるセンサ20を用いて乗員を検知する場合に比して信頼性が高い検知結果を得ることができる。そこで、後席の乗員の検知について、撮像画像から乗員が検知された場合は、撮像画像を用いた乗員の検知処理による検知結果を用いることで、乗員の検知精度を向上できる。
On the other hand, when the occupant is detected using the
撮像画像を用いた乗員の検知処理について説明する。図3は、実施の形態1に係る撮像画像を用いた乗員検知例を示す説明図である。図3には、撮像装置30から取得した撮像画像を示しており、後述する第2検知部5の乗員検知処理により、運転席51に着座する乗員56、助手席52に着座する乗員57、後席左側の座席53に着座する乗員58、及び後席中央の座席55に着座する乗員60をそれぞれ検知した例を示している。
Passenger detection processing using captured images will be described. FIG. 3 is an explanatory diagram showing an example of occupant detection using captured images according to the first embodiment. FIG. 3 shows a captured image acquired from the
第2検知部5による乗員検知処理例について説明する。まず、第2検知部5は、撮像画像の解析を行い、撮像画像内における、乗員の顔を検出する。そして、第2検知部5は、乗員の顔が検出された領域(図3中破線に示す領域。以下、顔領域という。)と、顔領域における乗員の特徴情報とを取得する。ここで、乗員の特徴情報とは、例えば、顔の大きさを正規化した上での、目、鼻、口、頬の部分のコントラスト比等である。なお、第2検知部5は、乗員の特徴情報を用いて顔検出に成功したか否かを判定してもよい。この場合、第2検知部5は、例えば、顔領域内のコントラスト比から、顔領域の輝度分布が、顔らしいことが判明すれば、顔検出に成功したと判定し、輝度分布が顔らしくないと判定すれば、顔検出に失敗したと判定すればよい。
An example of occupant detection processing by the
第2検知部5は、乗員の顔を検出したら、撮像画像から、例えば乗員の顔の輪郭に接する矩形等の、乗員の顔を囲む顔領域に係る座標を取得する。ここで、顔領域に係る座標は、例えば、顔領域が矩形である場合、矩形の各頂点、中心等の座標である。さらに、第2検知部5は、顔領域の幅、高さ、及び面積等の寸法を、顔領域の座標から算出する。
After detecting the occupant's face, the
そして、第2検知部5は、取得した顔領域の座標、幅、高さ、及び面積等から、乗員が存在する座席を特定し、乗員の存否に関する情報と、乗員が存在する座席とを検知結果として、車両監視装置10の記憶部に出力する。なお、第2検知部5による乗員検知処理は上述の例に限らず、公知の種々のアルゴリズムを用いることが可能である。
Then, the
また、上述の例では、第2検知部5の検知結果を記憶部に格納する例を示しているが、第2検知部5は、検知結果を存否判定部6に出力してもよい。以下、説明のため、第2検知部5による撮像画像を用いた乗員検知処理を、第2乗員検知処理という。また、第2検知部5による第2乗員検知処理の検知結果を第2検知結果という。
Further, in the above example, the detection result of the
次に、乗員が存在しているか否かを判定する存否判定について説明する。本実施の形態の存否判定部6は、センサ情報から後席の乗員が検知されなかったとしても、撮像画像から後席の乗員が検知できれば、後席に乗員が存在すると判定する。このように、乗員検知部12は、センサ情報から得られた後席の乗員の存否に関する検知結果と、撮像画像から得られた後席の乗員の存否に関する検知結果とが異なる場合、撮像画像から得られた後席の乗員の存否に関する検知結果を用いて、後席の乗員の存否を特定する。
Next, the presence/absence determination for determining whether or not an occupant is present will be explained. The presence/
以下、車両監視装置10の動作について説明する。図4は、実施の形態1に係る車両監視装置10の動作例を示すフローチャートである。また、図4のフローチャートには、車両監視装置10の動作を終了する処理が示されていないが、車両監視装置10は、例えば、車両情報取得部3が、車両側制御装置200から車両50のエンジンが停止した旨を示す信号を取得した場合、第1乗員検知処理及び第2乗員検知処理の動作を終了する。なお、以下の説明では、後席の座席が複数設けられた場合でも、後席の座席をまとめて後席と記載しているが、後席の座席が複数である場合は、後席の座席のそれぞれの座席に対して、処理を行うものとする。
The operation of the
まず、車両監視装置10の動作が開始した後、車両監視装置10の第1情報取得部1は、センサ20からセンサ情報を取得する(ST101)。次に、第1検知部4は、センサ情報を用いて第1乗員検知処理を行う(ST102)。ここで、ST102の処理では、第1検知部4は、後席のそれぞれ、つまり、車両に設けられた後席の座席のそれぞれに対して、第1乗員検知処理を行う。なお、第1検知部4による後席の座席のそれぞれに対して乗員が検知されたか否かの判定は、例えば、センサ情報として取得した距離データ、角度データから算出した検知対象の大きさ及び存在する範囲等から、検知された検知対象が後席のうち、いずれの座席に存在するかに基づいて判定すればよい。
First, after the operation of the
そして、第1検知部4は、後席の乗員が検知されたか否かを示す検知結果を、車両監視装置10の記憶部に出力する。第1検知部4は、後席において乗員が検知された場合(ST102;YES)、後席の乗員が検知されたことを示す検知結果を、第1検知結果として車両監視装置10の記憶部に出力し、後席第1フラグをONにする(ST103)。一方、第1検知部4は、後席において乗員が検知されなかった場合(ST102;NO)、後席の乗員が検知されなかったことを示す検知結果を、第1検知結果として車両監視装置10の記憶部に出力し、後席第1フラグをOFFにする(ST104)。
The first detection unit 4 then outputs a detection result indicating whether or not a rear seat occupant has been detected to the storage unit of the
ここで、記憶部に記憶される後席第1フラグとは、第1乗員検知処理により後席において乗員が検知されたか否かを示すものである。すなわち、第1検知部4が後席の乗員が検知されたことを示す第1検知結果を出力すれば、後席第1フラグはONとなり、第1検知部4が後席の乗員が検知されなかったことを示す第1検知結果を出力すれば、後席第1フラグはOFFとなる。 Here, the rear seat first flag stored in the storage unit indicates whether or not an occupant is detected in the rear seat by the first occupant detection process. That is, if the first detection unit 4 outputs the first detection result indicating that the rear seat occupant has been detected, the rear seat first flag is turned ON, and the first detection unit 4 outputs the first detection result indicating that the rear seat occupant has been detected. If the first detection result indicating that the vehicle was not detected is output, the first rear seat flag is turned OFF.
なお、後席第1フラグは、後席の座席数に応じて複数又は単数設けられたものとする。例えば、後席の座席数が3つであり、後席左側の座席、後席右側の座席、及び後席中央の座席が車両に設けられていれば、後席第1フラグは、後席左側第1フラグ、後席右側第1フラグ、後席中央第1フラグとなる。 In addition, it is assumed that a plurality of rear seat first flags or a single rear seat flag are provided depending on the number of rear seats. For example, if the number of rear seats is three, and the vehicle has a seat on the left side of the rear seat, a seat on the right side of the rear seat, and a seat in the center of the rear seat, the first flag for the rear seat is the left side of the rear seat. The first flag, the first flag on the right side of the rear seat, and the first flag in the center of the rear seat.
次に、車両監視装置10の第2情報取得部2は、撮像装置30から撮像画像を取得する(ST105)。第2検知部5は、撮像画像を用いて第2乗員検知処理を行う(ST106)。ここで、ST106の処理では、第2検知部5は、後席のそれぞれ、つまり、車両に設けられた後席の座席のそれぞれに対して、乗員の検知を行う。なお、第2検知部5による後席の座席のそれぞれに対して乗員が検知されたか否かの判定は、例えば、撮像画像から検出された特徴情報、顔領域の座標、幅、高さ、及び面積等から、検知された検知対象が後席のうち、いずれの座席に存在するか否かに基づいて判定すればよい。
Next, the second
そして、第2検知部5は、後席の乗員が検知されたか否かの検知結果を、車両監視装置10の記憶部に出力する。第2検知部5は、後席において乗員が検知された場合(ST106;YES)、後席の乗員が検知されたことを示す検知結果を、第2検知結果として車両監視装置10の記憶部に出力し、後席第2フラグをONにする(ST107)。一方、第2検知部5は、後席において乗員が検知されなかった場合(ST106;NO)、後席の乗員が検知されなかったことを示す検知結果を、第2検知結果として車両監視装置10の記憶部に出力し、後席第2フラグをOFFにする(ST108)。
Then, the
ここで、記憶部に記憶される後席第2フラグとは、第2乗員検知処理により、後席において乗員が検知されたか否かを示すものである。すなわち、第2検知部5が後席の乗員が検知されたことを示す第2検知結果を出力すれば、後席第2フラグはONとなり、第2検知部5が後席の乗員が検知されなかったことを示す第2検知結果を出力すれば、後席第2フラグはOFFとなる。
Here, the second rear seat flag stored in the storage unit indicates whether or not an occupant is detected in the rear seat by the second occupant detection process. That is, if the
なお、後席第2フラグは、後席の座席数に応じて複数又は単数設けられたものとする。例えば、後席の座席数が3つであり、後席左側の座席、後席右側の座席、及び後席中央の座席が車両に設けられていれば、後席第2フラグは、後席左側第2フラグ、後席右側第2フラグ、後席中央第2フラグとなる。 In addition, it is assumed that a plurality of rear seat second flags or a single rear seat flag are provided depending on the number of rear seats. For example, if the number of rear seats is three, and the vehicle has a seat on the left side of the rear seat, a seat on the right side of the rear seat, and a seat in the center of the rear seat, the second rear seat flag is The second flag, the second flag on the right side of the rear seat, and the second flag in the center of the rear seat.
次に、車両監視装置10の存否判定部6は、第1検知部4から第1検知結果を取得し、第2検知部5から第2検知結果を取得する。そして、存否判定部6は、第1検知結果及び第2検知結果を用いて、後席に乗員が存在しているか否かを判定する。
Next, the presence/
存否判定部6は、第1検知結果として後席第1フラグを参照して、後席第1フラグがONであるか否かを判定し(ST109)、センサ情報から後席の乗員が検知された否かを確認する。そして、存否判定部6は、後席第1フラグがONであれば(ST109;YES)、すなわち、センサ情報から後席の乗員が検知されたことを確認した場合、後席に乗員が存在すると判定し、判定結果を車両側制御装置200に出力する(ST110)。なお、存否判定部6による判定結果は、車両側制御装置200の、例えば、シートベルトリマインダの制御を行う報知制御部(図示せず)に出力され、報知制御部は、後席に乗員が存在するという判定結果を受信した場合、後席のシートベルトリマインダの機能をONにする。
The presence/
一方、存否判定部6は、後席第1フラグがOFFであれば(ST109;NO)、すなわち、センサ情報から後席において乗員が検知されなかったことを確認した場合、次に説明するST111の処理に進む。
On the other hand, if the rear seat first flag is OFF (ST109; NO), that is, if it is confirmed from the sensor information that no occupant is detected in the rear seat, the presence/
存否判定部6は、第2検知結果として後席第2フラグを参照して、後席第2フラグがONであるか否かを判定し(ST111)、撮像画像から後席の乗員が検知されたか否かを確認する。そして、存否判定部6は、後席第2フラグがONであれば(ST111;YES)、すなわち、撮像画像から後席の乗員が検知されたことを確認した場合、後席に乗員が存在すると判定し、判定結果を車両側制御装置200に出力する(ST110)。
The presence/
一方、存否判定部6は、後席第2フラグがOFFであれば(ST111;NO)、すなわち、撮像画像から後席の乗員が検知されなかったことを確認した場合、後席に乗員が存在しないと判定し、判定結果を車両側制御装置200に出力する(ST112)。
On the other hand, if the second rear seat flag is OFF (ST111; NO), that is, if it is confirmed that no passenger in the rear seat is detected from the captured image, the presence/
このように、乗員検知部12は、センサ情報から後席において乗員が検知されなかったことを示す検知結果を得て、撮像画像から後席の乗員が検知されたことを示す検知結果を得た場合、後席に乗員が存在すると特定する。これにより、実際は、後席に乗員が存在しているにもかかわらず、センサ情報から後席の乗員が検知されなかったとしても、撮像画像から後席の乗員が検知された場合に、撮像画像から得られた検知結果を用いて後席に乗員が存在すると特定するため、後席の乗員の検知漏れを防ぎ、後席の乗員、すなわち対象人物の検知精度を向上できる。
In this way, the
なお、第2検知部5が、第1検知結果にて、後席の座席のうち、乗員が検知されなかったことが示された座席に対して第2乗員検知処理を行うようにしてもよい。このようにすると、検知漏れを抑制できるとともに、検知漏れがある可能性のある座席に対して第2乗員検知処理を行うため、処理負荷を軽減できる。また、図4のフローチャートにおいて、車両監視装置10により、ST101~ST104の処理を行った後に、ST105~ST108の処理を行うものとして図示しているが、図4のフローチャートは一例であり、例えば、ST101~ST104の処理及びST105~ST108の処理を並列で行ってもよい。
Note that the
次に、車両監視装置10の機能を実現するハードウェア構成について説明する。図5は、実施の形態1に係る車両監視装置10のハードウェア構成例を示す図である。車両監視装置10における第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部の機能は、処理回路によって実現される。すなわち、車両監視装置10の、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部は、図5Aに示すように専用のハードウェアである処理回路10aであってもよいし、図5Bに示すようにメモリ10cに格納されているプログラムを実行するプロセッサ10bであってもよい。
Next, a hardware configuration that implements the functions of the
図5Aに示すように、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部が専用のハードウェアである場合、処理回路10aは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable Gate Array)、又はこれらを組み合わせたものが該当する。第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
As shown in FIG. 5A, the first
図5Bに示すように、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部がプロセッサ10bである場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ10cに格納される。プロセッサ10bは、メモリ10cに記憶されたプログラムを読み出して実行することにより、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部の各機能を実現する。すなわち、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部は、プロセッサ10bにより実行されるときに、図4に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ10cを備える。また、これらのプログラムは、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部の手順又は方法をコンピュータに実行させるものであるともいえる。
As shown in FIG. 5B, the first
ここで、プロセッサ10bとは、例えば、CPU(Central Processing Unit)、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はDSP(Digital Signal Processor)等のことである。メモリ10cは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
Here, the
なお、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、車両監視装置10における処理回路10aは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。また、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1検知部4、第2検知部5、存否判定部6、乗員検知部12、及び記憶部の少なくとも一部の機能を、外部サーバに実行させてもよい。
Note that the first
このように、車両監視装置10に、車両の後席を検知範囲に含むセンサ20から、センサ情報を取得する第1情報取得部1と、車両の前席及び後席を撮像範囲に含む撮像装置30から、撮像画像を取得する第2情報取得部2と、第1情報取得部1及び第2情報取得部2がそれぞれ取得した、センサ情報及び撮像画像から、後席の乗員を検知する乗員検知部12と、を備え、乗員検知部12は、センサ情報から得られた後席の乗員の存否に関する検知結果と、撮像画像から得られた後席の乗員の存否に関する検知結果とが異なる場合、撮像画像から得られた後席の乗員の存否に関する検知結果を用いて、後席の乗員の存否を特定するものであると、後席の乗員の検知漏れを防ぎ、後席の乗員、すなわち対象人物の検知精度を向上できる。
In this way, the
実施の形態2.
実施の形態2に係る車両監視装置10は、実施の形態1と同様に、センサ情報を取得する第1情報取得部1と、撮像画像を取得する第2情報取得部2と、第1情報取得部1及び第2情報取得部2がそれぞれ取得した、センサ情報及び撮像画像から、後席の乗員を検知する乗員検知部12とを備える。本実施の形態では、第2検知部5が、撮像画像から後席の乗員が検知されなかった場合に、撮像画像を用いて後席に乗員が存在するか否かの判定を行う点について、車両監視装置10の処理動作が異なる。実施の形態1と同じ構成要素には同じ符号を付し、その説明を省略する。また、本実施の形態に係る車両監視システム100の検知における対象人物は、後席の乗員である。なお、車両監視システム100は、後席の乗員のみを検知するものでなく、対象人物に前席の乗員を含んでもよい。
Similarly to the first embodiment, the
撮像装置30と異なるセンサ20を用いた第1乗員検知処理において、例えば、センサ20が電波センサ21であり、電波センサ21が、座席上に存在する動体から反射波が反射されたことを検出すれば、座席に検知対象が存在すると判定される。このような場合、座席上に存在する動体が、例えば、ペットボトル内の水であり、乗員以外の物体であるにもかかわらず、ペットボトルから反射された反射波に基づいて、座席に乗員が存在していると誤検知される可能性がある。また、例えば、センサ20が着座センサである場合、着座センサで座席上の物体の重量を正しく測定できたとしても、座席上の物体の重量によっては、座席上の物体が乗員以外の物体であるにも関わらず、座席に乗員が存在すると誤検知されるおそれもある。
In the first occupant detection process using a
上述のように、撮像装置30と異なるセンサ20で乗員を検知する場合、実際には座席に乗員が存在していないにもかかわらず、座席に乗員が存在していると誤検知されるおそれがあり、乗員の検知精度が十分であるとはいえない。
As described above, when an occupant is detected using a
そのため、本実施の形態の車両監視装置10では、第1検知部4がセンサ情報から後席に乗員が存在するという検知結果を示したとしても、第2検知部5の、撮像画像を用いた第2乗員検知処理により、後席に乗員が存在しないことが判明した場合には、撮像画像を用いた検知結果を優先し、後席に乗員が存在していないと特定する。以下、本実施の形態の第2検知部5による乗員検知処理について説明する。
Therefore, in the
本実施の形態の第2検知部5は、撮像画像から後席の乗員を検知することに加え、撮像画像から後席の乗員が検知されない場合は、撮像画像から後席に乗員が存在するか否かを判定する。
In addition to detecting the occupant in the rear seat from the captured image, the
図6は、実施の形態2に係る撮像画像を用いた乗員検知例を示す説明図である。図6に示す撮像画像には、車両の運転席51及び助手席52にそれぞれ乗員56、57が着座し、後席のうち、後席左側の座席53及び後席右側の座席54に乗員58、59が着座している状態が撮像された例を示している。さらに、図6において、後席中央の座席55には、乗員は着座しておらず、チャイルドシート61が配置されている。
FIG. 6 is an explanatory diagram showing an example of occupant detection using captured images according to the second embodiment. In the captured image shown in FIG. 6,
図6の例において、例えば、センサ20が着座センサである場合、上述したように、後席中央の座席55に配置されたチャイルドシート61により、センサ情報を用いた第1乗員検知処理の検知結果が、後席中央の座席55に乗員が検知されたことを示す可能性がある。一方、撮像画像からは、後席中央の座席55に乗員は存在しておらず、後席中央の座席55にチャイルドシート61が配置されていることが判明しているため、第2検知部5は、次に説明する検知処理により後席中央の座席55に乗員以外の物体が存在する、すなわち後席中央の座席55に乗員が存在していない旨を示す検知結果を出力する。
In the example of FIG. 6, for example, when the
第2検知部5は、例えば、第2情報取得部2から、撮像画像を取得し、撮像画像から、設定された領域における画像を抽出する。なお、設定された領域とは、例えば、図6の領域Cに示すような、後席中央の座席55等、後席のうち、特定の座席を含むように設定された領域である。
The
そして、第2検知部5は、抽出された画像と、例えば、チャイルドシート61を撮像した画像、ペットボトルを撮像した画像等の、記憶部等に予め蓄積された類似度判定用の画像とを比較することにより、抽出された画像に写った物体を特定する。ここで、第2検知部5による抽出された画像内の物体の特定は、インスタンスセグメンテーション、テンプレートマッチング等、公知の物体認識手法を用いることが可能である。
Then, the
第2検知部5は、後席のうち、特定の座席に対応して抽出された画像内の物体が、例えばチャイルドシート61等であり、乗員以外の物体であることを特定した場合、後席に乗員以外の物体が存在する、すなわち後席に乗員が存在していない旨の検知結果を車両監視装置10の記憶部に出力する。一方、特定の座席以外の他の座席の乗員に遮蔽されて、座席上の物体を特定できない場合もある。このように抽出された画像に写っている物体が特定されなかった場合は、第2検知部5は、後席に乗員が存在するか否かが明確ではない旨の検知結果を車両監視装置10の記憶部に出力する。なお、上述した検知処理は一例であり、公知の種々のアルゴリズムを用いて、撮像画像内の物体を特定することも可能である。
If the
さらに、第2検知部5による、後席に乗員が存在するか否かの判定処理は、上述の例に限らない。実施の形態1において、第2検知部5が撮像画像に対して顔検出処理を行う例を挙げて説明したが、第2検知部5は、撮像画像内に顔検出を行うための検知領域を設定し、検知領域内で顔検出処理を行うことも可能である。
Furthermore, the process of determining whether or not a passenger is present in the rear seat by the
第2検知部5が、検知領域を設定し、検知領域内で顔検出処理を行う場合、例えば、後席に設けられた検知領域に、運転席51又は助手席52、すなわち前席の乗員が侵入していない状態で、検知領域内で後席の乗員が検知されなければ、後席に乗員が着座していないことが明確となる。後席に設けられた検知領域に、前席の乗員が侵入していない状態では、前席の乗員に、後席の乗員が遮蔽されている可能性が低いためである。
When the
図7は、実施の形態2に係る撮像画像を用いた乗員検知例を示す説明図である。図7に示す撮像画像には、車両の運転席51及び助手席52にそれぞれ乗員56、57が着座し、後席のうち、後席左側の座席53及び後席右側の座席54にそれぞれ乗員58、59が着座している状態が撮像された例を示している。さらに、図7において、後席中央の座席55には乗員及び物体のいずれも存在しない。
FIG. 7 is an explanatory diagram showing an example of occupant detection using captured images according to the second embodiment. In the captured image shown in FIG. 7,
図7の例において、後席中央に対して設けられた検知領域(図7に示す領域E)には、運転席51又は助手席52の乗員56、57は侵入しておらず、さらに、後席中央に対して設けられた検知領域内で、乗員の顔は検出されていない。このような場合、撮像画像を用いた検知処理で、後席中央において乗員が検知されなかったとしても、後席中央に乗員が存在しないことが明確である。
In the example of FIG. 7, the
さらに、図7には、後席右側の座席54に存在する乗員59が、運転席51の乗員56に遮蔽されている例を示している。つまり、後席右側に対して設けられた検知領域(図7に示す領域D)では、後席右側の乗員59が検知されない一方で、運転席51の乗員56が後席右側に対して設けられた検知領域に大幅に侵入している。上記のような場合、撮像画像を用いた検知処理において、後席右側に乗員が検知されなかったとしても、後席右側に乗員が存在するか否かは明確ではない。
Further, FIG. 7 shows an example in which an
そのため、第2検知部5は、例えば、後席に乗員が存在するか否かを判定処理の一例として、撮像画像において、後席に対して設けられた検知領域に占める、運転席51又は助手席52の乗員56、57から検出された顔領域の面積が、設定された閾値未満である場合は、前席の乗員により遮蔽されていない後席に乗員が存在しない、すなわち後席に乗員が存在しないと判定する。一方、後席に対して設けられた検知領域に占める、運転席又は助手席の乗員から検出された顔領域の面積が、設定された閾値以上である場合、後席に乗員が存在するか否かが明確でないと判定する。
Therefore, the
次に、後席の乗員の存否の特定について説明する。乗員検知部12は、センサ情報から得られた後席の乗員の存否に関する検知結果と、撮像画像から得られた後席の乗員の存否に関する検知結果とが異なる場合、撮像画像から得られた後席の乗員の存否に関する検知結果を用いて、後席の乗員の存否を特定する。すなわち、存否判定部6は、第2検知部5から、センサ情報から後席に乗員が存在することを示す検知結果を得たとしても、撮像画像から後席に乗員が存在しないことを示す検知結果を得た場合、撮像画像から得られた検知結果を用いて、後席に乗員が存在しないと判定する。このように、センサ情報から得られた、後席に乗員が存在するという検知結果が誤検知によるものだったとしても、撮像画像から後席に乗員が存在しないことが明確であれば、後席に乗員が存在しないという特定するため、乗員検知処理における誤検知を抑制し、乗員の検知精度を向上できる。
Next, identification of the presence or absence of a passenger in the rear seat will be described. If the detection result regarding the presence or absence of a rear seat occupant obtained from the sensor information is different from the detection result regarding the presence or absence of a rear seat occupant obtained from the captured image, the
なお、存否判定部6は、センサ情報から後席に乗員が存在することを示す検知結果を得て、撮像画像から後席に乗員が存在するか否かが明確ではないことを示す検知結果を得た場合、後席に乗員が存在すると判定する。
The presence/
次に、車両監視装置10の動作について説明する。図8は、実施の形態2に係る車両監視装置10の動作例を示すフローチャートである。ここで、以下では実施の形態1に係る車両監視装置10の処理と同一のステップには、図4で示した符号と同一の符号を付し、説明を省略又は簡略化する。また、図8のフローチャートには、車両監視装置10の動作を終了する処理が示されていないが、車両監視装置10は、例えば、車両情報取得部3が、車両側制御装置200から車両50のエンジンが停止した旨を示す信号を取得した場合、第1乗員検知処理及び第2乗員検知処理の動作を終了する。なお、以下の説明では、後席の座席が複数設けられた場合でも、後席の座席をまとめて後席と記載しているが、後席の座席が複数である場合は、後席の座席のそれぞれの座席に対して、処理を行うものとする。
Next, the operation of the
まず、車両監視装置10の動作が開始した後、車両監視装置10の第1情報取得部1は、センサ20からセンサ情報を取得する(ST101)。次に、第1検知部4は、センサ情報を用いて第1乗員検知処理を行う(ST102)。
First, after the operation of the
そして、第1検知部4は、後席の乗員が検知されたか否かの検知結果を、車両監視装置10の記憶部に出力する。第1検知部4は、後席において乗員が検知された場合(ST102;YES)、後席の乗員が検知されたことを示す検知結果を、第1検知結果として車両監視装置10の記憶部に出力し、後席第1フラグをONにする(ST103)。一方、第1検知部4は、後席において乗員が検知されなかった場合(ST102;NO)、後席の乗員が検知されなかったことを示す検知結果を、第1検知結果として車両監視装置10の記憶部に出力し、後席第1フラグをOFFにする(ST104)。
The first detection unit 4 then outputs the detection result as to whether or not a rear seat occupant has been detected to the storage unit of the
次に、車両監視装置10の第2情報取得部2は、撮像装置30から撮像画像を取得する(ST105)。第2検知部5は、撮像画像を用いて第2乗員検知処理を行う(ST106)。
Next, the second
そして、第2検知部5は、後席の乗員が検知されたか否かの検知結果を、車両監視装置10の記憶部に出力する。第2検知部5は、後席において乗員が検知された場合(ST106;YES)、後席の乗員が検知されたことを示す検知結果を、第2検知結果として車両監視装置10の記憶部に出力し、後席第2フラグをONにする(ST107)。一方、第2検知部5は、後席において乗員が検知されなかった場合(ST106;NO)、後席の乗員が検知されなかったことを示す検知結果を、第2検知結果として車両監視装置10の記憶部に出力し、後席第2フラグをOFFにする(ST108)。
Then, the
そして、第2検知部5は、撮像画像から後席に乗員が検知されなかった場合、後席に乗員が存在するか否かを判定する(ST201)。ここで、第2検知部5による、後席に乗員が存在するか否かの判定は、例えば、撮像画像において、後席のうち特定の座席を含むように設定された領域における画像を抽出し、抽出された画像に写った物体が乗員であるか否かを特定することにより行えばよい。
Then, if an occupant is not detected in the rear seat from the captured image, the
第2検知部5は、後席に乗員が存在しないと判定した場合(ST201;YES)、後席に乗員が存在しないことを示す検知結果を記憶部に出力し、後席第3フラグをONにする(ST202)。一方、第2検知部5は、後席に乗員が存在するか否か明確でないと判定した場合(ST201;NO)、後席に乗員が存在するか否か明確でないことを示す検知結果を記憶部に出力し、後席第3フラグをOFFにする(ST203)。
If the
ここで、記憶部に記憶される後席第3フラグとは、後席に乗員が存在するか否かを示すものである。すなわち、第2検知部5が後席に乗員が存在しないという検知結果を出力すれば、後席第3フラグはONとなり、第2検知部5が後席に乗員が存在するか否かが明確でないという検知結果を出力すれば、後席第3フラグはOFFとなる。
Here, the third rear seat flag stored in the storage unit indicates whether or not there is an occupant in the rear seat. That is, if the
なお、後席第3フラグは、後席の座席数に応じて複数又は単数設けられたものとする。例えば、後席の座席数が3つであり、後席左側の座席、後席右側の座席、及び後席中央の座席が車両に設けられていれば、後席第3フラグは、後席左側第3フラグ、後席右側第3フラグ、後席中央第3フラグとなる。 In addition, it is assumed that a plurality of rear seat third flags or a single rear seat third flag are provided depending on the number of rear seats. For example, if the number of rear seats is three, and the vehicle has a seat on the left side of the rear seat, a seat on the right side of the rear seat, and a seat in the center of the rear seat, the third flag for the rear seat is the left side of the rear seat. The third flag, the third flag on the right side of the rear seat, and the third flag in the middle of the rear seat.
次に、車両監視装置10の存否判定部6は、第2検知部5から第2検知結果を取得し、存否判定部6は、第2検知結果を用いて、後席に乗員が存在しているか否かを判定する。存否判定部6は、第2検知結果として後席第2フラグを参照して、後席第2フラグがONであるか否かを判定し(ST204)、撮像画像から後席の乗員が検知されたか否かを確認する。
Next, the presence/
そして、存否判定部6は、後席第2フラグがONであれば(ST204;YES)、すなわち、撮像画像から後席の乗員が検知されたことを確認した場合、後席に乗員が存在していると判定し、判定結果を車両側制御装置200に出力する(ST205)。なお、存否判定部6による判定結果は、車両側制御装置200の、例えば、シートベルトリマインダの制御を行う報知制御部に出力され、報知制御部は、後席に乗員が存在するという判定結果を受信した場合、後席のシートベルトリマインダの機能をONにする。
Then, if the second rear seat flag is ON (ST204; YES), that is, if it is confirmed that the passenger in the rear seat is detected from the captured image, the presence/
一方、存否判定部6は、後席第2フラグがOFFであれば(ST204;NO)、すなわち、撮像画像から後席に乗員が検知されなかった場合、次に説明する処理に進む。まず、存否判定部6は、第1検知部4から第1検知結果を取得する。そして、存否判定部6は、第1検知結果として後席第1フラグを参照して、後席第1フラグがONであるか否かを判定し(ST206)、センサ情報から後席の乗員が検知されたか否かを確認する。
On the other hand, if the second rear seat flag is OFF (ST204; NO), that is, if no occupant is detected in the rear seat from the captured image, the presence/
存否判定部6は、後席第1フラグがOFFであれば(ST206;NO)、すなわち、センサ情報から後席の乗員が検知されなかったことを確認した場合、後席に乗員が存在しないと判定し、判定結果を車両側制御装置200に出力する(ST207)。
If the rear seat first flag is OFF (ST206; NO), that is, if it is confirmed from the sensor information that no passenger in the rear seat is detected, the presence/
一方、存否判定部6は、後席第1フラグがONであれば(ST206;YES)、すなわち、センサ情報から後席の乗員が検知されたことを確認した場合、次に説明するST208の処理に進む。
On the other hand, if the rear seat first flag is ON (ST206; YES), that is, if it is confirmed that a passenger in the rear seat has been detected from the sensor information, the presence/
存否判定部6は、後席第3フラグを参照して、後席第3フラグがONであるか否かを判定し(ST208)、撮像画像から後席に乗員が存在しないことが判明したか否かを確認する。そして、存否判定部6は、後席第3フラグがONであれば(ST208;YES)、すなわち、撮像画像から後席に乗員が存在しないことが判明した場合、後席に乗員が存在しないと判定し、判定結果を車両側制御装置200に出力する(ST207)。
The presence/
一方、存否判定部6は、後席第3フラグがOFFであれば(ST208;NO)、すなわち、センサ情報から後席に乗員が存在するという検知結果が導出され、撮像画像からは後席に乗員が存在するか否かが明確でないことを確認した場合、後席に乗員が存在すると判定し、判定結果を車両側制御装置200に出力する(ST205)。
On the other hand, if the third rear seat flag is OFF (ST208; NO), the presence/
このように、車両監視装置10は、後席に乗員が存在しないにもかかわらず、センサ情報から、後席に乗員が存在するという検知結果を得たとしても、撮像画像からは後席に乗員が存在しないことが明確であれば、後席に乗員が存在しないと特定するため、誤検知を抑制し、後席の乗員、すなわち対象人物の検知精度を向上できる。
In this way, even if the
なお、実施の形態1と同様に、第1検知結果にて、後席の座席のうち、乗員が存在しないこと示された座席に対して、第2乗員検知処理を行うようにしてもよい。このようにすると、第1乗員検知処理にて検知漏れがある可能性のある座席に対して第2乗員検知処理を行うため、乗員の検知漏れを抑制できるとともに、車両監視装置10の処理負荷を軽減できる。また、図8のフローチャートにおいて、車両監視装置10により、ST101~ST104の処理を行った後に、ST105~ST108及びST201~ST203の処理を行うものとして図示しているが、図8のフローチャートは一例であり、例えば、ST101~ST104と、ST105~ST108及びST201~ST203の処理とを並列で行ってもよい。
Note that, similarly to the first embodiment, the second occupant detection process may be performed on a seat among the rear seats for which the first detection result indicates that no occupant is present. In this way, since the second occupant detection process is performed for a seat where there is a possibility that detection may be missed in the first occupant detection process, it is possible to suppress failure to detect an occupant, and reduce the processing load on the
なお、実施の形態1~2において、乗員検知部12が、後席の乗員を検知して後席の乗員の存否を特定する例について説明したが、乗員検知部12は、前席の乗員を検知し、前席の乗員の存否を特定してもよい。この場合、車両の前席及び後席を検知範囲に含むようにセンサ20を設け、第1検知部4により、前席の乗員の検知処理を行えばよい。
In the first and second embodiments, an example has been described in which the
また、実施の形態1~2において、乗員検知部12による前席の乗員の存否の特定を、図4のフローチャートを用いて説明した動作例と同様に、センサ情報から前席の乗員が検知されなかったことを示す検知結果を得て、撮像画像から前席の乗員が検知されたことを示す検知結果を得た場合、前席に乗員が存在すると特定するようにすれば、前席の乗員の検知漏れを防ぎ、前席の乗員、すなわち対象人物の検知精度を向上できる。
In addition, in the first and second embodiments, the identification of the presence or absence of a front seat occupant by the
さらに、実施の形態1~2において、乗員検知部12による前席の乗員の存否の特定を、図8のフローチャートを用いて説明した動作例と同様に、センサ情報から前席の乗員が検知されたことを示す検知結果を得て、撮像画像から前席に乗員が存在しないことを示す検知結果を得た場合、前席に乗員が存在しないと特定するようにすれば、前席の乗員の誤検知を抑制し、前席の乗員、すなわち対象人物の検知精度を向上できる。
Furthermore, in
なお、実施の形態1~2において、第1検知部4は、センサ情報を用いて、検知された乗員の体格、年齢、又は性別等の属性を推定する属性推定処理、及び姿勢等の状態を推定する状態推定処理の少なくともいずれかを行ってもよい。この場合、センサ20を電波センサ21又は超音波センサ等で構成し、第1検知部4により、センサ20から取得した距離データ及び角度データ等を用いて、乗員の体格、姿勢等を推定すればよい。上述の属性推定処理及び状態推定処理は、公知の種々のアルゴリズムを用いることができるものであり、詳細な説明を省略する。
In the first and second embodiments, the first detection unit 4 performs an attribute estimation process that uses sensor information to estimate attributes such as the detected occupant's physique, age, or gender, and the state such as posture. At least one of the state estimation processes may be performed. In this case, the
また、実施の形態1~2において、第2検知部5が、撮像画像における乗員の顔領域、顔パーツの位置等、乗員の顔に関する特徴情報を用いて、乗員を検知する例について説明したが、第2検知部5は、撮像画像における乗員の骨格点等、体格に関する特徴情報を用いて乗員を検知してもよい。さらに、第2検知部5は、乗員の顔、体格に関する特徴情報を用いて、検知された乗員の体格、年齢、及び性別等の属性を推定する属性推定処理、及び姿勢、眠気、又は体調等の状態を推定する状態推定処理の少なくともいずれかを行ってもよい。なお、属性推定処理において、検知された乗員と特定の個人とを紐づける乗員認証を行い、認証結果を属性に含めてもよい。上述の属性推定処理、及び状態推定処理は、公知の種々のアルゴリズムを用いることができるものであり、詳細な説明を省略する。
Furthermore, in the first and second embodiments, an example was described in which the
上述のように、第1検知部4が、センサ情報を用いて乗員の属性推定処理及び状態推定処理の少なくともいずれかを行い、第2検知部5が、撮像画像を用いて乗員の属性推定処理及び状態推定処理の少なくともいずれかを行う。このようにすると、例えば、第1検知部4の第1検知処理において、電波センサ21から取得したセンサ情報の分解能が担保できずに複数の乗員が連なって検知され、それぞれの乗員の体格の推定が行えない場合であっても、第2検知部5により撮像画像を用いて前述のそれぞれ乗員の体格の推定を行うことができる等、属性推定結果及び状態推定結果の信頼性を向上できる。
As described above, the first detection unit 4 performs at least one of occupant attribute estimation processing and state estimation processing using sensor information, and
実施の形態3.
実施の形態3に係る車両監視装置80は、実施の形態1と同様に、センサ情報を取得する第1情報取得部1と、撮像画像を取得する第2情報取得部2とを備える。本実施の形態では、車両監視装置80が、車両50の外部の人物(以下、車外の人物という)を検知する車外検知部81を備え、車外の人物を検知する点について、実施の形態1と異なる。実施の形態1と同じ構成要素には同じ符号を付し、その説明を省略する。
図9は、実施の形態3に係る車両監視システム101の構成例を示すブロック図である。車両監視システム101は、車両監視装置80、センサ20、及び撮像装置30を備えており、車両監視装置80、センサ20、及び撮像装置30は、それぞれ車両50に搭載される。
FIG. 9 is a block diagram showing a configuration example of a
また、車両監視装置80は、車外の人物を検知する車外検知部81を備えている。車外検知部81は、第1車外検知部7、第2車外検知部8、及び車外存否判定部9を有しており、車外の人物の検知を行う。車外検知部81が有する各構成については、詳細を後述する。すなわち、本実施の形態に係る車両監視システム101の検知における対象人物は、車外の人物である。なお、車両監視システム101は、車外の人物のみを検知するものでなく、検知における対象人物に前席の乗員又は後席の乗員を含んでもよい。
The
本実施の形態におけるセンサ20は、例えば、電波センサ21又は超音波センサ等の撮像装置30と異なるセンサ20であり、車外を検知範囲に含むように、すなわち車外の人物を検知可能なように、車室内の天井、車両50の外装等に設けられている。センサ20が電波センサ21又は超音波センサである場合、車両50の外装から設定された距離、離間した範囲を検知範囲に含むように、一台又は複数台、車室の天井等に設けられる。なお、設定された距離とは、例えば15cm程度であり、車外において車両50の近傍に存在する人物を検知可能であれば、適宜設定可能である。
The
また、撮像装置30は、車両50の窓を介して車外を撮像可能なように、一台又は複数台、オーバーヘッドコンソール、インストメントパネル、ステアリングコラム、ルームミラー等に配置される。図10は、実施の形態3に係る車両監視装置80による車外の人物の検知例を示す説明図である。図10は、車両監視装置80を搭載した車両50の内部及び外部を上方から見た図であり、後席右側の近傍に車外の人物70が存在している例を示している。また、図10中の領域Fは、撮像装置30の撮像範囲を示しており、図10に示すように、撮像装置30は車外を撮像範囲に含む。
Further, one or
図9に戻り、車両監視装置80について説明する。車両監視装置80の情報取得部11は、実施の形態1と同様に、第1情報取得部1と、第2情報取得部2とを有する。情報取得部11の第1情報取得部1は、センサ20と接続されており、センサ20からセンサ情報を取得する。ここで、センサ情報とは、車外の人物の存否に関する情報である。例えば、センサ20が電波センサ21である場合、センサ情報は、電波センサ21と、検知対象との距離を示す距離データ、電波センサ21に対する検知対象の角度を示す角度データ等である。また、例えば、センサ20が音声センサである場合、センサ情報は、車外の人物が発話した音声の、音量及び到来方向等を示す音声データ等である。なお、センサ情報は、これらのうちのいずれか1つもしくは複数の組み合わせである。
Returning to FIG. 9, the
一方、情報取得部11の第2情報取得部2は、撮像装置30と接続されており、撮像装置30から撮像画像を取得する。なお、図9の例において、第1情報取得部1と第2情報取得部2とを分けて図示しているが、撮像画像からの撮像画像の取得及びセンサ20からのセンサ情報の取得は一つの構成で行ってもよい。そして、情報取得部11は、取得したセンサ情報及び撮像画像を車外検知部81に出力する。
On the other hand, the second
車外検知部81の第1車外検知部7は、センサ情報を用いて車外の人物を検知する。また、車外検知部81の第2車外検知部8は、撮像画像を用いて車外の人物を検知する。さらに、車外検知部81の車外存否判定部9は、第1車外検知部7及び第2車外検知部8の検知結果を用いて、車外に人物が存在しているか否かを判定する車外存否判定部9を備える。
The first
次に、車外検知部81による、車外の人物を検知する処理について説明する。以下の説明では、第1車外検知部7が、センサ情報として、電波センサ21から取得した距離データと、角度データとを用いて車外の人物を検知する例を挙げて説明する。
Next, a process of detecting a person outside the vehicle by the vehicle
まず、第1車外検知部7は、情報取得部11の第1情報取得部1から、距離データと、角度データとをセンサ情報として取得し、人、動物等の検知対象の大きさ、検知対象が存在する範囲等を算出する。例えば、第1車外検知部7は、算出した検知対象の大きさ及び存在する範囲等から、車外における車両50の窓の近辺等、車両50の近傍に検知対象が存在することが判明すれば、車外に人物が存在するという検知結果を導出し、検知結果を車両監視装置80の記憶部に出力する。以下、説明のため、第1車外検知部7によるセンサ情報を用いた検知処理を、第1車外検知処理という。また、第1車外検知部7による第1車外検知処理の検知結果を第1車外検知結果という。
First, the first
ところで、センサ情報を用いて車外の人物を検知する場合、検知結果の信頼性が問題となる場合がある。例えばセンサ20が電波センサ21である場合、電波センサ21と車外の人物との位置関係によっては、車外の人物が必要以上に大きく検知される、又は車外の人物の体を検知しきれない等して、検知対象が人であるか否かを正確に判定できない場合がある。
By the way, when detecting a person outside the vehicle using sensor information, the reliability of the detection result may become a problem. For example, if the
一方で、撮像装置30を用いて車外の人物を検知する場合は、撮像装置30と異なるセンサ20を用いて車外の人物を検知する場合に比して信頼性が高い検知結果を得ることができる。そこで、車外の人物の検知について、撮像画像から車外の人物が検知された場合は、撮像画像を用いた車外の人物の検知処理による検知結果を用いることで、車外の人物、すなわち対象人物の検知精度を向上できる。
On the other hand, when detecting a person outside the vehicle using the
第2車外検知部8による検知処理例について説明する。まず、第2車外検知部8は、撮像画像の解析を行い、撮像画像内における、車外の人物の顔を検出する。そして、第2車外検知部8は、車外の人物の顔が検出された領域である顔領域と、顔領域における車外の人物の顔の特徴情報とを取得する。ここで、車外の人物の顔の特徴情報とは、例えば、顔の大きさを正規化した上での、目、鼻、口、頬の部分のコントラスト比等である。なお、第2車外検知部8は、車外の人物の顔の特徴情報を用いて顔検出に成功したか否かを判定してもよい。この場合、第2車外検知部8は、例えば、顔領域内のコントラスト比から、顔領域の輝度分布が、顔らしいことが判明すれば、顔検出に成功したと判定し、輝度分布が顔らしくないと判定すれば、顔検出に失敗したと判定すればよい。
An example of a detection process by the second outside-
第2車外検知部8は、車外の人物の顔を検出したら、撮像画像から、例えば、車外の人物の顔の輪郭に接する矩形等の、車外の人物の顔を囲む顔領域に係る座標を取得する。ここで、顔領域に係る座標は、例えば、顔領域が矩形である場合、矩形の各頂点、中心等の座標である。さらに、第2車外検知部8は、顔領域の幅、高さ、及び面積等の寸法を、顔領域の座標から算出する。
When detecting the face of a person outside the vehicle, the second
そして、第2車外検知部8、取得した顔領域の座標、幅、高さ、及び面積等から、車外に人物が存在するか否かを特定し、車外の人物の存否に関する情報を検知結果として、車両監視装置80の記憶部に出力する。なお、第2車外検知部8による検知処理は上述の例に限らず、公知の種々のアルゴリズムを用いることが可能である。また、第2車外検知部8は、撮像画像における車外の人物の骨格点等、体格に関する特徴情報を用いて車外の人物を検知してもよい。
Then, the second vehicle
また、上述の例では、第2車外検知部8の検知結果を記憶部に格納する例を示しているが、第2車外検知部8は、検知結果を車外存否判定部9に出力してもよい。以下、説明のため、第2車外検知部8による撮像画像を用いた検知処理を、第2車外検知処理という。また、第2車外検知部8による第2車外検知処理の検知結果を第2車外検知結果という。
Further, in the above example, the detection result of the second
次に、車外に人物が存在しているか否かを判定する存否判定処理について説明する。車外存否判定部9は、センサ情報から車外の人物が検知されなかったとしても、撮像画像から車外の人物が検知できれば、車外に人物が存在すると判定する。このように、車外検知部81は、センサ情報から得られた車外の人物の存否に関する検知結果と、撮像画像から得られた車外の人物の存否に関する検知結果とが異なる場合、撮像画像から得られた車外の存否に関する検知結果を用いて、車外の人物の存否を特定する。
Next, the presence/absence determination process for determining whether or not a person exists outside the vehicle will be described. Even if the person outside the vehicle is not detected from the sensor information, the presence/
以下、車両監視装置80の動作について説明する。図11は、実施の形態3に係る車両監視装置80の動作例を示すフローチャートである。車両監視装置80は、例えば、車両情報取得部3が、車両側制御装置200から車両50のエンジンが始動した旨を示す信号を取得した場合、第1車外検知処理及び第2車外検知処理の動作を開始する。
The operation of the
また、図11のフローチャートには、車両監視装置80の動作を終了する処理が示されていないが、車両監視装置80は、例えば、車両情報取得部3が、車両側制御装置200から車両50のエンジンが停止した旨を示す信号を取得した場合、第1車外検知処理及び第2車外検知処理の動作を終了する。
Further, although the flowchart of FIG. 11 does not show the process of terminating the operation of the
まず、車両監視装置80の動作が開始した後、車両監視装置80の第1情報取得部1は、センサ20からセンサ情報を取得する(ST301)。次に、第1車外検知部7は、センサ情報を用いて第1車外検知処理を行う(ST302)。ここで、第1車外検知部7による車外の人物が検知されたか否かの判定は、例えば、センサ情報として取得した距離データ、角度データから算出した検知対象の大きさ及び存在する範囲等に基づき、検知された検知対象が車外に存在するか否かを判定することにより行えばよい。
First, after the operation of the
そして、第1車外検知部7は、車外の人物が検知されたか否かを示す検知結果を、車両監視装置80の記憶部に出力する。第1車外検知部7は、車外において人物が検知された場合(ST302;YES)、車外の人物が検知されたことを示す検知結果を、第1車外検知結果として車両監視装置80の記憶部に出力し、車外第1フラグをONにする(ST303)。一方、第1車外検知部7は、車外において人物が検知されなかった場合(ST302;NO)、車外の人物が検知されなかったことを示す検知結果を、第1車外検知結果として車両監視装置80の記憶部に出力し、車外第1フラグをOFFにする(ST304)。
The first vehicle
ここで、記憶部に記憶される車外第1フラグとは、第1人物検知処理により車外において人物が検知されたか否かを示すものである。すなわち、第1車外検知部7が車外の人物が検知されたことを示す第1車外検知結果を出力すれば、車外第1フラグはONとなり、第1車外検知部7が車外の人物が検知されなかったことを示す第1車外検知結果を出力すれば、車外第1フラグはOFFとなる。
Here, the first flag outside the vehicle stored in the storage unit indicates whether a person is detected outside the vehicle by the first person detection process. That is, if the first
次に、車両監視装置80の第2情報取得部2は、撮像装置30から撮像画像を取得する(ST305)。第2車外検知部8は、撮像画像を用いて第2車外検知処理を行う(ST306)。ここで、第2車外検知部8による車外において人物が検知されたか否かの判定は、例えば、撮像画像から取得した顔領域の座標、幅、高さ、及び面積等に基づき、検知対象が車外に存在するか否かを判定することにより行えばよい。
Next, the second
そして、第2車外検知部8は、車外の人物が検知されたか否かの検知結果を、車両監視装置80の記憶部に出力する。第2車外検知部8は、車外において人物が検知された場合(ST306;YES)、車外の人物が検知されたことを示す検知結果を、第2車外検知結果として車両監視装置80の記憶部に出力し、車外第2フラグをONにする(ST307)。一方、第2車外検知部8は、車外において人物が検知されなかった場合(ST306;NO)、車外の人物が検知されなかったことを示す検知結果を、第2車外検知結果として車両監視装置80の記憶部に出力し、車外第2フラグをOFFにする(ST308)。
Then, the second outside-
ここで、記憶部に記憶される車外第2フラグとは、第2車外検知処理により、車外において人物が検知されたか否かを示すものである。すなわち、第2車外検知部8が車外の人物が検知されたことを示す第2車外検知結果を出力すれば、車外第2フラグはONとなり、第2車外検知部8が車外の人物が検知されなかったことを示す第2車外検知結果を出力すれば、車外第2フラグはOFFとなる。
Here, the second outside-vehicle flag stored in the storage unit indicates whether or not a person has been detected outside the vehicle by the second outside-vehicle detection process. That is, if the second
次に、車両監視装置80の車外存否判定部9は、第1車外検知部7から第1車外検知結果を取得し、第2車外検知部8から第2車外検知結果を取得する。そして、車外存否判定部9は、第1車外検知結果及び第2車外検知結果を用いて、車外に人物が存在しているか否かを判定する。
Next, the vehicle exterior presence/
車外存否判定部9は、第1車外検知結果として車外第1フラグを参照して、車外第1フラグがONであるか否かを判定し(ST309)、センサ情報から車外の人物が検知された否かを確認する。そして、車外存否判定部9は、車外第1フラグがONであれば(ST309;YES)、すなわち、センサ情報から車外の人物が検知されたことを確認した場合、車外に人物が存在すると判定し、判定結果を車両側制御装置200に出力する(ST310)。
The vehicle exterior presence/
なお、車外存否判定部9による判定結果は、車両側制御装置200の、例えば、車外に人物が存在する旨の報知を行う報知部(図示せず)に出力される。そして、報知部は、車外に人物が存在するという判定結果を受信した場合、車外に人物が存在する旨を、車両の報知部又は運転者が所持する端末(図示せず)から運転者等に報知する。このようにすると、車両50の運転者は、車両の近傍に不審者等の人物が存在することを認識できる。
Note that the determination result by the presence/
一方、車外存否判定部9は、車外第1フラグがOFFであれば(ST309;NO)、すなわち、センサ情報から車外において人物が検知されなかったことを確認した場合、次に説明するST311の処理に進む。
On the other hand, if the outside-vehicle first flag is OFF (ST309; NO), that is, if it is confirmed from the sensor information that no person has been detected outside the vehicle, the outside-vehicle
車外存否判定部9は、第2車外検知結果として車外第2フラグを参照して、車外第2フラグがONであるか否かを判定し(ST311)、撮像画像から車外の人物が検知されたか否かを確認する。そして、車外存否判定部9は、車外第2フラグがONであれば(ST311;YES)、すなわち、撮像画像から車外の人物が検知されたことを確認した場合、車外に人物が存在すると判定し、判定結果を車両側制御装置200に出力する(ST310)。
The vehicle exterior
一方、車外存否判定部9は、車外第2フラグがOFFであれば(ST311;NO)、すなわち、撮像画像から車外の人物が検知されなかったことを確認した場合、車外に人物が存在しないと判定し、判定結果を車両側制御装置200に出力する(ST312)。
On the other hand, if the second outside flag is OFF (ST311; NO), that is, if it is confirmed that a person outside the vehicle is not detected from the captured image, the outside presence/
このように、車外検知部81は、センサ情報から車外の人物が検知されなかったことを示す検知結果を得て、撮像画像から車外の人物が検知されたことを示す検知結果を得た場合、車外に人物が存在すると特定する。これにより、実際は車外に人物が存在しているにもかかわらず、センサ情報から車外に人物が存在することが検知されなかったとしても、撮像画像から車外に人物が存在することが検知された場合に、撮像画像から得られた検知結果を用いて車外に人物が存在すると判定するため、車外の人物の検知漏れを防ぎ、車外の人物、すなわち対象人物の検知精度を向上できる。
In this way, when the vehicle
また、図11のフローチャートにおいて、車両監視装置80により、ST301~ST304の処理を行った後に、ST305~ST308の処理を行うものとして図示しているが、図11のフローチャートは一例であり、例えば、ST301~ST304の処理及びST305~ST308の処理を並列で行ってもよい。
Further, in the flowchart of FIG. 11, the
なお、本実施の形態における車両監視装置80は、実施の形態2と同様に、車外存否判定部9が、第2車外検知部8から、センサ情報から車外に人物が存在することを示す検知結果を得たとしても、撮像画像から車外に人物が存在しないことを示す検知結果を得た場合、撮像画像から得られた検知結果を用いて、車外に人物が存在しないと判定するようにしてもよい。
Note that in the
すなわち、例えば、車外存否判定部9が、第1車外検知部7から、センサ情報から検知した車外に検知対象が存在することを示す検知結果を得たとしても、第2車外検知部8が、検知対象が人以外の物体であることを撮像画像から特定した場合は、車外に人物が存在しないと判定してもよい。このようにすると、センサ情報から得られた、車外に人物が存在するという検知結果が誤検知によるものだったとしても、撮像画像から車外に人物が存在しないことが明確であれば、車外に人物が存在しないという特定するため、誤検知を抑制し、車外の人物、すなわち対象人物の検知精度を向上できる。
That is, for example, even if the vehicle exterior presence/
また、車両監視装置80は、車両のエンジンが停止している場合であっても、第1車外検知処理及び第2車外検知処理を行ってもよい。このようにすると、車両側制御装置200の報知制御部により、車外に人物が存在する旨を、車両の報知部又は運転者が所持する端末から運転者等に報知できるため、車両の盗難等、車両への犯罪行為が行われる前に不審者が車両近傍に存在することを運転者に通知できる。
Further, the
次に、車両監視装置80の機能を実現するハードウェア構成について説明する。図12は、実施の形態3に係る車両監視装置80のハードウェア構成例を示す図である。車両監視装置80における第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部の機能は、処理回路によって実現される。すなわち、車両監視装置80の、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部は、図12Aに示すように専用のハードウェアである処理回路80aであってもよいし、図12Bに示すようにメモリ80cに格納されているプログラムを実行するプロセッサ80bであってもよい。
Next, a hardware configuration that implements the functions of the
図12Aに示すように、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部が専用のハードウェアである場合、処理回路80aは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable Gate Array)、又はこれらを組み合わせたものが該当する。第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
As shown in FIG. 12A, the first
図12Bに示すように、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部がプロセッサ80bである場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ80cに格納される。プロセッサ80bは、メモリ80cに記憶されたプログラムを読み出して実行することにより、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部の各機能を実現する。すなわち、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部は、プロセッサ80bにより実行されるときに、図4に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ80cを備える。また、これらのプログラムは、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部の手順又は方法をコンピュータに実行させるものであるともいえる。
As shown in FIG. 12B, the first
ここで、プロセッサ80bとは、例えば、CPU(Central Processing Unit)、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はDSP(Digital Signal Processor)等のことである。メモリ80cは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
Here, the processor 80b is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor). The
なお、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、車両監視装置80における処理回路80aは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。また、第1情報取得部1、第2情報取得部2、車両情報取得部3、情報取得部11、第1車外検知部7、第2車外検知部8、車外存否判定部9、車外検知部81、及び記憶部の少なくとも一部の機能を、外部サーバに実行させてもよい。
Note that the first
このように、車両監視装置80に、車外を検知範囲に含むセンサ20から、センサ情報を取得する第1情報取得部1と、車外を撮像範囲に含む撮像装置30から、撮像画像を取得する第2情報取得部2と、第1情報取得部1及び第2情報取得部2がそれぞれ取得した、センサ情報及び撮像画像から、車外の人物を検知する車外検知部81と、を備え、車外検知部81は、センサ情報から得られた車外の人物の存否に関する検知結果と、撮像画像から得られた車外の人物の存否に関する検知結果とが異なる場合、撮像画像から得られた車外の人物の存否に関する検知結果を用いて、車外の人物の存否を特定するものであると、車外の人物の検知漏れを防ぎ、車外の人物、すなわち対象人物の検知精度を向上できる。
In this way, the
また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。例えば、車両監視装置に、乗員検知部12及び車外検知部81の両方を備え、乗員の検知及び車外の人物の検知の両方を行うようにしてもよい。
Further, each embodiment disclosed in this specification can be freely combined within its scope, and each embodiment can be modified or omitted as appropriate. . For example, the vehicle monitoring device may include both the
1 第1情報取得部、2 第2情報取得部、3 車両情報取得部、4 第1検知部、5 第2検知部、6 存否判定部、7 第1車外検知部、8 第2車外検知部、9 車外存否判定部、10、80 車両監視装置、10a、80a 処理回路、10b、80b プロセッサ、10c、80c メモリ、11 情報取得部、12 乗員検知部、20 センサ、21 電波センサ、30 撮像装置、50 車両、51 運転席、52 助手席、53、54、55 座席、56、57、58、59、60 乗員、61 チャイルドシート、70 車外の人物、81 車外検知部、100、101 車両監視システム。 1 First information acquisition unit, 2 Second information acquisition unit, 3 Vehicle information acquisition unit, 4 First detection unit, 5 Second detection unit, 6 Presence/absence determination unit, 7 First vehicle exterior detection unit, 8 Second vehicle exterior detection unit , 9 Existence determination unit outside the vehicle, 10, 80 Vehicle monitoring device, 10a, 80a Processing circuit, 10b, 80b Processor, 10c, 80c Memory, 11 Information acquisition unit, 12 Occupant detection unit, 20 Sensor, 21 Radio wave sensor, 30 Imaging device , 50 Vehicle, 51 Driver's Seat, 52 Passenger Seat, 53, 54, 55 Seat, 56, 57, 58, 59, 60 Passenger, 61 Child Seat, 70 Person Outside the Vehicle, 81 External Detection Unit, 100, 101 Vehicle Monitoring System.
Claims (22)
前記車両の前席及び前記後席を撮像範囲に含む撮像装置から、撮像画像を取得する第2情報取得部と、
前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記後席の乗員を検知する乗員検知部と、を備え、
前記乗員検知部は、前記センサ情報から得られた前記後席の乗員の存否に関する検知結果と、前記撮像画像から得られた前記後席の乗員の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記後席の乗員の存否に関する検知結果を用いて、前記後席の乗員の存否を特定する
ことを特徴とする車両監視装置。 a first information acquisition unit that acquires sensor information from a sensor whose detection range includes at least a rear seat of the vehicle;
a second information acquisition unit that acquires a captured image from an imaging device whose imaging range includes the front seat and the rear seat of the vehicle;
an occupant detection unit that detects an occupant in the rear seat from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
When the detection result regarding the presence or absence of the occupant in the rear seat obtained from the sensor information is different from the detection result regarding the presence or absence of the occupant in the rear seat obtained from the captured image, the occupant detection unit detects the presence or absence of the occupant in the captured image. A vehicle monitoring device characterized in that the presence or absence of a passenger in the rear seat is specified using a detection result regarding the presence or absence of a passenger in the rear seat obtained from the above.
ことを特徴とする請求項1に記載の車両監視装置。 When the occupant detection unit obtains a detection result indicating that an occupant is not present in the rear seat from the sensor information and obtains a detection result indicating that an occupant is present in the rear seat from the captured image, the The vehicle monitoring device according to claim 1, wherein the vehicle monitoring device specifies that a passenger is present in a rear seat.
ことを特徴とする請求項1又は請求項2に記載の車両監視装置。 When the occupant detection unit obtains a detection result indicating that an occupant is present in the rear seat from the sensor information and obtains a detection result indicating that an occupant is not present in the rear seat from the captured image, The vehicle monitoring device according to claim 1 or 2, wherein the vehicle monitoring device specifies that no occupant is present in the rear seat.
ことを特徴とする請求項1から請求項3のいずれか一項に記載の車両監視装置。 The occupant detection unit obtains a detection result indicating that an occupant is present in the rear seat from the sensor information, and obtains a detection result indicating that an object other than the occupant exists in the rear seat from the captured image. The vehicle monitoring device according to any one of claims 1 to 3, wherein the vehicle monitoring device specifies that there is no occupant in the rear seat if the vehicle monitor detects an occupant in the rear seat.
ことを特徴とする請求項1から請求項4のいずれか一項に記載の車両監視装置。The vehicle monitoring device according to any one of claims 1 to 4, characterized in that:
ことを特徴とする請求項1から請求項5のいずれか一項に記載の車両監視装置。 The occupant detection unit obtains a detection result indicating that an occupant is present in the rear seat from the sensor information, and detects from the captured image that an occupant is present in the rear seat that is not obscured by the occupant in the front seat. The vehicle monitoring device according to any one of claims 1 to 5 , wherein when a detection result indicating that no passenger is present is obtained, it is specified that there is no passenger in the rear seat.
前記前席を撮像範囲に含む撮像装置から、撮像画像を取得する第2情報取得部と、a second information acquisition unit that acquires a captured image from an imaging device that includes the front seat in its imaging range;
前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記前席の乗員を検知する乗員検知部と、を備え、an occupant detection unit that detects an occupant in the front seat from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
前記乗員検知部は、前記センサ情報から得られた前記前席の乗員の存否に関する検知結果と、前記撮像画像から得られた前記前席の乗員の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記前席の乗員の存否に関する検知結果を用いて、前記前席の乗員の存否を特定するWhen the detection result regarding the presence or absence of the occupant in the front seat obtained from the sensor information is different from the detection result regarding the presence or absence of the occupant in the front seat obtained from the captured image, the occupant detection unit detects the presence or absence of the occupant in the captured image. The presence or absence of the occupant in the front seat is identified using the detection result regarding the presence or absence of the occupant in the front seat obtained from
ことを特徴とする車両監視装置。A vehicle monitoring device characterized by:
ことを特徴とする請求項7に記載の車両監視装置。 When the occupant detection unit obtains a detection result indicating that an occupant is not present in the front seat from the sensor information and obtains a detection result indicating that an occupant is present in the front seat from the captured image, the The vehicle monitoring device according to claim 7, wherein the vehicle monitoring device specifies that a passenger is present in the front seat .
ことを特徴とする請求項7又は請求項8に記載の車両監視装置。 When the occupant detection unit obtains a detection result indicating that an occupant is present in the front seat from the sensor information and obtains a detection result indicating that an occupant is not present in the front seat from the captured image, the The vehicle monitoring device according to claim 7 or 8, wherein the vehicle monitoring device specifies that no occupant is present in the front seat .
ことを特徴とする請求項7から請求項9のいずれか一項に記載の車両監視装置。The vehicle monitoring device according to any one of claims 7 to 9.
ことを特徴とする請求項1から請求項10のいずれか一項に記載の車両監視装置。 The occupant detection unit estimates the attributes of the occupant and the condition of the occupant, using the sensor information, for an occupant present in a seat for which a detection result indicating the presence of an occupant is obtained from the sensor information. At least one of the above is performed, and the captured image is used to estimate the attributes of the occupant and to determine the condition of the occupant for the occupant present in the seat for which a detection result indicating the presence of the occupant is obtained from the captured image. The vehicle monitoring device according to any one of claims 1 to 10, wherein the vehicle monitoring device performs at least one of estimation.
前記車両の外部を撮像範囲に含む撮像装置から、撮像画像を取得する第2情報取得部と、
前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記車両の外部の人物を検知する車外検知部と、を備え、
前記車外検知部は、前記センサ情報から得られた前記車両の外部の人物の存否に関する検知結果と、前記撮像画像から得られた前記車両の外部の人物の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記車両の外部の人物の存否に関する検知結果を用いて、前記車両の外部の人物の存否を特定する
ことを特徴とする車両監視装置。 a first information acquisition unit that acquires sensor information from a sensor whose detection range includes the outside of the vehicle;
a second information acquisition unit that acquires a captured image from an imaging device whose imaging range includes the outside of the vehicle;
a vehicle exterior detection unit that detects a person outside the vehicle from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
When the detection result regarding the presence or absence of a person outside the vehicle obtained from the sensor information is different from the detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image, the vehicle exterior detection unit detects the presence or absence of the person outside the vehicle. A vehicle monitoring device characterized in that the presence or absence of a person outside the vehicle is specified using a detection result regarding the presence or absence of a person outside the vehicle obtained from a captured image.
ことを特徴とする請求項12に記載の車両監視装置。 When the vehicle exterior detection unit obtains a detection result indicating that a person does not exist outside the vehicle from the sensor information, and obtains a detection result indicating that a person exists outside the vehicle from the captured image; 13. The vehicle monitoring device according to claim 12, wherein the vehicle monitoring device specifies that a person is present outside the vehicle.
ことを特徴とする請求項12又は請求項13に記載の車両監視装置。 When the vehicle exterior detection unit obtains a detection result indicating that a person exists outside the vehicle from the sensor information, and obtains a detection result indicating that a person does not exist outside the vehicle from the captured image; 14. The vehicle monitoring device according to claim 12 or 13, wherein the vehicle monitoring device specifies that no person exists outside the vehicle.
前記車両に搭載され、前記車両の前席及び前記後席を撮像範囲に含む撮像装置と、
前記センサから、センサ情報を取得する第1情報取得部と、
前記撮像装置から、撮像画像を取得する第2情報取得部と、
前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記後席の乗員を検知する乗員検知部と、を備え、
前記乗員検知部は、前記センサ情報から得られた前記後席の乗員の存否に関する検知結果と、前記撮像画像から得られた前記後席の乗員の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記後席の乗員の存否に関する検知結果を用いて、前記後席の乗員の存否を特定する
ことを特徴とする車両監視システム。 a sensor mounted on a vehicle whose detection range includes at least the rear seat of the vehicle;
an imaging device that is mounted on the vehicle and includes a front seat and a rear seat of the vehicle in an imaging range;
a first information acquisition unit that acquires sensor information from the sensor;
a second information acquisition unit that acquires a captured image from the imaging device;
an occupant detection unit that detects an occupant in the rear seat from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
When the detection result regarding the presence or absence of the occupant in the rear seat obtained from the sensor information is different from the detection result regarding the presence or absence of the occupant in the rear seat obtained from the captured image, the occupant detection unit detects the presence or absence of the occupant in the captured image. A vehicle monitoring system characterized in that the presence or absence of a passenger in the rear seat is specified using a detection result regarding the presence or absence of a passenger in the rear seat obtained from the above.
前記車両に搭載され、前記前席を撮像範囲に含む撮像装置と、an imaging device that is mounted on the vehicle and includes the front seat in its imaging range;
前記センサから、センサ情報を取得する第1情報取得部と、a first information acquisition unit that acquires sensor information from the sensor;
前記撮像装置から、撮像画像を取得する第2情報取得部と、a second information acquisition unit that acquires a captured image from the imaging device;
前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記前席の乗員を検知する乗員検知部と、を備え、an occupant detection unit that detects an occupant in the front seat from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
前記乗員検知部は、前記センサ情報から得られた前記前席の乗員の存否に関する検知結果と、前記撮像画像から得られた前記前席の乗員の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記前席の乗員の存否に関する検知結果を用いて、前記前席の乗員の存否を特定するWhen the detection result regarding the presence or absence of the occupant in the front seat obtained from the sensor information is different from the detection result regarding the presence or absence of the occupant in the front seat obtained from the captured image, the occupant detection unit detects the presence or absence of the occupant in the captured image. The presence or absence of the occupant in the front seat is identified using the detection result regarding the presence or absence of the occupant in the front seat obtained from
こと特徴とする車両監視システム。A vehicle monitoring system featuring:
前記車両側制御装置は、前記乗員の存否の特定結果を用いて、乗員に対して報知を行う報知制御部を有するThe vehicle-side control device includes a notification control unit that notifies the passenger using the identification result of the presence or absence of the passenger.
ことを特徴とする請求項15又は請求項16に記載の車両監視システム。The vehicle monitoring system according to claim 15 or 16, characterized in that:
前記車両に搭載され、前記車両の外部を撮像範囲に含む撮像装置と、
前記センサから、センサ情報を取得する第1情報取得部と、
前記撮像装置から、撮像画像を取得する第2情報取得部と、
前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記車両の外部の人物を検知する車外検知部と、を備え、
前記車外検知部は、前記センサ情報から得られた前記車両の外部の人物の存否に関する検知結果と、前記撮像画像から得られた前記車両の外部の人物の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記車両の外部の人物の存否に関する検知結果を用いて、前記車両の外部の人物の存否を特定する
ことを特徴とする車両監視システム。 A sensor installed in a vehicle and whose detection range includes the outside of the vehicle;
an imaging device that is mounted on the vehicle and whose imaging range includes the outside of the vehicle;
a first information acquisition unit that acquires sensor information from the sensor;
a second information acquisition unit that acquires a captured image from the imaging device;
a vehicle exterior detection unit that detects a person outside the vehicle from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
When the detection result regarding the presence or absence of a person outside the vehicle obtained from the sensor information is different from the detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image, the vehicle exterior detection unit detects the presence or absence of the person outside the vehicle. A vehicle monitoring system characterized in that the presence or absence of a person outside the vehicle is specified using a detection result regarding the presence or absence of a person outside the vehicle obtained from a captured image.
前記車両側制御装置は、前記車両の外部の人物の存否に関する特定結果を用いて、前記車両の外部に人物が存在することを、報知部又は前記車両の運転者が所持する端末を介して報知するThe vehicle-side control device notifies the presence of a person outside the vehicle via a notification unit or a terminal owned by the driver of the vehicle, using the identification result regarding the presence or absence of a person outside the vehicle. do
ことを特徴とする請求項18に記載の車両監視システム。The vehicle monitoring system according to claim 18.
第2情報取得部により、前記車両の前席及び前記後席を撮像範囲に含む撮像装置から、撮像画像を取得するステップと、a second information acquisition unit acquiring a captured image from an imaging device whose imaging range includes the front seat and the rear seat of the vehicle;
乗員検知部が、前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記後席の乗員を検知するステップと、を備え、an occupant detection unit detecting an occupant in the rear seat from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
前記後席の乗員を検知するステップにおいて、前記乗員検知部により、前記センサ情報から得られた前記後席の乗員の存否に関する検知結果と、前記撮像画像から得られた前記後席の乗員の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記後席の乗員の存否に関する検知結果を用いて、前記後席の乗員の存否を特定するIn the step of detecting the occupant in the rear seat, the occupant detection section detects the presence or absence of the occupant in the rear seat obtained from the sensor information and the presence or absence of the occupant in the rear seat obtained from the captured image. If the detection result regarding the presence or absence of the rear seat occupant is different from the detection result regarding the presence or absence of the rear seat occupant, the presence or absence of the rear seat occupant is determined using the detection result regarding the presence or absence of the rear seat occupant obtained from the captured image.
ことを特徴とする車両監視方法。A vehicle monitoring method characterized by:
第2情報取得部により、前記車両の前席を撮像範囲に含む撮像装置から、撮像画像を取得するステップと、a second information acquisition unit acquiring a captured image from an imaging device whose imaging range includes the front seat of the vehicle;
乗員検知部により、前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記前席の乗員を検知するステップと、を備え、detecting an occupant in the front seat by an occupant detection unit from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit;
前記前席の乗員を検知するステップにおいて、前記センサ情報から得られた前記前席の乗員の存否に関する検知結果と、前記撮像画像から得られた前記前席の乗員の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記前席の乗員の存否に関する検知結果を用いて、前記前席の乗員の存否を特定するIn the step of detecting the occupant in the front seat, a detection result regarding the presence or absence of the occupant in the front seat obtained from the sensor information is different from a detection result regarding the presence or absence of the occupant in the front seat obtained from the captured image. In this case, the presence or absence of the passenger in the front seat is determined using a detection result regarding the presence or absence of the passenger in the front seat obtained from the captured image.
ことを特徴とする車両監視方法。A vehicle monitoring method characterized by:
第2情報取得部により、前記車両の外部を撮像範囲に含む撮像装置から、撮像画像を取得するステップと、a second information acquisition unit acquiring a captured image from an imaging device whose imaging range includes the outside of the vehicle;
車外検知部により、前記第1情報取得部及び前記第2情報取得部がそれぞれ取得した、前記センサ情報及び前記撮像画像から、前記車両の外部の人物を検知するステップと、を備え、detecting a person outside the vehicle from the sensor information and the captured image respectively acquired by the first information acquisition unit and the second information acquisition unit by a vehicle exterior detection unit;
前記車両の外部の人物を検知するステップにおいて、前記車外検知部により、前記センサ情報から得られた前記車両の外部の人物の存否に関する検知結果と、前記撮像画像から得られた前記車両の外部の人物の存否に関する検知結果とが異なる場合、前記撮像画像から得られた前記車両の外部の人物の存否に関する検知結果を用いて、前記車両の外部の人物の存否を特定するIn the step of detecting a person outside the vehicle, the outside detection unit detects a detection result regarding the presence or absence of a person outside the vehicle obtained from the sensor information and a detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image. If the detection result regarding the presence or absence of a person is different, the presence or absence of a person outside the vehicle is determined using the detection result regarding the presence or absence of a person outside the vehicle obtained from the captured image.
ことを特徴とする車両監視方法。A vehicle monitoring method characterized by:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/005263 WO2022172400A1 (en) | 2021-02-12 | 2021-02-12 | Vehicular monitoring device and vehicular monitoring system |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022172400A1 JPWO2022172400A1 (en) | 2022-08-18 |
JPWO2022172400A5 JPWO2022172400A5 (en) | 2023-04-17 |
JP7446492B2 true JP7446492B2 (en) | 2024-03-08 |
Family
ID=82838561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022581114A Active JP7446492B2 (en) | 2021-02-12 | 2021-02-12 | Vehicle monitoring device, vehicle monitoring system, and vehicle monitoring method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7446492B2 (en) |
DE (1) | DE112021006342T5 (en) |
WO (1) | WO2022172400A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017141612A (en) | 2016-02-11 | 2017-08-17 | 株式会社オートネットワーク技術研究所 | Vehicle door lock control device |
JP2017171174A (en) | 2016-03-24 | 2017-09-28 | パナソニックIpマネジメント株式会社 | Vehicle monitoring device and vehicle monitoring method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610122B2 (en) * | 2015-09-25 | 2019-11-27 | 株式会社デンソー | Vehicle door lock control device |
JP7210965B2 (en) | 2018-09-26 | 2023-01-24 | 株式会社アイシン | indoor monitoring device |
JP2020097305A (en) * | 2018-12-18 | 2020-06-25 | 株式会社東海理化電機製作所 | Control device, program and control system |
-
2021
- 2021-02-12 JP JP2022581114A patent/JP7446492B2/en active Active
- 2021-02-12 WO PCT/JP2021/005263 patent/WO2022172400A1/en active Application Filing
- 2021-02-12 DE DE112021006342.1T patent/DE112021006342T5/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017141612A (en) | 2016-02-11 | 2017-08-17 | 株式会社オートネットワーク技術研究所 | Vehicle door lock control device |
JP2017171174A (en) | 2016-03-24 | 2017-09-28 | パナソニックIpマネジメント株式会社 | Vehicle monitoring device and vehicle monitoring method |
Also Published As
Publication number | Publication date |
---|---|
DE112021006342T5 (en) | 2023-10-19 |
WO2022172400A1 (en) | 2022-08-18 |
JPWO2022172400A1 (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6807951B2 (en) | Image authentication device, image authentication method and automobile | |
US7433494B2 (en) | Moving body detecting apparatus | |
JP6617651B2 (en) | Pedestrian detection device, pedestrian detection method | |
EP1700761B1 (en) | Apparatus for authenticating vehicle driver | |
US20170334353A1 (en) | Parking Assistance System | |
JP6350145B2 (en) | Face orientation detection device and vehicle warning system | |
US20060215884A1 (en) | Apparatus for authenticating vehicle driver | |
US10430677B2 (en) | Method for classifying driver movements | |
JP6960995B2 (en) | State judgment device and state judgment method | |
US20180208115A1 (en) | Vehicle display device and vehicle display method for displaying images | |
US20230166737A1 (en) | Cabin-inside detection device and cabin-inside detection method | |
JP7446492B2 (en) | Vehicle monitoring device, vehicle monitoring system, and vehicle monitoring method | |
WO2022254501A1 (en) | Personal authentication device and personal authentication system | |
JP7267467B2 (en) | ATTENTION DIRECTION DETERMINATION DEVICE AND ATTENTION DIRECTION DETERMINATION METHOD | |
WO2021240769A1 (en) | Passenger detection device and passenger detection method | |
JP7391265B2 (en) | Occupant detection device, occupant detection system, and occupant detection method | |
JP6594595B2 (en) | Inoperable state determination device and inoperable state determination method | |
US20230408679A1 (en) | Occupant determination apparatus and occupant determination method | |
US20230311899A1 (en) | Driving state determination apparatus, method, and computer readable medium | |
JP2022143854A (en) | Occupant state determination device and occupant state determination method | |
WO2022113275A1 (en) | Sleep detection device and sleep detection system | |
CN112660121A (en) | Hidden danger vehicle identification early warning method and device, vehicle-mounted terminal and storage medium | |
WO2021192007A1 (en) | Face detection device | |
WO2023170777A1 (en) | Vehicle-occupant monitoring device, vehicle-occupant monitoring method, and vehicle-occupant monitoring program | |
JP7275409B2 (en) | Occupant state determination device and occupant state determination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7446492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |