JP7222642B2 - Vehicle occupant monitoring device and occupant protection system - Google Patents

Vehicle occupant monitoring device and occupant protection system Download PDF

Info

Publication number
JP7222642B2
JP7222642B2 JP2018180061A JP2018180061A JP7222642B2 JP 7222642 B2 JP7222642 B2 JP 7222642B2 JP 2018180061 A JP2018180061 A JP 2018180061A JP 2018180061 A JP2018180061 A JP 2018180061A JP 7222642 B2 JP7222642 B2 JP 7222642B2
Authority
JP
Japan
Prior art keywords
occupant
vehicle
control unit
collision
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018180061A
Other languages
Japanese (ja)
Other versions
JP2020050080A (en
Inventor
亮太 中村
淳平 時崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2018180061A priority Critical patent/JP7222642B2/en
Publication of JP2020050080A publication Critical patent/JP2020050080A/en
Application granted granted Critical
Publication of JP7222642B2 publication Critical patent/JP7222642B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両の乗員監視装置、および乗員保護システムに関する。 The present invention relates to a vehicle occupant monitoring device and an occupant protection system.

特許文献1、2は、車両に乗車している乗員を監視する乗員監視装置、を開示する。 Patent Documents 1 and 2 disclose an occupant monitoring device that monitors an occupant riding in a vehicle.

特開平11-043009号公報JP-A-11-043009 特開2015-140146号公報JP 2015-140146 A

ところで、衝突の際に乗員の頭部を撮像して、衝突の際の乗員の頭部の位置や挙動を予測し、これに応じて乗員保護制御を実行することが考えられる。
しかしながら、車両の乗員監視装置は、一般的に、シートに着座している乗員の上体全体を撮像している。
このため、撮像画像において、乗員の頭部がはっきりと撮像されるとは限らない。たとえば夜間走行中であって車内が暗い場合、撮像画像において乗員の頭部がはっきりと撮像され難い。
撮像画像において乗員の頭部がはっきりと撮像されていない場合、画像中での乗員の頭部の位置を適切に特定することができなくなり、その乗員の頭部の位置の変化としての挙動などを正確に判断できなくなる。
その結果、衝突の際の乗員の頭部の位置や動きを良好に予測して、乗員監視装置を用いたことにより期待し得る良好な乗員保護制御を実行できない可能性がある。
By the way, it is conceivable to image the occupant's head at the time of collision, predict the position and behavior of the occupant's head at the time of collision, and execute occupant protection control accordingly.
However, the vehicle occupant monitoring device generally images the entire upper body of the occupant seated on the seat.
Therefore, the occupant's head is not necessarily clearly captured in the captured image. For example, when the vehicle is traveling at night and the inside of the vehicle is dark, it is difficult to clearly capture the head of the passenger in the captured image.
If the occupant's head is not clearly captured in the captured image, it becomes impossible to appropriately identify the position of the occupant's head in the image, and the behavior of the occupant as a change in the position of the occupant's head cannot be determined. You will not be able to judge accurately.
As a result, there is a possibility that the position and movement of the occupant's head in the event of a collision cannot be well predicted, and good occupant protection control that can be expected from the use of the occupant monitoring device cannot be performed.

このように、車両では、乗員監視装置による撮像画像に基づいて、シートに着座している乗員の頭部の位置や挙動を良好に特定できるようにすることが求められている。 In this way, vehicles are required to be able to identify the position and behavior of the head of an occupant sitting on a seat, based on an image captured by an occupant monitoring device.

本発明に係る車両の乗員監視装置は、車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、前記シートに着座している乗員へ向けて投光する投光デバイスと、前記シートに着座している乗員を撮像する撮像デバイスと、前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、を有し、前記処理部は、前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、前記撮像デバイスにより撮像される乗員の頭部に絞って照射する。
A vehicle occupant monitoring device according to the present invention is a vehicle occupant monitoring device for monitoring an occupant sitting on a seat provided in a vehicle, the occupant monitoring device emitting light toward the occupant sitting on the seat. an optical device, an imaging device for capturing an image of an occupant seated on the seat, and a processing unit for controlling the light projecting device and the imaging device to capture an image of the occupant seated on the seat. and, when a collision of the vehicle is predicted, the processing unit irradiates continuous light from the light projecting device focused on the head of the occupant imaged by the imaging device.

好適には、前記投光デバイスは、連続した投光と点滅による投光とで切り替え可能であり、前記処理部は、前記車両の衝突が予測されていない通常の場合、前記投光デバイスによる点滅による光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射し、前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射する、とよい。 Preferably, the light projecting device is switchable between continuous light projection and blinking light projection, and the processing unit controls the blinking of the light projecting device in a normal case where a collision of the vehicle is not expected. directs light from at least an occupant imaged by the imaging device, and directs continuous light from the light projecting device at least to the occupant imaged by the imaging device when a collision of the vehicle is predicted It is better to irradiate with

好適には、前記処理部は、前記車両の衝突が予測される場合、前記投光デバイスによる通常時の点滅における最大輝度よりも光らせる、とよい。 Preferably, when the collision of the vehicle is predicted, the processing unit causes the light projecting device to shine brighter than the maximum brightness in normal blinking.

好適には、前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、とよい。 Preferably, the light projecting device projects invisible light toward the head of the passenger seated on the seat.

本発明に係る車両の乗員保護システムは、上述したいずれかの車両の乗員監視装置と、前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、を有する。 A vehicle occupant protection system according to the present invention includes any one of the vehicle occupant monitoring devices described above and an occupant protection device that executes occupant protection control based on an image of an occupant captured by the occupant monitoring device. have.

本発明では、車両の衝突が予測される場合、投光デバイスによる連続した光を、少なくとも撮像デバイスにより撮像される乗員へ向けて照射する。たとえば、車両の衝突が予測される場合、衝突が予測されていない通常時の点滅による光を連続した光に切り替えて、連続した光による強い光を、撮像デバイスにより撮像される乗員の頭部などへ向けて照射する。これにより、シートに着座している乗員の少なくとも頭部は、通常の光を照射している場合よりも明るくはっきりとなる。
よって、本発明では、撮像デバイスによる撮像画像には、乗員の頭部がはっきりと撮像されるようになる。
その結果、本発明では、撮像画像においてシートに着座した乗員の頭部が容易に特定でき、乗員の頭部の位置や挙動を良好に推定し得る。乗員保護装置は、車両の衝突が予測される場合には、乗員の頭部がはっきりと映る撮像画像に基づいて、たとえば衝突の際の乗員の頭部の位置や動きを良好に予測し、適切な乗員保護制御を実行可能になる。本発明では、撮像環境の良否によらずに乗員の頭部が撮像画像にはっきりと映るようになることにより、乗員監視装置を用いたことにより期待し得る良好な乗員保護制御を実行することが可能になる。
In the present invention, when a vehicle collision is predicted, continuous light from the light projecting device is emitted at least toward the occupant imaged by the imaging device. For example, when a vehicle collision is predicted, the normal flashing light when no collision is predicted is switched to continuous light, and the strong continuous light is captured by an imaging device, such as the occupant's head. Irradiate toward. As a result, at least the head of the occupant seated in the seat becomes brighter and clearer than when normal light is applied.
Therefore, in the present invention, the occupant's head is clearly imaged in the image captured by the imaging device.
As a result, in the present invention, the head of the occupant seated on the seat can be easily identified in the captured image, and the position and behavior of the occupant's head can be estimated satisfactorily. When a vehicle collision is predicted, the occupant protection system can accurately predict the position and movement of the occupant's head in the event of a collision based on a captured image that clearly shows the occupant's head. occupant protection control can be executed. In the present invention, the head of the occupant is clearly reflected in the captured image regardless of the quality of the imaging environment, so that it is possible to perform good occupant protection control that can be expected by using the occupant monitoring device. be possible.

図1は、本発明の実施形態に係る自動車における乗員保護の説明図である。FIG. 1 is an explanatory diagram of occupant protection in an automobile according to an embodiment of the present invention. 図2は、図1の自動車での乗員についての左右方向への挙動の説明図である。FIG. 2 is an explanatory diagram of the left-right behavior of the occupant of the automobile of FIG. 図3は、図1の自動車での乗員についての斜め前方向への挙動の説明図である。FIG. 3 is an explanatory diagram of the behavior of an occupant in the automobile of FIG. 1 in the diagonally forward direction. 図4は、図1の自動車に設けられる、乗員保護システムとしての車両制御システムの説明図である。FIG. 4 is an explanatory diagram of a vehicle control system as an occupant protection system provided in the automobile of FIG. 図5は、図1の自動車に設けられる乗員監視装置の説明図である。FIG. 5 is an explanatory diagram of an occupant monitoring device provided in the automobile of FIG. 図6は、図1の自動車に設けられる乗員保護装置の説明図である。FIG. 6 is an explanatory diagram of an occupant protection device provided in the automobile of FIG. 図7は、図5の監視制御部による通常時の処理を示すフローチャートである。FIG. 7 is a flowchart showing normal processing by the monitoring control unit of FIG. 図8は、投光デバイスの投光と、車内撮像デバイスの撮像との関係を示す説明図である。FIG. 8 is an explanatory diagram showing the relationship between the light projection of the light projection device and the imaging of the in-vehicle imaging device. 図9は、図3の運転支援装置の支援制御部の処理を示すフローチャートである。FIG. 9 is a flow chart showing processing of the support control unit of the driving support device of FIG. 図10は、図5の監視制御部による衝突予測時の処理を示すフローチャートである。FIG. 10 is a flow chart showing a process of predicting a collision by the monitoring control unit of FIG. 図11は、図6の保護制御部による処理を示すフローチャートである。FIG. 11 is a flow chart showing processing by the protection control unit in FIG.

以下、本発明の実施形態を、図面に基づいて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described based on the drawings.

図1は、本発明の実施形態に係る自動車1における乗員保護の説明図である。図1には、車外を撮像する車内撮像デバイス53が図示されている。
自動車1は、人が乗車して移動する車両の一例である。車両には、この他にもたとえば、大型車、二輪車、パーソナルモビリティ、自転車、鉄道車両、飛行機、ボート、などがある。
図1の自動車1は、車体2、車体2の前後に設けられる車輪3、車体2の乗員室4に設けられるシート5、シート5の前に設けられるダッシュボード6、ダッシュボード6から後へ突出して設けられるハンドル7、などを有する。
このような自動車1では、車体2の乗員室4に乗車した乗員は、シート5に着座する。また、乗員は、ハンドル7などを操作する。自動車1は、図示外のエンジンやモータの駆動力により、乗員の操作にしたがって走行する。
また、自動車1は、たとえば目的地が設定されることにより、目的地までの経路を案内したり、目的地まで経路をたどって自動走行したりする。
FIG. 1 is an explanatory diagram of occupant protection in an automobile 1 according to an embodiment of the present invention. FIG. 1 illustrates an in-vehicle imaging device 53 that captures an image of the outside of the vehicle.
A car 1 is an example of a vehicle in which a person rides and moves. Vehicles include, for example, large vehicles, two-wheeled vehicles, personal mobility vehicles, bicycles, railway vehicles, airplanes, and boats.
1 includes a vehicle body 2, wheels 3 provided in front and rear of the vehicle body 2, a seat 5 provided in a passenger compartment 4 of the vehicle body 2, a dashboard 6 provided in front of the seat 5, and a dashboard 6 protruding rearward from the dashboard 6. It has a handle 7, etc.
In such an automobile 1, an occupant in a passenger compartment 4 of the vehicle body 2 sits on a seat 5. - 特許庁Also, the passenger operates the steering wheel 7 and the like. The automobile 1 runs according to the operation of the passenger by driving force of an engine and a motor (not shown).
In addition, when the destination is set, the automobile 1 guides the route to the destination or automatically travels along the route to the destination.

図2は、図1の自動車1での乗員についての左右方向への挙動の説明図である。
図2は、図1の自動車1を前から見た図であり、左右に並ぶ一対のシート5に、二人の乗員が乗車している。シート5に着座する乗員の上体は、自動車1のたとえば右左折の際にシート5の上で左右へ傾くことがある。
図3は、図1の自動車1での乗員についての斜め前方向への挙動の説明図である。
図3は、図1の自動車1を上から見た図であり、左右に並ぶ一対のシート5に、二人の乗員が乗車している。シート5に着座する乗員の上体は、自動車1のたとえば制動時などにおいて斜め前へ傾くことがある。
また、図1に示すように、シート5に着座する乗員の上体は、自動車1のたとえば制動時などにおいて前へ傾くことがある。
過大な加速度が作用しない場合には、これらの乗員の上体の挙動は、問題とならない。
しかしながら、たとえば衝突の際には、衝突時の過大な衝撃により、乗員の上体は、シート5から外へはみ出すように大きく傾くことになる。
FIG. 2 is an explanatory diagram of the behavior of the occupant in the automobile 1 of FIG. 1 in the left-right direction.
FIG. 2 is a front view of the automobile 1 of FIG. 1, in which two occupants are seated on a pair of seats 5 arranged side by side. The upper body of an occupant seated on the seat 5 may tilt left or right on the seat 5 when the automobile 1 turns right or left, for example.
FIG. 3 is an explanatory diagram of the behavior of the occupant in the automobile 1 of FIG. 1 in the diagonally forward direction.
FIG. 3 is a top view of the automobile 1 of FIG. 1, in which two passengers are seated on a pair of seats 5 arranged side by side. The upper body of an occupant seated on the seat 5 may incline obliquely forward when the vehicle 1 is braking, for example.
Further, as shown in FIG. 1, the upper body of an occupant seated on the seat 5 may incline forward when the vehicle 1 is braking, for example.
The behavior of the upper body of these occupants is not a problem unless excessive acceleration acts.
However, in the event of a collision, for example, the occupant's upper body leans so as to protrude from the seat 5 due to the excessive impact at the time of the collision.

このため、自動車1では、シート5に着座する乗員の上体を支持するために、図1に示すように、エアバック部材70や、シートベルト部材71といった乗員保護装置60が用いられる。
シートベルト部材71は、シート5に着座する乗員の前にかけ渡されるベルトを有する。シートベルト部材71は、衝突の際にベルトアクチュエータ63を動作させて、ベルトにテンションを加える。これにより、衝突の際に、シート5に着座する乗員の上体は、ベルトにより支えられ、それ以上にシート5からはみ出すように移動し難くなる。
エアバック部材70は、衝突の際にインフレータで発生させたガスによりエアバック64を展開する。図1では、エアバック64は、ハンドル7の後側、すなわちシート5に着座する乗員の上体の前正面で展開している。これにより、シート5から前へ倒れようとする乗員の上体は、エアバック64に当たる。エアバック64は、乗員の荷重により変形し、乗員の上体に作用している運動エネルギを吸収する。
これらの乗員保護装置60により、自動車1は、衝突の際にも乗員を保護することが可能になる。
Therefore, in order to support the upper body of an occupant seated on the seat 5, the automobile 1 uses an occupant protection device 60 such as an airbag member 70 and a seatbelt member 71, as shown in FIG.
The seat belt member 71 has a belt stretched in front of the passenger seated on the seat 5 . The seat belt member 71 operates the belt actuator 63 in the event of a collision to apply tension to the belt. As a result, the upper body of the occupant seated on the seat 5 is supported by the belt at the time of a collision, and it becomes difficult for the occupant to protrude from the seat 5 any further.
The airbag member 70 deploys the airbag 64 by gas generated by an inflator at the time of collision. In FIG. 1 , the airbag 64 is deployed behind the steering wheel 7 , that is, in front of the upper body of the occupant seated on the seat 5 . As a result, the upper body of the occupant who is about to fall forward from the seat 5 hits the airbag 64 . The airbag 64 is deformed by the load of the occupant and absorbs the kinetic energy acting on the upper body of the occupant.
These occupant protection devices 60 enable the automobile 1 to protect the occupants in the event of a collision.

ところで、自動車1の衝突形態には、車体2の前正面に他の車両などが衝突する正面衝突だけでなく、車体2の前角に他の車両などが衝突するオフセット衝突、車体2の側面に他の車両などが衝突する側面衝突、などがある。
乗員保護装置60には、これら複数種類の衝突において乗員を保護するように機能することが望ましい。
そこで、自動車1では、自動車1に設けられる乗員監視装置50を用いて、乗員保護装置60による乗員保護機能を向上させることが考えられる。
乗員監視装置50は、図2に示すようにシート5に着座する乗員を、ダッシュボード6などに設けられた光学デバイスにより撮像し、乗員の居眠りやわき見を検出して警告する装置である。
このような乗員監視装置50を用いて、シート5に着座する乗員を撮像して、衝突の際の乗員の頭部の位置や挙動を予測し、これに応じて乗員保護装置60においてエアバック部材70やシートベルト部材71の動作を制御することが考えられる。
しかしながら、乗員監視装置50は、乗員の居眠りやわき見を検出するために、一般的に、シート5に着座している乗員の上体の全体を撮像している。
このため、撮像画像において、乗員の頭部がはっきりと撮像されるとは限らない。たとえば夜間走行中であって車内が暗い場合には、撮像画像において乗員の頭部の位置などをはっきりと撮像し難い。
そして、撮像画像において乗員の頭部がはっきりと撮像されない場合、撮像した画像中での乗員の頭部の位置を適切に特定することが難しく、そのような不確実な頭部の位置の変化により乗員の頭部の挙動などを正確に判断することは難しい。
その結果、衝突の際の乗員の頭部の位置や動きを良好に予測して、乗員監視装置50を用いたことにより期待し得る良好な乗員保護制御を実行できない可能性がある。
By the way, the collision modes of the automobile 1 include not only a head-on collision in which another vehicle or the like collides with the front of the vehicle body 2, but also an offset collision in which another vehicle or the like collides with the front corner of the vehicle body 2. There are side collisions in which other vehicles collide, etc.
It is desirable that the occupant protection device 60 function to protect the occupant in these multiple types of collisions.
Therefore, in the automobile 1 , it is conceivable to use the occupant monitoring device 50 provided in the automobile 1 to improve the occupant protection function of the occupant protection device 60 .
The occupant monitoring device 50, as shown in FIG. 2, is a device that takes an image of the occupant seated on the seat 5 with an optical device provided on the dashboard 6 or the like, detects the occupant's dozing off or distraction, and issues a warning.
Using the occupant monitoring device 50 as described above, an image of the occupant seated on the seat 5 is captured to predict the position and behavior of the occupant's head in the event of a collision. It is conceivable to control the operation of 70 and seat belt member 71 .
However, the occupant monitoring device 50 generally captures an image of the entire upper body of the occupant sitting on the seat 5 in order to detect the occupant's dozing off or distraction.
Therefore, the occupant's head is not necessarily clearly captured in the captured image. For example, when the vehicle is traveling at night and the interior of the vehicle is dark, it is difficult to clearly capture the position of the occupant's head in the captured image.
If the occupant's head is not clearly captured in the captured image, it is difficult to appropriately identify the position of the occupant's head in the captured image. It is difficult to accurately determine the behavior of the occupant's head.
As a result, there is a possibility that the position and movement of the occupant's head at the time of the collision cannot be well predicted, and the good occupant protection control expected by using the occupant monitoring device 50 cannot be executed.

このように、自動車1では、乗員保護性能についてのさらなる改善が求められている。 Thus, the automobile 1 is required to further improve passenger protection performance.

図4は、図1の自動車1に設けられる、乗員保護システムとしての車両制御システム10の説明図である。
図4の車両制御システム10は、車速センサ11、加速度センサ12、表示デバイス13、操作デバイス14、スピーカデバイス15、車外撮像デバイス16、無線通信デバイス17、システムタイマ18、メモリデバイス19、ECU(Electronic Control Unit)20、およびこれらが接続される車内ネットワーク21、を有する。
FIG. 4 is an explanatory diagram of a vehicle control system 10 as an occupant protection system provided in the automobile 1 of FIG.
The vehicle control system 10 of FIG. 4 includes a vehicle speed sensor 11, an acceleration sensor 12, a display device 13, an operation device 14, a speaker device 15, an external imaging device 16, a wireless communication device 17, a system timer 18, a memory device 19, an ECU (Electronic Control Unit) 20 and an in-vehicle network 21 to which these are connected.

車内ネットワーク21は、たとえばCAN(Controller Area Network)、LIN(Local Interconnect Network)に準拠した有線の通信ネットワークがある。車内ネットワーク21に接続される機器は、車体2の各部に分散して配置され、車内ネットワーク21を通じてデータを送受する。なお、車内ネットワーク21に接続される機器は、車内ネットワーク21を通じてデータを送受するためのCPU(Central Processing Unit)を個別に備えて、各々が装置として構成されてよい。 The in-vehicle network 21 is, for example, a wired communication network conforming to CAN (Controller Area Network) and LIN (Local Interconnect Network). Devices connected to the in-vehicle network 21 are distributed in various parts of the vehicle body 2 and transmit and receive data through the in-vehicle network 21 . Note that the devices connected to the in-vehicle network 21 may each include a CPU (Central Processing Unit) for transmitting and receiving data through the in-vehicle network 21 and configured as a device.

車速センサ11は、自動車1の車体2の移動などによる速度を検出して車内ネットワーク21へ出力する。
加速度センサ12は、自動車1の車体2に作用する加速度を検出して車内ネットワーク21へ出力する。なお、車体2に対する複数の方向からの衝撃入力を検出しようとする場合、加速度センサ12は自動車1に複数で設けられ、車体2の外周面の近くに分散して設けるとよい。
表示デバイス13は、車内ネットワーク21から表示データを取得し、表示データに基づく画像を表示する。
操作デバイス14は、乗員に操作されるために乗員室4などに設けられる。操作デバイス14は、たとえば、ハンドル7、シフトレバー、ブレーキペダル、を有する。
スピーカデバイス15は、車内ネットワーク21から音データを取得し、音データに基づく音を出力する。
車外撮像デバイス16は、自動車1の乗員室4などに設けられ、自動車1の周囲を撮像して画像データを車内ネットワーク21へ出力する。車外撮像デバイス16は、たとえば図1に示すように乗員室4の天井の近くにおいて前向きに設けられる。この場合、車外撮像デバイス16は、自動車1の前方を撮像する。
無線通信デバイス17は、車内ネットワーク21に接続されていない、たとえば自動車1の外に存在する他の車両、基地局、ビーコン装置などとの間で無線通信し、データを送受する。
システムタイマ18は、時間や時刻を計測する。システムタイマ18は、計測した時間や時刻を、車内ネットワーク21を通じて、車内ネットワーク21に接続される機器へ出力する。これにより、車内ネットワーク21に接続される複数の機器は、システムタイマ18のたとえば計測時刻により同期的に動作することができる。
The vehicle speed sensor 11 detects the speed due to movement of the vehicle body 2 of the automobile 1 and outputs the detected speed to the in-vehicle network 21 .
The acceleration sensor 12 detects acceleration acting on the vehicle body 2 of the automobile 1 and outputs it to the in-vehicle network 21 . When it is intended to detect impact inputs to the vehicle body 2 from a plurality of directions, a plurality of acceleration sensors 12 may be provided on the automobile 1 and distributed near the outer peripheral surface of the vehicle body 2 .
The display device 13 acquires display data from the in-vehicle network 21 and displays an image based on the display data.
The operating device 14 is provided in the passenger compartment 4 or the like so as to be operated by the passenger. The operating device 14 has, for example, a steering wheel 7, a shift lever and a brake pedal.
The speaker device 15 acquires sound data from the in-vehicle network 21 and outputs sound based on the sound data.
The exterior imaging device 16 is provided in the passenger compartment 4 of the automobile 1 or the like, images the surroundings of the automobile 1 and outputs the image data to the in-vehicle network 21 . The exterior imaging device 16 is provided facing forward near the ceiling of the passenger compartment 4, for example, as shown in FIG. In this case, the exterior imaging device 16 images the front of the automobile 1 .
The wireless communication device 17 wirelessly communicates with other vehicles, base stations, beacon devices, etc. that are not connected to the in-vehicle network 21, for example, outside the vehicle 1, and transmits and receives data.
The system timer 18 measures time and time. The system timer 18 outputs the measured time and time to devices connected to the in-vehicle network 21 through the in-vehicle network 21 . As a result, a plurality of devices connected to the in-vehicle network 21 can operate synchronously according to the time measured by the system timer 18, for example.

メモリデバイス19は、ECU20が車両の制御に使用するプログラムおよびデータを記録する。メモリデバイス19は、たとえば半導体メモリ、ハードディスクデバイス、でよい。
ECU20は、たとえばワンチップマイクロコンピュータ装置などの、CPUを備えるコンピュータ装置である。ワンチップマイクロコンピュータ装置は、CPUとともに、システムタイマ18、メモリデバイス19、を内蔵してよい。ECU20は、メモリデバイス19に記録されているプログラムを読み込んで実行する。これにより、ECU20には、自動車1の全体の動作を制御する制御部、が実現される。なお、ECU20は、自動車1に複数で設けられてよい。この場合、複数のECU20は、互いに強調して動作することにより制御部として機能する。
The memory device 19 records programs and data used by the ECU 20 to control the vehicle. Memory device 19 may be, for example, a semiconductor memory or a hard disk device.
The ECU 20 is a computer device including a CPU, such as a one-chip microcomputer device. A one-chip microcomputer device may incorporate a system timer 18 and a memory device 19 together with a CPU. The ECU 20 reads and executes programs recorded in the memory device 19 . As a result, the ECU 20 implements a control unit that controls the overall operation of the automobile 1 . A plurality of ECUs 20 may be provided in the automobile 1 . In this case, the plurality of ECUs 20 function as a control section by operating in a mutually emphasized manner.

図4には、ECU20に実現される制御部の機能として、乗員の監視制御部31、走行の支援制御部32、乗員などの保護制御部33、通信制御部34、空調制御部35、が図示されている。
通信制御部34は、無線通信デバイス17によるデータ通信を管理し、無線通信デバイス17とともに自動車1の無線通信装置を構成する。通信制御部34は、無線通信デバイス17を用いて、たとえば図示外の交通システムのサーバ装置、および交通システムに対応する他の車両との間で、自動車1の走行などを制御するためのデータを送受する。
空調制御部35は、自動車1の乗員室4などの空調を制御する。
FIG. 4 shows, as the functions of the control units implemented in the ECU 20, an occupant monitoring control unit 31, a driving support control unit 32, a protection control unit 33 for occupants, a communication control unit 34, and an air conditioning control unit 35. It is
The communication control unit 34 manages data communication by the wireless communication device 17 and configures the wireless communication device of the automobile 1 together with the wireless communication device 17 . The communication control unit 34 uses the wireless communication device 17 to exchange data for controlling the running of the automobile 1 with, for example, a traffic system server device (not shown) and other vehicles corresponding to the traffic system. Send and receive.
The air-conditioning control unit 35 controls the air-conditioning of the passenger compartment 4 of the automobile 1 and the like.

走行の支援制御部32は、図3の車外撮像デバイス16および支援メモリ41とともに、自動車1の走行支援装置40を構成する。支援メモリ41は、たとえばメモリデバイス19の一部に設けられてよい。支援制御部32は、支援メモリ41の設定に基づいて、車外撮像デバイス16による車外の撮像画像から、自動車1の周囲に存在する他の車両、歩行者、自転車、外壁などの構造物を抽出し、抽出した各物体との距離および方向についての情報を生成する。支援制御部32は、抽出した物体および物体の進路と交差したり近接したりしないように自車の進路を生成し、その進路に沿って自車が走行するように自動車1の移動を制御する。その間に乗員によりたとえばハンドル7などの操作デバイス14が操作された場合、その操作デバイス14の操作による進路を補完した進路により走行するように自動車1の移動を支援する。
また、支援制御部32は、後述する図9の処理により、他の車両などとの衝突がさけられない可能性を判断し、その可能性が高い場合には、衝突を予測する。
The driving support control unit 32 constitutes a driving support device 40 of the automobile 1 together with the external imaging device 16 and the support memory 41 shown in FIG. Auxiliary memory 41 may be provided, for example, as part of memory device 19 . Based on the settings in the support memory 41, the support control unit 32 extracts structures such as other vehicles, pedestrians, bicycles, and outer walls existing around the vehicle 1 from the image captured by the external imaging device 16. , to generate information about the distance and direction to each extracted object. The support control unit 32 generates the extracted object and the route of the vehicle so as not to cross or approach the route of the object, and controls the movement of the automobile 1 so that the vehicle travels along the route. . In the meantime, when the driver operates the operation device 14 such as the steering wheel 7, the movement of the automobile 1 is assisted so that the vehicle 1 travels on a route that complements the route by the operation of the operation device 14.例文帳に追加
Further, the support control unit 32 determines the possibility that a collision with another vehicle or the like is unavoidable through the processing of FIG.

図5は、図1の自動車1に設けられる乗員監視装置50の説明図である。
図5の乗員監視装置50は、図4の乗員の監視制御部31とともに、監視メモリ51、光学ユニット52、を有する。乗員監視装置50は、自動車1に設けられたシート5に着座している乗員を監視する。
FIG. 5 is an explanatory diagram of the occupant monitoring device 50 provided in the automobile 1 of FIG.
The occupant monitoring device 50 of FIG. 5 has a monitoring memory 51 and an optical unit 52 together with the occupant monitoring control section 31 of FIG. An occupant monitoring device 50 monitors an occupant sitting on a seat 5 provided in the automobile 1 .

光学ユニット52は、図5および図2に示すように、乗員室4のダッシュボード6の中央部分に後向きに設けられる。光学ユニット52は、車内撮像デバイス53、一対の投光デバイス54、を有する。
車内撮像デバイス53は、乗員室4のダッシュボード6の中央部分において、後向きに設けられる。車内撮像デバイス53は、図2の一点鎖線枠に示すように、乗員室4において車幅方向に並べて乗員ごとに設けられる左右一対のシート5に着座する二人の乗員の上体を全体的に撮像する。
各投光デバイス54は、乗員室4のダッシュボード6の中央部分において、後向きに設けられる。各投光デバイス54は、図2の二点鎖線枠に示すように、各シート5に着座して車内撮像デバイス53により撮像される乗員の上体の全体に対して、たとえば赤外線などによる非可視光を投光する。投光デバイス54は、乗員の頭部の顔を撮像するために、シート5についての着座位置より前に設けられる。
監視メモリ51は、たとえばメモリデバイス19の一部に設けられてよい。監視メモリ51は、乗員を監視するための設定データ58などを記録する。
As shown in FIGS. 5 and 2, the optical unit 52 is provided in the central portion of the dashboard 6 of the passenger compartment 4 facing rearward. The optical unit 52 has an in-vehicle imaging device 53 and a pair of light projection devices 54 .
The in-vehicle imaging device 53 is provided rearward in the central portion of the dashboard 6 of the passenger compartment 4 . The in-vehicle imaging device 53, as shown in the dashed-dotted line frame in FIG. Take an image.
Each light projection device 54 is provided rearward in the central portion of the dashboard 6 of the passenger compartment 4 . Each light projecting device 54, as shown in the two-dot chain line frame in FIG. project light. A light projecting device 54 is provided in front of the seating position with respect to the seat 5 in order to image the face of the occupant's head.
The monitoring memory 51 may be provided in part of the memory device 19, for example. The monitoring memory 51 records setting data 58 and the like for monitoring the occupant.

監視制御部31は、後述する図7に示すように、監視メモリ51の設定データ58に基づいて、投光デバイス54および車内撮像デバイス53を制御し、車内撮像デバイス53による車内の撮像画像から、シート5に着座している乗員の上体の位置および動きを判断し、その上体の位置および動きにより乗員の居眠り、わき見などを判断する。乗員が居眠り、わき見などをしている場合、監視制御部31は、表示デバイス13およびスピーカデバイス15を用いて、警告を出力する。監視制御部31は、撮像画像から、乗員の顔の向きや眼球の動きを判断し、それらに応じて居眠り、わき見などの警告を出力してもよい。
また、監視制御部31は、衝突が予測されている場合には、後述する図10の処理により衝突時の乗員を保護するための乗員監視制御を実行する。
The monitoring control unit 31 controls the light projecting device 54 and the in-vehicle imaging device 53 based on the setting data 58 in the monitoring memory 51, as shown in FIG. 7 to be described later. The position and movement of the upper body of the occupant seated on the seat 5 are determined, and the position and movement of the upper body of the occupant are used to determine if the occupant is asleep or looking aside. When the occupant is dozing off or looking aside, the monitor control unit 31 uses the display device 13 and the speaker device 15 to output a warning. The monitoring control unit 31 may determine the direction of the passenger's face and the movement of the eyeballs from the captured image, and output a warning such as dozing off or looking aside in response to them.
Further, when a collision is predicted, the monitoring control unit 31 executes occupant monitoring control for protecting the occupant at the time of the collision by the processing of FIG. 10, which will be described later.

図6は、図1の自動車1に設けられる乗員保護装置60の説明図である。
図6の乗員保護装置60は、図4の乗員などの保護制御部33とともに、保護メモリ61、複数のシートベルト62、複数のベルトアクチュエータ63、複数のエアバック64、複数のベース部材65、複数のエアバックアクチュエータ(ABアクチュエータ)66、複数のインフレータ67,68、を有する。
一組のシートベルト62、およびベルトアクチュエータ63は、一つのシートベルト部材71を構成する。
一組のエアバック64、ベース部材65、エアバックアクチュエータ66、第一インフレータ67、および第二インフレータ68は、一つのエアバック部材70を構成する。
すなわち、図6には、左右一対のシート5に対応するように、二組のシートベルト部材71と、二組のエアバック部材70と、が図示されている。
FIG. 6 is an explanatory diagram of an occupant protection device 60 provided in the automobile 1 of FIG.
The occupant protection device 60 of FIG. 6 includes a protection memory 61, a plurality of seat belts 62, a plurality of belt actuators 63, a plurality of airbags 64, a plurality of base members 65, a plurality of base members 65, a plurality of seat belts 62, a plurality of seat belts 62, a plurality of seat belts 62, a plurality of seat belts 62, a plurality of base members 65, a plurality of base members 65, and a plurality of seat belts 62. airbag actuator (AB actuator) 66, and a plurality of inflators 67, 68.
A set of seat belts 62 and belt actuators 63 constitute one seat belt member 71 .
A set of airbag 64 , base member 65 , airbag actuator 66 , first inflator 67 and second inflator 68 constitute one airbag member 70 .
That is, FIG. 6 shows two sets of seat belt members 71 and two sets of airbag members 70 so as to correspond to the pair of left and right seats 5 .

シートベルト62は、シート5に着座した乗員の腰部および上体の前に掛け渡されるベルトである。
ベルトアクチュエータ63は、シートベルト62に対して、可変可能なテンションを加える。テンションが加えられたシートベルト62は、乗員の腰部および上体をシート5に押し付けるように機能し得る。
エアバック64は、高圧ガスにより瞬時に展開する袋体である。
第一インフレータ67、および第二インフレータ68は、エアバック64に注入する高圧ガスを発生する。第一インフレータ67および第二インフレータ68をともに動作させる場合、エアバック64は、高い圧力で展開し得る。第一インフレータ67または第二インフレータ68を動作させる場合、エアバック64は、低い圧力で展開し得る。第一インフレータ67の動作開始タイミングと第二インフレータ68の動作開始タイミングとをずらすことにより、それらがそろっている場合とは異なる圧力変化でエアバック64を展開できる。
ベース部材65には、エアバック64が取り付けられ、エアバック64を折りたたんで収納する。なお、第一インフレータ67および第二インフレータ68も、ベース部材65に設けられてよい。
エアバックアクチュエータ66は、ベース部材65を駆動し、ベース部材65の位置または向きを調整する。ベース部材65がたとえば車幅方向、前後方向、上下方向へ移動可能に車体2に取り付けられている場合、エアバックアクチュエータ66は、ベース部材65をスライド駆動してその位置を調整する。
ベース部材65が取り付け位置において回転可能に設けられている場合、エアバックアクチュエータ66は、ベース部材65を回転駆動してその向きを調整する。
保護メモリ61は、たとえばメモリデバイス19の一部に設けられてよい。保護メモリ61は、乗員を保護するための設定データ69などを記録する。
The seat belt 62 is a belt that is stretched around the waist and upper body of the occupant seated on the seat 5 .
A belt actuator 63 applies variable tension to the seat belt 62 . A tensioned seat belt 62 may function to press the occupant's waist and upper body against the seat 5 .
The airbag 64 is a bag that is instantly deployed by high pressure gas.
A first inflator 67 and a second inflator 68 generate high-pressure gas to be injected into the airbag 64 . When operating both the first inflator 67 and the second inflator 68, the airbag 64 can deploy at high pressures. When operating the first inflator 67 or the second inflator 68, the airbag 64 may deploy at a lower pressure. By shifting the operation start timing of the first inflator 67 and the operation start timing of the second inflator 68, the airbag 64 can be deployed with a different pressure change than when they are aligned.
An airbag 64 is attached to the base member 65, and the airbag 64 is folded and stored. Note that the first inflator 67 and the second inflator 68 may also be provided on the base member 65 .
The airbag actuator 66 drives the base member 65 and adjusts the position or orientation of the base member 65 . When the base member 65 is attached to the vehicle body 2 so as to be movable in the vehicle width direction, the longitudinal direction, and the vertical direction, the airbag actuator 66 slides the base member 65 to adjust its position.
When the base member 65 is rotatably provided at the mounting position, the airbag actuator 66 rotationally drives the base member 65 to adjust its orientation.
Protected memory 61 may be provided, for example, as part of memory device 19 . The protection memory 61 records setting data 69 and the like for protecting passengers.

乗員などの保護制御部33は、加速度センサ12、図1に示すようにエアバック部材70およびシートベルト部材71とともに、自動車1の乗員保護装置60を構成する。保護制御部33は、メモリデバイス19の設定に基づいて、加速度センサ12が衝突の衝撃に対応する閾値を超える加速度を検出したと判断すると、乗員などの保護制御を実行する。保護制御部33は、乗員を保護するために、エアバック部材70のエアバック64を展開し、シートベルト部材71のシートベルト62にテンションを加える。
また、保護制御部33は、自動車1の衝突が予測される場合、乗員監視装置50により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する。
The occupant protection control unit 33 constitutes an occupant protection device 60 of the automobile 1 together with the acceleration sensor 12, the airbag member 70 and the seatbelt member 71 as shown in FIG. When the protection control unit 33 determines that the acceleration sensor 12 has detected acceleration exceeding a threshold corresponding to a collision impact based on the setting of the memory device 19, the protection control unit 33 performs protection control of the occupant and the like. The protection control unit 33 deploys the airbag 64 of the airbag member 70 and applies tension to the seatbelt 62 of the seatbelt member 71 in order to protect the occupant.
Further, the protection control unit 33 executes passenger protection control based on the captured image of the passenger captured by the passenger monitoring device 50 when a collision of the automobile 1 is predicted.

図7は、図5の監視制御部31による通常時の処理を示すフローチャートである。
監視制御部31は、乗員が自動車1に乗ることにより図4の車両制御システム10の電源が投入された場合に、図7の処理を繰り返し実行する。
FIG. 7 is a flowchart showing normal processing by the monitoring control unit 31 of FIG.
When the power of the vehicle control system 10 shown in FIG. 4 is turned on by an occupant getting into the automobile 1, the monitoring control unit 31 repeatedly executes the processing shown in FIG.

図7の通常の監視制御のステップST1において、監視制御部31は、乗員が乗車したか否かを判断する。監視制御部31は、乗員が乗車したと判断するまで、ステップST1の乗車判断を繰り返す。
乗員が乗車してシート5に着座すると、車内撮像デバイス53は、周期的に繰り返す撮像により、シート5に着座した乗員を撮像し始める。
ステップST2において、監視制御部31は、たとえば監視メモリ51に記憶されている乗員の設定データ58を用いて、車内撮像デバイス53により撮像される画像に映る乗員の顔を識別する。
ステップST3において、監視制御部31は、たとえば監視メモリ51に記憶されている乗員の設定データ58を用いて、識別した乗員に対応する設定処理を実行する。監視制御部31は、認識した乗員の識別番号または設定データを、車内ネットワーク21へ出力する。これにより、たとえば、操作デバイス14が認識された乗員がハンドル7などを過去の設定位置に調整したり、支援制御部32が認識された乗員の過去の運転履歴に対応する運転支援用の設定をしたり、保護制御部33が認識された乗員に対応する保護制御用の設定をしたり、空調装置が認識された乗員が過去にした設定により空調動作を開始したりする。
In step ST1 of normal monitoring control in FIG. 7, the monitoring control unit 31 determines whether or not a passenger has boarded the vehicle. The monitoring control unit 31 repeats the boarding determination in step ST1 until it determines that the passenger has boarded the vehicle.
When an occupant gets into the vehicle and sits on the seat 5, the in-vehicle imaging device 53 starts imaging the occupant seated on the seat 5 by periodically repeating imaging.
In step ST2, the monitoring control unit 31 identifies the face of the passenger appearing in the image captured by the in-vehicle imaging device 53 by using the setting data 58 of the passenger stored in the monitoring memory 51, for example.
In step ST3, the monitoring control unit 31 executes setting processing corresponding to the identified passenger using the setting data 58 of the passenger stored in the monitoring memory 51, for example. The monitoring control unit 31 outputs the recognized occupant identification number or setting data to the in-vehicle network 21 . As a result, for example, the occupant whose operation device 14 is recognized adjusts the steering wheel 7 or the like to a past set position, or the assistance control unit 32 sets driving support corresponding to the past driving history of the occupant whose operation device 14 is recognized. Also, the protection control unit 33 makes settings for protection control corresponding to the recognized passenger, and starts the air conditioning operation according to the settings made in the past by the recognized passenger.

以上の乗車時の設定処理の後、支援制御部32は、乗員の監視を開始する。
ステップST4において、監視制御部31は、投光デバイス54を通常の投光制御により点灯させる。通常の投光では、監視制御部31は、投光デバイス54を、長期にわたって連続的に点灯可能な定常出力の明るさで、間欠的に点灯させる。投光デバイス54は、間欠的な点灯により、乗員の上体の全体に対して赤外線を広角に投光し始める。
ステップST5において、監視制御部31は、車内撮像デバイス53により、シート5に着座した乗員を撮像する。
ステップST6において、監視制御部31は、警告が必要であるか否かを判断する。監視制御部31は、撮像画像での乗員の上体の位置および動きなどを特定し、特定した上体の位置および動きなどにより乗員の居眠り、わき見などを判断する。そして、乗員が居眠り、わき見などをしていない場合、監視制御部31は、警告が不要であると判断し、処理をステップST8へ進める。乗員が居眠り、わき見などをしている場合、監視制御部31は、警告が必要であると判断し、処理をステップST7へ進める。
ステップST7において、監視制御部31は、乗員に対して注意喚起のための警告処理を実行する。監視制御部31は、たとえば表示デバイス13に警告を表示するとともに、スピーカデバイス15から警告音を出力する。
ステップST8において、監視制御部31は、乗員が降車したか否かを判断する。監視制御部31は、車内撮像デバイス53により撮像される画像に乗員が映らなくなると、乗員が降車したと判断する。乗員が降車していない場合、監視制御部31は、処理をステップST5へ戻す。監視制御部31は、降車していない乗員についての上述した監視を、次の車内撮像デバイス53の撮像画像に基づいて繰り返し実行する。乗員が降車した場合、監視制御部31は、図7の処理を終了する。
After the setting process for boarding as described above, the support control unit 32 starts monitoring the occupant.
In step ST4, the monitoring controller 31 lights the light projection device 54 by normal light projection control. In normal light projection, the monitoring control unit 31 intermittently lights the light projecting device 54 with a constant output brightness that enables continuous lighting over a long period of time. The light projecting device 54 starts to project infrared rays over a wide angle to the entire upper body of the occupant by intermittent lighting.
In step ST<b>5 , the monitoring control unit 31 captures an image of the passenger seated on the seat 5 using the in-vehicle imaging device 53 .
In step ST6, the monitor controller 31 determines whether or not a warning is necessary. The monitoring control unit 31 identifies the position and movement of the upper body of the occupant in the captured image, and determines whether the occupant is dozing off or looking aside from the identified position and movement of the upper body. Then, if the occupant is not dozing off or looking aside, the monitoring control unit 31 determines that a warning is unnecessary, and advances the process to step ST8. If the occupant is dozing off or looking aside, the monitoring control unit 31 determines that a warning is necessary, and advances the process to step ST7.
In step ST7, the monitor control unit 31 executes warning processing for alerting the passenger. The monitoring control unit 31 displays a warning on the display device 13 and outputs a warning sound from the speaker device 15, for example.
In step ST8, the monitoring control section 31 determines whether or not the passenger has gotten off the vehicle. The monitoring control unit 31 determines that the occupant has gotten off the vehicle when the occupant is no longer captured in the image captured by the in-vehicle imaging device 53 . If the occupant has not gotten off the vehicle, the monitoring control unit 31 returns the process to step ST5. The monitoring control unit 31 repeatedly executes the above-described monitoring of the passengers who have not exited the vehicle based on the next captured image of the in-vehicle imaging device 53 . When the passenger gets off the vehicle, the monitoring control unit 31 terminates the processing of FIG.

図8は、投光デバイス54の投光と、車内撮像デバイス53の撮像との関係を示す説明図である。
図8に示すように、車内撮像デバイス53は、撮像周期ごとに画像を撮像する。詳しくは、車内撮像デバイス53は、撮像周期の一部である撮像期間において、間欠的に画像を撮像する。
図8(A)では、間欠的に点灯する投光デバイス54は、車内撮像デバイス53の撮像周期ごとに、撮像期間内で点灯する。この場合、車内撮像デバイス53は、投光デバイス54が乗員へ光を照射している期間の全体において、乗員を撮像する。車内撮像デバイス53は、乗員を明るく撮像できる。
これに対して、図8(B)では、間欠的に点灯する投光デバイス54は、車内撮像デバイス53の撮像周期ごとに点灯しているものの、撮像期間外で点灯する。この場合、車内撮像デバイス53は、投光デバイス54が乗員へ光を照射している光を受光して撮像することができない。車内撮像デバイス53は、投光デバイス54により間欠的に投光しているにもかかわらず、乗員を暗く撮像することになる。
したがって、投光デバイス54を間欠点灯させる場合、図8(A)に示すように投光デバイス54の点灯周期は、車内撮像デバイス53の撮像周期に同期させるとよい。また、投光デバイス54は、車内撮像デバイス53の撮像期間内で間欠的に点灯するとよい。投光デバイス54の間欠的な点灯期間は、車内撮像デバイス53の撮像と同期するように制限される。
監視制御部31は、上述したステップST4において、投光デバイス54を、これらの条件満たすように、間欠的に点灯させる。
FIG. 8 is an explanatory diagram showing the relationship between the light projection of the light projection device 54 and the imaging of the in-vehicle imaging device 53. As shown in FIG.
As shown in FIG. 8, the in-vehicle imaging device 53 captures an image in each imaging cycle. Specifically, the in-vehicle imaging device 53 intermittently captures images during an imaging period that is part of the imaging cycle.
In FIG. 8A, the intermittently lit light projecting device 54 lights up within the imaging period for each imaging cycle of the in-vehicle imaging device 53 . In this case, the in-vehicle imaging device 53 images the occupant during the entire period in which the light projecting device 54 irradiates the occupant with light. The in-vehicle imaging device 53 can brightly image the occupant.
On the other hand, in FIG. 8B, the light projecting device 54 that lights up intermittently lights up every imaging cycle of the in-vehicle imaging device 53, but lights up outside the imaging period. In this case, the in-vehicle image capturing device 53 cannot capture an image by receiving the light emitted from the light projecting device 54 to the passenger. The in-vehicle image capturing device 53 captures a dark image of the occupant even though the light is intermittently projected by the light projecting device 54 .
Therefore, when the light projecting device 54 is intermittently lit, the lighting cycle of the light projecting device 54 should be synchronized with the imaging cycle of the in-vehicle image capturing device 53 as shown in FIG. 8(A). Also, the light projecting device 54 may be intermittently lit during the imaging period of the in-vehicle imaging device 53 . The intermittent lighting period of the light projecting device 54 is limited so as to be synchronized with the imaging of the in-vehicle imaging device 53 .
In step ST4 described above, the monitoring control unit 31 intermittently lights the light projecting device 54 so as to satisfy these conditions.

図9は、図3の運転支援装置の支援制御部32の処理を示すフローチャートである。
支援制御部32は、自動車1が走行または停車している期間において、図9の処理を繰り返し実行する。
FIG. 9 is a flow chart showing processing of the support control unit 32 of the driving support device of FIG.
The support control unit 32 repeatedly executes the process of FIG. 9 while the automobile 1 is running or stopped.

図9の運転支援制御のステップST11において、支援制御部32は、自車および周辺情報を取得する。支援制御部32は、たとえば、車外撮像デバイス16の撮像画像、通信制御部34が交通システムから取得する他の車両の移動データ、車速センサ11の速度、加速度センサ12の加速度、支援制御部32による進路、経路情報などを取得する。
ステップST12において、支援制御部32は、自車の走行について取得した情報に基づいて、自車の進路を生成する。支援制御部32は、たとえば、自車の経路情報に基づいて直近の進路を生成する。
ステップST13において、支援制御部32は、他の車両などの他の移動体と自車との衝突可能性を判断する。支援制御部32は、たとえば、撮像画像または移動データから他の移動体の進路を生成し、自車の直近の進路との交差または近接を判断する。そして、自車の直近の進路と他の移動体の進路とが交差または近接する場合、支援制御部32は、衝突可能性ありと判断し、処理をステップST14へ進める。自車の直近の進路と他の移動体の進路とが交差または近接しない場合、支援制御部32は、衝突可能性なシート5判断し、処理をステップST15へ進める。
ステップST14において、支援制御部32は、ステップST12において生成した進路を、他の移動体の進路と交差したり近接したりし難くなるように更新する。支援制御部32は、たとえば進路の途中で加減速したり、停車したりするように、生成した進路を更新する。
In step ST11 of the driving support control in FIG. 9, the support control unit 32 acquires information about the vehicle and surroundings. The support control unit 32 receives, for example, an image captured by the external imaging device 16, movement data of other vehicles acquired from the traffic system by the communication control unit 34, the speed of the vehicle speed sensor 11, the acceleration of the acceleration sensor 12, and the Acquire course, route information, etc.
In step ST12, the support control unit 32 generates a course of the own vehicle based on the information acquired regarding the running of the own vehicle. The support control unit 32 generates the nearest course based on the route information of the own vehicle, for example.
In step ST13, the support control unit 32 determines the possibility of collision between the own vehicle and another moving body such as another vehicle. The support control unit 32, for example, generates the route of another moving object from the captured image or movement data, and determines whether the own vehicle intersects with or approaches the nearest route. Then, when the nearest track of the own vehicle and the track of another moving object intersect or approach each other, the support control unit 32 determines that there is a possibility of collision, and advances the process to step ST14. If the course of the vehicle and the course of the other mobile object do not intersect or approach each other, the support control unit 32 determines that the seat 5 has a possibility of collision, and advances the process to step ST15.
In step ST14, the support control unit 32 updates the route generated in step ST12 so that it is difficult for the route to intersect or approach the route of another mobile object. The support control unit 32 updates the generated route so that, for example, the vehicle accelerates, decelerates, or stops along the route.

ステップST15において、支援制御部32は、生成または更新された進路により、自車の走行を制御する。支援制御部32は、生成された進路より、更新された進路を優先する。自動運転により走行している場合、支援制御部32は、生成または更新された進路にしたがって走行するように、自車を走行させる。乗員がハンドル7などの操作デバイス14を操作する場合、支援制御部32は、操作量を生成または更新された進路により調整し、自車を走行させる。
ステップST16において、支援制御部32は、制御した走行での衝突についての回避可能性を判断する。支援制御部32は、車外撮像デバイス16の最新の撮像画像などの自車センサによる情報を取得し、他の移動体との衝突の回避可能性を判断する。自車は、通常は、ステップST14により回避するように更新された進路にしたがって自車が移動しているため、他の移動体との衝突は回避可能である。ただし、たとえば他の移動体が予想を超える動きをした場合には、更新された進路にしたがって自車が移動していたとしても、衝突してしまう可能性がある。支援制御部32は、たとえば撮像画像に映る他の移動体についての相対的な移動により、回避可能性を判断する。このようにステップST16における回避可能性の判断は、ステップST14における衝突可能性の予測判断よりも厳しい判断であり、衝突が実際に発生するか否かの可能性について判断するものである。回避可能性がない場合、支援制御部32は、処理をステップST17へ進める。回避可能性がある場合、支援制御部32は、処理をステップST18へ進める。
ステップST17において、支援制御部32は、車内ネットワーク21へ衝突予測を出力する。その後、支援制御部32は、図9の運転支援制御を終了する。
ステップST18において、支援制御部32は、車内ネットワーク21へ衝突予測解除を出力する。その後、支援制御部32は、図9の運転支援制御を終了する。
以上の処理により、支援制御部32は、衝突が実際に発生すると判断した場合に、ステップST17において衝突予測を出力する。衝突が実際に発生すると判断しない場合には、支援制御部32は、ステップST18において衝突予測解除を出力する。
In step ST15, the support control unit 32 controls the traveling of the own vehicle according to the generated or updated route. The support control unit 32 gives priority to the updated route over the generated route. When the vehicle is traveling by automatic driving, the support control unit 32 causes the vehicle to travel along the generated or updated route. When the occupant operates the operation device 14 such as the steering wheel 7, the support control unit 32 adjusts the amount of operation according to the generated or updated course to drive the vehicle.
In step ST16, the support control unit 32 determines the avoidability of the collision during the controlled running. The support control unit 32 acquires information from the own vehicle sensor, such as the latest image captured by the external imaging device 16, and determines the possibility of avoiding a collision with another moving object. Since the own vehicle normally moves along the route updated to avoid in step ST14, it is possible to avoid collisions with other moving bodies. However, if, for example, another moving object moves beyond expectations, there is a possibility that the vehicle will collide with the vehicle even if the vehicle moves along the updated route. The support control unit 32 determines the avoidance possibility, for example, based on the relative movement of another moving object appearing in the captured image. As described above, the determination of avoidance possibility in step ST16 is a stricter determination than the predictive determination of collision possibility in step ST14, and determines whether or not a collision will actually occur. If there is no avoidance possibility, the support control unit 32 advances the process to step ST17. If there is a possibility of avoidance, the support control unit 32 advances the process to step ST18.
In step ST<b>17 , the support control unit 32 outputs the collision prediction to the in-vehicle network 21 . After that, the support control unit 32 terminates the driving support control of FIG. 9 .
In step ST<b>18 , the support control unit 32 outputs collision prediction cancellation to the in-vehicle network 21 . After that, the support control unit 32 terminates the driving support control of FIG. 9 .
Through the above processing, the support control unit 32 outputs a collision prediction in step ST17 when it is determined that a collision will actually occur. If it is not determined that a collision will actually occur, the support control section 32 outputs collision prediction cancellation in step ST18.

図10は、図5の監視制御部31による衝突予測時の処理を示すフローチャートである。
監視制御部31は、ステップST17による衝突予測を受信した場合、図10の処理を実行する。監視制御部31は、ステップST17による衝突予測を新たに受信するたびに、図10の処理を繰り返し実行する。
FIG. 10 is a flow chart showing the process of predicting a collision by the monitoring control unit 31 of FIG.
The monitoring control unit 31 executes the process of FIG. 10 when receiving the collision prediction in step ST17. The monitoring control unit 31 repeatedly executes the process of FIG. 10 every time the collision prediction in step ST17 is newly received.

図10の衝突予測時の処理のステップST21において、監視制御部31は、ステップST17で出力される衝突予測を取得する。
衝突予測を取得すると、監視制御部31は、衝突時の乗員を保護するための乗員監視制御を開始する。
At step ST21 of the process at the time of collision prediction in FIG. 10, the monitoring control unit 31 acquires the collision prediction output at step ST17.
When the collision prediction is obtained, the monitoring control unit 31 starts occupant monitoring control for protecting the occupant in the event of a collision.

ステップST22において、監視制御部31は、投光デバイス54による投光を切り替える。
具体的には、監視制御部31は、図8(C)に示すように連続的な高出力の明るさの光へ切り替えて、投光デバイス54による強い光を、車内撮像デバイス53により撮像される乗員へ向けて照射する。投光デバイス54を通常出力での間欠点灯から、最大出力での連続点灯へ切り替える。最大出力の点灯とは、投光デバイス54の最大能力での点灯をいい、発熱などの影響によって長期にわたって連続的に点灯することができなかったが、たとえば数分程度の短期的であれば連続的に点灯することができる程度に、高出力での点灯でよい。投光デバイスは、通常時の点滅における最大輝度よりも明るく連続的に光ることになる。
また、監視制御部31は、乗員の頭部へ照射する光量を増やすために、さらなる投光の切替制御を実行してよい。
たとえば、監視制御部31は、投光デバイス54を、それによる投光エリアが狭くなるように、シート5に着座した乗員の上体の全体に対して広角に投光する状態から、乗員の頭部の周囲へ挟角に投光する状態に切り替えてよい。
これらの乗員の頭部へ照射する光量を増やすための切替制御により、投光デバイス54は、自動車1の衝突が予測される場合には、車内撮像デバイス53により撮像される乗員の頭部へ向けて、通常時よりも投光エリアを絞った強い光を照射することができる。
また、投光デバイス54が連続的に点灯するため、投光デバイス54の光量は、車内撮像デバイス53の撮像と同期するようにするために制限されなくなる。
In step ST<b>22 , the monitor control unit 31 switches light projection by the light projection device 54 .
Specifically, as shown in FIG. 8C, the monitoring control unit 31 switches to continuous high-output brightness light, and the in-vehicle imaging device 53 picks up the strong light from the light projecting device 54 . Irradiate towards the occupants. The light projecting device 54 is switched from intermittent lighting with normal output to continuous lighting with maximum output. Lighting at the maximum output means lighting at the maximum capacity of the light projecting device 54, and although it was not possible to light continuously for a long period of time due to the effects of heat generation, for example, for a short period of several minutes Lighting at a high output may be sufficient to the extent that the light can be lit effectively. The light projecting device will glow continuously brighter than the maximum brightness in normal blinking.
In addition, the monitoring control unit 31 may further perform switching control of light projection in order to increase the amount of light that irradiates the head of the occupant.
For example, the monitoring control unit 31 changes the light projection device 54 from a state of projecting light from a wide angle to the entire upper body of the passenger seated on the seat 5 so that the light projection area is narrowed. It may be switched to a state in which light is projected at a narrow angle around the part.
By switching control for increasing the amount of light irradiated to the occupant's head, the light projecting device 54 is directed to the occupant's head imaged by the in-vehicle imaging device 53 when a collision of the automobile 1 is predicted. Therefore, it is possible to irradiate strong light with a narrower projection area than usual.
In addition, since the light projecting device 54 is lit continuously, the amount of light of the light projecting device 54 is no longer restricted for synchronizing with the imaging of the in-vehicle imaging device 53 .

ステップST23において、監視制御部31は、連続した強い光が照射されている乗員の頭部を撮像する。監視制御部31は、車内撮像デバイス53の撮像画像から、乗員の頭部を含む範囲の部分画像を切り出す。 In step ST23, the monitoring controller 31 captures an image of the occupant's head illuminated with continuous strong light. The monitoring control unit 31 cuts out a partial image of a range including the passenger's head from the captured image of the in-vehicle imaging device 53 .

ステップST24において、監視制御部31は、切り出した乗員の頭部の画像から、頭部の位置および動きを特定し、特定した頭部の挙動に基づく頭部の挙動情報を、車内ネットワーク21へ出力する。たとえば、監視制御部31は、切り出した部分画像における頭部の撮像位置により、乗員室4における頭部の位置を特定する。監視制御部31は、複数の部分画像の頭部の撮像位置の変化により、乗員室4における頭部の動きを特定する。監視制御部31は、特定した頭部の位置から特定した頭部の動き方向へ、特定した頭部の動き量に応じた速度で線形的に移動するとして、乗員室4における頭部の挙動を予測する。監視制御部31は、予測した乗員室4における頭部の挙動のデータを、挙動情報として、車内ネットワーク21へ出力する。 In step ST24, the monitoring control unit 31 identifies the position and movement of the head from the clipped image of the occupant's head, and outputs head behavior information based on the identified head behavior to the in-vehicle network 21. do. For example, the monitoring control unit 31 identifies the position of the head in the passenger compartment 4 based on the imaging position of the head in the cut out partial image. The monitoring control unit 31 identifies movement of the head in the passenger compartment 4 based on changes in the imaging positions of the head in the plurality of partial images. The monitoring control unit 31 predicts the behavior of the head in the passenger compartment 4 assuming that the head moves linearly from the specified head position in the specified head movement direction at a speed corresponding to the specified head movement amount. Predict. The monitoring control unit 31 outputs the predicted behavior data of the head in the passenger compartment 4 to the in-vehicle network 21 as behavior information.

ステップST24において、監視制御部31は、衝突予測が解除されたか否かを判断する。
監視制御部31は、ステップST18で出力される衝突予測解除を取得していない場合、衝突予測が解除されていないと判断し、処理をステップST23へ戻す。監視制御部31は、衝突予測が解除されるまで、ステップST23からステップST25の処理を繰り返し、最新の頭部の部分画像に基づく挙動情報を、繰り返し出力する。
監視制御部31は、ステップST18で出力される衝突予測解除を取得した場合、衝突予測が解除されたと判断し、図10の衝突予測時の処理を終了する。
In step ST24, the monitoring controller 31 determines whether or not the collision prediction has been canceled.
If the collision prediction cancellation output in step ST18 has not been acquired, the monitoring control unit 31 determines that the collision prediction has not been canceled, and returns the process to step ST23. The monitoring control unit 31 repeats the processing from step ST23 to step ST25 until the collision prediction is cancelled, and repeatedly outputs the behavior information based on the latest partial image of the head.
When the monitor control unit 31 acquires the collision prediction cancellation output in step ST18, it determines that the collision prediction has been canceled, and ends the processing at the time of collision prediction in FIG.

図11は、図6の保護制御部33による処理を示すフローチャートである。
乗員の保護制御部33は、ステップST17による衝突予測を受信した場合、図11の処理を実行する。保護制御部33は、ステップST17による衝突予測を新たに受信するたびに、図11の処理を繰り返し実行する。
FIG. 11 is a flow chart showing processing by the protection control unit 33 of FIG.
The occupant protection control unit 33 executes the process of FIG. 11 when receiving the collision prediction in step ST17. The protection control unit 33 repeatedly executes the process of FIG. 11 each time a new collision prediction is received in step ST17.

図11の乗員保護処理のステップST31において、保護制御部33は、ステップST17で出力される衝突予測を取得したか否かを判断する。
衝突予測を取得していない場合、保護制御部33は、図11の乗員保護処理を終了する。
衝突予測を取得している場合、保護制御部33は、処理をステップST32に進める。
At step ST31 of the occupant protection process of FIG. 11, the protection control unit 33 determines whether or not the collision prediction output at step ST17 has been acquired.
If the collision prediction has not been obtained, the protection control unit 33 terminates the occupant protection process of FIG. 11 .
If the collision prediction has been acquired, the protection control unit 33 advances the process to step ST32.

ステップST32において、保護制御部33は、ステップST24において出力される最新の挙動情報を取得する。 In step ST32, the protection control unit 33 acquires the latest behavior information output in step ST24.

ステップST33において、保護制御部33は、取得した最新の挙動情報に基づいて、保護メモリ61の設定データ69を変更する。
保護制御部33は、たとえば、挙動情報に含まれる乗員の頭部の挙動予測に基づいて、ベルトアクチュエータ63の作動開始タイミング、第一インフレータ67の動作の有無の設定、第一インフレータ67の作動開始タイミング、第二インフレータ68の有無の設定、第二インフレータ68の作動開始タイミング、などについての設定データ69を更新する。
また、保護制御部33は、挙動情報に含まれる乗員の頭部の位置および挙動予測に基づいて、衝突の衝撃により乗員の頭部が倒れる方向においてエアバックが展開するように、エアバックアクチュエータ66によりベース部材65を駆動する。
In step ST33, the protection control unit 33 changes the setting data 69 in the protection memory 61 based on the acquired latest behavior information.
The protection control unit 33 sets the operation start timing of the belt actuator 63, whether or not the first inflator 67 is to be operated, and the operation start of the first inflator 67, for example, based on the behavior prediction of the occupant's head included in the behavior information. The setting data 69 regarding the timing, the presence/absence of the second inflator 68, the operation start timing of the second inflator 68, etc. are updated.
The protection control unit 33 also controls the airbag actuator 66 so that the airbag deploys in the direction in which the occupant's head falls due to the impact of the collision, based on the position and behavior prediction of the occupant's head included in the behavior information. to drive the base member 65 .

ステップST34において、保護制御部33は、衝突が予測されていることに基づく、衝突検出前の事前制御を実行する。
事前制御において、保護制御部33は、たとえば、ベルトアクチュエータ63を作動させてシートベルト62を引き込み、シートベルト62を乗員に密着させる。
In step ST34, the protection control unit 33 executes preliminary control before collision detection based on the prediction of a collision.
In the preliminary control, the protection control unit 33, for example, operates the belt actuator 63 to retract the seat belt 62 and bring the seat belt 62 into close contact with the occupant.

ステップST35において、保護制御部33は、衝突を検出したか否かを判断する。保護制御部33は、たとえば、加速度センサ12により衝突の衝撃に対応する過大な加速度が検出されたか否かに基づいて、衝突を検出したか否かを判断する。
衝突を検出していない場合、保護制御部33は、ステップST36において、ステップST18による衝突予測が解除されたか否かを判断する。衝突予測が解除されている場合、保護制御部33は、図11の乗員保護処理を終了する。衝突予測が解除されていない場合、保護制御部33は、処理をステップST32に戻す。保護制御部33は、衝突の検出または衝突予測の解除のいずれかを判断するまで、ステップST32からステップST36までの処理を繰り返す。保護制御部33は、たとえば衝突の直前まで、乗員の頭部の挙動に応じて設定を変更し、事前制御を実行する。
衝突を検出している場合、保護制御部33は、ステップST37において、衝突時制御を実行する。
衝突時制御において、保護制御部33は、たとえばベルトアクチュエータ63によりシートベルト62にテンションを加える。保護制御部33は、設定に応じて第一インフレータ67および第二インフレータ68を作動させる。これにより、エアバック64が展開する。衝突の際に乗員の運動エネルギは、シートベルト62およびエアバックにより吸収され得る。
In step ST35, the protection control section 33 determines whether or not a collision has been detected. The protection control unit 33 determines whether or not a collision has been detected, for example, based on whether or not the acceleration sensor 12 has detected excessive acceleration corresponding to the impact of the collision.
If no collision has been detected, the protection control section 33 determines in step ST36 whether or not the collision prediction made in step ST18 has been cancelled. If the collision prediction has been canceled, the protection control unit 33 terminates the occupant protection process of FIG. 11 . If the collision prediction has not been canceled, the protection control section 33 returns the process to step ST32. The protection control unit 33 repeats the processing from step ST32 to step ST36 until it determines either collision detection or collision prediction cancellation. The protection control unit 33 changes settings in accordance with the behavior of the occupant's head until, for example, immediately before the collision, and performs preliminary control.
If a collision has been detected, the protection control section 33 executes collision control in step ST37.
In the collision control, the protection control unit 33 applies tension to the seat belt 62 by the belt actuator 63, for example. The protection control section 33 operates the first inflator 67 and the second inflator 68 according to the settings. As a result, the airbag 64 deploys. During a collision, the kinetic energy of the occupant can be absorbed by the seat belt 62 and the airbag.

以上のように、本実施形態では、自動車1の衝突が予測される場合、乗員保護制御のために、自動車1の乗員監視装置50の投光デバイス54は、連続した光を、少なくとも車内撮像デバイス53により撮像される乗員へ向けて照射する。
たとえば、投光デバイス54は、自動車1の衝突が予測される場合、自動車1の衝突が予測されていない通常の場合での間欠的な通常の明るさの光を連続的な高出力の明るさの光へ切り替えて、投光デバイス54による強い光を、車内撮像デバイス53により撮像される乗員へ向けて照射する。
さらに、投光デバイス54は、たとえば、投光デバイス54による光を絞って、車内撮像デバイス53により撮像される乗員の頭部へ向けて照射する。
これにより、シートに着座している乗員の少なくとも頭部には、通常よりも明るい光が連続的に照射される。
よって、本実施形態において、車内撮像デバイス53による撮像画像には、乗員の頭部が通常時よりもはっきりと撮像されるようになる。
その結果、本実施形態では、撮像画像においてシート5に着座した乗員の頭部が容易に特定でき、乗員の頭部の位置や挙動を良好に推定し得る。乗員保護装置60は、自動車1の衝突が予測される場合には、乗員の頭部がはっきりと映る撮像画像に基づいて、たとえば衝突の際の乗員の頭部の位置や動きを良好に予測し、適切な乗員保護制御を実行可能になる。乗員監視装置60は、乗員監視装置50を用いることにより期待し得る良好な乗員保護制御を実行することが可能になる。たとえば、本実施形態では、撮像画像を処理する際に撮像画像に含まれる頭部の特定処理に手間取ることなく、撮像環境の良否によらずに、撮像画像において照射強度が上がっている頭部を確実にかつ短い処理時間で特定できるようになる。本実施形態では、顔検出のロバスト性を向上できる。
As described above, in this embodiment, when a collision of the automobile 1 is predicted, the light projecting device 54 of the occupant monitoring device 50 of the automobile 1 emits continuous light at least to the in-vehicle imaging device for occupant protection control. It irradiates toward the passenger imaged by 53 .
For example, when a collision of the vehicle 1 is predicted, the light projection device 54 may provide intermittent normal brightness light in the normal case where the collision of the vehicle 1 is not predicted to be a continuous high output brightness. , and emits strong light from the light projecting device 54 toward the occupant imaged by the in-vehicle imaging device 53 .
Furthermore, the light projecting device 54 narrows down the light from the light projecting device 54 and irradiates it toward the head of the occupant imaged by the in-vehicle imaging device 53, for example.
As a result, at least the head of the occupant seated in the seat is continuously irradiated with brighter light than usual.
Therefore, in the present embodiment, the image captured by the in-vehicle imaging device 53 captures the occupant's head more clearly than usual.
As a result, in the present embodiment, the head of the occupant seated on the seat 5 can be easily identified in the captured image, and the position and behavior of the occupant's head can be well estimated. When a collision of the automobile 1 is predicted, the occupant protection device 60 satisfactorily predicts, for example, the position and movement of the occupant's head at the time of the collision, based on the captured image in which the occupant's head clearly appears. , appropriate occupant protection control can be executed. The occupant monitoring device 60 can perform good occupant protection control that can be expected by using the occupant monitoring device 50 . For example, in the present embodiment, when processing a captured image, it is possible to detect a head with increased irradiation intensity in the captured image without taking time to identify the head included in the captured image, regardless of the quality of the imaging environment. It becomes possible to specify it reliably and in a short processing time. In this embodiment, the robustness of face detection can be improved.

また、本実施形態では、撮像環境の良否によらずに、撮像画像に基づく顔の特定を安定的に早期に完了でき、その後の乗員保護制御などを早期に開始することができる。たとえば、撮像から乗員保護制御の実行を開始するまでのリードタイムは、撮像環境の良否によらずに、略最小な時間に安定的に維持され得る。
これに対して、仮にたとえば通常での撮像画像により頭部を特定しようとする場合、画像中の顔が暗くなって周囲に溶け込んで、頭部の特定のための画像処理の負荷が大きくなって処理に時間がかかったり、場合によっては顔を特定できなかったりする可能性がある。
Further, in the present embodiment, regardless of the quality of the imaging environment, it is possible to stably and quickly complete identification of the face based on the captured image, and to early start subsequent occupant protection control. For example, the lead time from imaging to the start of execution of occupant protection control can be stably maintained at a substantially minimum time regardless of the quality of the imaging environment.
On the other hand, if it is attempted to identify the head from a normally captured image, for example, the face in the image becomes dark and blends into the surroundings, increasing the load of image processing for identifying the head. Processing may take a long time, and in some cases faces may not be identified.

本実施形態では、投光デバイス54は、シート5に着座している乗員の頭部へ向けて、赤外線による非可視光を投光する。よって、本実施形態では、頭部に対して集められた強い光を照射しても、乗員による視認を妨げ難くできる。 In this embodiment, the light projecting device 54 projects infrared invisible light toward the head of the passenger seated on the seat 5 . Therefore, in the present embodiment, even if the head is irradiated with the collected strong light, it is possible to prevent the occupant's visual recognition from being hindered.

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。 The above embodiments are examples of preferred embodiments of the present invention, but the present invention is not limited thereto, and various modifications and changes are possible without departing from the gist of the invention.

たとえば上記実施形態では、乗員監視装置50は、車内ネットワーク21に接続されている。この他にもたとえば、乗員監視装置50は、無線通信デバイス17と通信可能であることにより、乗員保護装置60などとの間でデータを送受してよい。乗員監視装置50と無線通信デバイス17とは、たとえばIEEE802.1Xの規格に準拠した比較的短距離の通信方式によりデータを送受してよい。この場合、乗員監視装置50は、自動車1に対して取り外し可能に設けられてよい。自動車1に対して取り外し可能な乗員監視装置50は、マウンタにより乗員室4に位置決めして固定設置してよい。 For example, in the above embodiment, the occupant monitoring device 50 is connected to the in-vehicle network 21 . In addition, for example, the occupant monitoring device 50 may transmit and receive data to and from the occupant protection device 60 and the like by being able to communicate with the wireless communication device 17 . The occupant monitoring device 50 and the wireless communication device 17 may transmit and receive data by a relatively short-range communication method conforming to the IEEE802.1X standard, for example. In this case, the occupant monitoring device 50 may be provided detachably from the automobile 1 . The occupant monitoring device 50 that is removable from the automobile 1 may be positioned and fixed in the passenger compartment 4 by a mounter.

1…自動車(車両)、4…乗員室、5…シート、6…ダッシュボード、7…ハンドル、10…車両制御システム(乗員保護システム)、12…加速度センサ、16…車外撮像デバイス、20…ECU、31…監視制御部、32…支援制御部、33…保護制御部、40…走行支援装置、50…乗員監視装置、52…光学ユニット、53…車内撮像デバイス、54…投光デバイス、58…設定データ、60…乗員保護装置、69…設定データ、70…エアバック部材、71…シートベルト部材

DESCRIPTION OF SYMBOLS 1... Automobile (vehicle), 4... Passenger compartment, 5... Seat, 6... Dashboard, 7... Steering wheel, 10... Vehicle control system (passenger protection system), 12... Acceleration sensor, 16... Outside imaging device, 20... ECU , 31... Monitoring control unit, 32... Support control unit, 33... Protection control unit, 40... Driving support device, 50... Occupant monitoring device, 52... Optical unit, 53... In-vehicle imaging device, 54... Light projecting device, 58... Setting data 60 Passenger protection device 69 Setting data 70 Airbag member 71 Seatbelt member

Claims (5)

車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、
前記シートに着座している乗員へ向けて投光する投光デバイスと、
前記シートに着座している乗員を撮像する撮像デバイスと、
前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、
を有し、
前記処理部は、
前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、前記撮像デバイスにより撮像される乗員の頭部に絞って照射する、
車両の乗員監視装置。
An occupant monitoring device for a vehicle that monitors an occupant sitting on a seat provided in the vehicle,
a light projecting device that projects light toward an occupant seated on the seat;
an imaging device for imaging an occupant seated on the seat;
a processing unit that controls the light projecting device and the imaging device to image an occupant seated on the seat;
has
The processing unit is
When a collision of the vehicle is predicted , continuous light from the light projecting device is focused on the head of the occupant imaged by the imaging device,
Vehicle occupant monitoring device.
前記投光デバイスは、連続した投光と点滅による投光とで切り替え可能であり、
前記処理部は、
前記車両の衝突が予測されていない通常の場合、前記投光デバイスによる点滅による光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射し、
前記車両の衝突が予測される場合、前記投光デバイスによる連続した光を、少なくとも前記撮像デバイスにより撮像される乗員へ向けて照射する、
請求項1記載の、車両の乗員監視装置。
The light projection device is switchable between continuous light projection and flashing light projection,
The processing unit is
In a normal case where the collision of the vehicle is not expected, irradiating at least the occupant imaged by the imaging device with light by blinking by the light projecting device,
When a collision of the vehicle is predicted, irradiating continuous light from the light projecting device toward at least an occupant imaged by the imaging device;
The vehicle occupant monitoring device according to claim 1 .
前記処理部は、
前記車両の衝突が予測される場合、前記投光デバイスによる通常時の点滅における最大輝度よりも光らせる、
請求項1または2記載の、車両の乗員監視装置。
The processing unit is
When a collision of the vehicle is predicted, the light projecting device is made to shine brighter than the maximum brightness in normal blinking,
The vehicle occupant monitoring device according to claim 1 or 2.
前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、
請求項1から3のいずれか一項記載の、車両の乗員監視装置。
The light projecting device projects non-visible light toward the head of an occupant seated on the seat.
The vehicle occupant monitoring device according to any one of claims 1 to 3.
請求項1から4のいずれか一項記載の車両の乗員監視装置と、
前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、
を有する、車両の乗員保護システム
A vehicle occupant monitoring device according to any one of claims 1 to 4;
an occupant protection device that executes occupant protection control based on the captured image of the occupant captured by the occupant monitoring device ;
A vehicle occupant protection system, comprising :
JP2018180061A 2018-09-26 2018-09-26 Vehicle occupant monitoring device and occupant protection system Active JP7222642B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018180061A JP7222642B2 (en) 2018-09-26 2018-09-26 Vehicle occupant monitoring device and occupant protection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018180061A JP7222642B2 (en) 2018-09-26 2018-09-26 Vehicle occupant monitoring device and occupant protection system

Publications (2)

Publication Number Publication Date
JP2020050080A JP2020050080A (en) 2020-04-02
JP7222642B2 true JP7222642B2 (en) 2023-02-15

Family

ID=69995371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018180061A Active JP7222642B2 (en) 2018-09-26 2018-09-26 Vehicle occupant monitoring device and occupant protection system

Country Status (1)

Country Link
JP (1) JP7222642B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114084098A (en) * 2021-11-22 2022-02-25 苏州棋米峰信息安全科技有限公司 General vehicle-mounted identity authentication system based on Internet of vehicles safety

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004148881A (en) 2002-10-29 2004-05-27 Mitsubishi Electric Corp Occupant protection device
JP2007168570A (en) 2005-12-21 2007-07-05 Toyota Motor Corp Controller of vehicle-mounted camera
JP2010100142A (en) 2008-10-22 2010-05-06 Toyota Motor Corp Vehicular device control device
JP2010241370A (en) 2009-04-09 2010-10-28 Toyota Motor Corp Driving operation auxiliary device
JP2012224286A (en) 2011-04-21 2012-11-15 Isuzu Motors Ltd Occupant state sensor
JP2015058917A (en) 2013-09-20 2015-03-30 トヨタ自動車株式会社 Occupant crash protection device
US20170327069A1 (en) 2016-05-16 2017-11-16 Hyundai Motor Company Apparatus and method for controlling airbag

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004148881A (en) 2002-10-29 2004-05-27 Mitsubishi Electric Corp Occupant protection device
JP2007168570A (en) 2005-12-21 2007-07-05 Toyota Motor Corp Controller of vehicle-mounted camera
JP2010100142A (en) 2008-10-22 2010-05-06 Toyota Motor Corp Vehicular device control device
JP2010241370A (en) 2009-04-09 2010-10-28 Toyota Motor Corp Driving operation auxiliary device
JP2012224286A (en) 2011-04-21 2012-11-15 Isuzu Motors Ltd Occupant state sensor
JP2015058917A (en) 2013-09-20 2015-03-30 トヨタ自動車株式会社 Occupant crash protection device
US20170327069A1 (en) 2016-05-16 2017-11-16 Hyundai Motor Company Apparatus and method for controlling airbag

Also Published As

Publication number Publication date
JP2020050080A (en) 2020-04-02

Similar Documents

Publication Publication Date Title
JP7185992B2 (en) Vehicle occupant monitoring device and occupant protection system
JP7228982B2 (en) vehicle occupant protection system
JP2020023235A (en) Vehicular protection device and vehicle
CN111660980A (en) Occupant monitoring device for vehicle and traffic system
SE543675C2 (en) Method and device for activating an unoccupied vehicle seat in case of imminent collision
CN110949303B (en) Occupant monitoring device for vehicle and occupant protection system
US8116528B2 (en) Illumination source for an image based occupant classification system and vehicle using same
JP2021066275A (en) Vehicle control device
JP7285188B2 (en) Vehicle occupant monitoring device and vehicle occupant protection system
JP7222642B2 (en) Vehicle occupant monitoring device and occupant protection system
JP2006298105A (en) Operation control device for occupant protection device
JP3785929B2 (en) Crew protection device
JP7292063B2 (en) Vehicle with occupant protection function
JP3732478B2 (en) Crew protection device
JP7299466B2 (en) vehicle seat
JP2022129155A (en) In-vehicle multi-monitoring device of vehicle
JP2004161191A (en) Collision predictive controlling device, airbag controlling device, and airbag system
JP2022129156A (en) In-vehicle multi-monitoring device of vehicle
JP3562208B2 (en) Passenger protection system
JP7245683B2 (en) Vehicle with occupant protection function
JP3107924U (en) Emergency warning light device
KR100552734B1 (en) air bag system for automotive vehicles and control method thereof
JP2021014227A (en) Occupant protection system of vehicle
CN111688620A (en) Occupant monitoring device for vehicle and traffic system
JP2008074359A (en) Control device of vehicular seat

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7222642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150