WO2023132041A1 - 機器操作制御システム、装置、方法、及びコンピュータ可読媒体 - Google Patents

機器操作制御システム、装置、方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023132041A1
WO2023132041A1 PCT/JP2022/000283 JP2022000283W WO2023132041A1 WO 2023132041 A1 WO2023132041 A1 WO 2023132041A1 JP 2022000283 W JP2022000283 W JP 2022000283W WO 2023132041 A1 WO2023132041 A1 WO 2023132041A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
occupant
attribute
operation control
occupants
Prior art date
Application number
PCT/JP2022/000283
Other languages
English (en)
French (fr)
Inventor
雄太 清水
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/000283 priority Critical patent/WO2023132041A1/ja
Publication of WO2023132041A1 publication Critical patent/WO2023132041A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens

Definitions

  • the present disclosure relates to equipment operation control systems, devices, methods, and computer-readable media.
  • Patent Document 1 discloses a control device for a vehicle-mounted device.
  • each seat of a vehicle is provided with a load sensor.
  • the control device described in Patent Document 1 acquires the distribution of the load on the seating surface of the seat from the load detected by the load sensor.
  • the control device determines whether or not the occupant is an adult from the acquired distribution of the load.
  • the controller determines that the occupant is an adult
  • the controller acquires the position of the seat on which the occupant is seated.
  • the control device determines whether or not to permit the operation of the equipment according to the seat position of the passenger who operates the equipment and the running state of the vehicle.
  • the control device determines that the occupant is not an adult, the control device prohibits operation of the device.
  • the control device described in Patent Document 1 determines whether the occupant is an adult or a child according to the load detected by the load sensor.
  • an adult with a light weight may be erroneously determined to be a child.
  • overweight children may be misidentified as adults.
  • the device described in Patent Document 1 cannot accurately determine the attributes of the occupant, and cannot control the equipment according to the attributes of the occupant.
  • an object of the present disclosure is to provide an equipment operation control system, device, method, and computer-readable medium capable of controlling equipment according to the attributes of the occupant.
  • the present disclosure provides an equipment operation control device as a first aspect.
  • the device operation control device includes position specifying means for specifying the boarding position of each of the one or more occupants who get on the vehicle, and the attribute of each of the one or more occupants from the image captured by the camera that captures the interior of the vehicle. and control means for controlling devices inside the vehicle in accordance with the specified boarding position and attribute.
  • the present disclosure provides a device operation control system as a second aspect.
  • the equipment operation control system has a camera that captures an image of the interior of a vehicle and an equipment operation control device that controls equipment inside the vehicle.
  • the device operation control device includes position specifying means for specifying a boarding position of each of the one or more occupants riding in the vehicle, and attribute specifying means for specifying an attribute of each of the one or more occupants from the image captured by the camera. and control means for controlling the device according to the identified boarding position and attributes.
  • the present disclosure provides a device operation control method as a third aspect.
  • the device operation control method identifies the boarding position of each of one or more occupants riding in the vehicle, identifies attributes of each of the one or more occupants from images captured by a camera that captures the interior of the vehicle, and identifies the attributes of each of the one or more occupants. and controlling equipment within the vehicle in response to the determined boarding position and attributes.
  • the present disclosure provides a computer-readable medium as a fourth aspect.
  • the computer-readable medium identifies a boarding position of each of one or more occupants boarding a vehicle, identifies attributes of each of the one or more occupants from images captured by a camera that captures an interior of the vehicle, and identifies the attributes of each of the one or more occupants.
  • a program is stored for causing a processor to execute processing including controlling devices inside the vehicle according to the boarding position and attributes.
  • the device operation control system, device, method, and computer-readable medium according to the present disclosure can control devices according to the attributes of passengers on board the vehicle.
  • FIG. 1 is a block diagram showing a schematic configuration of a device operation control system according to the present disclosure
  • FIG. 1 is a block diagram showing a device operation control system according to a first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of the relationship between the position and attributes of the occupant and whether or not the controlled device can be operated
  • 4 is a flow chart showing an operation procedure in the device operation control device
  • FIG. 4 is a block diagram showing a device operation control system according to a second embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing an example of the relationship between the position, attribute, and state information of the occupant and whether or not the controlled device can be operated
  • FIG. 11 is a block diagram showing a device operation control system according to a third embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of whether or not a controlled device can be operated according to vehicle state information
  • FIG. 2 is a block diagram showing the hardware configuration of the equipment operation control device
  • FIG. 1 shows a schematic configuration of a device operation control system according to the present disclosure.
  • the equipment operation control system 10 has an equipment operation control device 20 and a camera 30 .
  • the camera 30 photographs the inside of the vehicle.
  • the equipment operation control device 20 controls the equipment 50 inside the vehicle.
  • the device operation control device 20 has position specifying means 21 , attribute specifying means 22 and control means 23 .
  • the position specifying means 21 specifies the boarding position of each of one or more occupants riding in the vehicle.
  • the attribute identifying means 22 identifies attributes of each of the one or more passengers from the image captured by the camera 30 .
  • the control means 23 controls the device 50 inside the vehicle according to the specified boarding position and attribute.
  • the attribute specifying means 22 specifies the attributes of the occupant from the video captured by the camera 30.
  • the equipment operation control device 20 can realize control of the equipment according to the attributes of the passengers on board the vehicle.
  • FIG. 2 shows a device operation control system according to the first embodiment of the present disclosure.
  • the equipment operation control system 100 includes an equipment operation control device 110 and a camera 130 .
  • the camera 130 is mounted on the vehicle and photographs the inside of the vehicle.
  • a vehicle is a mobile object, such as a car, taxi, or van.
  • the camera 130 is installed, for example, between the driver's seat and the passenger's seat at a position where the entire interior of the vehicle can be seen.
  • the number of cameras 130 is not limited to one.
  • Equipment operation control system 100 may include multiple cameras 130 located within a single vehicle.
  • the equipment operation control system 100 corresponds to the equipment operation control system 10 shown in FIG.
  • Camera 130 corresponds to camera 30 shown in FIG.
  • Controlled device 150 is a device operated by a passenger on board the vehicle inside the vehicle.
  • Controlled device 150 includes, for example, a vehicle-equipped device or a device operated by an occupant when driving the vehicle.
  • the controlled device 150 includes devices such as an engine (main switch), power windows, horn, steering wheel, parking brake, and air conditioner.
  • Controlled device 150 may include in-vehicle devices such as display audio (DA) and car navigation devices.
  • the controlled device 150 may be a user device such as a smart phone that the passenger brings into the vehicle. Controlled device 150 corresponds to device 50 shown in FIG.
  • the device operation control device 110 acquires the image captured by the camera 130 and controls the controlled device 150 using the acquired image.
  • the equipment operation control device 110 has an occupant detection unit 111 , a position identification unit 112 , an attribute identification unit 113 and a control unit 114 .
  • the device operation control device 110 is configured as a device including, for example, one or more processors and one or more memories. At least part of the function of each unit in the device operation control device 110 can be realized by executing processing according to a program read from the memory by the processor.
  • the equipment operation control device 110 corresponds to the equipment operation control device 20 shown in FIG.
  • the occupant detection unit 111 detects an occupant getting into the vehicle.
  • the occupant detection unit 111 detects the occupant by detecting the face area of the subject (occupant) from the video (image) captured by the camera 130 .
  • the occupant detection unit 111 detects that a plurality of occupants are in the vehicle when the image includes a plurality of subjects and a plurality of face areas is detected.
  • the position specifying unit 112 specifies the position of the occupant detected by the occupant detection unit 111 in the vehicle.
  • the occupant detection unit 111 may detect the occupant using a sensor such as a pressure sensor provided in the seat.
  • the position specifying unit 112 specifies the positions of each of the multiple occupants.
  • the position specifying unit 112 specifies which seat the occupant sits in, for example, among the seats provided in the vehicle.
  • the position specifying unit 112 specifies the position of the occupant from the image captured by the camera 130, for example.
  • the position specifying unit 112 may specify the position of the occupant using a sensor such as a pressure sensor provided on the seat.
  • the position specifying unit 112 corresponds to the position specifying means 21 shown in FIG.
  • the attribute identification unit 113 identifies the attributes of the occupant from the video captured by the camera 130 .
  • the attribute identification unit 113 identifies the attributes of each of the multiple occupants when multiple occupants are detected. Occupant attributes include, for example, age and sex.
  • the attribute identification unit 113 detects, for example, a face area from a camera image.
  • the attribute specifying unit 113 may estimate age, sex, etc. based on the detected image of the face area, and specify the estimated age and sex as attributes of the occupant.
  • the attribute identification unit 113 may identify whether the occupant is an adult or a child according to the estimated age. Alternatively, the attribute identification unit 113 may perform face authentication on the image of the face area to identify the person.
  • the attribute identification unit 113 may acquire the attribute of the identified person from a database or the like.
  • the person registered in the database may be provided with restriction information relating to restrictions on use of the device, and the restriction information may be acquired as an attribute from the person identified by the attribute identification unit 113 .
  • the attribute identification unit 113 corresponds to the attribute identification means 22 shown in FIG.
  • the control unit 114 controls the controlled device 150 according to the position of the occupant specified by the position specifying unit 112 and the attribute of the occupant specified by the attribute specifying unit 113 .
  • the control unit 114 can control a plurality of controlled devices 150 for each controlled device 150 . For example, when an occupant attempts to operate a certain controlled device 150, the control unit 114 determines whether or not to permit the operation of the controlled device 150 according to the occupant's boarding position and attributes. For example, the control unit 114 may determine whether the passenger can operate the controlled device 150 according to the boarding position of each passenger and whether the passenger is an adult or a child. When the control unit 114 determines to permit the operation, the control unit 114 does not restrict the passenger's use of the controlled device 150 .
  • the controlled device 150 operates according to the passenger's operation.
  • the control unit 114 determines not to permit the operation, even if the passenger operates the controlled device 150 , the operation is invalidated and the use of the controlled device 150 by the passenger is restricted.
  • the control unit 114 may restrict a part of the functions of the controlled device 150 instead of restricting the functions of the controlled device 150 as a whole.
  • the control unit 114 corresponds to the control means 23 shown in the figure.
  • the control unit 114 may control the controlled device 150 by transmitting a control signal to the controlled device 150 through the in-vehicle network.
  • the controlled device 150 is a user device such as a smart phone
  • an application that communicates with the device operation control device 110 may be installed in the user device.
  • the control unit 114 determines not to permit the operation of the controlled device 150, which is the user device, the control unit 114 notifies the user device to that effect.
  • the application receives a notification that the operation of the user device is not permitted, the application disables a predetermined function of the user device, such as screen display. By doing so, the control unit 114 can restrict the operation or use of the user equipment in the vehicle.
  • Fig. 3 shows an example of the relationship between the position and attributes of the occupant and whether or not the controlled device can be operated.
  • the position specifying unit 112 determines whether the position of the occupant is in the right front seat (driver's seat in the case of right-hand traffic), the left front seat (passenger seat), the right rear seat, or the left rear seat. shall be specified.
  • the attribute identification unit 113 identifies whether the occupant is an “adult” or a “child”.
  • the control unit 114 controls the controlled device 1 to the controlled device n, where n is an integer of 2 or more.
  • control unit 114 permits the operation of the "controlled device 1" and the "controlled device 2" when the attribute of the passenger sitting in the driver's seat is "adult". Further, when the attribute of the occupant sitting in the front passenger seat is "adult", the control unit 114 permits the operation of the "controlled device 2" but does not permit the operation of the "controlled device 1". The control unit 114 does not permit the operation of the "controlled device 1" and the “controlled device 2" when the attribute of the passenger sitting in the driver's seat or the passenger's seat is "child”.
  • a plurality of controlled devices 150 may be classified into a plurality of groups according to installation locations (positions) in the vehicle, applications, and the like. In that case, the control unit 114 holds information indicating to which group each controlled device 150 belongs. One controlled device 150 may belong to multiple groups. The control unit 114 may determine whether or not to permit operation for each group instead of determining whether or not to permit operation, that is, whether or not there is a restriction, for each controlled device 150 . For example, the control unit 114 does not permit the operation of the controlled device 150 belonging to the group of controlled devices related to driving operations, such as an engine, horn, or steering wheel, when no adult is in the driver's seat. may be The control unit 114 may permit the operation of the controlled device 150 belonging to the group of controlled devices not related to the driving operation even when no adult is in the driver's seat.
  • control unit 114 may allow operation of equipment such as an air conditioner when there is no one in the driver's seat, but may restrict operation of the accelerator. Further, when the occupant is in the driver's seat and the attribute of the occupant is "child", the control unit 114 may limit the operation of the accelerator and the operation of starting the engine. If the vehicle is an electric vehicle, the control unit 114 may limit activation of the system of the vehicle. The control unit 114 may limit the operation of the equipment arranged near the position of the passenger identified by the position identifying unit 112 according to the identified attribute. If the occupant is located on the right side of the rear seat and the occupant's attribute is "child", the control unit 114 may restrict operation of the power window on the right rear seat.
  • equipment such as an air conditioner when there is no one in the driver's seat, but may restrict operation of the accelerator. Further, when the occupant is in the driver's seat and the attribute of the occupant is "child", the control unit 114 may limit the operation of the accelerator and the operation of starting the engine. If the
  • FIG. 4 shows an operation procedure (equipment operation control method) in the equipment operation control device 110 .
  • the occupant detection unit 111 acquires a camera image from the camera 130 (step S1).
  • the occupant detection unit 111 detects an occupant in the vehicle based on the camera image (step S2).
  • the occupant detection unit 111 performs face detection on, for example, camera images.
  • the occupant detection unit 111 detects that an occupant is in the vehicle when the face region is detected.
  • the position specifying unit 112 specifies the boarding position of the passenger detected in step S2 (step S3).
  • the locator 112 may track the location of the occupant within the vehicle after the occupant enters the vehicle.
  • the attribute identification unit 113 identifies the attributes of the occupant detected in step S2 based on the camera image acquired from the camera 130 (step S4).
  • the attribute specifying unit 113 estimates the age of the occupant using, for example, the image of the face area, and specifies whether the occupant is an adult or a child.
  • the control unit 114 controls the controlled device 150 according to the boarding position specified in step S3 and the attribute of the passenger specified in step S4 (step S5).
  • control unit 114 controls the controlled device 150 according to the position and attributes of the occupant.
  • attribute identification unit 113 identifies the attributes of the occupant based on the image captured by the camera 130 .
  • camera images are used to identify attributes. Therefore, the attributes of the occupant can be identified with higher accuracy than when identifying whether the occupant is an adult or a child based on the weight.
  • the equipment operation control device 110 can control the controlled equipment 150 according to the correctly identified attribute of the occupant.
  • FIG. 5 shows a device operation control system according to a second embodiment of the present disclosure.
  • the device operation control device 110a has an occupant state acquisition unit 115 in addition to the configuration of the device operation control device 110 described in the first embodiment shown in FIG.
  • the occupant state acquisition unit (occupant state acquisition means) 115 acquires occupant state information in the vehicle. For example, the occupant state acquisition unit 115 acquires, as state information, the face direction or line-of-sight direction of each occupant detected by the occupant detection unit 111 . The occupant state acquisition unit 115 outputs occupant state information to the control unit 114 . The control unit 114 controls the controlled device 150 using the occupant's status information in addition to the occupant's position and attributes.
  • the control unit 114 determines whether the adult is looking at the child based on the state information of the passengers.
  • the control unit 114 determines, for example, whether or not the adult's face or line of sight faces the position where the child is riding.
  • the control unit 114 can determine whether or not to operate the controlled device 150 depending on whether the adult is watching the child.
  • the control unit 114 may control the controlled device 150 according to the result of the face authentication and the status information of the occupant. For example, the attribute identification unit 113 identifies whether or not the passenger is a registered user of the vehicle by face authentication.
  • the control unit 114 may permit operation of a specific controlled device 150 when the occupant is an adult and is registered as a user of the vehicle, and the occupant (adult) is looking at the child.
  • FIG. 6 shows an example of the relationship between the position, attributes, and state information of the occupant and whether or not the controlled device can be operated.
  • the control unit 114 determines whether or not the occupant detection unit 111 has detected a plurality of occupants. If a plurality of occupants is not detected, the control unit 114 determines whether or not to operate the steering wheel, horn, and engine depending on whether the occupant is an adult or a child. In the example of FIG. 6, the control unit 114 restricts the operation of the steering wheel, horn, and engine start when the passenger is a child. When the passenger is an adult, the control unit 114 permits the operation of the steering wheel, horn, and engine start.
  • the control unit 114 determines whether the occupants are adults or children. When the occupants include an adult and a child, the control unit 114 determines whether the adult is looking at the child. When the control unit 114 determines that the adult is not looking at the child, the control unit 114 permits the operation of the steering wheel, but may restrict the operation of the horn and engine start. If the control unit 114 determines that an adult is watching the child, the control unit 114 may allow the operation of the steering wheel, horn, and engine start assuming that the child is under adult supervision.
  • the occupant state acquisition unit 115 acquires occupant state information.
  • the control unit 114 can control the controlled device 150 according to the acquired state information.
  • Control unit 114 can allow a child to operate controlled device 150, for example, when an adult is watching the child and the child is under the adult's supervision.
  • the control unit 114 can restrict the operation of the controlled device 150 by the child when the adult is not watching the child. In this way, in this embodiment, the child can operate the controlled device 150 while the adult is watching the child.
  • Other effects may be the same as the effects described in the first embodiment.
  • FIG. 7 shows a device operation control system according to a third embodiment of the present disclosure.
  • the device operation control device 110a has a vehicle information acquisition unit 116 in addition to the configuration of the device operation control device 110 described in the first embodiment shown in FIG.
  • the device operation control device 110b may have a passenger state acquisition unit 115, like the device operation control device 110a in the second embodiment shown in FIG.
  • a vehicle information acquisition unit (vehicle information acquisition means) 116 acquires vehicle information.
  • the vehicle information may include information indicating whether or not the vehicle is being driven, information indicating the shift position, and parking brake operating status information.
  • the vehicle information may include vehicle location information.
  • the vehicle information acquisition unit 116 may acquire vehicle information from a device such as an ECU (Electronic Control Unit) that controls the vehicle, for example, via an in-vehicle network such as a CAN (Controller Area Network).
  • ECU Electronic Control Unit
  • CAN Controller Area Network
  • control unit 114 controls the controlled device 150 using vehicle information in addition to the position and attributes of the occupant.
  • the control unit 114 may determine whether or not the vehicle is driving (running), for example, based on vehicle information.
  • the control unit 114 may determine whether the vehicle is parked in a parking lot, service area, parking area, or the like based on the vehicle position information.
  • the control unit 114 may determine whether or not to operate the controlled device 150 depending on whether the vehicle is being driven or parked.
  • FIG. 8 shows an example of whether or not the controlled device can be operated according to the vehicle state information.
  • the example shown in FIG. 8 is an example when the attribute is "child".
  • control unit 114 restricts operation of the power windows, engine, and parking brake when the vehicle is being driven.
  • the control unit 114 permits operation of the power windows and the engine, but restricts operation of the parking brake.
  • the control unit 114 permits the operation of the power windows and the parking brake, but restricts the operation of the engine.
  • the control unit 114 may restrict a predetermined function of a user device such as a smart phone, such as a screen display function, by the driver while driving the vehicle.
  • the vehicle information acquisition unit 116 acquires vehicle information.
  • the control unit 114 can control the controlled device 150 according to the acquired vehicle information.
  • the control unit 114 can determine whether or not the passenger can operate the controlled device 150 according to whether the vehicle is being driven, the shift position, and the like. By doing so, the control unit 114 can change the control over the controlled device 150 depending on, for example, when the vehicle is driving and when the vehicle is not driving.
  • the control unit 114 prohibits the operation of the controlled device 150 related to driving by a child, for example, while the vehicle is being driven. By doing so, the safety of the vehicle can be enhanced.
  • Other effects may be the same as the effects described in the first embodiment or the second embodiment.
  • FIG. 9 shows the hardware configuration of the device operation control device 110.
  • the equipment operation control device 110 has a processor (CPU: Central Processing Unit) 501 , ROM (read only memory) 502 , and RAM (random access memory) 503 .
  • the processor 501 , ROM 502 and RAM 503 are interconnected via a bus 504 .
  • the device operation control device 110 may include other circuits such as peripheral circuits, communication circuits, and interface circuits.
  • the ROM 502 is a non-volatile storage device.
  • a semiconductor storage device such as a flash memory having a relatively small capacity is used.
  • the ROM 502 stores programs executed by the processor 501 .
  • the program includes a group of instructions (or software code) that, when read into a computer, cause the computer to perform one or more functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include RAM, ROM, flash memory, solid-state drives (SSD) or other memory technology, compact discs (CDs), digital versatile discs (DVDs), Including Blu-ray discs or other optical disc storage, magnetic cassettes, magnetic tapes, magnetic disc storage or other magnetic storage devices.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • the RAM 503 is a volatile storage device. Various semiconductor memory devices such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory) are used for the RAM 503 .
  • the RAM 503 can be used as an internal buffer that temporarily stores data and the like.
  • the processor 501 expands the program stored in the ROM 502 to the RAM 503 and executes the program.
  • the functions of the units in the device operation control device 110 can be implemented by the CPU 501 executing the program.
  • the device operation control device 110 does not necessarily have to be a single device.
  • the equipment operation control device 110 may be configured using a plurality of physically separated devices. Further, the equipment operation control device 110 only needs to be able to control the controlled equipment 150 in the vehicle, and not necessarily have all the functions installed in the vehicle.
  • the attribute identification unit 113 may be arranged outside the vehicle. In that case, the attribute identification unit 113 may receive the face image of the passenger detected from the passenger detection unit 111 via the wireless communication network. Also, the attribute identification unit 113 may transmit the identified attribute of the passenger to the control unit 114 via the wireless communication network.
  • Position specifying means for specifying the boarding position of each of the one or more occupants riding in the vehicle; attribute identification means for identifying attributes of each of the one or more occupants from images captured by a camera that captures the interior of the vehicle; and control means for controlling devices inside the vehicle in accordance with the specified boarding position and attributes.
  • Appendix 2 The equipment operation control device according to appendix 1, wherein the control means determines whether or not the occupant can operate the equipment according to the specified boarding position and attributes.
  • Appendix 3 3. The device operation control device according to appendix 1 or 2, wherein the attribute specifying means estimates the age of the passenger and specifies the attribute of the passenger according to the estimated age.
  • the attribute specifying means specifies whether the occupant is an adult or a child as an attribute of the occupant, 3.
  • the apparatus according to any one of Appendices 1 to 3, wherein the control means determines whether or not the occupant can operate the device according to the riding position and whether the occupant is an adult or a child. equipment operation controller.
  • Appendix 5 further comprising occupant state acquisition means for acquiring occupant state information based on the image; 3.
  • the device operation control device according to any one of appendices 1 to 3, wherein the control means further controls the device according to the state information.
  • Appendix 6 The apparatus operation control device according to appendix 5, wherein the occupant state acquisition means acquires the direction of the face or the line-of-sight direction of the occupant as the state information.
  • the attribute specifying means specifies whether the occupant is an adult or a child as an attribute of the occupant, When a plurality of occupants are riding in the vehicle, the control means determines whether an occupant identified as an adult is looking at an occupant identified as a child, based on the direction of the face or line of sight of the occupant. and determines whether or not the occupant identified as a child can operate the device, depending on whether the occupant identified as an adult is looking at the occupant identified as a child.
  • Equipment operation controller as described.
  • Appendix 8 further comprising vehicle information acquisition means for acquiring vehicle information of the vehicle; 8. The device operation control device according to any one of appendices 1 to 7, wherein the control means further controls the device according to the vehicle information.
  • [Appendix 9] a camera that captures the interior of the vehicle; a device operation control device for controlling devices inside the vehicle;
  • the equipment operation control device includes: Position specifying means for specifying the boarding position of each of one or more occupants boarding the vehicle; attribute identification means for identifying attributes of each of the one or more occupants from the video captured by the camera; and control means for controlling the equipment according to the specified boarding position and attribute.
  • Appendix 10 10. The apparatus operation control system according to appendix 9, wherein the control means determines whether or not the occupant can operate the apparatus according to the specified boarding position and attributes.
  • Appendix 12 identifying the boarding position of each of one or more occupants boarding the vehicle; Identifying attributes of each of the one or more occupants from images captured by a camera that captures the interior of the vehicle; A device operation control method comprising controlling devices inside the vehicle in accordance with the specified riding position and attribute.
  • Equipment Operation Control System 20 Equipment Operation Control Device 21: Position Identifying Means 22: Attribute Identification Means 23: Control Means 30: Camera 50: Equipment 100: Equipment Operation Control System 110: Equipment Operation Control Device 111: Occupant Detection Unit 112 : Position specifying unit 113: Attribute specifying unit 114: Control unit 115: Passenger state acquisition unit 116: Vehicle information acquisition unit 130: Camera 150: Controlled device 501: Processor 502: ROM 503: RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車両内における、車両に乗車する乗員の属性に応じた機器の制御を可能とする。位置特定手段（２１）は、車両に乗車する１以上の乗員それぞれの乗車位置を特定する。属性特定手段（２２）は、車両の内部を撮影するカメラ（３０）が撮影した映像から、１以上の乗員それぞれの属性を特定する。制御手段（２３）は、位置特定手段（２１）で特定された乗車位置、及び属性特定手段（２２）で属性に応じて、車両の内部において機器（５０）を制御する。

Description

機器操作制御システム、装置、方法、及びコンピュータ可読媒体
　本開示は、機器操作制御システム、装置、方法、及びコンピュータ可読媒体に関する。
　関連技術として、特許文献１は、車両搭載装置の制御装置を開示する。特許文献１において、車両の各シートには荷重センサが設けられている。特許文献１に記載される制御装置は、荷重センサが検出した荷重から、シートの座面に対する荷重の分布を取得する。制御装置は、取得した荷重の分布から、乗員が大人であるか否かを判定する。制御装置は、乗員が大人であると判定した場合、乗員が着座しているシートの位置を取得する。制御装置は、機器を操作する乗員の座席位置と、車両の走行状態とに応じて、機器の操作を許可するか否かを決定する。制御装置は、乗員が大人ではないと判定した場合、機器の操作を禁止する。
特開２０１２－２３６４４４号公報
　特許文献１に記載の制御装置は、荷重センサで検出された荷重に応じて、乗員が大人であるか、子供であるかを判定する。特許文献１では、大人と子供とを重さでしか識別できないため、体重が軽い大人が子供と誤って判定されることがある。あるいは、体重が重い子どもが大人と誤って判定されることがある。このように、特許文献１に記載の装置は、乗員の属性を正確に判定することができず、乗員の属性に応じて機器を制御することができない。
　本開示は、上記事情に鑑み、乗員の属性に応じた機器の制御が可能な機器操作制御システム、装置、方法、及びコンピュータ可読媒体を提供することを目的とする。
　上記目的を達成するために、本開示は、第１の態様として、機器操作制御装置を提供する。機器操作制御装置は、車両に乗車する１以上の乗員それぞれの乗車位置を特定する位置特定手段と、前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定する属性特定手段と、前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御する制御手段とを含む。
　本開示は、第２の態様として、機器操作制御システムを提供する。機器操作制御システムは、車両の内部を撮影するカメラと、前記車両の内部において機器を制御する機器操作制御装置とを有する。機器操作制御装置は、前記車両に乗車する１以上の乗員それぞれの乗車位置を特定する位置特定手段と、前記カメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定する属性特定手段と、前記特定された乗車位置及び属性に応じて、前記機器を制御する制御手段とを含む。
　本開示は、第３の態様として、機器操作制御方法を提供する。機器操作制御方法は、車両に乗車する１以上の乗員それぞれの乗車位置を特定し、前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定し、前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む。
　本開示は、第４の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、車両に乗車する１以上の乗員それぞれの乗車位置を特定し、前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定し、前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む処理を、プロセッサに実行させるためのプログラムを記憶する。
　本開示に係る機器操作制御システム、装置、方法、及びコンピュータ可読媒体は、車両に乗車する乗員の属性に応じて機器を制御することができる。
本開示に係る機器操作制御システムの概略的な構成を示すブロック図。 本開示の第１実施形態に係る機器操作制御システムを示すブロック図。 乗員の位置及び属性と被制御機器の操作の可否との関係の一例を示す図。 機器操作制御装置における動作手順を示すフローチャート。 本開示の第２実施形態に係る機器操作制御システムを示すブロック図。 乗員の位置、属性、及び状態情報と被制御機器の操作の可否との関係の一例を示す図。 本開示の第３実施形態に係る機器操作制御システムを示すブロック図。 車両状態情報に応じた被制御機器の操作の可否の一例を示す図。 機器操作制御装置のハードウェア構成を示すブロック図。
　本開示の実施形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る機器操作制御システムの概略的な構成を示す。機器操作制御システム１０は、機器操作制御装置２０、及びカメラ３０を有する。カメラ３０は、車両の内部を撮影する。機器操作制御装置２０は、車両の内部において、機器５０を制御する。
　機器操作制御装置２０は、位置特定手段２１、属性特定手段２２、及び制御手段２３を有する。位置特定手段２１は、車両に乗車する１以上の乗員それぞれの乗車位置を特定する。属性特定手段２２は、カメラ３０が撮影した映像から、１以上の乗員それぞれの属性を特定する。制御手段２３は、特定された乗車位置及び属性に応じて、車両の内部において機器５０を制御する。
　本開示において、属性特定手段２２は、カメラ３０が撮影した映像から、乗員の属性を特定する。本開示では、属性の特定にカメラ映像が使用されるため、荷重センサを用いて大人と子供とが識別される場合に比べて、属性をより正確に特定できる。このため、機器操作制御装置２０は、車両に乗車する乗員の属性に応じた機器の制御を実現できる。
　以下、図面を参照しつつ、本開示の実施の形態を詳細に説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、各図面において、同一の要素、及び同様な要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　図２は、本開示の第１実施形態に係る機器操作制御システムを示す。機器操作制御システム１００は、機器操作制御装置１１０、及びカメラ１３０を含む。カメラ１３０は、車両に搭載され、車両の内部を撮影する。車両は、例えば乗用車、タクシー、又はバンなどの移動体である。カメラ１３０は、例えば、運転席と助手席との間で、車内全体を見渡せる位置に設置される。機器操作制御システム１００において、カメラ１３０の数は１つには限定されない。機器操作制御システム１００は、１つの車両の中に配置された複数のカメラ１３０を含み得る。機器操作制御システム１００は、図１に示される機器操作制御システム１０に対応する。カメラ１３０は、図１に示されるカメラ３０に対応する。
　機器操作制御装置１１０は、カメラ１３０、及び複数の被制御機器１５０に接続される。被制御機器１５０は、車両の内部において、車両に乗車する乗員によって操作される機器である。被制御機器１５０は、例えば、車両に備わる機器、又は車両を運転するときに乗員により操作される機器を含む。例えば、被制御機器１５０は、エンジン（メインスイッチ）、パワーウィンドウ、ホーン、ステアリングホイール、パーキングブレーキ、及びエアーコンディショナーなどの機器を含む。被制御機器１５０は、ディスプレイオーディオ（ＤＡ：Display Audio）、及びカーナビゲーション装置などの車載機器を含んでいてもよい。さらに、被制御機器１５０は、乗員が車内に持ち込むスマートホンなどのユーザ機器であってもよい。被制御機器１５０は、図１に示される機器５０に対応する。
　機器操作制御装置１１０は、カメラ１３０が撮影した映像を取得し、取得した映像を用いて、被制御機器１５０を制御する。機器操作制御装置１１０は、乗員検知部１１１、位置特定部１１２、属性特定部１１３、及び制御部１１４を有する。機器操作制御装置１１０は、例えば１以上のプロセッサと１以上のメモリとを含む装置として構成される。機器操作制御装置１１０内の各部の機能の少なくとも一部は、プロセッサがメモリから読み出したプログラムに従って処理を実施することで実現され得る。機器操作制御装置１１０は、図１に示される機器操作制御装置２０に対応する。
　乗員検知部１１１は、車両に乗車する乗員を検知する。乗員検知部１１１は、カメラ１３０が撮影した映像（画像）から、被写体（乗員）の顔領域を検出することで、乗員を検知する。乗員検知部１１１は、画像に複数の被写体が含まれ、複数の顔領域が検出される場合、車両に複数の乗員が乗車していることを検知する。位置特定部１１２は、乗員検知部１１１で検知された乗員の車両における位置を特定する。乗員検知部１１１は、座席に設けられた、圧力センサなどのセンサを用いて、乗員を検知してもよい。
　位置特定部１１２は、複数の乗員が検知されている場合、複数の乗員それぞれの位置を特定する。位置特定部１１２は、例えば車両に備わる座席のうち、乗員がどの座席に座っているかを特定する。位置特定部１１２は、例えば、カメラ１３０が撮影した映像から乗員の位置を特定する。位置特定部１１２は、座席に設けられた、圧力センサなどのセンサを用いて、乗員の位置を特定してもよい。位置特定部１１２は、図１に示される位置特定手段２１に対応する。
　属性特定部１１３は、カメラ１３０が撮影した映像から、乗員の属性を特定する。属性特定部１１３は、複数の乗員が検知されている場合、複数の乗員それぞれの属性を特定する。乗員の属性は、例えば年齢及び性別を含む。属性特定部１１３は、例えば、カメラ映像から顔領域を検出する。属性特定部１１３は、検出した顔領域の画像に基づいて年齢及び性別などを推定し、推定した年齢及び性別を乗員の属性として特定してもよい。属性特定部１１３は、推定した年齢に応じて、乗員が大人であるか、又は子供であるかを特定してもよい。あるいは、属性特定部１１３は、顔領域の画像に対して顔認証を行い、人物を識別してもよい。その場合、属性特定部１１３は、識別した人物の属性をデータベースなどから取得してもよい。また、データベースに登録された人物に、機器の使用制限に関する制限情報を付与し、属性特定部１１３によって識別された人物から制限情報を属性として取得してもよい。属性特定部１１３は、図１に示される属性特定手段２２に対応する。
　制御部１１４は、位置特定部１１２で特定された乗員の位置、及び属性特定部１１３で特定された乗員の属性に応じて、被制御機器１５０を制御する。制御部１１４は、複数の被制御機器１５０を、被制御機器１５０ごとに制御できる。例えば、制御部１１４は、乗員がある被制御機器１５０を操作しようとした場合、その乗員の乗車位置、及び属性に応じて、被制御機器１５０の操作を許可するか否かを決定する。例えば、制御部１１４は、各乗員の乗車位置と、乗員が大人であるか、又は子供であるか、とに応じて、乗員による被制御機器１５０の操作の可否を決定してもよい。制御部１１４は、操作を許可すると決定した場合、乗員による被制御機器１５０の使用を制限しない。その場合、被制御機器１５０は、乗員の操作に従って動作する。制御部１１４は、操作を許可しないと決定した場合、乗員が被制御機器１５０を操作した場合でも、その操作を無効とし、乗員による被制御機器１５０の使用を制限する。制御部１１４は、被制御機器１５０全体の機能を制限するのではなく、被制御機器１５０の一部の機能を制限してもよい。制御部１１４は、図に示される制御手段２３に対応する。
　被制御機器１５０が車両に備わる機器、又は車両に搭載される機器である場合、制御部１１４は、車内ネットワークを通じて被制御機器１５０に制御信号を送信し、被制御機器１５０を制御してもよい。被制御機器１５０がスマートホンなどのユーザ機器の場合、そのユーザ機器には、機器操作制御装置１１０と通信を行うアプリケーションがインストールされていてもよい。制御部１１４は、ユーザ機器である被制御機器１５０の操作を許可しないと決定した場合、その旨をユーザ機器に通知する。アプリケーションは、ユーザ機器の操作を許可しない旨の通知を受け取った場合、ユーザ機器の所定の機能、例えば画面表示を無効化する。このようにすることで、制御部１１４は、車内におけるユーザ機器の操作又は使用を制限することができる。
　図３は、乗員の位置及び属性と被制御機器の操作の可否との関係の一例を示す。この例において、位置特定部１１２は、乗員の位置が、前席右（右側通行の場合は運転席）、前席左（助手席）、後席右、及び後席左の何れであるかを特定するものとする。また、属性特定部１１３は、乗員が「大人」であるか、「子供」であるかを特定するものとする。また、制御部１１４は、ｎを２以上の整数として、被制御機器１から被制御機器ｎを制御するものとする。
　図３において、「ＹＥＳ」は、乗車位置と属性との組み合わせに対して、被制御機器１５０の操作が許可されることを示す。「ＮＯ」は、乗車位置と属性との組み合わせに対して、被制御機器１５０の操作が許可されないことを示す。例えば、制御部１１４は、運転席に乗車する乗員の属性が「大人」である場合、「被制御機器１」及び「被制御機器２」の操作を許可する。また、制御部１１４は、助手席に乗車する乗員の属性が「大人」である場合、「被制御機器２」の操作は許可するが、「被制御機器１」の操作は許可しない。制御部１１４は、運転席又は助手席に乗車する乗員の属性が「子供」の場合は、「被制御機器１」及び「被制御機器２」の操作を許可しない。
　複数の被制御機器１５０は、車両における設置場所（位置）、及び用途などに応じて、複数のグループに区分されていてもよい。その場合、制御部１１４は、各被制御機器１５０がどのグループに属するかを示す情報を保持する。１つの被制御機器１５０は、複数のグループに属していてもよい。制御部１１４は、被制御機器１５０ごとに操作の可否、つまり制限の有無を決定するのに代えて、グループごとに、操作の可否を決定してもよい。例えば、制御部１１４は、運転席に大人が乗車していない場合、エンジン、ホーン、又はステアリングホイールなどの、運転操作に関連する被制御機器のグループに属する被制御機器１５０の操作を許可しないこととしてもよい。制御部１１４は、運転席に大人が乗車していない場合でも、運転操作に関連しない被制御機器のグループに属する被制御機器１５０の操作を許可してもよい。
　具体的に、制御部１１４は、例えば運転席に人がいない場合、エアーコンディショナーなどの機器の操作は許可するが、アクセルの操作は制限してもよい。また、制御部１１４は、乗員の位置が運転席で、かつ乗員の属性が「子供」の場合、アクセルの操作、及びエンジンをスタートさせる操作を制限してもよい。制御部１１４は、車両が電気自動車の場合、車両のシステム起動を制限してもよい。制御部１１４は、位置特定部１１２で特定された乗員の位置付近に配置されている機器の操作を、特定された属性に応じて制限してもよい。制御部１１４は、乗員の位置が後部座席の右側であり、かつ乗員の属性が「子供」の場合、後部右側座席のパワーウィンドウの操作を制限してもよい。
　次いで、動作手順を説明する。図４は、機器操作制御装置１１０における動作手順（機器操作制御方法）を示す。乗員検知部１１１は、カメラ１３０から、カメラ映像を取得する（ステップＳ１）。乗員検知部１１１は、カメラ映像に基づいて、車両の乗車する乗員を検知する（ステップＳ２）。乗員検知部１１１は、例えばカメラ映像に対して顔検出を行う。乗員検知部１１１は、顔領域が検出された場合、車両内に乗員が乗車していることを検出する。
　位置特定部１１２は、ステップＳ２で検知された乗員の乗車位置を特定する（ステップＳ３）。位置特定部１１２は、乗員が車両に乗車した後、車内において、乗員の位置を追跡してもよい。属性特定部１１３は、カメラ１３０から取得されたカメラ映像に基づいて、ステップＳ２で検知された乗員の属性を特定する（ステップＳ４）。属性特定部１１３は、ステップＳ４では、例えば顔領域の画像を用いて乗員の年齢を推定し、乗員が大人であるか、子供であるかを特定する。制御部１１４は、ステップＳ３で特定された乗車位置、及びステップＳ４で特定された乗員の属性に応じて、被制御機器１５０を制御する（ステップＳ５）。
　本実施形態では、制御部１１４は、乗員の位置及び属性に応じて、被制御機器１５０を制御する。本実施形態において、属性特定部１１３は、カメラ１３０の映像に基づいて、乗員の属性を特定する。本実施形態では属性の特定にカメラ映像が用いられる。このため、乗員が大人であるか、子供であるかを、重さで識別する場合に比べて、乗員の属性を精度よく識別することができる。機器操作制御装置１１０は、正しく識別された乗員の属性に応じて、被制御機器１５０を制御することができる。
　例えば、車両が停車しており、大人が子供を膝の上に乗せて休憩している場合を考える。その場合に、子供が被制御機器１５０の操作を行おうとしたとする。特許文献１では、重さで大人と子供とを識別しているため、上記のケースでは、大人が被制御機器１５０を操作していると誤認する。これに対し、本実施形態では、属性の特定にカメラ映像が用いられるため、操作しようとしている乗員が子供であると、正しく識別することができる。本実施形態では、制御部１１４が子供による特定の被制御機器１５０の操作を抑制することで、車内における安全性を向上できる。
　続いて、本開示の第２実施形態を説明する。図５は、本開示の第２実施形態に係る機器操作制御システムを示す。本実施形態に係る機器操作制御システム１００ａにおいて、機器操作制御装置１１０ａは、図２に示される第１実施形態で説明した機器操作制御装置１１０の構成に加えて、乗員状態取得部１１５を有する。
　乗員状態取得部（乗員状態取得手段）１１５は、車内における乗員の状態情報を取得する。例えば、乗員状態取得部１１５は、乗員検知部１１１で検知された各乗員の顔の向き又は視線方向を、状態情報として取得する。乗員状態取得部１１５は、乗員の状態情報を制御部１１４に出力する。制御部１１４は、乗員の位置及び属性に加えて、乗員の状態情報を用いて、被制御機器１５０を制御する。
　本実施形態において、例えば、制御部１１４は、車内に大人と子供とが乗車している場合、乗員の状態情報に基づいて、大人が子供を見ているか否かを判断する。制御部１１４は、例えば大人の顔の向き又は視線方向が、子供が乗車している位置を向いているか否かを判断する。制御部１１４は、大人が子供を見ているか否かに応じて、被制御機器１５０の操作の可否を決定することができる。
　制御部１１４は、属性特定部１１３において顔認証が行われている場合、顔認証の結果と、乗員の状態情報とに応じて、被制御機器１５０を制御してもよい。例えば、属性特定部１１３は、顔認証により、乗員が車両の利用者として登録されている人であるか否かを特定する。制御部１１４は、乗員が大人かつ車両の利用者として登録されており、その乗員（大人）が子供を見ている場合、特定の被制御機器１５０の操作を許可してもよい。
　図６は、乗員の位置、属性、及び状態情報と被制御機器の操作の可否との関係の一例を示す。制御部１１４は、乗員検知部１１１で複数の乗員が検知されているか否かを判断する。制御部１１４は、複数の乗員が検知されていない場合、乗員が大人であるか、子供であるかに応じて、ステアリングホイール、ホーン、及びエンジン起動の操作の可否を決定する。図６の例において、制御部１１４は、乗員が子供の場合、ステアリングホイール、ホーン、及びエンジン起動の操作を制限する。制御部１１４は、乗員が大人の場合、ステアリングホイール、ホーン、及びエンジン起動の操作を許可する。
　制御部１１４は、複数の乗員が検知されている場合、乗員に大人がいるか、子供がいるかを判断する。制御部１１４は、乗員が大人と子供とを含む場合、大人が子供を見ているか否かを判断する。制御部１１４は、大人が子供を見ていないと判断した場合、ステアリングホイールの操作は許可するが、ホーン及びエンジン起動の操作は制限してもよい。制御部１１４は、大人が子供を見ていると判断した場合、子供が大人の監督下にあるとして、ステアリングホイール、ホーン、及びエンジン起動の操作を許可してもよい。
　本実施形態では、乗員状態取得部１１５は、乗員の状態情報を取得する。制御部１１４は、取得された状態情報に応じて、被制御機器１５０を制御することができる。制御部１１４は、例えば、大人が子供を見ており、子供が大人の監督下にある場合に、子供による被制御機器１５０の操作を許可することができる。また、制御部１１４は、大人が子供を見ていない場合には、子供による被制御機器１５０の操作を制限することができる。このように、本実施形態では、大人が子供を見ているときに、子供に被制御機器１５０を操作させることできる。他の効果は、第１実施形態で説明した効果と同様でよい。
　続いて、本開示の第３実施形態を説明する。図７は、本開示の第３実施形態に係る機器操作制御システムを示す。本実施形態に係る機器操作制御システム１００ｂにおいて、機器操作制御装置１１０ａは、図２に示される第１実施形態で説明した機器操作制御装置１１０の構成に加えて、車両情報取得部１１６を有する。本実施形態において、機器操作制御装置１１０ｂは、図５に示される第２実施形態における機器操作制御装置１１０ａと同様に、乗員状態取得部１１５を有していてもよい。
　車両情報取得部（車両情報取得手段）１１６は、車両情報を取得する。車両情報は、車両が運転中か否かを示す情報、シフトポジションを示す情報、及びパーキングブレーキの作動状況情報を含み得る。車両情報は、車両の位置情報を含んでいてもよい。車両情報取得部１１６は、例えばＣＡＮ（Controller Area Network）などの車内ネットワークを介して、車両を制御するＥＣＵ（Electronic Control Unit）などの機器から、車両情報を取得してもよい。
　本実施形態において、制御部１１４は、乗員の位置及び属性に加えて、車両情報を用いて、被制御機器１５０を制御する。制御部１１４は、例えば車両情報に基づいて、車両が運転中（走行中）であるか否かを判断してもよい。制御部１１４は、車両の位置情報に基づいて、車両が駐車場、サービスエリア、パーキングエリアなどに駐車中であるか否かを判断してもよい。制御部１１４は、車両が運転中か否か、或いは駐車中であるか否かに応じて、被制御機器１５０の操作の可否を決定してもよい。
　図８は、車両状態情報に応じた被制御機器の操作の可否の一例を示す。図８に示される例は、属性が「子供」の場合の例である。図８の例において、制御部１１４は、車両が運転中の場合、パワーウィンドウ、エンジン、及びパーキングブレーキの操作を制限する。制御部１１４は、シフトポジションがＰで、かつパーキングブレーキがＯＮ（パーキングブレーキが作動中）の場合、パワーウィンドウ、及びエンジンの操作は許可するが、パーキングブレーキの操作は制限する。制御部１１４は、シフトポジションがＰで、かつパーキングブレーキがＯＦＦの場合、パワーウィンドウ、及びパーキングブレーキの操作は許可するが、エンジンの操作は制限する。制御部１１４は、上記に加えて、車両の運転中に、運転者がスマートホンなどのユーザ機器の所定の機能、例えば画面表示の機能を制限してもよい。
　本実施形態では、車両情報取得部１１６は、車両情報を取得する。制御部１１４は、取得された車両情報に応じて、被制御機器１５０を制御することができる。制御部１１４は、例えば、車両が運転中であるか否かや、シフトポジションなどに応じて、乗員による被制御機器１５０の操作の可否を決定することができる。このようにすることで、制御部１１４は、例えば、車両が運転中の場合と、運転中ではない場合とで、被制御機器１５０に対する制御を変えることができる。制御部１１４は、例えば車両の運転中に、子供による運転に関係する被制御機器１５０の操作を禁止する。このようにすることで、車両における安全性を高めることができる。他の効果は、第１実施形態又は第２実施形態で説明した効果と同様でよい。
　続いて、機器操作制御装置１１０のハードウェア構成を説明する。図９は、機器操作制御装置１１０のハードウェア構成を示す。機器操作制御装置１１０は、プロセッサ（ＣＰＵ：Central Processing Unit）５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３を有する。機器操作制御装置１１０において、プロセッサ５０１、ＲＯＭ５０２、及びＲＡＭ５０３は、バス５０４を介して相互に接続される。機器操作制御装置１１０は、図示は省略するが、周辺回路、通信回路、及びインタフェース回路などの他の回路を含み得る。
　ＲＯＭ５０２は、不揮発性の記憶装置である。ＲＯＭ５０２には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＲＯＭ５０２は、プロセッサ５０１が実行するプログラムを格納する。
　上記プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、Compact Disc (CD)、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　ＲＡＭ５０３は、揮発性の記憶装置である。ＲＡＭ５０３には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５０３は、データなどを一時的に格納する内部バッファとして用いられ得る。
　プロセッサ５０１は、ＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開し、プログラムを実行する。ＣＰＵ５０１がプログラムを実行することで、機器操作制御装置１１０内の各部の機能が実現され得る。
　なお、機器操作制御装置１１０は、必ずしも単一の装置である必要はない。機器操作制御装置１１０は、物理的に分離された複数の装置を用いて構成されていてもよい。また、機器操作制御装置１１０は、車両において被制御機器１５０を制御できればよく、必ずしも全ての機能が車両に搭載されている必要はない。例えば、機器操作制御装置１１０において、属性特定部１１３は車両の外部に配置されていてもよい。その場合、属性特定部１１３は、無線通信ネットワークを介して、乗員検知部１１１から検知された乗員の顔画像を受信してもよい。また、属性特定部１１３は、特定した乗員の属性を、無線通信ネットワークを介して制御部１１４に送信してもよい。
　以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
　例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　車両に乗車する１以上の乗員それぞれの乗車位置を特定する位置特定手段と、
　前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定する属性特定手段と、
　前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御する制御手段とを備える機器操作制御装置。
［付記２］
　前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、付記１に記載の機器操作制御装置。
［付記３］
　前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、付記１又は２に記載の機器操作制御装置。
［付記４］
　前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
　前記制御手段は、前記乗車位置と、前記乗員が大人であるか、又は子供であるかとに応じて、前記乗員による前記機器の操作の可否を決定する、付記１から３何れか１項に記載の機器操作制御装置。
［付記５］
　前記映像に基づいて、前記乗員の状態情報を取得する乗員状態取得手段を更に有し、
　前記制御手段は、更に前記状態情報に応じて前記機器を制御する、付記１から３何れか１項に記載の機器操作制御装置。
［付記６］
　前記乗員状態取得手段は、前記乗員の顔の向き又は視線方向を、前記状態情報として取得する、付記５に記載の機器操作制御装置。
［付記７］
　前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
　前記制御手段は、複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定する、付記６に記載の機器操作制御装置。
［付記８］
　前記車両の車両情報を取得する車両情報取得手段を更に有し、
　前記制御手段は、更に前記車両情報に応じて前記機器を制御する、付記１から７何れか１項に記載の機器操作制御装置。
［付記９］
　車両の内部を撮影するカメラと、
　前記車両の内部において機器を制御する機器操作制御装置とを備え、
　前記機器操作制御装置は、
　前記車両に乗車する１以上の乗員それぞれの乗車位置を特定する位置特定手段と、
　前記カメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定する属性特定手段と、
　前記特定された乗車位置及び属性に応じて、前記機器を制御する制御手段とを有する、機器操作制御システム。
［付記１０］
　前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、付記９に記載の機器操作制御システム。
［付記１１］
　前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、付記９又は１０に記載の機器操作制御システム。
［付記１２］
　車両に乗車する１以上の乗員それぞれの乗車位置を特定し、
　前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定し、
　前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを有する機器操作制御方法。
［付記１３］
　車両に乗車する１以上の乗員それぞれの乗車位置を特定し、
　前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定し、
　前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む処理を、プロセッサに実行させるためのプログラムを記憶する非一時的なコンピュータ可読媒体。
１０：機器操作制御システム
２０：機器操作制御装置
２１：位置特定手段
２２：属性特定手段
２３：制御手段
３０：カメラ
５０：機器
１００：機器操作制御システム
１１０：機器操作制御装置
１１１：乗員検知部
１１２：位置特定部
１１３：属性特定部
１１４：制御部
１１５：乗員状態取得部
１１６：車両情報取得部
１３０：カメラ
１５０：被制御機器
５０１：プロセッサ
５０２：ＲＯＭ
５０３：ＲＡＭ

Claims (13)

  1. 　車両に乗車する１以上の乗員それぞれの乗車位置を特定する位置特定手段と、
    　前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定する属性特定手段と、
    　前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御する制御手段とを備える機器操作制御装置。
  2. 　前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、請求項１に記載の機器操作制御装置。
  3. 　前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、請求項１又は２に記載の機器操作制御装置。
  4. 　前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
    　前記制御手段は、前記乗車位置と、前記乗員が大人であるか、又は子供であるかとに応じて、前記乗員による前記機器の操作の可否を決定する、請求項１から３何れか１項に記載の機器操作制御装置。
  5. 　前記映像に基づいて、前記乗員の状態情報を取得する乗員状態取得手段を更に有し、
    　前記制御手段は、更に前記状態情報に応じて前記機器を制御する、請求項１から３何れか１項に記載の機器操作制御装置。
  6. 　前記乗員状態取得手段は、前記乗員の顔の向き又は視線方向を、前記状態情報として取得する、請求項５に記載の機器操作制御装置。
  7. 　前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
    　前記制御手段は、複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定する、請求項６に記載の機器操作制御装置。
  8. 　前記車両の車両情報を取得する車両情報取得手段を更に有し、
    　前記制御手段は、更に前記車両情報に応じて前記機器を制御する、請求項１から７何れか１項に記載の機器操作制御装置。
  9. 　車両の内部を撮影するカメラと、
    　前記車両の内部において機器を制御する機器操作制御装置とを備え、
    　前記機器操作制御装置は、
    　前記車両に乗車する１以上の乗員それぞれの乗車位置を特定する位置特定手段と、
    　前記カメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定する属性特定手段と、
    　前記特定された乗車位置及び属性に応じて、前記機器を制御する制御手段とを有する、機器操作制御システム。
  10. 　前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、請求項９に記載の機器操作制御システム。
  11. 　前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、請求項９又は１０に記載の機器操作制御システム。
  12. 　車両に乗車する１以上の乗員それぞれの乗車位置を特定し、
    　前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定し、
    　前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを有する機器操作制御方法。
  13. 　車両に乗車する１以上の乗員それぞれの乗車位置を特定し、
    　前記車両の内部を撮影するカメラが撮影した映像から、前記１以上の乗員それぞれの属性を特定し、
    　前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む処理を、プロセッサに実行させるためのプログラムを記憶する非一時的なコンピュータ可読媒体。
PCT/JP2022/000283 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びコンピュータ可読媒体 WO2023132041A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000283 WO2023132041A1 (ja) 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000283 WO2023132041A1 (ja) 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023132041A1 true WO2023132041A1 (ja) 2023-07-13

Family

ID=87073442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000283 WO2023132041A1 (ja) 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023132041A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10315906A (ja) * 1997-05-21 1998-12-02 Zexel Corp 乗員認識方法と乗員認識装置及びエアバック制御方法とエアバック装置
JP2007118626A (ja) * 2005-10-24 2007-05-17 Denso Corp 車載用電子機器制御システム
JP2020087207A (ja) * 2018-11-29 2020-06-04 株式会社デンソー 入力装置
JP2021102357A (ja) * 2019-12-24 2021-07-15 トヨタ自動車株式会社 車載機器操作装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10315906A (ja) * 1997-05-21 1998-12-02 Zexel Corp 乗員認識方法と乗員認識装置及びエアバック制御方法とエアバック装置
JP2007118626A (ja) * 2005-10-24 2007-05-17 Denso Corp 車載用電子機器制御システム
JP2020087207A (ja) * 2018-11-29 2020-06-04 株式会社デンソー 入力装置
JP2021102357A (ja) * 2019-12-24 2021-07-15 トヨタ自動車株式会社 車載機器操作装置

Similar Documents

Publication Publication Date Title
US11120283B2 (en) Occupant monitoring device for vehicle and traffic system
US10026320B2 (en) Vehicle and method for supporting driving safety thereof
RU2657597C2 (ru) Система обнаружения и идентификации присутствия пассажира в транспортном средстве
US10643445B2 (en) In-car status notification system
US20230106791A1 (en) Control device for vehicle and automatic driving system
JP2008217218A (ja) 事故情報取得システム
CN107415861A (zh) 用于车辆用来探测驾驶员对电子的设备的使用的方法和装置
JP2020087218A (ja) 車両及び乗客輸送システム
CN112298070A (zh) 踏板故障诊断方法及装置
CN112622617A (zh) 酒精联锁控制装置和方法
KR20210032766A (ko) 차량 및 그 제어방법
WO2023132041A1 (ja) 機器操作制御システム、装置、方法、及びコンピュータ可読媒体
KR20200072897A (ko) 차량 침입 관리 장치, 그를 포함한 시스템 및 그 방법
JP2020166524A (ja) 監視システム、監視方法およびコンピュータプログラム
WO2021004212A1 (zh) 一种车辆的驾驶权限的移交方法及装置
JP2008239071A (ja) 運転管理装置
US11541751B2 (en) Vehicle stop support system
WO2020174601A1 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
JP7090707B2 (ja) 報知対象検知装置、警報システムおよび報知対象検知方法
CN115336248B (zh) 车辆用记录控制装置以及记录控制方法
KR101311112B1 (ko) 차량 사고 판단 장치 및 그 방법
KR20200006249A (ko) 차량 및 그를 위한 주행 모드 선택 방법
JP7175381B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
WO2024048185A1 (ja) 乗員認証装置、乗員認証方法、及びコンピュータ可読媒体
US11345297B2 (en) Occupant monitoring device for vehicle and traffic system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22918630

Country of ref document: EP

Kind code of ref document: A1