WO2022113521A1 - 車両および車両制御装置 - Google Patents

車両および車両制御装置 Download PDF

Info

Publication number
WO2022113521A1
WO2022113521A1 PCT/JP2021/036576 JP2021036576W WO2022113521A1 WO 2022113521 A1 WO2022113521 A1 WO 2022113521A1 JP 2021036576 W JP2021036576 W JP 2021036576W WO 2022113521 A1 WO2022113521 A1 WO 2022113521A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
monitoring
light emitting
seat
Prior art date
Application number
PCT/JP2021/036576
Other languages
English (en)
French (fr)
Inventor
剛 西尾
睦 日向
雅弘 姉崎
肇 本間
直記 臼井
結城 西田
拓眞 増田
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2022565092A priority Critical patent/JPWO2022113521A1/ja
Publication of WO2022113521A1 publication Critical patent/WO2022113521A1/ja
Priority to US18/199,510 priority patent/US20230290197A1/en

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/02Registering or indicating driving, working, idle, or waiting time only
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • This disclosure relates to vehicles and vehicle control devices.
  • the present disclosure has been made in view of the above, and an object thereof is to appropriately control the start or end of the monitoring process in the vehicle.
  • the vehicle according to the present disclosure includes a first wheel, a second wheel, a vehicle body coupled to the first wheel and the second wheel, and movable by the first wheel and the second wheel, and the outside of the vehicle.
  • a monitoring target is set based on the captured image, and when the monitoring start condition is met, the monitoring target is based on the image captured by the first imaging unit.
  • the monitoring process for determining whether or not the vehicle belongs to the monitoring range is started, and if the monitoring end condition is met, the monitoring process is terminated, and the monitoring start condition or the monitoring end condition includes a condition related to the operation of the vehicle.
  • FIG. 1 is a plan view schematically showing a vehicle according to the present embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the vehicle control device according to the present embodiment.
  • FIG. 3 is a diagram showing an example of the functional configuration of the vehicle control device.
  • FIG. 4 is a diagram illustrating an example of a monitoring range.
  • FIG. 5 is a flowchart showing a procedure for setting a monitoring range.
  • FIG. 6 is a flowchart showing a manual monitoring target setting processing procedure.
  • FIG. 7 is a flowchart showing a monitoring target setting processing procedure by learning.
  • FIG. 8 is a flowchart showing a control procedure of the monitoring process.
  • FIG. 9 is a diagram showing a schematic configuration of a vehicle according to a second embodiment.
  • FIG. 10 is a diagram showing the configuration of the lighting unit in the vehicle interior according to the second embodiment.
  • FIG. 11 is a diagram showing the configuration of the image pickup unit and the illumination unit in the second embodiment.
  • FIG. 12 is a diagram showing a hardware configuration of the vehicle control device according to the second embodiment.
  • FIG. 13 is a diagram showing a part of the functional configuration of the vehicle control device according to the second embodiment.
  • FIG. 14 is a diagram showing the position of the image acquisition area in the entire image in the second embodiment.
  • FIG. 15 is a diagram showing spatial changes of a plurality of light emitting units according to images of a plurality of timings in the second embodiment.
  • FIG. 16 is a diagram showing temporal changes of a plurality of light emitting units according to images of a plurality of timings in the second embodiment.
  • FIG. 17 is a diagram showing a plurality of divided regions in the image acquisition area according to the second embodiment.
  • FIG. 18 is a diagram showing a process of determining the brightness of the light emitting unit in the second embodiment.
  • FIG. 19 is a flowchart showing the operation of the vehicle according to the second embodiment.
  • FIG. 20 is a flowchart showing the operation of the vehicle according to the second embodiment.
  • FIG. 21 is a diagram showing control of a plurality of light emitting units according to an image of an image acquisition area and map information in the first modification of the second embodiment.
  • FIG. 22 is a flowchart showing the operation of the vehicle according to the first modification of the second embodiment.
  • FIG. 23 is a flowchart showing the operation of the vehicle according to the second modification of the second embodiment.
  • FIG. 24 is a schematic diagram showing an example of a vehicle provided with the communication control device according to the third embodiment.
  • FIG. 25 is a diagram showing an example of the hardware configuration of the communication control device according to the third embodiment.
  • FIG. 26 is a diagram showing an example of the functional configuration of the communication control device according to the third embodiment.
  • FIG. 27 is a diagram showing an icon, a seating plan, and seat data in the storage memory of the communication control device according to the third embodiment.
  • FIG. 28 is a flowchart showing an example of the procedure of transmission processing by the communication control device according to the third embodiment.
  • FIG. 29 is a diagram showing an example of display of a display device for transmission processing by the communication control device according to the third embodiment.
  • FIG. 30 is a diagram showing an example of display of a display device for transmission processing by the communication control device according to the third embodiment.
  • FIG. 31 is a diagram showing an example of display of a display device for transmission processing by the communication control device according to the third embodiment.
  • FIG. 32 is a flowchart showing an example of the procedure of reception processing by the communication control device according to the third embodiment.
  • FIG. 33 is a diagram showing an example of display of a reception processing display device by the communication control device according to the third embodiment.
  • FIG. 34 is a flowchart showing an example of the procedure of the reply processing by the communication control device according to the third embodiment.
  • FIG. 35 is a diagram showing an example of display of a display device for reply processing by the communication control device according to the third embodiment.
  • FIG. 36 is a diagram showing an example of display of a display device for reply processing by the communication control device according to the third embodiment.
  • FIG. 37 is a diagram showing an example of display of a light emitting device for light emitting processing by the communication control device according to the third embodiment.
  • FIG. 1 is a plan view schematically showing the vehicle 1 according to the present embodiment.
  • the vehicle 1 includes a vehicle body 2 and two pairs of wheels 3 (a pair of front tires 3f and a pair of rear tires 3r) arranged in front of and behind the vehicle body 2.
  • the vehicle 1 can travel using two pairs of wheels 3 arranged along a predetermined direction.
  • the predetermined direction in which the two pairs of wheels 3 are arranged is the moving direction of the vehicle 1, and the vehicle can be moved forward or backward by switching gears or the like.
  • the vehicle 1 includes a vehicle drive unit 5, an external image pickup unit 6, and an external speaker 30.
  • the vehicle exterior image pickup unit 6 is an example of the first image pickup unit.
  • the vehicle drive unit 5 is a drive device mounted on the vehicle 1.
  • the vehicle drive unit 5 is, for example, an engine, a motor, a drive unit of wheels 3, and the like.
  • the vehicle exterior image pickup unit 6 is a camera that images the outside of the vehicle.
  • the vehicle exterior image pickup unit 6A is provided in the front portion of the vehicle 1.
  • the vehicle exterior image pickup unit 6A images the front of the vehicle 1 and generates an captured image.
  • the vehicle exterior image pickup unit 6B is provided at the rear portion of the vehicle 1.
  • the vehicle exterior image pickup unit 6B takes an image of the rear of the vehicle 1 and generates an captured image.
  • the vehicle exterior image pickup unit 6C and the vehicle exterior image pickup unit 6D are provided, for example, around the door mirror of the vehicle 1.
  • the vehicle exterior image pickup unit 6C and the vehicle exterior image pickup unit 6D image the side of the vehicle 1 and generate an captured image.
  • vehicle exterior image pickup units 6 vehicle exterior image pickup unit 6A to vehicle exterior image pickup unit 6D
  • vehicle exterior image pickup unit 6A to vehicle exterior image pickup unit 6D vehicle exterior image pickup unit 6A to vehicle exterior image pickup unit 6D
  • these external image pickup units 6 are arranged at positions where the outside of the vehicle body 2 can be imaged.
  • the vehicle outside speaker 30 is connected to the vehicle control device 20 and outputs sound according to the voice signal output from the vehicle control device 20.
  • the vehicle exterior speaker 30 is provided outside the vehicle interior of the vehicle 1, for example, in the engine room.
  • the vehicle exterior speaker 30 outputs audio to the outside of the vehicle 1.
  • a seat 4 is provided in which the driver who is the user of the vehicle 1 sits. That is, the seat 4 is the driver's seat.
  • the driver can operate the vehicle 1 by operating the steering wheel 11 or operating the accelerator pedal and the brake pedal (not shown) while seated in the seat 4.
  • an in-vehicle image pickup unit 7 an engine switch 10, a shift lever 12, a parking brake 13, a door lock device 14, an in-vehicle display device 15, a person detection sensor 16, and the like are provided. ..
  • the in-vehicle image pickup unit 7 is an example of the second image pickup unit. Further, the vehicle interior image pickup unit 7 is a camera that images the inside of the vehicle. The vehicle interior image pickup unit 7 is provided in the vehicle interior. The in-vehicle image pickup unit 7 captures, for example, the surroundings of the rear seat 8 in which the passenger is seated. The in-vehicle image pickup unit 7 takes an image of the surroundings of the rear seat 8 of the vehicle 1 and generates an captured image.
  • the engine switch 10 is a switch operated by the driver when the engine of the vehicle 1 is started.
  • the engine switch 10 may be referred to as an ignition switch.
  • the vehicle 1 is in a state where the engine is started or the engine is stopped. Further, by operating the engine switch 10, the power supply to the electronic device mounted on the vehicle 1 is controlled.
  • the shift lever 12 is a lever operated by the driver when changing the shift position.
  • the movable range of the shift lever 12 is provided with, for example, a parking position, a reverse position, a neutral position, and a drive position.
  • the shift lever 12 When the shift lever 12 is located in the parking position, the power of the engine of the vehicle 1 is not transmitted to the wheels 3, which is a so-called parking state.
  • the shift lever 12 When the shift lever 12 is in the reverse position, the vehicle 1 is in a state where it can move backward.
  • the shift lever 12 When the shift lever 12 is in the drive position, the vehicle 1 is in a state where it can move forward.
  • the parking brake 13 is one of the brake mechanisms of the vehicle 1.
  • the parking brake 13 is a manual control mechanism for the driver to manually stop the movement of the vehicle 1.
  • the parking brake 13 is applied, the movement of the vehicle 1 is stopped, and the vehicle is in a parked state.
  • the parking brake 13 is released, the vehicle 1 is in a movable state.
  • the door lock device 14 is a device that switches the door provided in the vehicle 1 to a locked state or an unlocked state. For example, the door of the vehicle 1 is switched to the locked state or the unlocked state from the outside of the vehicle 1 by a vehicle key or the like.
  • the in-vehicle display device 15 is an example of a display device.
  • the in-vehicle display device 15 has not only an image display function but also an audio output function, an input function, and the like.
  • the image display function is, for example, an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescent Display), or the like.
  • the voice output function is, for example, a speaker for the inside of a car.
  • the vehicle-mounted display device 15 is configured as a touch panel having a function of accepting operation input by the user. Further, the vehicle-mounted display device 15 may be further provided with a switch or the like for receiving an operation input by the user.
  • vehicle-mounted display device 15 may include a navigation device having a position information acquisition function and a route search function using map information.
  • the person detection sensor 16 is a sensor that detects the presence or absence of a person inside the vehicle body 2.
  • the human detection sensor 16 is, for example, an infrared sensor, an image analysis system for captured images, a seating sensor based on weight, and the like.
  • the vehicle 1 is provided with a communication device (not shown in FIG. 1), a device for detecting the open / closed state of the door of the vehicle 1, and a device for detecting the ignition state.
  • the vehicle 1 is equipped with the vehicle control device 20.
  • the vehicle control device 20 is a device that can be mounted on the vehicle 1.
  • the vehicle control device 20 sets a monitoring range and a monitoring target, and determines whether or not the monitoring target deviates from the monitoring range.
  • the monitoring target is, for example, a child who gets on the vehicle 1.
  • the vehicle control device 20 is, for example, an ECU (Electronic Control Unit) or an OBU (On Board Unit) provided inside the vehicle 1.
  • the vehicle control device 20 may be an external device installed near the dashboard of the vehicle 1.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the vehicle control device 20 according to the present embodiment.
  • the vehicle control device 20 includes an interface (I / F) 21, a CPU 22, a RAM 23, a ROM 24, and an HDD (Hard Disk Drive) 25.
  • the interface 21, CPU 22, RAM 23, ROM 24, and HDD 25 are connected by a bus 26.
  • the interface 21 is various interfaces such as a communication interface, an image interface, a voice interface, a display interface, and an input interface.
  • the HDD 25 stores various information.
  • the HDD 25 stores the captured images acquired from the vehicle exterior image pickup unit 6 and the vehicle interior image pickup unit 7.
  • the CPU 22 executes various processes by executing a program stored in the ROM 24 or the HDD 25.
  • the CPU 22 is an example of a processor.
  • FIG. 3 is a diagram showing an example of the functional configuration of the vehicle control device 20.
  • the program executed by the vehicle control device 20 has a modular configuration including a monitoring range setting unit 201, a monitoring target setting unit 202, an information acquisition unit 203, and a monitoring control unit 204 shown in FIG. 3, and is actually As the hardware of the above, when the CPU 22 reads a program from a storage device such as ROM 24 or HDD 25 and executes the program, each of the above parts is loaded onto the main storage device such as RAM 23, and the monitoring range setting unit 201 and the monitoring target setting unit 202 , Information acquisition unit 203 and monitoring control unit 204 are generated on the main storage device.
  • the vehicle control device 20 includes an external image pickup unit 6, an in-vehicle image pickup unit 7, a parking brake 13, a door lock device 14, an in-vehicle display device 15, an external speaker 30, a communication device 40, an ignition detection device 50, and a door open / close detection device 60. Is connected to.
  • the communication device 40 is a device composed of a communication device or the like for connecting to a communication network such as the Internet. Further, the communication device 40 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • the vehicle control device 20 can transmit and receive information to and from a terminal device such as a smartphone via the communication device 40.
  • the ignition detection device 50 is a sensor device that is connected to the engine switch 10 and detects the ignition state.
  • the ignition detection device 50 outputs information indicating the state of the ignition switch.
  • the door open / close detection device 60 is a device that detects the open / close of the doors on the driver's seat side and the passenger's seat side in the front and rear rows of the vehicle 1.
  • the door open / close detection device 60 is, for example, a sensor that detects the open / close of a door.
  • the door open / close detection device 60 is arranged, for example, at a hinge portion of each door.
  • the door open / close detection device 60 detects that the opening angle is such that the occupant can get on and off sufficiently. When it is detected that the opening angle of the door is such that the occupant can get on and off sufficiently, it can be considered that the user of the vehicle 1 has operated the vehicle so that the vehicle can get off.
  • the user of the vehicle 1 is, for example, a occupant of the rear seat.
  • the monitoring range setting unit 201 sets the monitoring range.
  • This monitoring range is a range that considers the possibility that the monitoring target may be separated, and is a range that determines whether or not to notify the monitoring target itself or the occupant of the vehicle 1 (for example, the driver). It is a so-called geo-fence, which is a geographical fence. That is, the vehicle control device 20 does not perform notification processing when the monitoring target belongs within the monitoring range, but performs notification processing when it deviates from the monitoring range.
  • the monitoring range setting unit 201 starts the monitoring range setting process.
  • the monitoring range setting unit 201 determines the selection of the vehicle exterior imaging unit 6 to be used during the monitoring process and the monitoring range in the selected vehicle exterior imaging unit 6 by the user's input operation to the in-vehicle display device 15. Accepts information input.
  • the information that determines the monitoring range in the selected out-of-vehicle image pickup unit 6 is, for example, distance information from the selected out-of-vehicle image pickup unit 6.
  • the monitoring range setting unit 201 sets the monitoring range based on the selection of the vehicle exterior imaging unit 6 to be used during the monitoring process and the information that determines the monitoring range in the selected vehicle exterior imaging unit 6.
  • FIG. 4 is a diagram illustrating an example of a monitoring range. As shown in FIG. 4, it is input that the vehicle exterior image pickup unit 6A to the vehicle exterior image pickup unit 6D are used during the monitoring process, and information indicating the monitoring range AR1 to the monitoring range AR4, which is the monitoring range of each vehicle exterior image pickup unit 6, is input. Then, the monitoring range setting unit 201 sets the monitoring range AR1 to the monitoring range AR4 as the monitoring range.
  • the monitoring range setting unit 201 accepts only the selection of the vehicle exterior image pickup unit 6 to be used during the monitoring process, and sets the monitoring range of each vehicle exterior image pickup unit 6 to the image pickup range of each vehicle exterior image pickup unit 6. May be good. In this way, the monitoring range setting unit 201 may determine the monitoring range based on the imageable range of the external image pickup unit 6.
  • FIG. 5 is a flowchart showing a procedure for setting a monitoring range.
  • the monitoring range setting unit 201 accepts the selection of the external image pickup unit 6 to be used during the monitoring process (step S1). Subsequently, the monitoring range setting unit 201 accepts the input of information that determines the monitoring range of each of the vehicle exterior imaging units 6 (step S2). Subsequently, the monitoring range setting unit 201 sets the monitoring range (step S3).
  • the monitoring target setting unit 202 sets the monitoring target based on the captured image.
  • manual monitoring target setting which is monitoring target setting without learning
  • monitoring target setting by learning There are two types of methods for setting the monitoring target: manual monitoring target setting, which is monitoring target setting without learning, and monitoring target setting by learning. First, the manual monitoring target setting will be described.
  • the monitoring target setting unit 202 When the mode indicating manual registration is selected by the user's input operation to the in-vehicle display device 15 and the vehicle exterior image pickup unit 6 or the vehicle interior image pickup unit 7 for photographing is selected, the monitoring target setting unit 202 performs the selected vehicle exterior image pickup.
  • the unit 6 or the in-vehicle imaging unit 7 is activated to perform imaging processing.
  • the monitoring target setting unit 202 acquires an image captured from the selected external image pickup unit 6 or the in-vehicle image pickup unit 7, analyzes the captured image, and monitors a whole body image and a face image of a person included in the captured image. Set as.
  • the monitoring target setting unit 202 may analyze the captured image transmitted from the terminal device possessed by the user and set the whole body image and the face image of the person included in the captured image as the monitoring target.
  • FIG. 6 is a flowchart showing a manual monitoring target setting processing procedure.
  • the monitoring target setting unit 202 accepts the selection of the vehicle exterior image pickup unit 6 or the vehicle interior image pickup unit 7 used for setting the monitoring target (step S11). Subsequently, the monitoring target setting unit 202 activates the selected imaging unit (step S12). The monitoring target setting unit 202 acquires an captured image from the activated imaging unit (step S13). The monitoring target setting unit 202 analyzes the captured image and sets the whole body image and the face image of the person included in the captured image as the monitoring target (step S14).
  • the monitoring target setting unit 202 activates the in-vehicle image pickup unit 7 and acquires, for example, an image taken around the rear seat 8 from the in-vehicle image pickup unit 7.
  • the monitoring target setting unit 202 analyzes the captured image, extracts the whole body image and the face image of the person included in the captured image, and associates the captured date and time, the whole body image, and the face image as monitoring target candidates.
  • a method for extracting a whole body image and a face image of a person included in a captured image the technique described in JP-A-2020-178167 can be applied.
  • the monitoring target setting unit 202 refers to the stored past monitoring target candidates, and is a face image of the same face as the face shown by the face image, and there are face images captured on different days in excess of the threshold value. To judge.
  • An example of the threshold is 10.
  • the monitoring target setting unit 202 is described in the above-mentioned Patent Document 1 as a method of referring to a stored past monitoring target candidate and determining whether or not the face image is the same as the face indicated by the face image. The technique of person matching can be applied.
  • the monitoring target setting unit 202 exists above the above threshold value, the face image and the whole body image of the monitoring target candidate stored most recently are set as the monitoring target.
  • FIG. 7 is a flowchart showing a monitoring target setting processing procedure by learning.
  • the monitoring target setting unit 202 acquires a captured image from the in-vehicle image pickup unit 7 (step S21). Subsequently, the monitoring target setting unit 202 ends the process when the person cannot be extracted as a result of image analysis of the captured image (step S22: No). On the other hand, when a person is extracted as a result of image analysis of the captured image (step S22: Yes), the monitoring target setting unit 202 stores the imaging date / time, the whole body image, and the face image as monitoring target candidates in association with each other (step S22: Yes). Step S23).
  • the monitoring target setting unit 202 refers to the stored past monitoring target candidates, and is a face image of the same face as the face shown by the face image, and there are 10 or more face images captured on different days. If 10 or more do not exist (step S24: No), the process ends.
  • the monitoring target setting unit 202 is a face image of the same face as the face shown by the face image, and when there are 10 or more face images captured on different days (step S24: Yes), the most recently stored monitoring The face image and the whole body image of the target candidate are set as monitoring targets (step S25).
  • the information acquisition unit 203 acquires vehicle information.
  • the vehicle information is information indicating the state of the own vehicle. Specifically, the vehicle information includes parking brake information, door lock state information, door opening / closing information, ignition information, and the like.
  • the parking brake information is information indicating whether the parking brake 13 of the own vehicle is applied or the parking brake 13 is released.
  • the information acquisition unit 203 receives side brake information from, for example, a sensor device that detects the state of the parking brake 13.
  • the door lock state information is information indicating whether the door of the own vehicle is in the locked state or the unlocked state. Further, the door lock state information includes information indicating that the vehicle 1 has been locked by locking from the outside.
  • the information acquisition unit 203 receives the door lock state information from the door lock device 14 that detects the locked state and the unlocked state of the door.
  • Door open / close information is information indicating whether or not the door is open.
  • the information acquisition unit 203 acquires door open / close information from the door open / close detection device 60.
  • Ignition information is information indicating the state of the ignition switch.
  • the information acquisition unit 203 acquires ignition information from the ignition detection device 50.
  • the monitoring control unit 204 executes a monitoring process for determining whether or not the monitoring target belongs to the monitoring range based on the image captured by the vehicle exterior image pickup unit 6.
  • the monitoring control unit 204 starts the monitoring process when the monitoring start condition is met, and ends the monitoring process when the monitoring end condition is met.
  • the monitoring control unit 204 sequentially acquires vehicle information from the information acquisition unit 203, and determines whether or not the monitoring start condition and the monitoring end condition are satisfied based on the vehicle information. Further, the monitoring control unit 204 activates the vehicle exterior image pickup unit 6 and the vehicle interior image pickup unit 7, and further uses the image analysis results of the captured images acquired from the vehicle exterior image pickup unit 6 and the vehicle interior image pickup unit 7 to perform monitoring start conditions and monitoring end conditions. It may be determined whether or not it matches.
  • the monitoring start condition is, for example, that it is not locked from the outside of the vehicle 1, the ignition switch is OFF, the door is opened, the parking brake is applied, and it is detected that the monitoring target is outside the vehicle. .. It should be noted that the monitoring start condition may include the input operation of the user to the in-vehicle display device 15 or the instruction to start monitoring by the user's terminal.
  • the monitoring control unit 204 refers to the door lock state information and determines whether or not the vehicle 1 is locked by locking from the outside. Further, the monitoring control unit 204 determines whether or not the ignition switch is OFF by referring to the ignition information. Further, the monitoring control unit 204 determines whether or not the door of the vehicle 1 has been opened by referring to the door opening / closing information. Further, the monitoring control unit 204 determines whether or not the parking brake is applied by referring to the parking brake information.
  • the monitoring control unit 204 analyzes the captured image acquired from the vehicle exterior imaging unit 6 and detects that the monitoring target is outside the vehicle when the captured image includes the same face image as the monitoring target.
  • the monitoring control unit 204 starts the monitoring process when the above monitoring start condition is met.
  • the monitoring control unit 204 may start the monitoring process on the condition that the monitoring start condition is satisfied and the monitoring end condition is not satisfied.
  • the monitoring control unit 204 activates the vehicle exterior image pickup unit 6 whose imaging range is any one of the monitoring ranges, acquires an image captured from the vehicle exterior image pickup unit 6, and searches for a monitoring target from the acquired captured image.
  • the monitoring control unit 204 may search for the monitoring target using not only the face portion of the acquired captured image but also the whole body image.
  • the technique described in JP-A-2020-178167 may be applied.
  • the monitoring control unit 204 searches for a monitoring target and determines whether or not the monitoring target belongs to the monitoring range.
  • the monitoring control unit 204 may determine whether or not the monitoring target belongs to the monitoring range by specifying the distance from the vehicle 1 to the monitoring target by using the captured image including the monitoring target.
  • the technique for specifying the distance using the captured image for example, the technique described in JP-A-2007-188417, which grasps the size of the whole body from a part of the pattern to be monitored, may be applied.
  • the monitoring control unit 204 determines whether or not the monitoring target belongs to the monitoring range based on the distance from the vehicle 1 to the monitoring target. Whether or not the monitoring target belongs to the monitoring range is determined using the captured image acquired from 6.
  • the monitoring control unit 204 performs notification processing when the monitoring target is not searched from any of the captured images acquired from the vehicle exterior image pickup unit 6 or when the monitoring target does not belong to the monitoring range.
  • the monitoring control unit 204 outputs a voice instructing the monitoring target to return to the direction of the vehicle 1 via the speaker outside the vehicle 30.
  • the voice may be a voice recorded in advance by a driver or the like.
  • the monitoring control unit 204 transmits and outputs message information instructing the monitoring target to return to the direction of the vehicle 1 to the mobile terminal possessed by the monitoring target via the communication device 40. You may do it.
  • the monitoring control unit 204 displays and outputs map information including information indicating the current position and an captured image when the monitoring target belongs to the monitoring range to the in-vehicle display device 15. You may do it.
  • the monitoring control unit 204 monitors as a notification process when the monitoring target is not searched a plurality of times from any of the captured images acquired from the vehicle exterior image pickup unit 6 or when the monitoring target does not belong to the monitoring range for a certain period of time.
  • the vehicle-mounted display device 15 of the vehicle 1 may display and output that the target cannot be recognized or deviates from the monitoring range.
  • the vehicle 1 When the vehicle 1 performs the notification processing as described above and the monitored target no longer belongs to the monitored range, the vehicle 1 first calls on the monitored target to urge the monitored target to return voluntarily, but still. If it does not return to the monitoring range, it outputs information for notifying a person in the vehicle 1 such as a driver. As a result, the vehicle 1 can prevent the monitoring target located around the vehicle 1 from moving away from the vehicle 1, such as playing around the vehicle 1 on the go.
  • the monitoring control unit 204 ends the monitoring process when the monitoring end condition is met.
  • the monitoring end condition is, for example, the case where the vehicle is locked from the outside of the vehicle 1, the parking brake is turned off, or the monitoring target returns to the inside of the vehicle. It should be noted that the monitoring end condition may include the input operation of the user to the in-vehicle display device 15 or the instruction to end monitoring by the terminal of the user.
  • the monitoring control unit 204 uses the in-vehicle display device 15 or the user's terminal.
  • the device may be made to display and output information indicating that the monitoring process is being executed.
  • the monitoring control unit 204 refers to the door lock state information and determines whether or not the vehicle 1 is locked by locking from the outside. Further, the monitoring control unit 204 determines whether or not the parking brake is OFF by referring to the parking brake information.
  • the monitoring control unit 204 analyzes the captured image acquired from the in-vehicle image pickup unit 7, and detects that the monitoring target has returned to the inside of the vehicle when the captured image includes the same face image as the monitoring target.
  • FIG. 8 is a flowchart showing a control procedure of the monitoring process.
  • the monitoring control unit 204 determines whether or not the monitoring start condition is met (step S31), and if the monitoring start condition is not met (step S31: No), the process ends.
  • the monitoring start conditions are that the ignition is OFF, the parking brake 13 is ON, the door is open, and the monitoring target is searched from any of the captured images acquired from the vehicle exterior image pickup unit 6 by the vehicle exterior image pickup unit 6. If this is the case.
  • step S31 If the monitoring control unit 204 matches the monitoring start condition (step S31: Yes), the monitoring control unit 204 proceeds to step S32.
  • step S32 the monitoring control unit 204 determines whether or not the monitoring end condition is not met (step S32).
  • the monitoring end condition is when the vehicle is locked from the outside of the vehicle 1, the parking brake is turned off, or when the in-vehicle display device 15 requests to stop the monitoring process by the user's input operation, or. This is the case when the monitored object returns to the inside of the vehicle.
  • step S32 If the monitoring end condition is not met in step S32 (step S32: Yes), the monitoring control unit 204 performs a search process for the monitoring target from the captured image acquired from the vehicle exterior imaging unit 6 (step S33). The monitoring control unit 204 performs notification processing when the monitoring target can be recognized as a result of the search processing of the monitoring target (step S34: Yes) and if the monitoring target is within the monitoring range (step S35: Yes). Proceed to step S32 without fail.
  • step S34 When the monitoring control unit 204 cannot recognize the monitoring target as a result of performing the search processing for the monitoring target (step S34: No), or when the monitoring target is not within the monitoring range in step S35 (step S35: No).
  • the notification process is performed (step S36), and the process proceeds to step S32. If the monitoring end condition is met in step S32 (step S32: No), the process ends.
  • the monitoring target setting unit 202 sets the monitoring target based on the captured image, and when the monitoring control unit 204 matches the monitoring start condition, the vehicle outside imaging unit A monitoring process for determining whether or not the monitoring target belongs to the monitoring range is started based on the image captured by 6. Further, the monitoring control unit 204 ends the monitoring process when the monitoring end condition is met.
  • the monitoring start condition or monitoring end condition includes conditions related to vehicle operation such as the state of the parking brake 13.
  • the vehicle 1 controls the monitoring process in connection with the operation of the vehicle 1, it is possible to control the start or end of the monitoring process without requiring an operation specialized for starting or ending the monitoring process. Can be done.
  • the monitoring start condition includes that the parking brake 13 is applied.
  • the vehicle 1 can appropriately control the start of the monitoring process by including that the parking brake 13, which is a condition based on the parking state, is applied to the monitoring start condition.
  • the vehicle 1 includes that the monitoring start condition is not locked from the outside. When locked from the outside, it is presumed that the driver and other occupants are away from the vehicle 1 while the vehicle 1 is parked, so that the vehicle 1 does not need to be monitored. In this way, the vehicle 1 can avoid executing the monitoring process at a timing when the monitoring process does not need to be performed.
  • the monitoring start condition includes the door of vehicle 1 being opened.
  • the vehicle 1 can execute the monitoring process at a more appropriate timing.
  • the monitoring start condition includes extracting the monitoring target based on the image captured by the outside image pickup unit 6. In this way, by including the condition indicating that the monitoring target is away from the vehicle 1 in the monitoring start condition, the vehicle 1 can execute the monitoring process at a more appropriate timing.
  • the parking brake 13 is included in the monitoring end condition.
  • the vehicle 1 can appropriately control the monitoring process by including the condition that the vehicle 1 is no longer in the parked state and it is presumed that there is no need to perform the monitoring process in the monitoring end condition.
  • the monitoring end condition includes the fact that the vehicle 1 is locked from the outside of the vehicle 1. When locked from the outside, it is estimated that both the driver and other occupants will leave the vehicle 1, so it is possible to prevent the vehicle 1 from executing the monitoring process at a timing that does not require the monitoring process. can.
  • the vehicle 1 if it is determined that the monitoring target does not belong to the monitoring range based on the image captured by the external image pickup unit 6, notification processing is performed. In this way, the vehicle 1 can perform a process of avoiding the monitoring target being separated by notifying when the vehicle is out of the monitoring range.
  • the monitoring target is set based on the image captured by the in-vehicle image pickup unit 7 and the past captured image by the in-vehicle image pickup unit 7. In this way, since the vehicle 1 sets the monitoring target based on the past captured images, by automatically setting the person who often rides as the monitoring target, the vehicle 1 can be appropriately monitored without requiring complicated operations.
  • the target can be set.
  • the monitoring range is set based on the image pickup range of the outside image pickup unit 6. In this way, the vehicle 1 can appropriately set the monitoring range without requiring complicated operations.
  • the above-described embodiment it is a monitoring start condition that it is detected that the vehicle 1 is not locked from the outside, the ignition switch is OFF, the door is opened, the parking brake is applied, and the monitoring target is outside the vehicle.
  • the monitoring start conditions it is not limited to this.
  • additional conditions may be added, or only a part of the monitoring start conditions of the above-described embodiment may be used as the monitoring start conditions.
  • the present invention is limited to this. I can't. Further, an additional condition may be added, or only a part of the monitoring end condition of the above-described embodiment may be set as the monitoring end condition.
  • the result of determining whether or not the vehicle is in the parking state may be set as the monitoring start condition or the monitoring end condition.
  • the monitoring target is assumed to be a child has been described, but the monitoring target may be an elderly person, a pet, or the like. Further, in the above-described embodiment, the case where the vehicle 1 extracts the monitoring target candidate by using the image captured around the rear seat 8 captured by the in-vehicle image pickup unit 7 is described, but the in-vehicle image pickup unit 7 captures the area around the passenger seat. It is also possible to take an image and extract the monitoring target candidate using the captured image around the passenger seat.
  • the program executed by the vehicle control device 20 of the present embodiment is a file in an installable format or an executable format, such as an optical recording medium such as a DVD (Digital Versaille Disk), a USB memory, an SSD (Solid State Disk), or the like. It is recorded and provided on a recording medium that can be read by a computer such as a semiconductor memory device.
  • an optical recording medium such as a DVD (Digital Versaille Disk), a USB memory, an SSD (Solid State Disk), or the like. It is recorded and provided on a recording medium that can be read by a computer such as a semiconductor memory device.
  • the program executed by the vehicle control device 20 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the vehicle control device 20 of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
  • the program of the vehicle control device 20 of the present embodiment may be configured to be provided by incorporating it into a ROM or the like in advance.
  • the vehicle according to the second embodiment has a vehicle body with a roof, and a vehicle interior is formed inside the vehicle body.
  • the passenger compartment is a space where passengers such as drivers and passengers should ride.
  • the main function of the vehicle is to drive the vehicle with the occupant in the passenger compartment and move the occupant to the destination.
  • the occupant may request that the feeling of speed, immersiveness, and presence be enhanced.
  • the occupants in the passenger compartment can see the scenery through windows such as the front and sides, and feel that the scenery in front is approaching. For example, when driving on a road in a tunnel, the lighting of the tunnel approaches from a distance, and when running under the lighting equipment, the interior of the vehicle gradually changes its color from the front and becomes darker again. In addition, when running through the sunlight through the trees, bright and dark places are repeated, and the brightness inside the vehicle changes accordingly.
  • the vehicle runs on the ground, the occupants in the passenger compartment will run through the scenery on the road seen in front, but the scenery above will be blocked by the roof and cannot be seen. At this time, if an environment similar to the scenery is given above the occupants, it is expected that the feeling of speed, immersiveness, and presence of the vehicle can be enhanced, and the entertainment in the vehicle interior can be enhanced. Will be done.
  • a plurality of light emitting parts are arranged in a row on the ceiling of the vehicle interior along the traveling direction, and each of the plurality of light emitting parts emits light according to an image of the front of the vehicle body.
  • the vehicle body has a roof portion that covers the passenger compartment.
  • the roof portion has an outer surface and an inner surface.
  • An image pickup unit is arranged in the upper front part of the vehicle interior, and an illumination unit in which a plurality of light emitting parts are arranged in a row along the traveling direction is provided on the inner surface of the roof part.
  • the image pickup unit can capture an image in the image acquisition area.
  • the image acquisition area is an area having a height corresponding to the roof portion in front of the vehicle body.
  • the image acquisition area may be a part of the entire area included in the angle of view of the imaging unit.
  • the lighting unit changes the light emitting state of each of the plurality of light emitting units according to the image in the image acquisition area.
  • the image pickup unit acquires images in the image acquisition area at a plurality of timings.
  • the plurality of timings may correspond to a plurality of points arranged at predetermined distance intervals where the vehicle should travel.
  • the light emitting state of the plurality of light emitting units changes with time according to the temporal change of the image attribute of the image acquisition area at the plurality of timings.
  • the lighting unit may change so that the light emitting state of the plurality of light emitting units flows in the direction opposite to the traveling direction when viewed from the vehicle interior. Further, in the lighting unit, the light emitting state of the plurality of light emitting units is spatially changed according to the temporal change of the image attribute of the image acquisition area at the plurality of timings.
  • the light emitting state of the plurality of light emitting units may change according to the attribute of the image in the image acquisition area.
  • a lighting environment similar to the scenery above can be realized on the inner surface of the roof portion, and the feeling of speed, immersiveness, and presence of the vehicle can be enhanced. Therefore, it is possible to enhance the entertainment property in the vehicle interior.
  • FIG. 9 is a diagram showing a schematic configuration of a vehicle according to a second embodiment.
  • FIG. 10 is a diagram showing the configuration of the lighting unit in the second embodiment.
  • FIG. 11 is a diagram showing the configuration of the image pickup unit and the illumination unit in the second embodiment.
  • the traveling direction of the vehicle 1 is the X direction
  • the vehicle width direction is the Y direction
  • the directions orthogonal to the X direction and the Y direction are the Z direction.
  • the vehicle 1 has a plurality of wheels 42-1 to 42-4, a vehicle body 43, an image pickup unit 44, a lighting unit 45, and a vehicle control device 100.
  • Wheels 42-1 to 42-4 can rotate around the Y axis, respectively.
  • Wheels (second wheels) 42-3, 42-4 are arranged on the -X side of the wheels (first wheels) 2-1 and 2-2, and the axles and -X on the + X side accordingly.
  • Side axles (not shown) are arranged.
  • the wheels 42-1 and 42-2 are connected to the ⁇ Y side and the + Y side ends of the + X side axle extending in the Y direction, respectively.
  • the wheels 42-3 and 42-4 are connected to the ⁇ Y side and + Y side ends of the ⁇ X side axle extending in the Y direction, respectively.
  • FIG. 9 a configuration in which the vehicle 1 has four wheels 42 is exemplified, but the number of wheels 42 may be 3 or less, or may be 5 or more.
  • the vehicle body 43 rotatably supports the axle, and the wheels 42-1 to 42-4 are connected via the axle.
  • the vehicle body 43 can move in the X direction by the rotation of the wheels 42-1 and 42-2 and the wheels 42-3 and 42-4.
  • the vehicle body 43 constitutes the vehicle interior 46.
  • the vehicle body 43 has a roof portion 43a and a plurality of windows 43b, 43c-1, 43c-2, 43d-1, 43d-2, 43e-1, 43e-2, 43f.
  • the roof portion 43a covers the passenger compartment 46 from the + Z side and partitions the boundary on the + Z side of the passenger compartment 46.
  • the roof portion 43a has a surface on the + Z side as an outer surface and a surface on the ⁇ Z side as an inner surface.
  • the surface of the roof portion 43a on the ⁇ Z side constitutes the ceiling 46a of the vehicle interior 46.
  • the windows 43b, 43c-1, 43c-2, 43d-1, 43d-2, 43e-1, 43e-2, and 43f are the + X side, -Y side, + Y side, and -Y side of the passenger compartment 46, respectively.
  • the boundaries on the + Y side, -Y side, + Y side, and -X side are partitioned.
  • the occupants in the passenger compartment 46 pass through the windows 43b, 43c-1, 43c-2, 43d-1, 43d-2, 43e-1, 43e-2, 43f, and pass through the + X side, -Y side, + Y side, and -Y.
  • the scenery on the side, + Y side, -Y side, + Y side, and -X side can be visually recognized, but the scenery on the + Z side is blocked by the roof portion 43a and cannot be visually recognized.
  • the occupant is, for example, the driver 300 of the passenger compartment 46 or a passenger (not shown).
  • the image pickup unit 44 is arranged at the + X side and + Z side positions in the vehicle interior 46.
  • the image pickup unit 44 may be arranged adjacent to the ⁇ X side with respect to the window 43b, or may be arranged near the end portion of the window 43b on the + Z side.
  • the image pickup unit 44 has a camera 44a.
  • the image pickup surface of the camera 44a faces the + X side, and its optical axis extends along the X direction as shown by the alternate long and short dash line in FIG.
  • the optical axis of the camera 44a may be slightly tilted to the + Z side with respect to the XY plane passing through the center of the camera 44a.
  • the image pickup unit 44 can take an image of the outside of the vehicle body 43, and can take an image of the image acquisition areas IM1 and IM2.
  • the image pickup unit 44 may have one camera 44a capable of capturing both the image acquisition areas IM1 and IM2, or may have a plurality of cameras 44a capable of capturing the image acquisition areas IM1 and IM2, respectively. ..
  • FIG. 11 illustrates a configuration in which the image pickup unit 44 has one camera 44a capable of capturing both the image acquisition areas IM1 and IM2.
  • the imaging range of the imaging unit 44 is a space away from the outer surface of the roof portion 43a with respect to the ground 200 on which at least one of the wheels 42-1 and 42-2 and the wheels 42-3 and 42-4 is in contact with the ground.
  • the image acquisition areas IM1 and IM2 are areas having a height corresponding to the roof portion 43a in front of the vehicle body 43. For example, as shown by a dotted line in FIG. 9, the height from the ground 200 is the height of the ceiling of the vehicle interior 46. It may include a position substantially equal to.
  • the image acquisition areas IM1 and IM2 are areas located higher than the horizontal plane with respect to the position of the eyes of the driver 300.
  • the straight line connecting the position of the eyes of the driver 300 and the center of the image acquisition areas IM1 and IM2 extends along the X direction as shown by the two-dot chain line in FIG. 9, and is on the + Z side with respect to the XY plane. It may be slightly tilted.
  • the image acquisition areas IM1 and IM2 may be a part of the entire area included in the angle of view of the camera 44a.
  • the lighting unit 45 is arranged at a position on the + Z side in the vehicle interior 46.
  • the lighting unit 45 illuminates the inside of the vehicle interior 46.
  • the lighting unit 45 includes a light emitting unit group 51, a light emitting unit group 52, a light emitting control circuit 53, a light emitting control circuit 54 (see FIG. 12), a light source 55, and a light source 56.
  • the light emitting unit group 51 is arranged in a region extending from the + X side to the ⁇ X side at a position on the + Z side in the vehicle interior 46.
  • the light emitting unit group 51 has a plurality of light emitting units GR1 to GR3.
  • the configuration in which the light emitting unit group 51 has three light emitting units GR1 to GR3 is exemplified, but the number of light emitting units of the light emitting unit group 51 may be two or four or more. But it may be.
  • the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 are arranged in a row along the X direction on the ceiling in the vehicle interior 46.
  • the arrangement of the plurality of light emitting parts GR1 to GR3 of the light emitting part group 51 is not necessarily a straight line but may be a gentle curve in order to match the shape of the roof portion 43a of the vehicle body 43.
  • Each light emitting unit GR1 to GR3 of the light emitting unit group 51 may have a plurality of light sources arranged in a row along the X direction.
  • the light emitting unit GR1 has a plurality of light sources D1 to D5 arranged in a row along the X direction.
  • the light emitting unit GR2 has a plurality of light sources D6 to D10 arranged in a row along the X direction.
  • the light emitting unit GR3 has a plurality of light sources D11 to D15 arranged in a row along the X direction.
  • the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 may be arranged slightly + Y side from the center in the Y direction on the ceiling in the vehicle interior 46.
  • Each of the light sources D1 to D15 of the light emitting unit group 51 is, for example, an LED (Light Mission Diode).
  • the brightness of each of the light sources D1 to D15 of the light emitting unit group 51 can be adjusted by at least one of changing the duty ratio of the voltage and changing the magnitude of the flowing current.
  • the emission color of each of the light sources D1 to D15 of the light emitting unit group 51 may be a color, or may be a single color such as R (red), G (green), B (blue), or white.
  • each light emitting unit GR1 to GR3 of the light emitting unit group 51 replaces a plurality of light sources arranged in a row along the X direction, and is an LED display, a liquid crystal display, and an organic EL extending along the X direction. It may be a display or the like.
  • the image acquisition area IM1 corresponds to a plurality of light emitting units GR1 to GR3 of the light emitting unit group 51.
  • a straight line along the direction in which the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 are arranged passes through the image acquisition area IM1 as shown by a dotted line in FIGS. 9 to 11.
  • a straight line along the direction in which the plurality of light emitting parts GR1 to GR3 of the light emitting unit group 51 are arranged may further pass near the vanishing point in the angle of view of the image pickup unit 44.
  • the lighting unit 45 can change the light emitting states of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 according to the image of the image acquisition area IM1 captured by the image pickup unit 44.
  • the image pickup unit 44 acquires an image of the image acquisition area IM1 at a plurality of timings.
  • the plurality of timings may correspond to a plurality of points arranged at predetermined distance intervals to which the vehicle 1 should travel.
  • the light emitting control circuit 53 corresponds to the movement of the vehicle body 43 along the traveling direction and the image captured by the imaging unit 44, and the light emitting units GR1 to GR3 of the light emitting unit group 51 Change the light emission state.
  • the light emitting control circuit 53 changes the light emitting state of each light emitting unit GR1 to GR3 of the light emitting unit group 51 according to the movement along the traveling direction of the vehicle body 43 and the image captured by the image pickup unit 44 before a predetermined time. Let me. This predetermined time may change according to the moving speed of the vehicle 1 in a predetermined direction.
  • the light emitting control circuit 53 changes the light emitting state of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 with time according to the temporal change of the attribute of the image of the image acquisition area IM1.
  • the light emitting control circuit 53 advances the light emitting state of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 when viewed from the inside of the vehicle interior 46 according to the temporal change of the image attribute of the image acquisition area IM1. Change it so that it flows in the opposite direction.
  • the light emission control circuit 53 displays a pattern of light and darkness of a plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 when viewed from the inside of the vehicle interior 46 according to a change in the image attribute of the image acquisition area IM1 over time. It may be changed so that it flows in the direction opposite to the traveling direction.
  • the light emission control circuit 53 changes so that the color patterns of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 flow in the direction opposite to the traveling direction according to the temporal change of the image attribute of the image acquisition area IM1. You may let me.
  • the light emitting control circuit 53 is controlled by the vehicle control device 100, and the light emitting states of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 are changed according to the temporal change of the image attribute of the image acquisition area IM1. Is spatially changed.
  • the light emitting control circuit 53 changes the light emitting states of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 according to the attributes of the image in the image acquisition area IM1.
  • the light emission control circuit 53 may change the light-dark pattern of the plurality of light-emitting units GR1 to GR3 of the light-emitting unit group 51 according to the luminance pattern of the image in the image acquisition area IM1.
  • the light emission control circuit 53 may change the color pattern of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51 according to the pattern of the color component value of the image of the image acquisition area IM1.
  • the light emitting unit group 52 is arranged in a region extending from the + X side to the ⁇ X side at a position on the + Z side in the vehicle interior 46.
  • the light emitting unit group 52 has a plurality of light emitting units GR1 to GR3.
  • the configuration in which the light emitting unit group 52 has three light sources D1 to D15 is exemplified, but the number of light sources included in the light emitting unit group 52 may be two or four or more. ..
  • the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 are arranged in the Y direction with respect to the plurality of light emitting units GR1 to GR3 of the light emitting unit group 51.
  • the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 are arranged in a row along the X direction on the ceiling in the vehicle interior 46.
  • the arrangement of the plurality of light emitting parts GR1 to GR3 of the light emitting part group 52 is not necessarily a straight line but may be a gentle curve in order to match the shape of the roof portion 43a of the vehicle body 43.
  • Each light emitting unit GR1 to GR3 of the light emitting unit group 52 may have a plurality of light sources arranged in a row along the X direction.
  • the light emitting unit GR1 has a plurality of light sources D1 to D5 arranged in a row along the X direction.
  • the light emitting unit GR2 has a plurality of light sources D6 to D10 arranged in a row along the X direction.
  • the light emitting unit GR3 has a plurality of light sources D11 to D15 arranged in a row along the X direction.
  • the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 may be arranged slightly ⁇ Y side from the center in the Y direction on the ceiling in the vehicle interior 46.
  • Each of the light sources D1 to D15 of the light emitting unit group 52 is, for example, an LED (Light Mission Diode).
  • the brightness of each of the light sources D1 to D15 of the light emitting unit group 52 can be adjusted by at least one of changing the duty ratio of the voltage and changing the magnitude of the flowing current.
  • the emission color of each of the light sources D1 to D15 of the light emitting unit group 52 may be a color, or may be a single color such as R (red), G (green), B (blue), or white.
  • each of the light emitting units GR1 to GR3 of the light emitting unit group 52 replaces a plurality of light sources arranged in a row along the X direction, and is an LED display, a liquid crystal display, and an organic EL extending along the X direction. It may be a display or the like.
  • the image acquisition area IM2 corresponds to a plurality of light emitting units GR1 to GR3 of the light emitting unit group 52.
  • a straight line along the direction in which the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 are arranged passes through the image acquisition area IM2 as shown by a dotted line in FIGS. 9 to 11.
  • a straight line along the direction in which the plurality of light emitting parts GR1 to GR3 of the light emitting unit group 52 are arranged may further pass near the vanishing point in the angle of view of the image pickup unit 44.
  • the lighting unit 45 can change the light emitting states of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 according to the image of the image acquisition area IM2 captured by the image pickup unit 44.
  • the image pickup unit 44 acquires an image of the image acquisition area IM2 at a plurality of timings.
  • the plurality of timings may correspond to a plurality of points arranged at predetermined distance intervals to which the vehicle 1 should travel.
  • the light emitting control circuit 54 corresponds to the movement of the vehicle body 43 along the traveling direction and the image captured by the image capturing unit 44, and the light emitting units GR1 to GR3 of the light emitting unit group 51 correspond to each other. Change the light emission state.
  • the light emitting control circuit 53 changes the light emitting state of each light emitting unit GR1 to GR3 of the light emitting unit group 51 according to the movement along the traveling direction of the vehicle body 43 and the image captured by the image pickup unit 44 before a predetermined time. Let me. This predetermined time may change according to the moving speed of the vehicle 1 in a predetermined direction.
  • the light emitting control circuit 54 changes the light emitting states of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 with time according to the temporal change of the image attribute of the image acquisition area IM2.
  • the light emitting control circuit 54 advances the light emitting state of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 when viewed from the inside of the vehicle interior 46 according to the temporal change of the image attribute of the image acquisition area IM2. Change it so that it flows in the opposite direction.
  • the light emitting control circuit 54 displays a pattern of light and darkness of a plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 when viewed from the inside of the vehicle interior 46 according to a change in the image attribute of the image acquisition area IM2 over time. It may be changed so that it flows in the direction opposite to the traveling direction.
  • the light emission control circuit 54 displays the color patterns of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 when viewed from the inside of the vehicle interior 46 according to the temporal change of the image attribute of the image acquisition area IM2. It may be changed so that it flows in the direction opposite to the traveling direction.
  • the light emitting control circuit 54 is controlled by the vehicle control device 100, and the light emitting states of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 are changed according to the temporal change of the image attribute of the image acquisition area IM2. Is spatially changed.
  • the light emission control circuit 54 changes the light emission states of the plurality of light emitting units GR1 to GR3 according to the attributes of the image in the image acquisition area IM2.
  • the light emission control circuit 54 may change the light-dark pattern of the plurality of light-emitting units GR1 to GR3 of the light-emitting unit group 52 according to the luminance pattern of the image in the image acquisition area IM2.
  • the light emission control circuit 54 may change the color pattern of the plurality of light emitting units GR1 to GR3 of the light emitting unit group 52 according to the pattern of the color component value of the image of the image acquisition area IM2.
  • the light sources 55 and 56 are arranged at the + Z side and + X side positions in the passenger compartment 46.
  • the light sources 55 and 56 can illuminate the vicinity of the driver 300's seat and the vicinity of the passenger's seat, respectively.
  • the vehicle control device 100 is an information processing device that can be mounted on the vehicle 1, and is arranged at an arbitrary position in the vehicle body 43, for example, at a position shown by a dotted line in FIG.
  • the vehicle control device 100 may be, for example, an ECU (Electronic Control Unit), an OBU (On Board Unit), or an external device installed near the dashboard of the vehicle 1.
  • the vehicle control device 100 may be configured as shown in FIG. 12 in terms of hardware.
  • FIG. 12 is a diagram showing a hardware configuration of the vehicle control device 100.
  • the vehicle control device 100 includes an image pickup IF (InterFace) 101, a CPU (Central Processing Unit) 102, a RAM (Random Access Memory) 103, a ROM (Read Only Memory) 104, an illumination IF 105, a GPS (Global Positioning System) 106 , Communication IF 108, and bus 109.
  • the image pickup IF 101, the CPU 102, the RAM 103, the ROM 104, the illumination IF 105, the GPS IF 106, the vehicle speed IF 107, and the communication IF 108 are connected to each other so as to be communicable with each other via the bus 109.
  • the control program is stored in the ROM 104.
  • the image pickup IF 101 is communicably connected to the image pickup unit 44 via a cable or the like.
  • the image pickup IF 101 acquires an image captured by the image pickup unit 44.
  • the image pickup IF 101 continuously acquires a plurality of frame images of the moving image captured by the image pickup unit 44.
  • the illumination IF 105 is communicably connected to the light emission control circuits 53 and 54 in the illumination unit 45 via CAN, a cable, or the like.
  • the illumination IF 105 can supply control signals to the light emission control circuits 53 and 54. Thereby, the illumination IF 105 can control the lighting state of each of the light sources D1 to D15 of the light emitting unit groups 51 and 52.
  • the GPSIF 106 is communicably connected to the GPS sensor 47 via CAN, a cable, or the like.
  • the GPS sensor 47 receives a GPS signal.
  • the GPSIF 106 acquires a GPS signal received by the GPS sensor 47 and generates position information such as latitude, longitude and altitude of the vehicle 1 based on the GPS signal.
  • the vehicle speed IF 107 is communicably connected to the vehicle speed sensor 48 via CAN, a cable, or the like.
  • the vehicle speed sensor 48 is arranged in the vicinity of the wheel 42 and generates a vehicle speed pulse indicating the rotation speed or the rotation speed of the wheel 42.
  • the vehicle speed IF 107 acquires the vehicle speed pulse generated by the vehicle speed sensor 48, and obtains the traveling speed of the vehicle 1 based on the vehicle speed pulse.
  • the communication IF 108 is communicably connected to the communication device 9 via CAN, a cable, or the like.
  • the communication device 9 communicates with a server device (not shown) mainly via a wireless communication line, and can receive predetermined information from the server device.
  • the communication IF 108 can acquire predetermined information from the server device via the communication device 9.
  • the GPS sensor 47 and the vehicle speed sensor 48 are used to detect the position and the amount of movement of the own vehicle, and are set to detect the movement of the vehicle body 43 in a predetermined traveling direction. Can function as.
  • the movement detection unit may be replaced by another means capable of detecting the movement of the vehicle body 43 in a predetermined traveling direction and having the same effect.
  • the vehicle control device 100 can be functionally configured as shown in FIG.
  • FIG. 13 is a diagram showing a functional configuration of the vehicle control device 100.
  • the CPU 102 reads the control program from the ROM 104, and expands each functional configuration shown in FIG. 13 into the buffer area of the RAM 103 collectively at the time of compiling the control program or sequentially according to the progress of the processing by the control program.
  • the vehicle control device 100 has an acquisition unit 110, an acquisition unit 120, and a control unit 130.
  • the control unit 130 has a plurality of shift registers 131 and 136, a processing unit 133, a distance calculation unit 134, and a timing control unit 135.
  • Each shift register 131, 136 has a plurality of stages of registers 132-1 to 132-50.
  • the acquisition unit 110 acquires the images of the image acquisition areas IM1 and IM2.
  • the acquisition unit 110 acquires, for example, the entire image IM as shown in FIG. 14 captured by the image pickup unit 44.
  • FIG. 14 is a diagram showing positions IM1 and IM2 of the image acquisition area in the entire image IM.
  • FIG. 14 illustrates the entire image IM and the positions IM1 and IM2 of the image acquisition area with respect to the front view viewed through the window 43b from the inside of the vehicle interior 46 corresponding to FIG.
  • the acquisition unit 110 cuts out the image acquisition areas IM1 and IM2 from the acquired whole image IM.
  • the positions of the image acquisition areas IM1 and IM2 to be cut out in the entire image IM are predetermined and set in the control program.
  • the position of the image acquisition area IM1 in the whole image IM is the position corresponding to the arrangement direction of the plurality of light emitting parts GR1 to GR3 of the light emitting part group 51 arranged on the ceiling in the vehicle interior 46. For example, it is a position on the + Y side and + Z side from the center of the entire image IM.
  • the position of the image acquisition area IM2 in the whole image IM is the position corresponding to the arrangement direction of the plurality of light emitting parts GR1 to GR3 of the light emitting part group 52 arranged on the ceiling in the vehicle interior 46. For example, it is a position on the ⁇ Y side / + Z side from the center of the entire image IM.
  • the acquisition unit 120 shown in FIG. 13 acquires the traveling speed of the vehicle 1 obtained by the vehicle speed IF 107.
  • the acquisition unit 120 supplies the traveling speed of the vehicle 1 to the distance calculation unit 134 of the control unit 130.
  • the distance calculation unit 134 obtains the mileage of the vehicle 1 by integrating the mileage or the like.
  • the distance calculation unit 134 supplies the mileage of the vehicle 1 to the timing control unit 135.
  • the plurality of shift registers 131 and 136 correspond to a plurality of image acquisition areas IM1 and IM2, correspond to a plurality of light emission control circuits 53 and 54, and correspond to a plurality of light emitting unit groups 51 and 52.
  • the shift register 131 has a plurality of stages of registers 132-1 to 132-50.
  • the shift registers 131 and 136 receive and hold the images of the corresponding image acquisition areas IM1 and IM2, and shift the image held in the register 132 to the next-stage register 132 at the timing controlled by the timing control unit 135. ..
  • the shift register 131 the image acquisition area IM1, the light emission control circuit 53, and the light emitting unit group 51 will be described as examples, but the shift register 136, the image acquisition area IM2, the light emission control circuit 54, and the light emitting unit group 52 will be described. Is the same.
  • the timing control unit 135 sequentially obtains a plurality of timings based on the point of the image acquisition area IM1 according to the mileage of the vehicle 1.
  • the plurality of timings correspond to a plurality of points obtained by dividing the distance LIM from the position of the image pickup unit 44 of the vehicle 1 to the point of the image acquisition area IM1 at a predetermined interval ⁇ L.
  • Each timing is a timing at which the vehicle 1 passes the corresponding point.
  • FIG. 15 is a diagram showing spatial changes of a plurality of light emitting units GR1 to GR3 according to images at a plurality of timings.
  • the distance LIM is, for example, the image acquisition area IM1 after the image acquisition area IM1 is acquired.
  • the distance may be such that the time required to pass the point is 2 to 3 seconds later.
  • the distance LIM may be, for example, about several tens of meters.
  • the predetermined interval ⁇ L and the number of divisions can be arbitrarily determined according to the traveling speed of the vehicle 1, the specifications of the imaging unit 44, and the like.
  • the plurality of timings to be obtained by the timing control unit 135 correspond to a plurality of points arranged at predetermined distance intervals to be traveled by the vehicle 1.
  • the X position of the image acquisition area IM1 is x49
  • the X position of the image pickup unit 44 of the vehicle 1 is x0.
  • the vehicle 1 travels in the X direction and sequentially passes through a plurality of points x 0 , x 1 , x 2 , ..., X 49 .
  • Each point x 0 , x 1 , x 2 , ..., X 49 corresponds to a plurality of points arranged in the X direction at predetermined intervals ⁇ L.
  • the timing at which the vehicle 1 passes each point x 0 , x 1 , x 2 , ..., X 49 is t 0 , t 1 , t 2 , ..., T 49 .
  • Each of the plurality of timings is a timing at which the image acquired by the acquisition unit 110 shown in FIG. 13 should be stored in the shift register 131.
  • the timing control unit 135 supplies the obtained timing to the acquisition unit 110.
  • the acquisition unit 110 continuously acquires a plurality of frame images in the moving image captured by the image pickup unit 44, but selects the frame image acquired from the image pickup unit 44 at the timing controlled by the timing control unit 135. It is stored in the register 132 of the first stage of the shift register 131.
  • the acquisition unit 110 selects the frame image as the entire image IM, cuts out the image FR_49 of the image acquisition area IM1 from the frame image, and transfers the image FR_49 to the register 132 of the first stage of the shift register 131. Store in.
  • Each of the plurality of timings is the timing at which the shift register 131 shown in FIG. 13 shifts the image stored in the register 132.
  • the timing control unit 135 supplies the obtained timing to the register 132 of each stage of the shift register 131.
  • the registers 132-1 to 132-49 of each stage transfer the image to the register 132 of the next stage and the processing unit 133 at the timing controlled by the timing control unit 135.
  • the registers 132-50 in the final stage supply the image to the processing unit 133 at the timing controlled by the timing control unit 135.
  • the shift register 131 transfers the images FR_48 to FR_0 of the image acquisition area IM1 stored in the registers 132-1 to 132-49 of each stage to the register 132 of the next stage.
  • FIG. 15 illustrates the transferred state.
  • Each of the plurality of timings is the timing at which the image processing is performed by the processing unit 133 shown in FIG.
  • the processing unit 133 acquires images from the registers 132-1 to 132-50 of each stage of the shift register 131 at the timing controlled by the timing control unit 135, and performs statistical processing on the acquired plurality of images. ..
  • Each light emission control circuit 53, 54 of the lighting unit 45 has a shift register 531 and a plurality of control circuits C1 to C15.
  • the plurality of control circuits C1 to C15 correspond to a plurality of light sources D1 to D15.
  • the shift register 531 has a plurality of stages of registers 532-1 to 532-3.
  • Registers 532-1 correspond to control circuits C1 to C5
  • registers 532-2 correspond to control circuits C6 to C10
  • registers 532-3 correspond to control circuits C11 to C15.
  • Each control circuit C1 to C15 is connected to a corresponding light source, turns the light source on and off, and changes the brightness and color of the light source.
  • the processing unit 133 generates a control value for controlling the light source based on the image acquired from the register 132-50 in the final stage while considering the result of statistical processing.
  • the processing unit 133 stores the control value in the register 532 of the first stage of the shift register 531.
  • the control value may include a Y value indicating brightness, an R value which is a red color component value, a G value which is a green color component value, and a B value which is a blue color component value.
  • the interior lighting of the vehicle may be controlled one by one, a plurality of light sources may be collectively controlled, or all of them may be controlled collectively.
  • the old luminance, the lighting color and the luminance, and the color may be smoothed to complement the change smoothly.
  • the brightness and the lighting color may be complemented so as to change smoothly from the front and rear images.
  • FIG. 13 illustrates a case where a plurality of devices are collectively controlled.
  • the light emitting unit group 51 may be grouped into a plurality of light emitting units GR1 to GR3.
  • the light emitting unit GR1 includes light sources D1 to D5, the light emitting unit GR2 includes light sources D6 to D10, and the light emitting unit GR3 includes light sources D11 to D15.
  • the light emitting unit GR1 corresponds to the register 532-1 and corresponds to the control circuits C1 to C5.
  • the light emitting unit GR2 corresponds to the register 532-2 and corresponds to the control circuits C6 to C10.
  • the light emitting unit GR3 corresponds to the register 532-3 and corresponds to the control circuits C11 to C15.
  • the control value stored in the register 532-1 of the first stage of the shift register 531 is supplied to the control circuits C1 to C5 corresponding to the light emitting unit GR1.
  • the control circuits C1 to C5 control the brightness and color of the light sources D1 to D5 according to the control value.
  • the processing unit 133 performs statistical processing on the plurality of images FR_49 to FR_0, generates a control value FR_1 according to the result of the statistical processing, and sets the shift register 531. It is stored in the register 532 of the first stage.
  • the brightness is indicated by the hatch density, and the thinner the hatch density, the brighter the brightness.
  • the control value FR_1 indicates relatively bright luminance.
  • the control circuits C1 to C5 light the light sources D1 to D5 of the light emitting unit GR1 with a color corresponding to the control value FR_1 and a relatively bright brightness according to the control value FR_1.
  • Each of the plurality of timings is a timing for changing the control of the light emitting unit group 51 by the light emitting control circuit 53 shown in FIG. 13, and is a timing for the shift register 531 to shift the control value stored in the register.
  • the timing control unit 135 supplies the obtained timing to the register 532 of each stage of the shift register 531.
  • the registers 532-1 to 532-3 of each stage transfer the control value to the register 532 of the next stage at the timing controlled by the timing control unit 135.
  • the register 532-3 in the final stage discards the control value at the timing controlled by the timing control unit 135.
  • FIG. 15 illustrates the transferred state.
  • the control circuits C6 to C10 light the light sources D6 to D10 of the light emitting unit GR2 with a color corresponding to the control value FR_-2 and a relatively dark brightness according to the control value FR_-2.
  • the control circuits C11 to C15 light the light sources D11 to D15 of the light emitting unit GR3 with a color corresponding to the control value FR_-3 and an intermediate brightness according to the control value FR_-3.
  • the lighting state of the light source corresponding to each point is controlled so as to match the attribute of the image acquired at that point.
  • the lighting state of the light sources D1 to D5 of the light emitting unit GR1 corresponding to the point x - 1 is controlled so as to match the attribute of the image FR_1 of the image acquisition area IM1 acquired at the point x-1.
  • the lighting state of the light sources D6 to D10 of the light emitting unit GR2 corresponding to the point x- 2 is controlled so as to match the attribute of the image FR_-2 of the image acquisition area IM1 acquired at the point x - 2
  • the point x- The lighting state of the light sources D11 to D15 of the light emitting unit GR3 corresponding to No. 3 is controlled so as to match the attribute of the image FR_-3 of the image acquisition area IM1 acquired at the point x- 3 .
  • FIG. 16 is a diagram showing temporal changes of a plurality of light emitting units GR1 to GR3 according to images at a plurality of timings.
  • the processing unit 133 acquires images from the registers 132-1 to 132-50 of each stage, and performs statistical processing on the acquired plurality of images.
  • the processing unit 133 At the timing t 50 when the vehicle 1 reaches the point x 50 , the processing unit 133 considers the result of statistical processing based on the image acquired from the register 132-50 in the final stage. At the same time, the control value FR_49 for controlling the light source is generated. The processing unit 133 stores the control value FR_49 in the register 532-1 of the first stage of the shift register 531. In response to this, the control circuits C1 to C5 light the light sources D1 to D5 of the light emitting unit GR1 corresponding to the point x 49 with a color corresponding to the control value FR_49 and an intermediate brightness according to the control value FR_49. Let me.
  • the register 532-1 in the first stage of the shift register 531 transfers the control value FR_49 to the register 532-2 in the next stage. ..
  • the control circuits C6 to C10 light the light sources D6 to D10 of the light emitting unit GR2 corresponding to the point x 49 with a color corresponding to the control value FR_49 and an intermediate brightness according to the control value FR_49.
  • the register 532-2 of the shift register 531 transfers the control value FR_49 to the register 532-3 of the next stage.
  • the control circuits C11 to C15 light the light sources D11 to D15 of the light emitting unit GR3 corresponding to the point x 49 with a color corresponding to the control value FR_49 and an intermediate brightness according to the control value FR_49.
  • the attributes of the image captured at a certain point are converted into the control value of the light source when the point is reached, and the light source corresponding to the point among the plurality of light sources is opposite to the traveling direction.
  • the light source that reflects the control value is sequentially switched according to the change in the direction.
  • the image FR_98 it is imaged at the timing t 0 shown in FIG. 15, its attribute is converted to the control value FR_49 at the timing t 49 shown in FIG. 16 (a), and its attribute is converted to the control value FR_49 at the timing t 50 shown in FIG. 16 (b).
  • the control value FR_49 is reflected in the light emission control of the light sources D1 to D5 of the light emitting unit GR1, and the control value FR_49 is reflected in the light emission control of the light sources D6 to D10 of the light emitting unit GR2 at the timing t 51 shown in FIG. 16 (c). At timing t 52 (not shown), the control value FR_49 is reflected in the light emission control of the light sources D11 to D15 of the light emitting unit GR3. As a result, when viewed from inside the vehicle interior 46, the light emitting states of the plurality of light emitting units GR1 to GR3 are controlled to flow in the direction opposite to the traveling direction.
  • any statistical processing can be used so that when the attributes of the captured image are reflected in the vehicle interior lighting, the vehicle interior lighting matches the occupant's experience. ..
  • the image acquisition area is set to a horizontally long ellipse or a horizontally long rectangle centered on one point on the dotted line in FIG. 14 in order to match the experience.
  • FIG. 14 a case where the shape is set to a horizontally long rectangle is exemplified.
  • the image in the image acquisition area includes a plurality of pixel signals arranged in a two-dimensional matrix. Therefore, as shown in FIG. 17, the image acquisition area IM1 can be two-dimensionally divided into a plurality of divided areas DV1 to DV25 so that each divided area DV1 to DV25 contains one or more pixel signals. ..
  • FIG. 17 illustrates a case where the image acquisition area IM1 is divided into 25 areas vertically and horizontally. In FIG. 17, the image acquisition area IM1 is illustrated, but the same applies to the image acquisition area IM2.
  • Each of the plurality of pixel signals included in the image has, as attributes, a Y signal indicating brightness, an R signal indicating a red (R) color component value, a G signal indicating a green (G) color component value, and blue ( B) includes a B signal indicating the color component value of B).
  • the processing unit 133 obtains the luminance AVEY by averaging the luminancees of the plurality of divided regions DV1 to DV25 for the image to be processed, and red (R), green (G), and blue (B) of the plurality of divided regions DV1 to DV25. ) Is averaged to obtain the color AVERGB.
  • the processing unit 133 identifies a region having the maximum luminance (for example, DV18) among the plurality of divided regions DV1 to DV25 for the image to be processed, and sets the attribute of the region as the representative value A.
  • the representative value A includes the luminance AY in the region of maximum luminance and the color ARGB which is each color component value of red (R), green (G), and blue (B) in the region of maximum luminance.
  • the processing unit 133 identifies a region having the minimum luminance (for example, DV3) among a plurality of divided regions DV1 to DV25 for the image to be processed, and sets the attribute of that region as the representative value B.
  • the representative value B includes a luminance BY in the minimum luminance region and a color BRGB which is each color component value of red (R), green (G), and blue (B) in the minimum luminance region.
  • a luminance BY in the minimum luminance region
  • a color BRGB which is each color component value of red (R), green (G), and blue (B) in the minimum luminance region.
  • the image in the image acquisition area is accumulated in the shift register as the vehicle progresses and the passage of time, and is reflected in the row-shaped lighting control.
  • the luminance and color information of the representative value A and the representative value B are obtained, and the same evaluation is performed in the next image acquisition to obtain the regions of the representative value A and the representative value B of the next image.
  • the representative value A reflects the bright sky all the time, and it may turn on in a state close to pure white without sharpness. I am concerned.
  • the representative value B is used to deal with this.
  • the feature points of brightness are cut out from the image in the image acquisition area, and the control of the lighting inside the vehicle is adjusted to match the brightness of the feature points. If there are no feature points in the image in the image acquisition area, the interior lighting is controlled using the average brightness.
  • the processing unit 133 has three types of attributes of the image to be processed: an average value AVE (AVEY, AVERGB), a representative value A (AY, ARGB), and a representative value B (BY, BRGB). You may hold it.
  • FIG. 18 is a diagram showing a process of determining the brightness of the light source.
  • the vertical axis indicates the height of luminance and the horizontal axis indicates time.
  • the processing unit 133 obtains the reference brightness AVEY 50 by averaging the average value AVEY of a plurality of images, for example, the average value AVEY of the latest 50 images, as the reference of the brightness. As shown in FIGS.
  • the reference luminance AVEY50 indicates a luminance reference that reflects the latest luminance trends.
  • the vehicle 1 is in a state of traveling in a tunnel or a dark night.
  • the difference between the AY and BY of the image to be processed is within the predetermined threshold range with respect to the reference luminance AVEY50 lower than the predetermined value, and the AY and BY of the image to be processed are close to each other. This indicates that the image is uniformly dark and has no feature points. Therefore, the processing unit 133 generates the control value of the row illumination based on the AVE as shown by the circle of the dotted line. Depending on the AVE, a control value instructing the extinguishing may also be generated.
  • the processing unit 133 In the timing TM2 shown in FIG. 18B, for example, the vehicle 1 is illuminated by the illumination of the tunnel. With respect to the reference luminance AVEY 50 lower than the predetermined value, the difference between the image to be processed and the AY is high beyond the predetermined threshold range. This indicates that the image is dark overall but has bright spots. Therefore, the processing unit 133 generates a control value for controlling the lighting of the light source based on the representative value A (AY, ARGB) as shown by the circle of the dotted line.
  • the processing unit 133 generates a control value for controlling the lighting of the light source based on the representative value B (BY, BRGB) as shown by the circle of the dotted line. In this way, "a dark place in a bright place" is expressed.
  • the vehicle 1 exits the tunnel and passes through a uniform sky.
  • the difference between the AY and BY of the image to be processed is within the predetermined threshold range with respect to the reference luminance AVEY50 higher than the predetermined value, and the AY and BY of the image to be processed are close to each other. This indicates that the image is uniformly bright and has no feature points. Therefore, the processing unit 133 generates a control value for controlling the lighting of the light source based on the average value AVE (AVEY, AVERGB) as shown by the circle of the dotted line. However, the processing unit 133 may make the average brightness value peak at an intermediate level brightness regardless of AVEY.
  • the processing unit 133 generates a control value for controlling the lighting of the light source based on the representative value A (AY, ARGB) as shown by the circle of the dotted line.
  • the vehicle 1 is traveling so as to pass through the sunlight through the trees.
  • the difference between the AY of the image to be processed and the BY is higher than the predetermined threshold range, and the difference between the image to be processed and the BY is lower than the predetermined threshold range. ..
  • the processing unit 133 generates a control value for controlling the lighting of the light source based on the representative value A (AY, ARGB) as shown by the circle of the dotted line.
  • the row illumination is controlled so as to move where there is a change in brightness.
  • 19 and 20 are flowcharts showing the operation of the vehicle 1, respectively.
  • 19 and 20 illustrate the processing per row of lights.
  • the processes shown in FIGS. 19 and 20 may be performed in parallel for m pieces.
  • the vehicle control device 100 When the vehicle control device 100 receives a start request from the occupant, it is assumed that the operation of the vehicle 1 is started, and the initial setting is performed (S101).
  • the vehicle control device 100 initializes each parameter of AVEY (*), AY (*), BY (*), AVERGB (*), ARGB (*), and BRGB (*) to 0. A number for identifying the image is entered in parentheses in the parameter name, and the smaller the number, the older the parameter of the data.
  • the vehicle control device 100 initializes the registers 132, 532 of each stage of the shift registers 131, 531 to 0. At this time, the vehicle control device 100 does not emit light from the light emitting units GR1 to GR3 of the light emitting unit groups 51 and 52, but may control the light emitting units to emit light like a welcome light when getting on and off.
  • the vehicle control device 100 confirms the mode setting request for the light emission control of the light emitting unit groups 51 and 52, and if the setting to the mode in which the light flows is not requested (No in S102), the process returns to S101.
  • the vehicle control device 100 If the vehicle control device 100 is required to be set to the mode in which light flows (Yes in S102), the vehicle control device 100 captures an image of the front image acquisition area via the image pickup unit 44 (S103).
  • the vehicle control device 100 searches for the highest brightness point A and the lowest brightness point B in the captured image. When the maximum luminance point A and the minimum luminance point B are found, the vehicle control device 100 calculates the luminance AY at the luminance point A and the ratio ARGB of the color component value (S104).
  • the vehicle control device 100 When the latest image is the 50th image, the vehicle control device 100 writes the information of the maximum luminance point A of the 50th image in AY (50) and ARGB (50), and BY (50) and BRGB (50). ), The information of the lowest luminance point B of the 50th image is written (S105).
  • the vehicle control device 100 calculates the average luminance AVEY and the average RGB ratio AVERGB of the 50th image, and writes them in AVEY (50) and AVERGB (50), respectively (S106).
  • the vehicle control device 100 updates the reference luminance AVEY 50 by averaging the average luminance of the images with respect to the images Nos. 1 to 50 as the luminance reference (S107, B).
  • n 0 is the data used for lighting the head of the row illumination. When the vehicle 1 passes the location of the data, the data will be discarded.
  • the vehicle control device 100 shifts the light emission control value of the entire light emitting unit group by one in the direction opposite to the traveling direction when viewed from the inside of the vehicle interior 46 (S108).
  • the light emission control value is expressed as one shift, it is not necessarily a physical control value of one light source, but may be a control value for each control unit, that is, for each light emitting unit.
  • the control value may be averaged among a plurality of control units so as to smooth the fluctuation of the color and the amount of light between the control units before and after.
  • the vehicle control device 100 compares the difference (AY (0) -AVEY50) from the reference brightness of the highest brightness with the reference value K1 for the image No. 0. If the difference (AY (0) -AVEY50) from the reference brightness of the maximum brightness exceeds the reference value K1 (Yes in S109), the vehicle control device 100 considers that the point A should be reflected in the lighting control. Lighting control of the leading light source is performed using AY (0) and ARGB (0) (S110).
  • the vehicle control device 100 if the difference (AY (0) -AVEY50) from the reference brightness of the highest brightness is equal to or less than the reference value K1 (No in S109), the difference from the reference brightness of the lowest brightness for the 0th image. (AVEY50-BY (0)) and the reference value K2 are compared. If the difference (AVEY50-BY (0)) from the reference brightness of the lowest brightness is less than the reference value K2 (Yes in S111), the vehicle control device 100 considers that the point B should be reflected in the light emission control. Lighting control of the leading light source is performed using BY (0) and BRGB (0) (S112).
  • the vehicle control device 100 If the difference (AVEY50-BY (0)) from the reference brightness of the lowest brightness is the reference value K2 or more (No in S111), the vehicle control device 100 considers that the average value should be reflected in the light emission control. (0), AVERGB (0) is used to control the light emission of the leading light source (S113).
  • the vehicle control device 100 waits from the point of S103 until the vehicle 1 travels a certain distance ⁇ L (No in S114), and when the vehicle 1 travels a certain distance ⁇ L (Yes in S114), the vehicle control device 100 shifts one register in each stage of the shift register. .. That is, n is reduced by 1 with the parameters AVEY (n), AY (n), BY (n), AVERGB (n), ARGB (n), and BRGB (n) (S115).
  • the traveling "constant distance” and the physical shift amount of one light emitting unit due to the shift of the light emission control unit are linked, the light can be smoothly flowed in conjunction with the change of the ambient light.
  • the vehicle control device 100 returns the process to S102 (A), and repeats the processes after S2.
  • a plurality of light emitting units GR1 to GR3 are arranged in a row on the ceiling of the vehicle interior 46 along the traveling direction, and the image of the front of the vehicle body 43 is captured.
  • the light emitting state of each of the plurality of light emitting units GR1 to GR3 is controlled accordingly.
  • a lighting environment similar to the scenery above can be realized on the ceiling of the vehicle interior 46 in real time, and the feeling of speed, immersiveness, and presence of the vehicle 1 can be enhanced. Therefore, the entertainment property in the vehicle interior 46 can be improved.
  • the image pickup unit 44 may be arranged at a position other than the + X side and + Z side in the vehicle interior 46 as long as the images of the image acquisition areas IM1 and IM2 can be captured, or may be arranged outside the vehicle interior 46. It may have been done. Further, the image pickup unit 44 may also use a camera arranged in the vehicle interior 46 for other purposes, and may also use, for example, a drive recorder or a camera for ADAS (Advanced Driver Assistance Systems).
  • ADAS Advanced Driver Assistance Systems
  • the light emitting unit group included in the lighting unit 45 may be one or three or more.
  • the image pickup unit 44 may be able to capture an image of three or more image acquisition areas corresponding to the three or more light emitting unit groups.
  • the image pickup unit 44 may have one camera 44a capable of capturing three or more image acquisition areas, or may have three or more cameras 44a capable of capturing each of the three or more image acquisition areas. May be good.
  • the three or more cameras 44a may be arranged along the Y direction at positions on the + X side and + Z side in the vehicle interior 46.
  • map information is information in which the geographical position of an object and attributes such as color and brightness of objects along the road are associated with each other for a plurality of objects.
  • the vehicle control device 100 receives map information from a cloud server or the like via the communication device 9 shown in FIG. 12 at a predetermined timing, stores the map information in the RAM 103 (see FIG. 12) via the communication IF 108, and temporarily.
  • the vehicle control device 100 grasps the geographical position of the object by referring to the map information.
  • the vehicle 1 uses the image pickup unit 44 to take an image of an object along the road ahead in the image acquisition area.
  • Roadside objects may be fixed objects that exist along the road, such as trees, historic buildings, tunnel walls, and streetlights.
  • the map information may be stored in ROM 104 (see FIG. 12) in advance instead of being received and acquired from a cloud server or the like.
  • the vehicle control device 100 sequentially receives GPS signals via the GPS sensor 47, sequentially obtains the current position of the vehicle 1 by the GPS IF 106, and sequentially obtains the current position at the vehicle speed obtained by the vehicle speed IF 107. Correct.
  • the vehicle control device 100 makes changes according to the map information when generating the control values of the light emitting unit groups 51 and 52 according to the images captured for the image acquisition areas IM1 and IM2.
  • the vehicle control device 100 specifies attributes such as color and brightness of the object corresponding to the geographical position in the map information.
  • the vehicle control device 100 changes the control values of the light emitting unit groups 51 and 52 based on the captured image according to the attributes specified from the map information.
  • the light emission control of the light emitting units GR1 to GR3 of the light emitting unit groups 51 and 52 can be further matched to the objects along the road, and the immersive feeling and the presence of the vehicle 1 can be further enhanced. can.
  • the vehicle control device 100 may reflect the characteristic color of the surrounding landscape in the vehicle. For example, if the object is a tree, the vehicle control device 100 controls the emission colors of the light emitting units GR1 to GR3 to be green or the color of autumn leaves. If the object is a townscape or a historic building, the vehicle control device 100 controls the emission color of the light emitting units GR1 to GR3 to the color of a wall, a roof, or the like. The vehicle control device 100 darkens the brightness of the light emitting units GR1 to GR3 when the vehicle 1 enters the tunnel, and brightens the brightness of the light emitting units GR1 to GR3 in response to the vehicle 1 passing through the street light after darkening. Control.
  • the vehicle control device 100 uses the control values of the light emitting unit groups 51 and 52 generated from the image captured by the image pickup unit 44 as they are for each object along the road, and the control values according to the map information. You may decide what to change. Those that are used as they are are trees, etc., and those that change the control value are tunnels, street lights, townscapes, and historic buildings. Vehicle 1 may change the attributes specified from the map information sequentially according to the weather, date and time, time zone, and event, so it is possible to take various measures such as giving a sense of the season and changing the color depending on the time zone passed. be.
  • the vehicle control device 100 can acquire map information along the road, for example, the season and weather when autumnal trees are seen in the vehicle window on the road.
  • the vehicle 1 not only captures the brightness and color of the image acquisition area with the camera of the image pickup unit 44, but also detects the tree in the vehicle window as an object, and the tree is uniformly colored from the map information along the road. It is also possible to make red and yellow flow in the car according to the position of the tree in the car window. Similarly, the vehicle 1 can be made to flow blue and white if a tree with snow and a blue sky can be seen in the vehicle window.
  • the control of the brightness or the like according to the map information may be combined with the control of the brightness or the like as shown in FIGS. 17 to 20.
  • AVEY and AVERGB are the same as the controls of FIGS. 17 to 20, and AY, ARGB, BY, and BRGB can be replaced with colors according to the attributes specified from the map information.
  • Luminance control based on map information may be performed, for example, as shown in FIG.
  • FIG. 21 is a diagram showing control of a plurality of light emitting units according to an image of an image acquisition area and map information in the first modification of the second embodiment.
  • the vehicle control device 100 is changed so that the AY and BY values specified from the captured image are sufficiently larger than the reference values K1 and K2, and is treated as a high-luminance point A and a low-luminance point B.
  • the color shown is reflected in the light emission control of the light emitting unit groups 51 and 52.
  • the lighting control by the captured image and the lighting control by the map information + GPS are combined.
  • the vehicle 1 has no, no, blue-white, and no control values treated as high-luminance point A, and black, black, none, and black as control values treated as low-luminance point B at four points in the "street light area". .. “None” indicates that the value of the high-luminance point A or the low-luminance point B acquired by the camera is used as it is because there is no control value.
  • the lighting is controlled by map information + GPS.
  • the control values treated as the high luminance point A are none, none, and none, and the control values treated as the low luminance point B are black, black, and black at the three points of the “tunnel area”.
  • the vehicle 1 When the vehicle 1 reaches the "sunset area" in the evening time zone in fine weather, it performs lighting control by map information + GPS + weather + date and time + time zone.
  • the vehicle 1 has dark blue, purple, and orange control values for the high-luminance point A and no, no, and no control values for the low-luminance point B at the three points in the "tunnel area.”
  • the vehicle 1 When the vehicle 1 reaches the "historical building area" in the daytime, the lighting is controlled by the map information + GPS + time zone.
  • the vehicle 1 has white, white, and white control values for high-luminance point A and no, no, and no control values for low-luminance point B at three points in the "historical building area.”
  • Vehicle 1 sets the control values treated as high-luminance point A to green, green, green, green, and green at the five points of the "tree-lined road area", and the control values treated as low-luminance point B are none, none, none, and none. , None.
  • the vehicle control device 100 updates the information of the object in the map information received from the cloud server or the like via the communication device 9 with the information of the object actually traveled and detected, and later travels along the roadside of the object. It can also be reflected in the light emission control of the light emitting unit groups 51 and 52. For example, when the number of colored objects increases or decreases due to construction, the position changes, or the visible color of an object changes due to changes in weather, the vehicle control device 100 provides map information more appropriately for the object. It can be updated to have a different color.
  • FIG. 22 is a flowchart showing the operation of the vehicle 1 according to the first modification of the second embodiment.
  • the vehicle control device 100 receives a GPS signal via the GPS sensor 47, obtains the current position of the vehicle 1 by the GPS IF 106, and obtains the current position at the vehicle speed obtained by the vehicle speed IF 107. Correct (S121).
  • the vehicle control device 100 refers to the map information and changes AY, ARGB, BY, and BRGB when it can be used (S122, B). That is, when the vehicle control device 100 determines that the vehicle 1 has reached the geographical position of the object, the vehicle control device 100 specifies attributes such as color and brightness of the object corresponding to the geographical position in the map information. The vehicle 1 overwrites AY, ARGB, BY, and BRGB with AY, ARGB, BY, and BRGB according to the attributes specified from the map information. Then, the vehicle control device 100 performs the processing after S108.
  • the vehicle control device 100 may skip the processing of S121 and S122 when there is no map information or when the map information is not valid due to the season, time zone, or weather factor.
  • the control values of the light emitting unit groups 51 and 52 based on the captured image are changed according to the attributes specified from the map information.
  • the light emission control of the light emitting unit groups 51 and 52 can be further matched to the objects along the road, and the immersive feeling and the realistic feeling can be further enhanced in the traveling of the vehicle 1.
  • the light emission control of the light emitting unit groups 51 and 52 is suspended, and when the geographical position of the vehicle 1 is within the highlight point.
  • the light emission control of the light emitting unit groups 51 and 52 may be started.
  • the geographical location within the highlight point may be included in the map information.
  • the vehicle control device 100 may acquire information on the geographical position within the highlight point by linking with the navigation system of the vehicle 1. For example, when the vehicle control device 100 detects that the tourist spot guidance function of the navigation system is turned on, the vehicle control device 100 may start the light emission control of the light emitting unit groups 51 and 52 as if it is within the highlight point.
  • the vehicle control device 100 may start the light emission control of the light emitting units groups 51 and 52 in synchronization with the start signal of the sightseeing commentary voice of the navigation system. That is, the vehicle control device 100 may start the light emission control of the light emitting unit groups 51 and 52 as if it is within the highlight point in response to the activation of the start signal of the sightseeing commentary voice of the navigation system. ..
  • the vehicle 1 should control the light emission. That is, the vehicle 1 makes the light emitting units GR1 to GR3 non-light emitting until the highlight point is reached, and when the highlight point is reached, the light emitting units GR1 to GR3 are controlled to emit light. For this reason, it is possible to produce an effect such as a surprising effect when the light is emitted to the occupant and an interest in the explanation of the place.
  • FIG. 23 is a flowchart showing the operation of the vehicle 1 according to the second modification of the second embodiment.
  • the vehicle control device 100 waits until the geographical position of the vehicle 1 is within the highlight point (No in S131). When the geographical position of the vehicle 1 is within the highlight point (Yes in S131), the vehicle control device 100 performs the processing after S103. Although not shown, the vehicle control device 100 may determine whether or not the vehicle 1 has escaped from the highlight point after S15. The vehicle control device 100 continues the light emission control of the light emitting unit groups 51 and 52 if the vehicle 1 is within the highlight point, and suspends the light emission control of the light emitting unit groups 51 and 52 when the vehicle 1 escapes from the highlight point. You may let me. Then, (A), the vehicle control device 100 may return the process to S2.
  • the control values of the light emitting unit groups 51 and 52 based on the captured image are started according to the geographical position of the vehicle 1 being within the highlight point. do. As a result, it is possible to produce a surprise when the light is emitted to the occupant, and it is possible to further enhance the immersive and realistic feeling of the running of the vehicle 1.
  • FIG. 24 is a schematic diagram showing an example of a vehicle 1 including the communication control device 400 according to the third embodiment.
  • FIG. 24A is a side view of the vehicle 1
  • FIG. 24B is a top view of the vehicle 1.
  • the vehicle 1 has a vehicle body 2 and two pairs of wheels 3 (a pair of front tires 3f and a pair) arranged on the vehicle body 2 along the vehicle length direction ( ⁇ Y direction) of the vehicle body 2.
  • the rear tire 3r is provided.
  • the paired two front tires 3f and the paired two rear tires 3r are arranged along the vehicle width direction ( ⁇ X direction orthogonal to the ⁇ Y direction) of the vehicle body 2, respectively. It was
  • the vehicle 1 is both ends of the vehicle body 2 in the ⁇ X direction, is closer to the front tire 3f in the ⁇ Y direction of the vehicle body 2, and is in the vehicle height direction ( ⁇ X direction and ⁇ Z direction orthogonal to the ⁇ Y direction).
  • a pair of door mirrors 94 are provided at predetermined height positions. It was
  • the vehicle 1 is provided with a plurality of seats 95a to 95f inside the vehicle body 2.
  • the seats 95a and 95b are arranged side by side in the ⁇ X direction near the front tire 3f.
  • the seats 95c and 95d are arranged side by side in the ⁇ X direction between the front tires 3f and the rear tires 3r.
  • the seats 95e and 95f are arranged side by side in the ⁇ X direction near the rear tires 3r.
  • the seat 95c is located behind the seat 95a
  • the seat 95d is located behind the seat 95b
  • the seat 95e is located behind the seat 95c
  • the seat 95f is located behind the seat 95d.
  • the number and arrangement of seats 95 included in the vehicle 1 is not limited to the example of FIG. 24.
  • the vehicle 1 is provided with a plurality of communication devices 96a to 96f on the inner wall of the vehicle body 2.
  • Communication devices (96a, 996c, 96d, 96e, 96f) used for communication between occupants in the vehicle are arranged in the vicinity of each seat.
  • the communication device (96a, 96c, 96d, 96e, 96f) is, for example, the communication device 96a is arranged in front of the seats 95a, 5b, the communication device 96c is arranged on the right side of the seat 95c, and the communication device 96d is the seat 95d.
  • the communication device 96e is arranged on the right side of the seat 95e, and the communication device 96f is arranged on the left side of the seat 95f.
  • Communication devices (96a, 96c, 96d, 96e, 96f) are used for communication between occupants.
  • the end face of the vehicle body 2 on the front tire 3f side may be referred to as the front surface.
  • the end surface of the vehicle body 2 on the rear tire 3r side may be referred to as a rear surface.
  • both end faces of the vehicle body 2 in the ⁇ X direction may be referred to as side surfaces.
  • the side surface corresponding to the right side may be referred to as a right side surface
  • the side surface corresponding to the left side may be referred to as a left side surface.
  • the direction toward the left side surface of the vehicle body 2 is the + X direction
  • the direction toward the right side surface is the ⁇ X direction
  • the direction toward the front surface side of the vehicle body 2 is the + Y direction
  • the direction toward the rear surface side is the ⁇ Y direction
  • the upward direction of the vehicle body 2 is the + Z direction
  • the downward direction (road surface side) is the ⁇ Z direction.
  • the ⁇ X direction axis (X axis) and the ⁇ Y direction axis (Y axis) of the vehicle 1 are parallel to the road surface. It is assumed that the axis (Z axis) in the ⁇ Z direction of the vehicle 1 is parallel to the normal line with respect to the road surface. It was
  • the vehicle 1 can travel using two pairs of wheels 3 arranged along the ⁇ Y direction.
  • the ⁇ Y direction in which the two pairs of wheels 3 are arranged is the traveling direction (moving direction) of the vehicle 1, and the vehicle 1 is moved forward (traveling in the + Y direction) or backward (traveling in the ⁇ Y direction) by switching gears or the like. Can be done. You can also turn left or right by steering.
  • the communication control device 400 is mounted on the vehicle 1, for example, and controls the communication devices 96a, 96c, 96d, 96e, 96f.
  • the communication control device 400 performs control such as displaying various information on the communication control device 400 according to the input of the user. The details will be described later.
  • FIG. 25 is a diagram showing an example of the hardware configuration of the communication control device 400 according to the third embodiment.
  • the communication control device 400 includes a CPU (Central Processing Unit) 221, a ROM (Read Only Memory) 222, a RAM (Random Access Memory) 23, and an auxiliary storage device 224. It includes a device 225, a display device 226, an external I / F 227, and a speaker I / F 228.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 221 comprehensively controls the operation of the communication control device 400 by executing the program, and realizes various functions of the communication control device 400. Various functions of the communication control device 400 will be described later.
  • the ROM 222 is a non-volatile memory and stores various data (information written at the manufacturing stage of the communication control device 400) including a program for activating the communication control device 400.
  • the RAM 223 is a volatile memory having a working area of the CPU 221.
  • the auxiliary storage device 224 stores various data such as a program executed by the CPU 221.
  • the auxiliary storage device 224 is composed of, for example, an HDD (Hard Disk Drive) or the like.
  • the input device 225 is a device for an occupant using the communication control device 400 (here, a person who operates the communication device, etc.) to perform various operations.
  • the input device 225 is composed of, for example, a touch panel or a hardware key.
  • the display device 226 is a display unit that displays various information including icons and seating plans.
  • the display device 226 is configured by, for example, a liquid crystal display, and the input device 225 and the display device 226 may be integrally configured in the form of, for example, a touch panel.
  • the external I / F227 is an interface for connecting (communication) with an external device such as a communication device 96a, 96c, 96d, 96e, 96f, and is communicating on, for example, LIN (Local Interconnect Network).
  • LIN Local Interconnect Network
  • the speaker I / F228 is a device for outputting a ringtone when receiving a transmitted icon and a seat.
  • the light emitting device 229 is a light emitting unit for sequentially lighting the communication device corresponding to the transmitted seat so that the light emitting device approaches the transmitted seat.
  • the light emitting device 229 is composed of, for example, an LED (Light Emitting Diode) or the like.
  • FIG. 25B is a cross-sectional view showing the structure of the display device 226 of the communication control device according to the third embodiment.
  • the display device 226 is arranged along the operation surface 226A which can be contacted with at least a finger, the sheet 226B arranged along the operation surface 226A on the lower surface side of the operation surface 226A, and the operation surface 226A on the lower surface side of the sheet 226B.
  • a light emitting circuit (display circuit) 226C capable of emitting visible light (predetermined light) and an operation surface 226A and a light emitting circuit 226C are arranged along the operation surface 226A and the light emitting circuit 226C. It includes at least a touch panel circuit (detection circuit) 226D capable of detecting finger movements.
  • the sheet 226B may be attached to the touch panel circuit 226D with double-sided tape or an adhesive, or may be printed directly.
  • the light emitting circuit 226C is an organic EL (Electroluminescence) display circuit or a liquid crystal display circuit provided with a backlight.
  • the sheet 226B and the touch panel circuit 226D have transparency, and transmit the light emitted by the light emitting circuit 226C.
  • an ultrasonic surface acoustic wave, a resistance film, or a capacitive touch panel is used for example.
  • FIG. 26 is a diagram showing an example of the functional configuration of the communication control device according to the third embodiment.
  • the communication control device 400 has a control unit 31, a storage memory 32, and a working memory 33.
  • the control unit 31 has an icon display control unit 31A, an icon selection unit 31B, a seat display control unit 31C, a seat selection unit 31D, a transmission control unit 31E, a reception control unit 31F, and a light emission control unit 31G.
  • the icon display control unit 31A has a control function for displaying at least one icon used for occupant communication on the display unit.
  • the at least one icon used for the communication of the occupant is the icon data 32A stored in the storage memory 32.
  • the icon display control unit 31A may have a function of activating the icon data 32A used for communication on the display unit.
  • the icon data 32A used for communication when the icon data 32A is displayed on the display unit after the communication control device 400 is activated, the icon data 32A may be set by default.
  • FIG. 27 (a) an example of the icon is shown in FIG. 27 (a).
  • the upper part of the table describes the meaning of what the icon indicates, and the lower part shows the icon indicating the meaning of the upper part.
  • control function for displaying the icon on the display unit is to display the icon data 32A on the display unit or from the icon of the icon data 32A displayed on the display unit by the icon selection unit 31B according to the input of the user. It is a control function that displays the selected icon selection data 33A.
  • the icon selection unit 31B has a function of selecting one icon from at least one icon according to the input of the user. When the user wants to send an icon to another occupant, the user selects one icon from at least one icon.
  • the icon to be selected is the icon data 32A stored in the storage memory 32, and the selected icon is stored in the icon selection data 33A stored in the work memory 33.
  • the seat display control unit 31C has a control function of displaying a seating plan indicating the position of the seat on the display unit.
  • the seating plan indicating the position of the seat is the seating plan 32C stored in the storage memory 32.
  • FIG. 27B shows an example of a seating plan showing the positions of seats.
  • the seating plan consists of seat rows and seat data, and here is an example of a vehicle consisting of three rows. These are merely examples, and the seating plans of the present disclosure include seating plans other than those shown in FIG. 27 (b).
  • the seat selection unit 31D has a function of selecting a seat to which the icon selected by the icon selection unit is transmitted from the seating plan according to the input of the user.
  • the seat to which the icon is transmitted is the seat data 32B stored in the storage memory 32, and the selected seat is stored in the seat selection data 33B stored in the work memory 33. Further, the seat of the transmission source transmitted by the user is stored in the seat selection data 33B.
  • the transmission control unit 31E has a control function of transmitting an icon to the communication device corresponding to the seat selected by the seat selection unit 31D.
  • the selected seat is the seat selection data 33B stored in the working memory 33
  • the icon to be transmitted is the icon selection data 33A stored in the working memory 33.
  • the reception control unit 31F has a control function for receiving an icon to the communication device corresponding to the seat transmitted by the transmission control unit 31E.
  • the transmitted seat is the seat selection data 33B stored in the working memory 33
  • the received icon is the icon selection data 33A stored in the working memory 33.
  • the light emitting control unit 31G has a light emitting control function in which the light emitting unit is sequentially turned on so as to approach the transmitted seat toward the communication device corresponding to the seat transmitted by the transmission control unit 31E.
  • the transmitted seat and the transmitted seat are seat selection data 33B stored in the working memory 33, and the light emission that is sequentially lit is lighting control by the light emitting presence / absence data 33D stored in the working memory 33. Will be done.
  • FIG. 28 is a flowchart showing an example of a procedure for transmitting icon selection data 33A executed by the control unit 230 of the present embodiment.
  • the icon display control unit 31A and the seat display control unit 31C delete the icon selection data 33A, the seat selection data 33B including the transmission / reception destination, the seating plan data 33C, and all the data (step S501). When all the data are deleted, the process proceeds to step S502.
  • step S502 the reception control unit 31F determines whether or not there is reception data for receiving the icon selection data 33A to the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E. If it is determined that there is received data (step S502: No), the process proceeds to reception processing S503. Details of the function of the reception process S503 possessed by the control unit 230 will be described later in FIG. 32. If it is determined that there is no received data (step S502: Yes), the process proceeds to step S504.
  • step S504 the icon display control unit 31A determines whether or not the user has touched the display unit. If it is determined that the user has not touched the display unit (step S504: No), the process returns to step S502. If it is determined that the user has touched the display unit (step S504: Yes), the process proceeds to step S505.
  • step S505 the icon display control unit 31A displays the icon data 32A in order to select one icon selection data 33A from at least one icon data 32A according to the input of the user.
  • the process proceeds to step S506.
  • step S506 it is determined whether or not to change the type of icon data 32A that the user wants to transmit.
  • step S506: Yes the process proceeds to step S507.
  • step S507 the icon display control unit 31A changes the type of the icon data 32A and proceeds to step S506. If the user determines that the type of the icon data 32A is not changed (step S506: No), the process proceeds to step S508.
  • step S508 it is determined whether the icon selection unit 31B has selected one icon selection data 33A from at least one icon data 32A in response to the user's input. If it is determined that the user has not selected the icon data 32A (step S508: No), the process proceeds to step S509.
  • step S509 the icon display control unit 31A determines whether or not a predetermined time has elapsed after touching the display unit. If it is determined that the predetermined time has elapsed (step S509: Yes), the process of transmitting the icon selection data 33A is completed without the user transmitting the icon selection data 33A. If it is determined that the predetermined time has not elapsed (step S509: No), the process proceeds to step S505. If it is determined that the user has selected the icon data 32A (step S508: Yes), the process proceeds to step S510.
  • step S510 the icon display control unit 31A performs a process of erasing icon data 32A other than selecting one icon selection data 33A from at least one icon data 32A in response to user input.
  • the process proceeds to step S511.
  • step S511 the seat display control unit 31C controls to display the seating plan 32C indicating the position of the seat on the display unit.
  • the process proceeds to step S512.
  • step S512 whether or not the seat selection unit 31D selects the seat data 32B to which the icon selection data 33A selected by the icon selection unit 31B is transmitted from the seating plan 32C according to the input of the user. To judge. If it is determined that the seat data 32B has not been selected (step S512: No), the process proceeds to step S513.
  • step S513 the seat selection unit 31D determines whether or not a predetermined time has elapsed after touching the display unit. If it is determined that the predetermined time has elapsed (step S513: Yes), the process of transmitting the icon selection data 33A is completed without the user transmitting the icon selection data 33A. If it is determined that the predetermined time has not elapsed (step S513: No), the process proceeds to step S512. If it is determined that the seat data 32B has been selected (step S512: Yes), the process proceeds to step S514.
  • step S514 the seat selection unit 31D selects the seat selection data 33B to which the icon selection data 33A selected by the icon selection unit is transmitted from the seating plan data 33C in response to the user's input.
  • the process of erasing the seat data 32B is performed. When the seats other than the selected seats are erased, the process proceeds to step S515.
  • step S515 the transmission control unit 31E performs a process of transmitting the icon selection data 33A to the communication device corresponding to the seat selection data 33B selected by the seat selection unit 31D.
  • the process of transmitting the icon selection data 33A to the communication device corresponding to the selected seat selection data 33B proceeds to step S516.
  • step S5166 the light emitting unit 31G transmits to the light emitting unit arranged between the communication devices toward the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E.
  • a process of sequentially lighting the seats so as to approach the seat selection data 33B is performed.
  • the icon executed by the control unit 230 is executed. The process of transmitting the selection data 33A is completed.
  • a center display provided in the instrument panel in the vehicle will be described as an example.
  • the screen 260 is a screen displayed on a display unit displayed in front of the occupant of the front seat, and the display unit will be described as an example of a center display provided in the instrument panel of the vehicle. Further, the screen 260 may be a screen displayed between the front of the occupant in the front seat.
  • the screen 260 consists of a liquid crystal panel and an electrostatic touch panel.
  • the screen 260A mainly displays information about infotainment, for example, the screen 260C in the screen 260A displays information about music, the screen 260D displays information about the icon 261 about communication, and the screen 260E displays information about the vehicle.
  • the screen 260B mainly displays information necessary for driving such as navigation. Further, in the present disclosure, since it is assumed that the driver is driving a vehicle with a right-hand drive, in the screen 260, the area of the screen 260A far from the driver's seat is information about infotainment and the screen near the driver's seat. Information necessary for driving is displayed on the 260B. By displaying the information necessary for driving on the screen 260B, the driver reduces the movement of the line of sight and does not interfere with the driving.
  • an icon 261 is displayed in the screen 260D (display unit), and when the icon display control unit 31A touches the icon 261 on the screen 260D (display unit), the figure is shown.
  • the screen transitions to 29 (c).
  • an icon (262,263,264) is displayed in the screen 260A (display unit), and at least one icon (262,263,264) is displayed according to the input of the user.
  • the icon display control unit 31A has an icon (262,263,264) (icon) in the screen 260A (display unit).
  • Data 32A) is displayed.
  • Seats (265,266,267,268) are displayed in the screen 260A (display unit), and the seat display control unit 31C indicates the seat position (265,266,267,268) (seat table).
  • 32C and seat data 32B) are displayed on the screen 260A (display unit).
  • the icon (262,263,264) (icon data 32A) and the seat (265,266,267,268) (seat chart 32C and seat data 32B) are displayed on the screen 260A (display unit), the figure is shown. Transition to 29 (d).
  • an icon (262,263,264) (icon data 32A) and a seat (265,266,267,268) (seat table 32C and a seat) are displayed on the screen 260A (display unit).
  • Data 32B) is displayed.
  • the icon selection unit 31B selects one icon 263 (icon selection data 33A) from at least one icon (262,263,264) (icon data 32A) according to the input of the user.
  • the seat selection unit 31D selects the icon 263 (the icon 263 (seat table 32C and the seat data 32B) selected by the icon selection unit 31B from the seats (265, 266, 267, 268) (seat table 32C and seat data 32B) according to the input of the user. Slide your finger toward the seat 66 (seat selection data 33B) to which the icon selection data 33A) is transmitted.
  • the transmission control unit 31E performs a process of transmitting the icon 263 (icon selection data 33A) to the communication device corresponding to the seat 66 (seat selection data 33B) selected by the seat selection unit 31D. After the transmission process is completed, the transition to FIG. 29 (e) occurs.
  • the icon 263 (icon selection data 33A) is displayed on the screen 260A (display unit).
  • the seat display control unit 31C displays the transmitted seat position 66 (seat selection data 33B) on the screen 260A (seat selection data 33B) according to the transmitted seat 266 (seat selection data 33B).
  • the seat position 66 (seat selection data 33B) transmitted may be displayed in the vicinity of the icon 263 (seat selection data 33A).
  • the screen 71 is mainly provided on the trim near the occupant of the rear seat, and is, for example, a screen displayed on the display unit on the inner wall of the vehicle.
  • the screen 71 is composed of a liquid crystal panel and an electrostatic touch panel, and a decorative film may be provided on the surface layer thereof.
  • a wood grain decorative film it is an example provided with a wood grain decorative film.
  • the decorative film of the present embodiment may be a thin slice of wood or a resin material printed with wood grain.
  • the screen 71 may be provided on the trim near the occupant of the front seat.
  • FIG. 30B when the icon display control unit 31A determines whether or not the user has touched the screen 71 (display unit) and determines that the user has touched the screen 71 (display unit), FIG. Transition to 30 (c).
  • an icon (72, 73, 74) (icon data 32A) is displayed in the screen 71 (display unit).
  • the screen 71 (display unit) is displayed.
  • the icon display control unit 31A displays the icon (72,73,74) (icon data 32A).
  • the icon selection unit 31B selects one icon 72 (icon selection data 33A) from at least one icon (72, 73, 74) (icon data 32A) in response to user input, FIG. 30 (d) ).
  • the icon 72 (icon selection data 33A), the seating plan 75 (seat table 32C), and the seating plan 75 (seat table 32C).
  • the seats (75A, 75B, 75C, 75D, 75E) (seat data 32B) are displayed.
  • the seat selection unit 31D sends the icon 72 (icon selection data 33A) selected by the icon selection unit 31B from the seating plan 75 (seat table 32C) to the seat 75D (seat) according to the user's input. Touch the selection data 33B) with your finger.
  • the transmission control unit 31E performs a process of transmitting the icon 72 (icon selection data 33A) to the communication device corresponding to the seat 75D (seat selection data 33B) selected by the seat selection unit 31D.
  • seat 75C indicates the sender's seat.
  • FIG. 31 is another embodiment of the screen transition of the user who processes the icon in the display unit of the communication device of FIG. 30.
  • the screen 81 is mainly provided on the trim near the occupant of the rear seat, and is, for example, a screen displayed on the display unit on the inner wall of the vehicle.
  • the screen 81 is composed of a liquid crystal panel and an electrostatic touch panel, and a decorative film may be provided on the surface layer thereof.
  • a wood grain decorative film it is an example provided with a wood grain decorative film.
  • the decorative film of the present embodiment may be a thin slice of wood or a resin material printed with wood grain.
  • an icon (82, 83, 84) (icon data 32A) is displayed in the screen 81 (display unit).
  • the screen 81 (display unit) is displayed.
  • the icon display control unit 31A displays the icon (82,83,84) (icon data 32A).
  • the icon (82,83,84) (icon data 32A) is displayed on the screen 81 (display unit).
  • the icon selection unit 31B selects one icon 82 (icon selection data 33A) from at least one icon (82,83,84) (icon data 32A) in response to user input, FIG. 31 (c) ).
  • the seating plan 85 (seat table 32C) in the screen 81 (display unit) and the seats (85A, 85B, 85C, 85D, 85E) in the seating plan 85 (seat table 32C).
  • the seat selection unit 31D sends the icon 82 (icon selection data 33A) selected by the icon selection unit 31B from the seating plan 85 (seat table 32C) according to the user's input to the seat 85D (seat).
  • the finger is slid from the source seat 86C (seat selection data 33B) toward the selection data 33B).
  • the transmission control unit 31E performs a process of transmitting the icon 82 (icon selection data 33A) to the communication device corresponding to the seat 85D (seat selection data 33B) selected by the seat selection unit 31D.
  • the communication control device 400 selects an icon selected by the icon selection unit 31B from the seat data 32B in the seating plan 32C in response to the input of the user. It includes a seat selection unit 31D for selecting seat selection data 33B to which data 33A is transmitted, and a transmission control unit 31E for transmitting an icon to a communication device corresponding to the seat selection data 33B selected by the seat selection unit 31D.
  • the transmission control unit 31E can facilitate communication between the occupants without using voice by transmitting the icon selection data 33A to the seat selection data 33B.
  • the screen 260A display unit
  • the screen 260B display unit
  • driving is performed.
  • the person can reduce the movement of the line of sight and facilitate non-voice communication with the occupants in the back seat without disturbing the driving.
  • the screen (71, 81) (display unit) that displays the communication information of the rear seats is provided on the trim near the occupants of the rear seats, so that the occupants can easily operate and select the icon or seat. Since the communication does not depend on text or voice, it contributes to the smooth communication of the occupants. Further, since the screens (71, 81) (display unit) are provided with a decorative film on the surface layer, when the screen is off, the sense of unity in the vehicle is further increased, which contributes to the design. Furthermore, when transmitting an icon, sliding the finger from one's seat toward the seat to be transmitted makes the operation easier and contributes to the operability of the occupant.
  • FIG. 32 is a flowchart showing an example of a procedure for receiving an icon executed by the control unit 230 of the present embodiment.
  • the reception control unit 31F determines whether or not there is information for receiving the icon selection data 33A to the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E (step S901). If it is determined that there is no received information (step S901: No), the process of receiving the icon selection data 33A is terminated without receiving the icon selection data 33A. If it is determined that there is received information (step S9011: Yes), the process proceeds to step S902.
  • step S902 the seat display control unit 31C displays the seat position on the display unit, including the transmitted seat selection data 33B and the transmitted seating plan data 33C, according to the transmitted seat selection data 33B. conduct.
  • the icon display control unit 31A performs a process of displaying the icon selection data 33A on the display unit according to the transmitted icon selection data 33A.
  • the processing for receiving the icon selection data 33A executed by the control unit 230 is completed (step S902).
  • the screen 301 is a screen mainly displayed on the display unit displayed in front of the passengers in the front seats, and the display unit is a center provided in the instrument panel of the vehicle.
  • the driver's seat is described as an example on the right side.
  • the screen 301A far from the driver's seat displays the information of the icon (102, 103) related to communication
  • the screen 301B near the driver's seat displays the information necessary for driving. ..
  • the driver reduces the movement of the line of sight and does not interfere with the driving.
  • the seat display control unit 31C displays the seat position (seat selection data 33B) including the transmitted seat selection data 33B and the transmitted seating plan data 33C according to the transmitted seat selection data 33B. Performs the process of displaying on the display unit).
  • the icon display control unit 31A performs a process of displaying the icon (102, 103) (icon selection data 33A) on the screen 301A (display unit) according to the transmitted icon (102, 103) (icon selection data 33A). conduct.
  • the process of receiving the icon selection data 33A executed by the control unit 230 is completed.
  • the icon 302 is the icon selection data 33A transmitted from the seat D
  • the icon 303 displays a plurality of the icon selection data 33A transmitted from the seat C, which means that a large number of the icon selection data 33A are transmitted.
  • the icon selection data 33A may be displayed in an overlapping manner.
  • the screen 304 is mainly provided on the trim near the occupant of the rear seat, and is, for example, a screen displayed on the display unit on the inner wall of the vehicle.
  • the screen 304 is composed of a liquid crystal panel and an electrostatic touch panel, and a decorative film may be provided on the surface layer thereof.
  • a wood grain decorative film it is an example provided with a wood grain decorative film.
  • the decorative film of the present embodiment may be a thin slice of wood or a resin material printed with wood grain.
  • the screen 304 may be provided on the trim near the occupant of the front seat.
  • the screen 304 there are seats (106A, 106B, 106C, 106D, 106E) in the icon 305 (icon selection data 33A), the seating plan 306 (seat table data 33C), and the seating plan 306 (seat table data 33C).
  • (Seat selection data 33B) is displayed.
  • the seat display control unit 31C transmits the transmitted seat 306C, seat 306D (seat selection data 33B) and the transmitted seating plan 306 (seat table data 33C) according to the transmitted seat 306C and seat 306D (seat selection data 33B).
  • a process of displaying the seat position (seat selection data 33B) including the seat position (seat selection data 33B) on the screen 304 (display unit) is performed.
  • the icon display control unit 31A performs a process of displaying the icon 305 (icon selection data 33A) on the screen 304 (display unit) according to the transmitted icon 305 (icon selection data 33A).
  • the process of receiving the icon selection data 33A executed by the control unit 230 is completed.
  • the communication control device 400 includes a reception control unit 31F that receives an icon to the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E.
  • the seat display control unit 31C displays the transmitted seat position (seat selection data 33B) on the display unit according to the transmitted seat selection data 33B
  • the icon display control unit 31A displays the transmitted icon selection data 33A on the transmitted icon selection data 33A. Accordingly, the icon selection data 33A is displayed on the display unit.
  • the reception control unit 31F can facilitate communication between the occupants without using voice by displaying the transmitted seat position (seat selection data 33B) and the icon selection data 33A.
  • FIG. 34 is a flowchart showing an example of the procedure of the process of returning the icon executed by the control unit 230 of the present embodiment.
  • the icon display control unit 31A determines whether or not the user has touched the display unit (step S1101). If it is determined that the user has not touched the display unit (step S1101: No), the process of returning the icon selection data 33A without returning the icon selection data 33A ends. If it is determined that the user has touched the display unit (step S1101: Yes), the process proceeds to step S1102.
  • step S1102 the icon display control unit 31A displays the icon data 32A in order to select one icon selection data 33A from at least one icon data 32A according to the input of the user.
  • the process proceeds to step S1103.
  • step S1103 it is determined whether or not to change the type of icon data 32A that the user wants to transmit.
  • step S1103: Yes the process proceeds to step S1104.
  • step S1104 the icon display control unit 31A changes the type of the icon data 32A and proceeds to step S1103. If the user determines that the type of the icon data 32A is not changed (step S1103: No), the process proceeds to step S1105.
  • step S1105 it is determined whether the icon selection unit 31B has selected one icon data 32A from at least one icon data 32A according to the input of the user. If it is determined that the user has not selected the icon data 32A (step S1105: No), the process proceeds to step S1106.
  • step S1106 the icon display control unit 31A determines whether or not a predetermined time has elapsed after touching the display unit. When it is determined that the predetermined time has elapsed (step S1106: Yes), the process of transmitting the icon selection data 33A is completed without the user transmitting the icon selection data 33A. If it is determined that the predetermined time has not elapsed (step S1106: No), the process proceeds to step S1102. If it is determined that the user has selected the icon data 32A (step S1105: Yes), the process proceeds to step S1107.
  • step S1107 the transmission control unit 31E performs a process of transmitting the icon selection data 33A to the communication device corresponding to the latest source seat selection data 33B obtained by the reception control unit 31F.
  • the process of transmitting the icon selection data 33A to the communication device corresponding to the selected seat selection data 33B proceeds to step S1108.
  • step S1108 the light emitting unit 31G transmits to the light emitting unit arranged between the communication devices toward the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E.
  • a process of sequentially lighting the seats so as to approach the seat selection data 33B is performed.
  • the icon executed by the control unit 230 is executed. The process of returning the selection data 33A is completed.
  • the screen 320 is a screen mainly displayed on the display unit displayed in front of the passengers in the front seats, and the display unit is a center provided in the instrument panel of the vehicle.
  • the driver's seat is described as an example on the right side.
  • the screen 320A far from the driver's seat displays information on the communication icons (121, 122), and the screen 320B near the driver's seat displays information necessary for driving. ..
  • the driver reduces the movement of the line of sight and does not interfere with the driving.
  • the seat display control unit 31C displays the seat position (seat selection data 33B) including the transmitted seat selection data 33B and the transmitted seating plan data 33C according to the transmitted seat selection data 33B. Performs the process of displaying on the display unit).
  • the icon display control unit 31A displays the icon (121, 122) (icon selection data 33A) on the screen 320A (display unit) according to the transmitted icon (121, 122) (icon selection data 33A). This is the screen after the operation, that is, the screen after receiving the icon (121, 122) (icon selection data 33A).
  • the icon display control unit 31A determines whether or not the user has touched the screen 320 (display unit), the transition to FIG. 35 (b) occurs. In this embodiment, the user is touching the icon 121 of the seat D.
  • the screen 320A displays an icon (323,324,325) and a seat
  • the icon selection unit 31B responds to a user's input by at least one icon (display unit).
  • One icon 323 is selected from 323, 324, 325) (icon data 32A).
  • the transmission control unit 31E performs a process of transmitting the icon 323 (icon selection data 33A) to the communication device corresponding to the seat D (seat selection data 33B) selected by the seat selection unit 31D. After the transmission process is completed, the transition to FIG. 35 (c) occurs.
  • the icon 323 (icon selection data 33A) is displayed on the screen 320A (display unit).
  • the seat display control unit 31C displays the transmitted seat position D (seat selection data 33B) on the screen 320A (seat selection data 33B) according to the transmitted seat D (seat selection data 33B).
  • the seat position D (seat selection data 33B) transmitted may be displayed in the vicinity of the icon 323 (seat selection data 33A).
  • FIG. 36 describes the screen transition when the icon is transmitted by the seat C and the seat D receiving the icon returns to the seat C.
  • the screen 331 is mainly provided on the trim near the occupant of the rear seat, and is displayed on the display unit on the inner wall of the vehicle, for example.
  • the screen 331 is composed of a liquid crystal panel and an electrostatic touch panel, and a decorative film may be provided on the surface layer thereof. In this embodiment, it is an example provided with a wood grain decorative film. Further, the decorative film of the present embodiment may be a thin slice of wood or a resin material printed with wood grain. Further, the screen 331 may be provided on the trim near the occupant of the front seat.
  • the screen 331 has an icon 332 (icon data 32A), a seating plan 333 (seat table data 33C), and a seat (333A) in the seating plan 333 (seat table data 33C).
  • 333B, 333C, 333D, 333E) (seat selection data 33B) is displayed.
  • the seat display control unit 31C transmits the transmitted seat 333C, seat 333D (seat selection data 33B) and the transmitted seating plan 333 (seat table data 33C) according to the transmitted seat 333C and seat 333D (seat selection data 33B).
  • the process of displaying the seat position including the seat position on the screen 331 (display unit) is performed.
  • the screen 331 transitions to FIG. 36 (c) when the icon display control unit 31A determines whether or not the user has touched the screen 320 (display unit). In this embodiment, the user is touching the screen 331.
  • an icon (334,335,336) is displayed on the screen 331 (display unit), and the icon selection unit 31B responds to a user's input by at least one icon (334,335). , 336) (icon data 32A), one icon 334 (icon selection data 33A) is selected.
  • the transmission control unit 31E performs a process of transmitting the icon 334 (icon selection data 33A) to the communication device corresponding to the seat 333C (seat selection data 33B) selected by the seat selection unit 31D. After the transmission process is completed, the transition to FIG. 36 (d) occurs.
  • the icon 334 (icon selection data 33A), the seating plan 333 (seat table data 33C), and the seating plan 333 (seat table data 33C) are displayed on the screen 331 (display unit).
  • the communication control device 400 receives the input of the user and the seat to which the icon 334 (icon selection data 33A) selected by the icon selection unit 31B is transmitted.
  • a transmission control unit 31E for transmitting an icon to a communication device corresponding to the position (seat selection data 33B) is provided.
  • the communication device that has received the icon selection data 33A can transmit the icon selection data 33A to the seat selection data 33B, thereby facilitating communication between the occupants without using voice.
  • FIG. 37 shows a method and order in which the light emitting control unit 31G of the communication control device 400 lights up the light emitting unit of the light emitting device 229 when the selected icon is transmitted corresponding to the selected seat in response to the input of the user. Will be explained.
  • the lighting method and order of the light emitting unit when the occupant of the seat 142C transmits the icon selection data 33A to the occupant of the seat 142D will be described.
  • the vehicle 141 is a schematic view of the vehicle viewed from above, and the seats (142A, 142B, 142C, 142D, 142E) and the communication device (143A, 143B, Between the 143C, 143D, 143E) and the communication device (143A, 143B, 143C, 143D, 143E), the light emitting device (144a, 144b, 144c, 144d, 144e, 144f, 144g, 144h, 144i, 144j). And prepare.
  • FIG. 37A is a state before the occupant of the seat 142C transmits the icon selection data 33A to the occupant of the seat 142D.
  • the light emitting portion of the light emitting device (144a, 144b, 144c, 144d, 144e, 144f, 144g, 144h, 144i, 144j) may be provided on the inner wall of the vehicle and may be provided with a decorative film on the surface layer thereof.
  • the decorative film may be a thin slice of wood or a resin material printed with wood grain.
  • the light emitting device (144a, 144b, 144c, 144d, 144e, 144f, 144g, 144h, 144i, 144j) shown in FIG. 37A is used by the occupant of the seat 142C with respect to the occupant of the seat 142D.
  • the state after transmitting the selection data 33A will be described with reference to FIG. 37 (b).
  • the occupant of the seat 142C is the seat 142D.
  • the light emitting device (144A, 144B, 144C, 144F, 144G, 144H, 144I, 144J) was switched to, which indicates that the light emitting device was turned on.
  • the light emitting device 144C, the light emitting device 144B, the light emitting device 144A, the light emitting device 144F, the light emitting device 144G, the light emitting device 144H, the light emitting device 144I, and the light emitting device 144J are turned on in this order.
  • a light emitting device (144A, 144B, 144C, 144d, 144e, 144F, 144G, 144H, 144I, 144J) provided between the seat 142C and the seat 142D lights up in the + Y direction of the vehicle starting from the light emitting device 144C. , Lights up from the light emitting device 144A toward the light emitting device 144F along the + X direction of the vehicle, then lights up in the ⁇ Y direction of the vehicle, and sequentially ends at the light emitting device 144J. Light.
  • the selected icon selection data 33A and the seat selection data 33B are transmitted by the light emitting unit toward the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E.
  • the lights are sequentially lit so as to approach from the seat selection data 33B.
  • the light emitting unit passes in front of the occupant's line of sight in the traveling direction of the vehicle and flows toward the designated seat, which contributes to the visibility of the communication device.
  • the display unit further includes a light emitting unit, the light emitting unit is arranged between each of the communication devices, and the seat selection unit transmitted by the transmission control unit 31E.
  • a light emitting control unit 31G that sequentially lights up toward the communication device corresponding to the data 33B so as to approach the transmitted seat selection data 33B is provided.
  • the light emitting unit is sequentially turned on so as to approach the communication device corresponding to the seat selection data 33B transmitted by the transmission control unit 31E, so that not only the occupant who receives the data but also the occupant who is on board can be lit.
  • Sending and receiving icons is in the line of sight and contributes to the activation of communication between occupants.
  • the program executed by the communication control device of this embodiment is provided by being incorporated in a ROM or the like in advance.
  • the program executed by the communication control device of the present embodiment is a file in an installable format or an executable format on a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versaille Disc). It may be configured to be recorded and provided on a readable recording medium.
  • the program executed by the communication control device of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the communication control device of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
  • the communication control device 400 is mounted on the vehicle 1 having four wheels, but the present invention is not limited to this.
  • the communication control device can be mounted on a moving body having seats in multiple rows in the front-rear direction, such as a bus, an airplane, or a railroad.
  • A-1) The first wheel and The second wheel and A roof portion that is coupled to the first wheel and the second wheel, is movable in a predetermined traveling direction by the first wheel and the second wheel, covers the passenger compartment, and has an outer surface and an inner surface.
  • a movement detection unit set to detect the movement of the vehicle body in the predetermined traveling direction, and a movement detection unit. It has a lighting unit arranged on the inner surface of the roof portion, and has.
  • the lighting unit has at least a first light emitting unit, a second light emitting unit, and a third light emitting unit.
  • the first light emitting unit, the second light emitting unit, and the third light emitting unit are arranged on the inner surface of the roof portion along the predetermined traveling direction, and move along the traveling direction of the vehicle body. The light emission state changes accordingly, vehicle.
  • the first light emitting unit, the second light emitting unit, and the third light emitting unit change their light emitting states in accordance with the movement of the vehicle body along the traveling direction and the map information.
  • the vehicle according to (A-1) The vehicle according to (A-1).
  • a wireless communication unit set to receive the map information from the outside is provided.
  • the imaging range of the imaging unit includes a space away from the outer surface of the roof unit with respect to the ground on which at least one of the first wheel and the second wheel is in contact with the ground.
  • the light emitting state of the first light emitting unit, the second light emitting unit, and the third light emitting unit changes according to the movement of the vehicle body along the traveling direction and the image captured by the imaging unit.
  • the first light emitting unit, the second light emitting unit, and the third light emitting unit emit light in correspondence with the movement of the vehicle body along the traveling direction and the image captured by the imaging unit before a predetermined time.
  • the predetermined time changes according to the moving speed of the vehicle in a predetermined direction.
  • the image pickup unit is arranged in the front upper part of the vehicle interior.
  • the vehicle according to any one of (A-4) to (A-6).
  • Each of the first light emitting unit, the second light emitting unit, and the third light emitting unit emits light of a plurality of colors, any one of (A-1) to (A-7). Vehicles listed in.
  • the light emitting patterns of the first light emitting unit, the second light emitting unit, and the third light emitting unit are The vehicle according to any one of (A-1) to (A-9), which changes to flow in the direction opposite to the traveling direction in response to the movement of the vehicle body along the traveling direction.
  • (A-11) Detection result of the movement detection unit set to detect the movement of the vehicle body having the roof portion which is coupled to the first wheel and the second wheel and covers the vehicle interior and has an outer surface and an inner surface in the predetermined traveling direction. And the acquisition department to acquire A control unit that controls the light emission states of at least the first light emitting unit, the second light emitting unit, and the third light emitting unit, which are arranged in a row on the inner surface of the roof portion along the predetermined traveling direction. A vehicle control unit equipped with.
  • the control unit changes the light emitting state with respect to the first light emitting unit, the second light emitting unit, and the third light emitting unit in accordance with the movement of the vehicle body along the traveling direction and the map information.
  • the vehicle control device according to (A-11).
  • the acquisition unit can image the outside of the vehicle body, and the image pickup range is separated from the outer surface of the roof portion with reference to the ground on which at least one of the first wheel and the second wheel is in contact with the ground.
  • the image captured by the image pickup unit including the space is acquired, and the image is acquired.
  • the control unit corresponds to the movement of the vehicle body along the traveling direction with respect to the first light emitting unit, the second light emitting unit, and the third light emitting unit, and the image captured by the imaging unit.
  • the vehicle control device according to (A-11), wherein the light emitting state is changed.
  • the control unit imaged the movement of the vehicle body along the traveling direction with respect to the first light emitting unit, the second light emitting unit, and the third light emitting unit, and the image pickup unit took an image before a predetermined time.
  • the control unit is any one of (A-11) to (A-17) that causes each of the first light emitting unit, the second light emitting unit, and the third light emitting unit to emit light with monochromatic light.
  • the control unit emits light of each of the first light emitting unit, the second light emitting unit, and the third light emitting unit with light of a plurality of colors, from (A-11) to (A-17).
  • the vehicle control device according to any one of the above.
  • the control unit moves the light emission patterns of the first light emitting unit, the second light emitting unit, and the third light emitting unit in the direction opposite to the traveling direction in response to the movement of the vehicle body along the traveling direction.
  • the vehicle control device according to any one of (A-11) to (A-19), which is changed to flow.
  • (B-1) With the first wheel With the second wheel A vehicle body coupled to the first wheel and the second wheel and movable by the first wheel and the second wheel.
  • the seats of multiple occupants arranged on the vehicle body, A vehicle equipped with a communication device used for communication of the occupants.
  • An icon display control unit that controls the display of at least one icon used for occupant communication, and an icon display control unit.
  • An icon selection unit that selects one icon from the at least one icon according to the user's input.
  • a seat display control unit that controls the display of a seating plan indicating the position of the seat on the display unit, and a seat display control unit.
  • a seat selection unit that selects a seat to which the icon selected by the icon selection unit is transmitted from the seating plan according to the input of the user, and a seat selection unit.
  • a vehicle including a transmission control unit that transmits the icon to the communication device corresponding to the seat selected by the seat selection unit.
  • a reception control unit for receiving the icon to the communication device corresponding to the seat transmitted by the transmission control unit is provided.
  • the seat display control unit displays the transmitted seat position on the display unit according to the transmitted seat.
  • the communication device is arranged in each of the plurality of seats, and the communication device is arranged in each of the plurality of seats.
  • (B-4) The vehicle according to any one of (B-1) to (B-3), wherein the display unit includes at least a liquid crystal panel and an electrostatic touch panel.
  • the communication device is located between the front of each front seat and The vehicle according to (B-1) or (B-2), wherein the display unit is provided on the instrument panel of the vehicle.
  • the display unit further includes a light emitting unit.
  • the light emitting unit is arranged between each of the communication devices.
  • the light emitting portion is provided on the inner wall of the vehicle, and the light emitting portion is provided on the inner wall of the vehicle.
  • a vehicle body coupled to the first wheel and the second wheel and movable by the first wheel and the second wheel.
  • the seats of multiple occupants arranged on the vehicle body, A communication control device that can be mounted on a vehicle equipped with a communication device, which is arranged in each of the plurality of seats.
  • An icon display control unit that controls the display of at least one icon used for occupant communication, and an icon display control unit.
  • An icon selection unit that selects one icon from the at least one icon according to the user's input.
  • a seat display control unit that controls the display of a seating plan indicating the position of the seat on the display unit, and a seat display control unit.
  • a seat selection unit that selects a seat to which the icon selected by the icon selection unit is transmitted from the seating plan according to the input of the user, and a seat selection unit.
  • a communication control device including a transmission control unit that transmits the icon to the communication device corresponding to the seat selected by the seat selection unit.
  • a reception control unit for receiving the icon to the communication device corresponding to the seat transmitted by the transmission control unit is provided.
  • the seat display control unit displays the transmitted seat position on the display unit according to the transmitted seat.
  • the communication device is arranged in each of the plurality of seats, and the communication device is arranged in each of the plurality of seats.
  • the communication device is placed between each front seat and The communication control device according to (B-11) or (B-12), wherein the display unit is provided on the inner wall of the vehicle.
  • the display unit further includes a light emitting unit.
  • the light emitting unit is arranged between each of the communication devices.
  • the light emitting portion is provided on the inner wall of the vehicle, and the light emitting portion is provided on the inner wall of the vehicle.
  • Vehicle control device 1 Vehicle 2 Body 3 Wheels 6 Outside image pickup unit 7 Inside image pickup unit 20 Vehicle control device

Abstract

車両では、第1の車輪と、第2の車輪と、第1の車輪および第2の車輪に結合され、第1の車輪および第2の車輪によって移動可能な車体と、車外を撮像する第1の撮像部と、を備えた車両であって、撮像画像に基づき監視対象を設定し、監視開始条件に合致した場合、第1の撮像部による撮像画像に基づいて、監視対象が監視範囲に属するか否かを判断する監視処理を開始し、監視終了条件に合致した場合、前記監視処理を終了し、監視開始条件または監視終了条件は、車両の操作に関する条件を含む。

Description

車両および車両制御装置
 本開示は、車両および車両制御装置に関する。
 従来、施設内の捜索対象者の検索条件を設定し、当該検索条件に基づき、捜索対象者である可能性が高い人物を特定し、その人物を監視する技術が開示されている(例えば、特許文献1参照)。
特開2016―201758号公報
 本開示は、上記に鑑みてなされたものであって、車両における監視処理の開始または終了を適切に制御することを目的とする。
 本開示に係る車両は、第1の車輪と、第2の車輪と、第1の車輪および第2の車輪に結合され、第1の車輪および第2の車輪によって移動可能な車体と、車外を撮像する第1の撮像部と、を備えた車両であって、撮像画像に基づき監視対象を設定し、監視開始条件に合致した場合、第1の撮像部による撮像画像に基づいて、監視対象が監視範囲に属するか否かを判断する監視処理を開始し、監視終了条件に合致した場合、前記監視処理を終了し、監視開始条件または監視終了条件は、車両の操作に関する条件を含む。
図1は、本実施形態にかかる車両を模式的に示す平面図である。 図2は、本実施形態に係る車両制御装置のハードウェア構成の一例を示す図である。 図3は、車両制御装置の機能的構成の一例を示す図である。 図4は、監視範囲の例を説明する図である。 図5は、監視範囲の設定処理手順を示すフローチャートである。 図6は、手動による監視対象設定処理手順を示すフローチャートである。 図7は、学習による監視対象設定処理手順を示すフローチャートである。 図8は、監視処理の制御手順を示すフローチャートである。 図9は、第2の実施形態に係る車両の概略構成を示す図である。 図10は、第2の実施形態における車室内の照明部の構成を示す図である。 図11は、第2の実施形態における撮像部及び照明部の構成を示す図である。 図12は、第2の実施形態における車両制御装置のハードウェア構成を示す図である。 図13は、第2の実施形態における車両制御装置の機能構成の一部を示す図である。 図14は、第2の実施形態における全体画像における画像取得エリアの位置を示す図である。 図15は、第2の実施形態における複数のタイミングの画像に応じた複数の発光部の空間的な変化を示す図である。 図16は、第2の実施形態における複数のタイミングの画像に応じた複数の発光部の時間的な変化を示す図である。 図17は、第2の実施形態における画像取得エリア内の複数の分割領域を示す図である。 図18は、第2の実施形態における発光部の輝度を決定する処理を示す図である。 図19は、第2の実施形態に係る車両の動作を示すフローチャートである。 図20は、第2の実施形態に係る車両の動作を示すフローチャートである。 図21は、第2の実施形態の第1の変形例における画像取得エリアの画像及びマップ情報に応じた複数の発光部の制御を示す図である。 図22は、第2の実施形態の第1の変形例に係る車両の動作を示すフローチャートである。 図23は、第2の実施形態の第2の変形例に係る車両の動作を示すフローチャートである。 図24は、実施形態3にかかるコミュニケーション制御装置を備える車両の一例を示す模式図である。 図25は、実施形態3にかかるコミュニケーション制御装置のハードウェア構成の一例を示す図である。 図26は、実施形態3にかかるコミュニケーション制御装置の機能構成の一例を示す図である。 図27は、実施形態3にかかるコミュニケーション制御装置の記憶メモリにあるアイコンと座席表と座席データを示す図である。 図28は、実施形態3にかかるコミュニケーション制御装置による送信処理の手順の一例を示すフローチャートである。 図29は、実施形態3にかかるコミュニケーション制御装置による送信処理の表示装置の表示の一例を示す図である。 図30は、実施形態3にかかるコミュニケーション制御装置による送信処理の表示装置の表示の一例を示す図である。 図31は、実施形態3にかかるコミュニケーション制御装置による送信処理の表示装置の表示の一例を示す図である。 図32は、実施形態3にかかるコミュニケーション制御装置による受信処理の手順の一例を示すフローチャートである。 図33は、実施形態3にかかるコミュニケーション制御装置による受信処理の表示装置の表示の一例を示す図である。 図34は、実施形態3にかかるコミュニケーション制御装置による返信処理の手順の一例を示すフローチャートである。 図35は、実施形態3にかかるコミュニケーション制御装置による返信処理の表示装置の表示の一例を示す図である。 図36は、実施形態3にかかるコミュニケーション制御装置による返信処理の表示装置の表示の一例を示す図である。 図37は、実施形態3にかかるコミュニケーション制御装置による発光処理の発光装置の表示の一例を示す図である。
 以下、図面を参照しながら、本開示にかかる車両および車両制御装置の実施形態について説明する。
(第1の実施形態)
 図1は、本実施形態にかかる車両1を模式的に示す平面図である。車両1は、車体2と、車体2の前後に配置された2対の車輪3(一対のフロントタイヤ3fおよび一対のリアタイヤ3r)とを備える。
 車両1は、所定方向に沿って配置された2対の車輪3を用いて走行することが可能である。この場合、2対の車輪3が配置される所定方向が車両1の移動方向となり、ギアの切り替え等により前進または後退することができる。
 また、車両1は、車両駆動部5と、車外撮像部6と、車外スピーカ30とを備える。車外撮像部6は、第1の撮像部の一例である。
 車両駆動部5は、車両1に搭載された駆動デバイスである。車両駆動部5は、例えば、エンジン、モータ、車輪3の駆動部などである。
 車外撮像部6は、車両の外部を撮像するカメラである。車外撮像部6Aは、車両1の前方部分に設けられる。車外撮像部6Aは、車両1の前方を撮像し、撮像画像を生成する。車外撮像部6Bは、車両1の後方部分に設けられる。車外撮像部6Bは、車両1の後方を撮像し、撮像画像を生成する。また、車外撮像部6Cおよび車外撮像部6Dは、例えば、車両1のドアミラー周囲に設けられる。車外撮像部6Cおよび車外撮像部6Dは、車両1の側方を撮像し、撮像画像を生成する。
 本実施形態では、車両1の車体2には、複数の車外撮像部6(車外撮像部6A~車外撮像部6D)が設けられている形態を一例として説明する。なお、これらの車外撮像部6は、車体2の外側を撮像可能な位置に配置されている。
 車外スピーカ30は、車両制御装置20と接続し、当該車両制御装置20から出力された音声信号に応じて音を出力する。車外スピーカ30は、車両1の車室外、例えばエンジンルームなどに設けられている。車外スピーカ30は、車両1の外部に音声出力する。
 車両1の車室内には、車両1の使用者である運転者が着座する座席4が設けられている。すなわち、座席4は運転席である。運転者は、座席4に着座した状態で、ハンドル11を操作したり、図示しないアクセルペダルおよびブレーキペダルを操作したりすることによって、車両1を操縦することが可能である。
 また、車両1の車室内には、車内撮像部7と、エンジンスイッチ10、シフトレバー12、パーキングブレーキ13、ドアロック装置14、車載表示装置15、および人検知センサ16、などが設けられている。
 車内撮像部7は、第2の撮像部の一例である。また、車内撮像部7は、車両の内部を撮像するカメラである。車内撮像部7は、車室内に設けられる。車内撮像部7は、例えば、同乗者が着座する後部座席8周囲を撮像する。車内撮像部7は、車両1の後部座席8周囲を撮像し、撮像画像を生成する。
 エンジンスイッチ10は、運転者が車両1のエンジン始動時に操作するスイッチである。エンジンスイッチ10は、イグニッションスイッチと称される場合がある。運転者によるエンジンスイッチ10の操作により、車両1がエンジン始動またはエンジン停止した状態となる。また、エンジンスイッチ10の操作により、車両1に搭載された電子機器への電力供給などが制御される。
 シフトレバー12は、運転者がシフトポジションを変更する時に操作するレバーである。シフトレバー12の可動範囲には、例えば、パーキングポジション、リバースポジション、ニュートラルポジション、およびドライブポジションが設けられている。
 シフトレバー12がパーキングポジションに位置する状態では、車両1のエンジンの動力が車輪3に伝達されない、所謂、駐車状態となる。シフトレバー12がリバースポジションに位置する状態では、車両1は後退可能な状態となる。シフトレバー12がドライブポジションに位置する状態では、車両1は前進可能な状態となる。
 パーキングブレーキ13は、車両1のブレーキ機構の1つである。パーキングブレーキ13は、運転者が手動で車両1の移動を停止させるための手動式の制御機構である。パーキングブレーキ13がかけられた状態では、車両1の移動が停止された状態となり、駐車状態である。パーキングブレーキ13が解除された状態では、車両1は移動可能な状態となる。
 ドアロック装置14は、車両1に設けられたドアをロック状態またはロック解除状態に切り替える装置である。例えば、車両1外部から車両用の鍵等により車両1のドアがロック状態またはロック解除状態に切り替えられる。
 車載表示装置15は、表示装置の一例である。車載表示装置15は、画像表示機能だけでなく、音声出力機能、入力機能などを備える。画像表示機能は、例えば、LCD(Liquid Crystal Display)や、OELD(Organic Electro-Luminescent Display)などである。音声出力機能は、例えば、車内用のスピーカである。なお、車載表示装置15は、ユーザによる操作入力を受け付ける機能を備えた、タッチパネルとして構成する。また、車載表示装置15は、ユーザによる操作入力を受け付けるスイッチなどをさらに備えた構成としてもよい。
 また、車載表示装置15は、位置情報取得機能や地図情報を用いた経路探索機能を有するナビゲーション装置を含んでもよい。
 人検知センサ16は、車体2の内側の人の有無を検知するセンサである。人検知センサ16は、例えば、赤外センサ、撮像画像の画像解析システム、重量による着座センサなどである。
 なお、車両1は、図1に図示しない通信装置や車両1のドアの開閉状態を検知する装置やイグニッションの状態を検知する装置を備えている。
 本実施形態では、車両1には、車両制御装置20が搭載されている。車両制御装置20は、車両1に搭載可能な装置である。車両制御装置20は、監視範囲および監視対象を設定し、監視対象が監視範囲を逸脱したか否かを判断する。ここで、監視対象とは、例えば、車両1に乗車した子供などである。車両制御装置20は、例えば、車両1の内部に設けられたECU(Electronic Control Unit)、もしくはOBU(On Board Unit)である。あるいは、車両制御装置20は、車両1のダッシュボード付近に設置された外付けの装置であってもよい。
 次に、車両制御装置20のハードウェア構成について説明する。図2は、本実施形態に係る車両制御装置20のハードウェア構成の一例を示す図である。図2に示すように、車両制御装置20は、インタフェース(I/F)21、CPU22、RAM23、ROM24、およびHDD(Hard Disk Drive)25を備える。インタフェース21、CPU22、RAM23、ROM24、およびHDD25は、バス26によって接続する。
 インタフェース21は、通信インタフェース、画像インタフェース、音声インタフェース、表示インタフェース、および入力インタフェースなどの各種インタフェースである。
 HDD25は、各種情報を記憶する。例えば、HDD25は、車外撮像部6および車内撮像部7から取得した撮像画像を記憶する。
 CPU22は、ROM24またはHDD25に保存されたプログラムを実行することにより、各種の処理を実行する。CPU22は、プロセッサの一例である。
 図3は、車両制御装置20の機能的構成の一例を示す図である。車両制御装置20で実行されるプログラムは、図3に示す監視範囲設定部201と、監視対象設定部202と、情報取得部203と、監視制御部204とを含むモジュール構成となっており、実際のハードウェアとしてはCPU22がROM24またはHDD25等の記憶装置からプログラムを読み出して実行することにより上記各部がRAM23等の主記憶装置上にロードされ、監視範囲設定部201と、監視対象設定部202と、情報取得部203と、監視制御部204とが主記憶装置上に生成される。
 また、車両制御装置20は、車外撮像部6、車内撮像部7、パーキングブレーキ13、ドアロック装置14、車載表示装置15、車外スピーカ30、通信装置40、イグニッション検知装置50およびドア開閉検知装置60と接続している。
 通信装置40は、例えばインターネットなどの通信網に接続するための通信デバイス等で構成された装置である。また、通信装置40は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または、有線による通信を行うワイヤー通信装置であってもよい。車両制御装置20は、通信装置40を介して、スマートフォンなどの端末装置と情報を送受信することができる。
 イグニッション検知装置50は、エンジンスイッチ10と接続し、イグニッションの状態を検知するセンサ装置である。イグニッション検知装置50は、イグニッションスイッチの状態を示す情報を出力する。
 ドア開閉検知装置60は、車両1の前後列の運転席側、助手席側のドアの開閉を検知する装置である。例えば、ドア開閉検知装置60は、例えば、ドアの開閉を検知するセンサである。ドア開閉検知装置60は、例えば、各ドアのヒンジの部分に配置される。ドア開閉検知装置60は、乗員の乗り降りが十分に行える程度の開放角度になったことを検知する。ドアの開放角度として、乗員の乗り降りが十分に行える程度であることが検知された場合、車両1の利用者が、降車可能な状態となる車両操作が行われたとみなすことができる。上記車両1の利用者は、例えば、後部座席の乗員である。
 監視範囲設定部201は、監視範囲を設定する。この監視範囲は、監視対象がはぐれてしまう可能性の有無を考慮した範囲であり、監視対象自身または車両1の乗員(例えば、運転手)に通知処理をするか否かを定める範囲であり、いわゆる地理的なフェンスであるジオフェンスである。すなわち、車両制御装置20は、監視範囲内に監視対象が属する場合は、通知処理をせずに、監視範囲を逸脱した場合、通知処理をする。
 例えば、車載表示装置15に対するユーザの入力操作により、監視範囲を設定することを示すモードが選択されると、監視範囲設定部201は、監視範囲の設定処理を開始する。監視範囲の設定処理において、監視範囲設定部201は、車載表示装置15に対するユーザの入力操作により、監視処理時に使用する車外撮像部6の選択および、選択された車外撮像部6における監視範囲を定める情報の入力を受け付ける。選択された車外撮像部6における監視範囲を定める情報とは、例えば、選択された車外撮像部6からの距離情報などである。
 監視範囲設定部201は、監視処理時に使用する車外撮像部6の選択および選択された車外撮像部6における監視範囲を定める情報に基づいて、監視範囲を設定する。ここで、図4を用いて、監視範囲の例を説明する。図4は、監視範囲の例を説明する図である。図4に示すように、車外撮像部6A~車外撮像部6Dが監視処理時に使用する旨入力され、それぞれの車外撮像部6の監視範囲である監視範囲AR1~監視範囲AR4を示す情報が入力されると、監視範囲設定部201は、監視範囲AR1~監視範囲AR4を監視範囲として設定する。
 なお、監視範囲設定部201は、監視処理時に使用する車外撮像部6の選択のみ受け付けて、それぞれの車外撮像部6の監視範囲を、それぞれの車外撮像部6の撮像可能範囲とするようにしてもよい。このように、監視範囲設定部201は、車外撮像部6の撮像可能範囲に基づいて監視範囲を定めるようにしてもよい。
 続いて、図5を用いて、監視範囲の設定処理手順を説明する。図5は、監視範囲の設定処理手順を示すフローチャートである。
 監視範囲設定部201は、監視処理時に使用する車外撮像部6の選択を受け付ける(ステップS1)。続いて、監視範囲設定部201は、それぞれの車外撮像部6の監視範囲を定める情報の入力を受け付ける(ステップS2)。続いて、監視範囲設定部201は、監視範囲を設定する(ステップS3)。
 図3に戻り、監視対象設定部202は、撮像画像に基づき監視対象を設定する。監視対象を設定する方法として、学習によらない監視対象設定である手動による監視対象設定および学習による監視対象設定の2種類ある。まず、手動による監視対象設定について説明する。
 車載表示装置15に対するユーザの入力操作により、手動登録を示すモードが選択され、撮影を行う車外撮像部6または車内撮像部7が選択されると、監視対象設定部202は、選択された車外撮像部6または車内撮像部7を起動し、撮像処理させる。監視対象設定部202は、選択された車外撮像部6または車内撮像部7から撮像画像を取得し、当該撮像画像を画像解析して、撮像画像に含まれる人物の全身画像および顔画像を監視対象として設定する。なお、監視対象設定部202はユーザが所持する端末装置から送信された撮像画像を画像解析して、撮像画像に含まれる人物の全身画像および顔画像を監視対象として設定してもよい。
 続いて、図6を用いて、手動による監視対象設定手順を説明する。図6は、手動による監視対象設定処理手順を示すフローチャートである。
 監視対象設定部202は、監視対象の設定に使用する車外撮像部6または車内撮像部7の選択を受け付ける(ステップS11)。続いて、監視対象設定部202は、選択された撮像部を起動させる(ステップS12)。監視対象設定部202は、起動させた撮像部から撮像画像を取得する(ステップS13)。監視対象設定部202は、当該撮像画像を画像解析して、撮像画像に含まれる人物の全身画像および顔画像を監視対象として設定する(ステップS14)。
 続いて、学習による監視対象設定について説明する。車両1が走行開始した直後など、所定のタイミングで、監視対象設定部202は、車内撮像部7を起動させ、当該車内撮像部7から、例えば後部座席8周囲の撮像画像を取得する。
 監視対象設定部202は、撮像画像を画像解析して、撮像画像に含まれる人物の全身画像および顔画像を抽出して、監視対象候補として、撮像日時、全身画像、および顔画像を対応付けて記憶する。撮像画像に含まれる人物の全身画像および顔画像を抽出する方法として、特開2020-178167号公報に記載の技術を適用できる。
 監視対象設定部202は、記憶されている過去の監視対象候補を参照し、顔画像が示す顔と同一の顔の顔画像であり、それぞれ異なる日に撮像された顔画像が、閾値以上存在するか判断する。当該閾値の例として10である。監視対象設定部202は、記憶されている過去の監視対象候補を参照し、顔画像が示す顔と同一の顔の顔画像であるか否かを判断する方法として、上述の特許文献1に記載の人物照合の技術を適用できる。
 監視対象設定部202は、上記閾値以上存在する場合、直近に記憶した監視対象候補の顔画像および全身画像を監視対象に設定する。
 続いて、図7を用いて、学習による監視対象設定手順を説明する。図7は、学習による監視対象設定処理手順を示すフローチャートである。
 監視対象設定部202は、車内撮像部7から撮影画像を取得する(ステップS21)。続いて、監視対象設定部202は、撮影画像を画像解析した結果、人物を抽出できなかった場合(ステップS22:No)、処理を終了する。一方、監視対象設定部202は、撮影画像を画像解析した結果、人物を抽出した場合(ステップS22:Yes)、監視対象候補として、撮像日時、全身画像、および顔画像を対応付けて記憶する(ステップS23)。
 監視対象設定部202は、記憶されている過去の監視対象候補を参照し、顔画像が示す顔と同一の顔の顔画像であり、それぞれ異なる日に撮像された顔画像が、10以上存在するか判断し、10以上存在しない場合(ステップS24:No)、処理を終了する。
 監視対象設定部202は、顔画像が示す顔と同一の顔の顔画像であり、それぞれ異なる日に撮像された顔画像が、10以上存在する場合(ステップS24:Yes)、直近に記憶した監視対象候補の顔画像および全身画像を監視対象に設定する(ステップS25)。
 図3に戻り、情報取得部203は、車両情報を取得する。車両情報は、自車両の状態を示す情報である。具体的には、車両情報は、パーキングブレーキ情報、ドアロック状態情報、ドア開閉情報、イグニッション情報などを含む。
 パーキングブレーキ情報は、自車両のパーキングブレーキ13がかけられた状態であるか、パーキングブレーキ13が解除された状態であるか、を示す情報である。情報取得部203は、例えば、パーキングブレーキ13の状態を検出するセンサ装置等から、サイドブレーキ情報を受信する。
 ドアロック状態情報は、自車両のドアがロック状態にあるか、ロック解除状態にあるか、を示す情報である。また、このドアロック状態情報には、車両1の外部から施錠によりロックされたことを示す情報を含む。情報取得部203は、ドアのロック状態およびロック解除状態を検出するドアロック装置14から、ドアロック状態情報を受信する。
 ドア開閉情報は、ドアが開いているか否かを示す情報である。情報取得部203は、ドア開閉検知装置60からドア開閉情報を取得する。
 イグニッション情報は、イグニッションスイッチの状態を示す情報である。情報取得部203は、イグニッション検知装置50からイグニッション情報を取得する。
 監視制御部204は、車外撮像部6による撮像画像に基づいて、監視対象が監視範囲に属するか否かを判断する監視処理を実行する。監視制御部204は、監視開始条件に合致した場合、監視処理を開始し、監視終了条件に合致した場合、監視処理を終了する。
 監視制御部204は、情報取得部203から車両情報を逐次取得し、当該車両情報に基づいて、監視開始条件や監視終了条件に合致するか否かを判断する。また、監視制御部204は、車外撮像部6および車内撮像部7を起動させ、車外撮像部6および車内撮像部7から取得した撮像画像の画像解析結果をさらに用いて監視開始条件や監視終了条件に合致するか否かを判断するようにしてもよい。
 監視開始条件は、例えば、車両1の外部から施錠されておらず、イグニッションスイッチOFFであり、ドアが開き、パーキングブレーキがかかっており、監視対象が車外にいることを検知することを条件とする。なお、車載表示装置15に対するユーザの入力操作またはユーザの端末により監視開始指示がされたことを監視開始条件に含めてもよい。
 監視制御部204は、ドアロック状態情報を参照して、車両1の外部から施錠によりロックされているか否かを判断する。また、監視制御部204は、イグニッション情報を参照して、イグニッションスイッチOFFか否かを判断する。また、監視制御部204は、ドア開閉情報を参照して、車両1のドアが開いたか否かを判断する。また、監視制御部204は、パーキングブレーキ情報を参照して、パーキングブレーキがかかっているか否かを判断する。
 監視制御部204は、車外撮像部6から取得した撮像画像を画像解析して、当該撮像画像に監視対象と同一の顔画像を含む場合、監視対象が車外にいることを検知する。
 監視制御部204は、上記監視開始条件に合致する場合、監視処理を開始する。なお、監視制御部204は、監視開始条件に合致し、且つ監視終了条件に合致しないことを条件に監視処理を開始してもよい。
 監視制御部204は、監視範囲の何れかを撮像範囲とする車外撮像部6を起動させ、車外撮像部6から撮像画像を取得し、取得した撮像画像から監視対象を検索する。なお、監視制御部204は、取得した撮像画像の顔部分だけでなく、全身画像も用いて監視対象を検索するようにしてもよい。顔部分と全身画像を用いて監視対象を検索する技術は、特開2020-178167号公報に記載の技術を適用してもよい。
 監視制御部204は、監視対象を検索し、当該監視対象が監視範囲に属するか否かを判断する。監視制御部204は、監視対象を含む撮像画像を用いて、車両1から監視対象までの距離を特定することで、監視対象が監視範囲に属するか否かを判断してもよい。撮像画像を用いて、距離を特定する技術は、例えば、監視対象の一部のパターンから全身の大きさを把握する、特開2007-188417号公報に記載の技術を適用してもよい。
 監視制御部204は、車両1から監視対象までの距離に基づいて、監視対象が監視範囲に属するか否かを判断した結果、監視対象が監視範囲に属する場合、継続して再度、車外撮像部6から取得した撮像画像を用いて監視対象が監視範囲に属するか否かを判断する。
 監視制御部204は、車外撮像部6から取得したいずれの撮像画像から監視対象が検索されなかった場合または監視対象が監視範囲に属さない場合、通知処理をする。
 監視制御部204は、通知処理として、車外スピーカ30を介して、監視対象に車両1の方向へ戻ることを指示する内容の音声を出力する。当該音声は、運転手等の予め録音した音声でもよい。また、監視制御部204は、通知処理として、通信装置40を介して、監視対象が所持する携帯端末に対して、監視対象に車両1の方向へ戻ることを指示するメッセージ情報を送信出力するようにしてもよい。
 また、監視制御部204は、通知処理として、車載表示装置15に、現在位置を示す情報を含む地図情報と、直近に監視対象が監視範囲に属していたときの撮像画像とを表示出力するようにしてもよい。
 また、監視制御部204は、車外撮像部6から取得したいずれの撮像画像から監視対象が、複数回検索されなかった場合や、一定時間監視対象が監視範囲に属さない場合、通知処理として、監視対象が認識できないまたは監視範囲から逸脱していることを車両1の車載表示装置15に表示出力してもよい。
 車両1が、上述のような通知処理をすることで、監視範囲に監視対象が属さなくなった場合に、まずは、監視対象に呼びかけをして、監視対象が自発的に戻るように促しつつ、それでも監視範囲に戻らない場合、運転手などの車両1に乗車している人に通知するための情報を出力する。これにより、車両1は、出先で車両1の周りで遊んでいるなど、車両1の周囲に位置する監視対象が車両1から遠ざからないようにすることができる。
 監視制御部204は、監視終了条件に合致する場合、監視処理を終了する。監視終了条件は、例えば、車両1の外部から施錠された場合、または、パーキングブレーキがOFFになった場合、または、監視対象が車内に戻った場合を条件とする。なお、車載表示装置15に対するユーザの入力操作またはユーザの端末により監視終了指示がされたことを監視終了条件に含めてもよい。
 なお、車両1の外部から施錠された場合、または、パーキングブレーキがOFFになった場合に、監視制御部204が監視処理を終了させるとき、監視制御部204は、車載表示装置15またはユーザの端末装置に、監視処理を実行中であることを示す情報を表示出力させるようにしてもよい。
 監視制御部204は、ドアロック状態情報を参照して、車両1の外部から施錠によりロックされているか否かを判断する。また、監視制御部204は、パーキングブレーキ情報を参照して、パーキングブレーキがOFFであるか否かを判断する。
 監視制御部204は、車内撮像部7から取得した撮像画像を画像解析して、当該撮像画像に監視対象と同一の顔画像を含む場合、監視対象が車内に戻っていることを検知する。
 続いて、図8を用いて、監視処理の制御手順を説明する。図8は、監視処理の制御手順を示すフローチャートである。
 監視制御部204は、監視開始条件に合致するか否かを判断し(ステップS31)、監視開始条件に合致しない場合(ステップS31:No)、処理を終了する。ここで、監視開始条件は、イグニッションがOFFであり、パーキングブレーキ13がONであり、ドアが開いており、車外撮像部6による車外撮像部6から取得したいずれの撮像画像から監視対象が検索された場合である。
 監視制御部204は、監視開始条件に合致する場合(ステップS31:Yes)、ステップS32へ進む。ステップS32において、監視制御部204は、監視終了条件に合致しないか否かを判断する(ステップS32)。監視終了条件は、車両1の外部から施錠された場合、または、パーキングブレーキがOFFになった場合、または、ユーザの入力操作により車載表示装置15から監視処理の中止要求がなされた場合、または、監視対象が車内に戻った場合である。
 ステップS32において、監視終了条件に合致しない場合(ステップS32:Yes)、監視制御部204は、車外撮像部6から取得した撮像画像から監視対象の検索処理をする(ステップS33)。監視制御部204は、監視対象の検索処理をした結果、監視対象を認識できた場合(ステップS34:Yes)、当該監視対象が監視範囲内であれば(ステップS35:Yes)、通知処理をすることなくステップS32へ進む。
 監視制御部204は、監視対象の検索処理をした結果、監視対象を認識できなかった場合(ステップS34:No)または、ステップS35において監視対象が監視範囲内でなければ(ステップS35:No)、通知処理をして(ステップS36)、ステップS32へ進む。ステップS32において、監視終了条件に合致する場合(ステップS32:No)、処理を終了する。
 本実施形態の車両1に搭載された車両制御装置20では、監視対象設定部202が、撮像画像に基づき監視対象を設定し、監視制御部204が、監視開始条件に合致した場合、車外撮像部6による撮像画像に基づいて監視対象が監視範囲に属するか否かを判断する監視処理を開始する。また、監視制御部204は、監視終了条件に合致した場合、監視処理を終了する。監視開始条件または監視終了条件は、パーキングブレーキ13の状態等の車両の操作に関する条件を含む。
 このように、車両1は、車両1の操作に絡めて監視処理を制御するので、監視処理の開始または終了に特化した操作を必要とすることなく、監視処理の開始または終了を制御することができる。
 また、車両1では、監視開始条件にパーキングブレーキ13がかかっていることを含む。車両1が駐車しているタイミングは、子供等の乗員が車両1から離れて移動する可能性があり、監視処理をする必要があると考えられる。この点に基づき、監視開始条件に駐車状態に基づく条件であるパーキングブレーキ13がかかっていることを含むことにより、車両1は、監視処理の開始を適切に制御することができる。
 また、車両1では、監視開始条件に外部から施錠されていないことを含む。外部から施錠された場合、車両1を駐車した状態で、運転手も他の乗員も車両1から離れると推定されるので、車両1は、監視処理をする必要がない。このように、車両1は、監視処理をする必要がないタイミングで監視処理を実行してしまうことを回避することができる。
 また、車両1では、監視開始条件に車両1のドアが開いたことを含む。このように、監視対象が車両1から離れると想定されるドアが開くという点を監視開始条件に含めることで、車両1は、より適切なタイミングで監視処理を実行することができる。
 また、車両1では、監視開始条件に車外撮像部6による撮像画像に基づいて監視対象を抽出したことを含む。このように、監視対象が車両1から離れていることを示す条件を監視開始条件に含めることで、車両1は、より適切なタイミングで監視処理を実行することができる。
 また、車両1では、監視終了条件にパーキングブレーキ13が解除されたことを含む。このように、車両1が、駐車状態でなくなり、監視処理をする必要性が無いと推定される条件を監視終了条件に含めることで、車両1は、適切に監視処理を制御することができる。
 また、車両1では、監視終了条件に車両1の外部から施錠されたことを含む。外部から施錠された場合、運転手も他の乗員も車両1から離れると推定されるので、車両1が、監視処理をする必要がないタイミングで監視処理を実行してしまうことを回避することができる。
 また、車両1では、車外撮像部6による撮像画像に基づいて監視対象が監視範囲に属さないと判断した場合、通知処理をする。このように、車両1は、監視範囲から外れた場合に通知することにより、監視対象がはぐれてしまうことを回避する処理をすることができる。
 また、車両1では、車内撮像部7による撮像画像と、車内撮像部7による過去の撮像画像とに基づいて、監視対象を設定する。このように、車両1は、過去の撮像画像に基づいて監視対象を設定するので、よく乗車する人物を監視対象に自動で設定することで、煩雑な操作を必要とすることなく、適切に監視対象を設定することができる。
 また、車両1では、監視範囲を車外撮像部6の撮像範囲に基づいて設定する。このように、車両1は、煩雑な操作を必要とすることなく、適切に監視範囲を設定することができる。
 上述の実施形態では、車両1の外部から施錠されておらず、イグニッションスイッチOFFであり、ドアが開き、パーキングブレーキがかかっており、監視対象が車外にいることを検知することを監視開始条件とする場合について述べたが、これに限られない。例えば、さらに追加条件を付してもよいし、上述の実施形態の監視開始条件の一部のみを監視開始条件とするようにしてもよい。
 上述の実施形態では、車両1の外部から施錠された場合、または、パーキングブレーキがOFFになった場合、または、監視対象が車内に戻った場合を条件とする場合について述べたが、これに限られない。さらに追加条件を付してもよいし、上述の実施形態の監視終了条件の一部のみを監視終了条件とするようにしてもよい。
 また、シフトレバー12の状態を検知することで、駐車状態であるか否かを判断した結果を監視開始条件または監視終了条件とするようにしてもよい。
 また、外部から施錠されたことを判断する代わりに、人検知センサ16による検知結果により乗員が全くいないか否かを判断するようにしてもよい。
 上述の実施形態では、監視対象を子供と想定する場合について述べたが、監視対象を高齢者やペット等とするようにしてもよい。また、上述の実施形態では、車両1が、車内撮像部7が撮像した後部座席8周囲の撮像画像を用いて監視対象候補を抽出する場合について述べたが、車内撮像部7が助手席周囲を撮像し、助手席周囲の撮像画像を用いて監視対象候補を抽出するようにしてもよい。
 本実施形態の車両制御装置20で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでDVD(Digital Versatile Disk)等の光記録媒体、USBメモリ、SSD(Solid State Disk)等の半導体メモリ装置等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
 また、本実施形態の車両制御装置20で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の車両制御装置20で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
 また、本実施形態の車両制御装置20のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
 (第2の実施形態)
 第2の実施形態に係る車両は、屋根のある車体を有し、車室が車体の内側に形成される。車室は、運転者や同乗者などの乗員が乗るべき空間である。車両は、車室内に乗員が乗った状態で走行し、乗員を目的地まで移動させることが主な機能である。そのような車両の走行について、乗員により、スピード感・没入感・臨場感を高めたいと要求されることがある。
 車室内に乗員が乗った状態で車両が前に走行すると、車室内の乗員は、前方及び側方等のウィンドウを通して、景色を視認可能であり、前方の景色が迫ってくるように感じる。例えば、トンネル内の道路を走行すると、遠くからトンネルの照明が迫ってきて、その灯具の下を走り抜けると車室内が前から順次その色になって、また暗くなっていく。また、木漏れ日の中を走り抜けると、明るい場所と暗い場所とが繰り返され、車室内の明るさもそれに応じて変化する。
 車両は地面を走るので、車室内の乗員は、前方に見えた道路上の景色をくぐり抜けるように走ることになるが、上方の景色については、屋根で遮られて視認できない。このとき、乗員の上方についても、景色に準じた環境が与えられれば、車両の走行について、スピード感・没入感・臨場感を高めることができ、車室内のエンターテインメント性を高めることができると期待される。
 そこで、第2の実施形態では、車両において、車室の天井に進行方向に沿って複数の発光部が列状に配され、車体前方を撮像した画像に応じて複数の発光部のそれぞれの発光状態が制御されることで、車室内のエンターテインメント性の向上が図られる。
 具体的には、車両において、車体が車室を覆う屋根部を有する。屋根部は、外面と内面とを有する。車室内の前方上部に撮像部が配され、屋根部の内面に進行方向に沿って複数の発光部が列状に配された照明部が設けられる。撮像部は、画像取得エリアの画像を撮像可能である。画像取得エリアは、車体の前方における屋根部に対応した高さの領域である。画像取得エリアは、撮像部の画角に含まれる全領域のうちの一部の領域であってもよい。照明部は、画像取得エリアの画像に応じて、複数の発光部のそれぞれの発光状態が変化する。撮像部は、複数のタイミングについて、画像取得エリアの画像を取得する。複数のタイミングは、車両が走行すべき所定の距離間隔で並ぶ複数の地点に対応していてもよい。照明部は、複数のタイミングの画像取得エリアの画像の属性の時間的な変化に応じて、複数の発光部の発光状態が時間的に変化する。照明部は、車室内から見た場合に、複数の発光部の発光状態が進行方向と逆方向に流れるように変化してもよい。また、照明部は、複数のタイミングの画像取得エリアの画像の属性の時間的な変化に応じて、複数の発光部の発光状態が空間的に変化する。照明部は、複数の発光部の発光状態が画像取得エリアの画像の属性に対応して変化してもよい。これにより、上方の景色に準じた照明環境を屋根部の内面に実現でき、車両の走行について、スピード感・没入感・臨場感を高めることができる。したがって、車室内のエンターテインメント性を高めることができる。
 より具体的には、車両は、図9~図11に示すように構成される。図9は、第2の実施形態に係る車両の概略構成を示す図である。図10は、第2の実施形態における照明部の構成を示す図である。図11は、第2の実施形態における撮像部及び照明部の構成を示す図である。以下では、車両1の進行方向をX方向とし、車幅方向をY方向とし、X方向及びY方向に直交する方向をZ方向とする。
 車両1は、複数の車輪42-1~42-4、車体43、撮像部44、照明部45、及び車両制御装置100を有する。
 車輪42-1~42-4は、それぞれ、Y軸周りに回転可能である。車輪(第1の車輪)2-1,2-2の-X側には、車輪(第2の車輪)42-3,42-4が配され、それに応じて、+X側の車軸及び-X側の車軸(図示せず)が配される。車輪42-1,42-2は、それぞれ、Y方向に延びた+X側の車軸の-Y側、+Y側の端部に連結される。車輪42-3,42-4は、それぞれ、Y方向に延びた-X側の車軸の-Y側、+Y側の端部に連結される。図9では、車両1が4つの車輪42を有する構成が例示されるが、車輪42の数は、3以下でもよいし、5以上でもよい。
 車体43は、車軸を回転可能に支持し、車軸を介して車輪42-1~42-4が結合される。車体43は、車輪42-1,42-2及び車輪42-3,42-4の回転によって、X方向に移動可能である。車体43は、車室46を構成する。車体43は屋根部43a及び複数のウィンドウ43b,43c-1,43c-2,43d-1,43d-2,43e-1,43e-2,43fを有する。屋根部43aは、車室46を+Z側から覆い、車室46の+Z側の境界を区画する。屋根部43aは、+Z側の面を外面として有し、-Z側の面を内面として有する。屋根部43aの-Z側の面は、車室46の天井46aを構成する。ウィンドウ43b,43c-1,43c-2,43d-1,43d-2,43e-1,43e-2,43fは、それぞれ、車室46の+X側、-Y側、+Y側、-Y側、+Y側、-Y側、+Y側、-X側の境界を区画する。
 車室46内の乗員は、ウィンドウ43b,43c-1,43c-2,43d-1,43d-2,43e-1,43e-2,43fを通して、+X側、-Y側、+Y側、-Y側、+Y側、-Y側、+Y側、-X側の景色を視認可能であるが、+Z側の景色は屋根部43aで遮られて視認できない。乗員は、例えば、車室46の運転者300又は同乗者(図示せず)である。
 撮像部44は、車室46内における+X側・+Z側の位置に配される。撮像部44は、ウィンドウ43bに対して-X側に隣接して配されてもよく、ウィンドウ43bの+Z側の端部付近に配されてもよい。撮像部44は、カメラ44aを有する。カメラ44aは、撮像面が+X側に向いており、その光軸が図9に一点鎖線で示すようにX方向に沿って延びている。カメラ44aの光軸は、カメラ44aの中心を通るXY平面に対して+Z側に若干傾いていてもよい。
 撮像部44は、車体43の外部を撮像可能であり、画像取得エリアIM1,IM2の画像を撮像可能である。撮像部44は、画像取得エリアIM1,IM2の両方を撮像可能な1つのカメラ44aを有してもよいし、画像取得エリアIM1,IM2をそれぞれ撮像可能な複数のカメラ44aを有してもよい。図11では、撮像部44が画像取得エリアIM1,IM2の両方を撮像可能な1つのカメラ44aを有する構成が例示されている。
 撮像部44の撮像範囲は、車輪42-1,42-2及び車輪42-3,42-4の内の少なくとも一つが接地している地面200を基準に、屋根部43aの外面より離れた空間を含む。画像取得エリアIM1,IM2は、車体43の前方における屋根部43aに対応した高さの領域であり、例えば図9に点線で示すように、地面200からの高さが車室46の天井の高さと略等しい位置を含んでもよい。画像取得エリアIM1,IM2は、運転者300の目の位置を基準とする水平面より高く位置する領域である。運転者300の目の位置と画像取得エリアIM1,IM2の中心とを結ぶ直線は、図9に2点鎖線で示すように、X方向に沿って延びており、XY平面に対して+Z側に若干傾いていてもよい。画像取得エリアIM1,IM2は、カメラ44aの画角に含まれる全領域のうちの一部の領域であってもよい。
 照明部45は、車室46内における+Z側の位置に配される。照明部45は、車室46内を照明する。照明部45は、発光部群51、発光部群52、発光制御回路53、発光制御回路54(図12参照)、光源55、光源56を有する。
 発光部群51は、車室46内における+Z側の位置で+X側から-X側に延びた領域に配される。発光部群51は、複数の発光部GR1~GR3を有する。図9~図11では、発光部群51が3個の発光部GR1~GR3を有する構成が例示されているが、発光部群51が有する発光部の個数は2個でもよいし、4個以上でもよい。発光部群51の複数の発光部GR1~GR3は、車室46内の天井にX方向に沿って列状に配される。発光部群51の複数の発光部GR1~GR3の配列は、車体43の屋根部43aの形状に合わせるため、必ずしも直線でなく、緩やかな曲線であってもよい。
 発光部群51の各発光部GR1~GR3は、X方向に沿って列状に配された複数の光源を有していてもよい。発光部GR1は、X方向に沿って列状に配された複数の光源D1~D5を有する。発光部GR2は、X方向に沿って列状に配された複数の光源D6~D10を有する。発光部GR3は、X方向に沿って列状に配された複数の光源D11~D15を有する。
 また、発光部群51の複数の発光部GR1~GR3は、車室46内の天井におけるY方向中央よりやや+Y側に配されてもよい。発光部群51の各光源D1~D15は、例えば、LED(Light Emission Diode)である。発光部群51の各光源D1~D15は、電圧のデューティー比を変えることと流す電流の大きさを変えることとの少なくとも一方を行うことなどにより、その明るさが調節可能である。発光部群51の各光源D1~D15の発光色は、カラーであってもよいし、R(赤)、G(緑)、B(青)、又は白などの単色であってもよい。以下では、発光部群51の各光源D1~D15の発光色がカラーである場合を主に例示する。なお、発光部群51の各発光部GR1~GR3は、X方向に沿って列状に配された複数の光源に代えて、X方向に沿って延びたLED表示器、液晶表示器、有機EL表示器などであってもよい。
 画像取得エリアIM1は、発光部群51の複数の発光部GR1~GR3に対応している。発光部群51の複数の発光部GR1~GR3が配される方向に沿った直線は、図9~図11に点線で示すように画像取得エリアIM1を通る。発光部群51の複数の発光部GR1~GR3が配される方向に沿った直線は、撮像部44の画角における消失点の近傍をさらに通ってもよい。照明部45は、撮像部44で撮像された画像取得エリアIM1の画像に応じて、発光部群51の複数の発光部GR1~GR3の発光状態をそれぞれ変化可能である。
 例えば、撮像部44は、複数のタイミングについて、画像取得エリアIM1の画像を取得する。複数のタイミングは、車両1が走行すべき所定の距離間隔で並ぶ複数の地点に対応していてもよい。
 発光制御回路53は、車両制御装置100による制御のもと、車体43の進行方向に沿った移動と撮像部44が撮像した画像とに対応して発光部群51の各発光部GR1~GR3の発光状態を変化させる。発光制御回路53は、車体43の進行方向に沿った移動と、撮像部44が所定時間前に撮像した画像とに対応して、発光部群51の各発光部GR1~GR3の発光状態を変化させる。この所定時間は、車両1の所定の方向の移動速度に応じて変化してもよい。
 発光制御回路53は、画像取得エリアIM1の画像の属性の時間的な変化に応じて、発光部群51の複数の発光部GR1~GR3の発光状態を時間的に変化させる。発光制御回路53は、画像取得エリアIM1の画像の属性の時間的な変化に応じて、車室46内から見た場合に、発光部群51の複数の発光部GR1~GR3の発光状態を進行方向と逆方向に流れるように変化させる。発光制御回路53は、画像取得エリアIM1の画像の属性の時間的な変化に応じて、車室46内から見た場合に、発光部群51の複数の発光部GR1~GR3の明暗のパターンを進行方向と逆方向に流れるように変化させてもよい。発光制御回路53は、画像取得エリアIM1の画像の属性の時間的な変化に応じて、発光部群51の複数の発光部GR1~GR3の色のパターンを進行方向と逆方向に流れるように変化させてもよい。
 また、発光制御回路53は、車両制御装置100による制御のもと、画像取得エリアIM1の画像の属性の時間的な変化に応じて、発光部群51の複数の発光部GR1~GR3の発光状態を空間的に変化させる。発光制御回路53は、発光部群51の複数の発光部GR1~GR3の発光状態を画像取得エリアIM1の画像の属性に対応させて変化させる。発光制御回路53は、発光部群51の複数の発光部GR1~GR3の明暗のパターンを画像取得エリアIM1の画像の輝度のパターンに対応させて変化させてもよい。発光制御回路53は、発光部群51の複数の発光部GR1~GR3の色のパターンを画像取得エリアIM1の画像の色成分値のパターンに対応させて変化させてもよい。
 発光部群52は、車室46内における+Z側の位置で+X側から-X側に延びた領域に配される。発光部群52は、複数の発光部GR1~GR3を有する。図9~図11では、発光部群52が3個の光源D1~D15を有する構成が例示されているが、発光部群52が有する光源の個数は2個でもよいし、4個以上でもよい。発光部群52の複数の発光部GR1~GR3は、発光部群51の複数の発光部GR1~GR3に対して、Y方向に並んでいる。発光部群52の複数の発光部GR1~GR3は、車室46内の天井にX方向に沿って列状に配される。発光部群52の複数の発光部GR1~GR3の配列は、車体43の屋根部43aの形状に合わせるため、必ずしも直線でなく、緩やかな曲線であってもよい。
 発光部群52の各発光部GR1~GR3は、X方向に沿って列状に配された複数の光源を有していてもよい。発光部GR1は、X方向に沿って列状に配された複数の光源D1~D5を有する。発光部GR2は、X方向に沿って列状に配された複数の光源D6~D10を有する。発光部GR3は、X方向に沿って列状に配された複数の光源D11~D15を有する。
 また、発光部群52の複数の発光部GR1~GR3は、車室46内の天井におけるY方向中央よりやや-Y側に配されてもよい。発光部群52の各光源D1~D15は、例えば、LED(Light Emission Diode)である。発光部群52の各光源D1~D15は、電圧のデューティー比を変えることと流す電流の大きさを変えることとの少なくとも一方を行うことなどにより、その明るさが調節可能である。発光部群52の各光源D1~D15の発光色は、カラーであってもよいし、R(赤)、G(緑)、B(青)、又は白などの単色であってもよい。以下では、発光部群52の各光源D1~D15の発光色がカラーである場合を主に例示する。なお、発光部群52の各発光部GR1~GR3は、X方向に沿って列状に配された複数の光源に代えて、X方向に沿って延びたLED表示器、液晶表示器、有機EL表示器などであってもよい。
 画像取得エリアIM2は、発光部群52の複数の発光部GR1~GR3に対応している。発光部群52の複数の発光部GR1~GR3が配される方向に沿った直線は、図9~図11に点線で示すように画像取得エリアIM2を通る。発光部群52の複数の発光部GR1~GR3が配される方向に沿った直線は、撮像部44の画角における消失点の近傍をさらに通ってもよい。照明部45は、撮像部44で撮像された画像取得エリアIM2の画像に応じて、発光部群52の複数の発光部GR1~GR3の発光状態をそれぞれ変化可能である。
 例えば、撮像部44は、複数のタイミングについて、画像取得エリアIM2の画像を取得する。複数のタイミングは、車両1が走行すべき所定の距離間隔で並ぶ複数の地点に対応していてもよい。
 発光制御回路54は、車両制御装置100による制御のもと、車体43の進行方向に沿った移動と撮像部44が撮像した画像とに対応して発光部群51の各発光部GR1~GR3の発光状態を変化させる。発光制御回路53は、車体43の進行方向に沿った移動と、撮像部44が所定時間前に撮像した画像とに対応して、発光部群51の各発光部GR1~GR3の発光状態を変化させる。この所定時間は、車両1の所定の方向の移動速度に応じて変化してもよい。
 発光制御回路54は、画像取得エリアIM2の画像の属性の時間的な変化に応じて、発光部群52の複数の発光部GR1~GR3の発光状態を時間的に変化させる。発光制御回路54は、画像取得エリアIM2の画像の属性の時間的な変化に応じて、車室46内から見た場合に、発光部群52の複数の発光部GR1~GR3の発光状態を進行方向と逆方向に流れるように変化させる。発光制御回路54は、画像取得エリアIM2の画像の属性の時間的な変化に応じて、車室46内から見た場合に、発光部群52の複数の発光部GR1~GR3の明暗のパターンを進行方向と逆方向に流れるように変化させてもよい。発光制御回路54は、画像取得エリアIM2の画像の属性の時間的な変化に応じて、車室46内から見た場合に、発光部群52の複数の発光部GR1~GR3の色のパターンを進行方向と逆方向に流れるように変化させてもよい。
 また、発光制御回路54は、車両制御装置100による制御のもと、画像取得エリアIM2の画像の属性の時間的な変化に応じて、発光部群52の複数の発光部GR1~GR3の発光状態を空間的に変化させる。発光制御回路54は、複数の発光部GR1~GR3の発光状態を画像取得エリアIM2の画像の属性に対応させて変化させる。発光制御回路54は、発光部群52の複数の発光部GR1~GR3の明暗のパターンを画像取得エリアIM2の画像の輝度のパターンに対応させて変化させてもよい。発光制御回路54は、発光部群52の複数の発光部GR1~GR3の色のパターンを画像取得エリアIM2の画像の色成分値のパターンに対応させて変化させてもよい。
 光源55,56は、図10に示すように、車室46内における+Z側、+X側の位置に配される。光源55,56は、それぞれ、運転者300の座席付近、助手席付近を照明可能である。
 車両制御装置100は、車両1に搭載可能な情報処理装置であり、車体43内の任意の位置に配され、例えば図9に点線で示す位置に配される。車両制御装置100は、例えば、ECU(Electronic Control Unit)でもよいし、OBU(On Board Unit)でもよいし、車両1のダッシュボード付近に設置された外付けの装置であっても良い。
 車両制御装置100は、ハードウェア的に、図12に示すように構成され得る。図12は、車両制御装置100のハードウェア構成を示す図である。
 車両制御装置100は、撮像IF(InterFace)101、CPU(Central Processing Unit)102、RAM(Random Access Memory)103、ROM(Read Only Memory)104、照明IF105、GPS(Global Positioning System)IF106、車速IF107、通信IF108、及びバス109を有する。撮像IF101、CPU102、RAM103、ROM104、照明IF105、GPSIF106、車速IF107、通信IF108は、バス109を介して相互に通信可能に接続されている。ROM104には、制御プログラムが格納されている。
 撮像IF101は、ケーブル等を介して撮像部44と通信可能に接続されている。撮像IF101は、撮像部44で撮像された画像を取得する。撮像IF101は、撮像部44で撮像された動画像の複数のフレーム画像を連続的に取得する。
 照明IF105は、CAN又はケーブル等を介して照明部45における各発光制御回路53,54と通信可能に接続されている。照明IF105は、各発光制御回路53,54へ制御信号を供給可能である。これにより、照明IF105は、発光部群51,52の各光源D1~D15の点灯状態を制御可能である。
 GPSIF106は、CAN又はケーブル等を介してGPSセンサ47と通信可能に接続されている。GPSセンサ47は、GPS信号を受信する。GPSIF106は、GPSセンサ47で受信されたGPS信号を取得し、GPS信号に基づいて車両1の緯度、経度および高度等の位置情報を生成する。
 車速IF107は、CAN又はケーブル等を介して車速センサ48と通信可能に接続されている。車速センサ48は、車輪42の付近に配され、車輪42の回転速度又は回転数を示す車速パルスを生成する。車速IF107は、車速センサ48で生成された車速パルスを取得し、車速パルスに基づいて車両1の走行速度を求める。
 通信IF108は、CAN又はケーブル等を介して通信装置9と通信可能に接続されている。通信装置9は、主として無線通信回線を介してサーバ装置(図示せず)と通信を行い、サーバ装置から所定の情報を受信可能である。通信IF108は、サーバ装置から通信装置9を介して所定の情報を取得可能である。
 なお、GPSセンサ47、車速センサ48は、自車の位置、移動量を検知するために利用するものであり、車体43の所定の進行方向への移動を検出するように設定された移動検出部として機能し得る。移動検出部は、車体43の所定の進行方向への移動を検出可能であり同様の効果を持つ他の手段で代替されても良い。
 車両制御装置100は、機能的に、図13に示すように構成され得る。図13は、車両制御装置100の機能構成を示す図である。CPU102は、ROM104から制御プログラムを読み出し、制御プログラムのコンパイル時に一括して又は制御プログラムによる処理の進行に応じて逐次的に、図13に示す各機能構成をRAM103のバッファ領域に展開する。
 車両制御装置100は、取得部110、取得部120、制御部130を有する。制御部130は、複数のシフトレジスタ131,136、処理部133、距離計算部134、タイミング制御部135を有する。各シフトレジスタ131,136は、複数段のレジスタ132-1~132-50を有する。
 取得部110は、画像取得エリアIM1,IM2の画像を取得する。取得部110は、例えば、撮像部44で撮像された図14に示すような全体画像IMを取得する。図14は、全体画像IMにおける画像取得エリアの位置IM1,IM2を示す図である。図14では、図10に対応した車室46内からのウィンドウ43bを通して視認される前方の景色に対する全体画像IM及び画像取得エリアの位置IM1,IM2を例示している。取得部110は、取得された全体画像IMから画像取得エリアIM1,IM2を切り出す。全体画像IMにおける切り出すべき画像取得エリアIM1,IM2の位置は、予め決められ、制御プログラムに設定されている。
 全体画像IMにおける画像取得エリアIM1の位置は、図14に点線で示すように、車室46内の天井に配された発光部群51の複数の発光部GR1~GR3の配列方向に対応した位置であり、例えば全体画像IMの中心より+Y側・+Z側の位置である。全体画像IMにおける画像取得エリアIM2の位置は、図14に点線で示すように、車室46内の天井に配された発光部群52の複数の発光部GR1~GR3の配列方向に対応した位置であり、例えば全体画像IMの中心より-Y側・+Z側の位置である。
 図13に示す取得部120は、車速IF107で求められた車両1の走行速度を取得する。取得部120は、車両1の走行速度を制御部130の距離計算部134へ供給する。
 距離計算部134は、走行速度を積分することなどにより、車両1の走行距離を求める。距離計算部134は、車両1の走行距離をタイミング制御部135へ供給する。
 複数のシフトレジスタ131,136は、複数の画像取得エリアIM1,IM2に対応し、複数の発光制御回路53,54に対応し、複数の発光部群51,52に対応する。シフトレジスタ131は、複数段のレジスタ132-1~132-50を有する。各シフトレジスタ131,136は、対応する画像取得エリアIM1,IM2の画像を受けて保持し、レジスタ132に保持された画像をタイミング制御部135で制御されたタイミングで次段のレジスタ132にシフトさせる。以下では、主として、シフトレジスタ131、画像取得エリアIM1、発光制御回路53、発光部群51を例示的に説明するが、シフトレジスタ136、画像取得エリアIM2、発光制御回路54、発光部群52についても同様である。
 タイミング制御部135は、車両1の走行距離に応じて、画像取得エリアIM1の地点を基準とする複数のタイミングを順次に求める。複数のタイミングは、図15に示すように、車両1の撮像部44の位置から画像取得エリアIM1の地点まで距離LIMを所定間隔ΔLで分割した複数の地点に対応している。各タイミングは、対応する地点を車両1が通過するタイミングである。図15は、複数のタイミングの画像に応じた複数の発光部GR1~GR3の空間的な変化を示す図である。図15では、画像取得エリアIM1までの距離LIM=ΔL×49の場合を例示している。
 なお、道路に起伏があったり曲がっていたりすると、取得した画像が実際に通過する箇所と異なることもあるため、距離LIMは、例えば、画像取得エリアIM1を取得してから画像取得エリアIM1の地点を通過するまでの時間が2~3秒後となる距離としてもよい。距離LIMは、例えば、数10m程度としてもよい。また、所定間隔ΔL及び分割数は、車両1の走行速度や撮像部44の仕様等に応じて任意に決められ得る。
 タイミング制御部135で求めるべき複数のタイミングは、車両1が走行すべき所定の距離間隔で並ぶ複数の地点に対応している。
 図15の場合、画像取得エリアIM1のX位置がx49であり、車両1の撮像部44のX位置は、xである。車両1の位置を撮像部44のX位置で表すとすると、車両1は、X方向に走行し、複数の地点x,x,x,・・・,x49を順次に通過する。各地点x,x,x,・・・,x49は、互いに所定間隔ΔLでX方向に並ぶ複数の地点に相当する。車両1が各地点x,x,x,・・・,x49を通過するタイミングを、t,t,t,・・・,t49とする。
 複数のタイミングのそれぞれは、図13に示す取得部110で取得された画像をシフトレジスタ131で記憶すべきタイミングである。タイミング制御部135は、求められたタイミングを取得部110へ供給する。取得部110は、撮像部44で撮像された動画像における複数のフレーム画像を連続的に取得するが、タイミング制御部135で制御されたタイミングで撮像部44から取得されたフレーム画像を選択してシフトレジスタ131の初段のレジスタ132へ格納する。
 図15の場合、タイミングtにおいて、取得部110は、全体画像IMとしてのフレーム画像を選択し、フレーム画像から画像取得エリアIM1の画像FR_49を切り出し、画像FR_49をシフトレジスタ131の初段のレジスタ132へ格納する。
 複数のタイミングのそれぞれは、図13に示すシフトレジスタ131が格段のレジスタ132に格納された画像をシフトさせるタイミングである。タイミング制御部135は、求められたタイミングをシフトレジスタ131の各段のレジスタ132へ供給する。各段のレジスタ132-1~132-49は、タイミング制御部135で制御されたタイミングで画像を次段のレジスタ132及び処理部133へ転送する。最終段のレジスタ132-50は、タイミング制御部135で制御されたタイミングで画像を処理部133へ供給する。
 図15の場合、タイミングtにおいて、シフトレジスタ131は、各段のレジスタ132-1~132-49に格納された画像取得エリアIM1の画像FR_48~FR_0を次段のレジスタ132へ転送する。図15では、転送された状態が例示されている。
 複数のタイミングのそれぞれは、図13に示す処理部133で画像処理を行うタイミングである。処理部133は、タイミング制御部135で制御されたタイミングで、シフトレジスタ131の各段のレジスタ132-1~132-50から画像を取得し、取得された複数の画像に対して統計処理を行う。
 照明部45の各発光制御回路53,54は、シフトレジスタ531、複数の制御回路C1~C15を有する。複数の制御回路C1~C15は、複数の光源D1~D15に対応する。シフトレジスタ531は、複数段のレジスタ532-1~532-3を有する。レジスタ532-1は、制御回路C1~C5に対応し、レジスタ532-2は、制御回路C6~C10に対応し、レジスタ532-3は、制御回路C11~C15に対応する。各制御回路C1~C15は、対応する光源に接続され、光源をオン・オフさせたり、光源の明るさや色を変えたりする。
 処理部133は、最終段のレジスタ132-50から取得された画像に基づき、統計処理の結果を考慮しながら、光源を制御するための制御値を生成する。処理部133は、制御値をシフトレジスタ531の初段のレジスタ532へ格納する。制御値は、輝度を示すY値、赤の色成分値であるR値、緑の色成分値であるG値、青の色成分値であるB値を含んでもよい。
 なお、車内照明の制御は、光源1つずつ行ってもよいし、複数個まとめて行ってもよいし、全部まとめて行っても良い。複数個まとめて、又は、全部まとめて制御を行う際は、滑らかに変化するよう、旧輝度、点灯色と輝度、色の平滑化を行って滑らかに変化するように補完しても良い。また、車内照明の制御単位よりも画像フレーム数のほうが少ない場合は、前後の画像から輝度、点灯色が滑らかに変化するように補完しても良い。
 図13では、複数個まとめて制御する場合が例示される。この場合、発光部群51は複数の発光部GR1~GR3にグループ化されていてもよい。発光部GR1は光源D1~D5を含み、発光部GR2は光源D6~D10を含み、発光部GR3は光源D11~D15を含む。発光部GR1は、レジスタ532-1に対応し、制御回路C1~C5に対応する。発光部GR2は、レジスタ532-2に対応し、制御回路C6~C10に対応する。発光部GR3は、レジスタ532-3に対応し、制御回路C11~C15に対応する。
 シフトレジスタ531の初段のレジスタ532-1に格納された制御値を発光部GR1に対応した制御回路C1~C5へ供給する。制御回路C1~C5は、その制御値に応じて、光源D1~D5の明るさ及び色を制御する。
 図15の場合、タイミングtにおいて、処理部133は、複数の画像FR_49~FR_0に対して統計処理を行い、統計処理の結果に応じて、制御値FR_-1を生成してシフトレジスタ531の初段のレジスタ532へ格納する。図15では、ハッチングの密度で輝度を示し、ハッチングの密度が薄いほど輝度が明るいことを示している。制御値FR_-1は、比較的明るい輝度を示している。これに応じて、制御回路C1~C5は、発光部GR1の光源D1~D5を、制御値FR_-1に応じた色で、制御値FR_-1に応じた比較的明るい明るさで点灯させる。
 複数のタイミングのそれぞれは、図13に示す発光制御回路53による発光部群51の制御を変化させるタイミングであり、シフトレジスタ531が格段のレジスタに格納された制御値をシフトさせるタイミングである。タイミング制御部135は、求められたタイミングをシフトレジスタ531の各段のレジスタ532へ供給する。各段のレジスタ532-1~532-3は、タイミング制御部135で制御されたタイミングで制御値を次段のレジスタ532へ転送する。最終段のレジスタ532-3は、タイミング制御部135で制御されたタイミングで制御値を破棄する。
 図15の場合、タイミングtにおいて、シフトレジスタ531は、各段のレジスタ532-1~532-2に格納された制御値FR_-2~FR_-3を次段のレジスタ132へ転送し、最終段のレジスタ532-3に格納された制御値FR_-4を破棄する。図15では、転送された状態が例示されている。これに応じて、制御回路C6~C10は、発光部GR2の光源D6~D10を、制御値FR_-2に応じた色で、制御値FR_-2に応じた比較的暗い明るさで点灯させる。制御回路C11~C15は、発光部GR3の光源D11~D15を、制御値FR_-3に応じた色で、制御値FR_-3に応じた中間的な明るさで点灯させる。
 図15に示すように、複数の光源が複数の地点に対応している場合に、各地点に対応した光源の点灯状態がその地点で取得された画像の属性に合うように制御される。タイミングtについていえば、地点x-1に対応した発光部GR1の光源D1~D5の点灯状態が地点x-1で取得された画像取得エリアIM1の画像FR_-1の属性に合うように制御され、地点x-2に対応した発光部GR2の光源D6~D10の点灯状態が地点x-2で取得された画像取得エリアIM1の画像FR_-2の属性に合うように制御され、地点x-3に対応した発光部GR3の光源D11~D15の点灯状態が地点x-3で取得された画像取得エリアIM1の画像FR_-3の属性に合うように制御される。
 例えば、タイミングtにおいて図15に示すタイミング地点x49で取得された画像取得エリアIM1の画像FR_49は、図16(a)に示すように、車両1が地点x49に到達するタイミングt49において、図13に示すシフトレジスタ131の最終段のレジスタ132-50に格納される。図16は、複数のタイミングの画像に応じた複数の発光部GR1~GR3の時間的な変化を示す図である。このとき、処理部133は、各段のレジスタ132-1~132-50から画像を取得し、取得された複数の画像に対して統計処理を行う。
 図16(b)に示すように、車両1が地点x50に到達するタイミングt50において、処理部133は、最終段のレジスタ132-50から取得された画像に基づき、統計処理の結果を考慮しながら、光源を制御するための制御値FR_49を生成する。処理部133は、制御値FR_49をシフトレジスタ531の初段のレジスタ532-1へ格納する。これに応じて、制御回路C1~C5は、地点x49に対応した発光部GR1の光源D1~D5を、制御値FR_49に応じた色で、制御値FR_49に応じた中間的な明るさで点灯させる。
 図16(c)に示すように、車両1がX位置x51に到達するタイミングt51において、シフトレジスタ531の初段のレジスタ532-1が制御値FR_49を次段のレジスタ532-2へ転送する。これに応じて、制御回路C6~C10は、地点x49に対応した発光部GR2の光源D6~D10を、制御値FR_49に応じた色で、制御値FR_49に応じた中間的な明るさで点灯させる。
 図示しないが、車両1がX位置x52に到達するタイミングt52において、シフトレジスタ531のレジスタ532-2が制御値FR_49を次段のレジスタ532-3へ転送する。これに応じて、制御回路C11~C15は、地点x49に対応した発光部GR3の光源D11~D15を、制御値FR_49に応じた色で、制御値FR_49に応じた中間的な明るさで点灯させる。
 図15、図16に示すように、ある地点について撮像した画像の属性がその地点に到達する際に光源の制御値に変換され、複数の光源のうちその地点に対応する光源が進行方向と逆方向に順次に変わることに応じて、その制御値を反映する光源を順次に切り替える。画像FR_98についていえば、図15に示すタイミングtで撮像され、図16(a)に示すタイミングt49でその属性が制御値FR_49へ変換され、図16(b)に示すタイミングt50でその制御値FR_49が発光部GR1の光源D1~D5の発光制御に反映され、図16(c)に示すタイミングt51でその制御値FR_49が発光部GR2の光源D6~D10の発光制御に反映され、図示しないタイミングt52でその制御値FR_49が発光部GR3の光源D11~D15の発光制御に反映される。これにより、車室46内から見た場合に、複数の発光部GR1~GR3の発光状態が進行方向と逆方向に流れるように制御される。
 図13に示す処理部133で行われる統計処理は、撮像された画像の属性が車内照明に反映される際にその車内照明が乗員の体感と合うようにする任意の統計処理を用いることができる。
 画像取得エリア1箇所あたり、カメラ1画素のみの撮像でも列状の照明の制御に使用することは可能である。この場合、1画素は図14の点線の延長上の1点から取得する。図14の例では、点線の延長上にはトンネルの照明が写らないため、1画素はほぼ暗いため列状照明は暗くなる。車両1が進行していくとトンネルの照明をくぐり抜けることになる。つまりトンネルの照明を反映することが体感と合わせるために必要である。
 体感と合わせるため、画像取得エリアは、図14の点線上の1点を中心に横長楕円や横長長方形に設定する。図14では、横長長方形に設定される場合が例示される。画像取得エリアの画像は、2次元的にマトリックス状に配列された複数の画素信号を含む。そのため、図17に示すように、画像取得エリアIM1内を2次元的に複数の分割領域DV1~DV25に分割し、各分割領域DV1~DV25が1以上の画素信号を含むようにすることができる。図17では、画像取得エリアIM1内を縦横5分割した25領域とする場合が例示されている。図17では、画像取得エリアIM1について例示するが、画像取得エリアIM2も同様である。
 画像に含まれる複数の画素信号のそれぞれは、属性として、輝度を示すY信号と、赤(R)の色成分値を示すR信号、緑(G)の色成分値を示すG信号、青(B)の色成分値を示すB信号を含む。処理部133は、処理対象の画像について、複数の分割領域DV1~DV25の輝度を平均して輝度AVEYを求め、複数の分割領域DV1~DV25の赤(R)・緑(G)・青(B)の各色成分値を平均して色AVERGBを求める。処理部133は、処理対象の画像について、複数の分割領域DV1~DV25のうち最大輝度の領域(例えば、DV18)を特定し、その領域の属性を代表値Aとする。代表値Aは、最大輝度の領域の輝度AYと、最大輝度の領域の赤(R)・緑(G)・青(B)の各色成分値である色ARGBとを含む。処理部133は、処理対象の画像について、複数の分割領域DV1~DV25のうち最小輝度の領域(例えば、DV3)を特定し、その領域の属性を代表値Bとする。代表値Bは、最小輝度の領域の輝度BYと、最小輝度の領域の赤(R)・緑(G)・青(B)の各色成分値である色BRGBとを含む。なお、各光源D1~D15の発光色が白色である場合、色成分値を示す各属性AVERGB,ARGB,BRGBは、省略されてもよい。
 画像取得エリアの画像は車の進行や時間の経過でシフトレジスタに蓄積されて、列状の照明制御に反映される。このプロセスで代表値A、代表値Bの輝度、色情報が得られるが、次の画像取得でもまた同様の評価を行って、次の画像の代表値A,代表値Bの領域を得る。画像取得エリアを広くとって代表値Aを定義することで例えばトンネルの照明など点状の輝点の表現ができる。
 代表値Aを使って列状照明の点灯を行うと暗いところでは良いが、例えば昼間はずっと明るい空を反映した代表値Aとなってしまい、メリハリなく真っ白に近い状態で点灯してしまうことが懸念される。これに対応するために代表値Bを使う。
 体感と合わせるため、画像取得エリアの画像から輝度の特徴点を切り出し、車内照明の制御をその特徴点の輝度に合うようにする。画像取得エリアの画像に特徴点がなければ、平均の輝度を用いて車内照明の制御を行う。
 図18に示すように、処理部133は、処理対象の画像の属性について、平均値AVE(AVEY,AVERGB)と代表値A(AY、ARGB)、代表値B(BY、BRGB)の3種を保持してもよい。図18は、光源の輝度を決定する処理を示す図である。図18では、縦軸が輝度の高さを示し、横軸が時間を示す。処理部133は、輝度の基準として、複数の画像の平均値AVEY、例えば最新50個の画像の平均値AVEYを平均して基準輝度AVEY50を求める。図18(a)~図18(f)に示すように、画像取得エリアがずっと暗ければAVEY50は輝度が低いので小さくなり、ずっと明るければ大きくなる。基準輝度AVEY50は、最新の輝度の傾向を反映した輝度の基準を示す。
 図18(a)に示すタイミングTM1では、例えば車両1がトンネルや闇夜を走行している状態になる。所定値より低い基準輝度AVEY50に対して、処理対象の画像のAY、BYとの差分が所定の閾値範囲内であり、処理対象の画像のAY、BYが近い。これは、画像が一様に暗く特徴点がないことを示している。このため、処理部133は、点線の丸で示すように、列状照明の制御値をAVEに基づいて生成する。AVE次第では、消灯を指示する制御値も生成され得る。
 図18(b)に示すタイミングTM2では、例えば車両1がトンネルの照明で照らされた状態になる。所定値より低い基準輝度AVEY50に対して、処理対象の画像のAYとの差分が所定の閾値範囲を超えて高い。これは、画像が全体的に暗いが明るい点があることを示している。このため、処理部133は、点線の丸で示すように、代表値A(AY,ARGB)に基づいて、光源を点灯制御するための制御値を生成する。
 図18(c)に示すタイミングTM3では、例えば車両1がトンネルを出る直前の状態になる。所定値より高い基準輝度AVEY50に対して、処理対象の画像のBYとの差分が所定の閾値範囲を下回って低い。これは、画像が全体的に明るいが暗い点があることを示している。このため、処理部133は、点線の丸で示すように、代表値B(BY,BRGB)に基づいて、光源を点灯制御するための制御値を生成する。これにより、「明るい中の暗い箇所」を表現する。
 図18(d)に示すタイミングTM4では、例えば車両1がトンネルから出て一様な空をくぐる状態になる。所定値より高い基準輝度AVEY50に対して、処理対象の画像のAY、BYとの差分が所定の閾値範囲内であり、処理対象の画像のAY、BYが近い。これは、画像が一様に明るく特徴点がないことを示している。このため、処理部133は、点線の丸で示すように、平均値AVE(AVEY,AVERGB)に基づいて、光源を点灯制御するための制御値を生成する。ただし、処理部133は、平均輝度の値を、AVEYに関わらず中間レベルの輝度で頭打ちさせてもよい。
 図18(e)に示すタイミングTM5では、例えば車両1がビルの近くを走行している状態になる。所定値より高い基準輝度AVEY50に対して、処理対象の画像のAYとの差分が所定の閾値範囲を超えて高い。これは、画像が全体的に明るいがさらに明るい点があることを示している。このため、処理部133は、点線の丸で示すように、代表値A(AY,ARGB)に基づいて、光源を点灯制御するための制御値を生成する。
 図18(f)に示すタイミングTM6では、例えば車両1が木漏れ日をくぐるように走行している状態になる。所定値より高い基準輝度AVEY50に対して、処理対象の画像のAYとの差分が所定の閾値範囲を超えて高く、且つ、処理対象の画像のBYとの差分が所定の閾値範囲を下回って低い。これは、画像が全体的に明るいが明るい点と暗い点とが点在していることを示している。このため、処理部133は、点線の丸で示すように、代表値A(AY,ARGB)に基づいて、光源を点灯制御するための制御値を生成する。
 図18(a)~図18(f)に示すように、様々な外部環境において、輝度に変化があるところで、列状照明に動きが出るように制御する。
 次に、車両1の動作の流れについて図19及び図20を用いて説明する。図19及び図20は、それぞれ、車両1の動作を示すフローチャートである。図19及び図20は、列状の照明1つあたりの処理を例示している。列状の照明が複数あって、画像取得エリアがm個ある場合は、図19及び図20に示す処理をm個分並行して行ってもよい。
 車両制御装置100は、乗員から起動要求を受けると、車両1の運転が開始されるとして、初期設定を行う(S101)。車両制御装置100は、AVEY(*),AY(*),BY(*),AVERGB(*),ARGB(*),BRGB(*)の各パラメータを0に初期化する。パラメータ名におけるカッコ内には、画像を識別するための番号が入り、番号が小さいほど古いデータのパラメータを表すことにする。車両制御装置100は、シフトレジスタ131,531の各段のレジスタ132,532を0に初期化する。このとき、車両制御装置100は、発光部群51,52の各発光部GR1~GR3を発光させないが、乗降時にウェルカムライト的に発光させる制御をおこなって良い。
 車両制御装置100は、発光部群51,52の発光制御についてモード設定要求を確認し、光が流れるモードへの設定が要求されていなければ(S102でNo)、処理をS101へ戻す。
 車両制御装置100は、光が流れるモードへの設定が要求されていれば(S102でYes)、撮像部44を介して前方の画像取得エリアの画像を取り込む(S103)。
 車両制御装置100は、取り込まれた画像内の最高輝度A点、最低輝度B点を探す。最高輝度A点、最低輝度B点が見つかると、車両制御装置100は、最高輝度A点の輝度AYと色成分値の比率ARGBとを計算する(S104)。
 車両制御装置100は、最新の画像が50番の画像である場合、AY(50),ARGB(50)に50番の画像の最高輝度A点の情報を書き込み、BY(50),BRGB(50)に50番の画像の最低輝度B点の情報を書き込む(S105)。
 車両制御装置100は、50番の画像の平均輝度AVEY、平均RGB比率AVERGBを計算して、それぞれ、AVEY(50),AVERGB(50)に書き込む(S106)。
 車両制御装置100は、輝度の基準として、画像の平均輝度を1番~50番の画像について平均して、基準輝度AVEY50を更新する(S107,B)。
 なお、n=0が列状照明の先頭の点灯に使用するデータである。車両1がデータの場所を過ぎたらデータは廃棄することにする。
 車両制御装置100は、車室46内から見た場合に、発光部群全体の発光の制御値を進行方向と逆方向に1つシフトさせる(S108)。発光の制御値は1つシフトと表現しているが、必ずしも物理的な1つの光源の制御値でなく、1制御単位ごとすなわち発光部ごとの制御値であっても良い。前後の制御単位間の色や光量の変動を滑らかにするように、複数の制御単位間で制御値の平均化処理を行っても良い。
 車両制御装置100は、0番の画像について、最高輝度の基準輝度からの差分(AY(0)-AVEY50)と基準値K1とを比較する。車両制御装置100は、最高輝度の基準輝度からの差分(AY(0)-AVEY50)が基準値K1を超えていれば(S109でYes)、点灯制御にA点を反映すべきであるとして、AY(0),ARGB(0)を使って先頭の光源を点灯制御する(S110)。
 車両制御装置100は、最高輝度の基準輝度からの差分(AY(0)-AVEY50)が基準値K1以下であれば(S109でNo)、0番の画像について、最低輝度の基準輝度からの差分(AVEY50-BY(0))と基準値K2とを比較する。車両制御装置100は、最低輝度の基準輝度からの差分(AVEY50-BY(0))が基準値K2を下回っていれば(S111でYes)、発光制御にB点を反映すべきであるとして、BY(0),BRGB(0)を使って先頭の光源を点灯制御する(S112)。
 車両制御装置100は、最低輝度の基準輝度からの差分(AVEY50-BY(0))が基準値K2以上であれば(S111でNo)、発光制御に平均値を反映すべきであるとして、AVEY(0),AVERGB(0)を使って先頭の光源を発光制御する(S113)。
 車両制御装置100は、S103の地点から車両1が一定距離ΔL走行するまで(S114でNo)待機し、一定距離ΔL走行すると(S114でYes)、シフトレジスタの各段のレジスタを1つシフトさせる。すなわち、パラメータAVEY(n),AY(n),BY(n),AVERGB(n),ARGB(n),BRGB(n)でnを1減らす(S115)。走行する「一定距離」と発光制御単位のシフトによる、発光部1回の物理的なシフト量を連動させると、周囲の光の変化と連動して滑らかに光を流すことができる。
 その後、車両制御装置100は、処理をS102に戻し(A)、S2以降の処理を繰り返す。
 以上のように、第2の実施形態では、車両1において、車室46の天井に進行方向に沿って複数の発光部GR1~GR3が列状に配され、車体43の前方を撮像した画像に応じて複数の発光部GR1~GR3のそれぞれの発光状態が制御される。これにより、上方の景色に準じた照明環境を車室46の天井にリアルタイム的に実現でき、車両1の走行について、スピード感・没入感・臨場感を高めることができる。したがって、車室46内のエンターテインメント性を向上できる。
 なお、撮像部44は、画像取得エリアIM1,IM2の画像を撮像可能であれば、車室46内における+X側・+Z側以外の位置に配されていてもよいし、車室46外に配されていてもよい。また、撮像部44は、他の用途のために車室46内に配されたカメラが兼用されてもよく、例えばドライブレコーダー、ADAS(Advanced Driver Assistance Systems)用のカメラが兼用されてもよい。
 また、照明部45が有する発光部群は、1つでもよいし、3つ以上でもよい。照明部45が3つ以上の発光部群を有する場合、撮像部44が3つ以上の発光部群に対応した3つ以上の画像取得エリアの画像を撮像可能であってもよい。撮像部44は、3つ以上の画像取得エリアを撮像可能な1つのカメラ44aを有してもよいし、3つ以上の画像取得エリアをそれぞれ撮像可能な3つ以上のカメラ44aを有してもよい。3つ以上のカメラ44aは、車室46内における+X側・+Z側の位置においてY方向に沿って並んでいてもよい。
 また、第2の実施形態の第1の変形例として、車両1は、これから進む沿道にある物体に関するマップ情報が取得可能であれば、さらにマップ情報を車室46内の照明制御に反映させてもよい。マップ情報は、物体の地理的位置と沿道にある物体の色・明るさなどの属性とが複数の物体について対応付けられた情報である。
 車両1において、車両制御装置100は、所定のタイミングでクラウドサーバ等から図12に示す通信装置9経由でマップ情報を受信して通信IF108経由でRAM103(図12参照)に格納して一時的に記憶する。車両制御装置100は、マップ情報を参照して、物体の地理的位置を把握しておく。車両1は、画像取得エリアについて、これから進む沿道にある物体を撮像部44で撮像する。沿道の物体は、木、歴史的建造物、トンネルの壁、街灯など、道路に沿って存在する固定物を対象としても良い。なお、マップ情報は、クラウドサーバ等から受信され取得される代わりに、予めROM104(図12参照)に格納されていてもよい。
 車両1において、車両制御装置100は、GPSセンサ47を介してGPS信号を逐次的に受信し、GPSIF106で車両1の現在位置を逐次的に求め、車速IF107で求められた車速で現在位置を逐次的に補正する。車両制御装置100は、画像取得エリアIM1,IM2について撮像された画像に応じた発光部群51,52の制御値を生成するに際し、マップ情報に応じた変更を加える。車両制御装置100は、車両1が物体の地理的位置に到達したと判断すると、マップ情報におけるその地理的位置に対応した物体の色・明るさなどの属性を特定する。車両制御装置100は、撮像画像による発光部群51,52の制御値を、マップ情報から特定された属性に応じて変更する。これにより、発光部群51,52の各発光部GR1~GR3の発光制御を沿道の物体にさらに合ったものとすることができ、車両1の走行について、没入感・臨場感をさらに高めることができる。
 車両制御装置100は、周辺の風景の特徴色を車内に反映してもよい。例えば、車両制御装置100は、物体が木であれば、発光部GR1~GR3の発光色を緑や紅葉の色に制御する。車両制御装置100は、物体が町並みや歴史的建造物であれば、発光部GR1~GR3の発光色を壁や屋根などの色に制御する。車両制御装置100は、車両1がトンネルに入ったら発光部GR1~GR3の明るさを暗くし、暗くなった後に車両1が街灯をくぐり抜けるのに対応して発光部GR1~GR3の明るさを明るく制御する。
 車両1において、車両制御装置100は、沿道にある物体ごとに、撮像部44の撮像画像から生成された発光部群51,52の制御値をそのまま使用するものと、マップ情報に応じて制御値を変更するものとを決めてもよい。そのまま使用するものは、木などであり、制御値を変更するものは、トンネルや街灯、町並みや歴史的建造物などである。車両1は、マップ情報から特定される属性を、天候、日時や時間帯、イベントによって逐次変更しても良いので、季節感を出したり、通る時間帯によって色が変わるなど様々な対応が可能である。車両制御装置100は、その道路において、例えば車窓に紅葉した木が見られる季節、天候であるという沿道の地図情報を取得することができる。車両1は、撮像部44のカメラで、画像取得エリアの輝度と色を撮影するだけでなく、車窓の木を物体として検知して、沿道の地図情報から木は一様に紅葉してるものと見立てて、車窓の木の位置に合わせて車内に赤や黄色が流れるようにすることもできる。同様に、車両1は、車窓に雪の積もった木、青空が見られれば青と白が流れるようにすることもできる。
 このとき、マップ情報に応じた輝度等の制御を図17~図20に示すような輝度等の制御と組み合わせてもよい。AVEY,AVERGBは図17~図20の制御と同様とし、AY,ARGBやBY,BRGBをマップ情報から特定される属性に応じた色で置き換えることも出来る。マップ情報による輝度の制御は、例えば、図21に示すように行われてもよい。図21は、第2の実施形態の第1の変形例における画像取得エリアの画像及びマップ情報に応じた複数の発光部の制御を示す図である。
 車両制御装置100は、撮像画像から特定されるAY、BYの値に対して、基準値K1,K2に対して十分大きくなるように変更して、高輝度点A扱い、低輝度点B扱いに示される色が発光部群51,52の発光制御に反映されるようにする。
 図21に示す場合、車両1は、「街灯エリア」に到達すると、撮像画像による照明制御とマップ情報+GPSによる照明制御とを組み合わせる。車両1は、「街灯エリア」の4つの地点について、高輝度点A扱いの制御値を無、無、青白、無とし、低輝度点B扱いの制御値を黒、黒、無、黒とする。「無」は、制御値がないためカメラで取得した高輝度点Aまたは低輝度点Bの値をそのまま利用することを示している。
 車両1は、「トンネルエリア」に到達すると、マップ情報+GPSによる照明制御を行う。車両1は、「トンネルエリア」の3つの地点について、高輝度点A扱いの制御値を無、無、無とし、低輝度点B扱いの制御値を黒、黒、黒とする。
 車両1は、晴天時の夕方の時間帯に「夕焼けエリア」に到達すると、マップ情報+GPS+天候+日時+時間帯による照明制御を行う。車両1は、「トンネルエリア」の3つの地点について、高輝度点A扱いの制御値を濃紺、紫、橙とし、低輝度点B扱いの制御値を無、無、無とする。
 車両1は、昼間の時間帯に「歴史的建造物エリア」に到達すると、マップ情報+GPS+時間帯による照明制御を行う。車両1は、「歴史的建造物エリア」の3つの地点について、高輝度点A扱いの制御値を白、白、白とし、低輝度点B扱いの制御値を無、無、無とする。
 車両1は、昼間の時間帯に「並木道エリア」に到達すると、撮像画像による照明制御とマップ情報+GPSによる照明制御とを組み合わせる。車両1は、「並木道エリア」の5つの地点について、高輝度点A扱いの制御値を緑、緑、緑、緑、緑とし、低輝度点B扱いの制御値を無、無、無、無、無とする。
 車両制御装置100は、クラウドサーバ等から通信装置9経由で受信されたマップ情報における物体の情報を、実際に走行して検知された物体の情報で更新して、後にその物体の沿道を走行する際の発光部群51,52の発光制御に反映することもできる。例えば、工事によって色の対象物が増減したり、位置が変わったり、天候の変動によって物体の視認される色が変わる場合などにおいて、車両制御装置100は、マップ情報を、その物体について、より適切な色となるように更新することができる。
 また、図22に示すように、次の点で第2の実施形態と異なる車両1の動作が行われてもよい。図22は、第2の実施形態の第1の変形例に係る車両1の動作を示すフローチャートである。
 S1~S7の処理が行われた後、車両制御装置100は、GPSセンサ47を介してGPS信号を受信し、GPSIF106で車両1の現在位置を求め、車速IF107で求められた車速で現在位置を補正する(S121)。
 車両制御装置100は、マップ情報を参照し、利用できる場合に、AY,ARGB,BY,BRGBを変更する(S122,B)。すなわち、車両制御装置100は、車両1が物体の地理的位置に到達したと判断すると、マップ情報におけるその地理的位置に対応した物体の色・明るさなどの属性を特定する。車両1は、AY,ARGB,BY,BRGBを、マップ情報から特定された属性に応じたAY,ARGB,BY,BRGBで上書きする。そして、車両制御装置100は、S108以降の処理を行う。
 なお、車両制御装置100は、マップ情報がない場合、又は、季節や時間帯、天候要因でマップ情報が有効になってない場合、S121,S122の処理をスキップしてもよい。
 このように、第2の実施形態の第1の変形例では、撮像画像による発光部群51,52の制御値を、マップ情報から特定された属性に応じて変更する。これにより、発光部群51,52の発光制御を沿道の物体にさらに合ったものとすることができ、車両1の走行について、没入感・臨場感をさらに高めることができる。
 また、第2の実施形態の第2の変形例として、定常状態では、発光部群51,52の発光制御を休止させておき、車両1の地理的な位置が見どころポイント内になったときに発光部群51,52の発光制御を開始するようにしてもよい。見どころポイント内となる地理的位置は、マップ情報に含まれていてもよい。車両制御装置100は、見どころポイント内となる地理的位置の情報を、車両1のナビゲーションシステムと連携することで取得してもよい。例えば、車両制御装置100は、ナビゲーションシステムの観光スポット案内機能がONとされたことを検知すると、見どころポイント内になったとして発光部群51,52の発光制御を開始してもよい。あるいは、車両制御装置100は、ナビゲーションシステムの観光の解説音声の開始信号に同期して発光部群51,52の発光制御を開始してもよい。すなわち、車両制御装置100は、ナビゲーションシステムの観光の解説音声の開始信号がアクティブになったことに応じて、見どころポイント内になったとして発光部群51,52の発光制御を開始してもよい。
 これにより、車両1が発光制御すべき位置がはっきりする。すなわち、車両1は、見どころポイントに到達するまで、各発光部GR1~GR3を不発光にし、見どころポイントに到達したら、各発光部GR1~GR3を発光制御する。このため、乗員への発光時の驚きの演出や、場所の解説に興味を惹かせるなどの効果を生むことができる。
 また、第2の実施形態の第2の変形例として、図23に示すように、次の点で第2の実施形態と異なる車両1の動作が行われてもよい。図23は、第2の実施形態の第2の変形例に係る車両1の動作を示すフローチャートである。
 車両制御装置100は、光が流れるモードへの設定が要求されていれば(S102でYes)、車両1の地理的な位置が見どころポイント内になるまで(S131でNo)待機する。車両制御装置100は、車両1の地理的な位置が見どころポイント内になると(S131でYes)、S103以降の処理を行う。なお、図示しないが、車両制御装置100は、S15の後において、車両1が見どころポイント内から抜け出たかどうか判断してもよい。車両制御装置100は、車両1が見どころポイント内であれば、発光部群51,52の発光制御を継続し、車両1が見どころポイント内から抜け出たら、発光部群51,52の発光制御を休止させてもよい。そして(A)、車両制御装置100は、処理をS2に戻してもよい。
 このように、第2の実施形態の第2の変形例では、撮像画像による発光部群51,52の制御値を、車両1の地理的な位置が見どころポイント内になったことに応じて開始する。これにより、乗員への発光時の驚きを演出することができ、車両1の走行について、没入感・臨場感をさらに高めることができる。
 (第3の実施形態)
 第3の実施形態について図面を用いて説明する。
(車両の構成例)
 図24は、実施形態3にかかるコミュニケーション制御装置400を備える車両1の一例を示す模式図である。図24(a)は車両1の側面図であり、図24(b)は車両1の上面図である。 
 図24に示すように、車両1は、車体2と、車体2の車長方向(±Y方向)に沿って車体2に配置された2対の車輪3(1対のフロントタイヤ3f及び1対のリアタイヤ3r)とを備える。対になる2つのフロントタイヤ3f及び対になる2つのリアタイヤ3rは、それぞれ車体2の車幅方向(±Y方向に直交する±X方向)に沿って配置される。 
 車両1は、車体2の±X方向の両端部であって、車体2の±Y方向のフロントタイヤ3f寄り、かつ、車高方向(±X方向および±Y方向に直交する±Z方向)における所定の高さ位置に1対のドアミラー94を備える。 
 車両1は、車体2の内部に複数の座席95a~95fを備える。座席95a,座席95bは、フロントタイヤ3f寄りに、±X方向に並んで配置される。座席95c,座席95dは、フロントタイヤ3fとリアタイヤ3rの間に、±X方向に並んで配置される。座席95e,座席95fは、リアタイヤ3r寄りに、±X方向に並んで配置される。座席95cは座席95aの背後に配置され、座席95dは座席95bの背後に配置され、座席95eは座席95cの背後に配置され、座席95fは座席95dの背後に配置される。なお、車両1が備える座席95の数および配置は図24の例に限られない。
 車両1は、車体2の内壁に複数のコミュニケーション装置96a~96fを備える。車両内の乗員同士のコミュニケーションで用いられるコミュニケーション装置(96a,996c,96d,96e,96f)は、各座席の近傍に配置されている。
 コミュニケーション装置(96a,96c,96d,96e,96f)は、例えば、コミュニケーション装置96aは、座席95a,5bの前に配置され、コミュニケーション装置96cは座席95cの右側に配置され、コミュニケーション装置96dは座席95dの左側に配置され、コミュニケーション装置96eは座席95eの右側に配置され、コミュニケーション装置96fは座席95fの左側に配置される。コミュニケーション装置(96a,96c,96d,96e,96f)は、乗員同士のコミュニケーションに用いられる。
 なお、本明細書では、車体2のフロントタイヤ3f側の端面を前面と称することがある。また、車体2のリアタイヤ3r側の端面を後面と称することがある。また、車体2の±X方向の両端面を側面と称することがある。また、車両1内のいずれかの座席95a~95fに着座した状態で、右側にあたる側面を右側面、左側にあたる側面を左側面と称することがある。
 また、本明細書では、車体2の左側面に向かう方向を+X方向とし、右側面に向かう方向を-X方向とする。また、車体2の前面側に向かう方向を+Y方向とし、後面側に向かう方向を-Y方向とする。また、車体2の上方に向かう方向を+Z方向とし、下方(路面側)に向かう方向を-Z方向とする。
 また、本明細書では、車両1が理想的な平面を有する路面に停車しているとき、車両1の±X方向の軸(X軸)及び±Y方向の軸(Y軸)は路面と平行であり、車両1の±Z方向の軸(Z軸)は路面に対する法線と平行であるものとする。 
 車両1は、±Y方向に沿って配置された2対の車輪3を用いて走行することが可能である。この場合、2対の車輪3が配置される±Y方向が車両1の走行方向(移動方向)となり、ギアの切り替え等により前進(+Y方向へ走行)または後退(-Y方向へ走行)することができる。また、操舵により右左折することもできる。
 コミュニケーション制御装置400は、例えば、車両1に搭載され、コミュニケーション装置96a,96c,96d,96e,96fの制御を行う。コミュニケーション制御装置400は、ユーザの入力に応じて、各種の情報をコミュニケーション制御装置400に表示する等の制御を行う。詳細な内容は後述する。
(コミュニケーション制御装置のハードウェア構成例)
 図25は、実施形態3にかかるコミュニケーション制御装置400のハードウェア構成の一例を示す図である。図25(a)に示すように、コミュニケーション制御装置400は、CPU(Central Processing Unit)221と、ROM(Read Only Memory)222と、RAM(Random Access Memory)23と、補助記憶装置224と、入力装置225と、表示装置226と、外部I/F227と、スピーカーI/F228と、を備える。
 CPU221は、プログラムを実行することにより、コミュニケーション制御装置400の動作を統括的に制御し、コミュニケーション制御装置400が有する各種の機能を実現する。コミュニケーション制御装置400が有する各種の機能については後述する。
 ROM222は、不揮発性のメモリであり、コミュニケーション制御装置400を起動させるためのプログラムを含む各種データ(コミュニケーション制御装置400の製造段階で書き込まれる情報)を記憶する。RAM223は、CPU221の作業領域を有する揮発性のメモリである。補助記憶装置224は、CPU221が実行するプログラム等の各種データを記憶する。補助記憶装置224は、例えばHDD(Hard Disc Drive)などで構成される。
 入力装置225は、コミュニケーション制御装置400を使用する乗員(ここではコミュニケーション装置の操作を行う者等)が各種の操作を行うためのデバイスである。入力装置225は、例えば、タッチパネル又はハードウェアキーで構成される。
 表示装置226は、アイコンや座席表を含む各種の情報を表示する表示部である。表示装置226は、例えば液晶ディスプレイで構成され、例えばタッチパネルのような形態で、入力装置225と表示装置226とが一体に構成されてもよい。
 外部I/F227は、コミュニケーション装置96a,96c,96d,96e,96fなどの外部装置と接続(通信)するためのインタフェースで、例えば、LIN(Local Interconnect Network)上で通信を行っている。
 スピーカーI/F228は、送信されたアイコンと座席を受信した際に、発着信音を出力するためのデバイスである。
 発光装置229は、送信された座席に対応するコミュニケーション装置に向かって、発光装置が送信した座席から近づくように順次点灯するための発光部である。発光装置229は、例えば、LED(Light Emitting Diode)等で構成される。
 次に、図25(b)は、実施形態3にかかるコミュニケーション制御装置の表示装置226の構造を示す断面図である。
 表示装置226は、少なくとも指で接触可能な操作面226Aと、操作面226Aの下面側で操作面226Aに沿って配置されたシート226Bと、シート226Bの下面側で操作面226Aに沿って配置され、可視光(所定の光)を発光可能な発光回路(表示回路)226Cと、操作面226Aと発光回路226Cの間で、操作面226Aと発光回路226Cに沿って配置され、操作面226Aにおいて、少なくとも指の動作を検出可能なタッチパネル回路(検出回路)226Dと、を備える。
 シート226Bは、タッチパネル回路226Dに両面テープ又は接着剤で貼るか、直接印刷するようにしても良い。発光回路226Cは、有機EL(Electro Luminescence)表示回路、もしくはバックライトを備えた液晶表示回路である。シート226Bとタッチパネル回路226Dは透過性を有し、発光回路226Cで発光した光を透過させる。タッチパネル回路226Dには、例えば、超音波表面弾性波、抵抗膜又は静電容量の方式のタッチパネルが用いられる。
 (コミュニケーション制御装置の機能例)
 次に、図26は、実施形態3にかかるコミュニケーション制御装置の機能的構成の一例を示す図である。なお、図26の例では、本実施形態に関する機能のみを例示しているが、コミュニケーション制御装置400が有する機能はこれらに限られるものではない。図26に示すように、コミュニケーション制御装置400は、制御部31、記憶メモリ32、作業メモリ33を有する。
 制御部31は、アイコン表示制御部31A、アイコン選択部31B、座席表示制御部31C、座席選択部31D、送信制御部31E、受信制御部31F、発光制御部31Gを有する。
 アイコン表示制御部31Aは、乗員のコミュニケーションに用いられる、少なくとも1つのアイコンを表示部に表示する制御機能を有する。乗員のコミュニケーションに用いられる、少なくとも1つのアイコンとは、記憶メモリ32に記憶されているアイコンデータ32Aのことである。また、本実施例では、アイコン表示制御部31Aは、表示部にコミュニケーションに用いられるアイコンデータ32Aを表示されるために起動する機能を有しても良い。また、コミュニケーションに用いられるアイコンデータ32Aについて、コミュニケーション制御装置400を起動後にアイコンデータ32Aを表示部に表示するときは初期設定でアイコンデータ32Aを設定してもよい。
 ここで、図27(a)にアイコンの一例を示す。表内の上段には、アイコンが何を示しているかの意味を記載し、下段には、上段の意味を示すアイコンを示している。これらはあくまでも一例にすぎず、本開示のアイコンは図27(a)以外のアイコンも対象とする。
 また、アイコンを表示部に表示する制御機能とは、アイコンデータ32Aを表示部に表示することや、表示部に表示されたアイコンデータ32Aのアイコンから、ユーザの入力に応じてアイコン選択部31Bによって選択したアイコン選択データ33Aを表示する制御機能のことである。
 アイコン選択部31Bは、ユーザの入力に応じて、少なくとも1つのアイコンの中から、1つのアイコンを選択する機能を有する。ユーザは、他の乗員に対して、アイコンを送信したい場合、少なくとも1つのアイコンの中から、1つのアイコンを選択する。選択するアイコンは記憶メモリ32に記憶されているアイコンデータ32Aのことであり、選択後のアイコンは作業メモリ33に記憶されているアイコン選択データ33Aへ保管される。
 座席表示制御部31Cは、座席の位置を示す座席表を表示部に表示する制御機能を有する。座席の位置を示す座席表とは、記憶メモリ32に記憶されている座席表32Cのことである。ここで、図27(b)に座席の位置を示す座席表の一例を示す。座席表とは座席列と座席データから成り立ち、ここでは3列からなる車両の一例である。これらはあくまでも一例にすぎず、本開示の座席表は図27(b)以外の座席表も対象とする。
 座席選択部31Dは、ユーザの入力に応じて、座席表の中から、アイコン選択部により選択されたアイコンの送信先となる座席を選択する機能を有する。アイコンの送信先となる座席とは、記憶メモリ32に記憶されている座席データ32Bのことであり、選択後の座席は作業メモリ33に記憶されている座席選択データ33Bへ保管される。また、ユーザが送信する送信元の座席は、座席選択データ33Bへ保管される。
 送信制御部31Eは、座席選択部31Dにより選択された座席に対応するコミュニケーション装置へアイコンを送信する制御機能を有する。選択された座席とは、作業メモリ33に保管されている座席選択データ33Bであり、送信するアイコンは作業メモリ33に保管されているアイコン選択データ33Aである。
 受信制御部31Fは、送信制御部31Eにより送信された座席に対応するコミュニケーション装置へアイコンを受信する制御機能を有する。送信された座席とは、作業メモリ33に保管されている座席選択データ33Bであり、受信するアイコンは作業メモリ33に保管されているアイコン選択データ33Aである。
 発光制御部31Gは、送信制御部31Eにより送信された座席に対応するコミュニケーション装置に向かって、発光部が、送信した座席から近づくように順次点灯する発光制御機能を有する。送信した座席と、送信された座席とは、作業メモリ33に保管されている座席選択データ33Bであり、順次点灯する発光とは、作業メモリ33に保管されている発光有無データ33Dによって、点灯制御される。
 次に、制御部230が実行するアイコンを送信する処理の手順を説明する。
(コミュニケーション制御装置の送信処理の例)
 図28は、本実施の形態の制御部230が実行するアイコン選択データ33Aを送信する処理の手順の一例を示すフローチャートである。
 まず、アイコン表示制御部31Aと、座席表示制御部31Cが、アイコン選択データ33A、送受信先を含む座席選択データ33B、座席表データ33C、全てのデータを削除する(ステップS501)。全てのデータを削除すると、ステップS502へ進む。
 ステップS502では、受信制御部31Fが、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置へアイコン選択データ33Aを受信する受信データはないかを判断する。受信データがあると判断(ステップS502:No)した場合は、受信処理S503へ進む。制御部230が有する受信処理S503の機能の詳細は図32に後述する。受信データがないと判断(ステップS502:Yes)した場合は、ステップS504へ進む。
 ステップS504では、アイコン表示制御部31Aが、ユーザが表示部に触れたか否かを判断する。ユーザが表示部に触れていないと判断(ステップS504:No)した場合は、ステップS502へ戻る。ユーザが表示部に触れたと判断(ステップS504:Yes)した場合、ステップS505へ進む。
 ステップS505では、ユーザの入力に応じて、少なくとも1つのアイコンデータ32Aの中から、1つのアイコン選択データ33Aを選択するために、アイコン表示制御部31Aがアイコンデータ32Aを表示する。アイコンデータ32Aを表示すると、ステップS506へ進む。
 ステップS506では、ユーザが送信したいアイコンデータ32Aの種類を変更するか否かを判断する。ユーザがアイコンデータ32Aの種類を変更すると判断(ステップS506:Yes)した場合、ステップS507へ進む。ステップS507では、アイコン表示制御部31Aがアイコンデータ32Aの種類を変更し、ステップS506へ進む。ユーザがアイコンデータ32Aの種類を変更しないと判断(ステップS506:No)した場合、ステップS508へ進む。
 ステップS508では、アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコンデータ32Aの中から、1つのアイコン選択データ33Aを選択したか判断する。ユーザがアイコンデータ32Aを選択していないと判断(ステップS508:No)した場合は、ステップS509へ進む。
 ステップS509では、アイコン表示制御部31Aが、表示部に触れた後、所定の時間が経過したか否かを判断する。所定の時間が経過したと判断(ステップS509:Yes)した場合は、ユーザがアイコン選択データ33Aを送信することなく、アイコン選択データ33Aを送信する処理は終了となる。所定の時間が経過していないと判断(ステップS509:No)した場合は、ステップS505へ進む。ユーザがアイコンデータ32Aを選択したと判断(ステップS508:Yes)した場合は、ステップS510へ進む。
 ステップS510では、アイコン表示制御部31Aが、ユーザの入力に応じて、少なくとも1つのアイコンデータ32Aの中から、1つのアイコン選択データ33Aを選択した以外のアイコンデータ32Aを消す処理を行う。選択したアイコン選択データ33Aの表示以外を消すと、ステップS511へ進む。
 ステップS511では、座席表示制御部31Cが、座席の位置を示す座席表32Cを表示部に表示する制御を行う。座席表32Cを表示部へ表示すると、ステップS512へ進む。
 ステップS512では、座席選択部31Dが、ユーザの入力に応じて、座席表32Cの中から、アイコン選択部31Bにより選択されたアイコン選択データ33Aの送信先となる座席データ32Bを選択するか否かを判断する。座席データ32Bを選択していないと判断(ステップS512:No)した場合は、ステップS513へ進む。
 ステップS513では、座席選択部31Dが、表示部に触れた後、所定の時間が経過したか否かを判断する。所定の時間が経過したと判断(ステップS513:Yes)した場合は、ユーザがアイコン選択データ33Aを送信することなく、アイコン選択データ33Aを送信する処理は終了となる。所定の時間が経過していないと判断(ステップS513:No)した場合は、ステップS512へ進む。座席データ32Bを選択したと判断(ステップS512:Yes)した場合は、ステップS514へ進む。
 ステップS514では、座席選択部31Dが、ユーザの入力に応じて、座席表データ33Cの中から、アイコン選択部により選択されたアイコン選択データ33Aの送信先となる座席選択データ33Bを選択した以外の座席データ32Bを消す処理を行う。選択した座席以外を消すと、ステップS515へ進む。
 ステップS515では、送信制御部31Eが座席選択部31Dにより選択された座席選択データ33Bに対応するコミュニケーション装置へアイコン選択データ33Aを送信する処理を行う。選択された座席選択データ33Bに対応するコミュニケーション装置へアイコン選択データ33Aを送信する処理を行うと、ステップS516へ進む。
 ステップS516では、発光制御部31Gが、コミュニケーション装置の間に配置された発光部に対して、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって、発光部が、送信した座席選択データ33Bから近づくように順次点灯する処理を行う。送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって、発光部が、送信した座席選択データ33Bから近づくように順次点灯する処理を行うと、制御部230が実行するアイコン選択データ33Aを送信する処理が完了する。
(表示部の送信処理における表示形態の例)
 次に、図29、図30、図31を用いて、コミュニケーション装置の表示部における、アイコンを送信処理のユーザの画面遷移について説明する。
 図29(a)に示すように、車両内のインストルメントパネル内に設けられるセンターディスプレイを一例として説明する。画面260は前部座席の乗員の前に表示されている表示部に表示される画面であり、表示部は車両のインストルメントパネル内に設けられるセンターディスプレイを一例として説明する。また、画面260は前部座席の乗員の前方の間に表示される画面でもよい。
 画面260は液晶パネルと静電タッチパネルから成り立っている。画面260Aは主に、インフォテイメントに関する情報が表示され、例えば、画面260A内の画面260Cは音楽に関する情報、画面260Dはコミュニケーションに関するアイコン261の情報、画面260Eは車両に関する情報が表示される。
 画面260Bは主に、ナビゲーションなど運転に必要な情報が表示される。また、本開示においては、運転者は右ハンドルの車両を運転していることを想定しているため、画面260において、運転席から遠い画面260Aのエリアはインフォテイメントに関する情報、運転席から近い画面260Bには運転に必要な情報が表示されている。画面260Bに運転に必要な情報が表示されることで、運転者は視線移動が少なくなり、運転を妨げないようにする。
 図29(b)に示すように、画面260D(表示部)内にはアイコン261が表示されており、アイコン表示制御部31Aが、ユーザが画面260D(表示部)のアイコン261に触れると、図29(c)へ画面遷移する。
 図29(c)に示すように、画面260A内(表示部)に、アイコン(262,263,264)が表示されており、ユーザの入力に応じて、少なくとも1つのアイコン(262,263,264)(アイコンデータ32A)の中から、1つのアイコン(アイコン選択データ33A)を選択するために、画面260A(表示部)内に、アイコン表示制御部31Aがアイコン(262,263,264)(アイコンデータ32A)を表示する。
 画面260A(表示部)内に、座席(265,266,267,268)が表示されており、座席表示制御部31Cが、座席の位置を示す座席(265,266,267,268)(座席表32Cと、座席データ32B)を画面260A(表示部)に表示する。画面260A(表示部)に、アイコン(262,263,264)(アイコンデータ32A)と、座席(265,266,267,268)(座席表32Cと、座席データ32B)が表示されると、図29(d)へ遷移する。
 図29(d)に示すように、画面260A(表示部)に、アイコン(262,263,264)(アイコンデータ32A)と、座席(265,266,267,268)(座席表32Cと、座席データ32B)が表示される。アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコン(262,263,264)(アイコンデータ32A)の中から、1つのアイコン263(アイコン選択データ33A)を選択する。その後、座席選択部31Dが、ユーザの入力に応じて、座席(265,266,267,268)(座席表32Cと、座席データ32B)の中から、アイコン選択部31Bにより選択されたアイコン263(アイコン選択データ33A)の送信先となる座席66(座席選択データ33B)に向かって、指をスライド操作する。
 上記操作が完了すると、送信制御部31Eが座席選択部31Dにより選択された座席66(座席選択データ33B)に対応するコミュニケーション装置へアイコン263(アイコン選択データ33A)を送信する処理を行う。送信処理完了後、図29(e)へ遷移する。
 図29(e)に示すように、画面260A(表示部)にアイコン263(アイコン選択データ33A)が表示される。本実施形態においては、画面260A(表示部)に、座席表示制御部31Cは、送信した座席266(座席選択データ33B)に応じて、送信した座席位置66(座席選択データ33B)を画面260A(表示部)に表示していないが、アイコン263(アイコン選択データ33A)の近傍に送信した座席位置66(座席選択データ33B)を表示しても良い。
 図30(a)に示すように、画面71は主に後部座席の乗員の近傍のトリム上に設けられ、例えば、車両の内壁に表示部に表示される画面である。画面71は液晶パネルと静電タッチパネルから成り立っており、その表層に加飾フィルムを備えても良い。本実施形態では、木目調の加飾フィルムを備えている例である。また、本実施形態の加飾フィルムは木を薄くスライスしたものでも良いし、樹脂素材に木目を印刷したものでもよい。また、画面71は前部座席の乗員の近傍のトリム上に設けられても良い。
 図30(b)に示すように、アイコン表示制御部31Aが、ユーザが画面71(表示部)に触れたか否かを判断し、ユーザが画面71(表示部)に触れたと判断した場合、図30(c)へ遷移する。
 図30(c)に示すように、画面71内(表示部)に、アイコン(72,73,74)(アイコンデータ32A)が表示されている。ユーザの入力に応じて、少なくとも1つのアイコン(72,73,74)(アイコンデータ32A)の中から、1つのアイコン(アイコン選択データ33A)を選択するために、画面71(表示部)内に、アイコン表示制御部31Aがアイコン(72,73,74)(アイコンデータ32A)を表示する。アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコン(72,73,74)(アイコンデータ32A)の中から、1つのアイコン72(アイコン選択データ33A)を選択すると、図30(d)へ遷移する。
 図30(d)に示すように、画面71内(表示部)に、アイコン72(アイコン選択データ33A)と、座席表75(座席表32C)と、座席表75(座席表32C)内に、座席(75A,75B,75C,75D,75E)(座席データ32B)が表示されている。座席選択部31Dが、ユーザの入力に応じて、座席表75(座席表32C)の中から、アイコン選択部31Bにより選択されたアイコン72(アイコン選択データ33A)の送信先となる座席75D(座席選択データ33B)に指で触れる。上記操作が完了すると、送信制御部31Eが座席選択部31Dにより選択された座席75D(座席選択データ33B)に対応するコミュニケーション装置へアイコン72(アイコン選択データ33A)を送信する処理を行う。ここで、座席75Cは送信者の座席を示している。
 図31は図30のコミュニケーション装置の表示部における、アイコンを送信処理のユーザの画面遷移の別実施例である。
 図31(a)に示すように、画面81は主に後部座席の乗員の近傍のトリム上に設けられ、例えば、車両の内壁に表示部に表示される画面である。画面81は液晶パネルと静電タッチパネルから成り立っており、その表層に加飾フィルムを備えても良い。本実施形態では、木目調の加飾フィルムを備えている例である。また、本実施形態の加飾フィルムは木を薄くスライスしたものでも良いし、樹脂素材に木目を印刷したものでもよい。
 図31(b)に示すように、画面81(表示部)内に、アイコン(82,83,84)(アイコンデータ32A)が表示されている。ユーザの入力に応じて、少なくとも1つのアイコン(82,83,84)(アイコンデータ32A)の中から、1つのアイコン(アイコン選択データ33A)を選択するために、画面81(表示部)内に、アイコン表示制御部31Aがアイコン(82,83,84)(アイコンデータ32A)を表示する。画面81(表示部)に、アイコン(82,83,84)(アイコンデータ32A)が表示される。アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコン(82,83,84)(アイコンデータ32A)の中から、1つのアイコン82(アイコン選択データ33A)を選択すると、図31(c)へ遷移する。
 図31(c)に示すように、画面81(表示部)内に座席表85(座席表32C)と、座席表85(座席表32C)内に、座席(85A,85B,85C,85D,85E)(座席データ32B)が表示されている。座席選択部31Dが、ユーザの入力に応じて、座席表85(座席表32C)の中から、アイコン選択部31Bにより選択されたアイコン82(アイコン選択データ33A)の送信先となる座席85D(座席選択データ33B)に向かって、送信元の座席86C(座席選択データ33B)から指をスライド操作する。上記操作が完了すると、送信制御部31Eが座席選択部31Dにより選択された座席85D(座席選択データ33B)に対応するコミュニケーション装置へアイコン82(アイコン選択データ33A)を送信する処理を行う。
 このように、第3の実施形態に係る車両によれば、コミュニケーション制御装置400はユーザの入力に応じて、座席表32C内の座席データ32Bの中から、アイコン選択部31Bにより選択されたアイコン選択データ33Aの送信先となる座席選択データ33Bを選択する座席選択部31Dと、座席選択部31Dにより選択された座席選択データ33Bに対応するコミュニケーション装置へアイコンを送信する送信制御部31Eを備える。これにより、送信制御部31Eは、座席選択データ33Bに対し、アイコン選択データ33Aを送信することで、乗員同士が音声によらないコミュニケーションを円滑にすることができる。
 また、前部座席のコミュニケーションの情報が表示される画面260A(表示部)を運転席から遠い位置に配置し、運転席から近い画面260Bには運転に必要な情報が表示されているため、運転者は視線移動が少なくなり、運転を妨げることなく、後部座席の乗員に対し、音声によらないコミュニケーションを円滑にすることができる。
 後部座席のコミュニケーションの情報が表示される画面(71,81)(表示部)は、後部座席の乗員の近傍のトリム上に設けられるため、乗員の操作性が良く、アイコンや座席を選択することで、文字や音声によらないコミュニケーションであることから、乗員のコミュニケーションの円滑化に寄与する。また、画面(71,81)(表示部)は表層に加飾フィルムを設けているため、画面が消えているときは車両内の一体感がより増し、デザイン性に寄与する。さらにアイコンを送信する際は自分の座席から送信したい座席に向かって、指をスライドすることでより操作が簡易的になり、乗員の操作性に寄与する。
(コミュニケーション制御装置の受信処理の例)
 次に、制御部230が実行するアイコンを受信する処理の手順を説明する。
 図32は、本実施の形態の制御部230が実行するアイコンを受信する処理の手順の一例を示すフローチャートである。
 まず、受信制御部31Fが、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置へアイコン選択データ33Aを受信した情報があるか否かを判断する(ステップS901)。受信した情報がないと判断(ステップS901:No)した場合、アイコン選択データ33Aを受信することなく、アイコン選択データ33Aを受信する処理は終了となる。受信した情報があると判断(ステップS901:Yes)した場合、ステップS902へ進む。
 次に、ステップS902では、座席表示制御部31Cが、送信した座席選択データ33Bに応じて、送信した座席選択データ33Bと送信した座席表データ33Cを含む、座席位置を表示部に表示する処理を行う。アイコン表示制御部31Aが、送信されたアイコン選択データ33Aに応じて、アイコン選択データ33Aを表示部に表示する処理を行う。上記処理が完了すると、制御部230が実行するアイコン選択データ33Aを受信する処理が完了する(ステップS902)。
(表示部の受信処理における表示形態の例)
 次に、図33を用いて、コミュニケーション装置の表示部における、アイコン選択データ33Aを受信処理のユーザの画面遷移について説明する。
 図33(a)に示すように、画面301は主に前部座席の乗員の前に表示されている表示部に表示される画面であり、表示部は車両のインストルメントパネル内に設けられるセンターディスプレイで、運転席は右側にある一例として説明する。図33(a)に示すように、運転席から遠い画面301Aは、コミュニケーションに関するアイコン(102,103)の情報が表示され、運転席から近い画面301Bには運転に必要な情報が表示されている。画面301Bに運転に必要な情報が表示されることで、運転者は視線移動が少なくなり、運転を妨げないようにする。
 画面301Aには、座席表示制御部31Cが、送信した座席選択データ33Bに応じて、送信した座席選択データ33Bと送信した座席表データ33Cを含む、座席位置(座席選択データ33B)を画面301A(表示部)に表示する処理を行う。アイコン表示制御部31Aが、送信されたアイコン(102,103)(アイコン選択データ33A)に応じて、アイコン(102,103)(アイコン選択データ33A)を画面301A(表示部)に表示する処理を行う。上記処理が完了すると、制御部230が実行するアイコン選択データ33Aを受信する処理が完了する。ここで、アイコン302は座席Dから送信されたアイコン選択データ33Aであり、アイコン303は座席Cから送信されたアイコン選択データ33Aが複数表示されているが、これは多数送信されていることであり、アイコン選択データ33Aは重ねて表示されても良い。
 図33(b)に示すように、画面304は主に後部座席の乗員の近傍のトリム上に設けられ、例えば、車両の内壁に表示部に表示される画面である。画面304は液晶パネルと静電タッチパネルから成り立っており、その表層に加飾フィルムを備えても良い。本実施形態では、木目調の加飾フィルムを備えている例である。また、本実施形態の加飾フィルムは木を薄くスライスしたものでも良いし、樹脂素材に木目を印刷したものでもよい。また、画面304は前部座席の乗員の近傍のトリム上に設けられても良い。
 画面304には、アイコン305(アイコン選択データ33A)と、座席表306(座席表データ33C)と、座席表306(座席表データ33C)内に、座席(106A,106B,106C,106D,106E)(座席選択データ33B)が表示されている。座席表示制御部31Cが、送信した座席306C,座席306D(座席選択データ33B)に応じて、送信した座席306C,座席306D(座席選択データ33B)と送信した座席表306(座席表データ33C)を含む、座席位置(座席選択データ33B)を画面304(表示部)に表示する処理を行う。アイコン表示制御部31Aが、送信されたアイコン305(アイコン選択データ33A)に応じて、アイコン305(アイコン選択データ33A)を画面304(表示部)に表示する処理を行う。上記処理が完了すると、制御部230が実行するアイコン選択データ33Aを受信する処理が完了する。
 このように、第3の実施形態に係る車両によれば、コミュニケーション制御装置400は、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置へアイコンを受信する受信制御部31Fを備え、座席表示制御部31Cは、送信した座席選択データ33Bに応じて、送信した座席位置(座席選択データ33B)を表示部に表示し、アイコン表示制御部31Aは、送信されたアイコン選択データ33Aに応じて、アイコン選択データ33Aを表示部に表示する。これにより、受信制御部31Fは、送信された座席位置(座席選択データ33B)にとアイコン選択データ33Aを表示することで、乗員同士が音声によらないコミュニケーションを円滑にすることができる。
(コミュニケーション制御装置の返信処理の例)
 次に、制御部230が実行するアイコンを返信する処理の手順を説明する。
 図34は、本実施の形態の制御部230が実行するアイコンを返信する処理の手順の一例を示すフローチャートである。
 まず、アイコン表示制御部31Aが、ユーザが表示部に触れたか否かを判断する(ステップS1101)。ユーザが表示部に触れていないと判断(ステップS1101:No)した場合、アイコン選択データ33Aを返信することなく、アイコン選択データ33Aを返信する処理は終了となる。ユーザが表示部に触れたと判断(ステップS1101:Yes)した場合、ステップS1102へ進む。
 ステップS1102では、ユーザの入力に応じて、少なくとも1つのアイコンデータ32Aの中から、1つのアイコン選択データ33Aを選択するために、アイコン表示制御部31Aがアイコンデータ32Aを表示する。アイコンデータ32Aを表示すると、ステップS1103へ進む。
 ステップS1103では、ユーザが送信したいアイコンデータ32Aの種類を変更するか否かを判断する。ユーザがアイコンデータ32Aの種類を変更すると判断(ステップS1103:Yes)した場合、ステップS1104へ進む。ステップS1104では、アイコン表示制御部31Aがアイコンデータ32Aの種類を変更し、ステップS1103へ進む。ユーザがアイコンデータ32Aの種類を変更しないと判断(ステップS1103:No)した場合、ステップS1105へ進む。
 ステップS1105では、アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコンデータ32Aの中から、1つのアイコンデータ32Aを選択したか判断する。ユーザがアイコンデータ32Aを選択していないと判断(ステップS1105:No)した場合は、ステップS1106へ進む。
 ステップS1106では、アイコン表示制御部31Aが、表示部に触れた後、所定の時間が経過したか否かを判断する。所定の時間が経過したと判断(ステップS1106:Yes)した場合は、ユーザがアイコン選択データ33Aを送信することなく、アイコン選択データ33Aを送信する処理は終了となる。所定の時間が経過していないと判断(ステップS1106:No)した場合は、ステップS1102へ進む。ユーザがアイコンデータ32Aを選択したと判断(ステップS1105:Yes)した場合は、ステップS1107へ進む。
 ステップS1107では、送信制御部31Eが受信制御部31Fにより得られた最新の送信元の座席選択データ33Bに対応するコミュニケーション装置へアイコン選択データ33Aを送信する処理を行う。選択された座席選択データ33Bに対応するコミュニケーション装置へアイコン選択データ33Aを送信する処理を行うと、ステップS1108へ進む。
 ステップS1108では、発光制御部31Gが、コミュニケーション装置の間に配置された発光部に対して、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって、発光部が、送信した座席選択データ33Bから近づくように順次点灯する処理を行う。送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって、発光部が、送信した座席選択データ33Bから近づくように順次点灯する処理を行うと、制御部230が実行するアイコン選択データ33Aを返信する処理が完了する。
(表示部の返信処理における表示形態の例)
 次に、図35、図36を用いて、コミュニケーション装置の表示部における、アイコンを返信処理のユーザの画面遷移について説明する。
 図35(a)に示すように、画面320は主に前部座席の乗員の前に表示されている表示部に表示される画面であり、表示部は車両のインストルメントパネル内に設けられるセンターディスプレイで、運転席は右側にある一例として説明する。図35(a)に示すように、運転席から遠い画面320Aは、コミュニケーションに関するアイコン(121,122)の情報が表示され、運転席から近い画面320Bには運転に必要な情報が表示されている。画面320Bに運転に必要な情報が表示されることで、運転者は視線移動が少なくなり、運転を妨げないようにする。
 画面320Aには、座席表示制御部31Cが、送信した座席選択データ33Bに応じて、送信した座席選択データ33Bと送信した座席表データ33Cを含む、座席位置(座席選択データ33B)を画面320A(表示部)に表示する処理を行う。アイコン表示制御部31Aが、送信されたアイコン(121,122)(アイコン選択データ33A)に応じて、アイコン(121,122)(アイコン選択データ33A)を画面320A(表示部)に表示する処理が行われた後の画面、つまりアイコン(121,122)(アイコン選択データ33A)受信後の画面である。その後、アイコン表示制御部31Aが、ユーザが画面320(表示部)に触れたか否かを判断した場合、図35(b)へ遷移する。本実施例においては、ユーザが座席Dのアイコン121に触れている。
 図35(b)に示すように、画面320A(表示部)は、アイコン(323,324,325)と、座席が表示され、アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコン(323,324,325)(アイコンデータ32A)の中から、1つのアイコン323(アイコン選択データ33A)を選択する。上記操作が完了すると、送信制御部31Eが座席選択部31Dにより選択された座席D(座席選択データ33B)に対応するコミュニケーション装置へアイコン323(アイコン選択データ33A)を送信する処理を行う。送信処理完了後、図35(c)へ遷移する。
 図35(c)に示すように、画面320A(表示部)にアイコン323(アイコン選択データ33A)が表示される。本実施形態においては、画面320A(表示部)に、座席表示制御部31Cは、送信した座席D(座席選択データ33B)に応じて、送信した座席位置D(座席選択データ33B)を画面320A(表示部)に表示していないが、アイコン323(アイコン選択データ33A)の近傍に送信した座席位置D(座席選択データ33B)を表示しても良い。
 図36は、座席Cによってアイコンを送信され、アイコンを受信した座席Dが、座席Cに対して、返信する際の画面遷移について説明する。画面331は主に後部座席の乗員の近傍のトリム上に設けられ、例えば、車両の内壁に表示部に表示される画面である。画面331は液晶パネルと静電タッチパネルから成り立っており、その表層に加飾フィルムを備えても良い。本実施形態では、木目調の加飾フィルムを備えている例である。また、本実施形態の加飾フィルムは木を薄くスライスしたものでも良いし、樹脂素材に木目を印刷したものでもよい。また、画面331は前部座席の乗員の近傍のトリム上に設けられても良い。
 図36(a)に示すように、画面331には、アイコン332(アイコンデータ32A)と、座席表333(座席表データ33C)と、座席表333(座席表データ33C)内に、座席(333A,333B,333C,333D,333E)(座席選択データ33B)が表示されている。座席表示制御部31Cが、送信した座席333C,座席333D(座席選択データ33B)に応じて、送信した座席333C,座席333D(座席選択データ33B)と送信した座席表333(座席表データ33C)を含む、座席位置を画面331(表示部)に表示する処理を行う。アイコン表示制御部31Aが、送信されたアイコン332(アイコン選択データ33A)に応じて、アイコン332(アイコン選択データ33A)を画面304(表示部)に表示する処理を行われた後の画面、つまりアイコン332(アイコン選択データ33A)受信後の画面である。
 図36(b)に示すように、画面331は、アイコン表示制御部31Aが、ユーザが画面320(表示部)に触れたか否かを判断した場合、図36(c)へ遷移する。本実施例においては、ユーザが画面331に触れている。
 図36(c)に示すように、画面331(表示部)は、アイコン(334,335,336)が表示され、アイコン選択部31Bがユーザの入力に応じて、少なくとも1つのアイコン(334,335,336)(アイコンデータ32A)の中から、1つのアイコン334(アイコン選択データ33A)を選択する。上記操作が完了すると、送信制御部31Eが座席選択部31Dにより選択された座席333C(座席選択データ33B)に対応するコミュニケーション装置へアイコン334(アイコン選択データ33A)を送信する処理を行う。送信処理完了後、図36(d)へ遷移する。
 図36(d)に示すように、画面331(表示部)にアイコン334(アイコン選択データ33A)と、座席表333(座席表データ33C)と、座席表333(座席表データ33C)内に、送信元の座席335Dと、送信先の座席335C(座席選択データ33B)が表示されている。
 このように、第3の実施形態に係る車両によれば、コミュニケーション制御装置400はユーザの入力に応じて、アイコン選択部31Bにより選択されたアイコン334(アイコン選択データ33A)を送信先となる座席位置(座席選択データ33B)に対応するコミュニケーション装置へアイコンを送信する送信制御部31Eを備える。これにより、アイコン選択データ33Aを受信したコミュニケーション装置は、座席選択データ33Bに対し、アイコン選択データ33Aを送信することで、乗員同士が音声によらないコミュニケーションを円滑にすることができる。
(発光部の発光処理における発光形態の例)
 図37は、ユーザの入力に応じて、選択した座席に対応して、選択したアイコンを送信した際に、コミュニケーション制御装置400の発光制御部31Gが、発光装置229の発光部の点灯方法および順序について説明する。ここでは、座席142Cの乗員が、座席142Dの乗員に対し、アイコン選択データ33Aを送信した際の発光部の点灯方法および順序について説明する。
 図37(a)に示すように、車両141は車両を上面から見た模式図で、車両141内には、座席(142A,142B,142C,142D,142E)と、コミュニケーション装置(143A,143B,143C,143D,143E)と、コミュニケーション装置(143A,143B,143C,143D,143E)の各々の間に、発光装置(144a,144b,144c,144d,144e,144f,144g,144h,144i,144j)とを備える。図37(a)は、座席142Cの乗員が、座席142Dの乗員に対し、アイコン選択データ33Aを送信する前の状態である。
 また、発光装置(144a,144b,144c,144d,144e,144f,144g,144h,144i,144j)の発光部は、車両の内壁に設けられ、その表層に加飾フィルムを備えても良い。加飾フィルムは木を薄くスライスしたものでも良いし、樹脂素材に木目を印刷したものでもよい。
 次に、図37(a)に記載した発光装置(144a,144b,144c,144d,144e,144f,144g,144h,144i,144j)が、座席142Cの乗員が、座席142Dの乗員に対し、アイコン選択データ33Aを送信した後の状態について図37(b)で説明する。
 図37(b)に示すように、図37(a)の発光装置(144a,144b,144c,144d,144e,144f,144g,144h,144i,144j)は、座席142Cの乗員が、座席142Dの乗員に対し、アイコン選択データ33Aを送信した結果、発光装置(144A,144B,144C,144F,144G,144H,144I,144J)と切り替わっており、これは発光装置が点灯したことを示している。また、発光装置144C,発光装置144B,発光装置144A,発光装置144F,発光装置144G,発光装置144H,発光装置144I,発光装置144Jの順序で点灯する。
 座席142Cと座席142Dの間に備えられた発光装置(144A,144B,144C,144d,144e,144F,144G,144H,144I,144J)が、発光装置144Cを起点に、車両の+Y方向へ点灯し、発光装置144Aに到達し、車両の+X方向に沿って、発光装置144Aから発光装置144Fに向かって点灯し、その後、車両の-Y方向へ点灯し、発光装置144Jを終点とするように順次点灯する。
 すなわち、ユーザの入力に応じて、選択されたアイコン選択データ33Aと座席選択データ33Bが、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって、発光部が、送信した座席選択データ33Bから近づくように順次点灯している。発光部が車両の進行方向に対して、乗員の視線の前を通過して、指定した座席に向かって流れることで、コミュニケーション装置の視認性に寄与する。
 このように、第3の実施形態に係る車両によれば、表示部は、発光部をさらに備え、発光部は、コミュニケーション装置の各々の間に配置され、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって、送信した座席選択データ33Bから近づくように順次点灯する発光制御部31Gを備える。
 これにより、発光部が、送信制御部31Eにより送信された座席選択データ33Bに対応するコミュニケーション装置に向かって近づくように順次点灯することで、受信する乗員だけでなく、乗車している乗員も、アイコンを送受信することが視線に入り、乗員同士のコミュニケーションの活性化に寄与する。
 本実施形態のコミュニケーション制御装置で実行されるプログラムは、ROM等に予め組み込まれて提供される。
 本実施形態のコミュニケーション制御装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
 さらに、本実施形態のコミュニケーション制御装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のコミュニケーション制御装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
 上述の実施形態3では、コミュニケーション制御装置400は、4輪を備える車両1に搭載されることとしたが、これに限られない。コミュニケーション制御装置は、バス、飛行機、鉄道など、前後方向複数列に座席を備える移動体に搭載されることができる。
 以上の実施形態に関し、以下のA-1~A-20、B-1~B-20を開示する。
 (A-1)
 第1の車輪と、
 第2の車輪と、
 前記第1の車輪及び前記第2の車輪に結合され、前記第1の車輪及び前記第2の車輪によって所定の進行方向に移動可能であり、車室を覆い外面と内面とを有する屋根部を有する車体と、
 前記車体の前記所定の進行方向への移動を検出するように設定された移動検出部と、
 前記屋根部の前記内面に配置された照明部と、を有し、
 前記照明部は、少なくとも第1発光部、第2発光部、及び第3発光部を有し、
 前記第1発光部、前記第2発光部、及び前記第3発光部は、前記屋根部の前記内面において、前記所定の進行方向に沿って配置され、前記車体の前記進行方向に沿った移動に対応して発光状態が変化する、
 車両。
 (A-2)
 前記第1発光部、前記第2発光部、及び前記第3発光部は、前記車体の前記進行方向に沿った移動と、地図情報とに対応して発光状態が変化する、
 (A-1)に記載の車両。
 (A-3)
 前記地図情報を外部から受信するように設定された無線通信部を、更に備える、
 (A-2)に記載の車両。
 (A-4)
 前記車体の外部を撮像可能な撮像部を更に有し、
 前記撮像部の撮像範囲は、前記第1の車輪及び前記第2の車輪の内の少なくとも一つが接地している地面を基準に、前記屋根部の前記外面より離れた空間を含み、
 前記第1発光部、前記第2発光部、及び前記第3発光部は、前記車体の前記進行方向に沿った前記移動と、前記撮像部が撮像した画像とに対応して発光状態が変化する、
 (A-1)に記載の車両。
 (A-5)
 前記第1発光部、前記第2発光部、及び前記第3発光部は、前記車体の前記進行方向に沿った前記移動と、前記撮像部が所定時間前に撮像した画像とに対応して発光状態が変化する、(A-4)に記載の車両。
 (A-6)
 前記所定時間は、前記車両の所定の方向の移動速度に応じて変化する、
 (A-5)に記載の車両。
 (A-7)
 前記撮像部は、前記車室内の前方上部に配された、
 (A-4)から(A-6)のいずれか一に記載の車両。
 (A-8)
 前記第1発光部、前記第2発光部、及び前記第3発光部のぞれぞれは、単色光を発光する、(A-1)から(A-7)のいずれか一に記載の車両。
 (A-9)
 前記第1発光部、前記第2発光部、及び前記第3発光部のぞれぞれは、複数種類の色の光を発光する、(A-1)から(A-7)のいずれか一に記載の車両。
 (A-10)
 前記第1発光部、前記第2発光部、及び前記第3発光部の発光パターンは、
 前記車体の前記進行方向に沿った移動に対応して、前記進行方向と逆方向に流れるように変化する、(A-1)から(A-9)のいずれか一に記載の車両。
 (A-11)
 第1の車輪及び第2の車輪に結合され車室を覆い外面と内面とを有する屋根部を有する車体の前記所定の進行方向への移動を検出するように設定された移動検出部の検出結果を取得する取得部と、
 前記屋根部の前記内面に前記所定の進行方向に沿って列状に配置された少なくとも第1発光部、第2発光部、及び第3発光部のそれぞれの発光状態を制御する制御部と、
を備えた、車両制御装置。
 (A-12)
 前記制御部は、前記第1発光部、前記第2発光部、及び前記第3発光部に対して、前記車体の前記進行方向に沿った移動と、地図情報とに対応して発光状態を変化させる、(A-11)に記載の車両制御装置。
 (A-13)
 前記取得部は、外部から無線通信部で受信される前記地図情報を取得する、(A-12)に記載の車両制御装置。
 (A-14)
 前記取得部は、前記車体の外部を撮像可能であり撮像範囲が前記第1の車輪及び前記第2の車輪の内の少なくとも一つが接地している地面を基準に前記屋根部の前記外面より離れた空間を含む撮像部が撮像した画像を取得し、
 前記制御部は、前記第1発光部、前記第2発光部、及び前記第3発光部に対して、前記車体の前記進行方向に沿った前記移動と、前記撮像部が撮像した画像とに対応して発光状態を変化させる、(A-11)に記載の車両制御装置。
 (A-15)
 前記制御部は、前記第1発光部、前記第2発光部、及び前記第3発光部に対して、前記車体の前記進行方向に沿った前記移動と、前記撮像部が所定時間前に撮像した画像とに対応して発光状態を変化させる、(A-14)に記載の車両制御装置。
 (A-16)
 前記制御部は、前記所定時間を、前記車両の所定の方向の移動速度に応じて変化させる、(A-15)に記載の車両制御装置。
 (A-17)
 前記撮像部は、前記車室内の前方上部に配された、(A-14)から(A-16)のいずれか一に記載の車両制御装置。
 (A-18)
 前記制御部は、前記第1発光部、前記第2発光部、及び前記第3発光部のぞれぞれを単色光で発光させる、(A-11)から(A-17)のいずれか一に記載の車両制御装置。
 (A-19)
 前記制御部は、前記第1発光部、前記第2発光部、及び前記第3発光部のぞれぞれを複数種類の色の光で発光させる、(A-11)から(A-17)のいずれか一に記載の車両制御装置。
 (A-20)
 前記制御部は、前記第1発光部、前記第2発光部、及び前記第3発光部の発光パターンを、前記車体の前記進行方向に沿った移動に対応して、前記進行方向と逆方向に流れるように変化させる、(A-11)から(A-19)のいずれか一に記載の車両制御装置。
 (B-1)
 第1車輪と、
 第2車輪と、
 前記第1車輪及び前記第2車輪に結合され、前記第1車輪および前記第2車輪によって移動可能な車体と、
 前記車体に配置される、複数の乗員の座席と、
 前記乗員のコミュニケーションに用いられるコミュニケーション装置と、を備える車両であって、
 前記乗員のコミュニケーションに用いられる、少なくとも1つのアイコンを表示部に表示する制御を行うアイコン表示制御部と、
 ユーザの入力に応じて、前記少なくとも1つのアイコンの中から、1つのアイコンを選択するアイコン選択部と、
 前記座席の位置を示す座席表を前記表示部に表示する制御を行う座席表示制御部と、
 前記ユーザの入力に応じて、前記座席表の中から、前記アイコン選択部により選択されたアイコンの送信先となる座席を選択する座席選択部と、
 前記座席選択部により選択された座席に対応する前記コミュニケーション装置へ前記アイコンを送信する送信制御部と、を備える車両。
 (B-2)
 前記送信制御部により送信された前記座席に対応する前記コミュニケーション装置へ前記アイコンを受信する受信制御部を備え、
 前記座席表示制御部は、前記送信した前記座席に応じて、前記送信した座席位置を前記表示部に表示し、
 前記アイコン表示制御部は、前記送信された前記アイコンに応じて、前記アイコンを表示部に表示する、(B-1)に記載の車両。
 (B-3)
 前記コミュニケーション装置は、複数の前記座席に各々配置され、
 前記表示部は、前記車両の内壁に設けられる、(B-1)または(B-2)に記載の車両。
 (B-4)
 前記表示部は、少なくとも液晶パネルと静電タッチパネルから成る、(B-1)から(B-3)のいずれか一に記載の車両。
 (B-5)
 前記表示部は、表層に加飾フィルムをさらに備える、(B-1)から(B-4)のいずれか一に記載の車両。
 (B-6)
 前記加飾フィルムは、木目を有する、(B-5)に記載の車両。
 (B-7)
 前記コミュニケーション装置は、それぞれの前部座席の前方の間に配置され、
 前記表示部は、前記車両のインストルメントパネルに設けられる、(B-1)または(B-2)に記載の車両。
 (B-8)
 前記表示部は、運転席から遠い位置に配置される、(B-7)に記載の車両。
 (B-9)
 前記表示部は、発光部をさらに備え、
 前記発光部は、前記コミュニケーション装置の各々の間に配置され、
 前記送信制御部により送信された座席に対応する前記コミュニケーション装置に向かって、前記発光部が、前記送信した座席から近づくように順次点灯する発光制御部を備える、(B-3)に記載の車両。
 (B-10)
 前記発光部は、前記車両の内壁に設けられ、
 前記発光部は、表層に加飾フィルムを備える、(B-9)に記載の車両。
 (B-11)
 第1車輪と、
 第2車輪と、
 前記第1車輪および前記第2車輪に結合され、前記第1車輪および前記第2車輪によって移動可能な車体と、
 前記車体に配置される、複数の乗員の座席と、
 複数の前記座席に各々配置される、コミュニケーション装置と、を備える車両に搭載可能なコミュニケーション制御装置であって、
 前記乗員のコミュニケーションに用いられる、少なくとも1つのアイコンを表示部に表示する制御を行うアイコン表示制御部と、
 ユーザの入力に応じて、前記少なくとも1つのアイコンの中から、1つのアイコンを選択するアイコン選択部と、
 前記座席の位置を示す座席表を前記表示部に表示する制御を行う座席表示制御部と、
 前記ユーザの入力に応じて、前記座席表の中から、前記アイコン選択部により選択されたアイコンの送信先となる座席を選択する座席選択部と、
 前記座席選択部により選択された座席に対応する前記コミュニケーション装置へ前記アイコンを送信する送信制御部と、を備えるコミュニケーション制御装置。
 (B-12)
 前記送信制御部により送信された前記座席に対応する前記コミュニケーション装置へ前記アイコンを受信する受信制御部を備え、
 前記座席表示制御部は、前記送信した前記座席に応じて、前記送信した座席位置を前記表示部に表示し、
 前記アイコン表示制御部は、前記送信された前記アイコンに応じて、前記アイコンを表示部に表示する、(B-11)に記載のコミュニケーション制御装置。
 (B-13)
 前記コミュニケーション装置は、複数の前記座席に各々配置され、
 前記表示部は、前記車両の内壁に設けられる、(B-11)または(B-12)に記載のコミュニケーション制御装置。
 (B-14)
 前記表示部は、少なくとも液晶パネルと静電タッチパネルから成る、(B-11)から(B-13)のいずれか一に記載のコミュニケーション制御装置。
 (B-15)
 前記表示部は、表層に加飾フィルムをさらに備える、(B-11)から(B-14)のいずれか一に記載のコミュニケーション制御装置。
 (B-16)
 前記加飾フィルムは、木目を有する、(B-15)に記載のコミュニケーション制御装置。
 (B-17)
 前記コミュニケーション装置は、それぞれの前部座席の間に配置され、
 前記表示部は、前記車両の内壁に設けられる、(B-11)または(B-12)に記載のコミュニケーション制御装置。
 (B-18)
 前記表示部は、運転席から遠い位置に配置される、(B-17)に記載のコミュニケーション制御装置。
 (B-19)
 前記表示部は、発光部をさらに備え、
 前記発光部は、前記コミュニケーション装置の各々の間に配置され、
 前記送信制御部により送信された座席に対応する前記コミュニケーション装置に向かって、前記発光部が、前記送信した座席から近づくように順次点灯する発光制御部を備える、(B-13)に記載のコミュニケーション制御装置。
 (B-20)
 前記発光部は、前記車両の内壁に設けられ、
 前記発光部は、表層に加飾フィルムを備える、(B-19)に記載のコミュニケーション制御装置。
 以上、本開示の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。さらに、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。
 また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 1 車両
 2 車体
 3 車輪
 6 車外撮像部
 7 車内撮像部
 20 車両制御装置

Claims (20)

  1.  第1の車輪と、
     第2の車輪と、
     前記第1の車輪および前記第2の車輪に結合され、前記第1の車輪および前記第2の車輪によって移動可能な車体と、
     車外を撮像する第1の撮像部と、を備えた車両であって、
     監視対象を設定し、
     監視開始条件に合致した場合、前記第1の撮像部による撮像画像に基づいて、前記監視対象が監視範囲に属するか否かを判断する監視処理を開始し、監視終了条件に合致した場合、前記監視処理を終了し、
     前記監視開始条件または前記監視終了条件は、前記車両の操作に関する条件を含む、車両。
  2.  請求項1に記載の車両であって、
     前記監視開始条件は、前記車両のパーキングブレーキがかかっていることを含む、車両。
  3.  請求項2に記載の車両であって、
     前記監視開始条件は、前記車両の外部から施錠されていないことを含む、車両。
  4.  請求項2または3に記載の車両であって、
     前記監視開始条件は、前記車両のドアが開いたことを含む、車両。
  5.  請求項2から4のいずれか1項に記載の車両であって、
     前記監視開始条件は、前記第1の撮像部による撮像画像に基づいて前記監視対象を抽出したことを含む、車両。
  6.  請求項1から5のいずれか1項に記載の車両であって、
     前記監視終了条件は、前記車両のパーキングブレーキが解除されたことを含む、車両。
  7.  請求項1から6のいずれか1項に記載の車両であって、
     前記監視終了条件は、前記車両の外部から施錠されたことを含む、車両。
  8.  請求項1から7のいずれか1項に記載の車両であって、
     前記監視処理では、前記第1の撮像部による撮像画像に基づいて、前記監視対象が監視範囲に属さないと判断した場合、通知処理をする、車両。
  9.  請求項1から8のいずれか1項に記載の車両であって、
     車内を撮像する第2の撮像部をさらに備え、
     前記第2の撮像部による撮像画像と、前記第2の撮像部による過去の撮像画像とに基づいて、監視対象を設定する、車両。
  10.  請求項1から9のいずれか1項に記載の車両であって、
     前記監視範囲は、前記第1の撮像部の撮像範囲に基づくものである、車両。
  11.  第1の車輪と、
     第2の車輪と、
     前記第1の車輪および前記第2の車輪に結合され、前記第1の車輪および前記第2の車輪によって移動可能な車体と、
     車外を撮像する第1の撮像部と、を備えた車両に搭載可能な車両制御装置であって、
     撮像画像に基づき監視対象を設定し、
     監視開始条件に合致した場合、前記第1の撮像部による撮像画像に基づいて、前記監視対象が監視範囲に属するか否かを判断する監視処理を開始し、監視終了条件に合致した場合、前記監視処理を終了し、
     前記監視開始条件または前記監視終了条件は、前記車両の操作に関する条件を含む、車両制御装置。
  12.  請求項11に記載の車両制御装置であって、
     前記監視開始条件は、前記車両のパーキングブレーキがかかっていることを含む、車両制御装置。
  13.  請求項12に記載の車両制御装置であって、
     前記監視開始条件は、前記車両の外部から施錠されていないことを含む、車両制御装置。
  14.  請求項12または13に記載の車両制御装置であって、
     前記監視開始条件は、前記車両のドアが開いたことを含む、車両制御装置。
  15.  請求項12から14のいずれか1項に記載の車両制御装置であって、
     前記監視開始条件は、前記第1の撮像部による撮像画像に基づいて前記監視対象を抽出したことを含む、車両制御装置。
  16.  請求項11から15のいずれか1項に記載の車両制御装置であって、
     前記監視終了条件は、前記車両のパーキングブレーキが解除されたことを含む、車両制御装置。
  17.  請求項11から16のいずれか1項に記載の車両制御装置であって、
     前記監視終了条件は、前記車両の外部から施錠されたことを含む、車両制御装置。
  18.  請求項11から17のいずれか1項に記載の車両制御装置であって、
     前記監視処理では、前記第1の撮像部による撮像画像に基づいて、前記監視対象が監視範囲に属さないと判断した場合、通知処理をする、車両制御装置。
  19.  請求項11から18のいずれか1項に記載の車両制御装置であって、
     前記車両は、車内を撮像する第2の撮像部をさらに備え、
     前記第2の撮像部による撮像画像と、前記第2の撮像部による過去の撮像画像とに基づいて、監視対象を設定する、車両制御装置。
  20.  請求項11から19のいずれか1項に記載の車両制御装置であって、
     前記監視範囲は、前記第1の撮像部の撮像範囲に基づくものである、車両制御装置。
PCT/JP2021/036576 2020-11-30 2021-10-04 車両および車両制御装置 WO2022113521A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022565092A JPWO2022113521A1 (ja) 2020-11-30 2021-10-04
US18/199,510 US20230290197A1 (en) 2020-11-30 2023-05-19 Vehicle and vehicle control device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020199003 2020-11-30
JP2020-199003 2020-11-30
JP2020-204613 2020-12-09
JP2020203881 2020-12-09
JP2020-203881 2020-12-09
JP2020204613 2020-12-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/199,510 Continuation US20230290197A1 (en) 2020-11-30 2023-05-19 Vehicle and vehicle control device

Publications (1)

Publication Number Publication Date
WO2022113521A1 true WO2022113521A1 (ja) 2022-06-02

Family

ID=81755546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036576 WO2022113521A1 (ja) 2020-11-30 2021-10-04 車両および車両制御装置

Country Status (3)

Country Link
US (1) US20230290197A1 (ja)
JP (1) JPWO2022113521A1 (ja)
WO (1) WO2022113521A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006117121A (ja) * 2004-10-21 2006-05-11 Fujitsu Ten Ltd 車両盗難予防装置
JP2008242597A (ja) * 2007-03-26 2008-10-09 Yuhshin Co Ltd 車両用監視装置
JP2009054011A (ja) * 2007-08-28 2009-03-12 Denso Corp 情報処理装置及びプログラム
WO2015159407A1 (ja) * 2014-04-17 2015-10-22 三菱電機株式会社 車載表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006117121A (ja) * 2004-10-21 2006-05-11 Fujitsu Ten Ltd 車両盗難予防装置
JP2008242597A (ja) * 2007-03-26 2008-10-09 Yuhshin Co Ltd 車両用監視装置
JP2009054011A (ja) * 2007-08-28 2009-03-12 Denso Corp 情報処理装置及びプログラム
WO2015159407A1 (ja) * 2014-04-17 2015-10-22 三菱電機株式会社 車載表示装置

Also Published As

Publication number Publication date
US20230290197A1 (en) 2023-09-14
JPWO2022113521A1 (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
CN106394553B (zh) 驾驶员辅助设备及其控制方法
CN107206934B (zh) 影像投影装置
CN108688554A (zh) 车辆用灯泡
US9513744B2 (en) Control systems employing novel physical controls and touch screens
US7489303B1 (en) Reconfigurable instrument panels
CN109895788A (zh) 安装在车辆上的车辆控制装置以及用于控制车辆的方法
CN107869670B (zh) 具有用于机动车辆乘客舱的动态照明效果的照明装置
CN108146345A (zh) 车辆控制装置及包括该车辆控制装置的车辆
CN108431881A (zh) 停车辅助信息的显示方法及停车辅助装置
KR101969805B1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
KR102135376B1 (ko) 입출력 장치 및 그것을 포함하는 차량
JP2000221049A (ja) 車両状況把握装置、エージェント装置、および、車両制御装置
US10347150B1 (en) Vehicle operation simulation system and method
EP3508380A1 (en) Through material illumination
US20170262710A1 (en) Apparatus that presents result of recognition of recognition target
JP6165851B2 (ja) 多段式集落検出に応答する車両装置を制御するためのシステムおよび方法
CN107176095A (zh) 识别结果提示装置及其方法、识别对象提示装置及其方法
CN103596804B (zh) 用于接通车辆的远光的方法和控制设备
CN106515583A (zh) 驾驶者信息方法
JP7437630B2 (ja) 表示装置、表示方法、及び車両
CN110770818A (zh) 体验提供系统、体验提供方法及体验提供程序
CN110065438A (zh) 车辆用显示装置及车辆
JP2017149222A (ja) 演出装置、車輌及びコンピュータプログラム
US11460309B2 (en) Control apparatus, control method, and storage medium storing program
WO2022113521A1 (ja) 車両および車両制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022565092

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897499

Country of ref document: EP

Kind code of ref document: A1