WO2021256483A1 - 制御装置、投影システム、制御方法及びプログラム - Google Patents

制御装置、投影システム、制御方法及びプログラム Download PDF

Info

Publication number
WO2021256483A1
WO2021256483A1 PCT/JP2021/022802 JP2021022802W WO2021256483A1 WO 2021256483 A1 WO2021256483 A1 WO 2021256483A1 JP 2021022802 W JP2021022802 W JP 2021022802W WO 2021256483 A1 WO2021256483 A1 WO 2021256483A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
control device
projection
moving body
control
Prior art date
Application number
PCT/JP2021/022802
Other languages
English (en)
French (fr)
Inventor
孝至 高松
洋 今村
誠史 友永
浩二 長田
徹 長良
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022531853A priority Critical patent/JPWO2021256483A1/ja
Priority to EP21824854.0A priority patent/EP4171021A4/en
Priority to KR1020227041437A priority patent/KR20230028248A/ko
Priority to CN202180042102.8A priority patent/CN115868155A/zh
Priority to US17/924,357 priority patent/US20230186651A1/en
Publication of WO2021256483A1 publication Critical patent/WO2021256483A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/40—Instruments specially adapted for improving the visibility thereof to the user, e.g. fogging prevention or anti-reflection arrangements
    • B60K35/405—Fogging prevention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection

Definitions

  • This disclosure relates to control devices, projection systems, control methods and programs.
  • Patent Document 1 A technology that automatically provides an appropriate playback sound field regardless of the seating position of the passenger in the car is known.
  • Patent Document 1 the on / off state of each of a plurality of displays provided in an automobile is detected, and according to the detection result, it is appropriate at a position where the playback sound of the plurality of speakers is on. Correct the audio signal so that it becomes.
  • a technique for adjusting the focal length of the projection lens of the projector is known depending on the location of a human being between the projection surface and the projector.
  • Patent Document 2 when the location of a human is detected between the projection surface and the projector, the focal length of the projection lens is fixed in the immediately preceding state while the location of the human is detected. Make adjustments.
  • Patent Documents 1 and 2 it was not considered to provide the optimum image to the passengers boarding the moving body.
  • this disclosure proposes a control device, a projection system, a control method, and a program that can provide an optimum image to a passenger in a moving body.
  • control device of one form according to the present disclosure is a projection provided in the space in the moving body based on the spatial situation information input from the sensor that detects the spatial state in the moving body.
  • the device includes a control unit that controls the state of an image projected on a predetermined projection surface.
  • Third Embodiment 4-1 Functional configuration of the projection system 4-2. Configuration of sensor unit 4-3. Control device configuration 4-3-1. Functional configuration of the control unit 4-4. Projection system processing 4-5. Action / effect 5.
  • Fourth Embodiment 5-1 Functional configuration of projection system 5-2. Functional configuration of the control unit 5-3. Projection system processing 5-4. Action / effect 6.
  • Fifth Embodiment 6-1 Functional configuration of projection system 6-2. Configuration of sensor unit 6-3. Configuration of control device 6-3-1. Functional configuration of the control unit 6-4. Projection system processing 6-5. Action / effect 7.
  • Sixth Embodiment 7-1 Functional configuration of projection system 7-2. Configuration of sensor unit 7-3. Control device configuration 7-3-1. Functional configuration of the control unit 7-4. Projection system processing 7-5. Action / effect 8. Application example to mobile body 9.
  • FIG. 1 is a schematic side view of a projection system applied to each embodiment of the present disclosure.
  • FIG. 2 is a schematic top view of the projection system applied to each embodiment of the present disclosure.
  • the projection system 1 shown in FIGS. 1 and 2 is a system provided on the moving body 10 and providing an image to a passenger boarding in the moving body 10.
  • the moving body 10 include automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like.
  • the moving body 10 will be described by taking an automobile as an example.
  • the number of people who can board the mobile body 10 is described as 6 people (6 seats), but the number of people is not limited to this, and for example, 2 people (2 seats) or 4 people (4 seats). ) Can also be applied.
  • the projection system 1 shown in FIGS. 1 and 2 includes a projector 20, a sensor unit 30, a content reproduction device 40, and a control device 50.
  • the projector 20 is a projection which is a ceiling 11 and a rear-view mirror portion 15 (sun visor) having a free curved surface of the moving body 10 so as to be visible to all passengers in the moving body 10. Project the image toward the surface.
  • the projector 20 is arranged in the moving body 10 behind and above the rear seat 13 at a position not on the passenger's movement line. Specifically, as shown in FIGS. 1 and 2, the projector 20 is arranged behind the rear seat 13 and above the shoulder 131 of the rear seat 13. Further, the projector 20 is arranged in the moving body 10 so that an image can be projected on the ceiling 11 in the front upward direction of the moving body 10.
  • the projector 20 functions as a projection device. Further, in FIGS. 1 and 2, the projector 20 may be detachable from the moving body 10. Further, in FIGS. 1 and 2, the projector 20 projects an image toward the longitudinal direction of the moving body 10, but the image is not limited to this, and the image is projected toward the lateral side of the moving body 10. It may be configured to project. Furthermore, in FIGS. 1 and 2, only one projector 20 is provided in the moving body 10, but for example, a plurality of projectors 20 may be provided in the moving body 10, or may be provided outside the moving body 10, and the moving body 10 may be provided. The image may be projected inside. Further, the installation location of the projector 20 is not limited to the rear of the rear seat 13, and may be, for example, the ceiling of the moving body 10, and can be appropriately changed. The detailed configuration of the projector 20 will be described later.
  • the sensor unit 30 detects each of the number of passengers and the seating position in the moving body 10, and outputs the detection result to the control device 50.
  • a plurality of sensor units 30 are arranged in the moving body 10. Specifically, the sensor unit 30 is arranged in the A pillar portion 14, the rearview mirror portion 15, the B pillar portion 16, and the center console 17 of the moving body 10.
  • the sensor unit 30 arranged in the A-pillar portion 14 and the rear-view mirror portion 15 detects the occupant and the seating position of the front seat 12 of the moving body 10. Further, the sensor unit 30 arranged on the B pillar portion 16 and the center console 17 detects the occupant and the seating position of the rear seat 13.
  • the sensor unit 30 includes a camera capable of capturing color image data, a stereo camera capable of capturing disparity image data with parallax, a TOF (Time of Flight) camera (sensor) capable of capturing distance image data having depth information, and a passenger's line of sight. It is realized by using a line-of-sight detection sensor or the like that can detect. Further, the sensor unit 30 may be further provided with a stereo camera, a TOF camera, or the like, which is provided behind the rear seat 13 of the moving body 10 and can detect the shape of the internal space of the moving body 10. The configuration of the sensor unit 30 will be described later.
  • the content reproduction device 40 outputs various information including content data to the projector 20 under the control of the control device 50.
  • the content playback device 40 reads content data such as video data stored in, for example, an HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, DVD, etc., and converts the read content data into a predetermined format. Is output to the projector 20.
  • the content data includes map data, text data, graphic data, and the like in addition to the video data.
  • the content reproduction device 40 may acquire content data from an external server via a network and output the acquired content data to the projector 20.
  • the content reproduction device 40 may output the content data input via the mobile phone to the projector 20.
  • the content reproduction device 40 may be realized by using a navigation system or the like that displays the position information of the moving body 10.
  • the control device 50 controls each part constituting the projection system 1 including the moving body 10.
  • the control device 50 functions as a part of the ECU (Electronic Control Unit) of the mobile body 10, for example. Specifically, the control device 50 acquires various information from various sensors in the mobile body 10 and controls the projection system 1 including the mobile body 10 in an integrated manner by cooperating with other ECUs.
  • the control device 50 controls the state of the image projected by the projector 20 based on the spatial situation information indicating the spatial situation of the moving body 10 detected by the sensor unit 30. Specifically, the control device 50 controls the focus state of the image projected on the projection surface by the projector 20 based on the spatial situation information indicating the spatial situation of the moving body 10 detected by the sensor unit 30.
  • the detailed configuration of the control device 50 will be described later.
  • the projection surface is assumed to be a flat surface. For this reason, the conventional projection device does not assume a large screen projection toward the ceiling 11 of the moving body 10 forming a free phase, and does not assume an oblique projection from the rear to the front. As a result, when the conventional projection device is provided on the moving body 10, the image quality of the projected image (image) changes depending on the seating position of the occupant, for example, the position in front of and behind the occupant.
  • the passenger is watching at a predetermined distance from the projection surface.
  • the conventional projection device is provided in the moving body 10, the distance for the passenger to visually recognize the image is also short, so that it is easy to grasp the difference between the images and the quality.
  • the conventional projection device needs to project an image according to the number of passengers and the seating position in the moving body 10.
  • the number of passengers and the seating position in the moving body 10 are not considered at all.
  • FIG. 3 is a block diagram showing a functional configuration of the projection system 1 according to the first embodiment.
  • the projection system 1 includes a projector 20, a sensor unit 30, a content reproduction device 40, and a control device 50.
  • the projector 20 includes a display driver 21, a display device 22, a light source unit 23, a projection lens 24, a drive driver 25, an optical device drive unit 26, and a projector control unit 27.
  • the display driver 21 Under the control of the projector control unit 27, the display driver 21 performs predetermined image processing on the content data input from the content reproduction device 40 and outputs the content data to the display device 22.
  • the predetermined image processing includes gain processing, white balance processing, format conversion processing, and the like.
  • the display driver 21 is realized by using a memory and a processor having hardware such as a CPU (Central Processing Unit), an FPGA (Field-Programmable Gate Array) or a DSP (Digital Signal Processor).
  • the display device 22 displays a video or an image corresponding to the content data input from the display driver 21.
  • the display device 22 is realized by using a display panel such as a liquid crystal display or an organic EL (Electro Luminescence).
  • the light source unit 23 irradiates the display surface of the display device 22 with illumination light under the control of the projector control unit 27.
  • the light source unit 23 is realized by using a xenon lamp, an LED (Light Emitting Diode) lamp, one or more lenses, a prism, a mirror, and the like.
  • the projection lens 24 projects (exits) the reflected light reflected by the display surface of the display device 22 toward the projection surface.
  • the projection lens 24 is realized by using one or more lenses, prisms, and the like. Further, the projection lens 24 is provided so as to be movable along the optical path L1.
  • the drive driver 25 generates a drive signal for driving the optical device drive unit 26 under the control of the projector control unit 27, and outputs the generated drive signal to the optical device drive unit 26.
  • the drive driver 25 is realized by using, for example, a PWM pulse circuit or the like.
  • the optical device drive unit 26 adjusts the focus state of the projector 20 and the projected area of the image by moving the projection lens 24 along the optical path L1 according to the drive signal input from the drive driver 25. Specifically, the optical device drive unit 26 adjusts the focus position of the image projected by the projector 20 by moving the focus lens of the projection lens 24 along the optical path L1.
  • the optical device drive unit 26 is realized by using a pulse motor, a voice coil motor, a DC motor, or the like.
  • the optical device drive unit 26 sets the optical axis of the projection lens 24 in any of the tilt direction, tilt direction, and shift direction.
  • the focus position of the image projected by the projector 20 may be adjusted by turning the lens toward the lens.
  • the projector control unit 27 controls the drive driver 25 based on a control signal input from the control device 50 described later, and moves the projection lens 24 along the optical path L1 so that the projector 20 projects onto the projection surface. Controls the focus state of the image to be played.
  • the projector control unit 27 is realized by using a memory and a processor having hardware such as a CPU, FPGA, or DSP.
  • the sensor unit 30 includes at least a camera 31.
  • the camera 31 is a CCD (Charge Coupled Device) sensor or CMOS (Complementary Metal Oxide Semiconductor) that generates color image data by receiving an optical system having one or more lenses and a subject image formed by this optical system. ) It has an image pickup element such as a sensor. A Bayer-arranged color filter is arranged on the light receiving surface of the image sensor. Under the control of the control device 50, the camera 31 sequentially outputs color image data to the control device 50 by taking an image of the inside of the moving body 10 according to a predetermined frame rate.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the control device 50 includes an input unit 51, a control unit 52, and an output unit 53.
  • the input unit 51 outputs the spatial situation information input from the sensor unit 30 to the control unit 52. Specifically, the input unit 51 inputs image data and various information input from the camera 31 of the sensor unit 30, and outputs the input image data and various information to the control unit 52.
  • the input unit 51 is realized by using, for example, an input I / F circuit, an HDMI (registered trademark) input terminal, or the like.
  • the control unit 52 generates a control signal for controlling the state of the image projected by the projector 20 based on the spatial situation information input from the input unit 51, and outputs this control signal to the output unit 53.
  • the control unit 52 is realized by using a memory and a processor including hardware such as a CPU, FPGA or DSP. The detailed configuration of the control unit 52 will be described later.
  • the output unit 53 outputs the control signal input from the control unit 52 to the projector 20.
  • the output unit 53 is realized by using, for example, an output I / F circuit, an HDMI output terminal, or the like.
  • FIG. 4 is a block diagram showing a detailed functional configuration of the control unit 52.
  • the control unit 52 includes a recognition unit 521, a memory 522, a calculation unit 523, and a generation unit 524.
  • the recognition unit 521 recognizes the number of passengers and the seating position in the moving body 10 based on the spatial situation information input from the input unit 51. Specifically, the recognition unit 521 performs well-known template matching or the like based on the color image data input from the camera 31 and the moving body information of the moving body 10 stored in the memory 522. The number of passengers and the seating position in the moving body 10 are recognized.
  • the moving body information is image data indicating an internal space in an unmanned state in the moving body 10, spatial data (CAD data) indicating an internal space in the moving body 10, and the like.
  • the recognition unit 521 outputs the recognition result to the calculation unit 523 and the generation unit 524.
  • the recognition unit 521 recognizes at least one of the position of the head and the position of the eyes of the passenger of the moving body 10 based on the image data which is the spatial situation information input from the input unit 51, and recognizes this recognition result. It is output to the calculation unit 523 and the generation unit 524.
  • the recognition unit 521 recognizes (detects) the number of passengers, the seating position, the head position, the eye position, and the like in the moving body 10 by template matching or the like. It may be used to recognize the number of passengers, seating position, head position and eye position.
  • the memory 522 stores the spatial situation in the moving body 10, the position of the projection surface on which the projector 20 projects an image, the projection area, and the moving body information regarding the moving body 10.
  • the memory 522 is realized by using a volatile memory, a non-volatile memory, and the like.
  • the calculation unit 523 calculates the distance between the seated position of the passenger recognized by the recognition unit 521 and the projection surface of the image projected by the projector 20 stored in the memory 522 for each passenger, and generates this calculation result. Output to 524. Specifically, the calculation unit 523 determines the distance between the seated passenger's viewpoint position (center of the head or eye position) recognized by the recognition unit 521 and the projection surface of the image projected by the projector 20 for each passenger. And output this calculation result to the generation unit 524.
  • the generation unit 524 generates a control signal for controlling the focus state of the image projected by the projector 20 based on the recognition result input from the recognition unit 521 and the calculation result input from the calculation unit 523.
  • the control signal is output to the projector 20.
  • the generation unit 524 outputs a control signal for controlling the focus state of the image projected by the projector 20 based on the number of passengers recognized by the recognition unit 521 and the seating position of the passengers. Generate. More specifically, the generation unit 524 is based on the number of passengers recognized by the recognition unit 521, the seating position of the passengers, and the distance for each passenger calculated by the calculation unit 523.
  • a control signal for adjusting the focus position of the projection lens 24 is generated, and this control signal is output to the projector 20.
  • the generation unit 524 is an image projected by the projector 20 based on the number of passengers recognized by the recognition unit 521, the seating position of the passenger, and the distance for each passenger calculated by the calculation unit 523. Generates a control signal that improves the quality of a specific region, and outputs this control signal to the projector 20.
  • the quality of the image is the uniformity of the image, the brightness (adjustment of the brightness), the resolution, and the like.
  • FIG. 5 is a flowchart showing an outline of the processing executed by the projection system 1.
  • the input unit 51 acquires color image data (RGB color image data) from the camera 31 (step S101).
  • the recognition unit 521 performs a occupant detection process for detecting the occupant of the moving body 10 with respect to the image data input from the input unit 51 (step S102), and there is a occupant in the moving body 10. (Step S103: Yes), the projection system 1 proceeds to step S104, which will be described later. On the other hand, when there is no passenger in the moving body 10 (step S103: No), the projection system 1 ends this process.
  • step S104 the recognition unit 521 performs a occupant detection process for detecting the occupant of the moving body 10 with respect to the image data input from the input unit 51, based on the detection result of the occupant of the moving body 10. Performs a number detection process to detect the number of people in. In this case, in addition to the number of passengers, the recognition unit 521 determines the seating position of the passengers (absolute position of the passengers or the relative position of each passenger's seat) in the moving body 10 and each passenger's seating position. Detects the viewpoint position (center position of the head or position of the eyes).
  • the calculation unit 523 performs a distance calculation process for calculating the distance between the seated position of the passenger recognized by the recognition unit 521 and the projection surface of the image projected by the projector 20 stored in the memory 522 for each passenger. (Step S105).
  • the generation unit 524 generates a control signal for controlling the focus state of the image projected by the projector 20 based on the recognition result input from the recognition unit 521 and the calculation result input from the calculation unit 523. (Step S106).
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to move the projection lens 24 on the optical path L1. By doing so, the focus position of the image projected on the projection surface by the projector 20 is adjusted (step S107).
  • FIG. 6 is a diagram schematically showing the focus position of the projector 20 when there are four passengers in the moving body 10.
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to drive four passengers.
  • the projection lens 24 is placed on the optical path L1 so that the focus position P1 (focus position) is aligned with the central region of the projection surface W1 (projection range) projected by the projector 20 in the region where the lines of sight of U1 to U4 are gathered. Move it.
  • the projector control unit 27 controls the display driver 21 based on the control signal input from the control device 50, and drives the display device 22 to drive four passengers in the projection surface W1.
  • the quality of the image in the region W2 where the lines of sight of U1 to U4 are further gathered is improved. As a result, the four passengers U1 to U4 can view the focused image.
  • FIG. 7 is a diagram schematically showing the focus position of the projector 20 when there are two passengers in the front seat 12 in the moving body 10.
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to reach the front seat 12.
  • the projection lens 24 is set so that the focus position P1 is aligned with the central region on the front side of the projection surface W1 (projection range) projected by the projector 20 in the region where the lines of sight of the two seated passengers U1 and U2 are gathered. Move on the optical path L1.
  • the projector control unit 27 controls the display driver 21 based on the control signal input from the control device 50, and drives the display device 22 to drive two passengers in the projection surface W1.
  • the quality of the image in the region W2 where the lines of sight of U1 and U2 are further gathered is improved. As a result, the two passengers U1 and U2 can view the focused image.
  • FIG. 8 is a diagram schematically showing the focus position of the projector 20 in the case of one person in the front seat 12 in the moving body 10.
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to the front seat 12.
  • the projection lens 24 is placed on the optical path L1 so that the focus position P1 is aligned with the area on the right side of the center of the projection surface W1 (projection range) projected by the projector 20 in the area of the line of sight of the seated passenger U1.
  • the projector control unit 27 controls the display driver 21 based on the control signal input from the control device 50, and drives the display device 22 to drive the line of sight of the passenger U1 in the projection surface W1. Improve the quality of the image in the area W2 where the images are further gathered. As a result, the passenger U1 can view the focused image.
  • FIG. 9 is a diagram schematically showing the focus position of the projector 20 in the case of two people in the rear seat 13 in the moving body 10.
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to sit on the rear seat 13.
  • the projection lens 24 is an area where the lines of sight of the two passengers U1 and U2 are gathered, and the focus position P1 is aligned with the area behind the center of the projection surface W1 (projection range) projected by the projector 20. Is moved on the optical path L1.
  • the projector control unit 27 controls the display driver 21 based on the control signal input from the control device 50, and drives the display device 22 to drive the display device 22 in the projection surface W1 of the rear seat 13-2.
  • the quality of the image of the area W2 where the lines of sight of the passengers U1 and U2 are further gathered is improved. As a result, the passenger can watch the focused image.
  • FIG. 10 is a diagram schematically showing the focus position of the projector 20 in the case of two people in front of and behind the moving body 10.
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to drive the front seat 12 and the front seat 12 and the optical device drive unit 26.
  • the focus position P1 is aligned with the rear or front region of the projection surface W1 (projection range) projected by the projector 20 in the region where the lines of sight of the two passengers U1 and U2 seated at the rear 13 are gathered.
  • the projection lens 24 is moved on the optical path L1.
  • the projector control unit 27 controls the display driver 21 based on the control signal input from the control device 50, and drives the display device 22 to drive the front seat 12 in the projection surface W1.
  • the projector control unit 27 drives the optical device drive unit 26 to control the optical axis of the projection lens 24.
  • the focus position of the image projected by the projector 20 may be adjusted by pointing to any of the tilt direction, tilt direction, and shift direction.
  • FIG. 11 is a diagram schematically showing the focus position of the projector 20 in the case of one person in the rear seat 13 in the moving body 10.
  • the projector control unit 27 controls the drive driver 25 based on the control signal input from the control device 50, and drives the optical device drive unit 26 to sit in the rear 13 position.
  • the optical path of the projection lens 24 is such that the focus position P1 is aligned with the central region behind the central portion of the projection surface W1 (projection range) projected by the projector 20, which is the region where the line of sight of the passenger U1 gathers. Move on L1.
  • the projector control unit 27 controls the display driver 21 based on the control signal input from the control device 50, and drives the display device 22 to drive the line of sight of the passenger U1 in the projection surface W1. Improve the quality of the image in the area W2 where the images are further gathered. As a result, the passenger U1 can view the focused image.
  • step S108 the projector control unit 27 controls the display driver 21 based on the content data input from the content reproduction device 40, and projects the image corresponding to the content data on the display device 22.
  • step S108 the projection system 1 ends this process.
  • control unit 52 is provided in the space inside the moving body 10 based on the spatial situation information input from the sensor unit 30 that detects the spatial situation in the moving body 10.
  • the projector 20 controls the state of an image projected on a predetermined projection surface. Therefore, the passenger in the moving body 10 can visually recognize the optimum image.
  • the recognition unit 521 recognizes the number of passengers and the seating position in the moving body 10 based on the spatial situation information
  • the generation unit 524 recognizes the number of people recognized by the recognition unit 521. Since the control signal for controlling the focus state of the image projected by the projector 20 is generated based on the seating position, it is possible to provide the passenger in the moving body 10 with the focused image.
  • the projector 20 is based on the number of people recognized by the generation unit 524 by the recognition unit 521, the seating position, and the distance for each crew member calculated by the calculation unit 523. Since a control signal for controlling the focus state of the projected image is generated, it is possible to provide the passenger in the moving body 10 with the focused image.
  • the calculation unit 523 calculates the distance for each passenger based on at least one of the position of the head and the position of the eyes of the passenger and the seating position, the passenger. It is possible to calculate the distance to an accurate focus position suitable for.
  • the generation unit 524 since the generation unit 524 generates a control signal for controlling the focus position of the projector 20 and outputs the control signal to the projector 20, the image in which the passenger in the moving body 10 is in focus is displayed. Can be provided.
  • the generation unit 524 since the generation unit 524 generates a control signal for adjusting the brightness of the image projected by the projector 20 and outputs it to the projector 20, it is most suitable for the passenger in the moving body 10. Can provide various images.
  • the projection system according to the second embodiment has a different configuration of the sensor unit 30 and the control device 50 of the projection system 1 according to the first embodiment described above.
  • the projection system according to the second embodiment will be described.
  • the same components as those in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 12 is a block diagram showing a functional configuration of the projection system according to the second embodiment.
  • the projection system 1A shown in FIG. 12 includes a sensor unit 30A and a control device 50A in place of the sensor unit 30 and the control device 50 according to the first embodiment described above.
  • the sensor unit 30A further includes an acceleration sensor 32 in addition to the configuration of the sensor unit 30 according to the first embodiment described above.
  • the acceleration sensor 32 detects the acceleration information generated in the moving body 10 and outputs this acceleration information to the control device 50A. Specifically, the acceleration sensor 32 detects the acceleration of the three axes (X-axis, Y-axis and Z-axis) of the moving body 10 as the shaking generated in the moving body 10. In addition to the acceleration sensor 32, a gyro sensor (angular velocity sensor) may be further provided.
  • control device configuration Next, the configuration of the control device 50A will be described.
  • the control device 50A includes a control unit 52A instead of the control unit 52 according to the first embodiment described above.
  • the control unit 52A generates a control signal for controlling the state of the image projected by the projector 20 based on the image data from the camera 31 and the acceleration information from the acceleration sensor 32, and outputs this control signal to the output unit 53. Output.
  • FIG. 13 is a block diagram showing a detailed functional configuration of the control unit 52A.
  • the control unit 52A shown in FIG. 13 further includes a shake calculation unit 525 in addition to the configuration of the control unit 52 according to the first embodiment described above. Further, the control unit 52A has a generation unit 524A in place of the generation unit 524 according to the first embodiment described above.
  • the shaking calculation unit 525 calculates the shaking generated in the moving body 10 based on the acceleration information input from the acceleration sensor 32 via the input unit 51, and outputs the calculation result to the generation unit 524A.
  • the generation unit 524A generates a control signal for controlling the focus state of the projector 20 based on the recognition result of the recognition unit 521, the calculation result of the calculation unit 523, and the calculation result of the shaking calculation unit 525.
  • the generation unit 524A outputs a control signal to the projector 20 via the output unit 53.
  • FIG. 14 is a flowchart showing an outline of the processing executed by the projection system 1A.
  • the input unit 51 acquires image data from the camera 31 and acceleration information from the acceleration sensor 32 (step S201).
  • Steps S202 to S205 correspond to each of the above-mentioned steps S102 to S105.
  • step S206 the shaking calculation unit 525 calculates the shaking generated in the moving body 10 based on the acceleration information input from the acceleration sensor 32 via the input unit 51.
  • the generation unit 524A generates a control signal for controlling the focus state of the projector 20 based on the recognition result of the recognition unit 521, the calculation result of the calculation unit 523, and the calculation result of the shaking calculation unit 525 (step S207). ..
  • Step S208 and step S209 correspond to each of the above-mentioned steps S207 and S208. After step S208, the projection system 1A ends this process.
  • the third embodiment differs in the configuration of the sensor unit 30 and the control device 50 according to the first embodiment described above.
  • the projection system according to the third embodiment will be described.
  • the same components as those in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 15 is a block diagram showing a functional configuration of the projection system according to the third embodiment.
  • the projection system 1B shown in FIG. 15 includes a sensor unit 30B and a control device 50B in place of the sensor unit 30 and the control device 50 according to the first embodiment described above.
  • the sensor unit 30B further includes a stereo camera 33 and a TOF camera 34 in addition to the configuration of the sensor unit 30 according to the first embodiment described above.
  • the stereo camera 33 generates stereo image data having parallax, and outputs the stereo image data to the control device 50B.
  • the stereo camera 33 is realized by using two optical systems having parallax and two image sensors such as a CCD or CMOS that receive an image of a subject image formed by each of the two optical systems.
  • the TOF camera 34 generates distance image data (Dept image) having distance information in which depth information is represented by a shading value for each pixel by imaging the inside of the moving body 10.
  • the TOF camera 34 is realized by using a light source capable of irradiating infrared light and an image pickup element such as a CCD or CMOS capable of capturing infrared light reflected by an object.
  • control device 50B includes a control unit 52B in place of the control unit 52 according to the first embodiment described above.
  • the control unit 52B generates a control signal for controlling the state of the image projected by the projector 20 based on the image data, the stereo image data, and the depth information image data via the input unit 51, and outputs this control signal. Output to unit 53.
  • FIG. 16 is a block diagram showing a detailed functional configuration of the control unit 52B.
  • the control unit 52B has a calculation unit 523B in place of the calculation unit 523 of the first embodiment described above.
  • the calculation unit 523B has a first distance calculation unit 5231 and a second distance calculation unit 5232.
  • the first distance calculation unit 5231 calculates the distance between the passenger seated at a short distance and the projection surface of the image projected by the projector 20 based on the stereo image data input via the input unit 51. The calculation result is output to the generation unit 524B. Further, the first distance calculation unit 5231 calculates the distance for each predetermined area on the shape of the projection surface on which the projector 20 projects an image, and outputs the calculation result to the generation unit 524B.
  • the second distance calculation unit 5232 calculates the distance between the passenger sitting at a long distance and the projection surface of the image projected by the projector 20 based on the distance image data input to the input unit 51, and calculates the calculation result. Output to the generator 524B. Further, the second distance calculation unit 5232 calculates the distance for each predetermined area on the shape of the projection surface on which the projector 20 projects an image, and outputs the calculation result to the generation unit 524B.
  • the generation unit 524B projects the projector 20 based on the recognition result input from the recognition unit 521 and the calculation result input from each of the first distance calculation unit 5231 and the second distance calculation unit 5232.
  • a control signal for controlling the focus state of the image is generated, and this control signal is output to the projector 20.
  • the generation unit 524B inputs the distance of each region on the projection surface projected by the projector 20 input from each of the first distance calculation unit 5231 and the second distance calculation unit 5232, and the distance from the recognition unit 521. Based on the recognized recognition result, a control signal for controlling the focus state of the image projected by the projector 20 is generated.
  • FIG. 17 is a flowchart showing an outline of the processing executed by the projection system 1B.
  • the input unit 51 acquires image data, stereo image data, and depth information image data from the sensor unit 30B (step S301).
  • Steps S302 to S304 correspond to each of steps S102 to S104 described above.
  • step S305 the first distance calculation unit 5231 determines the distance between the passenger seated at a short distance and the projection surface of the image projected by the projector 20 based on the stereo image data input via the input unit 51. The first distance calculation process for calculation is performed.
  • the second distance calculation unit 5232 calculates the distance between the passenger seated at a long distance and the projection surface of the image projected by the projector 20 based on the distance image data input to the input unit 51.
  • the distance calculation process of (step S306) is performed.
  • the generation unit 524B sets the projector 20 based on the recognition result input from the recognition unit 521 and the calculation result input from each of the first distance calculation unit 5231 and the second distance calculation unit 5232.
  • a control signal for controlling the focus state of the projected image is generated (step S307).
  • Step S308 and step S309 correspond to each of the above-mentioned steps S107 and S108.
  • the projection system according to the fourth embodiment has a different configuration of the control device 50 according to the first embodiment described above.
  • the projection system according to the fourth embodiment will be described.
  • the same components as those in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 18 is a block diagram showing a functional configuration of the projection system according to the fourth embodiment.
  • the projection system 1C shown in FIG. 18 includes a control device 50C instead of the control device 50 according to the first embodiment described above.
  • the control device 50C includes a control unit 52C instead of the control unit 52 of the control device 50 according to the first embodiment described above.
  • the control unit 52C controls the focus state of the image projected by the projector 20 based on the content data input from the content reproduction device 40.
  • FIG. 19 is a block showing the functional configuration of the control unit 52C.
  • the control unit 52C shown in FIG. 19 has a specific unit 526 instead of the calculation unit 523 of the control unit 52 according to the first embodiment described above. Further, the control unit 52C has a generation unit 524C instead of the generation unit 524.
  • the identification unit 526 specifies an emphasis position to be emphasized in the image projected by the projector 20 based on the content data via the input unit 51, and outputs this identification result to the generation unit 524C.
  • the generation unit 524C generates a control signal for controlling the focus state of the image projected by the projector 20 based on the recognition result input from the recognition unit 521 and the specific result input from the specific unit 526.
  • the generation unit 524C outputs a control signal to the projector 20 via the output unit 53.
  • FIG. 20 is a flowchart showing an outline of the processing executed by the projection system 1C.
  • the input unit 51 acquires image data from the camera 31 and content data from the content playback device 40 (step S401).
  • Steps S402 to S404 correspond to each of the above-mentioned steps S102 to S104.
  • step S405 the identification unit 526 specifies an emphasis position to be emphasized in the image projected by the projector 20 based on the content data via the input unit 51, and outputs the identification result to the generation unit 524C. Perform processing.
  • the generation unit 524C generates a control signal for controlling the focus state of the image projected by the projector 20 based on the recognition result input from the recognition unit 521 and the specific result input from the specific unit 526. (Step S406).
  • FIG. 21 is a diagram schematically showing a focus state of an image projected by the projector 20 based on a control signal generated by the generation unit 524.
  • the projector 20 projects an image (for example, a navigation image) on the ceiling 11 of the moving body 10 at a short distance and on a large screen
  • the passengers share the same image.
  • the fourth embodiment it is required that all the passengers see the same point as soon as possible by guiding the points that the passengers see. Further, since the moving body 10 is constantly moving, it is required to quickly share it among passengers at the timing at that time.
  • the generation unit 524C generates a control signal in which the focus state is aligned with the region W10 including the emphasis position to be emphasized in the image of the projection surface W1 specified by the specific unit 526, and this control is performed.
  • the signal is output to the projector 20.
  • the generation unit 524C is a control signal in which the focus position (focus position) of the projector 20 is aligned with the emphasized position emphasized in the image specified by the specific unit 526, and the focus is adjusted from the focus position to the predetermined area W10. To generate. As a result, all the passengers in the moving body 10 can visually recognize the area W10 of the same image as nature.
  • the generation unit 524C may generate a control signal that emphasizes the resolution, contrast, brightness, etc. in the area W10 more than other areas, and may output this control signal to the projector 20.
  • the image is a navigation image such as a map, but the image is not limited to this, and may be, for example, peripheral information and emergency information of the moving body 10.
  • the generation unit 524C outputs a control signal whose focus position is aligned with the peripheral information and the emergency information in the superimposed image in which the peripheral information and the emergency information of the moving body 10 are superimposed on the video based on the position information of the moving body 10. It may be generated.
  • a navigation image such as a map has been described as an example, but the present invention is not limited to this, and may be characters and figures, for example.
  • Steps S407 and 408 correspond to each of the above-mentioned steps S107 and S108.
  • the projection system according to the fifth embodiment has a different configuration from the sensor unit 30 and the control device 50 of the projection system 1 according to the first embodiment described above.
  • the projection system according to the fifth embodiment will be described.
  • the same components as those in the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 22 is a block diagram showing a functional configuration of the projection system according to the fifth embodiment.
  • the projection system 1D shown in FIG. 22 includes a sensor unit 30D and a control device 50D in place of the sensor unit 30 and the control device 50 according to the first embodiment described above.
  • the sensor unit 30D includes a camera 31 and an interaction device 35.
  • the interaction device 35 is realized by using a TOF camera or the like, detects the gesture of the passenger, and outputs the detection result to the control device 50D. For example, the interaction device 35 detects the direction and position pointed by the occupant with a finger, and outputs the detection result to the control device 50D.
  • the interaction device 35 may be realized by using, for example, a stereo camera or the like in addition to the TOF camera.
  • control device configuration Next, the configuration of the control device 50D will be described.
  • the control device 50D includes a control unit 52D in place of the control unit 52 of the control device 50 according to the first embodiment described above.
  • the control unit 52D outputs a control signal for adjusting the focus state of the image projected by the projector 20 based on the image data input from the camera 31 via the input unit 51 and the depth information image data input from the TOF camera 34. It is generated and this control signal is output to the projector 20.
  • FIG. 23 is a block diagram showing a functional configuration of the control unit 52D.
  • the control unit 52D includes a gesture determination unit 527 instead of the calculation unit 523 of the control unit 52 according to the first embodiment described above. Further, the control unit 52D includes a memory 522D and a generation unit 524D in place of the memory 522 and the generation unit 524 of the control unit 52 according to the first embodiment described above.
  • the memory 522D stores the vehicle interior information regarding the vehicle interior of the mobile body 10.
  • the vehicle interior information is 3D data indicating the vehicle interior space of the moving body 10 and position information indicating the positions of various members such as A pillars and B pillars.
  • the gesture determination unit 527 determines the gesture (movement) of the passenger of the moving body 10 based on the depth information image data input via the input unit 51 and the recognition result recognized by the recognition unit 521. This determination result is output to the generation unit 524D.
  • the gesture is a position and direction pointed by the passenger with a finger or the like, a line of sight of the passenger, a gesture of the passenger, an action, and the like.
  • the generation unit 524D generates a control signal for adjusting the focus state of the image projected by the projector 20 based on the recognition result recognized by the recognition unit 521 and the determination result determined by the gesture determination unit 527.
  • the generation unit 524D outputs a control signal to the projector 20 via the output unit 53.
  • FIG. 24 is a flowchart showing an outline of the processing executed by the projection system 1D.
  • the input unit 51 acquires image data from the camera 31 and depth information image data from the TOF camera (step S501).
  • Steps S502 to S503 correspond to each of the above-mentioned steps S102 to S103.
  • step S504 the gesture determination unit 527 makes a gesture (operation) of the passenger of the moving body 10 based on the depth information image data input via the input unit 51 and the recognition result recognized by the recognition unit 521. Is determined.
  • the generation unit 524D generates a control signal for adjusting the focus state of the image projected by the projector 20 based on the recognition result recognized by the recognition unit 521 and the determination result determined by the gesture determination unit 527. (Step S505).
  • the passenger wants to inform the passenger seated in the front seat 12 what the passenger sitting in the rear seat 13 is watching (the position of the line of sight). ..
  • the information being watched by its own pointer is hidden, so that the necessary information is insufficient.
  • the generation unit 524D generates a control signal for adjusting the focus state of the image projected by the projector 20 based on the recognition result recognized by the recognition unit 521 and the determination result determined by the gesture determination unit 527. ..
  • the passenger is projected with the gesture of another passenger, for example, an image in which the focus position is in the area including the position pointed to by the other passenger. As a result, all passengers can communicate smoothly.
  • Step S506 and step S507 correspond to each of the above-mentioned steps S107 and S108.
  • the generation unit 524D focuses the image projected by the projector 20 based on the recognition result recognized by the recognition unit 521 and the determination result determined by the gesture determination unit 527. Since the control signal for adjusting the state is generated, the focus position of the image projected by the projector 20 can be adjusted to the position according to the intention of the passenger.
  • the projection system according to the sixth embodiment has a different configuration from the sensor unit 30 and the control device 50 of the projection system 1 according to the first embodiment described above.
  • the projection system according to the sixth embodiment will be described.
  • the same components as those of the projection system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 25 is a block diagram showing a functional configuration of the projection system according to the sixth embodiment.
  • the projection system 1E shown in FIG. 25 includes a sensor unit 30E and a control device 50E in place of the sensor unit 30 and the control device 50 of the projection system 1 according to the first embodiment described above.
  • the sensor unit 30E includes a camera 31, an acceleration sensor 32, a stereo camera 33, a TOF camera 34, and an input device 36.
  • the input device 36 receives the input operation of the passenger and outputs the input information corresponding to the received operation to the control device 50E.
  • the input device 36 is realized by using a button, a switch, a touch panel, a jog dial, and the like.
  • control device configuration Next, the configuration of the control device 50E will be described.
  • the control device 50E includes a control unit 52E in place of the control unit 52 according to the first embodiment described above.
  • the control unit 52E generates a control signal for adjusting the focus state of the image projected by the projector 20 based on various information input from the sensor unit 30E via the input unit 51, and outputs this control signal to the projector 20. do.
  • FIG. 26 is a block diagram showing a functional configuration of the control unit 52E.
  • the control unit 52E shown in FIG. 26 includes the recognition unit 521, the memory 522, the calculation unit 523A, the shaking calculation unit 525, the specific unit 526, and the gesture determination unit 527 described in the first to fifth embodiments described above. Be prepared. Further, the control unit 52E includes a generation unit 524E in place of the generation unit 524 according to the first embodiment described above.
  • the generation unit 524E is a projector based on at least one of the recognition result of the recognition unit 521, the calculation result of the calculation unit 523A, the calculation result of the shaking calculation unit 525, the specific result of the specific unit 526, and the determination result of the gesture determination unit 527.
  • a control signal for adjusting the focus state of the image projected by 20 is generated.
  • FIG. 27 is a flowchart showing an outline of the processing executed by the projection system 1E.
  • the input unit 51 acquires the mode selection signal input from the input device 36 (step S601).
  • control unit 52E determines whether or not the mode selection signal is in the passenger mode (step S602).
  • the control unit 52E determines that the mode selection signal is in the passenger mode (step S602: Yes)
  • the projection system 1E shifts to step S603 described later.
  • the control unit 52E determines that the mode selection signal is not the passenger mode (step S602: No)
  • the projection system 1E shifts to step S605 described later.
  • step S603 the projection system 1E generates a control signal for adjusting the focus state of the image projected by the projector 20 based on the number of passengers of the moving body 10, the seating position, and the shaking of the moving body 10, and the projector 20 is generated.
  • step S603 the projection system 1E shifts to step S604 described later.
  • step S604 the control unit 52E determines whether or not an instruction signal to be terminated has been input from the input device 36. When it is determined by the control unit 52E that the instruction signal to be terminated from the input device 36 has been input (step S604: Yes), the projection system 1E terminates this process. On the other hand, when it is determined by the control unit 52E that the instruction signal to end from the input device 36 has not been input (step S604: No), the projection system 1E returns to the above-mentioned step S601.
  • step S605 the control unit 52E determines whether or not the mode selection signal is in the content mode.
  • step S605: Yes the control unit 52E determines that the mode selection signal is the content mode
  • step S606 the projection system 1E shifts to step S606 described later.
  • step S607 the projection system 1E shifts to step S607, which will be described later.
  • step S606 the projection system 1E executes a content mode process for adjusting the focus state of the image projected by the projector 20 based on the content data. Since the details of the content mode processing are the same as those in steps S401 to S408 of FIG. 20 described above, detailed description thereof will be omitted. After step S606, the projection system 1E proceeds to step S604.
  • step S607 the control unit 52E determines whether or not the mode selection signal is in the gesture mode.
  • the control unit 52E determines that the mode selection signal is in the gesture mode (step S607: Yes)
  • the projection system 1E shifts to step S608 described later.
  • the control unit 52E determines that the mode selection signal is not the gesture mode (step S607: No)
  • the projection system 1E returns to the above-mentioned step S601.
  • step S608 the projection system 1E executes a gesture mode process for generating a control signal for adjusting the focus state of the image projected by the projector 20 based on the gesture of the passenger. Since the details of the gesture mode processing are the same as those in steps S501 to S507 of FIG. 24 described above, detailed description thereof will be omitted. After step S608, the projection system 1E shifts to step S604 described later.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure refers to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), and the like. It may be realized as a device mounted on the body.
  • FIG. 28 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. , Equipped with.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 29 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup unit 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirror, rear bumper, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 29 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 can be obtained.
  • the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle outside information detection unit 7400 receives the detection information from the connected vehicle outside information detection unit 7420.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle outside information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 for detecting the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • Bluetooth® may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of IEEE802.11p in the lower layer and IEEE1609 in the upper layer. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High)).
  • -Definition Link and other wired connections may be established.
  • the in-vehicle device 7760 includes, for example, at least one of a passenger's mobile device or wearable device, or an information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device for searching a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 may be a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to one of the control units may be connected to the other control unit, and the plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • a computer program for realizing each function of the projection system 1 according to the present embodiment described with reference to FIG. 1 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • the projection system 1 according to the present embodiment described with reference to FIG. 1 can be applied to the integrated control unit 7600 of the application example shown in FIG. 28.
  • the sensor unit 30 and the control device 50 of the projection system 1 correspond to the microcomputer 7610, the image pickup unit 7410, and the driver state detection unit 7510 of the integrated control unit 7600.
  • the present invention is not limited to this, and the vehicle control system 7000 may correspond to the control device 50 in FIG.
  • the components of the projection system 1 according to the present embodiment described with reference to FIG. 1 is a module for the integrated control unit 7600 shown in FIG. 28 (for example, an integrated configuration composed of one die). It may be realized in a circuit module). Alternatively, the projection system 1 according to the present embodiment described with reference to FIG. 1 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG. 28.
  • the above-mentioned "part” can be read as “means”, “circuit” and the like.
  • the control unit can be read as a control means or a control circuit.
  • the program to be executed by the projection system according to the first to sixth embodiments of the present disclosure is a CD-ROM, a flexible disk (FD), or a CD in an installable format or an executable format file data. -Provided by being recorded on a computer-readable recording medium such as R, DVD (Digital Versatile Disk), USB medium, or flash memory.
  • the program to be executed by the projection system according to the first to fourth embodiments of the present disclosure is to be provided by storing it on a computer connected to a network such as the Internet and downloading it via the network. It may be configured in.
  • the present technology can also have the following configurations.
  • a control unit for controlling the state of an image projected on a predetermined projection surface by a projection device provided in the space in the moving body based on the spatial situation information input from a sensor for detecting the spatial state in the moving body is provided.
  • Control device (2) The control device according to (1).
  • the control unit A recognition unit that recognizes the number of passengers and the seating position in the moving body based on the spatial situation information.
  • a generation unit that generates a control signal for controlling the focus state of the image projected by the projection device based on the number of people and the seating position. To prepare Control device.
  • a calculation unit for calculating the distance between the seated position of the passenger recognized by the recognition unit and the projection surface of the image projected by the projection device for each passenger recognized by the recognition unit The generator is The control signal is generated based on the number of people, the seating position, and the distance for each passenger. Control device. (4) The control device according to (3).
  • the recognition unit Based on the spatial situation information, at least one of the passenger's head position and eye position is recognized.
  • the calculation unit The distance for each passenger is calculated based on at least one of the position of the head and the position of the eyes of the passenger and the seating position. Control device. (5) The control device according to (2).
  • the generator is The control signal is generated based on the number of people, the seating position, and the acceleration information acquired by the acceleration sensor that detects the shaking generated in the moving body.
  • Control device. (6) The control device according to any one of (2) to (5).
  • the sensor is A camera that generates color image data by imaging the moving body, A stereo camera that generates parallax image data with parallax by imaging the moving body.
  • One or more of the TOF cameras that generate distance image data capable of detecting distance information for each pixel by imaging the moving body.
  • the spatial situation information is One or more of the color image data, the parallax image data, and the distance image data.
  • Control device. (7) The control device according to (6).
  • the recognition unit The number of people and the seating position are recognized based on any one or more of the image data, the parallax image data, and the distance image data.
  • Control device. (8) The control device according to any one of (2) to (7).
  • the generator is The control signal is generated based on the content data as the image projected by the projection device.
  • Control device. (9) The control device according to (8). Further provided with a specific part for specifying an emphasized position in the image based on the content data.
  • the generator is The control signal is generated based on the emphasized position.
  • Control device. (10) The control device according to any one of (2) to (9).
  • the sensor is An interaction device that detects the movement of the passenger in the moving body.
  • the spatial situation information is It is the operation of the passenger, and the generator is The control signal is generated based on the movement of the passenger.
  • Control device. (11) The control device according to any one of (2) to (10).
  • the control signal is A signal that controls the focus position of the projection device.
  • Control device. (12) The control device according to any one of (2) to (10).
  • the control signal is A signal that adjusts the brightness of the image projected by the projection device.
  • Control device. (13) The control device according to any one of (1) to (12).
  • the projection plane is Free-form surface, Control device.
  • a projection device that projects an image onto a predetermined projection surface in a moving body, The sensor that detects the spatial condition in the moving body and A control device that controls the state of the image based on the spatial situation information regarding the spatial situation detected by the sensor, and To prepare Projection system.
  • the projection device is A projection lens that projects the image onto the predetermined projection surface, A drive unit that adjusts the focus position of the image by moving the projection lens along the optical path.
  • the control device is A recognition unit that recognizes the number of passengers and the seating position in the moving body based on the spatial situation information.
  • a generation unit that generates a control signal for controlling the focus state of the image projected by the projection device based on the number of people and the seating position.
  • the control device is Further provided with a calculation unit for calculating the distance between the seated position of the passenger recognized by the recognition unit and the projection surface of the image projected by the projection device for each passenger recognized by the recognition unit.
  • the generator is The control signal is generated based on the number of people, the seating position, and the distance for each passenger.
  • the projection system according to (16). The recognition unit Based on the spatial situation information, at least one of the passenger's head position and eye position is recognized.
  • the calculation unit The distance for each passenger is calculated based on at least one of the position of the head and the position of the eyes of the passenger and the seating position. Projection system.
  • the generator is The control signal is generated based on the number of people, the seating position, and the acceleration information acquired by the acceleration sensor that detects the shaking generated in the moving body.
  • Projection system It is a control method that controls a projection device installed in the space inside a moving body. Based on the spatial situation information input from the sensor that detects the spatial situation in the moving body, the state of the image projected by the projection device on a predetermined projection surface is controlled. Control method. (20) For the control device that controls the projection device installed in the space inside the moving body, Based on the spatial situation information input from the sensor that detects the spatial situation in the moving body, the state of the image projected by the projection device on a predetermined projection surface is controlled. A program that lets you do things.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

制御装置５０は、移動体１０内の空間状況を検出するセンサから入力される空間状況情報に基づいて、移動体１０内の空間に設けられたプロジェクタ２０が所定の投影面へ投影する映像の状態を制御する制御部５２を備える。

Description

制御装置、投影システム、制御方法及びプログラム
　本開示は、制御装置、投影システム、制御方法及びプログラムに関する。
　自動車内における搭乗者の着座位置に関わらず適切な再生音場を自動的に提供する技術が知られている。例えば、下記特許文献１では、自動車内に設けられた複数のディスプレイの各々の電源のオンオフ状態を検出し、この検出結果に従って、複数のスピーカの再生音がオン状態のディスプレイを利用する位置で適切となるようにオーディオ信号を補正する。
　また、投影面に映像を投影するプロジェクタにおいて、投影面とプロジェクタとの間の人間の所在によって、プロジェクタの投影レンズの焦点距離を調整する技術が知られている。例えば、下記特許文献２では、投影面とプロジェクタとの間に人間の所在を感知した場合、人間の所在が感知されている間、投影レンズの焦点距離が直前の状態で固定されるようにフォーカス調整を行う。
特開２００５－８８８６４号公報 特許４９５５３０９号公報
　ところで、近年、移動体内にプロジェクタ等の投影装置を設け、移動体内に映像を投影することによってエンタメーント性を高めることができる技術が望まれている。
　しかしながら、上述した特許文献１，２では、移動体内に搭乗する搭乗者に最適な映像を提供することまで考えられていなかった。
　そこで、本開示では、移動体内の搭乗者に最適な映像を提供することができる制御装置、投影システム、制御方法及びプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の制御装置は、移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記移動体内の空間に設けられた投影装置が所定の投影面へ投影する映像の状態を制御する制御部を備える。
本開示の各実施形態に適用される投影システムの概略的な側面図である。 本開示の各実施形態に適用される投影システムの概略的な上面図である。 第１の実施形態に係る投影システムの機能構成を示すブロック図である。 第１の実施形態に係る制御部の詳細な機能構成を示すブロック図である。 第１の実施形態に係る投影システムが実行する処理の概要を示すフローチャートである。 移動体内に搭乗者が４人の場合におけるプロジェクタのフォーカス位置を模式的に示す図である。 移動体内の前席に搭乗者が２人の場合におけるプロジェクタのフォーカス位置を模式的に示す図である。 移動体内の前席に１人の場合におけるプロジェクタのフォーカス位置を模式的に示す図である。 移動体内の後席に２人の場合におけるプロジェクタのフォーカス位置を模式的に示す図である。 移動体内の前後に２人の場合におけるプロジェクタのフォーカス位置を模式的に示す図である。 移動体内の後席に１人の場合におけるプロジェクタのフォーカス位置を模式的に示す図である。 第２の実施形態に係る投影システムの機能構成を示すブロック図である。 第２の実施形態に係る制御部の詳細な機能構成を示すブロック図である。 第２の実施形態に係る投影システムが実行する処理の概要を示すフローチャートである。 第３の実施形態に係る投影システムの機能構成を示すブロック図である。 第３の実施形態に係る制御部の詳細な機能構成を示すブロック図である。 第３の実施形態に係る投影システムが実行する処理の概要を示すフローチャートである。 第４の実施形態に係る投影システムの機能構成を示すブロック図である。 第４の実施形態に係る制御部の機能構成を示すブロック図である。 第４の実施形態に係る投影システムが実行する処理の概要を示すフローチャートである。 生成部が生成する制御信号に基づくプロジェクタが投影する映像のフォーカス状態を模式的に示す図である。 第５の実施形態に係る投影システムの機能構成を示すブロック図である。 第５の実施形態に係る制御部の機能構成を示すブロック図である。 第５の実施形態に係る投影システムが実行する処理の概要を示すフローチャートである。 第６の実施形態に係る投影システムの機能構成を示すブロック図である。 第６の実施形態に係る制御部の機能構成を示すブロック図である。 第６の実施形態に係る投影システムが実行する処理の概要を示すフローチャートである。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部及び車外情報検出部の設置位置の例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は、以下の順序で行うものとする。
　１．投影システムの構成
　　１－１．　投影システムの概略構成
　　１－２．　プロジェクタの構成
　　１－３．　センサユニットの構成
　　１－４．　コンテンツ再生装置の構成
　　１－５．　制御装置の構成
　　１－６．　従来の移動体内に設けられたプロジェクタの問題点
　２．第１の実施形態
　　２－１．　投影システムの機能構成
　　２－２．　プロジェクタの構成
　　２－３．　センサユニットの構成
　　２－４．　制御装置の構成
　　　２－４－１．　制御部の機能構成
　　２－５．　投影システムの処理
　　２－６．　作用・効果
　３．第２の実施形態
　　３－１．　投影システムの機能構成
　　３－２．　センサユニットの構成
　　３－３．　制御装置の構成
　　　３－３－１．制御部の機能構成
　　３－４．　投影システムの処理
　　３－５．　作用・効果
　４．第３の実施形態
　　４－１．　投影システムの機能構成
　　４－２．　センサユニットの構成
　　４－３．　制御装置の構成
　　　４－３－１．制御部の機能構成
　　４－４．　投影システムの処理
　　４－５．　作用・効果
　５．第４の実施形態
　　５－１．　投影システムの機能構成
　　５－２．制御部の機能構成
　　５－３．　投影システムの処理
　　５－４．　作用・効果
　６．第５の実施形態
　　６－１．　投影システムの機能構成
　　６－２．　センサユニットの構成
　　６－３．　制御装置の構成
　　　６－３－１．制御部の機能構成
　　６－４．　投影システムの処理
　　６－５．　作用・効果
　７．第６の実施形態
　　７－１．　投影システムの機能構成
　　７－２．　センサユニットの構成
　　７－３．　制御装置の構成
　　　７－３－１．制御部の機能構成
　　７－４．　投影システムの処理
　　７－５．　作用・効果
　８．移動体への応用例
　９．むすび
＜１．投影システムの構成＞
　〔１－１．投影システムの概略構成〕
　図１は、本開示の各実施形態に適用される投影システムの概略的な側面図である。図２は、本開示の各実施形態に適用される投影システムの概略的な上面図である。
　図１及び図２に示す投影システム１は、移動体１０に設けられ、移動体１０内に搭乗した搭乗者に対して映像を提供するシステムである。ここで、移動体１０としては、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）等が挙げられる。以下においては、移動体１０として、自動車を例に説明する。また、図１及び図２では、移動体１０に搭乗可能な人数を６人（６席）として説明するが、これに限定されることなく、例えば２人（２席）や４人（４席）であっても適用することができる。
　図１及び図２に示す投影システム１は、プロジェクタ２０と、センサユニット３０と、コンテンツ再生装置４０と、制御装置５０と、を備える。
　〔１－２．プロジェクタの構成〕
　まず、プロジェクタ２０の構成について説明する。
　プロジェクタ２０は、制御装置５０の制御のもと、移動体１０内において、搭乗者全員に視認可能なように移動体１０の自由曲面を有する天井１１およびバックミラー部１５（サンバイザー）である投影面に向けて映像を投影する。プロジェクタ２０は、移動体１０において、搭乗者の動線上にかからない位置である後部席１３の後方、かつ上側に配置されてなる。具体的には、図１及び図２に示すように、プロジェクタ２０は、後部席１３の後方、かつ、後部席１３の肩部１３１より上側に配置されてなる。さらに、プロジェクタ２０は、移動体１０の前方上方向の天井１１に映像を投影可能なように移動体１０内に配置されてなる。なお、本開示の各実施形態では、プロジェクタ２０が投影装置として機能する。また、図１及び図２では、プロジェクタ２０は、移動体１０に対して着脱自在であってもよい。さらに、図１及び図２では、プロジェクタ２０は、移動体１０の長手方向に向けて映像を投影しているが、これに限定されることなく、移動体１０の短手方向に向けて映像を投影する構成であってもよい。さらにまた、図１及び図２では、プロジェクタ２０は、移動体１０に１つのみ設けられているが、例えば移動体１０内に複数設けてもよいし、移動体１０外に設け、移動体１０内に映像を投影するようにしてもよい。また、プロジェクタ２０の設置場所は、後部席１３の後方に限定されることなく、例えば移動体１０の天井であってもよく、適宜変更することができる。なお、プロジェクタ２０の詳細な構成については、後述する。
　〔１－３．センサユニットの構成〕
　次に、センサユニット３０の構成について説明する。
　センサユニット３０は、移動体１０内の搭乗者の人数及び着座位置の各々を検出し、この検出結果を制御装置５０へ出力する。センサユニット３０は、移動体１０内に複数配置されてなる。具体的には、センサユニット３０は、移動体１０のＡピラー部１４、バックミラー部１５、Ｂピラー部１６及びセンターコンソール１７に配置されてなる。Ａピラー部１４及びバックミラー部１５に配置されてなるセンサユニット３０は、移動体１０の前部席１２の搭乗者及び着座位置を検出する。また、Ｂピラー部１６及びセンターコンソール１７に配置されてなるセンサユニット３０は、後部席１３の搭乗者及び着座位置を検出する。センサユニット３０は、カラー画像データを撮像可能なカメラ、視差を有する視差画像データをステレオカメラ、奥行き情報を有する距離画像データを撮像可能なＴＯＦ（Time　of　Flight）カメラ（センサ）、搭乗者の視線を検出可能な視線検出センサ等を用いて実現される。また、センサユニット３０は、移動体１０の後部席１３の後方に設けられ、移動体１０の内部空間の形状を検出可能なステレオカメラやＴＯＦカメラ等をさらに設けてもよい。なお、センサユニット３０の構成については、後述する。
　〔１－４．コンテンツ再生装置の構成〕
　次に、コンテンツ再生装置４０の構成について説明する。
　コンテンツ再生装置４０は、制御装置５０の制御のもと、プロジェクタ２０へコンテンツデータを含む各種情報を出力する。コンテンツ再生装置４０は、例えばＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、メモリカード、ＤＶＤ等に格納された映像データ等のコンテンツデータを読み取り、読み取ったコンテンツデータを所定のフォーマットに変換してプロジェクタ２０へ出力する。ここで、コンテンツデータは、映像データ以外にも、地図データ、テキストデータ及び図形データ等が含まれる。なお、コンテンツ再生装置４０は、ネットワークを介して外部のサーバからコンテンツデータを取得し、取得したコンテンツデータをプロジェクタ２０へ出力するようにしてもよい。もちろん、コンテンツ再生装置４０は、携帯電話を介して入力されたコンテンツデータをプロジェクタ２０へ出力してもよい。また、コンテンツ再生装置４０は、移動体１０の位置情報を表示するナビゲーションシステム等を用いて実現してもよい。
　〔１－５．制御装置の構成〕
　次に、制御装置５０の構成について説明する。
　制御装置５０は、移動体１０を含む投影システム１を構成する各部を制御する。制御装置５０は、例えば移動体１０のＥＣＵ（Electronic　Control　Unit）の一部して機能する。具体的には、制御装置５０は、移動体１０内における各種センサから各種情報を取得し、他のＥＣＵと連携することによって移動体１０を含む投影システム１を統括的に制御する。制御装置５０は、センサユニット３０が検出した移動体１０の空間状況を示す空間状況情報に基づいて、プロジェクタ２０が投影する映像の状態を制御する。具体的には、制御装置５０は、センサユニット３０が検出した移動体１０の空間状況を示す空間状況情報に基づいて、プロジェクタ２０が投影面に投影する映像のフォーカス状態を制御する。なお、制御装置５０の詳細な構成は、後述する。
　〔１－６．従来の移動体内に設けられたプロジェクタの問題点〕
　プロジェクタ２０を含む従来の投影装置は、投影面が平面を想定している。このため、従来の投影装置は、自由局面をなす移動体１０の天井１１に向けて大画面投影を想定しないうえ、後方から前方に向けての斜めの投影を想定していない。この結果、従来の投影装置は、移動体１０に設けた場合、投影された映像（画像）が搭乗者の着座位置、例えば搭乗者の前後の位置によって画質が変わってしまう。
　さらに、従来の投影装置では、搭乗者が投影面から所定の距離離れて視聴している。しかしながら、従来の投影装置は、移動体１０内に設けた場合、搭乗者が映像を視認する距離も近づくため、映像の違い、良し悪しが把握し易くなる。
　さらにまた、移動体１０に搭乗する搭乗者は、移動体１０を利用する場面で、人数及び着座位置も変わる。このため、従来の投影装置は、移動体１０内における搭乗者の人数及び着座位置に対応させて映像を投影する必要がある。しかしながら、従来の投影装置では、移動体１０内における搭乗者の人数及び着座位置について何ら考量されていない。
　このように、従来の投影装置では、移動体１０内に設けた場合、移動体１０内の搭乗者に最適な映像を提供することまで考えられていなかった。
＜２．第１の実施形態＞
　〔２－１．投影システムの機能構成〕
　次に、第１の実施形態に係る投影システム１の機能構成について説明する。図３は、第１の実施形態に係る投影システム１の機能構成を示すブロック図である。
　図３に示すように、投影システム１は、プロジェクタ２０と、センサユニット３０と、コンテンツ再生装置４０と、制御装置５０と、を備える。
　〔２－２．プロジェクタの構成〕
　まず、プロジェクタ２０の構成について説明する。
　プロジェクタ２０は、表示用ドライバ２１と、表示用デバイス２２と、光源部２３と、投影レンズ２４と、駆動用ドライバ２５と、光学デバイス駆動部２６と、プロジェクタ制御部２７と、を備える。
　表示用ドライバ２１は、プロジェクタ制御部２７の制御のもと、コンテンツ再生装置４０から入力されるコンテンツデータに対して、所定の画像処理を行って表示用デバイス２２へ出力する。ここで、所定の画像処理とは、ゲイン処理、ホワイトバランス処理、フォーマット変換処理等である。表示用ドライバ２１は、メモリと、ＣＰＵ（Central　Processing　Unit）、ＦＰＧＡ（Field-Programmable　Gate　Array）またはＤＳＰ（Digital　Signal　Processor）等のハードウェアを有するプロセッサと、を用いて実現される。
　表示用デバイス２２は、表示用ドライバ２１から入力されたコンテンツデータに対応する映像または画像を表示する。表示用デバイス２２は、液晶や有機ＥＬ（Electro　Luminescence）等の表示パネルを用いて実現される。
　光源部２３は、プロジェクタ制御部２７の制御のもと、表示用デバイス２２の表示面に向けて照明光を照射する。光源部２３は、キセノンランプやＬＥＤ（Light　Emitting　Diode）ランプ及び一または複数のレンズ、プリズム及びミラー等を用いて実現される。
　投影レンズ２４は、表示用デバイス２２の表示面で反射した反射光を投影面に向けて投影（出射）する。投影レンズ２４は、一または複数のレンズおよびプリズム等を用いて実現される。また、投影レンズ２４は、光路Ｌ１に沿って移動可能に設けられる。
　駆動用ドライバ２５は、プロジェクタ制御部２７の制御のもと、光学デバイス駆動部２６を駆動するための駆動信号を生成し、この生成した駆動信号を光学デバイス駆動部２６へ出力する。駆動用ドライバ２５は、例えばＰＷＭパルス回路等を用いて実現される。
　光学デバイス駆動部２６は、駆動用ドライバ２５から入力される駆動信号に従って、投影レンズ２４を光路Ｌ１に沿って移動させることによって、プロジェクタ２０のフォーカス状態及び映像の投影面積を調整する。具体的には、光学デバイス駆動部２６は、投影レンズ２４のピントレンズを光路Ｌ１に沿って移動させることによってプロジェクタ２０が投影する映像のピント位置を調整する。光学デバイス駆動部２６は、パルスモータ、ボイスコイルモータ及びＤＣモータ等を用いて実現される。なお、光学デバイス駆動部２６は、投影レンズ２４がチルトレンズ（あおりが可能なチルトシフトレンズ）を用いて構成されている場合、投影レンズ２４の光軸をチルト方向、ティルト方向およびシフト方向のいずれかに向けることによってプロジェクタ２０が投影する映像のピント位置を調整するようにすればよい。
　プロジェクタ制御部２７は、後述する制御装置５０から入力される制御信号に基づいて、駆動用ドライバ２５を制御し、投影レンズ２４を光路Ｌ１に沿って移動させることによって、プロジェクタ２０が投影面に投影する映像のフォーカス状態を制御する。プロジェクタ制御部２７は、メモリと、ＣＰＵ、ＦＰＧＡまたはＤＳＰ等のハードウェアを有するプロセッサを用いて実現される。
　〔２－３．センサユニットの構成〕
　次に、センサユニット３０の機能構成について説明する。
　センサユニット３０は、少なくともカメラ３１を備える。
　カメラ３１は、一または複数のレンズを有する光学系と、この光学系が結像した被写体像を受光することによってカラーの画像データを生成するＣＣＤ（Charge　Coupled　Device）センサやＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサ等の撮像素子と、を有する。なお、撮像素子の受光面には、ベイヤー配列のカラーフィルタが配置されてなる。カメラ３１は、制御装置５０の制御のもと、移動体１０内を所定のフレームレートに従って撮像することによってカラーの画像データを制御装置５０へ順次出力する。
　〔２－４．制御装置の構成〕
　次に、制御装置５０の機能構成について説明する。
　制御装置５０は、入力部５１と、制御部５２と、出力部５３と、を備える。
　入力部５１は、センサユニット３０から入力された空間状況情報を制御部５２へ出力する。具体的には、入力部５１は、センサユニット３０のカメラ３１から入力された画像データ及び各種情報が入力され、入力された画像データ及び各種情報を制御部５２へ出力する。入力部５１は、例えば入力Ｉ／Ｆ回路やＨＤＭＩ（登録商標）入力端子等を用いて実現される。
　制御部５２は、入力部５１から入力された空間状況情報に基づいて、プロジェクタ２０が投影する映像の状態を制御するための制御信号を生成し、この制御信号を出力部５３へ出力する。制御部５２は、メモリと、ＣＰＵ、ＦＰＧＡまたはＤＳＰ等のハードウェアを備えるプロセッサと、を用いて実現される。なお、制御部５２の詳細な構成については、後述する。
　出力部５３は、制御部５２から入力された制御信号をプロジェクタ２０へ出力する。出力部５３は、例えば出力Ｉ／Ｆ回路やＨＤＭＩ出力端子等を用いて実現される。
　〔２－４－１．制御部の機能構成〕
　次に、制御部５２の詳細な機能構成について説明する。
　図４は、制御部５２の詳細な機能構成を示すブロック図である。
　図４に示すように、制御部５２は、認識部５２１と、メモリ５２２と、算出部５２３と、生成部５２４と、を有する。
　認識部５２１は、入力部５１から入力された空間状況情報に基づいて、移動体１０内における搭乗者の人数及び着座位置を認識する。具体的には、認識部５２１は、カメラ３１から入力されたカラー画像データと、メモリ５２２に記憶された移動体１０の移動体情報と、に基づいて、周知のテンプレートマッチング等を行うことによって、移動体１０内における搭乗者の人数及び着座位置を認識する。ここで、移動体情報とは、移動体１０内が無人状態の内部空間を示す画像データ及び移動体１０内の内部空間を示す空間データ（ＣＡＤデータ）等である。認識部５２１は、認識結果を算出部５２３及び生成部５２４へ出力する。さらに、認識部５２１は、入力部５１から入力された空間状況情報である画像データに基づいて、少なくとも移動体１０の搭乗者の頭の位置及び目の位置の一方を認識し、この認識結果を算出部５２３及び生成部５２４へ出力する。なお、認識部５２１は、テンプレートマッチング等によって移動体１０内における搭乗者の人数、着座位置、頭の位置及び目の位置等を認識（検出）しているが、例えば機械学習された学習結果を用いて搭乗者の人数、着座位置、頭の位置及び目の位置を認識するようにしてもよい。
　メモリ５２２は、移動体１０内の空間状況、プロジェクタ２０が映像を投影する投影面の位置、投影領域及び移動体１０に関する移動体情報を記憶する。メモリ５２２は、揮発性メモリ及び不揮発性メモリ等を用いて実現される。
　算出部５２３は、認識部５２１が認識した搭乗者の着座位置とメモリ５２２が記憶するプロジェクタ２０が投影する映像の投影面との距離を、搭乗者員毎に算出し、この算出結果を生成部５２４へ出力する。具体的には、算出部５２３は、認識部５２１が認識した着座する搭乗者の視点位置（頭の中心または目の位置）と、プロジェクタ２０が投影する映像の投影面との距離を搭乗者毎に算出し、この算出結果を生成部５２４へ出力する。
　生成部５２４は、認識部５２１から入力された認識結果と、算出部５２３から入力された算出結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。具体的には、生成部５２４は、認識部５２１が認識した搭乗者の人数と、搭乗者の着座位置と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御するための制御信号を生成する。より具体的には、生成部５２４は、認識部５２１が認識した搭乗者の人数と、搭乗者の着座位置と、算出部５２３が算出した搭乗者員毎の距離と、に基づいて、プロジェクタ２０の投影レンズ２４のフォーカス位置を調整する制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。さらに、生成部５２４は、認識部５２１が認識した搭乗者の人数と、搭乗者の着座位置と、算出部５２３が算出した搭乗者員毎の距離と、に基づいて、プロジェクタ２０が投影する映像において特定の領域の品質を向上させる制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。ここで、映像の品質とは、映像の均一性、輝度（明るさの調整）及び解像度等である。
　〔２－５.投影システムの処理〕
　次に、投影システム１が実行する処理について説明する。
　図５は、投影システム１が実行する処理の概要を示すフローチャートである。
　図５に示すように、まず、入力部５１は、カメラ３１からカラーの画像データ（ＲＧＢカラーの画像データ）を取得する（ステップＳ１０１）。
　続いて、認識部５２１は、入力部５１から入力された画像データに対して、移動体１０の搭乗者を検出する搭乗者検出処理を行い（ステップＳ１０２）、移動体１０内で搭乗者がありの場合（ステップＳ１０３：Ｙｅｓ）、投影システム１は、後述するステップＳ１０４へ移行する。これに対して、移動体１０内で搭乗者がなしの場合（ステップＳ１０３：Ｎｏ）、投影システム１は、本処理を終了する。
　ステップＳ１０４において、認識部５２１は、入力部５１から入力された画像データに対して、移動体１０の搭乗者を検出する搭乗者検出処理を行った検出結果に基づいて、移動体１０の搭乗者の人数を検出する人数検出処理を行う。この場合、認識部５２１は、搭乗者の人数以外にも、移動体１０内における搭乗者の着座位置（搭乗者の絶対位置または各搭乗者の座席毎の相対的な位置）及び各搭乗者の視点位置（頭の中心位置または目の位置）を検出する。
　続いて、算出部５２３は、認識部５２１が認識した搭乗者の着座位置とメモリ５２２が記憶するプロジェクタ２０が投影する映像の投影面との距離を、搭乗者員毎に算出する距離算出処理を行う（ステップＳ１０５）。
　その後、生成部５２４は、認識部５２１から入力された認識結果と、算出部５２３から入力された算出結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する（ステップＳ１０６）。
　続いて、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、投影レンズ２４を光路Ｌ１上で移動させることで、プロジェクタ２０が投影面に投影する映像のフォーカス位置を調整する（ステップＳ１０７）。
　図６は、移動体１０内に搭乗者が４人の場合におけるプロジェクタ２０のフォーカス位置を模式的に示す図である。
　図６に示すように、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、４人の搭乗者Ｕ１～Ｕ４の視線が集まる領域であって、プロジェクタ２０が投影する投影面Ｗ１（投影範囲）の中央部の領域にフォーカス位置Ｐ１（ピント位置）が合うように、投影レンズ２４を光路Ｌ１上で移動させる。さらに、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、表示用ドライバ２１を制御し、表示用デバイス２２を駆動することによって、投影面Ｗ１内において、４人の搭乗者Ｕ１～Ｕ４の視線がさらに集まる領域Ｗ２の映像の品質を向上させる。これにより、４人の搭乗者Ｕ１～Ｕ４は、フォーカスがあった映像を視聴することができる。
　図７は、移動体１０内の前部席１２に搭乗者が２人の場合におけるプロジェクタ２０のフォーカス位置を模式的に示す図である。
　図７に示すように、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、前部席１２に着座する２人の搭乗者Ｕ１，Ｕ２の視線が集まる領域であって、プロジェクタ２０が投影する投影面Ｗ１（投影範囲）の前側の中央の領域にフォーカス位置Ｐ１が合うように、投影レンズ２４を光路Ｌ１上で移動させる。さらに、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、表示用ドライバ２１を制御し、表示用デバイス２２を駆動することによって、投影面Ｗ１内において、２人の搭乗者Ｕ１,Ｕ２の視線がさらに集まる領域Ｗ２の映像の品質を向上させる。これにより、２人の搭乗者Ｕ１,Ｕ２は、フォーカスがあった映像を視聴することができる。
　図８は、移動体１０内の前部席１２に１人の場合におけるプロジェクタ２０のフォーカス位置を模式的に示す図である。
　図８に示すように、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、前部席１２に着座する搭乗者Ｕ１の視線の領域であって、プロジェクタ２０が投影する投影面Ｗ１（投影範囲）の中央部より前側の右側の領域にフォーカス位置Ｐ１が合うように、投影レンズ２４を光路Ｌ１上で移動させる。さらに、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、表示用ドライバ２１を制御し、表示用デバイス２２を駆動することによって、投影面Ｗ１内において、搭乗者Ｕ１の視線がさらに集まる領域Ｗ２の映像の品質を向上させる。これにより、搭乗者Ｕ１は、フォーカスがあった映像を視聴することができる。
　図９は、移動体１０内の後部席１３に２人の場合におけるプロジェクタ２０のフォーカス位置を模式的に示す図である。
　図９に示すように、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、後部席１３に着座する２人の搭乗者Ｕ１，Ｕ２の視線が集まる領域であって、プロジェクタ２０が投影する投影面Ｗ１（投影範囲）の中央部より後側の領域にフォーカス位置Ｐ１が合うように、投影レンズ２４を光路Ｌ１上で移動させる。さらに、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、表示用ドライバ２１を制御し、表示用デバイス２２を駆動することによって、投影面Ｗ１内において、後部席１３の２人の搭乗者Ｕ１,Ｕ２の視線がさらに集まる領域Ｗ２の映像の品質を向上させる。これにより、搭乗者は、フォーカスがあった映像を視聴することができる。
　図１０は、移動体１０内の前後に２人の場合におけるプロジェクタ２０のフォーカス位置を模式的に示す図である。
　図１０に示すように、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、前部席１２及び後後１３に着座する２人の搭乗者Ｕ１，Ｕ２の視線が集まる領域であって、プロジェクタ２０が投影する投影面Ｗ１（投影範囲）の後側または前側の領域にフォーカス位置Ｐ１が合うように、投影レンズ２４を光路Ｌ１上で移動させる。さらに、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、表示用ドライバ２１を制御し、表示用デバイス２２を駆動することによって、投影面Ｗ１内において、前部席１２、後部席１３に前後の２人の搭乗者Ｕ１,Ｕ２の視線がさらに集まる領域Ｗ２の映像の品質を向上させる。これにより、２人の搭乗者は、フォーカスがあった映像を視聴することができる。なお、プロジェクタ制御部２７は、投影レンズ２４がチルトレンズ（あおりが可能なチルトシフトレンズ）を用いて構成されている場合、光学デバイス駆動部２６を駆動することによって、投影レンズ２４の光軸をチルト方向、ティルト方向およびシフト方向のいずれかに向けることで、プロジェクタ２０が投影する映像のピント位置を調整するようにすればよい。
　図１１は、移動体１０内の後部席１３に１人の場合におけるプロジェクタ２０のフォーカス位置を模式的に示す図である。
　図１１に示すように、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、駆動用ドライバ２５を制御し、光学デバイス駆動部２６を駆動することによって、後後１３に着座する搭乗者Ｕ１の視線が集まる領域であって、プロジェクタ２０が投影する投影面Ｗ１（投影範囲）の中央部より後側の中央部の領域にフォーカス位置Ｐ１が合うように、投影レンズ２４を光路Ｌ１上で移動させる。さらに、プロジェクタ制御部２７は、制御装置５０から入力された制御信号に基づいて、表示用ドライバ２１を制御し、表示用デバイス２２を駆動することによって、投影面Ｗ１内において、搭乗者Ｕ１の視線がさらに集まる領域Ｗ２の映像の品質を向上させる。これにより、搭乗者Ｕ１は、フォーカスがあった映像を視聴することができる。
　図５に戻り、ステップＳ１０８以降の説明を続ける。
　ステップＳ１０８において、プロジェクタ制御部２７は、コンテンツ再生装置４０から入力されたコンテンツデータに基づいて、表示用ドライバ２１を制御し、表示用デバイス２２にコンテンツデータに対応する映像を投影させる。ステップＳ１０８の後、投影システム１は、本処理を終了する。
　〔２－６．作用・効果〕
　以上説明した第１の実施形態によれば、制御部５２が移動体１０内の空間状況を検出するセンサユニット３０から入力される空間状況情報に基づいて、移動体１０内の空間に設けられたプロジェクタ２０が所定の投影面へ投影する映像の状態を制御する。このため、移動体１０内の搭乗者は、最適な映像を視認することができる。
　また、第１の実施形態によれば、認識部５２１が空間状況情報に基づいて、移動体１０内における搭乗者の人数及び着座位置を認識し、生成部５２４が認識部５２１によって認識された人数と、着座位置と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成するため、移動体１０内の搭乗者にフォーカスがあった映像を提供することができる。
　また、第１の実施形態によれば、生成部５２４が認識部５２１によって認識された人数と、着座位置と、算出部５２３によって算出された搭乗員毎の距離と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成するため、移動体１０内の搭乗者にフォーカスがあった映像を提供することができる。
　また、第１の実施形態によれば、算出部５２３が少なくとも搭乗者の頭の位置及び目の位置の一方と、着座位置と、に基づいて、搭乗者毎の距離を算出するため、搭乗者に適した正確なフォーカス位置までの距離を算出することができる。
　また、第１の実施形態によれば、生成部５２４がプロジェクタ２０のフォーカス位置を制御する制御信号を生成してプロジェクタ２０へ出力するため、移動体１０内の搭乗者にフォーカスがあった映像を提供することができる。
　また、第１の実施形態によれば、生成部５２４がプロジェクタ２０によって投影される映像の明るさを調整する制御信号を生成してプロジェクタ２０へ出力するため、移動体１０内の搭乗者に最適な映像を提供することができる。
＜３.第２の実施形態＞
　次に、第２の実施形態について説明する。第２の実施形態に係る投影システムは、上述した第１の実施形態に係る投影システム１のセンサユニット３０及び制御装置５０の構成が異なる。以下においては、第２の実施形態に係る投影システムについて説明する。なお、上述した第１の実施形態と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔３－１．投影システムの機能構成〕
　図１２は、第２の実施形態に係る投影システムの機能構成を示すブロック図である。
　図１２に示す投影システム１Ａは、上述した第１の実施形態に係るセンサユニット３０及び制御装置５０に換えて、センサユニット３０Ａ及び制御装置５０Ａを備える。
　〔３－２．センサユニットの構成〕
　まず、センサユニット３０Ａの構成について説明する。
　センサユニット３０Ａは、上述した第１の実施形態に係るセンサユニット３０の構成に加えて、加速度センサ３２をさらに備える。
　加速度センサ３２は、移動体１０に生じる加速度情報を検出し、この加速度情報を制御装置５０Ａへ出力する。具体的には、加速度センサ３２は、移動体１０の３軸（Ｘ軸、Ｙ軸及びＺ軸）の加速度を移動体１０に生じる揺れとして検出する。なお、加速度センサ３２に加えて、ジャイロセンサ（角速度センサ）をさらに設けてもよい。
　〔３－３．制御装置の構成〕
　次に、制御装置５０Ａの構成について説明する。
　制御装置５０Ａは、上述した第１の実施形態に係る制御部５２に換えて、制御部５２Ａを備える。
　制御部５２Ａは、カメラ３１からの画像データ及び加速度センサ３２からの加速度情報に基づいて、プロジェクタ２０が投影する映像の状態を制御するための制御信号を生成し、この制御信号を出力部５３へ出力する。
　〔３－３－１．制御部の機能構成〕
　次に、制御部５２Ａの詳細な機能構成について説明する。
　図１３は、制御部５２Ａの詳細な機能構成を示すブロック図である。
　図１３に示す制御部５２Ａは、上述した第１の実施形態に係る制御部５２の構成に加えて、揺れ算出部５２５をさらに有する。さらに、制御部５２Ａは、上述した第１の実施形態に係る生成部５２４に換えて、生成部５２４Ａを有する。
　揺れ算出部５２５は、入力部５１を介して加速度センサ３２から入力された加速度情報に基づいて、移動体１０に生じる揺れを算出し、この算出結果を生成部５２４Ａへ出力する。
　生成部５２４Ａは、認識部５２１の認識結果、算出部５２３の算出結果及び揺れ算出部５２５の算出結果に基づいて、プロジェクタ２０のフォーカス状態を制御する制御信号を生成する。生成部５２４Ａは、出力部５３を介して制御信号をプロジェクタ２０へ出力する。
　〔３－４.投影システムの処理〕
　次に、投影システム１Ａが実行する処理について説明する。
　図１４は、投影システム１Ａが実行する処理の概要を示すフローチャートである。
　図１４に示すように、まず、入力部５１は、カメラ３１から画像データ及び加速度センサ３２から加速度情報を取得する（ステップＳ２０１）。
　ステップＳ２０２～ステップＳ２０５は、上述したステップＳ１０２～ステップＳ１０５それぞれに対応する。
　ステップＳ２０６において、揺れ算出部５２５は、入力部５１を介して加速度センサ３２から入力された加速度情報に基づいて、移動体１０に生じる揺れを算出する。
　続いて、生成部５２４Ａは、認識部５２１の認識結果、算出部５２３の算出結果及び揺れ算出部５２５の算出結果に基づいて、プロジェクタ２０のフォーカス状態を制御する制御信号を生成する（ステップＳ２０７）。
　ステップＳ２０８及びステップＳ２０９は、上述したステップＳ２０７及びステップＳ２０８それぞれに対応する。ステップＳ２０８の後、投影システム１Ａは、本処理を終了する。
　〔３－５．作用・効果〕
　以上説明した第２の実施形態によれば、生成部５２４Ａが認識部５２１によって認識された人数と、着座位置と、揺れ算出部５２５によって算出された移動体１０に生じる揺れと、に基づいて、制御信号を生成してプロジェクタ２０へ出力する。このため、移動体１０の揺れ及び搭乗者の揺れに追従して映像の投影状態を調整することができるので、環境や状態が変化しても、移動体１０内の搭乗者にフォーカスがあった映像を提供することができる。
＜４.第３の実施形態＞
　次に、第３の実施形態について説明する。第３の実施形態は、上述した第１の実施形態に係るセンサユニット３０及び制御装置５０の構成が異なる。以下においては、第３の実施形態に係る投影システムについて説明する。なお、上述した第１の実施形態と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔４－１.投影システムの機能構成〕
　図１５は、第３の実施形態に係る投影システムの機能構成を示すブロック図である。
　図１５に示す投影システム１Ｂは、上述した第１の実施形態に係るセンサユニット３０及び制御装置５０に換えて、センサユニット３０Ｂ及び制御装置５０Ｂを備える。
　〔４－２.センサユニットの構成〕
　まず、センサユニット３０Ｂについて説明する。
　センサユニット３０Ｂは、上述した第１の実施形態に係るセンサユニット３０の構成に加えて、ステレオカメラ３３と、ＴＯＦカメラ３４と、をさらに有する。
　ステレオカメラ３３は、視差を有するステレオ画像データを生成し、このステレオ画像データを制御装置５０Ｂへ出力する。ステレオカメラ３３は、視差を有する２つの光学系と、２つの光学系の各々が結像した被写体像を受光する２つのＣＣＤまたはＣＭＯＳ等のイメージセンサと、を用いて実現される。
　ＴＯＦカメラ３４は、移動体１０内を撮像することによって奥行き情報を画素毎に濃淡値で表した距離情報を有する距離画像データ（Ｄｅｐｔｈ画像）を生成する。ＴＯＦカメラ３４は、ＴＯＦカメラ３４は、赤外光を照射可能な光源と、対象物で反射した赤外光を撮像可能なＣＣＤやＣＭＯＳ等の撮像素子等を用いて実現される。
　〔４－３.制御装置の構成〕
　次に、制御装置５０Ｂの構成について説明する。
　制御装置５０Ｂは、上述した第１の実施形態に係る制御部５２に換えて、制御部５２Ｂを備える。
　制御部５２Ｂは、入力部５１を介して画像データ、ステレオ画像データ及び奥行情報画像データに基づいて、プロジェクタ２０が投影する映像の状態を制御するための制御信号を生成し、この制御信号を出力部５３へ出力する。
　〔４－３－１.制御部の機能構成〕
　次に、制御部５２Ｂの詳細な機能構成について説明する。
　図１６は、制御部５２Ｂの詳細な機能構成を示すブロック図である。
　制御部５２Ｂは、上述した第１の実施形態の算出部５２３に換えて、算出部５２３Ｂを有する。
　算出部５２３Ｂは、第１の距離算出部５２３１と、第２の距離算出部５２３２と、を有する。
　第１の距離算出部５２３１は、入力部５１を介して入力されるステレオ画像データに基づいて、近距離に着座する搭乗者とプロジェクタ２０が投影する映像の投影面との距離を算出し、この算出結果を生成部５２４Ｂへ出力する。さらに、第１の距離算出部５２３１は、プロジェクタ２０が映像を投影する投影面の形状を所定の領域毎の距離を算出し、この算出結果を生成部５２４Ｂへ出力する。
　第２の距離算出部５２３２は、入力部５１を入力さえる距離画像データに基づいて、遠距離に着座する搭乗者とプロジェクタ２０が投影する映像の投影面との距離を算出し、この算出結果を生成部５２４Ｂへ出力する。さらに、第２の距離算出部５２３２は、プロジェクタ２０が映像を投影する投影面の形状を所定の領域毎の距離を算出し、この算出結果を生成部５２４Ｂへ出力する。
　生成部５２４Ｂは、認識部５２１から入力された認識結果と、第１の距離算出部５２３１および第２の距離算出部５２３２の各々から入力された算出結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。具体的には、生成部５２４Ｂは、第１の距離算出部５２３１および第２の距離算出部５２３２の各々から入力されたプロジェクタ２０が投影する投影面における各領域の距離と、認識部５２１から入力された認識結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する。
　〔４－４.投影システムの処理〕
　次に、投影システム１Ｂが実行する処理について説明する。図１７は、投影システム１Ｂが実行する処理の概要を示すフローチャートである。
　図１７に示すように、まず、入力部５１は、センサユニット３０Ｂから画像データ、ステレオ画像データ及び奥行情報画像データを取得する（ステップＳ３０１）。
　ステップＳ３０２～ステップＳ３０４は、上述したステップＳ１０２から　ステップＳ１０４それぞれに対応する。
　ステップＳ３０５において、第１の距離算出部５２３１は、入力部５１を介して入力されるステレオ画像データに基づいて、近距離に着座する搭乗者とプロジェクタ２０が投影する映像の投影面との距離を算出する第１の距離算出処理を行う。
　続いて、第２の距離算出部５２３２は、入力部５１を入力さえる距離画像データに基づいて、遠距離に着座する搭乗者とプロジェクタ２０が投影する映像の投影面との距離を算出する第２の距離算出処理を行う（ステップＳ３０６）。
　その後、生成部５２４Ｂは、認識部５２１から入力された認識結果と、第１の距離算出部５２３１および第２の距離算出部５２３２の各々から入力された算出結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する（ステップＳ３０７）。
　ステップＳ３０８及びステップＳ３０９は、上述したステップＳ１０７及びステップＳ１０８それぞれに対応する。
　〔４－５．作用・効果〕
　以上説明した第３の実施形態によれば、生成部５２４Ｂが認識部５２１から入力された認識結果と、第１の距離算出部５２３１および第２の距離算出部５２３２の各々から入力された算出結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する。これにより、移動体１０内の搭乗者は、フォーカスがあった映像を視認することができる。
＜５．第４の実施形態＞
　次に、第４の実施形態について説明する。第４の実施形態に係る投影システムは、上述した第１の実施形態に係る制御装置５０の構成が異なる。以下においては、第４の実施形態に係る投影システムについて説明する。なお、上述した第１の実施形態と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔５－１．投影システムの機能構成〕
　図１８は、第４の実施形態に係る投影システムの機能構成を示すブロック図である。
　図１８に示す投影システム１Ｃは、上述した第１の実施形態に係る制御装置５０に換えて、制御装置５０Ｃを備える。
　制御装置５０Ｃは、上述した第１の実施形態に係る制御装置５０の制御部５２に換えて、制御部５２Ｃを備える。制御部５２Ｃは、コンテンツ再生装置４０から入力されるコンテンツデータに基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する。
　〔５－２．制御部の機能構成〕
　図１９は、制御部５２Ｃの機能構成を示すブロックズである。
　図１９に示す制御部５２Ｃは、上述した第１の実施形態に係る制御部５２の算出部５２３に換えて、特定部５２６を有する。さらに、制御部５２Ｃは、生成部５２４に換えて、生成部５２４Ｃを有する。
　特定部５２６は、入力部５１を介してコンテンツデータに基づいて、プロジェクタ２０が投影する映像内において強調する強調位置を特定し、この特定結果を生成部５２４Ｃへ出力する。
　生成部５２４Ｃは、認識部５２１から入力された認識結果と、特定部５２６から入力された特定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する。生成部５２４Ｃは、出力部５３を介して制御信号をプロジェクタ２０へ出力する。
　〔５－３．投影システムの処理〕
　次に、投影システム１Ｃが実行する処理について説明する。
　図２０は、投影システム１Ｃが実行する処理の概要を示すフローチャートである。
　図２０において、まず、入力部５１は、カメラ３１から画像データ及びコンテンツ再生装置４０からコンテンツデータを取得する（ステップＳ４０１）。
　ステップＳ４０２～ステップＳ４０４は、上述したステップＳ１０２～ステップＳ１０４それぞれに対応する。
　ステップＳ４０５において、特定部５２６は、入力部５１を介してコンテンツデータに基づいて、プロジェクタ２０が投影する映像内において強調する強調位置を特定し、この特定結果を生成部５２４Ｃへ出力する強調位置特定処理を行う。
　続いて、生成部５２４Ｃは、認識部５２１から入力された認識結果と、特定部５２６から入力された特定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する（ステップＳ４０６）。
　図２１は、生成部５２４が生成する制御信号に基づくプロジェクタ２０が投影する映像のフォーカス状態を模式的に示す図である。
　第４の実施形態では、プロジェクタ２０が移動体１０の天井１１に映像（例えばナビゲーション画像）を近距離、かつ大画面で投影している場合、搭乗者全員に同じものを共用させるため、搭乗者が同じ視線である必要がある。そのため、第４の実施形態では、搭乗者が見るポイントを誘導することによって、早く搭乗者全員が同じポイントを見ることが求められる。さらに、移動体１０は、常に移動しているため、その時のタイミングで素早く搭乗者間で共用させることが求められる。
　このため、図２１に示すように、生成部５２４Ｃは、特定部５２６によって特定された投影面Ｗ１の映像内において強調する強調位置を含む領域Ｗ１０にフォーカス状態が合う制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。この場合、生成部５２４Ｃは、特定部５２６によって特定された映像内において強調する強調位置にプロジェクタ２０のフォーカス位置（ピント位置）が合い、かつ、フォーカス位置から所定の領域Ｗ１０までフォーカスが合う制御信号を生成する。これにより、移動体１０内の搭乗者全員は、自然と同じ映像の領域Ｗ１０を視認することができる。
　なお、生成部５２４Ｃは、フォーカス位置以外に、領域Ｗ１０における解像度、コントラスト、明るさ等を他の領域よりも強調させる制御信号を生成し、この制御信号をプロジェクタ２０へ出力してもよい。さらに、図２１では、映像として地図等のナビゲーション画像であったが、これに限定されることなく、例えば移動体１０の周辺情報および緊急情報等であってもよい。この場合、生成部５２４Ｃは、移動体１０の位置情報に基づいて、移動体１０の周辺情報および緊急情報が映像に重畳された重畳画像において、周辺情報および緊急情報にフォーカス位置が合う制御信号を生成してもよい。もちろん、図２１では、地図等のナビゲーション画像を例に説明したが、これに限定されることなく、例えば文字および図形であってもよい。
　ステップＳ４０７及び４０８は、上述したステップＳ１０７及びステップＳ１０８それぞれに対応する。
　〔５－４．作用・効果〕
　以上説明した第４の実施形態によれば、生成部５２４Ｃが認識部５２１から入力された認識結果と、特定部５２６から入力された特定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を制御する制御信号を生成する。これにより、映像において重要な領域に搭乗者の視線をいち早く誘導することができるうえ、大画面で注視ポイントに容易に誘導することができる。
＜６．第５の実施形態＞
　次に、第５の実施形態について説明する。第５の実施形態に係る投影システムは、上述した第１の実施形態に係る投影システム１のセンサユニット３０及び制御装置５０と構成が異なる。以下においては、第５の実施形態に係る投影システムについて説明する。なお、上述した第１の実施形態と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔６－１．投影システムの機能構成〕
　図２２は、第５の実施形態に係る投影システムの機能構成を示すブロック図である。
　図２２に示す投影システム１Ｄは、上述した第１の実施形態に係るセンサユニット３０及び制御装置５０に換えて、センサユニット３０Ｄ及び制御装置５０Ｄを備える。
　〔６－２．センサユニットの構成〕
　まず、センサユニット３０Ｄの構成について説明する。
　センサユニット３０Ｄは、カメラ３１と、インタラクションデバイス３５と、を備える。
　インタラクションデバイス３５は、ＴＯＦカメラ等を用いて実現され、搭乗者のジェスチャーを検出し、この検出結果を制御装置５０Ｄへ出力する。例えば、インタラクションデバイス３５は、搭乗者が指で指し示す方向および位置を検出し、この検出結果を制御装置５０Ｄへ出力する。なお、インタラクションデバイス３５は、ＴＯＦカメラ以外にも、例えばステレオカメラ等を用いて実現してもよい。
　〔６－３．制御装置の構成〕
　次に、制御装置５０Ｄの構成について説明する。
　制御装置５０Ｄは、上述した第１の実施形態に係る制御装置５０の制御部５２に換えて、制御部５２Ｄを備える。
　制御部５２Ｄは、入力部５１を介してカメラ３１から入力される画像データ及びＴＯＦカメラ３４から入力される奥行情報画像データに基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。
　〔６－３－１．制御部の機能構成〕
　次に、制御部５２Ｄの機能構成について説明する。
　図２３は、制御部５２Ｄの機能構成を示すブロック図である。
　制御部５２Ｄは、上述した第１の実施形態に係る制御部５２の算出部５２３に換えて、ジェスチャー判定部５２７を備える。さらに、制御部５２Ｄは、上述した第１の実施形態に係る制御部５２のメモリ５２２及び生成部５２４に換えて、メモリ５２２Ｄ及び生成部５２４Ｄを備える。
　メモリ５２２Ｄは、移動体１０の車室に関する車室情報を記憶する。ここで、車室情報とは、移動体１０の車室空間を示す３Ｄデータ及び各種部材、例えばＡピラーやＢピラー等の位置を示す位置情報である。
　ジェスチャー判定部５２７は、入力部５１を介して入力される奥行情報画像データと、認識部５２１が認識した認識結果と、に基づいて、移動体１０の搭乗者のジェスチャー（動作）を判定し、この判定結果を生成部５２４Ｄへ出力する。ここで、ジェスチャーとは、搭乗者が指等で指し示した位置および方向、搭乗者の視線、搭乗者の身振り、及び動作等である。
　生成部５２４Ｄは、認識部５２１が認識した認識結果と、ジェスチャー判定部５２７が判定した判定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成する。生成部５２４Ｄは、出力部５３を介して制御信号をプロジェクタ２０へ出力する。
　〔６－４．投影システムの処理〕
　次に、投影システム１Ｄが実行する処理について説明する。
　図２４は、投影システム１Ｄが実行する処理の概要を示すフローチャートである。
　図２４に示すように、まず、入力部５１は、カメラ３１から画像データ及びＴＯＦカメラから奥行情報画像データを取得する（ステップＳ５０１）。
　ステップＳ５０２～ステップＳ５０３は、上述したステップＳ１０２～ステップＳ１０３それぞれに対応する。
　ステップＳ５０４において、ジェスチャー判定部５２７は、入力部５１を介して入力される奥行情報画像データと、認識部５２１が認識した認識結果と、に基づいて、移動体１０の搭乗者のジェスチャー（動作）を判定する。
　続いて、生成部５２４Ｄは、認識部５２１が認識した認識結果と、ジェスチャー判定部５２７が判定した判定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成する（ステップＳ５０５）。搭乗者は、前後の席に着座してコミュニケーションをするため、後部席１３に着座している搭乗者が注視しているもの（視線の位置）を前部席１２に着座する搭乗者に知らせたい。さらに、一般的なポインタでは、自身のポインタにより注視している情報が隠れてしまうため、必要な情報が不足する。このため、生成部５２４Ｄは、認識部５２１が認識した認識結果と、ジェスチャー判定部５２７が判定した判定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成する。これにより、搭乗者は、他の搭乗者のジェスチャー、例えば他の搭乗者が指し示した位置を含む領域にフォーカス位置があった映像が投影される。この結果、搭乗者全員は、円滑なコミュニケーションを行うことができる。
　ステップＳ５０６及びステップＳ５０７は、上述したステップＳ１０７及びステップＳ１０８それぞれに対応する。
　〔６－５．作用・効果〕
　以上説明した第５の実施形態によれば、生成部５２４Ｄは、認識部５２１が認識した認識結果と、ジェスチャー判定部５２７が判定した判定結果と、に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成するため、搭乗者の意思に応じた位置にプロジェクタ２０が投影する映像のフォーカス位置を合わせることができる。
＜７．第６の実施形態＞
　次に、第６の実施形態について説明する。第６の実施形態に係る投影システムは、上述した第１の実施形態に係る投影システム１のセンサユニット３０及び制御装置５０と構成が異なる。以下においては、第６の実施形態に係る投影システムについて説明する。なお、上述した第１の実施形態に係る投影システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔７－１．投影システムの機能構成〕
　図２５は、第６の実施形態に係る投影システムの機能構成を示すブロック図である。
　図２５に示す投影システム１Ｅは、上述した第１の実施形態に係る投影システム１のセンサユニット３０及び制御装置５０に換えて、センサユニット３０Ｅ及び制御装置５０Ｅを備える。
　〔７－２．センサユニットの構成〕
　まず、センサユニット３０Ｅの構成について説明する。
　センサユニット３０Ｅは、カメラ３１と、加速度センサ３２と、ステレオカメラ３３と、ＴＯＦカメラ３４と、入力装置３６と、を備える。
　入力装置３６は、搭乗者の入力操作を受け付け、受け付けた操作に応じた入力情報を制御装置５０Ｅへ出力する。入力装置３６は、ボタン、スイッチ、タッチパネル、ジョグダイヤル等を用いて実現される。
　〔７－３．制御装置の構成〕
　次に、制御装置５０Ｅの構成について説明する。
　制御装置５０Ｅは、上述した実施の形態１に係る制御部５２に換えて、制御部５２Ｅを備える。
　制御部５２Ｅは、入力部５１を介してセンサユニット３０Ｅから入力される各種情報に基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成し、この制御信号をプロジェクタ２０へ出力する。
　〔７－３－１．制御部の機能構成〕
　図２６は、制御部５２Ｅの機能構成を示すブロック図である。図２６に示す制御部５２Ｅは、上述した第１の実施形態～第５の実施形態で説明した認識部５２１、メモリ５２２、算出部５２３Ａ、揺れ算出部５２５、特定部５２６及びジェスチャー判定部５２７を備える。さらに、制御部５２Ｅは、上述した第１の実施形態に係る生成部５２４に換えて、生成部５２４Ｅを備える。
　生成部５２４Ｅは、認識部５２１の認識結果、算出部５２３Ａの算出結果、揺れ算出部５２５の算出結果、特定部５２６の特定結果及びジェスチャー判定部５２７の判定結果の少なくとも１つに基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成する。
　〔７－４．投影システムの処理〕
　次に、投影システム１Ｅが実行する処理について説明する。
　図２７は、投影システム１Ｅが実行する処理の概要を示すフローチャートである。
　図２７に示すように、まず、入力部５１は、入力装置３６から入力されたモード選択信号を取得する（ステップＳ６０１）。
　続いて、制御部５２Ｅは、モード選択信号が搭乗者モードであるか否かを判定する（ステップＳ６０２）。制御部５２Ｅによってモード選択信号が搭乗者モードであると判定された場合（ステップＳ６０２：Ｙｅｓ）、投影システム１Ｅは、後述するステップＳ６０３へ移行する。これに対して、制御部５２Ｅによってモード選択信号が搭乗者モードでないと判定された（ステップＳ６０２：Ｎｏ）、投影システム１Ｅは、後述するステップＳ６０５へ移行する。
　ステップＳ６０３において、投影システム１Ｅは、移動体１０の搭乗者の人数、着座位置及び移動体１０の揺れに基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成してプロジェクタ２０へ出力する搭乗者モード処理を実行する。搭乗者モード処理の詳細は、上述した図５のステップＳ１０１～ステップＳ１０８、図１４のステップＳ２０１～ステップＳ２０９及び図１７のステップＳ３０１～ステップＳ３０９のいずれか１つの処理と同様の処理のため、詳細な説明を省略する。ステップＳ６０３の後、投影システム１Ｅは、後述するステップＳ６０４へ移行する。
　ステップＳ６０４において、制御部５２Ｅは、入力装置３６から終了する指示信号が入力されたか否かを判定する。制御部５２Ｅによって入力装置３６から終了する指示信号が入力されたと判定された場合（ステップＳ６０４：Ｙｅｓ）、投影システム１Ｅは、本処理を終了する。これに対して、制御部５２Ｅによって入力装置３６から終了する指示信号が入力されていないと判定された場合（ステップＳ６０４：Ｎｏ）、投影システム１Ｅは、上述したステップＳ６０１へ戻る。
　ステップＳ６０５において、制御部５２Ｅは、モード選択信号がコンテンツモードであるか否かを判定する。制御部５２Ｅによってモード選択信号がコンテンツモードであると判定された場合（ステップＳ６０５：Ｙｅｓ）、投影システム１Ｅは、後述するステップＳ６０６へ移行する。これに対して、制御部５２Ｅによってモード選択信号がコンテンツモードでないと判定された場合（ステップＳ６０５：Ｎｏ）、投影システム１Ｅは、後述するステップＳ６０７へ移行する。
　ステップＳ６０６において、投影システム１Ｅは、コンテンツデータに基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整するコンテンツモード処理を実行する。コンテンツモード処理の詳細は、上述した図２０のステップＳ４０１～ステップＳ４０８と同様の処理ため、詳細な説明を省略する。ステップＳ６０６の後、投影システム１Ｅは、ステップＳ６０４へ移行する。
　ステップＳ６０７において、制御部５２Ｅは、モード選択信号がジェスチャーモードであるか否かを判定する。制御部５２Ｅによってモード選択信号がジェスチャーモードであると判定された場合（ステップＳ６０７：Ｙｅｓ）、投影システム１Ｅは、後述するステップＳ６０８へ移行する。これに対して、制御部５２Ｅによってモード選択信号がジェスチャーモードでないと判定された場合（ステップＳ６０７：Ｎｏ）、投影システム１Ｅは、上述したステップＳ６０１へ戻る。
　ステップＳ６０８において、投影システム１Ｅは、搭乗者のジェスチャーに基づいて、プロジェクタ２０が投影する映像のフォーカス状態を調整する制御信号を生成するジェスチャーモード処理を実行する。ジェスチャーモード処理の詳細は、上述した図２４のステップＳ５０１～ステップＳ５０７と同様の処理のため、詳細な説明を省略する。ステップＳ６０８の後、投影システム１Ｅは、後述するステップＳ６０４へ移行する。
　〔７－５．作用・効果〕
　以上説明した第６の実施形態によれば、制御部５２Ｅが入力装置３６から入力されるモード選択信号に応じた処理を行うため、搭乗者が所望するモードに応じて、最適な映像を提供することができる。
＜８．移動体への応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。
　車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路と、を備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２８に戻って説明を続ける。
　車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る投影システム１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る投影システム１は、図２８に示した応用例の統合制御ユニット７６００に適用することができる。例えば、投影システム１のセンサユニット３０及び制御装置５０は、統合制御ユニット７６００のマイクロコンピュータ７６１０、撮像部７４１０、運転者状態検出部７５１０に相当する。ただし、これに限定されず、車両制御システム７０００が図１における制御装置５０に相当してもよい。
　また、図１を用いて説明した本実施形態に係る投影システム１の少なくとも一部の構成要素は、図２８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した本実施形態に係る投影システム１が、図２８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
＜９．むすび＞
　上述した本開示の第１の実施形態～第６の実施形態に係る投影システムの各々に開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した本開示の第１の実施形態～第６の実施形態に係る投影システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の第１の実施形態～第６の実施形態に係る投影システムで説明した構成要素を適宜組み合わせてもよい。
　また、本開示の第１の実施形態～第６の実施形態に係る投影システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本開示の第１の実施形態～第６の実施形態に係る投影システムに実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本開示の第１の実施形態～第４の実施形態に係る投影システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
　なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記移動体内の空間に設けられた投影装置が所定の投影面へ投影する映像の状態を制御する制御部を備える、
　制御装置。
（２）
　（１）に記載の制御装置であって、
　前記制御部は、
　前記空間状況情報に基づいて、前記移動体内における搭乗者の人数及び着座位置を認識する認識部と、
　前記人数と、前記着座位置と、に基づいて、前記投影装置が投影する前記映像のフォーカス状態を制御する制御信号を生成する生成部と、
　を備える、
　制御装置。
（３）
　（２）に記載の制御装置であって、
　前記認識部が認識した前記搭乗者の前記着座位置と前記投影装置が投影する前記映像の投影面との距離を、前記認識部が認識した前記搭乗者毎に算出する算出部をさらに備え、
　前記生成部は、
　前記人数、前記着座位置、前記搭乗者員毎の前記距離と、に基づいて、前記制御信号を生成する、
　制御装置。
（４）
　（３）に記載の制御装置であって、
　前記認識部は、
　前記空間状況情報に基づいて、少なくとも前記搭乗者の頭の位置及び目の位置の一方を認識し、
　前記算出部は、
　少なくとも前記搭乗者の頭の位置及び目の位置の一方と、前記着座位置と、に基づいて、前記搭乗者毎の前記距離を算出する、
　制御装置。
（５）
　（２）に記載の制御装置であって、
　前記生成部は、
　前記人数と、前記着座位置と、前記移動体に生じる揺れを検出する加速度センサによって取得される加速度情報と、に基づいて、前記制御信号を生成する、
　制御装置。
（６）
　（２）～（５）のいずれか一つに記載の制御装置であって、
　前記センサは、
　前記移動体内を撮像することによってカラーの画像データを生成するカメラ、
　前記移動体内を撮像することによって視差を有する視差画像データを生成するステレオカメラ、
　前記移動体内を撮像することによって画素毎に距離情報を検出可能な距離画像データを生成するＴＯＦカメラのいずれか一つ以上であり、
　前記空間状況情報は、
　前記カラーの画像データ、前記視差画像データ、前記距離画像データのいずれか一つ以上である、
　制御装置。
（７）
　（６）に記載の制御装置であって、
　前記認識部は、
　前記画像データ、前記視差画像データ及び前記距離画像データのいずれか一つ以上に基づいて、前記人数と、前記着座位置と、を認識する、
　制御装置。
（８）
　（２）～（７）のいずれか一つに記載の制御装置であって、
　前記生成部は、
　前記投影装置が投影する前記映像としてのコンテンツデータに基づいて、前記制御信号を生成する、
　制御装置。
（９）
　（８）に記載の制御装置であって、
　前記コンテンツデータに基づいて、前記映像内において強調する強調位置を特定する特定部をさらに備え、
　前記生成部は、
　前記強調位置に基づいて、前記制御信号を生成する、
　制御装置。
（１０）
　（２）～（９）のいずれか一つに記載の制御装置であって、
　前記センサは、
　前記移動体内における前記搭乗者の動作を検出するインタラクションデバイスであり、
　前記空間状況情報は、
　前記搭乗者の動作であり
　前記生成部は、
　前記搭乗者の動作に基づいて、前記制御信号を生成する、
　制御装置。
（１１）
　（２）～（１０）のいずれか一つに記載の制御装置であって、
　前記制御信号は、
　前記投影装置のフォーカス位置を制御する信号である、
　制御装置。
（１２）
　（２）～（１０）のいずれか一つに記載の制御装置であって、
　前記制御信号は、
　前記投影装置が投影する前記映像の明るさを調整する信号である、
　制御装置。
（１３）
　（１）～（１２）のいずれか一つに記載の制御装置であって、
　前記投影面は、
　自由曲面である、
　制御装置。
（１４）
　移動体内における所定の投影面へ映像を投影する投影装置と、
　前記移動体内の空間状況を検出するセンサと、
　前記センサが検出した空間状況に関する空間状況情報に基づいて、前記映像の状態を制御する制御装置と、
　を備える、
　投影システム。
（１５）
　（１４）に記載の投影システムであって、
　前記投影装置は、
　前記映像を前記所定の投影面に投影する投影レンズと、
　前記投影レンズを光路上に沿って移動させることによって、前記映像のフォーカス位置を調整する駆動部と、
　を備え、
　前記制御装置は、
　前記空間状況情報に基づいて、前記移動体内における搭乗者の人数及び着座位置を認識する認識部と、
　前記人数と、前記着座位置と、に基づいて、前記投影装置が投影する前記映像のフォーカス状態を制御する制御信号を生成する生成部と、
　を備える、
　投影システム。
（１６）
　（１５）に記載の投影システムであって、
　前記制御装置は、
　前記認識部が認識した前記搭乗者の前記着座位置と前記投影装置が投影する前記映像の投影面との距離を、前記認識部が認識した前記搭乗者毎に算出する算出部をさらに備え、
　前記生成部は、
　前記人数、前記着座位置、前記搭乗者員毎の前記距離と、に基づいて、前記制御信号を生成する、
　投影システム。
（１７）
　（１６）に記載の投影システムであって、
　前記認識部は、
　前記空間状況情報に基づいて、少なくとも前記搭乗者の頭の位置及び目の位置の一方を認識し、
　前記算出部は、
　少なくとも前記搭乗者の頭の位置及び目の位置の一方と、前記着座位置と、に基づいて、前記搭乗者毎の前記距離を算出する、
　投影システム。
（１８）
　（１５）に記載の投影システムであって、
　前記生成部は、
　前記人数と、前記着座位置と、前記移動体に生じる揺れを検出する加速度センサによって取得される加速度情報と、に基づいて、前記制御信号を生成する、
　投影システム。
（１９）
　移動体内の空間に設けられた投影装置を制御する制御方法であって、
　前記移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記投影装置が所定の投影面へ投影する映像の状態を制御する、
　制御方法。
（２０）
　移動体内の空間に設けられた投影装置を制御する制御装置に、
　前記移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記投影装置が所定の投影面へ投影する映像の状態を制御する、
　ことを実行させるプログラム。
　１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ　投影システム
　１０　移動体
　２０　プロジェクタ
　２４　投影レンズ
　２６　光学デバイス駆動部
　３０，３０Ａ，３０Ｂ，３０Ｄ，３０Ｅ　センサユニット
　３１　カメラ
　３２　加速度センサ
　３３　ステレオカメラ
　３４　ＴＯＦカメラ
　３５　インタラクションデバイス
　３６　入力装置
　４０　コンテンツ再生装置
　５０，５０Ａ，５０Ｂ，５０Ｃ，５０Ｄ，５０Ｅ　制御装置
　５１　入力部
　５２，５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ，５２Ｅ　制御部
　５３　出力部
　５２１　認識部
　５２２，５２２　メモリ
　５２３，５２３Ａ，５２３Ｂ　算出部
　５２４，５２４Ａ，５２４Ｂ，５２４Ｃ，５２４Ｄ，５２４Ｅ　生成部
　５２５　揺れ算出部
　５２６　特定部
　５２７　ジェスチャー判定部
　５２３１　第１の距離算出部
　５２３２　第２の距離算出部

Claims (20)

  1. 　移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記移動体内の空間に設けられた投影装置が所定の投影面へ投影する映像の状態を制御する制御部を備える、
    　制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記制御部は、
    　前記空間状況情報に基づいて、前記移動体内における搭乗者の人数及び着座位置を認識する認識部と、
    　前記人数と、前記着座位置と、に基づいて、前記投影装置が投影する前記映像のフォーカス状態を制御する制御信号を生成する生成部と、
    　を備える、
    　制御装置。
  3. 　請求項２に記載の制御装置であって、
    　前記認識部が認識した前記搭乗者の前記着座位置と前記投影装置が投影する前記映像の投影面との距離を、前記認識部が認識した前記搭乗者毎に算出する算出部をさらに備え、
    　前記生成部は、
    　前記人数、前記着座位置、前記搭乗者員毎の前記距離と、に基づいて、前記制御信号を生成する、
    　制御装置。
  4. 　請求項３に記載の制御装置であって、
    　前記認識部は、
    　前記空間状況情報に基づいて、少なくとも前記搭乗者の頭の位置及び目の位置の一方を認識し、
    　前記算出部は、
    　少なくとも前記搭乗者の頭の位置及び目の位置の一方と、前記着座位置と、に基づいて、前記搭乗者毎の前記距離を算出する、
    　制御装置。
  5. 　請求項２に記載の制御装置であって、
    　前記生成部は、
    　前記人数と、前記着座位置と、前記移動体に生じる揺れを検出する加速度センサによって取得される加速度情報と、に基づいて、前記制御信号を生成する、
    　制御装置。
  6. 　請求項２に記載の制御装置であって、
    　前記センサは、
    　前記移動体内を撮像することによってカラーの画像データを生成するカメラ、
    　前記移動体内を撮像することによって視差を有する視差画像データを生成するステレオカメラ、
    　前記移動体内を撮像することによって画素毎に距離情報を検出可能な距離画像データを生成するＴＯＦカメラのいずれか一つ以上であり、
    　前記空間状況情報は、
    　前記カラーの画像データ、前記視差画像データ、前記距離画像データのいずれか一つ以上である、
    　制御装置。
  7. 　請求項６に記載の制御装置であって、
    　前記認識部は、
    　前記画像データ、前記視差画像データ及び前記距離画像データのいずれか一つ以上に基づいて、前記人数と、前記着座位置と、を認識する、
    　制御装置。
  8. 　請求項２に記載の制御装置であって、
    　前記生成部は、
    　前記投影装置が投影する前記映像としてのコンテンツデータに基づいて、前記制御信号を生成する、
    　制御装置。
  9. 　請求項８に記載の制御装置であって、
    　前記コンテンツデータに基づいて、前記映像内において強調する強調位置を特定する特定部をさらに備え、
    　前記生成部は、
    　前記強調位置に基づいて、前記制御信号を生成する、
    　制御装置。
  10. 　請求項２に記載の制御装置であって、
    　前記センサは、
    　前記移動体内における前記搭乗者の動作を検出するインタラクションデバイスであり、
    　前記空間状況情報は、
    　前記搭乗者の動作であり
    　前記生成部は、
    　前記搭乗者の動作に基づいて、前記制御信号を生成する、
    　制御装置。
  11. 　請求項２に記載の制御装置であって、
    　前記制御信号は、
    　前記投影装置のフォーカス位置を制御する信号である、
    　制御装置。
  12. 　請求項２に記載の制御装置であって、
    　前記制御信号は、
    　前記投影装置が投影する前記映像の明るさを調整する信号である、
    　制御装置。
  13. 　請求項１に記載の制御装置であって、
    　前記投影面は、
    　自由曲面である、
    　制御装置。
  14. 　移動体内における所定の投影面へ映像を投影する投影装置と、
    　前記移動体内の空間状況を検出するセンサと、
    　前記センサが検出した空間状況に関する空間状況情報に基づいて、前記映像の状態を制御する制御装置と、
    　を備える、
    　投影システム。
  15. 　請求項１４に記載の投影システムであって、
    　前記投影装置は、
    　前記映像を前記所定の投影面に投影する投影レンズと、
    　前記投影レンズを光路上に沿って移動させることによって、前記映像のフォーカス位置を調整する駆動部と、
    　を備え、
    　前記制御装置は、
    　前記空間状況情報に基づいて、前記移動体内における搭乗者の人数及び着座位置を認識する認識部と、
    　前記人数と、前記着座位置と、に基づいて、前記投影装置が投影する前記映像のフォーカス状態を制御する制御信号を生成する生成部と、
    　を備える、
    　投影システム。
  16. 　請求項１５に記載の投影システムであって、
    　前記制御装置は、
    　前記認識部が認識した前記搭乗者の前記着座位置と前記投影装置が投影する前記映像の投影面との距離を、前記認識部が認識した前記搭乗者毎に算出する算出部をさらに備え、
    　前記生成部は、
    　前記人数、前記着座位置、前記搭乗者員毎の前記距離と、に基づいて、前記制御信号を生成する、
    　投影システム。
  17. 　請求項１６に記載の投影システムであって、
    　前記認識部は、
    　前記空間状況情報に基づいて、少なくとも前記搭乗者の頭の位置及び目の位置の一方を認識し、
    　前記算出部は、
    　少なくとも前記搭乗者の頭の位置及び目の位置の一方と、前記着座位置と、に基づいて、前記搭乗者毎の前記距離を算出する、
    　投影システム。
  18. 　請求項１５に記載の投影システムであって、
    　前記生成部は、
    　前記人数と、前記着座位置と、前記移動体に生じる揺れを検出する加速度センサによって取得される加速度情報と、に基づいて、前記制御信号を生成する、
    　投影システム。
  19. 　移動体内の空間に設けられた投影装置を制御する制御方法であって、
    　前記移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記投影装置が所定の投影面へ投影する映像の状態を制御する、
    　制御方法。
  20. 　移動体内の空間に設けられた投影装置を制御する制御装置に、
    　前記移動体内の空間状況を検出するセンサから入力される空間状況情報に基づいて、前記投影装置が所定の投影面へ投影する映像の状態を制御する、
    　ことを実行させるプログラム。
PCT/JP2021/022802 2020-06-19 2021-06-16 制御装置、投影システム、制御方法及びプログラム WO2021256483A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022531853A JPWO2021256483A1 (ja) 2020-06-19 2021-06-16
EP21824854.0A EP4171021A4 (en) 2020-06-19 2021-06-16 CONTROL DEVICE, PROJECTION SYSTEM, CONTROL METHOD AND PROGRAM
KR1020227041437A KR20230028248A (ko) 2020-06-19 2021-06-16 제어 장치, 투영 시스템, 제어 방법 및 프로그램
CN202180042102.8A CN115868155A (zh) 2020-06-19 2021-06-16 控制设备、投影系统、控制方法和程序
US17/924,357 US20230186651A1 (en) 2020-06-19 2021-06-16 Control device, projection system, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-105856 2020-06-19
JP2020105856 2020-06-19

Publications (1)

Publication Number Publication Date
WO2021256483A1 true WO2021256483A1 (ja) 2021-12-23

Family

ID=79268077

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022802 WO2021256483A1 (ja) 2020-06-19 2021-06-16 制御装置、投影システム、制御方法及びプログラム

Country Status (6)

Country Link
US (1) US20230186651A1 (ja)
EP (1) EP4171021A4 (ja)
JP (1) JPWO2021256483A1 (ja)
KR (1) KR20230028248A (ja)
CN (1) CN115868155A (ja)
WO (1) WO2021256483A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084951A1 (ja) * 2022-10-19 2024-04-25 ソニーグループ株式会社 プロジェクションシステム、制御装置、および制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088864A (ja) 2003-09-12 2005-04-07 Fumiyoshi Nagano 平面鏡及び曲面鏡を備えるハイブリッド型ルームミラー
JP4955309B2 (ja) 2006-06-01 2012-06-20 Ｎｅｃディスプレイソリューションズ株式会社 オートフォーカス調整機能を有するプロジェクタ装置と自動焦点調整方法
JP2015015677A (ja) * 2013-07-08 2015-01-22 株式会社デンソー 投射型表示装置
WO2019044536A1 (ja) * 2017-08-31 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および移動体
WO2019124158A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体
WO2019181233A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 画像表示システム、情報処理装置、情報処理方法、プログラム、及び移動体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9360668B2 (en) * 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
US10242457B1 (en) * 2017-03-20 2019-03-26 Zoox, Inc. Augmented reality passenger experience

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088864A (ja) 2003-09-12 2005-04-07 Fumiyoshi Nagano 平面鏡及び曲面鏡を備えるハイブリッド型ルームミラー
JP4955309B2 (ja) 2006-06-01 2012-06-20 Ｎｅｃディスプレイソリューションズ株式会社 オートフォーカス調整機能を有するプロジェクタ装置と自動焦点調整方法
JP2015015677A (ja) * 2013-07-08 2015-01-22 株式会社デンソー 投射型表示装置
WO2019044536A1 (ja) * 2017-08-31 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および移動体
WO2019124158A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体
WO2019181233A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 画像表示システム、情報処理装置、情報処理方法、プログラム、及び移動体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4171021A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084951A1 (ja) * 2022-10-19 2024-04-25 ソニーグループ株式会社 プロジェクションシステム、制御装置、および制御方法

Also Published As

Publication number Publication date
CN115868155A (zh) 2023-03-28
US20230186651A1 (en) 2023-06-15
KR20230028248A (ko) 2023-02-28
EP4171021A1 (en) 2023-04-26
EP4171021A4 (en) 2023-11-22
JPWO2021256483A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
JP7059522B2 (ja) 制御装置、制御方法、プログラム及び撮像システム
WO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
WO2019225349A1 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2018180122A1 (ja) 運転支援装置と運転支援方法
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
JPWO2018155242A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7302477B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10791287B2 (en) Imaging control apparatus and method, and vehicle
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
WO2019106995A1 (ja) 撮影装置、撮影方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21824854

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531853

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021824854

Country of ref document: EP

Effective date: 20230119

NENP Non-entry into the national phase

Ref country code: DE