WO2021049548A1 - プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム - Google Patents

プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム Download PDF

Info

Publication number
WO2021049548A1
WO2021049548A1 PCT/JP2020/034180 JP2020034180W WO2021049548A1 WO 2021049548 A1 WO2021049548 A1 WO 2021049548A1 JP 2020034180 W JP2020034180 W JP 2020034180W WO 2021049548 A1 WO2021049548 A1 WO 2021049548A1
Authority
WO
WIPO (PCT)
Prior art keywords
projected
light
optical system
control unit
light emitting
Prior art date
Application number
PCT/JP2020/034180
Other languages
English (en)
French (fr)
Inventor
正俊 石川
義浩 渡辺
立輝 王
鴻金 徐
Original Assignee
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学 filed Critical 国立大学法人 東京大学
Priority to JP2021545578A priority Critical patent/JP7228294B2/ja
Publication of WO2021049548A1 publication Critical patent/WO2021049548A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present invention relates to a projector control device, a projector, a projection system, a projection method and a program.
  • the optical system of a conventional projector is designed with a large opening. This is to minimize the loss of light emitted from the light source and to achieve high resolution.
  • the projection surface is a stationary flat screen.
  • Patent Document 1 Patent Document 1
  • a projector control device a projector, a projection system, which can project onto a real object that is variable in time and / or space even in an optical system having a shallow depth of field. It was decided to provide a projection method and a program.
  • a projector control device includes a light emission control unit and an optical system control unit.
  • the light emitting control unit is configured to be able to control the light emitting unit so that the light emitting unit of the projector emits light at the first operating frequency.
  • the light emitting unit is configured to emit projected light including an image so that it can be projected onto a real object to be projected, and the distance between the real object and the light emitting unit is variable in time and / or space.
  • the optical system control unit is configured to be able to control the variable focus optical system so that the variable focus optical system changes the focal position of the projected light at the second operating frequency.
  • the first operating frequency is 100 Hz or higher
  • the second operating frequency is 30 Hz or higher.
  • the light emitting unit and the variable focus optical system are both controlled at an operating frequency higher than the perceived frequency that can be visually recognized by a human, they are temporally and / or spatially variable when viewed from a human. It is possible to project projected light onto a real object.
  • FIG. 4A A mode in which the focus of the projected light including the image 1 is in focus on the first object
  • FIG. 4B A mode in which the projected light including the image 2 is in focus on the second object
  • FIG. 4C A mode in which the focal point of the projected light including the image 3 is aligned with the third object.
  • FIG. 6A An aspect of an input waveform for resonating the focal length of a lens with a periodic waveform (upper waveform) and an aspect of transmitting a projection start timing to a projector with a pulse signal in synchronization with the resonance of the lens (FIG. 6A).
  • the lower waveform and [FIG. 6B] a diagram showing an image of the projection of the projector by the sensor.
  • FIG. 7B the focal position of the projected light is aligned with the back side
  • [FIG. 7C] the focal position of the projected light is aligned with the center.
  • An activity diagram showing the flow of the projection method.
  • the schematic diagram of the projector which concerns on a modification.
  • the "part” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and information processing of software that can be concretely realized by these hardware resources. .. Further, in this embodiment, various information is handled, and these information are represented by high and low signal values as a bit set of binary numbers composed of 0 or 1, and communication / calculation is executed on a circuit in a broad sense. Can be done.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining a circuit, a circuit, a processor, a memory, and the like. That is, an integrated circuit for a specific application (Application Special Integrated Circuit: ASIC), a programmable logic device (for example, a simple programmable logic device (Simple Programmable Logical Device: SPLD), a composite programmable logic device (Complex Program)) It includes a programmable gate array (Field Programmable Gate Array: FPGA) and the like.
  • FIG. 1 is a diagram showing an outline of the configuration of the projection system 1 according to the present embodiment. Section 1 describes the overall configuration of the projection system 1.
  • the projection system 1 includes a projector 1a, a variable focus optical system 23, and a control device 3.
  • projection mapping is performed by projecting the projected light L onto the objects 51 to 53 using such a projection system 1.
  • the objects 51 to 53 are real objects. That is, in the case of the HUD, since it is a virtual image, only the person himself / herself can visually recognize the image, but in the projection mapping according to the present embodiment, since the projected light L is projected onto the real object, it can be visually recognized by a plurality of people.
  • these components will be further described.
  • the projector 1a includes a light emitting unit 22, and the light emitting unit 22 is configured to emit light so that the projected light L including an image can be projected onto a real object to be projected, and the distance between the real object and the light emitting unit 22 is temporal and / Or spatially variable. That is, the actual object to be projected may move, or the projector 1a may move.
  • the appearance and internal configuration of the projector 1a are not particularly limited, but it should be noted that the projector 1a is a so-called high-speed projector having a high refresh rate (first operating frequency CR1). I want to.
  • the first operating frequency CR1 is 100 Hz or higher, preferably 250 Hz or higher, and more preferably 500 Hz or 1000 Hz.
  • the sensor 21 is, for example, a camera (visible light, infrared light, etc. can be appropriately adopted) configured to be able to acquire information on the outside world as an image.
  • the sensor 21 adopts a so-called high-speed vision having a high operating frequency (frame rate).
  • the frame rate is, for example, 100 fps or more, preferably 250 fps or more, and more preferably 500 fps or 1000 fps.
  • the sensor 21 functions as, for example, a first sensor.
  • the first sensor is configured to acquire the first information.
  • the first information is information including at least one of the depth position, the shape, and the projected mode of the objects 51 to 53 on which the projected light L is projected. This will be described in detail later.
  • the senor 21 functions as, for example, a second sensor.
  • the second sensor is configured to acquire the second information.
  • the second information is information including the positions of the objects 51 to 53 on which the projected light L is projected within the angle of view. This will be described in detail later.
  • a calibration-free system may be implemented by adopting a coaxial optical system.
  • the sensor 21 is not limited to the camera, and a measurement sensor or the like capable of acquiring a three-dimensional shape may be adopted as the sensor 21, or a plurality of sensors 21 having different functions may be adopted. Further, depth measurement based on Depth from Defocus using the variable focus projection of the present technology may be performed.
  • Depth from Defocus is a technique for obtaining three-dimensional depth information from a two-dimensional image, and is a technique for estimating the depth using image blur.
  • the distance from the sensor 21 to the objects 51 to 53 (real object) is measured by the Depth from Defocus, and the variable focus optics so that the projected light L is focused on the objects 51 to 53 located at the measured distance. It is preferable that the system 23 is controlled.
  • variable focus optical system 23 variably configures the focal position FP of the projected light L.
  • the variable focus optical system 23 may be configured to control the focal position FP of the projected light L by changing the shape of the boundary portion between two types of media (for example, liquids) having different refractive indexes.
  • a part of the lens group may be physically moved in parallel as mounted on a compact digital camera or the like, one type of medium may be used, or a medium (usually a liquid) may be used.
  • An elastic film enclosed therein may be provided, the refractive index distribution of the medium itself may be electrically controlled, or the phase control of the liquid crystal may be used.
  • fixed optical systems and the like may be arranged in the front-rear direction.
  • the focal position FP can be changed at high speed at an operating frequency (second operating frequency CR2) that matches the refresh rate of the projector 1a, which is a high-speed projector.
  • the second operating frequency CR2 is 30 Hz or higher, preferably 100 Hz or higher, and more preferably 500 Hz or 1000 Hz.
  • Control device 3 FIG. 2 is a block diagram showing a hardware configuration of the control device 3.
  • FIG. 3 is a functional block diagram showing the functions of the control unit 33 in the control device 3.
  • the control device 3 has a communication unit 31, a storage unit 32, and a control unit 33, and these components are electrically connected to each other inside the control device 3 via a communication bus 30.
  • the control device 3 includes a light emission control unit 332 and an optical system control unit 333.
  • each component will be further described.
  • the communication unit 31 can perform wireless LAN network communication, mobile communication such as LTE / 3G, Bluetooth (registered trademark) communication, and the like as necessary. May be included. That is, it is more preferable to carry out as a set of these plurality of communication means.
  • the communication unit 31 is configured to be able to communicate with the projector 1a, the sensor 21, and the variable focus optical system 23 according to a predetermined high-speed communication standard.
  • the communication unit 31 is configured to be capable of transmitting an image of the projected light L to be emitted by the light emitting unit 22 of the projector 1a.
  • the communication unit 31 is configured to be able to receive the first information and the second information acquired by the sensor 21.
  • the communication unit 31 is configured to be able to transmit a control signal for changing the focal position FP of the variable focus optical system 23.
  • the storage unit 32 stores various information defined by the above description. This is, for example, as a storage device such as a solid state drive (SSD), or a random access memory (Random Access Memory:) that stores temporarily necessary information (arguments, arrays, etc.) related to program operations. It can be implemented as a memory such as RAM). Moreover, these combinations may be used.
  • SSD solid state drive
  • Random Access Memory Random Access Memory
  • the storage unit 32 stores the first information and the second information acquired by the sensor 21 and received by the communication unit 31. Further, the storage unit 32 stores a sensor control program for controlling the sensor control unit 331 in the control unit 33 to receive the first information and the second information from the sensor 21.
  • the storage unit 32 stores a light emitting control program for the light emitting control unit 332 (described later) in the control unit 33 to control the light emitting unit 22 so that the light emitting unit 22 emits light at the first operating frequency CR1.
  • the storage unit 32 stores an optical system control program for controlling the variable focus optical system 23 so that the variable focus optical system 23 changes the focal position FP of the projected light L at the second operating frequency CR2.
  • the storage unit 32 stores various programs related to the control device 3 executed by the calculation unit 334 in the control unit 33.
  • the control unit 33 processes and controls the overall operation related to the control device 3.
  • the control unit 33 is, for example, a central processing unit (CPU) (not shown).
  • the control unit 33 realizes various functions related to the control device 3 by reading a predetermined program stored in the storage unit 32. Specifically, it corresponds to a sensor control function, a light emission control function, an optical system control function, a calculation function, and the like. That is, the information processing by the software (stored in the storage unit 32) is specifically realized by the hardware (control unit 33), so that the sensor control unit 331, the light emission control unit 332, the optical system control unit 333, And can be executed as arithmetic unit 334. That is, the program causes the computer to function as each part of the control device 3.
  • control unit 33 Although it is described as a single control unit 33 in FIG. 2, it is not limited to this, and it may be implemented so as to have a plurality of control units 33 for each function. Moreover, it may be a combination thereof.
  • the sensor control unit 331, the light emission control unit 332, the optical system control unit 333, and the calculation unit 334 will be described in more detail.
  • sensor control unit 331 In the sensor control unit 331, information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the sensor control unit 331 controls to receive the first information and the second information from the sensor 21. Further, the operating frequency of the sensor 21 may be adjusted, or the 3D projected image model may be generated by using the first and second information acquired by the sensor 21.
  • the light emitting control unit 332 In the light emission control unit 332, information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the light emitting control unit 332 is configured to be able to control the light emitting unit 22 so that the light emitting unit 22 in the projector 1a emits light at the first operating frequency CR1. That is, the light emitting control unit 332 generates a control signal for controlling the light emitting unit 22, and this is transmitted to the light emitting unit 22 in the projector 1a via the communication unit 31. Then, the light emitting unit 22 emits light so as to project the projected light L onto the objects 51 to 53 based on the control signal.
  • the light emitting unit 22 is configured to emit the projected light L so that it can be projected onto a real object to be projected, and the distance between the real object and the light emitting unit 22 is variable in time and / or space. That is, the actual object to be projected may move, or the projector 1a (light emitting unit 22) may move.
  • the light emission control unit 332 is configured to dynamically control the intensity of the projected light according to the surrounding environment. This will be described in more detail together with the following optical system control unit 333.
  • optical system control unit 333 In the optical system control unit 333, information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the optical system control unit 333 is configured to be able to control the variable focus optical system 23 so that the variable focus optical system 23 changes the focal position FP of the projected light L at the second operating frequency CR2. That is, the optical system control unit 333 generates a control signal for controlling the focal position FP of the variable focus optical system 23, and this is transmitted to the variable focus optical system 23 via the communication unit 31. Then, the variable focus optical system 23 determines the focal position FP so as to focus on the objects 51 to 53 and the like based on the control signal. With respect to such a control signal, the variable focus optical system 23 is configured to determine the focal position FP by using, for example, a step waveform or a periodic waveform (sine wave or the like) as an input.
  • the optical system control unit 333 controls the variable focus optical system 23 so that the focal position FP is dynamically changed to define a plurality of focal position FPs.
  • the light emitting control unit 332 controls the light emitting unit 22 so that the projected light L is emitted at the timing when each of the plurality of focal positions FP is in focus. More specifically, the light emission control unit 332 projects projections including different images on the first and second projection planes (for example, the target 51 and the target 52, etc.) corresponding to different focal positions FP at the timing when they are in focus.
  • the light emitting unit 22 is controlled so that the light L is emitted.
  • FIG. 4A shows an embodiment in which the focal position FP of the projected light L including the image 1 matches the target 51
  • FIG. 4B shows a mode in which the focal position FP of the projected light L including the image 2 matches the target 52
  • FIG. 4C shows an aspect in which the focal position FP of the projected light L including the image 3 matches the object 53
  • FIG. 5 shows an aspect in which all of the objects 51 to 53 are in focus when viewed from a human.
  • variable focus optical system 23 aligns the focal position FP with the target 51 so that the image is projected on the target 51, and the light emitting unit 22 emits light in consideration of the angle of view position (FIG. 4A).
  • variable focus optical system 23 aligns the focal position FP with the target 52 so that the image is projected on the target 52, and the light emitting unit 22 emits light in consideration of the angle of view position (FIG. 4B).
  • variable focus optical system 23 aligns the focal position FP with the target 53 so that the image is projected on the target 53, and the light emitting unit 22 emits light in consideration of the angle of view position (FIG. 4C).
  • the distance difference in the depth direction is large when viewed from the human eye. It has an advantageous effect that it appears to be projected simultaneously on the objects 51 to 53, which are two or more regions (FIG. 5).
  • the control unit 33 for example, the light emission control unit 332 and the optical system control unit 333, etc.
  • the order of the degree of defocusing is arbitrary), and it may be positively controlled.
  • Such control has the advantageous effect of promoting human susceptibility and enhancing the learning effect of humans.
  • FIG. 6A shows an aspect of an input waveform (upper waveform) for resonating the focal length of the lens with a periodic waveform, and an aspect in which the timing of starting projection is transmitted to the projector 1a as a pulse signal in synchronization with the resonance of the lens. It is a figure which shows (lower waveform).
  • FIG. 6B is a diagram showing an aspect in which the projection of the projector 1a is imaged by the sensor 21.
  • the time between imaging frames is set to 1 ms, and projection is performed on six planes having different depths.
  • the time between the imaging frames is 1 ms, it seems to humans that the images were taken simultaneously on each plane.
  • FIG. 7A shows a mode in which the focal position FP of the projected light L is aligned with the front side
  • FIG. 7B shows a mode in which the focal position FP of the projected light L is aligned with the back side
  • FIG. 7C shows a mode in which the focal position FP of the projected light L is aligned with the back side. It shows an aspect in which the focal position FP of L is aligned with the center.
  • FIG. 8 shows an aspect in which the focal position FP of the projected light L is suitable for all.
  • FIGS. 7A to 7C do not use the technique according to the present embodiment, they are focused on only one of the depths.
  • FIG. 8 uses the technique according to the present embodiment, so that all planes are in focus. As can be seen here, by making the input waveform a sine wave, it is possible to increase the number of depths at which the object (plane) is in focus.
  • the light emission control unit 332 may be configured to control the position or size of the image occupied with respect to the total angle of view of the projected light L based on the second information.
  • the second information includes the positions of the objects 51 to 53 on which the projected light L is projected within the angle of view. Based on this information, a desired image can be projected at an appropriate angle of view position.
  • the optical system control unit 333 may control the variable focus optical system 23 so that the focal position FP is corrected based on the first information.
  • the first information includes at least one of the depth positions, shapes, and projected modes of the objects 51 to 53 on which the projected light L is projected. That is, by realizing sensor feedback based on these information sequentially acquired by the sensor 21, an appropriate focal position FP at that timing is determined. In particular, it is an effective configuration when the objects 51 to 53 are dynamic.
  • the optical system control unit 333 may control the variable focus optical system 23 so as to dynamically change the angle of view of the projected light L based on the focal position FP. I will supplement this. Due to the physical nature of projection, depending on the depth of objects 51 to 53, even if the projected light L is emitted so as to include the same image, the size projected on each object and its brightness will differ. It is possible to adjust these by the light emission control unit 332, but there is a problem that the resolution becomes lower especially as the distance increases. Therefore, the optical system control unit 333 uses the variable focus optical system 23 or the optical system dedicated to the angle of view control (not shown here) based on the depths of the objects 51 to 53 (in other words, the focal position FP). By dynamically changing the angle of view, the problem of resolution can be solved.
  • the light emission control unit 332 controls the reflected brightness of the projected light L so as to be substantially uniform regardless of the focal position FP.
  • the light emission control unit 332 may be configured to dynamically control the intensity of the projected light L based on the focal position FP. Specifically, for example, the object 51, which is relatively far from the projection system 1, is projected with a relatively strong light intensity, and conversely, the object 53, which is relatively close to the projection system 1, is projected with a relatively weak light intensity. Good to do.
  • the light emission control unit 332 may be configured to dynamically control the light emission time of the projected light L based on the focal position FP. Since it is observed with different brightness to the human eye depending on the light emission time, for example, the object 51 far from the projection system 1 is projected with a relatively long light emission time, and conversely, the object 53 near the projection system 1 is projected. Projection should be performed with a relatively short emission time.
  • calculation unit 334 information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the calculation unit 334 is configured to be able to perform various calculations such as image processing and conversion of the projected image, for example. These are not particularly limited and may be carried out as needed.
  • FIG. 9 is an activity diagram showing the flow of the projection method.
  • the positions of the objects 51 to 53 shown in FIG. 1 and the like are variable in time series, and the aim is to simultaneously project an appropriate image on each of the objects 51 to 53 as seen from the human eye. And.
  • each activity in FIG. 9 will be described.
  • the sensor 21 acquires the information of the targets 51 to 53. This is, for example, first information or second information. Further, the sensor control unit 331 receives the information via the communication unit 31. Further, the sensor control unit 331 generates a 3D model of the projected image projected on the objects 51 to 53 having a depth based on at least one of the first and second information.
  • the light emission control unit 332 generates a two-dimensional projected image to be actually projected from the 3D model of the projected image generated by the sensor control unit 331 in consideration of the depth.
  • the image projected on the target 51 is generated at the angle of view position corresponding to the target 51.
  • the image projected on the target 52 or the target 53 is not displayed at this timing.
  • the light emission control unit 332 causes the light emitting unit 22 to emit the projected light L including the projected image generated in the activity A21.
  • the optical system control unit 333 calculates an appropriate focus position FP for the target 51 based on the first information.
  • the optical system control unit 333 controls the focal position FP of the variable focus optical system 23.
  • the objects 51 to 53 may not be dynamic, the objects may be single and dynamic, the objects may be single and have irregularities, and the objects may have a curved surface shape. May be exhibited. More broadly, according to such a projection method, the projection system 1 (projector 1a) is used to make at least one of a dynamic object, an object having irregularities in the depth direction, and two or more objects having different depth directions. , Projection mapping can be performed by projecting the projected light L including the image.
  • the projection system 1 is mounted on a moving body such as an automobile, an animal including a human, an airship or a drone, or a ship, and is projected onto the surrounding environment from the moving body while traveling, flying, or traveling. , Projection mapping according to this embodiment can be carried out.
  • Modification Example Section 3 describes a modification of the projection system 1 according to the present embodiment. That is, the following aspects may be adopted.
  • various processes are executed by the single control unit 33 in the single control device 3, but the control device 3 is provided for each of the projector 1a, the sensor 21, the variable focus optical system 23, and the like. You may use it. Note that it is important to synchronize the time series of each component, especially in such cases. Of course, a plurality of control units 33 that execute dedicated processing may be used for a single control device 3.
  • the position of the image included in the projected light L emitted by the light emitting unit 22 is changed. It may be carried out so as to optically control the optical axis direction of the projector 1a.
  • the present embodiment relates to a projection system 1 including a projector 1a (light emitting unit 22), a sensor 21, a variable focus optical system 23, and a control device 3, but instead, the sensor 21 and light emitting are emitted.
  • a high-speed and high-performance projector 1a (see FIG. 10) that integrally includes a unit 22, a variable focus optical system 23, and a control unit 33 may be implemented.
  • the projector 1a includes a light emitting unit 22, a variable focus optical system 23, a light emitting control unit 332, and an optical system control unit 333.
  • the variable focus optical system 23 variably configures the focal position FP of the projected light L.
  • the light emitting control unit 332 is configured to be able to control the light emitting unit 22 so that the light emitting unit 22 emits light at the first operating frequency CR1.
  • the optical system control unit 333 is configured to be able to control the variable focus optical system 23 so that the variable focus optical system 23 changes the focal position FP of the projected light L at the second operating frequency CR2.
  • the first operating frequency CR1 is 100 Hz or higher
  • the second operating frequency CR2 is 30 Hz or higher.
  • the optical system control unit controls the variable focus optical system so that the focal position is dynamically changed to define a plurality of focal positions
  • the light emission control unit is the plurality of light emission control units.
  • the light emitting control unit emits the projected light including different images at the timing on the first and second projection surfaces corresponding to the different focal positions. What controls.
  • the variable focus optical system is configured to determine the focal position by inputting a step waveform or a periodic waveform.
  • the optical system control unit controls the variable focus optical system so as to dynamically change the angle of view of the projected light based on the focal position.
  • the light emission control unit is configured to dynamically control the intensity of the projected light based on the focal position.
  • the light emission control unit is configured to dynamically control the light emission time of the projected light based on the focal position.
  • the light emission control unit controls the reflected brightness of the projected light so as to be substantially uniform regardless of the focal position.
  • the variable focus optical system is configured to control the focal position of the projected light by changing the shape of the boundary portion between two types of media having different refractive indexes.
  • the light emission control unit is configured to dynamically control the intensity of the projected light according to the surrounding environment.
  • the projector includes a light emitting unit, a variable focus optical system, and the control device, and the light emitting unit is configured to emit projected light including an image onto a real object to be projected so that it can be projected.
  • the distance between the real object and the light emitting unit is variable in time and / or spatially, and the variable focus optical system is configured such that the focal position of the projected light is variable.
  • the projector further comprises a first sensor, the first sensor being configured to acquire first information, wherein the first information is the object on which the projected light is projected.
  • the optical system control unit controls the variable focus optical system so that the focal position is corrected based on the first information.
  • the projector further comprises a second sensor, the second sensor being configured to acquire second information, wherein the second information is the object on which the projected light is projected.
  • the light emission control unit is configured to control the position or size of the image occupying the entire angle of view of the projected light based on the second information. What is done.
  • a projection system including a projector, a variable focus optical system, and the control device.
  • the projector includes a light emitting unit, and the light emitting unit can project projected light including an image onto a real object to be projected.
  • the variable focus optical system is configured to emit light, the distance between the real object and the light emitting portion is variable in time and / or spatially, and the focal position of the projected light is variable.
  • a projection method that includes an image on at least one of a dynamic object, an object having irregularities in the depth direction, and two or more objects having different depth directions using the projector or the projection system.
  • Projection system 1a Projector 21: Sensor 22: Light emitting unit 23: Variable focus optical system 3: Control device 30: Communication bus 31: Communication unit 32: Storage unit 33: Control unit 331: Sensor control unit 332: Light emission control unit 333: Optical system control unit 334: Calculation unit 51: Target 52: Target 53: Target CR1: First operating frequency CR2: Second operating frequency FP: Focus position L: Projected light

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】被写界深度が浅い光学系であっても、時間的及び／又は空間的に可変な実物体に投影を行うことができるプロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラムを提供すること。 【解決手段】本発明の一態様によれば、プロジェクタの制御装置が提供される。この制御装置は、発光制御部と、光学系制御部とを備える。発光制御部は、プロジェクタの発光部が第１の動作周波数で発光するように発光部を制御可能に構成される。発光部は、画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、実物体と発光部との距離は時間的及び／又は空間的に可変である。光学系制御部は、可変焦点光学系が第２の動作周波数で投影光の焦点位置を変化させるように可変焦点光学系を制御可能に構成される。第１の動作周波数は、１００Ｈｚ以上であり、第２の動作周波数は、３０Ｈｚ以上である。

Description

プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム
　本発明は、プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラムに関する。
　従来のプロジェクタの光学系は、大きな開口で設計されている。これは、光源から放射される光の損失を最小にするとともに、高い解像度を達成するためである。しかし、このような設計の場合、プロジェクタの被写界深度は浅くなるため、投影面は静止した平面のスクリーンであることが望ましい。
　一方で、近年はプロジェクションマッピングと呼ばれるプロジェクタの投影光を用いた情報システムやアート作品等が注目を集めている。また、そのような事情を考慮したプロジェクタも提案されている（例えば特許文献１）。
特開２０１９－１３２９３９号公報
　しかしながら、このような情報システムやアート作品にあっては、平面のスクリーン以外に投影しなければならないことも多く、奥行き方向に距離差があるような対象や動く対象に投影を行う際に、先に説明した被写界深度の浅さが問題となる。もちろん投影位置とその距離に合わせてフォーカスを調整することは考えられるが、奥行き方向に距離差がある２以上の領域に同時に投影しなければならない場合や高速に動く対象に投影する場合等においては、その少なくとも一部はフォーカスが合わない状況やフォーカスが合わないタイミングが発生することとなる。特許文献１に係るプロジェクタであっても、このような問題は提起も示唆もされていない。
　本発明では上記事情を鑑み、被写界深度が浅い光学系であっても、時間的及び／又は空間的に可変な実物体に投影を行うことができるプロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラムを提供することとした。
　本発明の一態様によれば、プロジェクタの制御装置が提供される。この制御装置は、発光制御部と、光学系制御部とを備える。発光制御部は、プロジェクタの発光部が第１の動作周波数で発光するように発光部を制御可能に構成される。発光部は、画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、実物体と発光部との距離は時間的及び／又は空間的に可変である。光学系制御部は、可変焦点光学系が第２の動作周波数で投影光の焦点位置を変化させるように可変焦点光学系を制御可能に構成される。第１の動作周波数は、１００Ｈｚ以上であり、第２の動作周波数は、３０Ｈｚ以上である。
　本発明に係るプロジェクタは、発光部と可変焦点光学系とが、ともに人が視認しうる知覚周波数よりも高い動作周波数で制御されるため、ヒトから見ると、時間的及び／又は空間的に可変な実物体に投影光を投影することができる。
実施形態に係るシステムの概要図。 制御装置のハードウェア構成を示すブロック図。 制御装置における制御部の機能を示す機能ブロック図。 ［図４Ａ］１という画像を含む投影光の焦点が１番めの対象に合っている態様、［図４Ｂ］２という画像を含む投影光の焦点が２番めの対象に合っている態様、［図４Ｃ］３という画像を含む投影光の焦点が３番めの対象に合っている態様。 ヒトから見て対象５１～５３のすべてに焦点が合っている態様。 ［図６Ａ］レンズの焦点距離を周期波形で共振させるための入力波形の態様（上部波形）と、レンズの共振と同期して、プロジェクタに投影開始のタイミングをパルス信号で送信している態様（下部波形）とを示す図、［図６Ｂ］センサでプロジェクタの投影を撮像した態様を示す図。 ［図７Ａ］投影光の焦点位置が手前側に合っている態様、［図７Ｂ］投影光の焦点位置が奥側に合っている態様、［図７Ｃ］投影光の焦点位置が真ん中に合っている態様。 投影光の焦点位置が全てに合っている態様。 投影方法の流れを示すアクティビティ図。 変形例に係るプロジェクタの概要図。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．全体構成
　図１は、本実施形態に係る投影システム１の構成概要を示す図である。第１節では、投影システム１の全体構成について説明する。
１－１．投影システム１
　投影システム１は、プロジェクタ１ａと、可変焦点光学系２３と、制御装置３とを備える。本実施形態では、このような投影システム１を用いて対象５１～５３に投影光Ｌを投影することで、プロジェクションマッピングを実施することを考える。ここで、対象５１～５３は、実物体であるものとする。すなわち、ＨＵＤの場合は虚像なので、本人しか画像を視認できないが、本実施形態に係るプロジェクションマッピングは、実物体に投影光Ｌを投影するため、複数のヒトによって視認できる。以下、これらの構成要素についてさらに説明する。
１－２．プロジェクタ１ａ
　プロジェクタ１ａは発光部２２を備え、発光部２２が画像を含む投影光Ｌを投影対象である実物体に投影可能に発光するように構成され、実物体と発光部２２との距離は時間的及び／又は空間的に可変である。すなわち、投影対象である実物体が動くものでもよいし、プロジェクタ１ａが動くものでもよい。プロジェクタ１ａの外観や内部の構成は特段限定されるものではないが、プロジェクタ１ａは、いわゆる高速プロジェクタと称されるリフレッシュレート（第１の動作周波数ＣＲ１）が高いものが採用されることに留意されたい。第１の動作周波数ＣＲ１は、１００Ｈｚ以上であり、好ましくは、２５０Ｈｚ以上であり、さらに好ましくは５００Ｈｚ又は１０００Ｈｚである。具体的には例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００Ｈｚであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
１－３．センサ２１
　センサ２１は、例えば、外界の情報を画像として取得可能に構成されるカメラ（可視光、赤外光等は適宜採用可能）である。特にセンサ２１は、いわゆる高速ビジョンと称する動作周波数（フレームレート）が高いものが採用されることが好ましい。フレームレートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ又は１０００ｆｐｓである。具体的には例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
　センサ２１は、例えば第１のセンサとして機能する。第１のセンサは、第１の情報を取得するように構成される。ここで第１の情報とは、投影光Ｌが投影された対象５１～５３の奥行き位置、形状、及び投影された態様の少なくとも１つを含む情報である。これについては、後に詳述する。
　また、センサ２１は、例えば第２のセンサとして機能する。第２のセンサは、第２の情報を取得するように構成される。ここで第２の情報とは、投影光Ｌが投影された対象５１～５３の画角内での位置を含む情報である。これについては、後に詳述する。
　なお、プロジェクタ１ａにおける画角位置と、センサ２１における画角位置とについて、事前のキャリブレーションによって整合性がとれているものとする。また、不図示ではあるが、同軸光学系を採用することで、キャリブレーションフリーのシステムとして実施してもよい。
　また、センサ２１は、カメラに限らず、三次元形状を取得可能な計測センサ等をセンサ２１として採用してもよいし、機能の異なる複数のセンサ２１を採用してもよい。さらに、本技術の可変焦点投影を用いたＤｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓに基づく奥行き計測をしてもよい。ここで、Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓとは、２次元画像から３次元奥行き情報を得る技術であって、画像ボケを用いて奥行きを推定する技術である。かかる場合、Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓによってセンサ２１から対象５１～５３（実物体）までの距離を計測し、この計測した距離に位置する対象５１～５３に投影光Ｌの焦点が合うように、可変焦点光学系２３が制御されるとよい。
１－４．可変焦点光学系２３
　可変焦点光学系２３は、投影光Ｌの焦点位置ＦＰを可変に構成される。なお、可変焦点光学系２３は、互いに屈折率の異なる２種類の媒体（例えば液体）の境界部分の形状を変化させることで、投影光Ｌの焦点位置ＦＰを制御するように構成されてもよいし、コンパクトデジタルカメラ等に搭載されているような、物理的にレンズ群の一部を平行移動させて行ってもよいし、媒体が１種類のものでもよいし、媒体（通常は液体）とその中に封入した弾性膜を備えるものでもよいし、媒体自体の屈折率分布を電気制御可能なものでもよいし、液晶の位相制御を利用したものでもよい。さらに、必要に応じて、固定の光学系等（ここでは不図示）を前後に配置してもよい。
　このような構成を有することで、高速プロジェクタであるプロジェクタ１ａのリフレッシュレートに見合う程度の動作周波数（第２の動作周波数ＣＲ２）で焦点位置ＦＰを高速に可変させることができる。例えば、第２の動作周波数ＣＲ２は、３０Ｈｚ以上であり、好ましくは、１００Ｈｚ以上であり、さらに好ましくは５００Ｈｚ又は１０００Ｈｚである。具体的には例えば、３０，４０，５０，６０，７０，８０，９０，１００，１１０，１２０，１３０，１４０，１５０，１６０，１７０，１８０，１９０，２００，２１０，２２０，２３０，２４０，２５０，３００，３５０，４００，４５０，５００，５５０，６００，６５０，７００，７５０，８００，８５０，９００，９５０，１０００，１０５０，１１００，１１５０，１２００，１２５０，１３００，１３５０，１４００，１４５０，１５００，１５５０，１６００，１６５０，１７００，１７５０，１８００，１８５０，１９００，１９５０，２０００Ｈｚであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
１－５．制御装置３
　図２は、制御装置３のハードウェア構成を示すブロック図である。図３は、制御装置３における制御部３３の機能を示す機能ブロック図である。制御装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が制御装置３の内部において通信バス３０を介して電気的に接続されている。特に制御部３３に関して、制御装置３は、発光制御部３３２と、光学系制御部３３３とを備える。以下、各構成要素についてさらに説明する。
＜通信部３１＞
　通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。
　例えば、通信部３１は、プロジェクタ１ａ、センサ２１、及び可変焦点光学系２３とは、所定の高速通信規格において通信可能に構成されることが好ましい。具体的には、通信部３１は、プロジェクタ１ａの発光部２２に発光させる投影光Ｌの画像を送信可能に構成される。通信部３１は、センサ２１が取得した第１の情報や第２の情報を受信可能に構成される。通信部３１は、可変焦点光学系２３の焦点位置ＦＰを変化させるための制御信号を送信可能に構成される。
＜記憶部３２＞
　記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
　特に、記憶部３２は、センサ２１によって取得され、且つ通信部３１が受信した第１の情報や第２の情報を記憶する。また、記憶部３２は、制御部３３におけるセンサ制御部３３１がセンサ２１から第１の情報や第２の情報を受信するように制御するためのセンサ制御プログラムを記憶する。記憶部３２は、制御部３３における発光制御部３３２（後述）が、発光部２２が第１の動作周波数ＣＲ１で発光するように発光部２２を制御するための発光制御プログラムを記憶する。記憶部３２は、可変焦点光学系２３が第２の動作周波数ＣＲ２で投影光Ｌの焦点位置ＦＰを変化させるように可変焦点光学系２３を制御するための光学系制御プログラムを記憶する。
　また、記憶部３２は、これ以外にも制御部３３における演算部３３４によって実行される制御装置３に係る種々のプログラム等を記憶している。
＜制御部３３＞
　制御部３３は、制御装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、制御装置３に係る種々の機能を実現する。具体的にはセンサ制御機能、発光制御機能、光学系制御機能、演算機能等が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、センサ制御部３３１、発光制御部３３２、光学系制御部３３３、及び演算部３３４として実行されうる。すなわち、プログラムは、コンピュータを、制御装置３の各部として機能させる。
　なお、図２においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、センサ制御部３３１、発光制御部３３２、光学系制御部３３３、及び演算部３３４についてさらに詳述する。
［センサ制御部３３１］
　センサ制御部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。センサ制御部３３１は、センサ２１から第１の情報や第２の情報を受信するように制御する。また、センサ２１の動作周波数を調整したり、センサ２１が取得した第１及び第２の情報を用いて、３Ｄ投影画像モデルを生成するように実施してもよい。
［発光制御部３３２］
　発光制御部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。発光制御部３３２は、プロジェクタ１ａにおける発光部２２が第１の動作周波数ＣＲ１で発光するように発光部２２を制御可能に構成される。つまり、発光制御部３３２が発光部２２を制御するための制御信号を生成し、これが通信部３１を介してプロジェクタ１ａにおける発光部２２に送信される。そして、発光部２２は、かかる制御信号に基づいて、対象５１～５３に対して投影光Ｌを投影するように発光する。また、発光部２２は、投影光Ｌを投影対象である実物体に投影可能に発光するように構成され、実物体と発光部２２との距離は時間的及び／又は空間的に可変である。すなわち、投影対象である実物体が動くものでもよいし、プロジェクタ１ａ（発光部２２）が動くものでもよい。発光制御部３３２は、周囲環境に応じて投影光の強度を動的に制御するように構成される。これについては、次の光学系制御部３３３とともにより詳細に説明する。
［光学系制御部３３３］
　光学系制御部３３３は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。光学系制御部３３３は、可変焦点光学系２３が第２の動作周波数ＣＲ２で投影光Ｌの焦点位置ＦＰを変化させるように可変焦点光学系２３を制御可能に構成される。つまり、光学系制御部３３３が可変焦点光学系２３の焦点位置ＦＰを制御するための制御信号を生成し、これが通信部３１を介して可変焦点光学系２３に送信される。そして、可変焦点光学系２３は、かかる制御信号に基づいて、対象５１～５３等に対して焦点が合うように、焦点位置ＦＰを決定する。かかる制御信号に関して、可変焦点光学系２３は、例えば、ステップ波形又は周期波形（正弦波等）を入力として焦点位置ＦＰを決定するように構成される。
　ここで、光学系制御部３３３は、焦点位置ＦＰを動的に変化させて複数の焦点位置ＦＰが規定されるように、可変焦点光学系２３を制御する。その後、発光制御部３３２は、複数の焦点位置ＦＰそれぞれに焦点が合ったタイミングで投影光Ｌが発光されるように、発光部２２を制御する。より詳細には、発光制御部３３２は、互いに異なる焦点位置ＦＰに対応する第１及び第２の投影面（例えば対象５１と対象５２等）に、焦点が合ったタイミングでそれぞれ異なる画像を含む投影光Ｌが発光されるように、発光部２２を制御する。
　図４Ａは、１という画像を含む投影光Ｌの焦点位置ＦＰが対象５１に合っている態様を示し、図４Ｂは、２という画像を含む投影光Ｌの焦点位置ＦＰが対象５２に合っている態様を示し、図４Ｃは、３という画像を含む投影光Ｌの焦点位置ＦＰが対象５３に合っている態様を示している。さらに、図５は、ヒトから見て対象５１～５３のすべてに焦点が合っている態様を示している。
　例えば、あるタイミングでは、対象５１に画像が投影されるように、可変焦点光学系２３が焦点位置ＦＰを対象５１に合わせ、画角位置を考慮して発光部２２が発光する（図４Ａ）。別のタイミングでは、対象５２に画像が投影されるように、可変焦点光学系２３が焦点位置ＦＰを対象５２に合わせ、画角位置を考慮して発光部２２が発光する（図４Ｂ）。さらに別のタイミングでは、対象５３に画像が投影されるように、可変焦点光学系２３が焦点位置ＦＰを対象５３に合わせ、画角位置を考慮して発光部２２が発光する（図４Ｃ）。
　これについて、ヒトの視覚が認知できる周波数（一般的には２０Ｈｚ以下）よりも高い周波数で対象５１～５３への投影を順次切り替えていくと、ヒトの目から見て、奥行き方向に距離差がある２以上の領域である対象５１～５３に同時に投影されるように見える（図５）、という有利な効果を奏する。また、制御部３３（例えば発光制御部３３２と光学系制御部３３３等）は、対象５１～５３のそれぞれに対して、焦点ボケ大、焦点ボケ中、焦点ボケ無しの画像が投影されるように（焦点ボケ度合いの順番は任意）、積極的に制御してもよい。このような制御により、ヒトの感受性を訴求する、及びヒトの学習効果を高める、という有利な効果を奏する。
　図６Ａは、レンズの焦点距離を周期波形で共振させるための入力波形の態様（上部波形）と、レンズの共振と同期して、プロジェクタ１ａに投影開始のタイミングをパルス信号で送信している態様（下部波形）とを示す図である。図６Ｂは、センサ２１でプロジェクタ１ａの投影を撮像した態様を示す図である。
　図６Ｂでは、撮像フレーム間の時間を１ｍｓに設定して、奥行きの異なる６枚の平面に投影している。ここでは、それぞれの平面において焦点が合った映像が撮影されていることが確認できる。前述のように、撮像フレーム間の時間は１ｍｓなので、ヒトにはそれぞれの平面で同時に撮影したように見える。
　図７Ａは、投影光Ｌの焦点位置ＦＰが手前側に合っている態様を示し、図７Ｂは、投影光Ｌの焦点位置ＦＰが奥側に合っている態様を示し、図７Ｃは、投影光Ｌの焦点位置ＦＰが真ん中に合っている態様を示している。さらに、図８は、投影光Ｌの焦点位置ＦＰが全てに合っている態様を示している。
　ここでは、奥行き０．３～１．５ｍの間に６枚の平面を設置している。そして、入力波形として１２ｍｓ周期の正弦波を使用し、各平面の画像は１６６ｆｐｓで更新している。図７Ａ～図７Ｃは、本実施形態に係る技術を使用していないため、いずれかの奥行きにしか焦点が合っていない。これに対し、図８は、本実施形態に係る技術を使用しているため、全ての平面に焦点が合っている。ここで分かるように、入力波形を正弦波にすることで、対象（平面）への焦点が合う深度の数を増やすことが可能となる。
　さらに、発光制御部３３２は、第２の情報に基づいて、投影光Ｌの全画角に対して占める画像の位置又は大きさを制御するように構成されてもよい。前述の通り、第２の情報には、投影光Ｌが投影された対象５１～５３の画角内での位置が含まれる。この情報を下に、適切な画角位置に所望の画像を投影させることができる。
　すなわち、センサ２１を用いたセンサフィードバックが実施されることとなる。前述の通り、センサ２１、発光部２２、及び可変焦点光学系２３の動作周波数はいずれも高いため、対象５１～５３の位置が動的に変化する場合（換言すると、対象５１～５３が動く場合）にも有効であることに留意されたい。より広くいえば、対象５１～５３に限らず、何らかの動的な対象に対して、これらを追従してプロジェクションマッピングを実施することができる、という有利な効果を奏する。
　また、光学系制御部３３３は、第１の情報に基づいて焦点位置ＦＰが補正されるように可変焦点光学系２３を制御してもよい。これについて補足する。前述の通り、第１の情報には、投影光Ｌが投影された対象５１～５３の奥行き位置、形状、及び投影された態様の少なくとも１つが含まれる。すなわち、センサ２１によって逐次取得されるこれらの情報に基づくセンサフィードバックを実現することにより、そのタイミングにおける適切な焦点位置ＦＰが決定される。特に、対象５１～５３が動的である場合には、有効な構成である。
　さらに、光学系制御部３３３は、焦点位置ＦＰに基づいて投影光Ｌの画角を動的に変化させるように、可変焦点光学系２３を制御してもよい。これについて補足する。投影の物理的性質上、対象５１～５３の奥行きによって、同じ画像を含むように投影光Ｌを発光しても、それぞれの対象に投影されるサイズと、その輝度が異なってしまう。これらを発光制御部３３２によって調節することも可能だが、特に遠方になるにつれて、解像度が低くなってしまうという問題がある。そこで、光学系制御部３３３が、可変焦点光学系２３又は画角制御専用の光学系（ここでは不図示）を用いて、対象５１～５３の奥行き（換言すると、焦点位置ＦＰ）に基づいて、画角を動的に変化させることで、解像度の問題を解消することができる。
　好ましくは、発光制御部３３２は、投影光Ｌの反射輝度が焦点位置ＦＰによらず略均一になるように制御することに留意されたい。
　具体的には、発光制御部３３２は、焦点位置ＦＰに基づいて投影光Ｌの強度を動的に制御するように構成されてもよい。具体的には例えば、投影システム１から比較的遠い対象５１には相対的に強い光強度で投影を行い、逆に投影システム１に比較的近い対象５３には相対的に弱い光強度で投影を行うとよい。あるいは、発光制御部３３２は、焦点位置ＦＰに基づいて投影光Ｌの発光時間を動的に制御するように構成されてもよい。発光時間によってヒトの目には異なった輝度で観測されるので、例えば、投影システム１から遠い対象５１には相対的に長い発光時間で投影を行い、逆に投影システム１から近い対象５３には相対的に短い発光時間で投影を行うとよい。
［演算部３３４］
　演算部３３４は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。演算部３３４は、例えば、投影画像に対する画像処理、変換といった種々の演算を実施可能に構成される。これらは特に限定されるものではなく、必要に応じて適宜実施されうる。
２．投影システム１を用いた投影方法
　第２節では、投影システム１を用いた投影方法の一例について説明する。図９は、投影方法の流れを示すアクティビティ図である。ここでは、図１等に示される対象５１～５３の位置が時系列で可変するものとし、ヒトの目から見て、それぞれの対象５１～５３に適切な画像が同時に投影されることを目指すものとする。以下、図９における各アクティビティに沿って説明をする。
［ここから］
（アクティビティＡ１１）
　センサ２１が対象５１～５３の情報を取得する。これは例えば第１の情報又は第２の情報である。また、センサ制御部３３１が通信部３１を介してこれらの情報を受信させる。また、センサ制御部３３１は第１及び第２の情報の少なくとも一方に基づいて、奥行きを有する対象５１～５３に投影される投影画像の３Ｄモデルが生成する。
（アクティビティＡ２１）
　続いて、発光制御部３３２が、センサ制御部３３１によって生成された投影画像の３Ｄモデルから、奥行きを考慮した上で実際に投影すべき２次元の投影画像を生成する。ここでは、対象５１に投影する画像が対象５１に対応する画角位置に生成される。対象５２又は対象５３に投影する画像は、このタイミングでは表示しない。
（アクティビティＡ２２）
　続いて、発光制御部３３２が、アクティビティＡ２１において生成された投影画像を含む投影光Ｌを発光部２２に発光させる。
（アクティビティＡ３１）
　一方、アクティビティＡ２１と並行して、光学系制御部３３３が第１の情報に基づいて、対象５１に対する適切な焦点位置ＦＰを演算する。
（アクティビティＡ３２）
　続いて、光学系制御部３３３が可変焦点光学系２３の焦点位置ＦＰを制御する。
（アクティビティＡ２３）
　対象５１に焦点の合った１と描かれた画像が投影され、これがヒトの目によって確認されうる。
　その後、数フレームおきに、対象５２、対象５３に対して同様の処理（アクティビティＡ１１，Ａ２１，Ａ２２，Ａ２３，Ａ３１，Ａ３２）が実行される。これによって、ヒトの目から見ると、奥行き方向の異なる対象５１～５３に同時に焦点の合った画像が投影されることとなる。また、センサ２１によるセンサフィードバックによって、対象５１～５３の位置が動的に変化する場合にも対応しうる。
［ここまで］
　以上はあくまでも一例である。例えば、対象５１～５３が動的でなくてもよいし、対象が単一で動的であってもよいし、対象が単一で凹凸を有するものであってもよいし、対象が曲面形状を呈するものであってもよい。より広くいえば、かかる投影方法によれば、投影システム１（プロジェクタ１ａ）を用いて、動的な対象、奥行き方向に凹凸を有する対象、及び奥行き方向が異なる２以上の対象の少なくとも１つに、画像を含む投影光Ｌを投影してプロジェクションマッピングを実施することができる。すなわち、ＨＵＤの場合は虚像なので、本人しか画像を視認できないが、本実施形態に係るプロジェクションマッピングは、実物体に投影光Ｌを投影するため、複数のヒトによって視認できる。また、投影システム１を自動車、ヒトを含む動物、飛行船やドローン等の飛行体、船舶、等の移動体に搭載し、走行中、飛行中又は渡航中の当該移動体から周辺環境に投影して、本実施形態に係るプロジェクションマッピングを実施することができる。
３．変形例
　第３節では、本実施形態に係る投影システム１の変形例について説明する。すなわち、以下のような態様を採用してもよい。
　本実施形態では、単一の制御装置３における単一の制御部３３で様々な処理を実行しているが、プロジェクタ１ａ、センサ２１、可変焦点光学系２３等に対してそれぞれに制御装置３を用いてもよい。特にかかる場合は、各構成要素の時系列の同期取りが重要であることに留意されたい。もちろん、単一の制御装置３に対して、専用処理を実行する複数の制御部３３を用いてもよい。
　本実施形態では、対象５１～５３の画角位置が異なるにあたって、発光部２２が発光する投影光Ｌが含む画像の位置を変化させることで対応するものとしているが、例えばミラーデバイス等を用いて光学的にプロジェクタ１ａの光軸方向を制御するように実施してもよい。
　本実施形態では、プロジェクタ１ａ（発光部２２）と、センサ２１と、可変焦点光学系２３と、制御装置３とを含む投影システム１に係るものであるが、これに代えて、センサ２１と発光部２２と、可変焦点光学系２３と、制御部３３とを一体的に備える高速で高機能なプロジェクタ１ａ（図１０参照）を実施してもよい。
　つまり、プロジェクタ１ａは、発光部２２と、可変焦点光学系２３と、発光制御部３３２と、光学系制御部３３３とを備える。可変焦点光学系２３は、投影光Ｌの焦点位置ＦＰを可変に構成される。発光制御部３３２は、発光部２２が第１の動作周波数ＣＲ１で発光するように発光部２２を制御可能に構成される。光学系制御部３３３は、可変焦点光学系２３が第２の動作周波数ＣＲ２で投影光Ｌの焦点位置ＦＰを変化させるように可変焦点光学系２３を制御可能に構成される。第１の動作周波数ＣＲ１は、１００Ｈｚ以上であり、第２の動作周波数ＣＲ２は、３０Ｈｚ以上である。
４．結言
　以上のように、本実施形態によれば、被写界深度が浅い光学系であっても、奥行き方向に距離差がある２以上の領域に同時に投影を行うことができるプロジェクタを実施することができる。
　次に記載の各態様で提供されてもよい。
　前記制御装置において、前記光学系制御部は、前記焦点位置を動的に変化させて複数の焦点位置が規定されるように、前記可変焦点光学系を制御し、前記発光制御部は、前記複数の焦点位置それぞれに焦点が合ったタイミングで前記投影光が発光されるように、前記発光部を制御するもの。
　前記制御装置において、前記発光制御部は、互いに異なる前記焦点位置に対応する第１及び第２の投影面に、前記タイミングでそれぞれ異なる画像を含む前記投影光が発光されるように、前記発光部を制御するもの。
　前記制御装置において、前記可変焦点光学系は、ステップ波形又は周期波形を入力として前記焦点位置を決定するように構成されるもの。
　前記制御装置において、前記光学系制御部は、前記焦点位置に基づいて前記投影光の画角を動的に変化させるように、前記可変焦点光学系を制御するもの。
　前記制御装置において、前記発光制御部は、前記焦点位置に基づいて前記投影光の強度を動的に制御するように構成されるもの。
　前記制御装置において、前記発光制御部は、前記焦点位置に基づいて前記投影光の発光時間を動的に制御するように構成されるもの。
　前記制御装置において、前記発光制御部は、前記投影光の反射輝度が前記焦点位置によらず略均一になるように制御するもの。
　前記制御装置において、前記可変焦点光学系は、互いに屈折率の異なる２種類の媒体の境界部分の形状を変化させることで、前記投影光の焦点位置を制御するように構成されるもの。
　前記制御装置において、前記発光制御部は、周囲環境に応じて前記投影光の強度を動的に制御するように構成されるもの。
　プロジェクタであって、発光部と、可変焦点光学系と、前記制御装置とを備え、前記発光部は、画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、前記実物体と前記発光部との距離は時間的及び／又は空間的に可変で、前記可変焦点光学系は、前記投影光の焦点位置を可変に構成されるもの。
　前記プロジェクタにおいて、第１のセンサをさらに備え、前記第１のセンサは、第１の情報を取得するように構成され、ここで前記第１の情報とは、前記投影光が投影された対象の奥行き位置、形状、及び投影された態様の少なくとも１つを含む情報で、前記光学系制御部は、前記第１の情報に基づいて前記焦点位置が補正されるように前記可変焦点光学系を制御するもの。
　前記プロジェクタにおいて、第２のセンサをさらに備え、前記第２のセンサは、第２の情報を取得するように構成され、ここで前記第２の情報とは、前記投影光が投影された対象の画角内での位置を含む情報で、前記発光制御部は、前記第２の情報に基づいて、前記投影光の全画角に対して占める前記画像の位置又は大きさを制御するように構成されるもの。
　投影システムであって、プロジェクタと、可変焦点光学系と、前記制御装置とを備え、前記プロジェクタは発光部を備え、前記発光部が画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、前記実物体と前記発光部との距離は時間的及び／又は空間的に可変で、前記可変焦点光学系は、前記投影光の焦点位置を可変に構成されるもの。
　投影方法であって、前記プロジェクタ、又は前記投影システムを用いて、動的な対象、奥行き方向に凹凸を有する対象、及び前記奥行き方向が異なる２以上の対象の少なくとも１つに、画像を含む投影光を投影してプロジェクションマッピングを実施する方法。
　プログラムであって、コンピュータを、前記制御装置の各部として機能させるためのもの。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　：投影システム
１ａ　　：プロジェクタ
２１　　：センサ
２２　　：発光部
２３　　：可変焦点光学系
３　　　：制御装置
３０　　：通信バス
３１　　：通信部
３２　　：記憶部
３３　　：制御部
３３１　：センサ制御部
３３２　：発光制御部
３３３　：光学系制御部
３３４　：演算部
５１　　：対象
５２　　：対象
５３　　：対象
ＣＲ１　：第１の動作周波数
ＣＲ２　：第２の動作周波数
ＦＰ　　：焦点位置
Ｌ　　　：投影光

Claims (16)

  1. プロジェクタの制御装置であって、
    　発光制御部と、光学系制御部とを備え、
    　前記発光制御部は、前記プロジェクタの発光部が第１の動作周波数で発光するように前記発光部を制御可能に構成され、ここで前記発光部は、画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、前記実物体と前記発光部との距離は時間的及び／又は空間的に可変で、
    　前記光学系制御部は、可変焦点光学系が第２の動作周波数で前記投影光の焦点位置を変化させるように前記可変焦点光学系を制御可能に構成され、
    　前記第１の動作周波数は、１００Ｈｚ以上であり、前記第２の動作周波数は、３０Ｈｚ以上であるもの。
  2. 請求項１に記載の制御装置において、
    　前記光学系制御部は、前記焦点位置を動的に変化させて複数の焦点位置が規定されるように、前記可変焦点光学系を制御し、
    　前記発光制御部は、前記複数の焦点位置それぞれに焦点が合ったタイミングで前記投影光が発光されるように、前記発光部を制御するもの。
  3. 請求項２に記載の制御装置において、
    　前記発光制御部は、互いに異なる前記焦点位置に対応する第１及び第２の投影面に、前記タイミングでそれぞれ異なる画像を含む前記投影光が発光されるように、前記発光部を制御するもの。
  4. 請求項１～請求項３の何れか１つに記載の制御装置において、
    　前記可変焦点光学系は、ステップ波形又は周期波形を入力として前記焦点位置を決定するように構成されるもの。
  5. 請求項１～請求項４の何れか１つに記載の制御装置において、
    　前記光学系制御部は、前記焦点位置に基づいて前記投影光の画角を動的に変化させるように、前記可変焦点光学系を制御するもの。
  6. 請求項１～請求項５の何れか１つに記載の制御装置において、
    　前記発光制御部は、前記焦点位置に基づいて前記投影光の強度を動的に制御するように構成されるもの。
  7. 請求項１～請求項５の何れか１つに記載の制御装置において、
    　前記発光制御部は、前記焦点位置に基づいて前記投影光の発光時間を動的に制御するように構成されるもの。
  8. 請求項６又は請求項７に記載の制御装置において、
    　前記発光制御部は、前記投影光の反射輝度が前記焦点位置によらず略均一になるように制御するもの。
  9. 請求項１～請求項８の何れか１つに記載の制御装置において、
    　前記可変焦点光学系は、互いに屈折率の異なる２種類の媒体の境界部分の形状を変化させることで、前記投影光の焦点位置を制御するように構成されるもの。
  10. 　請求項１～請求項９の何れか１つに記載の制御装置において、
    　前記発光制御部は、周囲環境に応じて前記投影光の強度を動的に制御するように構成されるもの。
  11. プロジェクタであって、
    　発光部と、可変焦点光学系と、請求項１～請求項１０の何れか１つに記載の制御装置とを備え、
    　前記発光部は、画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、前記実物体と前記発光部との距離は時間的及び／又は空間的に可変で、
    　前記可変焦点光学系は、前記投影光の焦点位置を可変に構成されるもの。
  12. 請求項１１に記載のプロジェクタにおいて、
    　第１のセンサをさらに備え、
    　前記第１のセンサは、第１の情報を取得するように構成され、
    　　ここで前記第１の情報とは、前記投影光が投影された対象の奥行き位置、形状、及び投影された態様の少なくとも１つを含む情報で、
    　前記光学系制御部は、前記第１の情報に基づいて前記焦点位置が補正されるように前記可変焦点光学系を制御するもの。
  13. 請求項１１又は請求項１２に記載のプロジェクタにおいて、
    　第２のセンサをさらに備え、
    　前記第２のセンサは、第２の情報を取得するように構成され、
    　　ここで前記第２の情報とは、前記投影光が投影された対象の画角内での位置を含む情報で、
    　前記発光制御部は、前記第２の情報に基づいて、前記投影光の全画角に対して占める前記画像の位置又は大きさを制御するように構成されるもの。
  14. 投影システムであって、
    　プロジェクタと、可変焦点光学系と、請求項１～請求項１０の何れか１つに記載の制御装置とを備え、
    　前記プロジェクタは発光部を備え、前記発光部が画像を含む投影光を投影対象である実物体に投影可能に発光するように構成され、前記実物体と前記発光部との距離は時間的及び／又は空間的に可変で、
    　前記可変焦点光学系は、前記投影光の焦点位置を可変に構成されるもの。
  15. 投影方法であって、
    　請求項１１～請求項１３の何れか１つに記載のプロジェクタ、又は請求項１４に記載の投影システムを用いて、動的な対象、奥行き方向に凹凸を有する対象、及び前記奥行き方向が異なる２以上の対象の少なくとも１つに、画像を含む投影光を投影してプロジェクションマッピングを実施する方法。
  16. プログラムであって、
    　コンピュータを、請求項１～請求項１０の何れか１つに記載の制御装置の各部として機能させるためのもの。
PCT/JP2020/034180 2019-09-09 2020-09-09 プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム WO2021049548A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021545578A JP7228294B2 (ja) 2019-09-09 2020-09-09 プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019164022 2019-09-09
JP2019-164022 2019-09-09

Publications (1)

Publication Number Publication Date
WO2021049548A1 true WO2021049548A1 (ja) 2021-03-18

Family

ID=74866968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034180 WO2021049548A1 (ja) 2019-09-09 2020-09-09 プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7228294B2 (ja)
WO (1) WO2021049548A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023052495A1 (de) * 2021-09-30 2023-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einstellbare projektionsvorrichtung

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131323A (ja) * 2001-10-26 2003-05-09 Seiko Epson Corp プロジェクタ
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
JP2011158595A (ja) * 2010-01-29 2011-08-18 Konica Minolta Opto Inc 投影光学系及びプロジェクタ
JP2013516827A (ja) * 2010-01-05 2013-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像投影装置及び方法
EP2919060A2 (en) * 2014-03-11 2015-09-16 Shenzhen Future 3D Tech Co., Ltd. Optical system for stereoscopic projection
JP2016224335A (ja) * 2015-06-02 2016-12-28 カシオ計算機株式会社 光源装置及び投影装置
JP2017163431A (ja) * 2016-03-10 2017-09-14 パナソニックＩｐマネジメント株式会社 投影装置
JP2018013656A (ja) * 2016-07-22 2018-01-25 キヤノン株式会社 投射型表示装置
WO2019064968A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 投影装置および投影方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750443B (zh) * 2013-12-31 2018-02-27 联想(北京)有限公司 一种显示控制方法及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131323A (ja) * 2001-10-26 2003-05-09 Seiko Epson Corp プロジェクタ
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
JP2013516827A (ja) * 2010-01-05 2013-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像投影装置及び方法
JP2011158595A (ja) * 2010-01-29 2011-08-18 Konica Minolta Opto Inc 投影光学系及びプロジェクタ
EP2919060A2 (en) * 2014-03-11 2015-09-16 Shenzhen Future 3D Tech Co., Ltd. Optical system for stereoscopic projection
JP2016224335A (ja) * 2015-06-02 2016-12-28 カシオ計算機株式会社 光源装置及び投影装置
JP2017163431A (ja) * 2016-03-10 2017-09-14 パナソニックＩｐマネジメント株式会社 投影装置
JP2018013656A (ja) * 2016-07-22 2018-01-25 キヤノン株式会社 投射型表示装置
WO2019064968A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 投影装置および投影方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023052495A1 (de) * 2021-09-30 2023-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einstellbare projektionsvorrichtung

Also Published As

Publication number Publication date
JP7228294B2 (ja) 2023-02-24
JPWO2021049548A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP6826174B2 (ja) 表示システムおよび方法
EP3368170B1 (en) Adjusting image frames based on tracking motion of eyes
KR102543341B1 (ko) 눈 추적 정보에 기반하는 이미지 영역에서의 적응형 파라미터
JP7036879B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
US9674510B2 (en) Pulsed projection system for 3D video
US20160370591A1 (en) Head mounted display
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
US20210068652A1 (en) Glint-Based Gaze Tracking Using Directional Light Sources
US20200314395A1 (en) Trajectory estimation for a mems reflector
WO2018040665A1 (en) Holographic display device and operating method thereof
WO2021049548A1 (ja) プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム
US20220130218A1 (en) Systems and methods for characterization of mechanical impedance of biological tissues
CN116507267A (zh) 用于视网膜眼睛跟踪的多个注视相关照明源
JP6540676B2 (ja) ヘッドマウントディスプレイ
US20240046584A1 (en) Information processing apparatus
EP4198873A1 (en) Sparse rgb filter hardware accelerator

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20862053

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545578

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20862053

Country of ref document: EP

Kind code of ref document: A1