WO2022064914A1 - 制御装置、制御方法、および記録媒体 - Google Patents

制御装置、制御方法、および記録媒体 Download PDF

Info

Publication number
WO2022064914A1
WO2022064914A1 PCT/JP2021/030529 JP2021030529W WO2022064914A1 WO 2022064914 A1 WO2022064914 A1 WO 2022064914A1 JP 2021030529 W JP2021030529 W JP 2021030529W WO 2022064914 A1 WO2022064914 A1 WO 2022064914A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
selection element
hand
display information
displayed
Prior art date
Application number
PCT/JP2021/030529
Other languages
English (en)
French (fr)
Inventor
藤男 奥村
Original Assignee
Ｎｅｃプラットフォームズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃプラットフォームズ株式会社 filed Critical Ｎｅｃプラットフォームズ株式会社
Publication of WO2022064914A1 publication Critical patent/WO2022064914A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • the present disclosure relates to a control device or the like that controls a control target device according to a detected operation.
  • Interface technology has been developed that allows input operations without touching the keyboard or touch panel.
  • an interface has been developed that projects an image onto a desk, wall, floor, palm, etc., and accepts operations on the image.
  • the operation is performed by directly touching the desk, wall, floor, or the like.
  • the input operation can be performed by touching the image projected on the palm of one's hand, but the information that can be displayed is limited due to the small projection area.
  • the image displayed on one hand is operated by the other hand, so that it is necessary to perform the operation with both hands.
  • Patent Document 1 discloses an information input device capable of operating an electronic device with one hand.
  • the device of Patent Document 1 detects a human palm and projects an information input image including a plurality of option images corresponding to a plurality of processes for operating an electronic device onto the palm.
  • the device of Patent Document 1 determines that the predetermined option image has been selected when a predetermined motion by the palm is detected from the state where the predetermined option image is projected on the center of the palm, and corresponds to the selected option image. Send the processing to the electronic device.
  • an image for information input including a plurality of option images is displayed in association with the palm of the hand. Therefore, in the method of Patent Document 1, the option images that can be displayed are limited. Further, in the method of Patent Document 1, the selected option image is recognized according to the position of the option image displayed on the palm. Therefore, in the method of Patent Document 1, if the position of the option image displayed on the palm is displaced due to the posture of the user or the like, there is a possibility that the option image not intended by the user is selected.
  • An object of the present disclosure is to provide a control device or the like capable of realizing an interface capable of performing stable input operation with one hand.
  • the control device of one aspect of the present disclosure controls a projection control unit that controls a projection device that projects a projection light that displays display information including at least one selection element, and a photographing device that captures a projection range of the projection device.
  • a projection control unit controls a projection device that projects a projection light that displays display information including at least one selection element, and a photographing device that captures a projection range of the projection device.
  • Instruction to detect the projectile from the image captured by the imaging control unit and the imaging device detect the projection point from the image including the detected projectile, and change the display state of the selection element that overlaps the projection point. Is output, the detection target operation for the selected element whose display state has been changed is detected, and the detection unit that outputs an instruction to change the display information according to the detection of the detection target operation, and the detection unit that outputs the instruction
  • a projection device that projects a projection light that displays display information including at least one selection element is controlled, a photographing device that captures a projection range of the projection device is controlled, and the photographing device is controlled.
  • the projection device is controlled to detect the projectile from the image captured by, detect the projection point from the image including the detected projectile, and change the display state of the selection element that overlaps the projection point.
  • the projection device is controlled to change the display information according to the detection of the detection target operation for the selection element whose display state has been changed.
  • a corresponding program of the present disclosure includes a process of controlling a projection device that projects a projection light that displays display information including at least one selection element, and a process of controlling an imaging device that captures a projection range of the projection device.
  • the process of detecting the projectile from the image captured by the photographing device, the process of detecting the projection point from the image including the detected projectile, and the display state of the selection element overlapping the projection point are changed.
  • the computer is made to execute a process of controlling the projection device and a process of controlling the projection device so as to change the display information according to the detection of the detection target operation for the selected element whose display state has been changed.
  • the information input system of the present embodiment projects display information including selection elements.
  • the display information includes selection elements such as numbers, letters, and symbols.
  • the selection elements are arranged in a matrix or along a uniaxial direction.
  • the display information includes options such as automatic door PIN, elevator floor, speaker volume, program channels such as television (also called television), and electronic device on / off. ..
  • the information input system of the present embodiment detects the selected state of the selected element by the user, and changes the display state of the selected selected element according to the detected selected state. Then, the information input system of the present embodiment detects the user's action with respect to the selected selection element, changes the display state of the selected selection element according to the detected action, and changes the display state of the selected selection element. Performs control according to.
  • FIG. 1 is a block diagram showing a configuration of an information input system 1 according to the present embodiment.
  • the information input system 1 includes a photographing device 11, a projection device 12, and a control device 13.
  • the photographing device 11 is a camera having a photographing function.
  • the projection device 12 is a projector having a projection function.
  • the control device 13 (also referred to as a controller) is a device that controls the photographing device 11 and the projection device 12.
  • the control device 13 is realized by a microcomputer having a processor and a memory.
  • the control device 13 is connected to the photographing device 11 and the projection device 12 and controls the photographing device 11 and the projection device 12.
  • control device 13 is connected to a control target device (not shown) and controls the control target device according to the selection of the selection element by the user.
  • the controlled device is an automatic door switch, an elevator elevator, a speaker volume controller, a television channel switch, an electronic device switch, or the like.
  • the controlled device is not limited to the example given here.
  • the photographing device 11 photographs the projection range of the projected light (display information) projected by the projection device 12 according to the control of the control device 13.
  • the photographing device 11 outputs the image data generated by photographing the projection range to the control device 13.
  • the photographing device 11 is realized by a digital camera that is sensitive to a wavelength band in the visible region.
  • the photographing device 11 may be realized by a video camera capable of photographing a moving image.
  • the photographing apparatus 11 may have an infrared camera function that is sensitive to a wavelength band in the infrared region.
  • the projection device 12 projects the projection light forming the display information according to the control of the control device 13.
  • the projection device 12 projects the display information including the selection element within the projection range. Further, the projection device 12 projects display information according to the selection status of the selection element by the user toward the user's hand.
  • the projection device 12 is realized by a projector using a phase modulation type spatial light modulator.
  • the projection device 12 may be realized by a projector using a method other than the phase modulation type spatial light modulator.
  • the control device 13 controls the photographing device 11 and the projection device 12.
  • the control device 13 generates a projection condition for projecting the display information including the selection element, and outputs the generated projection condition to the projection device 12.
  • the control device 13 controls the photographing device 11 to photograph the projection range.
  • the control device 13 acquires image data from the photographing device 11 and detects the projected object from the acquired image data.
  • the control device 13 detects the projected object based on the features extracted from the image data.
  • the projectile is the palm of the user.
  • the control device 13 detects the palm based on features such as the shape of the finger extracted from the image data and the positional relationship of the fingers.
  • the method for detecting the projected object by the control device 13 is not particularly limited as long as the projected object can be detected.
  • the control device 13 detects the projection point of the projected object. For example, if the object to be projected is the palm, the projection point is the center of the palm. For example, the control device 13 detects the center of the palm based on the distance from the thumb, the positional relationship of the fingers, and the like.
  • control device 13 When the control device 13 detects the projection point, it detects the selection element that overlaps with the projection point. When the control device 13 detects a selection element that overlaps with the projection point, the control device 13 controls the projection device 12 so as to change the display state of the selection element. Further, when the control device 13 detects that the selection element whose display state has been changed deviates from the projection point, the control device 13 outputs an instruction to restore the display state of the selection element to the projection device 12. For example, when the control device 13 detects a selection element that overlaps with the projection point, the control device 13 controls the projection device 12 so as to blink the selection element.
  • the control device 13 when the control device 13 detects a selection element that overlaps with the projection point, the control device 13 controls the projection device 12 so as to enlarge the selection element. For example, when the control device 13 detects a selection element that overlaps with the projection point, the control device 13 controls the projection device 12 so as to project another element associated with the selection element.
  • the other element is a further selection element associated with the selection element included in the initially displayed display information.
  • the other element is a mark according to the selection status of the selection element included in the display information initially displayed.
  • the control device 13 controls the projection device 12 so as to change the display information according to the detection target operation. For example, when the control device 13 detects a "hand-holding motion" or "hand-moving motion" as a detection target motion when a certain selection element displayed on the palm of the user is selected, the control device 13 determines.
  • the projection device 12 is controlled so as to change the display state of the selected element. For example, when the control device 13 detects a detection target operation for a certain selection element, the control device 12 erases the selection element, replaces the selection element with a different symbol, or surrounds the selection element with a frame. To control.
  • control device 13 when the control device 13 detects the detection target operation of the projected object in a state where a certain selection element is selected, the control device 13 outputs a control signal to the control target device. For example, when the control device 13 detects a "hand-holding motion" as a detection target motion while a certain selection element displayed on the palm of the user is selected, the control device 13 responds to the selected selection element. Outputs a control signal to the controlled device.
  • FIG. 2 is a conceptual diagram showing an example in which the information input system 1 projects display information including a selection element onto a projection range.
  • display information having "A", “B”, “C”, “D”, “E”, and “F” as selection elements is projected onto the projection range.
  • the information input system 1 may detect that a person has entered the projection range, and may use the detection as a trigger to project display information including a selection element onto the projection range.
  • the information input system 1 may detect that a moving object has entered the projection range or that a moving object having the characteristics of a person has entered. Further, apart from the information input system 1, a device for detecting the entry of a person into the projection range may be installed.
  • FIG. 3 is a conceptual diagram showing an example in which a user enters a projection range in which display information projected by the information input system 1 is displayed.
  • the selection element "D" is displayed on the palm of the user.
  • the user moves the hand within the projection range to change the selection element displayed on the palm, and performs the detection target operation on the desired selection element.
  • display information can be projected in a focus-free manner, so that the user's hand is clear no matter what height the user's hand enters.
  • Image is displayed.
  • the control device 13 may change the size of the selection element according to the size of the detected hand.
  • FIG. 4 is a conceptual diagram showing an example in which a user's hand enters the projection range while the display information is projected on the projection range.
  • FIG. 4 (1) shows a state in which the selection elements "A" and "B" are displayed on the palm of the user.
  • FIG. 4 (2) shows a state in which the display state of the selection element "B" overlapped with the position of the center of the user's palm is changed and blinks as the user's hand moves.
  • FIG. 4 (3) it is indicated by a circle that the operation of holding the user's hand is detected and the selection of the selection element "B" is accepted while the display state of the selection element "B” is changed. It is an example shown in a box.
  • one selection element can be selected from a plurality of selection elements with one hand. Further, according to the present embodiment, since the selection status of the selection element can be visually recognized, stable input operation becomes possible.
  • FIG. 5 is a block diagram showing the configuration of the photographing apparatus 11.
  • the photographing apparatus 11 includes an image pickup element 111, an image processing processor 113, an internal memory 115, and a data output circuit 117.
  • the photographing device 11 includes the functions of a general digital camera.
  • the image sensor 111 is an element for photographing a shooting range and acquiring shooting data of the shooting range.
  • the range including the projection range is set as the shooting range.
  • the image sensor 111 is a photoelectric conversion element in which semiconductor components are integrated into an integrated circuit.
  • the image pickup device 111 can be realized by, for example, a solid-state image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor).
  • the image pickup element 111 is composed of an element that captures light in the visible region, but may have a function of capturing and detecting electromagnetic waves such as infrared rays, ultraviolet rays, X-rays, gamma rays, radio waves, and microwaves.
  • the image processing processor 113 executes image processing such as dark current correction, interpolation calculation, color space conversion, gamma correction, aberration correction, noise reduction, and image compression on the imaged data captured by the image sensor 111. It is an integrated circuit that converts to image data. If the image information is output without being processed, the image processing processor 113 may be omitted.
  • the internal memory 115 is a storage element that temporarily stores image information that cannot be processed by the image processing processor 113 at one time and image information that has been processed.
  • the image information captured by the image sensor 111 may be temporarily stored in the internal memory 115.
  • the internal memory 115 may be configured by a general memory.
  • the data output circuit 117 outputs the image data processed by the image processing processor 113 to the control device 13.
  • FIG. 6 is a block diagram showing the configuration of the projection device 12.
  • FIG. 7 is a conceptual diagram showing a configuration example of the projection optical system of the projection device 12.
  • FIGS. 6 and 7 show an example of using a phase modulation type spatial light modulator, the projection mechanism of the projection device 12 is not limited to the one using the phase modulation type spatial light modulator.
  • the projection device 12 includes an irradiation unit 121, a light source drive power supply 125, a spatial light modulator 126, a modulator drive unit 127, and a projection optical system 129.
  • FIG. 6 is conceptual and does not accurately represent the positional relationship between each component, the irradiation direction of light, and the like.
  • the irradiation unit 121 emits coherent light 120 having a specific wavelength.
  • the irradiation unit 121 includes a light source 122 and a collimating lens 123.
  • the light 110 emitted by the irradiation unit 121 passes through the collimating lens 123 to become coherent light 120, and is incident on the display unit of the spatial light modulator 126.
  • the irradiation unit 121 includes a laser light source as the irradiation unit 121.
  • the irradiation unit 121 is configured to emit light in the visible region.
  • the irradiation unit 121 may be configured to emit light other than the visible region such as an infrared region or an ultraviolet region.
  • the light source drive power supply 125 is a power supply that drives the light source 122 of the irradiation unit 121 according to the control of the control device 13 to emit light from the irradiation unit 121.
  • the spatial light modulator 126 displays a pattern (phase distribution corresponding to the display information) for projecting display information including selection elements on its own display unit according to the control of the modulator drive unit 127.
  • a predetermined pattern is displayed on the display unit of the spatial light modulator 126, and the display unit is irradiated with light 120.
  • the spatial light modulator 126 emits the reflected light (modulated light 130) of the light 120 incident on the display unit toward the projection optical system 129.
  • the incident angle of the light 120 is not perpendicular to the display unit of the spatial light modulator 126. That is, in the present embodiment, the emission axis of the light 120 from the irradiation unit 121 is slanted with respect to the display unit of the spatial light modulator 126, and the light 120 is displayed on the display unit of the spatial light modulator 126 without using a beam splitter. Is incident. Therefore, in the configuration of FIG. 7, since the light 120 is not attenuated by passing through the beam splitter, the utilization efficiency of the light 120 can be improved.
  • the spatial light modulator 126 can be realized by a phase modulation type spatial light modulator that receives the incident of coherent light 120 having the same phase and modulates the phase of the incident light 120. Since the light emitted from the projection optical system 129 using the phase modulation type spatial light modulator 126 is focus-free, it is necessary to change the focus for each projection distance even if the light is projected to a plurality of projection distances. There is no.
  • the display unit of the phase modulation type spatial light modulator 126 displays a phase distribution corresponding to display information including a plurality of selection elements according to the drive of the modulator drive unit 127.
  • the modulated light 130 reflected by the display unit of the spatial light modulator 126 displaying the phase distribution becomes an image as if a kind of diffraction grating formed an aggregate, so that the light diffracted by the diffraction grating gathers. An image is formed.
  • the spatial light modulator 126 is realized by, for example, a spatial light modulator using a ferroelectric liquid crystal display, a homogenius liquid crystal display, a vertically oriented liquid crystal display, or the like.
  • the spatial light modulator 126 can be realized by LCOS (Liquid Crystal on Silicon).
  • the spatial light modulator 126 may be realized by a MEMS (Micro Electro Mechanical System).
  • phase modulation type spatial light modulator 126 energy can be concentrated on the image portion by operating so as to sequentially switch the locations where the projected light is projected. Therefore, if the phase modulation type spatial light modulator 126 is used, if the output of the light source is the same, the display information can be displayed brighter than that of other methods.
  • the modulator drive unit 127 causes the display unit of the spatial light modulator 126 to display a pattern for generating display information including selection elements according to the control of the control device 13.
  • the modulator drive unit 127 spatially photomodulates the parameters that determine the difference between the phase of the light 110 irradiated on the display unit of the spatial light modulator 126 and the phase of the modulated light 130 reflected by the display unit. Drive the vessel 126.
  • the parameters that determine the difference between the phase of the light 120 applied to the display unit of the phase modulation type spatial light modulator 126 and the phase of the modulated light 130 reflected by the display unit are, for example, the refractive index and the optical path length. It is a parameter related to optical characteristics.
  • the modulator drive unit 127 changes the refractive index of the display unit by changing the voltage applied to the display unit of the spatial light modulator 126. If the refractive index of the display unit is changed, the light 120 irradiated to the display unit is appropriately diffracted based on the refractive index of each portion of the display unit.
  • phase distribution of the light 120 irradiated to the phase modulation type spatial light modulator 126 is modulated according to the optical characteristics of the display unit.
  • the method of driving the spatial light modulator 126 by the modulator driving unit 127 is not limited to those mentioned here.
  • the projection optical system 129 projects the modulated light 130 modulated by the spatial light modulator 126 as the projected light 150.
  • the projection optical system 129 includes a Fourier transform lens 191, an aperture 192, and a projection lens 193.
  • the modulated light 130 modulated by the spatial light modulator 126 is irradiated as the projected light 150 by the projection optical system 129.
  • any of the components of the projection optical system 129 may be omitted.
  • configurations other than the Fourier transform lens 191, the aperture 192, and the projection lens 193 may be added to the projection optical system 129.
  • the Fourier transform lens 191 is an optical lens for forming an image formed when the modulated light 130 reflected by the display unit of the spatial light modulator 126 is projected at infinity at a nearby focal point. In FIG. 7, the focal point is formed at the position of the aperture 192.
  • the aperture 192 shields the higher-order light contained in the light focused by the Fourier transform lens 191 and specifies the range in which the projected light 150 is displayed.
  • the opening of the aperture 192 is opened smaller than the outermost circumference of the display area at the position of the aperture 192, and is installed so as to block the peripheral area of the display information at the position of the aperture 192.
  • the opening of the aperture 192 is formed in a rectangular or circular shape.
  • the aperture 192 is preferably installed at the focal position of the Fourier transform lens 191 but may be deviated from the focal position as long as it can exert a function of erasing higher-order light.
  • the projection lens 193 is an optical lens that magnifies and projects the light focused by the Fourier transform lens 191.
  • the projection lens 193 projects the projected light 150 so that the display information corresponding to the phase distribution displayed on the display unit of the spatial light modulator 126 is projected within the projection range.
  • the projected light 150 projected from the projection optical system 129 is not uniformly projected over the entire projection range, but displays display information. It is projected intensively on the constituent characters, symbols, frames, and other parts. Therefore, according to the information input system 1 of the present embodiment, the amount of light emitted from the light 120 can be substantially reduced, so that the overall light output can be suppressed. That is, since the information input system 1 can be composed of a small and low power irradiation unit 121, the light source drive power supply 125 for driving the irradiation unit 121 can be reduced in output, and overall power consumption can be reduced.
  • the irradiation unit 121 is configured to emit light having a plurality of wavelengths, the wavelength of the light emitted from the irradiation unit 121 can be changed.
  • the color of the display information can be changed by changing the wavelength of the light emitted from the irradiation unit 121. Further, by using the irradiation unit 121 that simultaneously emits light having different wavelengths, it is possible to display display information composed of a plurality of colors.
  • FIG. 8 is a block diagram showing a detailed configuration of the control device 13.
  • the control device 13 includes an imaging control unit 131, a detection unit 132, a projection condition setting unit 133, a projection condition storage unit 134, a projection control unit 135, and a control signal transmission unit 136.
  • the shooting control unit 131 causes the shooting device 11 to shoot the projection range, and acquires the image data shot by the shooting device 11.
  • the timing of shooting by the shooting device 11 can be arbitrarily set.
  • the photographing control unit 131 causes the photographing device 11 to photograph the projection range at predetermined time intervals.
  • the photographing control unit 131 causes the photographing device 11 to photograph the projection range at a predetermined timing.
  • the shooting control unit 131 may have the shooting device 11 shoot a still image in the projection range, or may have the shooting device 11 shoot a moving image in the projection range.
  • the still image taken by the photographing device 11 is referred to as image data.
  • the frame image constituting the moving image shot by the shooting device 11 is also referred to as image data.
  • the shooting control unit 131 outputs the acquired image data to the detection unit 132.
  • the detection unit 132 acquires image data from the shooting control unit 131.
  • the detection unit 132 detects the projected object from the acquired image data.
  • the detection unit 132 detects the projected object based on the features extracted from the image data.
  • the detection unit 132 detects the palm based on features such as the shape of the finger extracted from the image data and the positional relationship of the fingers.
  • the detection unit 132 detects the palm based on features such as shape and color extracted from the acquired image data.
  • the detection unit 132 detects the projection point of the projected object.
  • the projection point of the projectile is the center of the palm.
  • the detection unit 132 detects the center of the palm based on the position of the thumb with respect to the palm, the positional relationship of the fingers, and the like.
  • the center of the palm may be defined by the center of gravity of the palm or the like, but is not particularly limited as long as the display of selectable selection elements fits in the palm.
  • the detection unit 132 detects the overlap between the projection point and the selection element from the image data.
  • the detection unit 132 detects the overlap between the projection point and the selection element from the image data
  • the detection unit 132 outputs an instruction to change the display state of the selection element to the projection condition setting unit 133.
  • the detection unit 132 detects from the image data that the selection element whose display state has been changed deviates from the projection point
  • the detection unit 132 outputs an instruction to restore the display state of the selection element to the projection condition setting unit 133.
  • the detection unit 132 instructs to display the display information after the person is detected from the image data captured by the photographing device 11. Is output to the projection condition setting unit 133.
  • the detection unit 132 When the detection target operation of the projected object is detected while the display state of the selected element has been changed, the detection unit 132 outputs an instruction to change the display information according to the detection target operation to the projection condition setting unit 133. .. For example, when the detection unit 132 detects a "hand-holding motion" as a detection target motion when the display state of the selection element displayed on the palm of the user is changed, the detection unit 132 changes the display state of the selection element. The instruction to be changed is output to the projection condition setting unit 133.
  • the detection unit 132 when the detection unit 132 detects a detection target operation for a certain selection element, the detection unit 132 sets a projection condition for instructing the selection element to be erased, the selection element to be replaced with a different symbol, or to be surrounded by a frame. Output to unit 133.
  • the detection unit 132 detects the detection target operation of the projected object in the state where the display state of the selection element is changed, the detection unit 132 generates a control signal for controlling according to the detection target operation.
  • the detection unit 132 outputs the generated control signal to the control signal transmission unit 136.
  • the detection unit 132 generates a control signal for controlling a controlled device such as an automatic door switch, an elevator elevator, a speaker volume controller, a television channel switch, and a switch of an electronic device. ..
  • the detection unit 132 When controlling the controlled device by combining several selection elements, the detection unit 132 generates a control signal corresponding to the selection of the selection elements a predetermined number of times.
  • the detection unit 132 when inputting a 4-digit personal identification number, the detection unit 132 generates a control signal based on the selected selection element after accepting the selection of the selection element four times.
  • the detection unit 132 may be provided with a storage unit for storing the selected element being selected.
  • the projection condition setting unit 133 sets the projection conditions for projecting the display information. For example, the projection condition setting unit 133 sets the projection condition for projecting the display information in response to the instruction of the detection unit 132.
  • the projection conditions set by the projection condition setting unit 133 include a light source control condition and a modulation element control condition described later.
  • the projection condition setting unit 133 outputs the set projection condition to the projection control unit 135.
  • the projection condition setting unit 133 acquires a pattern corresponding to the display information to be displayed in the projection range from the projection condition storage unit 134.
  • the pattern corresponding to the display information displayed in the projection range is the phase distribution.
  • an example of using the phase modulation type spatial light modulator 126 will be described.
  • the projection condition setting unit 133 sets the timing of emitting light from the projection device 12 and the light source control condition for controlling the output of the emitted light.
  • the light source control condition is a condition for controlling the timing at which the irradiation unit 121 included in the projection device 12 emits the light 120.
  • the light source control condition may be stored in the projection condition storage unit 134.
  • the projection condition setting unit 133 sets the modulation element control conditions for controlling the display information to be displayed in the projection range.
  • the modulation element control condition corresponds to the condition for displaying the pattern corresponding to the image to be displayed in the display information displayed in the projection range on the display unit of the spatial light modulator 126.
  • the light source control condition and the modulation element control condition are stored in advance in the projection condition storage unit 134.
  • the projection condition setting unit 133 acquires a phase distribution for displaying display information from the projection condition storage unit 134 at the timing of irradiating the projection light 150.
  • the projection condition setting unit 133 outputs the projection condition including the acquired phase distribution and the projection timing to the projection control unit 135.
  • the projection condition setting unit 133 sets the projection condition for changing the display state of the selected element. For example, the projection condition setting unit 133 sets the projection condition for blinking the selection element that overlaps with the projection point. For example, the projection condition setting unit 133 sets projection conditions for enlarging the selection element that overlaps with the projection point. For example, the projection condition setting unit 133 sets a projection condition for projecting another element associated with the selection element that overlaps with the projection point. For example, the other element is a further selection element associated with the selection element included in the initially displayed display information. For example, another element is a marker for selecting a selection element.
  • the projection condition setting unit 133 obtains an instruction to restore the display state of the selected element from the detection unit 132 when the display state of the selected element is changed
  • the projection condition setting unit 133 obtains an instruction to restore the display state of the selected element from the detection unit 132, based on the display state of the selected element. Set the projection conditions for returning.
  • the projection condition setting unit 133 When the projection condition setting unit 133 receives an instruction to change the display information according to the detection target operation from the detection unit 132, the projection condition setting unit 133 sets the projection condition for projecting the display information according to the detection target operation. For example, the projection condition setting unit 133 erases the selection element whose display state has been changed, replaces the selection element with a different symbol, or encloses the selection element in a frame according to the instruction of the detection unit 132. To set.
  • the projection condition storage unit 134 stores a pattern corresponding to the display information including the selection element. Further, the projection condition storage unit 134 stores a pattern for changing the display state of the selected element. For example, the projection condition storage unit 134 stores a phase distribution corresponding to display information including a selection element and a phase distribution for changing the display state of the selection element. For example, the projection condition storage unit 134 stores a pattern for displaying information such as figures, symbols, numbers, and characters in the projection area. Further, the projection condition storage unit 134 stores the light source control conditions and the modulation element control conditions included in the projection conditions.
  • the projection control unit 135 acquires the projection condition from the projection condition setting unit 133.
  • the projection control unit 135 controls the projection device 12 so as to project the projection light 150 toward the projection range according to the projection conditions set by the projection condition setting unit 133.
  • the projection control unit 135 synchronizes the timing of displaying the pattern corresponding to the image to be displayed in the projection range on the display unit of the spatial light modulator 126 with the irradiation timing of the light emitted from the irradiation unit 121 of the projection device 12. ..
  • an image corresponding to the pattern displayed on the display unit of the spatial light modulator 126 is displayed in the projection range.
  • the control signal transmission unit 136 receives the control signal from the detection unit 132.
  • the control signal transmission unit 136 outputs the received control signal to a control target device (not shown).
  • the controlled target device that has received the control signal from the control signal transmitting unit 136 operates in response to the control signal.
  • FIG. 9 is a flowchart for explaining an example of the operation of the photographing apparatus 11.
  • the photographing apparatus 11 will be described as an operation main body.
  • the operation main body of the process according to the flowchart of FIG. 9 may be the information input system 1.
  • the photographing device 11 photographs the projection range according to the control of the control device 13 (step S111).
  • the photographing device 11 captures a still image or a moving image according to the control of the control device 13.
  • the imaging by the imaging device 11 is continued until a stop instruction is received from the control device 13.
  • the photographing device 11 transmits the image data of the captured projection range to the control device 13 (step S112). If the stop instruction has not been received from the control device 13 (No in step S113), the process returns to step S111.
  • step S113 When a stop instruction is received from the control device 13 (Yes in step S113), the photographing device 11 stops photographing in the projection range (step S114).
  • FIG. 10 is a flowchart for explaining an example of the operation of the projection device 12. Regarding the processing according to the flowchart of FIG. 10, the projection device 12 will be described as the main operating body.
  • the operation main body of the process according to the flowchart of FIG. 10 may be the information input system 1.
  • the projection device 12 projects the display information including the selection element onto the projection range according to the control of the control device 13 (step S122).
  • the projection of the display information by the projection device 12 is continued until the stop instruction is received from the control device 13.
  • step S122 when a change instruction of the display information is received from the control device 13 (Yes in step S122), the projection device 12 changes the display information according to the change instruction (step S123). After step S123, the process returns to step S122. Further, even when the instruction for changing the display information has not been received from the control device 13 (No in step S122) and the stop instruction signal has not been received (No in step S124), the process returns to step S122.
  • step S122 If the display information change instruction has not been received from the control device 13 (No in step S122) and the stop instruction signal has been received (Yes in step S124), the projection device 12 stops the projection of the display information (step). S125).
  • FIG. 11 is a flowchart for explaining an example of the operation of the control device 13. Regarding the processing according to the flowchart of FIG. 11, the control device 13 will be described as an operation main body.
  • the operation main body of the process according to the flowchart of FIG. 11 may be the information input system 1.
  • the control device 13 performs projection control on the projection device 12 (step S131).
  • the display information projected from the projection device 12 is displayed on the floor surface, wall surface, ceiling surface, desk surface, etc. within the projection range.
  • control device 13 performs shooting control on the shooting device 11 (step S132).
  • the imaging of the projection range by the imaging device 11 is continued until the control device 13 issues a stop instruction.
  • control device 13 receives the image data of the projection range from the photographing device 11 (step S133). For example, the control device 13 adds image processing to the received image data in order to facilitate detection of the projectile and the projection point from the image data received from the photographing device 11.
  • the control device 13 executes the motion detection process (step S135).
  • the control device 13 detects the projected object based on the features extracted from the image data.
  • the projectile is the palm of the user.
  • the control device 13 detects the palm based on features such as the shape of the finger extracted from the image data and the positional relationship of the fingers.
  • the process returns to step S132.
  • step S135 When a stop signal is output after the operation detection process in step S135 (Yes in step S136), the control device 13 transmits a stop instruction to the photographing device 11 and the projection device 12 (step S137). On the other hand, if the stop signal is not output after the operation detection process in step S135 (No in step S136), the process returns to step S132.
  • FIG. 12 is a flowchart for explaining an example of the operation detection process by the control device 13.
  • the process according to the flowchart of FIG. 12 corresponds to the operation detection process of step S135 of FIG.
  • the control device 13 will be described as an operation main body.
  • the operation main body of the process according to the flowchart of FIG. 12 may be the information input system 1.
  • the control device 13 detects the projection point of the projected object (step S141). For example, the control device 13 detects the center of the palm based on the distance from the thumb, the positional relationship of the fingers, and the like.
  • step S142 When the selection element overlapping the projection point is detected (Yes in step S142), the control device 13 generates a projection condition for highlighting the selection element overlapping the projection point, and outputs the projection condition to the projection device 12 (step S143). ). On the other hand, when the selection element overlapping the projection point is not detected (No in step S142), the control device 13 waits until the selection element overlapping the projection point is detected.
  • step S143 When the detection target operation is detected after step S143 (Yes in step S144), the control device 13 outputs the projection condition for changing the display information to the projection device 12 according to the detected operation (step S145). On the other hand, when the detection target operation is not detected (No in step S144), the control device 13 returns to step S142. If the detection target operation is not detected (No in step S144), the control device 13 may wait until the detection target operation is detected.
  • step S145 If there is another detection operation after step S145 (Yes in step S146), the process returns to step S144. On the other hand, when there is no other detection operation (No in step S146), the control device 13 generates a control signal corresponding to the selected selection element, and outputs the generated control signal to the control target device (not shown). (Step S147). After step S147, the process proceeds to step S136 of FIG.
  • FIG. 13 is a conceptual diagram for explaining Application Example 1.
  • This application example is an example of selecting one selection element from nine selection elements arranged in a matrix of 3 rows ⁇ 3 columns.
  • the detection target motion in this application example is a "hand-holding motion”.
  • FIG. 13 (1-1) shows a state in which display information including nine selection elements is displayed in a matrix on the floor surface of the projection range.
  • the display information includes "4", “1", “7”, “9”, “8”, “2”, “5", "0”, and “6" as selection elements. In this application example, any one of the nine numbers displayed on the floor is selected.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 13 (1-2) shows a state in which the user's right hand is inserted between the floor surface on which the display information is displayed and the information input system 1.
  • some numbers are displayed on the palm.
  • the size of the numbers displayed on the palm is smaller than the numbers displayed on the floor surface according to the distance from the information input system 1, and changes according to the height at which the palm is inserted.
  • FIG. 13 (1-3) the selection element “9” overlapped with the center of the hand, which is the projection point, due to the user moving the hand to the left from the state of FIG. 13 (1-2).
  • the state has been changed.
  • the selection element “9” overlapped with the center of the hand is enlarged and displayed.
  • the state of FIG. 13 (1-3) indicates that the selection element "9" is the selection target.
  • FIG. 13 (1-4) shows a state in which the selection element "9" is overlapped with the center of the hand, and the detection target operation "hand-holding motion” is detected.
  • the selection element “9” disappears due to the detection of the “hand-holding motion”.
  • the disappearance of "9” of the selection element corresponds to the change of the display state according to the detection of the detection target operation.
  • FIG. 14 is a conceptual diagram for explaining a usage scene of this application example.
  • FIG. 14 is an example in which display information including a plurality of selection elements is displayed in front of an automatic door for which security is set, the selection elements are selected, and a password is input.
  • the switch of the automatic door corresponds to the controlled device.
  • FIG. 14 (1) shows a state in which display information including nine selection elements is displayed on the floor surface of the projection range.
  • the display information includes "1", “2", “3”, “4", "5", “6”, “7”, “8”, and “9” as selection elements.
  • FIG. 14 (1) corresponds to FIG. 13 (1-1).
  • FIG. 14 (2) shows a state in which the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1.
  • FIG. 14 (2) some numbers are displayed on the palm.
  • FIG. 14 (2) corresponds to FIGS. 13 (1-2 to 4). In the example of FIG. 14, it is assumed that the personal identification number is input in FIG. 14 (2).
  • FIG. 14 (3) shows a state in which display information indicating that the authentication by the password input by the user was successful is displayed on the door.
  • the display information "PLEASE ENTER” is displayed on the door.
  • FIG. 14 (3) corresponds to the change of the display information due to the detection target operation being performed in the state where the selection element is selected.
  • FIG. 14 (4) shows a state in which authentication by the password input by the user is successful, the switch which is the controlled target device is driven, and the automatic door is opened. At the timing when the automatic door of FIG. 14 (4) opens, the projection of the display information is stopped.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used for inputting a password or a personal identification number.
  • FIG. 15 is a conceptual diagram for explaining Application Example 2.
  • This application example is an example of selecting one selection element from five selection elements arranged vertically in a row.
  • the detection target motion in this application example is a “hand-holding motion”.
  • FIG. 15 (2-1) shows a state in which display information including five selection elements is displayed vertically in a row on the floor surface of the projection range.
  • the display information includes "1", “2", “3", “4", and "5" as selection elements. In this application example, any one of the five numbers displayed on the floor is selected.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 15 (2-2) the user's right hand is inserted between the floor surface on which the display information is displayed and the information input system 1, and the selection element “3” overlapped with the center of the hand as the projection point.
  • the display state of is changed.
  • the selection element "3" overlapped with the center of the hand is displayed in blinking.
  • the selection element "3" is the selection target.
  • FIG. 15 (2-3) shows a state in which the selection element "3" is overlapped with the center of the hand, and the "hand-holding motion", which is the detection target motion, is detected.
  • the selection element “3” disappears due to the detection of the “hand-holding motion”.
  • the disappearance of the selection element “3” corresponds to the change of the display state according to the detection of the detection target operation.
  • FIG. 15 (2-4) shows a state in which " ⁇ ” is displayed at the position of "3" of the input selection element.
  • FIG. 15 (2-4) it can be recognized that the selection element "3" has been input by displaying " ⁇ ” at the position where the selection element "3" disappears.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used for selecting the number of floors of an elevator.
  • FIG. 16 is a conceptual diagram for explaining Application Example 3.
  • This application example is an example of using display information including four main elements arranged vertically in a row and a plurality of sub-elements associated with those main elements as selection elements. In this application example, one of four main elements or a plurality of sub-elements associated with the four main elements is selected.
  • the detection target motion in this application example is a “hand-holding motion”.
  • FIG. 16 (3-1) shows a state in which display information including four selection elements is displayed vertically in a row on the floor surface of the projection range.
  • the display information includes "1", “10", “20”, and “30” as selection elements. "1”, “10”, “20”, and “30” are the main elements.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 16 (3-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “20” overlapped with the center of the hand as the projection point.
  • the display state of is changed.
  • the selection element “20” overlapped with the center of the hand is displayed blinking.
  • a horizontal bar also referred to as a bar
  • At least one sub-element is associated with the horizontal bar.
  • FIG. 16 (3-3) shows a state in which "23", which is a selection element of the sub-element, is displayed at the center of the hand moved to the right along the horizontal bar line.
  • displaying the selection element "23" corresponds to changing the display state of the selection element that overlaps the center of the hand, which is the projection point.
  • FIG. 16 (3-4) shows a state in which the selection element "23" is overlapped with the center of the hand, and the detection target operation "hand-holding motion” is detected.
  • the circle surrounding the selection element “23” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “23” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element "23” has been input by enclosing the selection element "23” in a circle.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example is suitable when there are many selection elements such as selection of the floor of a high-rise elevator.
  • FIG. 17 is a conceptual diagram for explaining Application Example 4.
  • This application example is an example of using display information including four main elements arranged vertically in a row and a plurality of sub-elements associated with those main elements as selection elements. In this application example, one of four main elements or a plurality of sub-elements associated with the four main elements is selected.
  • the detection target motion in this application example is a "hand-holding motion".
  • FIG. 17 (4-1) shows a state in which display information including four main elements is displayed vertically in a row on the floor surface of the projection range.
  • the display information includes "1", “10", “20”, and “30” as selection elements. "1”, “10”, “20”, and “30” are the main elements.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 17 (4-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “20” overlapped with the center of the hand as the projection point.
  • the display state of is changed.
  • the selection element "20" overlapped with the center of the hand is displayed blinking.
  • a plurality of sub-elements associated with the selection element "20" are displayed in two vertical columns to the right of the initially displayed main element. To. If you move your hand to the right while multiple sub-elements associated with the main element "20” are displayed, the sub-elements associated with the main element "20” will be selected. It will be possible.
  • the selection element "20" which is the main element, is associated with the selection elements "21 to 29", which are the sub-elements.
  • FIG. 17 (4-3) shows a state in which the selection element “27” overlaps the center of the hand moved to the right.
  • the selection element “27” overlapped with the center of the hand is blinking and displayed.
  • FIG. 17 (4-4) shows a state in which the selection element "27” is overlapped with the center of the hand, and the detection target operation "hand-holding motion” is detected.
  • the circle surrounding the selection element “27” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “27” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element “27” has been input by enclosing the selection element “27” in a circle.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example is suitable when there are many selection elements, such as selection of the floor of a high-rise elevator, as in application example 3.
  • FIG. 18 is a conceptual diagram for explaining Application Example 5.
  • This application example is an example of using display information including four main elements arranged vertically in a row and a plurality of sub-elements associated with those main elements as selection elements. In this application example, one of four main elements or a plurality of sub-elements associated with the four main elements is selected.
  • the detection target motions in this application example are "the motion of moving the hand to the right” and “the motion of holding the hand”.
  • the “movement of the hand to the right” includes “the movement of the hand to move diagonally upward to the right", “the movement of the hand to move to the right sideways", and "the movement of the hand to move diagonally to the right downward".
  • FIG. 18 (5-1) shows a state in which display information including four main elements is displayed vertically in a row on the floor surface of the projection range.
  • the display information includes "1", “10", “20”, and “30” as selection elements. "1”, “10”, “20”, and “30” are the main elements.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 18 (5-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “20” overlapped with the center of the hand as the projection point.
  • the display state of is changed.
  • the selection element “20” overlapped with the center of the hand is displayed blinking.
  • a plurality of sub-elements associated with the main element in the selected state are displayed. It is displayed according to the moving direction.
  • the "movement of the hand moving to the right” is the “movement of the hand moving diagonally upward to the right", the “movement of the hand moving to the right sideways", and the “movement of the hand diagonally downward to the right”. "including.
  • the "movement of the hand moving diagonally upward to the right", the “movement of the hand moving diagonally to the right", and the “movement of the hand moving diagonally downward to the right” are detected as separate detection target movements.
  • the sub-elements displayed by “the movement of the hand moving diagonally upward to the right", “the movement of the hand moving diagonally to the right", and “the movement of the hand moving diagonally downward to the right” are the hand up and down. It may be configured to switch by moving it.
  • FIG. 18 (5-3) "the movement of the hand moving diagonally upward to the right” is detected by the movement of the hand diagonally upward to the right from the state of FIG. 18 (5-2), and the movement is detected.
  • FIG. 18 (5-3) shows a state in which "27", "28", and "29” are displayed as sub-elements.
  • the display state of "29" overlapped with the center of the hand is changed and blinks.
  • FIG. 18 (5-4) “the movement of the hand moving to the right sideways” was detected by the movement of the hand to the right sideways from the state of FIG. 18 (5-2), and the movement was detected.
  • FIG. 18 (5-4) shows a state in which “24”, “25”, and “26” are displayed as sub-elements.
  • the display state of "25” overlapped with the center of the hand is changed and blinks.
  • FIG. 18 (5-5) "the movement of the hand moving diagonally downward to the right” is detected by the movement of the hand diagonally downward to the right from the state of FIG. 18 (5-2), and the movement is detected.
  • FIG. 18 (5-5) shows a state in which "21", “22”, and “23” are displayed as sub-elements.
  • the display state of "21” overlapped with the center of the hand is changed and blinks.
  • the "hand-holding motion which is the detection target motion
  • the selection element "21" is overlapped with the center of the hand
  • the selected selection element "23” is input. The description of the change in the display state and the output of the control signal according to the detection of the "hand-holding motion” will be omitted.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example is suitable when there are many selection elements, such as selection of the floor of a high-rise elevator, as in application examples 3 to 4.
  • the number of displayed sub-elements can be reduced, so that it becomes easier to find the selected element as compared with the application examples 3 to 4.
  • FIG. 19 is a conceptual diagram for explaining Application Example 6.
  • This application example is an example using display information including a horizontal bar extending in the horizontal direction and a number associated with a position on the horizontal bar as a selection element. In this application example, one of a plurality of numbers associated with the position on the horizontal bar is selected.
  • the detection target motion in this application example is a "hand-holding motion".
  • FIG. 19 (6-1) shows a state in which display information including a horizontal bar (also referred to as a bar) extending in the horizontal direction is displayed in a vertical row on the floor surface of the projection range.
  • a number from 0 to 100 which is a selection element, is associated with the position on the horizontal bar from the left end to the right end. That is, at least one selection element is associated with the horizontal bar.
  • the numbers 0 to 100 which are selection elements, are arranged at equal intervals.
  • FIG. 19 (6-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “65” overlapped with the center of the hand as the projection point. Is displayed. In this application example, displaying "65" of the selection element corresponds to changing the display state of the selection element overlapped with the center of the hand which is the projection point. In FIG. 19 (6-2), a circular mark is displayed at the position 0 on the horizontal bar to which the selection element “65” is associated.
  • FIG. 19 (3-3) shows a state in which the selection element "65” is overlapped with the center of the hand, and the detection target operation "hand-holding motion” is detected.
  • the circle surrounding the selection element “65” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “65” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element “65” has been input by enclosing the selection element “65” in a circle.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used for changing the volume of a speaker or a microphone.
  • the volume of the speaker or the microphone can be changed intuitively.
  • FIG. 20 is a conceptual diagram for explaining Application Example 7.
  • This application example is an example of using display information including a plurality of numbers associated with positions in the height direction as selection elements.
  • one of a plurality of numbers associated with the position in the height direction is selected.
  • fan-shaped display information corresponding to the size of the numbers of the selected elements is displayed in association with each number.
  • the detection target motions in this application example are "the motion of moving the hand up and down" and "the motion of holding the hand”.
  • the selection element is displayed on the palm.
  • a number from 0 to 100, which is a selection element is associated with the position in the height direction from the bottom to the top.
  • the numbers 0 to 100, which are selection elements may be arranged at equal intervals or may be arranged at different intervals.
  • calibration may be performed in advance to set a position in the height direction of 0, which is the minimum value, and a position in the height direction of 100, which is the maximum value. For example, if the height of the hand is lower than the minimum height set by calibration, the minimum value of 0 is displayed, and if the height of the hand is higher than the maximum height set by calibration, the maximum value of 100 is displayed. Just do it.
  • the height of the hand can be determined according to the size of the hand detected by the information input system 1.
  • FIG. 20 (7-1) shows the mark displayed on the floor surface of the projection range and the palm inserted between the information input system 1 and the selection element “50” according to the position in the height direction.
  • the fan shape associated with the size of the number of the selected element is displayed.
  • the central angle of the fan shape in FIG. 20 (7-1) is displayed at an angle (for example, 180 degrees) associated with the selection element “50”. Move your hand up and down vertically to see the selection elements associated with each height.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 20 (7-2) the user's right hand inserted between the floor surface on which the display information is projected and the information input system 1 has moved to a position lower than the height in FIG. 20 (7-1). It is in a state.
  • the selection element according to the height of the hand is displayed. Changing the displayed selection element corresponds to changing the display state in accordance with the detection of the detection target operation.
  • the "movement of the hand up and down” can be detected by the fluctuation of the size of the hand on the image data.
  • FIG. 20 (7-2) shows a state in which "25" of the selection element corresponding to the position in the height direction and a fan shape associated with the size of the number of the selection element are displayed.
  • the central angle of the fan shape in FIG. 20 (7-2) is displayed at an angle (for example, 90 degrees) associated with the selection element “25”.
  • FIG. 20 (7-3) the user's right hand inserted between the floor surface on which the display information is projected and the information input system 1 has moved to a position higher than the height in FIG. 20 (7-1). It is in a state.
  • FIG. 20 (7-3) shows a state in which "75" of the selection element corresponding to the position in the height direction and a fan shape associated with the size of the number of the selection element are displayed.
  • the central angle of the fan shape in FIG. 20 (7-3) is displayed at an angle (for example, 270 degrees) associated with the selection element “75”.
  • FIG. 20 (7-4) shows a state in which the selection element "75" is displayed in the hand, and the detection target operation "hand-holding motion” is detected.
  • the fan shape is erased and a circle surrounding the selection element "75” is displayed.
  • the fact that the fan shape is erased and the circle surrounding the selection element "75” is displayed corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element "75” has been input by enclosing the selection element "75” in a circle.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used for changing the volume of a speaker or a microphone.
  • the volume of the speaker or the microphone can be changed intuitively.
  • FIG. 21 is a conceptual diagram for explaining Application Example 8.
  • This application example uses display information that includes a main element (hiragana in a row) arranged in a matrix and a plurality of sub-elements (hiragana in each line) associated with those main elements as selection elements.
  • the sub-elements associated with the main element "wa” are "o" and "n".
  • one of ten main elements or a plurality of sub-elements associated with the ten main elements is selected.
  • flick input is assumed, but the description of the part where the symbols on both sides of the main element "wa" are input is omitted.
  • the detection target movements in this application example are "thumb closing movement” and "hand holding movement”.
  • FIG. 21 (8-1) shows a state in which display information including 10 main elements is displayed in a matrix on the floor surface of the projection range.
  • display information select the main elements "a”, “ka”, “sa”, “ta”, “na”, “ha”, “ma”, “ya”, “ra”, and “wa”. Include as an element.
  • the display information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 21 (8-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “na” overlaps the center of the hand, which is the projection point.
  • the display state of is changed.
  • the selection element "na” that overlaps the center of the hand is displayed in blinking.
  • FIG. 21 (8-3) the “thumb closing action” is detected with the main element “na” selected, and a plurality of sub-elements associated with the main element “na” are displayed in the palm of the hand. It is in the state of being done.
  • hiragana characters (“ni”, “nu”, “ne”, “no”) of na line are displayed as sub-elements around the main element “na”. If you move your hand while multiple sub-elements associated with the main element "na” are displayed, multiple sub-elements associated with the main element "na" (“ni", “ni”, “ “Nu”, “Ne”, “No") are displayed.
  • FIG. 21 (8-4) shows a state in which the selection element "ni" is overlapped with the center of the hand moved to the left.
  • the selection element "ni" that overlaps the center of the hand is displayed in blinking.
  • FIG. 21 (8-5) shows a state in which the selection element "ni” overlaps the center of the hand, and the detection target motion "hand-holding motion” is detected.
  • the circle surrounding the selection element “ni” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the "ni” of the selection element corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element "ni” has been input by enclosing the selection element "ni” in a circle.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used to input characters and symbols such as hiragana, katakana, and alphabet by flicking.
  • FIG. 22 is a conceptual diagram for explaining Application Example 9.
  • This application example is an example of using display information including three main elements arranged vertically in a row and a plurality of sub-elements associated with those selection elements as selection elements. In this application example, one of three main elements or a plurality of sub-elements associated with the three main elements is selected.
  • the detection target motions in this application example are "the motion of the hand moving to the left", "the motion of the hand moving to the right", and "the motion of holding the hand”.
  • FIG. 22 (9-1) shows a state in which display information including three main elements is displayed vertically in a row on the floor surface of the projection range.
  • the display information includes "Ch”, “ON”, and “OFF” as selection elements.
  • the selection element “Ch” indicates a channel of an electronic device such as a television.
  • the selection element “ON” indicates that an electronic device such as a television is turned on.
  • the selection element “OFF” indicates that the power of an electronic device such as a television is turned off.
  • the display information may be displayed on a wall surface, a ceiling surface, or the like.
  • FIG. 22 (9-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “Ch” overlapped with the center of the hand as the projection point.
  • the display state of is changed.
  • the selection element “Ch”, which is the main element overlapping the center of the hand is displayed in blinking.
  • the detection target motion of "the motion of the hand moving to the left” or “the motion of the hand moving to the right” is detected, and the main element "Ch” is detected.
  • a plurality of sub-elements associated with "" are displayed in one vertical column. In this application example, it is assumed that a plurality of different sub-elements are associated with each other on the left and right of the main element "Ch”.
  • FIG. 22 (9-3) by moving the hand to the left from the state of FIG. 22 (9-2), the detection target motion of "the motion of the hand moving to the left” is detected, and the main element "Ch” is detected.
  • a plurality of sub-elements associated with each other are displayed in one vertical column on the left side.
  • a plurality of sub-elements (“7”, “ 8 ”,“ 9 ”,“ 10 ”,“ 13 ”) are displayed.
  • those selection elements can be selected by moving the hand up and down.
  • the selection element “8” is placed in the center of the hand moved upward while a plurality of associated sub-elements are displayed on the left side of the main element “Ch”. It is a state in which the display state of the selected element "8" is changed due to overlapping. In FIG. 22 (9-4), the selection element "8" overlapped with the center of the hand is displayed in blinking.
  • FIG. 22 (9-5) shows a state in which the selection element "8" is overlapped with the center of the hand, and the detection target motion "hand-holding motion” is detected.
  • the circle surrounding the selection element “8” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “8” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element "8" has been input by enclosing the selection element "8" in a circle.
  • FIG. 22 (9-6) by moving the hand to the right from the state of FIG. 22 (9-2), the detection target motion of "the motion of the hand moving to the right” is detected, and the main element "Ch” is detected.
  • a plurality of sub-elements associated with each other are displayed in one vertical column on the right side.
  • a plurality of sub-elements (“1”, “3”, “4", "5", “6") are displayed. With a plurality of associated sub-elements displayed on the left side of the main element "Ch", those selection elements can be selected by moving the hand up and down.
  • the selection element “5” is placed in the center of the hand moved downward with a plurality of associated sub-elements displayed on the right side of the main element “Ch”. It is a state in which the display state of the selected element "5" is changed due to overlapping. In FIG. 22 (9-7), the selection element “5” overlapping the center of the hand is blinking and displayed.
  • FIG. 22 (9-8) shows a state in which the selection element "5" is overlapped with the center of the hand, and the detection target motion "hand-holding motion” is detected.
  • the circle surrounding the selection element “5” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element "5" corresponds to the change of the display state according to the detection of the detection target operation.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used for selecting a TV program or the like.
  • FIG. 23 is a conceptual diagram for explaining Application Example 10.
  • This application example is an example of using display information including three main elements arranged vertically in a row and a plurality of sub-elements associated with those main elements as selection elements. In this application example, one of three main elements or a plurality of sub-elements associated with the three main elements is selected.
  • the detection target motions in this application example are "the motion of the hand moving to the left", "the motion of the hand moving to the right", and "the motion of holding the hand”.
  • FIG. 23 (10-1) shows a state in which display information including three main elements is displayed vertically in a row on the floor surface of the projection range.
  • the display information includes "TP", "ON”, and “OFF” as selection elements.
  • the selection element “TP” indicates the set temperature (Temperature) of a temperature-adjustable device such as an air conditioner.
  • the selection element “ON” indicates that a device such as an air conditioner is turned on.
  • “OFF” of the selection element indicates that the power of the device such as an air conditioner is turned off.
  • the displayed information may be displayed on a wall surface, a ceiling surface, a desk surface, or the like.
  • FIG. 23 (10-2) the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1, and the selection element “TP” overlapped with the center of the hand as the projection point.
  • the display state of is changed.
  • the selection element "TP” overlapped with the center of the hand is displayed in blinking.
  • the current set temperature is displayed as the selection element when a predetermined time elapses after the display state of the selection element "TP" is changed.
  • FIG. 23 (10-3) a predetermined time has elapsed since the display state of the selected element “TP” was changed, and the main element “TP” was changed to the current set temperature (“24”). It is in a state.
  • the selection element "24" overlapped with the center of the hand is blinking and displayed.
  • the detection target motion of "the motion of the hand moving to the left” or “the motion of the hand moving to the right” is detected, and the main element "TP” is detected.
  • a plurality of sub-elements associated with "" are displayed in one vertical column. In this application example, it is assumed that a plurality of different sub-elements are associated with each other on the left and right of the main element "TP".
  • FIG. 23 (10-4) by moving the hand to the left from the state of FIG. 23 (10-3), the detection target motion of "the motion of the hand moving to the left” is detected, and the main element "TP” is detected.
  • a plurality of sub-elements associated with each other are displayed in one vertical column on the left side.
  • a plurality of sub-elements (“20”) associated with the left side of the main element “TP” in response to the detection of the detection target operation “movement of the hand moving to the left”. "21", “22”, “23”) are displayed. With a plurality of associated sub-elements displayed on the left side of the main element "TP", you can select those selection elements by moving your hand up or down.
  • the selection element “23” overlaps the center of the hand moved upward with a plurality of associated sub-elements displayed on the left side of the main element “TP”. , The display state of the selected element “23” has been changed. In FIG. 23 (10-5), the selection element "23" overlapped with the center of the hand is displayed in blinking.
  • FIG. 23 (10-6) shows a state in which the selection element "23" is overlapped with the center of the hand, and the detection target operation "hand-holding motion” is detected.
  • the circle surrounding the selection element “23” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “23” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element "23” has been input by enclosing the selection element "23” in a circle.
  • FIG. 23 (10-7) by moving the hand to the right from the state of FIG. 23 (10-3), the detection target motion of "the motion of the hand moving to the right” is detected, and the main element "TP" is detected.
  • a plurality of sub-elements associated with each other are displayed in one vertical column on the right side.
  • a plurality of sub-elements (“25”, associated with the right side of the main element “TP”, in response to the detection of the detection target motion “movement of the hand moving to the right”, “26", “27”, “28") are displayed.
  • the selection element “26” overlaps the center of the hand moved downward with a plurality of associated sub-elements displayed on the right side of the main element “TP”. , The display state of the selected element “26" has been changed. In FIG. 23 (10-8), the selection element “26” overlapped with the center of the hand is blinking and displayed.
  • FIG. 23 (10-9) shows a state in which the selection element "26" is overlapped with the center of the hand, and the detection target operation "hand-holding motion” is detected.
  • the circle surrounding the selection element “26” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “26” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element “26” has been input by enclosing the selection element “26” in a circle.
  • this application example it is possible to select a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the plurality of selected selection elements.
  • this application example can be used for setting the temperature of an air conditioner or the like.
  • FIG. 24 is a conceptual diagram for explaining Application Example 11.
  • This application example is an example of changing the display information including the selection element according to the detection target operation.
  • one of a plurality of selection elements is selected.
  • an example of selecting characters included in the alphabet is given as a plurality of selection elements.
  • the detection target movements in this application example are "thumb closing movement" and "hand holding movement”.
  • FIG. 24 (11-1) the user's right hand is inserted between the floor surface on which the display information including the selection element “A” is projected and the information input system 1, and the user's right hand is inserted at the center of the hand which is the projection point.
  • the display state of "A” of the overlapped selection elements has been changed.
  • "A" of the selection element overlapped with the center of the hand is displayed blinking.
  • FIG. 24 (11-1) when the "thumb closing action" is detected while the display state of the selection element is changed, another selection element associated with the selected selection element is displayed. Is displayed. In this application example, the alphabets are displayed in the order of "A", "B", “C”, ..., Depending on the detection of the "thumb closing action".
  • FIG. 24 (11-2) shows a state in which the "thumb closing operation" is detected with the selection element "A" selected, and the display information including the selection element "A” disappears.
  • the selection element following the selection element is displayed without making the user visually aware that the displayed selection element has disappeared. You may.
  • FIG. 24 (11-4) shows a state in which the "hand-holding motion", which is the detection target motion, is detected in a state where the selection element "B" is overlapped with the center of the hand.
  • the circle surrounding the selection element “B” is displayed due to the detection of the “hand-holding motion”.
  • the display of the circle surrounding the selection element “B” corresponds to the change of the display state according to the detection of the detection target operation.
  • it can be recognized that the selection element "B” has been input by enclosing the selection element "B” in a circle.
  • this application example it is possible to change a plurality of selection elements included in the display information displayed in the projection range with one hand and execute control according to the selection of the changed selection elements.
  • this application example can be used to input characters such as hiragana, katakana, and alphabets, numbers, and symbols.
  • 25 and 26 are examples of usage scenes in which an elevator is called toward a floor of a desired floor.
  • 25 and 26 show an example in which a plurality of people on the first floor of a five-story building with one basement floor and five floors above ground call an elevator. Calling an elevator, as in the usage scenes of FIGS. 25 and 25, corresponds to application to a kind of reservation system.
  • FIG. 25 is an example of recognizing a person approaching an elevator and displaying display information including the floor number as a selection element in the projection range visually recognized by the recognized person.
  • FIG. 25 (1) shows a state in which display information including five selection elements is displayed on the floor surface of the projection range.
  • the display information includes "B1", “2", “3", "4", and "5" as selection elements.
  • display information is displayed for each of the person on the left side and the person on the right side.
  • FIG. 25 (2) shows a state in which the user's right hand is inserted between the floor surface on which the display information is projected and the information input system 1. In FIG. 25 (2), it is assumed that the person on the left side selects "B1" and the person on the right side selects "5".
  • FIG. 25 (3) shows display information including an arrow indicating that an elevator heading in a different direction is coming to the person on the left side who selected “B1” and the person on the right side who selected “5” for each person. This is an example of displaying in.
  • FIG. 25 (4) shows a state in which the called elevator arrives and the elevator door is open. At the timing when the automatic door in FIG. 25 (4) opens, the projection of the display information is stopped.
  • FIG. 26 is an example of recognizing a person approaching the elevator and displaying display information including the direction of the elevator as a selection element in the projection range visually recognized by the recognized person.
  • FIG. 26 (1) shows a state in which display information including two selection elements is displayed on the floor surface of the projection range.
  • the display information includes an upward triangle " ⁇ " and a downward three-stroke " ⁇ " as selection elements.
  • the upward triangle " ⁇ ” is a mark for calling an elevator heading upstairs
  • the downward triangle " ⁇ ” is a mark for calling an elevator heading downstairs.
  • display information is displayed for each of the person on the left side and the person on the right side.
  • FIG. 26 (2) shows a state in which the user's foot is inserted between the floor surface on which the display information is projected and the information input system 1.
  • FIG. 26 (2) it is assumed that the person on the left side selects the downward three-stroke shape “ ⁇ ” and the person on the right side selects the upward triangle “ ⁇ ”.
  • FIG. 26 (3) includes an arrow indicating that an elevator heading in a different direction is coming to the person on the left side who has selected the downward three-stroke shape “ ⁇ ” and the person on the right side who has selected the upward triangle “ ⁇ ”. This is an example of displaying display information for each person.
  • FIG. 26 (4) shows a state in which the called elevator arrives and the elevator door is open. At the timing when the automatic door in FIG. 26 (4) opens, the projection of the display information is stopped.
  • the floor number of the elevator can be selected in the elevator by using the methods of Application Examples 2 to 5 (FIGS. 15 to 18).
  • the information input system 1 may control the display information to be displayed to a person approaching the elevator and not to display the display information to a person moving away from the elevator or a person passing in front of the elevator. good.
  • the information input system 1 may recognize a predetermined operation of a person located in the vicinity of the elevator and display the display information.
  • the information input system 1 controls a person who cannot use his / her feet, such as a person in a wheelchair, to display display information in which a selection element can be selected in the palm of the hand, as shown in FIG. do.
  • the information input system 1 may switch between the selection of the selection element using the palm (FIG. 25) and the selection of the selection element using the foot (FIG. 26) according to the state of the person.
  • the information input system 1 may display display information regarding the operating status of the elevator on the door of the elevator or the floor surface in front of the elevator.
  • the information input system of the present embodiment includes a projection device, a photographing device, and a control device.
  • the projection device projects projection light that displays display information including at least one selection element under the control of the control device.
  • the photographing device photographs the projection range of the projection device according to the control of the control device.
  • the control device detects the projected object from the image captured by the photographing device, and detects the projection point from the image including the detected projected object.
  • the control device controls the projection device so as to change the display state of the selection element that overlaps with the projection point in the image.
  • the control device controls the projection device so as to change the display information according to the detection of the detection target operation for the selection element whose display state has been changed.
  • the information input system of the present embodiment makes the user visually recognize that the selection element displayed on the palm is in a selectable state by changing the display state of the selection element.
  • a user who visually recognizes a selectable selection element can select the selection element by performing a detection target operation while the display state of the selection element is still changed if the selection element is a selection target. Then, when the information input system of the present embodiment detects the detection target operation for the selection element in the state where the display state is changed, the information input system changes the display information so as to notify the user that the selection element has been selected. Therefore, according to the information input system of the present embodiment, the selection status of the selection element can be visually recognized by changing the display state of the display information, so that a stable input operation can be performed with one hand.
  • the control device of one aspect of the present embodiment includes a photographing control unit, a detection unit, a projection condition setting unit, and a projection control unit.
  • the imaging control unit controls the imaging device that captures the projection range of the projection device.
  • the detection unit detects the projected object from the image captured by the photographing device, and detects the projection point from the image including the detected projected object.
  • the detection unit outputs an instruction to change the display state of the selection element that overlaps with the projection point.
  • the detection unit detects the detection target operation for the selected element whose display state has been changed, and outputs an instruction to change the display information according to the detection of the detection target operation.
  • the projection condition setting unit sets the projection condition of the projection device in the projection control unit according to the instruction output from the detection unit.
  • the projection control unit controls a projection device that projects projected light that displays display information including at least one selection element.
  • the detection unit detects the action to be detected according to a change in at least one of the shape, size, and position of the projected object.
  • the projectile is the palm and the projection point is the center of the palm.
  • the detection unit detects at least one of a hand-holding motion, a hand-moving motion, and a thumb-closing motion as a detection target motion.
  • the selection element includes at least one main element and at least one sub-element associated with the main element.
  • the detection unit outputs an instruction to change the display information so as to display at least one sub-element associated with the main element in response to the detection of the detection target operation for the main element whose display state has been changed.
  • the projection condition setting unit sets projection conditions for displaying a bar associated with at least one selection element.
  • the projection control unit controls the projection device so as to project the projection light that displays the display information including the bar inside the projection range based on the projection conditions.
  • the detection unit detects the position of the projectile on the bar from the image in which the display information including the bar is captured, and is instructed to change the display information so as to display the selection element according to the position of the projectile on the bar. Is output to the projection condition setting unit.
  • the control device of one aspect of the present embodiment includes a control signal output unit that outputs a control signal for controlling the controlled target device.
  • the detection unit generates a control signal according to the selection status of the selection element, and outputs the generated control signal to the control signal output unit.
  • the projection device of one aspect of the present embodiment has a phase modulation type spatial light modulator.
  • the phase distribution displayed on the display unit of the spatial light modulator and the timing of irradiating the display unit of the spatial light modulator with light are controlled according to the projection conditions, and the display unit of the spatial light modulator is controlled.
  • the reflected light of the light radiated to the light is projected as the projected light.
  • FIG. 27 is a block diagram showing an example of the configuration of the control device 20 of the present embodiment.
  • the control device 20 includes an imaging control unit 21, a detection unit 22, a projection condition setting unit 23, and a projection control unit 25.
  • the shooting control unit 21 controls a shooting device (not shown) that shoots the projection range of the projection device (not shown).
  • the detection unit 22 detects the projected object from the image captured by the photographing device, and detects the projection point from the image including the detected projected object.
  • the detection unit 22 outputs an instruction to change the display state of the selection element that overlaps with the projection point.
  • the detection unit 22 detects the detection target operation for the selected element whose display state has been changed, and outputs an instruction to change the display information according to the detection of the detection target operation.
  • the projection condition setting unit 23 sets the projection condition of the projection device in the projection control unit according to the instruction output from the detection unit.
  • the projection control unit 25 controls a projection device that projects projection light that displays display information including at least one selection element.
  • the control device of the present embodiment makes the user visually recognize that the selection element displayed on the palm is in a selectable state by changing the display state of the selection element.
  • a user who visually recognizes a selectable selection element can select the selection element by performing a detection target operation while the display state of the selection element is still changed if the selection element is a selection target. Then, when the control device of the present embodiment detects the detection target operation for the selected element whose display state has been changed, the control device changes the display information so as to notify the user that the selected element has been selected. Therefore, according to the control device of the present embodiment, the selection status of the selection element can be visually recognized by changing the display state of the display information, so that a stable input operation can be performed with one hand.
  • the information processing device 90 of FIG. 28 is a configuration example for executing the processing of the control device of each embodiment, and does not limit the scope of the present invention.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input / output interface 95, and a communication interface 96.
  • the interface is abbreviated as I / F (Interface).
  • the processor 91, the main storage device 92, the auxiliary storage device 93, the input / output interface 95, and the communication interface 96 are connected to each other via the bus 98 so as to be capable of data communication. Further, the processor 91, the main storage device 92, the auxiliary storage device 93, and the input / output interface 95 are connected to a network such as the Internet or an intranet via the communication interface 96.
  • the processor 91 expands the program stored in the auxiliary storage device 93 or the like to the main storage device 92, and executes the expanded program.
  • the software program installed in the information processing apparatus 90 may be used.
  • the processor 91 executes the processing by the control device according to this embodiment.
  • the main storage device 92 has an area in which the program is expanded.
  • the main storage device 92 may be a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured / added as the main storage device 92.
  • DRAM Dynamic Random Access Memory
  • MRAM Magnetic Random Access Memory
  • the auxiliary storage device 93 stores various data.
  • the auxiliary storage device 93 is composed of a local disk such as a hard disk or a flash memory. It is also possible to store various data in the main storage device 92 and omit the auxiliary storage device 93.
  • the input / output interface 95 is an interface for connecting the information processing device 90 and peripheral devices.
  • the communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on a standard or a specification.
  • the input / output interface 95 and the communication interface 96 may be shared as an interface for connecting to an external device.
  • the information processing device 90 may be configured to connect an input device such as a keyboard, a mouse, or a touch panel, if necessary. These input devices are used to input information and settings. When the touch panel is used as an input device, the display screen of the display device may also serve as the interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input / output interface 95.
  • the information processing apparatus 90 may be equipped with a display device for displaying information.
  • a display device it is preferable that the information processing device 90 is provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input / output interface 95.
  • the above is an example of the hardware configuration for enabling the control device according to each embodiment of the present invention.
  • the hardware configuration of FIG. 28 is an example of a hardware configuration for executing arithmetic processing of the control device according to each embodiment, and does not limit the scope of the present invention.
  • a program for causing a computer to execute a process related to a control device according to each embodiment is also included in the scope of the present invention.
  • a program recording medium on which a program according to each embodiment is recorded is also included in the scope of the present invention.
  • the recording medium can be realized by, for example, an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc). Further, the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • USB Universal Serial Bus
  • SD Secure Digital
  • the components of the control device of each embodiment can be arbitrarily combined. Further, the components of the control device of each embodiment may be realized by software or by a circuit.
  • Imaging device 12 Projection device 13
  • Control device 21 Imaging control unit 22
  • Detection unit 23 Projection condition setting unit 25
  • Projection control unit 111 Imaging element 113
  • Image processing processor 115 Internal memory 117
  • Data output circuit 121 Irradiation unit 122
  • Light source 123 Collimating lens 125
  • Light source drive power supply 126 Spatial light modulator 129
  • Imaging control unit 132 Detection unit 133
  • Projection condition setting unit 134 Projection condition storage unit 135
  • Control signal transmission unit 191 Fourier conversion lens 192 Aperture 193 Projection lens

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

片手で安定した入力操作を行うことができるインターフェースを実現するために、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する投射制御部と、投射装置の投射範囲を撮影する撮影装置を制御する撮影制御部と、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出し、投射点と重なった選択要素の表示状態を変更する指示を出力し、表示状態が変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて表示情報を変更する指示を出力する検出部と、検出部から出力された指示に応じて、投射装置の投射条件を投射制御部に設定する投射条件設定部と、を備える制御装置とする。

Description

制御装置、制御方法、および記録媒体
　本開示は、検出された動作に応じて制御対象装置を制御する制御装置等に関する。
　キーボードやタッチパネル等に触れずに、入力操作を行うことができるインターフェース技術が開発されている。例えば、机や壁、床、手の平などに画像を投射し、その画像に対する操作を受け付けるインターフェースが開発されている。そのようなインターフェースを用いる場合、机や壁、床などに直接触れて操作を行うことになる。手のひらに画像を投射する場合、自分の手のひらに投射された画像に触れることによって入力操作を行うことができるが、投射面積が小さいために表示できる情報が限られてしまう。また、手のひらに画像を投射する場合、一方の手に表示された画像に対してもう一方の手で操作を行うため、両手で操作を行う必要があった。
　特許文献１には、片手で電子機器を操作できる情報入力装置が開示されている。特許文献１の装置は、人の手のひらを検知し、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を手のひらに投影する。特許文献１の装置は、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を電子機器に送信する。
特開２０１８－７３１７０号公報
　特許文献１の手法では、複数の選択肢画像を含む情報入力用画像を手のひらに対応付けて表示させる。そのため、特許文献１の手法では、表示できる選択肢画像に限りがあった。また、特許文献１の手法では、手のひらに表示された選択肢画像の位置に応じて、選択中の選択肢画像が認識される。そのため、特許文献１の手法では、ユーザの体勢等に起因して、手のひらに表示された選択肢画像の位置がずれた場合、ユーザの意図しない選択肢画像が選択されてしまう可能性があった。
　本開示の目的は、片手で安定した入力操作を行うことができるインターフェースを実現できる制御装置等を提供することにある。
　本開示の一態様の制御装置は、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する投射制御部と、投射装置の投射範囲を撮影する撮影装置を制御する撮影制御部と、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出し、投射点と重なった選択要素の表示状態を変更する指示を出力し、表示状態が変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて表示情報を変更する指示を出力する検出部と、検出部から出力された指示に応じて、投射装置の投射条件を投射制御部に設定する投射条件設定部と、を備える。
　本開示の一態様の制御方法においては、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御し、投射装置の投射範囲を撮影する撮影装置を制御し、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出し、投射点と重なった選択要素の表示状態を変更するように投射装置を制御し、表示状態が変更された選択要素に対する検出対象動作の検出に応じて表示情報を変更するように投射装置を制御する。
　本開示の一対応のプログラムは、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する処理と、投射装置の投射範囲を撮影する撮影装置を制御する処理と、撮影装置によって撮影された画像から被投射体を検出する処理と、検出された被投射体を含む画像から投射点を検出する処理と、投射点と重なった選択要素の表示状態を変更するように投射装置を制御する処理と、表示状態が変更された選択要素に対する検出対象動作の検出に応じて表示情報を変更するように投射装置を制御する処理と、をコンピュータに実行させる。
　本開示によれば、片手で安定した入力操作を行うことができるインターフェースを実現できる制御装置等を提供することが可能になる。
第１の実施形態に係る情報入力システムの構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムによる表示情報の投射の一例を示す概念図である。 第１の実施形態に係る情報入力システムによって投射された表示情報に含まれる選択要素がユーザの手のひらに表示される一例を示す概念図である。 第１の実施形態に係る情報入力システムによる基本的な処理について説明するための概念図である。 第１の実施形態に係る情報入力システムの撮影装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの投射装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの投射装置の投射光学系の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの制御装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの撮影装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの投射装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの制御装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの制御装置による動作検出処理の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの適用例１について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例１の利用シーンについて説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例２について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例３について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例４について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例５について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例６について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例７について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例８について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例９について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例１０について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例１１について説明するための概念図である。 第１の実施形態に係る情報入力システムの利用シーンの一例について説明するための概念図である。 第１の実施形態に係る情報入力システムの利用シーンの別の一例について説明するための概念図である。 第２の実施形態に係る制御装置の構成の一例を示すブロック図である。 各実施形態に係る制御装置を実現するハードウェア構成の一例を示すブロック図である。
　以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
　（第１の実施形態）
　まず、本開示の第１の実施形態に係る情報入力システムについて図面を参照しながら説明する。本実施形態の情報入力システムは、選択要素を含む表示情報を投射する。例えば、表示情報には、数字や文字、記号等の選択要素が含まれる。例えば、表示情報が複数の選択要素を含む場合、選択要素は、マトリックス状や、一軸方向に沿って配列される。例えば、表示情報には、自動ドアの暗証番号、エレベータの階数や、スピーカの音量、テレビジョン（テレビとも呼ぶ）等の番組のチャンネル、電子機器のオン／オフ等の選択肢が選択要素として含まれる。本実施形態の情報入力システムは、ユーザによる選択要素の選択状態を検出し、検出された選択状態に応じて、選択された選択要素の表示状態を変更させる。そして、本実施形態の情報入力システムは、選択された選択要素に対するユーザの動作を検出し、検出された動作に応じて、選択された選択要素の表示状態を変更するとともに、選択された選択要素に応じた制御を実行する。
　（構成）
　図１は、本実施形態に係る情報入力システム１の構成を示すブロック図である。図１のように、情報入力システム１は、撮影装置１１、投射装置１２、および制御装置１３を備える。撮影装置１１は、撮影機能を有するカメラである。投射装置１２は、投射機能を有するプロジェクタである。制御装置１３（コントローラとも呼ぶ）は、撮影装置１１および投射装置１２を制御する装置である。例えば、制御装置１３は、プロセッサやメモリを有するマイクロコンピュータによって実現される。制御装置１３は、撮影装置１１および投射装置１２に接続され、撮影装置１１および投射装置１２を制御する。また、制御装置１３は、図示しない制御対象装置に接続され、ユーザによる選択要素の選択に応じて制御対象装置を制御する。例えば、制御対象装置は、自動ドアの開閉器や、エレベータの昇降器、スピーカの音量調整器、テレビのチャンネル切替器、電子機器のスイッチ等である。なお、制御対象装置は、ここであげた例に限定されない。
　撮影装置１１は、制御装置１３の制御に応じて、投射装置１２によって投射される投射光（表示情報）の投射範囲を撮影する。撮影装置１１は、投射範囲を撮影することで生成される画像データを制御装置１３に出力する。例えば、撮影装置１１は、可視領域の波長帯に感度のあるデジタルカメラによって実現される。例えば、撮影装置１１は、動画を撮影できるビデオカメラによって実現されてもよい。例えば、撮影装置１１は、赤外領域の波長帯に感度のある赤外線カメラの機能を有してもよい。
　投射装置１２は、制御装置１３の制御に応じて、表示情報を形成する投射光を投射する。投射装置１２は、選択要素を含む表示情報を投射範囲内に投射する。また、投射装置１２は、ユーザによる選択要素の選択状況に応じた表示情報を、そのユーザの手に向けて投射する。例えば、投射装置１２は、位相変調型の空間光変調器を用いたプロジェクタによって実現される。なお、投射装置１２は、位相変調型の空間光変調器以外の手法を用いたプロジェクタによって実現されてもよい。
　制御装置１３は、撮影装置１１および投射装置１２を制御する。制御装置１３は、選択要素を含む表示情報を投射するための投射条件を生成し、生成した投射条件を投射装置１２に出力する。制御装置１３は、撮影装置１１を制御し、投射範囲を撮影させる。制御装置１３は、撮影装置１１から画像データを取得し、取得した画像データから被投射体を検出する。例えば、制御装置１３は、画像データから抽出される特徴に基づいて、被投射体を検出する。例えば、被投射体は、ユーザの手のひらである。例えば、制御装置１３は、画像データから抽出される指の形状や、指の位置関係等の特徴に基づいて、手のひらを検出する。制御装置１３による被投射体の検出方法は、被投射体を検出できさえすれば、特に限定を加えない。
　制御装置１３は、画像データから被投射体を検出すると、被投射体の投射点を検出する。例えば、被投射体が手のひらの場合、投射点は手のひらの中心である。例えば、制御装置１３は、親指からの距離や、指の位置関係等に基づいて、手のひらの中心を検出する。
　制御装置１３は、投射点を検出すると、投射点と重なる選択要素を検出する。制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素の表示状態を変更するように投射装置１２を制御する。また、制御装置１３は、表示状態が変更された選択要素が投射点からずれたことを検出すると、その選択要素の表示状態を元に戻す指示を投射装置１２に出力する。例えば、制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素を点滅させるように投射装置１２を制御する。例えば、制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素を拡大させるように投射装置１２を制御する。例えば、制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素に対応付けられた他の要素を投射させるように投射装置１２を制御する。例えば、他の要素とは、初めに表示されていた表示情報に含まれる選択要素に対応付けられた更なる選択要素である。例えば、他の要素とは、初めに表示されていた表示情報に含まれる選択要素の選択状況に応じた目印である。
　制御装置１３は、ある選択要素が選択された状態で被投射体の検出対象動作を検出すると、その検出対象動作に応じて表示情報を変更するように投射装置１２を制御する。例えば、制御装置１３は、ユーザの手のひらに表示されたある選択要素が選択された状態で、そのユーザが「手を握る動作」や「手を移動する動作」などを検出対象動作として検出すると、その選択要素の表示状態を変更するように投射装置１２を制御する。例えば、制御装置１３は、ある選択要素に対して検出対象動作を検出すると、その選択要素を消させたり、その選択要素を異なる記号で置換させたり、枠で囲わしたりするように投射装置１２を制御する。
　また、制御装置１３は、ある選択要素が選択された状態で被投射体の検出対象動作を検出すると、制御対象装置に対して制御信号を出力する。例えば、制御装置１３は、ユーザの手のひらに表示されたある選択要素が選択された状態で、そのユーザが「手を握る動作」を検出対象動作として検出すると、選択された選択要素に応じて、制御対象装置に対して制御信号を出力する。
　図２は、情報入力システム１が、選択要素を含む表示情報を投射範囲に投射する例を示す概念図である。図２の例では、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、および「Ｆ」を選択要素とする表示情報が投射範囲に投射される例である。情報入力システム１は、投射範囲に人物が進入したことを検知し、その検知をトリガーとして、選択要素を含む表示情報を投射範囲に投射してもよい。例えば、情報入力システム１は、投射範囲に移動体が進入したことや、人物の特徴を有する移動体が進入したことを検知してもよい。また、情報入力システム１とは別に、投射範囲への人物の進入を検知する装置を設置してもよい。
　図３は、情報入力システム１によって投射された表示情報が表示された投射範囲にユーザが進入する例を示す概念図である。図３の例では、ユーザの手のひらに選択要素「Ｄ」が表示されている。例えば、ユーザは、投射範囲内で手を動かすことによって、手のひらに表示される選択要素を変更させ、所望の選択要素に対して検出対象動作を行う。例えば、位相変調型の空間光変調器が搭載された投射装置１２を用いれば、フォーカスフリーで表示情報を投射できるので、どの高さにユーザの手が進入しても、ユーザの手には鮮明な画像が表示される。例えば、制御装置１３は、検出された手の大きさに応じて、選択要素の大きさを変更させてもよい。
　図４は、投射範囲に表示情報が投射された状態で、ユーザの手が投射範囲に進入した例を示す概念図である。図４の（１）は、ユーザの手のひらに、選択要素の「Ａ」と「Ｂ」が表示された状態である。図４の（２）は、ユーザの手の移動に伴って、ユーザの手のひらの中心の位置に重なった選択要素の「Ｂ」の表示状態が変更され、点滅している状態である。図４の（３）は、選択要素の「Ｂ」の表示状態が変更された状態で、ユーザの手を握る動作が検出され、選択要素の「Ｂ」の選択が受け付けられたことを円で囲んで示す例である。図４のように、本実施形態によれば、複数の選択要素の中から一つの選択要素を片手で選択できる。また、本実施形態によれば、選択要素の選択状況を視認できるので、安定した入力操作が可能になる。
　〔撮影装置〕
　次に、撮影装置１１の詳細構成について図面を参照しながら説明する。図５は、撮影装置１１の構成を示すブロック図である。撮影装置１１は、撮像素子１１１、画像処理プロセッサ１１３、内部メモリ１１５、およびデータ出力回路１１７を有する。撮影装置１１は、一般的なデジタルカメラの機能を含む。
　撮像素子１１１は、撮影範囲を撮影し、その撮影範囲の撮影データを取得するための素子である。本実施形態においては、投射範囲を含む範囲が撮影範囲に設定される。撮像素子１１１は、半導体部品が集積回路化された光電変換素子である。撮像素子１１１は、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの固体撮像素子によって実現できる。通常、撮像素子１１１は、可視領域の光を撮影する素子によって構成するが、赤外線や紫外線、Ｘ線、ガンマ線、電波、マイクロ波などの電磁波を撮影・検波できる機能を有してもよい。
　画像処理プロセッサ１１３は、撮像素子１１１によって撮影された撮影データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行して画像データに変換する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ１１３を省略してもよい。
　内部メモリ１１５は、画像処理プロセッサ１１３が一度に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子１１１によって撮影された画像情報を内部メモリ１１５に一時的に記憶するように構成してもよい。内部メモリ１１５は、一般的なメモリによって構成すればよい。
　データ出力回路１１７は、画像処理プロセッサ１１３によって処理された画像データを制御装置１３に出力する。
　〔投射装置〕
　次に、投射装置１２の詳細構成について図面を参照しながら説明する。図６は、投射装置１２の構成を示すブロック図である。図７は、投射装置１２の投射光学系の構成例を示す概念図である。なお、図６および図７には、位相変調型の空間光変調器を用いる例をあげるが、投射装置１２の投射機構は、位相変調型の空間光変調器を用いたものに限定されない。
　図６のように、投射装置１２は、照射部１２１、光源駆動電源１２５、空間光変調器１２６、変調器駆動部１２７、および投射光学系１２９を備える。なお、図６は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。
　照射部１２１は、特定波長のコヒーレントな光１２０を出射する。図７のように、照射部１２１は、光源１２２とコリメートレンズ１２３を含む。図７のように、照射部１２１が出射した光１１０は、コリメートレンズ１２３を通過してコヒーレントな光１２０となり、空間光変調器１２６の表示部に入射される。例えば、照射部１２１は、照射部１２１としてレーザ光源を含む。通常、照射部１２１は、可視領域の光を出射するように構成する。なお、照射部１２１は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。
　光源駆動電源１２５は、制御装置１３の制御に応じて照射部１２１の光源１２２を駆動させて、照射部１２１から光を出射させる電源である。
　空間光変調器１２６は、変調器駆動部１２７の制御に応じて、選択要素を含む表示情報を投射するためのパターン（表示情報に対応する位相分布）を自身の表示部に表示する。本実施形態においては、空間光変調器１２６の表示部に所定のパターンが表示された状態で、その表示部に光１２０を照射する。空間光変調器１２６は、表示部に入射した光１２０の反射光（変調光１３０）を投射光学系１２９に向けて出射する。
　図７のように、本実施形態においては、空間光変調器１２６の表示部に対して光１２０の入射角を非垂直にする。すなわち、本実施形態においては、照射部１２１からの光１２０の出射軸を空間光変調器１２６の表示部に対して斜めにし、ビームスプリッタを用いずに空間光変調器１２６の表示部に光１２０を入射させる。そのため、図７の構成では、光１２０がビームスプリッタを通過することによって減衰することがないため、光１２０の利用効率を向上させることができる。
　空間光変調器１２６は、位相がそろったコヒーレントな光１２０の入射を受け、入射された光１２０の位相を変調する位相変調型の空間光変調器によって実現できる。位相変調型の空間光変調器１２６を用いた投射光学系１２９からの出射光は、フォーカスフリーであるため、複数の投射距離に光を投射することになっても投射距離ごとに焦点を変える必要がない。
　位相変調型の空間光変調器１２６の表示部には、変調器駆動部１２７の駆動に応じて、複数の選択要素を含む表示情報に対応する位相分布が表示される。位相分布が表示された空間光変調器１２６の表示部で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように像が形成される。
　空間光変調器１２６は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調器によって実現される。空間光変調器１２６は、具体的には、ＬＣＯＳ（Liquid Crystal on Silicon）によって実現できる。例えば、空間光変調器１２６は、ＭＥＭＳ（Micro Electro Mechanical System）によって実現されてもよい。
　位相変調型の空間光変調器１２６では、投射光を投射する箇所を順次切り替えるように動作させることによって、エネルギーを像の部分に集中することができる。そのため、位相変調型の空間光変調器１２６を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。
　変調器駆動部１２７は、制御装置１３の制御に応じて、選択要素を含む表示情報を生成するためのパターンを空間光変調器１２６の表示部に表示させる。変調器駆動部１２７は、空間光変調器１２６の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間光変調器１２６を駆動する。
　位相変調型の空間光変調器１２６の表示部に照射される光１２０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調器駆動部１２７は、空間光変調器１２６の表示部に印可する電圧を変化させることによって、表示部の屈折率を変化させる。表示部の屈折率を変化させれば、表示部に照射された光１２０は、表示部の各部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調器１２６に照射された光１２０の位相分布は、表示部の光学的特性に応じて変調される。なお、変調器駆動部１２７による空間光変調器１２６の駆動方法はここで挙げた限りではない。
　投射光学系１２９は、空間光変調器１２６で変調された変調光１３０を投射光１５０として投射する。図７のように、投射光学系１２９は、フーリエ変換レンズ１９１、アパーチャ１９２、および投射レンズ１９３を含む。空間光変調器１２６で変調された変調光１３０は、投射光学系１２９によって投射光１５０として照射される。なお、投射範囲に像を形成できさえすれば、投射光学系１２９の構成要素のうちいずれかを省略してもよい。また、必要に応じて、フーリエ変換レンズ１９１、アパーチャ１９２、および投射レンズ１９３以外の構成を投射光学系１２９に追加してもよい。
　フーリエ変換レンズ１９１は、空間光変調器１２６の表示部で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図７では、アパーチャ１９２の位置に焦点が形成されている。
　アパーチャ１９２は、フーリエ変換レンズ１９１によって集束された光に含まれる高次光を遮蔽し、投射光１５０が表示される範囲を特定する。アパーチャ１９２の開口部は、アパーチャ１９２の位置における表示領域の最外周よりも小さく開口され、アパーチャ１９２の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ１９２の開口部は、矩形状や円形状に形成される。アパーチャ１９２は、フーリエ変換レンズ１９１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。
　投射レンズ１９３は、フーリエ変換レンズ１９１によって集束された光を拡大して投射する光学レンズである。投射レンズ１９３は、空間光変調器１２６の表示部に表示された位相分布に対応する表示情報が投射範囲内に投影されるように投射光１５０を投射する。
　単純な記号などの線画を投射する用途に情報入力システム１を用いる場合、投射光学系１２９から投射された投射光１５０は、投射範囲全体に向けて均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。そのため、本実施形態の情報入力システム１によれば、光１２０の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、情報入力システム１は、小型かつ低電力な照射部１２１で構成できるため、その照射部１２１を駆動する光源駆動電源１２５を低出力にでき、全体的な消費電力を低減できる。
　また、複数の波長の光を出射するように照射部１２１を構成すれば、照射部１２１から出射する光の波長を変えることができる。照射部１２１から出射する光の波長を変えれば、表示情報の色を変更することができる。また、異なる波長の光を同時に出射する照射部１２１を用いれば、複数の色によって構成される表示情報を表示させることができる。
　〔制御装置〕
　次に、制御装置１３について図面を参照しながら説明する。図８は、制御装置１３の詳細構成を示すブロック図である。制御装置１３は、撮影制御部１３１、検出部１３２、投射条件設定部１３３、投射条件記憶部１３４、投射制御部１３５、および制御信号送信部１３６を有する。
　撮影制御部１３１は、投射範囲を撮影装置１１に撮影させ、撮影装置１１が撮影した画像データを取得する。撮影装置１１による撮影のタイミングは、任意に設定できる。例えば、撮影制御部１３１は、所定の時間間隔で、投射範囲を撮影装置１１に撮影させる。例えば、撮影制御部１３１は、所定のタイミングで、投射範囲を撮影装置１１に撮影させる。撮影制御部１３１は、投射範囲の静止画を撮影装置１１に撮影させてもよいし、投射範囲の動画を撮影装置１１に撮影させてもよい。本実施形態では、撮影装置１１によって撮影された静止画を画像データと呼ぶ。また、本実施形態では、撮影装置１１によって撮影された動画を構成するフレーム画像のことも画像データと呼ぶ。撮影制御部１３１は、取得した画像データを検出部１３２に出力する。
　検出部１３２は、撮影制御部１３１から画像データを取得する。検出部１３２は、取得した画像データから被投射体を検出する。例えば、検出部１３２は、画像データから抽出される特徴に基づいて、被投射体を検出する。例えば、検出部１３２は、画像データから抽出される指の形状や、指の位置関係等の特徴に基づいて、手のひらを検出する。例えば、検出部１３２は、取得した画像データから抽出される形状や色などの特徴に基づいて、手のひらを検出する。
　検出部１３２は、画像データから被投射体を検出すると、被投射体の投射点を検出する。例えば、被投射体の投射点は、手のひらの中心である。例えば、検出部１３２は、手のひらに対する親指の位置や、指の位置関係等に基づいて、手のひらの中心を検出する。手のひらの中心は、手のひらの重心点等で定義されてもよいが、選択可能な選択要素の表示が手のひらに収まりさえすれば、特に限定を加えない。
　検出部１３２は、投射点を検出すると、投射点と選択要素との重なりを画像データから検出する。検出部１３２は、投射点と選択要素との重なりを画像データから検出すると、その選択要素の表示状態を変更する指示を投射条件設定部１３３に出力する。また、検出部１３２は、表示状態が変更された選択要素が投射点からずれたことを画像データから検出すると、その選択要素の表示状態を元に戻す指示を投射条件設定部１３３に出力する。例えば、投射範囲に人物が進入してから表示情報を投射するように設定する場合、検出部１３２は、撮影装置１１によって撮影された画像データから人物が検出されてから、表示情報を表示させる指示を投射条件設定部１３３に出力する。
　検出部１３２は、選択要素の表示状態が変更された状態で、被投射体の検出対象動作を検出すると、その検出対象動作に応じて表示情報を変更する指示を投射条件設定部１３３に出力する。例えば、検出部１３２は、ユーザの手のひらに表示された選択要素の表示状態が変更された状態で、そのユーザが「手を握る動作」を検出対象動作として検出すると、その選択要素の表示状態を変更する指示を投射条件設定部１３３に出力する。例えば、検出部１３２は、ある選択要素に対して検出対象動作を検出すると、その選択要素を消させたり、その選択要素を異なる記号で置換させたり、枠で囲わしたりする指示を投射条件設定部１３３に出力する。
　また、検出部１３２は、選択要素の表示状態が変更された状態で、被投射体の検出対象動作を検出すると、その検出対象動作に応じた制御をするための制御信号を生成する。検出部１３２は、生成した制御信号を制御信号送信部１３６に出力する。例えば、検出部１３２は、自動ドアの開閉器や、エレベータの昇降器、スピーカの音量調整器、テレビのチャンネル切替器、電子機器のスイッチ等の制御対象装置を制御するための制御信号を生成する。いくつかの選択要素を組み合わせて制御対象装置を制御する場合、検出部１３２は、所定回数の選択要素の選択に応じた制御信号を生成する。例えば、４桁の暗証番号を入力する場合、検出部１３２は、４回の選択要素の選択を受け付けた後に、選択された選択要素に基づく制御信号を生成する。例えば、選択中の選択要素を記憶させる記憶部を検出部１３２に設けてもよい。
　投射条件設定部１３３は、表示情報を投射するための投射条件を設定する。例えば、投射条件設定部１３３は、検出部１３２の指示に応じて、表示情報を投射するための投射条件を設定する。投射条件設定部１３３が設定する投射条件には、後述の光源制御条件および変調素子制御条件が含まれる。投射条件設定部１３３は、設定した投射条件を投射制御部１３５に出力する。
　投射条件設定部１３３は、投射範囲に表示させる表示情報に対応するパターンを投射条件記憶部１３４から取得する。例えば、投射装置１２が位相変調型の空間光変調器１２６を含む場合、投射範囲に表示させる表示情報に対応するパターンは位相分布である。以下においては、位相変調型の空間光変調器１２６を用いる例について説明する。
　投射条件設定部１３３は、投射装置１２から光を出射させるタイミングや、出射させる光の出力を制御するための光源制御条件を設定する。光源制御条件は、投射装置１２に含まれる照射部１２１が光１２０を出射するタイミングを制御するための条件である。例えば、光源制御条件は、投射条件記憶部１３４に記憶させておけばよい。また、投射条件設定部１３３は、投射範囲に表示させる表示情報を制御するための変調素子制御条件を設定する。変調素子制御条件は、投射範囲に表示させる表示情報に表示させる像に対応するパターンを空間光変調器１２６の表示部に表示させる条件に相当する。例えば、光源制御条件や変調素子制御条件は、投射条件記憶部１３４に予め記憶させておく。
　投射条件設定部１３３は、投射光１５０を照射するタイミングにおいて、表示情報を表示させるための位相分布を投射条件記憶部１３４から取得する。投射条件設定部１３３は、取得した位相分布と、投射タイミングとを含む投射条件を投射制御部１３５に出力する。
　また、投射条件設定部１３３は、選択要素の表示状態を変更する指示を検出部１３２から受信すると、その選択要素の表示状態を変更する投射条件を設定する。例えば、投射条件設定部１３３は、投射点と重なる選択要素を点滅させる投射条件を設定する。例えば、投射条件設定部１３３は、投射点と重なる選択要素を拡大させる投射条件を設定する。例えば、投射条件設定部１３３は、投射点と重なる選択要素に対応付けられた他の要素を投射させる投射条件を設定する。例えば、他の要素とは、初めに表示されていた表示情報に含まれる選択要素に対応付けられた更なる選択要素である。例えば、他の要素とは、選択要素を選択するための目印である。また、投射条件設定部１３３は、選択要素の表示状態が変更されている際に、その選択要素の表示状態を元に戻す指示を検出部１３２から取得すると、その選択要素の表示状態を元に戻すための投射条件を設定する。
　投射条件設定部１３３は、検出対象動作に応じて表示情報を変更する指示を検出部１３２から受信すると、その検出対象動作に応じた表示情報を投射するための投射条件を設定する。例えば、投射条件設定部１３３は、検出部１３２の指示に応じて、表示状態の変更された選択要素を消したり、その選択要素を異なる記号で置換したり、枠で囲ったりするように投射条件を設定する。
　投射条件記憶部１３４には、選択要素を含む表示情報に対応するパターンが記憶される。また、投射条件記憶部１３４には、選択要素の表示状態を変更するためのパターンが記憶される。例えば、投射条件記憶部１３４には、選択要素を含む表示情報に対応する位相分布や、選択要素の表示状態を変更するための位相分布が記憶される。例えば、投射条件記憶部１３４には、図形や記号、数字、文字等の情報を投射領域に表示させるためのパターンが記憶される。また、投射条件記憶部１３４には、投射条件に含まれる光源制御条件や変調素子制御条件が記憶される。
　投射制御部１３５は、投射条件設定部１３３から投射条件を取得する。投射制御部１３５は、投射条件設定部１３３が設定した投射条件に応じて、投射範囲に向けて投射光１５０を投射するように投射装置１２を制御する。投射制御部１３５は、投射範囲に表示させる像に対応するパターンを空間光変調器１２６の表示部に表示させるタイミングと、投射装置１２の照射部１２１から照射される光の照射タイミングとを同期させる。その結果、投射範囲には、空間光変調器１２６の表示部に表示されたパターンに対応する像が表示される。
　制御信号送信部１３６は、検出部１３２から制御信号を受信する。制御信号送信部１３６は、受信した制御信号を制御対象装置（図示しない）に出力する。制御信号送信部１３６からの制御信号を受信した制御対象装置は、その制御信号に応じて動作する。
　（動作）
　次に、本実施形態に係る情報入力システム１の動作について図面を参照しながら説明する。以下においては、撮影装置１１、投射装置１２、および制御装置１３の各々の動作について、個別に説明する。以下においては、撮影装置１１、投射装置１２、および制御装置１３の各々の動作の概略について説明し、詳細な動作については省略する場合がある。撮影装置１１、投射装置１２、および制御装置１３の詳細な動作は、上記の構成や、後述する適用例において説明する。
　〔撮影装置〕
　図９は、撮影装置１１の動作の一例について説明するためのフローチャートである。図９のフローチャートに沿った処理に関しては、撮影装置１１を動作主体として説明する。図９のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。
　図９において、まず、撮影装置１１は、制御装置１３の制御に応じて、投射範囲を撮影する（ステップＳ１１１）。例えば、撮影装置１１は、制御装置１３の制御に応じて、静止画や動画を撮影する。撮影装置１１による撮影は、制御装置１３から停止指示を受信するまで継続される。
　次に、撮影装置１１は、撮影した投射範囲の画像データを制御装置１３に送信する（ステップＳ１１２）。制御装置１３から停止指示を受信していない場合は（ステップＳ１１３においてＮｏ）、ステップＳ１１１に戻る。
　制御装置１３から停止指示を受信すると（ステップＳ１１３においてＹｅｓ）、撮影装置１１は、投射範囲の撮影を停止する（ステップＳ１１４）。
　〔投射装置〕
　図１０は、投射装置１２の動作の一例について説明するためのフローチャートである。図１０のフローチャートに沿った処理に関しては、投射装置１２を動作主体として説明する。図１０のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。
　図１０において、まず、投射装置１２は、制御装置１３の制御に応じて、選択要素を含む表示情報を投射範囲に投射する（ステップＳ１２２）。投射装置１２による表示情報の投射は、制御装置１３から停止指示を受信するまで継続される。
　ここで、制御装置１３から表示情報の変更指示を受信すると（ステップＳ１２２でＹｅｓ）、投射装置１２は、その変更指示に応じて表示情報を変更する（ステップＳ１２３）。ステップＳ１２３の後は、ステップＳ１２２に戻る。また、制御装置１３から表示情報の変更指示を受信しておらず（ステップＳ１２２でＮｏ）、停止指示信号を受信していない場合（ステップＳ１２４でＮｏ）も、ステップＳ１２２に戻る。
　制御装置１３から表示情報の変更指示を受信しておらず（ステップＳ１２２でＮｏ）、停止指示信号を受信した場合（ステップＳ１２４でＹｅｓ）、投射装置１２は、表示情報の投射を停止する（ステップＳ１２５）。
　〔制御装置〕
　図１１は、制御装置１３の動作の一例について説明するためのフローチャートである。図１１のフローチャートに沿った処理に関しては、制御装置１３を動作主体として説明する。図１１のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。
　図１１において、まず、制御装置１３は、投射装置１２に対して投射制御を行う（ステップＳ１３１）。投射装置１２から投射される表示情報は、投射範囲内の床面や壁面、天井面、机上面等に表示される。
　次に、制御装置１３は、撮影装置１１に対して撮影制御を行う（ステップＳ１３２）。撮影装置１１による投射範囲の撮影は、制御装置１３による停止指示が出されるまで継続される。
　次に、制御装置１３は、投射範囲の画像データを撮影装置１１から受信する（ステップＳ１３３）。例えば、制御装置１３は、撮影装置１１から受信した画像データから被投射体や投射点を検出しやすくするために、受信された画像データに画像処理を加える。
　画像データから被投射体を検出すると（ステップＳ１３４でＹｅｓ）、制御装置１３は、動作検出処理を実行する（ステップＳ１３５）。動作検出処理の詳細については後述する。例えば、制御装置１３は、画像データから抽出される特徴に基づいて、被投射体を検出する。例えば、被投射体は、ユーザの手のひらである。例えば、制御装置１３は、画像データから抽出される指の形状や、指の位置関係等の特徴に基づいて、手のひらを検出する。一方、画像データから被投射体を検出していない場合は（ステップＳ１３４でＮｏ）、ステップＳ１３２に戻る。
　ステップＳ１３５の動作検出処理の後、停止信号を出力する場合（ステップＳ１３６でＹｅｓ）、制御装置１３は、撮影装置１１および投射装置１２に停止指示を送信する（ステップＳ１３７）。一方、ステップＳ１３５の動作検出処理の後、停止信号を出力しない場合（ステップＳ１３６でＮｏ）、ステップＳ１３２に戻る。
　〔動作検出処理〕
　次に、制御装置１３による動作検出処理について図面を参照しながら説明する。図１２は、制御装置１３による動作検出処理の一例について説明するためのフローチャートである。図１２のフローチャートに沿った処理は、図１１のステップＳ１３５の動作検出処理に相当する。図１２のフローチャートに沿った処理に関しては、制御装置１３を動作主体として説明する。図１２のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。
　図１２において、まず、制御装置１３は、被投射体の投射点を検出する（ステップＳ１４１）。例えば、制御装置１３は、親指からの距離や、指の位置関係等に基づいて、手のひらの中心を検出する。
　投射点と重なる選択要素を検出すると（ステップＳ１４２でＹｅｓ）、制御装置１３は、投射点と重なる選択要素を強調表示させる投射条件を生成し、その投射条件を投射装置１２に出力する（ステップＳ１４３）。一方、投射点と重なる選択要素を検出していない場合（ステップＳ１４２でＮｏ）、制御装置１３は、投射点と重なる選択要素を検出するまで待機する。
　ステップＳ１４３の後、検出対象動作を検出すると（ステップＳ１４４でＹｅｓ）、制御装置１３は、検出された動作に応じて、表示情報を変更する投射条件を投射装置１２に出力する（ステップＳ１４５）。一方、検出対象動作を検出していない場合（ステップＳ１４４でＮｏ）、制御装置１３は、ステップＳ１４２に戻る。なお、検出対象動作を検出していない場合（ステップＳ１４４でＮｏ）、制御装置１３は、検出対象動作を検出するまで待機してもよい。
　ステップＳ１４５の後、別の検出動作がある場合（ステップＳ１４６でＹｅｓ）、ステップＳ１４４に戻る。一方、別の検出動作がない場合（ステップＳ１４６でＮｏ）、制御装置１３は、選択された選択要素に応じた制御信号を生成し、生成された制御信号を制御対象装置（図示しない）に出力する（ステップＳ１４７）。ステップＳ１４７の後は、図１１のステップＳ１３６に進む。
　（適用例）
　次に、本実施形態の情報入力システム１の適用例について図面を参照しながら説明する。以下においては、選択要素を含む表示情報を床面に投射する例を示す。以下においては、被投射体として人の手のひらを検出し、投射点として手のひらの中心を検出する例を示す。以下においては、数字や文字、アルファベット等が黒い色で示されるが、実際の表示情報は、投射装置１２から投射される投射光１５０の色に応じた色で表示される。また、以下においては、白抜きの矢印で時間の推移を示し、ハッチングを掛けた矢印で手の移動する向きを示す。
　〔適用例１〕
　図１３は、適用例１について説明するための概念図である。本適用例は、３行×３列のマトリックス状に配列された９個の選択要素から、一つの選択要素を選択する例である。本適用例における検出対象動作は、「手を握る動作」である。
　図１３（１－１）は、９個の選択要素を含む表示情報が、投射範囲の床面にマトリックス状に表示された状態である。表示情報は、「４」、「１」、「７」、「９」、「８」、「２」、「５」、「０」、「６」を選択要素として含む。本適用例では、床面に表示された９個の数字のうちいずれかが選択される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図１３（１－２）は、表示情報が表示された床面と情報入力システム１との間に、ユーザの右手が挿入された状態である。図１３（１－２）では、いくつかの数字が手のひらに表示されている。手のひらに表示される数字の大きさは、情報入力システム１との距離に応じて、床面に表示される数字よりも小さく、手のひらが挿入された高さに応じて変化する。
　図１３（１－３）は、図１３（１－２）の状態から、ユーザが手を左側に移動させたことにより、投射点である手の中心に重なった選択要素の「９」の表示状態が変更された状態である。図１３（１－３）では、手の中心に重なった選択要素の「９」が拡大表示される。図１３（１－３）の状態は、選択要素「９」が選択対象であることを示す。
　図１３（１－４）は、選択要素の「９」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１３（１－４）では、「手を握る動作」が検出されたことにより、選択要素の「９」が消える。選択要素の「９」が消えることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１３（１－４）では、選択要素の「９」が消えることにより、選択要素の「９」が入力されたことを認識できる。
　図１４は、本適用例の利用シーンについて説明するための概念図である。図１４は、セキュリティが設定された自動ドアの手前に複数の選択要素を含む表示情報を表示させ、それらの選択要素を選択して暗証番号を入力する例である。図１４の例では、自動ドアの開閉器が被制御装置に相当する。
　図１４（１）は、９個の選択要素を含む表示情報が、投射範囲の床面に表示された状態である。表示情報は、「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、「９」を選択要素として含む。図１４（１）は、図１３（１－１）に対応する。
　図１４（２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入された状態である。図１４（２）では、いくつかの数字が手のひらに表示されている。図１４（２）は、図１３（１－２～４）に対応する。図１４の例では、図１４（２）において暗証番号の入力が行われたものとする。
　図１４（３）は、ユーザによって入力された暗証番号による認証が成功したことを示す表示情報をドアに表示した状態である。図１４（３）では、「PLEASE ENTER」という表示情報がドアに表示される。図１４（３）は、選択要素が選択された状態で、検出対象動作が行われたことによる表示情報の変更に相当する。
　図１４（４）は、ユーザによって入力された暗証番号による認証が成功し、制御対象装置である開閉器が駆動され、自動ドアが開いた状態である。図１４（４）の自動ドアが開くタイミングにおいては、表示情報の投射が停止されている。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、パスワードや暗証番号の入力に用いることができる。
　〔適用例２〕
　図１５は、適用例２について説明するための概念図である。本適用例は、縦に一列に並べられた５個の選択要素から、一つの選択要素を選択する例である。本適用例における検出対象動作は、「手を握る動作」である。
　図１５（２－１）は、５個の選択要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「２」、「３」、「４」、および「５」を選択要素として含む。本適用例では、床面に表示された５個の数字のうちいずれかが選択される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図１５（２－２）は、表示情報が表示された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「３」の表示状態が変更された状態である。図１５（２－２）では、手の中心に重なった選択要素の「３」が点滅表示されている。図１５（２－２）の状態では、選択要素「３」が選択対象であることを示す。
　図１５（２－３）は、選択要素の「３」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１５（２－３）では、「手を握る動作」が検出されたことにより、選択要素の「３」が消える。選択要素の「３」が消えることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１５（２－３）では、選択要素の「３」が消えることにより、選択要素の「３」が入力されたことを認識できる。
　図１５（２－４）は、入力された選択要素の「３」の位置に「・」を表示させた状態である。図１５（２－４）では、選択要素の「３」が消えた位置に「・」が表示されることにより、選択要素の「３」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、エレベータの階数の選択等に用いることができる。
　〔適用例３〕
　図１６は、適用例３について説明するための概念図である。本適用例は、縦に一列に並べられた４個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、４個の主要素、または４個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手を握る動作」である。
　図１６（３－１）は、４個の選択要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「１０」、「２０」、および「３０」を選択要素として含む。「１」、「１０」、「２０」、および「３０」は、主要素である。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図１６（３－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「２０」の表示状態が変更された状態である。図１６（３－２）では、手の中心に重なった選択要素の「２０」が点滅表示される。本適用例では、図１６（３－２）の状態において、選択要素「２０」に対応付けられた横棒（バーとも呼ぶ）が表示される。横棒には、少なくとも一つの副要素が対応付けられる。横棒に沿って手を右向きに移動させると、主要素である選択要素の「２０」に対応付けられた副要素が、移動量に応じて表示される。本適用例では、主要素である選択要素「２０」には、副要素である選択要素「２１～２９」が対応付けられているものとする。
　図１６（３－３）は、横棒線に沿って右向きに移動された手の中心に、副要素の選択要素である「２３」が表示された状態である。本適用例では、選択要素の「２３」が表示されることが、投射点である手の中心に重なった選択要素の表示状態の変更に相当する。
　図１６（３－４）は、選択要素の「２３」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１６（３－４）では、「手を握る動作」が検出されたことにより、選択要素の「２３」を囲む円が表示される。選択要素の「２３」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１６（３－４）では、選択要素の「２３」が円で囲まれることにより、選択要素の「２３」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、高層エレベータの階数の選択等のように、選択要素が多い場合に好適である。
　〔適用例４〕
　図１７は、適用例４について説明するための概念図である。本適用例は、縦に一列に並べられた４個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、４個の主要素、または４個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手を握る動作」である。
　図１７（４－１）は、４個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「１０」、「２０」、および「３０」を選択要素として含む。１」、「１０」、「２０」、および「３０」は、主要素である。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図１７（４－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「２０」の表示状態が変更された状態である。図１７（４－２）では、手の中心に重なった選択要素の「２０」が点滅表示される。本適用例では、図１７（４－２）の状態において、選択要素「２０」に対応付けられた複数の副要素が、初めに表示されていた主要素の右方に縦２列で表示される。主要素である選択要素の「２０」に対応付けられた複数の副要素が表示された状態で、手を右向きに移動させると、主要素である「２０」に対応付けられた副要素が選択可能になる。本適用例では、主要素である選択要素「２０」には、副要素である選択要素「２１～２９」が対応付けられているものとする。
　図１７（４－３）は、右向きに移動された手の中心に、選択要素の「２７」が重なった状態である。図１７（４－３）では、手の中心に重なった選択要素の「２７」が点滅表示されている。
　図１７（４－４）は、選択要素の「２７」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１７（４－４）では、「手を握る動作」が検出されたことにより、選択要素の「２７」を囲む円が表示される。選択要素の「２７」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１７（４－４）では、選択要素の「２７」が円で囲まれることにより、選択要素の「２７」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、適用例３と同様に、高層エレベータの階数の選択等のように、選択要素が多い場合に好適である。
　〔適用例５〕
　図１８は、適用例５について説明するための概念図である。本適用例は、縦に一列に並べられた４個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、４個の主要素、または４個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手を右向きに移動させる動作」と「手を握る動作」である。「手が右向きに移動する動作」は、「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、「手が右斜め下向きに移動する動作」を含む。
　図１８（５－１）は、４個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「１０」、「２０」、および「３０」を選択要素として含む。「１」、「１０」、「２０」、および「３０」は、主要素である。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図１８（５－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「２０」の表示状態が変更された状態である。図１８（５－２）では、手の中心に重なった選択要素の「２０」が点滅表示される。本適用例では、選択要素が選択された状態で、手が右方向に移動する動作が検出対象動作として検出されると、選択された状態の主要素に対応付けられた複数の副要素が、移動方向に応じて表示される。本適用例では、「手が右向きに移動する動作」は、「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、および「手が右斜め下向きに移動する動作」を含む。「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、および「手が右斜め下向きに移動する動作」は、別の検出対象動作として検出する。例えば、「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、および「手が右斜め下向きに移動する動作」によって表示される副要素は、手を上下方向に移動させることで切り替わるように構成してもよい。
　図１８（５－３）は、図１８（５－２）の状態から、手が右斜め上向きに移動することによって、「手が右斜め上向きに移動する動作」が検出され、その動作が検出された際に表示される副要素が表示される例である。図１８（５－３）は、副要素として「２７」、「２８」、「２９」が表示された状態である。図１８（５－３）では、手の中心に重なった「２９」の表示状態が変更されて点滅表示されている。選択要素の「２９」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出されると、選択中の選択要素である「２９」が入力される。「手を握る動作」の検出に応じた表示状態の変化や制御信号の出力については、説明を省略する。
　図１８（５－４）は、図１８（５－２）の状態から、手が右横向きに移動することによって、「手が右横向きに移動する動作」が検出され、その動作が検出された際に表示される副要素が表示される例である。図１８（５－４）は、副要素として「２４」、「２５」、「２６」が表示された状態である。図１８（５－４）では、手の中心に重なった「２５」の表示状態が変更されて点滅表示されている。選択要素の「２５」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出されると、選択中の選択要素である「２５」が入力される。「手を握る動作」の検出に応じた表示状態の変化や制御信号の出力については、説明を省略する。
　図１８（５－５）は、図１８（５－２）の状態から、手が右斜め下向きに移動することによって、「手が右斜め下向きに移動する動作」が検出され、その動作が検出された際に表示される副要素が表示される例である。図１８（５－５）は、副要素として「２１」、「２２」、「２３」が表示された状態である。図１８（５－５）では、手の中心に重なった「２１」の表示状態が変更されて点滅表示されている。選択要素の「２１」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出されると、選択中の選択要素である「２３」が入力される。「手を握る動作」の検出に応じた表示状態の変化や制御信号の出力については、説明を省略する。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、適用例３～４と同様に、高層エレベータの階数の選択等のように、選択要素が多い場合に好適である。本適用例では、表示される副要素の数を減らせるので、適用例３～４と比べると、選択要素を見つけやすくなる。
　〔適用例６〕
　図１９は、適用例６について説明するための概念図である。本適用例は、横方向に延びる横棒と、その横棒上の位置に関連付けられた数字を選択要素として含む表示情報を用いる例である。本適用例では、横棒上の位置に関連付けられた複数の数字のうち一つを選択する。本適用例における検出対象動作は、「手を握る動作」である。
　図１９（６－１）は、横方向に延びる横棒（バーとも呼ぶ）を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。横棒上の位置には、左端から右端に向けて、選択要素である０～１００の数字が対応付けられる。すなわち、横棒には、少なくとも一つの選択要素が対応付けられる。例えば、選択要素である０～１００の数字は、等間隔で配置される。横棒に沿って手を左右に移動させ、横棒上の各位置に手の中心が重なったことが検出されると、各位置に対応付けられた選択要素が表示される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図１９（６－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「６５」が表示された状態である。本適用例では、選択要素の「６５」が表示されることが、投射点である手の中心に重なった選択要素の表示状態の変更に相当する。なお、図１９（６－２）では、選択要素「６５」が対応付けられた横棒上0の位置に円形の目印が表示される。
　図１９（３－３）は、選択要素の「６５」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１９（６－３）では、「手を握る動作」が検出されたことにより、選択要素の「６５」を囲む円が表示される。選択要素の「６５」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１９（６－３）では、選択要素の「６５」が円で囲まれることにより、選択要素の「６５」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、スピーカやマイクの音量の変更等に用いることができる。本適用例によれば、スピーカやマイクの音量の変更を直感的な感覚で行うことができる。
　〔適用例７〕
　図２０は、適用例７について説明するための概念図である。本適用例は、高さ方向の位置に関連付けられた複数の数字を選択要素として含む表示情報を用いる例である。本適用例では、高さ方向の位置に関連付けられた複数の数字のうち一つを選択する。また、本適用例では、選択要素の数字の大きさに応じた扇型の表示情報を、各々の数字に対応付けて表示させる。本適用例における検出対象動作は、「手が上下に移動する動作」と「手を握る動作」である。
　本適用例では、投射範囲の床面に表示された目印（図示しない）を手のひらの位置に合わせると、その手のひらに選択要素が表示されるものとする。高さ方向の位置には、下から上に向けて、選択要素である０～１００の数字が対応付けられる。例えば、選択要素である０～１００の数字は、等間隔で配置されてもよいし、異なる間隔で配置されてもよい。
　例えば、事前にキャリブレーションを行い、最小値である０の高さ方向の位置と、最大値である１００の高さ方向の位置を設定しておいてもよい。例えば、キャリブレーションで設定された最低高さよりも手の高さが低い場合は最小値の０、キャリブレーションで設定された最大高さよりも手の高さが高い場合は最大値の１００を表示させればよい。手の高さは、情報入力システム１によって検出される手の大きさに応じて判別できる。
　図２０（７－１）は、投射範囲の床面に表示された目印と、情報入力システム１との間に挿入された手のひらに、高さ方向の位置に応じた選択要素の「５０」と、その選択要素の数字の大きさに対応付けられた扇型が表示された状態である。図２０（７－１）の扇型の中心角は、選択要素の「５０」に対応付けられた角度（例えば１８０度）で表示される。垂直方向に手を上下に移動させると、各高さに対応付けられた選択要素が表示される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図２０（７－２）は、表示情報が投射された床面と情報入力システム１との間に挿入されたユーザの右手が、図２０（７－１）の高さよりも低い位置に移動した状態である。本適用例では、「手が上下に移動する動作」が検出されると、手の高さに応じた選択要素が表示される。表示される選択要素が変更されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。「手が上下に移動する動作」は、画像データ上の手の大きさの変動によって検出できる。図２０（７－２）は、高さ方向の位置に応じた選択要素の「２５」と、その選択要素の数字の大きさに対応付けられた扇型が表示された状態である。図２０（７－２）の扇型の中心角は、選択要素の「２５」に対応付けられた角度（例えば９０度）で表示される。
　図２０（７－３）は、表示情報が投射された床面と情報入力システム１との間に挿入されたユーザの右手が、図２０（７－１）の高さよりも高い位置に移動した状態である。図２０（７－３）は、高さ方向の位置に応じた選択要素の「７５」と、その選択要素の数字の大きさに対応付けられた扇型が表示された状態である。図２０（７－３）の扇型の中心角は、選択要素の「７５」に対応付けられた角度（例えば２７０度）で表示される。
　図２０（７－４）は、選択要素の「７５」が手に表示された状態で、検出対象動作である「手を握る動作」が検出された状態である。図２０（７－４）では、「手を握る動作」が検出されたことにより、扇型が消され、選択要素の「７５」を囲む円が表示される。扇型が消され、選択要素の「７５」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２０（７－４）では、選択要素の「７５」が円で囲まれることにより、選択要素の「７５」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、スピーカやマイクの音量の変更等に用いることができる。本適用例によれば、スピーカやマイクの音量の変更を直感的な感覚で行うことができる。
　〔適用例８〕
　図２１は、適用例８について説明するための概念図である。本適用例は、マトリックス状に配置された主要素（あ段の平仮名）と、それらの主要素に対応付けられた複数の副要素（各行の平仮名）とを、選択要素として含む表示情報を用いる例である。なお、主要素の「わ」に対応付けられた副要素は、「を」と「ん」である。本適用例では、１０個の主要素、または１０個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例は、フリック入力を想定するが、主要素の「わ」の両脇の記号等を入力する箇所については説明を省略する。本適用例における検出対象動作は、「親指を閉じる動作」と「手を握る動作」である。
　図２１（８－１）は、１０個の主要素を含む表示情報が、投射範囲の床面にマトリックス状に表示された状態である。表示情報は、主要素である「あ」、「か」、「さ」、「た」、「な」、「は」、「ま」、「や」、「ら」、および「わ」を選択要素として含む。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。
　図２１（８－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「な」の表示状態が変更された状態である。図２１（８－２）では、手の中心に重なった選択要素の「な」が点滅表示されている。主要素である選択要素の表示状態が変更された状態で、「親指を閉じる動作」が検出されると、選択中の主要素に対応付けられた複数の副要素が表示される。
　図２１（８－３）は、主要素の「な」が選択された状態で「親指を閉じる動作」が検出され、主要素の「な」に対応付けられた複数の副要素が手のひらに表示された状態である。図２１（８－３）では、主要素である「な」の周囲に、な行の平仮名（「に」、「ぬ」、「ね」、「の」）が副要素として表示される。主要素である「な」に対応付けられた複数の副要素が表示された状態で手を移動させると、主要素である「な」に対応付けられた複数の副要素（「に」、「ぬ」、「ね」、「の」）が表示される。
　図２１（８－４）は、左向きに移動された手の中心に、選択要素の「に」が重なった状態である。図２１（８－４）では、手の中心に重なった選択要素の「に」が点滅表示されている。
　図２１（８－５）は、選択要素の「に」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２１（８－５）では、「手を握る動作」が検出されたことにより、選択要素の「に」を囲む円が表示される。選択要素の「に」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２１（８－５）では、選択要素の「に」が円で囲まれることにより、選択要素の「に」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、フリック操作で平仮名や片仮名、アルファベット等の文字や記号を入力するのに用いることができる。
　〔適用例９〕
　図２２は、適用例９について説明するための概念図である。本適用例は、縦に一列に並べられた３個の主要素と、それらの選択要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、３個の主要素、または３個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手が左向きに移動する動作」、「手が右向きに移動する動作」、および「手を握る動作」である。
　図２２（９－１）は、３個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「Ｃｈ」、「ＯＮ」、および「ＯＦＦ」を選択要素として含む。選択要素の「Ｃｈ」は、テレビなどの電子機器のチャンネル（Channel）を示す。選択要素の「ＯＮ」は、テレビなどの電子機器の電源を入れることを示す。選択要素の「ＯＦＦ」は、テレビなどの電子機器の電源を消すことを示す。なお、表示情報は、壁面や天井面等に表示されてもよい。
　図２２（９－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「Ｃｈ」の表示状態が変更された状態である。図２２（９－２）では、手の中心に重なった主要素である選択要素の「Ｃｈ」が点滅表示されている。図２２（９－２）の状態で、手を左右に動かすと、「手が左向きに移動する動作」または「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「Ｃｈ」に対応付けられた複数の副要素が縦１列で表示される。本適用例では、主要素の「Ｃｈ」の左右に異なる複数の副要素が対応付けられているものとする。
　図２２（９－３）は、図２２（９－２）の状態から手を左向きに動かしたことで、「手が左向きに移動する動作」という検出対象動作が検出され、主要素の「Ｃｈ」の左側に対応付けられた複数の副要素が縦１列で表示された状態である。図２２（９－３）では、手が左向きに移動する動作」という検出対象動作の検出に応じて、主要素の「Ｃｈ」の左側に対応付けられた複数の副要素（「７」、「８」、「９」、「１０」、「１３」）が表示される。主要素の「Ｃｈ」の左側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。
　図２２（９－４）は、主要素である「Ｃｈ」の左側に対応付けられた複数の副要素が表示された状態で、上向きに移動された手の中心に選択要素の「８」が重なり、選択要素の「８」の表示状態が変更された状態である。図２２（９－４）では、手の中心に重なった選択要素の「８」が点滅表示されている。
　図２２（９－５）は、選択要素の「８」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２２（９－５）では、「手を握る動作」が検出されたことにより、選択要素の「８」を囲む円が表示される。選択要素の「８」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２２（９－５）では、選択要素の「８」が円で囲まれることにより、選択要素の「８」が入力されたことを認識できる。
　図２２（９－６）は、図２２（９－２）の状態から手を右向きに動かしたことで、「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「Ｃｈ」の右側に対応付けられた複数の副要素が縦１列で表示された状態である。図２２（９－６）では、「手が右向きに移動する動作」という検出対象動作の検出に応じて、主要素の「Ｃｈ」の右側に対応付けられた複数の副要素（「１」、「３」、「４」、「５」、「６」）が表示される。主要素の「Ｃｈ」の左側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。
　図２２（９－７）は、主要素である「Ｃｈ」の右側に対応付けられた複数の副要素が表示された状態で、下向きに移動された手の中心に選択要素の「５」が重なり、選択要素の「５」の表示状態が変更された状態である。図２２（９－７）では、手の中心に重なった選択要素の「５」が点滅表示されている。
　図２２（９－８）は、選択要素の「５」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２２（９－８）では、「手を握る動作」が検出されたことにより、選択要素の「５」を囲む円が表示される。選択要素の「５」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２２（９－８）では、選択要素の「５」が円で囲まれることにより、選択要素の「５」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、テレビの番組の選択等に用いることができる。
　〔適用例１０〕
　図２３は、適用例１０について説明するための概念図である。本適用例は、縦に一列に並べられた３個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、３個の主要素、または３個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手が左向きに移動する動作」、「手が右向きに移動する動作」、および「手を握る動作」である。
　図２３（１０－１）は、３個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「ＴＰ」、「ＯＮ」、および「ＯＦＦ」を選択要素として含む。選択要素の「ＴＰ」は、エアコンなどの温度調整可能な機器の設定温度（Temperature）を示す。選択要素の「ＯＮ」は、エアコンなどの機器の電源を入れることを示す。選択要素の「ＯＦＦ」は、エアコンなどの機器の電源を消すことを示す。以下においては、エアコンの温度設定を行う例をあげる。なお、表示情報は、壁面や天井面、机上等に表示されてもよい。
　図２３（１０－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「ＴＰ」の表示状態が変更された状態である。図２３（１０－２）では、手の中心に重なった選択要素の「ＴＰ」が点滅表示されている。本適用例では、選択要素の「ＴＰ」の表示状態が変更されてから所定の時間が経過すると、現在の設定温度が選択要素として表示されるものとする。
　図２３（１０－３）は、選択要素の「ＴＰ」の表示状態が変更されてから所定の時間が経過し、主要素の「ＴＰ」が現在の設定温度（「２４」）に変更された状態である。図２３（１０－３）では、手の中心に重なった選択要素の「２４」が点滅表示されている。図２３（１０－３）の状態で、手を左右に動かすと、「手が左向きに移動する動作」または「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「ＴＰ」に対応付けられた複数の副要素が縦１列で表示される。本適用例では、主要素の「ＴＰ」の左右に異なる複数の副要素が対応付けられているものとする。
　図２３（１０－４）は、図２３（１０－３）の状態から手を左向きに動かしたことで、「手が左向きに移動する動作」という検出対象動作が検出され、主要素の「ＴＰ」の左側に対応付けられた複数の副要素が縦１列で表示された状態である。図２３（１０－４）では、「手が左向きに移動する動作」という検出対象動作の検出に応じて、主要素の「ＴＰ」の左側に対応付けられた複数の副要素（「２０」、「２１」、「２２」、「２３」）が表示される。主要素の「ＴＰ」の左側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。
　図２３（１０－５）は、主要素の「ＴＰ」の左側に対応付けられた複数の副要素が表示された状態で、上向きに移動された手の中心に選択要素の「２３」が重なり、選択要素の「２３」の表示状態が変更された状態である。図２３（１０－５）では、手の中心に重なった選択要素の「２３」が点滅表示されている。
　図２３（１０－６）は、選択要素の「２３」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２３（１０－６）では、「手を握る動作」が検出されたことにより、選択要素の「２３」を囲む円が表示される。選択要素の「２３」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２３（１０－６）では、選択要素の「２３」が円で囲まれることにより、選択要素の「２３」が入力されたことを認識できる。
　図２３（１０－７）は、図２３（１０－３）の状態から手を右向きに動かしたことで、「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「ＴＰ」の右側に対応付けられた複数の副要素が縦１列で表示された状態である。図２３（１０－７）では、「手が右向きに移動する動作」という検出対象動作の検出に応じて、主要素の「ＴＰ」の右側に対応付けられた複数の副要素（「２５」、「２６」、「２７」、「２８」）が表示される。主要素の「ＴＰ」の右側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。
　図２３（１０－８）は、主要素の「ＴＰ」の右側に対応付けられた複数の副要素が表示された状態で、下向きに移動された手の中心に選択要素の「２６」が重なり、選択要素の「２６」の表示状態が変更された状態である。図２３（１０－８）では、手の中心に重なった選択要素の「２６」が点滅表示されている。
　図２３（１０－９）は、選択要素の「２６」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２３（１０－９）では、「手を握る動作」が検出されたことにより、選択要素の「２６」を囲む円が表示される。選択要素の「２６」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２３（１０－９）では、選択要素の「２６」が円で囲まれることにより、選択要素の「２６」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、エアコンの温度設定等に用いることができる。
　〔適用例１１〕
　図２４は、適用例１１について説明するための概念図である。本適用例は、選択要素を含む表示情報を、検出対象動作に応じて変更する例である。本適用例では、複数の選択要素のうち一つを選択する。本適用例では、複数の選択要素として、アルファベットに含まれる文字を選択する例をあげる。本適用例における検出対象動作は、「親指を閉じる動作」と「手を握る動作」である。
　図２４（１１－１）は、選択要素の「Ａ」を含む表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「Ａ」の表示状態が変更された状態である。図２４（１１－１）では、手の中心に重なった選択要素の「Ａ」が点滅表示される。図２４（１１－１）のように、選択要素の表示状態が変更された状態で、「親指を閉じる動作」が検出されると、選択中の選択要素に対応付けられた別の選択要素が表示される。本適用例では、「親指を閉じる動作」の検出に応じて、アルファベットが「Ａ」、「Ｂ」、「Ｃ」、・・・といった順番で表示されるものとする。
　図２４（１１－２）は、選択要素の「Ａ」が選択された状態で「親指を閉じる動作」が検出され、選択要素の「Ａ」を含む表示情報が消えた状態である。なお、「親指を閉じる動作」の検出に応じて選択要素を変更する際に、表示されていた選択要素が消えたことをユーザに視認させずに、その選択要素に後続する選択要素を表示させてもよい。
　図２４（１１－３）は、選択要素の「Ａ」が選択された状態で「親指を閉じる動作」が検出され、選択要素の「Ａ」に後続する選択要素の「Ｂ」が手のひらに表示された状態である。図２４（１１－３）では、手の中心に重なった選択要素の「Ｂ」が点滅表示されている。
　図２４（１１－４）は、選択要素の「Ｂ」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２４（１１－４）では、「手を握る動作」が検出されたことにより、選択要素の「Ｂ」を囲む円が表示される。選択要素の「Ｂ」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２４（１１－４）では、選択要素の「Ｂ」が円で囲まれることにより、選択要素の「Ｂ」が入力されたことを認識できる。
　本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で変更し、変更された選択要素の選択に応じた制御を実行できる。例えば、本適用例は、平仮名やカタカナ、アルファベット等の文字や、数字、記号等を入力するのに用いることができる。
　〔利用シーン〕
　次に、本実施形態の情報入力システム１の利用シーンについて一例をあげて説明する。図２５および図２６は、所望の階のフロアに向かうエレベータを呼び出す利用シーンの一例である。図２５および図２６においては、地下１階地上５階建てのビルの１階のフロアにいる複数の人物がエレベータを呼び出す例を示す。図２５や図２５の利用シーンのように、エレベータを呼ぶことは、一種の予約システムへの適用に相当する。
　図２５は、エレベータに近づいてくる人物を認識し、認識された人物によって視認される投射範囲にフロアの階数を選択要素として含む表示情報を表示させる例である。図２５（１）は、５個の選択要素を含む表示情報が、投射範囲の床面に表示された状態である。表示情報は、「Ｂ１」、「２」、「３」、「４」、「５」を選択要素として含む。図２５（１）では、左側の人物と右側の人物の各々に対して、表示情報が表示される。図２５（２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入された状態である。図２５（２）では、左側の人物が「Ｂ１」を選択し、右側の人物が「５」を選択したものとする。図２５（３）は、「Ｂ１」を選択した左側の人物と、「５」を選択した右側の人物に対して、異なる方向に向かうエレベータが来ることを知らせる矢印を含む表示情報を、人物ごとに表示させる例である。図２５（４）は、呼び出したエレベータが到着してエレベータのドアが開いた状態である。図２５（４）の自動ドアが開くタイミングにおいては、表示情報の投射が停止されている。
　図２６は、エレベータに近づいてくる人物を認識し、認識された人物によって視認される投射範囲にエレベータの方向を選択要素として含む表示情報を表示させる例である。図２６（１）は、２個の選択要素を含む表示情報が、投射範囲の床面に表示された状態である。表示情報は、上向き三角形「△」と下向き三画形「▽」を選択要素として含む。上向き三角形「△」は上の階に向かうエレベータを呼び出すための目印であり、下向き三角形「▽」は下の階に向かうエレベータを呼び出すための目印である。図２６（１）では、左側の人物と右側の人物の各々に対して、表示情報が表示される。図２６（２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの足が挿入された状態である。図２６（２）では、左側の人物が下向き三画形「▽」を選択し、右側の人物が上向き三角形「△」を選択したものとする。図２６（３）は、下向き三画形「▽」を選択した左側の人物と、上向き三角形「△」を選択した右側の人物に対して、異なる方向に向かうエレベータが来ることを知らせる矢印を含む表示情報を、人物ごとに表示させる例である。図２６（４）は、呼び出したエレベータが到着してエレベータのドアが開いた状態である。図２６（４）の自動ドアが開くタイミングにおいては、表示情報の投射が停止されている。エレベータの階数の選択は、適用例２～５（図１５～図１８）の手法を用いて、エレベータの中で行うことができる。
　例えば、情報入力システム１は、エレベータに近づいてくる人物に対しては表示情報を表示させ、エレベータから遠ざかる人物やエレベータの前を通り過ぎる人物に対しては表示情報を表示ないように制御してもよい。例えば、情報入力システム１は、エレベータの近傍に位置する人物の所定動作を認識して、表示情報を表示させてもよい。例えば、情報入力システム１は、車椅子に乗っている人物のように足を用いることができない人物に対しては、図２５のように、手のひらにおいて選択要素を選択できる表示情報を表示させるように制御する。例えば、情報入力システム１は、人物の状態に合わせて、手のひらを用いた選択要素の選択（図２５）と、足を用いた選択要素の選択（図２６）とを切り替えてもよい。例えば、情報入力システム１は、エレベータの稼働状況に関する表示情報を、エレベータのドアや、エレベータの前の床面に表示させてもよい。
　以上のように、本実施形態の情報入力システムは、投射装置、撮影装置、および制御装置を備える。投射装置は、制御装置の制御に応じて、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する。撮影装置は、制御装置の制御に応じて、投射装置の投射範囲を撮影する。制御装置は、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出する。制御装置は、画像において投射点と重なった選択要素の表示状態を変更するように投射装置を制御する。制御装置は、表示状態が変更された選択要素に対する検出対象動作の検出に応じて表示情報を変更するように投射装置を制御する。
　本実施形態の情報入力システムは、手のひらに表示された選択要素が選択可能な状態になったことを、その選択要素の表示状態を変更させることで、ユーザに視認させる。選択可能な選択要素を視認したユーザは、その選択要素が選択対象であれば、その選択要素の表示状態が変更されたままの状態で検出対象動作を行うことで、その選択要素を選択できる。そして、本実施形態の情報入力システムは、表示状態が変更された状態の選択要素に対する検出対象動作を検出すると、その選択要素が選択されたことをユーザに知らせるように表示情報を変更する。そのため、本実施形態の情報入力システムによれば、選択要素の選択状況を表示情報の表示状態の変更によって視認できるので、片手で安定した入力操作を行うことができる。
　本実施形態の一態様の制御装置は、撮影制御部、検出部、投射条件設定部、および投射制御部を備える。撮影制御部は、投射装置の投射範囲を撮影する撮影装置を制御する。検出部は、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出する。検出部は、投射点と重なった選択要素の表示状態を変更する指示を出力する。検出部は、表示状態が変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて表示情報を変更する指示を出力する。投射条件設定部は、検出部から出力された指示に応じて、投射装置の投射条件を投射制御部に設定する。投射制御部は、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する。
　本実施形態の一態様において、検出部は、被投射体の形状、大きさ、および位置のうち少なくともいずれかの変化に応じて、検出対象動作を検出する。
　本実施形態の一態様において、被投射体は手のひらであり、投射点は手のひらの中心である。検出部は、手を握る動作、手を移動する動作、および親指を閉じる動作のうち少なくともいずれかを検出対象動作として検出する。
　本実施形態の一態様において、選択要素は、少なくとも一つの主要素と、主要素に対応付けられた少なくとも一つの副要素とを含む。検出部は、表示状態が変更された主要素に対する検出対象動作の検出に応じて、主要素に対応付けられた少なくとも一つの副要素を表示するように表示情報を変更する指示を出力する。
　本実施形態の一態様において、投射条件設定部は、少なくとも一つの選択要素が対応付けられたバーを表示させる投射条件を設定する。投射制御部は、投射条件に基づいて、バーを含む表示情報を投射範囲の内部に表示させる投射光を投射するように投射装置を制御する。検出部は、バーを含む表示情報が撮影された画像から、バーにおける被投射体の位置を検出し、バーにおける被投射体の位置に応じた選択要素を表示するように表示情報を変更する指示を投射条件設定部に出力する。
　本実施形態の一態様の制御装置は、制御対象装置を制御する制御信号を出力する制御信号出力部を備える。検出部は、選択要素の選択状況に応じて制御信号を生成し、生成された制御信号を制御信号出力部に出力する。
　本実施形態の一態様の投射装置は、位相変調型の空間光変調器を有する。投射装置は、投射条件に応じて、空間光変調器の表示部に表示される位相分布と、空間光変調器の表示部に光を照射するタイミングとが制御され、空間光変調器の表示部に照射された光の反射光を投射光として投射する。
　（第２の実施形態）
　次に、第２の実施形態に係る制御装置について図面を参照しながら説明する。本実施形態の制御装置は、第１の実施形態の制御装置を簡略化した構成である。図２７は、本実施形態の制御装置２０の構成の一例を示すブロック図である。制御装置２０は、撮影制御部２１、検出部２２、投射条件設定部２３、および投射制御部２５を備える。
　撮影制御部２１は、投射装置（図示しない）の投射範囲を撮影する撮影装置（図示しない）を制御する。検出部２２は、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出する。検出部２２は、投射点と重なった選択要素の表示状態を変更する指示を出力する。検出部２２は、表示状態が変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて表示情報を変更する指示を出力する。投射条件設定部２３は、検出部から出力された指示に応じて、投射装置の投射条件を投射制御部に設定する。投射制御部２５は、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する。
　以上のように、本実施形態の制御装置は、手のひらに表示された選択要素が選択可能な状態になったことを、その選択要素の表示状態を変更させることで、ユーザに視認させる。選択可能な選択要素を視認したユーザは、その選択要素が選択対象であれば、その選択要素の表示状態が変更されたままの状態で検出対象動作を行うことで、その選択要素を選択できる。そして、本実施形態の制御装置は、表示状態が変更された状態の選択要素に対する検出対象動作を検出すると、その選択要素が選択されたことをユーザに知らせるように表示情報を変更する。そのため、本実施形態の制御装置によれば、選択要素の選択状況を表示情報の表示状態の変更によって視認できるので、片手で安定した入力操作を行うことができる。
　（ハードウェア）
　ここで、本発明の各実施形態に係る制御装置の処理を実行するハードウェア構成について、図２８の情報処理装置９０を一例として挙げて説明する。なお、図２８の情報処理装置９０は、各実施形態の制御装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。
　図２８のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図２８においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。
　プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る制御装置による処理を実行する。
　主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
　補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。
　入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。
　情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。
　また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。
　以上が、本発明の各実施形態に係る制御装置を可能とするためのハードウェア構成の一例である。なお、図２８のハードウェア構成は、各実施形態に係る制御装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る制御装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
　記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
　各実施形態の制御装置の構成要素は、任意に組み合わせることができる。また、各実施形態の制御装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
　以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２０年９月２４日に出願された日本出願特願２０２０－１５９２８２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　　情報入力システム
　１１　　撮影装置
　１２　　投射装置
　１３　　制御装置
　２０　　制御装置
　２１　　撮影制御部
　２２　　検出部
　２３　　投射条件設定部
　２５　　投射制御部
　１１１　　撮像素子
　１１３　　画像処理プロセッサ
　１１５　　内部メモリ
　１１７　　データ出力回路
　１２１　　照射部
　１２２　　光源
　１２３　　コリメートレンズ
　１２５　　光源駆動電源
　１２６　　空間光変調器
　１２９　　投射光学系
　１３１　　撮影制御部
　１３２　　検出部
　１３３　　投射条件設定部
　１３４　　投射条件記憶部
　１３５　　投射制御部
　１３６　　制御信号送信部
　１９１　　フーリエ変換レンズ
　１９２　　アパーチャ
　１９３　　投射レンズ

Claims (10)

  1. 　少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する投射制御手段と、
    　前記投射装置の投射範囲を撮影する撮影装置を制御する撮影制御手段と、
    　前記撮影装置によって撮影された画像から被投射体を検出し、検出された前記被投射体を含む画像から投射点を検出し、前記投射点と重なった前記選択要素の表示状態を変更する指示を出力し、表示状態が変更された前記選択要素に対する検出対象動作を検出し、前記検出対象動作の検出に応じて前記表示情報を変更する指示を出力する検出手段と、
    　前記検出手段から出力された指示に応じて、前記投射装置の投射条件を前記投射制御手段に設定する投射条件設定手段と、を備える制御装置。
  2. 　前記検出手段は、
    　前記被投射体の形状、大きさ、および位置のうち少なくともいずれかの変化に応じて、前記検出対象動作を検出する請求項１に記載の制御装置。
  3. 　前記被投射体は手のひらであり、
    　前記投射点は手のひらの中心であり、
    　前記検出手段は、
    　手を握る動作、手を移動する動作、および親指を閉じる動作のうち少なくともいずれかを前記検出対象動作として検出する請求項１または２に記載の制御装置。
  4. 　前記選択要素は、少なくとも一つの主要素と、前記主要素に対応付けられた少なくとも一つの副要素とを含み、
    　前記検出手段は、
    　表示状態が変更された前記主要素に対する前記検出対象動作の検出に応じて、前記主要素に対応付けられた少なくとも一つの前記副要素を表示するように前記表示情報を変更する指示を出力する請求項１乃至３のいずれか一項に記載の制御装置。
  5. 　前記投射条件設定手段は、
    　少なくとも一つの前記選択要素が対応付けられたバーを表示させる前記投射条件を設定し、
    　前記投射制御手段は、
    　前記投射条件に基づいて、前記バーを含む前記表示情報を前記投射範囲の内部に表示させる投射光を投射するように前記投射装置を制御し、
    　前記検出手段は、
    　前記バーを含む前記表示情報が撮影された画像から、前記バーにおける前記被投射体の位置を検出し、前記バーにおける前記被投射体の位置に応じた前記選択要素を表示するように前記表示情報を変更する指示を前記投射条件設定手段に出力する請求項１乃至４のいずれか一項に記載の制御装置。
  6. 　制御対象装置を制御する制御信号を出力する制御信号出力手段を備え、
    　前記検出手段は、
    　前記選択要素の選択状況に応じて前記制御信号を生成し、生成された前記制御信号を前記制御信号出力手段に出力する請求項１乃至５のいずれか一項に記載の制御装置。
  7. 　請求項１乃至６のいずれか一項に記載の制御装置と、
    　前記制御装置の制御に応じて投射光を投射する投射装置と、
    　前記制御装置の制御に応じて撮影する撮影装置と、を備える情報入力システム。
  8. 　前記投射装置は、
    　位相変調型の空間光変調器を有し、
    　前記投射条件に応じて、前記空間光変調器の表示部に表示される位相分布と、前記空間光変調器の表示部に光を照射するタイミングとが制御され、前記空間光変調器の表示部に照射された光の反射光を前記投射光として投射する請求項７に記載の情報入力システム。
  9. 　少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御し、
    　前記投射装置の投射範囲を撮影する撮影装置を制御し、
    　前記撮影装置によって撮影された画像から被投射体を検出し、
    　検出された前記被投射体を含む画像から投射点を検出し、
    　前記投射点と重なった前記選択要素の表示状態を変更するように前記投射装置を制御し、
    　表示状態が変更された前記選択要素に対する検出対象動作の検出に応じて前記表示情報を変更するように前記投射装置を制御する制御方法。
  10. 　少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する処理と、
    　前記投射装置の投射範囲を撮影する撮影装置を制御する処理と、
    　前記撮影装置によって撮影された画像から被投射体を検出する処理と、
    　検出された前記被投射体を含む画像から投射点を検出する処理と、
    　前記投射点と重なった前記選択要素の表示状態を変更するように前記投射装置を制御する処理と、
    　表示状態が変更された前記選択要素に対する検出対象動作の検出に応じて前記表示情報を変更するように前記投射装置を制御する処理と、をコンピュータに実行させるプログラムが記録された非一過性の記録媒体。
PCT/JP2021/030529 2020-09-24 2021-08-20 制御装置、制御方法、および記録媒体 WO2022064914A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020159282A JP2022052820A (ja) 2020-09-24 2020-09-24 制御装置、制御方法、およびプログラム
JP2020-159282 2020-09-24

Publications (1)

Publication Number Publication Date
WO2022064914A1 true WO2022064914A1 (ja) 2022-03-31

Family

ID=80845137

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030529 WO2022064914A1 (ja) 2020-09-24 2021-08-20 制御装置、制御方法、および記録媒体

Country Status (2)

Country Link
JP (1) JP2022052820A (ja)
WO (1) WO2022064914A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012089079A (ja) * 2010-10-22 2012-05-10 Honda Access Corp 車両用入出力装置
JP2015046038A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 撮像装置
JP2020150400A (ja) * 2019-03-13 2020-09-17 Ｎｅｃプラットフォームズ株式会社 ウェアラブルデバイスおよび制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012089079A (ja) * 2010-10-22 2012-05-10 Honda Access Corp 車両用入出力装置
JP2015046038A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 撮像装置
JP2020150400A (ja) * 2019-03-13 2020-09-17 Ｎｅｃプラットフォームズ株式会社 ウェアラブルデバイスおよび制御方法

Also Published As

Publication number Publication date
JP2022052820A (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
JP6763434B2 (ja) 情報入力装置および情報入力方法
US10649313B2 (en) Electronic apparatus and method for controlling same
US9547386B2 (en) Touch projection system
JP6828747B2 (ja) 投射システム、投射方法およびプログラム
WO2022064914A1 (ja) 制御装置、制御方法、および記録媒体
US20210165562A1 (en) Display control apparatus and control method thereof
US11281074B2 (en) Image capturing apparatus improved in operability of operation section
JP7328409B2 (ja) 制御装置、制御方法、情報入力システムおよびプログラム
JP6645588B2 (ja) 表示システム
US20170270700A1 (en) Display device, method of controlling display device, and program
JP2010224250A (ja) プロジェクター
JP2008292570A (ja) 投射型映像表示装置
JP6883256B2 (ja) 投影装置
JP2013205543A (ja) 映像表示装置
JP7250175B2 (ja) 投影装置、投影方法、及び制御プログラム
US11526264B2 (en) Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium
TW201435656A (zh) 資訊科技裝置輸入系統及相關方法
CN110063054A (zh) 控制设备、控制方法和程序
JP5803129B2 (ja) カメラ
JP6693518B2 (ja) 情報入力装置および照合システム
JP2021089644A (ja) 電子機器
WO2022163207A1 (ja) 合焦支援装置、合焦支援方法、及び合焦支援プログラム
JP7314425B2 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
JP2019211572A (ja) 撮像システム、撮像制御方法、及びプログラム
US11921925B2 (en) Image pickup apparatus including operation member for moving position of display object in screen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872046

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872046

Country of ref document: EP

Kind code of ref document: A1