WO2016047043A1 - 投影装置 - Google Patents

投影装置 Download PDF

Info

Publication number
WO2016047043A1
WO2016047043A1 PCT/JP2015/004333 JP2015004333W WO2016047043A1 WO 2016047043 A1 WO2016047043 A1 WO 2016047043A1 JP 2015004333 W JP2015004333 W JP 2015004333W WO 2016047043 A1 WO2016047043 A1 WO 2016047043A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
video
projected
resolution
Prior art date
Application number
PCT/JP2015/004333
Other languages
English (en)
French (fr)
Inventor
美馬 邦啓
聡 神谷
恵伍 小野
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2016549912A priority Critical patent/JP6064150B2/ja
Publication of WO2016047043A1 publication Critical patent/WO2016047043A1/ja
Priority to US15/186,471 priority patent/US10194125B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Definitions

  • This disclosure relates to a projection apparatus that projects an image.
  • Patent Document 1 discloses an output device that performs video output by a projector or the like.
  • the output device of Patent Document 1 stores the virtual screen area allocated from the output control apparatus and the display area of the projector apparatus in a storage unit. Further, the output device acquires a screen state control command from the screen state control device, updates the screen state, sets a virtual screen based on the screen update command, and acquires content. Then, the output device draws and displays only the set display area in the virtual screen according to a command from the output control device.
  • the output device of Patent Document 1 controls the output position and size of a projected video in accordance with the actions of individuals and groups even when there are many persons in a public space.
  • the present disclosure provides a projection device that can ensure the image quality of a projected image even when the size of the projected image is changed.
  • the projection device includes a projection unit and a control unit.
  • the projection unit projects a projected image of an image at a set angle of view on a predetermined projection surface based on a video signal indicating a predetermined object.
  • the control unit performs video signal processing for changing the position or size of the object in the image, and controls the position or size of the projected video of the object on the projection plane.
  • the control unit has a resolution of the projected video of the object that is equal to or higher than the predetermined value.
  • the projection unit is controlled to narrow the angle of view, and the size of the object in the image is set by video signal processing.
  • the projection apparatus it is possible to ensure the image quality of the projection video even when the size of the projection video is changed.
  • FIG. 1 is a diagram illustrating a state in which the projector device according to the first embodiment projects an image on a wall.
  • FIG. 2 is a diagram illustrating a state in which the projector device projects an image on the table.
  • FIG. 3 is a block diagram showing an electrical configuration of the projector apparatus.
  • FIG. 4A is a block diagram illustrating an electrical configuration of the distance detection unit.
  • FIG. 4B is a diagram for explaining an infrared image captured by the distance detection unit 230.
  • FIG. 5 is a block diagram showing an optical configuration of the projector apparatus.
  • FIG. 6A is a diagram illustrating a state where a person is near the projector apparatus.
  • FIG. 6B is a schematic diagram illustrating an image presented by the video signal processing of FIG. 6A.
  • FIG. 6C is a schematic diagram illustrating an image presented in the video signal processing for a person moving away from FIG. 6B.
  • FIG. 6D is a diagram illustrating a state in which a person has moved to a position far from the projector device from FIG. 6A.
  • FIG. 6E is a schematic diagram illustrating an image presented by the video signal processing of FIG. 6D.
  • FIG. 7A is a diagram illustrating a state where a person is located far from the projector device, following FIG. 6D.
  • FIG. 7B is a schematic diagram illustrating an image presented by the video signal processing of FIG. 7A.
  • FIG. 7C is a schematic diagram illustrating an image presented by video signal processing for a person approaching from FIG. 7B.
  • FIG. 7D is a diagram illustrating a state in which a person has moved to a position closer to the projector device from FIG. 7A.
  • FIG. 7E is a schematic diagram illustrating an image presented by the video signal processing of FIG. 7D.
  • FIG. 8 is a flowchart showing a flow of operations of the projector device in the first embodiment.
  • FIG. 9 is a flowchart showing an operation flow of the projector apparatus following FIG.
  • FIG. 10 is a diagram for explaining the change of the projection direction by the drive unit.
  • FIG. 11A is a diagram illustrating an example of a projectable area when projecting onto a projection plane perpendicular to the optical axis of the projector apparatus.
  • FIG. 11B is a diagram illustrating an example of a display area when projecting onto a projection plane perpendicular to the optical axis of the projector apparatus.
  • FIG. 12A is a graph showing the resolution of the projected image when the optical zoom value is fixed and the distance to the projection position is changed.
  • FIG. 12B is a graph showing a state in which the optical zoom value is switched so as to ensure the resolution of the projected video shown in FIG. 12A.
  • FIG. 13A is a diagram illustrating a display example of a projection operation according to a projection size reduction operation.
  • FIG. 13B is a diagram illustrating a display example of the projection operation corresponding to the reduction operation subsequent to FIG. 13A.
  • FIG. 13C is a diagram illustrating a display example of the projection operation corresponding to the reduction operation subsequent to FIG. 13B.
  • FIG. 13D is a schematic diagram illustrating an image presented by the video signal processing of FIG. 13A.
  • FIG. 13E is a schematic diagram illustrating an image presented by the video signal processing of FIG. 13B.
  • FIG. 13F is a schematic diagram illustrating an image presented by the video signal processing of FIG. 13C.
  • FIG. 14A is a diagram illustrating a display example of the projection operation according to the operation of moving the projection position.
  • FIG. 14B is a diagram illustrating a display example of the projection operation corresponding to the operation of moving the projection position subsequent to FIG. 14A.
  • FIG. 14A is a diagram illustrating a display example of the projection operation according to the operation of moving the projection position.
  • FIG. 14C is a diagram illustrating a display example of the projection operation corresponding to the operation of moving the projection position subsequent to FIG. 14B.
  • FIG. 14D is a schematic diagram illustrating an image presented by the video signal processing of FIG. 14A.
  • FIG. 14E is a schematic diagram illustrating an image presented by the video signal processing of FIG. 14B.
  • FIG. 14F is a schematic diagram illustrating an image presented by the video signal processing of FIG. 14C.
  • FIG. 15 is a flowchart showing a flow of operations of the projector device in the second embodiment.
  • FIG. 1 is a diagram illustrating a state in which the projector device 100 projects an image on the wall 140.
  • FIG. 2 is a diagram illustrating a state in which the projector device 100 projects an image on the table 150.
  • the projector device 100 is fixed to the housing 120 together with the drive unit 110.
  • Wirings electrically connected to the components constituting the projector device 100 and the driving unit 110 are connected to a power source via the casing 120 and the wiring duct 130. As a result, power is supplied to the projector device 100 and the drive unit 110.
  • the projector device 100 has an opening 101. Projector apparatus 100 projects an image through opening 101.
  • the driving unit 110 can be driven to change the projection direction of the projector device 100.
  • the drive unit 110 can drive the projection direction of the projector device 100 so as to be in the direction of the wall 140 as shown in FIG. Thereby, the projector device 100 can project the image 141 on the wall 140.
  • the drive unit 110 can drive the projection direction of the projector apparatus 100 to be the direction of the table 150 as shown in FIG. Thereby, the projector apparatus 100 can project the video image 151 on the table 150.
  • the drive unit 110 may be driven based on a user's manual operation, or may be automatically driven according to a detection result of a predetermined sensor.
  • the content of the image 141 projected on the wall 140 and the image 151 projected on the table 150 may be different or the same.
  • the projector device 100 is equipped with a user interface device 200. As a result, the projector device 100 can execute various controls on the projected video in accordance with a human operation or a human standing position.
  • FIG. 3 is a block diagram showing an electrical configuration of projector apparatus 100.
  • the projector device 100 includes a user interface device 200 and a projection unit 250.
  • the user interface device 200 includes a control unit 210, a memory 220, and a distance detection unit 230.
  • the projection unit 250 includes a light source unit 300, an image generation unit 400, and a projection optical system 500.
  • the structure of each part which comprises the projector apparatus 100 is demonstrated in order.
  • the control unit 210 is a semiconductor element that controls the entire projector device 100. That is, the control unit 210 controls operations of each unit (distance detection unit 230 and memory 220), the light source unit 300, the image generation unit 400, and the projection optical system 500 configuring the user interface device 200. Further, the control unit 210 can perform digital zoom control for reducing and enlarging the projected image by video signal processing.
  • the control unit 210 may be configured only by hardware, or may be realized by combining hardware and software.
  • the memory 220 is a storage element that stores various types of information.
  • the memory 220 includes a flash memory or a ferroelectric memory.
  • the memory 220 stores a control program and the like for controlling the projector device 100.
  • the memory 220 stores various information supplied from the control unit 210. Further, the memory 220 stores data such as a projection size setting for displaying a projected video and a table of focus values corresponding to distance information to the projection target.
  • the distance detection unit 230 is composed of, for example, a TOF (Time-of-Flight) sensor, and linearly detects the distance to the opposing surface. When the distance detection unit 230 faces the wall 140 or the table 150, the distance from the distance detection unit 230 to the wall 140 or the table 150 is detected.
  • TOF Time-of-Flight
  • FIG. 4A is a block diagram showing an electrical configuration of the distance detection unit 230.
  • the distance detection unit 230 controls the infrared light source unit 231 that irradiates infrared detection light, the infrared light reception unit 232 that receives the infrared detection light reflected by the opposing surface, and these. And a sensor control unit 233.
  • the infrared light source unit 231 irradiates the infrared detection light through the opening 101 so as to be diffused over the entire surface.
  • the infrared light source unit 231 uses, for example, infrared light having a wavelength of 850 nm to 950 nm as infrared detection light.
  • the control unit 210 stores the phase of the infrared detection light emitted from the infrared light source unit 231 in the memory 220.
  • the plurality of pixels arranged on the imaging surface of the infrared light receiving unit 232 receive reflected light at different timings. Since the light is received at different timings, the phase of the infrared detection light received by the infrared light receiving unit 232 is different for each pixel.
  • the control unit 210 stores in the memory 220 the phase of the infrared detection light received by each pixel by the infrared light receiving unit 232.
  • the control unit 210 reads from the memory 220 the phase of the infrared detection light emitted by the infrared light source unit 231 and the phase of the infrared detection light received by each pixel by the infrared light receiving unit 232.
  • the control unit 210 can measure the distance from the distance detection unit 230 to the facing surface based on the phase difference between the infrared detection light emitted by the distance detection unit 230 and the received infrared detection light.
  • FIG. 4B is a diagram for explaining the distance information acquired by the distance detection unit 230 (infrared light receiving unit 232).
  • the distance detection unit 230 detects the distance for each pixel constituting the infrared image by the received infrared detection light.
  • the control part 210 can obtain the detection result of the distance with respect to the whole field angle of the infrared image which the distance detection part 230 received in pixel unit.
  • the X axis is taken in the horizontal direction of the infrared image
  • the Y axis is taken in the vertical direction.
  • the Z axis is taken in the detected distance direction.
  • the control unit 210 can acquire the XYZ triaxial coordinates (x, y, z) for each pixel constituting the infrared image. That is, the control unit 210 can acquire distance information based on the detection result of the distance detection unit 230.
  • the TOF sensor is exemplified as the distance detection unit 230, but the present disclosure is not limited to this. That is, as in a random dot pattern, a known pattern may be projected and a distance may be calculated from the deviation of the pattern, or a parallax obtained by a stereo camera may be used.
  • FIG. 5 is a block diagram showing an optical configuration of projector device 100.
  • the light source unit 300 supplies light necessary for generating a projection image to the image generation unit 400.
  • the image generation unit 400 supplies the generated video to the projection optical system 500.
  • the projection optical system 500 performs optical conversion such as focusing and zooming on the video supplied from the image generation unit 400.
  • the projection optical system 500 faces the opening 101, and an image is projected from the opening 101.
  • the light source unit 300 includes a semiconductor laser 310, a dichroic mirror 330, a ⁇ / 4 plate 340, a phosphor wheel 360, and the like.
  • the semiconductor laser 310 is a solid light source that emits S-polarized blue light having a wavelength of 440 nm to 455 nm, for example. S-polarized blue light emitted from the semiconductor laser 310 is incident on the dichroic mirror 330 via the light guide optical system 320.
  • the dichroic mirror 330 has, for example, a high reflectivity of 98% or more for S-polarized blue light having a wavelength of 440 nm to 455 nm, while P-polarized blue light having a wavelength of 440 nm to 455 nm and green having a wavelength of 490 nm to 700 nm. It is an optical element having a high transmittance of 95% or more for light to red light regardless of the polarization state.
  • the dichroic mirror 330 reflects the S-polarized blue light emitted from the semiconductor laser 310 in the direction of the ⁇ / 4 plate 340.
  • the ⁇ / 4 plate 340 is a polarizing element that converts linearly polarized light into circularly polarized light or converts circularly polarized light into linearly polarized light.
  • the ⁇ / 4 plate 340 is disposed between the dichroic mirror 330 and the phosphor wheel 360.
  • the S-polarized blue light incident on the ⁇ / 4 plate 340 is converted into circularly-polarized blue light and then irradiated onto the phosphor wheel 360 via the lens 350.
  • the phosphor wheel 360 is a flat plate made of aluminum or the like that can be rotated at a high speed.
  • a B region which is a diffuse reflection surface region, a G region coated with a phosphor emitting green light, and an R region coated with a phosphor emitting red light. A plurality of and are formed.
  • the circularly polarized blue light applied to the region B of the phosphor wheel 360 is diffusely reflected and again enters the ⁇ / 4 plate 340 as circularly polarized blue light.
  • the circularly polarized blue light incident on the ⁇ / 4 plate 340 is converted into P-polarized blue light and then incident on the dichroic mirror 330 again.
  • the blue light incident on the dichroic mirror 330 is P-polarized light, it passes through the dichroic mirror 330 and enters the image generation unit 400 via the light guide optical system 370.
  • Blue light irradiated on the G region or R region of the phosphor wheel 360 excites the phosphor applied on the G region or R region to emit green light or red light.
  • Green light or red light emitted from the G region or the R region is incident on the dichroic mirror 330.
  • the green light or red light incident on the dichroic mirror 330 passes through the dichroic mirror 330 and enters the image generation unit 400 via the light guide optical system 370.
  • the image generation unit 400 generates a projection image corresponding to the video signal supplied from the control unit 210.
  • the image generation unit 400 includes a DMD (Digital-Mirror-Device) 420 and the like.
  • the DMD 420 is a display element in which a large number of micromirrors are arranged in a plane.
  • the DMD 420 deflects each of the arranged micromirrors according to the video signal supplied from the control unit 210 to spatially modulate the incident light.
  • the DMD 420 repeatedly receives blue light, green light, and red light that are emitted in a time division manner through the light guide optical system 410 in order.
  • the DMD 420 deflects each of the micromirrors in synchronization with the timing at which light of each color is emitted. Thereby, the image generation part 400 produces
  • the DMD 420 deflects the micromirror according to the video signal into light that travels to the projection optical system 500 and light that travels outside the effective range of the projection optical system 500. Thereby, the image generation unit 400 can supply the generated projection image to the projection optical system 500.
  • the projection optical system 500 includes an optical member such as a zoom lens 510 and a focus lens 520, and a lens driving unit 501 that drives the optical member.
  • the lens driving unit 501 is configured by a motor, for example.
  • the projection optical system 500 magnifies and projects the light incident from the image generation unit 400 onto the projection plane.
  • the control unit 210 can drive the lens driving unit 501 to adjust the position of the zoom lens 510, thereby controlling the projection area with respect to the projection target so as to obtain a desired zoom value.
  • the control unit 210 moves the position of the zoom lens 510 in the direction in which the angle of view becomes narrower (tele side) to narrow the projection area.
  • control unit 210 moves the position of the zoom lens 510 in the direction in which the angle of view is widened (wide side) to widen the projection area.
  • control unit 210 can adjust the focus of the projected video by adjusting the position of the focus lens 520 based on predetermined zoom tracking data so as to follow the movement of the zoom lens 510.
  • a configuration using the DLP (Digital-Light-Processing) method using the DMD 420 is described as an example of the projector device 100, but the present disclosure is not limited thereto. That is, the projector apparatus 100 may employ a liquid crystal configuration.
  • the projector device 100 may adopt a three-light source configuration including various light sources of blue light, green light, and red light, or a three-plate configuration including DMD for each color of RGB. I do not care.
  • the present disclosure is not limited thereto. That is, a unit in which a blue light source for generating a projected image and an infrared light source for measuring a distance may be integrated. If the three light source method is adopted, a unit in which the light sources of the respective colors and the light source of infrared light are integrated may be used.
  • the user interface device 200 includes a distance detection unit 230, a control unit 210, and a memory 220, and controls the projection unit 250 including the light source unit 300, the image generation unit 400, and the projection optical system 500.
  • the distance detection unit 230 detects the distance to the projection target and the distance to an object such as a person located in the projection range, and outputs the distance information to the control unit 210.
  • the control unit 210 calculates an optical zoom value and a focus value based on the distance information acquired from the distance detection unit 230.
  • the control unit 210 performs video signal processing for generating a video signal of the projected video. Further, the control unit 210 performs digital zoom in the video signal processing based on the distance information acquired from the distance detection unit 230, and adjusts the projection size of the projected video. The control unit 210 corrects the projection image by digital zoom in response to an instruction to change the projection size of the projection video, and outputs the corrected projection video to the image generation unit 400. In accordance with this, the control unit 210 moves the zoom lens 510 to the lens driving unit 501 based on the optical zoom value corresponding to the changed projection size. Then, the control unit 210 moves the focus lens 520 based on predetermined zoom tracking data.
  • the projector apparatus 100 detects a specific person such as a user by using the distance information by the operation of the user interface apparatus 200 described above, follows the detected movement of the person, and performs a predetermined projection in the vicinity of the person. Project an image.
  • the projector device 100 is installed, for example, in a corridor or a passage, and projects a projected image following a passing person on a projection surface such as a wall or a floor.
  • the projected video may be a still image or a moving image.
  • Patent Document 1 does not disclose means for dealing with fluctuations in image quality of a projected video when changing the size of the projected video.
  • video signal processing and optical zoom control are performed as follows in order to ensure the image quality of the projected video.
  • FIGS. 6A to 6E and FIGS. 7A to 7E the projection operation in the case where the projection position of the projected image is changed in accordance with the movement of the person located near the projection plane (the standing position of the person) will be described.
  • 6A to 6E are diagrams for explaining projection control according to a person's standing position.
  • 7A to 7E are diagrams for explaining the projection control subsequent to FIGS. 6A to 6E.
  • FIG. 6A is a diagram illustrating a state in which a person is present at a position close to the projector device 100 (front position).
  • 6B and 6C are schematic diagrams showing images presented by the video signal processing of FIG. 6A.
  • FIG. 6D is a diagram illustrating a state in which a person has moved to a position far away from the projector apparatus 100 (back position).
  • FIG. 6E is a schematic diagram illustrating an image presented by the video signal processing of FIG. 6D.
  • FIGS. 6A and 6D when a person who has entered from a position close to the projector apparatus 100 (front position) moves to a position far away (back position), the projector apparatus 100
  • the projection image G20 is moved from the projection position 620 to the projection position 621 following the movement of the person.
  • a planar wall surface is a projection plane 600.
  • the projector apparatus 100 sets a projectable area 610 that is an area in which an image can be projected onto the projection plane 600 by controlling the optical zoom.
  • the projector device 100 performs video signal processing for shifting the object D20 indicating the projected video G20 in the image D1 (FIGS. 6B and 6C) having an angle of view corresponding to the projectable region 610, whereby the projectable region 610 is displayed.
  • a projected image G20 is caused to follow a person within the range.
  • FIGS. 6B and 6C geometric correction and the like are omitted, and the image D1 on the video signal in the video signal processing is schematically illustrated. The same applies to schematic diagrams showing images presented by other video signal processing.
  • the projection on the projection plane 600 is performed.
  • the size increases as the distance from the projector device 100 increases. This is because, as a characteristic of a general projector device, when the optical zoom value is constant, that is, when the angle of view is kept constant, the projection size of the projected image increases as the projection position for projecting the image becomes far.
  • the projector device 100 performs digital zoom for reducing an object in the image D1, as shown in FIGS. 6B and 6C.
  • the projector apparatus 100 projects an image at a position further away from the projector apparatus 100 as shown in FIG. 6D. become.
  • the projection size is continuously reduced using the digital zoom, the number of pixels included in the projection size is reduced. Therefore, the resolution of the projection video G20 on the projection plane 600 is deteriorated.
  • the projection apparatus 100 when the projection apparatus 100 according to the present disclosure follows a person who moves away from the projected image, if the projection size is reduced using the digital zoom and the resolution is significantly reduced, the optical zoom value is increased to narrow the angle of view. Take control. By this control, the projectable area of the projector device 100 is narrowed from the projectable area 610 shown in FIG. 6A to the projectable area 611 shown in FIG. 6D. At the same time, video signal processing is performed on the image D1 'corresponding to the narrower projectable area 611 (FIG. 6E). As a result, as shown in FIG. 6E, it is possible to suppress the decrease in the number of pixels included in the object D21 representing the projection size on the image D1 'and to maintain the resolution of the projected video.
  • FIG. 7A is a diagram illustrating a state in which a person is present at a position far away from the projector apparatus 100 (back position) in a state subsequent to the situation illustrated in FIG. 6D.
  • 7B and 7C are schematic diagrams illustrating images presented by the video signal processing of FIG. 7A.
  • FIG. 7D is a diagram illustrating a state in which a person has moved from the state illustrated in FIG. 7A to a position closer to the projector device 100 (a position in front).
  • FIG. 7E is a schematic diagram illustrating an image presented by the video signal processing of FIG. 7D.
  • the projector apparatus 100 when a person who is far from the projector apparatus 100 (back position) moves to a near position (front position), the projector apparatus 100 Following the movement, the projection image G22 is moved from the projection position 622 to the projection position 623.
  • the projector apparatus 100 sets the projectable area 611 so that the projection image G22 at the projection position 622 can maintain a predetermined resolution. It is set.
  • the projector device 100 performs video signal processing for moving the object D22 indicating the projected video G22 on the image D2 (FIGS. 7B and 7C) having an angle of view corresponding to the projectable area 611.
  • the projected image of the entire image D2 on the video signal is projected.
  • the projection video G22 can be made to follow a person from the projection position 622 within the range of the projectable area 611 to the projection position 622 '.
  • the projector apparatus 100 moves the projection image G22 to a position closer to the projector apparatus 100.
  • the projection video G22 is displayed lacking on the projection plane 600.
  • the projection position 623 when a person is close to the projector apparatus 100 as shown in FIG. 7D is outside the range of the projectable area 611 set when the person is far from the projector apparatus 100. It is. Therefore, the projector device 100 cannot project an image on the projection position 623 as it is.
  • the projector device 100 performs control to increase the angle of view by reducing the optical zoom value when the projection image G22 does not fit in the projectable area 611 in the video signal.
  • the projectable area 611 is expanded to the projectable area 610 as shown in FIG. 7D so that the projection position 623 is positioned within the projectable area 610.
  • the projector device 100 performs the video signal processing for moving the object D23 in the image D2 ′ corresponding to the expanded projectable area 610, thereby projecting the projected video on the projection position 623.
  • the projector apparatus 100 can display the projected video at a desired projection position without loss by adjusting the optical zoom to expand the projectable area.
  • the optical zoom may require control to widen the angle of view.
  • the optical zoom control may ensure the resolution. Can be difficult. Therefore, in this embodiment, in such a case, the drive unit 110 is driven so as to change the projection direction of the projected video. From the drive control of the drive unit 110, the projectable region can be moved away from the projector device 100, and a projection image can be displayed in a wider range.
  • FIGS. 8 and 9 are flowcharts showing the operation flow of the projector apparatus 100.
  • FIG. FIG. 10 is a diagram for explaining the change of the projection direction by the drive unit 110.
  • This flow is executed by the control unit 210 of the projector device 100.
  • the control unit 210 controls the distance detection unit 230 to detect the position and moving direction of the tracking target person (S700). Specifically, the distance detection unit 230 detects distance information in the space near the projection surface, and the control unit 210 acquires this distance information.
  • the control unit 210 stores in advance the feature information indicating the feature of the person's shape in the memory 220, reads the feature information from the memory 220, and compares the feature information indicated by the feature information with the shape based on the distance information. . Based on the comparison result, the controller 210 recognizes a person and detects a position.
  • the control unit 210 measures distance information indicating a distance to a wall or a floor in advance and stores the distance information in the memory 220, and based on a difference in distance information when a person exists.
  • the position of a person may be detected.
  • the control unit 210 periodically acquires distance information, detects a portion where the distance changes at any time, and recognizes the moving object as a person. Also good. Further, the control unit 210 may detect the movement direction of the person based on a change in the distance information acquired periodically.
  • the control unit 210 determines the projection position of the projected image of the object on the projection plane 600 based on the detection result of the position and movement direction of the person in step S700 (S701).
  • the control unit 210 calculates a position that is separated from the detected person's position in the movement direction by a predetermined interval and determines a projection position.
  • the projected image can be displayed in an easy-to-see position that is in the direction of the line of sight of the moving person.
  • the projection position of the projection image can be determined more appropriately.
  • control unit 210 may calculate the position of the perpendicular foot from the position of the person to the projection plane and determine the projection position in the vicinity of the calculated position.
  • the projection position may be determined based only on the position information of the person without detecting the moving direction of the person in step S700.
  • control unit 210 detects the distance from the projector device 100 to the projection position based on the distance information from the distance detection unit 230 (S702).
  • the distance information acquired in step S ⁇ b> 702 is a parameter used in subsequent processing to determine the size on the projected video image and the focus value in the case of a specific optical zoom value.
  • control unit 210 calculates a display area of the projected video on the projection plane and a projectable area based on the information acquired by the processes in steps S700 to S702 (S703).
  • the display area is an area occupied on the projection plane by a projection image displayed at a projection position corresponding to the person to be tracked in a desired projection size.
  • control unit 210 determines the display area on the projection plane. calculate.
  • the projectable area is an area that indicates a range in which the projector device 100 can project an image on the projection surface, and depends on the distance between the projector device 100 and the projection surface 600 and the angle of view (optical zoom value). It is prescribed.
  • the control unit 210 calculates a projectable area based on the information indicating the distance to the projection position detected in the process of step S702 and the optical zoom value in the current state. Since the optical zoom value and the angle of view have a one-to-one correspondence, the control unit 210 can calculate a projectable region from the optical zoom value and the distance information. Details of the calculation method of the projectable area will be described later.
  • the control unit 210 determines whether or not the calculated display area falls within the range of the projectable area (S704). For example, as shown in FIG. 7A, in the determination process in step S704, when the projection image G22 ′ displayed near the boundary of the projectable region 611 is moved, the display region of the projection image G22 ′ is the projectable region after the movement. This is performed in order to prevent the 611 from sticking out.
  • step S704 when a person who is close to the projector device 100 moves away from the projector device 100, the control unit 210 determines that the display area is within the projectable area (YES in S704). The process proceeds to step S705.
  • the control unit 210 causes the display area to be within the range of the projectable area. It is determined that it does not fit (NO in S704), and the process proceeds to step S710. The processing after step S710 will be described later.
  • control unit 210 determines that the display area falls within the range of the projectable area (YES in S704), the control unit 210 calculates the resolution of the video to be projected on the display area on the projection plane (S705).
  • control unit 210 determines whether or not the resolution calculated in step S705 is equal to or higher than a lower limit value of a predetermined resolution (S706).
  • a predetermined resolution for example, as shown in FIGS. 6A and 6D, when following a person who moves away from the projector apparatus 100, the image quality is ensured against the reduction in the resolution of the projected video caused by the digital zoom. To be done.
  • control unit 210 determines that the resolution of the projected image is equal to or higher than the lower limit (YES in S706), the control unit 210 determines the optical zoom value in the current state as a determined value (S707).
  • control unit 210 performs video signal processing including digital zoom based on the determined optical zoom value (S708).
  • step S708 the control unit 210 determines a digital zoom value based on the determined optical zoom value and the projection size of the display area (S708).
  • the control unit 210 is positioned on the coordinates corresponding to the projection position determined in step S701, and displays a video signal indicating an object having a size corresponding to the display area calculated in step S703. Generate.
  • the control unit 210 performs geometric correction according to the orientation of the projection plane 600 based on the distance information from the distance detection unit 230.
  • the control unit 210 controls the image generation unit 400 based on the generated video signal.
  • the control unit 210 determines that the resolution of the projected video after the movement is equal to or higher than the lower limit (S706). YES)
  • the controller 210 does not change the optical zoom value (S707), performs digital zoom in the video signal processing in step S708, and moves the projected video G20 while maintaining the projection size.
  • the object D20 is shifted and reduced in the image D1 shown in FIG. 6B, but the reduced object D20 '(FIG. 6C) is generated with a resolution equal to or higher than the lower limit.
  • the control unit 210 determines whether or not the resolution of the projected video can be made equal to or higher than the lower limit value by controlling to narrow the angle of view of the optical zoom. (S720).
  • the control of the optical zoom is effective when the person to be followed moves away from the projector device 100 and the digital zoom cannot secure a resolution equal to or higher than the lower limit value. It is done to check whether or not.
  • control unit 210 determines whether or not the optical zoom value can be increased until a resolution equal to or higher than the lower limit value is reached within the adjustable range of the zoom lens 510.
  • the adjustable range of the zoom lens 510 is set so that, for example, the display area calculated in step S703 falls within the projectable area when the optical zoom value is changed, along with the mechanical characteristics of the zoom lens 510 and the like.
  • control unit 210 determines that the resolution can be made equal to or greater than the lower limit value by controlling to narrow the angle of view of the optical zoom (YES in S720)
  • the control unit 210 calculates an optical zoom value where the resolution is equal to or greater than the lower limit value, and confirms it as the determined value (S721).
  • the calculated optical zoom value may be a value whose resolution matches the lower limit value, or may be a value larger by a predetermined width than a value whose resolution matches the lower limit value.
  • the control unit 210 controls the lens driving unit 501 based on the determined optical zoom value, and adjusts the position of the zoom lens 510.
  • the control unit 210 performs the video signal processing in step S708 based on the calculated optical zoom value.
  • the position adjustment of the zoom lens 510 is performed, for example, by storing a data table indicating the relationship between the optical zoom value (view angle) and the position of the zoom lens 510 in the memory 220 in advance, and the control unit 210 reads the data table. .
  • information indicating an equation for deriving the relationship between the optical zoom value (view angle) and the position of the zoom lens 510 is stored in the memory 220, and the control unit 210 executes the calculation of the equation, The position of the zoom lens 510 may be adjusted.
  • step S706 when projecting onto the display region R21 at the projection position 621, it is determined that the resolution in the projectable region 610 is smaller than the lower limit (NO in S706), and the resolution is greater than or equal to the lower limit by changing the optical zoom. It is determined that it can be made (YES in S720).
  • step S706 for example, the control unit 210 determines that the number of pixels corresponding to the display area R21 in the image D1 corresponding to the projectable area 610 is smaller than the lower limit value.
  • step S720 for example, first, the control unit 210 calculates a projectable area 611 where the display area R21 does not protrude by narrowing the angle of view from the projectable area 610.
  • control unit 210 calculates the number of pixels corresponding to the display region R21 on the image D1 ′ (FIG. 6E) corresponding to the projectable region 611, and determines that the calculated number of pixels is equal to or greater than the lower limit value. . Thereby, in the video signal processing of step S708, a video signal of the object D21 having a resolution equal to or higher than the lower limit value is generated.
  • control unit 210 drives the drive unit so that the optical axis of the projector device 100 approaches the projection position. 110 is driven and controlled (S730). The control unit 210 returns to step S700 after the process of step S730 and executes a series of flows again.
  • step S720 when the person to be tracked shown in FIG. 6D further moves away from the projector device 100, it is determined in step S720 that the resolution cannot be increased to the lower limit value or more by changing the optical zoom (NO in S720).
  • the control unit 210 drives the drive unit 110 as shown in FIG. 10 in step S730, and then performs the processing from step S700 onward again.
  • the resolution of the projected video resolution is improved in the processing after S ⁇ b> 700 in which the optical axis of the projector device 100 approaches the projection position 621.
  • step S710 the display area is projected in step S704, for example, when the projection video G22 ′ displayed near the boundary of the projectable area 611 is moved beyond the boundary. This is performed when it is determined that it does not fall within the possible area.
  • step S710 the control unit 210 calculates an optical zoom value for enlarging the angle of view so that the display area falls within the range of the projectable area.
  • step S710 the control unit 210 can obtain the angle of view from the projectable area calculated in step S703. Thereby, the control part 210 can set an optical zoom value.
  • the control unit 210 calculates the resolution of the projected image when projected using the calculated optical zoom value (S705A). Next, similarly to step S706, the control unit 210 determines whether or not the resolution calculated in step S705A is equal to or higher than the lower limit value (S706A).
  • control unit 210 determines the optical zoom value calculated in step S710 as a determined value and drives the lens so as to widen the angle of view.
  • the part 501 is controlled (step S707A).
  • control unit 210 sequentially performs the processing after step S708. For example, when the projection image G22 ′ shown in FIG. 7A is moved to the display area R23 shown in FIG. 7D, the image D2 ′ (corresponding to the projectable area 610 where the angle of view is expanded in step S707A and the display area R23 does not protrude. In FIG. 7E, video signal processing is performed.
  • control unit 210 controls the zoom lens 510 based on the optical zoom value calculated in step S710 to reduce the optical zoom and expand the angle of view (step S707A).
  • the projectable area 610 is set so that the display area R23 does not protrude as shown in FIG. 7D.
  • step S705A when it is determined that the resolution calculated in step S705A is not equal to or lower than the lower limit (NO in S706A), the control unit 210 controls driving of the driving unit 110 (S730), and returns to the process of step S700. That is, in this flow, when the optical zoom value at which the resolution is equal to or higher than the lower limit value is smaller than the optical zoom value calculated in step S710, it is determined that the resolution of the projected video cannot be secured by the optical zoom control. .
  • step S710 for example, when the optical zoom value is already the minimum value and the optical zoom value within the displayable area cannot be calculated, the drive unit 110 is driven and controlled (S730). The process may return to step S700.
  • control unit 210 determines a focus value based on the zoom tracking data stored in the memory 220, and controls the drive of the focus lens 520 (S709). Control unit 210 repeats the above processing at a predetermined cycle.
  • FIG. 11A shows an example of a projectable region when projecting onto a projection plane 800 perpendicular to the optical axis of the projector device 100.
  • the angle of view of the projector device 100 in the X direction is ⁇ x with the optical axis of the projector device 100 as the center, and the distance to the projection plane 800 is d.
  • the size S1x in the X direction of the projectable area 801 is calculated by the following equation.
  • the control unit 210 calculates the projectable region 801 by calculating Formula 1 and the like based on the angle of view ( ⁇ x, ⁇ y) and the distance d to the projection plane 800. Note that the field angle ⁇ x in the X direction and the field angle ⁇ y in the Y direction may be the same.
  • FIG. 11B shows an example of a display area when projecting onto a projection plane 800 perpendicular to the optical axis of the projector apparatus 100.
  • the vertical and horizontal directions of the projection plane 800 in FIG. 11A are changed, and the horizontal direction of the projection plane 800 (the direction from the back to the front of the paper) is the X direction, and the vertical direction of the projection plane 800 (from the bottom to the top of the paper).
  • Direction is the Y direction.
  • the resolution on the projection plane 800 when the image is projected on the entire projectable area 801 by the projector device 100 in the X direction and the Y direction is (P1x, P1y), and the size of the display area 802 on the projection plane 800 Is (S2x, S2y).
  • the resolution (P1x, P1y) of the projected video for projecting the object in the image is determined by the ratio of the size of the projectable area 801 and the display area 802. Specifically, it is calculated by the following formula.
  • P2y P1y ⁇ S2y / (2 ⁇ d ⁇ tan ( ⁇ y / 2)) (2y)
  • the control unit 210 can calculate the resolution based on Equation 2 without actually generating a video signal of the projected video.
  • the control unit 210 multiplies the ratio between the size of the projectable area 801 and the size of the display area 802 and the resolution (P1x, P1y) of the entire image by the projector device 100. Based on (Equation 2), the number of pixels necessary for changing to a desired projection size can be calculated by digital zoom. Accordingly, the control unit 210 can reduce / enlarge an object in the input image to an appropriate projection size in the video signal processing.
  • FIG. 12A is a graph showing the resolution of the projected image when the optical zoom value is fixed and the distance to the projection position is changed.
  • FIG. 12B is a graph showing a state in which the optical zoom value is switched so as to ensure the resolution of the projected video shown in FIG. 12A.
  • the number of pixels included in the projection video when the projection size of the projection video is fixed is used as the resolution of the projection video.
  • FIG. 12A and 12B show the resolution of the projected video when the distance d from the projector device 100 shown in FIG. 11 is changed.
  • the resolution of the projected video in this case is inversely proportional to the distance d to the projection position, as shown in FIG. 12A, when the optical zoom value and the projection size are fixed.
  • the optical zoom value is constant, that is, when the angle of view is kept constant, the projection size of the projected image becomes larger as the projection position for projecting the image becomes longer. In this case, the projection size per pixel increases as the projection position increases. For this reason, as the size on the image is reduced by digital zoom, the resolution of the projected video deteriorates as shown in FIG. 12A.
  • projector device 100 includes projection unit 250 and control unit 210.
  • the projection unit 250 projects the projection video of the image D1 on the predetermined projection plane 600 with the set angle of view based on the video signal indicating the angle of view of the image D1 including the predetermined object D20.
  • the control unit 210 performs video signal processing for changing the position or size of the object D20 in the image D1, and controls the position or size of the projection video G20 of the object D20 on the projection plane 600.
  • the controller 210 determines that the resolution of the projected video is lower than the predetermined value when the resolution of the projected video of the changed object D20 ′ is lower than the predetermined value.
  • the projection unit 250 is controlled to narrow the angle of view, and the size of the object D21 in the image D1 ′ is set by video signal processing.
  • the projection is performed by performing video signal processing with a narrowed angle of view according to the resolution of the projection video G20.
  • the image quality of the video G21 can be ensured.
  • the control unit 210 controls the projection unit 250 to narrow the angle of view when the resolution of the projected video indicating the changed size object is below a predetermined value. Good. In this case, the control unit 210 performs video signal processing so as to set the size of the object D21 in an image with a narrow angle of view.
  • the size of the projected video changes and the resolution cannot be ensured only by the video signal processing
  • the size of the projected video is set by the video signal processing in the narrow angle of view image.
  • a desired resolution can be maintained with a desired projection size. Therefore, it is possible to provide a projection device that is easy for the user to visually recognize.
  • the user interface device 200 detects a person's movement (person's standing position) and controls the movement of the projected image.
  • the user interface device 200 detects a gesture operation performed by touching the projection surface, and controls the movement of the projection image.
  • the projector device 100 according to the present embodiment is configured in the same manner as the projector device 100 according to the first embodiment (see FIGS. 1 to 5).
  • an outline of the projection operation in the present embodiment will be described with reference to FIGS. 13 and 14.
  • 13A to 13F are diagrams for explaining a projection operation according to a reduction operation of a projected image.
  • 14A to 14F are diagrams for explaining a projection operation according to a shift operation of a projected image.
  • FIG. 13A to FIG. 13C show a series of display examples of the projection operation corresponding to the projection size reduction operation.
  • 13D to 13F are schematic views showing images presented by the video signal processing of FIGS. 13A to 13C, respectively.
  • the projection video G30 is projected within the projectable region R35 corresponding to a predetermined angle of view.
  • the projector device 100 reduces the projected image as illustrated in FIG. 13B based on a gesture operation that narrows the interval between the fingers touching the projection surface by the user.
  • the projection video G30 can be reduced and displayed at a favorable response speed by reducing the object D30 in the image D3 as shown in FIGS. 13D and 13E by digital zoom without changing the optical zoom.
  • the projection video G30 ′ is excessively reduced by the digital zoom, the number of pixels of the object D30 ′ is excessively reduced in the image D3 presented by the video signal processing. Therefore, when the size is changed only by the digital zoom, the resolution of the projection video G30 ′ is reduced. It cannot be secured.
  • the projected image is reduced by digital zoom, when the resolution is significantly lowered, control is performed to increase the optical zoom and narrow the angle of view as shown in FIG. 13C.
  • the size of the object D31 is enlarged in the image D3 'corresponding to the projectable region R36 having a narrowed angle of view. Thereby, the resolution of the projection image G31 can be ensured.
  • FIG. 14A to FIG. 14C are a series of display examples of the projection operation corresponding to the movement operation of the projection position.
  • 14D to 14F are schematic diagrams showing images presented by the video signal processing of FIGS. 14A to 14C, respectively.
  • the projector device 100 moves the projection video G32 within the projectable region R40 based on a gesture operation for shifting the touch position on the projection surface (FIG. 14B). In this case, a good response speed can be obtained by performing digital zoom without changing the angle of view.
  • the display of the projection image G32 ′ is moved outside the projectable area R40 as shown in FIG. 14B
  • the display area R33 is projected by expanding the angle of view by controlling to reduce the optical zoom, as shown in FIG. 14C.
  • the projection video G33 of the entire object D33 can be displayed.
  • FIG. 15 is a flowchart showing a flow of operations of the projector device 100 in the present embodiment. This flow is executed by the control unit 210 of the projector device 100.
  • the processing in steps S740 to S742 is performed to detect a gesture operation by the user's finger near the projection plane.
  • control unit 210 detects the position of the user's finger on the projection plane and a gesture in the touch operation based on the distance information of the distance detection unit 230 (S740). For example, as shown in FIG. 13A, a gesture for narrowing the finger interval for instructing the reduction of the projection image G30 is detected.
  • control unit 210 determines the projection position after the movement of the projection image based on the detected finger position and gesture (S741). For example, as shown in FIG. 14A, the projection position is moved according to the position of the moving finger.
  • the control unit 210 determines a display area of the projected image after the enlargement / reduction and / or rotation corresponding to the instruction content of the gesture (S742). For example, the projection size is determined according to the narrowed finger interval in the gesture of narrowing the finger interval. Also, the control unit 210 calculates a projectable area in step S703A instead of step S703. Therefore, in the determination process in step S704, the display area determined in step S742 and the projectable area calculated in step S703A are used.
  • the determination process in step S704 is performed when the projected display area is moved when the projected image is shifted, rotated, or enlarged by a user's gesture operation. This is performed in order to prevent the image from protruding from the displayable area.
  • the control unit 210 determines that the display area after the movement falls within the projectable area R40 (YES in S704). Therefore, in the video signal processing in step S708, the object (FIG. 14D) corresponding to the projected video in FIG. 14A is moved in the image D4 as shown in FIG. 14E without expanding the angle of view, as shown in FIG. 14B.
  • the projection video G32 ′ is displayed.
  • the control unit 210 determines that the moved display area does not fit within the projectable area R40 (S704). NO). In this case, an optical zoom value for enlarging the angle of view is calculated in step S710, the projectable area is enlarged by controlling the optical zoom (FIG. 14C), and the image D4 ′ corresponding to the enlarged projectable area R41 is displayed. The digital zoom is performed (FIG. 14F).
  • the determination process in step S706 is, for example, as shown in FIGS. 13A to 13C, when the projection size of the projected image is reduced in accordance with the gesture operation, the resolution of the projected image is reduced by the digital zoom. On the other hand, it is performed to ensure image quality.
  • the control unit 210 determines that the resolution of the reduced projection image is equal to or higher than the lower limit (YES in S706). Therefore, in the video signal processing in step S708 without reducing the angle of view, the object D30 (FIG. 13D) corresponding to the projected video G30 of FIG. 13A on the image D3 is reduced as shown in FIG. A projected image G30 ′ shown in FIG. 13B is displayed.
  • the control unit 210 determines that the resolution of the reduced projection image is lower than the lower limit (NO in S706). .
  • the optical zoom value for narrowing the angle of view is calculated in step S720, the projectable area is reduced by the optical zoom control (FIG. 13C), and the digital zoom is performed on the image D3 ′ corresponding to the reduced projectable area. Is performed (FIG. 13F).
  • the resolution is ensured even when the size of the projected video is changed by the projector device 100 having the same configuration as in the first embodiment. be able to. Therefore, it is possible to provide a projection device that is easy for the user to visually recognize.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, substitutions, additions, omissions, and the like are appropriately performed.
  • the person to be tracked is detected, and the projection position of the projected image is made to follow the position of the person.
  • the tracking target for tracking the projected image is not limited to a person, and may be, for example, an animal or a car.
  • the distance detection unit detects the position of a moving body such as an animal or a car, and the control unit causes the projection position of the projected image of the object on the projection plane to follow the detected position of the moving body.
  • the distance detection unit 230 of the user interface device 200 detects a gesture operation performed by the user touching the projection surface and controls the movement of the projected video. Not exclusively. For example, instead of touching a projected image on a remote projection surface that cannot be touched, a gesture operation or voice operation of the entire hand or body may be detected to control the movement of the projected image.
  • the resolution can be ensured by controlling the digital zoom and the optical zoom, and a projection device that is easy to visually recognize can be provided.
  • the projector device 100 includes the distance detection unit 230.
  • the projector device 100 includes an imaging unit that captures an image of visible light (RGB) such as a CCD camera. Also good.
  • the controller 210 may recognize a person by performing image analysis on a captured image captured by the imaging unit.
  • the projector device 100 includes the drive unit 110 that changes the projection direction, but the projection device may not include the drive unit.
  • the projector device 100 when the projector device 100 performs a projection operation only within a predetermined region on the projection surface, the projector device 100 sets a projectable region with the maximum angle of view so as to cover the projection onto the entire projection surface on which the projection operation is performed.
  • the drive unit can be omitted.
  • the number of pixels included in the projected video is used as the resolution of the projected video (FIGS. 12A and 12B).
  • the definition of the resolution of the projected video is not limited to this, and may be defined by a projection size per pixel, for example.
  • the resolution defined in this way can represent the image quality of the projected video regardless of the projection size when the distance to the projection position changes.
  • the resolution of the projected video may be defined by the number of pixels included for each object on the image. Further, the lower limit of resolution of the projected video may be set for each object.
  • control unit 210 of the projector device 100 controls the movement of the projected image on the projection surface.
  • the movement of the projection image controlled by the control unit 210 is not limited to the shift (translation) on the projection plane, but includes translation, rotation, and combinations thereof. Further, the control unit 210 may enlarge or reduce the size of the object instead of or in addition to the movement such as translation or rotation of the projected image of the object.
  • the projector device 100 projects a projection image on the planar projection surface 600.
  • the present invention is not limited to this, and an arbitrary surface such as a surface having a curved portion or a surface having a convex / concave portion is used as the projection surface. Also good.
  • a concavo-convex shape is formed on the wall surface that is the target of the projection operation.
  • the projection size changes depending on the projection position depending on the shape. For example, when projection is performed on a wall that is not perpendicular to the optical axis of the projector device 100, the projected image is distorted, and the projection size increases as the distance from the projector device 100 increases.
  • the resolution on the projection plane can be ensured by controlling the digital zoom and the optical zoom together as in the above embodiment.
  • the view angle is enlarged when the object does not fit within the projectable area due to the movement of the object.
  • the view angle is similarly applied when the object does not fit within the projectable area due to the object enlargement.
  • the object may be controlled so as to be within the projectable area by enlarging.
  • the projection device according to the present disclosure can be applied to various uses for projecting an image onto a projection surface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

 プロジェクタ装置は、投影部と、制御部とを備える。投影部は、オブジェクトを含む画像の画角を示す映像信号に基づいて、投影面上で、設定された画角で画像の投影映像を投影する。制御部は、画像におけるオブジェクトの位置またはサイズを変更する映像信号処理を行い、投影面上の投影映像の位置またはサイズを制御する。制御部は、映像信号処理によってオブジェクトの位置またはサイズを変更しようとする場合に、変更したオブジェクトの投影映像の解像度が所定値を下回るとき、投影映像の解像度が所定値以上となるように、投影部を制御して画角を狭めるとともに、映像信号処理によって画像におけるオブジェクトのサイズを設定する。

Description

投影装置
 本開示は、映像を投影する投影装置に関する。
 特許文献1は、プロジェクタなどにより映像出力を行う出力装置を開示する。特許文献1の出力装置は、出力制御装置から割当てられた仮想画面の領域と、プロジェクタ装置の表示領域を記憶手段に保存する。さらに、出力装置は、画面状態制御装置から画面状態制御命令を取得して画面状態を更新し、画面更新命令に基づいて仮想画面を設定してコンテンツを取得する。そして、出力装置は、出力制御装置からの命令により仮想画面の中の設定された表示領域のみ描画し、表示する。特許文献1の出力装置は、公共空間において、多くの人物がいる場合でも、個人やグループの動作に応じて投影映像の出力位置、及びサイズを制御する。
特開2005-157135号公報
 本開示は、投影映像のサイズを変化させる場合であっても、投影映像の画質を確保することができる投影装置を提供する。
 本開示における投影装置は、投影部と、制御部とを備える。投影部は、所定のオブジェクトを示す映像信号に基づいて、所定の投影面上に、設定された画角で画像の投影映像を投影する。制御部は、画像におけるオブジェクトの位置またはサイズを変更する映像信号処理を行い、投影面上のオブジェクトの投影映像の位置またはサイズを制御する。制御部は、映像信号処理によって画像におけるオブジェクトの位置またはサイズを変更しようとする場合に、変更したオブジェクトの投影映像の解像度が所定値を下回るとき、オブジェクトの投影映像の解像度が所定値以上となるように、投影部を制御して画角を狭めるとともに、映像信号処理によって画像におけるオブジェクトのサイズを設定する。
 本開示にかかる投影装置によれば、投影映像のサイズを変化させる場合であっても、投影映像の画質を確保することができる。
図1は、実施の形態1におけるプロジェクタ装置が壁に映像を投影する状態を示す図である。 図2は、プロジェクタ装置がテーブルに映像を投影する状態を示す図である。 図3は、プロジェクタ装置の電気的構成を示すブロック図である。 図4Aは、距離検出部の電気的構成を示すブロック図である。 図4Bは、距離検出部230により撮像された赤外画像を説明するための図である。 図5は、プロジェクタ装置の光学的構成を示すブロック図である。 図6Aは、プロジェクタ装置に対して近い位置に人がいる状態を示す図である。 図6Bは、図6Aの映像信号処理により提示される画像を示す模式図である。 図6Cは、図6Bから遠ざかる人に対する映像信号処理で提示される画像を示す模式図である。 図6Dは、図6Aからプロジェクタ装置に対して遠い位置に人が移動した状態を示す図である。 図6Eは、図6Dの映像信号処理より提示される画像を示す模式図である。 図7Aは、図6Dに引続き、プロジェクタ装置に対して遠い位置に人がいる状態を示す図である。 図7Bは、図7Aの映像信号処理により提示される画像を示す模式図である。 図7Cは、図7Bから近づいてくる人に対する映像信号処理で提示される画像を示す模式図である。 図7Dは、図7Aからプロジェクタ装置に対して近い位置に人が移動した状態を示す図である。 図7Eは、図7Dの映像信号処理により提示される画像を示す模式図である。 図8は、実施の形態1におけるプロジェクタ装置の動作の流れを示すフローチャートである。 図9は、図8に続くプロジェクタ装置の動作の流れを示すフローチャートである。 図10は、駆動部による投影方向の変更を説明するための図である。 図11Aは、プロジェクタ装置の光軸に垂直な投影面に投影する場合の投影可能領域の一例を示す図である。 図11Bは、プロジェクタ装置の光軸に垂直な投影面に投影する場合の表示領域の一例を示す図である。 図12Aは、光学ズーム値を固定して投影位置までの距離を変化させた場合の投影映像の解像度を示すグラフである。 図12Bは、図12Aに示す投影映像の解像度を確保するように光学ズーム値を切替えた状態を示すグラフである。 図13Aは、投影サイズの縮小操作に応じた投影動作の表示例を示す図である。 図13Bは、図13Aに続く縮小操作に応じた投影動作の表示例を示す図である。 図13Cは、図13Bに続く縮小操作に応じた投影動作の表示例を示す図である。 図13Dは、図13Aの映像信号処理により提示される画像を示す模式図である。 図13Eは、図13Bの映像信号処理により提示される画像を示す模式図である。 図13Fは、図13Cの映像信号処理により提示される画像を示す模式図である。 図14Aは、投影位置の移動操作に応じた投影動作の表示例を示す図である。 図14Bは、図14Aに続く投影位置の移動操作に応じた投影動作の表示例を示す図である。 図14Cは、図14Bに続く投影位置の移動操作に応じた投影動作の表示例を示す図である。 図14Dは、図14Aの映像信号処理により提示される画像を示す模式図である。 図14Eは、図14Bの映像信号処理により提示される画像を示す模式図である。 図14Fは、図14Cの映像信号処理により提示される画像を示す模式図である。 図15は、実施の形態2におけるプロジェクタ装置の動作の流れを示すフローチャートである。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態1)
 本開示にかかる投影装置の具体的な実施例として、プロジェクタ装置100を説明する。図1及び図2を用いて、プロジェクタ装置100による映像投影動作の概要を説明する。図1は、プロジェクタ装置100が壁140に映像を投影する状態を示す図である。図2は、プロジェクタ装置100がテーブル150に映像を投影する状態を示す図である。
 図1及び図2に示すように、プロジェクタ装置100は、駆動部110とともに筐体120に固定されている。プロジェクタ装置100及び駆動部110を構成する各部と電気的に接続される配線は、筐体120及び配線ダクト130を介して電源と接続される。これにより、プロジェクタ装置100及び駆動部110に対して電力が供給される。プロジェクタ装置100は、開口部101を有している。プロジェクタ装置100は、開口部101を介して映像の投影を行う。
 駆動部110は、プロジェクタ装置100の投影方向を変更するよう駆動することができる。駆動部110は、図1に示すようにプロジェクタ装置100の投影方向を壁140の方向になるよう駆動することができる。これにより、プロジェクタ装置100は、壁140に対して映像141を投影することができる。同様に、駆動部110は、図2に示すようにプロジェクタ装置100の投影方向をテーブル150の方向になるよう駆動することができる。これにより、プロジェクタ装置100は、テーブル150に対して映像151を投影することができる。駆動部110は、ユーザのマニュアル操作に基づいて駆動してもよいし、所定のセンサの検出結果に応じて自動的に駆動してもよい。また、壁140に投影する映像141と、テーブル150に投影する映像151とは、内容を異ならせてもよいし、同一のものにしてもよい。
 プロジェクタ装置100は、ユーザインターフェース装置200を搭載している。これにより、プロジェクタ装置100は、人の操作或いは、人の立ち位置に応じた、投影映像に対する各種制御を実行することが可能となる。
 以下、プロジェクタ装置100の構成及び動作について詳細を説明する。
 <1.プロジェクタ装置の構成>
 図3は、プロジェクタ装置100の電気的構成を示すブロック図である。プロジェクタ装置100は、ユーザインターフェース装置200と、投影部250とを備えている。ユーザインターフェース装置200は、制御部210、メモリ220、距離検出部230を備えている。投影部250は、光源部300と、画像生成部400と、投影光学系500とを備えている。以下、順にプロジェクタ装置100を構成する各部の構成について説明する。
 制御部210は、プロジェクタ装置100全体を制御する半導体素子である。すなわち、制御部210は、ユーザインターフェース装置200を構成する各部(距離検出部230、メモリ220)及び、光源部300、画像生成部400、投影光学系500の動作を制御する。また、制御部210は、投影画像を映像信号処理により縮小・拡大するデジタルズーム制御を行うことができる。制御部210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組合せることにより実現してもよい。
 メモリ220は、各種の情報を記憶する記憶素子である。メモリ220は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ220は、プロジェクタ装置100を制御するための制御プログラム等を記憶する。また、メモリ220は、制御部210から供給された各種の情報を記憶する。更に、メモリ220は、投影映像を表示させたい投影サイズの設定や、投影対象までの距離情報に応じたフォーカス値のテーブルなどのデータを記憶している。
 距離検出部230は、例えば、TOF(Time-of-Flight)センサから構成され、対向する面までの距離を直線的に検出する。距離検出部230が壁140又は、テーブル150と対向しているときは、距離検出部230から壁140又は、テーブル150までの距離を検出する。
 図4Aは、距離検出部230の電気的構成を示すブロック図である。図4Aに示すように、距離検出部230は、赤外検出光を照射する赤外光源部231と、対向する面で反射した赤外検出光を受光する赤外受光部232と、それらを制御するセンサ制御部233とから構成される。赤外光源部231は、開口部101を介して、赤外検出光を周囲一面に拡散されるように照射する。赤外光源部231は、例えば、850nm~950nmの波長の赤外光を、赤外検出光として用いる。制御部210は、赤外光源部231が照射した赤外検出光の位相をメモリ220に記憶しておく。対向する面が距離検出部230から等距離になく、傾きや形状を有する場合、赤外受光部232の撮像面上に配列された複数の画素は、それぞれ別々のタイミングで反射光を受光する。別々のタイミングで受光するため、赤外受光部232で受光する赤外検出光は、各画素で位相が異なってくる。制御部210は、赤外受光部232が各画素で受光した赤外検出光の位相をメモリ220に記憶する。
 制御部210は、赤外光源部231が照射した赤外検出光の位相と、赤外受光部232が各画素で受光した赤外検出光の位相とをメモリ220から読出す。制御部210は、距離検出部230が照射した赤外検出光と、受光した赤外検出光との位相差に基づいて、距離検出部230から対向する面までの距離を測定することができる。
 図4Bは、距離検出部230(赤外受光部232)により取得された距離情報を説明するための図である。距離検出部230は、受光した赤外検出光による赤外画像を構成する画素の一つ一つについて距離を検出する。これにより、制御部210は、距離検出部230が受光した赤外画像の画角全域に対する距離の検出結果を画素単位で得ることができる。以下の説明では、図4Bに示すように、赤外画像の横方向にX軸をとり、縦方向にY軸をとる。そして、検出した距離方向にZ軸をとる。制御部210は、距離検出部230の検出結果に基づいて、赤外画像を構成する各画素について、XYZの三軸の座標(x、y、z)を取得できる。すなわち、制御部210は、距離検出部230の検出結果に基づいて、距離情報を取得できる。
 上記では、距離検出部230としてTOFセンサを例示したが、本開示はこれに限定されない。すなわち、ランダムドットパターンのように、既知のパターンを投光してそのパターンのズレから距離を算出するものであっても良いし、ステレオカメラによる視差を利用したものであってもよい。
 続いて、光源部300、画像生成部400、投影光学系500の構成について、図5を用いて説明する。図5は、プロジェクタ装置100の光学的構成を示すブロック図である。図5に示すように、光源部300は、投影画像を生成するために必要な光を、画像生成部400に対して供給する。画像生成部400は生成した映像を投影光学系500に供給する。投影光学系500は、画像生成部400から供給された映像に対してフォーカシング、ズーミング等の光学的変換を行う。投影光学系500は、開口部101と対向しており、開口部101から映像が投影される。
 まず、光源部300の構成について説明する。図5に示すように、光源部300は、半導体レーザー310、ダイクロイックミラー330、λ/4板340、蛍光体ホイール360などを備えている。
 半導体レーザー310は、例えば、波長440nm~455nmのS偏光の青色光を発光する固体光源である。半導体レーザー310から出射されたS偏光の青色光は、導光光学系320を介してダイクロイックミラー330に入射される。
 ダイクロイックミラー330は、例えば、波長440nm~455nmのS偏光の青色光に対しては98%以上の高い反射率を有する一方、波長440nm~455nmのP偏光の青色光及び、波長490nm~700nmの緑色光~赤色光に対しては偏光状態に関わらず95%以上の高い透過率を有する光学素子である。ダイクロイックミラー330は、半導体レーザー310から出射されたS偏光の青色光を、λ/4板340の方向に反射する。
 λ/4板340は、直線偏光を円偏光に変換又は、円偏光を直線偏光に変換する偏光素子である。λ/4板340は、ダイクロイックミラー330と蛍光体ホイール360との間に配置される。λ/4板340に入射したS偏光の青色光は、円偏光の青色光に変換された後、レンズ350を介して蛍光体ホイール360に照射される。
 蛍光体ホイール360は、高速回転が可能なように構成されたアルミ等の平板である。蛍光体ホイール360の表面には、拡散反射面の領域であるB領域と、緑色光を発光する蛍光体が塗付されたG領域と、赤色光を発光する蛍光体が塗付されたR領域とが複数形成されている。
 蛍光体ホイール360のB領域に照射された円偏光の青色光は拡散反射されて、円偏光の青色光として再びλ/4板340に入射する。λ/4板340に入射した円偏光の青色光は、P偏光の青色光に変換された後、再びダイクロイックミラー330に入射する。このときダイクロイックミラー330に入射した青色光は、P偏光であるためダイクロイックミラー330を透過して、導光光学系370を介して画像生成部400に入射する。
 蛍光体ホイール360のG領域又はR領域上に照射された青色光は、G領域又はR領域上に塗付された蛍光体を励起して緑色光又は赤色光を発光させる。G領域又はR領域上から発光された緑色光又は赤色光は、ダイクロイックミラー330に入射する。このときダイクロイックミラー330に入射した緑色光又は赤色光は、ダイクロイックミラー330を透過して、導光光学系370を介して画像生成部400に入射する。
 蛍光体ホイール360は高速回転しているため、光源部300から画像生成部400へは、青色光、緑色光、赤色光が時分割されて出射する。
 画像生成部400は、制御部210から供給される映像信号に応じた投影画像を生成する。画像生成部400は、DMD(Digital-Mirror-Device)420などを備えている。DMD420は、多数のマイクロミラーを平面に配列した表示素子である。DMD420は、制御部210から供給される映像信号に応じて、配列したマイクロミラーのそれぞれを偏向させて、入射する光を空間的に変調させる。DMD420は、導光光学系410を介して、時分割に出射されてくる青色光、緑色光、赤色光を順に繰返し受光する。DMD420は、それぞれの色の光が出射されてくるタイミングに同期して、マイクロミラーのそれぞれを偏向させる。これにより、画像生成部400は、映像信号に応じた投影画像を生成する。DMD420は、映像信号に応じて、投影光学系500に進行させる光と、投影光学系500の有効範囲外へと進行させる光とにマイクロミラーを偏向させる。これにより、画像生成部400は、生成した投影画像を、投影光学系500に対して供給することができる。
 投影光学系500は、ズームレンズ510やフォーカスレンズ520などの光学部材と、光学部材を駆動するレンズ駆動部501とを備える。レンズ駆動部501は例えばモータなどで構成される。投影光学系500は、画像生成部400から入射した光を拡大して投影面へ投影する。制御部210は、レンズ駆動部501を駆動制御してズームレンズ510の位置を調整することで、所望のズーム値になるよう投影対象に対して投影領域を制御できる。ズーム値を大きくする場合、制御部210は、ズームレンズ510の位置を画角が狭くなる方向(テレ側)へ移動させて、投影領域を狭くする。一方、ズーム値を小さくする場合、制御部210は、ズームレンズ510の位置を画角が広くなる方向(ワイド側)に移動させて、投影領域を広くする。また、制御部210は、ズームレンズ510の移動に追従するよう、所定のズームトラッキングデータに基づきフォーカスレンズ520の位置を調整することで、投影映像のフォーカスを合わせることができる。
 上記では、プロジェクタ装置100の一例として、DMD420を用いたDLP(Digital―Light-Processing)方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置100として、液晶方式による構成を採用しても構わない。
 上記では、プロジェクタ装置100の一例として、蛍光体ホイール360を用いた光源を時分割させた単板方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置100として、青色光、緑色光、赤色光の各種光源を備えた三光源方式による構成を採用してもよいし、DMDをRGBの各色別に備える三板方式による構成を採用しても構わない。
 上記では、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを別ユニットとする構成を説明したが、本開示はこれに限定されない。すなわち、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを統合したユニットとしても構わない。三光源方式を採用するのであれば、各色の光源と赤外光の光源とを統合したユニットとしても構わない。
 <2.動作>
 2-1.ユーザインターフェース装置の動作
 次に、プロジェクタ装置100に搭載されたユーザインターフェース装置200の動作について説明する。ユーザインターフェース装置200は、距離検出部230と制御部210とメモリ220とを備え、光源部300、画像生成部400、および投影光学系500からなる投影部250を制御する。
 距離検出部230は、投影対象までの距離や、投影範囲に位置する人等の物体までの距離を検出し、距離情報として制御部210に出力する。制御部210は、距離検出部230から取得した距離情報に基づいて、光学ズーム値やフォーカス値を算出する。
 制御部210は、投影映像の映像信号を生成する映像信号処理を行う。また、制御部210は、距離検出部230から取得した距離情報に基づいて、映像信号処理においてデジタルズームを行い、投影映像の投影サイズを調整する。制御部210は、投影映像の投影サイズの変更指示に応じて、デジタルズームにより投影画像を補正して、画像生成部400に補正した投影映像を出力する。これに合わせて、制御部210は、変更後の投影サイズに応じた光学ズーム値に基づいて、レンズ駆動部501にズームレンズ510を移動させる。そして、制御部210は、所定のズームトラッキングデータに基づいて、フォーカスレンズ520を移動させる。
 2-2.プロジェクタ装置の投影動作
 次に、プロジェクタ装置100の投影動作について説明する。プロジェクタ装置100は、上記のユーザインターフェース装置200の動作により、距離情報を用いて、利用者などの特定の人を検出し、検出した人の動きに追従して、その人の近傍に所定の投影映像を投影する。プロジェクタ装置100は、例えば廊下や通路などに設置され、壁や床などの投影面において、通過する人に追従して投影映像を投影する。投影映像は静止画であってもよいし、動画であってもよい。
 ここで、投影映像のサイズを変化させる場合においては、投影映像の画質が変動することにより、利用者にとって投影映像が見辛くなってしまう。特許文献1では、投影映像のサイズを変化させる場合に投影映像の画質の変動に対処する手段を開示していない。本実施形態では、投影映像の画質を確保するために、以下のように映像信号処理及び光学ズームの制御を行う。
 まず、投影面の近傍に位置する人の移動(人の立ち位置)に応じて、投影映像の投影位置を変化させる場合の投影動作について、図6A~図6E及び図7A~図7Eを用いて説明する。図6A~図6Eは、人の立ち位置に応じた投影制御を説明するための図である。図7A~図7Eは、図6A~図6Eに続く投影制御を説明するための図である。
 まず、図6A~図6Eを用いて、追従対象の人がプロジェクタ装置100から遠ざかる場合の投影動作について説明する。図6Aは、プロジェクタ装置100に対して近い位置(手前の位置)に人がいる状態を示す図である。図6B及び図6Cは、図6Aの映像信号処理により提示される画像を示す模式図である。図6Dは、プロジェクタ装置100に対して遠い位置(奥の位置)に人が移動した状態を示す図である。図6Eは、図6Dの映像信号処理より提示される画像を示す模式図である。
 図6A、図6Dに示すように、プロジェクタ装置100に対して近い位置(手前の位置)から入ってきた人が、遠い位置(奥の位置)へと移動した場合において、プロジェクタ装置100は、その人の移動に追従して投影映像G20を投影位置620から投影位置621へ移動させる。ここでは、図6Aに示す状態において、プロジェクタ装置100に比較的近い位置である投影位置620には、予め指定された投影サイズにおいて十分な解像度を有する投影映像が投影されているとする。また、平面状の壁面を投影面600とする。
 プロジェクタ装置100は、光学ズームの制御により、投影面600に映像を投影することが可能な領域である投影可能領域610を設定している。プロジェクタ装置100は、投影可能領域610に応じた画角の画像D1(図6B、図6C)内で、投影映像G20を示すオブジェクトD20をシフトする映像信号処理を行うことにより、投影可能領域610の範囲内で投影映像G20を人に追従させる。なお、図6B、図6Cでは、幾何補正等は省略して、映像信号処理における映像信号上の画像D1を模式的に図示している。他の映像信号処理より提示される画像を示す模式図についても同様である。
 この場合、プロジェクタ装置100から遠ざかる人に投影映像G20を追従させるため、映像信号処理において画像D1内のオブジェクトD20の位置を、オブジェクトD20のサイズを一定のままでシフトすると、投影面600上の投影サイズは、プロジェクタ装置100から遠ざかるにつれて大きくなる。一般的なプロジェクタ装置の特性として、光学ズーム値を一定、つまり、画角を一定に保った場合、映像を投影する投影位置が遠くなるに従って、投影映像の投影サイズは大きくなるからである。プロジェクタ装置100は、映像信号処理において投影サイズを一定に維持するために、図6B、図6Cに示すように、画像D1内のオブジェクトを縮小するデジタルズームを行う。
 その後、プロジェクタ装置100に対してより遠い位置(奥の位置)へ人が移動するに従って、プロジェクタ装置100は、図6Dに示すように、プロジェクタ装置100からさらに遠い位置に映像を投影させていくことになる。このとき、映像信号処理において投影サイズを一定に保つために、デジタルズームを用いて投影サイズを小さくし続けると、投影サイズ内に含まれる画素数が少なくなる。そのため、投影面600上での投影映像G20の解像度が悪化してしまう。
 そこで、本開示にかかるプロジェクタ装置100は、投影映像をそれから遠ざかる人に追従させる場合に、デジタルズームを用いて投影サイズを小さくすると解像度の低下が著しいときには、光学ズーム値を大きくして画角を狭める制御を行う。この制御により、プロジェクタ装置100の投影可能領域を、図6Aに示す投影可能領域610から、図6Dに示す投影可能領域611へと狭める。それとともに、狭めた投影可能領域611に対応する画像D1’上で映像信号処理を行う(図6E)。これにより、図6Eに示すように、画像D1’上で投影サイズを表すオブジェクトD21内に含まれる画素数の減少を抑え、投影映像の解像度を保持することができる。
 次に、図7A~図7Eを用いて、追従対象の人がプロジェクタ装置100に近づいてくる場合の投影動作について説明する。図7Aは、図6Dに示す状況に引続いた状態で、プロジェクタ装置100に対して遠い位置(奥の位置)に人がいる状態を示す図である。図7B及び図7Cは、図7Aの映像信号処理により提示される画像を示す模式図である。図7Dは、図7Aに示す状態からプロジェクタ装置100に対して近い位置(手前の位置)に人が移動した状態を示す図である。図7Eは、図7Dの映像信号処理により提示される画像を示す模式図である。
 図7A、図7Dに示すように、プロジェクタ装置100に対して遠い位置(奥の位置)にいる人が、近い位置(手前の位置)へと移動した場合において、プロジェクタ装置100は、その人の移動に追従して投影映像G22を投影位置622から投影位置623へと移動させる。プロジェクタ装置100に対して遠い位置(奥の位置)に人がいる場合(図7A)、プロジェクタ装置100は、投影位置622の投影映像G22が所定の解像度を維持できるように、投影可能領域611を設定している。プロジェクタ装置100は、投影可能領域611に応じた画角の画像D2(図7B、図7C)上で、投影映像G22を示すオブジェクトD22を移動する映像信号処理を行う。投影可能領域611には映像信号上の画像D2全体の投影映像が投影されていることになる。画像D2上の映像信号処理により、投影可能領域611の範囲内の投影位置622から投影位置622’へと、投影映像G22を人に追従させることができる。
 プロジェクタ装置100に対して近い位置(手前の位置)へ人が移動するに従って、プロジェクタ装置100は、プロジェクタ装置100から近い位置に投影映像G22を移動させていくことになる。この場合、映像信号処理において、画像D2内のオブジェクトD22が画像D2の境界からはみ出すと、投影面600上では投影映像G22が欠けて表示されてしまう。
 また、図7Dに示すような人がプロジェクタ装置100に近い位置にいるときの投影位置623は、プロジェクタ装置100に対して人が遠い位置にいたときに設定されていた投影可能領域611の範囲外である。そのため、このままではプロジェクタ装置100は、投影位置623に対して映像を投影することができない。
 そこで、本実施形態にかかるプロジェクタ装置100は、映像信号においては投影映像G22が投影可能領域611に収まらないときに、光学ズーム値を小さくして画角を拡げる制御を行う。この制御により、図7Dに示すように投影可能領域611を投影可能領域610に拡げて、投影位置623が投影可能領域610の範囲内に位置するようにする。そして、プロジェクタ装置100は、図7Eに示すように、拡げた投影可能領域610に対応する画像D2’内で、オブジェクトD23を移動する映像信号処理を行うことで、投影位置623に対して投影映像を投影することができる。このように、プロジェクタ装置100は、光学ズームを調整して投影可能領域を拡げることにより所望の投影位置に投影映像を欠けることなく表示させることができる。
 また、上記のように光学ズームには、画角を広げる制御が必要になることもあり、例えば図6Dに示す人がプロジェクタ装置100からさらに遠ざかる場合には、光学ズームの制御では解像度の確保が困難となり得る。そこで、本実施形態では、そのような場合には、投影映像の投影方向を変更するように駆動部110を駆動する。駆動部110の駆動制御より、投影可能領域をプロジェクタ装置100から遠ざかる方に移動でき、より広範囲に投影映像を表示させることができる。
 2-3.投影動作のフロー
 上記の動作の流れについて、図6~図10を参照して説明する。図8及び図9は、プロジェクタ装置100の動作の流れを示すフローチャートである。図10は、駆動部110による投影方向の変更を説明するための図である。
 本フローは、プロジェクタ装置100の制御部210によって実行される。
 まず、制御部210は、距離検出部230を制御して、追従対象の人の位置と移動方向を検出する(S700)。具体的に、距離検出部230は投影面近傍の空間における距離情報を検出し、制御部210はこの距離情報を取得する。制御部210は、人の形状の特徴を示す特徴情報を予めメモリ220に格納しておき、メモリ220から特徴情報を読出して、特徴情報が示す人の形状と距離情報に基づく形状と比較を行う。制御部210は、この比較結果に基づいて、人を認識して位置を検出する。
 また、制御部210は、例えばプロジェクタ装置100の設置時に壁や床までの距離を示す距離情報を予め測定してメモリ220に格納しておき、人が存在したときの距離情報の差分に基づいて、人の位置を検出してもよい。もしくは、人以外に動く物体がないような状況であれば、制御部210は、距離情報を定期的に取得して、随時距離が変化する部分を検出して、その動体を人として認識してもよい。また、制御部210は、定期的に取得した距離情報の変化に基づいて、人の移動方向を検出してもよい。
 次に、制御部210は、ステップS700の人の位置と移動方向の検出結果に基づいて、投影面600においてオブジェクトの投影映像の投影位置を決定する(S701)。移動する人に見やすく表示させるために、例えば、制御部210は、検出した人の位置から移動方向へ所定間隔、離れた位置を算出して、投影位置を決定する。これにより、移動する人の視線の向きにあり、見やすいところに投影映像を表示することができる。このように、人の位置と移動方向を検出することで、より適切に投影映像の投影位置を決定することができる。
 また、制御部210は、人の位置から投影面への垂線の足の位置を算出して、算出した位置の付近に投影位置を決定してもよい。この場合には、ステップS700において人の移動方向を検出せずに、人の位置の情報のみによって投影位置を決定しても構わない。
 次に、制御部210は、距離検出部230からの距離情報に基づいて、プロジェクタ装置100から投影位置までの距離を検出する(S702)。ステップS702において取得される距離情報は、後続の処理において、特定の光学ズーム値の場合の投影映像の画像上のサイズや、フォーカス値を決定する処理において使用するパラメータとなる。
 次に、制御部210は、ステップS700~S702の処理によって取得した情報に基づいて、投影面における投影映像の表示領域と、投影可能領域とを算出する(S703)。表示領域は、追従対象の人に応じた投影位置に所望の投影サイズで表示される投影映像が、投影面において占める領域である。制御部210は、ステップS701の処理で決定した投影位置と、ステップS702の処理で検出された距離情報と、メモリ220に記憶された所望の投影サイズとに基づいて、投影面上の表示領域を算出する。
 投影可能領域は、投影面においてプロジェクタ装置100が画像を投影することが可能な範囲を示す領域であり、プロジェクタ装置100と投影面600との間の距離と、画角(光学ズーム値)とによって規定される。制御部210は、ステップS702の処理で検出された投影位置までの距離を示す情報と、現在の状態の光学ズーム値とに基づいて、投影可能領域を算出する。光学ズーム値と画角とは一対一に対応するため、制御部210は、光学ズーム値と距離情報から投影可能領域を算出することができる。投影可能領域の算出方法の詳細については後述する。
 次に、制御部210は、算出した表示領域が、投影可能領域の範囲内に収まるか否かを判定する(S704)。ステップS704の判定処理は、例えば図7Aに示すように、投影可能領域611の境界近傍に表示された投影映像G22’を移動させる場合に、投影映像G22’の表示領域が、移動後に投影可能領域611からはみ出すことを防止するために行われる。
 例えば、図6Aに示すように、プロジェクタ装置100の近くにいた人がプロジェクタ装置100から遠ざかる場合、制御部210は、表示領域が投影可能領域の範囲内に収まると判定し(S704でYES)、ステップS705の処理に進む。一方、図7Aに示すように、投影可能領域611の境界近傍に表示された投影映像G22’を、その境界を越えて移動させる場合、制御部210は、表示領域が投影可能領域の範囲内に収まらないと判定し(S704でNO)、ステップS710の処理に進む。ステップS710以降の処理については後述する。
 制御部210は、表示領域が投影可能領域の範囲内に収まると判定した場合(S704でYES)、投影面上の表示領域に投影されることとなる映像の解像度を算出する(S705)。
 次に、制御部210は、ステップS705において算出した解像度が、所定の解像度の下限値以上であるか否かを判定する(S706)。ステップS706の判定処理は、例えば図6A、図6Dに示すように、プロジェクタ装置100から離れていく人に追従する場合に、デジタルズームで生じる投影映像の解像度の低下に対して、画質を確保するために行われる。
 制御部210は、投影映像の解像度が下限値以上であると判定した場合(S706でYES)、現在の状態の光学ズーム値を決定値として確定する(S707)。
 次に、制御部210は、確定した光学ズーム値に基づいて、デジタルズームを含む映像信号処理を行う(S708)。ステップS708の処理において、制御部210は、確定した光学ズーム値と表示領域の投影サイズに基づいて、デジタルズーム値を決定する(S708)。制御部210は、映像信号処理により提示される画像上で、ステップS701で決定した投影位置に対応する座標に位置し、ステップS703で算出した表示領域に対応するサイズを有するオブジェクトを示す映像信号を生成する。また、制御部210は、距離検出部230からの距離情報に基づいて、投影面600の向き等に応じた幾何補正を行う。制御部210は、生成した映像信号に基づいて、画像生成部400を制御する。
 例えば、図6Aに示すように、投影映像G20を投影位置620から投影位置620’に移動させる場合に、制御部210は、移動後の投影映像の解像度が下限値以上であると判断する(S706でYES)。制御部210は、光学ズーム値を変更せず(S707)、ステップS708の映像信号処理においてデジタルズームを行って、投影サイズを維持して投影映像G20を移動させる。デジタルズームによって、図6Bに示す画像D1内でオブジェクトD20はシフトされるとともに縮小されるが、縮小されたオブジェクトD20’(図6C)は、下限値以上の解像度で生成されることとなる。
 制御部210は、算出した解像度が下限値よりも小さいと判定した場合(S706でNO)、光学ズームの画角を狭める制御により、投影映像の解像度を下限値以上にできるか否かを判定する(S720)。ステップS720の判定処理は、例えば図6A及び図6Dに示すように、追従対象の人がプロジェクタ装置100から離れていき、デジタルズームでは下限値以上の解像度を確保できない場合に、光学ズームの制御が有効か否かを確認するために行われる。
 具体的には、制御部210は、ズームレンズ510の調整可能範囲内で、下限値以上の解像度に到達するまで、光学ズーム値を大きくすることができるか否かを判定する。ズームレンズ510の調整可能範囲は、ズームレンズ510の機械特性等とともに、例えば、ステップS703において算出した表示領域が、光学ズーム値を変更した場合の投影可能領域内に収まるように設定される。
 制御部210は、光学ズームの画角を狭める制御により解像度を下限値以上にできると判定した場合(S720でYES)、解像度が下限値以上になる光学ズーム値を算出して、決定値として確定する(S721)。算出される光学ズーム値は、解像度が下限値に一致する値でもよいし、解像度が下限値に一致する値よりも所定幅だけ大きい値であってもよい。制御部210は、確定した光学ズーム値に基づいて、レンズ駆動部501を制御し、ズームレンズ510の位置を調整する。制御部210は、算出後の光学ズーム値に基づいて、ステップS708の映像信号処理を行う。
 ズームレンズ510の位置調整は、例えば、光学ズーム値(画角)とズームレンズ510の位置の関係を示すデータテーブルをあらかじめメモリ220に格納しておき、制御部210がそのデータテーブルを読出して行う。また、データテーブルではなく、光学ズーム値(画角)とズームレンズ510の位置の関係を導き出す方程式を示す情報をメモリ220に記憶させておき、制御部210がその方程式の演算を実行して、ズームレンズ510の位置調整を行ってもよい。
 例えば、図6Dに示すように投影位置621の表示領域R21に投影する場合、投影可能領域610では解像度が下限値より小さいと判断され(S706でNO)、光学ズームの変更により解像度を下限値以上にできると判断される(S720でYES)。ステップS706では、例えば、制御部210は、投影可能領域610に対応する画像D1内で、表示領域R21に対応する画素数が、下限値の画素数よりも小さいことを判断する。ステップS720では、例えば、まず制御部210は、投影可能領域610から画角を狭めて、表示領域R21がはみ出さない投影可能領域611を算出する。そして、制御部210は、投影可能領域611に対応する画像D1’(図6E)上で、表示領域R21に対応する画素数を計算し、計算した画素数が下限値以上であることを判断する。これにより、ステップS708の映像信号処理において、下限値以上の解像度を有するオブジェクトD21の映像信号が生成される。
 一方、画角を狭める光学ズームの変更により、解像度を下限値以上にできないと判定した場合(S720でNO)、制御部210は、プロジェクタ装置100の光軸が投影位置に近づくように、駆動部110を駆動制御する(S730)。制御部210は、ステップS730の処理の後にステップS700に戻り、一連のフローを再度、実行する。
 例えば、図6Dに示す追従対象の人が、さらにプロジェクタ装置100から離れる場合、ステップS720において、光学ズームの変更によって解像度を下限値以上にできないと判定される(S720でNO)。この場合、制御部210は、ステップS730において図10に示すように駆動部110を駆動して、その後、ステップS700以降の処理を再度行う。移動後の投影可能領域611’では、プロジェクタ装置100の光軸が投影位置621に近づいているS700以降の処理において、投影映像の解像度の解像度が向上する。
 以下、図9を用いて、ステップS710以降の処理について説明する。ステップS710の以降の処理は、例えば図7Aに示すように、投影可能領域611の境界近傍に表示された投影映像G22’を、その境界を越えて移動させる場合など、ステップS704において表示領域が投影可能領域の範囲内に収まらないと判定された場合に行われる。
 ステップS710において、制御部210は、表示領域が投影可能領域の範囲内に入るように、画角を拡大する光学ズーム値を算出する。ステップS710において、制御部210は、ステップS703において算出した投影可能領域から画角を求めることができる。これにより、制御部210は、光学ズーム値を設定することができる。
 制御部210は、ステップS710において画角を拡大する光学ズーム値を算出すると、算出した光学ズーム値を用いて投影された場合の投影映像の解像度を算出する(S705A)。次に、制御部210は、ステップS706と同様に、ステップS705Aにおいて算出した解像度が、下限値以上であるか否かを判定する(S706A)。
 制御部210は、ステップS705Aにおいて算出した解像度が下限値以上であると判定した場合(S706AでYES)、ステップS710において算出した光学ズーム値を決定値として確定し、画角を拡げるようにレンズ駆動部501を制御する(ステップS707A)。
 次に、制御部210は、ステップS708以降の処理を順次行う。例えば、図7Aに示す投影映像G22’を図7Dに示す表示領域R23に移動させる場合に、ステップS707Aにより画角が拡がり、表示領域R23がはみ出さない投影可能領域610に対応する画像D2’(図7E)において映像信号処理が行われる。
 図7Aの例では、制御部210は、ステップS710で算出した光学ズーム値に基づいて、ズームレンズ510を制御し、光学ズームを小さくして画角を拡げる(ステップS707A)。これにより、図7Dに示すように表示領域R23がはみ出ないように投影可能領域610が設定される。
 一方、制御部210は、ステップS705Aにおいて算出した解像度が下限値以上でないと判定した場合(S706AでNO)、駆動部110を駆動制御して(S730)、ステップS700の処理に戻る。つまり、このフローでは、解像度が下限値以上となる光学ズーム値が、ステップS710で算出した光学ズーム値よりも小さくなる場合には、光学ズームの制御では投影映像の解像度を確保できないと判定される。なお、ステップS710において、例えば光学ズーム値が既に最小値で、表示領域が投影可能領域の範囲内に入る光学ズーム値を算出できなかった場合にも、駆動部110を駆動制御して(S730)、ステップS700の処理に戻ってもよい。
 図8に戻り、最後に、制御部210は、メモリ220に記憶されたズームトラッキングデータに基づいて、フォーカス値を決定し、フォーカスレンズ520を駆動制御する(S709)。制御部210は、以上の処理を所定の周期で繰返す。
 以上のフローにより、投影映像のサイズが変化して、デジタルズームのみでは解像度が確保できない場合であっても、光学ズームを制御してその後の微調整をデジタルズームで行うことにより、所望の投影サイズで所望の解像度を維持することができる。そのため、ユーザにとって視認しやすい投影装置を提供できる。
 2-4.投影映像の解像度について
 以下、プロジェクタ装置100による投影映像の解像度について説明する。
 まず、投影可能領域の算出方法(図8のステップS703)について、図11Aを用いて説明する。図11Aは、プロジェクタ装置100の光軸に垂直な投影面800に投影する場合の投影可能領域の一例を示す。図11Aにおいて、プロジェクタ装置100のX方向の画角はプロジェクタ装置100の光軸を中心とするθxであり、投影面800までの距離はdである。この場合、投影可能領域801のX方向のサイズS1xは、次式で算出される。
(数1)
 S1x=2×d×tan(θx/2)  (1)
 また、投影可能領域801のY方向のサイズS1yに関しても、Y方向の画角θyに基づいて、数式1と同様に算出される。図8のフローのステップS703において、制御部210は、画角(θx,θy)と投影面800までの距離dに基づいて、数式1などを演算することにより、投影可能領域801を算出する。なお、X方向の画角θxとY方向の画角θyとは同一であってもよい。
 次に、投影映像の解像度の算出方法(図8のステップS705)について、図11Bを用いて説明する。図11Bは、プロジェクタ装置100の光軸に垂直な投影面800に投影する場合の表示領域の一例を示す。図11Bでは、図11Aの投影面800の縦横を代えて、投影面800の横方向(紙面の裏から表へ向かう方向)をX方向、投影面800の縦方向(紙面の下から上へ向かう方向)をY方向とする。
 図11Bにおいて、それぞれX方向及びY方向において、プロジェクタ装置100によって投影可能領域801の全体に画像を投影した場合の投影面800における解像度を(P1x、P1y)、投影面800における表示領域802のサイズを(S2x、S2y)とする。この場合、投影面800において、画像内のオブジェクトを投影する投影映像の解像度(P1x、P1y)は、投影可能領域801と表示領域802のサイズの比で定まることとなる。具体的には、次式で算出される。
(数2)
 P2x=P1x×S2x/(2×d×tan(θx/2))  (2x)
 P2y=P1y×S2y/(2×d×tan(θy/2))  (2y)
 図8のステップS705において、制御部210は、実際に投影映像の映像信号を生成することなく、数式2に基づいて解像度を算出することができる。
 また、図8のステップS708の映像信号処理において、制御部210は、投影可能領域801のサイズと表示領域802のサイズとの比率と、プロジェクタ装置100による画像全体の解像度(P1x、P1y)の積(数式2)に基づいて、デジタルズームにより所望の投影サイズに変更するために必要な画素数を算出できる。これにより、制御部210は、映像信号処理において、入力画像におけるオブジェクトを適切な投影サイズに縮小/拡大することができる。
 次に、投影映像の解像度と投影位置までの距離の関係について、図12A、図12Bを用いて説明する。図12Aは、光学ズーム値を固定して投影位置までの距離を変化させた場合の投影映像の解像度を示すグラフである。図12Bは、図12Aに示す投影映像の解像度を確保するように光学ズーム値を切替えた状態を示すグラフである。図12A、図12Bにおいて、投影映像の投影サイズを一定にした場合の投影映像に含まれる画素数を、投影映像の解像度としている。
 図12A、図12Bにおいて、図11に示すプロジェクタ装置100からの距離dを変化させた場合の投影映像の解像度を示す。この場合の投影映像の解像度は、光学ズーム値及び投影サイズを一定にすると、図12Aに示すように投影位置までの距離dに反比例する。また、一般的なプロジェクタ装置の特性として、光学ズーム値を一定、つまり画角を一定に保った場合、映像を投影する投影位置が遠くなるに従って、投影映像の投影サイズは大きくなる。この場合、1画素当たりの投影サイズは、投影位置が遠くなるにつれて大きくなる。そのため、デジタルズームで画像上のサイズを小さくするのに伴って、図12Aに示すように、投影映像の解像度が悪化してしまう。
 これに対して、本実施形態では、図12Bに示すように、デジタルズームでは投影映像の解像度が下がり過ぎる場合に、光学ズーム値を上げる制御を行う。図12Bにおいて、解像度の下限値を60dotとしており、投影位置までの距離dを1000mmから遠くしていく場合に、距離dが3000mmのところで投影映像の解像度が下限値に一致し、光学ズーム値を2倍に上げる制御が行われている。これにより、画角が半分となり、1画素当たりの投影サイズが縮小した画像上での映像信号処理により、投影映像の解像度が確保される。
 <3.効果等>
 以上のように、本実施の形態において、プロジェクタ装置100は、投影部250と、制御部210とを備える。投影部250は、所定のオブジェクトD20を含む画像D1の画角を示す映像信号に基づいて、所定の投影面600上に、設定された画角で画像D1の投影映像を投影する。制御部210は、画像D1におけるオブジェクトD20の位置またはサイズを変更する映像信号処理を行い、投影面600上のオブジェクトD20の投影映像G20の位置またはサイズを制御する。制御部210は、映像信号処理によって画像D1におけるオブジェクトD20の位置またはサイズを変更しようとした場合に、変更したオブジェクトD20’の投影映像の解像度が所定値を下回るとき、投影映像の解像度が所定値以上となるように、投影部250を制御して画角を狭めるとともに、映像信号処理によって画像D1’におけるオブジェクトD21のサイズを設定する。
 本実施形態に係るプロジェクタ装置100によれば、投影映像G20の位置またはサイズを変化させる場合であっても、投影映像G20の解像度に応じて、画角を狭めて映像信号処理を行うことにより投影映像G21の画質を確保することができる。
 制御部210は、映像信号処理によってオブジェクトD20’のサイズを変更すると、変更したサイズのオブジェクトを示す投影映像の解像度が所定値を下回る場合、画角を狭めるように投影部250を制御してもよい。この場合、制御部210は、狭めた画角の画像においてオブジェクトD21のサイズを設定するように映像信号処理を行う。
 これにより、投影映像のサイズが変化して、映像信号処理のみでは解像度が確保できない場合に、狭めた画角の画像において映像信号処理により投影映像のサイズが設定される。これにより、所望の投影サイズで所望の解像度を維持することができる。そのため、ユーザにとって視認しやすい投影装置を提供できる。
 (実施の形態2)
 以下、図面を用いて、実施の形態2を説明する。実施の形態1にかかるプロジェクタ装置では、ユーザインターフェース装置200によって人の動き(人の立ち位置)を検出して、投影映像の移動を制御した。本実施形態にかかるプロジェクタ装置100では、ユーザインターフェース装置200によって、投影面にタッチして行うジェスチャ操作を検出して、投影映像の移動を制御する。
 以下、実施形態1に係るプロジェクタ装置と同様の構成、動作の説明は適宜、省略して、本実施形態に係るプロジェクタ装置を説明する。
 本実施形態にかかるプロジェクタ装置100は、実施の形態1にかかるプロジェクタ装置100と同様に構成される(図1~図5参照)。以下、図13、図14を参照して、本実施形態における投影動作の概要について説明する。図13A~図13Fは、投影映像の縮小操作に応じた投影動作を説明するための図である。図14A~図14Fは、投影映像のシフト操作に応じた投影動作を説明するための図である。
 図13A~図13Cは、投影サイズの縮小操作に応じた投影動作の一連の表示例を示す。図13D~図13Fは、それぞれ図13A~図13Cの映像信号処理により提示される画像を示す模式図である。図13Aにおいて、投影映像G30は、所定の画角に対応する投影可能領域R35内に投影されている。図13Aに示すように、ユーザが投影面にタッチする指の間隔を狭めるジェスチャ操作に基づいて、プロジェクタ装置100は投影映像を図13Bに示すように縮小する。この場合、光学ズームを変化させずに、デジタルズームによって、図13D、図13Eに示すように画像D3内のオブジェクトD30を縮小することにより、良好な応答速度で投影映像G30を縮小表示できる。しかし、デジタルズームによって投影映像G30’を縮小し過ぎると、映像信号処理により提示される画像D3内でオブジェクトD30’の画素数が減り過ぎるので、デジタルズームのみによるサイズ変更では、投影映像G30’の解像度を確保できない。そこで、デジタルズームで投影映像を縮小すると解像度の低下が著しいとき、図13Cに示すように光学ズームを大きくして画角を狭める制御を行う。それとともに、狭めた画角の投影可能領域R36に対応する画像D3’内で、オブジェクトD31のサイズを拡大する。これにより、投影映像G31の解像度を確保することができる。
 図14A~図14Cは、投影位置の移動操作に応じた投影動作の一連の表示例である。図14D~図14Fは、それぞれ図14A~図14Cの映像信号処理により提示される画像を示す模式図である。図14Aの表示例において、プロジェクタ装置100は、投影面のタッチ位置をずらすジェスチャ操作に基づいて、投影可能領域R40内で投影映像G32を移動させる(図14B)。この場合には、画角を変えずにデジタルズームを行うことで、良好な応答速度が得られる。一方、図14Bに示すように投影可能領域R40外に投影映像G32’の表示を移動させる場合、図14Cに示すように、光学ズームを小さくする制御で画角を拡げて、表示領域R33を投影可能領域R41内に収めることにより、オブジェクトD33全体の投影映像G33を表示することができる。
 次に、本実施形態におけるプロジェクタ装置100の投影動作について、図15を参照して説明する。図15は、本実施形態におけるプロジェクタ装置100の動作の流れを示すフローチャートである。本フローは、プロジェクタ装置100の制御部210によって実行される。
 本フローでは、図8に示すフローのステップS700,S701の処理に代えて、ステップS740~S742の処理を行い、投影面近傍のユーザの指によるジェスチャ操作を検出する。
 まず、制御部210は、距離検出部230の距離情報に基づいて、投影面上のユーザの指の位置及びタッチ操作におけるジェスチャを検出する(S740)。例えば、図13Aに示すように、投影映像G30の縮小を指示するための、指の間隔を狭めるジェスチャを検出する。
 次に、制御部210は、検出した指の位置及びジェスチャに基づいて、投影映像の移動後の投影位置を決定する(S741)。例えば、図14Aに示すように移動する指の位置に応じて投影位置を移動させる。
 次に、制御部210は、検出したジェスチャに基づいて、ジェスチャの指示内容に応じた拡大縮小および/または回転を行った後の投影映像の表示領域を決定する(S742)。例えば、指の間隔を狭めるジェスチャにおいて狭めた指の間隔に応じて投影サイズを決定する。また、制御部210は、ステップS703に代えて、ステップS703Aでは投影可能領域を算出する。そのため、ステップS704の判定処理では、ステップS742で決定された表示領域とステップS703Aで算出された投影可能領域を用いる。
 本実施形態において、ステップS704の判定処理は、例えば図14A~図14Cに示すように、ユーザのジェスチャ操作によって投影映像をシフトしたり、回転や拡大させたりする場合に、移動後の表示領域が表示可能領域からはみ出すことを防止するために行われる。
 例えば、図14Aに示す投影映像G32を図14Bに示す投影位置に移動させる場合、制御部210は、移動後の表示領域が投影可能領域R40内に収まると判断する(S704でYES)。そのため、画角を拡げることなく、ステップS708の映像信号処理において、画像D4内で図14Aの投影映像に対応するオブジェクト(図14D)を図14Eに示すように移動することにより、図14Bに示す投影映像G32’が表示される。
 一方、図14Bに示す投影映像G32’を、さらに図14Cに示す投影位置にまで移動させる場合、制御部210は、移動後の表示領域が投影可能領域R40内に収まらないと判断する(S704でNO)。この場合、ステップS710において画角を拡大する光学ズーム値が算出され、光学ズームの制御で投影可能領域が拡大されるとともに(図14C)、拡大後の投影可能領域R41に対応する画像D4’上のデジタルズームが行われる(図14F)。
 また、本実施形態において、ステップS706の判定処理は、例えば図13A~図13Cに示すように、ジェスチャ操作に応じて投影映像の投影サイズを縮小する場合に、デジタルズームで生じる投影映像の解像度の低下に対して、画質を確保するために行われる。
 例えば、図13Aに示す投影映像G30を図13Bに示す投影サイズに縮小する場合、制御部210は、縮小後の投影映像の解像度が下限値以上であると判断する(S706でYES)。そのため、画角を狭めることなく、ステップS708の映像信号処理において、画像D3上で図13Aの投影映像G30に対応するオブジェクトD30(図13D)を、図13Eに示すように縮小することによって、図13Bに示す投影映像G30’が表示される。
 一方、図13Bに示す投影映像G30’を、さらに図13Cに示す投影サイズにまで縮小させる場合、制御部210は、縮小後の投影映像の解像度が下限値を下回ると判断する(S706でNO)。この場合、ステップS720において画角を狭める光学ズーム値が算出され、光学ズームの制御で投影可能領域が縮小されるとともに(図13C)、縮小後の投影可能領域に対応する画像D3’上でデジタルズームが行われる(図13F)。
 以上のように、投影面にタッチするユーザのジェスチャ操作の場合であっても、実施の形態1と同様の構成のプロジェクタ装置100により、投影映像のサイズを変化させたときでも、解像度を確保することができる。そのため、ユーザにとって視認しやすい投影装置を提供することができる。
 (その他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1,2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組合せて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
 実施の形態1では、追従対象の人を検出して、投影映像の投影位置を、人の位置に追従させた。投影映像を追従させる追従対象は人に限らず、例えば動物や自動車などであってもよい。この場合、距離検出部は動物や自動車などの移動体の位置を検出し、制御部は、投影面においてオブジェクトの投影映像の投影位置を、検出した移動体の位置に追従させる。
 実施の形態2では、ユーザインターフェース装置200の距離検出部230により、ユーザが投影面にタッチして行うジェスチャ操作を検出して、投影映像の移動を制御したが、検出するユーザの操作はこれに限らない。例えば、タッチできない遠隔に存在する投影面上の投影映像を、タッチによる操作に代えて、手や身体全体のジェスチャ操作や音声操作を検出して、投影映像の移動を制御してもよい。この場合も実施形態2と同様に、デジタルズームと光学ズームの制御により解像度を確保することができ、視認しやすい投影装置を提供できる。
 上記の実施形態では、プロジェクタ装置100は、距離検出部230を備えたが、これに代えて、又はこれに加えて、CCDカメラなどの可視光(RGB)による画像を撮像する撮像部を備えてもよい。例えば、制御部210は、撮像部によって撮影された撮像画像を画像解析することによって、人物を認識してもよい。
 上記の実施形態では、プロジェクタ装置100は、投影方向を変更する駆動部110を備えたが、投影装置は駆動部を備えなくてもよい。例えば、プロジェクタ装置100は、投影面における所定の領域内においてのみ投影動作を行う場合に、投影動作を行う投影面全体への投影を賄うように最大の画角の投影可能領域を設定することで、駆動部を省略できる。
 上記の実施形態において、投影映像に含まれる画素数を投影映像の解像度とした(図12A、図12B)。投影映像の解像度の定義はこれに限らず、例えば、1画素当たりの投影サイズで規定されてもよい。このように規定された解像度は、投影位置までの距離が変わる場合に投影サイズに関わらず、投影映像の画質を表すことができる。また、投影映像の解像度は、画像上のオブジェクト毎に含まれる画素数で規定されてもよい。また、投影映像の解像度下限値をオブジェクト毎に設定してもよい。
 上記の実施形態において、プロジェクタ装置100の制御部210は、投影面上の投影映像の移動を制御した。制御部210が制御する投影映像の移動は、投影面上でのシフト(並進)に限らず、並進や回転、及びこれらの組合せを含む。また、制御部210は、オブジェクトの投影映像の並進や回転などの移動に代えて、又はこれに加えて、オブジェクトのサイズの拡大や縮小を行ってもよい。
 上記の実施形態では、プロジェクタ装置100は、平面状の投影面600に投影映像を投影したが、これに限らず、湾曲部を有する面や凸凹部を有する面などの任意の面を投影面としてもよい。例えば、投影動作の対象となる壁面に、凹凸形状が形成されているとする。その形状に合わせて幾何補正を行う際に、形状次第では、投影位置に応じて投影サイズが変化することとなる。例えば、プロジェクタ装置100の光軸に対して垂直でない壁に投影した場合、投影映像が歪み、プロジェクタ装置100から遠くなるほど投影サイズが大きくなる。投影サイズが大きくなった分、投影映像を縮小する必要があるが、上記の実施の形態と同様にデジタルズームと光学ズームを合わせて制御することで、投影面上の解像度を確保することができる。
 上記の実施形態では、オブジェクトの移動によって、投影可能領域内に収まらない場合、画角を拡大することについて説明したが、オブジェクトの拡大によって、投影可能領域内に収まらない場合も同様に、画角を拡大することによって、オブジェクトを投影可能領域内に収まるように制御してもよい。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
 したがって、添付図面および詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
 本開示における投影装置は、投影面へと映像を投影する種々の用途に適用可能である。
100 プロジェクタ装置
101 開口部
110 駆動部
120 筐体
130 配線ダクト
140 壁
141,151 映像
150 テーブル
200 ユーザインターフェース装置
210 制御部
220 メモリ
230 距離検出部
231 赤外光源部
232 赤外受光部
233 センサ制御部
250 投影部
300 光源部
310 半導体レーザー
320,370,410 導光光学系
330 ダイクロイックミラー
340 λ/4板
350 レンズ
360 蛍光体ホイール
400 画像生成部
420 DMD
500 投影光学系
501 レンズ駆動部
510 ズームレンズ
520 フォーカスレンズ
600 投影面
610,611,611’,801 投影可能領域
620,620’,621,622,622’,623 投影位置
800 投影面
802 表示領域
d 投影面までの距離
D1,D1’,D2,D2’,D3,D3’,D4,D4’ 画像
D20,D20’,D21,D22,D23,D30,D30’,D31,D33 オブジェクト
G20,G22,G22’,G30,G30’,G31,G32,G32’,G33 投影映像
P1x,P1y 投影面における解像度
R21,R23,R33 表示領域
R35,R36,R40,R41 投影可能領域
S1x,S1y 投影可能領域のサイズ
S2x,S2y 表示領域のサイズ
θx,θy 画角

Claims (8)

  1.  所定のオブジェクトを含む画像を示す映像信号に基づいて、所定の投影面上に、設定された画角で前記画像の投影映像を投影する投影部と、
     前記画像におけるオブジェクトの位置またはサイズを変更する映像信号処理を行い、前記投影面上の前記オブジェクトの投影映像の位置またはサイズを制御する制御部と
    を備え、
     前記制御部は、
     前記映像信号処理によって前記画像におけるオブジェクトの位置またはサイズを変更しようとした場合に、変更したオブジェクトの投影映像の解像度が所定値を下回るとき、
     前記オブジェクトの投影映像の解像度が所定値以上となるように、前記投影部を制御して前記画角を狭めるとともに、前記映像信号処理によって前記画像におけるオブジェクトのサイズを設定する
    投影装置。
  2.  前記制御部は、
     前記映像信号処理によって前記画像においてオブジェクトを移動しようとした場合に、移動したオブジェクトが前記画像からはみ出すとき、
     移動したオブジェクトが前記画像の範囲内に入り、かつ前記オブジェクトの投影映像の解像度が所定値以上となるように、前記投影部を制御して前記画角を拡げるとともに、前記映像信号処理によって前記画像においてオブジェクトを移動する
    請求項1に記載の投影装置。
  3.  前記制御部は、
     前記映像信号処理によって前記画像においてオブジェクトのサイズを拡大しようとした場合に、サイズを拡大したオブジェクトが前記画像からはみ出すとき、
     サイズを拡大したオブジェクトが前記画像の範囲内に入り、かつ前記オブジェクトの投影映像の解像度が所定値以上となるように、前記投影部を制御して前記画角を拡げるとともに、前記映像信号処理によって前記画像においてオブジェクトを移動する
    請求項1に記載の投影装置。
  4.  前記投影装置を駆動して投影映像の投影方向を変更する駆動部をさらに備え、
     前記制御部は、
     前記映像信号処理によって前記画像におけるオブジェクトのサイズの変更、または移動をしようとした場合に、サイズの変更または移動後のオブジェクトの投影映像の解像度が所定値を下回り、かつ、前記画角を制御しても、投影映像の解像度が所定値以上とならないとき、
     前記駆動部を駆動し、前記オブジェクトの投影映像の投影位置を変更させる
    請求項1に記載の投影装置。
  5.  前記投影装置と前記投影面との距離を示す距離情報を検出する距離検出部をさらに備え、
     前記制御部は、前記距離検出部によって検出された距離情報に基づいて、前記オブジェクトの投影映像の移動を制御する
    請求項1に記載の投影装置。
  6.  前記距離検出部は、移動体の位置を検出し、
     前記制御部は、前記距離検出部によって検出された移動体の位置に基づいて、前記投影面において、前記オブジェクトの投影映像の投影位置を、検出した移動体の位置に追従させる
    請求項5に記載の投影装置。
  7.  前記距離検出部は、ユーザのジェスチャを検出し、
     前記制御部は、前記距離検出部によって検出されたユーザのジェスチャに基づいて、前記オブジェクトの投影映像の移動を制御する
    請求項5に記載の投影装置。
  8.  前記投影面を撮像する撮像部をさらに備え、
     前記制御部は、前記撮像部によって撮像された撮像画像に基づいて、前記オブジェクトの投影映像の移動を制御する
    請求項1に記載の投影装置。
PCT/JP2015/004333 2014-09-25 2015-08-28 投影装置 WO2016047043A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016549912A JP6064150B2 (ja) 2014-09-25 2015-08-28 投影装置
US15/186,471 US10194125B2 (en) 2014-09-25 2016-06-18 Projection apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014195432 2014-09-25
JP2014-195432 2014-09-25
JP2015050019 2015-03-12
JP2015-050019 2015-03-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/186,471 Continuation US10194125B2 (en) 2014-09-25 2016-06-18 Projection apparatus

Publications (1)

Publication Number Publication Date
WO2016047043A1 true WO2016047043A1 (ja) 2016-03-31

Family

ID=55580595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/004333 WO2016047043A1 (ja) 2014-09-25 2015-08-28 投影装置

Country Status (3)

Country Link
US (1) US10194125B2 (ja)
JP (1) JP6064150B2 (ja)
WO (1) WO2016047043A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6210466B1 (ja) * 2016-10-31 2017-10-11 パナソニックIpマネジメント株式会社 情報入力装置
JP2021040179A (ja) * 2019-08-30 2021-03-11 富士フイルム株式会社 投影装置及び方法
WO2022044386A1 (ja) * 2020-08-28 2022-03-03 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及び投影システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
KR102393297B1 (ko) * 2015-04-22 2022-05-02 삼성전자주식회사 전자기기 및 방법
US10726534B1 (en) * 2015-07-09 2020-07-28 Lazer Layout, Llc Layout projection
KR102180479B1 (ko) * 2015-07-22 2020-11-18 삼성전자주식회사 전자기기 및 전자기기의 동작 방법
JP2017044857A (ja) * 2015-08-26 2017-03-02 株式会社Jvcケンウッド 光学装置および投射装置
CN110023712A (zh) * 2017-02-28 2019-07-16 松下知识产权经营株式会社 位移计测装置以及位移计测方法
US11172189B1 (en) * 2018-12-28 2021-11-09 Facebook, Inc. User detection for projection-based augmented reality system
US11196985B1 (en) * 2018-12-28 2021-12-07 Facebook, Inc. Surface adaptation for projection-based augmented reality system
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
CN112040206A (zh) * 2020-08-21 2020-12-04 广景视睿科技(深圳)有限公司 一种变焦投影方法及投影仪

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043570A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp プロジェクタ
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2012123282A (ja) * 2010-12-10 2012-06-28 Nikon Corp 電子機器
JP2013213877A (ja) * 2012-03-30 2013-10-17 Jvc Kenwood Corp 投射装置および投射方法
JP2014178504A (ja) * 2013-03-15 2014-09-25 Casio Comput Co Ltd 投影システム及び投影方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157135A (ja) 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 情報表示方法及びシステム及びプログラム
JP2007024936A (ja) * 2005-07-12 2007-02-01 Pentax Corp 投影装置
JP5168783B2 (ja) 2005-12-27 2013-03-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP5173756B2 (ja) * 2008-11-12 2013-04-03 キヤノン株式会社 画像表示装置
KR20100060428A (ko) 2008-11-27 2010-06-07 엘지전자 주식회사 영상 프로젝터를 구비한 이동 단말기 및 손떨림 보정 방법
JP5310456B2 (ja) * 2009-10-05 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP5409263B2 (ja) * 2009-10-28 2014-02-05 京セラ株式会社 携帯電子機器及び携帯電話機
JP2011170658A (ja) * 2010-02-19 2011-09-01 Seiko Epson Corp 画像形成装置
JP5541031B2 (ja) * 2010-09-16 2014-07-09 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
JP5627418B2 (ja) * 2010-11-29 2014-11-19 キヤノン株式会社 映像表示装置及び方法
JP5754124B2 (ja) * 2010-12-14 2015-07-29 セイコーエプソン株式会社 プロジェクターおよび制御方法
US8979273B2 (en) * 2011-11-16 2015-03-17 Seiko Epson Corporation Line display system using projector
JP5924042B2 (ja) * 2012-03-14 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
WO2013147068A1 (ja) 2012-03-30 2013-10-03 株式会社Jvcケンウッド 投射装置
KR101889008B1 (ko) * 2012-06-11 2018-08-20 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043570A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp プロジェクタ
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2012123282A (ja) * 2010-12-10 2012-06-28 Nikon Corp 電子機器
JP2013213877A (ja) * 2012-03-30 2013-10-17 Jvc Kenwood Corp 投射装置および投射方法
JP2014178504A (ja) * 2013-03-15 2014-09-25 Casio Comput Co Ltd 投影システム及び投影方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6210466B1 (ja) * 2016-10-31 2017-10-11 パナソニックIpマネジメント株式会社 情報入力装置
JP2018073170A (ja) * 2016-10-31 2018-05-10 パナソニックIpマネジメント株式会社 情報入力装置
JP2021040179A (ja) * 2019-08-30 2021-03-11 富士フイルム株式会社 投影装置及び方法
JP7236355B2 (ja) 2019-08-30 2023-03-09 富士フイルム株式会社 投影装置及び方法
JP7427822B2 (ja) 2019-08-30 2024-02-05 富士フイルム株式会社 投影装置及び方法
WO2022044386A1 (ja) * 2020-08-28 2022-03-03 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及び投影システム

Also Published As

Publication number Publication date
JP6064150B2 (ja) 2017-01-25
JPWO2016047043A1 (ja) 2017-04-27
US20160295185A1 (en) 2016-10-06
US10194125B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
JP6064150B2 (ja) 投影装置
JP6186599B1 (ja) 投影装置
US10999565B2 (en) Projecting device
US10122976B2 (en) Projection device for controlling a position of an image projected on a projection surface
US9690427B2 (en) User interface device, and projector device
US9723281B2 (en) Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same
US20210302753A1 (en) Control apparatus, control method, and program
US10447979B2 (en) Projection device for detecting and recognizing moving objects
US20160286186A1 (en) Projection apparatus
JP4930115B2 (ja) 画像表示システム
US9841847B2 (en) Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position
JP6167308B2 (ja) 投影装置
JP6182739B2 (ja) 投影装置及び投影方法
JP6307706B2 (ja) 投影装置
JP6303306B2 (ja) 映像処理装置
JP2012150260A (ja) マルチプロジェクションシステム、プロジェクター、及び、画像投射制御方法
US20160091987A1 (en) Projector
JP2013083985A (ja) 投影装置、投影方法及びプログラム
JP2016071864A (ja) プロジェクタ装置
US20160191878A1 (en) Image projection device
JP2008216351A (ja) 投影装置、投影方法及びプログラム
JP6209746B2 (ja) 画像投影装置
JP2007264334A (ja) 投影装置、投影方法及びプログラム
JP2020004040A (ja) 投写装置、投写装置の制御方法、プログラムおよび記憶媒体
JP2020042099A (ja) 投影制御装置、投影制御方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15844599

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016549912

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15844599

Country of ref document: EP

Kind code of ref document: A1