WO2020250739A1 - 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム - Google Patents

投影制御装置、投影装置、投影制御方法、及び投影制御プログラム Download PDF

Info

Publication number
WO2020250739A1
WO2020250739A1 PCT/JP2020/021639 JP2020021639W WO2020250739A1 WO 2020250739 A1 WO2020250739 A1 WO 2020250739A1 JP 2020021639 W JP2020021639 W JP 2020021639W WO 2020250739 A1 WO2020250739 A1 WO 2020250739A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
projection control
projection
content
control device
Prior art date
Application number
PCT/JP2020/021639
Other languages
English (en)
French (fr)
Inventor
伊藤　研治
米山　一也
和紀 井上
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2020250739A1 publication Critical patent/WO2020250739A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present invention relates to a projection control device, a projection device, a projection control method, and a projection control program.
  • Patent Document 1-4 A system that combines an imaging device and a projection device has been proposed (see, for example, Patent Document 1-4).
  • Patent Document 1 describes a configuration in which a part of the optical system is shared between the projection unit and the imaging unit.
  • Patent Document 2-4 describes a configuration in which the projection unit and the imaging unit do not share an optical system.
  • One embodiment according to the technique of the present disclosure provides a projection control device, a projection device, a projection control method, and a projection control program capable of detecting an object obstructing a projection object and improving the quality of the projected image.
  • the projection control device of the present invention captures the image acquired from the image pickup element that images the projection object through a part of an optical system that projects an image generated by the display unit on the projection object based on the input image data.
  • a comparison image data of the captured image data and the input image data is generated, and based on the comparison image data, the image existing between the projection object and the optical system and projected onto the projection object. It is provided with a detection unit that detects an object that blocks the image.
  • the projection device of the present invention includes the projection control device, the optical system, and the image pickup device.
  • the projection control method of the present invention captures the image acquired from an image pickup element that captures the projected object through a part of an optical system that projects an image generated by the display unit on the projected object based on the input image data.
  • a comparison image data of the captured image data and the input image data is generated, and based on the comparison image data, the image existing between the projection object and the optical system and projected onto the projection object. It is provided with a detection step for detecting an object that blocks the image.
  • the projection control program of the present invention captures the image acquired from the image pickup element that images the projected object through a part of an optical system that projects an image generated by the display unit on the projected object based on the input image data.
  • a comparison image data of the captured image data and the input image data is generated, and based on the comparison image data, the image existing between the projection object and the optical system and projected onto the projection object.
  • the purpose is to have a computer perform a detection step to detect an object that blocks the image.
  • a projection control device capable of detecting an object obstructing a projection object and improving the quality of the projected image.
  • FIG. 1 is a schematic view showing an external configuration of a projector 100, which is an embodiment of the projection device of the present invention.
  • FIG. 2 is a schematic view showing an example of the internal configuration of the light source unit 11 of FIG.
  • FIG. 3 is a schematic cross-sectional view of the optical unit 6 of the projector 100 shown in FIG. FIG. 3 shows a cross section of the light emitted from the main body 1 along the optical path.
  • the projector 100 includes a main body portion 1 and an optical unit 6 provided so as to project from the main body portion 1.
  • the optical unit 6 includes a first member 2 supported by the main body 1 and a second member 3 rotatably supported by the first member 2.
  • the second member 3 may be fixed to the first member 2 in a non-rotatable state. Further, the first member 2 and the second member 3 may be integrated members.
  • the optical unit 6 may be detachably configured (in other words, interchangeable) in the main body 1.
  • the main body 1 has a housing 15 (see FIG. 3) in which an opening 15a (see FIG. 3) for passing light is formed in a portion connected to the optical unit 6.
  • the light source unit 11 As shown in FIG. 1, inside the housing 15 of the main body 1, the light source unit 11 and the light modulation element that spatially modulates the light emitted from the light source unit 11 based on the input image data to generate an image.
  • An optical modulation unit 12 including 12a (see FIG. 2) is provided.
  • the display unit is composed of the light source unit 11 and the light modulation unit 12.
  • the light source unit 11 includes a light source 41 that emits white light, a color wheel 42, and an illumination optical system 43.
  • the light source 41 is configured to include a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the color wheel 42 is arranged between the light source 41 and the illumination optical system 43.
  • the color wheel 42 is a disk-shaped member, and an R filter that transmits red light, a G filter that transmits green light, and a B filter that transmits blue light are provided along the circumferential direction thereof.
  • the color wheel 42 is rotated about an axis, and the white light emitted from the light source 41 is separated into red light, green light, and blue light in a time-divided manner and guided to the illumination optical system 43.
  • the light emitted from the illumination optical system 43 is incident on the light modulation element 12a.
  • a DMD Digital Micromirror Device
  • LCOS Liquid crystal on silicon
  • MEMS Micro Electro Mechanical Systems
  • liquid crystal display element or the like can also be used.
  • the image G1 formed by the light spatially modulated by the light modulation unit 12 passes through the opening 15a of the housing 15 and is incident on the optical unit 6 on the screen SC as a projection object. Be projected.
  • the optical unit 6 includes a first member 2 having a hollow portion 2A connected to the inside of the main body portion 1, a second member 3 having a hollow portion 3A connected to the hollow portion 2A, and a hollow portion 2A.
  • the first optical system 21 and the reflecting member 22 arranged, and the second optical system 31, the branch member 32, the third optical system 33, the fourth optical system 37, the image sensor 38, and the lens 34 arranged in the hollow portion 3A.
  • a rotation mechanism 4 4.
  • the first member 2 is a member having a rectangular cross-sectional outer shape, and the openings 2a and 2b are formed on surfaces perpendicular to each other.
  • the first member 2 is supported by the main body 1 in a state where the opening 2a is arranged at a position facing the opening 15a of the main body 1.
  • the light emitted from the light modulation element 12a of the light modulation unit 12 of the main body 1 passes through the openings 15a and 2a and is incident on the hollow portion 2A of the first member 2.
  • the incident direction of the light incident on the hollow portion 2A from the main body portion 1 is described as the direction X1, the opposite direction of the direction X1 is described as the direction X2, and the direction X1 and the direction X2 are collectively referred to as the direction X.
  • the direction from the front to the back of the paper and the opposite direction are described as the direction Z.
  • the direction perpendicular to the direction X and the direction Z is described as the direction Y, and among the directions Y, the upward direction in FIG. 3 is described as the direction Y1, and the downward direction in FIG. 3 is described as the direction Y2. ..
  • the first optical system 21, the reflective member 22, the second optical system 31, the branch member 32, the third optical system 33, and the lens 34 are optical systems for projecting the image formed by the light modulation element 12a onto the screen SC. Consists of. FIG. 3 shows the optical axis K of this optical system.
  • the first optical system 21, the reflective member 22, the second optical system 31, the branch member 32, the third optical system 33, and the lens 34 are arranged along the optical axis K in this order from the light modulation element 12a side.
  • the first optical system 21 includes at least one lens, and guides light traveling from the main body 1 to the first member 2 in the direction X1 to the reflecting member 22.
  • the reflecting member 22 reflects the light incident from the first optical system 21 in the direction Y1.
  • the reflective member 22 is composed of, for example, a mirror or the like.
  • the first member 2 has an opening 2b formed on the optical path of the light reflected by the reflecting member 22, and the reflected light passes through the opening 2b and proceeds to the hollow portion 3A of the second member 3.
  • the second member 3 is a member having a substantially T-shaped cross section, and an opening 3a is formed at a position facing the opening 2b of the first member 2.
  • the light from the main body 1 that has passed through the opening 2b of the first member 2 is incident on the hollow portion 3A of the second member 3 through the opening 3a.
  • the second optical system 31 includes at least one lens, and guides the light incident from the first member 2 to the branch member 32.
  • the branch member 32 reflects the light incident from the second optical system 31 in the direction X2 and guides it to the third optical system 33. Further, the branch member 32 transmits the subject light incident on the lens 34 from the screen SC side and has passed through the third optical system 33, and guides the subject light to the fourth optical system 37.
  • the branch member 32 is composed of, for example, a half mirror, a beam splitter, a polarizing member, or the like.
  • the third optical system 33 includes at least one lens, and guides the light reflected by the branch member 32 to the lens 34.
  • the third optical system 33 may include, for example, a focus lens for adjusting the focal position, a zoom lens for adjusting the focal length, a variable diaphragm having a variable transmitted light amount, and the like.
  • the lens 34 is arranged at this end so as to close the opening 3c formed at the end of the second member 3 on the direction X2 side.
  • the lens 34 projects the light incident from the third optical system 33 onto the screen SC.
  • the fourth optical system 37 is arranged next to the branch member 32 on the direction X1 side, and guides the subject light that passes through the branch member 32 and travels in the direction X1 to the image sensor 38.
  • the optical axis of the fourth optical system 37 coincides with the optical axis of the lens 34 and the third optical system 33.
  • the image sensor 38 is a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like.
  • the image sensor 38 images the screen SC through the lens 34, the third optical system 33, the branch member 32, and the fourth optical system 37.
  • the captured image signal of the image pickup element 38 is input to the system control unit 14 described later.
  • the rotation mechanism 4 is a mechanism for rotatably connecting the second member 3 to the first member 2.
  • the second member 3 is rotatably configured around a rotation axis (specifically, an optical axis K) parallel to the direction Y.
  • FIG. 4 is a schematic view showing the internal block configuration of the projector 100 shown in FIG.
  • the main body 1 of the projector 100 includes a light source unit 11, a light modulation unit 12 including a light modulation element 12a and a light modulation element drive unit 12b for driving the light modulation element 12a, and a system control unit 14 that controls the whole. , Are provided.
  • the light modulation element driving unit 12b drives the light modulation element 12a based on the input image data input from the system control unit 14, and spatially modulates the light from the light source unit 11 with the input image data.
  • the system control unit 14 includes various processors, a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed for executing a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit), is included.
  • the structure of these various processors is an electric circuit that combines circuit elements such as semiconductor elements.
  • the processor of the system control unit 14 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of.
  • FIG. 5 is a functional block diagram of the system control unit 14 shown in FIG.
  • the processor of the system control unit 14 functions as a projection control device including the detection unit 14A and the projection image adjustment unit 14B by executing a program including the projection control program.
  • the detection unit 14A acquires the captured image data of the image G1 projected on the screen SC based on the captured image signal input from the image sensor 38.
  • the detection unit 14A generates difference image data between the captured image data of the image G1 and the input image data input to the optical modulation unit 12 for projecting the image G1. Based on this difference image data, the detection unit 14A detects an object (for example, a human head, a hand, etc.) existing between the screen SC and the lens 34 and blocking the image G1 projected on the screen SC.
  • an object for example, a human head, a hand, etc.
  • FIG. 6 is a schematic diagram showing an example of input image data input to the optical modulation unit 12 for projecting the image G1.
  • the input image data IP shown in FIG. 6 is an image having content C1, content C2, and content C3.
  • the contents are characters, icons, figures, pictures, photographs, and the like.
  • the metadata of the input image data IP stores information on the importance of each content included in the input image data IP.
  • This importance information is specifically a numerical value, and the higher the numerical value, the more important the content is.
  • the importance information is set by the user when generating the input image data IP.
  • FIG. 7 is a schematic diagram showing a state in which the image G1 generated based on the input image data IP shown in FIG. 6 is projected.
  • FIG. 7 shows a state in which an object OB exists between the screen SC and the lens 34, and the content C3 in the image G1 projected on the screen SC is partially blocked by the object OB.
  • FIG. 8 is a schematic diagram showing image pickup image data P1 obtained by capturing an image G1 projected on the screen SC shown in FIG. 7 by an image pickup device 38.
  • the position of the image G1 in the imaging range of the image sensor 38 is known. Therefore, the captured image data P1 can be generated by cutting out the range corresponding to the image G1 from the captured image of the screen SC captured by the image sensor 38.
  • the captured image data P1 includes an object OB that blocks a part of the image G1.
  • the detection unit 14A performs a process of matching the size of the input image data IP and the size of the captured image data P1, and further performs a process of matching the brightness of the input image data IP with the brightness of the captured image data P1. .. If the size of the input image data IP and the size of the captured image data P1 are designed to match, the size adjustment process is not necessary.
  • the detection unit 14A generates the difference image data by subtracting the input image data IP from the captured image data P1 that has undergone these processes.
  • FIG. 9 is a schematic diagram showing the difference image data ⁇ P obtained by subtracting the input image data IP shown in FIG. 6 from the captured image data P1 shown in FIG.
  • the pixel value of the difference image data ⁇ P is 0 in the area other than the object OB.
  • the detection unit 14A sets this region as an object region.
  • the detection unit 14A determines the presence or absence of an object that blocks the image G1 based on the shape of this object region.
  • the object area is detected from the difference image data between the captured image data and the input image data, but if the content of the captured image data and the content of the input image data can be compared, the difference image data can be used instead.
  • the difference image data and the color comparison image data constitute comparative image data between the captured image data and the input image data.
  • the detection unit 14A may have an object that blocks the image G1. judge. If the shape of the object area is not similar to the above shape, or if the shape of the object area is similar to the shape of a sticky note, characters, etc., this object area is a sticky note or handwritten character attached to the screen SC. It can be judged that it is an area. Sticky notes and handwritten characters are often not provided at positions that overlap with the contents of the image G1. Therefore, in this case, the detection unit 14A determines that there is no object that blocks the image G1.
  • the detection unit 14A may determine the presence or absence of an object that blocks the image G1 based on the time change of the position of the object region. For example, the detection unit 14A periodically generates the difference image data ⁇ P, and when the object area is detected, whether or not the position of the object area has changed from the position of the previously detected object area. judge. When the position of the object area is changed, it can be determined that this object area is generated by a movable object such as a hand or a finger. If the position of the object area has not changed, it can be determined that this object area is generated by a sticky note or handwritten characters. Therefore, when the position of the object region is changed, the detection unit 14A determines that there is an object that blocks the image G1. On the other hand, when the position of the object region has not changed, the detection unit 14A determines that there is no object that blocks the image G1.
  • the projected image adjusting unit 14B shown in FIG. 5 determines that the image G1 is blocked by the object in the image G1 projected on the screen SC. (In other words, correction of the input image data IP) is performed.
  • the projection image adjustment unit 14B recognizes the corresponding area in the input image data IP of the object area included in the difference image data ⁇ P as the above-mentioned shielding area.
  • the size of the difference image data ⁇ P and the size of the input image data IP are the same. Therefore, in the input image data IP, a region having the same coordinates as the object region detected from the difference image data ⁇ P can be recognized as the above-mentioned shielding region.
  • the projected image adjusting unit 14B of the image G1 is based on the information on the importance of the content in which the shielded area overlaps. Decide whether to make adjustments.
  • the projected image adjustment unit 14B refers to the importance of the content in which the shielding areas overlap, and when this importance is equal to or higher than the threshold value, moves the position of the content in the input image data IP to match the content. Make adjustments to eliminate the overlap with the shielded area.
  • FIG. 10 is a schematic diagram for explaining the image adjustment process.
  • FIG. 10 shows the input image data IP shown in FIG. 6 and the corrected input image data IPa of the input image data IP.
  • the shielding area ob recognized by the projection image adjusting unit 14B is shown in the input image data IP.
  • the shielding region ob overlaps the content C3.
  • the projection image adjusting unit 14B corrects the position of the content C3 to a position that does not overlap with the shielding area ob, and corrects the input image data IPa. To get.
  • the image G1 based on the input image data IPa is projected on the screen SC, the state shown in FIG. 11 is obtained, and the content C3 is not blocked by the object OB.
  • the projected image adjustment unit 14B does not correct the input image data IP when the importance of the overlapping content C3 of the shielding area ob is less than the threshold value. The same process is performed even when the shielded area ob overlaps the contents C1 and C2.
  • the projector 100 has a configuration in which an image G1 projected on the screen SC is imaged through a part of an optical system for projecting an image (specifically, a third optical system 33 and a branch member 32). Therefore, as shown in FIG. 8, the captured image data P1 does not include the shadow of the object OB. Therefore, the system control unit 14 performs a process of generating the difference image data ⁇ P between the captured image data P1 and the input image data IP, and based on the shape or position change of the object region included in the difference image data ⁇ P, the image G1 It is possible to determine whether or not there is an object that blocks the image. As described above, since it is not necessary to consider the existence of the shadow of the object OB, the position of the object that blocks the image G1 can be accurately determined by a simple process.
  • the projector 100 when there is content that overlaps with the shielding area ob in the input image data IP, whether or not to move the content based on the importance of the content is determined. Judged. According to this configuration, when the highly important content is blocked by the object OB, the content can be made visible. Therefore, necessary information can be transmitted to the observer of the image without omission. In addition, it is possible to prevent the position of the content from changing frequently due to the presence of the object OB, and it is possible to reduce the load on the observer of the image.
  • the projected image adjusting unit 14B reduces the size of the content in the input image data to reduce the size of the content and the shielded area. Adjustments may be made to eliminate the overlap. For example, as shown in the upper part of FIG. 12, if the shielded area ob and the content C3 overlap, the content C3 and the shielded area ob are reduced by reducing the content C3 as shown in the lower part of FIG. It is possible to eliminate the overlap with.
  • the projected image adjusting unit 14B moves the position of the content in the input image data and the content in the input image data.
  • the size of the image may be reduced to eliminate the overlap between the content and the shielded area.
  • the projected image adjusting unit 14B may determine whether or not to adjust the image G1 based on the ratio of the shielded area in the input image data IP, not the importance of the content overlapping the shielded area.
  • the projected image adjusting unit 14B performs at least one of reduction and movement of the image G1 projected on the screen SC, and the above ratio is the threshold value. Get a condition that is less than.
  • the reduction of the image G1 can be performed by changing the size of the input image data IP.
  • the image G1 can be moved, for example, by setting the optical unit 6 so as to be movable in the direction Y and the direction Z with respect to the main body 1, and moving the optical unit 6 with respect to the light modulation element 12a. it can.
  • the image G1 may be moved by making the size of the input image data IP smaller than the maximum size that can be projected to form a margin around the image and moving the input image data IP to the margin side.
  • the possibility that the content and the object OB overlap can be reduced and the visibility can be improved.
  • the projected image adjusting unit 14B may determine whether or not to adjust the image G1 based on the duration of the state in which the shielded area and the content overlap, rather than the importance of the content overlapping the shielded area.
  • the projected image adjusting unit 14B moves the position of the content overlapping the shielding area in the input image data IP as illustrated in FIG. , Performs processing to eliminate the overlap between the content and the shielded area.
  • the content of the image G1 is moved so as to be easily visible only when the content of the image G1 is blocked and cannot be visually recognized for a long time. Therefore, it is possible to prevent the content from moving frequently and reduce the load on the observer.
  • the projected image adjusting unit 14B reduces the size of the content overlapping the shielding area in the input image data IP to reduce the overlap between the content and the shielding area. You may make adjustments to eliminate it. Further, when the above-mentioned duration is equal to or longer than the threshold value, the projected image adjusting unit 14B moves the position of the content that overlaps with the shielded area in the input image data IP, and sets it as the shielded area in the input image data IP. Adjustments may be made to reduce the size of the overlapping content so that the overlapping content and the shielded area are eliminated.
  • the optical unit 6 of the projector 100 simply uses the branch member 32 as a mirror, and reflects the light emitted from the lens 34 in front of the lens 34 and projects it onto the screen SC, and transmits the subject light from the screen SC.
  • a member similar to the branch member 32 may be arranged, and the fourth optical system 37 and the image pickup element 38 may be arranged on the optical path of the light transmitted through the optical member.
  • the optical member arranged in front of the lens 34 becomes a part of the optical system for projecting the image G1. Even with this configuration, the shadow of the object OB does not occur in the captured image data P1. Therefore, the above-mentioned processing can be applied.
  • a projection control device including a projection image adjusting unit that adjusts the image based on a shielded area blocked by the object in the image projected on the projection object.
  • the adjustment of the image is a projection control device including at least one of the adjustment of the projection position of the image and the adjustment of the input image data.
  • the projection control device is a projection control device that recognizes a corresponding area in the input image data of the object area included in the comparison image data as the shielding area.
  • the projection control device is a projection control device that determines whether or not to perform the adjustment based on the importance of the content when the shielding area and the content included in the input image data overlap.
  • the projection image adjusting unit moves the position of the content in the input image data to eliminate the overlap between the content and the shielding area. Projection control device that performs.
  • the projection image adjusting unit reduces the size of the content in the input image data to eliminate the overlap between the content and the shielding area. Projection control device that performs.
  • the projected image adjusting unit moves the position of the content in the input image data and reduces the size of the content in the input image data.
  • a projection control device that makes the above adjustments to eliminate the overlap between the contents and the shielded area.
  • the projection control device is a projection control device that determines whether or not to perform the adjustment based on the proportion of the shielded area in the input image data.
  • the projected image adjusting unit performs at least one of reduction and movement of the image projected on the projection object to obtain a state in which the ratio is less than the threshold value. Projection control device.
  • the projection control device is a projection control device that moves the position of the content in the input image data to eliminate the overlap between the content and the shielding area when the duration is equal to or longer than the threshold value.
  • the projection control device is a projection control device that reduces the size of the content in the input image data to eliminate the overlap between the content and the shielding area when the duration is equal to or longer than the threshold value.
  • the projected image adjusting unit moves the position of the content in the input image data and reduces the size of the content in the input image data.
  • a projection control device that eliminates the overlap between the content and the shielded area.
  • the projection control device according to any one of (1) to (14).
  • the detection unit is a projection control device that generates the comparison image data after matching the sizes of the input image data and the captured image data.
  • the projection control device according to any one of (1) to (15).
  • the detection unit is a projection control device that generates the comparison image data after matching the brightness of the input image data and the captured image data.
  • the projection control device according to any one of (1) to (16).
  • the detection unit is a projection control device that determines the presence or absence of the object based on the shape of the object region included in the comparative image data.
  • the projection control device according to any one of (1) to (17).
  • the detection unit is a projection control device that determines the presence or absence of the object based on the time change of the position of the object region included in the comparative image data.
  • a projection control method including a projection image adjustment step for adjusting the image based on a shielded area blocked by the object in the image projected on the projection object.
  • the adjustment of the image is a projection control method including at least one of the adjustment of the projection position of the image and the adjustment of the input image data.
  • the projection control method according to (21) or (22) is a projection control method for recognizing a corresponding area in the input image data of an object area included in the comparison image data as a shielding area.
  • the projection image adjustment step is a projection control method for determining whether or not to perform the adjustment based on the importance of the content when the shielding area and the content included in the input image data overlap.
  • the projection control method moves the position of the content in the input image data and reduces the size of the content in the input image data when the importance of the content is equal to or higher than the threshold value.
  • the projection image adjustment step is a projection control method for determining whether or not to perform the adjustment based on the proportion of the shielded area in the input image data.
  • the projection image adjustment step is a projection control method for moving the position of the content in the input image data to eliminate the overlap between the content and the shielding area when the duration is equal to or longer than the threshold value.
  • the projection image adjustment step is a projection control method for reducing the size of the content in the input image data to eliminate the overlap between the content and the shielding area when the duration is equal to or longer than the threshold value.
  • the detection step is a projection control method for generating the comparative image data after matching the sizes of the input image data and the captured image data.
  • the projection control method according to any one of (20) to (34).
  • the detection step is a projection control method for generating the comparative image data after matching the brightness of the input image data and the captured image data.
  • the projection control method according to any one of (20) to (35).
  • the detection step is a projection control method for determining the presence or absence of the object based on the shape of the object region included in the comparative image data.
  • the projection control method according to any one of (20) to (36).
  • the detection step is a projection control method for determining the presence or absence of the object based on the time change of the position of the object region included in the comparative image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

投影対象物を遮る物体を検出して投影画像の品質を高めることのできる投影制御装置、投影装置、投影制御方法、及び投影制御プログラムを提供する。　プロジェクタ（１００）は、入力画像データＩＰに基づいて表示部により生成される画像Ｇ１をスクリーンＳＣに投影する光学系、の一部を通してスクリーンＳＣを撮像する撮像素子（３８）から取得した画像Ｇ１の撮像画像データＰ１と、入力画像データＩＰとの差分画像データΔＰを生成し、差分画像データΔＰに基づいて、スクリーンＳＣとレンズ（３４）の間に存在し且つ画像Ｇ１を遮る物体ＯＢを検出する検出部（１４Ａ）を備える。

Description

投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
　本発明は、投影制御装置、投影装置、投影制御方法、及び投影制御プログラムに関する。
　撮像装置と投影装置とを組み合わせたシステムが提案されている（例えば特許文献１－４参照）。
　特許文献１には、投影部と撮像部とで光学系の一部を共用する構成が記載されている。特許文献２－４には、投影部と撮像部とで光学系を共用しない構成が記載されている。
日本国特開２０１５－２２０５０３号公報 日本国特開２０１３－１２５１８１号公報 日本国特開２００９－０６４１１０号公報 国際公開第２０１６／１２５３５９号公報
　本開示の技術に係る１つの実施形態は、投影対象物を遮る物体を検出して投影画像の品質を高めることのできる投影制御装置、投影装置、投影制御方法、及び投影制御プログラムを提供する。
　本発明の投影制御装置は、入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して上記投影対象物を撮像する撮像素子から取得した上記画像の撮像画像データと、上記入力画像データとの比較画像データを生成し、上記比較画像データに基づいて、上記投影対象物と上記光学系の間に存在し且つ上記投影対象物に投影された上記画像を遮る物体を検出する検出部を備えるものである。
　本発明の投影装置は、上記投影制御装置と、上記光学系と、上記撮像素子と、を備えるものである。
　本発明の投影制御方法は、入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して上記投影対象物を撮像する撮像素子から取得した上記画像の撮像画像データと、上記入力画像データとの比較画像データを生成し、上記比較画像データに基づいて、上記投影対象物と上記光学系の間に存在し且つ上記投影対象物に投影された上記画像を遮る物体を検出する検出ステップを備えるものである。
　本発明の投影制御プログラムは、入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して上記投影対象物を撮像する撮像素子から取得した上記画像の撮像画像データと、上記入力画像データとの比較画像データを生成し、上記比較画像データに基づいて、上記投影対象物と上記光学系の間に存在し且つ上記投影対象物に投影された上記画像を遮る物体を検出する検出ステップをコンピュータに実行させるためのものである。
　本発明によれば、投影対象物を遮る物体を検出して投影画像の品質を高めることのできる投影制御装置、投影装置、投影制御方法、及び投影制御プログラムを提供することができる。
本発明の投影装置の一実施形態であるプロジェクタ１００の外観構成を示す模式図である。 図１の光源ユニット１１の内部構成の一例を示す模式図である。 図１に示すプロジェクタ１００の光学ユニット６の断面模式図である。 図１に示すプロジェクタ１００の内部ブロック構成を示す模式図である。 図４に示すシステム制御部１４の機能ブロック図である。 画像Ｇ１を投影するために光変調ユニット１４に入力されている入力画像データの一例を示す模式図である。 図６に示す入力画像データＩＰに基づく画像Ｇ１が投影された状態を示す模式図である。 図７に示すスクリーンＳＣに投影された画像Ｇ１を撮像素子３８により撮像して得られる撮像画像データＰ１を示す模式図である。 図８に示す撮像画像データＰ１から図６に示す入力画像データＩＰを減算して得られる差分画像データΔＰを示す模式図である。 画像調整処理を説明するための模式図である。 図１０の入力画像データＩＰａに基づいて画像が投影された状態を示す模式図である。 画像調整処理の別の例を説明するための模式図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投影装置の一実施形態であるプロジェクタ１００の外観構成を示す模式図である。図２は、図１の光源ユニット１１の内部構成の一例を示す模式図である。図３は、図１に示すプロジェクタ１００の光学ユニット６の断面模式図である。図３は、本体部１から出射される光の光路に沿った面での断面を示している。
　図１に示すように、プロジェクタ１００は、本体部１と、本体部１から突出して設けられた光学ユニット６と、を備える。光学ユニット６は、本体部１に支持される第一部材２と、第一部材２に回転自在に支持された第二部材３と、を備える。なお、第二部材３は、第一部材２に回転不能な状態にて固定されていてもよい。また、第一部材２と第二部材３は一体化された部材であってもよい。光学ユニット６は、本体部１に着脱自在に構成（換言すると交換可能に構成）されていてもよい。
　本体部１は、光学ユニット６と連結される部分に光を通すための開口１５ａ（図３参照）が形成された筐体１５（図３参照）を有する。
　本体部１の筐体１５の内部には、図１に示すように、光源ユニット１１と、光源ユニット１１から出射される光を入力画像データに基づいて空間変調して画像を生成する光変調素子１２ａ（図２参照）を含む光変調ユニット１２と、が設けられている。光源ユニット１１と光変調ユニット１２によって表示部が構成される。
　図２に示す例では、光源ユニット１１は、白色光を出射する光源４１と、カラーホイール４２と、照明光学系４３と、を備える。光源４１は、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子を含んで構成される。カラーホイール４２は、光源４１と照明光学系４３の間に配置されている。カラーホイール４２は、円板状の部材であり、その周方向に沿って、赤色光を透過するＲフィルタ、緑色光を透過するＧフィルタ、及び青色光を透過するＢフィルタが設けられている。カラーホイール４２は軸周りに回転され、光源４１から出射される白色光を時分割にて赤色光、緑色光、及び青色光に分光して照明光学系４３に導く。照明光学系４３から出射された光は光変調素子１２ａに入射される。
　光変調ユニット１２に含まれる光変調素子１２ａは、図２の光源ユニット１１の構成であればＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）が例えば用いられる。光変調素子１２ａとしては、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、又は液晶表示素子等を用いることもできる。図３に示すように、光変調ユニット１２によって空間変調された光によって形成される画像Ｇ１は、筐体１５の開口１５ａを通過して光学ユニット６に入射され、投影対象物としてのスクリーンＳＣに投影される。
　図３に示すように、光学ユニット６は、本体部１の内部と繋がる中空部２Ａを有する第一部材２と、中空部２Ａと繋がる中空部３Ａを有する第二部材３と、中空部２Ａに配置された第一光学系２１及び反射部材２２と、中空部３Ａに配置された第二光学系３１、分岐部材３２、第三光学系３３、第四光学系３７、撮像素子３８、及びレンズ３４と、回転機構４と、を備える。
　第一部材２は、断面外形が矩形の部材であり、開口２ａと開口２ｂが互いに垂直な面に形成されている。第一部材２は、本体部１の開口１５ａと対面する位置に開口２ａが配置される状態にて、本体部１によって支持されている。本体部１の光変調ユニット１２の光変調素子１２ａから射出された光は、開口１５ａ及び開口２ａを通って第一部材２の中空部２Ａに入射される。
　本体部１から中空部２Ａに入射される光の入射方向を方向Ｘ１と記載し、方向Ｘ１の逆方向を方向Ｘ２と記載し、方向Ｘ１と方向Ｘ２を総称して方向Ｘと記載する。また、図３において、紙面手前から奥に向かう方向とその逆方向を方向Ｚと記載する。また、方向Ｘ及び方向Ｚに垂直な方向を方向Ｙと記載し、方向Ｙのうち、図３において上に向かう方向を方向Ｙ１と記載し、図３において下に向かう方向を方向Ｙ２と記載する。
　第一光学系２１、反射部材２２、第二光学系３１、分岐部材３２、第三光学系３３、及びレンズ３４は、光変調素子１２ａによって形成された画像をスクリーンＳＣに投影するための光学系を構成している。図３には、この光学系の光軸Ｋが示されている。第一光学系２１、反射部材２２、第二光学系３１、分岐部材３２、第三光学系３３、及びレンズ３４は、光変調素子１２ａ側からこの順に光軸Ｋに沿って配置されている。
　第一光学系２１は、少なくとも１つのレンズを含み、本体部１から第一部材２に入射された方向Ｘ１に進む光を反射部材２２に導く。
　反射部材２２は、第一光学系２１から入射された光を方向Ｙ１に反射させる。反射部材２２は、例えばミラー等によって構成される。第一部材２には、反射部材２２にて反射した光の光路上に開口２ｂが形成されており、この反射した光は開口２ｂを通過して第二部材３の中空部３Ａへと進む。
　第二部材３は、断面外形が略Ｔ字状の部材であり、第一部材２の開口２ｂと対面する位置に開口３ａが形成されている。第一部材２の開口２ｂを通過した本体部１からの光は、この開口３ａを通って第二部材３の中空部３Ａに入射される。
　第二光学系３１は、少なくとも１つのレンズを含み、第一部材２から入射された光を、分岐部材３２に導く。
　分岐部材３２は、第二光学系３１から入射される光を方向Ｘ２に反射させて第三光学系３３に導く。また、分岐部材３２は、スクリーンＳＣ側からレンズ３４に入射されて第三光学系３３を通過した被写体光を透過させて、第四光学系３７に導く。分岐部材３２は、例えばハーフミラー、ビームスプリッター、又は偏光部材等によって構成される。
　第三光学系３３は、少なくとも１つのレンズを含み、分岐部材３２にて反射された光をレンズ３４に導く。第三光学系３３には、例えば、焦点位置を調節するためのフォーカスレンズ、焦点距離を調節するためのズームレンズ、又は透過光量が可変の可変絞り等が含まれていてもよい。
　レンズ３４は、第二部材３の方向Ｘ２側の端部に形成された開口３ｃを塞ぐ形でこの端部に配置されている。レンズ３４は、第三光学系３３から入射された光をスクリーンＳＣに投影する。
　第四光学系３７は、分岐部材３２の方向Ｘ１側の隣に配置されており、分岐部材３２を透過して方向Ｘ１に進む被写体光を撮像素子３８に導く。第四光学系３７の光軸と、レンズ３４及び第三光学系３３の光軸とは一致している。
　撮像素子３８は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。撮像素子３８は、レンズ３４、第三光学系３３、分岐部材３２、及び第四光学系３７を通して、スクリーンＳＣを撮像する。撮像素子３８の撮像画像信号は、後述のシステム制御部１４に入力される。
　回転機構４は、第一部材２に対して第二部材３を回転自在に連結する機構である。この回転機構４によって、第二部材３は、方向Ｙに平行な回転軸（具体的には光軸Ｋ）の回りに回転自在に構成されている。
　図４は、図１に示すプロジェクタ１００の内部ブロック構成を示す模式図である。プロジェクタ１００の本体部１には、光源ユニット１１と、光変調素子１２ａ及び光変調素子１２ａを駆動する光変調素子駆動部１２ｂを含む光変調ユニット１２と、全体を統括制御するシステム制御部１４と、が設けられている。
　光変調素子駆動部１２ｂは、システム制御部１４から入力される入力画像データに基づいて光変調素子１２ａを駆動し、光源ユニット１１からの光をこの入力画像データによって空間変調させる。
　システム制御部１４は、各種のプロセッサと、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、を備える。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部１４のプロセッサは、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　図５は、図４に示すシステム制御部１４の機能ブロック図である。システム制御部１４のプロセッサは、投影制御プログラムを含むプログラムを実行することにより、検出部１４Ａ及び投影画像調整部１４Ｂを備える投影制御装置として機能する。
　検出部１４Ａは、撮像素子３８から入力された撮像画像信号に基づいて、スクリーンＳＣに投影された画像Ｇ１の撮像画像データを取得する。検出部１４Ａは、画像Ｇ１の撮像画像データと、画像Ｇ１を投影するために光変調ユニット１２に入力されている入力画像データとの差分画像データを生成する。検出部１４Ａは、この差分画像データに基づいて、スクリーンＳＣとレンズ３４の間に存在し且つスクリーンＳＣに投影される画像Ｇ１を遮る物体（例えば、人の頭や手等）を検出する。
　検出部１４Ａの処理内容について図６から図８を参照して詳述する。
　図６は、画像Ｇ１を投影するために光変調ユニット１２に入力されている入力画像データの一例を示す模式図である。図６に示す入力画像データＩＰは、コンテンツＣ１、コンテンツＣ２、及びコンテンツＣ３を有する画像となっている。コンテンツとは、文字、アイコン、図形、絵、写真等である。
　なお、入力画像データＩＰのメタデータには、入力画像データＩＰに含まれるコンテンツ毎の重要度の情報が記憶されている。この重要度の情報は、具体的には数値であり、数値が高いほど、コンテンツが重要であることを示す。重要度の情報は、入力画像データＩＰを生成する際などに、ユーザによって設定される。
　図７は、図６に示す入力画像データＩＰに基づいて生成された画像Ｇ１が投影された状態を示す模式図である。図７は、スクリーンＳＣとレンズ３４との間に物体ＯＢが存在しており、スクリーンＳＣに投影された画像Ｇ１におけるコンテンツＣ３が物体ＯＢによって一部遮られている状態を示している。
　図８は、図７に示すスクリーンＳＣに投影された画像Ｇ１を撮像素子３８により撮像して得られる撮像画像データＰ１を示す模式図である。撮像素子３８の撮像範囲における画像Ｇ１の位置は既知である。そのため、撮像素子３８によって撮像されたスクリーンＳＣの撮像画像から、画像Ｇ１に対応する範囲を切り出すことで、撮像画像データＰ１を生成することができる。図８に示すように、撮像画像データＰ１には、画像Ｇ１の一部を遮る物体ＯＢが含まれている。
　検出部１４Ａは、入力画像データＩＰのサイズと、撮像画像データＰ１のサイズとを一致させる処理を行い、更に、入力画像データＩＰの明るさと、撮像画像データＰ１の明るさを一致させる処理を行う。なお、入力画像データＩＰのサイズと、撮像画像データＰ１のサイズとが一致するように設計されている場合には、サイズの調整処理は不要である。検出部１４Ａは、これら処理を行った撮像画像データＰ１から入力画像データＩＰを減算することで差分画像データを生成する。
　図９は、図８に示す撮像画像データＰ１から図６に示す入力画像データＩＰを減算して得られる差分画像データΔＰを示す模式図である。差分画像データΔＰは、物体ＯＢ以外の領域は画素値が０となっている。検出部１４Ａは、差分画像データΔＰに画素値が０よりも大きい領域が存在する場合には、この領域を物体領域とする。検出部１４Ａは、この物体領域の形状に基づいて、画像Ｇ１を遮る物体の有無を判定する。なお、ここでは、撮像画像データと入力画像データの差分画像データから物体領域を検出しているが、撮像画像データの内容と入力画像データの内容とが比較できるのであれば、差分画像データの代わりに、例えば両者の各画素の色比をとった色比較画像データを生成して、この色比較画像データから物体領域を検出することもできる。差分画像データや色比較画像データは、撮像画像データと入力画像データとの比較画像データを構成する。
　具体的には、検出部１４Ａは、物体領域の形状が予め登録されている形状（例えば、人の手、指、頭などの形状）に類似する場合には、画像Ｇ１を遮る物体が有ると判定する。物体領域の形状が上記形状に類似しない場合、あるいは、物体領域の形状が付箋や文字等の形状に類似する場合には、この物体領域はスクリーンＳＣに貼り付けられた付箋や手書きされた文字の領域であると判断できる。付箋や手書き文字は、画像Ｇ１のコンテンツと重なる位置には設けられないことが多い。このため、この場合には、検出部１４Ａは、画像Ｇ１を遮る物体が無いと判定する。
　なお、検出部１４Ａは、物体領域の位置の時間変化に基づいて、画像Ｇ１を遮る物体の有無を判定してもよい。例えば、検出部１４Ａは、差分画像データΔＰを定期的に生成し、物体領域を検出した場合には、その物体領域の位置が、過去に検出した物体領域の位置から変化しているか否かを判定する。物体領域の位置が変化している場合には、この物体領域は手や指などの動き得る物体によって発生していると判断できる。物体領域の位置が変化していない場合には、この物体領域は付箋や手書き文字によって発生していると判断できる。そのため、検出部１４Ａは、物体領域の位置が変化している場合には、画像Ｇ１を遮る物体が有ると判定する。一方、物体領域の位置が変化していない場合には、検出部１４Ａは、画像Ｇ１を遮る物体がないと判定する。
　図５に示す投影画像調整部１４Ｂは、検出部１４Ａによって画像Ｇ１を遮る物体があると判定されると、スクリーンＳＣに投影された画像Ｇ１におけるその物体によって遮られる遮蔽領域に基づいて、画像Ｇ１の調整（換言すると、入力画像データＩＰの補正）を行う。
　具体的には、投影画像調整部１４Ｂは、差分画像データΔＰに含まれる物体領域の入力画像データＩＰにおける対応領域を上記の遮蔽領域と認識する。差分画像データΔＰと入力画像データＩＰはサイズが一致している。そのため、入力画像データＩＰにおける、差分画像データΔＰから検出された物体領域と同じ座標の領域を、上記の遮蔽領域として認識可能である。投影画像調整部１４Ｂは、このようにして認識した遮蔽領域と、入力画像データＩＰに含まれるコンテンツとが重なる場合には、遮蔽領域が重なるそのコンテンツの重要度の情報に基づいて、画像Ｇ１の調整を行うか否かを判断する。
　投影画像調整部１４Ｂは、遮蔽領域が重なるコンテンツの重要度を参照し、この重要度が閾値以上となっている場合には、入力画像データＩＰにおけるそのコンテンツの位置を移動させて、そのコンテンツと遮蔽領域との重なりを無くす調整を行う。
　図１０は、画像調整処理を説明するための模式図である。図１０には、図６に示す入力画像データＩＰと、この入力画像データＩＰの補正後の入力画像データＩＰａと、が示されている。入力画像データＩＰには、投影画像調整部１４Ｂによって認識された遮蔽領域ｏｂが示されている。図１０の例では、遮蔽領域ｏｂは、コンテンツＣ３に重なっている。
　投影画像調整部１４Ｂは、遮蔽領域ｏｂの重なるコンテンツＣ３の重要度が閾値以上の場合には、コンテンツＣ３の位置を遮蔽領域ｏｂと重ならない位置にまで移動させる補正を行って、入力画像データＩＰａを得る。この入力画像データＩＰａに基づく画像Ｇ１がスクリーンＳＣに投影されると図１１に示す状態となり、コンテンツＣ３は物体ＯＢによって遮られない状態となる。
　なお、投影画像調整部１４Ｂは、遮蔽領域ｏｂの重なるコンテンツＣ３の重要度が閾値未満であった場合には、入力画像データＩＰの補正は行わない。遮蔽領域ｏｂがコンテンツＣ１，Ｃ２に重なっている場合でも、同様の処理が行われる。
（実施形態のプロジェクタの効果）
　プロジェクタ１００は、画像を投影するための光学系の一部（具体的には、第三光学系３３及び分岐部材３２）を通して、スクリーンＳＣに投影された画像Ｇ１を撮像する構成である。このため、図８に示すように、撮像画像データＰ１には、物体ＯＢの影が含まれることはない。そのため、システム制御部１４は、撮像画像データＰ１と入力画像データＩＰとの差分画像データΔＰを生成する処理を行い、差分画像データΔＰに含まれる物体領域の形状又は位置変化に基づいて、画像Ｇ１を遮る物体があるか否かを判定することができる。このように、物体ＯＢの影の存在を考慮する必要がないため、簡易な処理にて、画像Ｇ１を遮る物体の位置を精度よく判定することができる。
　また、プロジェクタ１００では、図１０に示すように、入力画像データＩＰにおいて遮蔽領域ｏｂと重なるコンテンツが存在する場合には、そのコンテンツの重要度に基づいて、そのコンテンツの移動を行うか否かが判断される。この構成によれば、重要度の高いコンテンツが物体ＯＢによって遮られてしまっている場合には、そのコンテンツを視認可能とすることができる。このため、画像の観察者に対し必要な情報を漏れなく伝えることができる。また、物体ＯＢの存在によってコンテンツの位置が頻繁に変わるのを防ぐことができ、画像の観察者の負荷を軽減することができる。
　なお、投影画像調整部１４Ｂは、遮蔽領域が重なるコンテンツの重要度が上記の閾値以上となっている場合には、入力画像データにおけるそのコンテンツのサイズを縮小して、そのコンテンツと遮蔽領域との重なりを無くす調整を行ってもよい。例えば、図１２の上段に示すように、遮蔽領域ｏｂとコンテンツＣ３とが重なっている状態であれば、図１２の下段に示すように、コンテンツＣ３を縮小することで、コンテンツＣ３と遮蔽領域ｏｂとの重なりを無くすことができる。また、投影画像調整部１４Ｂは、遮蔽領域が重なるコンテンツの重要度が上記の閾値以上となっている場合には、入力画像データにおけるそのコンテンツの位置を移動させ、且つ、入力画像データにおけるそのコンテンツのサイズを縮小して、そのコンテンツと遮蔽領域との重なりを無くす調整を行ってもよい。
（実施形態のプロジェクタの第一変形例）
　投影画像調整部１４Ｂは、遮蔽領域と重なるコンテンツの重要度ではなく、入力画像データＩＰにおける遮蔽領域の占める割合に基づいて、画像Ｇ１の調整を行うか否かを判断してもよい。
　具体的には、投影画像調整部１４Ｂは、上記の割合が閾値以上となっている場合には、スクリーンＳＣに投影される画像Ｇ１の縮小及び移動の少なくとも一方を行って、上記の割合が閾値未満となる状態を得る。
　画像Ｇ１の縮小は、入力画像データＩＰのサイズを変更することで行うことができる。画像Ｇ１の移動は、例えば、光学ユニット６を本体部１に対して方向Ｙ及び方向Ｚに移動可能に構成しておき、光学ユニット６を光変調素子１２ａに対して移動させることで行うことができる。または、入力画像データＩＰのサイズを投影可能な最大サイズよりも小さくして周囲に余白を形成しておき、入力画像データＩＰを余白側に移動させることで、画像Ｇ１を移動させてもよい。
　第一変形例によれば、上記の割合を減らすことでコンテンツと物体ＯＢとが重なる可能性を減らして視認性を高めることができる。また、画像Ｇ１の調整を行うか否かの判断を簡易且つ高速に行うことができる。
（実施形態のプロジェクタの第二変形例）
　投影画像調整部１４Ｂは、遮蔽領域と重なるコンテンツの重要度ではなく、遮蔽領域とコンテンツとが重なる状態の継続時間に基づいて、画像Ｇ１の調整を行うか否かを判断してもよい。
　具体的には、投影画像調整部１４Ｂは、上記の継続時間が閾値以上となっている場合には、入力画像データＩＰにおける遮蔽領域と重なるコンテンツの位置を図１０に例示したように移動させて、そのコンテンツと遮蔽領域との重なりを無くす処理を行う。
　第二変形例によれば、長時間にわたって画像Ｇ１のコンテンツが遮られて視認できなくなっている場合にのみ、そのコンテンツを視認しやすいよう移動させる。このため、コンテンツの移動が頻繁に発生するのを防いで、観察者の負荷を軽減することができる。
　なお、投影画像調整部１４Ｂは、上記の継続時間が閾値以上となっている場合には、入力画像データＩＰにおける遮蔽領域と重なるコンテンツのサイズを縮小して、そのコンテンツと遮蔽領域との重なりを無くす調整を行ってもよい。また、投影画像調整部１４Ｂは、上記の継続時間が閾値以上となっている場合には、入力画像データＩＰにおける遮蔽領域と重なるコンテンツの位置を移動させ、且つ、入力画像データＩＰにおける遮蔽領域と重なるコンテンツのサイズを縮小して、そのコンテンツと遮蔽領域との重なりを無くす調整を行ってもよい。
（実施形態のプロジェクタのその他変形例）
　プロジェクタ１００の光学ユニット６は、分岐部材３２を単にミラーとし、レンズ３４の前方に、レンズ３４から射出された光を反射させてスクリーンＳＣに投影し且つスクリーンＳＣからの被写体光を透過させる光学部材（分岐部材３２と同様の部材）を配置し、この光学部材を透過した光の光路上に第四光学系３７及び撮像素子３８を配置した構成であってもよい。この構成では、レンズ３４の前方に配置される光学部材が、画像Ｇ１を投影するための光学系の一部となる。この構成であっても、撮像画像データＰ１に物体ＯＢの影は発生しない。このため、上述してきた処理を適用することができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
　入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して上記投影対象物を撮像する撮像素子から取得した上記画像の撮像画像データと、上記入力画像データとの比較画像データを生成し、上記比較画像データに基づいて、上記投影対象物と上記光学系の間に存在し且つ上記投影対象物に投影された上記画像を遮る物体を検出する検出部を備える投影制御装置。
（２）
　（１）記載の投影制御装置であって、
　上記投影対象物に投影された上記画像において上記物体によって遮られる遮蔽領域に基づいて、上記画像の調整を行う投影画像調整部を備える投影制御装置。
（３）
　（２）記載の投影制御装置であって、
　上記画像の調整は、上記画像の投影位置の調整と上記入力画像データの調整の少なくとも一方を含む投影制御装置。
（４）
　（２）又は（３）記載の投影制御装置であって、
　上記投影画像調整部は、上記比較画像データに含まれる物体領域の上記入力画像データにおける対応領域を上記遮蔽領域と認識する投影制御装置。
（５）
　（４）記載の投影制御装置であって、
　上記投影画像調整部は、上記遮蔽領域と上記入力画像データに含まれるコンテンツとが重なる場合には、上記コンテンツの重要度に基づいて、上記調整を行うか否かを判断する投影制御装置。
（６）
　（５）記載の投影制御装置であって、
　上記投影画像調整部は、上記コンテンツの上記重要度が閾値以上となっている場合に、上記入力画像データにおけるそのコンテンツの位置を移動させて、そのコンテンツと上記遮蔽領域との重なりを無くす上記調整を行う投影制御装置。
（７）
　（５）記載の投影制御装置であって、
　上記投影画像調整部は、上記コンテンツの上記重要度が閾値以上となっている場合に、上記入力画像データにおけるそのコンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす上記調整を行う投影制御装置。
（８）
　（５）記載の投影制御装置であって、
　上記投影画像調整部は、上記コンテンツの上記重要度が閾値以上となっている場合に、上記入力画像データにおけるそのコンテンツの位置を移動させ、且つ、上記入力画像データにおけるそのコンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす上記調整を行う投影制御装置。
（９）
　（４）記載の投影制御装置であって、
　上記投影画像調整部は、上記入力画像データにおける上記遮蔽領域の占める割合に基づいて、上記調整を行うか否かを判断する投影制御装置。
（１０）
　（９）記載の投影制御装置であって、
　上記投影画像調整部は、上記割合が閾値以上となっている場合に、上記投影対象物に投影される上記画像の縮小及び移動の少なくとも一方を行って上記割合が上記閾値未満となる状態を得る投影制御装置。
（１１）
　（４）記載の投影制御装置であって、
　上記投影画像調整部は、上記遮蔽領域と上記入力画像データに含まれるコンテンツとが重なる場合には、上記遮蔽領域と上記コンテンツとが重なる状態の継続時間に基づいて、上記調整を行うか否かを判断する投影制御装置。
（１２）
　（１１）記載の投影制御装置であって、
　上記投影画像調整部は、上記継続時間が閾値以上となっている場合に、上記入力画像データにおける上記コンテンツの位置を移動させて、そのコンテンツと上記遮蔽領域との重なりを無くす投影制御装置。
（１３）
　（１１）記載の投影制御装置であって、
　上記投影画像調整部は、上記継続時間が閾値以上となっている場合に、上記入力画像データにおける上記コンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす投影制御装置。
（１４）
　（１１）記載の投影制御装置であって、
　上記投影画像調整部は、上記継続時間が閾値以上となっている場合に、上記入力画像データにおける上記コンテンツの位置を移動させ、且つ、上記入力画像データにおける上記コンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす投影制御装置。
（１５）
　（１）から（１４）のいずれか記載の投影制御装置であって、
　上記検出部は、上記入力画像データと上記撮像画像データのサイズを一致させてから上記比較画像データを生成する投影制御装置。
（１６）
　（１）から（１５）のいずれか記載の投影制御装置であって、
　上記検出部は、上記入力画像データと上記撮像画像データの明るさを一致させてから上記比較画像データを生成する投影制御装置。
（１７）
　（１）から（１６）のいずれか記載の投影制御装置であって、
　上記検出部は、上記比較画像データに含まれる物体領域の形状に基づいて、上記物体の有無を判定する投影制御装置。
（１８）
　（１）から（１７）のいずれか記載の投影制御装置であって、
　上記検出部は、上記比較画像データに含まれる物体領域の位置の時間変化に基づいて、上記物体の有無を判定する投影制御装置。
（１９）
　（１）から（１８）のいずれか記載の投影制御装置と、
　上記光学系と、
　上記撮像素子と、を備える投影装置。
（２０）
　入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して上記投影対象物を撮像する撮像素子から取得した上記画像の撮像画像データと、上記入力画像データとの比較画像データを生成し、上記比較画像データに基づいて、上記投影対象物と上記光学系の間に存在し且つ上記投影対象物に投影された上記画像を遮る物体を検出する検出ステップを備える投影制御方法。
（２１）
　（２０）記載の投影制御方法であって、
　上記投影対象物に投影された上記画像において上記物体によって遮られる遮蔽領域に基づいて、上記画像の調整を行う投影画像調整ステップを備える投影制御方法。
（２２）
　（２１）記載の投影制御方法であって、
　上記画像の調整は、上記画像の投影位置の調整と上記入力画像データの調整の少なくとも一方を含む投影制御方法。
（２３）
　（２１）又は（２２）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記比較画像データに含まれる物体領域の上記入力画像データにおける対応領域を上記遮蔽領域と認識する投影制御方法。
（２４）
　（２３）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記遮蔽領域と上記入力画像データに含まれるコンテンツとが重なる場合には、上記コンテンツの重要度に基づいて、上記調整を行うか否かを判断する投影制御方法。
（２５）
　（２４）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記コンテンツの上記重要度が閾値以上となっている場合に、上記入力画像データにおけるそのコンテンツの位置を移動させて、そのコンテンツと上記遮蔽領域との重なりを無くす上記調整を行う投影制御方法。
（２６）
　（２４）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記コンテンツの上記重要度が閾値以上となっている場合に、上記入力画像データにおけるそのコンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす上記調整を行う投影制御方法。
（２７）
　（２４）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記コンテンツの上記重要度が閾値以上となっている場合に、上記入力画像データにおけるそのコンテンツの位置を移動させ、且つ、上記入力画像データにおけるそのコンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす上記調整を行う投影制御方法。
（２８）
　（２３）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記入力画像データにおける上記遮蔽領域の占める割合に基づいて、上記調整を行うか否かを判断する投影制御方法。
（２９）
　（２８）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記割合が閾値以上となっている場合に、上記投影対象物に投影される上記画像の縮小及び移動の少なくとも一方を行って上記割合が上記閾値未満となる状態を得る投影制御方法。
（３０）
　（２３）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記遮蔽領域と上記入力画像データに含まれるコンテンツとが重なる場合には、上記遮蔽領域と上記コンテンツとが重なる状態の継続時間に基づいて、上記調整を行うか否かを判断する投影制御方法。
（３１）
　（３０）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記継続時間が閾値以上となっている場合に、上記入力画像データにおける上記コンテンツの位置を移動させて、そのコンテンツと上記遮蔽領域との重なりを無くす投影制御方法。
（３２）
　（３０）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記継続時間が閾値以上となっている場合に、上記入力画像データにおける上記コンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす投影制御方法。
（３３）
　（３０）記載の投影制御方法であって、
　上記投影画像調整ステップは、上記継続時間が閾値以上となっている場合に、上記入力画像データにおける上記コンテンツの位置を移動させ、且つ、上記入力画像データにおける上記コンテンツのサイズを縮小して、そのコンテンツと上記遮蔽領域との重なりを無くす投影制御方法。
（３４）
　（２０）から（３３）のいずれか記載の投影制御方法であって、
　上記検出ステップは、上記入力画像データと上記撮像画像データのサイズを一致させてから上記比較画像データを生成する投影制御方法。
（３５）
　（２０）から（３４）のいずれか記載の投影制御方法であって、
　上記検出ステップは、上記入力画像データと上記撮像画像データの明るさを一致させてから上記比較画像データを生成する投影制御方法。
（３６）
　（２０）から（３５）のいずれか記載の投影制御方法であって、
　上記検出ステップは、上記比較画像データに含まれる物体領域の形状に基づいて、上記物体の有無を判定する投影制御方法。
（３７）
　（２０）から（３６）のいずれか記載の投影制御方法であって、
　上記検出ステップは、上記比較画像データに含まれる物体領域の位置の時間変化に基づいて、上記物体の有無を判定する投影制御方法。
（３８）
　入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して上記投影対象物を撮像する撮像素子から取得した上記画像の撮像画像データと、上記入力画像データとの比較画像データを生成し、上記比較画像データに基づいて、上記投影対象物と上記光学系の間に存在し且つ上記投影対象物に投影された上記画像を遮る物体を検出する検出ステップをコンピュータに実行させるための投影制御プログラム。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１９年６月１４日出願の日本特許出願（特願２０１９－１１１４５１）に基づくものであり、その内容は本出願の中に参照として援用される。
１００　プロジェクタ
１　本体部
２　第一部材
２ａ、２ｂ　開口
２Ａ　中空部
２１　第一光学系
２２　反射部材
３　第二部材
３ａ、３ｃ　開口
３Ａ　中空部
３１　第二光学系
３２　分岐部材
３３　第三光学系
３４　レンズ
３７　第四光学系
３８　撮像素子
４　回転機構
６　光学ユニット
１１　光源ユニット
４１　光源
４２　カラーホイール
４３　照明光学系
１２　光変調ユニット
１２ａ　光変調素子
１２ｂ　光変調素子駆動部
１４　システム制御部
１４Ａ　検出部
１４Ｂ　投影画像調整部
１５　筐体
１５ａ　開口
Ｋ　光軸
ＳＣ　スクリーン
Ｇ１　画像
Ｃ１、Ｃ２、Ｃ３　コンテンツ
ＩＰ　入力画像データ
Ｐ１　撮像画像データ
ΔＰ　差分画像データ
ＯＢ　物体
ｏｂ　遮蔽領域

Claims (38)

  1. 　入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して前記投影対象物を撮像する撮像素子から取得した前記画像の撮像画像データと、前記入力画像データとの比較画像データを生成し、前記比較画像データに基づいて、前記投影対象物と前記光学系の間に存在し且つ前記投影対象物に投影された前記画像を遮る物体を検出する検出部を備える投影制御装置。
  2. 　請求項１記載の投影制御装置であって、
    　前記投影対象物に投影された前記画像において前記物体によって遮られる遮蔽領域に基づいて、前記画像の調整を行う投影画像調整部を備える投影制御装置。
  3. 　請求項２記載の投影制御装置であって、
    　前記画像の調整は、前記画像の投影位置の調整と前記入力画像データの調整の少なくとも一方を含む投影制御装置。
  4. 　請求項２又は３記載の投影制御装置であって、
    　前記投影画像調整部は、前記比較画像データに含まれる物体領域の前記入力画像データにおける対応領域を前記遮蔽領域と認識する投影制御装置。
  5. 　請求項４記載の投影制御装置であって、
    　前記投影画像調整部は、前記遮蔽領域と前記入力画像データに含まれるコンテンツとが重なる場合には、前記コンテンツの重要度に基づいて、前記調整を行うか否かを判断する投影制御装置。
  6. 　請求項５記載の投影制御装置であって、
    　前記投影画像調整部は、前記コンテンツの前記重要度が閾値以上となっている場合に、前記入力画像データにおける当該コンテンツの位置を移動させて、当該コンテンツと前記遮蔽領域との重なりを無くす前記調整を行う投影制御装置。
  7. 　請求項５記載の投影制御装置であって、
    　前記投影画像調整部は、前記コンテンツの前記重要度が閾値以上となっている場合に、前記入力画像データにおける当該コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす前記調整を行う投影制御装置。
  8. 　請求項５記載の投影制御装置であって、
    　前記投影画像調整部は、前記コンテンツの前記重要度が閾値以上となっている場合に、前記入力画像データにおける当該コンテンツの位置を移動させ、且つ、前記入力画像データにおける当該コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす前記調整を行う投影制御装置。
  9. 　請求項４記載の投影制御装置であって、
    　前記投影画像調整部は、前記入力画像データにおける前記遮蔽領域の占める割合に基づいて、前記調整を行うか否かを判断する投影制御装置。
  10. 　請求項９記載の投影制御装置であって、
    　前記投影画像調整部は、前記割合が閾値以上となっている場合に、前記投影対象物に投影される前記画像の縮小及び移動の少なくとも一方を行って前記割合が前記閾値未満となる状態を得る投影制御装置。
  11. 　請求項４記載の投影制御装置であって、
    　前記投影画像調整部は、前記遮蔽領域と前記入力画像データに含まれるコンテンツとが重なる場合には、前記遮蔽領域と前記コンテンツとが重なる状態の継続時間に基づいて、前記調整を行うか否かを判断する投影制御装置。
  12. 　請求項１１記載の投影制御装置であって、
    　前記投影画像調整部は、前記継続時間が閾値以上となっている場合に、前記入力画像データにおける前記コンテンツの位置を移動させて、当該コンテンツと前記遮蔽領域との重なりを無くす投影制御装置。
  13. 　請求項１１記載の投影制御装置であって、
    　前記投影画像調整部は、前記継続時間が閾値以上となっている場合に、前記入力画像データにおける前記コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす投影制御装置。
  14. 　請求項１１記載の投影制御装置であって、
    　前記投影画像調整部は、前記継続時間が閾値以上となっている場合に、前記入力画像データにおける前記コンテンツの位置を移動させ、且つ、前記入力画像データにおける前記コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす投影制御装置。
  15. 　請求項１から１４のいずれか１項記載の投影制御装置であって、
    　前記検出部は、前記入力画像データと前記撮像画像データのサイズを一致させてから前記比較画像データを生成する投影制御装置。
  16. 　請求項１から１５のいずれか１項記載の投影制御装置であって、
    　前記検出部は、前記入力画像データと前記撮像画像データの明るさを一致させてから前記比較画像データを生成する投影制御装置。
  17. 　請求項１から１６のいずれか１項記載の投影制御装置であって、
    　前記検出部は、前記比較画像データに含まれる物体領域の形状に基づいて、前記物体の有無を判定する投影制御装置。
  18. 　請求項１から１７のいずれか１項記載の投影制御装置であって、
    　前記検出部は、前記比較画像データに含まれる物体領域の位置の時間変化に基づいて、前記物体の有無を判定する投影制御装置。
  19. 　請求項１から１８のいずれか１項記載の投影制御装置と、
    　前記光学系と、
    　前記撮像素子と、を備える投影装置。
  20. 　入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して前記投影対象物を撮像する撮像素子から取得した前記画像の撮像画像データと、前記入力画像データとの比較画像データを生成し、前記比較画像データに基づいて、前記投影対象物と前記光学系の間に存在し且つ前記投影対象物に投影された前記画像を遮る物体を検出する検出ステップを備える投影制御方法。
  21. 　請求項２０記載の投影制御方法であって、
    　前記投影対象物に投影された前記画像において前記物体によって遮られる遮蔽領域に基づいて、前記画像の調整を行う投影画像調整ステップを備える投影制御方法。
  22. 　請求項２１記載の投影制御方法であって、
    　前記画像の調整は、前記画像の投影位置の調整と前記入力画像データの調整の少なくとも一方を含む投影制御方法。
  23. 　請求項２１又は２２記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記比較画像データに含まれる物体領域の前記入力画像データにおける対応領域を前記遮蔽領域と認識する投影制御方法。
  24. 　請求項２３記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記遮蔽領域と前記入力画像データに含まれるコンテンツとが重なる場合には、前記コンテンツの重要度に基づいて、前記調整を行うか否かを判断する投影制御方法。
  25. 　請求項２４記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記コンテンツの前記重要度が閾値以上となっている場合に、前記入力画像データにおける当該コンテンツの位置を移動させて、当該コンテンツと前記遮蔽領域との重なりを無くす前記調整を行う投影制御方法。
  26. 　請求項２４記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記コンテンツの前記重要度が閾値以上となっている場合に、前記入力画像データにおける当該コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす前記調整を行う投影制御方法。
  27. 　請求項２４記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記コンテンツの前記重要度が閾値以上となっている場合に、前記入力画像データにおける当該コンテンツの位置を移動させ、且つ、前記入力画像データにおける当該コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす前記調整を行う投影制御方法。
  28. 　請求項２３記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記入力画像データにおける前記遮蔽領域の占める割合に基づいて、前記調整を行うか否かを判断する投影制御方法。
  29. 　請求項２８記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記割合が閾値以上となっている場合に、前記投影対象物に投影される前記画像の縮小及び移動の少なくとも一方を行って前記割合が前記閾値未満となる状態を得る投影制御方法。
  30. 　請求項２３記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記遮蔽領域と前記入力画像データに含まれるコンテンツとが重なる場合には、前記遮蔽領域と前記コンテンツとが重なる状態の継続時間に基づいて、前記調整を行うか否かを判断する投影制御方法。
  31. 　請求項３０記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記継続時間が閾値以上となっている場合に、前記入力画像データにおける前記コンテンツの位置を移動させて、当該コンテンツと前記遮蔽領域との重なりを無くす投影制御方法。
  32. 　請求項３０記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記継続時間が閾値以上となっている場合に、前記入力画像データにおける前記コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす投影制御方法。
  33. 　請求項３０記載の投影制御方法であって、
    　前記投影画像調整ステップは、前記継続時間が閾値以上となっている場合に、前記入力画像データにおける前記コンテンツの位置を移動させ、且つ、前記入力画像データにおける前記コンテンツのサイズを縮小して、当該コンテンツと前記遮蔽領域との重なりを無くす投影制御方法。
  34. 　請求項２０から３３のいずれか１項記載の投影制御方法であって、
    　前記検出ステップは、前記入力画像データと前記撮像画像データのサイズを一致させてから前記比較画像データを生成する投影制御方法。
  35. 　請求項２０から３４のいずれか１項記載の投影制御方法であって、
    　前記検出ステップは、前記入力画像データと前記撮像画像データの明るさを一致させてから前記比較画像データを生成する投影制御方法。
  36. 　請求項２０から３５のいずれか１項記載の投影制御方法であって、
    　前記検出ステップは、前記比較画像データに含まれる物体領域の形状に基づいて、前記物体の有無を判定する投影制御方法。
  37. 　請求項２０から３６のいずれか１項記載の投影制御方法であって、
    　前記検出ステップは、前記比較画像データに含まれる物体領域の位置の時間変化に基づいて、前記物体の有無を判定する投影制御方法。
  38. 　入力画像データに基づいて表示部により生成される画像を投影対象物に投影する光学系、の一部を通して前記投影対象物を撮像する撮像素子から取得した前記画像の撮像画像データと、前記入力画像データとの比較画像データを生成し、前記比較画像データに基づいて、前記投影対象物と前記光学系の間に存在し且つ前記投影対象物に投影された前記画像を遮る物体を検出する検出ステップをコンピュータに実行させるための投影制御プログラム。
     
PCT/JP2020/021639 2019-06-14 2020-06-01 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム WO2020250739A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-111451 2019-06-14
JP2019111451 2019-06-14

Publications (1)

Publication Number Publication Date
WO2020250739A1 true WO2020250739A1 (ja) 2020-12-17

Family

ID=73781992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021639 WO2020250739A1 (ja) 2019-06-14 2020-06-01 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム

Country Status (1)

Country Link
WO (1) WO2020250739A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112096A1 (de) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Frontscheiben-Anzeigesystems mit einer Abdeckerkennung sowie Frontscheiben-Anzeigesystem
WO2023088303A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 投影设备及避障投影方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006397A (ja) * 2000-06-22 2002-01-09 Sony Corp 画像表示装置
JP2012018673A (ja) * 2010-07-06 2012-01-26 Ricoh Co Ltd 物体検知方法及び装置
JP2013125181A (ja) * 2011-12-15 2013-06-24 Nikon Corp 投影装置
WO2013186993A1 (ja) * 2012-06-15 2013-12-19 日本電気株式会社 投射型投影装置、光防眩方法、および光防眩用プログラム
JP2015125188A (ja) * 2013-12-25 2015-07-06 公立大学法人広島市立大学 自律移動型プロジェクタ装置及びその移動方法
JP2016197768A (ja) * 2015-04-02 2016-11-24 キヤノン株式会社 画像投射システム及び投射画像の制御方法
JP2018004951A (ja) * 2016-07-01 2018-01-11 株式会社リコー 画像投写装置
WO2018110038A1 (ja) * 2016-12-12 2018-06-21 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2018131241A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006397A (ja) * 2000-06-22 2002-01-09 Sony Corp 画像表示装置
JP2012018673A (ja) * 2010-07-06 2012-01-26 Ricoh Co Ltd 物体検知方法及び装置
JP2013125181A (ja) * 2011-12-15 2013-06-24 Nikon Corp 投影装置
WO2013186993A1 (ja) * 2012-06-15 2013-12-19 日本電気株式会社 投射型投影装置、光防眩方法、および光防眩用プログラム
JP2015125188A (ja) * 2013-12-25 2015-07-06 公立大学法人広島市立大学 自律移動型プロジェクタ装置及びその移動方法
JP2016197768A (ja) * 2015-04-02 2016-11-24 キヤノン株式会社 画像投射システム及び投射画像の制御方法
JP2018004951A (ja) * 2016-07-01 2018-01-11 株式会社リコー 画像投写装置
WO2018110038A1 (ja) * 2016-12-12 2018-06-21 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2018131241A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112096A1 (de) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Frontscheiben-Anzeigesystems mit einer Abdeckerkennung sowie Frontscheiben-Anzeigesystem
WO2023088303A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 投影设备及避障投影方法

Similar Documents

Publication Publication Date Title
US10672349B2 (en) Device for project an image
WO2012031983A1 (en) A device for projecting an image
WO2020250739A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP7223837B2 (ja) 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
JP2018156065A (ja) デジタルマイクロミラーデバイスのための順方向対順方向高ダイナミックレンジ・アーキテクチャ
JP4454288B2 (ja) プロジェクタ
JP2012018214A (ja) 投写型映像表示装置
JP3792679B2 (ja) 投射面距離測定装置を有するプロジェクタ
US20220132080A1 (en) Control device, projection system, control method, and control program
JP7062751B2 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP6690551B2 (ja) 投射型表示装置
CN110596996B (zh) 一种投影机及自动几何校正方法
JP5338067B2 (ja) プロジェクタ
WO2019176594A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP2005148131A (ja) プロジェクタ
WO2021131646A1 (ja) 投影装置、投影方法、及び制御プログラム
JP2016057363A (ja) 投影装置
WO2020261852A1 (ja) 投影装置
US10474020B2 (en) Display apparatus and method for controlling display apparatus to display an image with an orientation based on a user's position
TWI511571B (zh) 投影系統及其影像調整方法
WO2021019898A1 (ja) 制御装置、投影装置、制御方法、及び制御プログラム
JP4913356B2 (ja) 視覚情報処理装置及びその視覚情報処理方法
JP2009098325A (ja) プロジェクションシステム
JP7101316B2 (ja) 制御装置、投影装置、制御方法、及び制御プログラム
JP2007233003A (ja) プロジェクタ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20820765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20820765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP