WO2023100573A1 - 制御装置、制御方法、及び制御プログラム - Google Patents

制御装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2023100573A1
WO2023100573A1 PCT/JP2022/040695 JP2022040695W WO2023100573A1 WO 2023100573 A1 WO2023100573 A1 WO 2023100573A1 JP 2022040695 W JP2022040695 W JP 2022040695W WO 2023100573 A1 WO2023100573 A1 WO 2023100573A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
control device
projection
processor
Prior art date
Application number
PCT/JP2022/040695
Other languages
English (en)
French (fr)
Inventor
和紀 井上
一樹 石田
真彦 宮田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023100573A1 publication Critical patent/WO2023100573A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers

Definitions

  • the present invention relates to a control device, control method, and control program.
  • Patent Document 1 an image of a position marker used for specifying the display position of a virtual object in augmented reality technology is acquired, and the image for projection mapping is completed by incorporating it into the image for projection mapping.
  • a video production device is described in which the video is projected toward a showroom by a video projection device, and an image of a position marker is displayed on the floor of the showroom.
  • Patent Literature 2 in projection mapping in which video content is projected onto a three-dimensional object by a projector, taking into consideration the three-dimensional structure of the three-dimensional object, when the user shoots video content with a camera mounted on a smart device, It is described that the AR content is superimposed and displayed in the video.
  • One embodiment according to the technology of the present disclosure provides a control device, control method, and control program capable of giving notification regarding specific content associated with a display image.
  • a control device of one aspect of the present invention is a control device comprising a processor, wherein the processor generates third image data based on first image data and second image data, and outputs the third image data. and, of the third images represented by the third image data, the second image based on the second image data is an image indicating that specific content is associated with the third image, It surrounds the first image based on the first image data among the third images.
  • a control device is a control device including a processor, the processor generates third image data based on first image data and second image data, and outputs the third image data. , the second image based on the second image data among the third images represented by the third image data is included in the first image based on the first image data among the third images, specific content is an image indicating the position of the image of the first object associated with .
  • a control method of one aspect of the present invention includes a processor of a control device generating third image data based on first image data and second image data, outputting the third image data, is an image indicating that specific content is associated with the third image, and the second image based on the second image data among the third images represented by It surrounds a first image based on the first image data.
  • a control method of one aspect of the present invention includes a processor of a control device generating third image data based on first image data and second image data, outputting the third image data, A second image based on the second image data among the third images represented by is associated with specific content included in the first image based on the first image data among the third images. It is an image showing the position of the image of one object.
  • a control program causes a processor of a control device to generate third image data based on first image data and second image data, and output the third image data. wherein the second image based on the second image data among the third images represented by the third image data indicates that specific content is associated with the third image An image surrounding a first image based on the first image data among the third images.
  • a control program causes a processor of a control device to generate third image data based on first image data and second image data, and output the third image data.
  • the second image based on the second image data among the third images represented by the third image data is the first image based on the first image data among the third images
  • the included image indicates the position of the image of the first object associated with the specific content.
  • control device capable of notifying specific content associated with a display image.
  • FIG. 1 is a diagram showing an example of a projection system 100 according to Embodiment 1;
  • FIG. 1 is a diagram showing an example of a configuration of a projection device 10;
  • FIG. 2 is a schematic diagram showing an example of an internal configuration of a projection unit 1;
  • FIG. 1 is a diagram illustrating an example of an external configuration of a projection device 10;
  • FIG. 5 is a schematic partial cross-sectional view of an optical unit 106 of the projection device 10 shown in FIG. 4.
  • FIG. 3 is a diagram showing an example of a hardware configuration of an information terminal 80;
  • FIG. FIG. 2 illustrates an example of image projection and playback of augmented reality content;
  • FIG. 4 is a diagram showing another example of projection by the projection device 10 and reproduction of augmented reality content.
  • FIG. 1 is a diagram showing an example of a projection system 100 according to Embodiment 1;
  • FIG. 1 is a diagram showing an example of a configuration of a projection device 10;
  • FIG. 2 is
  • FIG. 10 is a diagram showing an example of inputting information on a projection area
  • FIG. 4 is a diagram showing an example of image projection and augmented reality content reproduction based on input of projection area information
  • 6 is a diagram showing an example of a frame image 60 including identification information
  • FIG. 5 is a diagram showing an example of guidance for the direction of a vehicle image 51A based on identification information 61.
  • FIG. FIG. 2 is a diagram (part 1) showing an example of reproduction of augmented reality content according to attributes of the augmented reality content
  • FIG. 2 is a diagram (part 2) showing an example of reproduction of augmented reality content according to attributes of the augmented reality content
  • FIG. 6 is a diagram showing an example of a frame image 60A showing the position of the image of the first object associated with the augmented reality content
  • FIG. 11 is a diagram (part 1) showing an example of tracking of the frame image 60A when the image of the first object moves
  • FIG. 12 is a diagram (part 2) showing an example of tracking of the frame image 60A when the image of the first object moves
  • FIG. 10 is a diagram (Part 1) showing a specific example of the frame image 60A based on the information of the display area and the position of the vehicle image 51
  • FIG. 9 is a diagram (part 2) showing a specific example of the frame image 60A based on the information of the display area and the position of the vehicle image 51
  • FIG. 10 is a diagram (Part 1) showing a specific example of the frame image 60A based on the information of the display area and the position of the vehicle image 51
  • FIG. 9 is a diagram (part 2) showing a specific example of the frame image 60A based on the information of the display area and the position of the vehicle
  • FIG. 12 is a diagram (part 3) showing a specific example of the frame image 60A based on the information of the display area and the position of the vehicle image 51;
  • FIG. 14 is a diagram (part 4) showing a specific example of the frame image 60A based on the information of the display area and the position of the vehicle image 51;
  • 3 is a schematic diagram showing another external configuration of the projection device 10.
  • FIG. 23 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. 22.
  • FIG. 1 is a diagram showing an example of a projection system 100 according to Embodiment 1.
  • projection system 100 includes projection device 10 and information terminal 80 .
  • a control device according to the present invention is applied to the projection device 10, for example.
  • the projection device 10 is a projection device capable of projecting onto the projection target 6 .
  • the projection target 6 is an object such as a screen having a projection surface on which a projection image is displayed by the projection device 10 .
  • the projection plane of the projection target 6 is a rectangular plane. Assume that the top, bottom, left, and right of the projection object 6 in FIG. 1 are the top, bottom, left, and right of the actual projection object 6 .
  • a projection range 11 indicated by a dashed line is a region of the projection target 6 that is irradiated with projection light by the projection device 10 .
  • the projection range 11 is part or all of the projectable range that can be projected by the projection device 10 .
  • the projection range 11 is rectangular.
  • the information terminal 80 is an information terminal, such as a smartphone or a tablet terminal, that has an imaging unit (for example, the imaging module 85 in FIG. 6) and a display unit 86 .
  • an imaging unit for example, the imaging module 85 in FIG. 6
  • the information terminal 80 displays a superimposed image in which predetermined Augmented Reality (AR) content is superimposed on the captured image.
  • An application to be displayed by the unit 86 is stored (installed).
  • FIG. 2 is a diagram showing an example of the configuration of the projection device 10.
  • the projection device 10 includes, for example, a projection section 1, a control device 4, and an operation reception section 2.
  • the projection device 10 may further include a communication section 5 .
  • the projection unit 1 is configured by, for example, a liquid crystal projector or a projector using LCOS (Liquid Crystal On Silicon). In the following description, it is assumed that the projection unit 1 is a liquid crystal projector.
  • LCOS Liquid Crystal On Silicon
  • the control device 4 is an example of the control device of the present invention.
  • the control device 4 controls projection by the projection device 10 .
  • the control device 4 includes a control unit configured by various processors, a communication interface (not shown) for communicating with each unit, and a storage medium such as a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory). 4a, and controls the projection unit 1 in an integrated manner.
  • various processors of the control unit of the control device 4 the circuit configuration is changed after manufacturing such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes programs and performs various processes.
  • Programmable Logic Device which is a processor, or dedicated electric circuit, etc., which is a processor having a circuit configuration specially designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) is included.
  • ASIC Application Specific Integrated Circuit
  • the control unit of the control device 4 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). may consist of
  • the operation reception unit 2 detects instructions from the user (user instructions) by receiving various operations from the user.
  • the operation reception unit 2 may be a button, key, joystick, or the like provided on the control device 4 , or may be a reception unit or the like that receives a signal from a remote controller that remotely operates the control device 4 .
  • the communication unit 5 is a communication interface capable of communicating with other devices.
  • the communication unit 5 may be a wired communication interface that performs wired communication, or a wireless communication interface that performs wireless communication.
  • the projection unit 1, the control device 4, the operation reception unit 2, and the communication unit 5 are realized by one device, for example (see FIGS. 4 and 5, for example).
  • the projection unit 1, the control device 4, the operation reception unit 2, and the communication unit 5 may be realized by a plurality of devices that can cooperate by communicating with each other.
  • FIG. 3 is a schematic diagram showing an example of the internal configuration of the projection unit 1.
  • the projection unit 1 of the projection device 10 shown in FIG. 2 includes a light source 21, a light modulation unit 22, a projection optical system 23, and a control circuit 24, as shown in FIG.
  • the light source 21 includes a light-emitting element such as a laser or an LED (Light Emitting Diode), and emits white light, for example.
  • the light modulation unit 22 modulates each color light emitted from the light source 21 and separated into three colors of red, blue, and green by a color separation mechanism (not shown) based on image information, and outputs each color image. It is composed of a liquid crystal panel (light modulation element) and a dichroic prism that mixes the respective color images emitted from the three liquid crystal panels and emits them in the same direction. Red, blue, and green filters may be mounted on these three liquid crystal panels, respectively, and the white light emitted from the light source 21 may be modulated by each liquid crystal panel to emit an image of each color.
  • the projection optical system 23 receives the light from the light source 21 and the light modulation section 22, and includes at least one lens and is configured by, for example, a relay optical system. The light that has passed through the projection optical system 23 is projected onto the projection object 6 .
  • a region of the projection object 6 irradiated with light that passes through the entire range of the light modulation unit 22 is a projectable range that can be projected by the projection unit 1 .
  • the projection range 11 of the projection section 1 is the area irradiated with the light actually transmitted from the light modulation section 22 in this projectable range. For example, by controlling the size, position, and shape of the light-transmitting region of the light modulation section 22, the size, position, and shape of the projection range of the projection section 1 change within the projectable range.
  • the control circuit 24 controls the light source 21, the light modulating unit 22, and the projection optical system 23 based on the display data input from the control device 4, so that an image based on the display data is projected onto the projection object 6. be projected.
  • the display data to be input to the control circuit 24 is composed of red display data, blue display data, and green display data.
  • control circuit 24 expands or reduces the projection range of the projection unit 1 by changing the projection optical system 23 based on commands input from the control device 4 .
  • control device 4 may move the projection range of the projection unit 1 by changing the projection optical system 23 based on the user's operation received by the operation reception unit 2 .
  • the projection device 10 also includes a shift mechanism that mechanically or optically moves the projection range of the projection unit 1 while maintaining the image circle of the projection optical system 23 .
  • the image circle of the projection optical system 23 is an area in which the projection light incident on the projection optical system 23 passes through the projection optical system 23 properly in terms of light falloff, color separation, peripheral curvature, and the like.
  • the shift mechanism is realized by at least one of an optical system shift mechanism that performs optical system shift and an electronic shift mechanism that performs electronic shift.
  • the optical system shift mechanism is, for example, a mechanism for moving the projection optical system 23 in a direction perpendicular to the optical axis (see, for example, FIGS. 5 and 23), or a mechanism for shifting the light modulation section 22 instead of moving the projection optical system 23. It is a mechanism that moves in the direction perpendicular to the axis. Further, the optical system shift mechanism may combine the movement of the projection optical system 23 and the movement of the light modulation section 22 .
  • the electronic shift mechanism is a mechanism that shifts the pseudo projection range by changing the light transmission range in the light modulation section 22 .
  • the projection device 10 may also include a projection direction changing mechanism that moves the projection range together with the image circle of the projection optical system 23 .
  • the projection direction changing mechanism is a mechanism that changes the projection direction of the projection unit 1 by changing the orientation of the projection unit 1 by mechanical rotation (see FIG. 23, for example).
  • FIG. 4 is a diagram showing an example of the external configuration of the projection device 10.
  • FIG. 5 is a schematic partial cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. FIG. 5 shows a cross section along the optical path of light emitted from the main body 101 shown in FIG.
  • the projection device 10 includes a main body 101 and an optical unit 106 protruding from the main body 101 .
  • the operation reception section 2 , the control device 4 , the light source 21 , the light modulation section 22 and the control circuit 24 in the projection section 1 , and the communication section 5 are provided in the main body section 101 .
  • a projection optical system 23 in the projection unit 1 is provided in the optical unit 106 .
  • the optical unit 106 includes a first member 102 supported by the body portion 101 .
  • the optical unit 106 may be detachably attached to the main body 101 (in other words, replaceable).
  • the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG. 5, the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG. 5, the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG.
  • a light source 21 inside the housing 15 of the main unit 101 are a light source 21 and a light modulation unit 22 ( (see FIG. 3) is provided.
  • the light emitted from the light source 21 enters the light modulating section 22 of the light modulating unit 12, is spatially modulated by the light modulating section 22, and is emitted.
  • an image formed by light spatially modulated by the light modulation unit 12 passes through the opening 15a of the housing 15, enters the optical unit 106, is projected onto the projection object 6,
  • the image G1 becomes visible to the observer.
  • the optical unit 106 includes a first member 102 having a hollow portion 2A connected to the inside of the body portion 101, a first optical system 121 arranged in the hollow portion 2A, a lens 34, a first and a shift mechanism 105 .
  • the first member 102 is, for example, a member having a rectangular cross-sectional outline, and the opening 2a and the opening 2b are formed on planes parallel to each other.
  • the first member 102 is supported by the body portion 101 with the opening 2a arranged at a position facing the opening 15a of the body portion 101 .
  • Light emitted from the light modulating portion 22 of the light modulating unit 12 of the main body portion 101 enters the hollow portion 2A of the first member 102 through the openings 15a and 2a.
  • the incident direction of light entering the hollow portion 2A from the main body portion 101 is described as the direction X1, the direction opposite to the direction X1 is described as the direction X2, and the directions X1 and X2 are collectively described as the direction X.
  • the direction from the front to the back of the paper surface and the opposite direction are described as a direction Z.
  • the direction from the front to the back of the paper is described as a direction Z1
  • the direction from the back to the front of the paper is described as a direction Z2.
  • a direction perpendicular to the direction X and the direction Z is described as a direction Y.
  • the upward direction in FIG. 5 is described as a direction Y1
  • the downward direction in FIG. 5 is described as a direction Y2.
  • the projection device 10 is arranged such that the direction Y2 is the vertical direction.
  • the projection optical system 23 shown in FIG. 3 is composed of the first optical system 121 and the lens 34 in the example of FIG.
  • the optical axis K of this projection optical system 23 is shown in FIG.
  • the first optical system 121 and the lens 34 are arranged along the optical axis K in this order from the light modulation section 22 side.
  • the first optical system 121 includes at least one lens, and guides the light incident on the first member 102 from the main body 101 and traveling in the direction X1 to the lens 34 .
  • the lens 34 is arranged at the end of the first member 102 so as to block the opening 2b formed at the end of the first member 102 on the direction X1 side.
  • the lens 34 projects the light incident from the first optical system 121 onto the projection object 6 .
  • the first shift mechanism 105 is a mechanism for moving the optical axis K of the projection optical system (in other words, the optical unit 106) in a direction perpendicular to the optical axis K (direction Y in FIG. 5). Specifically, the first shift mechanism 105 is configured to change the position of the first member 102 in the direction Y with respect to the body portion 101 .
  • the first shift mechanism 105 may be one that moves the first member 102 manually, or one that moves the first member 102 electrically.
  • FIG. 5 shows a state in which the first member 102 has been moved to the maximum extent in the direction Y1 by the first shift mechanism 105. As shown in FIG. The first member 102 is moved in the direction Y2 by the first shift mechanism 105 from the state shown in FIG. , the image G1 projected onto the projection object 6 can be shifted (translated) in the direction Y2.
  • the first shift mechanism 105 may be a mechanism that moves the light modulation section 22 in the Y direction instead of moving the optical unit 106 in the Y direction. Even in this case, the image G1 projected onto the projection target 6 can be moved in the Y direction.
  • FIG. 6 is a diagram showing an example of the hardware configuration of the information terminal 80.
  • the information terminal 80 shown in FIG. 1 includes a processor 81, a memory 82, a communication interface 83, a user interface 84, and an imaging module 85, as shown in FIG.
  • Processor 81 , memory 82 , communication interface 83 , user interface 84 and imaging module 85 are connected by bus 89 , for example.
  • the processor 81 is a circuit that performs signal processing, such as a CPU that controls the entire information terminal 80 .
  • the processor 81 may be realized by other digital circuits such as FPGA and DSP (Digital Signal Processor). Also, the processor 81 may be realized by combining a plurality of digital circuits.
  • the memory 82 includes, for example, main memory and auxiliary memory.
  • the main memory is, for example, RAM (Random Access Memory).
  • the main memory is used as a work area for processor 81 .
  • Auxiliary memory is non-volatile memory such as magnetic disk, optical disk, flash memory, etc.
  • Various programs for operating the information terminal 80 are stored in the auxiliary memory. Programs stored in the auxiliary memory are loaded into the main memory and executed by the processor 81 .
  • the auxiliary memory may include a portable memory removable from the information terminal 80.
  • Portable memories include memory cards such as USB (Universal Serial Bus) flash drives and SD (Secure Digital) memory cards, and external hard disk drives.
  • the communication interface 83 is a communication interface for communicating with an external device of the information terminal 80 .
  • Communication interface 83 is controlled by processor 81 .
  • the communication interface 83 may be a wired communication interface that performs wired communication, a wireless communication interface that performs wireless communication, or may include both a wired communication interface and a wireless communication interface.
  • the user interface 84 includes, for example, an input device that receives operation input from the user and an output device that outputs information to the user.
  • the input device can be implemented by, for example, a pointing device (eg mouse), a key (eg keyboard), a remote controller, or the like.
  • An output device can be realized by, for example, a display or a speaker. Also, the input device and the output device may be implemented by a touch panel or the like.
  • User interface 84 is controlled by processor 81 .
  • the display unit 86 of the information terminal 80 shown in FIG. 1 is realized by a touch panel included in the user interface 84, for example.
  • the imaging module 85 is an imaging unit including an imaging lens and an imaging element.
  • the imaging element for example, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor can be used.
  • FIG. 7 is a diagram illustrating an example of image projection and playback of augmented reality content.
  • First image data representing a projection target image 50 is input to the projection device 10 .
  • the projection target image 50 is an image including a car image 51, which is a photographic image or an illustration image of a sports car.
  • the projection device 10 stores the second image data representing the frame image 60 in the storage medium 4a.
  • the frame image 60 is a hollow rectangular frame image.
  • the control device 4 of the projection device 10 generates third image data representing the projection image 70 based on the first image data and the second image data. Then, the control device 4 outputs the generated third image data to the projection section 1 of the projection device 10 . Thereby, the projection image 70 based on the third image data is projected onto the projection range 11 .
  • the projected image 70 is an example of a third image represented by third image data.
  • the projection image 70 is an image in which the projection target image 50 is superimposed inside the frame image 60, which is a hollow rectangular frame image.
  • the projection image 70 includes a projection target image 50A and a frame image 60A.
  • the projection target image 50A is the first image in the projection image 70 based on the first image data.
  • the vehicle image 51A is an image based on the vehicle image 51 in the projection target image 50A.
  • the projection image 70 is generated such that the projection target image 50 is included inside the frame image 60 as it is, so the projection target image 50A is the same as the projection target image 50.
  • the projected image 70 is not limited to this. It may be substituted.
  • the projection target image 50A in the projection image 70 is the projection target image 50 excluding the peripheral region of the projection target image 50 .
  • the frame image 60A is the second image in the projection image 70 based on the second image data.
  • the frame image 60A is the same as the frame image 60 because the projection image 70 is generated such that the frame image 60 is included outside the projection target image 50 as it is.
  • the imaging range 85 a indicates the imaging range of the imaging module 85 of the information terminal 80 . That is, a captured image representing the imaging range 85a is obtained by imaging with the imaging module 85 of the information terminal 80 .
  • the information terminal 80 displays the captured image and a superimposed image in which the glossy image 91 is superimposed on a specific portion of the vehicle image 51A in the image. 90 is stored (installed).
  • the information terminal 80 captures the entire projected image 70 , and the display unit 86 displays a superimposed image 90 in which the glossy image 91 is superimposed on the vehicle image 51A portion of the projected image 70 .
  • the frame image 60A is an image showing that the augmented reality content is associated with the projected image 70.
  • Augmented reality content is one example of specific content.
  • the user of the information terminal 80 is notified in advance that the augmented reality content will be reproduced when the image surrounded by the frame image 60A among the images projected onto the projection object 6 is captured.
  • the user of the information terminal 80 sees the frame image 60A of the projection image 70 projected from the projection device 10, recognizes that the augmented reality content is associated with the projection image 70, and displays the projection image 70 using the information terminal 80. is imaged. As a result, a superimposed image 90 in which the glossy image 91 is superimposed on the projected image 70 is displayed by the display section 86 .
  • the frame image 60A is arranged so as to be in contact with at least part of the outer periphery of the projection target image 50A (first image) and not include the internal region of the projection target image 50A.
  • the perimeter is the edge with no width.
  • the frame image 60A surrounds the projection target image 50A so as to be in contact with the entire periphery of the projection target image 50A.
  • the frame image 60A only needs to surround the projection target image 50A, and does not have to be in contact with the projection target image 50A.
  • the projection image 70 may be an image in which the frame image 60A is arranged so as to surround the projection target image 50A with a slight gap between it and the projection target image 50A.
  • Surrounding the projection target image 50A also includes sandwiching the projection target image 50A, as in the example of FIG. 8, for example.
  • FIG. 8 is a diagram showing another example of projection by the projection device 10 and reproduction of augmented reality content.
  • the frame image 60 is two L-shaped frame images.
  • the projection image 70 is an image in which the frame image 60 is superimposed so as to contact the upper right corner and the lower left corner of the rectangular projection target image 50 . That is, in the projection image 70, the frame image 60A surrounds the projection target image 50A so as to be in contact with a part of the periphery of the projection target image 50A.
  • FIG. 9 is a diagram showing an example of inputting information on a projection area.
  • FIG. 10 is a diagram showing an example of image projection and reproduction of augmented reality content based on input of projection area information.
  • a projection area 6a in FIGS. 9 and 10 is a projection plane of the projection object 6. As shown in FIG. In the example of FIG. 9, the projection area 6a is L-shaped instead of rectangular.
  • the control device 4 of the projection device 10 may receive input of information on the shape of the projection area 6 a of the projection target 6 .
  • the projection area 6a is an example of a display area in which a projection image 70 (third image) is displayed. Input of information on the shape of the projection area 6a is performed via the operation reception unit 2, for example.
  • the projection device 10 stores information indicating the width, color, etc. of the frame as the second image data for generating the frame image 60 in the storage medium 4a.
  • the second image data is not limited to image data representing the predetermined frame image 60, and may be data such as the color and width of the frame image for generating the frame image 60.
  • the control device 4 receives input information about the shape of the projection area 6a, first image data representing the projection target image 50, second image data representing the width and color of the frame, and so on. to generate the third image data based on Specifically, the control device 4 generates the frame image 60 having the width and color indicated by the second image data along the shape of the projection area 6a indicated by the input information. Then, the control device 4 generates third image data representing a projection image 70 in which the projection target image 50 is superimposed inside the frame image 60 , and outputs the generated third image data to the projection section 1 .
  • a projection image 70 having a shape that matches the projection area 6 a of the projection object 6 is projected onto the projection object 6 from the projection device 10 .
  • the control device 4 may generate the frame image 60 based on the color of the input first image data (projection target image 50). For example, the control device 4 may determine the color of a portion (peripheral region) adjacent to the outer periphery of the projection target image 50 in the projection target image 50, and generate the frame image 60 having a color different from the determined color.
  • an application for displaying a superimposed image 90 in which a glossy image 91 is superimposed on a specific portion of the vehicle image 51 in the image is stored in the information terminal 80 together with the captured image.
  • the configuration in which the augmented reality content is associated with the vehicle image 51A (projection target image 50) has been described, but the configuration is not limited to this.
  • the frame image 60 (second image) may be associated with the augmented reality content.
  • the application stored in the information terminal 80 displays a specific position inside the frame image 60 (of the vehicle image 51A) in the image together with the captured image.
  • (Part) may be configured to display a superimposed image 90 in which a glossy image 91 is superimposed.
  • the application stored in the information terminal 80 can extract the frame image based on the shape of the part of the frame image 60.
  • a superimposed image 90 in which the glossy image 91 is superimposed on the specific position may be displayed.
  • FIG. 11 is a diagram showing an example of a frame image 60 containing identification information.
  • the frame image 60 may include the identification information 61 as shown in FIG.
  • the identification information 61 is a plurality of different images arranged at a plurality of positions of the frame image 60 .
  • 20 pieces of identification information 61 are arranged in the frame image 60 at intervals, and in FIG. are doing.
  • the identification information 61 is an example of identification information that can specify the relative position of the identification information 61 in the projection image 70 based on the frame image 60 .
  • the 20 pieces of identification information 61 shown in FIG. 11 are, for example, mutually different one-dimensional codes and two-dimensional codes, and the arrangement of the 20 pieces of identification information 61 in the frame image 60 is predetermined.
  • the information terminal 80 can determine the position of the identification information 61 in the projection image 70 for each piece of identification information 61 included in the captured image, that is, the relative position of the identification information 61 in the projection image 70 . can be located.
  • the information terminal 80 adds gloss to the captured image based on the identification information 61 included in the portion of the frame image 60A.
  • a superimposed image 90 on which the image 91 is superimposed can be displayed.
  • the identification information 61 is not limited to a one-dimensional code or a two-dimensional code, and may be an image having a predetermined specific color or pattern, or an image of characters, numbers, symbols, or the like. may
  • the information terminal 80 can be used, for example, when the vehicle image 51A is not included in the captured image, or when the vehicle image is not included in the captured image.
  • a superimposed image 90 in which the glossy image 91 is superimposed on the captured image may be displayed.
  • FIG. 12 is a diagram showing an example of guidance for the direction of the vehicle image 51A based on the identification information 61.
  • the vehicle image 51A of the projection target image 50 is associated with the augmented reality content (for example, the glossy image 91), but the vehicle image 51 is not included in the imaging range 85a. Assume that part of the frame image 60A is included.
  • the information terminal 80 identifies the direction of the vehicle image 51A based on the identification information 61 included in a portion of the frame image 60A, and captures an arrow image 94 indicating the direction of the identified vehicle image 51A. may be displayed. Then, when the imaging range 85a includes the vehicle image 51A, the information terminal 80 may display a superimposed image 90 in which the glossy image 91 is superimposed on the captured image instead of the arrow image 94.
  • the user of the information terminal 80 refers to the arrow image 94 and performs an operation to change the imaging range 85a so as to include the area to the upper right of the current imaging range 85a.
  • This operation is, for example, an operation of changing the orientation of the information terminal 80, an operation of moving the information terminal 80 away from the projection target 6, an operation of zooming out the imaging module 85, or the like.
  • the vehicle image 51A is included in the imaging range 85a, and a superimposed image 90 including the vehicle image 51A and the glossy image 91 is displayed.
  • FIGS. 13 and 14 are diagrams showing an example of reproduction of augmented reality content according to attributes of the augmented reality content.
  • the projected image 70 is associated with a smoke image 92 and a meteor image 93 .
  • the smoke image 92 is an example of the first augmented reality content reproduced when the vehicle image 51A (first object) included in the projection target image 50A is included in the captured image (capturing angle of view).
  • the meteor image 93 is an example of second augmented reality content that is reproduced regardless of whether the vehicle image 51A is included in the captured image.
  • the information terminal 80 operates as follows according to the functions of the above applications. That is, the information terminal 80 stores image data representing the smoke image 92 and image data representing the meteor image 93 in advance. Attribute information indicating that the smoke image 92 is the first augmented reality content that is reproduced when the vehicle image 51A is included in the captured image is associated with the smoke image 92 . Attribute information indicating that the meteor image 93 is the second augmented reality content that is reproduced regardless of whether the vehicle image 51A is included in the captured image is associated with the meteor image 93 .
  • the imaging module 85 of the information terminal 80 captures an image including the vehicle image 51A.
  • the information terminal 80 causes the display unit 86 to display a superimposed image 90 in which the smoke image 92 and the meteor image 93 are superimposed on the captured image.
  • the imaging by the imaging module 85 of the information terminal 80 provides a captured image that does not include the vehicle image 51A.
  • the information terminal 80 causes the display unit 86 to display a superimposed image 90 in which only the meteor image 93 is superimposed on the captured image.
  • the augmented reality content associated with the projection image 70 includes the vehicle image 51A (first object) included in the projection target image 50 (first image) in the imaging angle of view.
  • First augmented reality content for example, a smoke image 92 displayed only when the vehicle image 51A is captured
  • a second augmented reality content for example, a meteor image 93 that is displayed even if the car image 51A is not shown
  • the frame image 60 may include the identification information 61 as shown in FIG.
  • the information terminal 80 for example, when the vehicle image 51A of the projection target image 50 is not included in the captured image (for example, the example of FIG. 14), or when only a part of the vehicle image 51A is included in the captured image.
  • a superimposed image 90 in which the meteor image 93 is superimposed on the captured image can be displayed.
  • the frame image 60A (second image) in the projected image 70 (third image) is an image indicating that the specific content is associated with the projected image 70.
  • the configuration of the image surrounding the projection target image 50A (first image) has been described, the configuration is not limited to this.
  • the frame image 60A (second image) in the projection image 70 (third image) indicates the position of the image of the first object associated with the augmented reality content, which is included in the projection target image 50A.
  • a configuration that is an image will be described.
  • FIG. 15 is a diagram showing an example of a frame image 60A showing the position of the image of the first object associated with the augmented reality content.
  • the frame image 60 is used as an image indicating the position of the vehicle image 51A (image of the first object).
  • the control device 4 stores object position information indicating the area (position) of the vehicle image 51 in the projection target image 50, and based on this object position information, the vehicle image 51 in the projection target image 50 is displayed as a frame image.
  • An image in which the frame image 60 is superimposed on the projection target image 50 so as to be surrounded by 60 is generated as a projection image 70 (third image).
  • the portion of the projection image 70 on which the frame image 60 is superimposed is the frame image 60A based on the second image data (the frame image 60). Also, of the projection image 70, the portion inside the frame image 60A and the portion outside the frame image 60A are the projection target image 50A based on the first image data (projection target image 50).
  • the user of the projection image 70 who is the observer of the projection image 70 can be notified of the position of the vehicle image 51A (image of the first object) associated with the glossy image 91 (augmented reality content).
  • the user of the information terminal 80 can recognize from the frame image 60A of the projection image 70 that the vehicle image 51A inside the frame image 60A is associated with the augmented reality content, and the vehicle image 51A is displayed in the imaging range 85a. , is captured by the information terminal 80 .
  • FIG. 16 shows positions of the vehicle image 51 at successive times t1 to t3.
  • the projection target image 50 is moving image content in which the vehicle image 51 moves from left to right according to the elapsed playback time.
  • the control device 4 of the projection device 10 can acquire correspondence information between the elapsed time of reproduction of the projection target image 50 (for example, time t1 to t3) and the position of the vehicle image 51 in the projection target image 50.
  • This correspondence information may be stored in the storage medium 4a of the control device 4, or may be stored in another device with which the control device 4 can communicate.
  • the control device 4 may generate a projected image 70 including a frame image 60A that moves following the movement of the vehicle image 51A, as shown in FIG.
  • the projection target image 50 may be video content in which the size of the vehicle image 51 changes according to the elapsed playback time.
  • the control device 4 can acquire correspondence information between the elapsed time of reproduction of the projection target image 50 and the size of the vehicle image 51 in the projection target image 50 . Based on this correspondence information, the control device 4 may generate the projected image 70 including the frame image 60A whose size changes in accordance with the change in size of the vehicle image 51A (not shown).
  • the projection target image 50 may be video content in which the position and size of the vehicle image 51 change according to the elapsed playback time.
  • the control device 4 can acquire correspondence information between the elapsed time of reproduction of the projection target image 50 and the position and size of the vehicle image 51 in the projection target image 50 . Based on this correspondence information, the control device 4 may generate a projection image 70 including a frame image 60A whose size changes following changes in the position and size of the vehicle image 51A (not shown).
  • FIG. 1 Specific example of frame image 60A based on display area information and position of vehicle image 51> 18 to 21 are diagrams showing specific examples of the frame image 60A based on the information on the display area and the position of the vehicle image 51.
  • the projection target 6 is a building having windows 171 and 172
  • the projection range 11 includes the windows 171 and 172.
  • the control device 4 of the projection device 10 receives input of information indicating regions corresponding to the windows 171 and 172 in the projection range 11 as information on the display region where the projection image 70 is displayed. This information is input via the operation reception unit 2, for example.
  • the projection target image 50 is moving image content in which the vehicle image 51 moves from left to right according to the elapsed playback time.
  • the control device 4 can acquire correspondence information between the elapsed time of reproduction of the projection target image 50 (for example, time t1 to t3) and the position of the vehicle image 51 in the projection target image 50 .
  • the control device 4 includes the frame image 60A in the projection image 70 as in the example shown in FIG. That is, at time t1 when the vehicle image 51A is positioned in the area corresponding to the window 171 in the projection image 70 (projection range 11), the control device 4 places the frame image 60A in the area corresponding to the window 171 in the projection image 70. include. At time t2 when the vehicle image 51A is located in the area corresponding to the window 171 and the window 172 in the projection image 70, the control device 4 places the frame image 60A in the area corresponding to the window 172 in the projection image 70. to keep the state of including . Further, at time t3 when the vehicle image 51A is positioned in the area corresponding to the window 172 in the projected image 70, the control device 4 includes the frame image 60A in the area corresponding to the window 172 in the projected image 70. FIG.
  • control device 4 may include the frame image 60A in the projection image 70 as in the example shown in FIG. That is, at time t2 when the vehicle image 51A is located in the region corresponding to the window 171 and the window 172 in the projection image 70, the control device 4 controls the region corresponding to the window 171 in the projection image 70 and the projection image
  • the frame image 60A may be included in the projection image 70 so as to include the area corresponding to the window 172 in the projection image 70 .
  • the control device 4 may include the frame image 60A in the projected image 70 so that the frame image 60A follows the outer periphery of the projected image 70, not limited to the example of FIG.
  • control device 4 may include the frame image 60A in the projection image 70 as in the example shown in FIG. That is, control device 4 does not include frame image 60A in projection image 70 at time t2 when vehicle image 51A is located in the region corresponding to window 171 and window 172 in projection image 70 (frame image 60A is not included in projection image 70). erase).
  • the control device 4 displays the frame image in the region corresponding to the window 171 in the projection image 70.
  • 60A may be included (not shown).
  • the control device 4 displays the area corresponding to the window 172 in the projection image 70 as a frame.
  • Image 60A may be included.
  • the control device 4 displays the information of the display area where the projection image 70 (third image) is displayed and the vehicle image 51 (first object image) in the projection target image 50. and the third image data representing the projection image 70 including the frame image 60A (second image) based on the position of .
  • the frame image 60A is a frame image that completely surrounds the vehicle image 51A. It may be an L-shaped one surrounding (sandwiching) the vehicle image 51A.
  • the frame image 60A has been described as the second image of the second embodiment
  • the second image of the second embodiment is not limited to the frame image, and may be an arrow image pointing to the position of the vehicle image 51A, for example.
  • (Modified example of each embodiment) ⁇ Modified example of projection device 10> 4 and 5, the configuration of the projection device 10 in which the optical axis K is not bent has been described, but a configuration in which the optical axis K is bent one or more times by providing a reflecting member in the optical unit 106 is also possible.
  • FIG. 22 is a schematic diagram showing another external configuration of the projection device 10. As shown in FIG. 23 is a schematic cross-sectional view of the optical unit 106 of the projection apparatus 10 shown in FIG. 22. FIG. In FIGS. 22 and 23, the same parts as those shown in FIGS. 4 and 5 are denoted by the same reference numerals, and description thereof is omitted.
  • the optical unit 106 includes a second member 103 supported by the first member 102 in addition to the first member 102 supported by the body portion 101 .
  • the first member 102 and the second member 103 may be an integrated member.
  • the optical unit 106 includes, in addition to the first member 102, a second member 103 having a hollow portion 3A connected to the hollow portion 2A of the first member 102, and a first member 103 arranged in the hollow portion 2A.
  • the openings 2a and 2b of the first member 102 are formed on planes perpendicular to each other.
  • the projection optical system 23 shown in FIGS. It is configured by the third optical system 33 .
  • the optical axis K is folded back by being bent twice.
  • the first optical system 121, the reflecting member 122, the second optical system 31, the reflecting member 32, the third optical system 33, and the lens 34 are arranged along the optical axis K in this order from the light modulation section 22 side.
  • the first optical system 121 guides the light that has entered the first member 102 from the main body 101 and travels in the direction X1 to the reflecting member 122 .
  • the reflecting member 122 reflects the light incident from the first optical system 121 in the direction Y1.
  • the reflecting member 122 is composed of, for example, a mirror.
  • the first member 102 has an opening 2b on the optical path of the light reflected by the reflecting member 122, and the reflected light passes through the opening 2b and advances to the hollow portion 3A of the second member 103.
  • the second member 103 is a member having a substantially L-shaped cross-sectional outline, and an opening 3a is formed at a position facing the opening 2b of the first member 102.
  • the light from the body portion 101 that has passed through the opening 2b of the first member 102 enters the hollow portion 3A of the second member 103 through this opening 3a.
  • the cross-sectional outlines of the first member 102 and the second member 103 are arbitrary, and are not limited to those described above.
  • the second optical system 31 includes at least one lens and guides light incident from the first member 102 to the reflecting member 32 .
  • the reflecting member 32 reflects the light incident from the second optical system 31 in the direction X ⁇ b>2 and guides it to the third optical system 33 .
  • the reflecting member 32 is composed of, for example, a mirror.
  • the third optical system 33 includes at least one lens and guides the light reflected by the reflecting member 32 to the lens 34 .
  • the lens 34 is arranged at the end of the second member 103 in the direction X2 so as to block the opening 3c formed at the end.
  • the lens 34 projects the light incident from the third optical system 33 onto the projection object 6 .
  • FIG. 23 shows a state in which the first member 102 has been moved to the maximum extent in the direction Y1 by the first shift mechanism 105.
  • the first member 102 is moved in the direction Y2 by the first shift mechanism 105, thereby changing the relative position between the center of the image formed by the light modulation section 22 and the optical axis K. , the image G1 projected onto the projection object 6 can be shifted in the direction Y1.
  • the projection direction changing mechanism 104 is a rotating mechanism that rotatably connects the second member 103 to the first member 102 .
  • the projection direction changing mechanism 104 allows the second member 103 to rotate about a rotation axis extending in the direction Y (specifically, the optical axis K).
  • the projection direction changing mechanism 104 is not limited to the arrangement position shown in FIG. 23 as long as it can rotate the optical system.
  • the number of rotating mechanisms is not limited to one, and a plurality of rotating mechanisms may be provided.
  • control device of the present invention is applied to the control device 4 of the projection device 10
  • the configuration is not limited to this.
  • FIG. 24 is a diagram showing a modified example of the projection system 100.
  • FIG. A projection system 100 shown in FIG. 24 includes an information terminal 110 in addition to the configuration of the projection system 100 shown in FIG.
  • the control device of the present invention may be applied to the information terminal 110.
  • the information terminal 110 is an information terminal that can directly or indirectly communicate with the projection device 10 . Communication between the information terminal 110 and the projection device 10 may be wired communication or wireless communication. The information terminal 110 executes various controls by the control device 4 by communicating with the projection device 10 . Although the information terminal 110 is a notebook personal computer in the example of FIG. 24, the information terminal 110 can be various information terminals such as a desktop personal computer, a smart phone, and a tablet terminal.
  • the first image data representing the projection target image 50 is input to the information terminal 110 .
  • the second image data representing the frame image 60 is stored in the storage medium of the information terminal 110 .
  • the information terminal 110 generates third image data representing the projection image 70 based on these image data and the like, and outputs the generated third image data to the projection device 10 (projection section).
  • the projection device 10 projects the projection image 70 based on the third image data output from the information terminal 110 .
  • FIG. 25 is a diagram showing an example of the hardware configuration of the information terminal 110.
  • the information terminal 110 shown in FIG. 1 includes a processor 111, a memory 112, a communication interface 113, and a user interface 114, as shown in FIG.
  • Processor 111 , memory 112 , communication interface 113 and user interface 114 are connected by bus 119 , for example.
  • the processor 111, memory 112, communication interface 113, and user interface 114 have the same configuration as the processor 81, memory 82, communication interface 83, and user interface 84 shown in FIG. 6, respectively.
  • the control device of the present invention may output the generated third image data to a display capable of displaying images.
  • a third image for example, an image similar to the projection image 70
  • the display may be a display of a display device including the control device of the present invention, or may be an external display capable of communicating with the control device of the present invention.
  • the augmented reality content has been described as an example of the specific content associated with the projected image 70, the specific content associated with the projected image 70 is not limited to the augmented reality content.
  • the specific content associated with the projected image 70 may be non-visual content such as sound or smell.
  • a controller comprising a processor, The above processor generating third image data based on the first image data and the second image data; outputting the third image data; Of the third images represented by the third image data, the second image based on the second image data is an image indicating that the third image is associated with specific content, and Surrounding the first image based on the first image data among the three images, Control device.
  • control device (i) (1) The control device according to The second image is in contact with at least part of the outer periphery of the first image and does not include an internal region of the first image, Control device.
  • control device the processor outputs the third image data to a projection unit; Control device.
  • control device (4) The control device according to any one of (1) to (3), The above processor generating the third image data based on information of a display area in which the third image is displayed, the first image data, and the second image data; Control device.
  • control device according to any one of (1) to (4), wherein the second image is an image determined based on the color of the first image; Control device.
  • the control device according to any one of (1) to (6),
  • the first image is an image associated with the specific content, Control device.
  • the control device according to any one of (1) to (7),
  • the second image is an image associated with the specific content, Control device.
  • the control device according to any one of (1) to (8),
  • the specific content above includes Augmented Reality content, Control device.
  • the control device includes a first augmented reality content that is reproduced when the first object included in the first image is included in the imaging angle of view, and whether or not the first object is included in the imaging angle of view. a second augmented reality content that is played regardless of Control device.
  • the control device according to any one of (1) to (10), the second image includes an identification image;
  • the identification image is information that can specify the relative position of the identification image in the third image, Control device.
  • a controller comprising a processor, The processor generating third image data based on the first image data and the second image data; outputting the third image data; The second image based on the second image data among the third images represented by the third image data has specific content included in the first image based on the first image data among the third images.
  • the control device according to the image of the first object is a moving image in the third image;
  • the second image is an image that moves following the movement of the image of the first object. Control device.
  • control device (14) The control device according to (12) or (13), The above processor the third image including the second image based on correspondence information between the elapsed time of reproduction of the first image and at least one of the position and size of the image of the first object in the first image; generating the third image data representing Control device.
  • control device according to any one of (12) to (14), The above processor The third image representing the third image including the second image based on the information of the characteristic area of the display area in which the third image is displayed and the position of the image of the first object in the third image. generate image data, Control device.
  • control device according to any one of (12) to (15), wherein the second image is a frame image surrounding at least part of the image of the first object; Control device.
  • the controller processor generating third image data based on the first image data and the second image data; outputting the third image data;
  • the second image based on the second image data is an image indicating that the third image is associated with specific content, and Surrounding the first image based on the first image data among the three images, control method.
  • the controller processor generating third image data based on the first image data and the second image data; outputting the third image data;
  • the second image based on the second image data among the third images represented by the third image data has specific content included in the first image based on the first image data among the third images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

表示画像に対応付けられた特定のコンテンツに関する通知を行うことのできる制御装置、制御方法、及び制御プログラムを提供する。　制御装置（４）は、第１画像データと第２画像データとに基づく第３画像データを生成し、第３画像データを出力する。第３画像データにより表される投影画像（７０）のうち第２画像データに基づく枠画像（６０Ａ）は、投影画像（７０）に特定のコンテンツが対応付けられていることを示す画像である。また、枠画像（６０Ａ）は、投影画像（７０）のうち第１画像データに基づく投影対象画像（５０Ａ）を囲む画像である。

Description

制御装置、制御方法、及び制御プログラム
　本発明は、制御装置、制御方法、及び制御プログラムに関する。
　特許文献１には、拡張現実技術において仮想物の表示位置を特定するために使用される位置マーカーの画像を取得し、それをプロジェクションマッピング用の映像に組み入れることによりプロジェクションマッピング用の映像を完成させ、その映像を映像投影装置によりショールームに向けて投影し、ショールームの床面には位置マーカーの画像が表示されるようにする映像作成装置が記載されている。
　特許文献２には、立体物の立体構造を考慮して、プロジェクタによって立体物に映像コンテンツを投影するプロジェクションマッピングにおいて、ユーザがスマートデバイスに搭載されたカメラで映像コンテンツを撮影したとき、撮影された映像中にＡＲコンテンツが重畳表示されるようにすることが記載されている。
日本国特開２０１６－２１３７７６号公報 日本国特開２０１７－１６２１９２号公報
　本開示の技術に係る１つの実施形態は、表示画像に対応付けられた特定のコンテンツに関する通知を行うことができる制御装置、制御方法、及び制御プログラムを提供する。
　本発明の一態様の制御装置は、プロセッサを備える制御装置であって、上記プロセッサは、第１画像データと第２画像データとに基づく第３画像データを生成し、上記第３画像データを出力し、上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、上記第３画像のうち上記第１画像データに基づく第１画像を囲むものである。
　本発明の一態様の制御装置は、プロセッサを備える制御装置であって、プロセッサは、第１画像データと第２画像データとに基づく第３画像データを生成し、上記第３画像データを出力し、上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像のうち上記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像であるものである。
　本発明の一態様の制御方法は、制御装置のプロセッサが、第１画像データと第２画像データとに基づく第３画像データを生成し、上記第３画像データを出力し、上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、上記第３画像のうち上記第１画像データに基づく第１画像を囲むものである。
　本発明の一態様の制御方法は、制御装置のプロセッサが、第１画像データと第２画像データとに基づく第３画像データを生成し、上記第３画像データを出力し、上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像のうち上記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像であるものである。
　本発明の一態様の制御プログラムは、制御装置のプロセッサに、第１画像データと第２画像データとに基づく第３画像データを生成し、上記第３画像データを出力する、処理を実行させるための制御プログラムであって、上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、上記第３画像のうち上記第１画像データに基づく第１画像を囲むものである。
　本発明の一態様の制御プログラムは、制御装置のプロセッサに、第１画像データと第２画像データとに基づく第３画像データを生成し、上記第３画像データを出力する、処理を実行させるための制御プログラムであって、上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像のうち上記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像であるものである。
　本発明によれば、表示画像に対応付けられた特定のコンテンツに関する通知を行うことのできる制御装置、制御方法、及び制御プログラムを提供することができる。
実施形態１の投影システム１００の一例を示す図である。 投影装置１０の構成の一例を示す図である。 投影部１の内部構成の一例を示す模式図である。 投影装置１０の外観構成の一例を示す図である。 図４に示す投影装置１０の光学ユニット１０６の一部断面模式図である。 情報端末８０のハードウェア構成の一例を示す図である。 画像投影及び拡張現実コンテンツの再生の一例を示す図である。 投影装置１０による投影及び拡張現実コンテンツの再生の他の一例を示す図である。 投影領域の情報の入力の一例を示す図である。 投影領域の情報の入力に基づく画像投影及び拡張現実コンテンツの再生の一例を示す図である。 識別情報を含む枠画像６０の一例を示す図である。 識別情報６１に基づく車画像５１Ａの方向の案内の一例を示す図である。 拡張現実コンテンツの属性に応じた拡張現実コンテンツの再生の一例を示す図（その１）である。 拡張現実コンテンツの属性に応じた拡張現実コンテンツの再生の一例を示す図（その２）である。 拡張現実コンテンツが対応付けられた第１物体の画像の位置を示す枠画像６０Ａの一例を示す図である。 第１物体の画像が移動する場合の枠画像６０Ａの追従の一例を示す図（その１）である。 第１物体の画像が移動する場合の枠画像６０Ａの追従の一例を示す図（その２）である。 表示領域の情報と車画像５１の位置とに基づく枠画像６０Ａの具体例を示す図（その１）である。 表示領域の情報と車画像５１の位置とに基づく枠画像６０Ａの具体例を示す図（その２）である。 表示領域の情報と車画像５１の位置とに基づく枠画像６０Ａの具体例を示す図（その３）である。 表示領域の情報と車画像５１の位置とに基づく枠画像６０Ａの具体例を示す図（その４）である。 投影装置１０の他の外観構成を示す模式図である。 図２２に示した投影装置１０の光学ユニット１０６の断面模式図である。 投影システム１００の変形例を示す図である。 情報端末１１０のハードウェア構成の一例を示す図である。
　以下、本発明の実施形態の一例について、図面を参照して説明する。
（実施形態１）
＜実施形態１の投影システム１００＞
　図１は、実施形態１の投影システム１００の一例を示す図である。図１に示すように、投影システム１００は、投影装置１０と、情報端末８０と、を含む。本発明における制御装置は、例えば投影装置１０に適用される。投影装置１０は、投影対象物６に対する投影が可能な投影装置である。
　投影対象物６は、投影装置１０によって投影画像が表示される投影面を有するスクリーンなどの物体である。図１に示す例では、投影対象物６の投影面は矩形の平面である。図１における投影対象物６の上下左右が、実際の投影対象物６の上下左右であるとする。
　一点鎖線で図示する投影範囲１１は、投影対象物６のうち、投影装置１０により投影光が照射される領域である。投影範囲１１は、投影装置１０により投影が可能な投影可能範囲の一部又は全部である。図１に示す例では、投影範囲１１は矩形である。
　情報端末８０は、スマートフォンやタブレット端末などの、撮像部（例えば図６の撮像モジュール８５）及び表示部８６を有する情報端末である。情報端末８０には、撮像部により得られた撮像画像に特定画像が含まれている場合に、その撮像画像とともに、予め定められた拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）コンテンツを重畳した重畳画像を表示部８６により表示させるアプリケーションが記憶（インストール）されている。
＜投影装置１０の構成＞
　図２は、投影装置１０の構成の一例を示す図である。図２に示すように、投影装置１０は、例えば、投影部１と、制御装置４と、操作受付部２と、を備える。投影装置１０は、さらに通信部５を備えてもよい。投影部１は、例えば液晶プロジェクタ又はＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ）を用いたプロジェクタ等によって構成される。以下では、投影部１が液晶プロジェクタであるものとして説明する。
　制御装置４は、本発明の制御装置の一例である。制御装置４は、投影装置１０による投影の制御を行う。制御装置４は、各種のプロセッサにより構成される制御部と、各部と通信するための通信インタフェース（図示省略）と、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶媒体４ａと、を含む装置であり、投影部１を統括制御する。制御装置４の制御部の各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。制御装置４の制御部は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　操作受付部２は、ユーザからの各種の操作を受け付けることにより、ユーザからの指示（ユーザ指示）を検出する。操作受付部２は、制御装置４に設けられたボタン、キー、ジョイスティック等であってもよいし、制御装置４の遠隔操作を行うリモートコントローラからの信号を受け付ける受信部等であってもよい。
　通信部５は、他の装置との間で通信が可能な通信インタフェースである。通信部５は、有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよい。
　なお、投影部１、制御装置４、操作受付部２、及び通信部５は、例えば一個の装置により実現される（例えば図４，図５参照）。又は、投影部１、制御装置４、操作受付部２、及び通信部５は、互いに通信を行うことにより連携可能な複数の装置により実現されてもよい。
＜投影部１の内部構成＞
　図３は、投影部１の内部構成の一例を示す模式図である。図２に示した投影装置１０の投影部１は、図３に示すように、光源２１と、光変調部２２と、投影光学系２３と、制御回路２４と、を備える。光源２１は、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子を含み、例えば白色光を出射する。
　光変調部２２は、光源２１から出射されて図示省略の色分離機構によって赤、青、緑の３色に分離された各色光を、画像情報に基づいて変調して各色画像を出射する３つの液晶パネル（光変調素子）と、３つの液晶パネルから出射された各色画像を混合して同一方向に出射するダイクロイックプリズムと、によって構成される。この３つの液晶パネルにそれぞれ赤、青、緑のフィルタを搭載し、光源２１から出射された白色光を、各液晶パネルにて変調して各色画像を出射させてもよい。
　投影光学系２３は、光源２１及び光変調部２２からの光が入射されるものであり、少なくとも１つのレンズを含む、例えばリレー光学系によって構成されている。投影光学系２３を通過した光は投影対象物６に投影される。
　投影対象物６のうち、光変調部２２の全範囲を透過する光が照射される領域が、投影部１により投影が可能な投影可能範囲となる。この投影可能範囲のうち、光変調部２２から実際に透過する光が照射される領域が投影部１の投影範囲１１となる。例えば、光変調部２２のうち光が透過する領域の大きさ、位置、及び形状を制御することにより、投影可能範囲において、投影部１の投影範囲の大きさ、位置、及び形状が変化する。
　制御回路２４は、制御装置４から入力される表示用データに基づいて、光源２１、光変調部２２、及び投影光学系２３を制御することにより、投影対象物６にこの表示用データに基づく画像を投影させる。制御回路２４に入力される表示用データは、赤表示用データと、青表示用データと、緑表示用データとの３つによって構成される。
　また、制御回路２４は、制御装置４から入力される命令に基づいて、投影光学系２３を変化させることにより、投影部１の投影範囲の拡大や縮小を行う。また、制御装置４は、操作受付部２によって受け付けられたユーザからの操作に基づいて投影光学系２３を変化させることにより、投影部１の投影範囲の移動を行ってもよい。
　また、投影装置１０は、投影光学系２３のイメージサークルを維持しつつ、投影部１の投影範囲を機械的又は光学的に移動させるシフト機構を備える。投影光学系２３のイメージサークルは、投影光学系２３に入射した投影光が、光量落ち、色分離、周辺湾曲などの点から適正に投影光学系２３を通過する領域である。
　シフト機構は、光学系シフトを行う光学系シフト機構と、電子シフトを行う電子シフト機構と、の少なくともいずれかにより実現される。
　光学系シフト機構は、例えば、投影光学系２３を光軸に垂直な方向に移動させる機構（例えば図５，図２３参照）、又は、投影光学系２３を移動させる代わりに光変調部２２を光軸に垂直な方向に移動させる機構である。また、光学系シフト機構は、投影光学系２３の移動と光変調部２２の移動とを組み合わせて行うものであってもよい。
　電子シフト機構は、光変調部２２において光を透過させる範囲を変化させることによる疑似的な投影範囲のシフトを行う機構である。
　また、投影装置１０は、投影光学系２３のイメージサークルとともに投影範囲を移動させる投影方向変更機構を備えてもよい。投影方向変更機構は、機械的な回転で投影部１の向きを変更することにより、投影部１の投影方向を変化させる機構である（例えば図２３参照）。
＜投影装置１０の機械的構成＞
　図４は、投影装置１０の外観構成の一例を示す図である。図５は、図４に示す投影装置１０の光学ユニット１０６の一部断面模式図である。図５は、図４に示した本体部１０１から出射される光の光路に沿った面での断面を示している。
　図４に示すように、投影装置１０は、本体部１０１と、本体部１０１から突出して設けられた光学ユニット１０６と、を備える。図４に示す構成において、操作受付部２と、制御装置４と、投影部１における光源２１、光変調部２２、及び制御回路２４と、通信部５と、は本体部１０１に設けられる。投影部１における投影光学系２３は光学ユニット１０６に設けられる。
　光学ユニット１０６は、本体部１０１に支持される第１部材１０２を備える。光学ユニット１０６は、本体部１０１に着脱自在に構成（換言すると交換可能に構成）されていてもよい。
　本体部１０１は、図５に示すように、光学ユニット１０６と連結される部分に光を通すための開口１５ａが形成された筐体１５を有する。
　図４に示すように、本体部１０１の筐体１５の内部には、光源２１と、光源２１から出射される光を入力画像データに基づいて空間変調して画像を生成する光変調部２２（図３参照）を含む光変調ユニット１２と、が設けられている。光源２１から出射された光は、光変調ユニット１２の光変調部２２に入射され、光変調部２２によって空間変調されて出射される。
　図５に示すように、光変調ユニット１２によって空間変調された光によって形成される画像は、筐体１５の開口１５ａを通過して光学ユニット１０６に入射され、投影対象物６に投影されて、画像Ｇ１が観察者から視認可能となる。
　図５に示すように、光学ユニット１０６は、本体部１０１の内部と繋がる中空部２Ａを有する第１部材１０２と、中空部２Ａに配置された第１光学系１２１と、レンズ３４と、第１シフト機構１０５と、を備える。
　第１部材１０２は、断面外形が一例として矩形の部材であり、開口２ａと開口２ｂが互いに平行な面に形成されている。第１部材１０２は、本体部１０１の開口１５ａと対面する位置に開口２ａが配置される状態にて、本体部１０１によって支持されている。本体部１０１の光変調ユニット１２の光変調部２２から射出された光は、開口１５ａ及び開口２ａを通って第１部材１０２の中空部２Ａに入射される。
　本体部１０１から中空部２Ａに入射される光の入射方向を方向Ｘ１と記載し、方向Ｘ１の逆方向を方向Ｘ２と記載し、方向Ｘ１と方向Ｘ２を総称して方向Ｘと記載する。また、図５において、紙面手前から奥に向かう方向とその逆方向を方向Ｚと記載する。方向Ｚのうち、紙面手前から奥に向かう方向を方向Ｚ１と記載し、紙面奥から手前に向かう方向を方向Ｚ２と記載する。
　また、方向Ｘ及び方向Ｚに垂直な方向を方向Ｙと記載し、方向Ｙのうち、図５において上に向かう方向を方向Ｙ１と記載し、図５において下に向かう方向を方向Ｙ２と記載する。図５の例では方向Ｙ２が鉛直方向となるように投影装置１０が配置されている。
　図３に示した投影光学系２３は、図５の例では第１光学系１２１及びレンズ３４により構成される。図５には、この投影光学系２３の光軸Ｋが示されている。第１光学系１２１及びレンズ３４は、光変調部２２の側からこの順に光軸Ｋに沿って配置されている。
　第１光学系１２１は、少なくとも１つのレンズを含み、本体部１０１から第１部材１０２に入射された方向Ｘ１に進む光をレンズ３４に導く。
　レンズ３４は、第１部材１０２の方向Ｘ１側の端部に形成された開口２ｂを塞ぐ形でこの端部に配置されている。レンズ３４は、第１光学系１２１から入射された光を投影対象物６に投影する。
　第１シフト機構１０５は、投影光学系の光軸Ｋ（換言すると光学ユニット１０６）をその光軸Ｋに垂直な方向（図５の方向Ｙ）に移動させるための機構である。具体的には、第１シフト機構１０５は、第１部材１０２の本体部１０１に対する方向Ｙの位置を変更することができるように構成されている。第１シフト機構１０５は、手動にて第１部材１０２を移動させるものの他、電動にて第１部材１０２を移動させるものであってもよい。
　図５は、第１シフト機構１０５によって第１部材１０２が方向Ｙ１側に最大限移動された状態を示している。この図５に示す状態から、第１シフト機構１０５によって第１部材１０２が方向Ｙ２に移動することで、光変調部２２によって形成される画像の中心（換言すると表示面の中心）と光軸Ｋとの相対位置が変化して、投影対象物６に投影されている画像Ｇ１を方向Ｙ２にシフト（平行移動）させることができる。
　なお、第１シフト機構１０５は、光学ユニット１０６を方向Ｙに移動させる代わりに、光変調部２２を方向Ｙに移動させる機構であってもよい。この場合でも、投影対象物６に投影されている画像Ｇ１を方向Ｙに移動させることができる。
＜情報端末８０のハードウェア構成＞
　図６は、情報端末８０のハードウェア構成の一例を示す図である。図１に示した情報端末８０は、図５に示すように、プロセッサ８１と、メモリ８２と、通信インタフェース８３と、ユーザインタフェース８４と、撮像モジュール８５と、を備える。プロセッサ８１、メモリ８２、通信インタフェース８３、ユーザインタフェース８４、及び撮像モジュール８５は、例えばバス８９によって接続される。
　プロセッサ８１は、信号処理を行う回路であり、例えば情報端末８０の全体の制御を司るＣＰＵである。なお、プロセッサ８１は、ＦＰＧＡやＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などの他のデジタル回路により実現されてもよい。また、プロセッサ８１は、複数のデジタル回路を組み合わせて実現されてもよい。
　メモリ８２には、例えばメインメモリ及び補助メモリが含まれる。メインメモリは、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。メインメモリは、プロセッサ８１のワークエリアとして使用される。
　補助メモリは、例えば磁気ディスク、光ディスク、フラッシュメモリなどの不揮発性メモリである。補助メモリには、情報端末８０を動作させる各種のプログラムが記憶されている。補助メモリに記憶されたプログラムは、メインメモリにロードされてプロセッサ８１によって実行される。
　また、補助メモリは、情報端末８０から取り外し可能な可搬型のメモリを含んでもよい。可搬型のメモリには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）フラッシュドライブやＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカードなどのメモリカードや、外付けハードディスクドライブなどがある。
　通信インタフェース８３は、情報端末８０の外部装置との間で通信を行う通信インタフェースである。通信インタフェース８３は、プロセッサ８１によって制御される。通信インタフェース８３は、有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよいし、有線通信インタフェース及び無線通信インタフェースの両方を含んでもよい。
　ユーザインタフェース８４は、例えば、ユーザからの操作入力を受け付ける入力デバイスや、ユーザへ情報を出力する出力デバイスなどを含む。入力デバイスは、例えばポインティングデバイス（例えばマウス）、キー（例えばキーボード）やリモコンなどにより実現することができる。出力デバイスは、例えばディスプレイやスピーカなどにより実現することができる。また、タッチパネルなどによって入力デバイス及び出力デバイスを実現してもよい。ユーザインタフェース８４は、プロセッサ８１によって制御される。図１に示した情報端末８０の表示部８６は、例えばユーザインタフェース８４に含まれるタッチパネルにより実現される。
　撮像モジュール８５は、撮像レンズや撮像素子を含む撮像部である。撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。
＜画像投影及び拡張現実コンテンツの再生＞
　図７は、画像投影及び拡張現実コンテンツの再生の一例を示す図である。投影装置１０には投影対象画像５０を表す第１画像データが入力される。図７の例では、投影対象画像５０は、スポーツカーの写真画像又はイラスト画像である車画像５１を含む画像である。投影装置１０は、枠画像６０を表す第２画像データを記憶媒体４ａに記憶している。図７の例では、枠画像６０は、中空矩形形状の枠画像である。
　投影装置１０の制御装置４は、第１画像データと第２画像データとに基づいて、投影画像７０を表す第３画像データを生成する。そして、制御装置４は、生成した第３画像データを投影装置１０の投影部１へ出力する。これにより、第３画像データに基づく投影画像７０が投影範囲１１に投影される。
　投影画像７０は、第３画像データにより表される第３画像の一例である。図７の例では、投影画像７０は、中空矩形形状の枠画像である枠画像６０の内側に投影対象画像５０を重畳した画像である。投影画像７０は、投影対象画像５０Ａ及び枠画像６０Ａを含む。
　投影対象画像５０Ａは、投影画像７０における、第１画像データに基づく第１画像である。車画像５１Ａは、投影対象画像５０Ａにおける、車画像５１に基づく画像である。図７の例では、投影対象画像５０が枠画像６０の内側にそのまま含まれるように投影画像７０が生成されているため、投影対象画像５０Ａは投影対象画像５０と同一である。
　なお、投影画像７０は、これに限らず、例えば、投影対象画像５０の外周領域（例えば投影対象画像５０の内側の、投影対象画像５０の外周に沿った一定幅の領域）を枠画像６０に置換したものであってもよい。この場合、投影画像７０における投影対象画像５０Ａは、投影対象画像５０のうち投影対象画像５０の外周領域を除いた画像になる。
　枠画像６０Ａは、投影画像７０における、第２画像データに基づく第２画像である。図７の例では、枠画像６０が投影対象画像５０の外側にそのまま含まれるように投影画像７０が生成されているため、枠画像６０Ａは枠画像６０と同一である。
　撮像範囲８５ａは、情報端末８０の撮像モジュール８５による撮像範囲を示している。すなわち、情報端末８０の撮像モジュール８５による撮像によって、撮像範囲８５ａを表す撮像画像が得られる。
　情報端末８０には、撮像モジュール８５により得られた撮像画像に車画像５１Ａが含まれていると、その撮像画像とともに、その画像中の車画像５１Ａの特定部分に光沢画像９１を重畳した重畳画像９０を表示部８６により表示させるアプリケーションが記憶（インストール）されている。図７の例では、情報端末８０によって投影画像７０の全体が撮像されており、投影画像７０の車画像５１Ａの部分に光沢画像９１を重畳した重畳画像９０が表示部８６により表示されている。
　枠画像６０Ａは、投影画像７０に拡張現実コンテンツが対応付けられていることを示す画像である。拡張現実コンテンツは、特定のコンテンツの一例である。例えば、投影対象物６に投影される画像のうち枠画像６０Ａによって囲まれる画像を撮像すると拡張現実コンテンツが再生されることが、情報端末８０のユーザに対して事前に周知される。
　情報端末８０のユーザは、投影装置１０から投影された投影画像７０の枠画像６０Ａを見て、投影画像７０に拡張現実コンテンツが対応付けられていることを認識し、情報端末８０によって投影画像７０の撮像を行う。これにより、投影画像７０に光沢画像９１を重畳した重畳画像９０が表示部８６により表示される。
　また、投影画像７０において、枠画像６０Ａは、投影対象画像５０Ａ（第１画像）の外周の少なくとも一部と接し、かつ投影対象画像５０Ａの内部領域を含まないように配置されている。外周とは、幅を持たない端部である。図７の例では、枠画像６０Ａは、投影対象画像５０Ａの外周の全部と接するように投影対象画像５０Ａを囲んでいる。
　これにより、元の投影対象コンテンツである投影対象画像５０Ａの視認性の低下を抑制しつつ、投影画像７０に拡張現実コンテンツが対応付けられていることを投影画像７０の観察者に通知することができる。
　なお、枠画像６０Ａは、投影対象画像５０Ａを囲んでいればよく、投影対象画像５０Ａと接していなくてもよい。例えば、投影画像７０は、投影対象画像５０Ａとの間に僅かな間隔を有して投影対象画像５０Ａを囲むように枠画像６０Ａが配置された画像であってもよい。投影対象画像５０Ａを囲むとは、例えば図８の例のように、投影対象画像５０Ａを挟むことも含む。
　図８は、投影装置１０による投影及び拡張現実コンテンツの再生の他の一例を示す図である。図８の例では、枠画像６０が、２つのＬ字形状の枠画像になっている。また、投影画像７０は、矩形形状の投影対象画像５０の右上の角と左下の角に接するように枠画像６０を重畳した画像である。すなわち、投影画像７０において、枠画像６０Ａは、投影対象画像５０Ａの外周の一部と接するように投影対象画像５０Ａを囲んでいる。
＜投影領域の情報の入力に基づく画像投影及び拡張現実コンテンツの再生＞
　図９は、投影領域の情報の入力の一例を示す図である。図１０は、投影領域の情報の入力に基づく画像投影及び拡張現実コンテンツの再生の一例を示す図である。図９，図１０の投影領域６ａは、投影対象物６の投影面である。図９の例では、投影領域６ａが矩形ではなくＬ字形状となっている。
　投影装置１０の制御装置４は、投影対象物６の投影領域６ａの形状の情報の入力を受け付けてもよい。投影領域６ａは、投影画像７０（第３画像）が表示される表示領域の一例である。投影領域６ａの形状の情報の入力は、例えば操作受付部２を介して行われる。
　また、図９の例では、投影装置１０は、枠画像６０を生成するための第２画像データとして、枠の幅や色等を示す情報を記憶媒体４ａに記憶している。このように、第２画像データは、予め定められた枠画像６０を表す画像データに限らず、枠画像６０を生成するための、枠画像の色や幅等のデータであってもよい。
　図１０に示すように、制御装置４は、入力された投影領域６ａの形状の情報と、投影対象画像５０を表す第１画像データと、枠の幅や色等を示す第２画像データと、に基づいて第３画像データを生成する。具体的には、制御装置４は、入力された情報が示す投影領域６ａの形状に沿った、第２画像データが示す幅や色を有する枠画像６０を生成する。そして、制御装置４は、枠画像６０の内側に投影対象画像５０を重畳した投影画像７０を表す第３画像データを生成し、生成した第３画像データを投影部１へ出力する。
　これにより、投影対象物６の投影領域６ａに合う形状の投影画像７０が投影装置１０から投影対象物６へ投影される。
＜枠画像６０の生成方法の他の例＞
　制御装置４は、入力される第１画像データ（投影対象画像５０）の色に基づいて、枠画像６０を生成してもよい。例えば、制御装置４は、投影対象画像５０における、投影対象画像５０の外周に隣接する部分（外周領域）の色を判定し、判定した色と異なる色の枠画像６０を生成してもよい。
　これにより、投影画像７０における投影対象画像５０Ａの外周領域の色と枠画像６０Ａの色とが同一となることを回避し、投影画像７０における枠画像６０Ａの視認性を向上させることができる。これにより投影画像７０の観察者が、投影画像７０に拡張現実コンテンツが対応付けられていることに気付かない事態を抑制することができる。
＜枠画像６０（第２画像）に拡張現実コンテンツが対応付けられる構成＞
　撮像画像に車画像５１Ａが含まれていると、その撮像画像とともに、その画像中の車画像５１の特定部分に光沢画像９１を重畳した重畳画像９０を表示するアプリケーションが情報端末８０に記憶されている、すなわち車画像５１Ａ（投影対象画像５０）に拡張現実コンテンツが対応付けられる構成について説明したが、このような構成に限らない。例えば、枠画像６０（第２画像）に拡張現実コンテンツが対応付けられる構成としてもよい。
　具体的には、情報端末８０に記憶されたアプリケーションは、撮像画像に枠画像６０が含まれていると、その撮像画像とともに、その画像中の枠画像６０の内側の特定位置（車画像５１Ａの部分）に光沢画像９１を重畳した重畳画像９０を表示するように構成されてもよい。
　また、情報端末８０に記憶されたアプリケーションは、撮像画像に枠画像６０の一部のみが含まれている場合であっても、その枠画像６０の一部の形状等に基づいて、その枠画像６０の一部と上記の特定位置との位置関係を導出することにより、上記の特定位置に光沢画像９１を重畳した重畳画像９０を表示するように構成されてもよい。
＜識別情報を含む枠画像６０＞
　図１１は、識別情報を含む枠画像６０の一例を示す図である。枠画像６０に拡張現実コンテンツ（例えば光沢画像９１）が対応付けられる構成において、図１１に示すように、枠画像６０に識別情報６１を含めてもよい。
　例えば、識別情報６１は、枠画像６０の複数の位置に配置された、互いに異なる複数の画像である。なお、図１１の例においては、枠画像６０に２０個の識別情報６１が互いに間隔を有して配置されており、図１１ではそのうちの１個の識別情報６１にのみ符号「６１」を付している。識別情報６１は、枠画像６０に基づく投影画像７０における識別情報６１の相対位置を特定可能な識別情報の一例である。
　図１１に示す２０個の識別情報６１は、例えば互いに異なる一次元コード及び二次元コードになっており、枠画像６０における２０個の識別情報６１の配置は予め定められている。これにより、情報端末８０は、撮像画像に含まれる識別情報６１のそれぞれについて、その識別情報６１が投影画像７０のどの位置に配置されたものかを、すなわちその識別情報６１の投影画像７０における相対位置を特定することができる。
　これにより、情報端末８０は、撮像モジュール８５による撮像画像に枠画像６０Ａの一部しか含まれていなくても、その枠画像６０Ａの一部に含まれる識別情報６１に基づいて、撮像画像に光沢画像９１を重畳した重畳画像９０を表示することができる。
　なお、識別情報６１は、一次元コードや二次元コードに限らず、予め定められた特有の色や模様（パターン）を有する画像であってもよいし、文字、数字、記号などの画像であってもよい。
　また、投影対象画像５０（第１画像）に拡張現実コンテンツ（例えば光沢画像９１）が対応付けられる構成においても、情報端末８０は、例えば車画像５１Ａが撮像画像に含まれていない場合や、車画像５１Ａの一部しか撮像画像に含まれていない場合に、枠画像６０の識別情報６１に基づいて、撮像画像に光沢画像９１を重畳した重畳画像９０を表示するようにしてもよい。
＜識別情報６１に基づく車画像５１Ａの方向の案内＞
　図１２は、識別情報６１に基づく車画像５１Ａの方向の案内の一例を示す図である。図１２の例では、投影対象画像５０の車画像５１Ａに拡張現実コンテンツ（例えば光沢画像９１）が対応付けられているが、撮像範囲８５ａに車画像５１が含まれておらず、撮像範囲８５ａに枠画像６０Ａの一部が含まれているとする。
　この場合に、情報端末８０は、その枠画像６０Ａの一部に含まれる識別情報６１に基づいて、車画像５１Ａの方向を特定し、特定した車画像５１Ａの方向を示す矢印画像９４を撮像画像に重畳した重畳画像９０を表示してもよい。そして、情報端末８０は、撮像範囲８５ａに車画像５１Ａが含まれると、矢印画像９４に代えて光沢画像９１を撮像画像に重畳した重畳画像９０を表示してもよい。
　これにより、情報端末８０のユーザは、矢印画像９４を参照して、現在の撮像範囲８５ａよりも右上の領域を含むように撮像範囲８５ａを変化させる操作を行う。この操作は、例えば、情報端末８０の向きを変える操作や、情報端末８０を投影対象物６から遠ざける操作や、撮像モジュール８５をズームアウトする操作などである。
　これにより、撮像範囲８５ａに車画像５１Ａが含まれ、車画像５１Ａ及び光沢画像９１を含む重畳画像９０が表示される。
＜拡張現実コンテンツの属性に応じた拡張現実コンテンツの再生＞
　図１３及び図１４は、拡張現実コンテンツの属性に応じた拡張現実コンテンツの再生の一例を示す図である。図１３，図１４の例では、投影画像７０に、煙画像９２と流星画像９３とが対応付けられている。煙画像９２は、投影対象画像５０Ａに含まれる車画像５１Ａ（第１物体）が撮像画像（撮像画角）に含まれる場合に再生される第１拡張現実コンテンツの一例である。流星画像９３は、車画像５１Ａが撮像画像に含まれるか否かにかかわらず再生される第２拡張現実コンテンツの一例である。
　例えば、情報端末８０は、上記アプリケーションの機能により、以下のように動作する。すなわち、情報端末８０は、煙画像９２を表す画像データと、流星画像９３を表す画像データと、を予め記憶している。そして、煙画像９２には、車画像５１Ａが撮像画像に含まれる場合に再生される第１拡張現実コンテンツであることを示す属性情報が対応付けられている。流星画像９３には、車画像５１Ａが撮像画像に含まれるか否かにかかわらず再生される第２拡張現実コンテンツであることを示す属性情報が対応付けられている。
　図１３の例では、撮像範囲８５ａに車画像５１Ａが含まれているため、情報端末８０の撮像モジュール８５による撮像によって、車画像５１Ａを含む撮像画像が得られる。この場合、情報端末８０は、撮像画像に煙画像９２及び流星画像９３を重畳した重畳画像９０を表示部８６に表示させる。
　図１４の例では、撮像範囲８５ａに車画像５１Ａが含まれていないため、情報端末８０の撮像モジュール８５による撮像によって、車画像５１Ａを含まない撮像画像が得られる。この場合、情報端末８０は、撮像画像に流星画像９３のみを重畳した重畳画像９０を表示部８６に表示させる。
　図１３，図１４に示したように、投影画像７０に対応付けられた拡張現実コンテンツは、投影対象画像５０（第１画像）に含まれる車画像５１Ａ（第１物体）が撮像画角に含まれる場合に再生される第１拡張現実コンテンツ（例えば車画像５１Ａが写っているときだけ表示される煙画像９２）と、車画像５１Ａが撮像画角に含まれるか否かにかかわらず再生される第２拡張現実コンテンツ（例えば車画像５１Ａが写っていなくても表示される流星画像９３）と、を含んでもよい。
　図１３，図１４に示した例において、図１１に示したように、枠画像６０に識別情報６１を含めてもよい。これにより、情報端末８０は、例えば投影対象画像５０の車画像５１Ａが撮像画像に含まれていない場合（例えば図１４の例）や、車画像５１Ａの一部しか撮像画像に含まれていない場合に、枠画像６０の識別情報６１に基づいて、撮像画像に流星画像９３を重畳した重畳画像９０を表示することができる。
（実施形態２）
　実施形態２について、実施形態１と異なる部分について説明する。実施形態１においては、投影画像７０（第３画像）における枠画像６０Ａ（第２画像）が、投影画像７０に特定のコンテンツが対応付けられていることを示す画像であって、投影画像７０における投影対象画像５０Ａ（第１画像）を囲む画像である構成について説明したが、このような構成に限らない。
　実施形態２においては、投影画像７０（第３画像）における枠画像６０Ａ（第２画像）が、投影対象画像５０Ａに含まれる、拡張現実コンテンツが対応付けられた第１物体の画像の位置を示す画像である構成について説明する。
＜拡張現実コンテンツが対応付けられた第１物体の画像の位置＞
　図１５は、拡張現実コンテンツが対応付けられた第１物体の画像の位置を示す枠画像６０Ａの一例を示す図である。図１５の例では、枠画像６０は、車画像５１Ａ（第１物体の画像）の位置を示す画像として用いられる。
　例えば、制御装置４は、投影対象画像５０における車画像５１の領域（位置）を示す物体位置情報を記憶しており、この物体位置情報に基づいて、投影対象画像５０における車画像５１を枠画像６０によって囲むように投影対象画像５０に枠画像６０を重畳した画像を投影画像７０（第３画像）として生成する。
　この場合、投影画像７０のうち、枠画像６０が重畳された部分が第２画像データ(枠画像６０)に基づく枠画像６０Ａである。また、投影画像７０のうち、枠画像６０Ａの内側の部分と枠画像６０Ａの外側の部分とが第１画像データ(投影対象画像５０)に基づく投影対象画像５０Ａである。
　これにより、光沢画像９１（拡張現実コンテンツ）が対応付けられた車画像５１Ａ（第１物体の画像）の位置を、投影画像７０の観察者である投影画像７０のユーザに通知することができる。情報端末８０のユーザは、投影画像７０の枠画像６０Ａにより、枠画像６０Ａの内側の車画像５１Ａに拡張現実コンテンツが対応付けられていることを認識することができ、撮像範囲８５ａに車画像５１Ａを含めて情報端末８０で撮像を行う。
＜第１物体の画像が移動する場合の枠画像６０Ａの追従＞
　図１６及び図１７は、第１物体の画像が移動する場合の枠画像６０Ａの追従の一例を示す図である。投影対象画像５０は、動画コンテンツであってもよい。例えば、投影対象画像５０は、投影対象画像５０内で車画像５１が移動する動画コンテンツである。図１６は、連続する時刻ｔ１～ｔ３における車画像５１の各位置を示している。図１６の例では、投影対象画像５０は、再生の経過時間に応じて、車画像５１が左から右に移動する動画コンテンツである。
　投影装置１０の制御装置４は、投影対象画像５０の再生の経過時間（例えば時刻ｔ１～ｔ３）と、投影対象画像５０における車画像５１の位置と、の対応情報を取得可能である。この対応情報は、制御装置４の記憶媒体４ａに記憶されていてもよいし、制御装置４が通信可能な他の装置に記憶されていてもよい。制御装置４は、この対応情報に基づいて、図１７に示すように、車画像５１Ａの移動に追従して移動する枠画像６０Ａを含めた投影画像７０を生成してもよい。
　また、投影対象画像５０は、再生の経過時間に応じて、車画像５１の大きさが変化する動画コンテンツであってもよい。この場合、制御装置４は、投影対象画像５０の再生の経過時間と、投影対象画像５０における車画像５１のサイズと、の対応情報を取得可能とする。制御装置４は、この対応情報に基づいて、車画像５１Ａのサイズの変化に追従してサイズが変化する枠画像６０Ａを含めた投影画像７０を生成してもよい（図示省略）。
　また、投影対象画像５０は、再生の経過時間に応じて、車画像５１の位置及び大きさが変化する動画コンテンツであってもよい。この場合、制御装置４は、投影対象画像５０の再生の経過時間と、投影対象画像５０における車画像５１の位置及びサイズと、の対応情報を取得可能とする。制御装置４は、この対応情報に基づいて、車画像５１Ａの位置及びサイズの変化に追従してサイズが変化する枠画像６０Ａを含めた投影画像７０を生成してもよい（図示省略）。
＜表示領域の情報と車画像５１の位置とに基づく枠画像６０Ａの具体例＞
　図１８～図２１は、表示領域の情報と車画像５１の位置とに基づく枠画像６０Ａの具体例を示す図である。図１８の例では、投影対象物６が、窓１７１，１７２を有する建物であり、投影範囲１１に窓１７１，１７２が含まれている。この場合、投影装置１０の制御装置４は、投影画像７０が表示される表示領域の情報として、投影範囲１１における窓１７１，１７２に対応する領域を示す情報の入力を受け付ける。この情報の入力は、例えば操作受付部２を介して行われる。
　例えば図１６に示したように、投影対象画像５０が、再生の経過時間に応じて、車画像５１が左から右に移動する動画コンテンツであるとする。制御装置４は、投影対象画像５０の再生の経過時間（例えば時刻ｔ１～ｔ３）と、投影対象画像５０における車画像５１の位置と、の対応情報を取得可能である。
　例えば、制御装置４は、図１９に示す例のように投影画像７０に枠画像６０Ａを含める。すなわち、制御装置４は、投影画像７０（投影範囲１１）における窓１７１に対応する領域に車画像５１Ａが位置する時刻ｔ１になると、投影画像７０のうち窓１７１に対応する領域に枠画像６０Ａを含める。また、制御装置４は、投影画像７０における窓１７１と窓１７２との間に対応する領域に車画像５１Ａが位置する時刻ｔ２においては、投影画像７０のうち窓１７２に対応する領域に枠画像６０Ａを含める状態を維持する。また、制御装置４は、投影画像７０における窓１７２に対応する領域に車画像５１Ａが位置する時刻ｔ３になると、投影画像７０のうち窓１７２に対応する領域に枠画像６０Ａを含める。
　また、制御装置４は、図２０に示す例のように投影画像７０に枠画像６０Ａを含めてもよい。すなわち、制御装置４は、投影画像７０における窓１７１と窓１７２との間に対応する領域に車画像５１Ａが位置する時刻ｔ２においては、投影画像７０のうち窓１７１に対応する領域と、投影画像７０のうち窓１７２に対応する領域と、を含むように投影画像７０に枠画像６０Ａを含めるようにしてもよい。時刻ｔ２において、制御装置４は、図２０の例に限らず、枠画像６０Ａが投影画像７０の外周に沿うように投影画像７０に枠画像６０Ａを含めるようにしてもよい。
　また、制御装置４は、図２１に示す例のように投影画像７０に枠画像６０Ａを含めてもよい。すなわち、制御装置４は、投影画像７０における窓１７１と窓１７２との間に対応する領域に車画像５１Ａが位置する時刻ｔ２においては、投影画像７０に枠画像６０Ａを含めない（枠画像６０Ａを消す）ようにしてもよい。
　また、制御装置４は、例えば投影画像７０における窓１７１に対応する領域に車画像５１Ａが位置する時刻ｔ１より所定時間前の時刻になると、投影画像７０のうち窓１７１に対応する領域に枠画像６０Ａを含めるようにしてもよい（図示省略）。同様に、制御装置４は、例えば投影画像７０における窓１７２に対応する領域に車画像５１Ａが位置する時刻ｔ２より所定時間前の時刻になると、投影画像７０のうち窓１７２に対応する領域に枠画像６０Ａを含めるようにしてもよい。
　図１８～図２１等で説明したように、制御装置４は、投影画像７０（第３画像）が表示される表示領域の情報と、投影対象画像５０における車画像５１（第１物体の画像）の位置と、に基づく枠画像６０Ａ（第２画像）を含めた投影画像７０を表す第３画像データを生成してもよい。
　なお、実施形態２において、枠画像６０Ａが、車画像５１Ａを完全に囲む枠画像である構成について説明したが、実施形態２の枠画像６０Ａは、例えば図８に示した枠画像６０ＡのようなＬ字型の形状で車画像５１Ａを囲む（挟む）ものであってもよい。
　また、実施形態２の第２画像として枠画像６０Ａについて説明したが、実施形態２の第２画像は枠画像に限らず、例えば、車画像５１Ａの位置を指し示す矢印画像などであってもよい。
（各実施形態の変形例）
＜投影装置１０の変形例＞
　図４，図５においては、投影装置１０の構成として、光軸Ｋを屈曲させない構成について説明したが、光学ユニット１０６に反射部材を設けて光軸Ｋを１回以上屈曲させる構成としてもよい。
　図２２は、投影装置１０の他の外観構成を示す模式図である。図２３は、図２２に示した投影装置１０の光学ユニット１０６の断面模式図である。図２２，図２３において、図４，図５に示した部分と同様の部分については同一の符号を付して説明を省略する。
　図２２に示すように、光学ユニット１０６は、本体部１０１に支持される第１部材１０２に加えて、第１部材１０２に支持された第２部材１０３を備える。なお、第１部材１０２と第２部材１０３は一体化された部材であってもよい。
　図２３に示すように、光学ユニット１０６は、第１部材１０２に加えて、第１部材１０２の中空部２Ａと繋がる中空部３Ａを有する第２部材１０３と、中空部２Ａに配置された第１光学系１２１及び反射部材１２２と、中空部３Ａに配置された第２光学系３１、反射部材３２、第３光学系３３、及びレンズ３４と、第１シフト機構１０５と、投影方向変更機構１０４と、を備える。
　図２２，図２３の例において、第１部材１０２の開口２ａと開口２ｂは互いに垂直な面に形成されている。また、図２２，図２３に示す投影光学系２３は、図４，図５に示した第１光学系１２１及びレンズ３４に加えて、反射部材１２２、第２光学系３１、反射部材３２、及び第３光学系３３により構成される。このような投影光学系２３により、図２３に示すように、光軸Ｋは、２回屈曲することで折り返される形になる。第１光学系１２１、反射部材１２２、第２光学系３１、反射部材３２、第３光学系３３、及びレンズ３４は、光変調部２２側からこの順に光軸Ｋに沿って配置されている。
　第１光学系１２１は、本体部１０１から第１部材１０２に入射された方向Ｘ１に進む光を反射部材１２２に導く。反射部材１２２は、第１光学系１２１から入射された光を方向Ｙ１に反射させる。反射部材１２２は、例えばミラー等によって構成される。第１部材１０２には、反射部材１２２にて反射した光の光路上に開口２ｂが形成されており、この反射した光は開口２ｂを通過して第２部材１０３の中空部３Ａへと進む。
　第２部材１０３は、断面外形が略Ｌ字状の部材であり、第１部材１０２の開口２ｂと対面する位置に開口３ａが形成されている。第１部材１０２の開口２ｂを通過した本体部１０１からの光は、この開口３ａを通って第２部材１０３の中空部３Ａに入射される。なお、第１部材１０２や第２部材１０３の断面外形は任意であり、上記のものには限定されない。
　第２光学系３１は、少なくとも１つのレンズを含み、第１部材１０２から入射された光を、反射部材３２に導く。反射部材３２は、第２光学系３１から入射される光を方向Ｘ２に反射させて第３光学系３３に導く。反射部材３２は、例えばミラー等によって構成される。第３光学系３３は、少なくとも１つのレンズを含み、反射部材３２にて反射された光をレンズ３４に導く。
　レンズ３４は、第２部材１０３の方向Ｘ２側の端部に形成された開口３ｃを塞ぐ形でこの端部に配置されている。レンズ３４は、第３光学系３３から入射された光を投影対象物６に投影する。
　図２３は、第１シフト機構１０５によって第１部材１０２が方向Ｙ１側に最大限移動された状態を示している。この図２３に示す状態から、第１シフト機構１０５によって第１部材１０２が方向Ｙ２に移動することで、光変調部２２によって形成される画像の中心と光軸Ｋとの相対位置が変化して、投影対象物６に投影されている画像Ｇ１を方向Ｙ１にシフトさせることができる。
　投影方向変更機構１０４は、第１部材１０２に対して第２部材１０３を回転自在に連結する回転機構である。この投影方向変更機構１０４によって、第２部材１０３は、方向Ｙに延びる回転軸（具体的には光軸Ｋ）の回りに回転自在に構成されている。なお、投影方向変更機構１０４は、光学系を回転させることができればよく、図２３に示した配置位置に限定されない。また、回転機構の数も１つに限らず、複数設けられていてもよい。
＜制御装置の変形例＞
　本発明の制御装置を投影装置１０の制御装置４に適用する場合について説明したが、このような構成に限らない。
　図２４は、投影システム１００の変形例を示す図である。図２４に示す投影システム１００は、図１に示した投影システム１００の構成に加えて情報端末１１０を含む。本発明の制御装置は、情報端末１１０に適用されてもよい。
　情報端末１１０は、投影装置１０と直接又は間接的に通信可能な情報端末である。情報端末１１０と投影装置１０との間の通信は、有線通信であってもよいし無線通信であってもよい。情報端末１１０は、投影装置１０と通信を行うことにより、上記の制御装置４による各種の制御を実行する。図２４の例では情報端末１１０はノート型のパーソナルコンピュータであるが、情報端末１１０は、デスクトップ型のパーソナルコンピュータ、スマートフォン、タブレット端末など各種の情報端末とすることができる。
　例えば、上記の投影対象画像５０を表す第１画像データは、情報端末１１０に対して入力される。また、上記の枠画像６０を表す第２画像データは、情報端末１１０の記憶媒体に記憶される。情報端末１１０は、これらの画像データ等に基づいて、上記の投影画像７０を表す第３画像データを生成し、生成した第３画像データを投影装置１０（投影部）へ出力する。投影装置１０は、情報端末１１０から出力された第３画像データに基づいて投影画像７０を投影する。
　図２５は、情報端末１１０のハードウェア構成の一例を示す図である。図１に示した情報端末１１０は、図２５に示すように、プロセッサ１１１と、メモリ１１２と、通信インタフェース１１３と、ユーザインタフェース１１４と、を備える。プロセッサ１１１、メモリ１１２、通信インタフェース１１３、及びユーザインタフェース１１４は、例えばバス１１９によって接続される。プロセッサ１１１、メモリ１１２、通信インタフェース１１３、及びユーザインタフェース１１４は、それぞれ図６に示したプロセッサ８１、メモリ８２、通信インタフェース８３、及びユーザインタフェース８４と同様の構成である。
＜第３画像の表示の変形例＞
　本発明の制御装置が、生成した第３画像データにより表される第３画像（投影画像７０）を投影装置１０により投影する構成について説明したが、このような構成に限らない。例えば、本発明の制御装置は、生成した第３画像データを、画像を表示可能なディスプレイに出力してもよい。これにより、第３画像データにより表される第３画像（例えば投影画像７０と同様の画像）がディスプレイに表示される。ディスプレイは、本発明の制御装置を含む表示装置のディスプレイであってもよいし、本発明の制御装置と通信可能な外部のディスプレイであってもよい。
＜特定のコンテンツの他の例＞
　投影画像７０に対応付けられる特定のコンテンツの例として拡張現実コンテンツについて説明したが、投影画像７０に対応付けられる特定のコンテンツは拡張現実コンテンツに限らない。例えば、投影画像７０に対応付けられる特定のコンテンツは、音や匂いなど視覚以外に関するコンテンツであってもよい。
　本明細書には少なくとも以下の事項が記載されている。
（１）
　プロセッサを備える制御装置であって、
　上記プロセッサは、
　第１画像データと第２画像データとに基づく第３画像データを生成し、
　上記第３画像データを出力し、
　上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、上記第３画像のうち上記第１画像データに基づく第１画像を囲む、
　制御装置。
（２）
　（１）に記載の制御装置であって、
　上記第２画像は、上記第１画像の外周の少なくとも一部と接し、かつ上記第１画像の内部領域を含まない、
　制御装置。
（３）
　（１）又は（２）に記載の制御装置であって、
　上記プロセッサは、上記第３画像データを投影部へ出力する、
　制御装置。
（４）
　（１）から（３）のいずれか１項に記載の制御装置であって、
　上記プロセッサは、
　上記第３画像が表示される表示領域の情報と、上記第１画像データと、上記第２画像データと、に基づいて上記第３画像データを生成する、
　制御装置。
（５）
　（１）から（４）のいずれか１項に記載の制御装置であって、
　上記第２画像は、上記第１画像の色に基づいて決定される画像である、
　制御装置。
（６）
　（１）から（５）のいずれか１項に記載の制御装置であって、
　上記第２画像は、上記第１画像の少なくとも一部を囲む枠画像である、
　制御装置。
（７）
　（１）から（６）のいずれか１項に記載の制御装置であって、
　上記第１画像は、上記特定のコンテンツが対応付けられた画像である、
　制御装置。
（８）
　（１）から（７）のいずれか１項に記載の制御装置であって、
　上記第２画像は、上記特定のコンテンツが対応付けられた画像である、
　制御装置。
（９）
　（１）から（８）のいずれか１項に記載の制御装置であって、
　上記特定のコンテンツは拡張現実コンテンツを含む、
　制御装置。
（１０）
　（９）に記載の制御装置であって、
　上記拡張現実コンテンツは、上記第１画像に含まれる第１物体が撮像画角に含まれる場合に再生される第１拡張現実コンテンツと、上記第１物体が撮像画角に含まれるか否かにかかわらず再生される第２拡張現実コンテンツと、を含む、
　制御装置。
（１１）
　（１）から（１０）のいずれか１項に記載の制御装置であって、
　上記第２画像は、識別画像を含み、
　上記識別画像は、上記第３画像における上記識別画像の相対位置を特定可能な情報である、
　制御装置。
（１２）
　プロセッサを備える制御装置であって、
　プロセッサは、
　第１画像データと第２画像データとに基づく第３画像データを生成し、
　上記第３画像データを出力し、
　上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像のうち上記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像である、
　制御装置。
（１３）
　（１２）に記載の制御装置であって、
　上記第１物体の画像は、上記第３画像において移動する画像であり、
　上記第２画像は、上記第１物体の画像の移動に追従して移動する画像である、
　制御装置。
（１４）
　（１２）又は（１３）に記載の制御装置であって、
　上記プロセッサは、
　上記第１画像の再生の経過時間と、上記第１画像における上記第１物体の画像の位置及びサイズの少なくともいずれかと、の対応情報に基づいて、上記第２画像を含めた上記第３画像を表す上記第３画像データを生成する、
　制御装置。
（１５）
　（１２）から（１４）のいずれか１項に記載の制御装置であって、
　上記プロセッサは、
　上記第３画像が表示される表示領域の特徴領域の情報と、上記第３画像における上記第１物体の画像の位置と、に基づく上記第２画像を含めた上記第３画像を表す上記第３画像データを生成する、
　制御装置。
（１６）
　（１２）から（１５）のいずれか１項に記載の制御装置であって、
　上記第２画像は、上記第１物体の画像の少なくとも一部を囲む枠画像である、
　制御装置。
（１７）
　制御装置のプロセッサが、
　第１画像データと第２画像データとに基づく第３画像データを生成し、
　上記第３画像データを出力し、
　上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、上記第３画像のうち上記第１画像データに基づく第１画像を囲む、
　制御方法。
（１８）
　制御装置のプロセッサが、
　第１画像データと第２画像データとに基づく第３画像データを生成し、
　上記第３画像データを出力し、
　上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像のうち上記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像である、
　制御方法。
（１９）
　制御装置のプロセッサに、
　第１画像データと第２画像データとに基づく第３画像データを生成し、
　上記第３画像データを出力する、
　処理を実行させるための制御プログラムであって、
　上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、上記第３画像のうち上記第１画像データに基づく第１画像を囲む、
　制御プログラム。
（２０）
　制御装置のプロセッサに、
　第１画像データと第２画像データとに基づく第３画像データを生成し、
　上記第３画像データを出力する、
　処理を実行させるための制御プログラムであって、
　上記第３画像データにより表される第３画像のうち上記第２画像データに基づく第２画像は、上記第３画像のうち上記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像である、
　制御プログラム。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２１年１１月３０日出願の日本特許出願（特願２０２１－１９４１１９）に基づくものであり、その内容は本出願の中に参照として援用される。
　１　投影部
　２　操作受付部
　２Ａ，３Ａ　中空部
　２ａ，２ｂ，３ａ，３ｃ，１５ａ　開口
　４　制御装置
　４ａ　記憶媒体
　５　通信部
　６　投影対象物
　６ａ　投影領域
　１０　投影装置
　１１　投影範囲
　１２　光変調ユニット
　１５　筐体
　２１　光源
　２２　光変調部
　２３　投影光学系
　２４　制御回路
　３１　第２光学系
　３２，１２２　反射部材
　３３　第３光学系
　３４　レンズ
　５０，５０Ａ　投影対象画像
　５１，５１Ａ　車画像
　６０，６０Ａ　枠画像
　６１　識別情報
　７０　投影画像
　８０，１１０　情報端末
　８１，１１１　プロセッサ
　８２，１１２　メモリ
　８３，１１３　通信インタフェース
　８４，１１４　ユーザインタフェース
　８５　撮像モジュール
　８５ａ　撮像範囲
　８６　表示部
　８９，１１９　バス
　９０　重畳画像
　９１　光沢画像
　９２　煙画像
　９３　流星画像
　９４　矢印画像
　１００　投影システム
　１０１　本体部
　１０２　第１部材
　１０３　第２部材
　１０４　投影方向変更機構
　１０５　第１シフト機構
　１０６　光学ユニット
　１２１　第１光学系
　１７１，１７２　窓
　Ｇ１　画像

Claims (20)

  1. 　プロセッサを備える制御装置であって、
    　前記プロセッサは、
    　第１画像データと第２画像データとに基づく第３画像データを生成し、
    　前記第３画像データを出力し、
    　前記第３画像データにより表される第３画像のうち前記第２画像データに基づく第２画像は、前記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、前記第３画像のうち前記第１画像データに基づく第１画像を囲む、
    　制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記第２画像は、前記第１画像の外周の少なくとも一部と接し、かつ前記第１画像の内部領域を含まない、
    　制御装置。
  3. 　請求項１又は２に記載の制御装置であって、
    　前記プロセッサは、前記第３画像データを投影部に出力する、
    　制御装置。
  4. 　請求項１から３のいずれか１項に記載の制御装置であって、
    　前記プロセッサは、
    　前記第３画像が表示される表示領域の情報と、前記第１画像データと、前記第２画像データと、に基づいて前記第３画像データを生成する、
    　制御装置。
  5. 　請求項１から４のいずれか１項に記載の制御装置であって、
    　前記第２画像は、前記第１画像の色に基づいて決定される画像である、
    　制御装置。
  6. 　請求項１から５のいずれか１項に記載の制御装置であって、
    　前記第２画像は、前記第１画像の少なくとも一部を囲む枠画像である、
    　制御装置。
  7. 　請求項１から６のいずれか１項に記載の制御装置であって、
    　前記第１画像は、前記特定のコンテンツが対応付けられた画像である、
    　制御装置。
  8. 　請求項１から７のいずれか１項に記載の制御装置であって、
    　前記第２画像は、前記特定のコンテンツが対応付けられた画像である、
    　制御装置。
  9. 　請求項１から８のいずれか１項に記載の制御装置であって、
    　前記特定のコンテンツは拡張現実コンテンツを含む、
    　制御装置。
  10. 　請求項９に記載の制御装置であって、
    　前記拡張現実コンテンツは、前記第１画像に含まれる第１物体が撮像画角に含まれる場合に再生される第１拡張現実コンテンツと、前記第１物体が撮像画角に含まれるか否かにかかわらず再生される第２拡張現実コンテンツと、を含む、
    　制御装置。
  11. 　請求項１から１０のいずれか１項に記載の制御装置であって、
    　前記第２画像は、識別画像を含み、
    　前記識別画像は、前記第３画像における前記識別画像の相対位置を特定可能な情報である、
    　制御装置。
  12. 　プロセッサを備える制御装置であって、
    　プロセッサは、
    　第１画像データと第２画像データとに基づく第３画像データを生成し、
    　前記第３画像データを出力し、
    　前記第３画像データにより表される第３画像のうち前記第２画像データに基づく第２画像は、前記第３画像のうち前記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像である、
    　制御装置。
  13. 　請求項１２に記載の制御装置であって、
    　前記第１物体の画像は、前記第３画像において移動する画像であり、
    　前記第２画像は、前記第１物体の画像の移動に追従して移動する画像である、
    　制御装置。
  14. 　請求項１２又は１３に記載の制御装置であって、
    　前記プロセッサは、
    　前記第１画像の再生の経過時間と、前記第１画像における前記第１物体の画像の位置及びサイズの少なくともいずれかと、の対応情報に基づいて、前記第２画像を含めた前記第３画像を表す前記第３画像データを生成する、
    　制御装置。
  15. 　請求項１２から１４のいずれか１項に記載の制御装置であって、
    　前記プロセッサは、
    　前記第３画像が表示される表示領域の特徴領域の情報と、前記第１画像における前記第１物体の画像の位置と、に基づく前記第２画像を含めた前記第３画像を表す前記第３画像データを生成する、
    　制御装置。
  16. 　請求項１２から１５のいずれか１項に記載の制御装置であって、
    　前記第２画像は、前記第１物体の画像の少なくとも一部を囲む枠画像である、
    　制御装置。
  17. 　制御装置のプロセッサが、
    　第１画像データと第２画像データとに基づく第３画像データを生成し、
    　前記第３画像データを出力し、
    　前記第３画像データにより表される第３画像のうち前記第２画像データに基づく第２画像は、前記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、前記第３画像のうち前記第１画像データに基づく第１画像を囲む、
    　制御方法。
  18. 　制御装置のプロセッサが、
    　第１画像データと第２画像データとに基づく第３画像データを生成し、
    　前記第３画像データを出力し、
    　前記第３画像データにより表される第３画像のうち前記第２画像データに基づく第２画像は、前記第３画像のうち前記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像である、
    　制御方法。
  19. 　制御装置のプロセッサに、
    　第１画像データと第２画像データとに基づく第３画像データを生成し、
    　前記第３画像データを出力する、
    　処理を実行させるための制御プログラムであって、
    　前記第３画像データにより表される第３画像のうち前記第２画像データに基づく第２画像は、前記第３画像に特定のコンテンツが対応付けられていることを示す画像であって、前記第３画像のうち前記第１画像データに基づく第１画像を囲む、
    　制御プログラム。
  20. 　制御装置のプロセッサに、
    　第１画像データと第２画像データとに基づく第３画像データを生成し、
    　前記第３画像データを出力する、
    　処理を実行させるための制御プログラムであって、
    　前記第３画像データにより表される第３画像のうち前記第２画像データに基づく第２画像は、前記第３画像のうち前記第１画像データに基づく第１画像に含まれる、特定のコンテンツが対応付けられた第１物体の画像の位置を示す画像である、
    　制御プログラム。
PCT/JP2022/040695 2021-11-30 2022-10-31 制御装置、制御方法、及び制御プログラム WO2023100573A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021194119 2021-11-30
JP2021-194119 2021-11-30

Publications (1)

Publication Number Publication Date
WO2023100573A1 true WO2023100573A1 (ja) 2023-06-08

Family

ID=86611884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040695 WO2023100573A1 (ja) 2021-11-30 2022-10-31 制御装置、制御方法、及び制御プログラム

Country Status (1)

Country Link
WO (1) WO2023100573A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007192988A (ja) * 2006-01-18 2007-08-02 Asv:Kk 映像再生システムにおけるオブジェクト強調表示方式およびオブジェクト軌跡オーバレイ表示方式ならびにこれら表示方式に用いられるプレイヤ装置およびサーバ装置
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
JP2013175942A (ja) * 2012-02-24 2013-09-05 Sharp Corp 表示装置、表示装置の制御方法、制御プログラム、および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007192988A (ja) * 2006-01-18 2007-08-02 Asv:Kk 映像再生システムにおけるオブジェクト強調表示方式およびオブジェクト軌跡オーバレイ表示方式ならびにこれら表示方式に用いられるプレイヤ装置およびサーバ装置
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
JP2013175942A (ja) * 2012-02-24 2013-09-05 Sharp Corp 表示装置、表示装置の制御方法、制御プログラム、および記録媒体

Similar Documents

Publication Publication Date Title
JP6780315B2 (ja) 投影装置、投影システム、投影方法及びプログラム
US11012678B2 (en) Scanning an object in three dimensions using color dashed line pattern
US10382731B2 (en) Projector, multi-projection system, and method for controlling projector
JP6740538B2 (ja) 投射システム
WO2023100573A1 (ja) 制御装置、制御方法、及び制御プログラム
WO2018051886A1 (ja) 検出機能付き表示装置
US10788742B2 (en) Display system
US20220417481A1 (en) Projection system, projection method, and control program
TWI639339B (zh) 投影單元及應用其的投影裝置
US20220295028A1 (en) Projection apparatus, projection method, and control program
JP7347205B2 (ja) 投写システムの制御方法、投写システム及び制御プログラム
WO2023223760A1 (ja) 制御装置、制御方法、制御プログラム、及びシステム
JP2007017516A (ja) ２次元の位置情報を投影する機能を備えたプロジェクタ
JP2018159835A (ja) 投影装置
WO2023162688A1 (ja) 制御装置、制御方法、及び制御プログラム
JP7314425B2 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
US20180348615A1 (en) Display apparatus and method for controlling display apparatus
JP7427804B2 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
JP2014233005A (ja) 画像表示装置
US11895444B2 (en) Control device, control method, projection system, and control program
JP7336027B2 (ja) 制御方法、投影装置、及び制御プログラム
WO2022044386A1 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
WO2024038733A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009511970A (ja) 画像を表示するアセンブリ及び方法
WO2023127501A1 (ja) 制御装置、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901006

Country of ref document: EP

Kind code of ref document: A1