WO2018173183A1 - 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム - Google Patents

光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム Download PDF

Info

Publication number
WO2018173183A1
WO2018173183A1 PCT/JP2017/011651 JP2017011651W WO2018173183A1 WO 2018173183 A1 WO2018173183 A1 WO 2018173183A1 JP 2017011651 W JP2017011651 W JP 2017011651W WO 2018173183 A1 WO2018173183 A1 WO 2018173183A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical devices
arrangement
optical
shadow
device control
Prior art date
Application number
PCT/JP2017/011651
Other languages
English (en)
French (fr)
Inventor
賢人 山▲崎▼
浩平 岡原
司 深澤
古木　一朗
博信 阿倍
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019506820A priority Critical patent/JP6641525B2/ja
Priority to PCT/JP2017/011651 priority patent/WO2018173183A1/ja
Publication of WO2018173183A1 publication Critical patent/WO2018173183A1/ja

Links

Images

Definitions

  • a projector is an optical device that displays an image on a target object by applying the projection light emitted from the projection optical system to the target object. It is an optical device that receives incoming light on an imaging surface and acquires image data based on an object.
  • the projector displays an image by projecting a two-dimensional image based on image data onto a three-dimensional real space
  • the camera projects an image of the three-dimensional real space onto a two-dimensional imaging surface.
  • the projector and the camera are basically similar optical models except that the traveling direction of the light to be handled is opposite.
  • Patent Document 1 discloses an aerial flight mechanism unit, a projector unit, a camera, and a number detection unit that detects the number of viewers from images captured by the camera in order to provide a projected image to a viewer (user).
  • a projection apparatus includes a control unit that determines a location for displaying a projection image according to the number of viewers and controls the projector unit to display the projection image at the determined location.
  • Patent Document 2 proposes an optical projection control device that projects an optical image with a specified illuminance to each of a plurality of projectors.
  • This device projects captured image data (when there is no light shield) obtained by projecting an optical image onto the screen in the absence of an object (light shield) between the screen and the projector, and a photograph acquired by the camera.
  • the difference image data corresponding to the difference in the amount of light from the image data is acquired, and based on the difference image data, a projector whose part of the projection image is shielded is detected, and the projection of the projector whose projection image is not shielded Correct the illuminance of the image.
  • Japanese Patent Laying-Open No. 2016-208255 for example, claim 1
  • Japanese Patent No. 5596427 for example, claim 3
  • An object estimation unit that determines whether or not a shadow that is an area that does not reach the upper side is formed, and acquires information indicating an arrangement of an object that forms the shadow when the shadow is detected; and an arrangement of the object Based on the information indicating, the placement calculation unit that calculates the placement of the plurality of optical devices in which the shadow is not formed, and the shadow is formed based on the placement of the plurality of optical devices calculated by the placement calculation unit Unperformed position And having a moving mechanism controller which the plurality of optical devices for controlling said plurality of moving mechanisms to be disposed.
  • An optical apparatus control device includes a plurality of optical apparatuses that acquire a plurality of images of the object by photographing the object, and a plurality of movement mechanisms that change the arrangement of the plurality of optical apparatuses. Whether or not there is an object on which the plurality of optical devices form a non-photographing region on the object based on the plurality of images acquired by the plurality of optical devices.
  • the plurality of optical devices are arranged so that the non-photographing region is not formed based on the arrangement of the plurality of optical devices calculated by the arrangement calculation unit.
  • an optical device control apparatus an optical device control method, and an optical device control program according to an embodiment of the present invention will be described with reference to the accompanying drawings.
  • an optical apparatus is a projector (an image projection apparatus) that projects an image on an object and does not form a shadow on a projection image
  • the optical device is a camera (imaging device) that captures an object and obtains real space image data, and does not cause a missing (non-imaging region) in a composite image based on the captured image.
  • FIG. 1 is a functional block diagram schematically showing a configuration of an optical apparatus control apparatus 1 according to the first embodiment.
  • the optical instrument control apparatus 1 is an apparatus that can implement the optical instrument control method according to the first embodiment.
  • the optical instrument control apparatus 1 is an apparatus that can execute the optical instrument control program according to the first embodiment.
  • the optical device control apparatus 1 includes a plurality of projectors 3 (3a, 3b), a plurality of moving mechanisms (for example, robot arms) 4 that respectively change the arrangement of the plurality of projectors 3 (3a, 3b), and real space information acquisition. It is connected to a unit (for example, a camera or a sensor) 5 and controls the operation of the plurality of projectors 3 (3a, 3b) and the operation of the plurality of moving mechanisms 4 (4a, 4b).
  • the real space information acquisition unit 5 may be a separate device from the projector 3 (3a, 3b), or may be an integrated device with any of the plurality of projectors 3 (3a, 3b).
  • the optical device control device 1, the plurality of projectors 3 (3a, 3b), the plurality of movement mechanisms 4 (4a, 4b), and the real space information acquisition unit 5 are arranged on the object 51 in the real space (light An image projection system that can project an image (composite projection image) 54 without a shadow 53 on the target object 51 in the case where the shielding object 52 exists.
  • the object 52 is, for example, a moving hand of the user 50 who works on the object 51. In this case, the shadow 53 moves on the object 51 by the movement of the user 50 hand.
  • the optical device control apparatus 1 includes an object estimation unit 11, an arrangement calculation unit 12, a movement mechanism control unit 13, a parameter calculation unit 14, an image data generation unit 15, and a storage unit 16.
  • the object estimation unit 11 receives the real space information from the real space information acquisition unit 5, detects the shadow 53 generated on the object 51, and estimates the object 52 that causes the shadow 53.
  • the object estimation unit 11 includes a plurality of projectors 3 based on the real space information acquired by the real space information acquisition unit 5 when the plurality of optical devices 3 are projecting the projection image 54 onto the object 51. It is determined whether or not a shadow 53 that is an area where the plurality of projection images 54 projected from (3a, 3b) do not reach the object 51 is formed, and the shadow 53 is formed when the shadow 53 is detected. Information indicating the arrangement (position and shape) of the object 52 to be acquired is acquired.
  • the arrangement calculation unit 12 acquires information necessary for the arrangement (position and orientation) of the plurality of projectors 3 (3a, 3b) from the storage unit 16, and the plurality of projectors 3 (not forming the shadow 53 on the object 51 ( 3a, 3b) is calculated (position and orientation). For example, the arrangement calculation unit 12 calculates the arrangement (for example, position and orientation) of the plurality of projectors 3 (3a, 3b) where the shadow 53 is not formed based on the information indicating the arrangement of the object 52.
  • the position is the coordinates of the plurality of projectors 3 (3a, 3b) shown in the xyz orthogonal coordinate system shown in FIGS. 2A to 2C
  • the posture is the plurality of projectors 3 (3a, 3b).
  • AX In the direction of the optical axis (dashed line) AX.
  • the movement mechanism control unit 13 controls the operations of the plurality of movement mechanisms 4 (4a, 4b) that move the plurality of projectors 3 (3a, 3b) based on the result calculated by the arrangement calculation unit 12. Based on the arrangement of the plurality of projectors 3 (3a, 3b) calculated by the arrangement calculation unit 12, the movement mechanism control unit 13 arranges the plurality of projectors 3 (3a, 3b) at positions where no shadow 53 is formed. Thus, the plurality of moving mechanisms 4 (4a, 4b) are controlled.
  • the plurality of moving mechanisms 4 (4a, 4b) are mechanisms capable of changing the positions and postures of the plurality of projectors 3 (3a, 3b).
  • the plurality of moving mechanisms 4 (4a, 4b) are robot arms. However, the plurality of moving mechanisms 4 (4a, 4b) may be self-propelled robots, aerial mobile devices such as drones, and other mechanisms.
  • the storage unit 16 has projector characteristics such as the focal length 161 and brightness 162 of each of the plurality of projectors 3 (3a and 3b) to be controlled, various image generation parameters 163 used for image generation, and the like. Record information about.
  • the parameter calculation unit 14 determines the plurality of projectors 3 from the positions of the plurality of projectors 3 (3a, 3b) moved by the movement mechanism control unit 13 and information about the plurality of projectors 3 (3a, 3b) acquired from the storage unit 16.
  • Each of (3a, 3b) calculates an image parameter necessary for generating a projection image, and stores it as an image generation parameter 163 in the storage unit 16.
  • parameters in the plurality of projectors 3 (3a, 3b) for example, there are internal parameters unique to the device such as focal length, image center, and lens distortion in the projector, and external parameters indicating the position and orientation of the projector.
  • the image data generation unit 15 generates an image based on information acquired from the image generation parameter 163.
  • the plurality of projectors 3 (3a, 3b) project an image generated by the image data generation unit 15 or a projection image in an initial state onto a real space.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the optical device control apparatus 1 according to the first embodiment.
  • the optical device control apparatus 1 may be a computer.
  • the optical device control apparatus 1 includes a CPU (Central Processing Unit) 31 that is a processor as an information processing unit, a GPU (Graphics Processing Unit) 32, a main memory 33, a storage 34, and a data transfer path for data exchange. A certain bus 35 is provided.
  • the optical device control apparatus 1 includes a camera 5a as a real space information acquisition unit, a plurality of projectors 3 (3a, 3b), and a plurality of moving mechanisms that respectively support the plurality of projectors 3 (3a, 3b) so as to be movable. 4 (4a, 4b) are connected.
  • a sensor 5b may be connected to the optical device control apparatus 1 as a real space information acquisition unit.
  • the CPU 31 is an arithmetic device for executing the entire operation of the optical device control apparatus 1.
  • the main memory 33 is a storage device in which the hardware of the optical device control device 1 can erase and rewrite data.
  • the main memory 33 is volatile but operates faster than the storage 34 and is therefore used to store data in use or data that needs to be used immediately.
  • an optical device control program for performing shadow removal processing shown in FIG. The optical device control program is executed by the CPU 31.
  • the CPU 31 executes the optical device control program, all or part of the object estimation unit 11, the arrangement calculation unit 12, the movement mechanism control unit 13, the parameter calculation unit 14, and the image data generation unit 15 illustrated in FIG. Can be realized.
  • the storage 34 is a storage device in which data can be erased and rewritten by the hardware of the optical device control apparatus 1, and corresponds to the storage unit 16 in FIG. Information stored in this storage is developed in the main memory 33 when the program is executed.
  • the camera 5a is a device that captures an image necessary for acquiring real space information.
  • the sensor 5b is a device that acquires values necessary for acquiring real space information.
  • the sensor 5 is, for example, a GPS (Global Positioning System) that measures a position, an acceleration sensor that detects acceleration, a geomagnetic sensor that measures azimuth, or a depth sensor that measures a distance to an object.
  • GPS Global Positioning System
  • the plurality of projectors 3 (3a, 3b) are image projection apparatuses necessary for projecting an image into a real space.
  • the plurality of moving mechanisms 4 (4a, 4b) are devices for moving the plurality of projectors 3 (3a, 3b).
  • FIG. 4 is a flowchart showing the operation (shadow removal processing) of the optical apparatus control apparatus 1 according to the first embodiment. The process shown in FIG. 4 is executed each time the real space information acquisition unit 5 (5a, 5b) acquires real space information (for example, at a constant cycle).
  • step S ⁇ b> 11 the image data generation unit 15 of the optical device control apparatus 1 provides image data to the plurality of projectors 3 (3 a, 3 b), and a desired image (the object 52 does not exist) toward the target object 51. , A projected image that the user 50 can see) is projected (see FIG. 2A).
  • the optical device control apparatus 1 causes the real space information acquisition unit 5 to acquire real space information including the object 51.
  • the real space information acquisition unit 5 is a camera
  • the real space information acquisition unit 5 acquires image data as real space information.
  • the real space information acquisition unit 5 is a sensor
  • the real space information acquisition unit 5 A detection value (for example, distance information in the case of a depth sensor) is acquired as real space information.
  • the object estimation unit 11 detects whether or not a shadow 53 that is a dark region is formed on the target object 51 by the object 52 based on the information acquired in step S12, and does not detect the shadow 53.
  • the shadow removal process image interpolation process
  • the process of detecting which of the plurality of projectors 3 (3a, 3b) the projected image from the projector 52 is shielded by the object 52 is a known image process. A method may be adopted.
  • step S13 the process proceeds to step S14, the object estimation unit 11 estimates (calculates) the position and shape of the object 52, and the process proceeds to step S15.
  • step S15 the arrangement calculation unit 12 calculates the arrangement (position and orientation) of the plurality of projectors 3 (3a, 3b).
  • the movement mechanism control unit 13 controls the plurality of movement mechanisms 4 (4a, 4b), so that the arrangement (position and posture) calculated in step S15 is increased to the position calculated in step S16.
  • the projector 3 (3a, 3b) is moved (see FIG. 2B).
  • the parameter calculation unit 14 calculates a parameter indicating how the pixel values of the projection images of each of the plurality of projectors 3 (3a, 3b) are to be the image from which the shadow is removed. And stored in the image generation parameter 163.
  • the image data generation unit 15 generates an image to be projected by each of the plurality of projectors 3 (3a, 3b) based on the image generation parameter 163.
  • step S19 the projection images generated in step S17 are projected by the plurality of projectors 3 (3a, 3b) (see FIG. 2C).
  • ⁇ 1-3 Effect As described above, according to the optical device control apparatus 1, the optical device control method, and the optical device control program according to Embodiment 1, as shown in FIG.
  • the position and shape of the object 52 are estimated, and a plurality of projectors 3 (3a, 3b) are moved based on the estimation result as shown in FIG. Then, the projector arrangement (position and orientation) and parameters are set. For this reason, even when the object 52 exists on the target object 51, as shown in FIG. 2C, it is possible to project a desired image without shadow (composite projection image) onto the target object 51. it can.
  • Embodiment 2 ⁇ 2-1 Configuration
  • the arrangement of the plurality of projectors 3 (3a, 3b) is calculated, the plurality of projectors 3 (3a, 3b) are moved, and the plurality of projectors 3 (3a, 3a) are moved. , 3b) to generate a projection image according to the arrangement (position and orientation), and thereby, a combined projection image without shadow (54 in FIG. 2C) is placed on the object (51 in FIG. 2C).
  • the optical device control apparatus 1 that performs control for projection has been described.
  • the arrangement of a plurality of optical devices is calculated, the plurality of optical devices (cameras) are moved, and the arrangement (position and orientation) of the plurality of optical devices (cameras) is calculated.
  • the optical device control apparatus 2 that performs control for removing an arbitrary object arranged so as to hide the target object from the display image by acquiring an image according to () will be described.
  • the optical device may be spatial information acquisition means other than a camera, such as a depth sensor.
  • the projector and the camera are similar optical models, and when it is desired to obtain a captured image from which an arbitrary object has been removed, a display image from which the object has been removed can be generated by a process similar to the process in the first embodiment. It is.
  • FIG. 5 is a functional block diagram schematically showing the configuration of the optical device control apparatus 2 according to the second embodiment.
  • the optical instrument control apparatus 2 is an apparatus that can implement the optical instrument control method according to the second embodiment.
  • the optical device control device 2 is a device that can execute the optical device control program according to the second embodiment.
  • FIG. 6A to 6C show a plurality of cameras 6 (6a, 6b) and a plurality of moving mechanisms 7 (7a, 7b) as optical devices controlled by the optical device control apparatus 2 according to the second embodiment.
  • FIG. 6A to 6C show a plurality of cameras 6 (6a, 6b) and a plurality of moving mechanisms 7 (7a, 7b) as optical devices controlled by the optical device control apparatus 2 according to the second embodiment.
  • FIG. 6A to 6C show a plurality of cameras 6 (6a, 6b) and a plurality of moving mechanisms 7 (7a, 7b) as optical devices controlled by the optical device control apparatus 2 according to the second embodiment.
  • the optical device control device 2 includes a plurality of cameras 6 (6a, 6b), a plurality of moving mechanisms (for example, robot arms) 7 (7a, 7b) that change the arrangement of the plurality of cameras 6 (6a, 6b), respectively. Connected to the display device 8 and controls the operation of the plurality of cameras 6 (6a, 6b) and the operation of the plurality of moving mechanisms 7 (7a, 7b).
  • the optical device control device 2, the plurality of cameras 6 (6a, 6b), the plurality of moving mechanisms 7 (7a, 7b), and the display device 8 are objects (light shields) on the target 61 in the real space.
  • a photographing system capable of displaying on the display device 8 a composite image 61a having no missing portion (image 62a of the object 62 in FIG. 6A) in the display image of the display device 8.
  • the object 62 may be, for example, a moving object that exists on the object 61, that is, between the object 61 and the plurality of cameras 6 (6a, 6b).
  • the optical device control apparatus 2 includes an object estimation unit 21, a placement calculation unit 22, a movement mechanism control unit 23, a parameter calculation unit 24, an image synthesis unit 26, and a storage unit 27.
  • the object estimation unit 21 receives real space information from the plurality of cameras 6 (6a, 6b), and estimates an unnecessary area of the object 62 in order to acquire an arbitrary image. For example, the object estimation unit 21 captures a plurality of cameras 6 (6a, 6b) based on a plurality of images acquired by the plurality of cameras 6 (6a, 6b). 6a, 6b) determines whether or not there is an object (light shielding object) 62 that forms a non-photographing area on the object 61, and when such an object 62 is detected, the arrangement (position) of the object 62 is determined. And information indicating the shape) are acquired (see FIG. 6A). As shown in FIG.
  • the non-photographing area of the target object 61 is an image 62 a of the object 62 in the display image of the display device 8.
  • the real space information acquisition unit is a sensor
  • the real space information acquisition unit 5 acquires a detection value (for example, distance information in the case of a depth sensor) as real space information.
  • the arrangement calculation unit 22 acquires information necessary for the arrangement (position and orientation) of the plurality of cameras 6 (6a, 6b) from the storage unit 27, and an arrangement (position and orientation) from which an image from which the object 62 is removed can be obtained. calculate. Information about the plurality of cameras 6 (6a, 6b) is stored in the storage unit 16 in advance. For example, the arrangement calculation unit 22 acquires information necessary for the arrangement (position and orientation) of the plurality of cameras 6 (6a, 6b) from the storage unit 16, and based on the information indicating the arrangement of the object 62, the target 61 Arrangement (for example, position and orientation) of a plurality of cameras 6 (6a, 6b) for preventing a non-photographing region from being formed thereon is calculated.
  • the position is the coordinates of the plurality of cameras 6 (6a, 6b) shown in the xyz orthogonal coordinate system shown in FIGS. 6A to 6C
  • the posture is the plurality of cameras 6 (6a, 6b). Is the direction of the optical axis (dashed line) AX.
  • the movement mechanism control unit 23 places the plurality of cameras 6 at positions that prevent the non-imaging area from being formed on the object 61.
  • the plurality of moving mechanisms 7 (7a, 7b) are controlled so that (6a, 6b) are arranged (see FIG. 6B).
  • the plurality of moving mechanisms 7 (7a, 7b) are mechanisms capable of changing the positions and postures of the plurality of cameras 6 (6a, 6b).
  • the plurality of moving mechanisms 7 (7a, 7b) are robot arms, but may be self-propelled robots, airborne devices, and other mechanisms.
  • the storage unit 27 records information on camera characteristics, such as the focal length 271 of each of the plurality of cameras 6 (6a, 6b) and various image generation parameters 272 used for image generation, which are control targets. To do.
  • the parameter calculation unit 24 calculates the position of the plurality of cameras 6 (6a, 6b) moved by the plurality of movement mechanisms 7 (7a, 7b) and information about each of the cameras 6 (6a, 6b) acquired from the storage unit 27.
  • the image parameters necessary for interpolating the images acquired by the cameras 6 (6a, 6b) are calculated and stored as image generation parameters 272 in the storage unit 27.
  • the parameters in the plurality of cameras 6 (6a, 6b) include, for example, internal parameters unique to the device such as the focal length, image center, and lens distortion in the cameras, and external parameters representing the position and orientation of the camera.
  • the image data generation unit 25 processes the image data acquired by the plurality of cameras 6 (6a, 6b) based on the information acquired from the image generation parameter 272, and is missing in one of the plurality of image data. Interpolated image generation processing for interpolating the existing image portion with other image data is performed.
  • the image composition unit 26 synthesizes the images generated by the image data generation unit 25 and generates a composite image from which the object 62 is removed (see FIG. 6C).
  • FIG. 7 is a diagram illustrating an example of a hardware configuration of the optical device control apparatus 2 according to the second embodiment.
  • the optical device control apparatus 2 may be a computer.
  • the optical device control apparatus 2 includes a CPU 41 that is a processor as an information processing unit, a GPU 42, a main memory 43, a storage 44, and a bus 45 that is a data transfer path for data exchange.
  • a plurality of cameras 6 (6a, 6b) and a plurality of moving mechanisms 7 (7a, 7b) that respectively support the plurality of cameras 6 (6a, 6b) in a movable manner are connected to the optical device control device 2.
  • the CPU 41, GPU 42, main memory 43, and storage 44 are the same as the CPU 31, GPU 32, main memory 33, and storage 34 in FIG.
  • the CPU 41 stores in the main memory 43 an optical device control program for performing an object removal process shown in FIG.
  • the optical device control program is executed by the CPU 41.
  • the object estimation unit 21 the arrangement calculation unit 22, the movement mechanism control unit 23, the parameter calculation unit 24, the image data generation unit 25, and the image composition unit 26 illustrated in FIG. All or part of it can be realized.
  • FIG. 8 is a flowchart showing an operation (object removal process) of the optical device control apparatus 2 according to the second embodiment. The process shown in FIG. 8 is executed each time the camera 6 (6a, 6b) acquires real space information (for example, at a constant cycle).
  • step S21 the optical device control apparatus 2 causes the camera 6 (6a, 6b) as the real space information acquisition unit to acquire real space information including the object 61 (see FIG. 6A).
  • the object estimation unit 21 detects whether or not the object 62 that forms the non-photographing area exists on the target 61 based on the information acquired in step S21, and does not detect the object 62 ( In step S22, NO), it can be determined that the object 61 can be photographed, and thus the object removal process (image interpolation process) is terminated.
  • the process which detects whether the object 62 is reflected in the image of which camera of the plurality of cameras 6 (6a, 6b) (that is, whether the target object 61 is hidden by the object 62) is a known image process.
  • the method described in Patent Document 2 may be adopted.
  • step S22 If the object 62 is detected (YES in step S22), the process proceeds to step S23, the object estimation unit 21 estimates (calculates) the position and shape of the object 62, and the process proceeds to step S24.
  • step S24 the arrangement calculation unit 22 calculates the arrangement (position and orientation) of the plurality of cameras 6 (6a, 6b).
  • the movement mechanism control unit 23 controls the plurality of movement mechanisms 7 (7a, 7b), so that the arrangement (position and posture) calculated in step S24 is increased to the position calculated in step S25.
  • the camera 6 (6a, 6b) is moved (see FIG. 6B).
  • the parameter calculation unit 24 calculates parameters indicating how the pixel values of the projection images of the plurality of cameras 6 (6a, 6b) are used to obtain an image from which the object 62 has been removed. And stored in the image generation parameter 272.
  • the image data generation unit 25 changes the image data acquired by each of the plurality of cameras 6 (6a, 6b) based on the image generation parameter 272. That is, the image data generation unit 25 generates an interpolated image from the captured image using the image generation parameter 272 for each of the cameras 6 (6a, 6b).
  • the image synthesizing unit 26 synthesizes the plurality of images (interpolated images) generated in step S27 and displays them as one synthesized image on the display device 8 (see FIG. 6C).
  • ⁇ 2-3 Effect As described above, according to the optical device control apparatus 2, the optical device control method, and the optical device control program according to the second embodiment, as shown in FIG.
  • the position and shape of the object 62 are estimated, and as shown in FIG. 6B, a plurality of cameras 6 (6a, 6b) are based on the estimation results.
  • a desired composite image without the object 62 can be displayed on the display device 8.
  • Optical device control device 3, 3a, 3b projector (optical device), 4, 4a, 4b moving mechanism, 5 real space information acquisition unit, 5a real space information acquisition unit (camera), 5b real space information acquisition unit (Sensor), 6, 6a, 6b camera (optical device), 7, 7a, 7b moving mechanism, 8 display device, 11 object estimating unit, 12 placement calculating unit, 13 moving mechanism control unit, 14 parameter calculating unit, 15 image Data generation unit, 16 storage unit, 21 object estimation unit, 22 placement calculation unit, 23 movement mechanism control unit, 24 parameter calculation unit, 25 image data generation unit, 26 image composition unit, 27 storage unit, 51 target object, 52 object (Light shield), 53 shadows, 54 images (composite projection image), 61 objects 61a displayed object 62 object (light shield), 62a displayed object 64 image (composite image), AX optical axis.

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

光学機器制御装置（１）は、対象物（５１）上に複数の画像を投影する複数の光学機器（３）とこれらの配置を変更する複数の移動機構（４）とを制御する装置であって、複数の光学機器（３）が対象物上に画像を投影しているときに現実空間情報取得部（５）によって取得された現実空間情報に基づいて、複数の光学機器（３）から投影された画像が対象物上に到達しない領域である影（５３）が形成されているか否かを判断し、影が検出されたときに影を形成する物体（５２）の配置を示す情報を取得する物体推定部（１１）と、物体（５２）の配置を示す情報に基づいて、影が形成されない複数の光学機器（３）の配置を計算する配置計算部（１２）と、配置計算部（１２）によって計算された複数の光学機器（３）の配置に基づいて、影が形成されない位置に複数の光学機器（３）が配置されるように複数の移動機構（４）を制御する移動機構制御部（１３）とを有する。

Description

光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
　本発明は、画像を投影する又は画像を撮影する光学機器と光学機器の配置を変更する移動機構とを制御する光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムに関する。
　プロジェクタ（画像投影装置）は、投影光学系から出射された投影光を対象物に当てることで、対象物上に画像を表示する光学機器であり、カメラ（撮像装置）は、対象物からカメラに向かう光を撮像面で受光して対象物に基づく画像データを取得する光学機器である。言い換えれば、プロジェクタは、画像データに基づく２次元の画像を３次元の現実空間に投影することで画像を表示し、カメラは、３次元の現実空間の画像を２次元の撮像面に投影することで画像データを生成する。このように、プロジェクタとカメラは、扱う光の進行方向が逆である点を除いて、基本的に類似する光学モデルである。
　このような光学モデルでは、光学機器と対象物との間の空間に物体（光遮蔽物）が存在する場合に、対象物上に投影された画像内に物体の影が形成され、投影画像の一部が欠落する、又は、撮像面上に投影される画像内に物体が含まれ、対象物の画像の一部が欠落する。
　特許文献１は、観視者（ユーザ）に投影画像を提供するために、空中飛行機構部と、プロジェクタ部と、カメラと、カメラの撮影画像から観視者の人数を検出する人数検出部と、観視者の人数に応じて投影画像を表示する場所を決定し、決定した場所に投影画像を表示させるようにプロジェクタ部を制御する制御部とを備えるプロジェクション装置を提案している。
　また、特許文献２は、複数のプロジェクタに対しそれぞれ指示された照度で光学像を投影させる光学投影制御装置を提案している。この装置は、スクリーンとプロジェクタとの間に物体（光遮蔽物）が存在しない状態で光学像をスクリーンに投影して予め撮影した撮像画像データ（光遮蔽物なし時）と、カメラで取得した撮影画像データとの、光量の差に応じた差分画像データを取得し、差分画像データに基づいて、投影画像の一部が遮蔽されているプロジェクタを検出し、投影像が遮蔽されていないプロジェクタの投影像の照度を補正する。
特開２０１６－２０８２５５号公報（例えば、請求項１） 特許第５５９６４２７号公報（例えば、請求項３）
　しかしながら、特許文献１に記載の装置は、投影位置を変更する機能を説明しているが、投影画像内に物体の影が形成されないようにする技術を記載していない。
　また、特許文献２に記載の装置は、投影画像の画素値の制御を行うことで光遮蔽物の影の除去がある程度可能であるが、影の除去が可能な範囲が狭いという課題がある。特に、光遮蔽物（例えば、ユーザの手）が光学機器と対象物との間で移動する場合には、影を除去することが困難になる場合がある。
　本発明は、上記課題を解決するためになされたものであり、光学機器と対象物との間に物体が存在する場合であっても、投影画像に光遮蔽物の影が形成されないように又は撮影画像に光遮蔽物が含まれないように、光学機器及び移動機構を制御することができる光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを提供することを目的とする。
　本発明の一態様に係る光学機器制御装置は、対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する装置であって、前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得する物体推定部と、前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算する配置計算部と、前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部とを有することを特徴とする。
　本発明の他の態様に係る光学機器制御装置は、対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する装置であって、前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得する物体推定部と、前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算する配置計算部と、前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部とを有することを特徴とする。
　本発明によれば、光学機器と対象物との間に光遮蔽物が存在する場合であっても、複数の光学機器の配置を制御することによって、光学機器の投影画像に物体の影が形成されないように又は光学機器の撮影画像に物体が含まれないようにすることができる。
本発明の実施の形態１に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 （ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置により制御される光学機器としてのプロジェクタと移動機構を概略的に示す斜視図である。 実施の形態１に係る光学機器制御装置のハードウェア構成の一例を示す図である。 実施の形態１に係る光学機器制御装置の動作を示すフローチャートである。 本発明の実施の形態２に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 （ａ）から（ｃ）は、実施の形態２に係る光学機器制御装置により制御される光学機器としてのカメラと移動機構を概略的に示す斜視図である。 実施の形態２に係る光学機器制御装置のハードウェア構成の一例を示す図である。 実施の形態２に係る光学機器制御装置の動作を示すフローチャートである。
　以下に、本発明の実施の形態に係る光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを、添付図面を参照しながら説明する。実施の形態１においては、光学機器が、対象物上に画像を投影するプロジェクタ（画像投影装置）であり、投影画像に影が形成させない装置、方法、プログラムを説明する。実施の形態２においては、光学機器が、対象物を撮影して現実空間の画像データを取得するカメラ（撮像装置）であり、撮影画像に基づく合成画像に欠落（非撮影領域）を生じさせない装置、方法、プログラムを説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》実施の形態１．
《１－１》構成
　図１は、実施の形態１に係る光学機器制御装置１の構成を概略的に示す機能ブロック図である。光学機器制御装置１は、実施の形態１に係る光学機器制御方法を実施することができる装置である。また、光学機器制御装置１は、実施の形態１に係る光学機器制御プログラムを実行することができる装置である。
　図２（ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置１により制御される光学機器としての複数のプロジェクタ３（３ａ，３ｂ）と複数の移動機構４（４ａ，４ｂ）を概略的に示す斜視図である。
　光学機器制御装置１は、複数のプロジェクタ３（３ａ，３ｂ）と、複数のプロジェクタ３（３ａ，３ｂ）の配置をそれぞれ変更する複数の移動機構（例えば、ロボットアーム）４と、現実空間情報取得部（例えば、カメラ又はセンサ）５とに接続され、複数のプロジェクタ３（３ａ，３ｂ）の動作と複数の移動機構４（４ａ，４ｂ）の動作とを制御する。現実空間情報取得部５は、プロジェクタ３（３ａ，３ｂ）と別個の装置であってもよく、また、複数のプロジェクタ３（３ａ，３ｂ）のいずれかと一体型の装置であってもよい。光学機器制御装置１と、複数のプロジェクタ３（３ａ，３ｂ）と、複数の移動機構４（４ａ，４ｂ）と、現実空間情報取得部５とは、現実空間における対象物５１上に物体（光遮蔽物）５２が存在する場合であって、対象物５１上に影５３のない画像（合成投影画像）５４を投影することができる画像投影システムを構成する。物体５２は、例えば、対象物５１上で作業をするユーザ５０の動いている手であり、この場合には、影５３は、ユーザ５０の手の動きによって対象物５１上で動く。
　光学機器制御装置１は、物体推定部１１と、配置計算部１２と、移動機構制御部１３と、パラメータ計算部１４と、画像データ生成部１５と、記憶部１６とを備えている。
　物体推定部１１は、現実空間情報取得部５から現実空間情報を受け取り、対象物５１に生成された影５３を検出し、影５３の原因となる物体５２を推定する。例えば、物体推定部１１は、複数の光学機器３が対象物５１上に投影画像５４を投影しているときに現実空間情報取得部５によって取得された現実空間情報に基づいて、複数のプロジェクタ３（３ａ，３ｂ）から投影された複数の投影画像５４が対象物５１上に到達しない領域である影５３が形成されているか否かを判断し、影５３が検出されたときに影５３を形成する物体５２の配置（位置及び形状）を示す情報を取得する。
　配置計算部１２は、記憶部１６から複数のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）に必要な情報を取得し、対象物５１に対して影５３を形成しない複数のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）を計算する。例えば、配置計算部１２は、物体５２の配置を示す情報に基づいて、影５３が形成されない複数のプロジェクタ３（３ａ，３ｂ）の配置（例えば、位置及び姿勢）を計算する。ここで、位置は、図２（ａ）から（ｃ）に示すｘｙｚ直交座標系で示される複数のプロジェクタ３（３ａ，３ｂ）の座標であり、姿勢とは、複数のプロジェクタ３（３ａ，３ｂ）の光軸（一点鎖線）ＡＸの方向である。
　移動機構制御部１３は、配置計算部１２で計算した結果を基に、複数のプロジェクタ３（３ａ，３ｂ）を移動させる複数の移動機構４（４ａ，４ｂ）の動作を制御する。移動機構制御部１３は、配置計算部１２によって計算された複数のプロジェクタ３（３ａ，３ｂ）の配置に基づいて、影５３が形成されない位置に複数のプロジェクタ３（３ａ，３ｂ）が配置されるように複数の移動機構４（４ａ，４ｂ）を制御する。複数の移動機構４（４ａ，４ｂ）は、複数のプロジェクタ３（３ａ，３ｂ）の位置及び姿勢を変更可能な機構である。複数の移動機構４（４ａ，４ｂ）は、ロボットアームである。ただし、複数の移動機構４（４ａ，４ｂ）は、自走式ロボット、ドローンなどのような空中移動型機器、その他の機構であってもよい。
　記憶部１６は、制御対象である、複数のプロジェクタ３（３ａ，３ｂ）の各々の焦点距離１６１、明るさ１６２、画像生成に使用される各種の画像生成パラメータ１６３などのような、プロジェクタの特性に関する情報を記録する。
　パラメータ計算部１４は、移動機構制御部１３によって移動した複数のプロジェクタ３（３ａ，３ｂ）の位置と記憶部１６から取得した複数のプロジェクタ３（３ａ，３ｂ）に関する情報とから、複数のプロジェクタ３（３ａ，３ｂ）の各々が投影画像を生成するために必要な画像のパラメータを計算し、これを記憶部１６に画像生成パラメータ１６３として記憶する。複数のプロジェクタ３（３ａ，３ｂ）におけるパラメータとしては、例えば、プロジェクタにおける焦点距離、画像中心、レンズ歪などの機器に固有の内部パラメータと、プロジェクタの位置及び姿勢を表す外部パラメータとがある。
　画像データ生成部１５は、画像生成パラメータ１６３から取得した情報を基に画像を生成する。複数のプロジェクタ３（３ａ，３ｂ）は、画像データ生成部１５で生成した画像、又は、初期状態の投影画像などを現実空間に投影する。
　図３は、実施の形態１における光学機器制御装置１のハードウェア構成の一例を示す図である。光学機器制御装置１は、コンピュータであってもよい。光学機器制御装置１は、情報処理部としてのプロセッサであるＣＰＵ（Ｃｅｎｔａｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３２と、メインメモリ３３と、ストレージ３４と、データ交換用のデータ転送路であるバス３５とを備えている。光学機器制御装置１には、現実空間情報取得部としてのカメラ５ａと、複数のプロジェクタ３（３ａ，３ｂ）と、複数のプロジェクタ３（３ａ，３ｂ）を移動可能にそれぞれ支持する複数の移動機構４（４ａ，４ｂ）が接続されている。なお、光学機器制御装置１には、現実空間情報取得部として、カメラ５ａに加えて又はカメラ５ａの代わりに、センサ５ｂが接続されてもよい。
　ＣＰＵ３１は、光学機器制御装置１の動作の全体を実行するための演算装置である。
　メインメモリ３３は、光学機器制御装置１のハードウェアがデータの消去及び書き換えが可能な記憶装置である。メインメモリ３３は、揮発性であるが、ストレージ３４より高速に動作することから、使用中のデータ又は直ぐに使用する必要が生じるデータを保存するために使用される。例えば、後述の図４に示される影除去処理を行う光学機器制御プログラムをメインメモリ３３に格納する。光学機器制御プログラムは、ＣＰＵ３１で実行される。ＣＰＵ３１が光学機器制御プログラムを実行することにより、図１に示される物体推定部１１、配置計算部１２、移動機構制御部１３、パラメータ計算部１４、及び画像データ生成部１５の全体又は一部を実現することができる。
　ストレージ３４は、光学機器制御装置１のハードウェアによって、データの消去及び書き換えが可能な記憶装置であり、図１における記憶部１６に対応する。このストレージに記憶してある情報は、プログラム実行時に、必要な情報をメインメモリ３３において展開する。
　カメラ５ａは、現実空間情報を取得するために必要な画像を撮影する装置である。
　センサ５ｂは、現実空間情報を取得するために必要な値を取得する装置である。センサ５は、例えば、位置を計測するＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、加速度を検出する加速度センサ、方位を計測する地磁気センサ、物体までの距離を計測する深度センサである。
　複数のプロジェクタ３（３ａ，３ｂ）は、画像を現実空間に投影するために必要な画像投影装置である。複数の移動機構４（４ａ，４ｂ）は、複数のプロジェクタ３（３ａ，３ｂ）を移動するための装置である。
《１－２》動作
　図４は、実施の形態１に係る光学機器制御装置１の動作（影除去処理）を示すフローチャートである。図４に示される処理は、現実空間情報取得部５（５ａ，５ｂ）が現実空間情報を取得するごとに（例えば、一定の周期で）実行される。
　ステップＳ１１において、光学機器制御装置１の画像データ生成部１５は、複数のプロジェクタ３（３ａ，３ｂ）に画像データを提供して、対象物５１に向けて所望の画像（物体５２が存在しない場合、ユーザ５０が見ることのできる投影画像）を投影する（図２（ａ）参照）。
　次のステップＳ１２において、光学機器制御装置１は、現実空間情報取得部５に、対象物５１を含む現実空間情報を取得させる。現実空間情報取得部５がカメラである場合、現実空間情報取得部５は、現実空間情報として画像データを取得し、現実空間情報取得部５がセンサである場合、現実空間情報取得部５は、現実空間情報として検出値（例えば、深度センサの場合には距離情報）を取得する。
　次のステップＳ１３においては、物体推定部１１は、ステップＳ１２で取得した情報を基に、対象物５１に物体５２によって暗い領域である影５３が形成されているかを検出し、影５３を検出しない場合（ステップＳ１３においてＮＯ）、対象物５１上に所望画像が投影されていると判断できるため、影除去処理（画像補間処理）を終了する。なお、複数のプロジェクタ３（３ａ，３ｂ）のいずれのプロジェクタからの投影画像が物体５２によって遮光されているのかを検出する処理は、公知の画像処理であるが、例えば、特許文献２に記載の方法を採用してもよい。なお、影５３を検出した場合（ステップＳ１３においてＹＥＳ）、処理はステップＳ１４に進み、物体推定部１１は、物体５２の位置及び形状を推定（算出）し、処理をステップＳ１５に進める。ステップＳ１５において、配置計算部１２は、複数のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）を計算する。
　次のステップＳ１６では、移動機構制御部１３は、複数の移動機構４（４ａ，４ｂ）を制御することで、ステップＳ１５で計算した配置（位置及び姿勢）で、ステップＳ１６で計算した位置まで複数のプロジェクタ３（３ａ，３ｂ）を移動する（図２（ｂ）参照）。
　次のステップＳ１７では、パラメータ計算部１４は、複数のプロジェクタ３（３ａ，３ｂ）の各々の投影画像の画素値をどのようにすれば影が除去された画像になるかを示すパラメータを計算し、画像生成パラメータ１６３に記憶する。
　次のステップＳ１８においては、画像データ生成部１５は、複数のプロジェクタ３（３ａ，３ｂ）の各々が画像生成パラメータ１６３を基に投影する画像を生成する。
　次のステップＳ１９においては、複数のプロジェクタ３（３ａ，３ｂ）で、ステップＳ１７で生成された投影画像を投影する（図２（ｃ）参照）。
《１－３》効果
　以上に説明したように、実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムによれば、図２（ａ）に示されるように、投影画像の影５３が検出された場合に、物体５２の位置及び形状を推定し、図２（ｂ）に示されるように、推定結果に基づいて複数のプロジェクタ３（３ａ，３ｂ）を移動させ、プロジェクタの配置（位置及び姿勢）とパラメータを設定する。このため、対象物５１上に物体５２が存在する場合であっても、図２（ｃ）に示されるように、影のない所望の画像（合成投影画像）を対象物５１に投影することができる。
《２》実施の形態２．
《２－１》構成
　上記実施の形態１では、複数台のプロジェクタ３（３ａ，３ｂ）の配置を計算し、複数台のプロジェクタ３（３ａ，３ｂ）を移動し、複数台のプロジェクタ３（３ａ，３ｂ）の配置（位置及び姿勢）に応じた投影画像を生成することで、影のない合成投影画像（図２（ｃ）の５４）を対象物（図２（ｃ）の５１）上に投影するための制御を行う光学機器制御装置１を説明した。
　これに対し、実施の形態２では、複数台の光学機器（カメラ）の配置を計算し、複数台の光学機器（カメラ）を移動し、複数台の光学機器（カメラ）の配置（位置及び姿勢）に応じた画像を取得することで、対象物を隠すように配置された任意の物体を、表示画像から除去するための制御を行う光学機器制御装置２を説明する。ただし、光学機器は、深度センサなどのような、カメラ以外の空間情報取得手段であってもよい。
　なお、プロジェクタとカメラは、類似した光学モデルであり、任意の物体を除去した撮影画像を取得したい場合、実施の形態１における処理と類似の処理によって物体を除去した表示画像を生成することが可能である。
　図５は、実施の形態２に係る光学機器制御装置２の構成を概略的に示す機能ブロック図である。光学機器制御装置２は、実施の形態２に係る光学機器制御方法を実施することができる装置である。また、光学機器制御装置２は、実施の形態２に係る光学機器制御プログラムを実行することができる装置である。
　図６（ａ）から（ｃ）は、実施の形態２に係る光学機器制御装置２により制御される光学機器としての複数のカメラ６（６ａ，６ｂ）と複数の移動機構７（７ａ，７ｂ）を概略的に示す斜視図である。
　光学機器制御装置２は、複数のカメラ６（６ａ，６ｂ）と、複数のカメラ６（６ａ，６ｂ）の配置をそれぞれ変更する複数の移動機構（例えば、ロボットアーム）７（７ａ，７ｂ）と、表示装置８とに接続され、複数のカメラ６（６ａ，６ｂ）の動作と複数の移動機構７（７ａ，７ｂ）の動作とを制御する。光学機器制御装置２と、複数のカメラ６（６ａ，６ｂ）と、複数の移動機構７（７ａ，７ｂ）と、表示装置８とは、現実空間における対象物６１上に物体（光遮蔽物）６２が存在する場合であっても、表示装置８の表示画像において、欠落箇所（図６（ａ）における物体６２の画像６２ａ）のない合成画像６１ａを表示装置８に表示することができる撮影システムを構成する。物体６２は、例えば、対象物６１上、すなわち、対象物６１と複数のカメラ６（６ａ，６ｂ）との間に存在し、動いている物体であってもよい。
　光学機器制御装置２は、物体推定部２１と、配置計算部２２と、移動機構制御部２３と、パラメータ計算部２４と、画像合成部２６と、記憶部２７とを備えている。
　物体推定部２１は、複数のカメラ６（６ａ，６ｂ）から現実空間情報を受け取り、任意の画像を取得するために、不必要な物体６２の領域を推定する。例えば、物体推定部２１は、複数のカメラ６（６ａ，６ｂ）が対象物６１を撮影し、複数のカメラ６（６ａ，６ｂ）により取得された複数の画像に基づいて、複数のカメラ６（６ａ，６ｂ）が対象物６１上に非撮影領域を形成する物体（光遮蔽物）６２が存在するか否かを判断し、このような物体６２が検出されたときに物体６２の配置（位置及び形状）を示す情報を取得する（図６（ａ）参照）。図６（ａ）に示されるように、対象物６１の非撮影領域は、表示装置８の表示画像において、物体６２の画像６２ａになる。なお、現実空間情報取得部がセンサである場合、現実空間情報取得部５は、現実空間情報として検出値（例えば、深度センサの場合には距離情報）を取得する。
　配置計算部２２は、記憶部２７から複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）に必要な情報を取得し、物体６２を除去した画像が取得できる配置（位置及び姿勢）を計算する。複数のカメラ６（６ａ，６ｂ）に関する情報は、予め記憶部１６に記憶される。例えば、配置計算部２２は、記憶部１６から複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）に必要な情報を取得し、物体６２の配置を示す情報に基づいて、対象物６１上に非撮影領域が形成されないようにするための複数のカメラ６（６ａ，６ｂ）の配置（例えば、位置及び姿勢）を計算する。ここで、位置は、図６（ａ）から（ｃ）に示すｘｙｚ直交座標系で示される複数のカメラ６（６ａ，６ｂ）の座標であり、姿勢は、複数のカメラ６（６ａ，６ｂ）の光軸（一点鎖線）ＡＸの方向である。
　移動機構制御部２３は、配置計算部２２によって計算された複数のカメラ６（６ａ，６ｂ）の配置に基づいて、対象物６１上に非撮影領域が形成されないようにする位置に複数のカメラ６（６ａ，６ｂ）が配置されるように複数の移動機構７（７ａ，７ｂ）を制御する（図６（ｂ）参照）。複数の移動機構７（７ａ，７ｂ）は、複数のカメラ６（６ａ，６ｂ）の位置及び姿勢を変更可能な機構である。複数の移動機構７（７ａ，７ｂ）は、ロボットアームであるが、自走式ロボット、空中移動型機器、その他の機構であってもよい。
　記憶部２７は、制御対象である、複数のカメラ６（６ａ，６ｂ）の各々の焦点距離２７１と画像生成に使用される各種の画像生成パラメータ２７２などのような、カメラの特性に関する情報を記録する。
　パラメータ計算部２４は、複数の移動機構７（７ａ，７ｂ）によって移動した複数のカメラ６（６ａ，６ｂ）の位置と、記憶部２７から取得したカメラ６（６ａ、６ｂ）の各々に関する情報から、カメラ６（６ａ，６ｂ）の各々が取得した画像を補間し合うために必要な画像のパラメータを計算し、記憶部２７の画像生成パラメータ２７２として記憶する。複数のカメラ６（６ａ，６ｂ）におけるパラメータとしては、例えば、カメラにおける焦点距離、画像中心、レンズ歪などの機器に固有の内部パラメータと、カメラの位置及び姿勢を表す外部パラメータとがある。
　画像データ生成部２５は、画像生成パラメータ２７２から取得した情報を基に、複数のカメラ６（６ａ，６ｂ）で取得された画像データに処理を施し、複数の画像データの１つにおいて欠落している画像部分を、他の画像データで補間するための補間画像生成処理を行う。
　画像合成部２６は、画像データ生成部２５で生成された画像を合成し、物体６２を除去した合成画像を生成する（図６（ｃ）参照）。
　図７は、実施の形態２における光学機器制御装置２のハードウェア構成の一例を示す図である。光学機器制御装置２は、コンピュータであってもよい。光学機器制御装置２は、情報処理部としてのプロセッサであるＣＰＵ４１と、ＧＰＵ４２と、メインメモリ４３と、ストレージ４４と、データ交換用のデータ転送路であるバス４５とを備えている。光学機器制御装置２には、複数のカメラ６（６ａ，６ｂ）と、複数のカメラ６（６ａ，６ｂ）を移動可能にそれぞれ支持する複数の移動機構７（７ａ，７ｂ）が接続されている。ＣＰＵ４１、ＧＰＵ４２、メインメモリ４３、及びストレージ４４は、図３におけるＣＰＵ３１、ＧＰＵ３２、メインメモリ３３、及びストレージ３４と同様である。ＣＰＵ４１は、後述の図８に示される物体除去処理を行う光学機器制御プログラムをメインメモリ４３に格納する。光学機器制御プログラムは、ＣＰＵ４１で実行される。ＣＰＵ４１が光学機器制御プログラムを実行することにより、図５に示される物体推定部２１、配置計算部２２、移動機構制御部２３、パラメータ計算部２４、画像データ生成部２５、及び画像合成部２６の全体又は一部を実現することができる。
《２－２》動作
　図８は、実施の形態２に係る光学機器制御装置２の動作（物体除去処理）を示すフローチャートである。図８に示される処理は、カメラ６（６ａ，６ｂ）が現実空間情報を取得するごとに（例えば、一定の周期で）実行される。
　ステップＳ２１において、光学機器制御装置２は、現実空間情報取得部としてのカメラ６（６ａ，６ｂ）に、対象物６１を含む現実空間情報を取得させる（図６（ａ）参照）。
　次のステップＳ２２においては、物体推定部２１は、ステップＳ２１で取得した情報を基に、対象物６１に非撮影領域を形成する物体６２が存在するかを検出し、物体６２を検出しない場合（ステップＳ２２においてＮＯ）、対象物６１を撮影できると判断できるため、物体除去処理（画像補間処理）を終了する。なお、複数のカメラ６（６ａ，６ｂ）のいずれのカメラの画像に物体６２が映っているか（すなわち、対象物６１が物体６２によって隠れているか）を検出する処理は、公知の画像処理であるが、例えば、特許文献２に記載の方法を採用してもよい。なお、物体６２を検出した場合（ステップＳ２２においてＹＥＳ）、処理はステップＳ２３に進み、物体推定部２１は、物体６２の位置及び形状を推定（算出）し、処理をステップＳ２４に進める。ステップＳ２４において、配置計算部２２は、複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）を計算する。
　次のステップＳ２５では、移動機構制御部２３は、複数の移動機構７（７ａ，７ｂ）を制御することで、ステップＳ２４で計算した配置（位置及び姿勢）で、ステップＳ２５で計算した位置まで複数のカメラ６（６ａ，６ｂ）を移動する（図６（ｂ）参照）。
　次のステップＳ２６では、パラメータ計算部２４は、複数のカメラ６（６ａ，６ｂ）の各々の投影画像の画素値をどのようにすれば物体６２が除去された画像になるかを示すパラメータを計算し、画像生成パラメータ２７２に記憶する。
　次のステップＳ２７においては、画像データ生成部２５は、複数のカメラ６（６ａ，６ｂ）の各々が画像生成パラメータ２７２を基に取得された画像データを変更する。つまり、画像データ生成部２５は、カメラ６（６ａ，６ｂ）の各々は、画像生成パラメータ２７２を用いて、撮影画像から補間画像を生成する。
　次のステップＳ２８においては、画像合成部２６は、ステップＳ２７で生成された複数の画像（補間画像）を合成して１つの合成画像として表示装置８に表示させる（図６（ｃ）参照）。
《２－３》効果
　以上に説明したように、実施の形態２に係る光学機器制御装置２、光学機器制御方法、及び光学機器制御プログラムによれば、図６（ａ）に示されるように、非撮影領域を形成する物体６２が検出された場合に、物体６２の位置及び形状を推定し、図６（ｂ）に示されるように、推定結果に基づいて複数のカメラ６（６ａ，６ｂ）を移動させ、複数のカメラ６（６ａ，６ｂ）の配置（位置及び姿勢）とパラメータを設定する。このため、対象物６１上に物体６２が存在する場合であっても、図６（ｃ）に示されるように、物体６２のない所望の合成画像を表示装置８に表示させることができる。
　１，２　光学機器制御装置、　３，３ａ，３ｂ　プロジェクタ（光学機器）、　４，４ａ，４ｂ　移動機構、　５　現実空間情報取得部、　５ａ　現実空間情報取得部（カメラ）、　５ｂ　現実空間情報取得部（センサ）、　６，６ａ，６ｂ　カメラ（光学機器）、　７，７ａ，７ｂ　移動機構、　８　表示装置、　１１　物体推定部、　１２　配置計算部、　１３　移動機構制御部、　１４　パラメータ計算部、　１５　画像データ生成部、　１６　記憶部、　２１　物体推定部、　２２　配置計算部、　２３　移動機構制御部、　２４　パラメータ計算部、　２５　画像データ生成部、　２６　画像合成部、　２７　記憶部、　５１　対象物、　５２　物体（光遮蔽物）、　５３　影、　５４　画像（合成投影画像）、　６１　対象物、　６１ａ　表示された対象物、　６２　物体（光遮蔽物）、　６２ａ　表示された物体、　６４　画像（合成画像）、　ＡＸ　光軸。

Claims (10)

  1. 　対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する光学機器制御装置であって、
    　前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得する物体推定部と、
    　前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算する配置計算部と、
    　前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部と、
    　を有することを特徴とする光学機器制御装置。
  2. 　前記移動機構制御部は、前記複数の移動機構を制御することで、前記複数の光学機器の各々の位置と姿勢を変更することを特徴とする請求項１に記載の光学機器制御装置。
  3. 　前記複数の光学機器の各々の位置及び姿勢に応じて、前記複数の光学機器が投影する前記複数の画像が連結された１つの合成画像が生成されるようにする、前記複数の光学機器の投影条件を示すパラメータを計算することを特徴とする請求項２に記載の光学機器制御装置。
  4. 　対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御する光学機器制御装置であって、
    　前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得する物体推定部と、
    　前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算する配置計算部と、
    　前記配置計算部によって計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する移動機構制御部と、
    　を有することを特徴とする光学機器制御装置。
  5. 　前記移動機構制御部は、前記複数の移動機構を制御することで、前記複数の光学機器の各々の位置と姿勢を変更することを特徴とする請求項４に記載の光学機器制御装置。
  6. 　前記複数の光学機器の各々の位置及び姿勢に応じて、前記複数の光学機器が撮影する前記複数の画像が連結された１つの合成画像が生成されるようにする、前記複数の光学機器の撮影条件を示すパラメータを計算することを特徴とする請求項５に記載の光学機器制御装置。
  7. 　対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御方法であって、
    　前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得するステップと、
    　前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算するステップと、
    　計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御するステップと、
    　を有することを特徴とする光学機器制御方法。
  8. 　対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御方法であって、
    　前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得するステップと、
    　前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算するステップと、
    　計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御するステップと、
    　を有することを特徴とする光学機器制御方法。
  9. 　対象物上に複数の画像を投影する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御プログラムであって、
    　コンピュータに、
    　前記複数の光学機器が前記対象物上に画像を投影しているときに現実空間情報取得部によって取得された現実空間情報に基づいて、前記複数の光学機器から投影された画像が前記対象物上に到達しない領域である影が形成されているか否かを判断し、前記影が検出されたときに前記影を形成する物体の配置を示す情報を取得する処理と、
    　前記物体の配置を示す情報に基づいて、前記影が形成されない前記複数の光学機器の配置を計算する処理と、
    　計算された前記複数の光学機器の配置に基づいて、前記影が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する処理と、
    　を実行させることを特徴とする光学機器制御プログラム。
  10. 　対象物を撮影することで前記対象物の複数の画像を取得する複数の光学機器と前記複数の光学機器の配置を変更する複数の移動機構とを制御するための光学機器制御プログラムであって、
    　コンピュータに、
    　前記複数の光学機器により取得された前記複数の画像に基づいて、前記複数の光学機器が前記対象物上に非撮影領域を形成する物体が存在するか否かを判断し、前記物体が検出されたときに前記物体の配置を示す情報を取得する処理と、
    　前記物体の配置を示す情報に基づいて、前記非撮影領域が形成されない前記複数の光学機器の配置を計算する処理と、
    　計算された前記複数の光学機器の配置に基づいて、前記非撮影領域が形成されない位置に前記複数の光学機器が配置されるように前記複数の移動機構を制御する処理と、
    　を実行させることを特徴とする光学機器制御プログラム。
PCT/JP2017/011651 2017-03-23 2017-03-23 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム WO2018173183A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019506820A JP6641525B2 (ja) 2017-03-23 2017-03-23 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
PCT/JP2017/011651 WO2018173183A1 (ja) 2017-03-23 2017-03-23 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/011651 WO2018173183A1 (ja) 2017-03-23 2017-03-23 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Publications (1)

Publication Number Publication Date
WO2018173183A1 true WO2018173183A1 (ja) 2018-09-27

Family

ID=63585099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011651 WO2018173183A1 (ja) 2017-03-23 2017-03-23 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Country Status (2)

Country Link
JP (1) JP6641525B2 (ja)
WO (1) WO2018173183A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020116290A1 (ja) * 2018-12-06 2021-02-15 株式会社アーティフィス テーブルプロジェクション装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104513A (ja) * 2002-09-10 2004-04-02 Nippon Hoso Kyokai <Nhk> 移動機構装備型カメラ遠隔操作方法、移動機構装備型カメラ遠隔操作装置および移動機構装備型カメラ遠隔操作プログラム
JP2004297675A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 移動撮影機器
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
JP2007256506A (ja) * 2006-03-22 2007-10-04 Victor Co Of Japan Ltd 画像投影装置
JP2009193058A (ja) * 2008-01-18 2009-08-27 Seiko Epson Corp プロジェクションシステム、及びプロジェクタ
JP2011048736A (ja) * 2009-08-28 2011-03-10 Fujitsu Ltd 監視制御装置及び監視システム
JP2015125188A (ja) * 2013-12-25 2015-07-06 公立大学法人広島市立大学 自律移動型プロジェクタ装置及びその移動方法
JP2015149522A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 投影制御装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104513A (ja) * 2002-09-10 2004-04-02 Nippon Hoso Kyokai <Nhk> 移動機構装備型カメラ遠隔操作方法、移動機構装備型カメラ遠隔操作装置および移動機構装備型カメラ遠隔操作プログラム
JP2004297675A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 移動撮影機器
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
JP2007256506A (ja) * 2006-03-22 2007-10-04 Victor Co Of Japan Ltd 画像投影装置
JP2009193058A (ja) * 2008-01-18 2009-08-27 Seiko Epson Corp プロジェクションシステム、及びプロジェクタ
JP2011048736A (ja) * 2009-08-28 2011-03-10 Fujitsu Ltd 監視制御装置及び監視システム
JP2015125188A (ja) * 2013-12-25 2015-07-06 公立大学法人広島市立大学 自律移動型プロジェクタ装置及びその移動方法
JP2015149522A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 投影制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020116290A1 (ja) * 2018-12-06 2021-02-15 株式会社アーティフィス テーブルプロジェクション装置

Also Published As

Publication number Publication date
JPWO2018173183A1 (ja) 2019-06-27
JP6641525B2 (ja) 2020-02-05

Similar Documents

Publication Publication Date Title
EP3467585B1 (en) Head-mounted display tracking system
JP6860488B2 (ja) 複合現実システム
JP5680196B2 (ja) 測定対象物表面上の三次元座標を求めるための光学式測定方法および測定システム
JP4532856B2 (ja) 位置姿勢計測方法及び装置
US10504243B2 (en) Calibration system for a head-mounted display tracking system
TW201902212A (zh) 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
US20210392275A1 (en) Camera array for a mediated-reality system
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
WO2018014517A1 (zh) 一种信息处理方法、装置及存储介质
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6641525B2 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
JP6969739B2 (ja) 位置情報取得システム、位置情報取得方法及びプログラム
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
JP2017123589A (ja) 情報処理装置、情報処理方法および映像投影システム
JP5506371B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7288792B2 (ja) 情報処理装置およびデバイス情報導出方法
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
US20230222625A1 (en) Method for adjusting virtual object, host, and computer readable storage medium
KR101725932B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
Möller et al. Porting A Visual Inertial SLAM Algorithm To Android Devices
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP2005098927A (ja) 移動体検出装置、移動体検出方法及び移動体検出プログラム
AU2018204554A1 (en) Method, system and apparatus for determining velocity of an object in a scene

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901967

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506820

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17901967

Country of ref document: EP

Kind code of ref document: A1