WO2022145414A1 - 画像合成装置、画像合成方法、及びプログラム - Google Patents

画像合成装置、画像合成方法、及びプログラム Download PDF

Info

Publication number
WO2022145414A1
WO2022145414A1 PCT/JP2021/048501 JP2021048501W WO2022145414A1 WO 2022145414 A1 WO2022145414 A1 WO 2022145414A1 JP 2021048501 W JP2021048501 W JP 2021048501W WO 2022145414 A1 WO2022145414 A1 WO 2022145414A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
eye image
stereo
stereo image
Prior art date
Application number
PCT/JP2021/048501
Other languages
English (en)
French (fr)
Inventor
拓 宮尻
直広 早石
Original Assignee
株式会社計数技研
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020218293A external-priority patent/JP6959682B1/ja
Priority claimed from JP2021169080A external-priority patent/JP7044426B1/ja
Application filed by 株式会社計数技研 filed Critical 株式会社計数技研
Priority to CN202180093703.1A priority Critical patent/CN116917951A/zh
Publication of WO2022145414A1 publication Critical patent/WO2022145414A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Definitions

  • the present invention relates to an image synthesizer or the like that synthesizes a stereo image and a three-dimensional object.
  • 3D computer graphics such as a rendering process in which a 3D object is arranged in a 3D virtual space and a 2D image is generated from an arbitrary viewpoint is also known.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide an image synthesizer or the like for appropriately synthesizing a three-dimensional object with a stereo image.
  • the image synthesizer has a storage unit for storing a first stereo image having a first right eye image and a first left eye image, and a three-dimensional virtual space.
  • the reception unit that accepts the operation of the three-dimensional object placed in, the first straight line connecting the right eye viewpoint and the point corresponding to the infinity of the first right eye image, and the left eye viewpoint and the first left eye.
  • a generator that generates a second stereo image including an image and a second left-eye image that is an image from the left-eye viewpoint in a state where the first left-eye image is displayed, and a second stereo image is output. It is equipped with an output unit and an output unit.
  • the three-dimensional object to be operated is not located on the back side of both images. Can be. Therefore, the three-dimensional object and the first stereo image can be appropriately combined. Also, for example, when the 3D object is located on the back side of the 1st stereo image, the 3D object becomes the first by moving the first right eye image and the first left eye image by a shorter distance. It can be prevented from being located on the back side of the stereo image of.
  • the first right-eye image and the first left-eye image may be arranged so that the points corresponding to a predetermined distance overlap.
  • the 3D object when the 3D object is located closer to the predetermined distance, the 3D object is not located on the back side of the first stereo image.
  • the image synthesizer according to one aspect of the present invention further includes a specific unit for specifying the distance of a predetermined object included in the first stereo image, and the predetermined distance is the longest distance specified by the specific unit. It may be exceeded.
  • the predetermined object may be all the objects included in the first stereo image.
  • the 3D object when the 3D object is located closer to the innermost object included in the first stereo image, the 3D object is not located on the back side of the first stereo image. It will be.
  • the reception unit may also receive information for designating a predetermined object, and the predetermined object may be an object designated by the information received by the reception unit. ..
  • the arrangement unit may increase the predetermined distance and arrange the first stereo image. good.
  • the image for the first right eye and the image for the first left eye may be arranged so that the points corresponding to infinity overlap.
  • the three-dimensional object located at the same distance as any object included in the first stereo image is not located on the back side of the first stereo image.
  • the first stereo image may be taken by a pair of cameras arranged so that the optical axes are parallel to each other.
  • the first stereo image may be taken by a pair of cameras arranged so that the optical axes intersect.
  • the first stereo image and the second stereo image may be moving images.
  • the first stereo image is an image of surgery
  • an instrument such as forceps, which is a three-dimensional object
  • forceps can be superimposed on an instrument such as forceps included in the first stereo image. It will be possible for a novice surgeon to imitate the operation of an experienced surgeon in a virtual space and to perform surgical training.
  • the three-dimensional virtual space of the object included in the first stereo image from the first right-eye image and the first left-eye image arranged in the three-dimensional virtual space may be provided, and the output unit may also output the determination result by the determination unit.
  • a user who is operating a 3D object can know whether or not the 3D object can be operated properly.
  • the image composition method includes a step of accepting an operation of a three-dimensional object arranged in a three-dimensional virtual space, and an image for the first right eye and a first left eye of the first stereo image.
  • the image for the second right eye which is an image from the viewpoint for the right eye when the image is displayed
  • the image for the second left eye which is the image from the viewpoint for the left eye when the image for the first left eye is displayed. It includes a step of generating a second stereo image including the step and a step of outputting a second stereo image.
  • a stereo image and a three-dimensional object can be appropriately combined.
  • the figure for demonstrating the generation of a stereo image in the same embodiment. The figure which shows an example of the display of the stereo image after composition in the same embodiment.
  • the figure for demonstrating the point corresponding to infinity in the same embodiment. The figure which shows an example of the stereo image and the 3D object arranged in the 3D virtual space in the same embodiment.
  • the figure which shows an example of the stereo image and the 3D object arranged in the 3D virtual space in the same embodiment. A block diagram showing another configuration of the image synthesizer according to the same embodiment.
  • Schematic diagram showing an example of the appearance of a computer system in the same embodiment The figure which shows an example of the configuration of the computer system in the same embodiment.
  • the image synthesizing device and the image synthesizing method according to the present embodiment generate a second stereo image obtained by synthesizing both from a first stereo image arranged in a three-dimensional virtual space and a three-dimensional object. ..
  • FIG. 1 is a block diagram showing a configuration of an image synthesizer 1 according to the present embodiment.
  • the image synthesizing device 1 includes a storage unit 11, a reception unit 12, an arrangement unit 13, a generation unit 14, and an output unit 15.
  • the image synthesizing device 1 may be, for example, a general-purpose device such as a personal computer, a smartphone, or a tablet terminal, or may be a dedicated device for synthesizing a stereo image and a three-dimensional object.
  • the image compositing device 1 may be, for example, a stand-alone device or a server device in a server / client system. In the latter case, the reception unit 12 and the output unit 15 may accept input or output information via a communication line such as the Internet. In the present embodiment, the case where the image compositing device 1 is a stand-alone device will be mainly described.
  • the storage unit 11 stores a first stereo image having a first right eye image and a first left eye image.
  • the first stereo image may be, for example, a moving image or a still image. In the present embodiment, the case where the first stereo image is a moving image will be mainly described.
  • the first stereo image may be, for example, a captured image or an image generated by 3DCG or the like. In the present embodiment, the case where the first stereo image is a captured stereo image will be mainly described.
  • the case where all the data of the first stereo image which is a moving image is stored in the storage unit 11 will be mainly described, but it is not necessary.
  • the first stereo image which is a moving image may be received in real time by the image synthesizer 1, and only a part of the data to be processed may be stored in the storage unit 11.
  • the first stereo image is stored in the storage unit 11. Can be said to be done.
  • the first stereo image which is a captured image
  • the optical axis is set.
  • the images were taken by a pair of cameras arranged so as to intersect will be described later.
  • the process of storing the first stereo image in the storage unit 11 does not matter.
  • the first stereo image may be stored in the storage unit 11 via the recording medium, and the first stereo image transmitted via the communication line or the like may be stored in the storage unit 11.
  • the first stereo image input from the photographing device or the like may be stored in the storage unit 11.
  • the storage unit 11 is preferably realized by a non-volatile recording medium, but may be realized by a volatile recording medium.
  • the recording medium may be, for example, a semiconductor memory, a magnetic disk, an optical disk, or the like.
  • the reception unit 12 accepts operations of 3D objects arranged in a 3D virtual space.
  • This operation may be, for example, an operation related to the posture, position, shape, etc. of the three-dimensional object.
  • the operation received by the reception unit 12 may be any operation as long as the orientation, position, shape, and the like of the three-dimensional object arranged in the three-dimensional virtual space are changed.
  • the operation related to the shape of the three-dimensional object may be, for example, an operation of opening or closing the tip of the forceps when the three-dimensional object is a forceps used in surgery.
  • the reception unit 12 receives an operation of a three-dimensional object from, for example, a controller of a VR (Virtual Reality) headset (for example, Oculus Quest 2 or the like) that outputs a second stereo image described later from the image synthesizer 1.
  • the operation of the 3D object may be accepted from other input devices such as a joystick and a mouse.
  • the reception of the operation of the three-dimensional object may be the reception of the result of detecting the change in the position or the change in the angle in the three-dimensional real space by using a sensor such as an acceleration sensor or a gyro sensor. It may be the reception of input to the input device such as.
  • the reception unit 12 normally receives an operation of a three-dimensional object in real time from an input device such as an HMD2 or a controller such as a VR headset.
  • the reception unit 12 may accept operations of the three-dimensional object via an input device, a communication line, or the like.
  • the reception unit 12 may or may not include a device for receiving (for example, an input device, a communication device, etc.). Further, the reception unit 12 may be realized by hardware, or may be realized by software such as a driver that drives a predetermined device.
  • the arrangement unit 13 arranges a three-dimensional object according to the operation accepted by the reception unit 12 in the three-dimensional virtual space in which the first right-eye image and the first left-eye image are arranged. Since the position, posture, shape, and the like of the three-dimensional object change according to the received operation, the arrangement unit 13 changes the three-dimensional object in the three-dimensional virtual space according to the operation. Since the arrangement of the three-dimensional object by the arrangement unit 13 is performed according to the operation received by the reception unit 12, for example, when the operation is continuously accepted, the three-dimensional object in the three-dimensional virtual space is arranged. The placement will continue to change.
  • a method of arranging a three-dimensional object arranged in a three-dimensional virtual space according to an operation is already known, and a detailed description thereof will be omitted.
  • the information of the three-dimensional object arranged in the three-dimensional virtual space may be stored in the storage unit 11, for example.
  • the relationship between the arrangement position of the first right-eye image and the first left-eye image and the right-eye viewpoint and the left-eye viewpoint in the three-dimensional virtual space is usually determined in advance. There is. The specific relationship between the two will be described later, but for example, (A) the first right-eye image and the first left-eye image may be arranged on the front side in the parallel line-of-sight direction. Further, for example, (B) the image for the first right eye and the image arrangement for the first left eye may be arranged so that the points corresponding to infinity overlap.
  • the 3D object is placed between the first stereo image and the viewpoint. This is because when the first stereo image exists between the three-dimensional object and the viewpoint, the second stereo image after rendering does not include the three-dimensional object.
  • the generation unit 14 is an image for the second right eye, which is an image from the viewpoint for the right eye in a state where the image for the first right eye is displayed in the three-dimensional virtual space in which the three-dimensional object is arranged, and the first left eye.
  • a second stereo image including the second left-eye image which is an image from the left-eye viewpoint in the state where the image is displayed, is generated. That is, when generating the second right-eye image, it is preferable to display the first right-eye image in the three-dimensional virtual space and not to display the first left-eye image. Further, when generating the image for the second left eye, it is preferable to display the image for the second right eye in the three-dimensional virtual space and not to display the image for the second left eye.
  • the image for the first left eye may be displayed at the time of rendering using the viewpoint for the right eye.
  • the second stereo image is preferably generated so that the three-dimensionally displayed object included in the first stereo image and the three-dimensional object are also three-dimensionally displayed in the second stereo image.
  • the angle of view at the time of rendering may be, for example, the same as or different from the angle of view of the camera that captured the first stereo image.
  • the positions of the right-eye viewpoint and the left-eye viewpoint in the three-dimensional virtual space may be determined in advance or may be changed in real time, for example. In the latter case, for example, the positions of the right-eye viewpoint and the left-eye viewpoint may be changed according to the position and orientation of the HMD2. Further, the arrangement of the first stereo image in the three-dimensional virtual space may be changed according to the change of the viewpoint. This is because, usually, the relative relationship between the position of the viewpoint and the position where the first right-eye image and the first left-eye image are arranged is predetermined. The change of the viewpoint according to the position and orientation of the HMD2 is already known, and detailed description thereof will be omitted.
  • the line-of-sight direction faces the center of the corresponding image.
  • the line-of-sight direction of the right-eye viewpoint faces the center of the right-eye image.
  • each line-of-sight direction of the right-eye viewpoint and the left-eye viewpoint is a horizontal direction
  • each line-of-sight direction may be a direction other than the horizontal direction. Needless to say.
  • the first stereo image is a moving image
  • a second stereo image obtained by synthesizing each frame of the moving image and a three-dimensional object is generated, so that the second stereo image is also a moving image. It becomes a statue.
  • the first stereo image is reproduced, and the arrangement of the three-dimensional object is changed according to the accepted operation, and the first stereo image being reproduced.
  • a second stereo image containing a 3D object that is modified in response to the operation may be generated.
  • the frame (that is, the outer edge) of the first stereo image may or may not be displayed. good. In the latter case, the frame of the first right eye image (or the first left eye image) becomes the frame of the second right eye image (or the second left eye image).
  • Stereo image may be generated.
  • the arrangement unit 13 and the generation unit 14 can also be realized by using a real-time 3D development platform such as Unity (Unity Technologies).
  • 8A and 8B are views showing a first stereo image and surgical forceps, which are three-dimensional objects, arranged in Unity's three-dimensional virtual space.
  • FIG. 8A the positions of the first right-eye image and the first left-eye image are staggered. For example, in the case of the above (A), it will be arranged in this way.
  • both images exist in the same plane, but they are slightly shifted for explanation.
  • FIG. 8B the image for the first right eye and the image for the first left eye are arranged so as to overlap each other.
  • the generation of an image by the generation unit 14 is known as a rendering process in 3DCG, and detailed description thereof will be omitted. Needless to say, texture mapping or the like may be performed at the time of rendering.
  • the output unit 15 outputs the second stereo image generated by the generation unit 14.
  • this output may be displayed on a display device (for example, HMD, VR headset, etc.) that displays a stereo image, may be transmitted via a communication line to a predetermined device, or may be transmitted to a recording medium. It may be accumulated or handed over to other components.
  • a display device for example, HMD, VR headset, etc.
  • the output unit 15 may or may not include a device that outputs (for example, a display device, a communication device, etc.). Further, the output unit 15 may be realized by hardware, or may be realized by software such as a driver for driving those devices.
  • a second stereo image is generated by synthesizing a three-dimensional object corresponding to an operation accepted by the reception unit 12 with the first stereo image which is a moving image stored in the storage unit 11. The case will be described.
  • Step S101 The generation unit 14 determines whether to generate a second stereo image. Then, if the second stereo image is generated, the process proceeds to step S102, and if not, the process of step S101 is repeated until it is determined that the second stereo image is generated.
  • the generation unit 14 may determine, for example, to periodically generate a second stereo image. More specifically, the generation unit 14 may determine that the second stereo image is generated at each time interval between the frames of the second stereo image.
  • Step S102 The reception unit 12 determines whether or not the operation of the three-dimensional object has been accepted. Then, if the operation is accepted, the process proceeds to step S103, and if not, the process proceeds to step S104.
  • the arrangement unit 13 arranges a three-dimensional object in the three-dimensional virtual space according to the operation received by the reception unit 12.
  • the arrangement of the three-dimensional objects may be to change the arrangement of the three-dimensional objects arranged in the three-dimensional virtual space, for example, to change the position, angle, shape, or the like of the three-dimensional objects.
  • Step S104 The generation unit 14 generates a second right-eye image in a state where the first right-eye image is displayed in the three-dimensional virtual space and the first left-eye image is not displayed, and the first image is generated.
  • a second stereo image is generated by generating a second left-eye image in a state where the left-eye image is displayed and the first right-eye image is not displayed.
  • the generation of the second right-eye image and the second left-eye image may be to generate one frame for the right eye and one frame for the left eye.
  • the first right-eye image and the first left-eye image arranged in the three-dimensional virtual space may be changed frame by frame each time the process of step S104 is executed.
  • the generated pair of frames may be stored, for example, in a recording medium or a storage unit 11 (not shown).
  • Step S105 The output unit 15 outputs the second stereo image generated in step S104. This output may be, for example, the output of one frame for the right eye and one frame for the left eye. Then, the process returns to step S101. By repeating the processes of steps S101 to S105 in this way, the second stereo image obtained by synthesizing the first stereo image and the three-dimensional object whose arrangement is changed according to the operation is displayed on the HMD2. It will be.
  • steps S101, S104, and S105 and the processes of steps S102 and S103 may be performed in parallel. Further, in the flowchart of FIG. 2, the processing is terminated by the power off or the interrupt of the processing termination.
  • FIG. 3 is a diagram for explaining the shooting of the first stereo image.
  • the first stereo image is taken by using the right-eye camera 21a and the left-eye camera 21b. That is, the right-eye camera 21a captures the first right-eye image 22a, and the left-eye camera 21b captures the first left-eye image 22b.
  • the right-eye camera 21a and the left-eye camera 21b usually have the same specifications, and as a result, the first right-eye image 22a and the first left-eye image 22b also have the same number of pixels.
  • it is assumed that the first stereo image is taken by a pair of cameras 21a and 21b arranged so that the optical axes are parallel to each other.
  • the optical axes of both cameras 21a and 21b are in the horizontal plane.
  • the distance between the optical axis of the right-eye camera 21a and the optical axis of the left-eye camera 21b may be, for example, about the average interpupillary distance of a human being.
  • the object 20 to be photographed is a cone arranged so that the central axis is in the vertical direction.
  • the object 20 is included in the first right-eye image 22a and the first left-eye image 22b.
  • FIG. 3 shows a state in which the cameras 21a and 21b are viewed from a vertical direction perpendicular to the horizontal plane. Therefore, strictly speaking, the object 20 should have a circular shape, but for convenience of explanation, the object 20 Is displayed in a triangular shape. The same shall apply to other drawings.
  • FIG. 4A shows the first right-eye image 22a and the first left-eye image 22b on the front side in the parallel line-of-sight direction in a three-dimensional virtual space, respectively. It is a figure for demonstrating the case of arranging.
  • the right-eye viewpoint 23a and the left-eye viewpoint 23b are arranged at a distance of about the interpupillary distance and the distance between the optical axes of the stereo cameras 21a and 21b.
  • the line-of-sight directions indicated by the arrows are parallel and point in the same direction (upward in FIG. 4A).
  • FIG. 4A it is assumed that the line-of-sight direction exists in the horizontal plane. That is, it is assumed that FIG. 4A looks at the viewpoints 23a and 23b and the arranged images 22a and 22b from the vertical direction perpendicular to the horizontal plane, as in FIG. Further, in the first right-eye image 22a and the first left-eye image 22b, the line-of-sight direction is orthogonal to the image and the line-of-sight direction faces the center of the image on the front side of the right-eye viewpoint 23a and the left-eye viewpoint 23b, respectively. It is arranged like this.
  • the positional relationship between the right-eye viewpoint 23a and the first right-eye image 22a and the positional relationship between the left-eye viewpoint 23b and the first left-eye image 22b are the same.
  • the first right-eye image 22a and the first left-eye image 22b are arranged so as to be included in the same plane.
  • the distance from the right-eye viewpoint 23a and the left-eye viewpoint 23b to the plane including the first right-eye image 22a and the first left-eye image 22b is, for example, U / (2tan ( ⁇ / 2)). May be good.
  • U is the horizontal length of the first right-eye image 22a and the first left-eye image 22b
  • ⁇ is the horizontal angle of view of the right-eye viewpoint 23a and the left-eye viewpoint 23b.
  • FIG. 4A shows a case where the first right-eye image 22a and the first left-eye image 22b are arranged apart from each other on the right side and the left side, but both images are arranged so as to partially overlap each other. (See, for example, FIG. 8A).
  • a second right-eye image is generated from the right-eye viewpoint 23a while the first right-eye image 22a is displayed, and a left-eye image 22b is displayed while the first left-eye image 22b is displayed. It is assumed that the second left eye image is generated from the viewpoint 23b and the second stereo image thereof is output to the HMD2. Then, to the user who sees the second stereo image, as shown by the broken line in FIG. 4A, the object 20 is behind the first right eye image 22a and the first left eye image 22b arranged. Will appear to exist.
  • FIG. 4A it is assumed that a user wearing the HMD2 operates a three-dimensional object, which is a robot hand, by a controller and arranges the three-dimensional object at the position indicated by the three-dimensional object 25a. Then, as shown in FIG. 4B, for the user, the robot hand is seen on the front side and the object 20 is seen on the back side. Therefore, when the user tries to touch the object 20 with the robot hand, it is necessary to move the three-dimensional object to the back side, that is, the side away from the viewpoint.
  • a three-dimensional object which is a robot hand
  • the tip end side of the three-dimensional object 25b is the back surface of the first right-eye image 22a. It will be located on the side and will not be visible from the viewpoint. As a result, as shown in FIG. 4C, the user cannot see the tip side of the robot hand. This is because the first right eye image 22a is usually opaque. In FIG. 4C, the invisible part of the robot hand is shown by a broken line.
  • FIGS. 4B and 4C are views showing a stereo image on a two-dimensional plane, which is different from the actual second stereo image. The same applies to other figures showing stereo images.
  • the object included in the first stereo image and the three-dimensional object are independent.
  • the stereo image and the three-dimensional object are combined as described above.
  • the first stereo image is a landscape image
  • the three-dimensional object is a character that dances in response to a user operation
  • the character may dance on the foreground side of the landscape.
  • a synthetic method can be used.
  • FIG. 5 is a diagram for explaining the points corresponding to infinity in the stereo image. Assuming that the shooting position for the right eye, the shooting position for the left eye, the angle of view, and the shooting direction indicated by the arrow are set as shown in FIG. 5, the image for the right eye and the image for the left eye are shot for the right eye, respectively. An image obtained by projecting an object or the like within the range of the angle of view that can be seen from the position to the shooting direction onto a virtual plane in the drawing.
  • the virtual plane is a plane perpendicular to the shooting direction.
  • the points existing at infinity on the front side in the shooting direction are projected at the positions of the points ⁇ and ⁇ on the virtual plane. That is, the point ⁇ of the image for the right eye and the point ⁇ of the image for the left eye correspond to infinity.
  • the points ⁇ and ⁇ are points where the image for the right eye and the shooting direction extending from the shooting position for the right eye intersect, and the point where the image for the left eye and the shooting direction extending from the shooting position for the left eye intersect, respectively. Therefore, when the first right-eye image and the first left-eye image are arranged in the three-dimensional virtual space so that the points corresponding to infinity overlap, both are arranged at the same position. That is, both images may be placed on top of each other.
  • FIG. 6A is a diagram for explaining a case where the captured first right-eye image 22a and the first left-eye image 22b are arranged so that the points corresponding to infinity overlap each other in the three-dimensional virtual space. be.
  • the right-eye viewpoint 23a and the left-eye viewpoint 23b are arranged at a distance of about the interpupillary distance and the distance between the optical axes of the stereo cameras 21a and 21b.
  • the line-of-sight direction indicated by the arrow points to the center of the first right-eye image 22a and the first left-eye image 22b.
  • FIG. 6A it is assumed that the line-of-sight direction exists in the horizontal plane. Further, FIG.
  • FIG. 6A is a view seen from the vertical direction.
  • the first right-eye image 22a and the first left-eye image 22b shown in FIG. 6A are each moved by the same distance from the position shown in FIG. 4A until they overlap in the plane direction of the image. ..
  • a second right-eye image is generated from the right-eye viewpoint 23a in a state where the first right-eye image 22a is displayed and the first left-eye image 22b is not displayed, and the first image is generated.
  • a second left-eye image is generated from the left-eye viewpoint 23b in a state where the left-eye image 22b is displayed and the first right-eye image 22a is not displayed, and those second stereo images are transferred to the HMD2.
  • the object 20 is on the front side of the first right eye image 22a and the first left eye image 22b arranged. Will appear to exist.
  • FIG. 6A it is assumed that the user wearing the HMD2 operates the 3D object, which is a robot hand, by the controller and arranges it at the position indicated by the 3D object 25c. Then, as shown in FIG. 6B, the robot hand appears to the user in the vicinity of the object 20. Therefore, unlike the situation of (A) above, the user can operate the controller to superimpose the tip of the robot hand on the object 20. In this way, by arranging the first right-eye image 22a and the first left-eye image 22b so that the points corresponding to infinity overlap, the object displayed in the first stereo image (for example, the object 20). ) And the positional relationship with the three-dimensional object can be easily adjusted.
  • the 3D object which is a robot hand
  • the object displayed in the stereo image and the three-dimensional object can be superimposed.
  • the point on the first right-eye image 22a corresponding to infinity and the point on the first left-eye image 22b corresponding to infinity overlap, so that the position corresponding to infinity is located.
  • the three-dimensional object at an arbitrary position within the range from the viewpoint to the image, it can be arranged at an arbitrary position from the position closest to the viewpoint to infinity. ..
  • the optical axes may be arranged so as to intersect with each other.
  • the line of sight is the shooting direction indicated by the arrow from the shooting position for the right eye (that is, the optical axis of the camera) and the shooting direction indicated by the arrow from the shooting position for the left eye.
  • the positions of the right-eye image and the left-eye image taken in this way corresponding to infinity are the points ⁇ 1 and ⁇ 1 in the figure.
  • the distance from the intersection of the shooting direction and the image for the right eye to the point ⁇ 1 is X
  • the distance from the shooting position for the right eye to the shot image is L
  • the horizontal length of the image for the right eye Is U
  • the horizontal angle of view is ⁇
  • the angle formed by the shooting direction and the straight line connecting the shooting position for the right eye and the point ⁇ 1 is ⁇ , and the following equation is obtained.
  • ⁇ is known because it is determined by the camera used for shooting. Further, since 2 ⁇ is an angle formed by the line-of-sight direction of the right eye side and the left eye side in FIG. 7A, ⁇ is also known. Therefore, when the first right-eye image 22a and the first left-eye image 22b taken as shown in FIG. 7A are arranged so that the points corresponding to infinity overlap, the horizontal width of the images is widened.
  • X is calculated as described above using U, ⁇ , and ⁇ , and in the first right-eye image 22a, at the point ⁇ 1 horizontally separated from the center by X, and in the first left-eye image 22b.
  • Both images may be arranged so that the points ⁇ 1 separated by X in the horizontal direction from the center overlap.
  • the right-eye shooting position in FIG. 7B may be the right-eye viewpoint. That is, the first right-eye image 22a and the first left eye so that the points ⁇ 1 and ⁇ 1 overlap on a plane where the distance from the right-eye viewpoint and the left-eye viewpoint arranged in the three-dimensional virtual space is L.
  • the image 22b may be arranged.
  • the first right-eye image 22a and the first left-eye image 22b pass through the midpoint of the line segment connecting the right-eye viewpoint 23a and the left-eye viewpoint 23b, and are symmetrical with respect to the plane perpendicular to the line segment. It is preferable that they are arranged so as to be. That is, when the image arranged as shown in FIG. 6A is viewed from the front side, the first right-eye image 22a is moved to the left by X in the plane including the image, and the first left-eye image 22b is moved. , It suffices to move X to the right in the plane containing the image. As a result, as shown in FIG. 6C, the first right-eye image 22a and the first left-eye image 22b are arranged.
  • the first right eye image 22a and the first left eye image 22b are displayed in a staggered manner, but in reality, the first right eye image 22a and the first left eye are displayed.
  • the image 22b exists on the same plane.
  • the line-of-sight direction is set so as to face the center of the corresponding image. In this way, even when the first stereo image is taken by a pair of cameras arranged so that the optical axes intersect, the image for the first right eye and the image for the first right eye so that the points corresponding to infinity overlap.
  • the image for the first left eye can be arranged, and as a result, the positional relationship between the object included in the first stereo image and the three-dimensional object can be easily adjusted.
  • the first right-eye image and the first left-eye image of the first stereo image in the three-dimensional virtual space are A three-dimensional object is placed, a new right-eye image is generated while the first right-eye image is displayed, and a new left-eye image is generated while the first left-eye image is displayed.
  • a second stereo image in which the first stereo image and the three-dimensional object are combined.
  • the object included in the stereo image and the three-dimensional object can be arranged.
  • the positional relationship can be adjusted appropriately.
  • a three-dimensional object can be superimposed and displayed on an object included in a stereo image.
  • the three-dimensional object and the object included in the stereo image are overlapped with each other, it is possible to avoid a situation in which a part of the three-dimensional object is located on the back side of the stereo image and becomes invisible.
  • first and second stereo images are moving images
  • the first and second stereo images may be still images.
  • a second stereo image which is a still image in which three-dimensional objects arranged according to the operation are combined with the first stereo image, which is a still image, is generated.
  • the first stereo image is a moving image of a skilled person's movement
  • the three-dimensional object corresponds to an instrument or the like used by the skilled person
  • the user who operates the three-dimensional object is skilled.
  • You may be a beginner who imitates the behavior of a person.
  • a second stereo image is generated by synthesizing a three-dimensional object operated by a beginner with the first stereo image showing the operation of a skilled person.
  • the movement of the expert may be a movement of surgery, a movement of playing in sports, a movement of playing a musical instrument, or the like.
  • the three-dimensional object is, for example, an instrument such as a forceps used in surgery, a baseball bat used in sports, a golf club, an instrument such as tennis or badminton, a table tennis racket, or an instrument used for playing music. There may be. In this way, beginners can imitate the movements of experts and practice surgery, playing sports, playing musical instruments, and so on. In this case, it is considered important to superimpose the three-dimensional object on the object included in the first stereo image. Therefore, as described in (B) above, the first stereo image and the three-dimensional object are combined. It is preferable that the synthesis is carried out.
  • the first stereo image is a moving image of a human such as an actor, an actress, or a singer
  • the three-dimensional object is a user's hand or the like. You may be able to shake hands with actors.
  • the second stereo image is a composite of a human such as an actor and a hand, which is a three-dimensional object operated by the user. In this way, the user will be able to shake hands with, for example, a celebrity. In this case as well, it is considered important to superimpose the three-dimensional object corresponding to the user's hand on the position of the hand of a celebrity or the like included in the first stereo image. It is preferable that the first stereo image and the three-dimensional object are combined.
  • the first stereo image is a photographed image of the inside of the building or a still image such as CG, and the three-dimensional object is furniture.
  • the user changes the arrangement of the furniture and changes the arrangement of the furniture.
  • a second stereo image showing the status of the furniture placed inside may be generated.
  • the second stereo image allows the user to see the situation after the furniture is arranged in three dimensions. In this case as well, it is considered important to superimpose the three-dimensional object on the object included in the first stereo image. Therefore, as described in (B) above, the first stereo image and the three-dimensional object are combined. It is preferable that the synthesis is carried out.
  • the first stereo image is a moving image taken by a stereo camera worn by a user in a real space such as a construction site or a repair site
  • a three-dimensional object is a three-dimensional object on the first stereo image by an expert. It is an object corresponding to a pointer indicating the position of and an instrument used in real space
  • the second stereo image is a composite of a three-dimensional object with the first stereo image in real space. good.
  • the second stereo image may be viewed by a skilled person and a user in real space. By manipulating the 3D object, the expert can give an instruction to the user in the real space and demonstrate what the user in the real space should do by using the 3D object.
  • the user in the real space can perform appropriate work in the real space by seeing and performing the work on the second stereo image including the three-dimensional object operated by the expert.
  • the image synthesizer 1 may accept the first stereo image in real time and output the second stereo image in real time. In this case as well, it is considered important to superimpose the three-dimensional object on the object included in the first stereo image. Therefore, as described in (B) above, the first stereo image and the three-dimensional object are combined. It is preferable that the synthesis is carried out.
  • the image compositing device 1 can be used for other examples of compositing the first stereo image and the three-dimensional object, and image compositing is performed in situations other than the above. Needless to say, the device 1 may be used.
  • the image compositing device 1 may determine the positional relationship between the object included in the first stereo image and the three-dimensional object arranged according to the operation accepted by the reception unit 12.
  • the determination regarding the positional relationship may be, for example, a collision determination for determining whether or not the object included in the first stereo image and the three-dimensional object are in contact with each other, and an overlap determination for determining whether or not the objects overlap. It may be another determination regarding the positional relationship between the two.
  • the image synthesizer 1 may further include a determination unit 16 as shown in FIG. Further, in this case, it is important to adjust the positional relationship between the object included in the first stereo image and the three-dimensional object. Therefore, as described in (B) above, the first stereo image and the three-dimensional object are used. It is preferable that the synthesis of the above is carried out.
  • the determination unit 16 specifies the position of the object included in the first stereo image in the three-dimensional virtual space from the first right-eye image and the first left-eye image arranged in the three-dimensional virtual space. In specifying this position, for example, the corresponding points of the first right eye image and the first left eye image are specified, and the positions of the corresponding points in the three-dimensional virtual space and the positions of the right eye viewpoint and the left eye viewpoint are determined. It may be done using. For example, the position in the three-dimensional virtual space corresponding to the pair of corresponding points of the first right eye image and the first left eye image is the corresponding point of the first right eye image and the right eye viewpoint in the three-dimensional virtual space.
  • It may be the position of the intersection of the straight line connecting the two and the straight line connecting the corresponding point of the first left-eye image and the left-eye viewpoint. If the two straight lines do not intersect due to an error or the like, the midpoint of the position on the two straight lines where the distance between the two straight lines is the shortest corresponds to a pair of the first right eye image and the first left eye image. It may be a position in a three-dimensional virtual space corresponding to a point. As described above, the process of specifying the point on the three-dimensional space corresponding to the corresponding point on the stereo image is already known, and the detailed description thereof will be omitted.
  • the determination unit 16 By performing such processing for each corresponding point of the first stereo image, the determination unit 16 in the three-dimensional virtual space corresponding to each pixel included in the first right eye image and the first left eye image.
  • the position can be specified.
  • the position specified in this way usually constitutes a surface in a three-dimensional virtual space. This is because the stereo image does not reveal the structure on the back side.
  • the determination unit 16 may specify an object included in the image by performing contour extraction or the like in the first stereo image, and specify the position for each specified object.
  • the determination unit 16 determines the relationship between the specified position and the position of the three-dimensional object in the three-dimensional virtual space. This determination may be at least one of a hit determination and an overlap determination.
  • the determination unit 16 is, for example, when the surface formed by the position of the object included in the first stereo image in the three-dimensional virtual space overlaps with at least a part of the three-dimensional object in the three-dimensional virtual space. It may be determined that both are hit.
  • the determination unit 16 is, for example, at least a part of the surface formed by the position of the object included in the first stereo image in the three-dimensional virtual space and at least a part of the surface of the three-dimensional object in the three-dimensional virtual space.
  • an index indicating the degree of overlap may be acquired.
  • the index is, for example, the overlap when the surface formed by the position of the object included in the first stereo image in the three-dimensional virtual space and the surface of the three-dimensional object in the three-dimensional virtual space have the largest overlap. May be an index indicating the degree of overlap, with 100%.
  • the output unit 15 may also output the determination result by the determination unit 16 regarding the positional relationship between the object included in the first stereo image and the three-dimensional object.
  • the output may be, for example, the result of a hit determination or the output of the result of an overlap determination, and when the result of the hit determination indicates that both are hit, an output indicating that both are hit. It may be an output indicating that the two overlap, or an index indicating the degree of the overlap, when the result of the overlap determination indicates that the two overlap. More specifically, the output unit 15 may superimpose and output a display according to the determination result on the second stereo image, and vibrate the controller operated by the user according to the determination result. You may output the sound according to the determination result, or you may output other output according to the determination result.
  • FIG. 6B when a user is operating a robot arm which is a three-dimensional object and the robot arm hits a conical object included in the first stereo image, both of them hit each other.
  • a display indicating that (for example, blinking of the entire screen) or a vibration output or a sound output indicating that both are hit may be performed.
  • FIGS. 8A and 8B the user is operating a forceps which is a three-dimensional object, and the forceps overlaps with the forceps included in the first stereo image which is an image of a simulated operation.
  • a display indicating that the two overlap (for example, displaying a figure indicating the overlap) or an index indicating the degree of the overlap of the two may be output.
  • the user operating the three-dimensional object can use, for example, the three-dimensional object.
  • the position can be confirmed, and it becomes possible to know whether or not the 3D object can be operated properly.
  • the first right-eye image 22a and the first left-eye image 22b are arranged so that the points corresponding to infinity overlap in the three-dimensional virtual space. It does not have to be.
  • the first right-eye image 22a and the first left-eye image 22b are three-dimensional.
  • the points corresponding to the predetermined distance may be arranged so as to overlap each other. For example, in FIG.
  • the first right-eye image 22a-1 and the first left-eye image 22b-1 shown by a broken line are arranged in a three-dimensional virtual space so that points corresponding to infinity overlap. Then, as shown in the first right-eye image 22a-2 and the first left-eye image 22b-2 in FIG. 10, the first right-eye image 22a-1 and the first left-eye image 22b-1. May be moved and placed by the same distance in each of their plane directions in the direction indicated by the arrow. More specifically, the first right-eye image 22a-2 is moved to the right from the first right-eye image 22a-1, and the first left-eye image 22b-2 is the first left-eye image 22b. It may be moved from -1 to the left.
  • the first left-eye image 22b-2 and the first left-eye image 22b-2 are arranged in a three-dimensional virtual space so that points corresponding to positions N meters away from the viewpoints 23a and 23b overlap each other. It shall be.
  • N is a positive real number.
  • FIG. 10 it is assumed that the line-of-sight direction exists in the horizontal plane and shows the situation seen from the vertical direction. It is assumed that the same applies to FIGS. 11 and 12.
  • different codes such as the first right-eye image 22a-1 and 22a-2 are used for each position to be arranged, but when the positions are not particularly distinguished, the first right-eye image 22a and the like are used. Sometimes called. The same applies to the first left eye image 22b.
  • the first stereo image 22b-2 and the first left-eye image 22b-2 may be arranged so as to overlap each other.
  • the points corresponding to the positions separated by N meters in the first right-eye image 22a and the first left-eye image 22b are specified by using, for example, parallax, the focal length of the stereo camera, and the distance between the cameras of the stereo camera. May be done.
  • the distance may be, for example, a distance from a straight line connecting the viewpoints 23a and 23b.
  • N meters may be specified by the user, for example.
  • the reception unit 12 may receive information indicating N meters, and accordingly, a first stereo image may be arranged so that points corresponding to positions separated by N meters overlap in a three-dimensional virtual space. ..
  • This arrangement may be performed by, for example, the arrangement unit 13.
  • the points corresponding to the positions separated by N meters in the first right-eye image 22a and the first left-eye image 22b are specified by using, for example, parallax, focal length, and distance between viewpoints. It may be specified by other methods.
  • the distance and the degree of overlap of both images when the first right-eye image 22a and the first left-eye image 22b are arranged so that the points corresponding to the positions separated by the distance overlap are associated with each other.
  • the information is used to acquire the degree of overlap between the two images corresponding to N meters, and the first right-eye image 22a so as to have the degree of overlap.
  • the first left eye image 22b may be arranged so as to overlap each other.
  • the positions of the points corresponding to infinity that is, the center points of the images
  • black circles in each of the first right-eye image 22a and the first left-eye image 22b.
  • the first left-eye image 22b-2 and the first left-eye image 22b-2 exist on the same plane (that is, on the same straight line in the figure), but they are slightly moved up and down for explanation. It is staggered. It is assumed that these things are the same in FIGS. 11 and 12.
  • the first stereo image is arranged in the three-dimensional virtual space. All the objects included in the image from the viewpoint to N meters appear three-dimensionally on the front side of the first left-eye image 22b-2 and the first left-eye image 22b-2. Therefore, even when trying to touch an object with a distance of up to N meters included in the first stereo image with a three-dimensional object, at least a part of the three-dimensional object is located behind the first stereo image. You can avoid the situation where you cannot see.
  • the points corresponding to a predetermined distance instead of arranging the first right-eye image 22a and the first left-eye image 22b so that the points corresponding to infinity overlap, the points corresponding to a predetermined distance.
  • the first right-eye image 22a and the first left-eye image 22b may be arranged so as to overlap each other.
  • the predetermined distance may be, for example, a finite distance.
  • the first right-eye images 22a-2, 22a-3, and 22a-4 are arranged so that the angle of view from the right-eye viewpoint 23a does not change.
  • the first right-eye image 22a-3 arranged on the far side with respect to the viewpoint is larger than the first right-eye image 22a-2 arranged on the front side. It is an image, and the first right-eye image 22a-4 arranged on the back side is a larger image than the first right-eye image 22a-3 arranged on the front side. It is preferable that the size of each image is changed so that the aspect ratio does not change. The same applies to the first left eye images 22b-2, 22b-3, 22b-4. Further, in FIG.
  • the straight lines 26a and 26b connecting the viewpoints 23a and 23b and the points corresponding to the infinity of each image are shown by the alternate long and short dash lines.
  • points corresponding to a predetermined distance for example, N meters
  • the points corresponding to infinity overlap and in the first right-eye image 22a-4 and the first left-eye image 22b-4, there are no overlapping points.
  • the first right-eye image 22a and the first left-eye image 22b may be arranged in the three-dimensional virtual space so that the first straight line 26a and the second straight line 26b intersect. Even in this case, for example, an object included in the first stereo image that is touched or overlapped by a three-dimensional object arranged according to an operation accepted by the reception unit 12 can be used.
  • the first right eye image 22a and the first left eye image 22b are displayed three-dimensionally in front of the first right eye image 22a and the first left eye image 22b in a three-dimensional virtual space. It is preferable to be arranged.
  • the first stereo image may be arranged so that the dots overlap, or the first and second images, such as the first right eye image 22a-4 and the first left eye image 22b-4.
  • the first stereo image may be arranged on the back side (that is, the side far from the viewpoint) of the intersection of the straight lines 26a and 26b.
  • the effect when the first right-eye image 22a and the first left-eye image 22b are moved in the plane direction will be described.
  • the first right-eye image 22a-2 and the first left-eye image 22b-2 and the first right eye moved by the same distance in the direction of the right-pointing arrow and the direction of the left-pointing arrow, respectively.
  • the image 22a-5 for the left eye and the image 22b-5 for the first left eye are shown.
  • the intersection of the straight lines 26a and 26b connecting the points corresponding to the infinity of the first right-eye image 22a-2 and the first left-eye image 22b-2 and the viewpoints 23a and 23b is the point 31a
  • the first point is
  • the point corresponding to the infinity of the right-eye image 22a-5 and the first left-eye image 22b-5 and the intersection of the straight lines 26a and 26b connecting the viewpoints 23a and 23b are the points 31b.
  • the points 31a and 31b are at infinity corresponding to the first right-eye image 22a-2 and the first left-eye image 22b-2 arranged in the three-dimensional virtual space, respectively, and the first right-eye image 22a.
  • the position at infinity corresponds to -5 and the first left-eye image 22b-5.
  • the user when the first stereo image is arranged as in the first right-eye image 22a-2 and the first left-eye image 22b-2, the user has the viewpoints 23a and 23b and the point 31a. In between, all the objects contained in the first stereo image will appear to be present. Further, when the first stereo image is arranged such as the first image for the right eye 22a-5 and the first image for the left eye 22b-5, the user has the viewpoints 23a and 23b and the point 31b. In between, all the objects contained in the first stereo image will appear to be present.
  • the depth of the display range of the object included in the first stereo image is increased. It will be longer.
  • the depth of the display range of the object included in the first stereo image is reduced. It will be shorter. Therefore, for example, when it is desired to superimpose a three-dimensional object to be operated on various objects included in the first stereo image, the depth of the display range of the object included in the first stereo image is shortened.
  • the first image for the right eye 22a and the first image for the left eye 22b may be arranged in the image 22a. With such an arrangement, it is possible to reduce the amount of movement of the three-dimensional object when superimposing the three-dimensional object on various objects included in the first stereo image.
  • the reception unit 12 may receive information from the user instructing the change of the distance from the viewpoints 23a and 23b to the intersection of the straight lines 26a and 26b.
  • the arrangement unit 13 changes the arrangement of the first right eye image 22a and the first left eye image so that the positions of the intersections of the straight lines 26a and 26b are changed according to the received information. You may. In this way, for example, the depth of the first stereo image can be changed according to the input from the user.
  • the first right-eye image 22a and the first left-eye image 22b so that the straight lines 26a and 26b intersect, the depth feeling of the first stereo image can be adjusted in this way.
  • the image compositing device 1 may further include a specific unit 17, as shown in FIG.
  • the image synthesizer 1 shown in FIG. 13 also includes a determination unit 16, and the output unit 15 may also output the determination result by the determination unit 16. ..
  • the specifying unit 17 specifies the distance of a predetermined object included in the first stereo image. This distance is calculated using, for example, the parallax between the first right-eye image 22a and the first left-eye image 22b with respect to a predetermined object, the focal lengths of the cameras 21a and 21b, the distance between the cameras 21a and 21b, and the like. You may. In this way, once the object to be measured for the distance included in the first stereo image is determined, the distance to that object can be calculated. The calculated distance may be converted into a distance in a three-dimensional virtual space and used in the subsequent processing.
  • the object whose distance is to be measured may be, for example, all the objects included in the first stereo image.
  • the specifying unit 17 may specify each object included in the first stereo image and specify the distance for each of the specified objects.
  • the object may be specified by, for example, contour extraction or image segmentation.
  • the specific unit 17 does not have to specify, for example, the background such as the sky or the road included in the first stereo image as an object.
  • the object whose distance is to be measured may be, for example, an object specified by the user.
  • the reception unit 12 may receive information that specifies the object.
  • the object specified by the information received by the reception unit 12 may be the object whose distance is to be measured.
  • the information that specifies the object may be, for example, information that specifies the position of the object in the image, or information that specifies the type of the object (for example, "hand" or "ball").
  • the position of the object may be specified, for example, by specifying a point-shaped position or specifying a rectangular area.
  • the reception of the information specifying the type of the object may be, for example, reception from an input device such as a keyboard, reading of information from a recording medium, or the voice input from a microphone or the like. It may be the reception of the voice recognition result, or it may be the reception of other information that specifies the type of the object.
  • the reception unit 12 may, for example, receive a plurality of types of reception, that is, reception of operations of a three-dimensional object and reception of information for designating an object.
  • the identification unit 17 specifies, for example, the object displayed at the specified position, and specifies the distance of the specified object.
  • the position in the first right-eye image 22a and the first left-eye image 22b corresponding to the specified position may be specified, and the distance related to the specified position may be specified.
  • the specifying unit 17 specifies, for example, the object of that type in the first right-eye image 22a and the first left-eye image 22b. Then, the distance of the specified object may be specified.
  • a method of specifying the accepted type of object for example, a method of specifying the position of the object in the image by pattern matching or a type corresponding to each pixel of the image specified by image segmentation can be used.
  • a method of specifying an area of an object a method of specifying an area in an image relating to an object of the accepted type by object detection, and the like may be used.
  • the distance may be specified in the frame in which the position is specified.
  • the information for specifying the object is the information for specifying the type of the object
  • the object whose distance is to be measured can be specified, for example, when the first stereo image is a moving image, for a specific frame. It may be done, or it may be done repeatedly for a plurality of frames. In the former case, for example, when information for designating a predetermined object is received by the reception unit 12 during the output of a moving image which is a second stereo image, the object is specified for the frame at that time. You may.
  • the object may be specified for each frame at a predetermined interval, for example.
  • the object is also specified in real time. You may.
  • the object may be specified in advance before the second stereo image is generated.
  • the first right-eye image 22a and the first left-eye image 22b may be arranged so that points corresponding to distances exceeding the longest distance specified by the specific unit 17 overlap.
  • the object specified by the specific unit 17 is displayed in front of the first stereo image in the three-dimensional virtual space.
  • the three-dimensional object is superimposed on the object. You will be able to.
  • the first stereo image is arranged so that the points corresponding to the distances exceeding the longest distance among the plurality of distances overlap.
  • the first stereo image is arranged so that the points corresponding to the distances exceeding the longest distance among the specified distances overlap.
  • the distance exceeding the specified longest distance may be, for example, a distance obtained by adding a predetermined distance to the specified longest distance.
  • the predetermined distance to be added is, for example, a length equal to or greater than the misalignment of both objects that may occur when performing an operation for superimposing a three-dimensional object on the object included in the first stereo image. You may. By doing so, even if such a misalignment occurs, it is possible to prevent the three-dimensional object from being located on the back side of the first stereo image. It should be noted that such arrangement of the first stereo image may be performed by, for example, the arrangement unit 13.
  • the three-dimensional object may be prevented from being located on the back side of the first right-eye image 22a and the first left-eye image 22b without using the specific unit 17.
  • the distance to the three-dimensional object to be operated is the predetermined distance.
  • the arrangement unit 13 may arrange the first stereo image by increasing the predetermined distance. For example, when the distance obtained by adding a predetermined distance to the distance from the viewpoints 23a and 23b to the three-dimensional object becomes the predetermined distance, the arrangement unit 13 becomes a distance longer than the predetermined distance.
  • the first stereo image may be rearranged in the three-dimensional virtual space so that the corresponding points overlap.
  • the distance longer than the predetermined distance may be, for example, a distance obtained by adding a predetermined distance to the predetermined distance.
  • the arrangement unit 13 may rearrange the first stereo image in real time, for example, when the second stereo image is generated or output. Therefore, the rearrangement of the first stereo image may be repeated, for example, in response to the operation of the three-dimensional object.
  • the first right-eye image 22a and the first left-eye image 22b are changed in the angle of view from the viewpoints 23a and 23b.
  • the sense of depth of the objects included in the first stereo image changes, and the objects are arranged in the three-dimensional virtual space accordingly.
  • the composite position of the 3D object will also change.
  • the first stereo image is rearranged by a method of moving the arrangement position of the first stereo image to the back side without changing the angle of view as shown in FIG. Is preferable. It should be noted that the movement of the first stereo image by a shorter distance can prevent the three-dimensional object from being located on the back side of the first stereo image so that the straight lines 26a and 26b intersect. This is because the stereo image is arranged. Therefore, also in this case, it is preferable that the first stereo image is rearranged so that the straight lines 26a and 26b intersect.
  • the arrangement unit 13 is the image for the first right eye.
  • the 22a and the first left-eye image 22b are arranged in the three-dimensional virtual space so that the points corresponding to the predetermined distances overlap, the predetermined distance is lengthened according to the position of the three-dimensional object. Even if the position of the 3D object approaches the viewpoints 23a and 23b, the first stereo image is not rearranged to shorten the predetermined distance. You may.
  • the first stereo image is arranged in the three-dimensional virtual space so that the first straight line 26a and the second straight line 26b intersect, and the points corresponding to a predetermined distance overlap in the three-dimensional virtual space.
  • the stereo image is arranged so that the predetermined distance exceeds the longest distance specified by the specific unit 17, or when the 3D object approaches the first stereo image, the first Needless to say, rearranging the stereo images of 1 may be performed, for example, on the first stereo images taken by a pair of cameras arranged so that the optical axes intersect.
  • each process or each function may be realized by centralized processing by a single device or a single system, or may be distributed processing by a plurality of devices or a plurality of systems. It may be realized by.
  • the transfer of information performed between the components is performed by, for example, one of the components when the two components that transfer the information are physically different. It may be done by outputting information and accepting information by the other component, or if the two components that pass the information are physically the same, one component. It may be performed by moving from the processing phase corresponding to the other component to the processing phase corresponding to the other component.
  • information related to the processing executed by each component for example, information received, acquired, selected, generated, transmitted, or received by each component. Further, information such as threshold values, mathematical formulas, addresses, etc. used by each component in processing may be temporarily or for a long time held in a recording medium (not shown), even if it is not specified in the above description. Further, each component or a storage unit (not shown) may store information on a recording medium (not shown). Further, the information may be read from the recording medium (not shown) by each component or a reading unit (not shown).
  • the information used in each component or the like for example, the information such as the threshold value and the address used in the processing by each component and various setting values may be changed by the user
  • the above-mentioned The information may or may not be changed as appropriate by the user, even if it is not specified in the description.
  • the change is realized by, for example, a reception unit (not shown) that receives a change instruction from the user and a change unit (not shown) that changes the information in response to the change instruction. You may.
  • the reception unit (not shown) may accept the change instruction from, for example, an input device, information transmitted via a communication line, or information read from a predetermined recording medium. ..
  • each component may be configured by dedicated hardware, or a component that can be realized by software may be realized by executing a program.
  • each component can be realized by a program execution unit such as a CPU reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the program execution unit may execute the program while accessing the storage unit or the recording medium.
  • the software that realizes the image synthesizer 1 in the above embodiment is the following program. That is, this program is a three-dimensional object placed in a three-dimensional virtual space on a computer that can access a storage unit in which a first stereo image having a first right-eye image and a first left-eye image is stored.
  • a step of arranging a 3D object according to the accepted operation and a step of arranging the 3D object according to the accepted operation are displayed.
  • the image for the second right eye and the image for the first left eye which are the images from the viewpoint for the right eye in the state where the image for the first right eye is displayed, are displayed.
  • the functions realized by the above program do not include the functions that can be realized only by hardware.
  • the functions realized only by hardware such as a modem and an interface card in the reception unit for receiving information and the output unit for outputting information are not included in at least the functions realized by the above program.
  • this program may be executed by being downloaded from a server or the like, and the program recorded on a predetermined recording medium (for example, an optical disk such as a CD-ROM, a magnetic disk, a semiconductor memory, etc.) is read out. May be performed by. Further, this program may be used as a program constituting a program product.
  • a predetermined recording medium for example, an optical disk such as a CD-ROM, a magnetic disk, a semiconductor memory, etc.
  • the number of computers that execute this program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • FIG. 14 is a schematic diagram showing an example of the appearance of a computer that executes the above program and realizes the image synthesizer 1 according to the above embodiment.
  • the above embodiment can be realized by computer hardware and a computer program executed on the computer hardware.
  • the computer system 900 includes a computer 901 including a CD-ROM drive 905, a keyboard 902, a mouse 903, and a monitor 904.
  • FIG. 15 is a diagram showing the internal configuration of the computer system 900.
  • the computer 901 is connected to the MPU (Micro Processing Unit) 911, the ROM 912 for storing a program such as a bootup program, and the MPU 911 in addition to the CD-ROM drive 905, and issues an application program instruction.
  • It includes a RAM 913 that temporarily stores and provides a temporary storage space, a hard disk 914 that stores application programs, system programs, and data, and a bus 915 that interconnects the MPU 911, ROM 912, and the like.
  • the computer 901 may include a network card (not shown) that provides a connection to a LAN, WAN, or the like.
  • the program for causing the computer system 900 to execute the function of the image synthesizer 1 according to the above embodiment may be stored in the CD-ROM 921, inserted into the CD-ROM drive 905, and transferred to the hard disk 914.
  • the program may be transmitted to the computer 901 over a network (not shown) and stored on the hard disk 914.
  • the program is loaded into RAM 913 at run time.
  • the program may be loaded directly from the CD-ROM921 or the network. Further, the program may be read into the computer system 900 via another recording medium (for example, DVD or the like) instead of the CD-ROM 921.
  • the program does not necessarily have to include an operating system (OS), a third-party program, or the like that causes the computer 901 to execute the function of the image synthesizer 1 according to the above embodiment.
  • the program may contain only a portion of instructions that call appropriate functions or modules in a controlled manner to achieve the desired result. It is well known how the computer system 900 works, and detailed description thereof will be omitted.

Abstract

【課題】ステレオ画像と３次元オブジェクトを適切に合成できる画像合成装置を提供する。 【解決手段】画像合成装置１は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部１１、３次元オブジェクトの操作を受け付ける受付部１２、右目用視点と第１の右目用画像の無限遠に対応する点を結ぶ直線、及び左目用視点と第１の左目用画像の無限遠に対応する点を結ぶ直線が交わるように両画像が配置される３次元仮想空間に、操作に応じた３次元オブジェクトを配置する配置部１３、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像の表示時の右目用視点からの画像である第２の右目用画像、及び第１の左目用画像の表示時の左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部１４、第２のステレオ画像を出力する出力部１５を備える。

Description

画像合成装置、画像合成方法、及びプログラム
　本発明は、ステレオ画像と３次元オブジェクトとを合成する画像合成装置等に関する。
　従来、ヘッドマウントディスプレイ（ＨＭＤ）にステレオ画像を表示することによって、ＨＭＤを装着しているユーザに立体的な画像を提供することが行われている（例えば、特開２０２０－０７１７１８号公報参照）。また、３次元仮想空間に３次元オブジェクトを配置し、任意の視点からの２次元の画像を生成するレンダリング処理などの３次元コンピュータグラフィックス（３ＤＣＧ）も知られている。
　しかしながら、ステレオ画像に３次元オブジェクトを適切に合成するための手法は知られていなかった。例えば、３ＤＣＧによって生成された１つの２次元の画像を、ステレオ画像に含まれる右目用画像及び左目用画像とそれぞれ合成した場合には、３次元オブジェクトが平面的に表示されることになるという問題があった。
　本発明は、上記課題を解決するためになされたものであり、ステレオ画像に３次元オブジェクトを適切に合成するための画像合成装置等を提供することを目的とする。
　上記目的を達成するため、本発明の一態様による画像合成装置は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、右目用視点と第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、第２のステレオ画像を出力する出力部と、を備えたものである。
　このような構成により、例えば、３次元仮想空間における第１の右目用画像及び第１の左目用画像の配置に応じて、操作の対象である３次元オブジェクトが両画像の背面側に位置しないようにすることができ得る。そのため、３次元オブジェクトと第１のステレオ画像とが適切に合成されるようにすることができる。また、例えば、３次元オブジェクトが第１のステレオ画像の背面側に位置した際にも、第１の右目用画像及び第１の左目用画像のより短い距離の移動によって、３次元オブジェクトが第１のステレオ画像の背面側に位置しないようにすることができる。
　また、本発明の一態様による画像合成装置では、３次元仮想空間では、所定の距離に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置されてもよい。
　このような構成により、３次元オブジェクトが所定の距離よりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。
　また、本発明の一態様による画像合成装置では、第１のステレオ画像に含まれる所定のオブジェクトの距離を特定する特定部をさらに備え、所定の距離は、特定部によって特定された最も長い距離を超えていてもよい。
　このような構成により、３次元オブジェクトが、特定部によって距離の特定された所定のオブジェクトよりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。
　また、本発明の一態様による画像合成装置では、所定のオブジェクトは、第１のステレオ画像に含まれるすべてのオブジェクトであってもよい。
　このような構成により、３次元オブジェクトが、第１のステレオ画像に含まれる最も奥側のオブジェクトよりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。
　また、本発明の一態様による画像合成装置では、受付部は、所定のオブジェクトを指定する情報をも受け付け、所定のオブジェクトは、受付部によって受け付けられた情報によって指定されるオブジェクトであってもよい。
　このような構成により、３次元オブジェクトが、受付部によって受け付けられた情報によって指定されたオブジェクトよりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。
　また、本発明の一態様による画像合成装置では、配置部は、３次元オブジェクトまでの距離が所定の距離に近づいた場合には、所定の距離を増やして第１のステレオ画像を配置してもよい。
　このような構成により、第１のステレオ画像を再配置することによって、３次元オブジェクトが第１のステレオ画像の背面側に位置することを回避することができる。
　また、本発明の一態様による画像合成装置では、３次元仮想空間では、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置されてもよい。
　このような構成により、第１のステレオ画像に含まれる任意のオブジェクトと同じ距離に位置する３次元オブジェクトは、第１のステレオ画像の背面側に位置しないことになる。
　また、本発明の一態様による画像合成装置では、第１のステレオ画像は、光軸が平行となるように配置された一対のカメラによって撮影されたものであってもよい。
　また、本発明の一態様による画像合成装置では、第１のステレオ画像は、光軸が交わるように配置された一対のカメラによって撮影されたものであってもよい。
　また、本発明の一態様による画像合成装置では、第１のステレオ画像、及び第２のステレオ画像は動画像であってもよい。
　このような構成により、例えば、第１のステレオ画像が手術の画像である場合に、その第１のステレオ画像に含まれる鉗子等の器具に、３次元オブジェクトである鉗子等の器具を重ねることができるようになり、初心者の術者が、経験豊富な術者の操作を仮想空間において真似ることができ、手術のトレーニングを行うことができるようになる。
　また、本発明の一態様による画像合成装置では、３次元仮想空間に配置された第１の右目用画像及び第１の左目用画像から、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定し、その特定した位置と、３次元オブジェクトの位置との関係に関する判定を行う判定部をさらに備え、出力部は、判定部による判定結果に関する出力をも行ってもよい。
　このような構成により、例えば、３次元オブジェクトを操作しているユーザは、３次元オブジェクトを適切に操作できているかどうかについて知ることができるようになる。
　また、本発明の一態様による画像合成方法は、３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像が、右目用視点と第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように配置される３次元仮想空間に、受け付けられた操作に応じた３次元オブジェクトを配置するステップと、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、第２のステレオ画像を出力するステップと、を備えたものである。
　本発明の一態様による画像合成装置等によれば、ステレオ画像と３次元オブジェクトとを適切に合成することができるようになる。
本発明の実施の形態による画像合成装置の構成を示すブロック図 同実施の形態による画像合成装置の動作を示すフローチャート 同実施の形態におけるステレオ画像の撮影について説明するための図 同実施の形態におけるステレオ画像の生成について説明するための図 同実施の形態における合成後のステレオ画像の表示の一例を示す図 同実施の形態における合成後のステレオ画像の表示の一例を示す図 同実施の形態における無限遠に対応する点について説明するための図 同実施の形態におけるステレオ画像の生成について説明するための図 同実施の形態における合成後のステレオ画像の表示の一例を示す図 同実施の形態におけるステレオ画像の生成について説明するための図 同実施の形態における無限遠に対応する点について説明するための図 同実施の形態における無限遠に対応する点について説明するための図 同実施の形態における３次元仮想空間に配置されたステレオ画像及び３次元オブジェクトの一例を示す図 同実施の形態における３次元仮想空間に配置されたステレオ画像及び３次元オブジェクトの一例を示す図 同実施の形態による画像合成装置の他の構成を示すブロック図 同実施の形態における３次元仮想空間に配置されたステレオ画像の一例を示す図 同実施の形態における３次元仮想空間に配置されたステレオ画像の一例を示す図 同実施の形態における３次元仮想空間に配置されたステレオ画像の一例を示す図 同実施の形態による画像合成装置の他の構成を示すブロック図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図
　以下、本発明による画像合成装置、及び画像合成方法について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による画像合成装置、及び画像合成方法は、３次元仮想空間に配置された第１のステレオ画像、及び３次元オブジェクトから、両者を合成した第２のステレオ画像を生成するものである。
　図１は、本実施の形態による画像合成装置１の構成を示すブロック図である。本実施の形態による画像合成装置１は、記憶部１１と、受付部１２と、配置部１３と、生成部１４と、出力部１５とを備える。画像合成装置１は、例えば、パーソナル・コンピュータや、スマートフォン、タブレット端末などの汎用の装置であってもよく、または、ステレオ画像と３次元オブジェクトとの合成を行う専用の装置であってもよい。また、画像合成装置１は、例えば、スタンドアロンの装置であってもよく、または、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、受付部１２や出力部１５は、インターネット等の通信回線を介して入力を受け付けたり、情報を出力したりしてもよい。本実施の形態では、画像合成装置１がスタンドアロンの装置である場合について主に説明する。
　記憶部１１では、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される。第１のステレオ画像は、例えば、動画像であってもよく、または、静止画像であってもよい。本実施の形態では、第１のステレオ画像が動画像である場合について主に説明する。第１のステレオ画像は、例えば、撮影された画像であってもよく、または、３ＤＣＧ等によって生成された画像であってもよい。本実施の形態では、第１のステレオ画像が撮影されたステレオ画像である場合について主に説明する。
　なお、本実施の形態では、動画である第１のステレオ画像のすべてのデータが記憶部１１で記憶されている場合について主に説明するが、そうでなくてもよい。例えば、動画である第１のステレオ画像が画像合成装置１においてリアルタイムで受け付けられ、処理対象の一部のデータのみが記憶部１１に記憶されていてもよい。そのような場合であっても、動画である第１のステレオ画像を構成する各フレームは少なくとも一時的に記憶部１１で記憶されることになるため、第１のステレオ画像が記憶部１１で記憶されると言うことができる。
　また、本実施の形態では、撮影画像である第１のステレオ画像が、光軸が平行となるように配置された一対のカメラによって撮影されたものである場合について主に説明し、光軸が交わるように配置された一対のカメラによって撮影されたものである場合については後述する。
　記憶部１１に第１のステレオ画像が記憶される過程は問わない。例えば、記録媒体を介して第１のステレオ画像が記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された第１のステレオ画像が記憶部１１で記憶されるようになってもよく、または、撮影デバイス等から入力された第１のステレオ画像が記憶部１１で記憶されるようになってもよい。記憶部１１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。
　受付部１２は、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける。この操作は、例えば、３次元オブジェクトの姿勢、位置、形状等に関連する操作であってもよい。受付部１２で受け付けられる操作は、３次元仮想空間に配置された３次元オブジェクトの向き、位置、形状等に変化が生じる操作であれば、どのような操作であってもよい。３次元オブジェクトの形状に関する操作とは、例えば、３次元オブジェクトが手術で用いる鉗子である場合に、鉗子の先端を開けたり閉じたりする操作であってもよい。受付部１２は、例えば、画像合成装置１から後述する第２のステレオ画像が出力されるＶＲ（Virtual Reality）ヘッドセット（例えば、Ｏｃｕｌｕｓ　Ｑｕｅｓｔ　２など）のコントローラ等から、３次元オブジェクトの操作を受け付けてもよく、ジョイスティックやマウスなどのその他の入力デバイスから３次元オブジェクトの操作を受け付けてもよい。なお、３次元オブジェクトの操作の受け付けは、例えば、加速度センサやジャイロセンサ等のセンサを用いて、３次元実空間における位置の変化、角度の変化を検出した結果の受け付けであってもよく、ボタン等の入力デバイスに対する入力の受け付けであってもよい。受付部１２は、通常、ＨＭＤ２や、ＶＲヘッドセットなどのコントローラ等の入力デバイスから、リアルタイムで３次元オブジェクトの操作を受け付ける。受付部１２は、入力デバイスや通信回線等を介して、３次元オブジェクトの操作を受け付けてもよい。なお、受付部１２は、受け付けを行うためのデバイス（例えば、入力デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、受付部１２は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
　配置部１３は、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部１２によって受け付けられた操作に応じた３次元オブジェクトを配置する。３次元オブジェクトは、受け付けられた操作に応じて位置や姿勢、形状等が変化するため、配置部１３は、その操作に応じて、３次元仮想空間上の３次元オブジェクトを変化させることになる。配置部１３による３次元オブジェクトの配置は、受付部１２によって受け付けられた操作に応じて行われるため、例えば、操作が継続して受け付けられている場合には、３次元仮想空間における３次元オブジェクトの配置も継続して変化することになる。３次元仮想空間に配置された３次元オブジェクトを操作に応じて配置する方法はすでに公知であり、その詳細な説明を省略する。なお、３次元仮想空間に配置された３次元オブジェクトの情報は、例えば、記憶部１１で記憶されてもよい。
　なお、３次元仮想空間における、第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像の配置位置と、右目用視点及び左目用視点との関係は、通常、あらかじめ決まっている。両者の具体的な関係については後述するが、例えば、（Ａ）第１の右目用画像及び第１の左目用画像は、平行な視線方向の前方側に配置されてもよい。また、例えば、（Ｂ）第１の右目用画像及び第１の左目用画像配置は、無限遠に対応する点が重なるように配置されてもよい。
　通常、３次元オブジェクトは、第１のステレオ画像と、視点との間に配置される。３次元オブジェクトと視点との間に第１のステレオ画像が存在するようになると、レンダリング後の第２のステレオ画像に３次元オブジェクトが含まれなくなるからである。
　生成部１４は、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する。すなわち、第２の右目用画像を生成する際には、３次元仮想空間において第１の右目用画像を表示し、第１の左目用画像を表示しないことが好適である。また、第２の左目用画像を生成する際には、３次元仮想空間において第２の右目用画像を表示し、第２の左目用画像を表示しないことが好適である。なお、第２の右目用画像に第１の左目用画像が入らないのであれば、右目用視点を用いたレンダリング時に、第１の左目用画像が表示されていてもよい。左目用視点を用いたレンダリング時にも同様である。第２のステレオ画像は、第１のステレオ画像に含まれる立体的に表示されるオブジェクト、及び３次元オブジェクトが、第２のステレオ画像においても立体的に表示されるように生成されることが好適である。また、レンダリング時の画角は、例えば、第１のステレオ画像を撮影したカメラの画角と同じにしてもよく、または、異なっていてもよい。
　３次元仮想空間における右目用視点及び左目用視点の各位置は、例えば、あらかじめ決まっていてもよく、または、リアルタイムに変更されてもよい。後者の場合には、例えば、ＨＭＤ２の位置や向きに応じて右目用視点及び左目用視点の各位置が変更されてもよい。また、視点の変更に応じて、３次元仮想空間における第１のステレオ画像の配置も変更されてもよい。通常、視点の位置と、第１の右目用画像及び第１の左目用画像の配置される位置との相対的な関係はあらかじめ決まっているからである。なお、ＨＭＤ２の位置や向きに応じた視点の変更についてはすでに公知であり、その詳細な説明を省略する。また、視線方向は、それぞれ対応する画像の中心を向いていることが好適である。例えば、右目用視点の視線方向は、右目用画像の中心を向いていることが好適である。本実施の形態では、説明の便宜上、右目用視点及び左目用視点の各視線方向が水平方向である場合について主に説明するが、各視線方向は、水平以外の方向であってもよいことは言うまでもない。
　第１のステレオ画像が動画像である場合には、その動画像の各フレームと、３次元オブジェクトとを合成した第２のステレオ画像が生成されることになるため、第２のステレオ画像も動画像となる。この場合には、例えば、３次元仮想空間において、第１のステレオ画像が再生され、また、受け付けられた操作に応じて３次元オブジェクトの配置が変更され、再生されている第１のステレオ画像、及び操作に応じて変更される３次元オブジェクトを含む第２のステレオ画像が生成されてもよい。また、第２のステレオ画像が有する第２の右目用画像及び第２の左目用画像において、第１のステレオ画像の枠（すなわち、外縁）が表示されてもよく、または、そうでなくてもよい。後者の場合には、第１の右目用画像（または、第１の左目用画像）の枠が、第２の右目用画像（または、第２の左目用画像）の枠となるように第２のステレオ画像が生成されてもよい。
　なお、配置部１３、及び生成部１４は、例えば、Ｕｎｉｔｙ（Unity Technologies社）などのリアルタイム３Ｄ開発プラットフォームを用いて実現することもできる。図８Ａ、図８Ｂは、Ｕｎｉｔｙの３次元仮想空間に配置された、第１のステレオ画像と、３次元オブジェクトである手術用の鉗子とを示す図である。図８Ａでは、第１の右目用画像と第１の左目用画像との位置をずらして配置している。例えば、上記（Ａ）の場合には、このように配置されることになる。なお、本来、両画像は同一平面内に存在するが、説明のため両者を少しずらしている。図８Ｂでは、第１の右目用画像及び第１の左目用画像を重ねて配置している。例えば、上記（Ｂ）の場合には、このように配置されることになる。また、生成部１４による画像の生成は、３ＤＣＧにおけるレンダリングの処理として公知であり、その詳細な説明を省略する。なお、そのレンダリング時にテクスチャマッピング等が行われてもよいことは言うまでもない。
　出力部１５は、生成部１４によって生成された第２のステレオ画像を出力する。ここで、この出力は、例えば、ステレオ画像を表示する表示デバイス（例えば、ＨＭＤ、ＶＲヘッドセットなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、上記のように、出力部１５が第２のステレオ画像をＨＭＤ２に出力する場合について主に説明する。なお、出力部１５は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、出力部１５は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
　次に、本実施の形態による画像合成装置１の動作、すなわち画像合成方法について図２のフローチャートを用いて説明する。このフローチャートでは、記憶部１１で記憶されている動画像である第１のステレオ画像に、受付部１２で受け付けられた操作に応じた３次元オブジェクトを合成することによって第２のステレオ画像を生成する場合について説明する。
　（ステップＳ１０１）生成部１４は、第２のステレオ画像を生成するかどうか判断する。そして、第２のステレオ画像を生成する場合には、ステップＳ１０２に進み、そうでない場合には、第２のステレオ画像を生成すると判断するまで、ステップＳ１０１の処理を繰り返す。なお、生成部１４は、例えば、定期的に第２のステレオ画像を生成すると判断してもよい。より具体的には、生成部１４は、第２のステレオ画像のフレーム間の時間間隔ごとに第２のステレオ画像を生成すると判断してもよい。
　（ステップＳ１０２）受付部１２は、３次元オブジェクトの操作を受け付けたかどうか判断する。そして、操作を受け付けた場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１０４に進む。
　（ステップＳ１０３）配置部１３は、受付部１２によって受け付けられた操作に応じて、３次元仮想空間に３次元オブジェクトを配置する。この３次元オブジェクトの配置は、３次元仮想空間に配置されている３次元オブジェクトの配置を変更すること、例えば、３次元オブジェクトの位置や角度、形状等を変更することであってもよい。
　（ステップＳ１０４）生成部１４は、３次元仮想空間において第１の右目用画像を表示し、第１の左目用画像を表示していない状態において、第２の右目用画像を生成し、第１の左目用画像を表示し、第１の右目用画像を表示していない状態において、第２の左目用画像を生成することによって、第２のステレオ画像を生成する。なお、この第２の右目用画像及び第２の左目用画像の生成は、右目用の１個のフレーム及び左目用の１個のフレームを生成することであってもよい。この場合には、ステップＳ１０４の処理が実行されるごとに、３次元仮想空間に配置される第１の右目用画像及び第１の左目用画像が、１フレームずつ変更されてもよい。生成された一対のフレームは、例えば、図示しない記録媒体や記憶部１１で記憶されてもよい。
　（ステップＳ１０５）出力部１５は、ステップＳ１０４で生成された第２のステレオ画像を出力する。この出力は、例えば、右目用の１個のフレーム及び左目用の１個のフレームの出力であってもよい。そして、ステップＳ１０１に戻る。このように、ステップＳ１０１～Ｓ１０５の処理が繰り返されることによって、ＨＭＤ２に第１のステレオ画像と、操作に応じて配置が変更される３次元オブジェクトとを合成した第２のステレオ画像が表示されることになる。
　なお、図２のフローチャートにおいて、例えば、ステップＳ１０１，Ｓ１０４，Ｓ１０５の処理と、ステップＳ１０２、Ｓ１０３の処理とは並列して行われてもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、第１のステレオ画像の撮影、及び第１のステレオ画像と３次元オブジェクトとの合成について具体的に説明する。
　図３は、第１のステレオ画像の撮影について説明するための図である。図３では、右目用カメラ２１ａと左目用カメラ２１ｂとを用いて第１のステレオ画像を撮影している。すなわち、右目用カメラ２１ａによって第１の右目用画像２２ａが撮影され、左目用カメラ２１ｂによって第１の左目用画像２２ｂが撮影される。右目用カメラ２１ａ及び左目用カメラ２１ｂは、通常、同じ仕様のものであり、その結果として、第１の右目用画像２２ａ及び第１の左目用画像２２ｂも同じ画素数の画像となる。図３では、第１のステレオ画像が、光軸が平行となるように配置された一対のカメラ２１ａ、２１ｂによって撮影されるものとする。また、両カメラ２１ａ、２１ｂの光軸は両方とも水平面内にあるものとする。右目用カメラ２１ａの光軸と、及び左目用カメラ２１ｂの光軸との間の距離は、例えば、人間の平均的な瞳孔間距離程度であってもよい。なお、この例では、撮影対象のオブジェクト２０は、中心軸が鉛直方向となるように配置されている円錐であるとする。そして、オブジェクト２０は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂに含まれているものとする。なお、図３は、水平面に垂直な鉛直方向からカメラ２１ａ、２１ｂを見ている状態を示しているため、厳密には、オブジェクト２０は円形状になるはずであるが、説明の便宜上、オブジェクト２０を三角形状に表示している。他の図面においても同様であるとする。
　次に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、３次元仮想空間において、（Ａ）平行な視線方向の前方側にそれぞれ配置する場合、（Ｂ）無限遠に対応する点が重なるように配置する場合のそれぞれについて説明する。
（Ａ）平行な視線方向の前方側にそれぞれ配置する場合
　図４Ａは、３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを平行な視線方向の前方側にそれぞれ配置する場合について説明するための図である。図４Ａにおいて、右目用視点２３ａ及び左目用視点２３ｂが、瞳孔間距離や、ステレオカメラ２１ａ、２１ｂの光軸間の距離程度離れて配置されている。また、矢印で示される視線方向は、平行であり、同じ方向（図４Ａでは上方向）を向いている。なお、図４Ａでは、視線方向が水平面内に存在するものとする。すなわち、図４Ａは、図３と同様に、水平面に垂直な鉛直方向から視点２３ａ、２３ｂや、配置された画像２２ａ、２２ｂを見ているものとする。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂはそれぞれ、右目用視点２３ａ及び左目用視点２３ｂの前方側において、視線方向が画像に直交し、視線方向が画像の中心を向くように配置されている。また、右目用視点２３ａと第１の右目用画像２２ａとの位置関係と、左目用視点２３ｂと第１の左目用画像２２ｂとの位置関係とは同じであるとする。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、同一平面内に含まれるように配置されている。右目用視点２３ａ及び左目用視点２３ｂから、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが含まれる平面までの距離は、例えば、Ｕ／（２ｔａｎ（φ／２））であってもよい。ここで、Ｕは、第１の右目用画像２２ａ及び第１の左目用画像２２ｂの水平方向の長さであり、φは、右目用視点２３ａ及び左目用視点２３ｂの水平方向の画角である。なお、図４Ａでは、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが右側と左側とに離れて配置されている場合について示しているが、両画像は一部が重なるように配置されてもよい（例えば、図８Ａ参照）。
　図４Ａにおいて、第１の右目用画像２２ａが表示されている状態で右目用視点２３ａからの第２の右目用画像が生成され、第１の左目用画像２２ｂが表示されている状態で左目用視点２３ｂからの第２の左目用画像が生成され、それらの第２のステレオ画像がＨＭＤ２に出力されたとする。すると、その第２のステレオ画像を見たユーザには、図４Ａの破線で示されるように、配置されている第１の右目用画像２２ａ及び第１の左目用画像２２ｂの奥側にオブジェクト２０が存在するように見えることになる。
　図４Ａにおいて、ＨＭＤ２を装着しているユーザが、ロボットハンドである３次元オブジェクトをコントローラによって操作して、３次元オブジェクト２５ａで示される位置に配置したとする。すると、図４Ｂで示されるように、ユーザにとっては、ロボットハンドは手前側に見えて、オブジェクト２０は奥側に見えることになる。そのため、ユーザがロボットハンドでオブジェクト２０に触ろうとする場合には、３次元オブジェクトを奥側、すなわち視点から離れる側に移動させる必要がある。そして、ユーザが、コントローラを操作して、３次元オブジェクトを奥側に移動させ、３次元オブジェクト２５ｂで示される位置に配置すると、３次元オブジェクト２５ｂの先端側が、第１の右目用画像２２ａの背面側に位置することになり、視点から見えなくなる。その結果、図４Ｃで示されるように、ユーザには、ロボットハンドの先端側が見えなくなる。第１の右目用画像２２ａは、通常、不透明だからである。なお、図４Ｃでは、ロボットハンドの見えない部分を破線で示している。このように、平行な視線方向の前方側に第１の右目用画像２２ａ及び第１の左目用画像２２ｂをそれぞれ配置する場合には、第１のステレオ画像で表示されるオブジェクト（例えば、オブジェクト２０）と、３次元オブジェクトとの位置関係を調整することが困難になる。すなわち、第２のステレオ画像において、両者を重ねることが困難になる。なお、図４Ｂ、図４Ｃは、ステレオ画像を２次元平面上に示している図であり、実際の第２のステレオ画像とは異なるものである。ステレオ画像を示す他の図についても同様である。
　なお、ここでは、平行な視線方向の前方側に右目用画像及び左目用画像をそれぞれ配置する場合のデメリットについて説明したが、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとが独立している状況、すなわち、両者が関連しない状況においては、上記のようにステレオ画像と３次元オブジェクトとを合成してもデメリットはないことになる。例えば、第１のステレオ画像が、風景の画像であり、３次元オブジェクトが、ユーザの操作に応じてダンスするキャラクタである場合には、風景の前景側においてキャラクタがダンスをすればよいため、この合成方法を用いることができる。
（Ｂ）無限遠に対応する点が重なるように配置する場合
　図５は、ステレオ画像における無限遠に対応する点について説明するための図である。図５で示されるように、右目用撮影位置、左目用撮影位置、画角、及び矢印で示される撮影方向がそれぞれ設定されているとすると、右目用画像及び左目用画像は、それぞれ右目用撮影位置から撮影方向に見える画角の範囲内のオブジェクト等を、図中の仮想平面に投影した画像となる。なお、仮想平面は、撮影方向に垂直な平面である。この場合には、撮影方向の前方側の無限遠に存在する点は、仮想平面上の点α、及び点βの位置に投影されることになる。すなわち、右目用画像の点α、及び左目用画像の点βが、無限遠に対応する点となる。なお、点α、及び点βはそれぞれ、右目用画像と右目用撮影位置から延びる撮影方向とが交わる点、及び左目用画像と左目用撮影位置から延びる撮影方向とが交わる点である。したがって、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を３次元仮想空間に配置する場合には、両者を同じ位置に配置することになる。すなわち、両画像を重ねて配置すればよいことになる。
　図６Ａは、３次元仮想空間において、撮影された第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、無限遠に対応する点が重なるように配置する場合について説明するための図である。図６Ａにおいても、図４Ａと同様に、右目用視点２３ａ及び左目用視点２３ｂは、瞳孔間距離や、ステレオカメラ２１ａ、２１ｂの光軸間の距離程度離れて配置されている。なお、この場合には、矢印で示される視線方向は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂの中心を向いている。また、図６Ａでも、視線方向が水平面内に存在しているものとする。また、図６Ａは、鉛直方向から見た図である。図６Ａで示される第１の右目用画像２２ａ及び第１の左目用画像２２ｂはそれぞれ、図４Ａで示される位置から、画像の面方向に両者が重なるまで、同じ距離だけ移動されたものである。
　図６Ａにおいて、第１の右目用画像２２ａが表示されており、第１の左目用画像２２ｂが表示されていない状態で右目用視点２３ａからの第２の右目用画像が生成され、第１の左目用画像２２ｂが表示されており、第１の右目用画像２２ａが表示されていない状態で左目用視点２３ｂからの第２の左目用画像が生成され、それらの第２のステレオ画像がＨＭＤ２に出力されたとする。すると、その第２のステレオ画像を見たユーザには、図６Ａの破線で示されるように、配置されている第１の右目用画像２２ａ及び第１の左目用画像２２ｂの手前側にオブジェクト２０が存在するように見えることになる。
　図６Ａにおいて、ＨＭＤ２を装着しているユーザが、ロボットハンドである３次元オブジェクトをコントローラによって操作して、３次元オブジェクト２５ｃで示される位置に配置したとする。すると、図６Ｂで示されるように、ユーザにとっては、ロボットハンドがオブジェクト２０の近傍に見えることになる。そのため、上記（Ａ）の状況とは異なり、ユーザがコントローラを操作することによって、ロボットハンドの先端をオブジェクト２０に重ねることができるようになる。このように、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することによって、第１のステレオ画像で表示されるオブジェクト（例えば、オブジェクト２０）と、３次元オブジェクトとの位置関係を容易に調整できるようになる。すなわち、ステレオ画像で表示されるオブジェクトと、３次元オブジェクトとを重ねることができるようになる。これは、無限遠に対応する第１の右目用画像２２ａ上の点と、無限遠に対応する第１の左目用画像２２ｂ上の点とが重なっているため、無限遠に相当する位置が、画像上に存在することになり、３次元オブジェクトを、視点から画像までの範囲内の任意の位置に配置することによって、視点に最も近い位置から無限遠までの任意の位置に配置できるからである。
　次に、第１のステレオ画像が、光軸が交わるように配置された一対のカメラによって撮影される場合について説明する。例えば、手術支援ロボットであるダ・ビンチを用いてステレオ画像を撮影する場合には、光軸が交わるように配置されていることがある。この場合には、図７Ａで示されるように、右目用撮影位置からの矢印で示される撮影方向（すなわち、カメラの光軸）と、左目用撮影位置からの矢印で示される撮影方向とが視線の前方側（すなわち、カメラの前方側）において交わることになる。このように撮影される右目用画像と左目用画像との無限遠に対応する位置は、図中の点α１、及び点β１となる。それらの点は、撮影方向とのなす角度が等しくなるように、右目用撮影位置及び左目用撮影位置から延びる平行な２直線と、右目用画像及び左目用画像との交点である。なお、右目側の状況と、左目側の状況とは対照になっているため、右目用画像において点α１を特定することができれば、左目用画像において点β１を特定することもできるようになる。したがって、以下、右目用画像における点α１の位置の特定について説明する。
　図７Ｂで示されるように、撮影方向と右目用画像との交点から点α１までの距離をＸとし、右目用撮影位置から撮影画像までの距離をＬとし、右目用画像の水平方向の長さをＵとし、水平方向の画角をφとし、撮影方向と、右目用撮影位置と点α１とを結ぶ直線とのなす角度をθとすると、次式が得られる。
　ｔａｎ（φ／２）＝Ｕ／（２Ｌ）
　ｔａｎθ＝Ｘ／Ｌ
　したがって、Ｘは、次式のようになる。
　Ｘ＝Ｕ×ｔａｎθ／（２ｔａｎ（φ／２））
　ここで、φは、撮影で用いるカメラによって決まるため既知である。また、２θが、図７Ａにおける右目側及び左目側の視線方向のなす角度であるため、θも既知である。したがって、図７Ａのように撮影された第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、無限遠に対応する点が重なるように配置する際には、その画像の水平方向の幅であるＵと、θ及びφを用いて上記のようにＸを算出し、第１の右目用画像２２ａにおいて、中心から水平方向にＸだけ離れた点α１と、第１の左目用画像２２ｂにおいて、中心から水平方向にＸだけ離れた点β１とが重なるように両画像を配置すればよいことになる。なお、３次元仮想空間に第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する際には、図７Ｂにおける右目用撮影位置が右目用視点となるようにしてもよい。すなわち、３次元仮想空間に配置された右目用視点及び左目用視点からの距離がＬとなる平面上に、点α１と点β１とが重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置してもよい。ここで、Ｌは、上式から、Ｌ＝Ｕ／（２ｔａｎ（φ／２））となる。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、右目用視点２３ａ及び左目用視点２３ｂを結ぶ線分の中点をとおり、その線分に垂直な平面に対して、対称になるように配置されることが好適である。すなわち、図６Ａのように配置された画像を正面側から見た場合に、第１の右目用画像２２ａを、画像を含む平面内においてＸだけ左側に移動させ、第１の左目用画像２２ｂを、画像を含む平面内においてＸだけ右側に移動させればよいことになる。その結果、図６Ｃで示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されることになる。なお、図６Ｃでは、説明の便宜上、第１の右目用画像２２ａ及び第１の左目用画像２２ｂをずらして表示しているが、実際には、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは同一平面上に存在している。この場合にも、視線方向は、それぞれ対応する画像の中心を向くように設定される。このように、第１のステレオ画像が、光軸が交わるように配置された一対のカメラによって撮影される場合であっても、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を配置することができ、その結果、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係を容易に調整することができるようになる。
　以上のように、本実施の形態による画像合成装置１、及び画像合成方法によれば、３次元仮想空間に第１のステレオ画像の有する第１の右目用画像及び第１の左目用画像と、３次元オブジェクトとを配置し、第１の右目用画像を表示している状態において新たな右目用画像を生成し、第１の左目用画像を表示している状態において新たな左目用画像を生成することによって、第１のステレオ画像と３次元オブジェクトとを合成した第２のステレオ画像を生成することができる。このようにして両者を合成することにより、ステレオ画像に含まれるオブジェクト、及び３次元オブジェクトの両方を立体的に表示することができる第２のステレオ画像を生成できることになる。また、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を配置することによって、ステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係を適切に調整することができるようになる。例えば、ステレオ画像に含まれるオブジェクトに３次元オブジェクトを重ねて表示することができるようになる。また、３次元オブジェクトと、ステレオ画像に含まれるオブジェクトとを重ねる際に、３次元オブジェクトの一部がステレオ画像の背面側に位置することによって見えなくなる事態を回避することもできる。
　なお、本実施の形態では、第１及び第２のステレオ画像が動画像である場合について主に説明したが、そうでなくてもよい。第１及び第２のステレオ画像は静止画であってもよい。この場合には、静止画である第１のステレオ画像に、操作に応じて配置された３次元オブジェクトが合成された静止画である第２のステレオ画像が生成されることになる。
　次に、本実施の形態による画像合成装置１の利用例について説明する。
　第１のステレオ画像は、熟練者の動作を撮影した動画像であり、３次元オブジェクトは、熟練者が用いている器具等に相当するものであり、その３次元オブジェクトを操作するユーザは、熟練者の動作を真似る初心者であってもよい。この場合には、熟練者の動作を示す第１のステレオ画像に、初心者が操作する３次元オブジェクトを合成した第２のステレオ画像が生成されることになる。より具体的には、熟練者の動作は、手術の動作であってもよく、スポーツにおけるプレーの動作や、楽器の演奏などにおける動作であってもよい。また、３次元オブジェクトは、例えば、手術で用いられる鉗子などの器具や、スポーツで用いられる野球のバット、ゴルフのクラブ、テニスやバドミントン、卓球のラケット等の器具、音楽の演奏で用いる楽器などであってもよい。このようにして、初心者が熟練者の動作を真似ることができ、手術やスポーツのプレー、楽器の演奏などについて練習できるようになる。この場合には、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
　第１のステレオ画像は、俳優や女優、歌手など人間の動画像であり、３次元オブジェクトは、ユーザの手などであり、ユーザが３次元オブジェクトである手などを操作することによって、仮想空間上で俳優などと握手をできるようになっていてもよい。この場合には、第２のステレオ画像は、俳優などの人間と、ユーザが操作する３次元オブジェクトである手などとを合成したものとなる。このようにして、ユーザは、例えば、有名人と握手をすることができるようになる。この場合にも、第１のステレオ画像に含まれる有名人等の手の位置に、ユーザの手に相当する３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
　第１のステレオ画像は、建物の内部の撮影画像やＣＧなどの静止画であり、３次元オブジェクトは家具であり、ユーザが、その家具を操作することによって、家具の配置を変更し、建物の内部に配置された家具の状況を示す第２のステレオ画像が生成されてもよい。ユーザは、この第２のステレオ画像によって、家具の配置後の状況を立体的に見ることができるようになる。この場合にも、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
　第１のステレオ画像は、工事現場や、修理現場などの実空間にいるユーザが装着しているステレオカメラによって撮影された動画像であり、３次元オブジェクトは、熟練者が第１のステレオ画像上の位置を示すポインタや、実空間で使用される器具に相当するオブジェクトであり、第２のステレオ画像は、実空間の第１のステレオ画像に、３次元オブジェクトが合成されたものであってもよい。その第２のステレオ画像を、熟練者及び実空間にいるユーザが見てもよい。熟練者は、３次元オブジェクトを操作することによって、実空間のユーザに指示を出したり、実空間のユーザが実行すべきことを、３次元オブジェクトを用いて実演したりすることができる。また、実空間にいるユーザは、熟練者によって操作された３次元オブジェクトを含む第２のステレオ画像を見て、作業を行うことによって、実空間において適切な作業を行うことができるようになる。この場合には、画像合成装置１は、第１のステレオ画像をリアルタイムで受け付け、第２のステレオ画像をリアルタイムで出力してもよい。この場合にも、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
　なお、ここではいくつかの利用例について示したが、第１のステレオ画像と３次元オブジェクトとを合成する他の例について画像合成装置１を利用できることは明らかであり、上記以外の状況で画像合成装置１が利用されてもよいことは言うまでもない。
　また、画像合成装置１では、第１のステレオ画像に含まれるオブジェクトと、受付部１２によって受け付けられる操作に応じて配置される３次元オブジェクトとの位置関係に関する判定を行ってもよい。位置関係に関する判定は、例えば、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとが当たっているかどうかを判定する当たり判定であってもよく、両者が重なっているかどうかを判定する重なり判定であってもよく、両者の位置関係に関するその他の判定であってもよい。この場合には、画像合成装置１は、図９で示されるように、判定部１６をさらに備えてもよい。また、この場合には、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係の調整が重要になるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
　判定部１６は、３次元仮想空間に配置された第１の右目用画像及び第１の左目用画像から、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定する。この位置の特定は、例えば、第１の右目用画像及び第１の左目用画像の対応点を特定し、３次元仮想空間における対応点の位置と、右目用視点及び左目用視点の位置とを用いて行われてもよい。例えば、第１の右目用画像及び第１の左目用画像の一対の対応点に相当する３次元仮想空間における位置は、３次元仮想空間において、第１の右目用画像の対応点と右目用視点とを結ぶ直線と、第１の左目用画像の対応点と左目用視点とを結ぶ直線との交点の位置となってもよい。なお、誤差等によって両直線が交わらない場合には、両直線間の距離が最も近くなる両直線上の位置の中点を、第１の右目用画像及び第１の左目用画像の一対の対応点に相当する３次元仮想空間における位置としてもよい。なお、このように、ステレオ画像上の対応点に相当する３次元空間上の点を特定する処理はすでに公知であり、その詳細な説明を省略する。判定部１６は、このような処理を第１のステレオ画像の各対応点について行うことによって、第１の右目用画像及び第１の左目用画像に含まれる各ピクセルに相当する３次元仮想空間における位置を特定することができる。なお、このようにして特定された位置は、通常、３次元仮想空間において面を構成することになる。ステレオ画像では、背面側の構造まではわからないからである。また、判定部１６は、第１のステレオ画像において輪郭抽出等を行うことによって画像に含まれるオブジェクトを特定し、特定したオブジェクトごとに位置の特定を行ってもよい。
　第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定すると、判定部１６は、その特定した位置と、３次元仮想空間における３次元オブジェクトの位置との関係に関する判定を行う。この判定は、当たり判定、及び、重なり判定の少なくとも一方であってもよい。判定部１６は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される面と、３次元仮想空間における３次元オブジェクトの少なくとも一部とが重なっている場合に、両者が当たっていると判定してもよい。また、判定部１６は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される少なくとも一部の面と、３次元仮想空間における３次元オブジェクトの少なくとも一部の面とが重なっている場合に、両者が重なっていると判定してもよい。この場合には、例えば、重なりの程度を示す指標が取得されてもよい。その指標は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される面と、３次元仮想空間における３次元オブジェクトの面との重なりが最も多くなった場合の重なりを１００％とした、重なりの程度を示す指標であってもよい。
　出力部１５は、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係に関する判定部１６による判定結果に関する出力をも行ってもよい。その出力は、例えば、当たり判定の結果や、重なり判定の結果の出力であってもよく、当たり判定の結果によって両者が当たっていることが示される場合に、両者が当たっていることを示す出力であってもよく、重なり判定の結果によって両者が重なっていることが示される場合に、両者が重なっていることを示す出力や、その重なりの程度を示す指標の出力であってもよい。より具体的には、出力部１５は、第２のステレオ画像に、判定結果に応じた表示を重畳して出力してもよく、判定結果に応じて、ユーザが操作しているコントローラを振動させてもよく、判定結果に応じた音を出力してもよく、判定結果に応じたその他の出力を行ってもよい。例えば、図６Ｂで示されるようにユーザが３次元オブジェクトであるロボットアームを操作しており、そのロボットアームが、第１のステレオ画像に含まれる円錐形状のオブジェクトに当たった時に、両者が当たったことを示す表示（例えば、画面全体の点滅等）や、両者が当たったことを示す振動出力や音出力が行われてもよい。また、例えば、図８Ａ，図８Ｂで示されるようにユーザが３次元オブジェクトである鉗子を操作しており、その鉗子が、模擬手術の映像である第１のステレオ画像に含まれる鉗子に重なった時に、両者が重なったことを示す表示（例えば、重なったこと示す図形の表示等）や、両者の重なりの程度を示す指標の出力が行われてもよい。このように、第１のステレオ画像に含まれるオブジェクトの位置と、３次元オブジェクトの位置との関係に関する判定が行われることによって、３次元オブジェクトを操作しているユーザは、例えば、３次元オブジェクトの位置を確認することができ、３次元オブジェクトを適切に操作できているかどうかを知ることができるようになる。
　なお、上記（Ｂ）では、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する場合について説明したが、そうでなくてもよい。例えば、３次元オブジェクトが視点から所定の距離だけ離れた位置より手前側（すなわち、視点側）に存在する場合には、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、３次元仮想空間において、その所定の距離に対応する点が重なるように配置されてもよい。例えば、図１０において、破線で示される第１の右目用画像２２ａ－１及び第１の左目用画像２２ｂ－１が、無限遠に対応する点が重なるように３次元仮想空間に配置されているとすると、図１０の第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２で示されるように、第１の右目用画像２２ａ－１及び第１の左目用画像２２ｂ－１がそれらの面方向にそれぞれ矢印で示される方向に同じ距離だけ移動されて配置されてもよい。より具体的には、第１の右目用画像２２ａ－２は、第１の右目用画像２２ａ－１から右側に移動され、第１の左目用画像２２ｂ－２は、第１の左目用画像２２ｂ－１から左側に移動されてもよい。そして、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２では、視点２３ａ，２３ｂからＮメートル離れた位置に対応する点が重なるように３次元仮想空間に配置されているものとする。ここで、Ｎは、正の実数である。また、図１０でも、視線方向が水平面内に存在しており、鉛直方向から見た状況を示しているものとする。図１１、図１２も同様であるとする。また、配置される位置ごとに第１の右目用画像２２ａ－１，２２ａ－２などのように異なる符号を用いているが、特に位置を区別しない場合には、第１の右目用画像２２ａと呼ぶこともある。第１の左目用画像２２ｂについても同様である。
　なお、視点２３ａ，２３ｂからＮメートル離れた位置に対応する点が重なるように第１のステレオ画像を配置するとは、例えば、第１のステレオ画像の撮影時にカメラからＮメートル先に存在する物体が重なるように、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２が配置されることであってもよい。なお、第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおけるＮメートル離れた位置に対応する点は、例えば、視差、ステレオカメラの焦点距離、ステレオカメラのカメラ間の距離を用いて特定されてもよい。その距離は、例えば、視点２３ａ，２３ｂを結ぶ直線との距離であってもよい。また、Ｎメートルは、例えば、ユーザによって指定されてもよい。例えば、受付部１２によって、Ｎメートルを示す情報が受け付けられ、それに応じて、３次元仮想空間において、Ｎメートル離れた位置に対応する点が重なるように第１のステレオ画像が配置されておよい。この配置は、例えば、配置部１３によって行われてもよい。この場合に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおけるＮメートルだけ離れた位置に対応する点は、例えば、視差や、焦点距離、視点間の距離を用いて特定されてもよく、その他の方法によって特定されてもよい。また、例えば、距離と、その距離だけ離れた位置に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する際の両画像の重なりの程度とを対応付ける情報が記憶部１１で記憶されている場合には、その情報を用いて、Ｎメートルに対応する両画像の重なりの程度を取得し、その重なりの程度となるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂが重なるように配置されてもよい。また、図１０において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂのそれぞれにおいて、無限遠に対応する点（すなわち、画像の中心点）の位置を、黒丸で示している。また、本来、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２は同一平面上（すなわち、図中では同一直線上）に存在するが、説明のため両者を上下に少しずらしている。これらのことは、図１１、図１２においても同様であるとする。
　図１０で示される第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２のように第１のステレオ画像が配置された場合には、３次元仮想空間において、第１のステレオ画像に含まれる、視点からＮメートルまでのオブジェクトはすべて、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２の手前側において立体的に見えることになる。したがって、第１のステレオ画像に含まれるＮメートルまでの距離のオブジェクトを、３次元オブジェクトで触ろうとする場合にも、３次元オブジェクトの少なくとも一部が第１のステレオ画像の奥側に位置して見えなくなる事態を回避することができる。このように、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することに代えて、所定の距離に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置するようにしてもよい。所定の距離は、例えば、有限の距離であってもよい。
　また、図１１で示されるように、第１の右目用画像２２ａ－２，２２ａ－３，２２ａ－４はそれぞれ、右目用視点２３ａからの画角が変わらないように配置されている。なお、図１１から明らかなように、視点を基準としてより奥側に配置される第１の右目用画像２２ａ－３は、手前側に配置される第１の右目用画像２２ａ－２よりも大きい画像であり、また、奥側に配置される第１の右目用画像２２ａ－４は、手前側に配置される第１の右目用画像２２ａ－３よりも大きい画像である。なお、各画像は、縦横比が変わらないように、大きさが変化されることが好適である。第１の左目用画像２２ｂ－２，２２ｂ－３，２２ｂ－４についても同様であるとする。また、図１１では、視点２３ａ，２３ｂと、各画像の無限遠に対応する点とを結ぶ直線２６ａ，２６ｂを一点鎖線で示している。そして、第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２では所定の距離（例えば、Ｎメートル）に対応する点が重なっており、第１の右目用画像２２ａ－３及び第１の左目用画像２２ｂ－３では無限遠に対応する点が重なっており、第１の右目用画像２２ａ－４及び第１の左目用画像２２ｂ－４では重なる点は存在しないことになる。このように、右目用視点２３ａと第１の右目用画像２２ａの無限遠に対応する点とを結ぶ第１の直線２６ａと、左目用視点２３ｂと第１の左目用画像２２ｂの無限遠に対応する点とを結ぶ第２の直線２６ｂとが交わるように、３次元仮想空間において第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されている場合には、３次元仮想空間において、無限遠に対応する点または所定の距離に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することと同じ状況を、それらとは異なる第１の右目用画像２２ａ及び第１の左目用画像２２ｂの配置によって実現することもできるようになる。したがって、第１の直線２６ａと第２の直線２６ｂとが交わるように、３次元仮想空間において第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されてもよい。この場合であっても、例えば、第１のステレオ画像に含まれるオブジェクトであって、受付部１２によって受け付けられる操作に応じて配置される３次元オブジェクトによって触れられたり、重ねられたりするオブジェクトが、第１の右目用画像２２ａ及び第１の左目用画像２２ｂよりも手前側において立体的に表示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが３次元仮想空間において配置されることが好適である。例えば、３次元オブジェクトによって触れられたり、重ねられたりするオブジェクトまでの距離がＮメートル未満である場合には、３次元仮想空間において、Ｎメートルに対応する点、または、Ｎメートルを超える距離に対応する点が重なるように、第１のステレオ画像が配置されてもよく、または、第１の右目用画像２２ａ－４及び第１の左目用画像２２ｂ－４のように、第１及び第２の直線２６ａ，２６ｂの交点よりも奥側（すなわち、視点から遠い側）に第１のステレオ画像が配置されてもよい。
　次に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、面方向に移動させた場合の効果について説明する。図１２において、第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２と、それらをそれぞれ右向きの矢印の方向及び左向きの矢印の方向に同じ距離だけ移動させた第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５とを示している。第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２の無限遠に対応する点と、視点２３ａ，２３ｂとをそれぞれ結ぶ直線２６ａ，２６ｂの交点は点３１ａとなり、第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５の無限遠に対応する点と、視点２３ａ，２３ｂとそれぞれを結ぶ直線２６ａ，２６ｂの交点は点３１ｂとなる。点３１ａ，３１ｂは、それぞれ３次元仮想空間に配置された第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２に対応する無限遠の位置、及び第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５に対応する無限遠の位置となる。したがって、第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２のように第１のステレオ画像が配置された際には、ユーザには、視点２３ａ，２３ｂと点３１ａとの間に、第１のステレオ画像に含まれるすべてのオブジェクトが存在するように見えることになる。また、第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５のように第１のステレオ画像が配置された際には、ユーザには、視点２３ａ，２３ｂと点３１ｂとの間に、第１のステレオ画像に含まれるすべてのオブジェクトが存在するように見えることになる。したがって、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを重なりが減る方向にまたは両画像が離れる方向に移動させることによって、第１のステレオ画像に含まれるオブジェクトの表示範囲の奥行きがより長くなることになる。一方、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを重なりが増える方向にまたは両画像が近づく方向に移動させることによって、第１のステレオ画像に含まれるオブジェクトの表示範囲の奥行きがより短くなることになる。そのため、例えば、第１のステレオ画像に含まれるいろいろなオブジェクトに、操作対象の３次元オブジェクトを重ねたい場合などには、第１のステレオ画像に含まれるオブジェクトの表示範囲の奥行きがより短くなるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置してもよい。このような配置により、第１のステレオ画像に含まれるいろいろなオブジェクトに３次元オブジェクトを重ねる際の３次元オブジェクトの移動量を少なくすることができる。例えば、受付部１２は、視点２３ａ，２３ｂから、直線２６ａ，２６ｂの交点までの距離の変更を指示する情報を、ユーザから受け付けてもよい。そして、配置部１３は、その受け付けられた情報に応じて、直線２６ａ，２６ｂの交点の位置が変更されるように、第１の右目用画像２２ａ及び第１の左目用画像の配置を変更してもよい。このようにして、例えば、ユーザからの入力に応じて、第１のステレオ画像の奥行きを変更することもできるようになる。直線２６ａ，２６ｂが交わるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することによって、このように第１のステレオ画像の奥行き感を調整することもできるようになる。
　次に、第１のステレオ画像に含まれるオブジェクトの距離に応じて、３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置される場合について説明する。この場合には、画像合成装置１は、図１３で示されるように、特定部１７をさらに備えてもよい。なお、図９を用いて説明したように、図１３で示される画像合成装置１も、判定部１６をさらに備え、出力部１５は、その判定部１６による判定結果に関する出力をも行ってもよい。
　特定部１７は、第１のステレオ画像に含まれる所定のオブジェクトの距離を特定する。この距離は、例えば、所定のオブジェクトに関する第１の右目用画像２２ａと第１の左目用画像２２ｂとにおける視差、カメラ２１ａ、２１ｂの焦点距離、カメラ２１ａ、２１ｂ間の距離等を用いて算出されてもよい。このように、第１のステレオ画像に含まれる距離の計測対象のオブジェクトが決まれば、そのオブジェクトまでの距離を算出することができる。なお、その算出された距離は、例えば、３次元仮想空間における距離に換算されて後段の処理で用いられてもよい。
　距離の計測対象のオブジェクトは、例えば、第１のステレオ画像に含まれるすべてのオブジェクトであってもよい。この場合には、例えば、特定部１７は、第１のステレオ画像に含まれる各オブジェクトを特定し、その特定した各オブジェクトについてそれぞれ距離を特定してもよい。オブジェクトの特定は、例えば、輪郭抽出や、画像セグメンテーションなどによって行われてもよい。なお、特定部１７は、例えば、第１のステレオ画像に含まれる空や道路などの背景は、オブジェクトとして特定しなくてもよい。
　また、距離の計測対象のオブジェクトは、例えば、ユーザによって指定されたオブジェクトであってもよい。この場合には、受付部１２は、そのオブジェクトを指定する情報を受け付けてもよい。そして、受付部１２によって受け付けられた情報によって指定されるオブジェクトが、距離の計測対象のオブジェクトとなってもよい。オブジェクトを指定する情報は、例えば、画像におけるオブジェクトの位置を指定する情報であってもよく、オブジェクトの種類を指定する情報（例えば、「手」や「ボール」など）であってもよい。オブジェクトの位置の指定は、例えば、点状の位置の指定や、矩形状の領域の指定によって行われてもよい。また、オブジェクトの種類を指定する情報の受け付けは、例えば、キーボードなどの入力デバイスからの受け付けであってもよく、記録媒体からの情報の読み出しであってもよく、マイクなどから入力された音声に関する音声認識結果の受け付けであってもよく、オブジェクトの種類を指定するその他の情報の受け付けであってもよい。この場合には、受付部１２は、例えば、複数種類の受け付け、すなわち、３次元オブジェクトの操作の受け付けと、オブジェクトを指定する情報の受け付けとを行うものであってもよい。
　オブジェクトを指定する情報がオブジェクトの位置を指定する情報である場合には、特定部１７は、例えば、その指定された位置に表示されているオブジェクトを特定し、その特定したオブジェクトの距離を特定してもよく、または、その指定された位置に対応する第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおける位置を特定し、その特定した位置に関する距離を特定してもよい。また、オブジェクトを指定する情報がオブジェクトの種類を特定する情報である場合には、特定部１７は、例えば、その種類のオブジェクトを第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおいて特定し、その特定したオブジェクトの距離を特定してもよい。受け付けられた種類のオブジェクトを特定する方法としては、例えば、パターンマッチングによって、画像中のオブジェクトの位置を特定する方法や、画像セグメンテーションによって特定した画像の各画素に対応する種類から、受け付けられた種類の領域を特定する方法、物体検出によって、受け付けられた種類のオブジェクトに関する画像中の領域を特定する方法などが用いられてもよい。
　オブジェクトを指定する情報がオブジェクトの位置を指定する情報である場合には、例えば、その位置の指定されたフレームにおいて、距離の特定が行われてもよい。また、オブジェクトを指定する情報がオブジェクトの種類を指定する情報である場合には、距離の計測対象のオブジェクトの特定は、例えば、第１のステレオ画像が動画像である場合に、特定のフレームについて行われてもよく、または、複数のフレームについて繰り返して行われてもよい。前者の場合には、例えば、第２のステレオ画像である動画の出力中に、受付部１２によって所定のオブジェクトを指定する情報が受け付けられた際に、その時点のフレームについてオブジェクトの特定が行われてもよい。また、後者の場合、すなわち複数のフレームについてオブジェクトの特定が行われる場合には、例えば、所定の間隔のフレームごとにオブジェクトの特定が行われてもよい。なお、第１のステレオ画像がリアルタイムで受け付けられ、その受け付けられた第１のステレオ画像を用いて第２のステレオ画像がリアルタイムで生成される場合には、例えば、オブジェクトの特定もリアルタイムで行われてもよい。一方、第１のステレオ画像があらかじめ記憶部１１で記憶されている場合には、例えば、オブジェクトの特定は、第２のステレオ画像が生成されるまでにあらかじめ行われてもよい。
　３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、特定部１７によって特定された最も長い距離を超える距離に対応する点が重なるように配置されてもよい。このようにすることで、特定部１７によって特定されたオブジェクトが、３次元仮想空間において、第１のステレオ画像よりも手前側に表示されることになり、例えば、そのオブジェクトに３次元オブジェクトを重ねることができるようになる。なお、複数のオブジェクトの距離が特定された場合には、複数の距離のうち、最も長い距離を超える距離に対応する点が重なるように第１のステレオ画像が配置されることが好適である。また、複数のフレームについてオブジェクトの距離が特定された場合には、例えば、特定された距離のうち、最も長い距離を超える距離に対応する点が重なるように第１のステレオ画像が配置されることが好適である。なお、特定された最も長い距離を超える距離は、例えば、特定された最も長い距離に、あらかじめ決められた距離を加算した距離であってもよい。加算対象であるあらかじめ決められた距離は、例えば、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねるための操作を行う際に発生し得る両オブジェクトの位置ずれ以上の長さであってもよい。このようにすることで、そのような位置ずれが発生したとしても、３次元オブジェクトが第１のステレオ画像の背面側に位置することを回避できる。なお、このような第１のステレオ画像の配置は、例えば、配置部１３によって行われてもよい。
　なお、特定部１７を用いることなく、３次元オブジェクトが第１の右目用画像２２ａ及び第１の左目用画像２２ｂの背面側に位置することを回避するようにしてもよい。この場合には、所定の距離に対応する点が重なるように、第１のステレオ画像が３次元仮想空間に配置されている際に、操作対象の３次元オブジェクトまでの距離が、その所定の距離に近づいたとき（すなわち、３次元オブジェクトが第１のステレオ画像に近づいたとき）に、配置部１３は、その所定の距離を増やして第１のステレオ画像を配置してもよい。例えば、視点２３ａ，２３ｂから３次元オブジェクトまでの距離に、あらかじめ決められた距離を加算した距離が、その所定の距離になった場合に、配置部１３は、その所定の距離よりも長い距離に対応する点が重なるように、第１のステレオ画像を３次元仮想空間において再配置してもよい。所定の距離よりも長い距離は、例えば、所定の距離に、既定の距離を加算した距離であってもよい。なお、配置部１３は、例えば、第２のステレオ画像の生成や出力が行われている際に、リアルタイムで第１のステレオ画像の再配置を行ってもよい。そのため、第１のステレオ画像の再配置は、例えば、３次元オブジェクトの操作に応じて繰り返して行われてもよい。
　第１のステレオ画像の再配置の方法として、例えば、図１１に示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、視点２３ａ，２３ｂからの画角を変えることなく、奥側に移動させる方法と、図１２に示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、視点２３ａ，２３ｂからの距離を変えることなく、画像の面方向に移動させる方法とがある。後者の場合には、第１のステレオ画像の配置を変えることによって、第１のステレオ画像に含まれるオブジェクトの奥行き感が変化することになり、それに伴って、３次元仮想空間に配置されている３次元オブジェクトの合成位置も変化することになる。そのため、それらの変化を生じさせない観点からは、図１１に示されるように画角を変えることなく第１のステレオ画像の配置位置を奥側に移動させる方法によって第１のステレオ画像を再配置することが好適である。なお、第１のステレオ画像のより短い距離の移動によって、３次元オブジェクトが第１のステレオ画像の背面側に位置しないようにすることができるのは、直線２６ａ，２６ｂが交わるように第１のステレオ画像が配置されているからである。したがって、この場合にも、直線２６ａ，２６ｂが交わるように第１のステレオ画像が再配置されることが好適である。
　なお、第１のステレオ画像を再配置することによって、３次元オブジェクトが第１のステレオ画像の背面側に位置することを回避する場合には、例えば、配置部１３は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが、所定の距離に対応する点が重なるように３次元仮想空間に配置されているときに、３次元オブジェクトの位置に応じて、その所定の距離を長くするための第１のステレオ画像の再配置のみを行い、３次元オブジェクトの位置が視点２３ａ，２３ｂに近づいたとしても、その所定の距離を短くするための第１のステレオ画像の再配置は行わなくてもよい。
　また、第１の直線２６ａと第２の直線２６ｂとが交わるように、３次元仮想空間において第１のステレオ画像を配置することや、３次元仮想空間において、所定の距離に対応する点が重なるようにステレオ画像を配置すること、その所定の距離が、特定部１７によって特定された最も長い距離を超えるようにすること、または、３次元オブジェクトが第１のステレオ画像に近づいた場合に、第１のステレオ画像を再配置することなどは、例えば、光軸が交わるように配置された一対のカメラによって撮影された第１のステレオ画像について行われてもよいことは言うまでもない。
　また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
　また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。
　また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。
　また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
　また、上記実施の形態において、画像合成装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。
　また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における画像合成装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータに、３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、右目用視点と第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間に、受け付けられた操作に応じた３次元オブジェクトを配置するステップと、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、第２のステレオ画像を出力するステップとを実行させるためのプログラムである。
　なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
　また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ－ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
　また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。
　図１４は、上記プログラムを実行して、上記実施の形態による画像合成装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
　図１４において、コンピュータシステム９００は、ＣＤ－ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
　図１５は、コンピュータシステム９００の内部構成を示す図である。図１５において、コンピュータ９０１は、ＣＤ－ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。
　コンピュータシステム９００に、上記実施の形態による画像合成装置１の機能を実行させるプログラムは、ＣＤ－ＲＯＭ９２１に記憶されて、ＣＤ－ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ－ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ－ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。
　プログラムは、コンピュータ９０１に、上記実施の形態による画像合成装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
　また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

Claims (13)

  1. 第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、
    ３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、
    右目用視点と前記第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と前記第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間に、前記受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、
    前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、
    前記第２のステレオ画像を出力する出力部と、を備えた画像合成装置。
  2. 前記３次元仮想空間では、所定の距離に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される、請求項１記載の画像合成装置。
  3. 前記第１のステレオ画像に含まれる所定のオブジェクトの距離を特定する特定部をさらに備え、
    前記所定の距離は、前記特定部によって特定された最も長い距離を超えている、請求項２記載の画像合成装置。
  4. 前記所定のオブジェクトは、前記第１のステレオ画像に含まれるすべてのオブジェクトである、請求項３記載の画像合成装置。
  5. 前記受付部は、前記所定のオブジェクトを指定する情報をも受け付け、
    前記所定のオブジェクトは、前記受付部によって受け付けられた情報によって指定されるオブジェクトである、請求項３記載の画像合成装置。
  6. 前記配置部は、前記３次元オブジェクトまでの距離が前記所定の距離に近づいた場合には、前記所定の距離を増やして前記第１のステレオ画像を配置する、請求項２記載の画像合成装置。
  7. 前記３次元仮想空間では、無限遠に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される、請求項１記載の画像合成装置。
  8. 前記第１のステレオ画像は、光軸が平行となるように配置された一対のカメラによって撮影されたものである、請求項１から請求項７のいずれか記載の画像合成装置。
  9. 前記第１のステレオ画像は、光軸が交わるように配置された一対のカメラによって撮影されたものである、請求項１から請求項７のいずれか記載の画像合成装置。
  10. 前記第１のステレオ画像、及び前記第２のステレオ画像は動画像である、請求項１から請求項９のいずれか記載の画像合成装置。
  11. 前記３次元仮想空間に配置された前記第１の右目用画像及び前記第１の左目用画像から、前記第１のステレオ画像に含まれるオブジェクトの前記３次元仮想空間における位置を特定し、当該特定した位置と、前記３次元オブジェクトの位置との関係に関する判定を行う判定部をさらに備え、
    前記出力部は、前記判定部による判定結果に関する出力をも行う、請求項１から請求項１０のいずれか記載の画像合成装置。
  12. ３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、
    第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像が、右目用視点と前記第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と前記第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように配置される３次元仮想空間に、前記受け付けられた操作に応じた３次元オブジェクトを配置するステップと、
    前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、
    前記第２のステレオ画像を出力するステップと、を備えた画像合成方法。
  13. 第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータに、
    ３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、
    右目用視点と前記第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と前記第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間に、前記受け付けられた操作に応じた３次元オブジェクトを配置するステップと、
    前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、
    前記第２のステレオ画像を出力するステップとを実行させるためのプログラム。
PCT/JP2021/048501 2020-12-28 2021-12-27 画像合成装置、画像合成方法、及びプログラム WO2022145414A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202180093703.1A CN116917951A (zh) 2020-12-28 2021-12-27 图像合成装置、图像合成方法、以及程序

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020218293A JP6959682B1 (ja) 2020-12-28 2020-12-28 画像合成装置、画像合成方法、及びプログラム
JP2020-218293 2020-12-28
JP2021-169080 2021-10-14
JP2021169080A JP7044426B1 (ja) 2021-10-14 2021-10-14 画像合成装置、画像合成方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022145414A1 true WO2022145414A1 (ja) 2022-07-07

Family

ID=82260774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048501 WO2022145414A1 (ja) 2020-12-28 2021-12-27 画像合成装置、画像合成方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2022145414A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10188034A (ja) * 1996-12-28 1998-07-21 Olympus Optical Co Ltd 立体画像生成装置および距離演算装置
JP2002044683A (ja) * 2000-07-19 2002-02-08 Yasushi Haruta 立体画像用ビデオカメラおよび立体画像再生装置
JP2003107603A (ja) * 2001-09-28 2003-04-09 Namco Ltd 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
JP2012216077A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 拡張現実感提供装置及び仮想物体の重畳方法
JP2014505917A (ja) * 2010-12-03 2014-03-06 クゥアルコム・インコーポレイテッド ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10188034A (ja) * 1996-12-28 1998-07-21 Olympus Optical Co Ltd 立体画像生成装置および距離演算装置
JP2002044683A (ja) * 2000-07-19 2002-02-08 Yasushi Haruta 立体画像用ビデオカメラおよび立体画像再生装置
JP2003107603A (ja) * 2001-09-28 2003-04-09 Namco Ltd 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
JP2014505917A (ja) * 2010-12-03 2014-03-06 クゥアルコム・インコーポレイテッド ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ
JP2012216077A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 拡張現実感提供装置及び仮想物体の重畳方法
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
JP7007396B2 (ja) 拡張現実データを記録するための手法
EP3051525B1 (en) Display
CN106843456B (zh) 一种基于姿态追踪的显示方法、装置和虚拟现实设备
JP4917664B1 (ja) 画像表示装置、ゲームプログラム、ゲーム制御方法
WO2018224847A2 (en) Mixed reality gaming system
WO2017147178A1 (en) Separate time-warping for a scene and an object for display of virtual reality content
WO2017131970A1 (en) Methods and systems for navigation within virtual reality space using head mounted display
JP2018523326A (ja) 全球状取込方法
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
JP5675260B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
US20120306860A1 (en) Image generation system, image generation method, and information storage medium
JP2007536608A (ja) 水平遠近法ハンズオン・シミュレータ
WO2018151038A1 (ja) 画像生成装置および画像生成方法
JP4624582B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
JP2012088777A (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
JP7044426B1 (ja) 画像合成装置、画像合成方法、及びプログラム
JP4624587B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
JP2012106005A (ja) 画像表示装置、ゲームプログラム、ゲーム制御方法
JP2012141820A (ja) プログラム、情報記憶媒体、画像生成システム及びサーバシステム
WO2007129476A1 (ja) 画像処理プログラムおよび画像処理装置
JP2016192029A (ja) 画像生成システム及びプログラム
WO2022145414A1 (ja) 画像合成装置、画像合成方法、及びプログラム
JP6959682B1 (ja) 画像合成装置、画像合成方法、及びプログラム
JP2020184150A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180093703.1

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21915274

Country of ref document: EP

Kind code of ref document: A1