WO2011121920A1 - 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 - Google Patents

撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 Download PDF

Info

Publication number
WO2011121920A1
WO2011121920A1 PCT/JP2011/001555 JP2011001555W WO2011121920A1 WO 2011121920 A1 WO2011121920 A1 WO 2011121920A1 JP 2011001555 W JP2011001555 W JP 2011001555W WO 2011121920 A1 WO2011121920 A1 WO 2011121920A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
imaging
optical systems
virtual viewpoint
subject
Prior art date
Application number
PCT/JP2011/001555
Other languages
English (en)
French (fr)
Inventor
平野　純
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/579,729 priority Critical patent/US9167134B2/en
Priority to CN201180016549.4A priority patent/CN102823231B/zh
Priority to JP2012508053A priority patent/JP5607146B2/ja
Priority to EP11762173.0A priority patent/EP2555506B1/en
Publication of WO2011121920A1 publication Critical patent/WO2011121920A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Definitions

  • the present invention relates to an imaging control device that captures an image to be fused by a user, an immersive position information generating device, an imaging control method, and an immersive position information generating method.
  • the stereo effect adjustment mechanism allows the drive motor to match the crossing position of the optical axes of the left and right video cameras with the position of the subject, or from the zoom magnification information, the left and right shooting optical systems of the stereoscopic image shooting device
  • the base line length and the convergence angle are controlled to create appropriate binocular parallax (see Patent Documents 1 to 4).
  • a value obtained by multiplying the baseline length before zoom magnification variation by the inverse of the zoom magnification variation is set as a new baseline length, and the intersection of the optical axes of the left and right imaging optical systems is set to the same position as before the baseline length variation. It is disclosed that the convergence angle is set so as to suppress the shift amount so as not to be substantially different from that before zoom variation, thereby promoting natural fusion of the observer's stereoscopic image (see Patent Document 5).
  • natural fusion means that an observer recognizes a right-eye video and a left-eye video as a three-dimensional video.
  • the adjustment method described above which was effective at the time of shooting a 3D image in middle / short-distance shooting, may not be desirable when used as a broadcasting image for medium / long-distance shooting.
  • CG computer graphics
  • an observer's parallax from an arbitrary viewpoint can be set when rendering an image with parallax.
  • the zoom is as if the observer was approaching the target object (hereinafter referred to as immersive zoom for distinction, including the reverse operation when zooming out). Is also possible.
  • immersive zoom is a zoom method that changes the parallax as well as zooming that only enlarges the normal image so that the viewer is closer to or closer to the actual state. means. In other words, there is a difference in expression that the observer looks closer to the object (feeling accompanying the movement of the viewpoint) compared to the zoom that enlarges a distant solid (feeling as if looking through binoculars).
  • the convergence angle should increase as the object is approached in the real environment, but as shown by the broken line in FIG. 11, the image obtained by the enlarged zoom is not so and the convergence angle changes. Since there is nothing or a small size, there is a problem that the observer feels uncomfortable with the visual information different from the usual sense and makes fusion difficult. At the time of reproduction, the viewpoint position of the observer becomes unclear for the observer.
  • the present invention provides an imaging control apparatus, an immersive position information generation apparatus, which captures an image that can achieve a magnified zoom with an immersive feeling by matching a virtual viewpoint with a zoom position while maintaining a constant focus.
  • An object is to provide an imaging control method and an immersion position information generation method.
  • an imaging control apparatus that captures at least two images used for causing a user to recognize a subject that is a predetermined distance or more away from an imaging point as a solid. And at least two optical systems arranged at intervals of the baseline length, and when the zoom magnification of the imaging means for imaging the subject and the at least two optical systems arranged at the baseline length interval is set as a reference zoom magnification
  • the imaging means is arranged to realize the desired zoom magnification based on the reference zoom magnification, a desired zoom magnification with respect to the predetermined reference zoom magnification, and a distance from the imaging means to the subject.
  • An immersive distance that is a distance from a virtual position to be realized to the actual position of the imaging unit is calculated, and the virtual distance is calculated based on the calculated immersive distance.
  • a calculating means for calculating an interval between the at least two optical systems when the at least two optical systems are arranged, and arranging the at least two optical systems by changing the predetermined baseline length to the calculated interval And an imaging control device that images the subject in a state in which the at least two optical systems are arranged by the control unit.
  • the subject is three-dimensionally based on information from the imaging control device that picks up at least two images used to cause the user to recognize a subject that is a predetermined distance or more away from the imaging point as a three-dimensional object.
  • An immersive position information generating apparatus that generates information for recognition as a receiving means for receiving information on the virtual viewpoint position of the user from the imaging control apparatus, and information on the received virtual viewpoint position.
  • an immersive position information generation device comprising generation means for generating video information added to a captured video from the imaging control device.
  • an imaging control method for imaging at least two images used for causing a user to recognize a subject that is a predetermined distance or more away from an imaging point as a three-dimensional object, at an interval of a predetermined baseline length.
  • the zoom magnification of at least two optical systems arranged is set as a reference zoom magnification, the reference zoom magnification, a desired zoom magnification with respect to the predetermined reference zoom magnification, and the at least two optical systems, Based on the distance from the imaging means for imaging to the subject, the distance from the virtual position where the imaging means should be placed to realize the desired zoom magnification to the actual position of the imaging means Calculate the immersion distance, and based on the calculated immersion distance, the imaging means is arranged at the virtual position to achieve the desired zoom magnification
  • the at least two optical systems when the at least two optical systems are arranged on an extension line connecting the actual positions of the at least two optical systems.
  • An imaging control method is provided that includes an imaging step of imaging the subject in a state of being performed. With this configuration, it is possible to realize an enlarged zoom with an immersive feeling.
  • the subject is three-dimensionally based on information from the imaging control device that picks up at least two images used to cause the user to recognize a subject that is a predetermined distance or more away from the imaging point as a three-dimensional object.
  • An immersive position information generation method for generating information for recognition as a receiving step of receiving information on the virtual viewpoint position of the user from the imaging control device, and information on the received virtual viewpoint position,
  • An immersion position information generation method is provided that includes a generation step of generating image information added to a captured image from the imaging control device.
  • the imaging control apparatus, the immersive position information generation apparatus, the imaging control method, and the immersive position information generation method of the present invention that can capture a three-dimensional image can realize an immersive enlarged zoom.
  • summary of embodiment of this invention The figure for demonstrating an example of a mode that the virtual viewpoint position in embodiment of this invention is notified.
  • the figure for demonstrating an example to which the imaging control apparatus and immersion position information generation apparatus which concern on embodiment of this invention are applied The figure for demonstrating another example to which the imaging control apparatus and immersion position information generation apparatus which concern on embodiment of this invention are applied
  • the block diagram which shows an example of a structure of the immersion position information generation apparatus which concerns on embodiment of this invention The flowchart which shows an example of the processing flow in the imaging control apparatus which concerns on embodiment of this invention
  • the shooting magnification and viewpoint setting at the time when the zoom operation starts are used as a reference.
  • the magnification is 1 ⁇
  • the installation position of the optical system is set from the observer's viewpoint
  • the baseline length is set to the distance between both eyes of a general viewer.
  • the “base line length” is an interval between optical systems (for example, a default value), and if it is as far away as a general human eye, an image taken in that state can be stereoscopically viewed by an observer. The interval which becomes.
  • the focus position of the optical system is set to the position of the subject in a composition in which the subject is captured near the center of the screen.
  • FIG. 1 shows subject images 103 and 104 photographed by the optical systems 101 and 102 from the positions of the optical systems 101 and 102, respectively.
  • the positions of the optical systems 101 and 102 refer to virtual viewpoints determined from parallax in the composition before zooming.
  • the parallax in the composition before zooming refers to the difference in the appearance of the right-eye video and the left-eye video.
  • the virtual viewpoint refers to the viewpoint and the position of the viewpoint assumed to be the size that the observer feels as a result of the viewpoint moving with respect to the reference magnification when the zoom magnification is changed.
  • the angle of convergence generated when the observer's viewpoint (virtual viewpoint) is moved to a corresponding position in accordance with the zoom magnification of the screen enlargement with the positions (viewpoints) of the optical systems 101 and 102 as a reference. Is controlled (immersive zoom).
  • the convergence angle refers to an angle formed by the two optical systems 101 and 102 with respect to the focal position.
  • the convergence angle formed with respect to the focal position is set to the magnification of the enlargement zoom. It is made to coincide with the convergence angle formed (increased) when the position of the virtual viewpoint corresponds. Images 105 and 106 in such a manner are shown in FIG.
  • the direction of the optical system refers to the rotation angle about the vertical direction of the optical system.
  • the amount of change for increasing the base line length can be handled by the convergence angle formed by controlling the rotation direction of each optical system 101, 102, that is, the optical system 101, If the convergence angle can be increased by rotating 102, the control can be performed only by controlling the rotation direction of the optical systems 101 and 102 (or in combination with the control of the base line length). That is, when a plurality of optical systems (at least two optical systems) can rotate by themselves, a virtual viewpoint position calculation unit 704 described later rotates the plurality of optical systems when calculating the length (interval) of the baseline length. If the convergence angle can be increased by the above, the length (interval) of the base line length is calculated in consideration of the convergence angle due to the rotation of a plurality of optical systems.
  • the change in composition before and after immersive zooming varies depending on the shooting scene, so it depends largely on the distance to the focal position, the position of the virtual viewpoint before and after zooming, and the position of the main subject on the screen (displacement from the center position of the screen).
  • the base line length to be performed and the rotation angle of the optical system may differ, but as a result, the angle of convergence is controlled to increase according to the position of the virtual viewpoint where the observer's viewpoint moves after zooming.
  • the control method has a similar effect.
  • the change in composition before and after the immersive zoom includes that the composition is not changed in the sense that it is captured at the center of the screen.
  • the change during zooming can be ignored (when it can be cut by switching to another viewpoint camera, etc.), or between fixed virtual viewpoint positions
  • the baseline length may be secured by an image from another optical system.
  • the other optical system includes a configuration that is separated as a camera unit.
  • the horizontal positions of the optical systems are the same. This is because at least the final image to be fused will make it difficult for the observer to have a natural fusion unless the composition and focus position match.
  • This virtual viewpoint position is a viewpoint position obtained from the zoom position with respect to the focal position (distance to the subject to be zoomed) and the camera position (real viewpoint).
  • FIG. 2 shows an example of how the virtual viewpoint position is notified.
  • the virtual viewpoint position information is transmitted from a camera 201 (including an imaging control device) to a relay station (including a broadcasting station) 202 or the like, and the relay station 202 or the like.
  • the information of the virtual viewpoint position is transmitted together with the shooting content to the machine 203 or the like. Note that the flow of information on the virtual viewpoint position is not limited to this.
  • the virtual viewpoint position By notifying the virtual viewpoint position, it can be used to display the position of the observer in the entire photographing area on a display or the like. For example, as shown in FIG. 3, when providing shooting content in a baseball field, where the virtual viewpoint position is in the baseball field when shooting a batter (batter) from the position 301 of the pitcher (pitcher), (Where the observer is supposed to be) can be displayed on a display or the like.
  • the camera position 302 is actually behind the baseball field.
  • the virtual viewpoint position 402 is displayed on a display or the like when virtually shooting from a short distance of the player by zooming. can do.
  • the camera position 403 is actually outside the playing field 401.
  • the virtual viewpoint position can be displayed on a display or the like when shooting the appearance of the player from the position of the referee or shooting the appearance of the shot from the goal position. In this way, 3D viewpoint sickness (discomfort at the time of fusion, etc.) is achieved by allowing the observer (viewer) to grasp his / her position as a means to convey a natural sense of presence to the observer (viewer). It can be reduced.
  • the virtual viewpoint position obtained from the camera settings (zoom magnification, etc.) and the immersive evaluation value error obtained from the video are derived to correct the virtual viewpoint position information and change the camera settings. You may make it.
  • the evaluation value of the immersive feeling obtained from the video refers to the immersive position felt by the observer.
  • the immersion position felt by the observer means the position where the observer is assumed to be present as a result of controlling the optical system when the observer moves from the actual camera position (or reference position). To tell. The sense of discomfort and illusion felt by humans cannot always be resolved by information required only by the setting state of the camera. Therefore, the actually taken parallax image is evaluated and the error is corrected.
  • a baseball broadcast will be described as an example of video content.
  • the actual camera position is behind the center back net, and the batter is photographed from that position (1x zoom).
  • the distance (depth) from the camera position to the batter is 120 m, for example, and the base line length is 6 cm, for example.
  • the virtual viewpoint position is 30 m from the focus (batter) (90 m from the camera), and the base line length is 24 cm.
  • the virtual viewpoint position is notified to the relay station or the like.
  • a display for example, a mound view display 501 notifying that the viewpoint is near the mound is displayed on the TV screen 502.
  • the virtual viewpoint position is displayed (camera display 503) as if the camera is in it, and the position of the viewpoint in the stadium (the place where the viewer is supposed to be present) is broadcast at a superimpose or the like. be able to.
  • a character telop may be displayed on the TV screen 502 to indicate the point of view from which point.
  • notification may be made by voice, announcement, data guidance, or the like.
  • the director including director and cameraman
  • the director can be used as reference information for the presentation by displaying in real time together with the position corresponding to the movement of the viewpoint by zooming.
  • the zoom control and the virtual viewpoint position control may be changed independently. By making it possible to change independently, it can be used as an effect at the time of production.
  • the performer performs various effects using the zoom rate display bar 602 (including the current zoom display 603 and the current virtual viewpoint position display 604) displayed on the monitor 601. It becomes possible. Specifically, a special effect is made possible by causing the virtual viewpoint to follow the camera zoom speed (change in the zoom amount) while keeping a shift. That is, a baseline length control unit 705 and an optical system control unit 703, which will be described later, control the arrangement of at least two optical systems so that the virtual viewpoint is delayed following the change in the zoom of the captured image captured by the imaging unit 701. To do.
  • control is started so that the virtual viewpoint moves after a short delay, and the zoom viewpoint is accelerated by following the acceleration so that the virtual viewpoint matches the final zoom magnification.
  • by slowly following the virtual viewpoint at a speed slower than the zoom speed it is possible to suppress a change felt by the observer and to reduce a burden during viewing.
  • Such a zoom operation and change of the virtual viewpoint position may result in damage to the observer's natural fusion, so it is desirable that the director can manage the scene and frequency of use as an effect. It is effective to notify the virtual viewpoint position so that the director (sometimes a photographer) can confirm the virtual viewpoint position.
  • the imaging control apparatus 700 performs imaging such as changing the virtual viewpoint position such as an immersive zoom while controlling the optical system, and outputs the set virtual viewpoint position as a result of the control.
  • imaging control apparatus 700 performs imaging such as changing the virtual viewpoint position such as an immersive zoom while controlling the optical system, and outputs the set virtual viewpoint position as a result of the control.
  • components of the imaging control apparatus will be described.
  • the image capturing unit 701 has a general camera function for capturing video.
  • the present invention includes the function of a camera that uses a general optical system.
  • the imaging unit 701 includes, for example, the optical systems 101 and 102 shown in FIG.
  • the zoom magnification control unit 702 sends information for satisfying the set zoom magnification to the optical system control unit 703, and uses feedback information including a control result from the optical system control unit 703 to reflect it in the control.
  • the optical system control unit 703 cooperates with the zoom magnification control unit 702, the baseline length control unit 705, and the like to control the optical system mechanically and software in order to guide an image to be captured by the imaging unit 701. In addition, the optical system control unit 703 feeds back a control result performed based on each control instruction to the instruction source. Note that the optical system control unit 703 includes other controls that are not described in detail in the present invention, such as control of the rotation direction of the optical system, control of camera shake, and control of brightness.
  • the virtual viewpoint position calculation unit 704 moves from the camera reference position to the focal position (for example, the position of the subject) based on the reference zoom magnification, the current magnification relative to the reference magnification, and other optical system setting values.
  • the immersive position (immersion distance) of whether approaching (or away) is calculated.
  • the reference position of the camera refers to, for example, the actual position of the camera (or the actual position of the optical system).
  • the reference zoom magnification is an appropriate parallax (baseline length corresponds to the distance between the two eyes of the observer) when the observer observes at a position based on a 1x zoom (without enlargement or reduction). It is desirable to use the set state as a reference.
  • An example of a simple reference state setting is that the camera installation position is the observer's position, the zoom magnification of the optical system is set to 1, and the baseline length between the optical systems is the distance between the eyes of a general observer Set.
  • the immersive position is a moving position when it is assumed that the observer has moved to a position where it looks like the image has been enlarged (or reduced) rather than enlarged (or reduced). Travel distance).
  • zooming in when an observer moves closer to the amount that looks larger than before enlargement (that is, the immersive position), when the observer looks at the object to be photographed from that position, The convergence angle increases.
  • the base length of the optical system is increased in order to obtain a corresponding increase in the convergence angle.
  • the convergence angle is Get smaller.
  • the base length of the optical system is reduced in order to obtain a corresponding amount of decrease in the convergence angle.
  • the zoom magnification is maintained as if it is 1 ⁇ . If the camera itself actually moves in the direction of the zoom operation (whether forward or backward), either correct the virtual viewpoint position so that the baseline length can be changed taking into account the amount of movement, Alternatively, it is desirable to associate information necessary for making the virtual viewpoint position correspond to the actual position.
  • the virtual viewpoint position calculation unit 704 moves the virtual viewpoint position to the calculated desired immersive position, so that the amount of baseline length that can obtain an appropriate parallax (angle of convergence), and other optical system control amounts ( The rotation amount of the optical system, the amount of light, etc.) are calculated and transmitted to the respective control systems.
  • the virtual viewpoint position can be controlled by fluctuations, errors, and other fluctuation patterns depending on the degree and amount of change. May be changed. Further, it may be changed according to a manual virtual viewpoint position change input by a camera operator or the like.
  • the baseline length control unit 705 controls the distance between the optical systems in order to realize the baseline length calculated by the virtual viewpoint position calculation unit 704.
  • the baseline length control unit 705 arranges (distances) between at least two optical systems so that the virtual viewpoint is delayed following the effect as described above, that is, the change in the zoom of the captured image captured by the imaging unit 701. ) May be controlled. Thereby, the zoom operation can be characterized.
  • the virtual viewpoint position output unit 706 acquires the calculated virtual viewpoint position, and acquires the control value of the optical system as necessary. That is, information on the observer's virtual viewpoint position based on the calculated immersion distance information is acquired and output to the outside. For example, the virtual viewpoint position output unit 706 generates and outputs notification information as information mapped to the virtual viewpoint position with respect to the focus position and camera position of the shooting target. Note that when only the virtual viewpoint position needs to be output, that is, for example, when sufficient mapping is possible with the immersive position information generation apparatus described later including other information, the virtual viewpoint position output is performed. The unit 706 outputs the virtual viewpoint position as it is.
  • the virtual viewpoint position includes information that can be output in real time in synchronization with the captured video (captured content) captured by the imaging unit 701, or can correspond to a time stamp synchronized with the captured video. It is desirable. That is, when outputting the information of the virtual viewpoint position, the information of the virtual viewpoint position is output in synchronization with the captured video, or includes information that can be associated with the time stamp synchronized with the captured video. As a result, the virtual viewpoint position in which scene of the video matches in real time, and the synchronization of information during recording (recording) (where the virtual viewpoint is located at which timing) becomes easy.
  • zoom and virtual viewpoint position information it may be output as an additional data element only when the angle of view or composition changes, such as scene switching or zooming. That is, information on the virtual viewpoint position is output at a predetermined timing. Thereby, the traffic when it is necessary to transmit video, audio, and other data can be kept low.
  • information on the camera position and focal position focal length from the camera position
  • mapping to the entire position corresponding to where in the shooting location
  • the immersive position information generation apparatus 800 receives the virtual viewpoint position output from the imaging control apparatus 700 or the imaging control apparatus 700 via some communication interface.
  • the virtual viewpoint position output from the imaging control apparatus 700 includes the case of information mapped to the positional relationship with the imaging target when including other information.
  • the positional relationship with the imaging control device 700 is arbitrary as long as it is connected within the same equipment as a whole (when both devices are built in the camera) or from the equipment in which the imaging control device 700 exists.
  • the immersive position information generation apparatus 800 changes to a display method that facilitates understanding for an observer who is referring to a virtual viewpoint position display apparatus that displays captured content, a virtual viewpoint position, and the like, as necessary. .
  • the contrast information with the zoom magnification is displayed.
  • the video production or the supervisor is an observer
  • information on the state of change of the virtual viewpoint or the change pattern on the production is displayed.
  • the mapping information of the virtual viewpoint position at the entire position is displayed.
  • the virtual viewpoint position acquisition unit 801 receives information regarding the position of the virtual viewpoint from the imaging control apparatus 700. Depending on the configuration of the received information element, in many cases, it is necessary to convert the information into information that can be intuitively understood (easy to understand) by the observer, and thus the received information is sent to the immersive position information notification unit 803.
  • the optical system control value acquisition unit 802 receives additional information related to the position of the virtual viewpoint from the imaging control device 700. Depending on the configuration of the information elements received, in many cases, information about the position of the virtual viewpoint needs to be converted into information that can be intuitively understood (easy to understand) by the observer, so that additional information is immersive position information.
  • the notification is sent to the notification unit 803.
  • information such as a series of optical system control flow and corresponding time stamp
  • information indicating that the angle of view and the composition have been changed such as scene switching and zoom operation, may be acquired.
  • Information on the camera position and focal position (focal length from the camera position) in the shooting area may also be acquired.
  • the virtual viewpoint position acquisition unit 801 can acquire necessary information collectively as the virtual viewpoint position information
  • the virtual viewpoint position acquisition unit 801 also serves as the optical system control value acquisition unit 802. It can be said.
  • the immersion position information notification unit 803 receives information from the virtual viewpoint position acquisition unit 801 and the optical system control value acquisition unit 802 and notifies the observer of information related to the immersion position. At this time, for example, as shown in FIG. 5, an image in which information related to the immersion position is added to the captured image may be generated. That is, the immersion position information notification unit 803 generates video information by adding other information that can recognize the virtual viewpoint position. In addition to the position information based on the position of the virtual viewpoint, this information can also be used to easily notify the viewpoint (for example, what is written as “Now is the viewpoint”).
  • Mapping information in which a symbol indicating the immersive position is arranged on the map or schematic diagram of the shooting area, or a symbol or voice alarm information simply indicating that the immersive position has changed from the previous state. It is desirable to take a form according to the situation, such as notification information that can be commented (announced) by an intermediary (video editor, announcer, etc.) secondarily.
  • the immersion position information notification unit 803 can change the information to be more easily understood by the observer by combining information from the virtual viewpoint position acquisition unit 801 and the optical system control value acquisition unit 802. For example, by using information that can correspond to the time stamp of the captured video, the virtual viewpoint position in which scene of the video matches in real time, or information synchronization during recording (recording) It is easy to find the virtual viewpoint at the timing. That is, the immersive position information notification unit 803 adds virtual viewpoint position information to the captured video based on information that can be associated with the time stamp of the captured video.
  • information indicating that the angle of view and the composition have changed can be used to notify the virtual viewpoint switching timing while keeping traffic low when video, audio, and other data need to be transmitted.
  • the observer in this case, the camera operator, director, etc.
  • this is a form of information notification that is useful when different control is performed for the purpose of production or the like rather than always following the immersive zoom with respect to the zoom magnification of the camera.
  • mapping of the virtual viewpoint position to the shooting area is performed by specifying the position of the midpoint from the position of the camera and the focal length.
  • Control value information (including position information) required for mapping varies depending on the shooting area. For example, when it is necessary to notify including the spatial situation of the area, information that also requires the elevation angle of the camera is required. May be one of the following. When information that can be easily understood by the observer can be configured, this information is output to the observer.
  • the notification method and the notification destination differ depending on the observer.
  • the immersive position information notification unit 803 notifies the immersive position information notification unit 803 via a television receiver or the like on a broadcast wave.
  • notification is made at the time of reproduction by recording the recording material (including the video itself) or additional information on a recording medium.
  • the observer is an editor, director, director or other relay station or broadcaster who edits or controls video content, notification is made via a monitor of a device such as a switcher or editing equipment. To do.
  • the observer is a person who directly operates the camera, such as a cameraman, the notification is notified in the viewfinder or information display portion of the camera.
  • the virtual viewpoint position calculation unit 704 is a predetermined reference zoom magnification (for example, 1 ⁇ ), a desired zoom magnification with respect to the predetermined reference zoom magnification, and an imaging control device (an imaging unit 701).
  • Immersive distance (which is the distance from the virtual position where the imaging control device should be placed to achieve the desired zoom magnification to the actual position of the imaging control device based on the distance from the subject to the subject) For example, 90 m) is calculated (step S901).
  • the virtual viewpoint position calculation unit 704 realizes a desired zoom magnification similar to the case where the imaging control device is arranged at a virtual position and the desired zoom magnification is realized. Then, the interval (the length of the base line length to be set) between the plurality of optical systems when the plurality of optical systems are arranged on the extension line connecting the actual positions is calculated (step S902).
  • the baseline length control unit 705 changes a predetermined baseline length (for example, default value) to the calculated interval (the length of the baseline length to be set) and arranges a plurality of optical systems (step S903).
  • the imaging unit 701 captures an image of a subject with a plurality of optical systems arranged by the baseline length control unit 705 (step S904).
  • the baseline length control unit 705 may control the arrangement of at least two optical systems so that the virtual viewpoint is delayed following the change in the zoom of the captured image captured by the imaging unit 701. Is possible.
  • the virtual viewpoint position acquisition unit 801 receives information on the virtual viewpoint position of the observer from the imaging control device (step S1001).
  • the immersive position information notification unit 803 generates video information in which the received virtual viewpoint position information is added to the captured video received from the imaging control device (step S1002).
  • the immersive position information notification unit 803 may generate video information by adding other information (such as the symbols and comments described above) that can recognize the virtual viewpoint position, and information that can correspond to the time stamp of the captured video. Based on the above, information on the virtual viewpoint position may be added to the captured video.
  • the present invention it is possible to perform immersive zoom in accordance with the zoom of the camera (or to add some expression intention) and to convey the state to the observer.
  • This is effective when a video is taken from a distance (especially sports), or when a near image does not include an obstacle or other subject in the composition.
  • the case where the near image does not include an obstacle or other subject in the composition means that the composition can be set in advance so that only the subject at the focal position can be captured even when shooting at near and middle distances.
  • the composition includes an obstacle or other subject in the near image, or if the composition cannot be determined in advance,
  • the parallax of the subject in front may be emphasized more than necessary, which may result in hindering fusion for the observer.
  • a setting menu or switch may be provided so that the camera operator can switch between the immersive zoom mode and other zoom modes.
  • the base line length control unit 705 adjusts the base line length between optical systems different from the plurality of optical systems (at least two optical systems) based on the calculated base line length (interval), and uses another optical system.
  • the imaging unit 701 images the subject, and the imaging unit 701 images the subject in a state where a plurality of optical systems are arranged with a predetermined baseline length.
  • a third viewpoint may be provided at a long base line length. That is, an optical system different from the two optical systems may be provided.
  • the imaging unit 701 uses an optical system different from the plurality of optical systems. The subject is imaged with the baseline length (interval) secured.
  • the object of the present invention can be achieved by using the third optical system (another optical system) even if the base line length is too long to be handled by the two optical systems.
  • a preset program for an action operation, an activation command, and a button may be provided.
  • the provided video content may be live broadcast or recorded in advance.
  • each functional block used in the above description of the embodiment of the present invention is typically realized as an LSI (Large Scale Integration) which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI Large Scale Integration
  • IC Integrated Circuit
  • system LSI super LSI
  • ultra LSI ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the imaging control device, the immersive position information generating device, the imaging control method, and the immersive position information generating method according to the present invention can realize an immersive enlarged zoom, the imaging control for capturing an image to be fused by the user It is useful for an apparatus, an immersive position information generating apparatus, an imaging control method, an immersive position information generating method, and the like.

Abstract

没入感ある拡大ズームを実現できる撮像制御装置などを提供する技術が開示され、その技術によれば所定の基線長の間隔で配置された少なくとも２つの光学系を備える撮像手段７０１と、所定の基準ズーム倍率と、所定の基準ズーム倍率に対する所望のズーム倍率と、撮像手段から被写体までの距離とに基づき、所望のズーム倍率を実現するために撮像手段が配されるべき仮想的な位置から撮像手段の現実の位置までの没入距離を算出し、没入距離に基づき、仮想的な位置に撮像手段が配されていて所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するため、少なくとも２つの光学系の同士を結ぶ線の延長線上に少なくとも２つの光学系が配される場合の少なくとも２つの光学系の間隔を算出する算出手段７０４と、所定の基線長を算出された間隔に変更し少なくとも２つの光学系を配置する制御手段７０５とを備え、撮像手段は上記配置された状態で被写体を撮像する。

Description

撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法
　本発明は、ユーザに融像させる映像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法に関する。
　左右の撮影光学系を持つステレオカメラにおいて、最適な左右の両眼視差調整には様々な試みが行われている。例えば、フオーカス情報に基づいて立体効果調整機構により駆動モーターで左右ビデオカメラの光軸の交差位置を被写体の位置と一致させるようにしたり、ズーム倍率情報から、立体画像撮影装置の左右の撮影光学系間の基線長、輻輳角の制御を行い、適切な両眼視差を作り出したりしている（特許文献１から４を参照）。
　また、ズーム倍率変動前の基線長にズーム倍率変動分の逆数を掛けた値を新たな基線長に設定し、なおかつ左右の撮影光学系の光軸の交点を基線長変動前と同じ位置にする輻輳角に設定することで、ずれ量をズーム変動前とほぼ変わらないように抑えるようにして、観察者の立体画像の自然な融像を促すことが開示されている（特許文献５を参照）。ここで、自然な融像とは、右目用の映像と左目用の映像を観察者が立体の映像として認識することを言う。
特開２００８－２３３５７９号公報 特開１９９５－３２２１２８号公報 特開２００９－２１０９５７号公報 特開２００５－２４６２９号公報 特開２００３－１０７６０１号公報
　しかしながら、中・近距離実写における立体映像の撮影時には有効であった上述のような調整方法が、中・長距離実写の放送用映像として利用する場合においては望ましくない場合がある。例えば、同様の立体映像を提供する技術としてのＣＧ（コンピュータグラフィクス）においては視差のある映像レンダリング時に任意の視点からの観察者視差を設定できるため、どのようなシーンにおいても観察者の視点として任意の位置を設定し、単なる拡大ズームのみならず、観察者が対象物体に近づいたかのようなズーム（以降、区別のため没入ズームと表記、ズームアウトの際の逆動作も含むものとする）を演出することも可能である。ここで「没入ズーム」とは、通常の映像の拡大のみを行うズームに対し、視差も合わせて変化させることで、実際に観察者が近づいたり離れたりした状態に近くなるようにするズーム方法を意味する。つまり、遠くの立体を拡大するズーム（双眼鏡で覗いた感覚）に対し、観察者が物体に近づいたために大きく見える状態（視点の移動に伴う感覚）という表現上の差異がある。
　ここで、中・近距離実写においてはそれほど問題とならず、むしろ両眼の視差を抑えることで観察者の融像を容易にしていたシーンとは異なり、中・長距離実写のシーンにおいては、被写体までの距離に対する被写体の凹凸の割合（視野空間の奥行きに対する被写体に生じる視差）が異なることによる没入感の喪失という問題が生じる。例えば、奥行き１ｍの３Ｄ領域における１０ｃｍの凹凸の飛び出し量（１０％）と、奥行き５０ｍの３Ｄ領域における１０ｃｍの凹凸の飛び出し量（０．２％）とを考慮すると、観察者が感じる立体感が異なることを表現したいシーンでは、単なる拡大ズームではなく、観察者の（演出上想定される）立ち位置と連動した没入ズームを表現しなければ、観察者の感じる没入感、臨場感を損ねてしまうかもしれない。
　従来の方法にのみ基づいた場合、距離に応じた基線長設定、輻輳角設定をしても融像の際の歪みやズレを軽減できるが、ズームしているにもかかわらず没入感が薄いという問題がある。また、ズーム時に基線長を短くすることによる近像ズレの軽減をしても没入感が失われるという問題がある。
　また、没入感を演出する上で、実環境では対象物に近づくと輻輳角は大きくなるはずだが、図１１の破線で示されるように、拡大ズームで得られる画像はそうではなく輻輳角は変化なし又は小さくなってしまうので、観察者は普段の感覚と異なる視覚情報に違和感を覚えたり融像が困難になったりするという問題がある。再生時点で観察者の視点位置が観察者にとって不明瞭になる。
　なお、図１１の直線で示されるものは、基本となる倍率で画面領域を撮影した場合であって、その場合の２台の光学系の位置、輻輳角、基線長、視差画像を示している。また、図１１の一点鎖線で示されるものは、被写体にカメラが近づいた場合であって、その場合の２台の光学系の位置（近づいている）、輻輳角（大きくなっている）、基線長（変化なし）、視差画像（被写体が大きくなる、かつ視差が大きくなる）を示している。
　本発明は、上記の問題点に鑑み、仮想視点を焦点一定のままズーム位置と一致させ、没入感のある拡大ズームを実現することができる画像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法を提供することを目的とする。
　上記目的を達成するために、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段とを備え、前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像制御装置が提供される。この構成により、没入感のある拡大ズームを実現することができる。なお、所定の距離とは、ズームに連動して基線長を長く変更することで没入感のあるズームを実現できる距離を言う。また、ここでのユーザは後述する観察者に相当する（以下同様）。
　また、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成装置であって、前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信手段と、受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成手段とを、備える没入位置情報生成装置が提供される。この構成により、没入感のある拡大ズームを実現することができる。
　また、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、有する撮像制御方法が提供される。この構成により、没入感のある拡大ズームを実現することができる。
　また、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成方法であって、前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信ステップと、受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成ステップとを、有する没入位置情報生成方法が提供される。この構成により、没入感のある拡大ズームを実現することができる。
　本発明の立体画像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法は、没入感のある拡大ズームを実現することができる。
本発明の実施の形態の概要を説明するための図 本発明の実施の形態における仮想視点位置を通知する様子の一例を説明するための図 本発明の実施の形態に係る撮像制御装置及び没入位置情報生成装置が適用される一例を説明するための図 本発明の実施の形態に係る撮像制御装置及び没入位置情報生成装置が適用される他の一例を説明するための図 本発明の実施の形態で提供される映像の一例を示す図 本発明の実施の形態におけるモニタに表示されたズーム率の表示バー（現在のズームの表示や現在の仮想視点位置の表示を含む）の一例を示す図 本発明の実施の形態に係る撮像制御装置の構成の一例を示す構成図 本発明の実施の形態に係る没入位置情報生成装置の構成の一例を示す構成図 本発明の実施の形態に係る撮像制御装置での処理フローの一例を示すフローチャート 本発明の実施の形態に係る没入位置情報生成装置での処理フローの一例を示すフローチャート 従来の問題点を説明するための図
　本発明の実施の形態について図１から図１０を用いて説明する。なお、説明を簡単にするため、ズーム動作が開始する時点での撮影倍率と視点設定を基準とする。例えば、倍率１倍、光学系の設置位置が観察者視点で、基線長が一般的な視聴者の両眼間距離に設定されている。ここで「基線長」とは、光学系の間隔（例えばデフォルト値）であって、一般的な人間の目と同じくらい離れているとその状態で撮影したものが観察者で立体視できるようになる間隔をいう。また、被写体を画面の中央付近に捉える構図で、光学系の焦点位置を被写体の位置に設定しているとする。
　図１では２つの光学系１０１、１０２が示されており、２つの光学系１０１、１０２の間の距離を基線長とする。この光学系１０１、１０２は後述する撮像部７０１の一部となり得るものである。図１には、光学系１０１、１０２の位置から光学系１０１、１０２それぞれが撮影した被写体の像１０３、１０４が示されている。ここで、光学系１０１、１０２の位置とは、ズーム前の構図での視差から定まる仮想視点を言う。また、ズーム前の構図での視差とは、右目用の映像と左目用の映像の見え方の差を言う。また、仮想視点とは、ズーム倍率を変化させたとき、基準となる倍率に対して、視点が移動した結果、観察者が感じる大きさになると想定される視点、視点の位置を言う。撮像制御装置では、この光学系１０１、１０２の位置（視点）を基準として、画面拡大のズーム倍率に合わせて、相当する位置まで観察者の視点（仮想視点）を移動させた際に生じる輻輳角を確保（没入ズーム）するよう制御する。ここで、輻輳角とは、２つの光学系１０１、１０２が焦点位置に対して成す角度を言う。
　具体的には、図１の一点鎖線に示すように、それぞれの光学系１０１、１０２の基線長が大きくなるように制御することで、焦点位置に対して成す輻輳角を、拡大ズームの倍率に仮想視点の位置が対応するようにした場合に成す（大きくなる）輻輳角に一致するようにさせる。そのようにさせた場合の像１０５、１０６が図１に示されている。このとき、焦点位置を一定とし、被写体を捉える構図を変化させないようにする場合、もしくは、任意の構図に変化させる場合、それに応じた光学系の向きが変化することも考慮できていることが望ましい。ここでの光学系の向きとは、光学系の鉛直方向を軸とした自転角度を言う。
　また、これは別の観点の制御方法で表現すると、基線長を大きくするための変更量は、それぞれの光学系１０１、１０２の自転方向の制御で成す輻輳角で対応できる、すなわち光学系１０１、１０２を自転させることで輻輳角を大きくできるのであれば、光学系１０１、１０２の自転方向の制御のみ（もしくは基線長の制御との組み合わせ）で行うことができる。すなわち、複数の光学系（少なくとも２つの光学系）が自ら回転できる場合、後述する仮想視点位置算出部７０４は、基線長の長さ（間隔）を算出する際、複数の光学系を回転させることで輻輳角を大きくできる場合、複数の光学系の回転による輻輳角を考慮して基線長の長さ（間隔）を算出する。
　没入ズーム前後での構図の変化は撮影シーンによって様々であるので、焦点位置までの距離、ズーム前後の仮想視点の位置、画面中の主たる被写体の位置（画面の中心位置からのズレ）によって、大きくするべき基線長と光学系の自転角度が異なる場合があるが、結果として、ズーム後に観察者の視点が移動する仮想視点の位置に応じて輻輳角が大きくなるよう制御されるという点で上述の制御方法は同様の効果をもたらす。ここで、没入ズーム前後での構図の変化には、構図としては、画面の中心で捉えるという意味で変更がないことも含む。
　また、別の方法として、撮影時の演出によっては、ズーム動作中の変更を無視できたり（別視点カメラに切り替えるなどでカット可能であるような場合）、固定的な複数の仮想視点位置間を切り替えたりできる場合は、別の光学系からの映像で基線長を確保してもよい。なお、別の光学系には、カメラユニットとして分離されているような構成も含む。
　特に、カメラユニットとして分離されているような場合は、それぞれの光学系の水平位置は一致していることが望ましい。少なくとも最終的に融像する映像は、構図、焦点位置が一致していなければ観察者の自然な融像を困難にしてしまうためである。
　以上のような制御の結果、ズーム時に基線長が大きくなるように光学系間の距離を大きくするように撮影することで、近づいた場合と同様の視差映像を得ることができ、没入感のあるズームが可能となる。なお、上述の説明は、ズーム（拡大方向、ズームイン）時の動作について示しているが、縮小方向のズーム（ズームアウト、ズームバック）時には逆の動作を行うことになる。
　次に、撮像制御装置によって算出された仮想視点位置（ズームにより近づいたと見なせる位置）の通知について説明する。なお、仮想視点位置の算出など撮像制御装置における具体的な処理については後述する。この仮想視点位置は、焦点位置（ズーム対象の被写体までの距離）とカメラ位置（実視点）に対するズーム倍率から求められる視点の位置である。
　実際は、このように単純ではない場合もあり、光学系の自転角度などから輻輳角が変わった分を勘案するなども行うことで、より正確な仮想視点位置を求めることができるようにしてもよい。具体的に、仮想視点位置を通知する様子の一例を図２に示す。図２に示すように、仮想視点位置の情報は、カメラ２０１（撮像制御装置を含む）から中継局（放送局なども含む）２０２などに送信され、中継局２０２などは、視聴者のテレビ受像機２０３などへ撮影コンテンツとともに仮想視点位置の情報を送信する。なお、仮想視点位置の情報が伝達される流れはこれに限られるものではない。
　仮想視点位置が通知されることにより、全撮影領域における観察者の位置をディスプレイなどに表示することに利用できる。例えば、図３に示すように、野球場における撮影コンテンツを提供する場合に、投手（ピッチャー）の位置３０１からの打者（バッター）の見え方を撮影する際に、仮想視点位置が野球場内のどこになるか（観察者がどこに居ると想定されているか）をディスプレイなどに表示することができる。なお、カメラ位置３０２は、実際には野球場の後方にある。
　その他にも、図４に示すように、競技場内４０１にカメラが入れない場合にズームにより仮想的に選手の近距離から撮影しているようにする際に、仮想視点位置４０２をディスプレイなどに表示することができる。なお、カメラ位置４０３は、実際には競技場内４０１の外にある。この他にも、審判のいる位置からの選手の見え方を撮影する際やゴール位置からのシュートの見え方を撮影する際に、仮想視点位置をディスプレイなどに表示することができる。このように、観察者（視聴者）に自然な臨場感を伝える手段として、観察者（視聴者）に自分の位置を把握させることで、３Ｄ視点酔い（融像の際の不快感など）を軽減させることができる。
　また、カメラの設定状態（ズーム倍率など）から求めた仮想視点位置と、映像から得られる没入感の評価値の誤差分を導き、仮想視点位置の情報を修正したり、カメラの設定状態を変更したりするようにしてもよい。ここで、映像から得られる没入感の評価値とは、観察者が感じる没入位置を言う。また、観察者が感じる没入位置とは、観察者が実際のカメラ位置（もしくは基準となる位置）から移動するとした場合、光学系の制御を行った結果、観察者が居ると想定される位置を言う。人間が感じる違和感、錯覚は必ずしもカメラの設定状態のみで求められる情報で解消できる訳ではないので、実際に撮影された視差映像を評価し、その誤差分を補正するものである。
　ここで、より具体的に仮想視点位置の通知について説明する。ここでは、映像コンテンツの一例として野球中継を用いて説明する。野球中継において、投手の視点からの打者の見え方を考える。実際のカメラの位置はセンターバックネット裏であり、その位置から打者を撮影する（１倍ズーム）。カメラの位置から打者までの距離（奥行き）が、例えば１２０ｍであり、基線長が、例えば６ｃｍとする。この状況で、投手視点までズーム（４倍ズーム）すると、仮想視点位置は焦点（打者）から３０ｍ地点（カメラから９０ｍ地点）となり、基線長は２４ｃｍとなる。
　この場合、仮想視点位置は中継局などに通知される。仮想視点位置の通知により、図５に示すように、視点がマウンド近くにあることを知らせる表示（例えば、マウンドビュー表示５０１）がＴＶ画面５０２上に表示される。また、あたかもカメラがそこに入っているように仮想視点位置を表示（カメラ表示５０３）させ、球場中の視点の位置（視聴者がいると想定される場所）をスーパーインポーズなどにて放送することができる。なお、どの地点からの視点かを示すのに文字テロップをＴＶ画面５０２上に流すなどでもよい。また、表示するだけでなく、音声、アナウンス、データガイダンスなどで通知してもよい。
　これにより、観客席から見るのとはまた違った臨場感を提供することができる。また、視聴者は自分の仮想的な位置を知る（自分がどこに移動したか、どこから見ていることに相当する映像かを知る）ことで、ズームやカメラ切り替えに伴う３Ｄ融像の困難さを生理的に補償することができる。これは、例えば、第一人称視点のゲームの操作者（自分自身は仮想３Ｄ空間内でどう操作し、どこに移動しようとしているかを把握している）の画面酔いが、観覧者（操作者が操作した結果の画面を見ている）の酔いに比較して軽度であるような場合があることから、観覧者が視聴している映像において、自身の動きや位置を理解することにより、３Ｄ映像酔いのようなものを低減させることが期待できることなどに類似している。
　また、仮想視点位置を演出者（監督やカメラマンなどを含む）に通知することも考えられる。演出者に通知されることにより、ズームによる視点の移動に相当する位置とともにリアルタイムに表示することで、演出の際の参照情報として利用できるようになる。また、ズームの制御と仮想視点位置の制御が独立して変更できるようにしてもよい。独立して変更できるようにすることで、演出時の効果として使用することができる。
　図６に示すように、演出者は、モニタ６０１に表示されたズーム率の表示バー６０２（現在のズームの表示６０３や現在の仮想視点位置の表示６０４を含む）を用いて様々な演出を行うことが可能となる。具体的には、カメラのズーム速度（ズーム量の変化）に対して、敢えてズレを持たせながら仮想視点を追従させることで特別な演出を可能にする。すなわち、後述する基線長制御部７０５や光学系制御部７０３は、撮像部７０１によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも２つの光学系の配置を制御する。例えば、ズームの開始時点では仮想視点を変更せず、少し遅れてから仮想視点を移動するよう制御し始め、加速度的に仮想視点が最終ズーム倍率に一致するように追従させることで、ズーム動作に特徴を持たせることができる。また、例えば、ズーム速度に対して遅い速度でゆっくりと仮想視点を追従させることで、観察者の感じる変化を少なく抑え、視聴時の負担を軽減させることができる。
　このような、ズーム動作と仮想視点位置の変更は、むしろ観察者の自然な融像を損なう結果にもなりかねないので、演出としての利用シーンや頻度は演出者が管理できることが望ましく、このような目的でも仮想視点位置を演出者（撮影者である場合もある）が確認できるように通知することは有効である。
　次に、本発明の実施の形態に係る撮像制御装置の構成の一例について図７を用いて説明する。なお、構成はこれに限られるものではなく、他の構成要素を含むものでもよい。撮像制御装置７００は、光学系を制御しながら、没入ズームなどの仮想視点位置を変更させるような撮影を行い、制御の結果、設定した仮想視点位置を出力するものである。以下で撮像制御装置の構成要素について説明する。
　撮像部７０１は、映像を撮影する一般的なカメラの機能を有している。本発明では、特に一般的な複数光学系を用いるカメラの機能を含むものである。撮像部７０１は、例えば図１で示す光学系１０１、１０２を有する。ズーム倍率制御部７０２は、設定されたズーム倍率を満たすための情報を光学系制御部７０３に送り、また光学系制御部７０３からの制御結果を含むフィードバック情報を利用し、制御に反映する。
　光学系制御部７０３は、ズーム倍率制御部７０２、基線長制御部７０５などと連携し、撮像部７０１で撮影するための映像を導くために光学系を機械的・ソフト的に制御する。また、光学系制御部７０３は、それぞれの制御指示に基づいて行った制御結果を指示元にフィードバックする。なお、光学系制御部７０３では、光学系の自転方向の制御、カメラぶれの制御、明るさの制御など、本発明において詳しい説明を省略しているその他の制御も含まれるとする。
　仮想視点位置算出部７０４は、基準とするズーム倍率とその基準倍率に対する現在の倍率、およびその他の光学系の設定値を元に、カメラの基準位置からどれくらい焦点位置（例えば、被写体の位置）に近づいたか（又は離れたか）の没入位置（没入距離）を算出する。ここで、カメラの基準位置とは、例えば、カメラの実位置（光学系の実位置でもよい）を言う。なお、基準とするズーム倍率は、観察者が１倍のズーム（拡大、縮小のない状態）を基準とする位置で観察する際に適切な視差（基線長が観察者の両眼の間隔に相当している状態）を成す設定状態を基準とすることが望ましい。端的な基準状態の設定例は、カメラの設置位置を観察者の位置とし、光学系のズーム倍率を１倍に設定し、光学系間の基線長を一般的な観察者の両眼の間隔に設定する。
　ここで、没入位置は、設定したズーム倍率を映像の拡大（もしくは、縮小）ではなく、観察者が映像を拡大（もしくは、縮小）したように見える位置まで移動したと想定する場合の移動位置（移動距離）を意味する。例えば、ズームインする場合、拡大前に比べて大きく見える分だけ観察者が近づくものとした時の、想定される移動位置（すなわち、没入位置）では、その位置から観察者が撮影対象を見る場合、輻輳角は大きくなる。しかしながら、実際にはカメラは映像を拡大したのみで、カメラ自体は移動しないため、相当する輻輳角の増大量を得るため、光学系の基線長を増大させるようにする。
　また、例えば、ズームアウトする場合、縮小前に比べて小さく見える分だけ観察者が遠ざかるものとした時の、想定される移動位置では、その位置から観察者が撮影対象を見る場合、輻輳角は小さくなる。しかしながら、実際にはカメラは映像を縮小したのみで、カメラ自体は移動しないため、相当する輻輳角の減少量を得るため、光学系の基線長を減少させるようにする。
　したがって、カメラ自体はズームを行っているが想定する観察者視点が没入位置へ移動するため、その没入位置から見た場合、ズーム倍率はあたかも１倍のまま維持されていることに相当する。なお、カメラ自体がズーム動作の方向（順方向であれ逆方向であれ）に実際に移動を行う場合は、その移動量を勘案して基線長を変更できるよう、仮想視点位置を補正するか、もしくは、仮想視点位置を実際の位置に対応させるのに必要な情報を関連づけておくことが望ましい。
　また、仮想視点位置算出部７０４は、算出した所望の没入位置に仮想視点位置を移動させるため、適切な視差（輻輳角）を得ることのできる基線長の量、その他の光学系の制御量（光学系の自転量、光量など）を算出し、それぞれの制御系に伝達する。なお、ズームによる没入位置に仮想視点位置を常に一致させるよう制御する（没入ズーム）ほか、その変化の度合いや変化量を任意の演出パターンに応じて揺らぎや誤差、その他の変動パターンで仮想視点位置を変化させるようにしてもよい。また、カメラの操作者などによる手動の仮想視点位置変化入力に応じて変化させるようにしてもよい。
　基線長制御部７０５は、仮想視点位置算出部７０４により算出された基線長を実現するため、光学系間の距離を制御する。また、基線長制御部７０５は、上述したような演出、すなわち撮像部７０１によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも２つの光学系間の配置（距離）を制御してもよい。これにより、ズーム動作に特徴を持たせることができる。
　仮想視点位置出力部７０６は、算出された仮想視点位置を取得し、必要に応じて光学系の制御値を取得する。すなわち、算出された没入距離の情報に基づく観察者の仮想視点位置の情報を取得し、外部へ出力する。例えば、仮想視点位置出力部７０６は、撮影対象の焦点位置とカメラ位置に対する仮想視点位置にマッピングさせた情報として、通知情報を生成し、出力する。なお、単に仮想視点位置のみを出力するだけでよい場合、すなわち、例えば、その他の情報を含めて、後述する没入位置情報生成装置で十分なマッピンングが可能であるような場合は、仮想視点位置出力部７０６はそのまま仮想視点位置を出力する。
　また、仮想視点位置は、撮像部７０１によって撮像された撮影映像（撮影コンテンツ）に同期してリアルタイムに出力されるか、撮影映像に同期したタイムスタンプなどとの対応が取れるような情報を含んでいることが望ましい。すなわち、仮想視点位置の情報を出力する際、仮想視点位置の情報を、撮影映像に同期させて出力するか又は撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する。これにより、映像のどのシーンでの仮想視点位置であるかがリアルタイムに一致したり、収録（録画）の際の情報の同期（どのタイミングで仮想視点がどこにあるか）が容易になったりする。
　また、ズームと仮想視点位置の情報を常に出力する代わりに、シーンの切り替え、ズーム動作など、画角、構図が変更になる場合にのみ追加のデータ要素として出力してもよい。すなわち、所定のタイミングで仮想視点位置の情報を出力する。これにより、映像、音声、その他のデータを伝送する必要がある場合のトラフィックを低く抑えることができる。また、カメラの位置、焦点位置（カメラ位置からの焦点距離）の情報も合わせて出力することで、特にそれぞれの位置が固定でないような場合は、全体位置とのマッピング（撮影ロケーションのどこに相当するか）を把握する際に有用である。
　次に、本発明の実施の形態に係る没入位置情報生成装置の構成の一例について図８を用いて説明する。なお、構成はこれに限られるものではなく、他の構成要素を含むものでもよい。没入位置情報生成装置８００は、撮像制御装置７００もしくは、何らかの通信インタフェースを介して撮像制御装置７００から出力された仮想視点位置を受信する。ここで、撮像制御装置７００から出力された仮想視点位置は、その他の情報を含む場合、撮影対象との位置関係にマッピングされている情報の場合を含む。なお、撮像制御装置７００との位置関係は、全体として同一の機材内で接続されていたり（カメラに両装置とも内蔵しているような場合）、撮像制御装置７００の存在する機材から、任意の伝送装置などを介して伝送され、それを受信した機材内に仮想視点位置取得部８０１が存在していたり（放送局の編集機材にカメラからの情報を受信する装置を介して接続されるような場合）することが考えられる。
　また、没入位置情報生成装置８００は、必要に応じて、撮影コンテンツや仮想視点位置などを表示する仮想視点位置表示装置を参照している観察者にとって理解が容易になるような表示方法に変更する。例えば、撮影者が観察者であれば、ズーム倍率との対比情報を表示する。また、例えば、映像の演出、監督者が観察者であれば、仮想視点の変化の様子や演出上の変化パターンの情報を表示する。また、例えば、視聴者が観察者であれば、全体位置における仮想視点位置のマッピッング情報を表示する。以下で没入位情報生成装置８００の構成要素について説明する。
　仮想視点位置取得部８０１は、撮像制御装置７００から仮想視点の位置に関する情報を受け取る。受け取る情報要素の構成によって、多くの場合、観察者に対して直感的に理解できる（理解しやすい）情報に変換する必要があるため、受け取った情報が没入位置情報通知部８０３に送られる。
　光学系制御値取得部８０２は、撮像制御装置７００から仮想視点の位置に関する追加の情報を受け取る。受け取る情報要素の構成によって、多くの場合、仮想視点の位置に関する情報は、観察者に対して直感的に理解できる（理解しやすい）情報に変換する必要があるため、追加の情報が没入位置情報通知部８０３に送られる。ここで、追加に取得される情報の例としては、撮影映像のタイムスタンプなどとの対応が取れるような情報（一連の光学系制御の流れとそれに対応するタイムスタンプなど）が考えられる。また、シーンの切り替え、ズーム動作など、画角、構図が変更になったことを示す情報を取得してもよい。また、撮影エリアにおけるカメラの位置、焦点位置（カメラ位置からの焦点距離）の情報も合わせて取得してもよい。
　なお、仮想視点の位置に関する情報として、一括して仮想視点位置取得部８０１で必要な情報が取得できるような場合には、仮想視点位置取得部８０１が光学系制御値取得部８０２を兼ねているということができる。
　没入位置情報通知部８０３は、仮想視点位置取得部８０１と光学系制御値取得部８０２からの情報を受け、観察者に対して没入位置に関する情報を通知する。この際、例えば、図５に示すような、没入位置に関する情報を撮影映像に付加した映像を生成するものであってもよい。すなわち、没入位置情報通知部８０３は、仮想視点位置を認識できる他の情報を加えて映像情報を生成する。なお、この情報は、仮想視点の位置に基づく位置情報の他、どのような視点であるのかを簡易に通知することのできる情報（例えば、「いまは～～の視点です」と表記するものなど）であったり、撮影エリアの地図や模式図上に没入位置を示す記号を配したマッピング情報であったり、単に没入位置がそれまでの状態から変わったことを示す記号や音声によるアラーム情報であったり、２次的に仲介者（映像の編集者、アナウンサーなど）がコメント（アナウンス）することができるような通知情報であったりなど、状況に応じた形態が取られることが望ましい。
　没入位置情報通知部８０３は、仮想視点位置取得部８０１と光学系制御値取得部８０２からの情報を組み合わせることで、より観察者に分かりやすい情報に変化させることができる。例えば、撮影映像のタイムスタンプなどとの対応がとれるような情報により、映像のどのシーンでの仮想視点位置であるかが、リアルタイムに一致したり、収録（録画）の際の情報の同期（どのタイミングで仮想視点がどこにあるか）が容易になったりする。すなわち、没入位置情報通知部８０３は、撮影映像のタイムスタンプと対応がとれる情報に基づいて、仮想視点位置の情報を撮影映像に付加する。
　また、例えば、画角、構図が変更になったことを示す情報により、映像、音声、その他のデータを伝送する必要がある場合のトラフィックを低く抑えながら、仮想視点の切り替えタイミングを知らせることができる。また、例えば、カメラの実際のズーム倍率の情報により、ズーム倍率と並行して仮想視点位置を表示することで、観察者（この場合はカメラ操作者や演出者など）に撮影の状態を知らせることができるようになる。特に、カメラのズーム倍率に対して、没入ズームを常に追従させるのではなく、演出等の目的で異なった制御を行うような場合に有用な情報の通知形態となる。
　また、撮影エリアにおけるカメラの位置、焦点位置、などの情報により、特にそれぞれの位置が固定でないような場合は、全体位置とのマッピング（撮影ロケーションのどこに相当するか）を示すことが容易になる。例えば、仮想視点位置はカメラのズームに応じて、カメラと被写体の中点位置に設定されたとする（つまり、カメラと被写体が動かないとするとおよそ倍のズームを行ったような状態）。しかしながら、その時の焦点距離が変更になっているとすると（被写体移動、カメラ移動など様々な要因が考えられる）、被写体の位置や、カメラの位置の情報を合わせて考慮しないと、正確な撮影エリア内での位置が特定できなくなってしまう。したがって、このような場合は、カメラの位置と焦点距離から、その中点の位置を特定するなどして、仮想視点位置の撮影エリアへのマッピングを行う。
　マッピングに必要な制御値情報（位置情報も含む）は撮影エリアによって様々であり、例えば、エリアの空間的状況を含めて通知する必要がある場合には、カメラの上下への仰角も必要な情報の一つとなる場合がある。観察者にとって理解がしやすい情報が構成できると、この情報を観察者に対して出力する。通知の方法、通知先は、観察者によってそれぞれ異なる。
　没入位置情報通知部８０３は、例えば、観察者が生中継の視聴者である場合は、放送波に乗せてテレビ受像機などを介して通知する。また、例えば、観察者が録画素材の視聴者である場合は、録画素材（映像そのものを含む）や、記録媒体に追加の情報として記録することで再生時に通知する。また、例えば、観察者が、編集者、演出者、監督など中継局、放送局において、映像コンテンツの編集や制御を行う者の場合は、スイッチャや編集機材などの装置のモニタなどを介して通知する。また、例えば、観察者がカメラマンなどの、直接的にカメラを操作している者の場合は、カメラのビューファインダや情報表示部分で通知する。
　次に、本発明の実施の形態に係る撮像制御装置における処理フローの一例について図９を用いて説明する。図９に示すように、仮想視点位置算出部７０４は、所定の基準ズーム倍率（例えば、１倍）と、所定の基準ズーム倍率に対する所望のズーム倍率と、撮像制御装置（撮像部７０１でもあってもよい）から被写体までの距離とに基づいて、所望のズーム倍率を実現するために撮像制御装置が配されるべき仮想的な位置から撮像制御装置の現実の位置までの距離である没入距離（例えば、９０ｍ）を算出する（ステップＳ９０１）。仮想視点位置算出部７０４は、算出された没入距離に基づいて、仮想的な位置に撮像制御装置が配されていて所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、複数の光学系が現実の位置を結ぶ延長線上に配される場合の複数の光学系の間隔（設定すべき基線長の長さ）を算出する（ステップＳ９０２）。基線長制御部７０５は、所定の基線長（例えば、デフォルト値）を算出された間隔（設定すべき基線長の長さ）に変更して複数の光学系を配置する（ステップＳ９０３）。撮像部７０１は、基線長制御部７０５によって複数の光学系が配置された状態で被写体を撮像する（ステップＳ９０４）。なお、演出の一環で、基線長制御部７０５は、撮像部７０１によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも２つの光学系の配置を制御することも可能である。
　次に、本発明の実施の形態に係る没入位置情報生成装置における処理フローの一例について図１０を用いて説明する。図１０に示すように、仮想視点位置取得部８０１は、撮像制御装置から、観察者の仮想視点位置の情報を受信する（ステップＳ１００１）。没入位置情報通知部８０３は、受信された仮想視点位置の情報を、撮像制御装置から受信した撮影映像に付加した映像情報を生成する（ステップＳ１００２）。このとき、没入位置情報通知部８０３は、仮想視点位置を認識できる他の情報（上述した記号、コメントなど）を加えて映像情報を生成してもよく、撮影映像のタイムスタンプと対応がとれる情報に基づいて、仮想視点位置の情報を撮影映像に付加してもよい。
　これまで示したとおり、本発明によると、カメラのズームに合わせて（もしくは何らかの表現意図を加えて）没入ズームを行い、その状態を観察者に伝えることができるが、これらは主に、中長距離から映像を撮影する場合（特にスポーツなど）や、構図において近像に障害物やその他の被写体を含まないような場合に有効となる。なお、構図において近像に障害物やその他の被写体を含まないような場合とは、近中距離の撮影であっても構図をあらかじめ焦点位置の被写体のみを捉えることができるように設定できる場合などを言う。
　その一方で、異なる条件の場合、特に、近・中距離の撮影であって、構図において近像に障害物やその他の被写体を含んでしまったり、構図をあらかじめ確定できなかったりする場合には、手前にある被写体（意図しない障害物を含む）の視差が必要以上に強調されるなど、観察者にとって融像を妨げる結果になってしまう場合がある。このような場合には本発明の没入ズームを行う状態から、従来の（もしくは他の）ズーム制御を行う状態に切り替えることができるようになっていることが望ましい。
　例えば、カメラの操作者が没入ズームのモードとその他のズームのモードをそれぞれ切り替えて撮影できるような設定メニューやスイッチを設けるとよい。もしくは、没入ズームを行う際にも並行して通常の撮影も行えるように基線長の変更の目的では別の光学系を使用し、没入ズームの撮影と同時に、基線長を変更しない（もしくは別の制御を行う）映像も撮影する。すなわち、基線長制御部７０５は、算出された基線長（間隔）に基づいて、複数の光学系（少なくとも２つの光学系）とは別の光学系間の基線長を調整し、別の光学系を備える撮像手段に被写体を撮像させ、撮像部７０１は、複数の光学系が所定の基線長で配置された状態で被写体を撮像する。最終的には、編集者や演出者が、撮影の構図などを元にいずれの映像を使用するか（放送するか）を選択できるようにすることが望ましい。
　なお、上記説明したものは本発明の実施の形態の一例であり、これに限られるものではない。例えば、基線長を大きくする以外の方法で仮想視点を移動させるような制御を行ってもよい。また、例えば、基線長の長いところに第３の視点（第３の光学系）を備えるようにしてもよい。すなわち、２つの光学系とは別の光学系を備えるようにしてもよい。具体的には、算出された基線長（間隔）を複数の光学系（少なくとも２つの光学系）で確保することができない場合、撮像部７０１が、複数の光学系とは別の光学系を用いて基線長（間隔）を確保した状態で被写体を撮像する。これにより、２つの光学系では対応できない長い基線長であっても第３の光学系（別の光学系）を用いることで本発明の目的を達成することができる。また、例えば、演出動作のプリセットプログラムと発動コマンド、ボタンを備えるようにしてもよい。これにより、様々な演出を誰でも容易に行うことができる。また、例えば、提供される映像コンテンツは、生中継されるものであっても、あらかじめ収録されたものであってもよい。
　なお、上記の本発明の実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応などが可能性としてあり得る。
　本発明に係る撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法は、没入感のある拡大ズームを実現することができるため、ユーザに融像させる映像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法などに有用である。

Claims (22)

  1. 　撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、
    　所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、
    　前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、
    　前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段とを備え、
    　前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像制御装置。
  2. 　算出された前記没入距離の情報に基づく前記ユーザの仮想視点位置の情報を取得し、外部へ出力する出力手段を更に備える請求項１に記載の撮像制御装置。
  3. 　前記出力手段は、前記仮想視点位置の情報を出力する際、前記仮想視点位置の情報を、撮影映像に同期させて出力するか又は前記撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する請求項２に記載の撮像制御装置。
  4. 　前記出力手段は、所定のタイミングで前記仮想視点位置の情報を出力する請求項２又は３に記載の撮像制御装置。
  5. 　算出された前記間隔を前記少なくとも２つの光学系で確保することができない場合、
    　前記撮像手段は、前記少なくとも２つの光学系とは別の光学系を用いて前記間隔を確保した状態で前記被写体を撮像する請求項１に記載の撮像制御装置。
  6. 　前記少なくとも２つの光学系自体を回転制御できる場合、
    　前記算出手段は、前記間隔を算出する際、前記少なくとも２つの光学系を回転させることで輻輳角を大きくできる場合、前記少なくとも２つの光学系の回転による前記輻輳角を考慮して前記間隔を算出する請求項１に記載の撮像制御装置。
  7. 　前記制御手段は、算出された前記間隔に基づいて、前記少なくとも２つの光学系とは別の光学系間の基線長を調整し、前記別の光学系を備える撮像手段に前記被写体を撮像させ、
    　前記撮像手段は、前記少なくとも２つの光学系が前記所定の基線長の間隔で配置された状態で前記被写体を撮像する請求項１に記載の撮像制御装置。
  8. 　前記制御手段は、前記撮像手段によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう前記少なくとも２つの光学系の配置を制御する請求項１に記載の撮像制御装置。
  9. 　撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成装置であって、
    　前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信手段と、
    　受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成手段とを、
    　備える没入位置情報生成装置。
  10. 　前記生成手段は、前記仮想視点位置を認識できる他の情報を加えて前記映像情報を生成する請求項９に記載の没入位置情報生成装置。
  11. 　前記生成手段は、前記撮影映像のタイムスタンプと対応がとれる情報に基づいて、前記仮想視点位置の情報を前記撮影映像に付加する請求項９又は１０に記載の没入位置情報生成装置。
  12. 　撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、
    　所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、
    　前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、
    　前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、
    　有する撮像制御方法。
  13. 　算出された前記没入距離の情報に基づく前記ユーザの仮想視点位置の情報を取得し、外部へ出力する出力ステップを更に有する請求項１２に記載の撮像制御方法。
  14. 　前記出力ステップにおいて、前記仮想視点位置の情報を出力する際、前記仮想視点位置の情報を、撮影映像に同期させて出力するか又は前記撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する請求項１３に記載の撮像制御方法。
  15. 　前記出力ステップにおいて、所定のタイミングで前記仮想視点位置の情報を出力する請求項１３又は１４に記載の撮像制御方法。
  16. 　算出された前記間隔を前記少なくとも２つの光学系で確保することができない場合、
    　前記撮像ステップにおいて、前記少なくとも２つの光学系とは別の光学系を用いて前記間隔を確保した状態で前記被写体を撮像する請求項１２に記載の撮像制御方法。
  17. 　前記少なくとも２つの光学系が自ら回転できる場合、
    　前記算出ステップにおいて、前記間隔を算出する際、前記少なくとも２つの光学系を回転させることで輻輳角を大きくできる場合、前記少なくとも２つの光学系の回転による前記輻輳角を考慮して前記間隔を算出する請求項１２に記載の撮像制御方法。
  18. 　前記制御ステップにおいて、算出された前記間隔に基づいて、前記少なくとも２つの光学系とは別の光学系間の基線長を調整し、前記別の光学系を備える撮像手段に前記被写体を撮像させ、
    　前記撮像ステップにおいて、前記少なくとも２つの光学系が前記所定の基線長の間隔で配置された状態で前記被写体を撮像する請求項１２に記載の撮像制御方法。
  19. 　前記撮像手段によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう前記少なくとも２つの光学系の配置を制御するステップを更に有する請求項１２に記載の撮像制御方法。
  20. 　撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成方法であって、
    　前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信ステップと、
    　受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成ステップとを、
    　有する没入位置情報生成方法。
  21. 　前記生成ステップにおいて、前記仮想視点位置を認識できる他の情報を加えて前記映像情報を生成する請求項２０に記載の没入位置情報生成方法。
  22. 　前記生成ステップにおいて、前記撮影映像のタイムスタンプと対応がとれる情報に基づいて、前記仮想視点位置の情報を前記撮影映像に付加する請求項２０又は２１に記載の没入位置情報生成方法。
PCT/JP2011/001555 2010-03-30 2011-03-16 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 WO2011121920A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/579,729 US9167134B2 (en) 2010-03-30 2011-03-16 Imaging control device, immersion position information generation device, imaging control method, immersion position information generation method
CN201180016549.4A CN102823231B (zh) 2010-03-30 2011-03-16 摄像控制装置及摄像控制方法
JP2012508053A JP5607146B2 (ja) 2010-03-30 2011-03-16 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法
EP11762173.0A EP2555506B1 (en) 2010-03-30 2011-03-16 Imaging control device, immersion position information generation device, imaging control method, immersion position information generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010076910 2010-03-30
JP2010-076910 2010-03-30

Publications (1)

Publication Number Publication Date
WO2011121920A1 true WO2011121920A1 (ja) 2011-10-06

Family

ID=44711690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001555 WO2011121920A1 (ja) 2010-03-30 2011-03-16 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法

Country Status (5)

Country Link
US (1) US9167134B2 (ja)
EP (1) EP2555506B1 (ja)
JP (2) JP5607146B2 (ja)
CN (1) CN102823231B (ja)
WO (1) WO2011121920A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018500690A (ja) * 2014-12-23 2018-01-11 エルビット システムズ リミテッド 拡大３ｄ画像を生成するための方法およびシステム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5607146B2 (ja) * 2010-03-30 2014-10-15 パナソニック株式会社 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法
JP2012191608A (ja) * 2011-02-22 2012-10-04 Panasonic Corp 立体撮像装置および立体撮像方法
CN107211085B (zh) * 2015-02-20 2020-06-05 索尼公司 摄像装置和摄像方法
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
US10721419B2 (en) * 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
CA3085185C (en) * 2017-12-20 2024-04-09 Leia Inc. Cross-render multiview camera, system, and method
JP7245013B2 (ja) * 2018-09-06 2023-03-23 キヤノン株式会社 制御装置及び制御方法
JP7349808B2 (ja) 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7301567B2 (ja) * 2019-03-20 2023-07-03 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JPWO2020246292A1 (ja) 2019-06-07 2020-12-10
US20230396873A1 (en) * 2020-10-29 2023-12-07 Sony Group Corporation Information processing device, information processing method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322128A (ja) 1994-05-24 1995-12-08 Canon Inc 複眼撮像装置
JPH1070740A (ja) * 1996-08-28 1998-03-10 Sony Corp 立体カメラおよびビデオ映像伝送システム
JP2003107601A (ja) 2001-10-01 2003-04-09 Canon Inc 立体画像撮影装置および立体画像撮影方法
JP2005024629A (ja) 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体カメラ用雲台装置
JP2005094364A (ja) * 2003-09-17 2005-04-07 Japan Process Development Co Ltd 立体画像撮影装置
JP2007195091A (ja) * 2006-01-23 2007-08-02 Sharp Corp 合成映像生成システム
JP2008233579A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 複眼撮影装置
JP2009210957A (ja) 2008-03-06 2009-09-17 Fujifilm Corp 複眼カメラおよび撮影方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06339155A (ja) * 1993-05-28 1994-12-06 Sharp Corp ３次元画像撮影システム
US5682198A (en) * 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6326995B1 (en) * 1994-11-03 2001-12-04 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
JPH08251467A (ja) * 1995-03-09 1996-09-27 Canon Inc カメラ情報の表示装置
JP2791310B2 (ja) * 1996-08-27 1998-08-27 幹次 村上 多角度撮影用の撮像装置
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP2005341466A (ja) * 2004-05-31 2005-12-08 Auto Network Gijutsu Kenkyusho:Kk 車載カメラシステム
JP3880603B2 (ja) * 2005-02-22 2007-02-14 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理方法及びプログラム
JP4928275B2 (ja) * 2007-01-10 2012-05-09 キヤノン株式会社 カメラ制御装置及びその制御方法
JP5607146B2 (ja) * 2010-03-30 2014-10-15 パナソニック株式会社 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322128A (ja) 1994-05-24 1995-12-08 Canon Inc 複眼撮像装置
JPH1070740A (ja) * 1996-08-28 1998-03-10 Sony Corp 立体カメラおよびビデオ映像伝送システム
JP2003107601A (ja) 2001-10-01 2003-04-09 Canon Inc 立体画像撮影装置および立体画像撮影方法
JP2005024629A (ja) 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体カメラ用雲台装置
JP2005094364A (ja) * 2003-09-17 2005-04-07 Japan Process Development Co Ltd 立体画像撮影装置
JP2007195091A (ja) * 2006-01-23 2007-08-02 Sharp Corp 合成映像生成システム
JP2008233579A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 複眼撮影装置
JP2009210957A (ja) 2008-03-06 2009-09-17 Fujifilm Corp 複眼カメラおよび撮影方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2555506A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018500690A (ja) * 2014-12-23 2018-01-11 エルビット システムズ リミテッド 拡大３ｄ画像を生成するための方法およびシステム

Also Published As

Publication number Publication date
CN102823231A (zh) 2012-12-12
US20120307020A1 (en) 2012-12-06
JP2014209768A (ja) 2014-11-06
EP2555506B1 (en) 2021-05-05
US9167134B2 (en) 2015-10-20
EP2555506A1 (en) 2013-02-06
JP5607146B2 (ja) 2014-10-15
EP2555506A4 (en) 2017-05-31
CN102823231B (zh) 2016-03-02
JP5884073B2 (ja) 2016-03-15
JPWO2011121920A1 (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
JP5884073B2 (ja) 没入位置情報生成方法
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
WO2004049734A1 (ja) 立体映像信号生成回路及び立体映像表示装置
JP2011114868A (ja) Ｇｕｉ提供方法及びこれを用いたディスプレイ装置と３ｄ映像提供システム
JP2011114867A (ja) 再生モード切替方法、出力モード切替方法及びこれを用いたディスプレイ装置と３ｄ映像提供システム
JP5546633B2 (ja) 立体画像再生装置、立体画像再生システム及び立体画像再生方法
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
WO2011136137A1 (ja) 立体撮像装置及びその制御方法
US9479761B2 (en) Document camera, method for controlling document camera, program, and display processing system
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
JP6207640B2 (ja) ２次元映像の立体映像化表示装置
JP5562122B2 (ja) 画像処理装置及びその制御方法
JP2013090180A (ja) 立体映像撮影表示装置
JP2011135252A (ja) 立体映像撮影用カメラ調整補助装置
US8503874B2 (en) Apparatus for imaging three-dimensional image
KR102315899B1 (ko) 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
CN109729335A (zh) 一种视差调整的方法、装置及系统
JP5335022B2 (ja) 映像再生装置
JP2010154479A (ja) 立体画像再生装置、立体画像再生プログラム、撮像装置
CN114302127A (zh) 一种数字全景3d影片制作的方法及系统
CN111629195A (zh) 一种3dvr照片的显示方法
Perisic A New Single Camera System for Stereoscopic Image Acquisition
JP2012257150A (ja) 立体映像撮像装置および立体映像再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180016549.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11762173

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012508053

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13579729

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011762173

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE