WO2017122512A1 - 撮像システム、撮像装置及び撮像装置の作動方法 - Google Patents

撮像システム、撮像装置及び撮像装置の作動方法 Download PDF

Info

Publication number
WO2017122512A1
WO2017122512A1 PCT/JP2016/088189 JP2016088189W WO2017122512A1 WO 2017122512 A1 WO2017122512 A1 WO 2017122512A1 JP 2016088189 W JP2016088189 W JP 2016088189W WO 2017122512 A1 WO2017122512 A1 WO 2017122512A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
imaging
view
image
light
Prior art date
Application number
PCT/JP2016/088189
Other languages
English (en)
French (fr)
Inventor
和田 哲
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2017561566A priority Critical patent/JP6426307B2/ja
Priority to CN201680078896.2A priority patent/CN108476280B/zh
Publication of WO2017122512A1 publication Critical patent/WO2017122512A1/ja
Priority to US16/030,868 priority patent/US10645296B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Definitions

  • the present invention relates to an imaging system, an imaging apparatus, and an operation method of the imaging apparatus.
  • imaging is performed using an imaging system that simultaneously photographs a subject with a plurality of television cameras (imaging devices).
  • the imaging system includes a video switching device (also referred to as a switcher) that selects a plurality of video images generated by each television camera.
  • the selected video image is output to the broadcasting device as an on-air image, or is output to the recording device as a recorded image.
  • each of a plurality of television cameras generates an evaluation value indicating the state of an automatic control system responsible for automatic control of exposure and color reproduction. Based on this, an optimal control value for imaging the subject is calculated, and the automatic control system of each television camera is controlled using the optimal control value. Thereby, it is possible to prevent subject exposure and color reproduction from varying among a plurality of television cameras.
  • the cameraman who operates the TV camera determines the composition of his / her TV camera according to the composition of the other TV camera so as not to give the viewer a sense of incongruity. For this reason, TV cameras are usually provided with a function for displaying video images of other TV cameras so that a cameraman can check what video images the other TV cameras are taking. Yes. However, there is no function for confirming the composition of other TV cameras and the composition of itself at the same time. For this reason, there is a delay in determining the composition of the own TV camera according to the composition of the other TV camera, and the video image that gives the viewer a sense of incongruity is not in time for the switching of the video image by the video switching device. It was sometimes output.
  • the present invention provides an imaging system, an imaging apparatus, and an operation method of the imaging apparatus that can smoothly switch a plurality of video images generated by a plurality of imaging apparatuses without causing a viewer to feel uncomfortable.
  • the purpose is to do.
  • an imaging system of the present invention is an imaging system that photographs a subject simultaneously with a plurality of imaging devices, and the imaging device includes a photographing lens, a takeout unit, a first imaging unit, 2 It has an imaging part, a mark light detection part, a calculating part, an image composition part, and a monitor.
  • a subject light including an angle-of-view mark light emitted from another imaging device other than the imaging device and including an angle-of-view mark light of another imaging device is incident on the photographing lens.
  • the extraction unit extracts the angle-of-view mark light from the subject light.
  • the first imaging unit captures the subject light from which the view angle mark light has been removed by the extraction unit, and outputs a first imaging signal for video.
  • the second imaging unit images the view angle mark light and outputs a second image pickup signal for detecting the view angle mark light.
  • the mark light detection unit detects the angle-of-view mark light based on the second imaging signal.
  • the calculation unit calculates the position of the virtual view angle mark indicating the image pickup view angle of the other image pickup device in the image pickup view angle of itself.
  • the image synthesis unit generates a synthesized image by synthesizing a virtual view angle image corresponding to the position of the virtual view angle mark with the video image based on the first imaging signal.
  • the monitor displays the composite image.
  • the imaging device preferably has a mark light source for irradiating angle-of-view mark light.
  • the second imaging unit is an imaging unit for focus control that controls the focus of the photographic lens to the in-focus position
  • the mark light source is provided in the second imaging unit
  • the view angle mark light is used for focus control. It is also preferable to irradiate the subject through the photographic lens that also serves as light.
  • the image composition unit preferably synthesizes a change display image indicating a change in the current virtual angle of view image with respect to the virtual angle of view image of a certain time before the current time into a video image.
  • the angle-of-view mark light preferably has a different light emission pattern for each of a plurality of imaging devices.
  • the light emission pattern is preferably any one of a blinking interval, light emission intensity, and a projected shape.
  • the image composition unit changes the display form of the virtual view angle image for each of the other imaging devices.
  • the imaging device includes an operation unit that selects an imaging device that synthesizes a virtual angle-of-view image from other imaging devices, and the image synthesis unit displays a virtual angle-of-view image of the imaging device selected by the operation unit. It is preferable to synthesize.
  • a video switching device that selects one video image from a plurality of video images generated by each of the plurality of imaging devices and outputs the selected video image to an external device; Preferably, only the virtual angle-of-view image of the imaging device for which the video image is selected by the video switching device is synthesized.
  • the imaging field angle is rectangular, and it is preferable that the field angle mark light has a projected shape along two orthogonal straight lines that form the corner of the imaging field angle.
  • the angle-of-view mark light is preferably light having a wavelength band different from that of visible light.
  • An image pickup apparatus is an image pickup apparatus used in an image pickup system for simultaneously photographing a subject with a plurality of image pickup apparatuses, and includes a taking lens, a takeout unit, a first image pickup unit, a second image pickup unit, and a mark
  • a light detection unit, a calculation unit, an image composition unit, and a monitor are provided.
  • a subject light including an angle-of-view mark light emitted from another imaging device other than the imaging device and including an angle-of-view mark light of another imaging device is incident on the photographing lens.
  • the extraction unit extracts the angle-of-view mark light from the subject light.
  • the first imaging unit captures the subject light from which the view angle mark light has been removed by the extraction unit, and outputs a first imaging signal for video.
  • the second imaging unit images the view angle mark light and outputs a second image pickup signal for detecting the view angle mark light.
  • the mark light detection unit detects the angle-of-view mark light based on the second imaging signal.
  • the calculation unit calculates the position of the virtual view angle mark indicating the image pickup view angle of the other image pickup device in the image pickup view angle of itself.
  • the image synthesis unit generates a synthesized image by synthesizing a virtual view angle image corresponding to the position of the virtual view angle mark with the video image based on the first imaging signal.
  • the monitor displays the composite image.
  • the operating method of the imaging apparatus is an operating method of the imaging apparatus used in an imaging system that simultaneously captures a subject with a plurality of imaging apparatuses, and includes an extraction step, a first imaging step, and a second imaging step. , A mark light detection step, a calculation step, an image synthesis step, and a display step.
  • the extraction step the angle of view mark light emitted from another imaging device other than the imaging device is emitted from the subject light including the angle of view mark light indicating the imaging angle of view of the other imaging device.
  • the first imaging unit images the subject light from which the angle-of-view mark light has been removed in the extraction step, and outputs a first imaging signal for video.
  • the second imaging unit images the field angle mark light and outputs a second imaging signal for detecting the field angle mark light.
  • the mark light detection step detects the angle-of-view mark light based on the second imaging signal.
  • the calculation step calculates the position of the virtual field angle mark indicating the imaging field angle of the other imaging device in its own imaging field angle based on the field angle mark light.
  • the image synthesis step the image synthesis unit generates a synthesized image by synthesizing a virtual angle of view image corresponding to the position of the virtual angle of view mark with the video image based on the first imaging signal.
  • the composite image is displayed on the monitor.
  • a synthesized image generated by synthesizing a virtual angle-of-view image corresponding to the position of a virtual angle-of-view mark indicating the imaging angle of view of another imaging device with an image for video in its own imaging angle of view is provided.
  • an imaging system, an imaging device, and an operation method of the imaging device that can smoothly switch between a plurality of video images generated by a plurality of imaging devices without causing discomfort to the viewer. can do.
  • FIG. 1 It is a figure which shows a mode that a to-be-photographed object is simultaneously image
  • FIG. 1 shows a situation in which a subject is simultaneously photographed by a first television camera 11A and a second television camera 11B as imaging devices in a studio 7.
  • “A” is added to the numbers related to the first television camera 11A
  • “B” is added to the numbers related to the second TV camera 11B, and the numbers are distinguished. If there is no need to distinguish between them, the description will be made without attaching “A” and “B”.
  • the first television camera 11A and the second television camera 11B have an imaging field angle 8A and an imaging field angle 8B, respectively.
  • the imaging field angle 8A and the imaging field angle 8B are rectangular.
  • Field angle mark light 9A indicating the field angle 8A is irradiated at the four corners of the field angle 8A.
  • field angle mark light 9B indicating the field angle 8B is irradiated at the four corners of the field angle 8B.
  • the projection shapes of the field angle mark lights 9A and 9B are circular.
  • FIG. 1 illustrates a case where the centers of the imaging field angles 8A and 8B are substantially coincident, the person H is at that position, and the imaging field angle 8B is wider than the imaging field angle 8A.
  • the angle-of-view mark light 9 is light having a wavelength band different from that of visible light, for example, infrared light.
  • Visible light is light having a wavelength band of approximately 400 nm to 750 nm.
  • the infrared light includes near-infrared light from 750 nm to 2.5 ⁇ m, mid-infrared light from 2.5 ⁇ m to 50 ⁇ m, and far-infrared light of 50 ⁇ m or more.
  • the view angle mark light 9 for example, infrared light having a wavelength band of 750 nm to 1500 nm is used. Note that visible light in a wavelength band near the infrared region from 650 nm to 750 nm may be used as the view angle mark light 9.
  • the first television camera 11A and the second television camera 11B constitute the imaging system 2 together with the video switching device 37 and the like.
  • the first TV camera 11A and the second TV camera 11B have the same internal configuration. Therefore, in FIG. 2, only the internal configuration of the first television camera 11A is illustrated, and the internal configuration of the second television camera 11B is omitted.
  • the first television camera 11 ⁇ / b> A includes a lens device 12 and a camera body 13.
  • the lens device 12 is detachably attached to the camera body 13 and can be replaced with another lens device 12.
  • the lens device 12 includes a photographing lens 14 and a control unit 15. Subject light is incident on the photographing lens 14.
  • the subject light includes the person H in the imaging field angle 8, the floor and wall surfaces of the studio 7, and the field angle mark light 9.
  • the photographic lens 14 includes, for example, a fixed focus lens 21, a moving focus lens 22, a zoom lens 23, a variable aperture (iris) 24, a front relay lens 25, a dichroic mirror 26, and a rear relay lens 27 from the subject side. These optical axes O1 coincide.
  • the moving focus lens 22 is movable along the optical axis O1.
  • the zoom lens 23 includes zooming and correction lenses 28 and 29. It should be noted that the configuration of each lens in the drawing is simplified, and there is a lens group composed of a plurality of lenses shown as one lens.
  • the control unit 15 controls the position of the moving focus lens 22, the position of the zoom lens 23, and the aperture value of the variable aperture 24.
  • a lens monitor 30 and an operation unit 31 are connected to the control unit 15.
  • the lens monitor 30 is composed of a liquid crystal panel.
  • the lens monitor 30 displays a graphic screen or the like indicating various setting states of the lens device 12.
  • the operation unit 31 includes operation keys and operation knobs that are not shown. By operating these operation keys and operation knobs, various settings of the lens device 12 can be performed while viewing the lens monitor 30.
  • the camera body 13 includes a first imaging unit 16 and an image processing unit 17.
  • the first imaging unit 16 images subject light incident from the lens device 12 and outputs a first imaging signal for video.
  • the first imaging unit 16 includes a color separation optical system 32 and three video imaging elements 33, 34, and 35.
  • the color separation optical system 32 separates subject light into three colors of red light, green light, and blue light.
  • the image pickup devices 33 to 35 are composed of solid-state image pickup devices such as CCD (Charged-coupled devices) or CMOS (Complementary metal-oxide-semiconductor), for example, and the three-color light separated by the color separation optical system 32 is obtained. Conversion to the first imaging signal.
  • the image processing unit 17 performs a predetermined process on the first image pickup signals output from the image pickup devices 33 to 35 to generate image images.
  • the image processing unit 17 includes an image composition unit 36.
  • the image synthesizing unit 36 synthesizes a later-described virtual angle-of-view image with the video image to generate a synthesized image.
  • the image processing unit 17 transmits the composite image generated by the image composition unit 36 to the monitor 19 installed in the camera body 13.
  • the monitor 19 displays the composite image as a through image (live view).
  • a cameraman operating the television camera 11 takes an image in consideration of the composition and the like while observing the composite image displayed on the monitor 19.
  • the image processing unit 17 transmits the video image to the video switching device 37.
  • Two switcher monitors 38A and 38B are connected to the video switching device 37.
  • the switcher monitor 38A displays a video image from the first television camera 11A.
  • the switcher monitor 38B displays a video image from the second television camera 11B.
  • the staff operating the video switching device 37 observes each video image displayed on each switcher monitor 38A, 38B, operates the video switching device 37, and selects a video image showing the composition desired by him / her. To do.
  • the video images from the first TV camera 11A and the second TV camera 11B are switched at appropriate timings and output as an on-air image or a recorded image to an external device 39 such as a broadcasting device or a recording device.
  • the video switching device 37 transmits information of the television camera 11 in which the video image is selected to each of the television cameras 11A and 11B.
  • the television camera 11 in which the image for video is selected notifies the person H that the image for video is selected, for example, by turning on an on-air lamp provided in the camera body 13.
  • the dichroic mirror 26 is disposed between the front relay lens 25 and the rear relay lens 27 constituting the relay optical system so as to be inclined at an angle of approximately 45 degrees with respect to the optical axis O1.
  • the dichroic mirror 26 reflects the view angle mark light 9 in the subject light and transmits light other than the view angle mark light 9.
  • the angle-of-view mark light 9 is infrared light in the wavelength band from 750 nm to 1500 nm, and therefore the dichroic mirror 26 reflects infrared light in the wavelength band from 750 nm to 1500 nm, and other light, For example, visible light having a wavelength band of about 400 nm to 750 nm is transmitted.
  • the dichroic mirror 26 functions as an extraction unit that extracts the angle-of-view mark light 9 from the subject light.
  • the subject light from which the angle-of-view mark light 9 has been removed by the dichroic mirror 26 is guided to the first imaging unit 16 of the camera body 13 along the optical axis O1.
  • the angle-of-view mark light 9 is reflected at an angle of 90 degrees by the dichroic mirror 26 and guided to the phase difference type autofocus device 40 by pupil division along the optical axis O2 orthogonal to the optical axis O1.
  • the automatic focusing device 40 includes a second imaging unit 41 and a focus control unit 42.
  • the second imaging unit 41 includes a mark light source 43, a pupil division lens 44, a light shielding plate 45, and a focus sensor 46.
  • the pupil division lens 44 is disposed at a position of the light shielding plate 45 corresponding to a plurality of pupil regions of the exit pupil of the photographing lens 14.
  • the focus sensor 46 is composed of an image sensor that responds to the view angle mark light 9 and converts it into an electrical signal.
  • the second imaging unit 41 images the field angle mark light 9 that has passed through the pupil division lens 44 with the focus sensor 46, and outputs a second imaging signal.
  • the second imaging unit 41 outputs the second imaging signal to the focus control unit 42 and the mark light detection unit 47.
  • the focus control unit 42 has a focus position calculation unit 48.
  • the focal position calculation unit 48 detects a focus shift (defocus amount) of the photographing lens 14 based on the second imaging signal from the focus sensor 46.
  • the focus control unit 42 moves the moving focus lens 22 along the optical axis O1 so that the defocus amount is “0”. Thus, automatic focus control is performed so that the in-focus position is obtained.
  • the second imaging unit 41 is an imaging unit for focus control that controls the focus of the photographic lens 14 to the in-focus position, and the second imaging signal is used for detecting the angle-of-view mark light and used for focus control. But there is.
  • the angle-of-view mark light 9 also serves as focus control light. Note that the calculation of the defocus amount of the phase difference method by pupil division and the focus control based on this calculation are well known, and detailed description thereof is omitted.
  • the light shielding plate 45 includes four mark light sources 43 and pupil division lenses 44.
  • the pupil division lens 44 is provided at equal intervals on the top, bottom, left and right of the light shielding plate 45, and the mark light source 43 is provided between adjacent pupil division lenses 44.
  • the mark light source 43 includes an LED (light emitting diode) or a laser.
  • a light source driver 49 is connected to the mark light source 43.
  • the mark light source 43 emits the angle-of-view mark light 9 with a predetermined light emission pattern under the control of the light source driver 49.
  • the angle-of-view mark light 9 emitted from the mark light source 43 is guided to the dichroic mirror 26 along the optical axis O2, reflected by the dichroic mirror 26 at an angle of 90 degrees, and within the photographing lens 14 along the optical axis O1. , And is irradiated toward the subject of the studio 7 as shown in FIG.
  • the angle-of-view mark light 9 strikes the subject, the reflected light is guided to the focus sensor 46 via the photographing lens 14, the dichroic mirror 26, and the pupil division lens 44.
  • the light source driver 49 is connected to the light emission pattern changing unit 50 of the control unit 15. For example, ten types of light emission patterns are given from the memory 51 to the light emission pattern changing unit 50. Each light emission pattern has a different blinking interval (light emission ON-OFF time) and / or light emission intensity.
  • the light emission pattern changing unit 50 sets one light emission pattern selected by the cameraman or the like via the operation unit 31 from the ten types of light emission patterns.
  • the light source driver 49 controls the mark light source 43 so that the angle-of-view mark light 9 is emitted with the light emission pattern set by the light emission pattern changing unit 50.
  • Different light emission patterns are set for the view angle mark lights 9A and 9B.
  • identifying the light emission pattern of the view angle mark lights 9A and 9B it is possible to identify which mark light source 43 of each of the television cameras 11A and 11B is the irradiation source of the view angle mark light 9. Therefore, by specifying the irradiation source of the view angle mark light 9, it is possible to estimate the imaging view angles 8A and 8B of the television cameras 11A and 11B.
  • a mark light source 43 is disposed between the pupil division lenses 44.
  • the pupil division lens 44 is prevented from receiving the view angle mark light 9.
  • the field angle mark light 9 can be applied to the four corners of the imaging field angle 8.
  • the angle-of-view mark light 9 emitted from the mark light source 43 is emitted toward the subject via the photographing lens 14 including the zoom lens 23.
  • the angle-of-view mark light 9 can always be applied to a fixed position near the four corners of the imaging angle of view 8 regardless of the zoom magnification of the photographic lens 14.
  • the angle-of-view mark light 9 can always be applied to a fixed position near the four corners of the imaging angle of view 8 regardless of the distance from the subject as well as the zoom magnification.
  • subject light including only its own angle-of-view mark light 9A is incident on the photographing lens 14A of the first television camera 11A.
  • subject light including the angle-of-view mark light 9A from the first TV camera 11A is incident on the photographing lens 14B of the second TV camera 11B.
  • the angle-of-view mark lights 9A and 9B are infrared light having a wavelength band different from that of visible light, and are reflected by the dichroic mirror 26 and are not guided to the first imaging unit 16, and therefore output from the first imaging unit 16. This does not affect the first imaging signal to be performed.
  • the mark light detection unit 47 detects the view angle mark light 9 based on the second imaging signal from the second imaging unit 41. Specifically, an area that emits light with a constant light emission pattern in the image based on the second imaging signal is detected as the angle-of-view mark light 9. Based on the light emission pattern, it is specified whether the detected angle-of-view mark light 9 is emitted from its own mark light source 43 or from the mark light source 43 of another TV camera 11 To do. The correspondence between each light emission pattern of the view angle mark light 9 and each television camera 11 in which each light emission pattern is set is stored in the memory 51. The mark light detection unit 47 specifies the irradiation source of the view angle mark light 9 with reference to this correspondence. The mark light detection unit 47 outputs the detection result of the view angle mark light 9 and the identification result of the irradiation source of the view angle mark light 9 to the calculation unit 52.
  • the calculation unit 52 determines the position of the virtual angle-of-view mark indicating the imaging angle of view 8 of the other television camera 11 in its own imaging angle of view 8. Calculate.
  • the positional relationship between the image based on the second imaging signal and the imaging angle of view 8 is stored in the memory 51 in advance.
  • the calculation unit 52 performs the above calculation with reference to this correspondence.
  • the position of the virtual view angle mark is a projection position of the view angle mark light 9 of the other television camera 11 that exists in the imaging view angle 8 of the virtual view angle mark. For example, in the state shown in FIG.
  • the calculation unit 52B of the second television camera 11B determines the imaging field angle 8A of the first television camera 11A at its own imaging field angle 8B based on the detection result of the field angle mark light 9A.
  • the position of the virtual view angle mark shown is calculated.
  • the calculation unit 52 transmits the calculated position of the virtual view angle mark to the image composition unit 36.
  • the calculation unit 52 obtains a virtual field angle frame indicating the frame of the imaging field angle 8 of the other television camera 11 based on the position of the virtual field angle mark. Specifically, the virtual view angle frame is specified from a rectangular frame formed by line segments connecting the virtual view angle marks. The computing unit 52 outputs the virtual view angle frame specifying result to the image composition unit 36.
  • the calculation unit 52 calculates only the position of the virtual view angle mark based on the view angle mark light 9 from the other TV camera 11 and does not calculate the position of the virtual view angle mark for the own view angle mark light 9. For example, in the state shown in FIG. 1, the calculation unit 52B of the second television camera 11B has its own angle of view mark light 9B in the image pickup angle of view 8B, but the virtual angle of view mark of the angle of view mark light 9B. The position is not calculated. Similarly, for the virtual view angle frame, the calculation unit 52 does not specify its own virtual view angle frame. Whether or not the view angle mark light 9 is its own can be determined from the result of specifying the irradiation source of the view angle mark light 9 from the mark light detection unit 47.
  • the image composition unit 36 generates a virtual view angle image corresponding to the position of the virtual view angle mark from the calculation unit 52 and the virtual view angle frame. Then, the virtual angle-of-view image and the video image based on the first imaging signal from the first imaging unit 16 are combined to generate a combined image.
  • FIG. 4 shows a composite image 55B displayed on the monitor 19B of the second television camera 11B in the state shown in FIG.
  • This composite image 55B is an image from the first television camera 11A as a virtual angle-of-view image on a video image that is captured by the second television camera 11B and reflects the floor and wall surface of the person H or the studio 7.
  • the virtual view angle mark image 56A showing the angle mark light 9A and the virtual view angle frame image 57A showing the frame of the imaging view angle 8A of the first television camera 11A are combined.
  • the virtual view angle mark image 56 ⁇ / b> A has the same circular shape as the projection shape of the view angle mark light 9.
  • the cameraman of the second TV camera 11B can easily grasp the composition currently being imaged by the first TV camera 11A in addition to the composition currently being imaged by viewing the composite image 55B through his monitor 19B. can do. As a result, the cameraman of the second TV camera 11B can immediately determine his / her composition according to the composition of the first TV camera 11A, and the viewer feels uncomfortable with the video image of the first TV camera 11A. An image for video that does not give an image can be captured by the second television camera 11B.
  • the angle of view mark light 9B from the second television camera 11B is not irradiated within the imaging angle of view 8A of the first television camera 11A.
  • the composite image 55A displayed on the monitor 19A of the camera 11A the virtual view angle mark image 56B showing the view angle mark light 9B and the virtual view angle frame image 57B showing the frame of the imaging view angle 8B are not combined. That is, the composite image 55A is a video image itself based on the first imaging signal from the first imaging unit 16A of the first television camera 11A.
  • the television camera 11 is activated and imaging of a subject by the television camera 11 is started.
  • Subject light is incident on the photographic lens 14.
  • the view angle mark light 9 is emitted from the mark light source 43 toward the subject (step ST10).
  • step ST11 extraction step
  • step ST12 first imaging step
  • step ST13 2nd imaging step
  • the second imaging signal is used for focus control by the focus control unit 42 and is output to the mark light detection unit 47.
  • the mark light detection unit 47 detects the angle-of-view mark light 9 based on the second imaging signal (step ST14, mark light detection step). Further, the irradiation source of the view angle mark light 9 is specified based on the light emission pattern of the view angle mark light 9 (step ST15). The detection result of the view angle mark light 9 and the result of specifying the irradiation source of the view angle mark light 9 are output to the calculation unit 52.
  • the position of the virtual view angle mark is calculated based on the detection result of the view angle mark light 9, and the virtual view angle frame is specified (step ST16, calculation step). At this time, only the position of the virtual view angle mark and the virtual view angle frame based on the view angle mark light 9 from the other television camera 11 are calculated and specified. The calculation result of the position of the virtual view angle mark and the specification result of the virtual view angle frame are transmitted to the image composition unit 36.
  • a virtual view angle mark image 56 and a virtual view angle frame image 57 are generated as virtual view angles images, and these are combined with the image for image processed by the image processing unit 17 (step ST17). , Image composition step).
  • the virtual angle of view mark image 56 is synthesized at the projection position of the angle of view mark light 9 of the other television camera 11.
  • the virtual angle of view frame image 57 is combined with the frame of the imaging angle of view 8 of the other television camera 11 corresponding to the projection position of the angle of view mark light 9.
  • step ST18 display step
  • steps ST16 and 17 are omitted, and the video is displayed on the monitor 19. An image is displayed.
  • the virtual angle of view image (the virtual angle of view mark image 56 and the virtual angle of view frame image corresponding to the position of the virtual angle of view mark indicating the imaged angle of view 8 of the other television camera 11 in its own imaged angle of view 8. 57) is displayed on the monitor 19 by synthesizing the image for video with the image for video, so that the cameraman sees the synthesized image 55 displayed on the monitor 19 to see how the other television camera 11 performs. You can see at the same time as your own composition whether the image is captured in the correct composition. For this reason, there is no delay in determining the composition of the cameraman, and the video image that gives the viewer a sense of discomfort is not output in time for the switching of the video image by the video switching device 37. Therefore, it is possible to smoothly switch the video image without giving the viewer a sense of incongruity.
  • the focus control light source provided in the second image pickup unit 41 that is the focus control image pickup unit is used as the mark light source 43 and the focus control light is used as the angle-of-view mark light 9, Can effectively use an existing light source for focus control. Since there is no need to provide a separate light source dedicated to the angle-of-view mark light 9, component costs can be reduced, and the television camera 11 can be made compact.
  • the angle-of-view mark light 9 is light having a wavelength band different from that of visible light, the angle-of-view mark light 9 does not flicker and interfere with shooting.
  • a virtual angle of view image composed of the virtual angle of view mark image 56 and the virtual angle of view frame image 57 is displayed on the monitor 19, but the virtual angle of view image is the virtual angle of view mark image 56 or Only one of the virtual angle-of-view frame images 57 may be used.
  • the virtual view angle mark image 56 may have the same shape as the projection shape of the view angle mark light 9 (circular shape in the present embodiment), or a shape different from the projection shape of the view angle mark light 9 ( In this embodiment, it may be a triangle, a quadrangle, another polygon, or an L-shape).
  • the imaging system 2 including the two television cameras 11A and 11B is illustrated, but an imaging system including three or more television cameras 11 may be used.
  • the number of TV cameras 11 other than itself is two or more.
  • the image composition unit 36 may compose the virtual view angle images of all the other two or more other TV cameras 11, and in this case, as shown in FIG. It is preferable to change the display form.
  • FIG. 6 is an example of a composite image 55C displayed on the monitor 19C of the third television camera 11C (not shown) in an imaging system including three television cameras 11A, 11B, and 11C.
  • the composite image 55C includes a virtual view angle mark image 56A showing the view angle mark light 9A from the first television camera 11A, a virtual view angle frame image 57A showing the frame of the imaging view angle 8A of the first television camera 11A, and A virtual view angle mark image 56B showing the view angle mark light 9B from the second television camera 11B and a virtual view angle frame image 57B showing the frame of the imaging view angle 8B of the second television camera 11B are displayed.
  • the virtual view angle mark image 56A and the virtual view angle frame image 57A, the virtual view angle mark image 56B, and the virtual view angle frame image 57B are given the name of the television camera 11 as shown in the figure, or the color, line
  • the display form is different, such as the seed and line thickness are different, or one is blinking.
  • the display angle of the virtual angle-of-view image is changed for each other TV camera 11 so that the cameraman can change the virtual angle-of-view. Images can be distinguished at a glance.
  • a switching switch for selecting a television camera 11 for synthesizing a virtual angle-of-view image from other television cameras 11 is provided in the operation unit 31, and the image composition unit 36 of the television camera 11 selected by the switching switch is provided.
  • the virtual angle of view image may be arbitrarily switched and displayed by synthesizing the virtual angle of view image.
  • the number of television cameras 11 that can be selected with the changeover switch may be one or more. In this way, the cameraman can know the composition of the other television camera 11 he / she desires.
  • FIG. 7 shows an example of the composite image 55C displayed on the monitor 19C of the third television camera 11C in the imaging system including the three television cameras 11A, 11B, and 11C as in the case of FIG.
  • the image composition unit 36 does not composite the virtual view angle mark image 56A and the virtual view angle frame image 57A of the first television camera 11A that are not selected by the changeover switch, and is selected by the changeover switch. Only the virtual view angle mark image 56B and the virtual view angle frame image 57B of the television camera 11B are combined. Therefore, unlike the case of FIG. 6, only the virtual view angle mark image 56B and the virtual view angle frame image 57B are displayed in the composite image 55C.
  • FIG. 8 shows an example of a composite image 55C displayed on the monitor 19C of the third television camera 11C in the imaging system including the three television cameras 11A, 11B, and 11C, as in FIGS. Yes.
  • the video image of the second television camera 11B is selected by the video switching device 37.
  • the image composition unit 36 does not compose the virtual view angle mark image 56A and the virtual view angle frame image 57A of the first television camera 11A that are not selected by the video switching device 37, and is selected by the video switching device 37. Only the virtual angle-of-view mark image 56B and the virtual angle-of-view frame image 57B of the second television camera 11B are combined. Therefore, unlike the case of FIG. 6, only the virtual view angle mark image 56B and the virtual view angle frame image 57B are displayed in the composite image 55C.
  • the television camera 11 that the cameraman wants to confirm the composition most is the television camera 11 for which the video image is currently selected by the video switching device 37. For this reason, if only the virtual angle-of-view image of the television camera 11 for which the video image is selected by the video switching device 37 is synthesized, the minimum purpose can be achieved. In addition, the display of the composite image 55 is clearer and easier to see than when all the virtual angle-of-view images of other TV cameras 11 are displayed as shown in FIG.
  • the view angle mark light 9 has a non-directional shape such as a circular shape as in the first embodiment, the view angle mark light is formed in an outdoor space without a wall or the like that reflects the view angle mark light 9.
  • the two field angle mark lights 9 on the same side of the imaging field angle 8 out of the four are not detected, such as when the mark 9 is irradiated or when the mark light source 43 breaks down, the field angle mark light is detected. 9, the imaging angle of view 8 cannot be detected correctly.
  • an L-shaped field angle that is a projection shape along two orthogonal straight lines that form the corners of the imaging field angle 8 near the four corners of the imaging field angle 8.
  • Mark lights 61, 62, 63, and 64 are irradiated. Note that the angle-of-view mark lights 61 to 64 are replaced with a right triangle (see FIG. 10A) having two straight lines along two orthogonal straight lines constituting the corner of the imaging angle of view 8 instead of the L-shape. Any shape can be used as long as the direction of the imaging angle of view 8 can be recognized by one angle of view angle light.
  • the lengths L1 and L2 of each side are constant, for example, 1/10 of the length of the horizontal side 59 and the vertical side 60 of the imaging field angle 8. Form in proportion. Further, the projection positions of the field angle mark lights 61 to 64 are positioned away from the four corners of the imaging field angle 8 by L1 and L2. With this configuration, the L-shaped angle-of-view mark light 61 to 64 has the horizontal side 59 and the vertical side of the imaging angle of view 8 from the length L1 along the horizontal side 59 and the length L2 along the vertical side 60.
  • the angle of view mark is determined by the positional relationship between the length L1 portion and the length L2 portion. It can be seen which of the four corners of the imaging field angle 8 the light belongs to. Therefore, as long as only one of the L-shaped field angle mark lights 61 to 64 is detected, the imaging field angle 8 can be detected correctly, and the virtual field angle frame image 57 is correctly reproduced in the composite image 55. can do.
  • the lengths L1 and L2 of each side of the L-shaped field angle mark lights 61 to 64 may be defined regardless of the horizontal side 59 and the vertical side 60 of the imaging field angle 8.
  • the imaging field angle 8 can be correctly detected if two field angle mark lights are detected. it can.
  • the length is known by specifying the vertical side 60
  • the horizontal side 59 can be specified based on the screen aspect ratio, and the virtual angle-of-view frame image 57 can be correctly reproduced in the composite image 55.
  • the captured image is displayed.
  • the corner 8 can be detected correctly, and the virtual view angle frame image 57 can be correctly reproduced in the composite image 55.
  • the blinking interval and the light emission intensity are exemplified as the light emission pattern of the view angle mark light 9 to be changed for each TV camera 11.
  • the view angle mark The projection shape of the light 9 is changed for each television camera 11.
  • a triangle, a rectangle, and other polygons star shape in FIG. 10.
  • Each view angle mark light from each television camera 11 is identified using the view angle mark lights 65, 66, 67 of various projection shapes. In this case, by extracting an area having a predetermined shape from the image based on the second imaging signal, the irradiation source can be specified based on the projection shape of each field angle mark light.
  • the angle-of-view mark light 9 is applied to a certain position near the four corners of the imaging angle of view 8.
  • the lattice-shaped view angle mark light 70 is irradiated.
  • the angle-of-view mark light 70 has a plurality of lattice lines 71 parallel to the horizontal and vertical sides of the imaging angle of view 8.
  • the outermost frame of the field angle mark light 70 is slightly smaller than the frame of the imaging field angle 8 or coincides with the frame of the imaging field angle 8.
  • the other reflected lattice lines 71 are used to complement the non-reflected lattice lines 71, so that
  • the imaging angle of view 8 of the camera 11 can be known. Although illustration is omitted, not only the four corners of the imaging angle of view 8 but also the center of the imaging angle of view 8 may be irradiated with the field angle mark light. It becomes easier.
  • a synthesized image 55 obtained by synthesizing the virtual view angle mark image 56 and the virtual view angle frame image 57 with the image for video is displayed on the monitor 19.
  • arrows 75 and 76 are displayed as change display images on the video image.
  • the image is synthesized.
  • Arrows 75 and 76 indicate the direction in which the current virtual view angle image has changed with respect to the old virtual view angle image.
  • the old virtual angle-of-view image is a virtual angle-of-view image a certain time before the current time (for example, about 1 to 3 seconds before), and the current virtual angle-of-view image is the current virtual angle-of-view image.
  • the control unit 15 determines the position of the virtual view angle mark calculated by the calculation unit 52 (a position of the virtual view angle mark image 56-0 indicated by a dotted line in FIGS. 12 and 13; The field angle mark position) is stored in the memory 51.
  • the image composition unit 36 stores the old virtual field angle mark position stored in the memory 51 and the current virtual field angle mark position (the position of the virtual field angle mark image 56-1 indicated by a solid line in FIGS. 12 and 13; The current virtual view angle mark position).
  • the image composition unit 36 naturally does not compose the arrows 75 and 76 as the change display images.
  • the image composition unit 36 obtains an arrow 75 from the old virtual view angle mark position to the current virtual view angle mark position, and displays this as an image.
  • the image is combined with the image for use.
  • the current virtual view angle mark position with respect to the position of the image pickup view angle 8 a position of the virtual view angle frame image 57-0 indicated by a dotted line in FIGS. 12 and 13
  • a certain time before known from the old virtual view angle mark position is synthesized together with the arrow 75.
  • FIG. 12 shows a case where a zooming operation is performed with another TV camera 11
  • FIG. 13 shows a case where a pan operation is performed with another TV camera 11.
  • the arrows 75 and 76 as the change display images are combined with the video image and displayed, so that it is possible to easily grasp what operation the cameraman of the other TV camera 11 has performed most recently. Can do.
  • the person H before the zooming operation or before the panning operation is indicated by a dotted line, but the person H before the operation is not actually displayed. 12 and 13, illustration of the floor surface and wall surface of the studio 7 is omitted. Note that only one of the arrows 75 and 76 may be displayed.
  • the virtual view angle mark image 56-0 and the virtual view angle frame image 57-0 may be omitted.
  • the mark light source 43 is provided on the light shielding plate 45, but it may be disposed within the light shielding region by pupil division (outside the transmitted light region of pupil division), and provided at a position other than the light shielding plate 45. Also good.
  • a plurality of pupil division lenses 44 are provided on one light shielding plate 45, but the light shielding plate 45 is a pupil division group in which each pupil division lens 44 or several pupil division lenses 44 are collected. You may divide and provide for every.
  • the focus sensor 46 may be provided for each pupil division lens or each pupil division group according to the number of divisions or the arrangement state of the pupil division lenses 44.
  • the mark light source is provided in the light shielding region by pupil division.
  • the mark light source 82 is provided outside the lens device 81 of the television camera 80, and the field angle mark light 83 is irradiated toward the subject.
  • the deviation from the mark light 83 is adjusted.
  • the present invention is not limited to the above-described embodiment or modification, and various configurations can be adopted without departing from the gist of the present invention.
  • the above-described embodiments and modifications can be combined as appropriate.
  • the present invention can be applied to an imaging apparatus such as a digital camera, a mobile phone, and a smartphone in addition to a television camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

視聴者に違和感を与えることなく、複数台の撮像装置で生成される複数の映像用画像の切り換えを円滑に行うことが可能な撮像システム、撮像装置及び撮像装置の作動方法を提供する。 第1撮像部(16)は、ダイクロイックミラー(26)により画角マーク光(9)が除かれた被写体光を撮像して第1撮像信号を出力する。また、第2撮像部(41)は、他のテレビカメラ(11)の画角マーク光(9)を撮像する。演算部(52)は、他のテレビカメラ(11)の画角マーク光(9)に基づいて、自身の撮像画角(8)における、他のテレビカメラ(11)の撮像画角(8)を示す仮想画角マークの位置を演算する。画像合成部(36)は、第1撮像信号に基づく映像用画像に、仮想画角マークの位置に応じた仮想画角マーク画像(56)及び仮想画角枠画像(57)を画像合成して合成画像(55)を生成する。合成画像(55)はモニタ(19)に表示される。

Description

撮像システム、撮像装置及び撮像装置の作動方法
 本発明は、撮像システム、撮像装置及び撮像装置の作動方法に関する。
 放送局のスタジオでは、複数台のテレビカメラ(撮像装置)で被写体を同時に撮影する撮像システムを用いて撮像が行われる。特開2000-106647号公報に記載されているように、撮像システムは、各テレビカメラで生成された複数の映像用画像を選択する映像切換え装置(スイッチャともいう)を備えている。選択された映像用画像は、オンエア画像として放送装置に出力されたり、記録画像として記録装置に出力されたりする。
 特開2000-106647号公報では、複数台のテレビカメラのそれぞれで、露出や色再現の自動制御を担う自動制御系がどのような状態であるかを示す評価値を生成し、この評価値に基づき被写体を撮像するのに最適な制御値を算出し、最適な制御値を用いて各テレビカメラの自動制御系を制御している。これにより、複数台のテレビカメラ間で被写体の露出や色再現がばらつくことを防止することができる。
 テレビカメラを操作するカメラマンは、他のテレビカメラの構図に応じて、視聴者に違和感を与えないように自身のテレビカメラの構図を決定する。このため、テレビカメラには、普通、他のテレビカメラがどういった映像用画像を撮影しているかをカメラマンが確認するために、他のテレビカメラの映像用画像を表示する機能が設けられている。しかし、他のテレビカメラの構図と自身の構図を同時に確認する機能は設けられていない。このため、他のテレビカメラの構図に応じて自身のテレビカメラの構図を決定する際に遅れが生じ、映像切換え装置による映像用画像の切り換えに間に合わず、視聴者に違和感を与える映像用画像が出力されることがあった。
 本発明は、視聴者に違和感を与えることなく、複数台の撮像装置で生成される複数の映像用画像の切り換えを円滑に行うことが可能な撮像システム、撮像装置及び撮像装置の作動方法を提供することを目的とする。
 上記目的を達成するために、本発明の撮像システムは、複数台の撮像装置で被写体を同時に撮影する撮像システムであり、撮像装置は、撮影レンズと、取り出し部と、第1撮像部と、第2撮像部と、マーク光検出部と、演算部と、画像合成部と、モニタとを有する。撮影レンズには、自身以外の他の撮像装置から照射される画角マーク光であり、他の撮像装置の撮像画角を示す画角マーク光を含む被写体光が入射される。取り出し部は、被写体光から画角マーク光を取り出す。第1撮像部は、取り出し部により画角マーク光が除かれた被写体光を撮像し、映像用の第1撮像信号を出力する。第2撮像部は、画角マーク光を撮像し、画角マーク光検出用の第2撮像信号を出力する。マーク光検出部は、第2撮像信号に基づいて、画角マーク光を検出する。演算部は、画角マーク光に基づいて、自身の撮像画角における、他の撮像装置の撮像画角を示す仮想画角マークの位置を演算する。画像合成部は、第1撮像信号に基づく映像用画像に、仮想画角マークの位置に応じた仮想画角画像を画像合成して合成画像を生成する。モニタは、合成画像を表示する。
 撮像装置は、画角マーク光を照射するマーク光源を有することが好ましい。この場合、第2撮像部は、撮影レンズの焦点を合焦位置に制御する焦点制御用の撮像部であり、マーク光源は第2撮像部に設けられ、画角マーク光は、焦点制御用の光を兼ね、撮影レンズを介して被写体に向けて照射されることが好ましい。
 画像合成部は、仮想画角画像に加えて、現時点よりも一定時間前の仮想画角画像に対する、現時点の仮想画角画像の変化を示す変化表示画像を映像用画像に画像合成することが好ましい。
 画角マーク光は、複数台の撮像装置毎に発光パターンが異なることが好ましい。発光パターンは、点滅の間隔、発光強度、投影形状のうちのいずれか1つであることが好ましい。
 2台以上の他の撮像装置の仮想画角画像を画像合成する場合、画像合成部は、他の撮像装置毎に仮想画角画像の表示形態を異ならせることが好ましい。
 撮像装置は、他の撮像装置の中から、仮想画角画像を画像合成する撮像装置を選択する操作部を備え、画像合成部は、操作部で選択された撮像装置の仮想画角画像を画像合成することが好ましい。
 複数台の撮像装置で各々生成される複数の映像用画像の中から、1つの映像用画像を選択して外部装置に出力する映像切換え装置を備え、画像合成部は、他の撮像装置のうち、映像切換え装置で映像用画像が選択されている撮像装置の仮想画角画像のみを画像合成することが好ましい。
 撮像画角は矩形状をしており、画角マーク光は、撮像画角の隅を構成する直交する2直線に沿う投影形状であることが好ましい。
 画角マーク光は可視光とは異なる波長帯域の光であることが好ましい。
 本発明の撮像装置は、複数台の撮像装置で被写体を同時に撮影する撮像システムに用いられる撮像装置であって、撮影レンズと、取り出し部と、第1撮像部と、第2撮像部と、マーク光検出部と、演算部と、画像合成部と、モニタとを備える。撮影レンズには、自身以外の他の撮像装置から照射される画角マーク光であり、他の撮像装置の撮像画角を示す画角マーク光を含む被写体光が入射される。取り出し部は、被写体光から画角マーク光を取り出す。第1撮像部は、取り出し部により画角マーク光が除かれた被写体光を撮像し、映像用の第1撮像信号を出力する。第2撮像部は、画角マーク光を撮像し、画角マーク光検出用の第2撮像信号を出力する。マーク光検出部は、第2撮像信号に基づいて、画角マーク光を検出する。演算部は、画角マーク光に基づいて、自身の撮像画角における、他の撮像装置の撮像画角を示す仮想画角マークの位置を演算する。画像合成部は、第1撮像信号に基づく映像用画像に、仮想画角マークの位置に応じた仮想画角画像を画像合成して合成画像を生成する。モニタは、合成画像を表示する。
 本発明の撮像装置の作動方法は、複数台の撮像装置で被写体を同時に撮影する撮像システムに用いられる撮像装置の作動方法であって、取り出しステップと、第1撮像ステップと、第2撮像ステップと、マーク光検出ステップと、演算ステップと、画像合成ステップと、表示ステップとを備える。取り出しステップでは、自身以外の他の撮像装置から照射される画角マーク光であり、他の撮像装置の撮像画角を示す画角マーク光を含む被写体光から、取り出し部により画角マーク光を取り出す。第1撮像ステップでは、第1撮像部により、取り出しステップにより画角マーク光が除かれた被写体光を撮像し、映像用の第1撮像信号を出力する。第2撮像ステップでは、第2撮像部により、画角マーク光を撮像し、画角マーク光検出用の第2撮像信号を出力する。マーク光検出ステップでは、マーク光検出部により、第2撮像信号に基づいて、画角マーク光を検出する。演算ステップでは、演算部により、画角マーク光に基づいて、自身の撮像画角における、他の撮像装置の撮像画角を示す仮想画角マークの位置を演算する。画像合成ステップでは、画像合成部により、第1撮像信号に基づく映像用画像に、仮想画角マークの位置に応じた仮想画角画像を画像合成して合成画像を生成する。表示ステップでは、合成画像をモニタに表示する。
 本発明によれば、自身の撮像画角における、他の撮像装置の撮像画角を示す仮想画角マークの位置に応じた仮想画角画像を映像用画像に画像合成して生成した合成画像を表示するので、視聴者に違和感を与えることなく、複数台の撮像装置で生成される複数の映像用画像の切り換えを円滑に行うことが可能な撮像システム、撮像装置及び撮像装置の作動方法を提供することができる。
スタジオにおいて2台のテレビカメラで被写体を同時に撮影している様子を示す図である。 撮像システム及びテレビカメラの内部構成を示す図である。 瞳分割レンズとマーク光源を示す正面図である。 合成画像を示す図である。 テレビカメラによる被写体撮影の手順を示すフローチャートである。 テレビカメラ毎に仮想画角画像の表示形態を異ならせる態様を示す図である。 切換えスイッチで選択されているテレビカメラの仮想画角画像のみを画像合成する態様を示す図である。 映像切換え装置で映像用画像が選択されているテレビカメラの仮想画角画像のみを画像合成する態様を示す図である。 L字状の投影形状を有する画角マーク光を示す図である。 様々な投影形状の画角マーク光を示す図である。 格子状の投影形状を有する画角マーク光を示す図である。 ズーミング操作による撮像画角の変移を示す変化表示画像を画像合成した第2実施形態の合成画像を示す図である。 パン操作による撮像画角の変移を示す変化表示画像を画像合成した第2実施形態の合成画像を示す図である。 テレビカメラの外側にマーク光源を設けた第3実施形態を示す斜視図である。
 [第1実施形態]
 図1は、スタジオ7において、撮像装置としての第1テレビカメラ11A及び第2テレビカメラ11Bで被写体を同時に撮影している様子を示している。以下の説明では、第1テレビカメラ11Aに関わるものには数字の後に「A」を、第2テレビカメラ11Bに関わるものには数字の後に「B」を付して区別する。特に区別する必要がない場合は、「A」、「B」を付さずに説明する。
 第1テレビカメラ11A及び第2テレビカメラ11Bは、それぞれ撮像画角8A及び撮像画角8Bを有する。撮像画角8A及び撮像画角8Bは矩形状である。撮像画角8Aの4隅には、撮像画角8Aを示す画角マーク光9Aが照射されている。同様に、撮像画角8Bの4隅には、撮像画角8Bを示す画角マーク光9Bが照射されている。各画角マーク光9A,9Bの投影形状は円形状である。図1では、撮像画角8A,8Bの中心が略一致していて、その位置に人物Hがおり、撮像画角8Aよりも撮像画角8Bのほうが広い場合を例示している。
 画角マーク光9は、可視光とは異なる波長帯域の光、例えば赤外光である。可視光は、概ね400nmから750nm程度の波長帯域の光である。また、赤外光は、750nmから2.5μmまでの近赤外光、2.5μmから50μmまでの中赤外光、50μm以上の遠赤外光を含む。このため、画角マーク光9としては、例えば750nmから1500nmの波長帯域の赤外光が用いられる。なお、650nmから750nmの赤外域近くの波長帯域の可視光を、画角マーク光9として用いてもよい。
 図2において、第1テレビカメラ11A及び第2テレビカメラ11Bは、映像切換え装置37等とともに撮像システム2を構成する。第1テレビカメラ11A及び第2テレビカメラ11Bは、内部構成は全く同一である。このため図2では、第1テレビカメラ11Aの内部構成のみを図示し、第2テレビカメラ11Bの内部構成は省略している。
 第1テレビカメラ11Aは、レンズ装置12とカメラ本体13とを備えている。レンズ装置12はカメラ本体13に着脱可能に取り付けられ、他のレンズ装置12との交換が可能である。
 レンズ装置12は、撮影レンズ14及び制御部15を有する。撮影レンズ14には、被写体光が入射する。被写体光は、撮像画角8内の人物Hやスタジオ7の床面及び壁面、さらには画角マーク光9を含む。撮影レンズ14は、例えば被写体側から固定フォーカスレンズ21、移動フォーカスレンズ22、ズームレンズ23、可変絞り(アイリス)24、前側リレーレンズ25、ダイクロイックミラー26、及び後側リレーレンズ27を有する。これらの光軸O1は一致している。移動フォーカスレンズ22は、光軸O1に沿って移動可能である。ズームレンズ23は、変倍系と補正系のレンズ28,29を有する。なお、図中の各レンズの構成は簡略化しており、複数のレンズから成るレンズ群を1つのレンズで示したものもある。
 制御部15は、移動フォーカスレンズ22の位置、ズームレンズ23の位置、及び可変絞り24の絞り値を制御する。制御部15には、レンズモニタ30及び操作部31が接続されている。レンズモニタ30は液晶パネルから構成されている。レンズモニタ30には、レンズ装置12の各種設定状態を示すグラフィック画面等が表示される。操作部31は、図示省略の操作キー及び操作つまみを有している。これら操作キー及び操作つまみの操作により、レンズモニタ30を見ながらレンズ装置12の各種設定が可能になる。
 カメラ本体13は、第1撮像部16及び画像処理部17を有する。第1撮像部16は、レンズ装置12から入射された被写体光を撮像し、映像用の第1撮像信号を出力する。第1撮像部16は、色分解光学系32、及び3つの映像用撮像素子33,34,35を有する。色分解光学系32は、被写体光を赤色光、緑色光、青色光の3色に分解する。映像用撮像素子33~35は、例えばCCD(Charged-coupled devices)又はCMOS(Complementary metal-oxide-semiconductor)等の固体撮像素子から構成されており、色分解光学系32で分解された3色光を第1撮像信号に変換する。
 画像処理部17は、映像用撮像素子33~35から出力された第1撮像信号に所定の処理を施し、映像用画像を生成する。画像処理部17は、画像合成部36を有する。画像合成部36は、映像用画像に、後述する仮想画角画像を画像合成して合成画像を生成する。画像処理部17は、画像合成部36が生成した合成画像を、カメラ本体13に据え付けのモニタ19に送信する。モニタ19は、合成画像をスルー画像(ライブビュー:live view)として表示する。テレビカメラ11を操作するカメラマンは、このモニタ19に表示される合成画像を観察しながら、構図などを考慮して撮像を行う。
 画像処理部17は、映像用画像を映像切換え装置37に送信する。映像切換え装置37には、2台のスイッチャモニタ38A,38Bが接続されている。スイッチャモニタ38Aは、第1テレビカメラ11Aからの映像用画像を表示する。スイッチャモニタ38Bは、第2テレビカメラ11Bからの映像用画像を表示する。映像切換え装置37を操作するスタッフは、各スイッチャモニタ38A,38Bに表示される各映像用画像を観察して、映像切換え装置37を操作して、自らが欲しい構図を映した映像用画像を選択する。これにより、第1テレビカメラ11A及び第2テレビカメラ11Bからの各映像用画像が適宜タイミングで切り換えられて、オンエア画像又は記録画像として、放送装置又は記録装置といった外部装置39に出力される。
 映像切換え装置37は、映像用画像が選択されているテレビカメラ11の情報を各テレビカメラ11A,11Bに送信する。映像用画像が選択されているテレビカメラ11は、例えばカメラ本体13に備え付けのオンエアランプを点灯させる等して、映像用画像が選択されている旨を人物Hに報せる。
 ダイクロイックミラー26は、リレー光学系を構成する前側リレーレンズ25と後側リレーレンズ27との間において、光軸O1に対して略45度の角度に傾斜して配置されている。ダイクロイックミラー26は、被写体光のうちの画角マーク光9を反射し、画角マーク光9以外の光を透過する。本実施形態では、画角マーク光9は、750nmから1500nmの波長帯域の赤外光であるため、ダイクロイックミラー26は、750nmから1500nmの波長帯域の赤外光を反射し、それ以外の光、例えば400nmから750nm程度の波長帯域の可視光を透過する。すなわち、ダイクロイックミラー26は、被写体光から画角マーク光9を取り出す取り出し部として機能する。ダイクロイックミラー26により画角マーク光9が除かれた被写体光は、光軸O1に沿ってカメラ本体13の第1撮像部16に導かれる。一方、画角マーク光9は、ダイクロイックミラー26によって90度の角度に反射され、光軸O1と直交する光軸O2に沿って瞳分割による位相差方式の自動焦点装置40に導かれる。
 自動焦点装置40は、第2撮像部41、及び焦点制御部42を有する。第2撮像部41は、マーク光源43と瞳分割レンズ44と遮光板45とフォーカスセンサ46とを有する。瞳分割レンズ44は、撮影レンズ14の射出瞳の複数の瞳領域に該当する遮光板45の位置に配されている。フォーカスセンサ46は、画角マーク光9に感応してこれを電気信号に変換する撮像素子から構成されている。第2撮像部41は、瞳分割レンズ44を通過した画角マーク光9をフォーカスセンサ46で撮像し、第2撮像信号を出力する。第2撮像部41は、第2撮像信号を焦点制御部42およびマーク光検出部47に出力する。
 焦点制御部42は、焦点位置算出部48を有する。焦点位置算出部48は、フォーカスセンサ46からの第2撮像信号に基づき、撮影レンズ14の焦点のずれ(デフォーカス量)を検出する。焦点制御部42は、デフォーカス量を「0」とするように、移動フォーカスレンズ22を光軸O1に沿って移動させる。これにより、合焦位置となるように自動焦点制御が行われる。このように、第2撮像部41は、撮影レンズ14の焦点を合焦位置に制御する焦点制御用の撮像部であり、第2撮像信号は、画角マーク光検出用であり、焦点制御用でもある。また、画角マーク光9は、焦点制御用の光を兼ねる。なお、瞳分割による位相差方式のデフォーカス量の算出、及びこれに基づく焦点制御は周知であり、詳細な説明は省略する。
 図3に示すように、遮光板45は、それぞれ4個のマーク光源43と瞳分割レンズ44とを有している。瞳分割レンズ44は、遮光板45の上下左右に等間隔で設けられており、マーク光源43は隣り合う瞳分割レンズ44の間に設けられている。マーク光源43は、LED(light emitting diode)又はレーザから構成されている。
 図2において、マーク光源43には、光源ドライバ49が接続されている。マーク光源43は、光源ドライバ49の制御の下、所定の発光パターンで画角マーク光9を発光する。マーク光源43から発せられた画角マーク光9は、光軸O2に沿ってダイクロイックミラー26に導かれ、ダイクロイックミラー26で90度の角度に反射されて、光軸O1に沿って撮影レンズ14内を通り、図1に示すようにスタジオ7の被写体に向けて照射される。画角マーク光9が被写体に当たると、その反射光が撮影レンズ14、ダイクロイックミラー26、瞳分割レンズ44を介して、フォーカスセンサ46に導かれる。
 光源ドライバ49には、制御部15の発光パターン変更部50が接続されている。発光パターン変更部50には、メモリ51から例えば10種類の発光パターンが与えられる。各発光パターンは、点滅の間隔(発光のON-OFF時間)、及び/又は発光強度が異なる。発光パターン変更部50は、10種類の発光パターンのうち、操作部31を介してカメラマン等により選択された1つの発光パターンを設定する。光源ドライバ49は、発光パターン変更部50で設定された発光パターンで画角マーク光9が発せられるよう、マーク光源43を制御する。
 画角マーク光9A,9Bには、異なる発光パターンが設定されている。画角マーク光9A,9Bの発光パターンを識別することにより、画角マーク光9の照射元が各テレビカメラ11A,11Bのいずれのマーク光源43であるかを特定することができる。従って、画角マーク光9の照射元が特定されることにより、各テレビカメラ11A,11Bの撮像画角8A,8Bの推測が可能になる。
 本実施形態では、図3に示すように、瞳分割レンズ44の間にマーク光源43が配されている。このように、画角マーク光9を発するマーク光源43と画角マーク光9を受光する瞳分割レンズ44が別々に設けられているので、瞳分割レンズ44の画角マーク光9の受光を阻害することなく、図1に示すように、撮像画角8の4隅に画角マーク光9を照射することができる。しかも、マーク光源43から発せられた画角マーク光9は、ズームレンズ23を含む撮影レンズ14を介して被写体に向けて照射される。これにより、撮影レンズ14のズーム倍率に関わらず、常に撮像画角8の4隅近くの一定位置に画角マーク光9を照射することができる。また、ズーム倍率だけでなく、被写体との距離にも関係なく、常に撮像画角8の4隅近くの一定位置に画角マーク光9を照射することができる。
 図1に示す状態では、第1テレビカメラ11Aの撮影レンズ14Aには、自身の画角マーク光9Aのみを含む被写体光が入射される。一方、第2テレビカメラ11Bの撮影レンズ14Bには、自身の画角マーク光9Bに加えて、第1テレビカメラ11Aからの画角マーク光9Aを含む被写体光が入射される。画角マーク光9A,9Bは可視光とは異なる波長帯域の赤外光であり、また、ダイクロイックミラー26で反射されて第1撮像部16には導かれないため、第1撮像部16から出力される第1撮像信号に影響を与えることがない。
 マーク光検出部47は、第2撮像部41からの第2撮像信号に基づいて、画角マーク光9を検出する。具体的には、第2撮像信号に基づく画像中で一定の発光パターンで発光しているエリアを、画角マーク光9として検出する。そして、発光パターンに基づいて、検出した画角マーク光9が、自身のマーク光源43から発せられたものであるか、他のテレビカメラ11のマーク光源43から発せられたものであるかを特定する。画角マーク光9の各発光パターンと、各発光パターンが設定された各テレビカメラ11との対応関係は、メモリ51に記憶されている。マーク光検出部47は、この対応関係を参照して画角マーク光9の照射元を特定する。マーク光検出部47は、画角マーク光9の検出結果と画角マーク光9の照射元の特定結果とを演算部52に出力する。
 演算部52は、マーク光検出部47の画角マーク光9の検出結果に基づいて、自身の撮像画角8における、他のテレビカメラ11の撮像画角8を示す仮想画角マークの位置を演算する。第2撮像信号に基づく画像と、自身の撮像画角8との位置関係は、予めメモリ51に記憶されている。演算部52は、この対応関係を参照して上記演算を行う。仮想画角マークの位置とは、自身の撮像画角8内に存在する、他のテレビカメラ11の画角マーク光9の投影位置である。例えば図1に示す状態において、第2テレビカメラ11Bの演算部52Bは、画角マーク光9Aの検出結果に基づいて、自身の撮像画角8Bにおける、第1テレビカメラ11Aの撮像画角8Aを示す仮想画角マークの位置(画角マーク光9Aの投影位置)を演算する。演算部52は、演算した仮想画角マークの位置を、画像合成部36に送信する。
 演算部52は、仮想画角マークの位置に基づき、他のテレビカメラ11の撮像画角8の枠を示す仮想画角枠を求める。具体的には、仮想画角マークを繋ぐ線分で構成される矩形枠から仮想画角枠を特定する。演算部52は、仮想画角枠の特定結果を画像合成部36に出力する。
 演算部52は、他のテレビカメラ11からの画角マーク光9に基づく仮想画角マークの位置のみを演算し、自身の画角マーク光9については、仮想画角マークの位置を演算しない。例えば図1に示す状態において、第2テレビカメラ11Bの演算部52Bは、自身の画角マーク光9Bが自身の撮像画角8B内に存在するが、画角マーク光9Bの仮想画角マークの位置は演算しない。仮想画角枠についても同様に、演算部52は自身の仮想画角枠は特定しない。画角マーク光9が自身のものであるか否かは、マーク光検出部47からの画角マーク光9の照射元の特定結果から分かる。
 画像合成部36は、演算部52からの仮想画角マークの位置および仮想画角枠に応じた仮想画角画像を生成する。そして、仮想画角画像と、第1撮像部16からの第1撮像信号に基づく映像用画像とを画像合成して合成画像を生成する。
 図4は、図1に示す状態において、第2テレビカメラ11Bのモニタ19Bに表示される合成画像55Bを示している。この合成画像55Bは、第2テレビカメラ11Bにより撮像されている、人物Hやスタジオ7の床面及び壁面が映された映像用画像に、仮想画角画像として、第1テレビカメラ11Aからの画角マーク光9Aを示す仮想画角マーク画像56Aと、第1テレビカメラ11Aの撮像画角8Aの枠を示す仮想画角枠画像57Aとを画像合成したものである。仮想画角マーク画像56Aは、画角マーク光9の投影形状と同じ円形状である。
 第2テレビカメラ11Bのカメラマンは、自己のモニタ19Bを通して合成画像55Bを見ることで、自身が現在撮像している構図に加えて、第1テレビカメラ11Aで現在撮像している構図を容易に把握することができる。これにより、第2テレビカメラ11Bのカメラマンは、第1テレビカメラ11Aの構図に応じて自身の構図を即座に決定することができ、第1テレビカメラ11Aの映像用画像に対して視聴者に違和感を与えることのない映像用画像を第2テレビカメラ11Bにより撮像することができる。
 なお、図示は省略するが、図1に示す状態では、第1テレビカメラ11Aの撮像画角8A内には第2テレビカメラ11Bからの画角マーク光9Bが照射されていないので、第1テレビカメラ11Aのモニタ19Aに表示される合成画像55Aには、画角マーク光9Bを示す仮想画角マーク画像56Bと、撮像画角8Bの枠を示す仮想画角枠画像57Bは画像合成されない。すなわち、合成画像55Aは、第1テレビカメラ11Aの第1撮像部16Aからの第1撮像信号に基づく映像用画像そのものである。
 以下、本実施形態の撮像システム2の作用と共に、撮像システム2を用いたスタジオ7での撮像方法について、図5のフローチャートを参照して説明する。まず、テレビカメラ11を起動し、テレビカメラ11による被写体の撮像を開始する。被写体光は撮影レンズ14に入射される。また、マーク光源43から画角マーク光9が被写体に向けて照射される(ステップST10)。
 撮影レンズ14に入射した被写体光のうち、画角マーク光9を除く光はダイクロイックミラー26を透過して第1撮像部16に導かれ、画角マーク光9はダイクロイックミラー26で反射して第2撮像部41に導かれる(ステップST11、取り出しステップ)。第1撮像部16では、画角マーク光9が除かれた被写体光が撮像され、第1撮像信号が出力される(ステップST12、第1撮像ステップ)。第1撮像信号は画像処理部17で映像用画像に変換される。一方、第2撮像部41では、画角マーク光9が撮像され、第2撮像信号が出力される(ステップST13、第2撮像ステップ)。第2撮像信号は焦点制御部42で焦点制御に用いられ、またマーク光検出部47に出力される。
 マーク光検出部47では、第2撮像信号に基づいて画角マーク光9が検出される(ステップST14、マーク光検出ステップ)。また、画角マーク光9の発光パターンに基づいて、画角マーク光9の照射元が特定される(ステップST15)。これら画角マーク光9の検出結果および画角マーク光9の照射元の特定結果は、演算部52に出力される。
 演算部52では、画角マーク光9の検出結果に基づいて、仮想画角マークの位置が演算され、かつ仮想画角枠が特定される(ステップST16、演算ステップ)。この際、他のテレビカメラ11からの画角マーク光9に基づく仮想画角マークの位置および仮想画角枠のみが演算、特定される。仮想画角マークの位置の演算結果、および仮想画角枠の特定結果は、画像合成部36に送信される。
 画像合成部36では、仮想画角画像として仮想画角マーク画像56及び仮想画角枠画像57が生成され、これらが画像処理部17で画像処理された映像用画像に画像合成される(ステップST17、画像合成ステップ)。この画像合成に際しては、演算部52からの仮想画角マークの位置の演算結果に基づき、他のテレビカメラ11の画角マーク光9の投影位置に仮想画角マーク画像56が画像合成される。また、仮想画角枠の特定結果に基づき、画角マーク光9の投影位置と対応する、他のテレビカメラ11の撮像画角8の枠に仮想画角枠画像57が画像合成される。そして、モニタ19に図4に示すように合成画像55が表示される(ステップST18、表示ステップ)。なお、本実施形態の第1テレビカメラ11Aのように、ステップST14、15において他のテレビカメラ11の画角マーク光9が検出されない場合は、ステップST16、17は省略され、モニタ19には映像用画像が表示される。
 このように、自身の撮像画角8における、他のテレビカメラ11の撮像画角8を示す仮想画角マークの位置に応じた仮想画角画像(仮想画角マーク画像56及び仮想画角枠画像57)を、映像用画像に画像合成して生成した合成画像55をモニタ19に表示するので、カメラマンは、モニタ19に表示された合成画像55を見ることによって、他のテレビカメラ11でどのような構図で撮像されているのかが、自身の構図と同時に判る。このため、カメラマンの構図の決定に遅れが生じることがなく、映像切換え装置37による映像用画像の切り換えに間に合わず、視聴者に違和感を与える映像用画像が出力されることもない。したがって、視聴者に違和感を与えることなく、映像用画像の切り換えを円滑に行うことが可能となる。
 焦点制御用の撮像部である第2撮像部41に設けられた焦点制御用の光源をマーク光源43として用い、焦点制御用の光を画角マーク光9として用いるので、大体のテレビカメラ11には備わっている既存の焦点制御用の光源を有効利用することができる。画角マーク光9専用の光源を別に設ける必要がないので、部品コストを抑えることができ、かつテレビカメラ11のコンパクト化に寄与することができる。
 画角マーク光9を可視光とは異なる波長帯域の光としたので、画角マーク光9がちらついて撮影の邪魔になることがない。
 なお、第1実施形態では、モニタ19に、仮想画角マーク画像56と仮想画角枠画像57とからなる仮想画角画像を表示したが、仮想画角画像は、仮想画角マーク画像56又は仮想画角枠画像57の一方のみでもよい。また、仮想画角マーク画像56の形状は、画角マーク光9の投影形状と同じ形状(本実施形態では円形状)であってもよく、画角マーク光9の投影形状とは異なる形状(本実施形態では三角形、四角形、その他の多角形、又はL字形等)であってもよい。
 上記実施形態では2台のテレビカメラ11A,11Bを備える撮像システム2を例示したが、3台以上のテレビカメラ11を備える撮像システムでもよい。この場合、自身以外の他のテレビカメラ11の台数は2台以上となる。画像合成部36は、2台以上の全ての他のテレビカメラ11の仮想画角画像を画像合成してもよく、この場合は図6に示すように他のテレビカメラ11毎に仮想画角画像の表示形態を異ならせることが好ましい。
 図6は、3台のテレビカメラ11A,11B,11Cを備える撮像システムにおいて、第3テレビカメラ11C(図示せず)のモニタ19Cに表示される合成画像55Cの例である。合成画像55Cには、第1テレビカメラ11Aからの画角マーク光9Aを示す仮想画角マーク画像56Aと、第1テレビカメラ11Aの撮像画角8Aの枠を示す仮想画角枠画像57A、並びに第2テレビカメラ11Bからの画角マーク光9Bを示す仮想画角マーク画像56Bと、第2テレビカメラ11Bの撮像画角8Bの枠を示す仮想画角枠画像57Bが表示されている。仮想画角マーク画像56A及び仮想画角枠画像57Aと、仮想画角マーク画像56B及び仮想画角枠画像57Bとは、図示するようにテレビカメラ11の名称が付されていたり、あるいは色、線種、線の太さが異なっていたり、一方が点滅していたり等、表示形態が異なっている。このように、2台以上の他のテレビカメラ11の仮想画角画像を画像合成する場合に、他のテレビカメラ11毎に仮想画角画像の表示形態を異ならせることで、カメラマンが仮想画角画像を一目で区別することができる。
 また、他のテレビカメラ11の中から、仮想画角画像を画像合成するテレビカメラ11を選択する切換えスイッチを操作部31に設け、画像合成部36は、切換えスイッチで選択されたテレビカメラ11の仮想画角画像を画像合成することで、仮想画角画像を任意に切り換えて表示してもよい。切換えスイッチで選択可能なテレビカメラ11の台数は1台でもよいし複数台でもよい。こうすれば、カメラマンは、自らが所望する他のテレビカメラ11の構図を知ることができる。
 図7は、図6の場合と同じく、3台のテレビカメラ11A,11B,11Cを備える撮像システムにおいて、第3テレビカメラ11Cのモニタ19Cに表示される合成画像55Cの例を示している。ここで、第2テレビカメラ11Bが操作部31の切換えスイッチで選択されたとする。この場合、画像合成部36は、切換えスイッチで選択されていない第1テレビカメラ11Aの仮想画角マーク画像56A及び仮想画角枠画像57Aは画像合成せず、切換えスイッチで選択されている第2テレビカメラ11Bの仮想画角マーク画像56B及び仮想画角枠画像57Bのみを画像合成する。従って、合成画像55Cには、図6の場合と異なり、仮想画角マーク画像56B及び仮想画角枠画像57Bのみが表示される。
 さらに、図8に例示するように、映像切換え装置37で映像用画像が選択されているテレビカメラ11の仮想画角画像のみを画像合成してもよい。
 図8は、図6、図7の場合と同じく、3台のテレビカメラ11A,11B,11Cを備える撮像システムにおいて、第3テレビカメラ11Cのモニタ19Cに表示される合成画像55Cの例を示している。ここで、第2テレビカメラ11Bの映像用画像が映像切換え装置37で選択されたとする。この場合、画像合成部36は、映像切換え装置37で選択されていない第1テレビカメラ11Aの仮想画角マーク画像56A及び仮想画角枠画像57Aは画像合成せず、映像切換え装置37で選択されている第2テレビカメラ11Bの仮想画角マーク画像56B及び仮想画角枠画像57Bのみを画像合成する。従って、合成画像55Cには、図6の場合と異なり、仮想画角マーク画像56B及び仮想画角枠画像57Bのみが表示される。
 カメラマンが最も構図を確認したいテレビカメラ11は、現在映像切換え装置37で映像用画像が選択されているテレビカメラ11である。このため、映像切換え装置37で映像用画像が選択されているテレビカメラ11の仮想画角画像のみを画像合成すれば、最低限の目的を果たすことができる。また、図6のように他のテレビカメラ11の仮想画角画像が全て表示される場合よりも、合成画像55の表示がすっきりして見やすい。
 [変形例1]
 なお、第1実施形態のように画角マーク光9が単なる円形状のような指向性のない形状であると、画角マーク光9を反射する壁等がない屋外の空間に画角マーク光9が照射された場合やマーク光源43が故障した場合等、4個のうちの撮像画角8の同じ辺側にある2個の画角マーク光9が検出されない場合には、画角マーク光9から撮像画角8を正しく検出することができなくなる。このため、変形例1では、図9に示すように、撮像画角8の4隅近くに、撮像画角8の隅を構成する直交する2直線に沿う投影形状となるL字状の画角マーク光61,62,63,64を照射している。なお、画角マーク光61~64は、L字状に代えて、撮像画角8の隅を構成する直交する2直線に沿う直線を2辺とする直角三角形(図10(A)参照)等、1つの画角マーク光で撮像画角8の向きが判る形状であればよい。
 L字状の画角マーク光61~64において、各辺の長さL1,L2を、撮像画角8の横辺59及び縦辺60の長さの例えば1/10の長さのように一定比率で形成する。また、各画角マーク光61~64の投影位置を、撮像画角8の4隅からL1,L2だけ内側に離して位置させる。このように構成することにより、L字状の画角マーク光61~64は、横辺59に沿う長さL1と縦辺60に沿う長さL2から撮像画角8の横辺59および縦辺60の長さが分かり、かつ横辺59に沿う長さL1と縦辺60に沿う長さL2とが異なるので、長さL1の部分と長さL2の部分の位置関係により、当該画角マーク光が撮像画角8の4隅のうちのいずれに属しているかが分かる。従って、L字状の画角マーク光61~64のうちの1つさえ検出されれば、撮像画角8を正しく検出することができ、仮想画角枠画像57を合成画像55中に正しく再現することができる。
 なお、L字状の画角マーク光61~64の各辺の長さL1,L2は、撮像画角8の横辺59及び縦辺60と関係なく規定してもよい。この場合は撮像画角8の横辺59と縦辺60の比(画面アスペクト比)は判っているので、2つの画角マーク光が検出されれば、撮像画角8を正しく検出することができる。例えば、縦辺60の特定によりその長さが判れば画面アスペクト比に基づき横辺59を特定することができ、仮想画角枠画像57を合成画像55中に正しく再現することができる。例えば撮像画角8の上側の横辺59近くの2つの画角マーク光61,63、又は撮像画角8の対角にある2つの画角マーク光62,63が検出されれば、撮像画角8を正しく検出することができ、仮想画角枠画像57を合成画像55中に正しく再現することができる。
 [変形例2]
 第1実施形態では、テレビカメラ11毎に変更する画角マーク光9の発光パターンとして、点滅の間隔、発光強度を例示したが、これに代えて又は加えて、変形例2では、画角マーク光9の投影形状をテレビカメラ11毎に変更する。例えば、図1に示すような円形状の画角マークの他に、図10(A),(B),(C)に示すように三角形、四角形、その他の多角形(図10では星形)の各種投影形状の画角マーク光65,66,67等を用いて、各テレビカメラ11からの各画角マーク光を識別する。この場合には、第2撮像信号に基づく画像から所定の形状を有するエリアを抽出することで、各画角マーク光の投影形状に基づきその照射元を特定することができる。
 [変形例3]
 第1実施形態では、撮像画角8の4隅近くの一定位置に画角マーク光9を照射している。これに代えて又は加えて、図11に示す変形例3では、格子状の画角マーク光70を照射している。画角マーク光70は、撮像画角8の横辺および縦辺と平行な複数本の格子線71を有する。画角マーク光70の最外枠は、撮像画角8の枠よりも一回り小さいか、または撮像画角8の枠と一致する。この場合には、画角マーク光70の一部の格子線71が反射されない場合でも、反射した他の格子線71を用いて、反射されなかった格子線71を補完することにより、他のテレビカメラ11の撮像画角8を知ることができる。また、図示は省略したが、撮像画角8の4隅だけでなく、撮像画角8の中心に画角マーク光を照射してもよく、この場合にも、撮像画角8の特定がより一層容易になる。
 [第2実施形態]
 第1実施形態では映像用画像に仮想画角マーク画像56及び仮想画角枠画像57を画像合成した合成画像55をモニタ19に表示している。対して、図12及び図13に示す第2実施形態の合成画像55では、仮想画角マーク画像56及び仮想画角枠画像57に加えて、映像用画像に、変化表示画像として矢印75,76を画像合成している。矢印75,76は、旧仮想画角画像に対して現仮想画角画像が変化した方向を示す。旧仮想画角画像とは、現時点よりも一定時間前(例えば1~3秒程度前)の仮想画角画像であり、現仮想画角画像とは、現時点の仮想画角画像である。
 この場合、制御部15は、演算部52で演算された一定時間前の仮想画角マークの位置(図12及び図13において点線で示す仮想画角マーク画像56-0の位置、以下、旧仮想画角マーク位置という)をメモリ51に記憶しておく。画像合成部36は、メモリ51に記憶された旧仮想画角マーク位置と、現時点の仮想画角マークの位置(図12及び図13において実線で示す仮想画角マーク画像56-1の位置、以下、現仮想画角マーク位置という)とを比較する。旧仮想画角マーク位置と現仮想画角マーク位置とが同じであった場合、画像合成部36は当然ながら変化表示画像としての矢印75,76を画像合成しない。旧仮想画角マーク位置と現仮想画角マーク位置とが異なっていた場合、画像合成部36は、旧仮想画角マーク位置から現仮想画角マーク位置に向かう矢印75を求めて、これを映像用画像に画像合成する。また、旧仮想画角マーク位置から分かる一定時間前の撮像画角8の位置(図12及び図13において点線で示す仮想画角枠画像57-0の位置)に対する、現仮想画角マーク位置から分かる現時点の撮像画角8の位置(図12及び図13において実線で示す仮想画角枠画像57-1の位置)の変化方向を示す矢印76を、矢印75と共に画像合成する。
 図12は他のテレビカメラ11でズーミング操作が行われた場合、図13は他のテレビカメラ11でパン操作が行われた場合をそれぞれ示す。このように、変化表示画像としての矢印75,76を映像用画像に画像合成して表示することで、他のテレビカメラ11のカメラマンが直近にどういった操作を行ったかを容易に把握することができる。なお、図12及び図13では、ズーミング操作前あるいはパン操作前の人物Hを点線で表しているが、実際は操作前の人物Hは表示されない。また、図12及び図13では、スタジオ7の床面及び壁面の図示を省略している。なお、矢印75,76はいずれか一方のみを表示してもよい。また、仮想画角マーク画像56-0及び仮想画角枠画像57-0は表示を省略してもよい。
 上記実施形態では、遮光板45にマーク光源43を設けているが、瞳分割による遮光領域内(瞳分割の透過光領域外)に配置されていれば良く、遮光板45以外の位置に設けてもよい。また、上記実施形態では、1枚の遮光板45に複数の瞳分割レンズ44を設けているが、遮光板45は瞳分割レンズ44毎、あるいはいくつかの瞳分割レンズ44をまとめた瞳分割グループ毎に分割して設けてもよい。また、フォーカスセンサ46も瞳分割レンズ44の分割数又は配置状態に応じて、瞳分割レンズ毎又は瞳分割グループ毎に設けてもよい。
 [第3実施形態]
 上記実施形態では、瞳分割による遮光領域内にマーク光源を設けている。これに代えて、図14に示す第3実施形態では、テレビカメラ80のレンズ装置81の外側にマーク光源82を設け、被写体に向けて画角マーク光83を照射する。この場合には、撮影レンズ14の光軸O1と画角マーク光83の光軸とが一致していないことにより生じる、実際の撮像画角8と、この撮像画角8を示すための画角マーク光83との間のずれを調整する。この第3実施形態によっても、第1実施形態と同様にして他のテレビカメラ11の撮像画角8を知ることができる。
 本発明は、上記実施形態又は変形例に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。例えば、上記実施形態及び変形例を適宜組み合わせることも可能である。
 なお、本発明は、テレビカメラ以外に、デジタルカメラ、携帯電話機、スマートフォン等の撮像装置に適用可能である。
 7 スタジオ
 8,8A,8B 撮像画角
 9,9A,9B,61,62,63,64,65,66,67,70,83 画角マーク光
 11,80 テレビカメラ
 11A 第1テレビカメラ
 11B 第2テレビカメラ
 11C 第3テレビカメラ
 12,81 レンズ装置
 13 カメラ本体
 14,14A,14B 撮影レンズ
 15 制御部
 16 第1撮像部
 17 画像処理部
 19,19A,19B,19C モニタ
 21 固定フォーカスレンズ
 22 移動フォーカスレンズ
 23 ズームレンズ
 24 可変絞り
 25 前側リレーレンズ
 26 ダイクロイックミラー(取り出し部)
 27 後側リレーレンズ
 28,29 レンズ
 30 レンズモニタ
 31 操作部
 32 色分解光学系
 33,34,35 映像用撮像素子
 36 画像合成部
 37 映像切換え装置
 38A,38B スイッチャモニタ
 39 外部装置
 40 自動焦点装置
 41 第2撮像部
 42 焦点制御部
 43,82 マーク光源
 44 瞳分割レンズ
 45 遮光板
 46 フォーカスセンサ
 47 マーク光検出部
 48 焦点位置算出部
 49 光源ドライバ
 50 発光パターン変更部
 51 メモリ
 52,52B 演算部
 55,55A,55B,55C 合成画像
 56,56A、56B,56-0,56-1 仮想画角マーク画像(仮想画角画像)
 57,57A,57B,57-0,57-1 仮想画角枠画像(仮想画角画像)
 59 横辺
 60 縦辺
 71 格子線
 75,76 矢印(変化表示画像)
 H 人物
 O1,O2 光軸
 ST10~ST18 ステップ
 L1,L2 画角マーク光の各辺の長さ

Claims (13)

  1.  複数台の撮像装置で被写体を同時に撮影する撮像システムにおいて、
     前記撮像装置は、
     自身以外の他の撮像装置から照射される画角マーク光であり、前記他の撮像装置の撮像画角を示す画角マーク光を含む被写体光が入射される撮影レンズと、
     前記被写体光から前記画角マーク光を取り出す取り出し部と、
     前記取り出し部により前記画角マーク光が除かれた前記被写体光を撮像し、映像用の第1撮像信号を出力する第1撮像部と、
     前記画角マーク光を撮像し、前記画角マーク光検出用の第2撮像信号を出力する第2撮像部と、
     前記第2撮像信号に基づいて、前記画角マーク光を検出するマーク光検出部と、
     前記画角マーク光に基づいて、自身の撮像画角における、前記他の撮像装置の撮像画角を示す仮想画角マークの位置を演算する演算部と、
     前記第1撮像信号に基づく映像用画像に、前記仮想画角マークの位置に応じた仮想画角画像を画像合成して合成画像を生成する画像合成部と、
     前記合成画像を表示するモニタと
     を有する撮像システム。
  2.  前記撮像装置は、前記画角マーク光を照射するマーク光源を有する請求項1記載の撮像システム。
  3.  前記第2撮像部は、前記撮影レンズの焦点を合焦位置に制御する焦点制御用の撮像部であり、
     前記マーク光源は前記第2撮像部に設けられ、
     前記画角マーク光は、前記焦点制御用の光を兼ね、前記撮影レンズを介して前記被写体に向けて照射される請求項2記載の撮像システム。
  4.  前記画像合成部は、前記仮想画角画像に加えて、現時点よりも一定時間前の前記仮想画角画像に対する、現時点の前記仮想画角画像の変化を示す変化表示画像を前記映像用画像に画像合成する請求項1~3のいずれか1項記載の撮像システム。
  5.  前記画角マーク光は、前記複数台の撮像装置毎に発光パターンが異なる請求項1~4いずれか1項記載の撮像システム。
  6.  前記発光パターンは、点滅の間隔、発光強度、投影形状のうちのいずれか1つである請求項5記載の撮像システム。
  7.  2台以上の前記他の撮像装置の前記仮想画角画像を画像合成する場合、前記画像合成部は、前記他の撮像装置毎に前記仮想画角画像の表示形態を異ならせる請求項5または6記載の撮像システム。
  8.  前記撮像装置は、前記他の撮像装置の中から、前記仮想画角画像を画像合成する撮像装置を選択する操作部を備え、
     前記画像合成部は、前記操作部で選択された撮像装置の前記仮想画角画像を画像合成する請求項5~7のいずれか1項記載の撮像システム。
  9.  前記複数台の撮像装置で各々生成される複数の前記映像用画像の中から、1つの前記映像用画像を選択して外部装置に出力する映像切換え装置を備え、
     前記画像合成部は、前記他の撮像装置のうち、前記映像切換え装置で前記映像用画像が選択されている前記撮像装置の前記仮想画角画像のみを画像合成する請求項5~8のいずれか1項記載の撮像システム。
  10.  前記撮像画角は矩形状をしており、
     前記画角マーク光は、前記撮像画角の隅を構成する直交する2直線に沿う投影形状である請求項1~9のいずれか1項記載の撮像システム。
  11.  前記画角マーク光は可視光とは異なる波長帯域の光である請求項1~10のいずれか1項記載の撮像システム。
  12.  複数台の撮像装置で被写体を同時に撮影する撮像システムに用いられる撮像装置であって、
     自身以外の他の撮像装置から照射される画角マーク光であり、前記他の撮像装置の撮像画角を示す画角マーク光を含む被写体光が入射される撮影レンズと、
     前記被写体光から前記画角マーク光を取り出す取り出し部と、
     前記取り出し部により前記画角マーク光が除かれた前記被写体光を撮像し、映像用の第1撮像信号を出力する第1撮像部と、
     前記画角マーク光を撮像し、前記画角マーク光検出用の第2撮像信号を出力する第2撮像部と、
     前記第2撮像信号に基づいて、前記画角マーク光を検出するマーク光検出部と、
     前記画角マーク光に基づいて、自身の撮像画角における、前記他の撮像装置の撮像画角を示す仮想画角マークの位置を演算する演算部と、
     前記第1撮像信号に基づく映像用画像に、前記仮想画角マークの位置に応じた仮想画角画像を画像合成して合成画像を生成する画像合成部と、
     前記合成画像を表示するモニタと
     を備える撮像装置。
  13.  複数台の撮像装置で被写体を同時に撮影する撮像システムに用いられる撮像装置の作動方法であって、
     自身以外の他の撮像装置から照射される画角マーク光であり、前記他の撮像装置の撮像画角を示す画角マーク光を含む被写体光から、取り出し部により前記画角マーク光を取り出す取り出しステップと、
     第1撮像部により、前記取り出しステップにより前記画角マーク光が除かれた前記被写体光を撮像し、映像用の第1撮像信号を出力する第1撮像ステップと、
     第2撮像部により、前記画角マーク光を撮像し、前記画角マーク光検出用の第2撮像信号を出力する第2撮像ステップと、
     マーク光検出部により、前記第2撮像信号に基づいて、前記画角マーク光を検出するマーク光検出ステップと、
     演算部により、前記画角マーク光に基づいて、自身の撮像画角における、前記他の撮像装置の撮像画角を示す仮想画角マークの位置を演算する演算ステップと、
     画像合成部により、前記第1撮像信号に基づく映像用画像に、前記仮想画角マークの位置に応じた仮想画角画像を画像合成して合成画像を生成する画像合成ステップと、
     前記合成画像をモニタに表示する表示ステップと
     を備える撮像装置の作動方法。
PCT/JP2016/088189 2016-01-15 2016-12-21 撮像システム、撮像装置及び撮像装置の作動方法 WO2017122512A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017561566A JP6426307B2 (ja) 2016-01-15 2016-12-21 撮像システム、撮像装置及び撮像装置の作動方法
CN201680078896.2A CN108476280B (zh) 2016-01-15 2016-12-21 摄像系统、摄像装置及摄像装置的工作方法
US16/030,868 US10645296B2 (en) 2016-01-15 2018-07-10 Imaging system, imaging device, and method of operating imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016006585 2016-01-15
JP2016-006585 2016-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/030,868 Continuation US10645296B2 (en) 2016-01-15 2018-07-10 Imaging system, imaging device, and method of operating imaging device

Publications (1)

Publication Number Publication Date
WO2017122512A1 true WO2017122512A1 (ja) 2017-07-20

Family

ID=59311176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088189 WO2017122512A1 (ja) 2016-01-15 2016-12-21 撮像システム、撮像装置及び撮像装置の作動方法

Country Status (4)

Country Link
US (1) US10645296B2 (ja)
JP (1) JP6426307B2 (ja)
CN (1) CN108476280B (ja)
WO (1) WO2017122512A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
CN112672057B (zh) * 2020-12-25 2022-07-15 维沃移动通信有限公司 拍摄方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174248A (ja) * 2004-12-17 2006-06-29 Nippon Telegr & Teleph Corp <Ntt> 撮像装置
JP2011130234A (ja) * 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106647A (ja) 1998-09-28 2000-04-11 Sony Corp 撮像方法および撮像システム
US7379104B2 (en) * 2003-05-02 2008-05-27 Canon Kabushiki Kaisha Correction apparatus
US20080180537A1 (en) * 2006-11-14 2008-07-31 Uri Weinberg Camera system and methods
JP5120356B2 (ja) * 2009-10-13 2013-01-16 株式会社ニコン 撮像装置
JP4985808B2 (ja) 2010-03-19 2012-07-25 カシオ計算機株式会社 撮像装置、及びプログラム
US8902158B2 (en) * 2011-10-21 2014-12-02 Disney Enterprises, Inc. Multi-user interaction with handheld projectors
US9897688B2 (en) * 2013-11-30 2018-02-20 Bae Systems Information And Electronic Systems Integration Inc. Laser detection and image fusion system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174248A (ja) * 2004-12-17 2006-06-29 Nippon Telegr & Teleph Corp <Ntt> 撮像装置
JP2011130234A (ja) * 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム

Also Published As

Publication number Publication date
US20180316872A1 (en) 2018-11-01
CN108476280A (zh) 2018-08-31
JP6426307B2 (ja) 2018-11-21
CN108476280B (zh) 2019-06-18
JPWO2017122512A1 (ja) 2018-11-08
US10645296B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
EP2590421B1 (en) Single-lens stereoscopic image capture device
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP5723488B2 (ja) カメラおよびその動作制御方法
JP2011133821A (ja) オートフォーカスシステム
WO2017122513A1 (ja) 撮像システム、レンズ装置及びレンズ装置の作動方法
JPWO2012108294A1 (ja) レンズ装置
JP2008096582A (ja) カメラ
JP5667304B2 (ja) 立体撮像装置
WO2017122512A1 (ja) 撮像システム、撮像装置及び撮像装置の作動方法
JP2010210903A (ja) 撮像装置
JP2011035643A (ja) 多眼撮影方法および装置、並びにプログラム
JP2005345605A (ja) オートフォーカスシステム
JP2014036362A (ja) 撮像装置、その制御方法、および制御プログラム
JP4717867B2 (ja) 撮影装置及び撮影方法
JP2019009694A (ja) 撮像装置、制御方法、及びプログラム
JP2004191651A (ja) 撮像装置
JPS5937777A (ja) 電子的撮像装置
JP2008096561A (ja) カメラ、カメラユニットおよびカメラシステム
US20090034960A1 (en) Optical observation apparatus and image-pickup apparatus
JP2005181469A (ja) オートフォーカスシステム
JP2010152135A (ja) セーフエリア警告装置
JP6111831B2 (ja) 疑似撮像装置および疑似レンズ鏡筒
RU103940U1 (ru) Цифровой стереокиносъемочный аппарат
JP2010134277A (ja) 自動焦点調節装置
JP2024008154A (ja) 画像処理装置、表示装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16885114

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017561566

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16885114

Country of ref document: EP

Kind code of ref document: A1