WO2021241011A1 - 映像作成方法 - Google Patents

映像作成方法 Download PDF

Info

Publication number
WO2021241011A1
WO2021241011A1 PCT/JP2021/014628 JP2021014628W WO2021241011A1 WO 2021241011 A1 WO2021241011 A1 WO 2021241011A1 JP 2021014628 W JP2021014628 W JP 2021014628W WO 2021241011 A1 WO2021241011 A1 WO 2021241011A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
angle
view
recording step
Prior art date
Application number
PCT/JP2021/014628
Other languages
English (en)
French (fr)
Inventor
祐也 西尾
智行 河合
康一 田中
潤也 北川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022527549A priority Critical patent/JPWO2021241011A1/ja
Priority to CN202180034554.1A priority patent/CN115552882A/zh
Publication of WO2021241011A1 publication Critical patent/WO2021241011A1/ja
Priority to US18/049,634 priority patent/US20230061593A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a video creation method, and more particularly to a video creation method for performing thinning processing on a video.
  • the present invention has been made in view of the above circumstances, and it is possible to solve the above-mentioned problems of the prior art and to secure the image quality of the image of the target subject while reducing the capacity of the image data.
  • the purpose is to provide a variety of video creation methods.
  • the image creation method is used in an image pickup device that reads pixel signals from a plurality of pixels in an image pickup device and creates arbitrary video data using the pixel signals. It is used in the first recording process of reading pixel signals from a plurality of pixels, creating an image of the first angle of view at the first thinning rate, and recording the first image data, and the target subject is within the first angle of view.
  • a third recording step for storing information data for associating the second video data with the first video data may be provided.
  • the image pickup element a plurality of pixels are arranged in the first arrangement direction and the second arrangement direction intersecting each other, a plurality of pixel rows are arranged in the first arrangement direction, and a pixel signal is read out in pixel row units.
  • the image is composed of a plurality of pixel images arranged in the first direction corresponding to the first arrangement direction and the second direction corresponding to the second arrangement direction.
  • the second thinning rate in the first direction is smaller than the first thinning rate in the first direction.
  • a part of the pixels for outputting the pixel signal used in the first recording step is a pixel common to a part of the pixels for outputting the pixel signal used in the second recording step.
  • the image pickup by the image pickup device is repeated every unit image pickup period, and the first recording step and the second recording step are carried out using the pixel signals output from the pixels in the same unit image pickup period. be.
  • the second recording step may be performed on the plurality of target subjects.
  • the image pickup by the image pickup device may be repeated for each unit image pickup period, and the first recording step and the second recording step may be performed in different unit image pickup periods.
  • the unit imaging period in which one of the first recording step and the second recording step is performed signals are output from a plurality of phase difference pixels included in the plurality of pixels, and the focus at the time of imaging is obtained.
  • An adjustment step for adjusting the position may be provided. In the adjustment step, it is preferable to adjust the focal position based on the phase difference information corresponding to the signals output from the plurality of phase difference pixels.
  • the plurality of phase difference pixels output a signal in the unit imaging period in which the first recording step is carried out, and the plurality of first phase difference pixels in which the signal is output in the unit imaging period in which the first recording step is carried out.
  • a plurality of second phase difference pixels may be included.
  • the adjustment step is based on the phase difference information according to the signals output from the plurality of first phase difference pixels and the phase difference information according to the signals output from the plurality of second phase difference pixels. It is preferable to adjust the focal position.
  • the second recording step may be performed when the target subject exists within the first angle of view and the size of the target subject is larger than the reference size.
  • the second recording step may be performed when the subject exists within the first angle of view and the size of the target subject is smaller than the reference size.
  • the second recording process may be ended when a predetermined time has elapsed from the start of the second recording process. Further, when the target subject in the first angle of view moves out of the first angle of view during the execution of the second recording step, a housing for accommodating the image pickup element in order to fit the target subject in the first angle of view again. You may move your body.
  • the first video data in which the identifier display data is incorporated may be recorded in the first recording step.
  • the identifier display data is data that displays an identifier representing the position of the video of the second angle of view in which the second video data is recorded on the video of the first angle of view.
  • the number of pixels that output the pixel signal used for video creation should decrease as the thinning rate increases.
  • the present embodiment relates to a method of creating an image by the image pickup apparatus 10 shown in FIGS. 1 and 2. It should be noted that the embodiments described below are merely examples for facilitating the understanding of the present invention, and do not limit the present invention. It may be modified or improved from the embodiments described. Further, the present invention includes an equivalent thereof.
  • orthogonal includes not only a strict right angle but also a case where the angle formed by the two directions differs by about 90 degrees to several degrees.
  • parallel includes, in addition to strict parallelism, a case where one of the two directions is tilted by several degrees from the state parallel to the other.
  • “simultaneous” includes a range recognized as “simultaneous” in the technical field to which the present invention belongs, and some delay (error) can be tolerated. For example, it is assumed that a plurality of processes performed within one unit imaging period, which will be described later, are performed "simultaneously” even if the execution timings are slightly different.
  • the image pickup device (hereinafter referred to as an image pickup device 10) of the present embodiment is, for example, a surveillance camera, and captures (images) a predetermined range of images at a place where the image pickup device is installed.
  • the "video" is mainly a moving image, and the image pickup apparatus 10 captures a video at a predetermined frame rate to create arbitrary video data. That is, the image pickup device 10 corresponds to a video creation device.
  • creating an arbitrary image means that an image (original image) reflected in the shooting range is constructed as it is by using a pixel signal read from the pixel p of the image sensor 40 shown in FIG. 4 to be described later.
  • the original video may be subjected to processing such as thinning processing described later to construct the video.
  • the image pickup device 10 is connected to the monitoring terminal 12 via the network 16 and constitutes the image pickup system 10S together with the monitoring terminal 12.
  • the video data (hereinafter referred to as video data) created by the image pickup apparatus 10 is transmitted to the monitoring terminal 12 via the network 16.
  • the image created by the image pickup apparatus 10 is displayed on the monitor 14 on the monitoring terminal 12 side (see, for example, FIG. 12).
  • the image pickup apparatus 10 When the image pickup apparatus 10 detects the target subject within the angle of view (strictly speaking, the first angle of view described later) that is the imaging range, the image pickup device 10 has an angle of view including the target subject (strictly speaking, the second angle of view described later). A video is created, the video data is recorded, and the video data is transmitted to the monitoring terminal 12.
  • the "target subject” is a subject other than a landscape that satisfies certain conditions such as moving, and corresponds to, for example, a passerby, an animal, a vehicle, or the like that moves into the angle of view.
  • the target subject may be limited to a certain target subject, and for example, only a person who moves within the angle of view for a predetermined time or longer may be the target subject. Alternatively, all the people who move into the angle of view of the image pickup apparatus 10 without limiting the target subject may be set as the target subject.
  • the configuration of the image pickup device 10 is generally the same as that of a general surveillance camera, and has an image pickup device main body 20, a housing 22, and a three-axis moving mechanism 24 as shown in FIG.
  • the image pickup apparatus main body 20 is housed in the housing 22, and is covered with a dome-shaped main body cover 20a having light transmission.
  • the three-axis movement mechanism 24 moves the housing 22 in each direction of the three axes (roll, pitch, yaw) orthogonal to each other in order to change the angle of view of the image pickup device 10.
  • the configurations of the housing 22 and the three-axis moving mechanism 24 since known configurations used for surveillance cameras can be used, the description thereof will be omitted.
  • the image pickup apparatus main body 20 has, for example, an optical unit 26 composed of a plurality of lenses and a diaphragm 30.
  • the optical unit 26 includes an optical device 27 for zooming, such as a zoom lens.
  • the zoom of the angle of view is changed by moving the optical device 27 in the optical axis direction by the zoom drive unit 34.
  • the image pickup apparatus 10 may have an electronic zoom function as well as an optical zoom function.
  • the optical unit 26 includes an optical device 28 for focusing such as a focus lens. By moving the optical device 28 in the optical axis direction, the focal position at the time of imaging is adjusted.
  • the image pickup apparatus 10 of the present embodiment controls the focus drive unit 36 based on the phase difference information by the image plane phase difference autofocus method, so that the focal position is focused on a predetermined position in the angle of view. adjust.
  • the autofocus method is not limited to the image plane phase difference method, and may be a phase difference method other than the contrast method or the image plane phase difference method.
  • the optical unit 26 may include a wide-angle lens, an ultra-wide-angle lens, a 360-degree lens, an anamorphic lens, and the like. In this case, it is possible to take an image with a wide angle of view in the horizontal direction.
  • the image pickup apparatus 10 may include a single optical unit 26, or may include a plurality of optical units 26 with different angles of view.
  • the aperture shape of the diaphragm 30 is adjusted by the diaphragm drive unit 38. As a result, the exposure amount in the image pickup device 40 is adjusted.
  • the image pickup device main body 20 includes a shutter 32, an image pickup element 40, a control unit 50, an analog signal processing circuit 62, an internal memory 64, a card slot 66, a communication interface 68, and a buffer memory 70.
  • the image sensor 40 is an image sensor composed of a solid-state image sensor such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor Image Sensor).
  • the image pickup element 40 takes an image, receives light that has passed through the optical unit 26, the diaphragm 30, and the like to form an image, and converts the optical image into a pixel signal, which is an electric signal, and outputs the image.
  • the image pickup by the image pickup device 40 is repeated for a predetermined unit imaging time.
  • the control unit 50 controls each unit of the image pickup apparatus 10 and executes processing related to image creation, recording, and the like. As shown in FIG. 2, the control unit 50 includes a controller 52 and a video processing unit 54.
  • the control unit 50 is composed of one or a plurality of processors.
  • the processor is, for example, CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), MPU (Micro-Processing Unit), or It may be configured by another IC (Integrated Circuit) or LSI (Large-Scale Integrated circuit). Alternatively, a processor may be configured by combining these. Further, as represented by the SoC (System on Chip), the processor may configure the functions of the entire control unit 50 including the controller 52 and the video processing unit 54 with one IC (Integrated Circuit) chip.
  • the hardware configuration of each processor described above may be realized by an electric circuit (Circuitry) in which circuit elements such as semiconductor elements are combined.
  • the controller 52 controls the image pickup element 40 and the analog signal processing circuit 62 so as to create an image with a predetermined unit imaging time, for example. Further, the controller 52 controls the drive units 34, 36, 38, the image pickup element 40, the analog signal processing circuit 62, and the like in order to adjust the image pickup conditions.
  • controller 52 controls the three-axis movement mechanism 24 in order to move the housing 22 that houses each part of the image pickup device main body 20 including the image pickup element 40 and the like. This makes it possible to change the angle of view so that the target subject within the angle of view goes out of the angle of view during imaging.
  • the image processing unit 54 creates an image of the first angle of view and records the first image data.
  • the first angle of view is an angle of view set with reference to the entire angle of view of the image pickup apparatus 10 as shown in FIG. 3, for example, in a range specified by the user within the total angle of view (for example, in FIG. The range shown).
  • the first video data is data in which the video of the first angle of view is recorded.
  • the first angle of view can be specified to any size, and the maximum angle of view can be set.
  • the designation of the first angle of view is performed, for example, based on an operation on an operation panel (not shown) provided in the image pickup apparatus 10 or an input operation on the monitoring terminal 12 side.
  • the first angle of view is usually rectangular, but its shape is not particularly limited, and may be a circle, an ellipse, a quadrangle other than a rectangle, or another polygon. Further, the image of the first angle of view may be displayed as a through image on the monitor 14 of the monitoring terminal 12 at any time.
  • the video processing unit 54 performs gamma correction, white balance correction, and the like on the pixel signal converted into digital data by the analog signal processing circuit 62, and generates a video signal.
  • the processed video signal is compressed in a compression format conforming to a predetermined standard to become compressed digital video data.
  • the compressed digital video data is repeatedly generated for a predetermined unit imaging period length.
  • the image processing unit 54 determines the presence or absence of a target subject (for example, a passerby) in the first angle of view by analyzing the image of the first angle of view.
  • the algorithm for detecting the target subject within the first angle of view is not particularly limited, but as an example, known template matching can be used. That is, the image of the target subject can be stored as a template image, and the presence or absence of the target subject can be determined by comparison and collation with the above template image in the video of the first angle of view.
  • the image processing unit 54 creates an image of the second angle of view including the target subject, and records the second image data together with the first image data.
  • the second angle of view is an angle of view including the target subject, is smaller than the first angle of view, and is located within the first angle of view (fits within the first angle of view).
  • the second video data is data obtained by recording a video having a second angle of view, that is, a video of a target subject.
  • the size of the second angle of view is automatically set by the image processing unit 54 according to the size of the detected target subject.
  • the second angle of view is usually rectangular, but its shape is not particularly limited, and may be a circle, an ellipse, a quadrangle other than a rectangle, or another polygon.
  • the first video data and the second video data are recorded in the internal memory 64 or the like and transmitted to the monitoring terminal 12 at any time.
  • Each video data is recorded according to a predetermined recording format (moving image format).
  • the recording format of each video data is not particularly limited and may be freely determined. Note that each video data may be recorded only on the recording medium of the monitoring terminal 12 without being stored in the recording medium of the image pickup device 10, or conversely, may be recorded only on the recording medium of the image pickup device 10.
  • the internal memory 64 built in the image pickup apparatus main body 20 and the memory card 67 that can be attached to and detached from the card slot 66 are recording media on which video data generated by the control unit 50 is recorded.
  • the communication interface 68 constitutes an input / output port for data transmission / reception between the image pickup apparatus 10 and the monitoring terminal 12.
  • the buffer memory 70 functions as a work memory of the control unit 50.
  • the image pickup element 40 includes a pixel array 41, a pixel drive line 42, a vertical signal line 43, a control circuit 44, and a logic circuit 45. These components are formed on a semiconductor substrate such as a silicon substrate (not shown).
  • the pixel array 41 is composed of a plurality of pixels p arranged two-dimensionally side by side in each of the two arrangement directions intersecting each other in the image pickup element 40.
  • the photoelectric conversion element generates a light charge according to the amount of light received by the exposure. The electric charge is stored in the pixel p and then output as a pixel signal.
  • each pixel p corresponds to any of three colors R (Red), G (Green), and B (Blue).
  • a plurality of pixel rows L are arranged in the first arrangement direction, and a plurality of pixel columns C are arranged in the second arrangement direction.
  • the first arrangement direction is the transmission direction of the pixel signal, and usually corresponds to the vertical direction.
  • the second arrangement direction is orthogonal to the first arrangement direction and usually corresponds to the horizontal direction.
  • the pixel array 41 is lined with m rows of pixel rows L in the first arrangement direction and n rows of pixel rows C in the second arrangement direction.
  • m and n are natural numbers of 2 or more, for example, hundreds to thousands.
  • the region in which the pixels p are arranged in the pixel array 41 will be referred to as a pixel region.
  • the m ⁇ n pixels p in the pixel array 41 correspond to images of all angles of view as shown in FIG.
  • the pixel area at the same position as the positional relationship of the first angle of view with respect to the total angle of view is the pixel area corresponding to the first angle of view.
  • the pixel region at the same position as the positional relationship of the second angle of view with respect to the total angle of view is the pixel area corresponding to the second angle of view.
  • the pixel area corresponding to the second angle of view is in the pixel area corresponding to the first angle of view, and is smaller than the pixel area corresponding to the first angle of view.
  • the image of the first angle of view is created by the pixel signal output from the pixel p of the pixel area corresponding to the first angle of view.
  • the image of the second angle of view is created from the pixel signal output from the pixel p in the pixel area corresponding to the second angle of view.
  • the pixel array 41 (that is, m ⁇ n pixels p) includes a plurality of phase difference pixels for phase difference detection.
  • the phase difference information is specified by the pixel signal output from each phase difference pixel.
  • the control unit 50 adjusts the focal position based on the specified phase difference information by the image plane phase difference method.
  • the pixel drive line 42 is provided for each pixel row L, and is wired to each of the n pixels p included in each pixel row L.
  • the vertical signal line 43 is provided for each pixel row C, and is wired to each of the m pixels p included in each pixel row C.
  • the control circuit 44 controls the reading of the pixel signal. Reading the pixel signal is to transmit the pixel signal output from the pixel p toward a predetermined transmission destination. In the present specification, reading the pixel signal from the pixel p is also referred to as “reading the pixel p”, and reading the pixel signal from each pixel p in the pixel row L described later is “reading the pixel row L”. Also called.
  • the control circuit 44 includes a vertical drive unit 101, a column processing unit 102, a horizontal drive unit 103, and a system control unit 104.
  • a rolling shutter operation which is an electronic shutter operation
  • the present invention is not limited to this, and the global shutter operation as the electronic shutter operation may be performed by simultaneously reading the pixel signals from all the pixels p.
  • the vertical drive unit 101 has an output end for each pixel row L, and one end of the corresponding pixel drive line 42 is connected to each output end. Scanning by the vertical drive unit 101 includes a read scan system and a sweep scan system.
  • the readout scanning system selects the pixel row L in order from the top in the first arrangement direction, and outputs a pixel drive pulse signal from the output end corresponding to the pixel drive line 42 wired to the selected pixel row L. ..
  • the pixel signals from the pixel p included in the pixel row L are sequentially read out in the pixel row L unit.
  • the pixel signal output from each pixel p is supplied to the column processing unit 102 through the vertical signal line 43 to which each pixel p is wired.
  • the sweep scanning system is performed ahead of the readout scanning system by the time of the shutter speed, and a pulse signal (reset signal) for reset is transmitted from the output end corresponding to the pixel drive line 42 wired in each pixel row L. Output.
  • a pulse signal (reset signal) for reset is transmitted from the output end corresponding to the pixel drive line 42 wired in each pixel row L. Output.
  • each pixel p is reset, exposed, and charged in order in units of pixel rows L, and an image for a unit imaging period is created for each shutter operation. It should be noted that one unit imaging period corresponds to the time interval from the output of the reset signal to the output of the next reset signal for one pixel p.
  • the column processing unit 102 has a signal processing circuit for each pixel row C.
  • the pixel signal output from each pixel p is input to the column processing unit 102 for each pixel row C through the vertical signal line 43 to which each pixel p is wired.
  • Each signal processing circuit performs CDS (Correlated Double Sampling) processing, noise removal processing, and the like on the pixel signal input for each pixel sequence C.
  • the column processing unit 102 includes a signal processing circuit that performs A / D conversion processing for converting a pixel signal output from the pixel p into a digital signal and outputting the analog signal. You may. Further, the above-mentioned CDS processing, noise removal processing, and the like may be performed after the A / D conversion.
  • the horizontal drive unit 103 is composed of a shift register, an address decoder, or the like. Each signal processing circuit of the column processing unit 102 is sequentially selected, and the pixel signal processed by the selected signal processing circuit is used as a logic circuit 45. Enter in.
  • the system control unit 104 is configured by a timing generator or the like that generates various timing signals, and controls the vertical drive unit 101, the column processing unit 102, and the horizontal drive unit 103 based on the generated timing signals.
  • the logic circuit 45 includes a signal processing unit 111 and a memory unit 112.
  • the signal processing unit 111 performs various signal processing such as addition processing on the pixel signal output from the control circuit 44, and outputs the processed pixel signal to the control unit 50.
  • the memory unit 112 temporarily stores the pixel signal after processing or the pixel signal during processing.
  • the pixel signal stored in the memory unit 112 is referred to by the signal processing unit 111 at a required timing.
  • the image sensor 40 configured as described above creates an image of the entire angle of view by reading pixel signals from all the pixels p (that is, m ⁇ n pixels p) in the pixel array 41, for example. be able to.
  • the pixel row L and the pixel column C it is possible to create a part of the image within the entire angle of view, that is, the image of the first angle of view. That is, by selecting the pixel row L and the pixel column C in the pixel region corresponding to the first angle of view, and reading the pixel signal from the pixel p included in each of the selected pixel row L and the pixel column C, the first pixel signal is read. It is possible to create an image with one angle of view. By selecting the pixel row L and the pixel column C in the region corresponding to the second angle of view in the same manner, and reading the pixel signal from the pixel p included in each of the selected pixel row L and the pixel column C. , It is possible to create an image with a second angle of view.
  • the pixel array 41 by reading pixel signals from all the pixels p in the pixel region corresponding to the first angle of view or the second angle of view, it is possible to create a fully read image as an image of that angle of view.
  • the first angle of view is the full angle of view
  • the pixel signal is read from all of the m ⁇ n pixels p, so that the full read video is created as the video of the first angle of view.
  • the first angle of view or the second angle of view will be collectively referred to as a “set angle of view” for convenience.
  • the image pickup apparatus 10 has a function of performing thinning processing for the purpose of reducing the capacity of video data and shortening the data transmission time.
  • the thinning process is a process of thinning out the number of pixels p for reading a pixel signal from among the pixels p in the pixel area corresponding to the set angle of view when creating an image with a set angle of view.
  • the video generated by the thinning process has a lower resolution than the fully read video, but the capacity of the video data can be reduced according to the number of thinned pixels, so that the data transmission time can be shortened. ..
  • FIG. 7A is a diagram showing a Bayer arrangement of pixels p in the image pickup device 40, and shows pixels p arranged in a part of the image pickup device 40.
  • FIG. 7B is an explanatory diagram for 1/2 thinning. The figure on the left side of FIG. 7B shows the pixel p in the pixel area corresponding to the set area, and the figure on the right side shows the part to be thinned out and the other part of the full read video of the set angle of view. There is.
  • the case shown in FIG. 7B is an example in which the set angle of view is set to the total angle of view and 1/2 thinning is performed on the image having the set angle of view.
  • the Bayer arrangement of the pixel p in the image pickup device 40 will be described with reference to FIG. 7A.
  • a pixel group having 2 ⁇ 2 (that is, four) pixels p as one unit is continuously arranged in the first arrangement direction and the second arrangement direction, and is included in one pixel group. Then, the pixels p of each color are arranged in the order of GRGB clockwise from the pixel p on the upper left.
  • the pixel rows L to be skipped and the pixel rows L not to be read are made continuous every two rows. That is, when 1/2 thinning is performed, as shown in FIG. 7B, the thinned pixel row Lx (two pixel rows in which the hatched pixels are lined up in the figure) and the non-thinned pixel row Ly (in the figure, in the figure). (Two pixel rows) in which white pixels are lined up) and are alternately present in the first arrangement direction. As a result, the resolution of the video with the set angle of view becomes 1 ⁇ 2 of the resolution of the full-read video. By such thinning out, it is possible to read out the pixel signal of the pixel p of each color of RGB in the region corresponding to the set angle of view while skipping a predetermined number of pixels p.
  • the resolution is the number of pixel images t per unit area in the image with the set angle of view, and is usually expressed in dpi (pixel per inch).
  • the pixel image t is a unit constituting the image having the set angle of view, and when the image having the set angle of view is divided by the number of pixels p from which the pixel signal is read out in the pixel area corresponding to the set angle of view. It is one piece of video.
  • the image of the set angle of view is constructed by a plurality of pixel images t arranged in the first direction and the second direction orthogonal to each other.
  • the first direction is a direction corresponding to the first arrangement direction, and usually corresponds to the vertical direction of the image.
  • the second direction is a direction corresponding to the second arrangement direction, and usually corresponds to the lateral direction of the image.
  • the pixel image t constitutes a recorded image and is a unit image based on a pixel signal.
  • the thinning rate for the image of the set angle of view becomes 1/2.
  • the thinning rate is a value calculated by the following formula (1).
  • Thinning rate (%) (1-Na / Nb) x 100 (1)
  • Na in the above formula (1) indicates the number of pixel images t in the image having the set angle of view
  • Nb indicates the number of pixels in the pixel region corresponding to the set angle of view.
  • the ratio of the number of pixels p from which the pixel signal is read to the number of pixels p in the pixel area corresponding to the set angle of view corresponds to the thinning rate. That is, the number of pixels p that output the pixel signal used for video creation decreases as the thinning rate increases.
  • the thinning ratio is the thinning ratio of pixel rows L in the first arrangement direction.
  • the thinned image line group Tx at the position corresponding to the thinned pixel row Lx is thinned out from the all read images with the set angle of view. ..
  • the image of the set angle of view is composed only by the non-thinned image line group Ty at the position corresponding to the non-thinned pixel row Ly.
  • the thinning rate is the thinning rate in the first direction, and more specifically, the thinning rate of the video line.
  • the video line is a line consisting of a plurality of pixel images t arranged in the second direction.
  • the thinned video line group Tx and the non-thinned video line group Ty are alternately arranged in the first direction. ..
  • the thinning is not limited to the case where the thinning is performed in the pixel row L unit, and may be performed in the pixel column C unit, for example. In that case, the thinning rate becomes the thinning rate in the second direction. Further, thinning may be performed in units of both the pixel row L and the pixel column C. In that case, the thinning rate is the product of the thinning rate in the first direction and the thinning rate in the second direction.
  • the thinning rate is set in advance when the thinning process is performed, and in the thinning process, the number of rows L corresponding to the set thinning rate is thinned out as the thinned pixel rows Lx.
  • the thinning rate is (1-h / g) ⁇ 100.
  • the thinning rate may be set to 0, and in that case, a fully read video is created as a video having a set angle of view.
  • the thinning process is performed in a manner of reducing the number of pixels p from which the pixel signal is read out in the image pickup device 40. As a result, the amount of pixel signals transmitted from the image sensor 40 to the control unit 50 is reduced.
  • the form of the thinning process may be a form other than the above-mentioned form.
  • pixel signals are read from all pixels p in the pixel region corresponding to the set angle of view and temporarily stored in the memory unit 112 of the image pickup device 40.
  • signals corresponding to the number of pixels corresponding to the thinning rate are thinned out by the signal processing unit 111, and only the remaining pixel signals are thinned out to be transmitted to the control unit 50. ..
  • the pixel signals may be read from all the pixels p in the pixel region corresponding to the set angle of view, and the pixel signals for all the pixels may be transmitted to the control unit 50. In that case, among the transmitted pixel signals, the signals corresponding to the number of pixels corresponding to the thinning rate are thinned out by the control unit 50.
  • Other thinning processes include reading pixel signals from a plurality of pixels p of the same color in the first arrangement direction or the second arrangement direction, and performing addition averaging processing on the pixel signals from each pixel p. .. By averaging the pixel signals from each pixel p in this way, the number of pixel signals transmitted to the control unit 50 is smaller than the number of pixel signals before averaging.
  • the thinning technique by the addition averaging process of the pixel signal the technique described in Japanese Patent Publication No. 2015-27045A and the technique described in Japanese Patent Publication No. 2013-30939A can be used.
  • the thinning process may be a method other than the above as long as the number of pixel signals used for video creation can be thinned out and reduced.
  • the image pickup apparatus 10 uses the thinning rate when creating the image of the first angle of view as the first thinning rate, and the first image showing the image of the first angle of view created by the first thinning rate. Record the data. Further, when the image pickup device 10 detects the target subject within the first angle of view, the image pickup device 10 records the above-mentioned first image data and creates an image of the second angle of view at the second thinning rate to create a second image. Record the data.
  • the second thinning rate is smaller than the first thinning rate.
  • the first thinning rate and the second thinning rate are defined as the thinning rate in the first direction of the video, respectively, in other words, the number of thinned video line groups Tx with respect to the number of all video lines. It is the ratio of the squared values. That is, the second thinning rate in the first direction is smaller than the first thinning rate in the first direction.
  • the image of the first angle of view becomes a lower resolution image as shown in FIG. 8A
  • the image of the second angle of view becomes a higher resolution image as shown in FIG. 8B. It becomes.
  • the data capacity can be reduced and the data transmission time can be shortened for a video having a wider first angle of view.
  • the image of the narrower second angle of view is the image of the target subject, the image quality is ensured as a higher resolution image.
  • FIG. 8A shows an image of the first angle of view
  • FIG. 8B shows an image of the second angle of view.
  • the position of the thinned image line group Tx (indicated by a black line in the figure).
  • the figure is based on the fully read video for the reason of showing.
  • the actually displayed video is a video in which the thinned video line group Tx is thinned out from the fully read video shown in FIGS. 8A and 8B.
  • the thinning rate is defined in the first direction of the image, in other words, in the pixel array 41, the skipping of the pixel p is skipped in the first array direction (vertical direction). It is supposed to be done in L units. By performing such thinning out in units of pixel rows L, it is possible to speed up the reading of the pixel signal in the pixel array 41 and reduce the capacity of the video data to be recorded.
  • the thinning rate for example, the thinning rate for the image of the first angle of view shown in FIG. 8A is 50%, and the thinning rate for the image of the second angle of view shown in FIG. 8B is. It is 20%.
  • the video creation flow proceeds according to the flow shown in FIG.
  • the image creation flow is started from the preparation step (S001) for preparing the image pickup apparatus 10.
  • a surveillance camera which is an image pickup device 10
  • the above surveillance camera is installed at a predetermined position with the front of the camera facing the shooting range.
  • the preparation step is performed only in the first video creation flow, and is omitted in the second and subsequent video creation flows.
  • the image pickup apparatus 10 carries out the first recording step (S002).
  • the first recording step is a step of creating an image of the first angle of view and recording the first image data, and is started, for example, when the image pickup apparatus 10 receives an instruction to start shooting from the monitoring terminal 12.
  • the first angle of view is set before the execution of the first recording step, and may be appropriately changed by the user during the execution of the first recording step.
  • imaging by the image sensor 40 is repeated for a predetermined unit imaging period, and corresponds to the first angle of view in each imaging (that is, one unit imaging period).
  • the pixel signal is read from the pixel p in the pixel area.
  • the number of rows L corresponding to the first thinning rate is thinned out from the plurality of pixel rows L in the pixel region corresponding to the first angle of view.
  • the image of the first angle of view is created at the first thinning rate, and the first image data is recorded on a predetermined recording medium, for example, a recording medium in the image pickup apparatus 10.
  • control unit 50 of the image pickup apparatus 10 analyzes the image of the first angle of view created in the first recording step, and determines whether or not the target subject exists within the first angle of view (S003). .. If the target subject does not exist within the first angle of view, the process proceeds to step S004, and it is determined in step S004 whether or not there is an instruction to end shooting. When there is an instruction to end shooting, the first recording process is completed, and at that point, the video creation flow ends.
  • step S005 if the target subject exists within the first angle of view in step S003, the process proceeds to step S005.
  • each step after step S005 is performed for each target subject.
  • the present invention is not limited to this, and when a large number of target subjects exist within the first angle of view, for example, a priority is set for each target subject, and only the target subject having a high priority is set.
  • Each step after step S005 may be carried out.
  • the control unit 50 specifies the size of the target subject and determines whether or not the specified size is larger than the reference size.
  • the size of the target subject is the size of the target subject in the first angle of view, and may be, for example, the length (height) of the target subject on the image of the first angle of view.
  • the area occupied by the image of the target subject in the image of the first angle of view specifically, the number of pixel images t (the number of pixels) may be used as the size of the target subject.
  • the reference size is set in advance as a reference for determining whether or not to carry out the second recording step described later, and may be appropriately changed by the user after the setting.
  • the process proceeds to step S006, and in the step S006, the second recording step is performed as described later.
  • the process proceeds to step S004 described above without performing the second recording step. This is because a target subject smaller than the first size has low accuracy of being detected as a target subject, and even if the second video data is recorded, it is difficult to recognize the appearance of the target subject from the video. Because.
  • the second recording step is performed on a target subject larger than the first size, but the present invention is not limited to this, and the size of the target subject is more than the reference size (hereinafter referred to as the second size).
  • the second recording step may be carried out only when the amount is small.
  • a target subject smaller than the second size create a high-resolution image with a second angle of view
  • a target subject larger than the second size create an image with a second angle of view.
  • only the low-resolution video with the first angle of view is created. This is because if the subject is larger than the second size, the appearance and the like can be sufficiently confirmed even with a low-resolution image of the first angle of view.
  • determination step S005 regarding the size of the target subject does not necessarily have to be performed and may be omitted.
  • step S006 the image pickup apparatus 10 carries out the first recording step and the second recording step.
  • the second recording step is a step of creating an image of the second angle of view including the target subject and recording the second image data, and the flow thereof is generally the same as the flow of the first recording process.
  • the second thinning rate is reduced from the pixel region corresponding to the second angle of view. Thinning out the number of rows according to the number of rows The pixel rows Lx are thinned out.
  • a pixel signal is read from each pixel p in the non-thinned pixel row Ly, a video having a second angle of view is created from the read pixel signal, and the second video data is recorded. Since the second thinning rate is smaller than the first thinning rate, the image of the second angle of view has a higher resolution than the image of the first angle of view.
  • a part of the plurality of pixel rows L in the pixel array 41 may correspond to the non-thinned pixel row Ly from which the pixel signal is read in both the first recording step and the second recording step.
  • a part of the pixel p that outputs the pixel signal used in the first recording step may be common with a part of the pixel p that outputs the pixel signal used in the second recording step.
  • a part of the pixel signal used for creating the image of the first angle of view can be used, so that the image of the second angle of view, that is, High-resolution video can be created more easily.
  • the second recording step may be performed for each of the plurality of target subjects in step S006.
  • the second recording step for each target subject is carried out in the same unit imaging period.
  • the conditions for creating the image having the second angle of view may be changed for each target subject, and for example, the second thinning rate may be changed for each target subject.
  • step S006 for carrying out the first recording step and the second recording step first, as shown in FIG. 10, the pixel array 41 first reads out and controls the pixel signals used in each of the first recording step and the second recording step. It is transmitted to the unit 50 (S021). At this time, the pixel signal used in the first recording step and the pixel signal used in the second recording step are read out, for example, in the same unit imaging period. The pixel signal for one unit imaging period is transmitted according to one of the two patterns described below.
  • the pixel signal used in the first recording step and the pixel signal used in the second recording step are simultaneously stored in the image pickup device 40 for one unit imaging period. Read from pixel p. Then, the read pixel signal is transmitted to the control unit 50.
  • the first readout pattern will be described in detail with reference to FIG.
  • FIG. 11 is an explanatory diagram of the first readout pattern, and the upper diagram shows a pixel region corresponding to the set angle of view, and the thinned pixel row Lx is hatched.
  • the lower figure of FIG. 11 shows the image of the set angle of view, and the image line corresponding to the thinned pixel line L (that is, the thinned image line group Tx) is represented by a black line.
  • pixel signals are collectively fetched from all pixels p in the pixel region (hereinafter referred to as the first pixel region) corresponding to the first angle of view for one unit imaging period, and logic is performed. It is temporarily stored in the memory unit 112 (see FIG. 4) of the circuit 45.
  • the signal processing unit 111 (see FIG. 4) of the logic circuit 45 reads out from the pixel area (hereinafter referred to as the second pixel area) corresponding to the second angle of view among the pixel signals stored in the memory unit 112.
  • the pixel signals are thinned out at the second thinning rate, and the other pixel signals are thinned out at the first thinning rate.
  • the number of pixel rows L corresponding to the second thinning rate is thinned out. Further, in the area other than the second pixel area in the first pixel area, the number of pixel rows L corresponding to the first thinning rate is thinned out. As can be seen from FIG. 11, in the second pixel region, the interval of the thinned pixel rows Lx is wider than in the other regions. This reflects that the second decimation rate is smaller than the first decimation rate.
  • the pixel signals of the rows not thinned out are read out from the pixels p in the image sensor 40.
  • the pixel signals of the non-thinned pixel row Ly in each region may be collectively transmitted from the image pickup device 40 to the control unit 50 as shown in the right figure in FIG.
  • the control unit 50 divides the pixel signal into each region, and then the pixel signal for each region is used in the first recording step and the second recording step.
  • the pixel signal in each region may be divided into regions at the time of transmission and transmitted from the image sensor 40 to the control unit 50 in two stages.
  • the pixel signal is fetched from the pixel p of the image pickup element 40 in two stages for one unit imaging period. More specifically, in one unit imaging period, the pixel signal used in the first recording step is first read out and stored in the memory unit 112. Then, within the same unit imaging period, among the pixel signals used in the second recording step, the untransmitted signal thinned out in the first recording step is read out and stored in the memory unit 112. Then, the pixel signal used in the first recording step and the pixel signal used in the second recording step are transmitted from the memory unit 112 to the control unit 50, respectively.
  • the pixel signal in creating the image of the first angle of view, is thinned out in the first pixel region and read out, and then the image of the second angle of view is selected from the thinned pixel signals. Read more as needed to create.
  • the first readout pattern it is possible to suppress a difference in readout timing between the pixel signal used in the first recording step and the pixel signal used in the second recording step. Therefore, when the first readout pattern is adopted, there is an advantage that so-called rolling shutter distortion is less likely to occur in the image having the first angle of view.
  • the pixel signal used in the first recording step and the pixel signal used in the second recording step are read out within the same unit imaging period, and the control unit. It is transmitted to 50.
  • the first recording step and the second recording step are carried out using the pixel signal output from the pixel p within the same unit imaging period.
  • the reading pattern is not limited to the above, and the pixel signal used in the first recording step and the pixel signal used in the second recording step may be read out in different unit imaging periods. In this case, the first recording step and the second recording step are carried out in different unit imaging periods.
  • the control unit 50 appropriately performs an adjustment step of adjusting the focal position using the pixel signal received from the phase difference pixel (S022). ..
  • the first recording step and the second recording step can be carried out in a state where the focal position is aligned with the target subject (S023, S024).
  • the adjustment step can be carried out in a more preferable manner. Specifically, in the above case, as described above, the first recording step and the second recording step are carried out in different unit imaging periods. In this case, it is preferable to carry out the adjustment step by using the pixel signals output from the plurality of phase difference pixels in the unit imaging period in which one of the first recording step and the second recording step is carried out. As a result, pixel signals of different phase difference pixels can be used between the unit imaging period in which the first recording step is carried out and the unit imaging period in which the second recording step is carried out.
  • a part of the pixel signal read in the unit imaging period different from the unit imaging period, that is, the unit imaging period in which the second recording step is carried out, is phase-differenced.
  • the adjustment step can be carried out by using it as a pixel signal of a pixel.
  • the plurality of phase difference pixels may include a plurality of first phase difference pixels and a plurality of second phase difference pixels.
  • the first phase difference pixel is a pixel p that outputs a pixel signal in the unit imaging period in which the first recording step is carried out
  • the second phase difference pixel is a pixel signal in the unit imaging period in which the second recording step is carried out. Is a pixel p that outputs.
  • the adjustment step based on the phase difference information according to the signals output from the plurality of first phase difference pixels and the phase difference information according to the signals output from the plurality of second phase difference pixels. Adjusting the focal position is preferable. By using the pixel signals of the phase difference pixels output in each of the unit imaging period in which the first recording step is carried out and the unit imaging period in which the second recording step is carried out, the focus is on the adjustment step. The position can be adjusted more accurately.
  • the adjustment step may be performed in a mode different from the above mode.
  • the pixel signal of the phase difference pixel is read out only in the unit imaging period in which the first recording step is carried out, and the second recording step is performed. It is not necessary to read out during the unit imaging period in which is performed. In this case, all the pixel signals read out in the unit imaging period in which the second recording step is performed are used for creating the image of the second angle of view, and are not used as the pixel signals of the phase difference pixels. Therefore, the image quality of the image of the second angle of view is maintained at a high level.
  • the pixel signal after thinning out at the first thinning rate since the pixel signal after thinning out at the first thinning rate is used, the number of pixel signals used for image creation is small, and a part of the pixel signal is used as the pixel signal of the phase difference pixel. And, there is a possibility that the correction by the phase difference pixel is not made properly.
  • the pixel signal of the phase difference pixel is read out only in the unit imaging period in which the second recording step is carried out, and the pixel signal of the phase difference pixel is read out in the unit imaging period in which the first recording step is carried out. It does not have to be.
  • the image pickup apparatus 10 When the second recording step is carried out, as shown in FIG. 10, the image pickup apparatus 10 performs a third recording step of recording information data for associating the second video data with the first video data in the first recording step. And the second recording step (S025).
  • the third recording step By implementing the third recording step, it is possible to grasp the relationship between the image of the first angle of view and the image of the second angle of view when reproducing the image of the second angle of view from the second image data.
  • the information for associating the second video data with the first video data information indicating when the video of the second angle of view is the video at which time, or the relative position of the second angle of view in the first angle of view is used. Information for identification and the like can be mentioned.
  • the above information also includes information such as which unit imaging period corresponds to the unit imaging period in which the second recording process is performed, counting from the reference time point during the implementation period of the first recording process. obtain.
  • the data of the above information is preferably recorded in association with the first video data, and may be recorded in either the image pickup apparatus 10 or the monitoring terminal 12.
  • the identifier display data is data in which the identifier u as shown in FIG. 12 is superimposed and displayed on the image of the first angle of view when the image of the first angle of view is reproduced from the first image data.
  • the identifier u represents the position of the image of the second angle of view in which the second image data is recorded in the image of the first angle of view, and is, for example, a frame surrounding the second angle of view as shown in FIG. be.
  • the identifier u may be other than the frame shown in FIG. 12, and may be a sign such as an arrow or a pointer pointing to the position of the second angle of view. Further, in order to emphasize the position of the second angle of view in the first angle of view, the range corresponding to the second angle of view may be highlighted in the image of the first angle of view. Further, as the identifier display data, for example, the position of the second angle of view is determined by using the data recorded in the third recording step described above, that is, the data of the information for associating the second video data with the first video data. It can be generated by specifying it.
  • the control unit 50 monitors the image of the first angle of view during the execution of the second recording process, and the target subject in the first angle of view in which the second image data is recorded. Is not moved to the outside of the first angle of view or to the end of the first angle of view (S007). Then, when the target subject moves out of the first angle of view or near the end of the first angle of view, the control unit 50 uses the triaxial movement mechanism 24 to fit the target subject in the first angle of view again. To move the housing 22 (S008). As a result, the target subject deviating from the first angle of view can be tracked, and the recording of the second video data can be continued for the target subject.
  • the housing 22 Even if the target subject moves out of the first angle of view during the execution of the second recording step, it is not necessary to move the housing 22 in order to track the target subject. For example, when a plurality of target subjects exist in the first angle of view and the second recording step is performed for each target subject, even if one target subject moves out of the first angle of view, the housing 22 The position of the first angle of view may be maintained without moving.
  • the control unit 50 ends the second recording process when a predetermined time has elapsed from the start of the execution of the second recording process (S009, S010).
  • the second recording step is performed in order to acquire a high-resolution image of the target subject, and the second video data for a certain period of time is performed. Is stored, the second recording process is stopped. This makes it possible to avoid a situation in which high-resolution video data for the target subject, that is, second video data is recorded more than necessary. This effect is particularly significant when each passerby is targeted as a target subject on a road or the like where many people come and go, and the second video data is recorded for each target subject.
  • the above-mentioned specified time is set in advance as the required implementation time of the second recording process, but may be changed by the user after the setting.
  • the specified time may be set to an arbitrary time, and may be set to, for example, about 1 minute to several minutes.
  • the second recording process may be executed again for the same target subject. For example, if the target subject recorded in the interrupted second video data continues to exist within the first angle of view, the second recording process may be restarted. Further, when the target subject repeatedly enters and exits the angle of view, which is the shooting range, the second recording process for the target subject may be restarted.
  • various data processes in the video creation flow are executed by the control unit 50 of the image pickup apparatus 10, but the present invention is not limited to this.
  • part or all of the data processing in the video creation flow may be performed by the processor of the monitoring terminal 12, or may be performed by the cooperation between the control unit 50 of the image pickup apparatus 10 and the processor of the monitoring terminal 12. good.
  • the moving image may be a still image.
  • the video of the first angle of view may be recorded as moving image data and the video of the second angle of view may be recorded as still image data, or the video of the first angle of view may be recorded as still image data and the second.
  • An image with an angle of view may be recorded as moving image data.
  • the image pickup device 10 is a surveillance camera
  • the image creation method of the present invention can be realized by using an image pickup device other than the surveillance camera.
  • the imaging device other than the surveillance camera include a digital camera, a mobile phone with an imaging optical system, a smartphone, a notebook personal computer, a tablet terminal, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

映像データの容量を削減しつつ、対象とする被写体の映像の画質を確保することが可能な映像作成方法を提供する。本発明の映像作成方法は、撮像素子における複数の画素から画素信号を読み出し、画素信号を用いて任意の映像データを作成する撮像装置を準備する準備工程と、複数の画素から画素信号を読み出し、第１画角の映像を第１間引き率にて作成して第１映像データを記録する第１記録工程と、第１画角内に対象被写体が存在する場合に、第１記録工程と共に実施され、対象被写体を含み第１画角よりも小さい第２画角の映像を、第１間引き率よりも低い第２間引き率にて作成して第２映像データを記録する第２記録工程と、を備える。

Description

映像作成方法
　本発明は、映像作成方法に係り、特に、映像に対する間引き処理を実施する映像作成方法に関する。
　複数の画素から出力される画素信号を全て読み出して映像データを記録しようとすると、データ容量が大きくなるため、映像に対する間引き処理を実施することがある。
　一方、例えば注目する被写体の映像は、より高精細に記録することが求められる場合がある。特許文献１又は２に記載された技術では、撮影範囲（すなわち、画角）内での物体の動きが検出された場合は、より高解像度の映像を撮影し、動きが検出されない場合には、より低解像度の映像を撮影する。
特開２００５－１７５７１９号公報 特許第６２５４１１４号
　しかしながら、特許文献１又は２に記載の技術では、動く被写体が存在する場合に、その被写体以外を含めて撮影範囲すべての映像を高解像度で撮影するので、映像データの容量が大きくなってしまう。
　本発明は、上記の事情に鑑みてなされたものであり、前述した従来技術の問題点を解決し、映像データの容量を削減しつつ、対象とする被写体の映像の画質を確保することが可能な映像作成方法を提供することを目的とする。
　上記の目的を達成するために、本発明の一の実施形態に係る映像作成方法は、撮像素子における複数の画素から画素信号を読出し、画素信号を用いて任意の映像データを作成する撮像装置に用いられ、複数の画素から画素信号を読み出し、第１画角の映像を第１間引き率にて作成して第１映像データを記録する第１記録工程と、第１画角内に対象被写体が存在する場合に、対象被写体を含み第１画角よりも小さい第２画角の映像を、第１間引き率よりも低い第２間引き率にて作成して第２映像データを記録する第２記録工程と、を備えることを特徴とする。
　また、第２記録工程を実施する場合に、第２映像データを第１映像データに関連付けるための情報のデータを記憶する第３記録工程を備えてもよい。
　また、撮像素子において、複数の画素は、互いに交差する第１配列方向及び第２配列方向に配列され、複数の画素行が第１配列方向に並び、画素信号が、画素行単位で読み出されてもよい。この場合、映像は、第１配列方向と対応する第１方向、及び、第２配列方向と対応する第２方向に並ぶ複数の画素映像によって構成される。このとき、第１方向における第１間引き率よりも、第１方向における第２間引き率が小さいと、好適である。
　また、第１記録工程に用いられる画素信号を出力する画素の一部は、第２記録工程に用いられる画素信号を出力する画素の一部と共通する画素であるとよい。
　さらに、撮像素子による撮像が単位撮像期間毎に繰り返され、第１記録工程及び第２記録工程は、同一の単位撮像期間にて画素から出力された画素信号を用いて実施されると、好適である。
　また、第１画角内に複数の対象被写体が存在する場合に、第２記録工程を複数の対象被写体に対して実施してもよい。
　また、撮像素子による撮像が単位撮像期間毎に繰り返され、第１記録工程と第２記録工程とは、互いに異なる単位撮像期間に実施されてもよい。この場合に、第１記録工程及び第２記録工程のうちの一方の記録工程が実施される単位撮像期間において、複数の画素に含まれる複数の位相差画素から信号が出力され、撮像時の焦点位置を調整する調整工程を備えてもよい。調整工程では、複数の位相差画素から出力される信号に応じた位相差情報に基づいて焦点位置を調整するとよい。
　さらに、複数の位相差画素は、第１記録工程が実施される単位撮像期間において信号を出力する複数の第１位相差画素と、第２記録工程が実施される単位撮像期間において信号を出力する複数の第２位相差画素と、を含んでもよい。この場合に、調整工程では、複数の第１位相差画素から出力される信号に応じた位相差情報と、複数の第２位相差画素から出力される信号に応じた位相差情報と、に基づいて焦点位置を調整すると、好適である。
　また、第１画角内に対象被写体が存在し、且つ、対象被写体のサイズが基準サイズより大きい場合に、第２記録工程を実施してもよい。
　あるいは、第１画角内に被写体が存在し、且つ、対象被写体のサイズが基準サイズより小さい場合に、第２記録工程を実施してもよい。
　また、第２記録工程を開始してから規定時間が経過した時点で、第２記録工程を終了してもよい。
　また、第２記録工程の実施中に第１画角内の対象被写体が第１画角外に移動した場合に、対象被写体を第１画角内に再び収めるために、撮像素子を収容する筐体を移動させてもよい。
　また、第２記録工程が実施された場合には、第１記録工程において、識別子表示データが組み込まれた第１映像データを記録してもよい。この場合に、識別子表示データは、第２映像データが記録された第２画角の映像の位置を表す識別子を第１画角の映像上に表示させるデータであると、好適である。
　また、映像作成に用いられる画素信号を出力する画素の数は、間引き率が高くなるほど少なくなるとよい。
本発明の一実施形態に係る撮像装置及び関連機器の一例を示す図である。 本発明の一実施形態に係る撮像装置の構成を示すブロック図である。 第１画角及び第２画角の説明図である。 撮像素子の構成を示す図である。 映像作成に用いられる画素信号を出力する画素と、作成される映像との対応関係を示す図である。 第１画角及び第２画角の各々と、撮像素子における画素との対応関係を示す図である。 撮像素子における画素のベイヤー配列を示す図である。 間引き処理についての説明図である。 第１画角の映像についての説明図である。 第２画角の映像についての説明図である。 本発明の一実施形態に係る映像作成方法にて映像を作成する処理フローを示す図である。 図９中のステップＳ００６の流れを示す図である。 画素信号の読み出しパターンについての説明図である。 第１映像データを再生して表示される第１画角の映像と、第１画角の映像上に重ねて表示される識別子とを示す図である。
　本発明の好適な一つの実施形態（以下、本実施形態という。）について、添付の図面を参照しながら詳細に説明する。
　本実施形態は、図１及び２に示す撮像装置１０による映像作成方法に関する。なお、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではなく、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
　また、本明細書において、「直交」には、厳密な直交に加え、２つの方向がなす角度が９０度から数度程度異なるケースが含まれることとする。また、「平行」には、厳密な平行に加え、２つの方向の一方が他方に対して平行な状態から数度程度傾いているケースが含まれることとする。
　また、本明細書において、「同時」には、本発明が属する技術分野において「同時」と認められる範囲を含むこととし、多少の遅延（誤差）は許容され得ることとする。例えば、後述する１つの単位撮像期間内に実施される複数の処理は、実施タイミングが多少異なっていても「同時」に実施されるものとする。
　［撮像装置について］
　本実施形態の撮像装置（以下、撮像装置１０という。）は、例えば監視カメラであり、設置された場所で所定範囲の映像を撮影（撮像）する。「映像」は、主として動画像であり、撮像装置１０は、所定のフレームレートで映像を撮影して任意の映像データを作成する。つまり、撮像装置１０は、映像作成装置に相当する。
　ここで、「任意の映像を作成する」とは、後述の図４に示す撮像素子４０の画素ｐから読み出される画素信号を用いて、撮影範囲に映る映像（原映像）をそのまま構築したり、あるいは原映像に対して後述の間引き処理等の処理を実施して映像を構築したりすることである。
　撮像装置１０は、図１に示すようにネットワーク１６を介して監視端末１２に接続され、監視端末１２と共に撮像システム１０Ｓを構成している。撮像装置１０によって作成された映像のデータ（以下、映像データという。）は、ネットワーク１６経由で監視端末１２に向けて送信される。これにより、監視端末１２側のモニタ１４に、撮像装置１０によって作成された映像が表示される（例えば、図１２参照）。
　撮像装置１０は、撮像範囲である画角（厳密には、後述の第１画角）内で対象被写体を検出すると、対象被写体を含む画角（厳密には、後述の第２画角）の映像を作成し、その映像データを記録し、監視端末１２に向けて送信する。
　ここで、「対象被写体」とは、風景以外の被写体のうち、動いている等の一定の条件を満たす被写体であり、例えば画角内に移り込む通行人、動物及び乗物等が該当する。また、対象被写体を一定の対象被写体を制限してもよく、例えば、画角内に所定時間以上移り込む人のみを対象被写体としてもよい。あるいは、対象被写体の制限を設けず撮像装置１０の画角に移り込む人すべてを対象被写体としてもよい。
　撮像装置１０の構成は、一般的な監視カメラの構成と概ね共通しており、図１に示すように撮像装置本体２０と筐体２２と三軸移動機構２４とを有する。撮像装置本体２０は、筐体２２内に収容され、光透過性を有するドーム状の本体カバー２０ａによって覆われている。三軸移動機構２４は、撮像装置１０の画角を変更するために互いに直交する三軸（ロール、ピッチ、ヨー）の各方向に筐体２２を移動させる。筐体２２及び三軸移動機構２４の構成については、監視カメラ用に用いられる公知の構成が利用可能であるため、説明を省略することとする。
　撮像装置本体２０は、図２に示すように、例えば、複数のレンズからなる光学ユニット２６、及び絞り３０を有する。光学ユニット２６は、ズームレンズ等のズーム用の光学機器２７を含む。光学機器２７をズーム用駆動部３４によって光軸方向に動かすことで画角のズームが変わる。なお、撮像装置１０は、光学ズーム機能とともに電子ズーム機能を備えてもよい。
　光学ユニット２６は、フォーカスレンズ等のフォーカス用の光学機器２８を含む。光学機器２８を光軸方向に動かすことにより、撮像時の焦点位置が調整される。本実施形態の撮像装置１０は、像面位相差オートフォーカス方式により、位相差情報に基づいてフォーカス用駆動部３６を制御することで、画角中の所定位置に合焦するように焦点位置を調整する。なお、オートフォーカスの方式は、像面位相差方式に限定されず、コントラスト方式又は像面位相差方式以外の位相差方式でもよい。
　光学ユニット２６は、広角レンズ、超広角レンズ、３６０度レンズ又はアナモフィックレンズ等を含んでもよい。この場合には、水平方向に広い画角で撮像することができる。なお、撮像装置１０は、単一の光学ユニット２６を備えてもよく、画角を変えて複数台の光学ユニット２６を備えてもよい。
　絞り３０は、その開口形状が絞り駆動部３８によって調整される。これにより、撮像素子４０における露光量が調整される。
　撮像装置本体２０は、図２に示すようにシャッタ３２、撮像素子４０、制御部５０、アナログ信号処理回路６２、内部メモリ６４、カードスロット６６、通信用インタフェース６８、及びバッファメモリ７０を備える。
　撮像素子４０は、ＣＣＤ（Charged Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等の固体撮像素子によって構成されたイメージセンサである。撮像素子４０は、撮像を行い、光学ユニット２６及び絞り３０等を通過した光を受光して結像し、その光学像を電気信号である画素信号に変換して出力する。撮像素子４０による撮像は、所定の単位撮像時間の長さで繰り返される。
　制御部５０は、撮像装置１０の各部を制御し、映像の作成及び記録等に関する処理を実行する。制御部５０は、図２に示すようにコントローラ５２及び映像処理部５４を含む。
　制御部５０は、１つ又は複数のプロセッサによって構成される。プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はその他のＩＣ（Integrated Circuit）若しくはＬＳＩ（Large-Scale Integrated circuit）によって構成されてもよい。あるいは、これらを組み合わせてプロセッサが構成されてもよい。また、プロセッサは、ＳｏＣ（System on Chip）等に代表されるように、コントローラ５２及び映像処理部５４を含む制御部５０全体の機能を１つのＩＣ（Integrated Circuit）チップで構成してもよい。以上に挙げた各プロセッサのハードウェア構成は、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）で実現してもよい。
　コントローラ５２は、例えば、所定の単位撮像時間の長さで映像を作成するように撮像素子４０及びアナログ信号処理回路６２を制御する。また、コントローラ５２は、撮像条件を調整するために各駆動部３４、３６、３８、撮像素子４０及びアナログ信号処理回路６２等を制御する。
　さらに、コントローラ５２は、撮像素子４０等を含む撮像装置本体２０の各部を収容する筐体２２を移動させるために三軸移動機構２４を制御する。これにより、撮像時に画角内の対象被写体が画角外へ出たときに対象被写体を追尾するように画角を変更することができる。
　映像処理部５４は、コントローラ５２の制御の下、第１画角の映像を作成して第１映像データを記録する。第１画角は、図３に示すよう撮像装置１０の全画角を基準として設定された画角であり、例えばユーザが全画角内で指定した範囲（例えば、図３中、破線にて示す範囲）である。第１映像データは、第１画角の映像を収録したデータである。
　なお、第１画角は、任意のサイズに指定することができ、最大で全画角とすることができる。第１画角の指定は、例えば、撮像装置１０に設けられた不図示の操作パネルでの操作、あるいは監視端末１２側での入力操作に基づいて行われる。また、第１画角は、通常は矩形状であるが、その形状は特に限定されず、円形、楕円形、長方形以外の四角形、その他の多角形でもよい。
　また、第１画角の映像は、スルー画像として監視端末１２のモニタ１４に随時表示されてもよい。
　映像処理部５４は、アナログ信号処理回路６２にてデジタルデータに変換された画素信号に対してガンマ補正及びホワイトバランス補正等を行い、映像信号を生成する。処理後の映像信号は、所定の規格に準拠した圧縮形式にて圧縮されて圧縮デジタル映像データとなる。圧縮デジタル映像データは、所定の単位撮像期間の長さで繰り返し生成される。
　映像処理部５４は、第１画角の映像を解析等することで第１画角内における対象被写体（例えば、通行人等）の存否を判定する。第１画角内で対象被写体を検出するアルゴリズムは、特に制限されないが、一例としては、公知のテンプレートマッチングが利用可能である。すなわち、対象被写体の画像をテンプレート画像として記憶し、第１画角の映像において、上記のテンプレート画像との比較照合により対象被写体の存否を判定することができる。
　映像処理部５４は、第１画角内で対象被写体を検出した場合には、対象被写体を含む第２画角の映像を作成し、第２映像データを第１映像データと共に記録する。第２画角は、対象被写体を含む画角であり、且つ、第１画角よりも小さく、第１画角内に位置する（第１画角内に収まる）。第２映像データは、第２画角の映像、すなわち対象被写体の映像を記録したデータである。
　第２画角のサイズは、検出された対象被写体のサイズに応じて映像処理部５４によって自動的に設定される。なお、第２画角は、通常は矩形状であるが、その形状は特に限定されず、円形、楕円形、長方形以外の四角形、その他の多角形でもよい。
　第１映像データ及び第２映像データは、内部メモリ６４等に記録されて監視端末１２へ随時送信される。各映像データは、所定の記録形式（動画フォーマット）に則って記録される。各映像データの記録形式は、特に限定されず、自由に決めてもよい。なお、各映像データは、撮像装置１０の記録媒体に記憶されずに監視端末１２の記録媒体にのみ記録されてもよく、反対に、撮像装置１０の記録媒体にのみ記録されてもよい。
　以降では、特に断る場合を除き、コントローラ５２及び映像処理部５４の各々の動作及び処理を、制御部５０の動作及び処理として説明することとする。
　撮像装置本体２０に内蔵された内部メモリ６４、及び、カードスロット６６に対して着脱可能なメモリカード６７は、制御部５０によって生成された映像データが記録される記録媒体である。
　通信用インタフェース６８は、撮像装置１０と監視端末１２との間のデータ送受信用の入出力ポートを構成する。
　バッファメモリ７０は、制御部５０のワークメモリとして機能する。
　［撮像素子について］
　撮像素子４０について改めて説明すると、撮像素子４０は、図４に示すように、画素アレイ４１、画素駆動線４２、垂直信号線４３、制御回路４４、及びロジック回路４５を有する。これらの構成要素は、不図示しないシリコン基板等の半導体基板に形成されている。
　画素アレイ４１は、図５に示すように、撮像素子４０において互いに交差する２つの配列方向のそれぞれに並べて二次元状に配列された複数の画素ｐからなる。各画素ｐでは、光電変換素子が露出により受光した光量に応じた光電荷を生成する。電荷は、画素ｐ内に蓄積された後に画素信号として出力される。なお、本実施形態において、各画素ｐは、３色カラーＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｅｎ）、Ｂ（Ｂｌｕｅ）のいずれかに対応している。
　画素アレイ４１では、図５に示すように第１配列方向に複数の画素行Ｌが並び、第２配列方向に複数の画素列Ｃが並んでいる。第１配列方向は、画素信号の伝送方向であり、通常は垂直方向に相当する。第２配列方向は、第１配列方向と直交し、通常は水平方向に相当する。本実施形態では、画素アレイ４１に第１配列方向にｍ行の画素行Ｌが並び、第２配列方向にｎ列の画素列Ｃが並ぶ。ｍ及びｎは、２以上の自然数であり、例えば数百～数千である。
　なお、以下では、画素アレイ４１において画素ｐが配置された領域を画素領域と呼ぶこととする。
　画素アレイ４１におけるｍ×ｎ個の画素ｐは、図５に示すように全画角の映像と対応している。画素アレイ４１において、全画角に対する第１画角の位置関係と同じ位置にある画素領域は、第１画角と対応する画素領域である。同様に、画素アレイ４１において、全画角に対する第２画角の位置関係と同じ位置にある画素領域は、第２画角と対応する画素領域である。第２画角と対応する画素領域は、図６に示すように、第１画角と対応する画素領域内にあり、第１画角と対応する画素領域よりも小さい。
　第１画角の映像は、第１画角と対応する画素領域の画素ｐから出力される画素信号によって作成される。第２画角の映像は、第２画角と対応する画素領域にある画素ｐから出力される画素信号から作成される。
　また、画素アレイ４１（すなわち、ｍ×ｎ個の画素ｐ）には位相差検出用の複数の位相差画素が含まれている。各位相差画素から出力される画素信号により位相差情報が特定される。制御部５０は、像面位相差方式により、特定された位相差情報に基づいて焦点位置を調整する。
　画素駆動線４２は、図４に示すように画素行Ｌ毎に設けられており、各画素行Ｌに含まれるｎ個の画素ｐの各々に配線されている。垂直信号線４３は、図４に示すように画素列Ｃ毎に設けられており、各画素列Ｃに含まれるｍ個の画素ｐの各々に配線されている。
　制御回路４４は、画素信号の読み出しを制御する。画素信号の読み出しは、画素ｐから出力された画素信号を所定の伝送先に向けて伝送することである。なお、本明細書では、画素ｐからの画素信号を読み出すことを「画素ｐを読み出す」とも言い、後述する画素行Ｌ中の各画素ｐからの画素信号を読み出すことを「画素行Ｌを読み出す」とも言う。
　制御回路４４は、図４に示すように、垂直駆動部１０１、カラム処理部１０２、水平駆動部１０３及びシステム制御部１０４を含む。垂直駆動部１０１が画素行Ｌ単位で画素ｐから画素信号を読み出すことで、電子シャッタ動作であるローリングシャッタ動作が行われる。ただし、これに限定されず、すべての画素ｐから同時に画素信号を読み出すことで、電子シャッタ動作としてのグローバルシャッタ動作が行われてもよい。
　垂直駆動部１０１は、図４に示すように、画素行Ｌ毎に出力端を備え、各出力端には、対応する画素駆動線４２の一端が接続されている。垂直駆動部１０１による走査には、読み出し走査系及び掃き出し走査系が含まれる。
　読み出し走査系は、第１配列方向において上方から順に画素行Ｌを選択し、選択された画素行Ｌに配線された画素駆動線４２と対応する出力端から、画素駆動用のパルス信号を出力する。これにより、画素行Ｌに含まれる画素ｐからの画素信号が、画素行Ｌ単位で順に読み出される。各画素ｐから出力された画素信号は、各画素ｐが配線された垂直信号線４３を通じてカラム処理部１０２に供給される。
　掃き出し走査系は、読み出し走査系よりもシャッタスピードの時間分だけ先行して行われ、各画素行Ｌに配線された画素駆動線４２と対応する出力端からリセット用のパルス信号（リセット信号）を出力する。掃き出し走査系の走査により、各画素行Ｌに含まれる画素の光電変換素子から不要電荷を掃き出されて画素ｐをリセットすることができる。
　ローリングシャッタ方式の電子シャッタ動作では各画素ｐのリセット、露光及び電荷蓄積が画素行Ｌ単位で順に行われ、一回のシャッタ動作につき、単位撮像期間分の映像が作成される。なお、一つの単位撮像期間は、一つの画素ｐに対してリセット信号が出力されてから次のリセット信号が出力されるまでの時間間隔に相当する。
　カラム処理部１０２は、画素列Ｃ毎に信号処理回路を有する。各画素ｐから出力される画素信号は、各画素ｐが配線された垂直信号線４３を通じて画素列Ｃ毎にカラム処理部１０２に入力される。各信号処理回路は、画素列Ｃ毎に入力される画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理及びノイズ除去処理等を実施する。
　なお、アナログ信号処理回路６２の代わりに、画素ｐから出力された画素信号をアナログ信号からデジタル信号に変換して出力するＡ／Ｄ変換処理を実施する信号処理回路がカラム処理部１０２に含まれてもよい。また、前述したＣＤＳ処理及びノイズ除去処理等は、Ａ／Ｄ変換後に行ってもよい。
　水平駆動部１０３は、シフトレジスタ又はアドレスデコーダ等によって構成されており、カラム処理部１０２の各信号処理回路を順番に選択し、選択された信号処理回路にて処理された画素信号をロジック回路４５に入力する。
　システム制御部１０４は、各種のタイミング信号を生成するタイミングジェネレータ等によって構成され、生成されたタイミング信号を基に垂直駆動部１０１、カラム処理部１０２及び水平駆動部１０３を制御する。
　ロジック回路４５は、図４に示すように、信号処理部１１１とメモリ部１１２とを備える。信号処理部１１１は、制御回路４４から出力される画素信号に対して加算処理等の種々の信号処理を行い、処理後の画素信号を制御部５０に向けて出力する。メモリ部１１２は、処理後の画素信号又は処理途中の画素信号を一時的に記憶する。メモリ部１１２に記憶された画素信号は、必要なタイミングで信号処理部１１１によって参照される。
　以上のように構成された撮像素子４０では、例えば、画素アレイ４１における全ての画素ｐ（すなわち、ｍ×ｎ個の画素ｐ）からの画素信号を読み出すことで、全画角の映像を作成することができる。
　また、読み出し対象とする画素行Ｌと画素列Ｃとを選択することで、全画角内の一部の映像、すなわち第１画角の映像を作成することができる。つまり、第１画角と対応する画素領域にある画素行Ｌ及び画素列Ｃを選択し、選択された画素行Ｌ及び画素列Ｃの各々に含まれる画素ｐから画素信号を読み出すことで、第１画角の映像を作成することができる。同様の要領により、第２画角と対応する領域にある画素行Ｌ及び画素列Ｃを選択し、選択された画素行Ｌ及び画素列Ｃの各々に含まれる画素ｐから画素信号を読み出すことで、第２画角の映像を作成することができる。
　［間引き処理について］
　画素アレイ４１において、第１画角又は第２画角と対応する画素領域にある全ての画素ｐから画素信号を読み出すことで、その画角の映像として、全読み出し映像を作成することができる。例えば、第１画角が全画角である場合には、ｍ×ｎ個の画素ｐのすべてから画素信号を読み出すことで、第１画角の映像として、全読み出し映像が作成される。以降では、説明の都合上、第１画角又は第２画角を、便宜的に、まとめて「設定画角」とも呼ぶこととする。
　全読み出し映像は、高解像度ではあるが、その反面、映像のデータ容量が大きくなるためにデータ送信時間が長くなってしまう。これに対し、撮像装置１０は、映像データの容量を削減してデータ送信時間を短縮する目的のために間引き処理を実施する機能を備える。
　間引き処理は、設定画角の映像を作成する際に、設定画角と対応する画素領域にある画素ｐのうち、画素信号を読み出す画素ｐの数を間引く処理である。間引き処理が実施されて生成された映像は、全読み出し映像よりも低解像度となるが、間引いた画素数に応じて映像データの容量を減らすことができるので、データ送信時間を短縮することができる。
　ベイヤー配列にて画素ｐが並ぶ撮像素子４０に対する間引き処理の一例として、１／２間引きについて図７Ａ及び７Ｂを参照しながら説明する。図７Ａは、撮像素子４０における画素ｐのベイヤー配列を示す図であり、撮像素子４０の一部に並ぶ画素ｐを示している。図７Ｂは、１／２間引きについての説明図である。図７Ｂの左側の図は、設定領域と対応する画素領域にある画素ｐを示し、右側の図は、設定画角の全読み出し映像のうち、間引かれる部分とそれ以外の部分とを示している。なお、図７Ｂに示すケースは、設定画角を全画角とし、設定画角の映像に対して１／２間引きを実施する例である。
　間引きについて説明するにあたり、撮像素子４０における画素ｐのベイヤー配列について図７Ａを参照しながら説明する。撮像素子４０では、第１配列方向及び第２配列方向において、２×２（すなわち、４個）の画素ｐを１単位とする画素群が連続して配置されており、１つの画素群の中では、左上の画素ｐから時計周りにＧＲＧＢの順で各色の画素ｐが配置されている。
　１／２間引きでは、例えば、設定画角と対応する領域において第１配列方向に並ぶ画素行Ｌについて、２行置きに、読み飛ばす画素行Ｌと読み飛ばさない画素行Ｌとを連続させる。つまり、１／２間引きを実施する場合には、図７Ｂに示すように、間引き画素行Ｌｘ（図中、ハッチングされた画素が並ぶ２つの画素行）と、非間引き画素行Ｌｙ（図中、白色の画素が並ぶ２つの画素行）と、が第１配列方向に交互に存在する。これにより、設定画角の映像の解像度が、全読み出し映像であるときの解像度の１／２となる。このような間引きにより、所定数の画素ｐを読み飛ばしながらも、設定画角と対応する領域においてＲＧＢの各色の画素ｐの画素信号を読み出すことができる。
　なお、解像度は、設定画角の映像における単位面積あたりの画素映像ｔの個数であり、通常はｐｐｉ（pixel per inch）で表される。画素映像ｔは、設定画角の映像を構成する単位であり、設定画角と対応する画素領域のうち、画素信号が読み出された画素ｐの個数で設定画角の映像を分割したときの一つの映像片である。換言すると、設定画角の映像は、互いに直交する第１方向及び第２方向に並ぶ複数の画素映像ｔによって構築される。第１方向は、第１配列方向と対応する方向であり、通常は映像の縦方向に相当する。第２方向は、第２配列方向と対応する方向であり、通常は映像の横方向に相当する。なお、画素映像ｔは、記録された映像を構成し、画素信号に基づいた単位映像である。
　１／２間引きについて改めて説明すると、１／２間引きでは、設定画角の映像に対する間引き率が１／２となる。換言すると、１／２間引きにより、設定画角の映像を、間引き率が１／２となるように作成することができる。間引き率は、下記の式（１）によって算出される値である。
　　間引き率（％）＝（１－Ｎａ／Ｎｂ）×１００　　　　　（１）
　上記の式（１）のＮａは、設定画角の映像における画素映像ｔの個数を示し、Ｎｂは、設定画角と対応する画素領域における画素数を示す。
　本実施形態では、設定画角と対応する画素領域にある画素ｐの数に対する、画素信号が読み出された画素ｐの数の割合が間引き率に該当する。つまり、映像作成に用いられる画素信号を出力する画素ｐの数は、間引き率が高くなるほど少なくなる。
　また、本実施形態では、図７に示すように間引きが画素行Ｌ単位で行われ、そのため、間引き率は、第１配列方向における画素行Ｌの間引き率となる。このことを設定画角の映像の観点から説明すると、図７に示すように、設定画角の全読み出し映像のうち、間引き画素行Ｌｘと対応する位置にある間引き映像ライン群Ｔｘが間引かれる。換言すると、非間引き画素行Ｌｙと対応する位置にある非間引き映像ライン群Ｔｙのみによって設定画角の映像が構成される。
　以上のように、本実施形態では、間引き率が第１方向における間引き率であり、詳しくは映像ラインの間引き率である。映像ラインとは、第２方向に並ぶ複数の画素映像ｔからなる行であり、１／２間引きでは、例えば、第１方向において間引き映像ライン群Ｔｘと非間引き映像ライン群Ｔｙとが交互に並ぶ。
　間引きは、画素行Ｌ単位で行われるケースに限られず、例えば、画素列Ｃ単位で行われてもよい。その場合には、間引き率が、第２方向における間引き率となる。また、画素行Ｌ及び画素列Ｃの両方を単位として間引きを行ってもよい。その場合には、間引き率が、第１方向における間引き率と第２方向における間引き率との積となる。
　間引き率は、間引き処理の実施に際して予め設定されており、間引き処理では、設定された間引き率に応じた行数の画素行Ｌが間引き画素行Ｌｘとして間引かれる。例えば、第１配列方向において連続するｇ本（ｇは３以上の自然数）の画素行Ｌを一単位とした場合に、各単位内で間引き画素行Ｌｘをｈ本（ｈは、ｇより小さい自然数）としたときの間引き率は、（１－ｈ／ｇ）×１００となる。
　なお、間引き率を０としてもよく、その場合には、設定画角の映像として全読み出し映像を作成することになる。
　以上のように、本実施形態では、撮像素子４０において画素信号が読み出される画素ｐの数を減らす様式で間引き処理を実施する。これにより、撮像素子４０から制御部５０への画素信号の伝送量が削減される。
　なお、間引き処理の様式は、上記の様式以外の様式であってもよい。例えば、設定画角と対応する画素領域にある全ての画素ｐから画素信号を読み出して撮像素子４０のメモリ部１１２に一時的に格納する場合が考えられる。その場合には、格納された画素信号のうち、間引き率に相当する画素数分の信号を信号処理部１１１によって間引き、残りの画素信号のみを制御部５０へ伝送する間引き処理を行うことになる。
　また、設定画角と対応する画素領域にある全ての画素ｐから画素信号を読み出し、全画素分の画素信号を制御部５０に伝送してもよい。その場合には、伝送された画素信号のうち、間引き率に相当する画素数分の信号を制御部５０によって間引くことになる。
　その他の間引き処理としては、第１配列方向又は第２配列方向において複数の同一色の画素ｐから画素信号を読み出し、各画素ｐからの画素信号に対して加算平均処理を実施することが挙げられる。このように各画素ｐからの画素信号を平均化することで、平均化前の画素信号の数に比べて、制御部５０へ伝送される画素信号の数が少なくなる。画素信号の加算平均処理による間引き技術としては、日本国公開特許公報２０１５－２７０４５Ａに記載の技術、及び、日本国公開特許公報２０１３－３０９３９Ａに記載の技術が利用可能である。
　なお、間引き処理の方式については、映像作成に用いられる画素信号の数を間引いて減らすことができる方式であれば、上記以外の方式であってもよい。
　本実施形態において、撮像装置１０は、第１画角の映像を作成する際の間引き率を第１間引き率とし、第１間引き率にて作成された第１画角の映像を示す第１映像データを記録する。また、撮像装置１０は、第１画角内で対象被写体を検出した場合、上記の第１映像データを記録すると共に、第２間引き率にて第２画角の映像を作成して第２映像データを記録する。
　そして、本実施形態では、第１間引き率よりも第２間引き率の方が小さい。また、本実施形態では、第１間引き率及び第２間引き率が、それぞれ、映像の第１方向における間引き率として規定され、換言すると、すべての映像ラインの数に対する間引き映像ライン群Ｔｘの数を２乗した値の割合である。つまり、第１方向における第１間引き率よりも、第１方向における第２間引き率の方が小さい。
　以上のように、本実施形態では、第１画角の映像が、図８Ａに示すようにより低解像度の映像となり、第２画角の映像が、図８Ｂに示すように、より高解像度の映像となる。これにより、より広い第１画角の映像については、データ容量を削減し、データ送信時間を短縮することができる。他方、より狭い第２画角の映像については、対象被写体の映像であるため、より高解像度の映像として画質が確保される。
　なお、図８Ａは、第１画角の映像を、図８Ｂは、第２画角の映像を示しているが、各図では、間引き映像ライン群Ｔｘ（図中、黒線で表示）の位置を示す理由から全読み出し映像をベースにした図になっている。付言しておくと、実際に表示される映像は、図８Ａ及び８Ｂに示す全読み出し映像から間引き映像ライン群Ｔｘが間引かれた映像となる。
　また、本実施形態では、上述したように、間引き率が映像の第１方向において規定されており、言い換えれば、画素アレイ４１では画素ｐの読み飛ばしを第１配列方向（垂直方向）において画素行Ｌ単位で行うことになっている。このような画素行Ｌ単位での間引きを実施することで、画素アレイ４１における画素信号の読み出しをより高速化し、記録する映像データの容量を低減することができる。なお、間引き率の具体例としては、例えば、図８Ａに示す第１画角の映像についての間引き率は、５０％であり、図８Ｂに示す第２画角の映像についての間引き率については、２０％である。
　［映像作成フロー］
　撮像装置１０による映像作成及び映像データの記録に関する処理フロー（以下、映像作成フロー）について、その手順を説明する。
　映像作成フローは、図９に示す流れに従って進行する。映像作成フローは、撮像装置１０を準備する準備工程（Ｓ００１）から開始される。準備工程では、撮像装置１０である監視カメラを用意し、カメラ正面を撮影範囲に向けた状態で上記の監視カメラを所定の位置に設置する。なお、準備工程は、初回の映像作成フローのみで実施され、２回目以降の映像作成フローでは省略される。
　次に、撮像装置１０が第１記録工程を実施する（Ｓ００２）。第１記録工程は、第１画角の映像を作成して第１映像データを記録する工程であり、例えば撮像装置１０が撮影開始の指示を監視端末１２から受け付けることをトリガーとして開始される。第１画角は、第１記録工程の実施前に設定されており、第１記録工程の実施中にユーザが適宜変更してもよい。
　第１記録工程の流れを大まかに説明すると、撮像素子４０による撮像が所定の単位撮像期間の長さで繰り返され、各撮像（つまり、１つの単位撮像期間）において、第１画角と対応する画素領域にある画素ｐから画素信号を読み出す。このときに、第１画角と対応する画素領域における複数の画素行Ｌから、第１間引き率に応じた行数の画素行Ｌを間引く。これにより、第１画角の映像が第１間引き率にて作成され、第１映像データが所定の記録媒体、例えば撮像装置１０内の記録媒体に記録される。
　次に、撮像装置１０の制御部５０が、第１記録工程で作成された第１画角の映像を解析し、第１画角内に対象被写体が存在するか否かを判定する（Ｓ００３）。第１画角内に対象被写体が存在しない場合、ステップＳ００４に移行し、同ステップＳ００４にて撮影終了の指示があったか否かを判定する。撮影終了の指示があった場合には第１記録工程が完了し、その時点で映像作成フローが終了する。
　他方、ステップＳ００３において第１画角内に対象被写体が存在する場合には、ステップＳ００５に移行する。第１画角内に複数の対象被写体が存在する場合には、それぞれの対象被写体に対して、ステップＳ００５以降の各ステップを実施する。ただし、これに限定されず、第１画角内に多数の対象被写体が存在する場合には、例えば、各対象被写体に対して優先順位を設定し、優先順位が高い対象被写体に対してのみ、ステップＳ００５以降の各ステップを実施してもよい。
　ステップＳ００５では、制御部５０が、対象被写体のサイズを特定し、特定したサイズが基準サイズよりも大きいか否かを判定する。ここで、対象被写体のサイズとは、第１画角における対象被写体のサイズであり、例えば、第１画角の映像上での対象被写体の長さ（身長）としてもよい。あるいは、第１画角の映像において対象被写体の映像が占める面積、具体的には画素映像ｔの個数（ピクセル数）を対象被写体のサイズとしてもよい。基準サイズは、後述する第２記録工程を実施するか否かを判断する際の基準として事前に設定され、設定後にユーザによって適宜変更してもよい。
　対象被写体のサイズが基準サイズ（以下、第１サイズという。）より大きい場合には、ステップＳ００６に移行し、当該ステップＳ００６では、後述するように第２記録工程を実施する。他方、対象被写体のサイズが第１サイズより小さい場合には、第２記録工程を実施せずに、前述のステップＳ００４に移行する。これは、第１サイズよりも小さい対象被写体は、対象被写体として検出される精度が低いことに加え、第２映像データを記録しても、その映像から対象被写体の容姿等を認識することが難しいからである。
　なお、本実施形態では、第１サイズよりも大きい対象被写体に対して第２記録工程を実施するが、これに限定されず、対象被写体のサイズが基準サイズ（以下、第２サイズという。）よりも小さい場合にのみ第２記録工程を実施してもよい。この場合には、第２サイズよりも小さい対象被写体については、高解像度である第２画角の映像を作成し、第２サイズよりも大きい対象被写体については、第２画角の映像を作成せず、低解像度である第１画角の映像のみを作成する。これは、第２サイズよりも大きい被写体であれば、低解像度である第１画角の映像でも十分に容姿等を確認することができるからである。
　なお、対象被写体のサイズに関する判定ステップＳ００５は、必ずしも実施する必要はなく、省略してもよい。
　ステップＳ００６では、撮像装置１０が、第１記録工程を実施すると共に、第２記録工程を実施する。第２記録工程は、対象被写体を含む第２画角の映像を作成して第２映像データを記録する工程であり、その流れは、第１記録工程の流れと概ね共通する。
　つまり、撮像素子４０による撮像が所定の単位撮像期間の長さで繰り返される期間中、各撮像（すなわち、１つの撮像単位期間）において、第２画角と対応する画素領域から、第２間引き率に応じた行数の間引き画素行Ｌｘを間引く。他方、非間引き画素行Ｌｙ中の各画素ｐから画素信号を読み出し、読み出した画素信号から第２画角の映像を作成して第２映像データを記録する。第２間引き率は、第１間引き率よりも小さいため、第２画角の映像は、第１画角の映像よりも高解像度となる。
　なお、画素アレイ４１における複数の画素行Ｌの一部が、第１記録工程及び第２記録工程の両方において、画素信号が読み出される非間引き画素行Ｌｙに該当してもよい。換言すると、第１記録工程に用いられる画素信号を出力する画素ｐの一部は、第２記録工程に用いられる画素信号を出力する画素ｐの一部と共通してもよい。この場合には、第２画角の映像を作成する際に、第１画角の映像の作成に用いられる画素信号の一部を利用することができるため、第２画角の映像、すなわち、高解像度の映像をより容易に作成することができる。
　また、ステップＳ００５において第１画角内に複数の対象被写体が存在すると判定される場合には、ステップＳ００６において、第２記録工程を複数の対象被写体に対して対象被写体毎に実施するとよい。これにより、それぞれの対象被写体について、第２画角の映像、すなわち高解像度の映像を作成することができる。この場合、各対象被写体に対する第２記録工程は、同一の単位撮像期間に実施されるのがよい。また、第２画角の映像を作成する際の条件を対象被写体毎に変えてもよく、例えば、第２間引き率を対象被写体毎に変えてもよい。
　なお、以下では、説明を簡単にする目的から、第１画角内に単一の対象被写体が存在するケースを想定して説明することとする。
　第１記録工程と第２記録工程を実施するステップＳ００６では、図１０に示すように、先ず、画素アレイ４１において、第１記録工程及び第２記録工程のそれぞれに用いられる画素信号を読み出して制御部５０へ伝送する（Ｓ０２１）。このとき、第１記録工程に用いられる画素信号と、第２記録工程に用いられる画素信号とは、例えば同一の単位撮像期間に読み出される。１つの単位撮像期間分の画素信号は、以下に説明する２つのパターンのいずれかに則って伝送される。
　一つのパターン（以下、第１読み出しパターンという。）では、１つの単位撮像期間につき、第１記録工程に用いられる画素信号と、第２記録工程に用いられる画素信号とを同時に撮像素子４０中の画素ｐから読み出す。そして、読み出された画素信号を制御部５０へ伝送する。第１読み出しパターンについて図１１を参照しながら詳しく説明する。図１１は、第１読み出しパターンについての説明図であり、上側の図は、設定画角と対応する画素領域を示しており、間引き画素行Ｌｘにはハッチングを施している。図１１の下側の図は、設定画角の映像を示しており、間引かれる画素行Ｌと対応する映像ライン（すなわち、間引き映像ライン群Ｔｘ）を黒線にて表している。
　第１読み出しパターンでは、１つの単位撮像期間につき、第１画角と対応する画素領域（以下、第１画素領域という。）にあるすべての画素ｐから画素信号をまとめて一回で読み出し、ロジック回路４５のメモリ部１１２（図４参照）に一時的に記憶する。その後、ロジック回路４５の信号処理部１１１（図４参照）が、メモリ部１１２に記憶された画素信号のうち、第２画角と対応する画素領域（以下、第２画素領域という。）から読み出した画素信号を第２間引き率にて間引き、それ以外の画素信号を第１間引き率にて間引く。
　図１１に示すケースで説明すると、第２画素領域については、第２間引き率に応じた行数の画素行Ｌを間引く。また、第１画素領域のうち、第２画素領域以外の領域については、第１間引き率に応じた行数の画素行Ｌを間引く。図１１から分かるように、第２画素領域では、それ以外の領域に比べて、間引き画素行Ｌｘの間隔がより広くなっている。これは、第２間引き率が第１間引き率より小さいことを反映している。
　図１１において、第２画素領域と、それ以外の領域の各々において、間引かれなかった行（非間引き画素行Ｌｙ）の画素信号が撮像素子４０中の画素ｐから読み出される。このとき、それぞれの領域での非間引き画素行Ｌｙの画素信号を、撮像素子４０から制御部５０へ、図１１中の右側の図に示すようにまとめて一括で伝送してもよい。この場合には、制御部５０側で領域毎の画素信号に分け、その上で、領域毎の画素信号が第１記録工程及び第２記録工程に用いられる。あるいは、それぞれの領域の画素信号を伝送時点で領域毎に分けて、撮像素子４０から制御部５０へ二段階で伝送してもよい。
　もう一つのパターン（以下、第２読み出しパターンという。）では、１つの単位撮像期間につき、撮像素子４０の画素ｐから画素信号を二段階で読み出す。詳しく説明すると、１つの単位撮像期間において、第１記録工程に用いられる画素信号を先に読み出してメモリ部１１２に蓄積させる。その後、同一の単位撮像期間内で、第２記録工程に用いられる画素信号のうち、第１記録工程で間引かれた未伝送の信号が読み出され、メモリ部１１２に蓄積される。そして、第１記録工程に用いられる画素信号、及び第２記録工程に用いられる画素信号が、それぞれメモリ部１１２から制御部５０へ伝送される。このように第２読み出しパターンでは第１画角の映像を作成する上で、第１画素領域にて画素信号を間引いて読み出した後、間引かれた画素信号の中から第２画角の映像を作成するのに必要な分を追加的に読み出す。
　なお、第１読み出しパターンでは、第１記録工程に用いられる画素信号と、第２記録工程に用いられる画素信号との間で、読み出しタイミングの差異を抑えることができる。そのため、第１読み出しパターンを採用する場合は、第１画角の映像に所謂ローリングシャッタ歪みが生じ難くなるという利点がある。
　以上に説明した第１読み出しパターン又は第２読み出しパターンでは、第１記録工程に用いられる画素信号と、第２記録工程に用いられる画素信号とが同じ単位撮像期間内で読み出されて、制御部５０へ伝送される。この場合には、第１記録工程及び第２記録工程が、同一の単位撮像期間内で画素ｐから出力された画素信号を用いて実施されることになる。
　一方、上記の読み出しパターンに限定されず、第１記録工程に用いられる画素信号と、第２記録工程に用いられる画素信号とを、それぞれ、互いに異なる単位撮像期間にて読み出してもよい。この場合には、第１記録工程及び第２記録工程が互いに異なる単位撮像期間にて実施されることになる。
　図１０に戻って説明すると、画素信号の伝送後、制御部５０は、位相差画素から受信した画素信号を利用して焦点位置を調整する調整工程を、必要に応じて適宜実施する（Ｓ０２２）。調整工程の実施により、対象被写体に焦点位置が合った状態で第１記録工程及び第２記録工程を実施することができる（Ｓ０２３、Ｓ０２４）。
　また、第１記録工程に用いられる画素信号と、第２記録工程に用いられる画素信号とが互いに異なる単位撮像期間にて読み出されるケースでは、より好適な態様で調整工程を実施することができる。具体的に説明すると、上記のケースでは、前述したように、第１記録工程と第２記録工程とが互いに異なる単位撮像期間にて実施される。この場合、第１記録工程及び第２記録工程のうちの一方の記録工程が実施される単位撮像期間において複数の位相差画素から出力される画素信号を利用して調整工程を実施するとよい。これにより、第１記録工程が実施される単位撮像期間と、第２記録工程が実施される単位撮像期間との間で、異なる位相差画素の画素信号を利用することができる。例えば、第１記録工程が実施される単位撮像期間では、その単位撮像期間とは異なる単位撮像期間、すなわち第２記録工程が実施される単位撮像期間で読み出した画素信号の一部を、位相差画素の画素信号として利用して調整工程を実施することができる。
　また、上記のケースにおいて、複数の位相差画素は、複数の第１位相差画素と、複数の第２位相差画素を含んでもよい。第１位相差画素は、第１記録工程が実施される単位撮像期間において画素信号を出力する画素ｐであり、第２位相差画素は、第２記録工程が実施される単位撮像期間において画素信号を出力する画素ｐである。この場合、調整工程では、複数の第１位相差画素から出力される信号に応じた位相差情報と、複数の第２位相差画素から出力される信号に応じた位相差情報と、に基づいて焦点位置を調整すると、好適である。このように第１記録工程が実施される単位撮像期間、及び、第２記録工程が実施される単位撮像期間のそれぞれで出力される位相差画素の画素信号を利用すれば、調整工程にて焦点位置をより精度よく調整することができる。
　なお、上記の態様とは異なる態様にて調整工程を実施してもよく、例えば、位相差画素の画素信号を、第１記録工程が実施される単位撮像期間のみで読み出して、第２記録工程が実施される単位撮像期間では読み出さなくてもよい。この場合には、第２記録工程が実施される単位撮像期間で読み出される画素信号は、すべて第２画角の映像の作成に用いられ、位相差画素の画素信号としては用いられない。そのため、第２画角の映像の画質が高い水準で維持される。
　一方、第１記録工程では、第１間引き率にて間引かれた後の画素信号を用いるので、映像作成に用いられる画素信号の数が少なく、その一部を位相差画素の画素信号として費やすと、位相差画素による補正が適切になされない虞がある。この点を考慮して、第２記録工程が実施される単位撮像期間のみで位相差画素の画素信号を読み出して、第１記録工程が実施される単位撮像期間では位相差画素の画素信号を読み出さなくてもよい。
　第２記録工程を実施する場合、図１０に示すように、撮像装置１０が、第２映像データを第１映像データに関連付けるための情報のデータを記録する第３記録工程を、第１記録工程及び第２記録工程と共に実施する（Ｓ０２５）。第３記録工程の実施により、第２映像データから第２画角の映像を再生するときに、第１画角の映像と第２画角の映像との関係を把握することができる。
　第２映像データを第１映像データに関連付けるための情報としては、第２画角の映像がいつの時点の映像であるかを示す情報、又は、第１画角における第２画角の相対位置を特定するための情報等が挙げられる。また、第２記録工程が実施される単位撮像期間が、第１記録工程の実施期間中の基準時点からカウントして何番目の単位撮像期間に該当するか等の情報も上記の情報に含まれ得る。
　なお、上記の情報のデータは、第１映像データに紐付けて記録されるのが好ましく、また、撮像装置１０及び監視端末１２のいずれに記録されてもよい。
　また、第２記録工程を実施する場合、第２記録工程と共に実施される第１記録工程では、識別子表示データが組み込まれた第１映像データを記録する。識別子表示データは、第１映像データから第１画角の映像を再生するときに、図１２に示すような識別子ｕを第１画角の映像上に重ねて表示させるデータである。識別子ｕは、第１画角の映像において、第２映像データが記録された第２画角の映像の位置を表すものであり、例えば、図１２に示すように第２画角を囲む枠である。この識別子ｕにより、第１画角の映像を表示した際に、第１画角の映像において、第２映像データが記録される対象被写体を容易に特定することができる。
　なお、識別子ｕは、図１２に示す枠以外であってもよく、第２画角の位置を指す矢印又はポインタ等の標識であってもよい。また、第１画角における第２画角の位置を強調するために、第１画角の映像において第２画角に該当する範囲をハイライト表示してもよい。また、識別子表示データは、例えば、前述した第３記録工程にて記録したデータ、すなわち、第２映像データを第１映像データに関連付けるための情報のデータを利用して第２画角の位置を特定することで生成することができる。
　映像作成フローについての説明に戻ると、制御部５０は、第２記録工程の実施中、第１画角の映像をモニタリングし、第２映像データが記録されている第１画角内の対象被写体が第１画角外に、あるいは第１画角の端部に移動していないかを判定する（Ｓ００７）。そして、上記の対象被写体が第１画角外又は第１画角の端部付近まで移動した場合、制御部５０は、その対象被写体を第１画角内に再び収めるために三軸移動機構２４を制御して筐体２２を移動させる（Ｓ００８）。これにより、第１画角から外れた対象被写体を追尾することができ、その対象被写体について第２映像データの記録を続行することができる。
　なお、第２記録工程の実施中に対象被写体が第１画角外に移動した場合であっても、対象被写体を追尾するために筐体２２を移動させなくてもよい。例えば、第１画角内に複数の対象被写体が存在し、それぞれの対象被写体について第２記録工程を実施している場合、一つの対象被写体が第１画角外に移動したとしても筐体２２を移動させず第１画角の位置を維持させてもよい。
　第２記録工程を実施する場合、制御部５０は、第２記録工程の実施を開始してから規定時間が経過した時点で第２記録工程を終了する（Ｓ００９、Ｓ０１０）。このように本実施形態では、第１画角内に対象被写体が存在する場合、その対象被写体について高解像度の映像を取得するために第２記録工程を実施し、一定時間分の第２映像データが記憶された時点で第２記録工程を停止する。これにより、対象被写体についての高解像度の映像データ、すなわち第２映像データを必要以上に記録する状況を回避することができる。かかる効果は、多くの人が行き交う道路等において各通行人を対象被写体とし、それぞれの対象被写体について第２映像データを記録する場合には特に有意義である。
　なお、上記の規定時間は、第２記録工程の必要実施時間として事前に設定されるが、設定後にユーザによって変更してもよい。規定時間は、任意の時間に設定してもよく、例えば１分～数分程度に設定してもよい。
　また、第２記録工程の開始時点から規定時間が経過して第２記録工程が一度中断された後に、再度、同一の対象被写体に対して第２記録工程を実行してもよい。例えば、中断された第２映像データに記録された対象被写体が引き続き第１画角内に存在する場合には、第２記録工程を再開してもよい。また、その対象被写体が、撮影範囲である画角内に入ったり、画角内から出たりする行為を繰り返した場合には、その対象被写体に対する第２記録工程を再開してもよい。
　［その他の実施形態］
　以上までに説明してきた実施形態は、本発明の映像作成方法を分かり易く説明するために挙げた具体例であり、あくまでも一例に過ぎず、その他の実施形態も考えられる。
　上述した実施形態では、映像作成フローにおける各種のデータ処理が撮像装置１０の制御部５０によって実行されることとしたが、これに限定されるものではない。例えば、映像作成フローにおける一部又はすべてのデータ処理が監視端末１２のプロセッサによって行われてもよく、あるいは、撮像装置１０の制御部５０と監視端末１２のプロセッサとの協働によって行われてもよい。
　また、上述の実施形態では、映像として動画を作成して映像データを記録こととしたが、映像は、静止画であってもよい。例えば、第１画角の映像を動画データとして記録し、第２画角の映像を静止画データとして記録してもよく、あるいは、第１画角の映像を静止画データとして記録し、第２画角の映像を動画データとして記録してもよい。
　また、上述の実施形態では、撮像装置１０が監視カメラであるケースを例に挙げて説明したが、監視カメラ以外の撮像装置を用いても本発明の映像作成方法を実現することが可能である。監視カメラ以外の撮像装置としては、デジタルカメラ、撮像光学系付きの携帯電話、スマートフォン、ノート型パソコン及びタブレット型端末等が挙げられる。
　１０　撮像装置
　１０Ｓ　撮像システム
　１２　監視端末
　１４　モニタ
　１６　ネットワーク
　２０　撮像装置本体
　２０ａ　本体カバー
　２２　筐体
　２４　三軸移動機構
　２６　光学ユニット
　２７，２８　光学機器
　３０　絞り
　３４　ズーム用駆動部
　３６　フォーカス用駆動部
　３８　絞り駆動部
　４０　撮像素子
　４１　画素アレイ
　４２　画素駆動線
　４３　垂直信号線
　４４　制御回路
　４５　ロジック回路
　５０　制御部
　５２　コントローラ
　５４　映像処理部
　６２　アナログ処理回路
　６４　内部メモリ
　６６　カードスロット
　６７　メモリカード
　６８　通信用インタフェース
　７０　バッファメモリ
　Ｃ　　画素列
　Ｌ　　画素行
　Ｌｘ　間引き画素行
　Ｌｙ　非間引き画素行
　ｐ　　画素
　ｔ　　画素映像
　Ｔｘ　間引き映像ライン群
　Ｔｙ　非間引き映像ライン群
　ｕ　　識別子

Claims (14)

  1. 　撮像素子における複数の画素から画素信号を読み出し、前記画素信号を用いて任意の映像を作成する撮像装置に用いられる映像作成方法であって、
    　前記複数の画素から前記画素信号を読み出し、第１画角の映像を第１間引き率にて作成して第１映像データを記録する第１記録工程と、
    　前記第１画角内に対象被写体が存在する場合に、前記対象被写体を含み前記第１画角よりも小さい第２画角の映像を、前記第１間引き率よりも低い第２間引き率にて作成して第２映像データを記録する第２記録工程と、を備える映像作成方法。
  2. 　前記第２記録工程を実施する場合に、前記第２映像データを前記第１映像データに関連付けるための情報のデータを記憶する第３記録工程を備える、請求項１に記載の映像作成方法。
  3. 　前記撮像素子において、前記複数の画素は、互いに交差する第１配列方向及び第２配列方向に配列され、複数の画素行が前記第１配列方向に並び、
    　前記画素信号が、前記画素行単位で読み出され、
    　映像は、前記第１配列方向と対応する第１方向、及び、前記第２配列方向と対応する第２方向に並ぶ複数の画素映像によって構成され、
    　前記第１方向における前記第１間引き率よりも、前記第１方向における前記第２間引き率が小さい、請求項１又は２に記載の映像作成方法。
  4. 　前記第１記録工程に用いられる前記画素信号を出力する画素の一部は、前記第２記録工程に用いられる前記画素信号を出力する画素の一部と共通する画素である、請求項１乃至３のいずれか一項に記載の映像作成方法。
  5. 　前記撮像素子による撮像が単位撮像期間毎に繰り返され、
    　前記第１記録工程及び前記第２記録工程は、同一の前記単位撮像期間にて画素から出力された前記画素信号を用いて実施される、請求項４に記載の映像作成方法。
  6. 　前記第１画角内に複数の対象被写体が存在する場合に、前記第２記録工程を前記複数の対象被写体に対して実施する、請求項１乃至５のいずれか一項に記載の映像作成方法。
  7. 　前記撮像素子による撮像が単位撮像期間毎に繰り返され、
    　前記第１記録工程と前記第２記録工程とは、互いに異なる前記単位撮像期間に実施され、
    　前記第１記録工程及び前記第２記録工程のうちの一方の記録工程が実施される前記単位撮像期間において、前記複数の画素に含まれる複数の位相差画素から信号が出力され、
    　前記複数の位相差画素から出力される信号に応じた位相差情報に基づいて、撮像時の焦点位置を調整する調整工程を備える、請求項１乃至６のいずれか一項に記載の映像作成方法。
  8. 　前記複数の位相差画素は、
    　前記第１記録工程が実施される前記単位撮像期間において信号を出力する複数の第１位相差画素と、
    　前記第２記録工程が実施される前記単位撮像期間において信号を出力する複数の第２位相差画素と、を含み、
    　前記調整工程では、前記複数の第１位相差画素から出力される信号に応じた前記位相差情報と、前記複数の第２位相差画素から出力される信号に応じた前記位相差情報と、に基づいて前記焦点位置を調整する、請求項７に記載の映像作成方法。
  9. 　前記第１画角内に対象被写体が存在し、且つ、前記対象被写体のサイズが基準サイズより大きい場合に、前記第２記録工程を実施する、請求項１乃至８のいずれか一項に記載の映像作成方法。
  10. 　前記第１画角内に対象被写体が存在し、且つ、前記対象被写体のサイズが基準サイズより小さい場合に、前記第２記録工程を実施する、請求項１乃至８のいずれか一項に記載の映像作成方法。
  11. 　前記第２記録工程を開始してから規定時間が経過した時点で、前記第２記録工程を終了する、請求項１乃至１０のいずれか一項に記載の映像作成方法。
  12. 　前記第２記録工程の実施中に前記第１画角内の対象被写体が前記第１画角外に移動した場合に、前記対象被写体を前記第１画角内に再び収めるために、前記撮像素子を収容する筐体を移動させる、請求項１乃至１１のいずれか一項に記載の映像作成方法。
  13. 　前記第２記録工程が実施された場合には、前記第１記録工程において、識別子表示データが組み込まれた前記第１映像データを記録し、
    　前記識別子表示データは、前記第２映像データが記録された前記第２画角の映像の位置を表す識別子を前記第１画角の映像上に表示させるデータである、請求項１乃至１２のいずれか一項に記載の映像作成方法。
  14. 　映像作成に用いられる前記画素信号を出力する画素の数は、前記間引き率が高くなるほど少なくなる、請求項１乃至１３のいずれか一項に記載の映像作成方法。
PCT/JP2021/014628 2020-05-28 2021-04-06 映像作成方法 WO2021241011A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022527549A JPWO2021241011A1 (ja) 2020-05-28 2021-04-06
CN202180034554.1A CN115552882A (zh) 2020-05-28 2021-04-06 影像制作方法
US18/049,634 US20230061593A1 (en) 2020-05-28 2022-10-26 Video creation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-093180 2020-05-28
JP2020093180 2020-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/049,634 Continuation US20230061593A1 (en) 2020-05-28 2022-10-26 Video creation method

Publications (1)

Publication Number Publication Date
WO2021241011A1 true WO2021241011A1 (ja) 2021-12-02

Family

ID=78744285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014628 WO2021241011A1 (ja) 2020-05-28 2021-04-06 映像作成方法

Country Status (4)

Country Link
US (1) US20230061593A1 (ja)
JP (1) JPWO2021241011A1 (ja)
CN (1) CN115552882A (ja)
WO (1) WO2021241011A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180240A (ja) * 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
WO2007114327A1 (ja) * 2006-03-31 2007-10-11 Matsushita Electric Industrial Co., Ltd. 監視カメラ装置
JP2009171545A (ja) * 2007-12-19 2009-07-30 Canon Inc 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体
WO2009141951A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 映像撮影装置および映像符号化装置
JP2015108672A (ja) * 2013-12-03 2015-06-11 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180240A (ja) * 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
WO2007114327A1 (ja) * 2006-03-31 2007-10-11 Matsushita Electric Industrial Co., Ltd. 監視カメラ装置
JP2009171545A (ja) * 2007-12-19 2009-07-30 Canon Inc 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体
WO2009141951A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 映像撮影装置および映像符号化装置
JP2015108672A (ja) * 2013-12-03 2015-06-11 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
CN115552882A (zh) 2022-12-30
US20230061593A1 (en) 2023-03-02
JPWO2021241011A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US8466969B2 (en) Imaging apparatus and shake correcting method
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
EP2690874A1 (en) Color image sensor, imaging device, and control program for imaging device
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
US20110080503A1 (en) Image sensing apparatus
EP2685725B1 (en) Imaging device and imaging program
WO2012081175A1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
US11659294B2 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
JP2008028500A (ja) 画像処理装置、方法、およびプログラム
JP2007243917A (ja) 撮像装置および画像処理プログラム
US8723993B2 (en) Imaging device and storage medium storing an imaging program
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
WO2021241011A1 (ja) 映像作成方法
JP6751426B2 (ja) 撮像装置
JP7118659B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2014155071A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US8804014B2 (en) Imaging device for reducing color moire
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP3888847B2 (ja) 広視野映像撮像装置
JPH09224180A (ja) 撮像装置
JP2007043502A (ja) 撮像装置
JP4022682B2 (ja) 撮像装置及び画像出力方法
WO2021124736A1 (ja) 撮像装置
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813744

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527549

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21813744

Country of ref document: EP

Kind code of ref document: A1