WO2008068933A1 - 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体 - Google Patents

撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2008068933A1
WO2008068933A1 PCT/JP2007/067082 JP2007067082W WO2008068933A1 WO 2008068933 A1 WO2008068933 A1 WO 2008068933A1 JP 2007067082 W JP2007067082 W JP 2007067082W WO 2008068933 A1 WO2008068933 A1 WO 2008068933A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
memory
result
unit
image
Prior art date
Application number
PCT/JP2007/067082
Other languages
English (en)
French (fr)
Inventor
Daisuke Miyakoshi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US12/312,949 priority Critical patent/US8405735B2/en
Priority to CN2007800440175A priority patent/CN101543048B/zh
Priority to KR1020097008471A priority patent/KR101413926B1/ko
Priority to AT07806555T priority patent/ATE528914T1/de
Priority to EP07806555A priority patent/EP2096862B1/en
Publication of WO2008068933A1 publication Critical patent/WO2008068933A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Definitions

  • the present invention relates to an imaging apparatus, an imaging apparatus control method, an imaging apparatus control method program, and a recording medium on which an imaging apparatus control method program is recorded.
  • the present invention can be applied to a video camera in which a recording unit is integrated. it can.
  • the present invention finishes the high-speed writing of the imaging result to the memory based on the timing at which the image of the specific pattern is detected in a specific order based on the surface image recognition result, and writes the result to this memory. By reading out the imaging results and recording them on a recording medium, the desired scene is surely shot in slow motion. Background art
  • Japanese Patent Application Laid-Open No. 9-83 952 has proposed a method of recording an image on a recording medium by delaying an imaging result using a large-capacity memory. According to the method disclosed in Japanese Patent Laid-Open No. 9 1 8 3 9 5 2, it is possible to record a video from a point in time when the user reverses a certain amount of time from the point in time when the user instructs the start of shooting. You can avoid missing opportunities.
  • this video camera has a higher frequency than the normal video signal field frequency 50 [fps (field / second)] or 60 [fps], for example, the field frequency 24 0 C fps]. Output the imaging results and store them sequentially in the memory. Also, this video camera reads out the imaging result stored in this memory at a field frequency of a normal video signal and records it on a recording medium.
  • the memory is formed by, for example, SDR AM (Synchronous Dynamic Random Access Memory)
  • the body is composed of a magnetic disk, an optical disk, a hard disk device, and the like.
  • the process of reducing the field frequency of the imaging result using the memory and recording the video of the slow motion is called slow motion shooting.
  • the slow-motion shooting period is determined based on the operation point of the controls.
  • the slow motion shooting period is determined based on the operation point of the control.
  • the operation of the operation unit may be too fast or too slow, and it may take a picture of a useless part or an important part.
  • a method based on a ball hitting sound or the like can be considered.
  • shooting may start based on the sound of another person's hitting sound. is expected. Therefore, even with this method, there is a problem that the desired scene cannot be accurately shot in slow motion.
  • a method based on the detection time of a moving object is also conceivable.
  • this method for example, when shooting is started from a stationary scene such as a broken windship or milk crown, a desired scene can be reliably shot.
  • a specific scene is recorded from an originally moving image, such as a specific scene of sports, there is a problem that the desired scene cannot be surely shot in slow motion.
  • An imaging apparatus capable of surely capturing a desired scene in slow motion an imaging apparatus control method, an imaging apparatus control method program, and an imaging apparatus control It is intended to propose a recording medium that records the method program.
  • the present invention is applied to an imaging apparatus and outputs an imaging result.
  • An imaging unit a memory for storing and outputting an imaging result output from the imaging unit, an imaging result output from the imaging unit, or a recording medium for recording an imaging result output from the memory,
  • An image recognition unit for recognizing the imaging result and outputting the image recognition result; and a control unit for controlling the operation of each unit, wherein the control unit has a first field frequency or a frame frequency in the standard operation mode.
  • the imaging result is output from the imaging unit, recorded on the recording medium, and in the slow motion imaging mode, the second field frequency or frame frequency is higher than the first field frequency or frame frequency.
  • the imaging result is output from the imaging unit, and is sequentially and cyclically stored in the memory. Based on the image recognition result, the imaging result is output. In with respect to the timing when the specific pattern is detected in a predetermined sequence, and ends the storage in the memory of the imaging result, the imaging result stored in the memory
  • the present invention also provides an imaging unit that outputs an imaging result, a memory that stores and outputs an imaging result output from the imaging unit, an imaging result that is output from the imaging unit, or an output from the memory.
  • the first field frequency is applied to a control method of an imaging apparatus including a recording medium for recording an imaging result and an image recognition unit that recognizes the imaging result and outputs an image recognition result.
  • the recording step of the standard operation mode in which the imaging result is output from the imaging unit and recorded on the recording medium at the frame frequency, and in the slow motion shooting mode, from the first field frequency or the frame frequency
  • the imaging result is output from the imaging unit at a second field frequency or frame frequency having a high frequency, and the memory is sequentially cycled.
  • the imaging result is recorded. And storing the result of imaging stored in the memory at a third field frequency or frame frequency lower than the second field frequency or frame frequency, and recording the result on the recording medium Recording step in slow motion shooting mode.
  • the present invention also provides an imaging unit that outputs an imaging result, a memory that stores and outputs an imaging result output from the imaging unit, an imaging result that is output from the imaging unit, or an output from the memory.
  • the present invention is applied to a program for a control method of an imaging apparatus that includes a recording medium that records an imaging result and an image recognition unit that recognizes the imaging result and outputs an image recognition result.
  • the recording step of the standard operation mode in which the imaging result is output from the imaging unit at the field frequency or the frame frequency and recorded on the recording medium, and in the slow motion shooting mode, the first field frequency or The imaging result is output from the imaging unit at a second field frequency or frame frequency that is higher than the frame frequency, and the memory
  • the slow-motion shooting mode writing step that sequentially and cyclically stores, in the slow-motion shooting mode, based on the image recognition result, based on the timing at which a specific pattern is detected in a predetermined order in the imaging result, The storage of the imaging result in the memory is terminated, and the imaging result stored in the memory is read at a third field frequency or frame frequency lower than the second field frequency or frame frequency, and And a recording step of slow motion shooting mode for recording on a recording medium.
  • the present invention also provides an imaging unit that outputs an imaging result, a memory that stores and outputs an imaging result output from the imaging unit, an imaging result that is output from the imaging unit, or an output from the memory.
  • the control is applied to a recording medium that records a program of a control method of an imaging apparatus that includes a recording medium that records an imaging result and an image recognition unit that recognizes the imaging result and outputs an image recognition result.
  • the program of the method includes a recording step of the standard operation mode in which the imaging result is output from the imaging unit and recorded on the recording medium at a first field frequency or a frame frequency in the standard operation mode, and a slow motion In the shooting mode, the second field frequency or frame frequency is higher than the first field frequency or frame frequency.
  • the memory of the imaging result on the basis of the timing at which the pattern is detected in a predetermined order Is stored in the memory, and the imaging result stored in the memory is read out at a third field frequency or frame frequency lower than the second field frequency or frame frequency and recorded on the recording medium. And a recording step of the motion shooting mode.
  • the period for slow motion shooting is set based on the timing at which the specific pattern is detected in a predetermined order from the imaging result. Therefore, the desired scene can be surely shot in slow motion as compared with the case where the operation element is operated one by one and the sound is triggered. According to the present invention, it is possible to reliably perform slow motion shooting of a desired scene.
  • FIG. 1 is a block diagram showing an image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of an image recognition processing unit of the imaging apparatus of FIG.
  • FIG. 3 is a schematic diagram showing a memory configuration of the image recognition processing unit in FIG.
  • FIGS. 4A and 4B are schematic diagrams for explaining the contents of the memory of FIG.
  • FIG. 5 is a block diagram showing the flow of image data in the slow motion shooting mode of the imaging apparatus of FIG.
  • FIG. 6 is a block diagram showing a continuation of FIG.
  • FIG. 7 is a schematic diagram for explaining a golf swing mode in the imaging apparatus of FIG.
  • FIG. 8 is a schematic diagram for explaining a baseball swing mode in the imaging apparatus of FIG.
  • FIG. 9 is a flowchart showing a processing procedure relating to a single motion shooting mode of the imaging apparatus of FIG.
  • FIG. 10 is a time chart showing the operation of each part of the imaging apparatus of FIG.
  • FIG. 11 is a schematic diagram for explaining the timing setting at the time of slow motion shooting in the image pickup apparatus of Embodiment 2 of the present invention.
  • FIG. 12 is a schematic diagram for explaining timing setting at the time of slow motion shooting in the image pickup apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a plan view showing a display screen at the time of pattern setting in the image pickup apparatus according to Embodiment 4 of the present invention.
  • FIG. 14 is a plan view showing a continuation of FIG.
  • FIGS. 15 (A) and 15 (B) are schematic diagrams for explaining image recognition processing in the image pickup apparatus according to Embodiment 4 of the present invention.
  • FIGS. 16 (A) and 16 (B) are plan views showing a continuation of FIG.
  • FIG. 17 is a time chart used to explain the operation of the image pickup apparatus according to Embodiment 5 of the present invention.
  • FIG. 18 is a schematic diagram showing the configuration of a memory in the image pickup apparatus according to Embodiment 6 of the present invention.
  • FIG. 19 is a flowchart showing a processing procedure of the imaging apparatus according to the sixth embodiment of the present invention.
  • FIG. 20 is a time chart for explaining the operation of the imaging apparatus according to the processing procedure of FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram showing an image pickup apparatus according to Embodiment 1 of the present invention.
  • This imaging device 1 switches the operation mode between the standard operation mode, which is the operation mode during normal shooting, and the slow motion shooting mode, according to user operations.
  • the imaging device 1 converts the field frequency of the imaging result using the memory 2 and records the slow motion video on the video recording medium 3.
  • the image sensor 4 is a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) type imaging device.
  • the image sensor 4 photoelectrically converts an optical image formed on the imaging surface by an optical system (not shown) and outputs an imaging signal that is an imaging result.
  • the image sensor 4 has a CDS (Correlated Double Sampling) unit, and the CDS unit outputs the image signal after correlated double sampling.
  • CDS Correlated Double Sampling
  • the image sensor 4 switches the operation under the control of the control unit 5.
  • the image sensor 4 outputs the imaging result at the field frequency 60 [fps], which is the NTSC system specification.
  • the imaging results are output at a field frequency higher than this standard rate.
  • this high speed field frequency is a field frequency 2 4 0 [fps] which is four times the field frequency in the standard operation mode.
  • the image sensor 4 has a function of adding and outputting the output signals of the same color photosensors arranged adjacent to each other in the horizontal direction when outputting the imaging signal for one line.
  • the image sensor 4 uses this function to thin out pixels and output an imaging signal to prevent an increase in the rate of the imaging signal. If the downstream processing unit has a sufficient processing speed, this thinning process may be omitted, and the number of pixels to be added may be controlled to output an imaging signal at an arbitrary rate. Also good.
  • AFE (Analog Front End) 6 performs AGC (Automatic Gain Control) processing of the imaging signal output from the image sensor 4 to control the gain of the imaging signal, and then performs analog digital conversion processing to output image data D 1 To do.
  • AGC Automatic Gain Control
  • the force signal signal processing unit 7 processes the image data output from the AFE 6 with a camera signal and outputs it.
  • the camera signal processing includes, for example, white balance adjustment processing, color correction processing, AF (Auto Focus) processing, AE (Auto Exposure) processing, and the like.
  • the resolution conversion processing unit 8 inputs the image data D 1 processed by the camera signal processing unit 7 in the standard operation mode, and outputs the image data D 1 to the moving image recording processing unit 10 for recording. Also, the resolution conversion processing unit 8 converts the resolution of the image data D 1 into a resolution suitable for display on the display unit 12 and outputs it to the display processing unit 9 for monitoring.
  • the resolution conversion processing unit 8 thins out the field of the image data D 1 of the field frequency 2 4 0 [fps] processed by the camera signal processing unit 7 in the slow motion shooting mode, and uses the field frequency 6 0 for monitoring. Output to the display processing unit 9 using [fps]. Further, the size of the image data D 1 of the field frequency 2 40 [fps] processed by the camera signal processing unit 7 is adjusted and output to the image compression / decompression unit 11 for recording in the memory 2.
  • This size adjustment process is a process of changing the format of the image data D 1 so as to correspond to the specifications of the image compression / decompression unit 11 and memory 2, and the image compression / decompression unit 11 and memory 2 are sufficient. It can be omitted if it has processing capability.
  • the resolution conversion processing unit 8 switches the operation under the control of the control unit 5 in the slow motion shooting mode, and replaces the image data D 1 of the field frequency 2400 [fps] processed by the camera signal processing unit 7.
  • the image data of the field frequency 60 [fps] output from the image compression / decompression unit 11 is input.
  • the resolution conversion processing unit 8 outputs this image data to the moving image recording processing unit 10 for recording.
  • the resolution conversion processing unit 8 converts the resolution of the image data into a resolution suitable for display on the display unit 12 and outputs the resolution to the display processing unit 9 for monitoring.
  • the display unit 12 is composed of, for example, an LCD (Liquid Crystal Display).
  • the display processing unit 9 drives the display unit 12 with the monitor image data output from the resolution conversion processing unit 8 and displays the monitor image of the imaging result on the display unit 12.
  • the display unit 12 is driven by the image data output from the moving image recording processing unit 10.
  • the moving image recorded on the video recording medium 3 is displayed on the display unit 12. Instead of displaying the image data on the display unit 12, it may be output externally.
  • the moving image recording processing unit 10 encodes moving image data such as MPEG (Moving Picture Experts Group), for example, for recording image data output from the resolution conversion processing unit 8 during recording on the video recording medium 3.
  • MPEG Motion Picture Experts Group
  • the video recording medium 3 includes various recording media such as a hard disk device, an optical disk device, and a memory card. It is a recording medium.
  • the image compression / decompression unit 1 1 encodes the image data output from the resolution conversion processing unit 8 for recording in the memory 2 in the slow motion shooting mode, for example, a still image encoding method such as (Joint Photo graphic Experts Group). Compress data with. Also, the encoded data obtained by data compression is output to the memory control unit 13. The image compression / decompression unit 11 switches the operation under the control of the control unit 5 in the slow motion shooting mode, decompresses the encoded data output from the memory control unit 13 and decodes the image data. Output to resolution conversion processing unit 8.
  • a still image encoding method such as (Joint Photo graphic Experts Group).
  • the memory control unit 13 sequentially and cyclically records the encoded data of the field frequency 2 4 0 [fps] output from the image compression / decompression unit 11 1 in the memory 2 in the slow motion shooting mode.
  • the memory 2 is composed of, for example, SDRAM.
  • the memory control unit 13 switches the operation under the control of the control unit 5 in the slow motion shooting mode, sequentially reads out the encoded data recorded in the memory 2 and outputs it to the image compression / decompression unit 11.
  • the memory control unit 13 reads out and outputs the encoded data at a field frequency 6 0 [fps] which is a quarter speed at the time of recording.
  • the image recognition processing unit 14 performs image recognition processing on the image data output from the AFE 6 by applying the pattern matching method in the slow motion shooting mode, and the specific pattern instructed by the control unit 5 from the imaging result. To detect. The image recognition processing unit 14 notifies this detection result to the control unit 5.
  • FIG. 2 is a block diagram showing a detailed configuration of the image recognition processing unit 14.
  • the image recognition processing unit 14 inputs the image data output from the AFE 6 to the preprocessing unit 14 A, and performs preprocessing such as noise removal processing, image size normalization processing, and feature extraction processing. .
  • preprocessing such as noise removal processing, image size normalization processing, and feature extraction processing.
  • image data is temporarily stored and stored in the subsequent image buffer 14 B, and pattern matching processing is executed by the matching circuit 14 C.
  • the matching circuit 14 C performs a pattern matching process using a dictionary stored in the memory 14 D by a boosting technique using a pixel difference between two points.
  • boosting is a combination of weak classifiers with slightly better performance than random, and statistical image information that constitutes an effective classifier (strong classifier).
  • strong classifier Another method, the ada boost method is generally known as a mathematical framework.
  • the image recognition processing unit 14 detects, in each field, the image pattern instructed by the control unit 5 by the adabo ost method in the slow motion shooting mode, and controls the presence / absence of this image pattern and the position of this image pattern. Notify Part 5.
  • the image recognition processing unit 14 registers the image difference table of this specific image pattern in the memory 14 D.
  • the image difference table is also called a dictionary.
  • the image difference table uses two pixel values on a specific image pattern that is the detection target and a criterion for reference that is set based on the difference between the two pixel values. Threshold values are registered.
  • FIGS. 4 (A) and 4 (B) show the case where the image pattern to be detected has a round shape and a rectangular shape, respectively.
  • the imaging apparatus 1 is configured so that a desired shooting mode can be selected from a plurality of types of shooting modes in the slow motion shooting mode, and a specific image pattern is set for each shooting mode. Accordingly, the memory 14 D is provided with an image difference table for each shooting mode. If practically sufficient accuracy can be ensured, the image difference table may be shared by a plurality of shooting modes.
  • the matching circuit 14 C sets a pattern matching area on the image of the image data temporarily stored in the image buffer 14 B, and sequentially moves the pattern matching area, for example, in the order of raster scanning.
  • the matching circuit 14 C calculates the pixel difference value between the coordinates corresponding to the recording of the image difference table from the pattern matching area for each scanning position on the basis of the feature point detected by the feature point detection. .
  • the calculated pixel difference value is determined based on the threshold value of the image difference table, and a weak hypothesis is set as to whether or not the image pattern to be detected exists in the pattern matching area. Note that here, the matching circuit 14 C sets the weak hypothesis to a value of 1 if the image pattern to be detected exists, and sets the weak hypothesis to a value of 1 if it does not exist. Set.
  • Matching circuit 1 4 C repeats this weak hypothesis detection multiple times for each scanning position and performs cumulative addition. If the cumulative addition value exceeds a certain threshold value, the pattern matching area Each time, it is determined that an image pattern to be detected exists.
  • the matching circuit 14 C performs a series of processes using only the luminance signal in the image data D 1. For example, the matching circuit 14 C performs a specific image in combination with a color detection process using color information. The pattern may be detected, and further, the process may be executed by variously combining a plurality of other detection processes. Instead of the boosting technique, genetic algorithms (GA) may be used. When only a moving object is recognized, a motion vector detected by the moving image recording processing unit 10 may be used. If pattern recognition processing is combined with other methods in this way, the processing speed can be increased and the accuracy can be improved.
  • GA genetic algorithms
  • the control unit 5 is a control unit that controls the overall operation of the imaging device 1, and executes a program recorded in a memory (not shown) to control the operation of each unit of the imaging device 1.
  • the program is provided by being preinstalled in the imaging apparatus 1, but is provided by being recorded on a recording medium such as an optical disk, a magnetic disk, or a memory card instead of the preinstallation. Alternatively, it can be provided by downloading via a network such as the Internet.
  • the image recognition processing in the image recognition processing unit 14 may be executed by the control unit 5 together.
  • the control unit 5 controls the operation of the image sensor 4 so as to acquire the imaging result at the field frequency 6 0 [fps], and displays the imaging result at the field frequency 6 0 [fps].
  • the operations of the AFE 6, the camera signal processing unit 7, the resolution conversion processing unit 8, and the display processing unit 9 are controlled so as to be displayed by the unit 12. Accordingly, in this case, in this imaging apparatus 1, the imaging results of the field frequency 60 [fps] are sequentially processed by the AFE 6, the camera signal processing unit 7, the resolution conversion processing unit 8, and the display processing unit 9 to display the display unit 1 2 Is displayed.
  • the control unit 5 instructs the moving image recording processing unit 10 to start the operation, and displays the monitor image on the display unit 12 while the resolution conversion processing unit 8
  • the output field frequency 60 [fps] image data is sequentially compressed by the moving image recording processing unit 10 and recorded on the video recording medium 3.
  • the moving image recording processing unit 10 is instructed to stop the operation, and the image data Stop recording.
  • control unit 5 instructs the moving image recording processing unit 10 to play back the video recording medium 3, and the encoded data recorded on the video recording medium 3 is recorded.
  • the moving image recording processing unit 10 and output to the display processing unit 9 are sequentially decompressed by the moving image recording processing unit 10 and output to the display processing unit 9, and this image data is displayed on the display unit 12.
  • the control unit 5 instructs each unit to switch the operation mode to the slow motion shooting mode at a predetermined timing, and the image sensor 4 uses the field frequency 2 4 0 [fps ] Obtain the imaging results. Further, as shown in FIG. 5 in comparison with FIG. 1, the imaging result of this field frequency 24 0 [fps] is converted into image data of the field frequency 60 [fps] by the resolution conversion processing unit 8. While displaying on the display unit 1 2, the imaging result of the field frequency 2 4 0 [fps] is sequentially and cyclically recorded in the memory 2.
  • control unit 5 switches the operation of each unit at a predetermined timing, and as shown in FIG. 6 in comparison with FIG. 5, the field frequency stored in the memory 2 at that time 2 40 [fps]
  • the imaged results are sequentially read out at a field frequency of 60 [fps].
  • the read data is decompressed to the original image data by the image compression / decompression unit 11 and recorded on the video recording medium 3 by the moving image recording processing unit 10 while displaying the image data on the display unit 12. To do.
  • the control unit 5 sets the timing for completing the writing of the image data to the memory 2 based on the detection result of the image pattern in the image recognition processing unit 14. More specifically, the control unit 5 detects the timing at which a predetermined specific pattern is detected in a predetermined order based on the detection result of the image pattern in the image recognition processing unit 14, and at the detected timing. Based on this, the timing for ending the writing of image data to the memory 2 is determined.
  • the specific pattern is an image pattern in which the image recognition target in the image recognition processing unit 14 exists in a specific region of the imaging result, and is for each shooting mode in the slow motion shooting mode.
  • Each is provided with a plurality of patterns.
  • the image recognition processing unit 14 As shown in Fig. 7, in the multiple areas formed by dividing the screen of one field horizontally and vertically, the center in the horizontal direction and the lowermost area as shown in Fig. 7 A pattern in which a ball exists in A (Fig. 7 (A) and (B)) Force Set to the first and second patterns of these specific patterns. Further, a pattern in which a ball is present in the horizontal direction, the rightmost region B or the leftmost region C (FIG. 7 (C)), is set to the third pattern of these specific patterns.
  • FIG. 7 is the case where the number of divisions in the horizontal and vertical directions of one screen is set to 5 and 3, respectively.
  • the first to third patterns are sequentially detected.
  • the field from which the third pattern, which is the state in which the ball is launched, to the field that is reversed by the predetermined number of fields is the field in which the golf swing is photographed, and is the scene that the user desires. It is judged.
  • the control unit 5 instructs the start of writing of the imaging result to the memory 2 when the user instructs the slow motion shooting mode.
  • the pole is set as a recognition target
  • the image recognition processing unit 14 is instructed to perform image recognition processing
  • the first to third patterns are sequentially detected based on the image recognition processing result.
  • the writing to the memory 2 is terminated when the predetermined time T has elapsed, and the imaging result stored in the memory 2 is read at that time to record the video.
  • the predetermined period T is a time set by the user when the user sets the shooting mode.
  • the shooting mode is the baseball swing mode
  • the image recognition target in the image recognition processing unit 14 is set to the ball.
  • the pattern in which the ball is present in the rightmost region B in the horizontal direction is set to the first of these specific patterns.
  • a pattern in which there are poles in the horizontal direction, the center area D and the horizontal direction, the rightmost area B (Fig. 8 (B) and (C)) Forces The second and third patterns of these specific patterns Is set.
  • control unit 5 instructs the start of writing of the imaging result to the memory 2 when the user instructs the slow motion shooting mode even in the baseball swing mode.
  • the ball is set as a recognition target
  • the image recognition processing unit 14 is instructed to perform image recognition processing, and the first to third patterns are sequentially detected based on the image recognition processing result.
  • the writing to the memory 2 is terminated when the predetermined time T has elapsed, and the imaging result stored in the memory 2 is read at that time. Store in video recording medium 3.
  • the control unit 5 instructs the start of writing of the imaging result to the memory 2 by the instruction of the slow motion shooting mode, and performs image recognition processing corresponding to each shooting mode.
  • Processing unit 14 is instructed.
  • the first, second, and third patterns are sequentially detected based on the recognition result by the image recognition processing unit 14, and a predetermined time T has elapsed from the time when the third pattern is detected. At this time, the imaging result stored in the memory 2 is read out and stored in the video recording medium 3.
  • FIG. 9 is a flowchart showing the processing procedure of the control unit 5 related to this slow motion shooting mode.
  • FIG. 10 is a time chart showing the operation of each part of the imaging apparatus 1 in comparison with FIG. It is. In FIG. 10, the operation of the corresponding part is indicated by the reference numerals attached to the respective parts in FIG. 1, and 2 W and 2 R indicate the write operation and the read operation of the memory 2, respectively.
  • the control unit 5 controls the operation of the image sensor 4 so as to acquire the imaging result at the field frequency 60 [fps] in the standard operation mode (FIG. 10 (A)), and the field frequency 60 [Fps] is recorded on the video recording medium 3 while being displayed on the display unit 12 (FIGS. 10 (F) and (G)) (FIG. 10 (E)).
  • the period up to time t 1 is the operation in this standard operation mode. It is a period.
  • the imaging device 1 acquires the imaging result of the field frequency 24 0 [fps] from the image sensor 4 and sequentially stores the result in the memory 2 in a cyclic manner, while reducing the field frequency 6 0 [fps].
  • the imaging results are provided from the display unit 12 (FIGS. 10 (A) to (G)).
  • step SP 1 the control unit 5 sets the operation of each unit in this way, the process proceeds from step SP 1 to step SP 2, and whether or not the first pattern is detected based on the image recognition result of the image recognition processing unit 14. Judge. If a negative result is obtained in step S P 2, control unit 5 repeats step S P 2 and waits for the first pattern to be detected.
  • control unit 5 moves from step SP 2 to step SP 3, and the second pattern is detected based on the image recognition result of the subsequent image recognition processing unit 14. It is judged whether it was done. If a negative result is obtained in step S P 3, control unit 5 repeats step S P 3 and waits for the second pattern to be detected.
  • control unit 5 moves from step SP 3 to step SP 4, and the third pattern is detected based on the subsequent image recognition result of the image recognition processing unit 14. It is judged whether it was done. If a negative result is obtained in step S P 4, control unit 5 repeats step S P 4 and waits for the detection of the third pattern.
  • step SP 4 When the third pattern is detected in step SP 4, the control unit 5 moves from step SP 4 to step SP 5, waits for the elapse of the period T set by the user, and then finishes writing to the memory 2. .
  • step SP 6 the imaging result stored in the memory 2 at that time is read out and stored in the video recording medium 3.
  • the period from time t 1 to time t 2 is the writing period to memory 2 in this slow motion shooting mode, and continues from time t 2 to time t
  • the period up to t 3 is the period for reading from the memory 2.
  • step SP 6 determines whether or not the user has instructed repetition of slow motion shooting.
  • step SP 7 determines whether or not the user has instructed repetition of slow motion shooting.
  • the control unit 5 lights the tally lamp during the period when the imaging result is written in the memory 2 and / or displays a predetermined mark on the display unit 12 so that the user can grasp the shooting situation. .
  • the imaging device 1 (FIG. 1) is set to the standard operation mode
  • the image sensor 4 acquires the imaging result of the field frequency 60 [fps], and the imaging result is the AFE 6
  • the camera signal processing unit 7, the resolution conversion processing unit 8, and the display processing unit 9 sequentially process and display on the display unit 12.
  • the image data output from the resolution conversion processing unit 8 is subjected to data compression processing by the moving image recording processing unit 10 and then recorded on the video recording medium 3.
  • the image sensor 4 obtains the imaging result of the field frequency 2 40 [fps], and the imaging result of the field frequency 2 4 0 [fps] is AFE 6 and the camera.
  • the signals are sequentially and cyclically stored in the memory 2 via the signal processing unit 7, the image compression / decompression unit 11 and the memory control unit 13 (FIG. 5).
  • the imaging device 1 At a predetermined timing, the storage of the imaging result of this field frequency 24 0 [fps] in the memory 2 is completed, and the imaging result stored in the memory 2 at that time is lower than that at the time of writing.
  • the read image results are sequentially processed by the image compression / decompression unit 11, the resolution conversion processing unit 8, and the moving image recording processing unit 10 and recorded on the video recording medium 3 (FIG. 6).
  • the operation mode is switched to the slow motion shooting mode. Instead, an image obtained by shooting a desired subject in slow motion can be recorded on the image recording medium 3.
  • the operation of the operation element may be too fast or too slow, and the desired scene is not always accurately obtained.
  • the desired scene is not always accurately obtained.
  • audio when used as a trigger, it may be predicted that an incorrect timing is used as a trigger, and in this case as well, a desired scene cannot be accurately captured.
  • this imaging device 1 when the slow motion shooting mode is set, an image pattern corresponding to the shooting mode is detected by the image recognition processing in the image recognition processing unit 14 (FIGS. 2 to 4), The control unit 5 analyzes the image recognition processing result and determines in which region of the imaging result the image pattern exists. Based on the determination result, the timing at which the specific pattern is detected in the order designated in advance for each photographing mode is detected. Also, based on the detected timing, writing of the imaging result in the memory 2 is finished, and reading of the imaging result stored in the memory 2 is started at that time.
  • the period for slow motion shooting is set based on the pattern recognition result of the imaging result, and when setting the period for slow motion shooting based on the operation of the operator by the user, the sound is used as a reference. Compared to setting the period for slow motion shooting, the user's desired scene can be shot reliably.
  • the process for setting the period for slow motion shooting based on the pattern recognition result is executed based on the timing at which a specific pattern is detected in a predetermined order for each shooting mode. Timing misjudgment can be avoided effectively, and the desired scene can be taken more accurately.
  • the slow motion shooting period is set based on the timing at which pattern 3 is detected.
  • the slow motion shooting period is set based on only the first or second pattern
  • the first or second pattern is relatively compared with the ball being teeed up. Since it is a long-period pattern, it is impossible to specify the timing to finish writing the imaging result to the memory 2. Also, since the period for slow motion shooting was set based only on the third pattern, for example, when a butterfly other than the ball jumps into the screen, the imaging result is mistakenly written to memory 2. Will end.
  • the second pattern in which the ball is also present in the central region in the horizontal direction is the same. If a third pattern with a ball in the rightmost area is detected, the slow motion shooting period is set based on the timing at which the third pattern was detected. .
  • the period for slow motion shooting is set based on only one of the first to third patterns, the slow motion shooting is performed even when the batter sees off the ball, for example.
  • the recorded video is recorded on the video recording medium 3, and slow motion shooting is wasted.
  • the image recognition target of the image recognition processing unit is an image existing at a specific location of the imaging result, such a specific pattern is used, for example, by using a common pixel difference table to For example, the configuration in the image recognition processing unit can be simplified, and the scene desired by the user can be reliably captured with a simple configuration.
  • this specific pattern is an image in which the image recognition target detected by the image recognition unit exists at a specific location in one screen, it is possible to reliably capture a scene desired by the user with a simple configuration. .
  • FIG. 11 is a schematic diagram for explaining the timing setting at the time of slow motion shooting in the image pickup apparatus of Embodiment 2 of the present invention, in comparison with FIG. 7 and FIG.
  • the image pickup apparatus of this embodiment is configured in the same manner as the image pickup apparatus 1 of Embodiment 1 except that the timing setting method is different. Therefore, in the following description, the configuration of FIG. 1 will be used as appropriate.
  • the imaging apparatus of this embodiment sets a period for slow motion imaging based on the timing at which images of a specific pattern are detected in a specific order, like the imaging apparatus 1 of the first embodiment.
  • a pattern for detecting a signal to be photographed is applied to the specific pattern.
  • the pattern with both eyes open is set to the first pattern (FIG. 11 (A)), and the pattern with the right eye closed is the second pattern.
  • the pattern is set (Fig. 11 (B)).
  • the pattern with both eyes open is set in the third pattern (Fig. 11 (C)).
  • the control unit 5 sequentially detects the first to third patterns and detects a cue by the wink to be imaged.
  • the control unit 5 starts writing the imaging result to the memory 2 from the time when the third pattern is detected.
  • the profile of the side profile that has been shot off and the ball has been turned off is set to the fourth pattern (Fig. 11 (D)), and the pattern with the face turned to the front is set to the fifth pattern. (Fig. 11 (E)). Furthermore, the pattern with the left eye closed is set as the sixth pattern (Fig. 11 (F)).
  • the control unit 5 sequentially detects the fourth to sixth patterns and detects a signal by the wink to be imaged. Ie this place In this case, when the person to be photographed closes his left eye by winking, the sixth pattern is detected, and the control unit 5 stops writing to the memory 2 by the slow motion shooting from the time when the sixth pattern is detected. Start reading from 2.
  • the image recognition processing unit 14 records the open eye pattern and the closed eye pattern in the pixel difference table and holds them, and these open eye patterns are instructed by the control unit 5. A pattern and a closed eye pattern are detected and notified to the control unit 5.
  • the specific pattern detected in this predetermined order is captured by setting the period for slow motion shooting based on the timing when the image of the specific pattern is detected in a specific order. Since it is a pattern that detects the cue of an object, it can shoot a slow motion so that the intent of the object to be reflected is reflected, and can shoot the scene desired by the user more reliably.
  • FIG. 12 is a schematic diagram for explaining the timing setting at the time of slow motion shooting in the image pickup apparatus according to Embodiment 3 of the present invention, in comparison with FIG. 7 and FIG.
  • the imaging apparatus of this embodiment is configured in the same manner as the imaging apparatus of the above-described embodiment except that this timing setting method is different. Therefore, in the following description, the configuration of FIG. 1 will be used as appropriate.
  • the period for slow motion shooting is set with reference to the timing at which images of a specific pattern are detected in a specific order.
  • the pose pattern of a person detected by a series of operations is applied to this specific pattern. Therefore, the imaging apparatus of this embodiment sets the period for slow motion shooting based on the change in the pose of the shooting target. That is, in this embodiment, as shown in FIG. 12, in the golf swing mode, the stationary pose with the golf club at the time of addressing is set as the first pattern (see FIG. 12 ( A)), and the pose that has been taken back is set to the second pattern (Fig. 12 (B)). In addition, the third pattern is set for the pose that is being followed and chasing the ball with the eye (Fig. 12 (C)). Therefore, in this embodiment, the image recognition processing unit 14 has these first to third patterns. A dictionary is created so that can be detected.
  • the control unit 5 starts high-speed writing to the memory 2 when the user instructs slow motion shooting.
  • the image recognition processing unit 14 is instructed to start the image recognition processing, and the first to third patterns are sequentially detected based on the image recognition and recognition processing results.
  • a predetermined period T elapses after the third pattern is detected, the writing to the memory 2 is terminated, and reading of the imaging result stored in the memory 2 is started at that time.
  • the period of slow motion shooting is set based on the timing when images of a specific pattern are detected in a specific order, and the specific pattern detected in this predetermined order is a series.
  • the imaging apparatus of this embodiment sets a period for slow motion shooting based on the timing when images of a specific pattern are detected in a specific order, and accepts the setting of the specific pattern by a user operation.
  • the image pickup apparatus of this embodiment is configured in the same manner as the image pickup apparatuses of the above-described embodiments except that the setting of the specific pattern is different. Therefore, in the following description, the configuration of the imaging apparatus of the fourth embodiment will be described by appropriately using the configuration of the imaging apparatus of the first embodiment.
  • the control unit 5 displays a guide message on the display unit 12 and / or outputs a voice for voice synthesis. And, the display and / or the sound instructs the user a series of operations in the registration mode.
  • the control unit 5 performs trial shooting of an object to be subjected to slow motion shooting in the standard operation mode and records it on the video recording medium 3 by a user operation according to these guides. Also, play back the trial video and display it on the display unit 12.
  • the control unit 5 instructs the user to perform a pause operation during the playback of the moving image, and as shown in Fig. 1 3, causes the user to select one scene for slow motion shooting, and the display unit 1 2 Is displayed.
  • the control unit 5 accepts selection of an image recognition target in the image recognition processing unit 14. That is, the control unit 5 displays a predetermined menu screen, accepts selection of a frame W surrounding the image recognition target, and displays this frame W on the still image displayed on the display unit 12. In addition, the display of this frame W is enlarged or reduced in response to the operation of the up and down controls 1 6 and 1 7 arranged on the side of the display screen. In addition, menus for instructing movement in the vertical and horizontal directions 1 8 U, 1 8 D, 1 8 R, 1 8 L are displayed on the display screen, and these menus detected via the touch panel 1 8 U, Moves the display position of frame w up / down, left / right in response to operations of 1 8 D, 1 8 R, 18 L. Also, when the user operates the o K menu, the image surrounded by the frame W becomes the recognition target of the image recognition processing unit 14 'gsc E ⁇ ⁇ 0 0
  • the control unit 5 forwards the image data of the still image to the image recognition processing unit 14 and preprocesses it, and then surrounds it with a frame W on the basis of the feature points detected by this preprocessing.
  • the coordinate values of two points registered in the pixel search table are detected from the part.
  • the threshold value is calculated by calculating the pixel difference value of these two points, and the coordinate value and threshold value of these two points are registered in the memory 14 D.
  • the control unit 5 sets the image surrounded by the set frame W as a recognition target at the start of slow motion shooting. 1 Instruct 4 to process.
  • the image recognition processing unit 14 registers a search target in the pixel search table from the image surrounded by the frame W at the start of slow-motion shooting, and thereafter uses this pixel search table. Search for recognition targets.
  • the control unit 5 After registering the dictionary in the memory 14D, the control unit 5 subsequently accepts the settings of the first to third patterns.
  • the control unit 5 is connected to the display unit 1 2.
  • the display is switched, and the boundary of the area that determines the presence or absence of the image recognition target is displayed for each pattern on the left side of the screen.
  • the user selects a region.
  • one screen is divided into three areas in the horizontal direction to provide three areas, and the central area is divided into upper and lower areas. Is an example in which is set.
  • the control unit 5 detects the selection of each area by the user via the touch panel, switches the display color of the area selected by the user, and notifies the user.
  • Fig. 14 the control unit 5 detects the selection of each area by the user via the touch panel, switches the display color of the area selected by the user, and notifies the user.
  • the display of the area selected by the user is shown by hatching. Therefore, in the examples shown in Fig. 13 and Fig. 14, the case where the ball is present in the center and the lower area in the horizontal direction is assigned to the first and second patterns, and the ball is present in the horizontal and right area. If a ball is present, it will be assigned to the third pattern.
  • the user may directly accept the designation of the area on the display screen.
  • a predetermined movement pattern set in advance may be displayed, and the pattern registration may be received by allowing the user to select this movement pattern.
  • general parameters such as golf mode and tennis mode are prepared in a simple setting mode, and changes to this parameter are accepted and registration of each pattern is accepted. Good.
  • the paused operation is accepted by playing the video taken by trial, and the paused image is analyzed for each pause.
  • pattern registration may be accepted.
  • control unit 5 ends the registration mode and ends accepting the setting of the specific pattern by operating a predetermined operator.
  • control unit 5 uses the timing at which the first to third patterns registered in the registration mode are sequentially detected in the same manner as in the first embodiment. The writing of the imaging result to the memory 2 is finished.
  • control unit 5 further detects the first and second patterns only in the horizontal center and lower regions where the recognition target exists in the first and second patterns.
  • the image recognition processing unit 14 is instructed to perform the image recognition process.
  • the image recognition processing unit 14 is instructed to perform the image recognition process only in the right side region in the horizontal direction where the recognition target exists in the third pattern.
  • the image recognition processing unit 14 scans the pattern matching area only in the area instructed by the control unit 5, as shown in FIG. 15 (A).
  • the detection image scaling process which is one of the pre-processing necessary for the image detection process by pattern matching, is omitted.
  • Fig. 15 (A) is a diagram showing the case where the recognition target is detected only in the horizontal, center, and lower regions described in Fig. 13.
  • the pattern matching region is indicated by the arrows. It shows the scolding.
  • the image recognition processing unit 14 performs image recognition processing at a high speed by narrowing the size of the area for pattern matching based on the immediately preceding image recognition result.
  • the image recognition target a is detected by rasterizing the matching area AR.
  • the pattern matching area AR is set within a certain range AR 1 centered on the position of the image recognition target a detected in the previous field.
  • the image recognition target a is detected by raster scanning.
  • the face position is first determined using a face dictionary (pixel difference table). After identification, set the range where the eyes are expected to exist from the identified face position, and use the set dictionary for the eyes as shown in Fig. 16 (B).
  • face dictionary pixel difference table
  • searching and opening eyes and closing eyes it is possible to reduce the size of the pattern matching area based on the previous image recognition result and execute image recognition processing at high speed. . In this case, the accuracy of the image recognition process can be improved.
  • the period of slow motion shooting is set with reference to the timing when images of a specific pattern are detected in a specific order, and registration of this specific pattern is accepted by a user operation. It can be applied to the shooting of various subjects to ensure slow motion shooting of the scene desired by the user.
  • FIG. 17 is a time chart for explaining the operation of the image pickup apparatus according to the fifth embodiment of the present invention in comparison with FIG.
  • the imaging apparatus of this embodiment in the slow motion shooting mode, the field-thinned image data is recorded on the recording medium during the period in which the imaging result recorded in the memory at a high speed is recorded.
  • the imaging apparatus of this embodiment is configured in the same way as the above-described embodiments except that the configuration relating to recording on this recording medium is different. Therefore, in this embodiment, description will be made using the configuration of FIG.
  • the resolution conversion processing unit 8 performs the moving image recording process for recording the image data D 1 processed by the camera signal processing unit 7 in the same manner as described above for the first embodiment. Output to the unit 10. Also, convert the resolution and output to the display unit 12 for the monitor.
  • the imaging result of the field frequency 60 [fps] can be recorded without interruption, and the imaging result obtained by shooting the slow motion only for the intended scene can be automatically recorded.
  • the imaging result of the field frequency 60 [fps] is interrupted by setting the period for slow motion shooting based on the timing when images of a specific pattern are detected in a specific order. You can record and record slow motion only for the intended scene.
  • FIG. 18 is a schematic diagram showing the configuration of the memory 2 applied to the imaging apparatus according to the sixth embodiment of the present invention.
  • the imaging apparatus of this embodiment is configured in the same manner as the imaging apparatus of the above-described embodiment except that the configuration relating to the memory 2 is different. Therefore, in this embodiment, description will be made using the configuration of FIG.
  • the recordable area is divided into a plurality of areas, and areas 1 to 5 are formed.
  • these areas 1 to 5 are sequentially and cyclically assigned to continuous slow motion imaging, and imaging results are stored so that slow motion imaging can be repeated.
  • Fig. 18 In Fig. 18
  • FIG. 19 is a flowchart showing the processing procedure of the control unit 5 of this imaging apparatus in comparison with FIG.
  • FIG. 20 is a time chart showing the operation of each part of the imaging device in comparison with FIG. 17 when the user does not select immediate recording in the processing procedure shown in FIG. It is.
  • the control unit 5 starts the processing procedure of Fig. 19 and instructs the image recognition processing unit 14 to perform image recognition processing according to the shooting mode. Instructs each unit to start recording the imaging results of field frequency 2 4 0 [fps]. Subsequently, the process proceeds from step SP 11 to step SP 12, and it is determined whether or not the first pattern is detected based on the image recognition result of the image recognition processing unit 14. If a negative result is obtained in step SP 12, the control unit 5 repeats step SP 12 and waits for the first pattern to be detected. JP2007 / 067082
  • step SP 12 the control unit 5 moves from step SP 12 to step SP 13 and waits for the second pattern to be detected, and the second pattern is detected. Then, the control unit 5 moves from step SP 13 to step SP 14.
  • step SP 14 the process waits for the third pattern to be detected.
  • the process proceeds from step SP 14 to step SP 15 where the control unit 5 After waiting for elapse of the period T set by, write to the memory 2 ends.
  • step S P 16 the control unit 5 determines whether or not the user has selected immediate recording. If a positive result is obtained here, the control unit 5 proceeds from step S P 16 to step S P 17.
  • the control unit 5 reads out the imaging result stored in the memory 2 at that time and stores it in the video recording medium 3.
  • the period from time t 1 to time t 2 is the writing period to memory 2 in this slow motion shooting mode, and the subsequent period from time t 2 to time t 3 is This is the period for reading from the memory 2.
  • step SP 17 When reading from the memory 2 is completed, the control unit 5 moves from step SP 17 to step SP 18 and determines whether or not the user has instructed repetition of slow motion shooting, and a positive result is obtained here. After instructing the start of recording of the imaging result of the field frequency 2 4 0 [fps] in the memory 2, the process returns to step SP 1 2. On the other hand, if the user has not instructed to repeat slow motion shooting, the process moves from step SP 18 to step SP 19 to determine whether or not the user has selected immediate recording, and a positive result is obtained here. In this case, since the process of recording the imaging results stored in the memory 2 so far in the video recording medium 3 has been completed, the process proceeds from step SP 19 to step SP 20. Exit. Therefore, when the user selects immediate recording, the imaging apparatus of this embodiment executes the slow motion shooting process in the same manner as in the above-described embodiment.
  • step SP 1 6 It is determined whether or not it has been instructed to repeat slow motion shooting, and if an affirmative result is obtained here, step SP 1 after instructing the start of recording of the imaging result of field frequency 2 4 0 [fps] into memory 2 Return to 2. At this time, the memory control unit 13 is instructed to switch the operation so that the imaging result is recorded in the subsequent area with respect to the area of the memory 2 in which the imaging result is recorded immediately before.
  • the imaging apparatus of this embodiment until the user stops the instruction to repeat the slow motion shooting, the area 1 to the area 5 are sequentially selected and the imaging result is stored in the memory 2 at a high speed. . At this time, the process of reading the imaging result stored in the memory 2 is omitted, and the imaging result is stored in the subsequent area.
  • the imaging results are sequentially stored in the memory 2, and if the user stops the instruction to repeat slow motion shooting, or if the user has not instructed to repeat slow motion shooting, steps from step SP 18
  • the process moves to SP 19 where it is determined whether or not the user has selected immediate recording. In this case, a negative result is obtained.
  • the control unit 5 moves from step SP 19 to step SP 21, reads the imaging results stored in each area of the memory 2 so far from the memory 2, records them on the video recording medium 3, Moving to step SP20, the processing procedure is terminated.
  • the imaging results stored in the memory 2 at high speed are finally read out and stored in the video recording medium 3, and the period from time t4 to time t5 in FIG. It will fall under the period.
  • the memory is divided into a plurality of areas, and each area is sequentially set as a recording area of the imaging result in the slow motion shooting, whereby continuous slow motion shooting can be performed, which is convenient for the user. Can be improved.
  • the write end timing to the memory 2 is set using three patterns.
  • the present invention is not limited to this, and the write end timing is set sufficiently reliably. If possible, you can use two patterns to set the end timing for writing to memory 2, and even four. You may set the end timing of writing to memory 2 using the above pattern.
  • Embodiment 6 described above when the user does not select immediate recording, the operation is switched, and the imaging results stored at high speed in the memory 2 are collectively read and stored in the video recording medium 3.
  • the present invention is not limited to this, and an operation switching instruction may be detected in the same manner as when the timing for ending writing to the memory 2 is set.
  • the user can switch the operation of the imaging device at a location away from the imaging device, and the user-friendliness can be further improved. In this case, for example, it is considered necessary to notify the user of the switching of operation by blinking of a lamp or the like to prevent an erroneous switching instruction of the operation.
  • the imaging result stored in the memory when the imaging result stored in the memory is stored in the video recording medium, the imaging result to be recorded on the video recording medium is displayed and monitored on the display unit.
  • the present invention is not limited to this, and the processing of displaying on the display unit is omitted, and the imaging result obtained by the image sensor is displayed on the display unit, while the imaging result stored in the memory is imaged in the background. It may be recorded on a recording medium.
  • the imaging result is acquired and recorded on the video recording medium at the field frequency 60 C fps in the standard operation mode.
  • the present invention is not limited thereto, and the standard operation mode It is also possible to acquire the imaging results at a field frequency of 2 4 0 [fps] and thin them out and record them on a video recording medium.
  • the imaging result is acquired at the field frequency 6 0 [fps] in the standard operation mode and the imaging result is acquired at the field frequency 2 4 0 [fps] in the slow motion imaging mode.
  • the present invention is not limited to this, and these frequencies can be variously set as required without departing from the spirit of the present invention.
  • the imaging results are acquired and recorded by a non-interlace method. It can be widely applied to cases.
  • the imaging result stored at high speed in the memory 2 is read from the memory at the field frequency in the standard operation mode and recorded on the video recording medium.
  • the present invention is not limited to this, the present invention is not limited to this.
  • the field frequency is higher than the field frequency in the standard operation mode, and the image is read from the memory at a field frequency lower than that at the time of writing to the memory. You may make it record on a recording medium.
  • the imaging result stored in the memory can be stored in the video recording medium in a short time, and for example, the time margin when repeating slow motion imaging can be increased.
  • the present invention can be applied to a video camera, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　本発明は、例えば記録手段を一体化したビデオカメラに適用して、画像認識結果に基づいて、特定パターンの画像が特定の順序で検出されるタイミングを基準にして、メモリへの撮像結果の高速度の書き込みを終了し、このメモリに書き込んだ撮像結果を記録媒体に記録する。

Description

明細書
撮像装置、 撮像装置の制御方法、 撮像装置の制御方法のプログラム及び撮像装 置の制御方法のプログラムを己録した記録媒体
発明の背景
技術分野
本発明は、 撮像装置、 撮像装置の制御方法、 撮像装置の制御方法のプログラム 及び撮像装置の制御方法のプログラムを記録した記録媒体に関し、 例えば記録手 段を一体化したビデオカメラに適用することができる。 本発明は、 面像認識結果 に基づいて、 特定パターンの画像が特定の順序で検出されるタイミングを基準に して、 メモリへの撮像結果の高速度の書き込みを終了し、 このメモリに書き込ん だ撮像結果を読み出して記録媒体に記録することにより、 所望するシーンを確実 にスローモーション撮影する。 背景技術
従来、 日本特開平 9一 8 3 9 5 2号公報には、 大容量のメモリを用いて撮像結 果を遅延させて記録媒体に記録する方法が提案されている。 この日本特開平 9一 8 3 9 5 2号公報に開示の手法によれば、 ユーザーが撮影の開始を指示した時点 より一定時間だけ逆上つた時点の映像から記録することができ、 貴重な撮影機会 を逃さないようにすることができる。
またビデオカメラでは、 近年、 メモリを用いて撮像結果のフィールド周波数を 低減し、 スローモーションの映像を記録するものが提供されている。 すなわちこ のビデオカメラは、 通常のビデオ信号のフィールド周波数 5 0 [ f p s (フィ一 ルド/秒） 〕 又は 6 0 [ f p s ] より高速度の、 例えばフィールド周波数 2 4 0 C f p s ] で撮像素子から撮像結果を出力し、 順次、 メモリに格納する。 またこ のビデオカメラは、 このメモリに格納した撮像結果を通常のビデオ信号のフィー ルド周波数で読み出して記録媒体に記録する。 なおここでメモリは、 例えば S D R AM (Synchronous Dynamic Random Access Memory) により ¾成され、 ci録媒 体は、 磁気ディスク、 光ディスク、 ハードディスク装置等により構成される。 以 下、 このようにメモリを用いて撮像結果のフィールド周波数を低減し、 スローモ ーションの映像を記録する処理をスローモーション撮影と呼ぶ。 このビデオカメ ラでは、 操作子の操作時点を基準にして、 スローモーション撮影の期間を決定し ている。
しかしながらスローモーション撮影では、 例えばゴルフのスイング、 テニスの スイング、 野球におけるバットスイング等を撮影する場合もあり、 このような場 合に、 操作子の操作時点を基準にしてスローモーション撮影の期間を決定してい たのでは、 必ずしも的確に所望するシーンを撮影できない問題がある。 すなわち この場合、 操作子の操作が速すぎたり、 遅すぎたりする場合があり、 無駄な部分 を撮影したり、 肝心な部分を撮影できなかったりする。
この問題を解決する 1つの方法として、 例えばボールの打撃音等を基準にする 方法が考えられる。 しかしながらこの方法では、 例えばゴルフ練習場でゴルフの スィングを撮影する場合のように、 同じような音が多数検出されるような場所で は、 他人の打撃音を基準にして撮影を開始する場合が予測される。 従ってこの方 法でも、 的確に所望するシーンをスローモーション撮影できない問題がある。 また例えば日本特開平 9一 5 5 9 3 1号公報に開示されているように、 移動物 体の検出時点を基準にする方法も考えられる。 この方法の場合、 例えば割れる風 船、 ミルククラウン等の、 静止した場面から撮影を開始するような場合には、 確 実に所望するシーンを撮影することができる。 しかしながらこの方法の場合、 例 えばスポーツの特定シーンのように、 元々動きのある映像の中から特定の一場面 を記録する場合には、 確実に所望するシーンをスローモーション撮影できない問 題がある。
発明の開示
本発明は以上の点を考慮してなされたもので、 所望するシーンを確実にスロー モーション撮影することができる撮像装置、 撮像装置の制御方法、 撮像装置の制 御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体を 提案しようとするものである。
上記の課題を解決するため本発明は、 撮像装置に適用して、 撮像結果を出力す る撮像部と、 前記撮像部から出力される撮像結果を格納して出力するメモリと、 前記撮像部から出力される撮像結果、 又は前記メモリから出力される撮像結果を 記録する記録媒体と、 前記撮像結果を画像認識して画像認識結果を出力する画像 認識部と、 各部の動作を制御する制御部とを備え、 前記制御部は、 標準動作モー ドにおいて、 第 1のフィールド周波数又はフレーム周波数で、 前記撮像部から前 記撮像結果を出力させ、 前記記録媒体に記録し、 スローモーション撮影モードに おいて、 前記第 1のフィールド周波数又はフレーム周波数より周波数の高い、 第 2のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力 させ、 前記メモリに順次循環的に格納し、 前記画像認識結果に基づいて、 前記撮 像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、 前記 撮像結果の前記メモリへの格納を終了し、 前記メモリに格納した前記撮像結果を
、 前記第 2のフィールド周波数又はフレーム周波数より低い、 第 3のフィールド 周波数又はフレーム周波数で読み出して、 前記記録媒体に記録する。
また本発明は、 撮像結果を出力する撮像部と、 前記撮像部から出力される撮像 結果を格納して出力するメモリ と、 前記撮像部から出力される撮像結果、 又は前 記メモリから出力される撮像結果を記録する記録媒体と、 前記撮像結果を画像認 識して画像認識結果を出力する画像認識部とを備える撮像装置の制御方法に適用 して、 標準動作モードにおいて、 第 1のフィールド周波数又はフレーム周波数で 、 前記撮像部から前記撮像結果を出力させ、 前記記録媒体に記録する標準動作モ ードの記録ステップと、 スローモーション撮影モードにおいて、 前記第 1のフィ 一ルド周波数又はフレーム周波数より周波数の高い、 第 2のフィールド周波数又 はフレーム周波数で前記撮像部から前記撮像結果を出力させ、 前記メモリに順次 循環的に格納するスローモーション撮影モードの書き込みステップと、 前記スロ 一モーション撮影モードにおいて、 前記画像認識結果に基づいて、 前記撮像結果 で特定パターンが所定の順序で検出されるタイミングを基準にして、 前記撮像結 果の前記メモリへの格納を終了し、 前記メモリに格納した前記撮像結果を、 前記 第 2のフィールド周波数又はフレーム周波数より低い、 第 3のフィールド周波数 又はフレーム周波数で読み出して、 前記記録媒体に記録するスローモーション撮 影モードの記録ステップとを備えるようにする。 また本発明は、 撮像結果を出力する撮像部と、 前記撮像部から出力される撮像 結果を格納して出力するメモリ と、 前記撮像部から出力される撮像結果、 又は前 記メモリから出力される撮像結果を記録する記録媒体と、 前記撮像結果を画像認 識して画像認識結果を出力する画像認識部とを備える撮像装置の制御方法のプロ グラムに適用して、 標準動作モードにおいて、 第 1のフィールド周波数又はフレ ーム周波数で、 前記撮像部から前記撮像結果を出力させ、 前記記録媒体に記録す る標準動作モードの記録ステップと、 スローモーション撮影モードにおいて、 前 記第 1のフィールド周波数又はフレーム周波数より周波数の高い、 第 2のフィー ルド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、 前記 メモリに順次循環的に格納するスローモーション撮影モードの書き込みステップ と、 前記スローモーション撮影モードにおいて、 前記画像認識結果に基づいて、 前記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして 、 前記撮像結果の前記メモリへの格納を終了し、 前記メモリに格納した前記撮像 結果を、 前記第 2のフィールド周波数又はフレーム周波数より低い、 第 3のフィ —ルド周波数又はフレーム周波数で読み出して、 前記記録媒体に記録するスロー モーション撮影モードの記録ステップとを備えるようにする。
また本発明は、 撮像結果を出力する撮像部と、 前記撮像部から出力される撮像 結果を格納して出力するメモリ と、 前記撮像部から出力される撮像結果、 又は前 記メモリから出力される撮像結果を記録する記録媒体と、 前記撮像結果を画像認 識して画像認識結果を出力する画像認識部とを備える撮像装置の制御方法のプロ グラムを記録した記録媒体に適用して、 前記制御方法のプログラムは、 標準動作 モードにおいて、 第 1のフィールド周波数又はフレーム周波数で、 前記撮像部か ら前記撮像結果を出力させ、 前記記録媒体に記録する標準動作モードの記録ステ ップと、 スローモーション撮影モードにおいて、 前記第 1のフィールド周波数又 はフレーム周波数より周波数の高い、 第 2のフィールド周波数又はフレーム周波 数で前記撮像部から前記撮像結果を出力させ、 前記メモリに順次循環的に格納す るスローモーション撮影モードの書き込みステップと、 前記スローモーション撮 影モードにおいて、 前記画像認識結果に基づいて、 前記撮像結果で特定パターン が所定の順序で検出されるタイミングを基準にして、 前記撮像結果の前記メモリ への格納を終了し、 前記メモリに格納した前記撮像結果を、 前記第 2のフィール ド周波数又はフレーム周波数より低い、 第 3のフィールド周波数又はフレーム周 波数で読み出して、 前記記録媒体に記録するスローモーション撮影モードの記録 ステップとを備えるようにする。
本発明の構成によれば、 画像認識結果に基づいて、 撮像結果で特定パターンが 所定の順序で検出されるタイミングを基準にして、 スローモーション撮影する期 間が設定されることになる。 従って、 いちいち操作子を操作する場合、 音をトリ ガにする場合等に比して、 確実に所望するシーンをスローモーション撮影するこ とができる。 本発明によれば、 所望するシーンを確実にスローモーション撮影することがで さる。 図面の簡単な説明
第 1図は、 本発明の実施例 1の撮像装置を示すブロック図である。
第 2図は、 第 1図の撮像装置の画像認識処理部の詳細構成を示すプロック図で 3 る。
第 3図は、 第 2図の画像認識処理部のメモリの構成を示す略線図である。
第 4 (A) 図及び第 4 ( B ) 図は、 第 3図のメモリの内容の説明に供する略線 図である。
第 5図は、 第 1図の撮像装置のスローモーション撮影モードにおける画像デー タの流れを示すブロック図である。
第 6図は、 第 5図の続きを示すブロック図である。
第 7図は、 第 1図の撮像装置におけるゴルフスィングモードの説明に供する略 線図である。
第 8図は、 第 1図の撮像装置における野球スィングモードの説明に供する略線 図である。
第 9図は、 第 1図の撮像装置のス口一モーション撮影モードに関する処理手順 を示すフローチャートである。 第 1 0図は、 第 1図の撮像装置の各部の動作を示すタイムチャートである。 第 1 1図は、 本発明の実施例 2の撮像装置におけるスローモーション撮影時の タイミング設定の説明に供する略線図である。
第 1 2図は、 本発明の実施例 3の撮像装置におけるスローモーション撮影時の タイミング設定の説明に供する略線図である。
第 1 3図は、 本発明の実施例 4の撮像装置におけるパターン設定時の表示画面 を示す平面図である。
第 1 4図は、 第 1 3図の続きを示す平面図である。
第 1 5 (A) 図及び第 1 5 ( B ) 図は、 本発明の実施例 4の撮像装置における 画像認識処理の説明に供する略線図である。
第 1 6 (A) 図及び第 1 6 ( B ) 図は、 第 1 5図の続きを示す平面図である。 第 1 7図は、 本発明の実施例 5の撮像装置の動作の説明に供するタイムチヤ一 トである。
第 1 8図は、 本発明の実施例 6の撮像装置におけるメモリの構成を示す略線図 である。
第 1 9図は、 本発明の実施例 6の撮像装置の処理手順を示すフローチャートで ある。
第 2 0図は、 第 1 9図の処理手順により撮像装置の動作の説明に供するタイム チャートである。 . 発明を実施するための最良の形態
以下、 適宜図面を参照しながら本発明の実施例を詳述する。
( 1 ) 実施例 1の構成
第 1図は、 本発明の実施例 1の撮像装置を示すブロック図である。 この撮像装 置 1は、 ユーザーの操作により、 通常の撮影時の動作モードである標準動作モー ドと、 スローモーション撮影モードとで、 動作モードを切り換える。 この撮像装 置 1は、 このスローモーション撮影モードにおいて、 メモリ 2を用いて撮像結果 のフィールド周波数を変換し、 スローモーションの映像を映像記録媒体 3に記録 する。 ここでこの撮像装置 1において、 イメージセンサ 4は、 C MO S (Complementa ry Metal Oxide Semiconductor ) 型の撮像素子等の固体撮像素子である。 ィメー ジセンサ 4は、 図示しない光学系によって撮像面に形成された光学像を光電変換 処理し、 撮像結果である撮像信号を出力する。 なおこの実施例において、 ィメー ジセンサ 4は、 C D S (Correlated Double Sampling) 部を有し、 この C D S部 で撮像信号を相関二重サンプリング処理して出力する。
またイメージセンサ 4は、 制御部 5の制御により動作を切り換え、 標準動作モ 一ドでは、 N T S C方式の仕様であるフィールド周波数 6 0 〔 f p s〕 で撮像結 果を出力し、 スローモーション撮影モードでは、 この標準レートより高速度のフ ィールド周波数で撮像結果を出力する。 この実施例では、 この高速度のフィール ド周波数が標準動作モードにおけるフィールド周波数の 4倍のフィールド周波数 2 4 0 〔f p s〕 である。 なおイメージセンサ 4は、 1ライン分の撮像信号を出 力する際に、 水平方向に隣接して配置された同色フォトセンサの出力信号を加算 して出力する機能を有する。 イメージセンサ 4は、 スローモーション撮影モード では、 この機能を利用して画素間引きして撮像信号を出力し、 撮像信号における レートの増大を防止する。 なお後段の処理部が十分な処理速度を有している場合 には、 この間引きの処理を省略してもよく、 さらには加算する画素数を制御して 任意のレートで撮像信号を出力してもよい。
A F E (Analog Front End) 6は、 イメージセンサ 4から出力される撮像信号 を A G C (Automatic Gain Control) 処理して撮像信号の利得を制御した後、 了 ナログディジタル変換処理して画像データ D 1を出力する。
力メラ信号処理部 7は、 A F E 6から出力される画像データをカメラ信号処理 して出力する。 なおここでカメラ信号処理は、 例えばホワイトバランス調整処理 、 色補正処理、 A F (Auto Focus) 処理、 A E (Auto Exposure) 処理等である。 解像度変換処理部 8は、 標準動作モードにおいて、 カメラ信号処理部 7で処理 された画像データ D 1を入力し、 この画像データ D 1を記録用に動画像記録処理 部 1 0に出力する。 また解像度変換処理部 8は、 この画像データ D 1の解像度を 表示部 1 2における表示に適した解像度に変換し、 モニタ用に表示処理部 9に出 力する。 また解像度変換処理部 8は、 スローモーション撮影モードにおいて、 カメラ信 号処理部 7で処理されたフィールド周波数 2 4 0 〔f p s〕 の画像データ D 1の フィールドを間引きし、 モニタ用にフィールド周波数 6 0 〔f p s〕 で表示処理 部 9に出力する。 またこのカメラ信号処理部 7で処理されたフィールド周波数 2 4 0 〔 f p s〕 の画像データ D 1のサイズを調整し、 メモリ 2への記録用に画像 圧縮伸長部 1 1に出力する。 なおこのサイズ調整の処理は、 画像圧縮伸長部 1 1 、 メモリ 2の仕様に対応するように画像データ D 1のフォーマツトを変更する処 理であり、 画像圧縮伸長部 1 1、 メモリ 2が十分な処理能力を有している場合に は、 省略することができる。
また解像度変換処理部 8は、 スローモーション撮影モードにおいて、 制御部 5 の制御により動作を切り換え、 カメラ信号処理部 7で処理されたフィールド周波 数 2 4 0 〔f p s〕 の画像データ D 1に代えて、 画像圧縮伸長部 1 1から出力さ れるフィールド周波数 6 0 [ f p s ] の画像データを入力する。 解像度変換処理 部 8は、 この画像データを記録用に動画像記録処理部 1 0に出力する。 またこの 解像度変換処理部 8は、 この画像データの解像度を表示部 1 2における表示に適 した解像度に変換し、 モニタ用に表示処理部 9に出力する。
表示部 1 2は、 例えば L C D (Liquid Crystal Display) で構成される。 表示 処理部 9は、 解像度変換処理部 8から出力されるモニタ用の画像データにより表 示部 1 2を駆動し、 表示部 1 2に撮像結果のモニタ画像を表示する。 また制御部 5の制御により動作を切り換え、 映像記録媒体 3に記録された動画像をモニタす る場合には、 動画像記録処理部 1 0から出力される画像データにより表示部 1 2 を駆動し、 映像記録媒体 3に記録された動画像を表示部 1 2で表示する。 なお表 示部 1 2で画像データを表示する代わりに、 外部出力するようにしてもよい。 動画像記録処理部 1 0は、 映像記録媒体 3への記録時、 解像度変換処理部 8か ら出力される記録用の画像データを、 例えば M P E G (Moving Picture Experts Group) 等の動画像の符号化方式でデータ圧縮処理し、 映像記録媒体 3に記録する 。 また制御部 5の制御により動作を切り換え、 映像記録媒体 3に記録された動画 像を再生してデータ伸長し、 画像データを表示処理部 9に出力する。 映像記録媒 体 3は、 例えばハードディスク装置、 光ディスク装置、 メモリカード等の各種記 録媒体である。
画像圧縮伸長部 1 1は、 スローモーション撮影モードにおいて、 メモリ 2への 記録用に解像度変換処理部 8から出力される画像データを、 例えば （Joint Photo graphic Experts Group) 等の静止画像の符号化方式でデータ圧縮処理する。 また データ圧縮して得られる符号化データをメモリ制御部 1 3に出力する。 また画像 圧縮伸長部 1 1は、 スローモーション撮影モードにおいて、 制御部 5の制御によ り動作を切り換え、 メモリ制御部 1 3から出力される符号化データをデータ伸長 し、 画像データを復号して解像度変換処理部 8に出力する。
メモリ制御部 1 3は、 スローモーション撮影モードにおいて、 画像圧縮伸長部 1 1から出力されるフィールド周波数 2 4 0 〔 f p s〕 の符号化データをメモリ 2に順次循環的に記録する。 なおここでメモリ 2は、 例えば S D R AMにより構 成される。 またメモリ制御部 1 3は、 スローモーション撮影モードにおいて、 制 御部 5の制御により動作を切り換え、 メモリ 2に記録された符号化データを順次 読み出して画像圧縮伸長部 1 1に出力する。 このメモリ 2から符号化データを読 み出す際に、 メモリ制御部 1 3は、 記録時の 1 / 4の速度であるフィールド周波 数 6 0 〔f p s〕 で符号ィ匕データを読み出して出力する。
画像認識処理部 1 4は、 スローモーション撮影モードにおいて、 パターンマツ チングの手法を適用して A F E 6から出力される画像データを画像認識処理し、 制御部 5で指示された特定パターンを撮像結果から検出する。 画像認識処理部 1 4は、 この検出結果を制御部 5に通知する。
ここで第 2図は、 この画像認識処理部 1 4の詳細構成を示すブロック図である 。 画像認識処理部 1 4は、 A F E 6から出力される画像データを前処理部 1 4 A に入力し、 ここでノイズ除去処理、 画像サイズの正規化処理、 特徴抽出処理等の 前処理を実行する。 また続く画像バッファ 1 4 Bに画像データを一時格納して保 持し、 マッチング回路 1 4 Cでパターンマッチングの処理を実行する。
ここでマッチング回路 1 4 Cは、 2点間の画素差分を用いたブースティングの 手法により、 メモリ 1 4 Dに格納された辞書を用いてパターンマッチング処理を 実行する。 ここでブースティングとは、 ランダムよりも少しだけ性能のいい弱い 判別器を組み合わせて、 有効な判別器 （強い判別器） を構成する統計的な画像識 別手法であり、 数学的なフレームワークとして ada boost法が一般に知られてい る。 画像認識処理部 1 4は、 スローモーション撮影モードにおいて、 この ada bo ost法により制御部 5で指示された画像パターンを各フィールドで検出し、 この画 像パターンの有無、 この画像パターンの位置を制御部 5に通知する。
このため画像認識処理部 1 4は、 第 3図に示すように、 この特定の画像パター ンの画像差分テーブルがメモリ 1 4 Dに登録される。 なおここで画像差分テープ ルは、 辞書とも呼ばれる。 画像差分テーブルは、 第 4図に示すように、 検出対象 である特定の画像パターン上の 2点の画素値と、 この 2点の画素値の差分値を基 準にして設定された判定基準用のしきい値とが登録される。 なおここで第 4 (A ) 図及び第 4 ( B ) 図は、 検出対象の画像パターンがそれぞれ丸形状及び矩形形 状である場合を示す。 この撮像装置 1は、 スローモーション撮影モードにおいて 、 複数種類の撮影モードから所望する撮影モードを選択できるように構成されて おり、 撮影モード毎に特定の画像パターンが設定される。 従ってメモリ 1 4 Dに は、 撮影モード毎に画像差分テーブルが設けられる。 なお実用上十分な精度を確 保することができる場合には、 複数の撮影モードで画像差分テーブルを共用化し てもよい。
マッチング回路 1 4 Cは、 画像バッファ 1 4 Bに一時保持された画像データの 画像上に、 パターンマッチング用の領域を設定し、 このパターンマッチング用の 領域を例えばラスタ走査の順序で順次移動させる。 マッチング回路 1 4 Cは、 特 徴点検出で検出された特徴点を基準にして、 走査位置毎に、 パターンマッチング 用の領域から画像差分テーブルの記録に対応する座標間の画素差分値を計算する 。 またこの計算した画素差分値を画像差分テーブルのしきい値で判定し、 検出対 象の画像パターンが当該パターンマッチング用の領域に存在するか否かの弱仮説 を設定する。 なおここでマッチング回路 1 4 Cは、 検出対象の画像パターンが存 在すると考えられる場合には、 弱仮説を値 1に設定し、 存在しないと考えられる 場合には、 弱仮説を値一 1に設定する。
マッチング回路 1 4 Cは、 走査位置毎に、 この弱仮説の検出を複数回繰り返し て累積加算し、 累積加算値が一定のしきい値を越えている場合には、 当該パター ンマッチング用の領域毎に、 検出対象の画像パターンが存在すると判定する。 なおこの実施例において、 マッチング回路 1 4 Cは、 画像データ D 1のうちの 輝度信号のみを用いて一連の処理を実行するが、 例えば色情報を使つた色検出処 理と組み合わせて特定の画像パターンを検出してもよく、 さらには他の複数の検 出処理を種々に組み合わせて処理を実行するようにしてもよい。 またブースティ ングの手法に代えて、 遺伝的アルゴリズム （G A： Genetic Algorithms) 等を用 いるようにしてもよい。 また動いている物体のみを認識する場合には、 動画像記 録処理部 1 0で検出される動きべクトルを利用するようにしてもよい。 なおこの ように他の手法と組み合わせてパターン認識処理すれば、 処理速度を高速度化し て精度を向上することができる。
制御部 5は、 この撮像装置 1全体の動作を制御する制御手段であり、 図示しな いメモリに記録されたプログラムを実行し、 この撮像装置 1の各部の動作を制御 する。 この実施例において、 このプログラムは、 この撮像装置 1に事前にインス トールされて提供されるものの、 この事前のインストールに代えて、 光ディスク 、 磁気ディスク、 メモリカード等の記録媒体に記録して提供するようにしてもよ く、 インターネット等のネットワークを介したダウンロードにより提供してもよ レ、。 また画像認識処理部 1 4における画像認識処理をこの制御部 5で併せて実行 するようにしてもよい。
すなわち制御部 5は、 標準動作モードでは、 フィールド周波数 6 0 〔 f p s〕 で撮像結果を取得するようにイメージセンサ 4の動作を制御し、 またこのフィー ルド周波数 6 0 〔 f p s〕 の撮像結果を表示部 1 2で表示するように、 A F E 6 、 カメラ信号処理部 7、 解像度変換処理部 8、 表示処理部 9の動作を制御する。 従ってこの場合、 この撮像装置 1では、 フィールド周波数 6 0 〔f p s〕 の撮像 結果が順次、 A F E 6、 カメラ信号処理部 7、 解像度変換処理部 8、 表示処理部 9で処理されて表示部 1 2で表示される。 また制御部 5は、 ユーザーが記録開始 のトリガスィツチを操作すると、 動画像記録処理部 1 0に動作の開始を指示し、 表示部 1 2でモニタ画像を表示しながら、 解像度変換処理部 8から出力されるフ ィールド周波数 6 0 〔f p s〕 の画像データを動画像記録処理部 1 0で順次デー タ圧縮して映像記録媒体 3に記録する。 またこの状態でユーザーが再びトリガス イッチを操作すると、 動画像記録処理部 1 0に動作の停止を指示し、 画像データ の記録を停止する。
またユーザーが、 映像記録媒体 3の再生を指示すると、 制御部 5は、 動画像記 録処理部 1 0に映像記録媒体 3の再生を指示し、 映像記録媒体 3に記録された符 号化データを動画像記録処理部 1 0で順次データ伸長して表示処理部 9に出力し 、 この画像データを表示部 1 2で表示する。
これに対してユーザーがスローモーション撮影モードを指示すると、 制御部 5 は、 スローモーション撮影モードへの動作モードの切り換えを所定のタイミング で各部に指示し、 イメージセンサ 4でフィールド周波数 2 4 0 〔f p s〕 の撮像 結果を取得する。 また第 1図との対比により第 5図に示すように、 このフィール ド周波数 2 4 0 〔 f p s〕 の撮像結果を解像度変換処理部 8でフィールド周波数 6 0 [ f p s ] の画像データに変換して表示部 1 2で表示しながら、 フィールド 周波数 2 4 0 〔 f p s〕 の撮像結果をメモリ 2に順次循環的に記録する。
また制御部 5は、 所定のタイミングで各部の動作を切り換え、 第 5図との対比 により第 6図に示すように、 その時点でメモリ 2に格納されているフィールド周 波数 2 4 0 〔 f p s〕 の撮像結果を順次フィールド周波数 6 0 〔 f p s〕 で読み 出す。 またこの読み出したデータを画像圧縮伸長部 1 1で元の画像データにデー タ伸長し、 この画像データを表示部 1 2で表示しながら、 動画像記録処理部 1 0 で映像記録媒体 3に記録する。
制御部 5は、 このスローモーション撮影モードにおいて、 メモリ 2への画像デ ータの書き込みを終了するタイミングを、 画像認識処理部 1 4における画像パタ ーンの検出結果を基準にして設定する。 より具体的に、 制御部 5は、 画像認識処 理部 1 4における画像パターンの検出結果に基づいて、 所定の特定パターンが所 定の順序で検出されるタイミングを検出し、 この検出したタイミングに基づいて 、 メモリ 2への画像データの書き込みを終了するタイミングを決定する。
ここでこの実施例において、 この特定パターンは、 画像認識処理部 1 4におけ る画像認識対象が、 それぞれ撮像結果の特定の領域に存在する画像パターンであ り、 スローモーション撮影モードにおける撮影モード毎にそれぞれ複数のパター ンが設けられる。
すなわち撮影モードがゴルフスィングモードの場合、 画像認識処理部 1 4にお ける画像認識対象がボールに設定され、 第 7図に示すように、 1フィールドの画 面を水平方向及び垂直方向に分割して形成される複数領域において、 水平方向の 中央、 最も下側の領域 Aにボールが存在するパターン （第 7図 （A) 及び （B ) ) 力 これら特定パターンのうちの第 1及び第 2のパターンに設定される。 また 水平方向、 最も右側の領域 B又は最も左側の領域 Cにボールが存在するパターン (第 7図 （C ) ) 、 これら特定パターンのうちの第 3のパターンに設定される 。 なおここでこの第 7図の例は、 1画面の水平方向及び垂直方向の分割数がそれ ぞれ 5及び 3に設定された場合である。
ここでこの第 7図の例では、 ボールをティーアップしてアドレスした後、 ボー ルを打ち出すと、 これら第 1〜第 3のパターンが順次検出されることになる。 こ の場合、 ボールを打ち出した状態である第 3のパターンが検出されたフィールド から、 所定フィールド数だけ逆上ったフィールドまでが、 ゴルフスイングを撮影 したフィールドであり、 ユーザーが所望するシーンであると判断される。
そこで制御部5は、 ゴルフスイングモードでは、 ユーザーがスローモーション 撮影モードを指示すると、 メモリ 2への撮像結果の書き込み開始を指示する。 ま たポールを認識対象に設定して画像認識処理部 1 4に画像認識処理を指示し、 画 像認識処理結果に基づいて、 順次、 第 1〜第 3のパターンを検出する。 また第 3 のパターンが検出されると、 その後、 所定の時間 Tだけ経過した時点で、 メモリ 2への書き込みを終了し、 その時点でメモリ 2に格納されている撮像結果を読み 出して映像記録媒体 3に格納する。 なおここでこの所定の期間 Tは、 撮影モード のユーザー設定時、 ユーザーにより設定される時間である。
これに対して撮影モ一ドが野球スィングモードの場合、 画像認識処理部 1 4に おける画像認識対象がボールに設定される。 また第 8図に示すように、 水平方向 、 最も右側の領域 Bにボールが存在するパターン （第 8図 （A) ) 、 これら特 定パターンのうちの第 1のパターンに設定される。 また水平方向、 中央の領域 D 及び水平方向、 最も右側の領域 Bにポールが存在するパターン （第 8図 （B ) 及 び （C ) ) 力 これら特定パターンのうちの第 2及び第 3のパターンに設定され る。
ここでこの第 8図の例では、 投手が投げたポールが画面に進入した時点で第 1 のパターンが検出され、 打者がボールを打つ瞬間に、 第 2のパターンが検出され 、 この打者が打ったボールが画面から飛び出す瞬間に、 第 3のパターンが検出さ れることになる。 この場合、 第 3のパターンが検出されたフィールドから、 所定 フィールド数だけ逆上ったフィールドまでが、 ユーザーの所望するシーンである と判断される。
そこで制御部 5は、 この野球スイングモードでも、 ユーザーがスローモーショ ン撮影モードを指示すると、 メモリ 2への撮像結果の書き込み開始を指示する。 またボールを認識対象に設定して画像認識処理部 1 4に画像認識処理を指示し、 画像認識処理結果に基づいて、 順次、 第 1〜第 3のパターンを検出する。 また第 3のパターンが検出されると、 その後、 所定の時間 Tだけ経過した時点で、 メモ リ 2への書き込みを終了し、 その時点でメモリ 2に格納されている撮像結果を読 み出して映像記録媒体 3に格納する。
また制御部 5は、 他の撮影モードでも、 同様に、 スローモーション撮影モード の指示により、 メモリ 2への撮像結果の書き込み開始を指示し、 それぞれ撮影モ 一ドに対応する画像認識処理を画像認識処理部 1 4に指示する。 また画像認識処 理部 1 4による認識結果に基づいて、 順次、 第 1、 第 2、 第 3のパターンを検出 し、 第 3のパターンを検出した時点から所定時間 Tだけ経過して、 メモリ 2への 書き込みを終了し、 その時点でメモリ 2に格納されている撮像結果を読み出して 映像記録媒体 3に格納する。
第 9図は、 このスローモーション撮影モードに関する制御部 5の処理手順を示 すフローチャートであり、 第 1 0図は、 この第 9図との対比により、 撮像装置 1 の各部の動作を示すタイムチャートである。 なおこの第 1 0図では、 第 1図にお いて各部に付した符号により対応する部位の動作を示し、 2 W及び 2 Rは、 それ ぞれメモリ 2の書き込み動作及び読み出し動作を示す。
制御部 5は、 標準動作モードにおいて、 フィールド周波数 6 0 〔 f p s〕 で撮 像結果を取得するようにイメージセンサ 4の動作を制御し （第 1 0図 （A) ) 、 またこのフィールド周波数 6 0 〔f p s〕 の撮像結果を表示部 1 2で表示しなが ら （第 1 0図 （F ) 及び （G) ) 、 映像記録媒体 3に記録する （第 1 0図 （E ) ) 。 なお第 1 0図では、 時点 t 1までの期間が、 この標準動作モードによる動作 期間である。
この状態で、 スローモーション撮影モードの開始をユーザーが指示すると、 第
9図の処理手順を開始し、 撮影モードに応じた画像認識処理を画像認識処理部 1 4に指示し、 またメモリ 2へのフィールド周波数 2 4 0 〔f p s〕 の撮像結果の 記録開始を各部に指示する。 従ってこの場合、 撮像装置 1では、 イメージセンサ 4からフィールド周波数 2 4 0 〔f p s〕 の撮像結果を取得してメモリ 2に順次 循環的に格納しながら、 フィールドを間引きしたフィールド周波数 6 0 [ f p s 〕 の撮像結果が表示部 1 2から提供される （第 1 0図 （A) 〜 （G) ) 。
制御部 5は、 このように各部の動作を設定すると、 ステップ S P 1からステツ プ S P 2に移り、 画像認識処理部 1 4の画像認識結果に基づいて、 第 1のパター ンが検出されたか否か判断する。 制御部 5は、 このステップ S P 2で否定結果が 得られると、 ステップ S P 2を繰り返し、 第 1のパターンが検出されるのを待機 する。
また第 1のパターンが検出されると、 制御部 5は、 ステップ S P 2からステツ プ S P 3に移り、 ここで続く画像認識処理部 1 4の画像認識結果に基づいて、 第 2のパターンが検出されたか否か判断する。 このステップ S P 3で否定結果が得 られると、 制御部 5は、 ステップ S P 3を繰り返し、 第 2のパターンが検出され るのを待機する。
また第 2のパターンが検出されると、 制御部 5は、 ステップ S P 3からステツ プ S P 4に移り、 ここで続く画像認識処理部 1 4の画像認識結果に基づいて、 第 3のパターンが検出されたか否か判断する。 このステップ S P 4で否定結果が得 られると、 制御部 5は、 ステップ S P 4を繰り返し、 第 3のパターンが検出され るのを待機する。
制御部 5は、 ステップ S P 4で第 3のパターンが検出されると、 ステップ S P 4からステップ S P 5に移り、 ユーザーが設定した期間 Tの経過を待機した後、 メモリ 2への書き込みを終了する。 また続くステップ S P 6において、 その時点 でメモリ 2に格納されている撮像結果を読み出して映像記録媒体 3に格納する。 なお第 1 0図では、 時点 t 1から時点 t 2までの期間が、 このスローモーション 撮影モードにおけるメモリ 2への書き込みの期間であり、 続く時点 t 2から時点 t 3までの期間が、 メモリ 2からの読み出しの期間である。
制御部 5は、 メモリ 2に格納した撮像結果の読み出しを完了すると、 ステップ S P 6からステップ S P 7に移り、 ユーザーがスローモーション撮影の繰り返し を指示しているか否か判断し、 ここで肯定結果が得られると、 フィールド周波数 2 4 0 〔f p s〕 の撮像結果のメモリ 2への記録開始を指示した後、 ステップ S P 2に戻る。 これに対してユーザーがスローモーション撮影の繰り返しを指示し ていない場合、 ステップ S P 7からステップ S P 8に移ってこの処理手順を終了 する。
なお制御部 5は、 メモリ 2に撮像結果を書き込んでいる期間の間、 タリーラン プを点灯し、 及び又は表示部 1 2に所定のマークを表示し、 ユーザーが撮影状況 を巴握できるようにする。
( 2 ) 実施例 1の動作
以上の構成において、 この撮像装置 1では （第 1図） 、 標準動作モードに設定 されると、 イメージセンサ 4において、 フィールド周波数 6 0 〔f p s〕 の撮像 結果が取得され、 この撮像結果が A F E 6、 カメラ信号処理部 7、 解像度変換処 理部 8、 表示処理部 9で順次処理されて表示部 1 2で表示される。 また解像度変 換処理部 8から出力される画像データが動画像記録処理部 1 0でデータ圧縮処理 された後、 映像記録媒体 3に記録される。
またスローモーション撮影モードに動作モードが切り換えられると、 イメージ センサ 4において、 フィールド周波数 2 4 0 〔f p s〕 の撮像結果が取得され、 このフィールド周波数 2 4 0 〔f p s〕 の撮像結果が A F E 6、 カメラ信号処理 部 7、 画像圧縮伸長部 1 1、 メモリ制御部 1 3を順次介してメモリ 2に順次循環 的に格納される （第 5図） 。
撮像装置 1では、 所定のタイミングで、 このフィールド周波数 2 4 0 [ f p s 〕 の撮像結果のメモリ 2への格納が終了し、 その時点でメモリ 2に格納されてい る撮像結果が、 書き込み時より低速度で順次読み出される。 また読み出された撮 像結果が、 順次、 画像圧縮伸長部 1 1、 解像度変換処理部 8、 動画像記録処理部 1 0で処理されて映像記録媒体 3に記録される （第 6図） 。
従ってこの撮像装置 1では、 スローモーション撮影モードに動作モードを切り 換えて、 所望の被写体をスローモーション撮影した映像を映像記録媒体 3に記録 することができる。
しかしながら例えば操作子の操作時点を基準にして、 メモリ 2への撮像結果の 書き込みを終了したのでは、 操作子の操作が速すぎたり、 遅すぎたりする場合も あり、 必ずしも的確に所望するシーンを撮影できない場合が発生する。 また音声 をトリガにした場合には、 誤ったタイミングをトリガにする場合も予測され、 こ の場合も的確に所望するシーンを撮影できなくなる。
そこでこの撮像装置 1では、 スローモーション撮影モードに設定されると、 画 像認識処理部 1 4における画像認識処理により （第 2図〜第 4図） 、 撮影モード に応じた画像パターンが検出され、 制御部 5において、 この画像認識処理結果が 解析されて、 この画像パターンが撮像結果の何れの領域に存在するか判定される 。 またこの判定結果に基づいて、 撮影モード毎の、 特定パターンが予め指定され た順序で検出されるタイミングが検出される。 またこの検出したタイミングを基 準にして、 メモリ 2の撮像結果の書き込みを終了し、 その時点でメモリ 2に格納 されている撮像結果の読み出しが開始される。
従ってこの撮像装置 1では、 撮像結果のパターン認識結果に基づいてスローモ ーション撮影する期間が設定され、 ユーザーによる操作子の操作を基準にしてス ローモーション撮影する期間を設定する場合、 音声を基準にしてスローモーショ ン撮影する期間を設定する場合に比して、 確実にユーザーの所望するシーンを撮 影することができる。
またさらにこのパターン認識結果に基づいてスローモーション撮影する期間を 設定する処理を、 撮影モード毎の、 特定パターンが予め指定された順序で検出さ れるタイミングを基準にして実行することから、 基準とするタイミングの誤判定 を有効に回避することができ、 一段と確実に所望するシーンを的確に撮影するこ とができる。
すなわち例えばゴルフスイングモードでは （第 7図） 、 水平方向の中央、 最も 下側の領域にボールが存在する第 1のパターンに続いて、 同様に水平方向の中央 、 最も下側の領域にボールが存在する第 2のパターンが検出され、 さらに水平方 向、 最も右側の領域にボールが存在する第 3のパターンが検出されると、 この第 3のパターンが検出されたタイミングを基準にしてスローモーション撮影する期 間が設定される。
この場合に、 例えば第 1又は第 2のパターンのみを基準にしてスローモーショ ン撮影する期間を設定していたのでは、 この第 1又は第 2のパターンが、 ボール がティーアップされている比較的長い期間のパターンであることから、 メモリ 2 への撮像結果の書き込みを終了するタイミングを特定できないことになる。 また 第 3のパターンのみを基準にしてスローモーション撮影する期間を設定していた のでは、 例えばボール以外の蝶等が画面に飛び込んできた場合等に、 誤ってメモ リ 2への撮像結果の書き込みを終了することになる。
また野球スイングモードでは （第 8図） 、 水平方向の最も右側の領域にポール が存在する第 1のパターンに続いて、 同様に水平方向の中央の領域にボールが存 在する第 2のパターンが検出され、 さらに水平方向、 最も右側の領域にボールが 存在する第 3のパターンが検出されると、 この第 3のパターンが検出されたタイ ミングを基準にしてスローモーション撮影する期間が設定される。
この場合に、 例えば第 1〜第 3のパターンの何れかのパターンのみを基準にし てスローモーション撮影する期間を設定していたのでは、 例えばバッターがボー ルを見送った場合にも、 スローモーション撮影した映像を映像記録媒体 3に記録 することになり、 無駄にスローモーション撮影することになる。
しかしながらこの実施例のように、 これら第 1〜第 3のパターンが予め指定さ れた順序で検出されるタイミングを基準にしてメモリ 2への撮像結果の書き込み を終了すれば、 このような無駄、 誤動作を有効に回避して、 ユーザーの所望する シーンを確実に撮影することができる。
またこのような特定パターンが、 この実施例では、 画像認識処理部の画像認識 対象が、 撮像結果の特定箇所に存在する画像であることから、 例えば共通の画素 差分テーブルを用いて複数種類の球技に対応する場合等、 画像認識処理部におけ る構成を簡略化することもでき、 簡易な構成でユーザーの所望するシーンを確実 に撮影することができる。
( 3 ) 実施例 1の効果
以上の構成によれば、 特定パターンの画像が特定の順序で検出されるタイミン グを基準にして、 メモリへの撮像結果の高速度の書き込みを終了し、 このメモリ に書き込んだ撮像結果を記録媒体に記録することにより、 所望するシーンを確実 にスローモーション撮影することができる。
またこの特定パターンが、 画像認識部で検出する画像認識対象が 1画面中の特 定箇所に存在する画像であることにより、 簡易な構成でユーザーの所望するシー ンを確実に撮影することができる。
( 4 ) 実施例 2
第 1 1図は、 第 7図及び第 8図との対比により、 本発明の実施例 2の撮像装置 における、 スローモ一ション撮影時のタイミング設定の説明に供する略線図であ る。 この実施例の撮像装置は、 このタイミングの設定方法が異なる点を除いて、 実施例 1の撮像装置 1と同一に構成される。 従って以下においては、 適宜、 第 1 図の構成を流用して説明する。
ここでこの実施例の撮像装置は、 実施例 1の撮像装置 1と同様に、 特定パター ンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮 影する期間を設定する。 この実施例の撮像装置は、 この特定パターンに、 撮影対 象の合図を検出するパターンが適用される。
具体的に、 この実施例では、 ゴルフスイングモードにおいて、 両目を開いたパ ターンが第 1のパターンに設定され （第 1 1図 （A) ) 、 また右目を閉じたパタ 一ンが第 2のパターンに設定される （第 1 1図 （B ) ) 。 また両目を開いたバタ 一ンが第 3のパターンに設定される （第 1 1図 （C ) ) 。 制御部 5は、 これら第 1〜第 3のパターンを順次検出し、 撮影対象のウィンクによる合図を検出する。 制御部 5は、 ウィンクにより右目を閉じた後に、 第 3のパターンが検出されると 、 この第 3のパターンの検出時点からメモリ 2への撮像結果の書き込みを開始す る。
また打ち終わってボールを見送っている横顔のパターンが第 4のパターンに設 定され、 （第 1 1図 （D ) ) 、 また正面に顔の向き直したパターンが第 5のパタ ーンに設定される （第 1 1図 （E ) ) 。 さらに左目を閉じたパターンが第 6のパ ターンに設定される （第 1 1図 （F ) ) 。 制御部 5は、 これら第 4〜第 6のパタ ーンを順次検出し、 撮影対象のウィンクによる合図を検出する。 すなわちこの場 合、 撮影対象の人物がウィンクにより左目を閉じると第 6のパターンが検出され 、 制御部 5は、 この第 6のパターンの検出時点からスロ一モーション撮影による メモリ 2への書き込みを停止し、 メモリ 2からの読み出しを開始する。
従ってこの実施例において、 画像認識処理部 1 4は、 開いた目のパターンと、 閉じた目のパターンとが画素差分テーブルに記録されて保持され、 制御部 5の指 示によりこれら開いた目のパターンと、 閉じた目のパターンとを検出して制御部 5に通知する。
この実施例によれば、 特定パターンの画像が特定の順序で検出されるタイミン グを基準にしてスローモーション撮影する期間を設定するようにして、 この所定 の順序で検出される特定パターンが、 撮影対象の合図を検出するパターンである ことにより、 撮影対象の意図が反映するようにスローモーション撮影して、 一段 と確実にユーザーの所望するシーンを撮影することができる。
( 5 ) 実施例 3
第 1 2図は、 第 7図及び第 8図との対比により、 本発明の実施例 3の撮像装置 における、 スローモーション撮影時のタイミング設定の説明に供する略線図であ る。 この実施例の撮像装置は、 このタイミングの設定方法が異なる点を除いて、 上述の実施例の撮像装置と同一に構成される。 従って以下においては、 適宜、 第 1図の構成を流用して説明する。
この実施例では、 実施例 1の撮像装置 1と同様に、 特定パターンの画像が特定 の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設 定する。 この実施例の撮像装置は、 この特定パターンに、 一連の動作で検出され る人物のポーズのパターンが適用される。 従ってこの実施例の撮像装置は、 撮影 対象のポーズの変化を基準にしてスローモーション撮影する期間を設定する。 すなわちこの実施例では、 第 1 2図に示すように、 ゴルフスイングモードにお いて、 アドレスした時点である、 ゴルフクラブを構えて静止したポーズが第 1の パターンに設定され （第 1 2図 （A) ) 、 またテークバックしたポーズが第 2の パターンに設定される （第 1 2図 （B ) ) 。 またさらに打ち終わってボールを目 で追いかけているポーズが第 3のパターンに設定される （第 1 2図 （C) ) 。 従 つてこの実施例において、 画像認識処理部 1 4は、 これら第 1〜第 3のパターン を検出可能に辞書が作成される。
制御部 5は、 ユーザーがスロ一モーション撮影を指示すると、 メモリ 2への高 速度の書き込みを開始する。 また画像認識処理部 1 4に画像認識処理の開始を指 示し、 画像認、識処理結果に基づいて、 第 1〜第 3のパターンを順次検出する。 ま た第 3のパターンを検出した後、 所定の期間 Tだけ経過すると、 メモリ 2への書 き込みを終了し、 その時点でメモリ 2に格納されている撮像結果の読み出しを開 始する。
この実施例によれば、 特定パターンの画像が特定の順序で検出されるタイミン グを基準にしてスローモーション撮影する期間を設定するようにして、 この所定 の順序で検出される特定パターンが、 一連の動作で検出されるポーズであること により、 例えばゴルフスイングを撮影する場合のように、 特定のポーズを伴う被 写体の動きを的確に判定して、 一段と確実にユーザーの所望するシーンを撮影す ることができる。
( 6 ) 実施例 4
この実施例の撮像装置は、 特定パターンの画像が特定の順序で検出されるタイ ミングを基準にしてスローモーション撮影する期間を設定するようにして、 この 特定パターンの設定をユーザーの操作により受け付ける。 この実施例の撮像装置 は、 この特定パターンの設定が異なる点を除いて、 上述の各実施例の撮像装置と 同一に構成される。 従って以下においては、 適宜、 実施例 1の撮像装置の構成を 流用して実施例 4の撮像装置の構成を説明する。
すなわちこの撮像装置において、 制御部 5は、 ユーザーがスローモーション撮 影の登録モードを選択すると、 表示部 1 2にガイド用のメッセージを表示し、 及 び又はガイド用の音声を音声合成して出力し、 これらの表示及び又は音声により 、 登録モードにおける一連の操作をユーザーに指示する。
制御部 5は、 これらのガイドに従ったユーザーの操作により、 標準動作モード でスローモーション撮影する対象を試し撮りして映像記録媒体 3に記録する。 ま たこの試し撮りした動画像を再生して表示部 1 2で表示する。 制御部 5は、 この 動画像の再生において、 一時停止の操作をユーザーに指示し、 第 1 3図に示すよ うに、 スローモーション撮影対象の一場面をユーザーに選択させて、 表示部 1 2 で表示する。
この状態で、 制御部 5は、 画像認識処理部 1 4における画像認識対象の選択を 受け付ける。 すなわち制御部 5は、 所定のメニュー画面を表示して画像認識対象 を囲む枠 Wの選択を受け付け、 表示部 1 2で表示した静止画像上でこの枠 Wを表 示する。 また表示画面の側面に配置したアップ、 ダウンの操作子 1 6、 1 7の操 作に応動してこの枠 Wの表示を拡大、 縮小する。 また上下方向、 左右方向への移 動を指示するメュユー 1 8 U、 1 8 D、 1 8 R、 1 8 Lを表示画面に表示し、 タ ツチパネルを介して検出されるこれらメニュー 1 8 U、 1 8 D、 1 8 R、 1 8 L の操作に応動して枠 wの表示位置を上下、 左右に移動させる。 またユーザーが o Kのメニューを操作すると、 枠 Wで囲った画像を画像認識処理部 1 4の認識対象 に 'gsc E ί~ 00
すなわちこの場合、 制御部 5は、 この静止画像の画像データを画像認識処理部 1 4に転送して前処理した後、 この前処理で検出される特徴点を基準にして、 枠 Wで囲った部位から画素検索テーブルに登録する 2点の座標値を検出する。 また この 2点の画素差分値を計算してしきい値を計算し、 これら 2点の座標値、 しき い値をメモリ 1 4 Dに登録する。 なおこの場合に、 上述したように、 例えば色情 報を使った色検出処理と組み合わせて特定の画像パターンを検出する場合、 他の 複数の検出処理を種々に組み合わせて処理を実行する場合、 遺伝的アルゴリズム を用いる等にあっては、 各処理の実行に必要な情報を取得してメモリ 1 4 Dに辞 書を構築する。
因みに、 試し撮りの処理を実行しないで、 単に枠 Wの設定を受け付けて検出対 象の登録を受け付けるようにしてもよレ、。 この場合、 制御部 5は、 ユーザーによ り枠 Wの設定を受け付けた後、 スローモーション撮影の開始時、 設定された枠 W で囲まれる画像を認識対象に設定するように、 画像認識処理部 1 4に処理を指示 する。 画像認識処理部 1 4では、 この制御部 5の指示により、 スロ一モーション 撮影の開始時、 枠 Wで囲まれる画像より画素検索テーブルに検索対象を登録し、 以降、 この画素検索テーブルを用いて認識対象を検索する。
制御部 5は、 メモリ 1 4 Dに辞書を登録すると、 続いて第 1〜第 3のパターン の設定を受け付ける。 ここで制御部 5は、 第 1 4図に示すように、 表示部 1 2の 表示を切り換え、 画面の左側に、 パターン毎に、 画像認識対象の有無を判定する 領域の境界を表示する。 またこのパターン毎の表示において、 ユーザーによる領 域の選択を受け付ける。 なおこの第 1 4図に示す第 1〜第 3のパターンは、 1画 面が水平方向に 3つに分割されて 3つの領域が設けられ、 さらに中央の領域が上 下に分割されて各領域が設定された例である。 制御部 5は、 ユーザーにより各領 域の選択をタツチパネルを介して検出し、 ユーザーが選択した領域の表示色を切 り換え、 ユーザーに通知する。 なおこの第 1 4図では、 ユーザーが選択した領域 の表示をハッチングにより示す。 従ってこの第 1 3図、 第 1 4図の例では、 水平 方向の中央、 下側の領域にボールが存在する場合が、 第 1及び第 2のパターンに 割り当てられ、 水平方向、 右側の領域にボールが存在する場合が、 第 3のパター ンに割り当てられることになる。
なおこのような第 1〜第 3のパターンの領域を表示してユーザーによる領域の 選択を受け付ける代わりに、 直接、 ユーザーにより表示画面上で領域の指定を受 け付けるようにしてもよい。 また試し撮りした映像を再生して、 各パターンに対 応するシーンで一時停止の操作を受け付けるようにして、 この一時停止した画像 の画像処理により、 各パターンの登録を受け付けるようにしてもよい。 すなわち この場合、 一時停止した画像において、 認識対象が存在する箇所を検出し、 この 検出結果に基づいて各パターンにおいて認識対象が存在する領域を検出する。 ま た予め設定した所定の動きのパターンを表示し、 この動きのパターンをユーザー により選択させるようにしてパターンの登録を受け付けるようにしてもよい。 ま た一般的な、 例えばゴルフモード、 テニスモード等の、 あらかじめ設定されたパ ラメータを簡易設定モードとしてまとめて用意しておき、 このパラメータの変更 を受け付けて各パターンの登録を受け付けるようにしてもよい。
なお実施例 3について上述したように、 ポーズによるパターンでタイミングを 検出する場合には、 試し撮りした映像を再生して一時停止の操作を受け付け、 こ の一時停止した画像の解析により、 ポーズ毎に、 パターンの登録を受け付けるよ うにしてもよい。
制御部 5は、 ユーザーにより各パターンの領域が選択されると、 所定の操作子 の操作により、 登録モードを終了し、 特定パターンの設定受け付けを終了する。 また続いてスローモーション撮影が指示されると、 制御部 5は、 実施例 1と同 様に、 登録モードで登録された第 1〜第 3のパターンが順次検出されるタイミン グを基準にして、 メモリ 2への撮像結果の書き込みを終了する。
この実施例において、 さらに制御部 5は、 第 1及び第 2のパターンを検出する 際には、 この第 1及び第 2のパターンで認識対象が存在する水平方向の中央、 下 側の領域でのみ、 画像認識処理するように、 画像認識処理部 1 4に処理を指示す る。 また第 2のパターンを検出した後は、 第 3のパターンで認識対象が存在する 水平方向の右側の領域でのみ、 画像認識処理するように、 画像認識処理部 1 4に 処理を指示する。 またこの制御部 5の指示に応動して、 画像認識処理部 1 4は、 第 1 5図 （A) に示すように、 制御部 5で指示された領域だけで、 パターンマツ チングの領域を走査して認識対象であるボールの画像を検出し、 パターンマッチ ングによる画像検出処理に必要となる前処理のひとつである、 検出画像のスケー リング処理を省略する。 また全画面におけるパターンマッチングの領域の走查を 省き、 一部領域だけで走査の処理を実行して処理を簡略化する。 なおここで第 1 5 (A) 図は、 第 1 3図で説明した水平方向、 中央、 下側の領域だけで、 認識対 象を検出する場合を示す図であり、 矢印でパターンマッチングの領域の走查を示 す。
また画像認識処理部 1 4は、 直前の画像認識結果を基準にして、 パターンマツ チングする領域の大きさを狭め、 高速度に画像認識処理を実行する。 すなわち画 像認識処理部 1 4は、 各領域での画像認識処理では、 先頭の 1フィールドで、 第 1 5 (A) 図に示すように、 画像認識処理が指示された領域の全てで、 パターン マッチングの領域 A Rをラスタ走查させて画像認識対象 aを検出する。 また続く 2フィールド目以降では、 第 1 5 ( B ) 図に示すように、 直前フィールドで検出 した画像認識対象 aの位置を中心とした一定の範囲 A R 1で、 パターンマツチン グの領域 A Rをラスタ走査させて画像認識対象 aを検出する。
なお実施例 2で上述したように、 目の開け閉めを検出する場合には、 第 1 6 ( A) 図に示すように、 最初に顔に関する辞書 （画素差分テーブル） を用いて顔の 位置を特定した後、 この特定した顔の位置から目が存在すると想定される範囲を 設定し、 第 1 6 ( B ) 図に示すように、 この設定した範囲を目に関する辞書を用 いて検索して開いた目、 閉じた目を検出することにより、 直前の画像認識結果を 基準にして、 パターンマッチングする領域の大きさを狭め、 高速度に画像認識処 理を実行することができる。 またこの場合、 画像認識処理の精度を向上すること ができる。
この実施例によれば、 特定パターンの画像が特定の順序で検出されるタイミン グを基準にしてスローモーション撮影する期間を設定するようにして、 ユーザー の操作によりこの特定パターンの登録を受け付けることにより、 種々の被写体の 撮影に適用して、 ユーザーの所望するシーンを確実にスローモーション撮影する ことができる。
( 7 ) 実施例 5
第 1 7図は、 第 1 0図との対比により、 本発明の実施例 5の撮像装置の動作の 説明に供するタイムチャートである。 この実施例の撮像装置においては、 スロー モーション撮影モードにおいて、 メモリに高速度で記録した撮像結果を記録する 期間についても、 フィールド間引きした画像データを記録媒体に記録する。 この 実施例の撮像装置は、 この記録媒体への記録に関する構成が異なる点を除いて、 上述の各実施例と同一に構成される。 従ってこの実施例では、 第 1図の構成を流 用して説明する。
すなわちこの実施例において、 解像度変換処理部 8は、 標準動作モードでは、 実施例 1について上述したと同一に、 カメラ信号処理部 7で処理された画像デー タ D 1を記録用に動画像記録処理部 1 0に出力し、 また解像度を変換してモユタ 用に表示部 1 2に出力する。
これに対してスローモーション撮影モードにおいて、 メモリ 2への記録時、 フ ィールド周波数 2 4 0 〔f p s〕 の画像データ D 1のフィールドを間引きしてモ ニタ用に表示部 1 2に出力しながら、 フィールド周波数 2 4 0 〔f p s〕 の画像 データ D 1をメモリ 2への記録用に画像圧縮伸長部 1 1に出力するようにし、 さ らにフィールド間引きしたフィールド周波数 6 0 〔f p s〕 の画像データ D 1を 記録用に動画像記録処理部 1 0に出力する。 これに対してメモリ 2からの読み出 し時、 実施例 1について上述したと同一に、 画像圧縮伸長部 1 1から出力される フィールド周波数 6 0 〔 f p s〕 の画像データを記録用に動画像記録処理部 1 0 に出力し、 また解像度を変換してモニタ用に表示部 1 2に出力する。
従ってこの実施例では、 フィールド周波数 6 0 [ f p s ] の撮像結果を途切れ ることなく記録して、 意図したシーンのみスローモーション撮影した撮像結果を 自動的に記録することができる。
この実施例によれば、 特定パターンの画像が特定の順序で検出されるタイミン グを基準にしてスローモーション撮影する期間を設定するようにして、 フィール ド周波数 6 0 〔f p s〕 の撮像結果を途切れることなく記録して、 意図したシー ンのみスローモーション撮影することができる。
( 8 ) 実施例 6
第 1 8図は、 本発明の実施例 6の撮像装置に適用されるメモリ 2の構成を示す 略線図である。 この実施例の撮像装置は、 このメモリ 2に関する構成が異なる点 を除いて、 上述の実施例の撮像装置と同一に構成される。 従ってこの実施例では 、 第 1図の構成を流用して説明する。
ここでこの実施例においてメモリ 2は、 記録可能な領域が複数の領域に区切ら れ、 領域 1〜領域 5が形成される。 この撮像装置では、 連続したスローモーショ ン撮影にこれら領域 1〜領域 5を順次循環的に割り当てて撮像結果を格納し、 ス ローモーション撮影を繰り返すことができるようにする。 なおこの第 1 8図では
、 各領域における撮像結果の循環的な書き込みを矢印で示す。
ここで第 1 9図は、 第 9図との対比によりこの撮像装置の制御部 5の処理手順 を示すフローチャートである。 また第 2 0図は、 この第 1 9図に示す処理手順に おいて、 ユーザーが即時記録を選択していない場合の、 撮像装置の各部の動作を 第 1 7図との対比により示すタイムチャートである。
制御部 5は、 スローモーション撮影モードの開始をユーザーが指示すると、 第 1 9図の処理手順を開始し、 撮影モードに応じた画像認識処理を画像認識処理部 1 4に指示し、 またメモリ 2へのフィールド周波数 2 4 0 〔f p s〕 の撮像結果 の記録開始を各部に指示する。 また続いてステップ S P 1 1からステップ S P 1 2に移り、 画像認識処理部 1 4の画像認識結果に基づいて、 第 1のパターンが検 出されたか否か判断する。 制御部 5は、 このステップ S P 1 2で否定結果が得ら れると、 ステップ S P 1 2を繰り返し、 第 1のパターンが検出されるのを待機す JP2007/067082 る。
また第 1のパターンが検出されると、 制御部 5は、 ステップ S P 1 2からステ ップ S P 1 3に移って第 2のパターンが検出されるのを待機し、 第 2のパターン が検出されると、 制御部 5は、 ステップ S P 1 3からステップ S P 1 4に移る。 またこのステップ S P 1 4において、 第 3のパターンが検出されるのを待機し、 第 3のパターンが検出されると、 ステップ S P 1 4からステップ S P 1 5に移る ここで制御部 5は、 ユーザーが設定した期間 Tの経過を待機した後、 メモリ 2 への書き込みを終了する。 制御部 5は、 続くステップ S P 1 6において、 ユーザ 一が即時記録を選択しているか否か判断し、 ここで肯定結果が得られると、 ステ ップ S P 1 6からステップ S P 1 7に移る。 ここで制御部 5は、 その時点でメモ リ 2に格納されている撮像結果を読み出して映像記録媒体 3に格納する。 なお第 2 0図では、 時点 t 1から時点 t 2までの期間が、 このスローモーション撮影モ ードにおけるメモリ 2への書き込みの期間であり、 続く時点 t 2〜時点 t 3まで の期間が、 メモリ 2からの読み出しの期間である。
制御部 5は、 メモリ 2からの読み出しが終了すると、 ステップ S P 1 7からス テツプ S P 1 8に移り、 ユーザーがスローモーション撮影の繰り返しを指示した か否か判断し、 ここで肯定結果が得られると、 フィールド周波数 2 4 0 〔f p s 〕 の撮像結果のメモリ 2への記録開始を指示した後、 ステップ S P 1 2に戻る。 これに対してユーザーがスローモーション撮影の繰り返しを指示していない場合 、 ステップ S P 1 8からステップ S P 1 9に移り、 ユーザーが即時記録を選択し ているか否か判断し、 ここで肯定結果が得られると、 この場合、 それまでにメモ リ 2に格納した撮像結果を映像記録媒体 3に記録する処理を完了していることか ら、 ステップ S P 1 9からステップ S P 2 0に移ってこの処理手順を終了する。 従ってこの実施例の撮像装置は、 ユーザーが即時記録を選択している場合には 、 上述の実施例と同様にしてスローモーション撮影の処理を実行する。
これに対してユーザーが即時記録を選択していない場合、 ステップ S P 1 6に おいて否定結果が得られることにより、 制御部 5は、 メモリ 2からの読み出しを 実行することなく、 ステップ S P 1 6からステップ S P 1 8に移り、 ユーザーが スローモーション撮影の繰り返しを指示したか否か判断し、 ここで肯定結果が得 られると、 フィールド周波数 2 4 0 〔 f p s〕 の撮像結果のメモリ 2への記録開 始を指示した後、 ステップ S P 1 2に戻る。 またこのとき直前まで撮像結果を記 録したメモリ 2の領域に対して、 続く領域に撮像結果を記録するように、 メモリ 制御部 1 3に動作の切り換えを指示する。
従ってこの場合、 この実施例の撮像装置では、 スローモーション撮影の繰り返 しの指示をユーザーが停止するまで、 順次、 領域 1〜領域 5を選択して撮像結果 を高速度でメモリ 2に格納する。 またこのときメモリ 2に格納した撮像結果を読 み出す処理を省略して、 続く領域に撮像結果を格納する。
またこのようにして撮像結果を順次メモリ 2に格納して、 ユーザーがスローモ ーション撮影の繰り返しの指示を停止すると、 又はユーザーがスローモーション 撮影の繰り返しを指示していない場合、 ステップ S P 1 8からステップ S P 1 9 に移り、 ここでユーザーが即時記録を選択しているか否か判断し、 この場合は否 定結果が得られることになる。 制御部 5は、 この場合、 ステップ S P 1 9からス テツプ S P 2 1に移り、 それまでにメモリ 2の各領域に格納されている撮像結果 をメモリ 2から読み出して映像記録媒体 3に記録し、 ステップ S P 2 0に移って この処理手順を終了する。
従ってこの実施例では、 メモリ 2に高速度で格納した撮像結果を最後に纏めて 読み出して映像記録媒体 3に格納し、 第 2 0図における時点 t 4〜時点 t 5の期 間がこの処理の期間に該当することになる。
この実施例によれば、 メモリを複数の領域に分割し、 各領域をそれぞれスロー モーション撮影における撮像結果の記録領域に順次設定することにより、 連続し てスローモーション撮影することができ、 ユーザーの使い勝手を向上することが できる。
( 9 ) 他の実施例
なお上述の実施例においては、 3つのパターンを用いてメモリ 2への書き込み 終了のタイミングを設定する場合について述べたが、 本発明はこれに限らず、 十 分に確実に書き込み終了のタイミングを設定できる場合には、 2つのパターンを 用いてメモリ 2への書き込み終了のタイミングを設定してもよく、 さらには 4つ 以上のパターンを用いてメモリ 2への書き込み終了のタイミングを設定してもよ い。
また上述の実施例 6においては、 ユーザーが即時記録を選択していない場合に 、 動作を切り換え、 メモリ 2に高速度で格納した撮像結果を最後に纏めて読み出 して映像記録媒体 3に格納する場合について述べたが、 本発明はこれに限らず、 メモリ 2への書き込み終了のタイミングを設定する場合と同様にして、 動作の切 り換え指示を検出するようにしてもよい。 この場合、 ユーザーは、 撮像装置から 離れた場所で、 この撮像装置の動作を切り換えることができ、 一段とユーザーの 使い勝手を向上することができる。 なおこの場合、 例えばタリ一ランプの点滅等 により、 動作の切り換えをユーザーに通知し、 誤った動作の切り換え指示を防止 することが必要と考えられる。
また上述の実施例においては、 メモリに格納した撮像結果を映像記録媒体に格 納する場合には、 この映像記録媒体に記録する撮像結果を表示部で表示してモ- タする場合について述べたが、 本発明はこれに限らず、 この表示部で表示する処 理を省略して、 イメージセンサで得られる撮像結果を表示部で表示しながら、 メ モリに格納した撮像結果をバックグラウンドで映像記録媒体に記録するようにし てもよい。
また上述の実施例においては、 標準動作モードではフィールド周波数 6 0 C f p s〕 で撮像結果を取得して映像記録媒体に記録する場合について述べたが、 本 発明はこれに限らず、 標準動作モードでもフィールド周波数 2 4 0 [ f p s ] で 撮像結果を取得し、 間引きして映像記録媒体に記録するようにしてもよレ、。
また上述の実施例においては、 標準動作モードではフィールド周波数 6 0 [ f p s〕 で撮像結果を取得し、 スローモーション撮影モードではフィールド周波数 2 4 0 〔f p s〕 で撮像結果を取得する場合について述べたが、 本発明'はこれに 限らず、 本発明の趣旨を逸脱しない範囲で、 必要に応じてこれらの周波数は種々 に設定することができ、 さらにはノンインターレース方式により撮像結果を取得 して記録する場合等に広く適用することができる。
また上述の実施例においては、 メモリ 2に高速度で格納した撮像結果を、 標準 動作モードにおけるフィールド周波数でメモリから読み出して映像記録媒体に記 録する場合について述べたが、 本発明はこれに限らず、 例えば標準動作モードに おけるフィールド周波数より高いフィールド周波数であって、 かつメモリへの書 き込み時より低いフィールド周波数でメモリから読み出して映像記録媒体に記録 するようにしてもよい。 このようにすればメモリに格納した撮像結果を短時間で 映像記録媒体に格納することができ、 例えばスローモーション撮影を繰り返す場 合の時間的な余裕を増大させることができる。 産業上の利用可能性
本発明は、 例えばビデオカメラに適用することができる

Claims

請求の範囲
1 . 撮像結果を出力する撮像部と、
前記撮像部から出力される撮像結果を格納して出力するメモリと、
前記撮像部から出力される撮像結果、 又は前記メモリから出力される撮像結果 を記録する記録媒体と、
前記撮像結果を画像認識して画像認識結果を出力する画像認識部と、
各部の動作を制御する制御部とを備え、
前記制御部は、
標準動作モードにおいて、
第 1のフィールド周波数又はフレーム周波数で、 前記撮像部から前記撮像結果 を出力させ、 前記記録媒体に記録し、
スローモーション撮影モードにおいて、
前記第 1のフィールド周波数又はフレーム周波数より周波数の高い、 第 2のフ ィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、 前記メモリに順次循環的に格納し、
前記画像認識結果に基づいて、 前記撮像結果で特定パターンが所定の順序で検 出されるタイミングを基準にして、 前記撮像結果の前記メモリへの格納を終了し 、 前記メモリに格納した前記撮像結果を、 前記第 2のフィールド周波数又はフレ ーム周波数より低い、 第 3のフィールド周波数又はフレーム周波数で読み出して 前記記録媒体に記録する
ことを特徴とする撮像装置。
2 . 前記第 3のフィールド周波数又はフレーム周波数が、 前記第 1のフィールド 周波数又はフレーム周波数である
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
3 . 前記特定パターンは、
前記画像認識部で画像認識する画像認識対象が、 1画面中の特定箇所に存在す る画像である
ことを特徴とする請求の範囲第 1項に記載の撮像装置,
4 . 前記所定の順序で検出される前記特定パターンが、 撮影対象の合図を検出す 5 るパターンである
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
5 . 前記所定の順序で検出される前記特定パターンが、 撮影対象の一連の動作で 検出される特定のポーズのパターンである
10 ことを特徴とする請求の範囲第 1項に記載の撮像装置。
6 . 前記制御部は、
ユーザーによる操作に応動して前記特定パターンの登録を受け付ける
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
15
7 . 前記制御部は、
前記スローモーション撮影モードにおいて、
前記撮像結果を前記メモリに順次循環的に格納している期間の間、 前記撮像部 から出力される前記撮像結果のフィールド周波数又はフレーム周波数を、 前記第 •20 1のフィールド周波数又はフレーム周波数に変換して前記記録媒体に記録する ことを特徴とする請求の範囲第 1項に記載の撮像装置。
8 . 撮像結果を出力する撮像部と、
前記撮像部から出力される撮像結果を格納して出力するメモリ と、
25 前記撮像部から出力される撮像結果、 又は前記メモリから出力される撮像結果 を記録する記録媒体と、
前記撮像結果を画像認識して画像認識結果を出力する画像認識部とを備える撮 像装置の制御方法において、
標準動作モードにおいて、 第 1のフィールド周波数又はフレーム周波数で、 前 記撮像部から前記撮像結果を出力させ、 前記記録媒体に記録する標準動作モード の記録ステップと、
スローモーション撮影モードにおいて、 前記第 1のフィールド周波数又はフレ ーム周波数より周波数の高い、 第 2のフィールド周波数又はフレーム周波数で前 記撮像部から前記撮像結果を出力させ、 前記メモリに順次循環的に格納するスロ 一モーション撮影モードの書き込みステップと、
前記スローモーション撮影モードにおいて、 前記画像認識結果に基づいて、 前 記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、 前記撮像結果の前記メモリへの格納を終了し、 前記メモリに格納した前記撮像結 果を、 前記第 2のフィールド周波数又はフレーム周波数より低い、 第 3のフィー ルド周波数又はフレーム周波数で読み出して前記記録媒体に記録するス口一モー ション撮影モードの記録ステツプとを備える
ことを特徴とする撮像装置の制御方法。
9 . 撮像結果を出力する撮像部と、
前記撮像部から出力される撮像結果を格納して出力するメモリと、
前記撮像部から出力される撮像結果、 又は前記メモリから出力される撮像結果 を記録する記録媒体と、
前記撮像結果を画像認識して画像認識結果を出力する画像認識部とを備える撮 像装置の制御方法のプログラムにおいて、
標準動作モードにおいて、 第 1のフィールド周波数又はフレーム周波数で、 前 記撮像部から前記撮像結果を出力させ、 前記記録媒体に記録する標準動作モード の記録ステップと、
スローモーション撮影モードにおいて、 前記第 1のフィールド周波数又はフレ ーム周波数より周波数の高い、 第 2のフィールド周波数又はフレーム周波数で前 記撮像部から前記撮像結果を出力させ、 前記メモリに順次循環的に格納するスロ 一モーション撮影モードの書き込みステップと、
前記スローモーション撮影モードにおいて、 前記画像認識結果に基づいて、 前 記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、 前記撮像結果の前記メモリへの格納を終了し、 前記メモリに格納した前記撮像結 果を、 前記第 2のフィールド周波数又はフレーム周波数より低い、 第 3のフィー ルド周波数又はフレーム周波数で読み出して前記記録媒体に記録するスローモー ション撮影モードの記録ステップとを備える
ことを特徴とする撮像装置の制御方法のプログラム。
1 0 . 撮像結果を出力する撮像部と、
前記撮像部から出力される撮像結果を格納して出力するメモリと、
前記撮像部から出力される撮像結果、 又は前記メモリから出力される撮像結果 を記録する記録媒体と、
前記撮像結果を画像認識して画像認識結果を出力する画像認識部とを備える撮 像装置の制御方法のプログラムを記録した記録媒体において、
前記制御方法のプログラムは、
標準動作モードにおいて、 第 1のフィールド周波数又はフレーム周波数で、 前 記撮像部から前記撮像結果を出力させ、 前記記録媒体に記録する標準動作モード の記録ステップと、
スローモーション撮影モードにおいて、 前記第 1のフィールド周波数又はフレ ーム周波数より周波数の高い、 第 2のフィールド周波数又はフレーム周波数で前 記撮像部から前記撮像結果を出力させ、 前記メモリに順次循環的に格納するスロ 一モーション撮影モードの書き込みステップと、
前記スローモーション撮影モードにおいて、 前記画像認識結果に基づいて、 前 記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、 前記撮像結果の前記メモリへの格納を終了し、 前記メモリに格納した前記撮像結 果を、 前記第 2のフィールド周波数又はフレーム周波数より低い、 第 3のフィー ルド周波数又はフレーム周波数で読み出して前記記録媒体に記録するスローモー ション撮影モードの記録ステツプとを備える
ことを特徴とする撮像装置の制御方法のプログラムを記録した記録媒体。
PCT/JP2007/067082 2006-11-30 2007-08-27 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体 WO2008068933A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US12/312,949 US8405735B2 (en) 2006-11-30 2007-08-27 System and method for controlling recording in an image processing appartus in a slow motion taking mode
CN2007800440175A CN101543048B (zh) 2006-11-30 2007-08-27 成像装置、控制成像装置的方法
KR1020097008471A KR101413926B1 (ko) 2006-11-30 2007-08-27 촬상 장치 및 촬상 장치의 제어 방법
AT07806555T ATE528914T1 (de) 2006-11-30 2007-08-27 Abbildungsvorrichtung, verfahren zur steuerung einer abbildungsvorrichtung, programm für das verfahren und das programm abspeicherndes aufzeichnungsmedium
EP07806555A EP2096862B1 (en) 2006-11-30 2007-08-27 Imaging apparatus, method of controlling imaging apparatus, program for the method, and recording medium saving the program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006322864A JP4360399B2 (ja) 2006-11-30 2006-11-30 撮像装置
JP2006-322864 2006-11-30

Publications (1)

Publication Number Publication Date
WO2008068933A1 true WO2008068933A1 (ja) 2008-06-12

Family

ID=39491845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/067082 WO2008068933A1 (ja) 2006-11-30 2007-08-27 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体

Country Status (7)

Country Link
US (1) US8405735B2 (ja)
EP (1) EP2096862B1 (ja)
JP (1) JP4360399B2 (ja)
KR (1) KR101413926B1 (ja)
CN (1) CN101543048B (ja)
AT (1) ATE528914T1 (ja)
WO (1) WO2008068933A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5109864B2 (ja) * 2008-08-08 2012-12-26 株式会社ニコン 電子スチルカメラ
JP5544917B2 (ja) * 2009-02-20 2014-07-09 株式会社リコー 撮像装置及び撮像方法
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
JP5533241B2 (ja) * 2010-05-18 2014-06-25 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム
JP2012074894A (ja) * 2010-09-28 2012-04-12 Sanyo Electric Co Ltd 電子カメラ
CN104094595B (zh) * 2011-12-29 2016-09-14 高尔纵株式会社 在立体视觉系统中供处理影像的方法及其装置
JP6064404B2 (ja) * 2012-07-24 2017-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105157742B (zh) * 2014-04-29 2021-03-23 杭州美盛红外光电技术有限公司 识别装置和识别方法
US9684056B2 (en) 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
JP2017192100A (ja) * 2016-04-15 2017-10-19 ソニー株式会社 撮像素子、撮像装置、および、撮像素子の制御方法
WO2018085982A1 (zh) * 2016-11-08 2018-05-17 深圳市大疆创新科技有限公司 视频录制方法、装置及拍摄设备
JP6766294B2 (ja) * 2017-10-02 2020-10-14 株式会社ユピテル 電子機器
JP6566004B2 (ja) * 2017-11-13 2019-08-28 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび撮像装置
CN112532865B (zh) * 2019-09-19 2022-07-19 华为技术有限公司 慢动作视频拍摄方法及电子设备
US20230069584A1 (en) * 2021-08-30 2023-03-02 Proxamama LLC Method for nipple replication

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955931A (ja) 1995-08-10 1997-02-25 Sony Corp 映像信号記録装置
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
JP2001103356A (ja) * 1999-09-30 2001-04-13 Inst Of Physical & Chemical Res 高速ビデオカメラ
JP2005328168A (ja) * 2004-05-12 2005-11-24 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置及び撮影装置
JP2006166077A (ja) * 2004-12-08 2006-06-22 Nikon Corp 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034811A (en) * 1990-04-04 1991-07-23 Eastman Kodak Company Video trigger in a solid state motion analysis system
US5867625A (en) * 1994-10-20 1999-02-02 Thomson Consumer Electronics, Inc. Digital VCR with trick play steam derivation
US5884042A (en) * 1996-10-31 1999-03-16 Sensormatic Electronics Corporation Data identification in an intelligent video information management system
JP3681152B2 (ja) * 1999-02-25 2005-08-10 株式会社日立国際電気 テレビカメラの制御方法及びテレビカメラ
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP4041768B2 (ja) * 2002-09-12 2008-01-30 松下電器産業株式会社 部品装着ヘッド
JP4222869B2 (ja) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
JP2004289766A (ja) 2003-03-20 2004-10-14 For-A Co Ltd 高速度ビデオカメラ装置
JP2004336108A (ja) 2003-04-30 2004-11-25 Shimadzu Corp 撮像装置
JP4091079B2 (ja) * 2003-11-14 2008-05-28 オリンパス株式会社 マルチスペクトル撮像装置、マルチスペクトル照明装置
CA2563478A1 (en) 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
JP4725183B2 (ja) * 2005-05-11 2011-07-13 ソニー株式会社 撮像装置、および方法
EP2479993A3 (en) * 2006-12-04 2013-12-11 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955931A (ja) 1995-08-10 1997-02-25 Sony Corp 映像信号記録装置
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
JP2001103356A (ja) * 1999-09-30 2001-04-13 Inst Of Physical & Chemical Res 高速ビデオカメラ
JP2005328168A (ja) * 2004-05-12 2005-11-24 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置及び撮影装置
JP2006166077A (ja) * 2004-12-08 2006-06-22 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
EP2096862A4 (en) 2010-09-01
JP4360399B2 (ja) 2009-11-11
CN101543048B (zh) 2011-05-25
EP2096862A1 (en) 2009-09-02
US20100045812A1 (en) 2010-02-25
EP2096862B1 (en) 2011-10-12
KR101413926B1 (ko) 2014-06-30
ATE528914T1 (de) 2011-10-15
US8405735B2 (en) 2013-03-26
JP2008141282A (ja) 2008-06-19
CN101543048A (zh) 2009-09-23
KR20090083894A (ko) 2009-08-04

Similar Documents

Publication Publication Date Title
JP4360399B2 (ja) 撮像装置
US8350892B2 (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
US7787019B2 (en) Camera and shooting control method therefor
KR100906522B1 (ko) 촬상 장치, 데이터 추출 방법 및 데이터 추출 프로그램 기록매체
JP5375744B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP5768381B2 (ja) 動画像処理装置、動画像処理方法及びプログラム
JP2012151706A (ja) 撮像装置、撮像処理方法及びプログラム
JP2014123908A (ja) 画像処理装置、画像切り出し方法、及びプログラム
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP2009290318A (ja) 撮像装置およびズーム調整方法
WO2006104269A1 (ja) 表示装置および表示方法
US9615027B2 (en) Image processing apparatus that displays an indicator image for performing predetermined processing on image data, image processing method, and computer readable storage medium
JP5533241B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP2020115679A (ja) 物体検出装置、検出制御方法及びプログラム
JP2012010133A (ja) 画像処理装置および画像処理プログラム
JP2011119934A (ja) 画像撮影装置及び画像撮影方法
JPH11213167A (ja) 目標物の位置検出装置および方法並びにフォーム解析装置
JP5644180B2 (ja) 撮像装置、撮像方法及びプログラム
JP5446977B2 (ja) 撮像装置、撮像処理方法及びプログラム
JP2001094865A (ja) 映像記録再生装置
JP2017200077A (ja) 出力装置、出力処理方法及びプログラム
JP2017198872A (ja) 撮影装置、撮影制御方法及びプログラム
JPH10258146A (ja) フォーム解析装置及びそれに用いる画像記録再生装置
JP2010258531A (ja) 画像処理装置、方法及びプログラム
JP2011248156A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780044017.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07806555

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1020097008471

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2007806555

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12312949

Country of ref document: US