WO2012002149A1 - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
WO2012002149A1
WO2012002149A1 PCT/JP2011/063673 JP2011063673W WO2012002149A1 WO 2012002149 A1 WO2012002149 A1 WO 2012002149A1 JP 2011063673 W JP2011063673 W JP 2011063673W WO 2012002149 A1 WO2012002149 A1 WO 2012002149A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
additional information
display
unit
marker
Prior art date
Application number
PCT/JP2011/063673
Other languages
English (en)
French (fr)
Inventor
洋史 堀井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP11800616.2A priority Critical patent/EP2590395A4/en
Priority to CN201180027167.1A priority patent/CN102959938B/zh
Priority to JP2012522549A priority patent/JP5377768B2/ja
Publication of WO2012002149A1 publication Critical patent/WO2012002149A1/ja
Priority to US13/686,158 priority patent/US8767096B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Definitions

  • the present invention relates to an image processing method and apparatus for superimposing additional information on a captured image.
  • Video cameras and digital cameras for taking moving pictures are widely used, and are used, for example, for taking pictures of children at amusement parks and the like.
  • This video camera or digital camera includes an imaging unit, a recording unit that records captured image data, and a display such as an LCD for displaying an image being captured or a recorded image.
  • Most video cameras and digital cameras have a still image shooting function in addition to a moving image.
  • Patent Literature 1 obtains a generation completion prediction time in a CG generation unit that generates a virtual space image to be synthesized on a real space image, and predicts the viewpoint position and orientation at the generation completion prediction time. Then, a virtual space image that can be seen from the viewpoint of the predicted position and orientation is generated by the CG generation unit and synthesized on the real space image. Thereby, even when it takes time to generate the virtual space image, the virtual space image is synthesized on the real space image without a sense of incongruity.
  • AR augmented reality
  • a virtual object is searched from a database based on detected position and orientation information.
  • the detection accuracy of the position / orientation information is low and the detected position / orientation information is shifted from the correct position / orientation, a virtual object corresponding to the shifted position / orientation is searched instead of a virtual object corresponding to the correct position / orientation. .
  • a virtual space image that does not conform to the real space image may be synthesized.
  • the terminal described in Patent Document 2 reads a digital code such as a QR code (registered trademark) displayed on a captured image, and acquires additional information based on the read digital code.
  • the acquired additional information is superimposed on the captured image and displayed on the display. Thereby, only the additional information corresponding to the digital code displayed on the photographed image is superimposed on the photographed image, and the additional information that does not conform to the photographed image is not superimposed.
  • An object of the present invention is to provide an image processing method and apparatus capable of reliably acquiring additional information and performing continuous and smooth moving image display.
  • an image processing apparatus of the present invention includes an imaging unit, a display image generation unit, an additional information image generation unit, a reading unit, an additional information recording unit, an additional information acquisition unit, An additional information superimposed image generation unit; and a display.
  • the imaging unit captures a subject together with a marker, and continuously acquires captured images constituting a moving image.
  • the display image generation unit generates a display image for continuously moving a subject when displaying a moving image based on the captured image every time the captured image is acquired. Each time the additional information image generation unit acquires the captured image, the display information of the subject is smaller than the display image and acquires additional information to be superimposed on the display image based on the captured image. To generate an additional information image to be used.
  • the reading unit reads the marker on the additional information image.
  • additional information corresponding to each marker is recorded.
  • the additional information acquisition unit searches for and acquires additional information associated with the marker read by the reading unit from among a plurality of additional information recorded in the additional information recording unit.
  • the additional information superimposed image generation unit generates an additional information superimposed image in which the additional information acquired by the additional information acquisition unit is superimposed on the marker portion on the display image.
  • the display displays the additional information superimposed image. Examples of the marker include those having a barcode, QR code (registered trademark), and the like.
  • the imaging unit shoots at a shutter speed suitable for generating the additional information image
  • the display image generating unit also includes a plurality of display interpolated images displayed between the continuous display images. It is preferable to produce.
  • the additional information superimposed image generation unit generates the additional information superimposed image by superimposing the additional information acquired by the additional information acquisition unit on the marker portion on the display interpolation image.
  • the imaging unit performs shooting at a first shutter speed suitable for generating the display image, and a second shutter speed suitable for generating the additional information image at a speed higher than the first shutter speed. It is preferable to perform photographing alternately.
  • the display image generation unit generates the display image based on a captured image acquired by the first shutter speed shooting.
  • the additional information image generation unit generates the additional information image based on the captured image acquired by the second shutter speed imaging.
  • the imaging unit may perform shooting at a first shutter speed suitable for generating the display image, and a second shutter speed suitable for generating the additional information image at a higher speed than the first shutter speed. It is preferable to perform photographing simultaneously.
  • the display image generation unit generates the display image based on a captured image acquired by the first shutter speed shooting.
  • the additional information image generation unit generates the additional information image based on the captured image acquired by the second shutter speed imaging.
  • the position correction unit corrects a position where the additional information is superimposed on the display image based on a time difference between the display image and the additional information image.
  • the display image generation unit generates the display image having high resolution and color expression suitable for moving image display.
  • the additional information image generation unit generates the additional information image having a higher SN ratio and a wider dynamic range than the display image.
  • the detection unit detects a moving speed of the imaging unit.
  • the determination unit determines whether or not the moving speed detected by the detection unit is equal to or less than a preset threshold value. When the determination unit determines that the moving speed is equal to or less than the threshold, the additional information image generation unit does not generate the additional information image, and the reading unit includes the marker in the display image. Read.
  • a marker moving speed detection unit and a marker moving speed determination unit are provided.
  • the marker moving speed detection unit detects the moving speed of the marker.
  • the marker movement speed determination unit determines whether the movement speed detected by the marker movement speed detection unit is equal to or less than a preset threshold value. When the marker moving speed determining unit determines that the moving speed is equal to or lower than the threshold, the additional information image generating unit does not generate the additional information image, and the reading unit Read the marker.
  • an additional information superimposed image recording unit for recording the additional information superimposed image is provided.
  • the image processing method of the present invention includes an imaging step, a display image generation step, an additional information image generation step, a reading step, an additional information acquisition step, an additional information superimposed image generation step, and a display step. It is characterized by providing.
  • a subject is photographed together with a marker, and photographed images constituting a moving image are continuously acquired.
  • the display image generation step generates a display image for continuously moving a subject when displaying a moving image based on the captured image every time the captured image is acquired.
  • the additional information image generation step each time the captured image is acquired, the display blur of the subject is smaller than the display image based on the captured image, and additional information to be superimposed on the display image is acquired. To generate an additional information image to be used.
  • the reading step reads the marker on the additional information image.
  • the additional information acquisition step searches for and acquires additional information associated with the marker read by the reading unit from an additional information recording unit that records additional information corresponding to each marker.
  • the additional information superimposed image generation step generates an additional information superimposed image in which the additional information acquired by the additional information acquisition unit is superimposed on the marker portion on the display image.
  • the display step displays the additional information superimposed image.
  • the additional information image suitable for acquisition of the additional information and the display image suitable for moving image display are generated based on the photographed image, the additional information can be reliably acquired. Continuous and smooth video display can be performed.
  • the additional information image and the display image are generated based on the captured image acquired by one imaging unit, the two imaging units are provided to acquire the additional information image and the display image separately. An increase in the number of parts can be prevented compared to the provided one.
  • the digital camera 10 is provided with a lens barrel 11 on the front surface of a camera body 10a.
  • An imaging lens 12 is incorporated in the lens barrel 11.
  • the lens barrel 11 is housed inside the camera body 10a when the digital camera 10 is in a power-off state, and protrudes from the front surface of the camera body 10a and is set at a wide position in the power-on state.
  • a zoom lens having a variable power lens 12a and a focus lens 12b (see FIG. 3) is used.
  • the front surface of the camera body 10a is provided with a flash light emitting unit 15 and a sound collection opening 16 for allowing external sound to reach the microphone 65 (see FIG. 3).
  • the flash light emitting unit 15 is operated by the CPU 40 (see FIG. 3), and irradiates flash light toward the subject.
  • a power button 17, a release button 18, and the like are provided on the upper surface of the camera body 10a.
  • the digital camera 10 is provided with a still image shooting mode for shooting a still image, a moving image shooting mode for shooting a moving image at, for example, 30 frames / second, and a playback mode for reproducing and displaying the shot image.
  • moving image shooting mode moving image shooting starts when the release button 18 is fully pressed, and ends when the full press is released.
  • an LCD 20 on which images and various setting conditions are displayed, a menu key 21 for setting shooting conditions and selecting a mode, and a magnification of the imaging lens 12 are changed.
  • a zoom button 22 is provided. By operating the zoom button 22, the zoom lens 12a is moved between the wide-angle position and the telephoto position, and the image is enlarged or reduced.
  • a speaker opening 25 that emits sound output from the speaker 66 (see FIG. 3) to the outside is provided on the back surface of the camera body 10a.
  • a color image sensor for example, a CMOS sensor 31 on which subject light transmitted through the imaging lens 12 enters is arranged.
  • the CMOS sensor 31 photoelectrically converts a subject image to generate a time-series three-color signal.
  • a TG (timing generator) 33 is controlled by the CPU 40 and generates a driving timing signal to drive the CMOS sensor 31.
  • the three-color signal generated from the CMOS sensor 31 is sent to the A / D converter 32 after the noise components of the three-color signal are removed and amplified by an analog processing circuit (not shown).
  • the A / D converter 32 digitally converts the three-color signal and converts it into three-color image data (hereinafter simply referred to as image data).
  • the zoom motor 37a and the focus motor 37b are driven by the CPU 40 via a motor driver (not shown), and move the zoom lens 12a and the focus lens 12b to perform zooming and focusing.
  • the CPU 40 is connected to an EEPROM (not shown) in which various control programs and setting information are recorded.
  • the CPU 40 reads a program in the EEPROM and controls each unit.
  • the CPU 40 controls to perform high-speed shutter speed shooting (for example, an exposure time of 1/2000 seconds).
  • the image input controller 38 sends the image data from the A / D converter 32 to the video memory 51 during display of the through image, and sends it to the buffer memory 52 during shooting.
  • the AR acquisition image generation unit 41 takes in the image data of the captured image in the buffer memory 52 and generates an AR acquisition image 44a (see FIG. 4A) of the current frame for acquiring the AR image (additional information).
  • the AR acquisition image generation unit 41 performs high SN ratio processing by pixel mixture and wide dynamic range processing by ⁇ optimization. Thereby, the AR acquisition image 44a of the current frame has a high SN ratio and a wide dynamic range compared to an image not subjected to these processes.
  • the AR acquisition image 44 a of the current frame includes a main subject image 46 and a column image 47 provided with the marker 43.
  • the AR acquisition image 44 a of the current frame from the AR acquisition image generation unit 41 is input to the image pattern reading unit 45 that reads the specific image pattern 43 a of the marker 43.
  • the specific image pattern 43a is composed of a two-dimensional digital code.
  • the image pattern reading unit 45 reads the specific image pattern 43a and detects the position and size of the marker 43 in the AR acquisition image 44a of the current frame.
  • the AR image memory 48 a plurality of AR moving image data associated with each type of the specific image pattern 43a is recorded.
  • the CPU 40 searches the AR image memory 48 for AR moving image data associated with the read specific image pattern 43a.
  • image data of a through image with a low resolution is temporarily recorded in the video memory 51.
  • the live view image data is sent to the LCD driver 53 via the data bus 39, and the live view image is displayed on the LCD 20.
  • the captured high-resolution image data is temporarily recorded in the buffer memory 52.
  • the display image generation unit 42 reproduces color representation suitable for moving image display at a high resolution based on the high resolution image data read from the buffer memory 52 (hereinafter referred to as a display image).
  • 50a (see FIG. 5A) is generated.
  • the current frame display image 50 a includes a main subject image 46 and a column image 47 provided with a marker 43, and is temporarily recorded in the buffer memory 52.
  • the display image generation unit 42 also displays the display image 50a of the current frame (see FIG. 5A) and the display image 50b of the previous frame (previous frame) recorded in the buffer memory 52 (see FIG. 5F). Are used to generate a plurality of (for example, four) first to fourth display interpolation images 50c to 50f (see FIGS. 5B to 5E).
  • the display image generation unit 42 performs motion estimation and motion compensation in order to perform frame interpolation.
  • the display image 50b of the previous frame is divided into fine blocks (for example, 20 blocks), and where each block is located in the display image 50a of the current frame is searched (block matching is performed). Take). Based on the search result, it is detected how much each block is moving in which direction, and a motion vector is calculated.
  • the display image generation unit 42 is configured to display the number of frames between the display image 50a of the current frame shown in FIG. 5A and the display image 50b of the previous frame shown in FIG. 5F. Decide whether to display an interpolated image (interpolation interval). Then, the motion vector amount is equally divided according to the interpolation interval (for example, 4 frames), and the compensation amount in each frame is calculated. This is performed for each block, and as shown in FIGS. 5B to 5E, first to fourth display interpolation images 50c to 50f are generated by moving each block by the calculated compensation amount.
  • the first to fourth display interpolated images 50c to 50f are generated and displayed between the display image 50a for the current frame and the display image 50b for the previous frame.
  • the amount obtained by dividing the motion vector in between by 5 is the compensation amount in each frame.
  • the CPU 40 converts the AR moving image data for one frame searched according to the read specific image pattern 43a into the AR image 49a of the current frame.
  • the CPU 40 changes the size of the AR image 49a of the current frame based on the size of the marker 43 detected by the image pattern reading unit 45.
  • the size of the AR image 49 a of the current frame is approximately the same size as the marker 43. Note that the size of the AR image 49a of the current frame after the change can be changed as appropriate, and may be changed to a size corresponding to the height of the LCD 20, for example.
  • the AR image superimposing unit 54 generates an AR superimposed image 55a of the current frame in which the AR image 49a of the current frame is superimposed (synthesized) on the marker 43 portion of the display image 50a of the current frame.
  • the AR superimposed image 55 a of the current frame is displayed on the LCD 20 and recorded on the memory card 57 by a data reader controlled by the memory controller 56.
  • the previous frame AR superimposed image 55 b in which the previous frame AR image 49 b is superimposed on the previous frame display image 50 b is recorded in the memory card 57.
  • the AR image superimposing unit 54 inputs image data of a new frame (current frame) from the image input controller 38 to the buffer memory 52 in the same manner as the generation of the display interpolated images 50 c to 50 f in the display image generating unit 42.
  • the four first frames positioned between the AR superimposed image 55a of the current frame (see FIG. 7A) and the AR superimposed image 55b of the previous frame recorded on the memory card 57 (see FIG. 7F).
  • -Fourth AR interpolation images 49c-49f are generated.
  • first to fourth AR superimposed interpolation images 55c to 55f are generated by superimposing these first to fourth AR interpolation images 49c to 49f on the first to fourth display interpolation images 50c to 50f.
  • This AR-added video is shot at a high shutter speed (an exposure time of 1/2000 seconds), but it is a video of 30 frames per second obtained by shooting at a low shutter speed (for example, an exposure time of 1/60 seconds).
  • the subject is continuously and smoothly displayed when the moving image is displayed.
  • the first to fourth AR superimposed interpolation images 55c to 55f are recorded on the memory card 57 via the memory controller 56.
  • a removable external recording medium such as a memory stick may be used.
  • the photometry / ranging unit 61 detects the brightness of the subject to be photographed and the distance to the subject based on the image data of the through image, and from this detection result, the white balance correction amount and the lens Determine the in-focus distance.
  • the photometry / ranging unit 61 operates in a predetermined cycle while displaying a through image. Note that the subject distance can be measured by well-known phase difference detection.
  • the photometry / ranging unit 61 sequentially transmits the detection results of the luminance and subject distance to the CPU 40.
  • the CPU 40 moves the focus lens 12 b based on the lens focusing distance from the photometry / ranging unit 61.
  • the CPU 40 controls the shutter speed (charge accumulation time) of the CMOS sensor 31 and the operation of the flash light emitting unit 15 based on the luminance from the photometry / ranging unit 61.
  • the battery 58 is housed inside the digital camera 10 and supplies power to the LCD 20 and the CPU 40.
  • the power supply to each unit is controlled by a control circuit (not shown) of the battery 58.
  • the microphone 65 includes a transducer (not shown) that converts sound into sound data (electrical signal), collects the sound of the scene during movie shooting, and converts the collected sound into sound data. This audio data is recorded on the memory card 57 together with the images 55a to 55f.
  • the speaker 66 outputs recorded audio data when playing back a moving image.
  • the obtained image data is input to the AR acquisition image generation unit 41 and the display image generation unit 42 via the buffer memory 52 (S2).
  • the AR acquisition image generation unit 41 performs high SN ratio processing and wide dynamic range processing on the image data to generate an AR acquisition image 44a of the current frame (S3).
  • the AR acquisition image 44 a of the current frame is input to the image pattern reading unit 45.
  • image processing for the second and subsequent frames in a state where there is image data for the first frame immediately after the start of imaging (AR superimposed image 55b of the previous frame) will be described.
  • the display image generation unit 42 generates the current frame display image 50a shown in FIG. 5A based on the newly input high resolution image data of the current frame (S4). Then, the display image generating unit 42 performs a frame interpolation process using the display image 50a for the current frame and the display image 50b for the previous frame recorded in the buffer memory 52, as shown in FIG. Four first to fourth display interpolated images 50c to 50f are generated for displaying the subject continuously and smoothly during display (S5). After the creation, the current frame display image 50a is recorded in the buffer memory 52 as the previous frame display image 50b.
  • the position and size of the marker 43 in the AR acquisition image 44a of the current frame are detected.
  • the overlapping position of the AR image 49a of the frame is determined (S7).
  • the superimposed position of the AR image 49 a of the current frame is a display portion of the marker 43.
  • the AR acquisition image 44a of the current frame is generated using image data obtained by high-speed shutter speed imaging, and is further subjected to high SN ratio processing and wide dynamic range processing. Thereby, the reading accuracy of the specific image pattern 43a is improved as compared with an image that has not been subjected to the above-described processes or an image that is generated using image data obtained by low-speed shutter speed photography.
  • the CPU 40 searches the AR image memory 48 for AR moving image data associated with the specific image pattern 43a read by the image pattern reading unit 45 (S8).
  • the CPU 40 reads the searched AR moving image data for one frame from the AR image memory 48, and based on the size of the marker 43 detected by the image pattern reading unit 45, the AR image of the current frame having almost the same size as the marker 43. 49a (S9).
  • the AR image superimposing unit 54 generates four first to fourth AR interpolation images 49c to 49f to be displayed between the AR image 49a of the current frame and the AR image 49b of the previous frame (S10).
  • the AR image superimposing unit 54 converts the current frame AR image 49a and the first to fourth AR interpolation images 49c to 49f into the current frame display image 50a and the first to fourth display interpolation images 50c. It overlaps with the portion of the marker 43 of ⁇ 50f.
  • FIGS. 7A to 7E the AR superimposed image 55a and the first to fourth AR superimposed interpolated images 55c to 55f of the current frame are generated (S11).
  • the AR superimposed image 55b, the fourth AR superimposed interpolation image 55f, the third AR superimposed interpolation image 55e, the second AR superimposed interpolation image 55d, the first AR superimposed interpolation image 55c, and the AR superimposed image 55a of the current frame are displayed on the LCD 20 in this order. These are recorded on the memory card 57 via the memory controller 56 (S12).
  • the display images 50a, 50b and the The first to fourth display interpolation images 50c to 50f are displayed on the LCD 20 and recorded on the memory card 57 (S14).
  • the AR image superimposing unit 54 sets the AR image 49a of the current frame to the marker 43 portion of the display image 50a of the current frame. Superimpose and generate an AR superimposed image 55a of the current frame.
  • the CPU 40 controls to perform low-speed shutter speed shooting and high-speed shutter speed shooting alternately. In this embodiment, first, low-speed shutter speed shooting is performed, then high-speed shutter speed shooting is performed, and thereafter, shooting is performed alternately.
  • the image input controller 38 inputs image data obtained at the time of high-speed shutter speed photography (hereinafter, high-speed image data) and image data obtained at the time of low-speed shutter speed photography (hereinafter, low-speed image data) to the buffer memory 52. .
  • the CPU 40 inputs high-speed image data to the AR acquisition image generation unit 41 and inputs low-speed image data to the display image generation unit 42.
  • the AR acquisition image generation unit 41 performs high SN ratio processing and wide dynamic range processing on the high-speed image data to generate an AR acquisition image 44a of the current frame.
  • the current frame AR acquisition image 44 a is input to the image pattern reading unit 45.
  • the AR acquisition image generation unit 41 does not create the AR acquisition image 44a of the current frame for the low-speed image data. Therefore, in the low-speed shutter speed frame, the AR acquisition image 44b of the previous frame generated immediately before is generated. It is used again as the AR acquisition image 44a of the current frame. Thus, AR acquisition images 44a and 44b for 30 frames per second are generated.
  • the display image generation unit 42 performs various image processing for reproducing color representation suitable for moving image display with high resolution on the low-speed image data, and generates a display image 50a for the current frame. Since the display image generation unit 42 does not create the display image 50a for the current frame in the frame with the high shutter speed, the display image 50b for the previous frame generated immediately before is used again as the display image 50a for the current frame. To do. Thereby, display images 50a and 50b for 30 frames are generated per second. In the present embodiment, the display interpolation images 50c to 50f, the AR interpolation images 49c to 49f, and the AR superimposed interpolation images 55c to 55f are not generated and displayed.
  • the display image 50a of the current frame is not displayed on the LCD 20. Only the display image 50a for the current frame may be displayed on the LCD 20.
  • low-speed shutter speed shooting and high-speed shutter speed shooting are alternately performed (S101). Since the first shooting is performed at a low shutter speed, low-speed image data is obtained (Y in S102). In this case, the low-speed image data is input to the display image generation unit 42 (S103).
  • the display image generation unit 42 performs various image processes for reproducing color representation suitable for moving image display with high resolution on the low-speed image data, and generates a display image 50a for the current frame (S104). Since the AR acquisition image generation unit 41 does not generate the AR acquisition image 44a of the current frame in the low shutter speed frame, the AR acquisition image 44b of the previous frame generated immediately before is used as the AR acquisition image of the current frame. 44a is used again.
  • this high-speed image data is input to the AR acquisition image generation unit 41 (S105).
  • the AR acquisition image generation unit 41 performs high SN ratio processing and wide dynamic range processing on the high-speed image data to generate an AR acquisition image 44a of the current frame (S106).
  • the current frame AR acquisition image 44 a is input to the image pattern reading unit 45. Since the display image generation unit 42 does not generate the display image 50a for the current frame in the frame at the high shutter speed, the display image 50b for the previous frame generated immediately before is used again as the display image 50a for the current frame. To do. Since S107 to S110 are the same as S6 to S9 of the first embodiment, description thereof is omitted.
  • the AR image superimposing unit 54 superimposes the AR image 49a of the current frame on the marker 43 portion of the display image 50a of the current frame to generate the AR superimposed image 55a of the current frame (S111).
  • the AR superimposed image 55a of the current frame is displayed on the LCD 20 and recorded on the memory card 57 (S112). Since S113 and S114 are the same as S13 and S14 of the first embodiment, the description thereof is omitted.
  • the digital camera 70 of the third embodiment shown in FIGS. 10 and 11 simultaneously performs low-speed shutter speed shooting and high-speed shutter speed shooting.
  • symbol is attached
  • a CCD sensor (hereinafter referred to as CCD) 71 is disposed behind the photographing lens 12.
  • the CCD 71 is composed of a CCD capable of simultaneously performing low-speed shutter speed photography and high-speed shutter speed photography, for example, Super CCD Honeycomb (registered trademark) EXR (trade name).
  • the time-series three-color signal read from the CCD 71 is sent to a correlated double sampling circuit (CDS) 72, where noise components are removed and converted into a three-color signal that accurately corresponds to the amount of charge stored in each cell.
  • CDS correlated double sampling circuit
  • the three-color signal output from the CDS 72 is amplified by an amplifier (AMP) 73 in accordance with the ISO sensitivity, and converted to image data by the A / D converter 32.
  • AMP amplifier
  • the image input controller 38 sorts the image data according to the cell type, and creates high-speed image data and low-speed image data. These two types of image data are sent through the buffer memory 52, high-speed image data is sent to the AR acquisition image generation unit 41, and low-speed image data is sent to the display image generation unit 42.
  • the AR acquisition image generation unit 41 generates an AR acquisition image 44a of the current frame based on the high-speed image data, and inputs it to the image pattern reading unit 45.
  • the display image generation unit 42 performs various image processes on the low-speed image data, and generates a display image 50a for the current frame.
  • the release button 18 When the release button 18 is fully pressed in the moving image shooting mode, the low-speed shutter speed shooting and the high-speed shutter speed shooting are simultaneously performed, and low-speed image data and high-speed image data are obtained (S201).
  • the low-speed and high-speed image data is input to the display image generation unit 42, and the high-speed image data is input to the AR acquisition image generation unit 41 (S202).
  • the AR acquisition image generation unit 41 performs high SN ratio processing and wide dynamic range processing on the high-speed image data to generate the AR acquisition image 44a of the current frame (S203).
  • the current frame AR acquisition image 44 a is input to the image pattern reading unit 45.
  • the display image generation unit 42 generates the display image 50a for the current frame based on the low speed image data (S204). Note that S205 to S212 are the same as S107 to S114 of the second embodiment, and a description thereof will be omitted.
  • the digital camera 80 according to the fourth embodiment shown in FIGS. 12 and 13 superimposes an AR image on the basis of the respective time differences at which the current frame AR acquisition image 44a and the current frame display image 50a are generated. Correct the position.
  • symbol is attached
  • the CPU 40 alternately performs low-speed shutter speed shooting and high-speed shutter speed shooting. Since the current frame display image 50a is not generated when high-speed shutter speed photography is performed, the previous frame display image 50b generated immediately before is used again as the current frame display image 50a. Further, the superimposition position (the position of the marker 43) of the AR image 49a of the current frame is determined using the latest AR acquisition image 44a of the current frame generated based on the high-speed image data. When the photographer is moving, the position of the marker 43 is different between the display image 50b of the previous frame to be used again and the AR acquisition image 44a of the current frame.
  • the superimposition position correction unit 81 detects the movement speed (mm / second) of the feature point by detecting the movement of the same feature point in the image based on the plurality of high-speed image data. Then, the superimposition position correction unit 81 calculates a correction amount of the AR image superposition position obtained by the product of the moving speed of the feature point and the time between frames (1/30 seconds).
  • the AR image superimposing unit 54 superimposes the AR image 49a of the current frame to generate the AR superimposed image 55a of the current frame, and shifts the AR of the current frame to a position shifted by the correction amount calculated by the superimposition position correcting unit 81.
  • the image 49a is superimposed.
  • the superposition position correction unit 81 compares a plurality of high-speed image data and detects the moving speed of the same feature point in the image before the image pattern reading unit 45 detects the specific image pattern 43a. Then, the correction amount of the AR image superposition position obtained by the product of the moving speed of the feature point and the time between each frame (1/30 second) is calculated (S309).
  • the CPU 40 searches the AR moving image data associated with the read specific image pattern 43a from the plurality of AR moving image data in the AR image memory 48 (S310). Based on the size of the marker 43 detected by the image pattern reading unit 45, the CPU 40 converts one frame of the searched AR moving image data into an AR image 49a of the current frame having almost the same size as the marker 43 (S311).
  • the AR image superimposing unit 54 When the AR image superimposing unit 54 generates the AR superimposed image 55a of the current frame by superimposing the AR image 49a of the current frame, the position shifted from the temporary display position by the correction amount calculated by the superimposing position correcting unit 81
  • the AR image 49a of the current frame is superimposed on the current frame to generate the AR superimposed image 55a of the current frame (S312). Since S313 to S315 are the same as S112 to S114 of the second embodiment, the description thereof is omitted.
  • the digital camera 90 of the fifth embodiment shown in FIGS. 14 and 15 includes an acceleration sensor 91.
  • the acceleration sensor 91 detects the acceleration of the digital camera 90.
  • the CPU 40 calculates the moving speed (mm / second) of the digital camera 90 based on the detected acceleration, and determines whether the camera moving speed is equal to or less than a threshold value (for example, 100 mm / second). If the CPU 40 determines that the camera moving speed is equal to or lower than the threshold when the release button 18 is fully pressed in the moving image shooting mode, the CPU 40 performs standard shutter speed shooting (for example, exposure time of 1/60 seconds). .
  • the CPU 40 alternately performs the low shutter speed shooting and the high shutter speed shooting.
  • the camera moving speed is equal to or less than the threshold value.
  • the photographer is moving or when camera shake is large, it is determined that the camera moving speed exceeds the threshold value.
  • the obtained image data (hereinafter, standard image data) is input to the display image generation unit 42. Further, when low-speed shutter speed shooting and high-speed shutter speed shooting are alternately performed, high-speed image data is input to the AR acquisition image generation unit 41, and low-speed image data is input to the display image generation unit 42.
  • the display image generation unit 42 performs various image processing on the standard image data or the low-speed image data, and generates a display image 50a for the current frame.
  • the AR acquisition image generation unit 41 generates the AR acquisition image 44a of the current frame based on the high-speed image data when alternately performing the low-speed shutter speed shooting and the high-speed shutter speed shooting. On the other hand, at the time of standard shutter speed shooting, the AR acquisition image generation unit 41 does not generate the current frame AR acquisition image 44a, so the current frame display image 50a is converted into the current frame AR acquisition image 44a. Combined with. In this case, the image pattern reading unit 45 reads the specific image pattern 43a on the display image 50a for the current frame and detects the position and size of the marker 43 in the display image 50a for the current frame.
  • the acceleration sensor 91 detects the acceleration of the digital camera 90.
  • the CPU 40 calculates the camera moving speed based on the detected acceleration.
  • the camera moving speed is equal to or lower than the threshold (Y in S401)
  • standard shutter speed shooting is performed (S402).
  • the standard image data is input to the display image generation unit 42 (S403).
  • the display image generation unit 42 generates a display image 50a for the current frame based on the standard image data.
  • the AR acquisition image generation unit 41 does not generate the current frame AR acquisition image 44a, and also uses the current frame display image 50a as the current frame AR acquisition image 44a (S404).
  • the digital camera 100 of the sixth embodiment shown in FIGS. 16 to 19 includes a marker movement speed detection unit 101 that detects the movement speed of the marker.
  • the marker movement speed detection unit 101 detects the movement of the marker 103 based on the image data of a plurality of through images and detects the movement speed (mm / second).
  • the marker 103 is provided in a car that is a moving subject.
  • CPU40 determines whether the detected marker moving speed is below a threshold value (for example, 100 mm / second). When the CPU 40 determines that the marker moving speed is equal to or less than the threshold, the CPU 40 performs standard shutter speed imaging, and when it determines that the marker moving speed exceeds the threshold, the low shutter speed imaging and the high shutter speed imaging are alternately performed. Do.
  • Standard image data is input to the display image generation unit 42.
  • the high-speed image data is input to the AR acquisition image generation unit 41, and the low-speed image data is input to the display image generation unit 42.
  • the display image generation unit 42 performs various image processing on the standard image data or the low-speed image data, and generates the display image 110 (see FIG. 17) of the current frame.
  • the AR acquisition image generation unit 41 When high-speed shutter speed imaging is performed, the AR acquisition image generation unit 41 generates an AR acquisition image of the current frame based on the high-speed image data. On the other hand, when the standard shutter speed shooting is performed, the AR acquisition image generation unit 41 does not perform the generation process of the AR acquisition image of the current frame, so the display image 110 of the current frame is used for the AR acquisition of the current frame. Also used as an image.
  • the AR acquisition image of the current frame and the display image 110 of the current frame include the main subject image 46 and the car image 106 provided with the marker 103.
  • the image pattern reading unit 45 reads the specific image pattern 103a on the display image 110 of the current frame when standard shutter speed shooting is performed. Then, the position and size of the marker 103 in the display image 110 of the current frame are detected. Further, the image pattern reading unit 45 reads the specific image pattern 103a on the AR acquisition image of the current frame when low speed or high shutter speed imaging is performed. Then, the position and size of the marker 103 in the AR acquisition image of the current frame are detected.
  • the CPU 40 searches the AR moving image data associated with the read specific image pattern 103a from the plurality of AR moving image data in the AR image memory 48.
  • the CPU 40 converts one frame of the searched AR moving image data into an AR image 113 of the current frame based on the size of the marker 103 detected by the image pattern reading unit 45.
  • the AR image 113 of the current frame having the same size as the marker 103 is converted.
  • the CPU 40 generates an AR superimposed image 115 of the current frame in which the AR image 113 of the current frame is superimposed on the marker 103 portion of the display image 110 of the current frame.
  • the AR superimposed image 115 of the current frame is displayed on the LCD 20 and is recorded on the memory card 57 as the AR superimposed image of the previous frame.
  • the marker moving speed detection unit 101 detects the moving speed of the marker 103 (the moving speed of the vehicle image 106 provided with the marker 103) based on the image data of a plurality of through images.
  • the marker moving speed is equal to or less than the threshold (Y in S501)
  • standard shutter speed shooting is performed (S502).
  • the standard image data is input to the display image generation unit 42 (S503).
  • the display image generation unit 42 generates the display image 110 of the current frame based on the standard image data.
  • the AR acquisition image generation unit 41 Since the AR acquisition image generation unit 41 does not perform the generation processing of the AR acquisition image 105, the display image 110 of the current frame is also used as the AR acquisition image of the current frame (S504). When the marker moving speed is low, the AR acquisition image generation unit 41 does not operate, so that the image processing time is suppressed and the power consumption is also suppressed.
  • S506 to S518 are the same as S102 to S114 of the second embodiment, and a description thereof will be omitted.
  • the digital camera has been described.
  • the present invention can also be applied to an image recording apparatus (system) including a digital camera and a personal computer.
  • the personal computer based on the photographed image captured by the digital camera as the imaging unit, the personal computer generates a display image, generates an additional information image, reads a specific image pattern, acquires additional information, and acquires an additional information superimposed image. Is generated.
  • the present invention can be applied to a mobile phone with a camera, a head mounted display device with a camera, and the like.
  • the present invention can be applied not only to moving images recorded on a recording medium such as a memory card but also to moving images such as a live view.
  • a plurality of AR moving image data is recorded in the AR image memory, and one frame associated with the read specific image pattern is searched from the plurality of AR moving image data.
  • a plurality of AR moving image data may be recorded on the server, and the server may be accessed to obtain an AR image associated with the read specific image pattern.
  • illustrations are displayed as AR images, but characters and symbols may be displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

　ＡＲ取得用画像生成部４１は、画像データに基づいて現フレームのＡＲ取得用画像４４ａを生成する。表示用画像生成部４２は、画像データに基づいて現フレームの表示用画像５０ａ及び第１～第４表示用補間画像５０ｃ～５０ｆを生成する。画像パターン読取部４５は、現フレームのＡＲ取得用画像４４ａ上の特定画像パターン４３ａを読み取る。ＣＰＵ４０は、ＡＲ画像用メモリ４８の中から、特定画像パターン４３ａが対応付けられたＡＲ動画データを検索し、その１フレームを現フレームのＡＲ画像４９ａに変換する。ＡＲ画像重畳部５４は、各ＡＲ画像４９ａ，４９ｂに基づいて第１～第４ＡＲ補間画像４９ｃ～４９ｆを生成し、各画像４９ａ～４９ｆを各画像５０ａ～５０ｆのマーカー４３の部分に重畳した各ＡＲ重畳画像５５ａ，５５ｂ及び第１～第４ＡＲ重畳補間画像５５ｃ～５５ｆを生成して、ＬＣＤ２０に表示する。

Description

画像処理方法及び装置
　本発明は、撮影画像に付加情報を重畳する画像処理方法及び装置に関するものである。
　動画を撮影するためのビデオカメラやデジタルカメラは、広く普及しており、例えば、遊園地等での子供の撮影等に用いられている。このビデオカメラやデジタルカメラは、撮像部と、撮影した画像データを記録する記録部と、撮影中の画像や録画した画像を表示するためのＬＣＤ等の表示器を備えている。また、殆どのビデオカメラやデジタルカメラは、動画の他に静止画の撮影機能を備えている。
　近年、撮像した現実空間画像（例えば、風景画像）に各種の付加情報（拡張現実（ＡＲ）情報）を重畳して表示する拡張現実表示機能を搭載したビデオカメラやデジタルカメラが知られている。特許文献１記載のシステムは、現実空間画像上に合成すべき仮想空間画像を生成するＣＧ生成部での生成完了予測時刻を求め、この生成完了予測時刻における視点の位置姿勢を予測している。そして、この予測した位置姿勢の視点から見える仮想空間画像をＣＧ生成部で生成して現実空間画像上に合成する。これにより、仮想空間画像の生成に時間を要する場合にも、現実空間画像上に仮想空間画像を違和感なく合成している。
　特許文献１記載のシステムでは、検出した位置姿勢情報に基づいてデータベースから仮想物体を検索している。位置姿勢情報の検出精度が低く、検出した位置姿勢情報が正しい位置姿勢からズレている場合には、正しい位置姿勢に応じた仮想物体ではなく、ズレた位置姿勢に応じた仮想物体が検索される。このため、現実空間画像に即していない仮想空間画像が合成されることがある。
　特許文献２記載の端末は、撮影画像上に表示されたＱＲコード（登録商標）等のデジタルコードを読み取り、読み取ったデジタルコードに基づいて付加情報を取得する。そして、この取得した付加情報を撮影画像に重畳させて表示器に表示している。これにより、撮影画像には、撮影画像上に表示されたデジタルコードに対応した付加情報だけが重畳され、撮影画像に即していない付加情報が重畳されることがない。
特開２０１０－０３９５５６号公報 特開２００８－１９３６４０号公報
　撮影画像を用いて付加情報を取得する場合、付加情報を確実に取得するためには、撮影画像上のデジタルコードの表示ブレが小さい撮影画像を取得することが必要である。一方で、連続した滑らかな動画表示とするためには、デジタルコード以外の被写体の表示ブレが適度にある撮影画像が必要である。付加情報の確実な取得と、滑らかな動画表示とでは、それぞれ適した撮影画像が異なっている。このため、特許文献２のように、表示器に表示する撮影画像を用いて付加情報の取得も行うものでは、付加情報の確実な取得と、滑らかな動画表示との両方を達成することは困難である。
　本発明の目的は、付加情報を確実に取得することができるとともに、連続した滑らかな動画表示を行うことができる画像処理方法及び装置を提供することにある。
　上記目的を達成するため、本発明の画像処理装置は、撮像部と、表示用画像生成部と、付加情報用画像生成部と、読取部と、付加情報記録部と、付加情報取得部と、付加情報重畳画像生成部と、表示器と、を備える。前記撮像部は、マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する。前記表示用画像生成部は、前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する。前記付加情報用画像生成部は、前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する。前記読取部は、前記付加情報用画像上の前記マーカーを読み取る。前記付加情報記録部には、前記マーカーごとに対応した付加情報が記録されている。前記付加情報取得部は、前記付加情報記録部に記録された複数の付加情報の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する。前記付加情報重畳画像生成部は、前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する。前記表示器は、前記付加情報重畳画像を表示する。なお、前記マーカーとしては、バーコード、ＱＲコード（登録商標）等を有するものが挙げられる。
　また、前記撮像部は、前記付加情報用画像の生成に適したシャッタスピードで撮影を行い、前記表示用画像生成部は、連続する前記表示用画像の間に表示する複数の表示用補間画像も生成することが好ましい。前記付加情報重畳画像生成部は、前記表示用補間画像上の前記マーカーの部分にも、前記付加情報取得部で取得された付加情報を重畳して、前記付加情報重畳画像を生成する。
　さらに、前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを交互に行うことが好ましい。前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成する。前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成する。
　また、前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを同時に行うことが好ましい。前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成する。前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成する。
　さらに、位置補正部を備えることが好ましい。前記位置補正部は、前記表示用画像及び付加情報用画像が生成されたそれぞれの時間の差に基づいて、前記表示用画像上の前記付加情報を重畳する位置を補正する。
　また、前記表示用画像生成部は、高解像度で動画表示に適した色表現の前記表示用画像を生成することが好ましい。前記付加情報用画像生成部は、前記表示用画像に比べて高いＳＮ比、及び広いダイナミックレンジを有する前記付加情報用画像を生成する。
　さらに、検出部と、判定部とを備えることが好ましい。前記検出部は、前記撮像部の移動速度を検出する。前記判定部は、前記検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定する。前記判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取る。
　また、マーカー移動速度検出部と、マーカー移動速度判定部とを備えることが好ましい。前記マーカー移動速度検出部は、前記マーカーの移動速度を検出する。前記マーカー移動速度判定部は、前記マーカー移動速度検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定する。前記マーカー移動速度判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取る。
　さらに、前記付加情報重畳画像を記録する付加情報重畳画像記録部を備えることが好ましい。
　本発明の画像処理方法は、撮像ステップと、表示用画像生成ステップと、付加情報用画像生成ステップと、読取ステップと、付加情報取得ステップと、付加情報重畳画像生成ステップと、表示ステップと、を備えることを特徴とする。前記撮像ステップは、マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する。前記表示用画像生成ステップは、前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する。前記付加情報用画像生成ステップは、前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する。前記読取ステップは、前記付加情報用画像上の前記マーカーを読み取る。前記付加情報取得ステップは、前記マーカーごとに対応した付加情報を記録した付加情報記録部の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する。前記付加情報重畳画像生成ステップは、前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する。前記表示ステップは、前記付加情報重畳画像を表示する。
　本発明によれば、撮影画像に基づいて、付加情報の取得に適した付加情報用画像と、動画表示に適した表示用画像とを生成するから、付加情報を確実に取得することができるとともに、連続した滑らかな動画表示を行うことができる。
　また、１つの撮像部により取得した撮影画像に基づいて、付加情報用画像と表示用画像とを生成するから、付加情報用画像と表示用画像とを個別に取得するために２つの撮像部を設けるものに比べて、部品点数の増加を防止することができる。
本発明を実施したデジタルカメラの正面斜視図である。 デジタルカメラの背面図である。 デジタルカメラの電気的構成を示すブロック図である。 現フレームのＡＲ取得用画像、表示用画像を示す説明図である。 前フレームのＡＲ取得用画像、表示用画像を示す説明図である。 現フレームの表示用画像を示す説明図である。 第１の表示用補間画像を示す説明図である。 第２の表示用補間画像を示す説明図である。 第３の表示用補間画像を示す説明図である。 第４の表示用補間画像を示す説明図である。 前フレームの表示用画像を示す説明図である。 現フレームのＡＲ重畳画像を示す説明図である。 前フレームのＡＲ重畳画像を示す説明図である。 現フレームのＡＲ重畳画像を示す説明図である。 第１のＡＲ重畳補間画像を示す説明図である。 第２のＡＲ重畳補間画像を示す説明図である。 第３のＡＲ重畳補間画像を示す説明図である。 第４のＡＲ重畳補間画像を示す説明図である。 前フレームのＡＲ重畳画像を示す説明図である。 ＡＲ重畳画像を表示するときの処理手順を示すフローチャートである。 低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う第２実施形態におけるＡＲ重畳画像を表示する処理手順を示すフローチャートである。 低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行う第３実施形態に係るデジタルカメラの電気的構成を示すブロック図である。 第３実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。 ＡＲ画像を重畳する位置を補正する第４実施形態に係るデジタルカメラの電気的構成を示すブロック図である。 第４実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。 カメラ移動速度に応じてシャッタスピードを変える第５実施形態に係るデジタルカメラの電気的構成を示すブロック図である。 第５実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。 マーカー移動速度に応じてシャッタスピードを変える第６実施形態に係るデジタルカメラの電気的構成を示すブロック図である。 第６実施形態におけるＡＲ取得用画像、表示用画像を示す説明図である。 第６実施形態におけるＡＲ重畳画像を表示した状態を示す説明図である。 第６実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。
［第１実施形態］
　図１に示すように、デジタルカメラ１０は、カメラ本体１０ａの前面に、レンズ鏡筒１１が設けられている。レンズ鏡筒１１には、撮像レンズ１２が組み込まれている。レンズ鏡筒１１は、デジタルカメラ１０が電源オフ状態にある際に、カメラ本体１０ａの内部に収納され、電源オン状態では、カメラ本体１０ａの前面から突出してワイド位置にセットされる。撮像レンズ１２として、変倍レンズ１２ａ、フォーカスレンズ１２ｂ（図３参照）を有するズームレンズが用いられる。
　カメラ本体１０ａの前面には、フラッシュ発光部１５と、外部の音声をマイクロフォン６５（図３参照）に到達させるための集音開口１６とが設けられている。フラッシュ発光部１５は、ＣＰＵ４０（図３参照）によって作動され、被写体に向けてフラッシュ光を照射する。また、カメラ本体１０ａの上面には、電源ボタン１７、レリーズボタン１８等が設けられている。
　デジタルカメラ１０は、静止画を撮影する静止画撮影モードと、例えば３０フレーム／秒で動画を撮影する動画撮影モードと、撮影した画像を再生表示する再生モードとが設けられている。動画撮影モードでは、レリーズボタン１８の全押しに伴って動画撮影が開始され、全押しの解除により終了する。
　図２に示すように、カメラ本体１０ａの背面には、画像や各種設定条件が表示されるＬＣＤ２０、撮影条件の設定やモードの選択を行うためのメニューキー２１、撮像レンズ１２の倍率を変更するズームボタン２２が設けられている。ズームボタン２２の操作により、広角位置と望遠位置との間で変倍レンズ１２ａが移動され、画像の拡大及び縮小が行われる。また、カメラ本体１０ａの背面には、スピーカ６６（図３参照）から出力された音声を外部に発するスピーカ開口２５が設けられている。
　図３に示すように、撮像レンズ１２の背後には、撮像レンズ１２を透過した被写体光が入射するカラーイメージセンサ、例えばＣＭＯＳセンサ３１が配置されている。このＣＭＯＳセンサ３１は、周知のように、被写体像を光電変換して時系列の３色信号を発生する。ＴＧ（タイミングジェネレータ）３３は、ＣＰＵ４０によって制御され、駆動タイミング信号を発生して、ＣＭＯＳセンサ３１を駆動する。このＣＭＯＳセンサ３１から発生された３色信号は、アナログ処理回路（図示せず）で３色信号のノイズ成分の除去と、増幅とが行われてから、Ａ／Ｄ変換器３２に送られる。
　Ａ／Ｄ変換器３２は、３色信号をデジタル変換して３色画像データ（以下、単に画像データという）に変換する。ズーム用モータ３７ａ、フォーカス用モータ３７ｂは、モータドライバ（図示せず）を介してＣＰＵ４０により駆動され、変倍レンズ１２ａ、フォーカスレンズ１２ｂを移動してズーミングとフォーカシングとを行う。
　ＣＰＵ４０には、周知のように、各種制御用のプログラムや設定情報などが記録されたＥＥＰＲＯＭ（図示せず）が接続されている。ＣＰＵ４０は、ＥＥＰＲＯＭ内のプログラムを読み取って、各部を制御する。本実施形態では、ＣＰＵ４０は、高速シャッタスピード撮影（例えば、１／２０００秒の露光時間）を行うように制御する。
　画像入力コントローラ３８は、スルー画の表示中は、Ａ／Ｄ変換器３２からの画像データを、ビデオメモリ５１に送り、撮影中は、バッファメモリ５２に送る。
　ＡＲ取得用画像生成部４１は、バッファメモリ５２内の撮影画像の画像データを取り込み、ＡＲ画像（付加情報）を取得するための現フレームのＡＲ取得用画像４４ａ（図４Ａ参照）を生成する。ＡＲ取得用画像生成部４１は、現フレームのＡＲ取得用画像４４ａを生成するときに、画素混合による高ＳＮ比処理を行うとともに、γ最適化による広ダイナミックレンジ処理を行う。これにより、現フレームのＡＲ取得用画像４４ａは、これらの処理を行わない画像に比べて、高いＳＮ比、及び広いダイナミックレンジを有する。本実施形態では、現フレームのＡＲ取得用画像４４ａは、主要被写体画像４６と、マーカー４３が設けられた柱画像４７とからなる。
　ＡＲ取得用画像生成部４１からの現フレームのＡＲ取得用画像４４ａは、マーカー４３の特定画像パターン４３ａを読み取る画像パターン読取部４５に入力される。なお、本実施形態では、特定画像パターン４３ａは、２次元のデジタルコードから構成されている。
　画像パターン読取部４５は、特定画像パターン４３ａを読み取るとともに、現フレームのＡＲ取得用画像４４ａにおけるマーカー４３の位置及びサイズを検出する。ＡＲ画像用メモリ４８には、特定画像パターン４３ａの種類ごとにそれぞれ対応付けられた複数のＡＲ動画データが記録されている。ＣＰＵ４０は、ＡＲ画像用メモリ４８内で、読み取った特定画像パターン４３ａが対応付けられたＡＲ動画データを検索する。
　スルー画撮影では、解像度の低いスルー画の画像データがビデオメモリ５１に一時的に記録されている。このスルー画の画像データは、データバス３９を介してＬＣＤドライバ５３に送られ、スルー画がＬＣＤ２０に表示される。撮影時には、撮像された高解像度の画像データがバッファメモリ５２に一時的に記録される。表示用画像生成部４２は、バッファメモリ５２から読み出した高解像度の画像データに基づいて、高解像度で動画表示に適した色表現を再現する現フレームの動画表示用画像（以下、表示用画像）５０ａ（図５Ａ参照）を生成する。この現フレームの表示用画像５０ａは、主要被写体画像４６と、マーカー４３が設けられた柱画像４７とからなり、バッファメモリ５２に一時的に記録される。
　また、表示用画像生成部４２は、現フレームの表示用画像５０ａ（図５Ａ参照）と、バッファメモリ５２に記録された１つ前のフレーム（前フレーム）の表示用画像５０ｂ（図５Ｆ参照）とを用いて、フレーム補間処理を行い、複数（例えば、４枚）の第１～第４表示用補間画像５０ｃ～５０ｆ（図５Ｂ～図５Ｅ参照）を生成する。
　表示用画像生成部４２は、フレーム補間を行うために、動き推定と動き補償を行う。先ず、動き推定を行うために、前フレームの表示用画像５０ｂを細かいブロック（例えば、２０ブロック）に分割し、各ブロックが現フレームの表示用画像５０ａのどこにあるかを検索する（ブロックマッチングをとる）。この検索結果に基づいて、各ブロックが、どの方向に、どの程度移動しているかを検出して、動きベクトルを算出する。
　次に、表示用画像生成部４２は、動き補償を行うために、図５Ａに示す現フレームの表示用画像５０ａと、図５Ｆに示す前フレームの表示用画像５０ｂとの間に何枚のフレーム補間画像を表示するか（補間間隔）を決定する。そして、動きベクトル量を補間間隔（例えば、４枚）に応じて等分して、各フレームでの補償量を算出する。これを、各ブロックで行い、図５Ｂ～図５Ｅに示すように、算出された補償量だけ各ブロックを移動させた第１～第４表示用補間画像５０ｃ～５０ｆを生成する。本実施形態では、現フレームの表示用画像５０ａと前フレームの表示用画像５０ｂとの間に、第１～第４表示用補間画像５０ｃ～５０ｆを生成及び表示するため、前フレームと現フレームとの間の動きベクトルを５等分した量が、各フレームでの補償量となる。
　図６Ａに示すように、ＣＰＵ４０は、読み取った特定画像パターン４３ａに応じて検索した１フレーム分のＡＲ動画データを、現フレームのＡＲ画像４９ａに変換する。ＣＰＵ４０は、画像パターン読取部４５で検出されたマーカー４３のサイズに基づいて現フレームのＡＲ画像４９ａのサイズを変更する。本実施形態では、現フレームのＡＲ画像４９ａのサイズは、マーカー４３とほぼ同じサイズにしている。なお、変更後の現フレームのＡＲ画像４９ａのサイズは適宜変更可能であり、例えば、ＬＣＤ２０の高さに応じたサイズに変更してもよい。
　ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを現フレームの表示用画像５０ａのマーカー４３の部分に重畳（合成）した現フレームのＡＲ重畳画像５５ａを生成する。この現フレームのＡＲ重畳画像５５ａは、ＬＣＤ２０に表示されるとともに、メモリコントローラ５６によって制御されるデータリーダにより、メモリカード５７に記録される。図６Ｂに示すように、前フレームの表示用画像５０ｂに前フレームのＡＲ画像４９ｂが重畳された前フレームのＡＲ重畳画像５５ｂは、メモリカード５７に記録されている。
　ＡＲ画像重畳部５４は、表示用画像生成部４２での各表示用補間画像５０ｃ～５０ｆの生成と同様に、画像入力コントローラ３８から新たなフレーム（現フレーム）の画像データがバッファメモリ５２に入力されたときに、この現フレームのＡＲ重畳画像５５ａ（図７Ａ参照）と、メモリカード５７に記録された前フレームのＡＲ重畳画像５５ｂ（図７Ｆ参照）との間に位置する４枚の第１～第４ＡＲ補間画像４９ｃ～４９ｆを生成する。そして、これらの第１～第４ＡＲ補間画像４９ｃ～４９ｆを第１～第４表示用補間画像５０ｃ～５０ｆに重畳した第１～第４ＡＲ重畳補間画像５５ｃ～５５ｆを生成する。この画像処理を連続して行うことにより、１秒間に１５０コマのＡＲ付加動画が生成される。このＡＲ付加動画は、高速シャッタスピード（１／２０００秒の露光時間）で撮影しながらも、低速シャッタスピード（例えば、１／６０秒の露光時間）の撮影で得た１秒間に３０コマの動画のように、動画表示時に被写体が連続して滑らかに表示される。第１～第４ＡＲ重畳補間画像５５ｃ～５５ｆは、メモリコントローラ５６を介してメモリカード５７に記録される。なお、メモリカード５７に代えて、メモリスティック等の着脱自在な外部記録媒体を用いてもよい。
　図３に戻って、測光・測距部６１は、スルー画の画像データに基づいて、撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果からホワイトバランス補正量、およびレンズ合焦距離を決定する。測光・測距部６１は、スルー画の表示中は所定のサイクルで作動している。なお、被写体距離は、周知の位相差検出によって測定することができる。
　測光・測距部６１は、輝度および被写体距離の検出結果をＣＰＵ４０に逐次送信する。ＣＰＵ４０は、測光・測距部６１からのレンズ合焦距離に基づいて、フォーカスレンズ１２ｂを移動させる。また、ＣＰＵ４０は、測光・測距部６１からの輝度に基づいて、ＣＭＯＳセンサ３１のシャッタスピード（電荷蓄積時間）及びフラッシュ発光部１５の動作を制御する。
　バッテリ５８は、デジタルカメラ１０の内部に収納され、ＬＣＤ２０やＣＰＵ４０などの各部へ電力を供給する。バッテリ５８の制御回路（図示せず）によって各部への電力供給が制御される。
　マイクロフォン６５は、音を音声データ（電気信号）に変換するトランスデューサ（図示せず）を備え、動画撮影時にシーンの音を集音し、集音した音を音声データに変換する。この音声データは、各画像５５ａ～５５ｆと一緒にメモリカード５７に記録される。スピーカ６６は、動画再生時に、記録された音声データを出力する。
　次に、上記第１実施形態の作用について、図８のフローチャートを参照して説明する。動画撮影モードにセットしてからレリーズボタン１８を全押しして、高速シャッタスピード（１／２０００秒の露光時間）での動画撮影を行う（ステップ（以下、Ｓ）１）。得られた画像データは、バッファメモリ５２を介してＡＲ取得用画像生成部４１、表示用画像生成部４２に入力される（Ｓ２）。ＡＲ取得用画像生成部４１は、画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する（Ｓ３）。この現フレームのＡＲ取得用画像４４ａは、画像パターン読取部４５に入力される。ここでは、撮影開始直後の第１フレームの画像データ（前フレームのＡＲ重畳画像５５ｂ）が存在する状態での第２フレーム以降の画像処理について説明する。
　これと同時に、表示用画像生成部４２は、新たに入力された現フレームの高解像度の画像データに基づいて、図５Ａに示す現フレームの表示用画像５０ａを生成する（Ｓ４）。そして、表示用画像生成部４２は、現フレームの表示用画像５０ａと、バッファメモリ５２に記録された、図５Ｆに示す前フレームの表示用画像５０ｂとを用いて、フレーム補間処理を行い、動画表示時に被写体が連続して滑らかに表示されるようにするための４枚の第１～第４表示用補間画像５０ｃ～５０ｆを生成する（Ｓ５）。この作成後に、現フレームの表示用画像５０ａは、前フレームの表示用画像５０ｂとしてバッファメモリ５２に記録される。
　画像パターン読取部４５で現フレームのＡＲ取得用画像４４ａ上の特定画像パターン４３ａが読み取られると（Ｓ６でＹ）、現フレームのＡＲ取得用画像４４ａにおけるマーカー４３の位置及びサイズが検出され、現フレームのＡＲ画像４９ａの重畳位置が決定される（Ｓ７）。本実施形態では、現フレームのＡＲ画像４９ａの重畳位置は、マーカー４３の表示部分となる。現フレームのＡＲ取得用画像４４ａは、高速シャッタスピード撮影により得られた画像データを用いて生成され、さらには、高ＳＮ比処理及び広ダイナミックレンジ処理されている。これにより、上記各処理が施されていない画像や、低速シャッタスピード撮影により得られた画像データを用いて生成した画像に比べて、特定画像パターン４３ａの読取精度が向上する。
　ＣＰＵ４０は、ＡＲ画像用メモリ４８内で、画像パターン読取部４５で読み取った特定画像パターン４３ａが対応付けられたＡＲ動画データを検索する（Ｓ８）。ＣＰＵ４０は、検索した１フレーム分のＡＲ動画データをＡＲ画像用メモリ４８から読み出し、画像パターン読取部４５で検出されたマーカー４３のサイズに基づいて、マーカー４３とほぼ同じサイズの現フレームのＡＲ画像４９ａに変換する（Ｓ９）。
　ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａと、前フレームのＡＲ画像４９ｂとの間に表示するための４枚の第１～第４ＡＲ補間画像４９ｃ～４９ｆを生成する（Ｓ１０）。ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａ及び第１～第４ＡＲ補間画像４９ｃ～４９ｆを、現フレームの表示用画像５０ａ及び第１～第４表示用補間画像５０ｃ
～５０ｆのマーカー４３の部分に重畳する。この重畳により、図７Ａ～図７Ｅに示すように、現フレームのＡＲ重畳画像５５ａ、第１～第４ＡＲ重畳補間画像５５ｃ～５５ｆが生成される（Ｓ１１）。そして、前フレームのＡＲ重畳画像５５ｂ、第４ＡＲ重畳補間画像５５ｆ、第３ＡＲ重畳補間画像５５ｅ、第２ＡＲ重畳補間画像５５ｄ、第１ＡＲ重畳補間画像５５ｃ、現フレームのＡＲ重畳画像５５ａの順にＬＣＤ２０に表示されるとともに、これらは、メモリコントローラ５６を介してメモリカード５７に記録される（Ｓ１２）。
　撮影を終了していないとき（Ｓ１３でＮ）には、再度Ｓ１以降が実行され、この画像処理を各フレームに対して連続して行うことにより、ＡＲ付加動画が生成、表示及び記録される。
　一方、現フレームのＡＲ取得用画像４４ａ上に特定画像パターン４３ａがないため、画像パターン読取部４５で特定画像パターン４３ａが読み取れなかった場合（Ｓ６でＮ）、各表示用画像５０ａ，５０ｂ及び第１～第４表示用補間画像５０ｃ～５０ｆがＬＣＤ２０に表示されるとともにメモリカード５７に記録される（Ｓ１４）。
　なお、撮影開始直後の第１フレームの画像データ取得時には、Ｓ１０が行われず、Ｓ１１では、ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを現フレームの表示用画像５０ａのマーカー４３の部分に重畳し、現フレームのＡＲ重畳画像５５ａを生成する。
［第２実施形態］
　図９に示す第２実施形態は、低速シャッタスピード撮影（例えば、１／６０秒の露光時間）と高速シャッタスピード撮影（例えば、１／２０００秒の露光時間）とが１フレームごとに交互に行われる。なお、第１実施形態と同じものには同じ符号を付し、その説明を省略する。
　動画撮影モードでレリーズボタン１８が全押しされると、ＣＰＵ４０は、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行うように制御する。本実施形態では、最初に低速シャッタスピード撮影を行い、次に高速シャッタスピード撮影を行い、以降、交互に撮影を行う。
　画像入力コントローラ３８は、高速シャッタスピード撮影時に得られた画像データ（以下、高速画像データ）と、低速シャッタスピード撮影時に得られた画像データ（以下、低速画像データ）とをバッファメモリ５２に入力する。ＣＰＵ４０は、高速画像データをＡＲ取得用画像生成部４１に入力し、低速画像データを表示用画像生成部４２に入力する。
　ＡＲ取得用画像生成部４１は、高速画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する。この現フレームのＡＲ取得用画像４４ａは画像パターン読取部４５に入力される。ＡＲ取得用画像生成部４１は、低速画像データに対しては、現フレームのＡＲ取得用画像４４ａを作成しないので、低速シャッタスピードのフレームでは、直前に生成した前フレームのＡＲ取得用画像４４ｂを現フレームのＡＲ取得用画像４４ａとして再度使用する。これにより、１秒間に３０フレーム分のＡＲ取得用画像４４ａ，４４ｂが生成される。
　表示用画像生成部４２は、低速画像データに対して、高解像度で動画表示に適した色表現を再現するための各種画像処理を行い、現フレームの表示用画像５０ａを生成する。表示用画像生成部４２は、高速シャッタスピードのフレームでは、現フレームの表示用画像５０ａを作成しないので、直前に生成した前フレームの表示用画像５０ｂを、現フレームの表示用画像５０ａとして再度使用する。これにより、１秒間に３０フレーム分の表示用画像５０ａ，５０ｂが生成される。なお、本実施形態では、各表示用補間画像５０ｃ～５０ｆ、各ＡＲ補間画像４９ｃ～４９ｆ、各ＡＲ重畳補間画像５５ｃ～５５ｆの生成及び表示は行わない。
　また、撮影開始時に最初に低速シャッタスピード撮影を行うので、直前に生成された前フレームのＡＲ取得用画像４４ｂがなく、ＡＲ動画データの検索及び現フレームのＡＲ画像４９ａの重畳を行うことができない。そこで、現フレームの表示用画像５０ａもＬＣＤ２０に表示しない。なお、現フレームの表示用画像５０ａのみをＬＣＤ２０に表示してもよい。
　次に、上記第２実施形態の作用について、図９のフローチャートを用いて説明を行う。動画撮影モードでレリーズボタン１８を全押しすると、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ１０１）。最初は低速シャッタスピード撮影であるから、低速画像データが得られる（Ｓ１０２でＹ）。この場合には、この低速画像データは表示用画像生成部４２に入力される（Ｓ１０３）。表示用画像生成部４２は、低速画像データに対して、高解像度で動画表示に適した色表現を再現するための各種画像処理を行い、現フレームの表示用画像５０ａを生成する（Ｓ１０４）。ＡＲ取得用画像生成部４１は、低速シャッタスピードのフレームでは、現フレームのＡＲ取得用画像４４ａを生成しないので、直前に生成した前フレームのＡＲ取得用画像４４ｂを、現フレームのＡＲ取得用画像４４ａとして再度使用する。
　一方、高速シャッタスピード撮影により高速画像データが得られた場合（Ｓ１０２でＮ）には、この高速画像データはＡＲ取得用画像生成部４１に入力される（Ｓ１０５）。ＡＲ取得用画像生成部４１は、高速画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する（Ｓ１０６）。この現フレームのＡＲ取得用画像４４ａは画像パターン読取部４５に入力される。表示用画像生成部４２は、高速シャッタスピードのフレームでは、現フレームの表示用画像５０ａを生成しないので、直前に生成した前フレームの表示用画像５０ｂを、現フレームの表示用画像５０ａとして再度使用する。なお、Ｓ１０７～Ｓ１１０は、第１実施形態のＳ６～Ｓ９と同様であるから、説明を省略する。
　ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを、現フレームの表示用画像５０ａのマーカー４３の部分に重畳して、現フレームのＡＲ重畳画像５５ａを生成する（Ｓ１１１）。現フレームのＡＲ重畳画像５５ａは、ＬＣＤ２０に表示されるとともに、メモリカード５７に記録される（Ｓ１１２）。なお、Ｓ１１３及びＳ１１４は、第１実施形態のＳ１３及びＳ１４と同様であるから、説明を省略する。
［第３実施形態］
　図１０及び図１１に示す第３実施形態のデジタルカメラ７０は、低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行う。なお、第１，第２実施形態と同じものには同じ符号を付し、その説明を省略する。
　撮影レンズ１２の背後には、ＣＣＤセンサ（以下、ＣＣＤ）７１が配置されている。このＣＣＤ７１は、低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行うことができるＣＣＤ、例えば、スーパーＣＣＤハニカム（登録商標）ＥＸＲ（商品名）から構成されている。動画撮影モードでレリーズボタン１８が全押しされると、ＣＣＤ７１のセル毎にシャッタ速度（電荷蓄積時間）を考えて、低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行う。
　ＣＣＤ７１から読み出された時系列の３色信号は、相関二重サンプリング回路（ＣＤＳ）７２に送られ、ノイズ成分が除去され、各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ７２から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）７３で増幅され、Ａ／Ｄ変換器３２で画像データに変換される。
　画像入力コントローラ３８は、セルの種類に応じて画像データを振り分け、高速画像データと低速画像データを作成する。この２種類の画像データは、バッファメモリ５２を介してから、高速画像データがＡＲ取得用画像生成部４１に送られ、低速画像データが表示用画像生成部４２に送られる。
　ＡＲ取得用画像生成部４１は、高速画像データに基づいて現フレームのＡＲ取得用画像４４ａを生成して、画像パターン読取部４５に入力する。表示用画像生成部４２は、低速画像データに対して各種画像処理を行い、現フレームの表示用画像５０ａを生成する。
　次に、上記第３実施形態の作用について、図１１のフローチャートを参照して説明する。動画撮影モードでレリーズボタン１８を全押しすると、低速シャッタスピード撮影と高速シャッタスピード撮影とが同時に行われ、低速画像データ及び高速画像データが得られる（Ｓ２０１）。低速高速画像データは表示用画像生成部４２に入力され、高速画像データはＡＲ取得用画像生成部４１に入力される（Ｓ２０２）。
　ＡＲ取得用画像生成部４１は、高速画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する（Ｓ２０３）。この現フレームのＡＲ取得用画像４４ａは画像パターン読取部４５に入力される。
　表示用画像生成部４２は、低速画像データに基づいて、現フレームの表示用画像５０ａを生成する（Ｓ２０４）。なお、Ｓ２０５～Ｓ２１２は、第２実施形態のＳ１０７～Ｓ１１４と同様であるから、説明を省略する。
［第４実施形態］
　図１２及び図１３に示す第４実施形態のデジタルカメラ８０は、現フレームのＡＲ取得用画像４４ａ及び現フレームの表示用画像５０ａが生成されたそれぞれの時間の差に基づいて、ＡＲ画像の重畳位置を修正する。なお、第２実施形態と同じものには同じ符号を付し、その説明を省略する。
　動画撮影モードでレリーズボタン１８が全押しされると、ＣＰＵ４０は、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う。高速シャッタスピード撮影が行われたときには、現フレームの表示用画像５０ａを生成しないので、直前に生成された前フレームの表示用画像５０ｂを現フレームの表示用画像５０ａとして再度使用する。また、高速画像データに基づいて生成した最新の現フレームのＡＲ取得用画像４４ａを用いて、現フレームのＡＲ画像４９ａの重畳位置（マーカー４３の位置）を決定する。撮影者が動いている場合等には、再度使用する前フレームの表示用画像５０ｂと現フレームのＡＲ取得用画像４４ａとで、マーカー４３の位置が異なる。このため、前フレームの表示用画像５０ｂ上のマーカー４３の位置と、上記のように決定された現フレームのＡＲ画像４９ａの重畳位置とでズレが生じ、決定された重畳位置にそのまま現フレームのＡＲ画像４９ａを重畳すると、マーカー４３とはズレた位置に現フレームのＡＲ画像４９ａが重畳される。
　重畳位置補正部８１は、複数の高速画像データに基づいて、画像内の同じ特徴点の動きを検出して、特徴点の移動速度（ｍｍ／秒）を検出する。そして、重畳位置補正部８１は、特徴点の移動速度と、各フレーム間の時間（１／３０秒）との積で求められるＡＲ画像重畳位置の補正量を算出する。
　ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを重畳して現フレームのＡＲ重畳画像５５ａを生成するときに、重畳位置補正部８１で算出された補正量分ずらした位置に現フレームのＡＲ画像４９ａを重畳する。
　次に、上記第４実施形態の作用について、図１３のフローチャートを参照して説明する。動画撮影モードでレリーズボタン１８を全押しすると、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ３０１）。なお、Ｓ３０２～Ｓ３０７は、第２実施形態のＳ１０２～Ｓ１０７と同様であるから、説明を省略する。
　画像パターン読取部４５で現フレームのＡＲ取得用画像４４ａ上の特定画像パターン４３ａが読み取られると（Ｓ３０７でＹ）、現フレームのＡＲ取得用画像４４ａにおけるマーカー４３の位置及びサイズが検出され、ＡＲ画像の仮表示位置が算出される（Ｓ３０８）。
　重畳位置補正部８１は、画像パターン読取部４５で特定画像パターン４３ａが検出される前に、複数の高速画像データを比較して、画像内の同じ特徴点の移動速度を検出する。そして、特徴点の移動速度と各フレーム間の時間（１／３０秒）との積で求められるＡＲ画像重畳位置の補正量を算出する（Ｓ３０９）。
　ＣＰＵ４０は、ＡＲ画像用メモリ４８内の複数のＡＲ動画データの中から、読み取った特定画像パターン４３ａが対応付けられたＡＲ動画データを検索する（Ｓ３１０）。ＣＰＵ４０は、検索したＡＲ動画データの１フレームを、画像パターン読取部４５で検出されたマーカー４３のサイズに基づいて、マーカー４３とほぼ同じサイズの現フレームのＡＲ画像４９ａに変換する（Ｓ３１１）。
　ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを重畳して現フレームのＡＲ重畳画像５５ａを生成するときに、重畳位置補正部８１で算出された補正量分、仮表示位置からずらした位置に現フレームのＡＲ画像４９ａを重畳して現フレームのＡＲ重畳画像５５ａを生成する（Ｓ３１２）。なお、Ｓ３１３～Ｓ３１５は、第２実施形態のＳ１１２～Ｓ１１４と同様であるから、説明を省略する。
［第５実施形態］
　図１４及び図１５に示す第５実施形態のデジタルカメラ９０は、加速度センサ９１を備えている。加速度センサ９１は、デジタルカメラ９０の加速度を検出する。ＣＰＵ４０は、検出された加速度に基づいて、デジタルカメラ９０の移動速度（ｍｍ／秒）を算出し、このカメラ移動速度が閾値（例えば、１００ｍｍ／秒）以下であるか否かを判定する。ＣＰＵ４０は、動画撮影モードでレリーズボタン１８が全押しされたときに、カメラ移動速度が閾値以下であると判定した場合には、標準シャッタスピード撮影（例えば、１／６０秒の露光時間）を行う。
　また、ＣＰＵ４０は、カメラ移動速度が閾値を超えていると判定した場合には、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う。なお、デジタルカメラ９０を持つ撮影者が止まっている状態で、且つ手ブレが小さいときには、カメラ移動速度が閾値以下であると判定される。また、撮影者が動いているときや、手ブレが大きいときには、カメラ移動速度が閾値を超えていると判定される。
　標準シャッタスピード撮影を行ったときには、得られた画像データ（以下、標準画像データ）が表示用画像生成部４２に入力される。また、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行ったときには、高速画像データがＡＲ取得用画像生成部４１に入力され、低速画像データが表示用画像生成部４２に入力される。
　表示用画像生成部４２は、標準画像データまたは低速画像データに対して、各種画像処理を行い、現フレームの表示用画像５０ａを生成する。
　ＡＲ取得用画像生成部４１は、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う場合は、高速画像データに基づいて現フレームのＡＲ取得用画像４４ａを生成する。他方、標準シャッタスピード撮影のときは、ＡＲ取得用画像生成部４１は現フレームのＡＲ取得用画像４４ａの生成処理を行わないから、現フレームの表示用画像５０ａを現フレームのＡＲ取得用画像４４ａと兼用する。この場合、画像パターン読取部４５は、現フレームの表示用画像５０ａ上の特定画像パターン４３ａを読み取るとともに、現フレームの表示用画像５０ａにおけるマーカー４３の位置及びサイズを検出する。
　次に、上記第５実施形態の作用について、図１５のフローチャートを参照して説明する。加速度センサ９１はデジタルカメラ９０の加速度を検出する。ＣＰＵ４０は、検出された加速度に基づいてカメラ移動速度を算出する。このカメラ移動速度が閾値以下であるとき（Ｓ４０１でＹ）に、動画撮影モードでレリーズボタン１８が全押しされると、標準シャッタスピード撮影が行われる（Ｓ４０２）。標準画像データは、表示用画像生成部４２に入力される（Ｓ４０３）。表示用画像生成部４２は、標準画像データに基づいて現フレームの表示用画像５０ａを生成する。ＡＲ取得用画像生成部４１は、現フレームのＡＲ取得用画像４４ａの生成処理を行わずに、現フレームの表示用画像５０ａを現フレームのＡＲ取得用画像４４ａと兼用する（Ｓ４０４）。撮影者が止まっている状態で、且つ手ブレが小さくい場合も、カメラ移動速度が閾値以下であると判断される。この状態では、ＡＲ取得用画像生成部４１は作動しないため、画像処理時間が抑制され、消費電力も抑制される。
　一方、カメラ移動速度が閾値を超えているとき（Ｓ４０１でＹ）に、レリーズボタン１８が全押しされると、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ４０５）。なお、Ｓ４０６～Ｓ４１８は、第２実施形態のＳ１０２～Ｓ１１４と同様であるから、説明を省略する。
［第６実施形態］
　図１６～図１９に示す第６実施形態のデジタルカメラ１００は、マーカーの移動速度を検出するマーカー移動速度検出部１０１を備えている。マーカー移動速度検出部１０１は、複数のスルー画の画像データに基づいて、マーカー１０３の動きを検出してその移動速度（ｍｍ／秒）を検出する。本実施形態では、マーカー１０３が動く被写体である車に設けられている。ＣＰＵ４０は、検出されたマーカー移動速度が閾値（例えば、１００ｍｍ／秒）以下であるか否かを判定する。ＣＰＵ４０は、マーカー移動速度が閾値以下であると判定したときには、標準シャッタスピード撮影を行い、マーカー移動速度が閾値を超えていると判定したときには、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う。
　標準画像データは表示用画像生成部４２に入力される。また、高速画像データはＡＲ取得用画像生成部４１に入力され、低速画像データは表示用画像生成部４２に入力される。
　表示用画像生成部４２は、標準画像データまたは低速画像データに対して、各種画像処理を行い、現フレームの表示用画像１１０（図１７参照）を生成する。
　高速シャッタスピード撮影が行われたときには、ＡＲ取得用画像生成部４１は、高速画像データに基づいて、現フレームのＡＲ取得用画像を生成する。一方、標準シャッタスピード撮影が行われたときには、ＡＲ取得用画像生成部４１は、現フレームのＡＲ取得用画像の生成処理を行わないから、現フレームの表示用画像１１０を現フレームのＡＲ取得用画像と兼用する。本実施形態では、現フレームのＡＲ取得用画像及び現フレームの表示用画像１１０は、主要被写体画像４６と、マーカー１０３が設けられた車画像１０６とからなる。
　画像パターン読取部４５は、標準シャッタスピード撮影が行われたときには、現フレームの表示用画像１１０上の特定画像パターン１０３ａを読み取る。そして、現フレームの表示用画像１１０におけるマーカー１０３の位置及びサイズを検出する。また、画像パターン読取部４５は、低速または高速シャッタスピード撮影が行われたときには、現フレームのＡＲ取得用画像上の特定画像パターン１０３ａを読み取る。そして、現フレームのＡＲ取得用画像におけるマーカー１０３の位置及びサイズを検出する。ＣＰＵ４０は、ＡＲ画像用メモリ４８内の複数のＡＲ動画データの中から、読み取った特定画像パターン１０３ａが対応付けられたＡＲ動画データを検索する。
　図１８に示すように、ＣＰＵ４０は、検索したＡＲ動画データの１フレームを、画像パターン読取部４５で検出されたマーカー１０３のサイズに基づいて、現フレームのＡＲ画像１１３に変換する。本実施形態では、マーカー１０３とほぼ同じサイズの現フレームのＡＲ画像１１３に変換する。
　ＣＰＵ４０は、現フレームのＡＲ画像１１３を現フレームの表示用画像１１０のマーカー１０３の部分に重畳した現フレームのＡＲ重畳画像１１５を生成する。この現フレームのＡＲ重畳画像１１５は、ＬＣＤ２０に表示されるとともに、前フレームのＡＲ重畳画像としてメモリカード５７に記録される。
　次に、上記第６実施形態の作用について、図１９のフローチャートを参照して説明する。マーカー移動速度検出部１０１は、複数のスルー画の画像データに基づいて、マーカー１０３の移動速度（マーカー１０３が設けられた車画像１０６の移動速度）を検出する。このマーカー移動速度が閾値以下であるとき（Ｓ５０１でＹ）に、動画撮影モードでレリーズボタン１８が全押しされると、標準シャッタスピード撮影が行われる（Ｓ５０２）。標準画像データは、表示用画像生成部４２に入力される（Ｓ５０３）。表示用画像生成部４２は、標準画像データに基づいて現フレームの表示用画像１１０を生成する。ＡＲ取得用画像生成部４１は、ＡＲ取得用画像１０５の生成処理を行わないから、現フレームの表示用画像１１０を現フレームのＡＲ取得用画像と兼用する（Ｓ５０４）。マーカー移動速度が小さいときには、ＡＲ取得用画像生成部４１は作動しないから、画像処理時間が抑制され、消費電力も抑制される。
　一方、マーカー移動速度が閾値を超えているとき（Ｓ５０１でＮ）には、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ５０５）。なお、Ｓ５０６～Ｓ５１８は、第２実施形態のＳ１０２～Ｓ１１４と同様であるから、説明を省略する。
　なお、上記実施形態では、デジタルカメラについて説明しているが、デジタルカメラ及びパソコン等から構成される画像記録装置（システム）にも、本発明を適用することができる。この場合、撮像部としてのデジタルカメラで撮像された撮影画像に基づいて、パソコンで、表示用画像の生成、付加情報用画像の生成、特定画像パターンの読み取り、付加情報の取得、付加情報重畳画像の生成を行う。さらには、本発明は、カメラ付き携帯電話やカメラ付きヘッドマウントディスプレイ装置等にも、本発明を適用することができる。
　また、本発明は、メモリカード等の記録媒体に記録される動画に限らず、ライブビュー等の動画にも適用することができる。
　また、上記実施形態では、ＡＲ画像用メモリに、複数のＡＲ動画データを記録しておき、これら複数のＡＲ動画データの中から、読み取った特定画像パターンが対応付けられた１フレームを検索しているが、サーバに複数のＡＲ動画データを記録しておき、サーバにアクセスして、読み取った特定画像パターンが対応付けられたＡＲ画像を取得してもよい。
　さらに、上記実施形態では、ＡＲ画像としてイラストを表示しているが、文字や記号を表示してもよい。
　４３，１０３　マーカー
　４４ａ　現フレームのＡＲ取得用画像
　４４ｂ　前フレームのＡＲ取得用画像
　４６　主要被写体画像
　４７　柱画像
　４９ａ，１１３　現フレームのＡＲ画像
　４９ｂ　前フレームのＡＲ画像
　４９ｃ～４９ｆ　第１～第４ＡＲ補間画像
　５０ａ，１１０　現フレームの表示用画像
　５０ｂ　前フレームの表示用画像
　５０ｃ～５０ｆ　第１～第４表示用補間画像
　５５ａ，１１５　現フレームのＡＲ重畳画像
　５５ｂ　前フレームのＡＲ重畳画像
　５５ｃ～５５ｆ　第１～第４ＡＲ重畳補間画像

Claims (10)

  1. 　マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する撮像部と、
    　前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する表示用画像生成部と、
    　前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する付加情報用画像生成部と、
    　前記付加情報用画像上の前記マーカーを読み取る読取部と、
    　前記マーカーごとに対応した付加情報を記録した付加情報記録部と、
    　前記付加情報記録部に記録された複数の付加情報の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する付加情報取得部と、
    　前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する付加情報重畳画像生成部と、
    　前記付加情報重畳画像を表示する表示器と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記撮像部は、前記付加情報用画像の生成に適したシャッタスピードで撮影を行い、
    　前記表示用画像生成部は、連続する前記表示用画像の間に表示する複数の表示用補間画像も生成することを特徴とする請求の範囲第１項記載の画像処理装置。
  3. 　前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを交互に行い、
    　前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成し、
    　前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成することを特徴とする請求の範囲第１項記載の画像処理装置。
  4. 　前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを同時に行い、
    　前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成し、
    　前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成することを特徴とする請求の範囲第１項記載の画像処理装置。
  5. 　前記表示用画像及び付加情報用画像が生成されたそれぞれの時間の差に基づいて、前記表示用画像上の前記付加情報を重畳する位置を補正する位置補正部を備えることを特徴とする請求の範囲第３項記載の画像処理装置。
  6. 　前記表示用画像生成部は、高解像度で動画表示に適した色表現の前記表示用画像を生成し、
    　前記付加情報用画像生成部は、前記表示用画像に比べて高いＳＮ比、及び広いダイナミックレンジを有する前記付加情報用画像を生成することを特徴とする請求の範囲第１項ないし第５項いずれか１つ記載の画像処理装置。
  7. 　前記撮像部の移動速度を検出する検出部と、
    　前記検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定する判定部とを備え、
    　前記判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取ることを特徴とする請求の範囲第１項ないし第６項いずれか１つ記載の画像処理装置。
  8. 　前記マーカーの移動速度を検出するマーカー移動速度検出部と、
    　前記マーカー移動速度検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定するマーカー移動速度判定部とを備え、
    　前記マーカー移動速度判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取ることを特徴とする請求の範囲第１項ないし第７項いずれか１つ記載の画像処理装置。
  9. 　前記付加情報重畳画像を記録する付加情報重畳画像記録部を備えることを特徴とする請求の範囲第１項ないし第８項いずれか１つ記載の画像処理装置。
  10. 　マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する撮像ステップと、
    　前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する表示用画像生成ステップと、
    　前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する付加情報用画像生成ステップと、
    　前記付加情報用画像上の前記マーカーを読み取る読取ステップと、
    　前記マーカーごとに対応した付加情報を記録した付加情報記録部の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する付加情報取得ステップと、
    　前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する付加情報重畳画像生成ステップと、
    　前記付加情報重畳画像を表示する表示ステップと、
    　を備えることを特徴とする画像処理方法。
PCT/JP2011/063673 2010-06-30 2011-06-15 画像処理方法及び装置 WO2012002149A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11800616.2A EP2590395A4 (en) 2010-06-30 2011-06-15 IMAGE PROCESSING AND DEVICE
CN201180027167.1A CN102959938B (zh) 2010-06-30 2011-06-15 图像处理方法和设备
JP2012522549A JP5377768B2 (ja) 2010-06-30 2011-06-15 画像処理方法及び装置
US13/686,158 US8767096B2 (en) 2010-06-30 2012-11-27 Image processing method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010149556 2010-06-30
JP2010-149556 2010-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/686,158 Continuation US8767096B2 (en) 2010-06-30 2012-11-27 Image processing method and apparatus

Publications (1)

Publication Number Publication Date
WO2012002149A1 true WO2012002149A1 (ja) 2012-01-05

Family

ID=45401875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/063673 WO2012002149A1 (ja) 2010-06-30 2011-06-15 画像処理方法及び装置

Country Status (5)

Country Link
US (1) US8767096B2 (ja)
EP (1) EP2590395A4 (ja)
JP (1) JP5377768B2 (ja)
CN (1) CN102959938B (ja)
WO (1) WO2012002149A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014047876A1 (en) 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
JP2016071720A (ja) * 2014-09-30 2016-05-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5145444B2 (ja) * 2011-06-27 2013-02-20 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
WO2015170503A1 (ja) * 2014-05-08 2015-11-12 ソニー株式会社 情報処理装置及び情報処理方法
JP6500355B2 (ja) * 2014-06-20 2019-04-17 富士通株式会社 表示装置、表示プログラム、および表示方法
EP2975576A1 (en) * 2014-07-15 2016-01-20 Thomson Licensing Method of determination of stable zones within an image stream, and portable device for implementing the method
CN107003135B (zh) * 2014-12-09 2020-04-21 旭化成株式会社 位置方位检测装置以及位置方位检测程序
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322602A (ja) * 1999-05-12 2000-11-24 Sony Corp 画像処理装置および方法、並びに媒体
JP2005136639A (ja) * 2003-10-29 2005-05-26 Casio Comput Co Ltd 画像撮影制御装置及びプログラム
JP2005230139A (ja) * 2004-02-18 2005-09-02 Sony Computer Entertainment Inc 画像表示システム、情報処理システム、画像処理システム及びビデオゲームシステム
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2008193640A (ja) 2007-02-08 2008-08-21 Kddi Corp 撮影画像に付加画像を重畳させて表示する端末及びプログラム
JP2010039556A (ja) 2008-07-31 2010-02-18 Canon Inc システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
KR20030036160A (ko) * 2000-05-22 2003-05-09 가부시키가이샤 소니 컴퓨터 엔터테인먼트 정보 처리 장치, 그래픽 처리 유닛, 그래픽 처리 방법,저장 매체 및 컴퓨터 프로그램
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US7154535B2 (en) * 2001-07-13 2006-12-26 Matsushita Electric Industrial Co., Ltd. Digital camera capable of directly accessing images recorded on another digital camera
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
JP2004015286A (ja) * 2002-06-05 2004-01-15 Seiko Epson Corp ディジタルカメラ
JP2004193981A (ja) * 2002-12-11 2004-07-08 Canon Inc 撮像装置
GB2399248B (en) * 2003-03-07 2006-03-29 British Broadcasting Corp Video production
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2004304425A (ja) * 2003-03-31 2004-10-28 Casio Comput Co Ltd 電子カメラ
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP3851907B2 (ja) * 2004-02-18 2006-11-29 株式会社ソニー・コンピュータエンタテインメント 画像表示システム及びビデオゲームシステム
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
JP4926533B2 (ja) * 2006-05-02 2012-05-09 キヤノン株式会社 動画像処理装置、動画像処理方法及びプログラム
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8711265B2 (en) * 2008-04-24 2014-04-29 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, and storage medium
JP5068690B2 (ja) * 2008-04-25 2012-11-07 富士フイルム株式会社 画像記録装置及び方法
EP2113881A1 (en) * 2008-04-29 2009-11-04 Holiton Limited Image producing method and device
KR101532294B1 (ko) * 2008-12-18 2015-07-01 삼성전자주식회사 자동 태깅 장치 및 방법
JP2011008601A (ja) * 2009-06-26 2011-01-13 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP5525201B2 (ja) * 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US8659680B2 (en) * 2009-07-31 2014-02-25 Casio Computer Co., Ltd. Imaging apparatus, image recording method, and recording medium
JP2011054075A (ja) * 2009-09-04 2011-03-17 Olympus Imaging Corp 画像制御装置およびプログラム
AU2009251086B2 (en) * 2009-12-22 2013-12-05 Canon Kabushiki Kaisha Method of foreground/background separation
JP4924721B2 (ja) * 2010-01-20 2012-04-25 カシオ計算機株式会社 携帯端末、及び、素材バンク管理システム
JP5473646B2 (ja) * 2010-02-05 2014-04-16 キヤノン株式会社 画像検索装置、制御方法、プログラム及び記憶媒体
US8818025B2 (en) * 2010-08-23 2014-08-26 Nokia Corporation Method and apparatus for recognizing objects in media content
US8810691B2 (en) * 2010-09-03 2014-08-19 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium
KR101755598B1 (ko) * 2010-10-27 2017-07-07 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322602A (ja) * 1999-05-12 2000-11-24 Sony Corp 画像処理装置および方法、並びに媒体
JP2005136639A (ja) * 2003-10-29 2005-05-26 Casio Comput Co Ltd 画像撮影制御装置及びプログラム
JP2005230139A (ja) * 2004-02-18 2005-09-02 Sony Computer Entertainment Inc 画像表示システム、情報処理システム、画像処理システム及びビデオゲームシステム
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2008193640A (ja) 2007-02-08 2008-08-21 Kddi Corp 撮影画像に付加画像を重畳させて表示する端末及びプログラム
JP2010039556A (ja) 2008-07-31 2010-02-18 Canon Inc システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2590395A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014047876A1 (en) 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
CN104541300A (zh) * 2012-09-28 2015-04-22 英特尔公司 增强现实信息的确定
EP2901410A4 (en) * 2012-09-28 2016-05-25 Intel Corp DETERMINATION OF INCREASED REALITY INFORMATION
US9691180B2 (en) 2012-09-28 2017-06-27 Intel Corporation Determination of augmented reality information
CN104541300B (zh) * 2012-09-28 2019-01-22 英特尔公司 增强现实信息的确定
JP2016071720A (ja) * 2014-09-30 2016-05-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Also Published As

Publication number Publication date
US8767096B2 (en) 2014-07-01
CN102959938B (zh) 2016-06-22
EP2590395A1 (en) 2013-05-08
JPWO2012002149A1 (ja) 2013-08-22
US20130083221A1 (en) 2013-04-04
CN102959938A (zh) 2013-03-06
JP5377768B2 (ja) 2013-12-25
EP2590395A4 (en) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5377768B2 (ja) 画像処理方法及び装置
US9794478B2 (en) Imaging apparatus for generating composite image using directional indicator image, and method and recording medium with program recorded therein for the same
JP5163676B2 (ja) 撮像装置、撮像方法及びプログラム
CN101931752B (zh) 摄像装置、以及对焦方法
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
JP2012015674A (ja) 撮像装置ならびにその動作制御方法およびそのプログラム
KR20120115127A (ko) 광각 화상을 생성 가능한 화상 처리 장치
JP2009296561A (ja) 撮像装置及び撮像方法
JP2015053741A (ja) 画像再生装置
JP4957825B2 (ja) 撮像装置、及びプログラム
JP5832353B2 (ja) 撮像装置
JP2006295237A (ja) 撮像装置
JP2010114577A (ja) 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法
JP5892211B2 (ja) 撮像装置、及びプログラム
JP5962974B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2007306199A (ja) 撮像装置および画像処理プログラム
JP2004117195A (ja) 速度計測機能付デジタルカメラ
JP5655804B2 (ja) 撮像装置、及びプログラム
JP5683898B2 (ja) 追尾装置および追尾方法
JP5041050B2 (ja) 撮像装置および画像処理プログラム
JP5637400B2 (ja) 撮像装置、及びプログラム
JP2016092794A (ja) 撮像装置
JP2010093450A (ja) 撮像装置、撮像システム、および撮像装置用プログラム
JP2010093492A (ja) 撮像装置および撮像装置用プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180027167.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800616

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012522549

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011800616

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE