WO2010047192A1 - 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体 - Google Patents

撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体 Download PDF

Info

Publication number
WO2010047192A1
WO2010047192A1 PCT/JP2009/065849 JP2009065849W WO2010047192A1 WO 2010047192 A1 WO2010047192 A1 WO 2010047192A1 JP 2009065849 W JP2009065849 W JP 2009065849W WO 2010047192 A1 WO2010047192 A1 WO 2010047192A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
amount
storage control
time
Prior art date
Application number
PCT/JP2009/065849
Other languages
English (en)
French (fr)
Inventor
圭司 外川
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US13/124,890 priority Critical patent/US8798326B2/en
Publication of WO2010047192A1 publication Critical patent/WO2010047192A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to a captured image storage control device, a captured image storage control method, a captured image storage control program, and a storage medium storing a captured image storage control program.
  • Japanese Patent Laid-Open No. 2001-298893 describes a digital camera that can be set to an interval shooting mode and an animation shooting mode.
  • the interval shooting mode still image shooting is performed at a predetermined time interval (cycle)
  • the animation shooting mode still image shooting is performed when the user performs a shutter operation.
  • Clay animation is a video image created by repeatedly taking a still image for each frame while changing the shape of a model made of a material such as clay. Each scene is created by changing the shape of.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus capable of performing time-lapse photography without requiring complicated work.
  • the imaging apparatus includes a motion amount calculation unit and a storage control unit.
  • the motion amount calculating means converts the motion amount of the image between the latest frame and the immediately preceding frame among the image data in units of frames constituting the moving image captured by the imaging means to the difference in image data between both frames. Calculate based on The storage control means, on condition that the motion amount of the image calculated by the motion amount calculation means has changed from a predetermined value or more to less than a predetermined value, either the latest frame image data or the image data of the immediately preceding frame is framed. The captured image is stored in the storage means.
  • time-lapse photography can be performed without requiring complicated work.
  • FIG. 1 is an overall configuration diagram of an imaging system according to a first embodiment. It is a schematic diagram which shows a camera, a scene area
  • the imaging system of the present embodiment includes a camera 1 and an entertainment device 2 that functions as a captured image storage device.
  • the camera 1 sequentially generates image data (still image data) in units of frames constituting a moving image by imaging a predetermined in-view angle area (scene area) 4, and sequentially outputs the image data to the entertainment device 2.
  • the entertainment device 2 displays video based on the image data received from the camera 1 on the display device 3 in real time at a predetermined frame rate (FPS: Frame Per Second). By viewing the screen of the display device 3, the user can recognize whether the subject 5 in the scene area 4 is captured as if by the camera 1.
  • FPS Frame Per Second
  • the entertainment device 2 is set to the time-lapse shooting mode in response to a setting input from the user to the controller 35.
  • the entertainment device 2 set in the time-lapse shooting mode, with respect to the image data sequentially transmitted from the camera 1, the image data of the most recently received frame (hereinafter referred to as a new frame) and the frame received immediately before that
  • the image data (hereinafter referred to as the previous frame) is compared, and based on the difference in the image data between the two frames, the motion amount of the image when shifting from the previous frame to the new frame is sequentially calculated.
  • the entertainment apparatus 2 determines that the scene creation (changing work of the shape of the subject 5) by the user has been completed, and the image data of the new frame is obtained.
  • the time-lapse image (still image data of each scene) is sequentially stored.
  • the entertainment device 2 is realized by a computer that forms a required function by a computer program.
  • the computer has two buses, a main bus B ⁇ b> 1 and a sub-bus B ⁇ b> 2, to which a plurality of semiconductor devices each having a unique function are connected.
  • the bus interface INT connects the two buses B1 and B2 in a detachable manner.
  • the main bus B1 includes a main CPU 10 which is a main semiconductor device, a main memory 11 including a RAM, a main DMAC (Direct Memory Access Controller) 12, an MPEG (Moving Picture Experts Group) decoder (MDEC) 13, A drawing processing unit (GPU: Graphic Processing Unit) 14 is connected.
  • the GPU 14 performs display control of the display device 3 by outputting data drawn in a built-in frame memory (not shown) to the display device 3.
  • the main CPU 10 reads the activation program from the ROM 23 on the sub-bus B2 via the bus interface INT when the computer is activated, and executes the activation program to operate the operating system.
  • the media drive 27 is controlled, and application programs and data are read from the media 28 loaded in the media drive 27 and stored in the main memory 11.
  • three-dimensional object data composed of a plurality of basic figures (polygons) (such as coordinate values of vertexes (representative points) of polygons)
  • geometry processing coordinate value calculation processing
  • polygon definition information by geometry processing (designation of polygon shape to be used and its drawing position, type of material constituting the polygon, color tone, texture, etc.)
  • the GPU 14 holds a drawing context (drawing data including polygon material), reads a necessary drawing context according to a display list notified from the main CPU 10, performs rendering processing (drawing processing), and stores polygons in a frame memory.
  • a drawing context drawing data including polygon material
  • the GPU 14 reads a necessary drawing context according to a display list notified from the main CPU 10, performs rendering processing (drawing processing), and stores polygons in a frame memory.
  • the main DMAC 12 performs DMA transfer control for each circuit connected to the main bus B1, and performs DMA transfer control for each circuit connected to the sub-bus B2 according to the state of the bus interface INT.
  • the MDEC 13 is a semiconductor device that operates in parallel with the main CPU 10 and has a function of decompressing data compressed by an MPEG (Moving Picture Experts Group) system or a JPEG (Joint Photographic Experts Group) system.
  • the sub-bus B2 is a sub-CPU 20 composed of a microprocessor, a sub-memory 21 composed of RAM, a sub-DMAC 22, a ROM 23 storing a control program such as an operating system, and sound data accumulated in the sound memory 25.
  • a sound processing semiconductor device (SPU) 24 that reads out and outputs as an audio output, a communication control unit (ATM) 26 that transmits / receives information to / from an external device via a network (not shown), a CD-ROM or a DVD-ROM
  • the sub CPU 20 performs various operations according to the control program stored in the ROM 23.
  • the sub DMAC 22 is a semiconductor device that performs control such as DMA transfer for each circuit connected to the sub bus B2 only when the bus interface INT separates the main bus B1 and the sub bus B2.
  • the input unit 31 includes a connection terminal 32 to which an input signal from the controller 35 is input, a connection terminal 33 to which an image signal from the camera 1 is input, and a connection terminal 34 to which an audio signal from the camera 1 is input.
  • the main CPU 10 controls the GPU 14 and the SPU 24 according to a user instruction received from the controller 35 via the connection terminal 32, and controls display of images and generation of sound.
  • the main memory 11 is provided in advance with a time-lapse image storage area 107 (shown in FIG. 4) and an operation flag on / off setting area (not shown).
  • the computer configured as described above operates as the entertainment apparatus 2 when the main CPU 10, the sub CPU 20, and the GPU 14 read and execute a required computer program from a recording medium such as the ROM 23 and the medium 28.
  • the entertainment apparatus 2 is set to a mode corresponding to a predetermined instruction input from the user via the controller 35 among a plurality of modes including the time-lapse shooting mode.
  • the entertainment device 2 set to the time-lapse imaging mode executes camera video display processing and time-lapse storage processing.
  • the camera video display process may be executed in modes other than the time-lapse imaging mode.
  • the main CPU 10 of the entertainment device 2 functions as an image input unit 101, a motion amount calculation unit 102, a stillness determination unit 103, and a storage control unit 104, as shown in FIG. It functions as the control unit 106.
  • the image input unit 101 continuously captures image data transmitted from the camera 1 and sequentially stores it in a predetermined storage area (for example, the image data temporary storage area of the main memory 11). Note that the image acquisition unit 101 may sequentially delete image data of unnecessary frames from the storage area after camera image display processing and time-lapse storage processing described later are completed.
  • the display control unit 106 executes camera image display processing.
  • the display control unit 106 causes the display device 3 to display an image based on the image data captured by the image input unit 101 in real time at a predetermined frame rate. Further, the display control unit 106 displays the stored time-lapse image on the display device 3 for a predetermined time when a time-lapse storage process described later is executed.
  • the motion amount calculation unit 102, the stillness determination unit 103, and the storage control unit 104 execute a time-lapse storage process.
  • the motion amount calculation unit 102 compares the image data of the new frame and the image data of the previous frame among the image data captured by the image input unit 101 from the camera 1, and calculates the motion amount of the image between both frames.
  • the stillness determination unit 103 determines whether or not the motion amount calculated by the motion amount calculation unit 102 has changed from a predetermined threshold value or more to a value less than the threshold value. In the time-lapse shooting, if the amount of motion of the image between both frames changes from the threshold value to less than the threshold value, it is highly likely that the user has completed scene creation.
  • image data of a new frame is sequentially stored as a time-lapse image.
  • the time-lapse image storage area 107 may be set in, for example, the sub memory 21 or the medium 28. Further, not the image data of the new frame but the image data of the previous frame may be stored as a time-lapse image.
  • the motion amount calculation unit 102 calculates the motion amount of the image between the previous frame and the new frame using a pixel difference between the both frames and an optical flow.
  • the motion amount calculation unit 102 compares, for example, corresponding pixels between both frames (pixels at the same position), and a pixel difference value (for example, a luminance difference) between the corresponding pixels. Are calculated, and the sum of the calculated pixel difference values is calculated as the amount of motion of the image.
  • the motion amount calculation unit 102 may calculate the pixel difference value over the entire range of the image, or may calculate the pixel difference value within a preset range.
  • the motion amount calculation unit 102 divides both frames into a predetermined number of regions (elements), for example, and determines which element of the previous frame has moved to which element of the new frame. Then, the displacement amount (vector) between the corresponding elements is obtained, and the sum of the vector sizes (scalar) between the elements is calculated as the amount of motion of the image. Note that the motion amount calculation unit 102 may obtain a vector between each element in the entire range of the image, or may obtain a vector between each element in a preset range.
  • the time-lapse storage process executed by the main CPU 10 when the user sets the entertainment apparatus 2 to the time-lapse shooting mode and produces clay animation or flip animation will be described with reference to the flowchart of FIG.
  • the time-lapse storage process is started when the entertainment apparatus 2 shifts to the time-lapse shooting mode, and is repeatedly executed every predetermined time while the time-lapse shooting mode is set.
  • an operation flag which will be described later, is set to OFF when shifting to the time-lapse shooting mode.
  • step S1 the image data of the new frame and the image data of the previous frame are acquired (step S1), and the motion amount of the image between both frames is calculated (step S2).
  • step S3 it is determined whether or not the amount of motion of the image calculated in step S2 is greater than or equal to a preset threshold (step S3). If the amount of motion of the image is less than the threshold (step S3: No), the operation flag is set. It is determined whether or not it is on (step S4).
  • step S4 When the operation flag is on (step S4: Yes), the image data of the new frame is stored as a time-lapse image in the image storage area 107 (step S6), and the operation flag is set to off (step S7). Exit.
  • step S3 Yes
  • the operation flag is set to ON (step S5), and this process is terminated.
  • step S3: No when the amount of motion of the image is less than the threshold value (step S3: No) and the operation flag is off (step S4: No), this process ends.
  • step S3 If the user has not yet started creating a new scene, such as immediately after the transition to the time-lapse shooting mode, or after creating one scene, Maintained below. For this reason, the amount of motion of the image is less than the threshold (step S3: No), and the operation flag is off (step S4: No), so the time-lapse image is not stored (the process of step S6 is not executed).
  • step S3 Yes
  • step S5 the operation flag is set to on (step S5), but the time-lapse image is not stored (the process of step S6 is not executed).
  • step S6 When the creation of the scene is completed and the user pulls his / her hand from the scene area 4, all the imaging targets of the camera 4 are stationary. As a result, the amount of motion of the image becomes less than the threshold (step S3: No), and the operation flag is on (step S4: Yes), so that a new frame-time-lapse image is stored (step S6).
  • a user who produces clay animation or flip animation sets the subject 5 in the scene area 4 and moves the hand in the scene area 4 to move the subject 5.
  • the user After creating a desired scene by setting it to a desired state, the user simply repeats the operation of pulling a hand from the scene area 4 and does not separately input an instruction for storing a time-lapse image, for example, FIG.
  • time-lapse images of desired scenes can be sequentially stored.
  • the previous frame and the new frames 110 and 111 are divided into a central area 112 and a peripheral area 113, respectively, and an image between the central areas 112 of both frames 110 and 111 is displayed.
  • Motion amount (the amount of motion of the central image) and the amount of motion of the image between the peripheral regions 113 (the amount of motion of the peripheral image) are calculated using pixel differences and optical flows, respectively, and the motion amount of the peripheral image is weighted.
  • the motion amount calculation unit 102 calculates the motion amount of the image between both frames 111 and 112 (the motion amount of the entire image) by adding to the motion amount of the central image.
  • the corresponding pixels are compared between the central regions 112 of both frames 110 and 111, and the pixel difference values between the corresponding pixels are respectively calculated.
  • the sum of the calculated pixel difference values is calculated as the amount of motion of the image in the central region 112.
  • the corresponding pixels are compared between the peripheral regions 113 of both frames 110 and 111, and pixel difference values between the corresponding pixels are calculated and calculated.
  • the sum of the pixel difference values is calculated as the amount of motion of the image in the peripheral area 113.
  • the amount of motion of the image between both frames 111 and 112 is a value obtained by weighting the sum of the pixel difference values in the peripheral region 113 (a coefficient exceeding 1.0 is added to the sum of the pixel difference values in the peripheral region 113). And the sum of the pixel difference values in the central region 112 are obtained.
  • the hand is copied in a relatively narrow range of only the peripheral area 113. For this reason, if the amount of motion of the center image and the amount of motion of the peripheral image are evaluated equally, and the amount of motion of the image between both frames 110 and 111 is calculated by simply adding both, When the user pulls his / her hand from the area 4, the amount of motion of the image is calculated as a relatively small value and becomes a predetermined value or less, and the user's hand may be included and stored in the time-lapse image.
  • this embodiment does not evaluate the amount of movement of the central image and the amount of movement of the peripheral image equally, but weights the amount of movement of the peripheral image and adds it to the amount of movement of the central image. Since the amount of motion of the image between the frames 111 and 112 is calculated, the amount of motion of the image between the frames 110 and 111 is less than a predetermined value when the user pulls the hand after the scene creation is completed. Is less likely to be included and stored in the time-lapse image. Therefore, it is possible to prevent the user's hand after completion of scene creation from being erroneously included and stored in the time-lapse image.
  • the storage control unit 104 stores the time-lapse image in the time-lapse image storage area 107.
  • the display control unit 106 changes the image motion amount to less than the predetermined value while the image motion amount is maintained below the predetermined value.
  • the display device 3 is caused to display elapsed time information indicating at least one of the elapsed time since then or the remaining time obtained by subtracting the elapsed time from the predetermined time.
  • the time-lapse storage process is started, the image data of the new frame and the image data of the previous frame are acquired (step S1), and the motion amount of the image between both frames is calculated. (Step S2) When the calculated amount of motion of the image is less than a preset threshold (Step S3: No) and the operation flag is on (Step S4: Yes), an internal timer (illustrated) of the main CPU 10 is displayed. (Omitted) starts timing (step S11). If the time measurement by the internal timer is already being executed, the process proceeds to step S12 without executing the process of step S11.
  • Step S12 whether or not the internal timer has reached a predetermined time (after the amount of movement of the image has changed from a predetermined value to less than a predetermined value, the predetermined amount of time has passed while the amount of movement of the image is maintained below the predetermined value) (Step S12), and when a predetermined time has elapsed (Step S12: Yes), the image storage area is used as a time-lapse image of the image data of the previous frame or new frame acquired at the start of the time measurement of the predetermined time. 107 (step S6), the operation flag is set to OFF (step S7), the timer is reset (stopped and cleared) (step S13), and this process is terminated.
  • the elapsed time information indicating at least one of the elapsed time from the start of time measurement or the remaining time obtained by subtracting the elapsed time from the predetermined time (from the elapsed time count-up display and the predetermined time) At least one of the countdown displays) is displayed on the display device 3 together with the time-lapse image scheduled to be stored when the process proceeds to step S6 (hereinafter referred to as a provisionally determined time-lapse image).
  • the time-lapse image stored in step S6 may be any image data of all frames acquired from the start of timing to the elapse of a predetermined time.
  • step S3 when the amount of motion of the image is equal to or greater than the threshold (step S3: Yes), the operation flag is set to on (step S5), the timer is reset (stopped and cleared) (step S14), and this process is terminated. .
  • Step S3: No when the motion amount of the image is less than the threshold value (step S3: No) and the operation flag is off (step S4: No), or when the motion amount of the image is less than the threshold value (step S3: No), the operation flag is turned on. (Step S4: Yes), and if the predetermined time has not yet passed (Step S12: No), this process is terminated.
  • step S3 determines that the amount of motion of the image is less than the threshold value (step S3: No) and the operation flag is off (step S4: No), the time measurement by the internal timer is not started, and the time-lapse image is Not stored (the processing of step S11 and step S6 is not executed).
  • step S3 Yes
  • step S5 the operation flag is set to on
  • step S11 the time measurement by the internal timer is not started and the time-lapse image is not stored
  • step S6 When the creation of the scene is completed and the user pulls his / her hand from the scene area 4, all the imaging targets of the camera 4 are stationary. As a result, the amount of motion of the image becomes less than the threshold value (step S3: No), and the operation flag is on (step S4: Yes), so the time measurement by the internal timer is started (step S11). Then, when a predetermined time elapses while the image motion amount is maintained below the threshold (step S12: Yes), a time-lapse image is stored (step S6).
  • step S3 Yes
  • the provisionally determined time-lapse image is discarded without being stored in the time-lapse image storage area 11.
  • the provisionally determined time-lapse image is stored as it is as a time-lapse image by waiting for the elapse of a predetermined time.
  • a user who wants to change a scene after completing scene creation discards and changes the image data of the scene before the change without complicated operations such as a special operation input. Only later scenes can be saved as time-lapse images.
  • the main CPU 10 of the fourth embodiment of the present invention analyzes the image data received from the camera 1, and the image data is a predetermined image (an image of a predetermined shape that is intentionally presented by the user in the scene area 4, For example, it functions as an image recognition determination means for determining whether or not the image includes a hand formed with a thumb and a forefinger.
  • the storage control unit 104 captures the time-lapse image on the condition that it is determined that the predetermined image is included within a predetermined time after the amount of motion of the image changes from a predetermined value to less than the predetermined value.
  • the captured image storage area 107 is stored.
  • the display control unit 106 changes the image motion amount from a predetermined value or more to less than a predetermined value until it is determined that the image includes the predetermined image, or the image motion amount exceeds the predetermined value or more.
  • Elapsed time indicating at least one of the elapsed time after the amount of motion of the image changes to less than the predetermined value or the remaining time obtained by subtracting the elapsed time from the change to less than the predetermined value until the predetermined time elapses Information is displayed on the display device 3.
  • step S1 when the time-lapse storage process is started and the image data of the new frame and the image data of the previous frame are acquired (step S1), the time is measured by an internal timer (not shown) of the main CPU 10. Whether or not is being executed is determined (step S21).
  • step S21 When the time measurement by the internal timer is not being executed (step S21: No), the motion amount of the image between both frames is calculated (step S2), and the calculated motion amount of the image is less than a preset threshold value (step S2).
  • step S4 Yes
  • step S11 the time measurement by the internal timer (not shown) of the main CPU 10 is started (step S11).
  • Step S12 whether or not the internal timer has reached a predetermined time (after the amount of movement of the image has changed from a predetermined value to less than a predetermined value, the predetermined amount of time has passed while the amount of movement of the image is maintained below the predetermined value) (Step S12), and if the predetermined time has not yet passed (Step S12: No), whether or not the predetermined image has been recognized (the image data of the new frame acquired in Step S1). It is determined whether or not a predetermined image is included (step S22). Usually, since a predetermined image is not recognized at the time of start of timing of the internal timer (step S22: No), this process is ended as it is.
  • step S21: Yes When the time measurement by the internal timer is being executed (step S21: Yes), the process proceeds to step S22 to determine whether or not the predetermined image is recognized, and when the predetermined image is recognized (step S22: Yes).
  • the image data of the previous frame or new frame acquired at the start of timing for a predetermined time is stored in the image storage area 107 as a time-lapse image (step S6), the operation flag is set to off (step S7), and the timer is reset ( (Stop and clear) (step S13), and the process is terminated.
  • the elapsed time information indicating at least one of the elapsed time from the start of time measurement or the remaining time obtained by subtracting the elapsed time from the predetermined time (from the elapsed time count-up display and the predetermined time) At least one of the countdown displays) is displayed on the display device 3 together with the scheduled time-lapse image (temporarily determined time-lapse image) stored when the process proceeds to step S6.
  • step S12 When the internal timer has reached the predetermined time (step S12: Yes), the operation flag is set to off (step S7), the timer is reset (step S13), and this process is terminated. Is greater than or equal to the threshold (step S3: Yes), the operation flag is set to ON (step S5), and this process is terminated.
  • Step S3: No when the amount of motion of the image is less than the threshold (Step S3: No) and the operation flag is off (Step S4: No), this process is terminated.
  • Step S21: No If the user has not yet started to create a new scene, the internal timer is before the start of timing (step S21: No), the amount of motion of the image is less than the threshold (step S3: No), and the operation flag is off. (Step S4: No), the time measurement by the internal timer is not started, and the time-lapse image is not stored (the processing of Step S11 and Step S6 is not executed).
  • step S3 Yes
  • step S5 the operation flag is set to on
  • step S11 the time measurement by the internal timer is not started and the time-lapse image is not stored
  • step S6 When the creation of the scene is completed and the user pulls his / her hand from the scene area 4, all the imaging targets of the camera 4 are stationary. As a result, the amount of motion of the image becomes less than the threshold value (step S3: No), and the operation flag is on (step S4: Yes), so the time measurement by the internal timer is started (step S11). At this time, since the user pulls his hand from the scene area 4, the predetermined image is not recognized (step S22: No), and the time-lapse image is not stored (the process of step S6 is not executed).
  • the user who has completed the creation of the scene considers whether the desired scene has been created while viewing the elapsed time information displayed on the display device 3 and the provisionally determined time-lapse image until the predetermined time has elapsed. can do. If it is determined that a desired scene has been created, a predetermined shape (for example, a hand that forms a ring with the thumb and the forefinger) is presented in the scene area 4 so that the predetermined image is recognized. Thus (step S21 ⁇ step S12 ⁇ step S22: Yes), the time-lapse image is stored (step S6).
  • a predetermined shape for example, a hand that forms a ring with the thumb and the forefinger
  • the provisionally determined time-lapse image is stored in the time-lapse image storage area 11 by waiting for the elapse of a predetermined time (step S12 ⁇ step S7 ⁇ step S13). Discard without memorizing.
  • a user who wants to change a scene after completing scene creation discards and changes the image data of the scene before the change without complicated operations such as a special operation input. Only later scenes can be saved as time-lapse images.
  • the time-lapse image can be stored by presenting the predetermined shape in the scene area 4, and the next scene can be created without waiting for the elapse of the predetermined time.
  • the entertainment device 2 has a function as a captured image storage device, but the camera 1 may have a function as a captured image storage device.
  • the present invention can be widely applied to storage control of image data sequentially generated by imaging.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

動き量算出部１０２は、カメラ１が順次撮像することによって生成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する。記憶制御部１０４は、動き量算出部１０２が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、最新のフレームの画像データ又は直前のフレームの画像データの一方を、コマ撮り画像としてコマ撮り画像記憶領域１０７に記憶する。

Description

撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
　本発明は、撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体に関する。
　特開２００１－２９８６９３号公報には、インターバル撮影モードとアニメーション撮影モードとに設定可能なデジタルカメラが記載されている。インターバル撮影モードでは、所定の時間間隔（周期）で静止画像撮影が行われ、アニメーション撮影モードでは、ユーザがシャッター操作を行ったときに静止画像撮影が行われる。
特開２００１－２９８６９３号公報
例えばクレイ・アニメ（clay animation）やパラパラアニメ等を制作する際のコマ撮り撮影において、ユーザは、撮像領域に所望のシーンを作成し、作成したシーンを静止画像で撮像するという作業を交互に繰り返して行う。なお、クレイ・アニメとは、粘土などの材料で制作された造形物の形状を変化させながら１コマごとに繰り返して静止画像を撮影することによって作成される動画映像であり、ユーザは、造形物の形状を変化させることによって各シーンを作成する。
　しかし、上記アニメーション撮影モードでは、シーン作成後に都度シャッター操作を行う必要がある。また、上記インターバル撮影モードでは、シーン作成後のシャッター操作は不要であるが、所定の時間間隔内にシーンの変更を完了しなければならない。すなわち、アニメーション撮影モード及びインターバル撮影モードの何れであっても、ユーザの作業が煩雑となる。
　本発明は、上記実情に鑑みてなされたものであって、煩雑な作業を要することなくコマ撮り撮影を行うことが可能な撮像装置の提供を目的とする。
本発明の撮像装置は、動き量算出手段と記憶制御手段とを備える。
　動き量算出手段は、撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する。記憶制御手段は、動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、最新のフレームの画像データ又は直前のフレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する。
　本発明によれば、煩雑な作業を要することなくコマ撮り撮影を行うことができる。
第１実施形態の撮像システムの全体構成図である。 カメラとシーン領域と被写体とを示す模式図である。 エンタテインメント装置の構成を示すブロック図である。 エンタテインメント装置の機能構成を示すブロック図である。 コマ撮り記憶処理を示すフローチャートである。 コマ撮り画像の一例を示す図である。 第２実施形態のフレームの中央領域及び周縁領域を示す図である。 第３実施形態のコマ撮り記憶処理を示すフローチャートである。 第４実施形態のコマ撮り記憶処理を示すフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。本実施形態は、本発明の例示であり、本発明を限定するものではなく、本発明の範囲内で任意に変更可能である。
　［第１実施形態］
　本実施形態の撮像システムは、図１及び図２に示すように、カメラ１と、撮像画像記憶装置として機能するエンタテインメント装置２とを備える。カメラ１は、所定の画角内領域（シーン領域）４を撮像することによって、動画像を構成するフレーム単位の画像データ（静止画像データ）を順次生成し、その画像データをエンタテインメント装置２に順次送信する。エンタテインメント装置２は、カメラ１から受信した画像データに基づく映像を、所定のフレームレート（ＦＰＳ：Frame Per Second）でリアルタイムに表示装置３に表示させる。ユーザは、表示装置３の画面を視ることによって、シーン領域４の被写体５がカメラ１によってとのように撮像されているかを認識することができる。
　エンタテインメント装置２は、ユーザからコントローラ３５への設定入力に応じてコマ撮り撮影モードに設定される。コマ撮り撮影モードに設定されたエンタテインメント装置２は、カメラ１から順次送信される画像データに対して、最新に受信したフレーム（以下、新フレームと称する）の画像データと、その直前に受信したフレーム（以下、前フレームと称する）の画像データとを比較し、両フレーム間における画像データの相違に基づいて、前フレームから新フレームへ移行する際の画像の動き量を逐次算出する。算出された動き量が所定値以上から所定値未満に変化した場合、エンタテインメント装置２は、ユーザによるシーン作成（被写体５の形状等の変更作業）が完了したと判定し、新フレームの画像データをコマ撮り画像（各シーンの静止画像データ）として順次保存する。
　［エンタテインメント装置のハードウェア構成］
　エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。コンピュータは、例えば図３にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。バスインタフェースＩＮＴは、２つのバスＢ１、Ｂ２を切り離し可能に接続する。
　メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画処理装置（ＧＰＵ：Graphic Processing Unit）１４が接続される。ＧＰＵ１４は、内蔵するフレームメモリ（図示省略）に描画されたデータを表示装置３に対して出力することにより、表示装置３の表示制御を行う。
　メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
　ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリにポリゴンを描画する機能を有する半導体デバイスである。
　メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
　サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ：Sound Processing Unit）２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。
　サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。
　入力部３１は、コントローラ３５からの入力信号が入力される接続端子３２、カメラ１からの画像信号が入力される接続端子３３、及びカメラ１からの音声信号が入力される接続端子３４を備える。メインＣＰＵ１０は、接続端子３２を介してコントローラ３５から受け付けたユーザの指示に応じて、ＧＰＵ１４やＳＰＵ２４を制御し、画像の表示や音声の発生を制御する。
　メインメモリ１１には、コマ撮り画像記憶領域１０７（図４に示す）と動作フラグのオン／オフ設定領域（図示省略）とが予め設けられている。
　このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
　エンタテインメント装置２は、コマ撮り撮影モードを含む複数のモードのうち、コントローラ３５を介したユーザからの所定の指示入力に対応したモードに設定される。コマ撮り撮像モードに設定されたエンタテインメント装置２は、カメラ映像表示処理及びコマ撮り記憶処理を実行する。なお、カメラ映像表示処理は、コマ撮り撮像モード以外のモードにおいても実行されてもよい。
　［エンタテインメント装置の機能構成］
　コマ撮り撮影モードにおいて、エンタテインメント装置２のメインＣＰＵ１０は、図４に示すように、画像入力部１０１、動き量算出部１０２、静止判定部１０３、及び記憶制御部１０４として機能し、ＧＰＵ１４は、表示制御部１０６として機能する。
　画像入力部１０１は、カメラ１から送信される画像データを連続的に取り込み、所定の記憶領域（例えば、メインメモリ１１の画像データ仮記憶領域）に順次記憶する。なお、画像取得部１０１は、後述するカメラ映像表示処理及びコマ撮り記憶処理が終了した後、不要なフレームの画像データを記憶領域から順次削除してもよい。
　表示制御部１０６は、カメラ映像表示処理を実行する。表示制御部１０６は、画像入力部１０１が取り込んだ画像データに基づく画像を所定のフレームレートでリアルタイムに表示装置３に表示させる。また、表示制御部１０６は、後述するコマ撮り記憶処理が実行される際に、記憶されるコマ撮り画像を表示装置３に所定時間表示させる。
　動き量算出部１０２、静止判定部１０３及び記憶制御部１０４は、コマ撮り記憶処理を実行する。動き量算出部１０２は、画像入力部１０１がカメラ１から取り込んだ画像データのうち、新フレームの画像データと前フレームの画像データと比較し、両フレーム間における画像の動き量を算出する。静止判定部１０３は、動き量算出部１０２が算出した動き量が予め設定された所定の閾値以上から閾値未満に変化したか否かを判定する。コマ撮り撮影において、両フレーム間における画像の動き量が閾値以上から閾値未満に変化した場合、ユーザがシーン作成を完了している可能性が高いため、記憶制御部１０４は、メインメモリ１１のコマ撮り画像記憶領域１０７に、新フレームの画像データをコマ撮り画像として順次記憶する。なお、コマ撮り画像記憶領域１０７は、例えばサブメモリ２１やメディア２８に設定されてもよい。また、新フレームの画像データではなく、前フレームの画像データをコマ撮り画像として記憶してもよい。
　［画像の動き量の算出］
　動き量算出部１０２は、前フレームと新フレームとの間における画像の動き量を、両フレーム間のピクセル差分やオプティカルフローを利用して算出する。
　ピクセル差分を利用する場合、動き量算出部１０２は、例えば、両フレーム間で対応するピクセル同士（同じ位置のピクセル同士）を比較し、対応するピクセル間のピクセル差分値（例えば、輝度の差）をそれぞれ算出し、算出したピクセル差分値の総和を画像の動き量として算出する。動き量算出部１０２は、画像の全範囲でピクセル差分値を算出してもよく、予め設定された範囲でピクセル差分値を算出してもよい。
　オプティカルフローを利用する場合、動き量算出部１０２は、例えば、両フレームをそれぞれ所定数の領域（要素）に分割し、前フレームの各要素が新フレームの何れの要素に移動したかを判断し、対応する各要素間の変位量（ベクトル）をそれぞれ求め、各要素間のベクトルの大きさ（スカラー）の総和を、画像の動き量として算出する。なお、動き量算出部１０２は、画像の全範囲で各要素間のベクトルを求めてもよく、予め設定された範囲で各要素間のベクトルを求めてもよい。
　［コマ撮り記憶処理］
　ユーザがエンタテインメント装置２をコマ撮り撮影モードに設定し、クレイ・アニメやパラパラアニメを制作する場合に、メインＣＰＵ１０が実行するコマ撮り記憶処理について、図５のフローチャートに基づき説明する。なお、コマ撮り記憶処理は、エンタテインメント装置２がコマ撮り撮影モードに移行することよって開始され、コマ撮り撮影モードに設定されている間、所定時間毎に繰り返して実行される。また、後述する動作フラグは、コマ撮り撮影モードへの移行時にオフに設定される。
　コマ撮り記憶処理が開始されると、新フレームの画像データと前フレームの画像データとを取得し（ステップＳ１）、両フレーム間における画像の動き量を算出する（ステップＳ２）。
　次に、ステップＳ２で算出された画像の動き量が予め設定された閾値以上か否かを判定し（ステップＳ３）、画像の動き量が閾値未満の場合（ステップＳ３：Ｎｏ）、動作フラグがオンであるか否かを判定する（ステップＳ４）。
　動作フラグがオンの場合（ステップＳ４：Ｙｅｓ）、新フレームの画像データを画像記憶領域１０７にコマ撮り画像として記憶し（ステップＳ６）、動作フラグをオフに設定して（ステップＳ７）、本処理を終了する。
　一方、画像の動き量が閾値以上の場合（ステップＳ３：Ｙｅｓ）、動作フラグをオンに設定して（ステップＳ５）、本処理を終了する。
　また、画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、且つ動作フラグがオフの場合（ステップＳ４：Ｎｏ）、本処理を終了する。
　コマ撮り撮影モードへの移行直後や、１つのシーンを作成した後に次のシーンの作成を開始する間のように、ユーザが新たなシーン作成に未だ着手していない場合、画像の動き量は閾値未満に維持される。このため、画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオフである（ステップＳ４：Ｎｏ）ため、コマ撮り画像は記憶されない（ステップＳ６の処理は実行されない）。
　シーンを作成するために、ユーザがシーン領域４に手を入れて被写体５の状態（形状や姿勢など）を変更するときには、カメラ４の撮像対象にユーザの動く手が含まれる。このため、画像の動き量が閾値以上となり（ステップＳ３：Ｙｅｓ）、動作フラグがオンに設定されるが（ステップＳ５）、コマ撮り画像は記憶されない（ステップＳ６の処理は実行されない）。
　シーンの作成が完了し、ユーザがシーン領域４から手を引くと、カメラ４の撮像対象が全て静止した状態となる。これにより画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンであるため（ステップＳ４：Ｙｅｓ）、新フレームコマ撮り画像が記憶される（ステップＳ６）。
　このように、本実施形態のコマ撮り撮像モードによれば、クレイ・アニメやパラパラアニメを制作するユーザは、シーン領域４に被写体５を設定し、シーン領域４内で手を動かして被写体５を所望の状態に設定して所望のシーンを作成した後、シーン領域４から手を引くという作業を繰り返して行うだけで、コマ撮り画像を記憶させるための指示入力を別途行うことなく、例えば図６の（ａ）～（ｅ）に示すような所望のシーンのコマ撮り画像を順次記憶させることができる。
　次に、本発明の他の実施形態について説明する。なお、各実施形態において、上記第１実施形態と同様の構成については、その説明を省略する。
　［第２実施形態］
　本発明の第２実施形態では、図７に示すように、前フレームと新フレーム１１０，１１１とをそれぞれ中央領域１１２と周縁領域１１３とに分け、両フレーム１１０，１１１の中央領域１１２間における画像の動き量（中央画像の動き量）と周縁領域１１３間における画像の動き量（周縁画像の動き量）とをピクセル差分やオプティカルフローを用いてそれぞれ算出し、周辺画像の動き量に重み付けを施して中央画像の動き量に加算することにより、動き量算出部１０２が両フレーム１１１，１１２間における画像の動き量（画像全域の動き量）を算出する。
　例えば、ピクセル差分を用いる場合、中央領域１１２については、両フレーム１１０，１１１の中央領域１１２間で対応するピクセル同士（同じ位置のピクセル同士）を比較し、対応するピクセル間のピクセル差分値をそれぞれ算出し、算出したピクセル差分値の総和を中央領域１１２の画像の動き量として算出する。同様に、周縁領域１１３については、両フレーム１１０，１１１の周縁領域１１３間で対応するピクセル同士（同じ位置のピクセル同士）を比較し、対応するピクセル間のピクセル差分値をそれぞれ算出し、算出したピクセル差分値の総和を周縁領域１１３の画像の動き量として算出する。両フレーム１１１，１１２間における画像の動き量は、周縁領域１１３のピクセル差分値の総和に対して重み付けを施した値（周縁領域１１３のピクセル差分値の総和に１．０を超えた係数を積算した値）と中央領域１１２のピクセル差分値の総和とを加算して求める。
　通常、ユーザの手がシーン領域４の被写体５に接触している場合、フレーム１１０，１１１の中央領域１１２と周縁領域１１３との双方に跨る広い範囲に手が写される。このため、中央画像の動き量と周縁画像の動き量とを同等に評価し、両者を単純に加算することによって両フレーム１１０，１１１間における画像の動き量を算出した場合であっても、ユーザが被写体５の状態を変更している間は、画像の動き量が比較的大きな値として算出され易く、所定値以下となる可能性が少ない。
　これに対し、シーンの作成が完了し、ユーザが手をシーン領域４から引く際には、周縁領域１１３のみの比較的狭い範囲に手が写される。このため、中央画像の動き量と周縁画像の動き量とを同等に評価し、両者を単純に加算することによって両フレーム１１０，１１１間における画像の動き量を算出すると、シーン作成の完了後にシーン領域４からユーザが手を引く際に、画像の動き量が比較的小さな値として算出されて所定値以下となり、ユーザの手がコマ撮り画像に含まれて記憶されてしまう可能性が生じる。
　この点に関し、本実施形態では、中央画像の動き量と周縁画像の動き量とを同等に評価せず、周辺画像の動き量に重み付けを施して中央画像の動き量に加算することにより、両フレーム１１１，１１２間における画像の動き量を算出しているので、シーン作成完了後にユーザが手を引く際に、両フレーム１１０，１１１間における画像の動き量が所定値以下となり難く、ユーザの手がコマ撮り画像に含まれて記憶されてしまう可能性が低減される。従って、シーン作成完了後のユーザの手が誤ってコマ撮り画像に含まれて記憶されてしまうことを防止することができる。
　［第３実施形態］
　本発明の第３実施形態では、画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に所定時間以上維持されたことを条件に、記憶制御部１０４がコマ撮り画像をコマ撮り画像記憶領域１０７に記憶する。また、表示制御部１０６は、画像の動き量が所定値以上から所定値未満に変化した後、該画像動き量が所定値未満に維持されている間、画像の動き量が所定値未満に変化してからの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示装置３に表示させる。
　例えば、図８のフローチャートに示すように、コマ撮り記憶処理が開始され、新フレームの画像データと前フレームの画像データとを取得し（ステップＳ１）、両フレーム間における画像の動き量を算出し（ステップＳ２）、算出された画像の動き量が予め設定された閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンである（ステップＳ４：Ｙｅｓ）と、メインＣＰＵ１０の内部タイマ（図示省略）による計時を開始する（ステップＳ１１）。なお、内部タイマによる計時が既に実行中の場合は、ステップＳ１１の処理を実行せずにステップＳ１２へ移行する。
　次に、内部タイマが所定時間に達したか否か（画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に維持されたまま所定時間が経過したか否か）を判定し（ステップＳ１２）、所定時間が経過した場合（ステップＳ１２：Ｙｅｓ）、所定時間の計時開始時に取得した前フレーム又は新フレームの画像データをコマ撮り画像として画像記憶領域１０７に記憶し（ステップＳ６）、動作フラグをオフに設定し（ステップＳ７）、タイマをリセット（停止及びクリア）して（ステップＳ１３）、本処理を終了する。なお、内部タイマによる計時が実行されている間、計時開始時からの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報（経過時間のカウントアップ表示及び所定時間からのカウントダウン表示の少なくとも一方）が、ステップＳ６への移行した際に記憶される予定のコマ撮り画像（以下、仮決定コマ撮り画像と称する）とともに表示装置３に表示される。また、ステップＳ６において記憶するコマ撮り画像は、計時開始時から所定時間経過時までに取得した全てのフレームのうち何れの画像データであってもよい。
　一方、画像の動き量が閾値以上の場合（ステップＳ３：Ｙｅｓ）、動作フラグをオンに設定し（ステップＳ５）、タイマをリセット（停止及びクリア）して（ステップＳ１４）、本処理を終了する。
　また、画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、動作フラグがオフの場合（ステップＳ４：Ｎｏ）、若しくは画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、動作フラグがオンで（ステップＳ４：Ｙｅｓ）、所定時間が未だ経過していない場合（ステップＳ１２：Ｎｏ）、本処理を終了する。
　ユーザが新たなシーン作成に未だ着手していない場合、画像の動き量は閾値未満に維持される。このため、画像の動き量が閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオフであると判定され（ステップＳ４：Ｎｏ）、内部タイマによる計時は開始されず、且つコマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。
　シーンを作成するために、ユーザがシーン領域４に手を入れて被写体５の状態（形状や姿勢など）を変更すると、カメラ４の撮像対象にユーザの動く手が含まれる。このため、画像の動き量が閾値以上となり（ステップＳ３：Ｙｅｓ）、動作フラグがオンに設定されるが（ステップＳ５）、内部タイマによる計時は開始されず、コマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。
　シーンの作成が完了し、ユーザがシーン領域４から手を引くと、カメラ４の撮像対象が全て静止した状態となる。これにより画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンであるので（ステップＳ４：Ｙｅｓ）、内部タイマによる計時が開始される（ステップＳ１１）。そして、画像の動き量が閾値未満に維持されたまま所定時間が経過すると（ステップＳ１２：Ｙｅｓ）、コマ撮り画像が記憶される（ステップＳ６）。
　また、シーンの作成が完了したユーザは、所定時間が経過するまでの間、表示装置３に表示された経過時間情報と仮決定コマ撮り画像とを視ながら、所望のシーンが作成されたか否かを検討することができる。そして、所定時間経過前に所望のシーンが作成されていないと判断した場合には、再度シーン領域４に手を入れて被写体５の状態を変更することにより、画像の動き量が閾値以上となるので（ステップＳ３：Ｙｅｓ）、仮決定コマ撮り画像はコマ撮り画像記憶領域１１に記憶されずに破棄される。一方、所望のシーンが作成されていると判断した場合には、そのまま所定時間の経過を待つことによって、仮決定コマ撮り画像がコマ撮り画像としてそのまま記憶される。
　このように、本実施形態によれば、シーン作成完了後にシーンの変更を行いたいユーザは、特別な操作入力等の煩雑な作業を伴うことなく、変更前のシーンの画像データを破棄して変更後のシーンのみをコマ撮り画像として保存することができる。
　［第４実施形態］
　本発明の第４実施形態のメインＣＰＵ１０は、カメラ１から受信する画像データを解析し、その画像データが所定の画像（ユーザがシーン領域４内に意図的に提示した所定形状の画像であり、例えば、親指と人先指で輪を作った手の画像）を含んでいるか否かを判定する画像認識判定手段として機能する。記憶制御部１０４は、画像の動き量が所定値以上から所定値未満に変化してから所定時間以内に、上記所定の画像を含んでいると判定されたことを条件に、コマ撮り画像をコマ撮り画像記憶領域１０７に記憶する。また、表示制御部１０６は、画像の動き量が所定値以上から所定値未満に変化した後、上記所定の画像を含んでいると判定されるまで、又は画像の動き量が所定値以上から所定値未満に変化してから所定時間が経過するまでの間、画像の動き量が所定値未満に変化してからの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示装置３に表示させる。
　例えば、図９のフローチャートに示すように、コマ撮り記憶処理が開始され、新フレームの画像データと前フレームの画像データとを取得すると（ステップＳ１）、メインＣＰＵ１０の内部タイマ（図示省略）による計時が実行中であるか否かを判定する（ステップＳ２１）。
　内部タイマによる計時が実行中でない場合（ステップＳ２１：Ｎｏ）、両フレーム間における画像の動き量を算出し（ステップＳ２）、算出された画像の動き量が予め設定された閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンである（ステップＳ４：Ｙｅｓ）と、メインＣＰＵ１０の内部タイマ（図示省略）による計時を開始する（ステップＳ１１）。
　次に、内部タイマが所定時間に達したか否か（画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に維持されたまま所定時間が経過したか否か）を判定し（ステップＳ１２）、所定時間が未だ経過していない場合（ステップＳ１２：Ｎｏ）、所定の画像を認識したか否か（ステップＳ１で取得した新フレームの画像データが所定の画像を含んでいるか否か）を判定する（ステップＳ２２）。通常、内部タイマの計時開始時において所定の画像が認識されることはないため（ステップＳ２２：Ｎｏ）、そのまま本処理を終了する。
　内部タイマによる計時が実行中の場合には（ステップＳ２１：Ｙｅｓ）、ステップＳ２２へ移行して所定の画像を認識したか否かを判定し、所定の画像を認識した場合（ステップＳ２２：Ｙｅｓ）、所定時間の計時開始時に取得した前フレーム又は新フレームの画像データをコマ撮り画像として画像記憶領域１０７に記憶し（ステップＳ６）、動作フラグをオフに設定し（ステップＳ７）、タイマをリセット（停止及びクリア）して（ステップＳ１３）、本処理を終了する。なお、内部タイマによる計時が実行されている間、計時開始時からの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報（経過時間のカウントアップ表示及び所定時間からのカウントダウン表示の少なくとも一方）が、ステップＳ６への移行した際に記憶される予定のコマ撮り画像（仮決定コマ撮り画像）とともに表示装置３に表示される。
　内部タイマが所定時間に達している場合（ステップＳ１２：Ｙｅｓ）、動作フラグをオフに設定し（ステップＳ７）、タイマをリセットして（ステップＳ１３）、本処理を終了する
　また、画像の動き量が閾値以上の場合（ステップＳ３：Ｙｅｓ）、動作フラグをオンに設定して（ステップＳ５）、本処理を終了する。
　また、画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、且つ動作フラグがオフである場合（ステップＳ４：Ｎｏ）、本処理を終了する。
　ユーザが新たなシーン作成に未だ着手していない場合、内部タイマは計時開始前であり（ステップＳ２１：Ｎｏ）、画像の動き量が閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオフであると判定され（ステップＳ４：Ｎｏ）、内部タイマによる計時は開始されず、且つコマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。
　シーンを作成するために、ユーザがシーン領域４に手を入れて被写体５の状態（形状や姿勢など）を変更すると、カメラ４の撮像対象にユーザの動く手が含まれる。このため、画像の動き量が閾値以上となり（ステップＳ３：Ｙｅｓ）、動作フラグがオンに設定されるが（ステップＳ５）、内部タイマによる計時は開始されず、コマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。
　シーンの作成が完了し、ユーザがシーン領域４から手を引くと、カメラ４の撮像対象が全て静止した状態となる。これにより画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンであるので（ステップＳ４：Ｙｅｓ）、内部タイマによる計時が開始される（ステップＳ１１）。このとき、ユーザはシーン領域４から手を引いているので、所定の画像が認識されることはなく（ステップＳ２２：Ｎｏ）、コマ撮り画像は記憶されない（ステップＳ６の処理は実行されない）。
　シーンの作成が完了したユーザは、所定時間が経過するまでの間、表示装置３に表示された経過時間情報と仮決定コマ撮り画像とを視ながら、所望のシーンが作成されたか否かを検討することができる。そして、所望のシーンが作成されていると判断した場合には、シーン領域４内に所定形状（例えば、親指と人先指で輪を作った手）を提示して、所定の画像を認識させることによって（ステップＳ２１→ステップＳ１２→ステップＳ２２：Ｙｅｓ）、コマ撮り画像が記憶される（ステップＳ６）。一方、所望のシーンが作成されていないと判断した場合には、そのまま所定時間の経過を待つことによって（ステップＳ１２→ステップＳ７→ステップＳ１３）、仮決定コマ撮り画像はコマ撮り画像記憶領域１１に記憶されずに破棄される。
　このように、本実施形態によれば、シーン作成完了後にシーンの変更を行いたいユーザは、特別な操作入力等の煩雑な作業を伴うことなく、変更前のシーンの画像データを破棄して変更後のシーンのみをコマ撮り画像として保存することができる。
　また、シーンの変更を行わない場合には、シーン領域４内に所定形状の提示によってコマ撮り画像を記憶させることができ、所定時間の経過を待つことなく次のシーンの作成を行うことができる。
　なお、上記実施形態では、エンタテインメント装置２に撮像画像記憶装置として機能を設けたが、カメラ１に撮像画像記憶装置として機能を内蔵させてもよい。
　すなわち、上述の各実施形態の説明は本発明の一例であり、本発明は上述の各実施形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても種々の変更が可能であることは勿論である。
本発明は、撮像によって順次生成される画像データの記憶制御に広く適用可能である。
１…カメラ、２…エンタテインメント装置、３…表示装置、４…シーン領域、５…被写体、１０…メインＣＰＵ、１１…メインメモリ、１４…ＧＰＵ、３５…コントローラ、１０１…画像入力部、１０２…動き量算出部、１０３…静止判定部、１０４…記憶制御部、１０７…コマ撮り画像記憶領域

Claims (11)

  1. 撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する動き量算出手段と、
    　前記動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、前記最新のフレームの画像データ又は前記直前のフレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する記憶制御手段と、
    　を備えたことを特徴とする撮像画像記憶制御装置。
  2. 　請求項１に記載の撮像画像記憶制御装置であって、
    　前記両フレーム間の画像データの相違としてピクセル差分を用いる
    　ことを特徴とする撮像画像記憶制御装置。
  3. 　請求項１に記載の撮像画像記憶制御装置であって、
    　前記両フレーム間の画像データの相違としてオプティカルフローによって求めたベクトルを用いる
    　ことを特徴とする撮像画像記憶制御装置。
  4. 　請求項１に記載の撮像画像記憶制御装置であって、
    　前記動き量算出手段は、前記両フレームの中央領域間における中央画像の動き量と周縁領域間における周縁画像の動き量とを前記画像データの相違に基づいてそれぞれ算出し、前記周辺画像の動き量に重み付けを施して前記中央画像の動き量に加算することにより、前記両フレーム間における画像の動き量を算出する
    　ことを特徴とする撮像画像記憶制御装置。
  5. 　請求項１に記載の撮像画像記憶制御装置であって、
    　前記記憶制御手段は、前記画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に所定時間以上維持されたことを条件に、前記コマ撮り画像を前記記憶手段に記憶する
    　ことを特徴とする撮像画像記憶制御装置。
  6. 　請求項５に記載の撮像画像記憶制御装置であって、
    　前記画像の動き量が所定値以上から所定値未満に変化した後、該画像動き量が所定値未満に維持されている間、前記画像の動き量が所定値未満に変化してからの経過時間又は前記所定時間から前記経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示手段に表示制御する表示制御手段をさらに備えた
    　ことを特徴とする撮像画像記憶制御装置。
  7. 　請求項１に記載の撮像画像記憶制御装置であって、
    　前記撮像手段が撮像する画像データを解析し、該画像データが所定の画像を含んでいるか否かを判定する画像認識判定手段を備え、
    　前記記憶制御手段は、前記画像の動き量が所定値以上から所定値未満に変化してから所定時間以内に、前記所定の画像を含んでいると前記画像認識判定手段が判定したことを条件に、前記コマ撮り画像を前記記憶手段に記憶する
    　ことを特徴とする撮像画像記憶制御装置。
  8. 　請求項７に記載の撮像画像記憶制御装置であって、
    　前記画像の動き量が所定値以上から所定値未満に変化した後、前記所定の画像を含んでいると前記画像認識判定手段が判定するまで、又は前記画像の動き量が所定値以上から所定値未満に変化してから所定時間が経過するまでの間、前記画像の動き量が所定値未満に変化してからの経過時間又は前記所定時間から前記経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示手段に表示制御する表示制御手段をさらに備えた
    　ことを特徴とする撮像画像記憶制御装置。
  9. 　撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、動き量算出手段が、両フレーム間の画像データの相違に基づいて算出する動き量算出ステップと、
    　前記動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、記憶制御手段が、前記最新のフレームの画像データ又は前記直前のフレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する記憶制御ステップと、
    　を備えたことを特徴とする撮像画像記憶制御方法。
  10. 　コンピュータを、
    　撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する動き量算出手段と、
    　前記動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、前記最新のフレームの画像データ又は前記直前のフレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する記憶制御手段と、
    　として機能させるための撮像画像記憶制御プログラム。
  11. 　請求項１０に記載の撮像画像記憶制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
PCT/JP2009/065849 2008-10-20 2009-09-10 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体 WO2010047192A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/124,890 US8798326B2 (en) 2008-10-20 2009-09-10 Photographed image storage control unit, photographed image storage control method, photographed image storage control program, and storage medium stored with the photographed image storage control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008270162A JP5500812B2 (ja) 2008-10-20 2008-10-20 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
JP2008-270162 2008-10-20

Publications (1)

Publication Number Publication Date
WO2010047192A1 true WO2010047192A1 (ja) 2010-04-29

Family

ID=42119239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/065849 WO2010047192A1 (ja) 2008-10-20 2009-09-10 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体

Country Status (3)

Country Link
US (1) US8798326B2 (ja)
JP (1) JP5500812B2 (ja)
WO (1) WO2010047192A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
KR101212316B1 (ko) 2011-08-24 2012-12-13 전남대학교산학협력단 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9202520B1 (en) * 2012-10-17 2015-12-01 Amazon Technologies, Inc. Systems and methods for determining content preferences based on vocal utterances and/or movement by a user
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02196566A (ja) * 1989-01-25 1990-08-03 Toshiba Corp 固体撮像素子の駆動装置
JP2001094923A (ja) * 1999-09-20 2001-04-06 Canon Inc 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2004120624A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 画像取得方法および装置並びに再生装置
JP2006237961A (ja) * 2005-02-24 2006-09-07 Funai Electric Co Ltd 撮像装置および自動撮影方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029997A (en) * 1989-11-16 1991-07-09 Faroudja Philippe Y C Stop-frame animation system
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
EP1274254B1 (en) * 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
JPH1141555A (ja) * 1997-07-22 1999-02-12 Sony Corp 電子スチルカメラ
US6278466B1 (en) * 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6317152B1 (en) * 1999-07-17 2001-11-13 Esco Electronics Corporation Digital video recording system
JP3819669B2 (ja) 2000-04-13 2006-09-13 三洋電機株式会社 ディジタルカメラ
EP1148411A3 (en) * 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
US7027083B2 (en) * 2001-02-12 2006-04-11 Carnegie Mellon University System and method for servoing on a moving fixation point within a dynamic scene
KR100415313B1 (ko) * 2001-12-24 2004-01-16 한국전자통신연구원 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치
JP2003331217A (ja) * 2002-03-08 2003-11-21 Nec Corp 文字入力装置、文字入力方法及び文字入力プログラム
JP4139626B2 (ja) * 2002-05-29 2008-08-27 株式会社エルモ社 資料提示装置
JP2004304375A (ja) * 2003-03-31 2004-10-28 Minolta Co Ltd 撮像装置
JP2006259701A (ja) * 2005-02-16 2006-09-28 Nikon Corp 間欠撮影装置とこれを有する顕微鏡システム
GB2428927A (en) * 2005-08-05 2007-02-07 Hewlett Packard Development Co Accurate positioning of a time lapse camera
JP4525558B2 (ja) * 2005-11-08 2010-08-18 ソニー株式会社 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
EP2038842A2 (en) * 2006-06-30 2009-03-25 Nxp B.V. A method and device for video stitching
SG140573A1 (en) * 2006-08-31 2008-03-28 Sony Corp Image-processing apparatus, image processing method and image processing program
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法
JP5025557B2 (ja) * 2008-05-02 2012-09-12 キヤノン株式会社 画像撮影装置及びその制御方法、プログラム
FR2942890A1 (fr) * 2009-03-05 2010-09-10 Thomson Licensing Procede de creation d'une suite animee de photographies, et appareil pour mettre en oeuvre le procede
JP2012256980A (ja) * 2011-06-07 2012-12-27 Olympus Corp 画像処理システムおよび画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02196566A (ja) * 1989-01-25 1990-08-03 Toshiba Corp 固体撮像素子の駆動装置
JP2001094923A (ja) * 1999-09-20 2001-04-06 Canon Inc 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2004120624A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 画像取得方法および装置並びに再生装置
JP2006237961A (ja) * 2005-02-24 2006-09-07 Funai Electric Co Ltd 撮像装置および自動撮影方法

Also Published As

Publication number Publication date
JP5500812B2 (ja) 2014-05-21
US20110255803A1 (en) 2011-10-20
US8798326B2 (en) 2014-08-05
JP2010098695A (ja) 2010-04-30

Similar Documents

Publication Publication Date Title
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP5500812B2 (ja) 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
JP5609742B2 (ja) 撮像装置、画像合成方法、及びプログラム
US20060012699A1 (en) Digital still camera, a digital still camera built-in mobile phone, and an image stabilizing method of the digital still camera
US9420181B2 (en) Electronic camera, computer readable medium recording imaging control program thereon and imaging control method
JP2010226702A (ja) 撮像装置
JP2009272840A (ja) 画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法
JP4005060B2 (ja) 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法
JP2010021795A (ja) 撮像装置、補正制御装置、補正制御方法およびプログラム
JP5790858B2 (ja) 画像合成装置、画像合成方法、及びプログラム
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2007134788A (ja) 画像処理装置及びプログラム
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP4824409B2 (ja) 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
US8570330B2 (en) Image processing device, image processing method and information storage medium
JP6341814B2 (ja) 撮像装置、その制御方法、及びプログラム
JP6470594B2 (ja) 撮像装置、その制御方法、及びプログラム
JP2010026158A (ja) 画像表示プログラムおよび画像表示方法
JP6385114B2 (ja) 撮像装置およびその制御方法
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2000023100A (ja) 電子スチルカメラ、電子スチルカメラの動画撮影方法、およびコンピュータが実行可能なプログラムを格納した記録媒体
JP2009200792A (ja) 電子カメラ
JP2010187301A (ja) 撮像装置
JP2011015147A (ja) 撮像装置及びその制御方法
JP2009147523A (ja) 電子カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09821891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13124890

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09821891

Country of ref document: EP

Kind code of ref document: A1