WO2012124262A1 - 撮影装置、情報処理装置及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

撮影装置、情報処理装置及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2012124262A1
WO2012124262A1 PCT/JP2012/001216 JP2012001216W WO2012124262A1 WO 2012124262 A1 WO2012124262 A1 WO 2012124262A1 JP 2012001216 W JP2012001216 W JP 2012001216W WO 2012124262 A1 WO2012124262 A1 WO 2012124262A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
displacement
imaging
image
data processing
Prior art date
Application number
PCT/JP2012/001216
Other languages
English (en)
French (fr)
Inventor
謙一 北谷
Original Assignee
Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃカシオモバイルコミュニケーションズ株式会社 filed Critical Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority to US13/983,898 priority Critical patent/US9282306B2/en
Priority to EP12757264.2A priority patent/EP2688279A4/en
Priority to CN201280023634.8A priority patent/CN103621055B/zh
Priority to JP2013504536A priority patent/JP6048399B2/ja
Publication of WO2012124262A1 publication Critical patent/WO2012124262A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present invention relates to a photographing apparatus, an information processing apparatus, and a non-transitory computer readable medium storing a program.
  • Patent Document 1 discloses a technique for facilitating creation of a digest video and increasing editing efficiency with respect to an information processing apparatus. Specifically, a cut signal is generated according to event data, and a moving image for a predetermined period is cut. As a result, it is possible to obtain an effect such as generating a moving image file sequentially by cutting out the moving image at an appropriate position while shooting the moving image (see, for example, paragraph 0046 of Patent Document 1).
  • Patent Document 2 discloses an electronic camera that performs frame alignment accurately without subjecting the subject to be out of frame. Specifically, the movement speed is obtained from the movement of the target image. When the movement of the target image is large, the zoom frame (imaging range) is expanded in accordance with the speed of the target image, and in the opposite case, the zoom is performed. A point of reducing the frame is disclosed.
  • An imaging apparatus includes image data supplied from the imaging unit in an aspect corresponding to the displacement detected by the imaging unit, a displacement detection unit that detects a spatial displacement, and the displacement detection unit. And image data processing means for processing.
  • the information processing apparatus processes the image data supplied from the imaging unit in a manner corresponding to the displacement detected by the displacement detection unit that detects a spatial displacement.
  • the imaging unit In the operation method of the photographing apparatus according to the present invention, the imaging unit generates imaging data, the displacement detection unit detects a spatial displacement, and the image data processing unit detects the displacement detected by the displacement detection unit.
  • the image data supplied from the imaging means is processed in a manner according to the above.
  • the program according to the present invention causes a computer to execute the above-described procedure.
  • FIG. 1 is a schematic block diagram of an information processing apparatus according to a first embodiment
  • FIG. 3 is a schematic block diagram of an information processing apparatus according to a second exemplary embodiment
  • 6 is a schematic flowchart illustrating an operation of the information processing apparatus according to the second exemplary embodiment.
  • FIG. 6 is an explanatory diagram illustrating an operation of the information processing apparatus according to the second embodiment.
  • FIG. 6 is an explanatory diagram illustrating an operation of the information processing apparatus according to the second embodiment.
  • 10 is a schematic flowchart illustrating an operation of the information processing apparatus according to the third exemplary embodiment.
  • FIG. 6 is a schematic flowchart illustrating an operation of an information processing apparatus according to a fourth embodiment
  • 10 is a schematic flowchart showing an operation of an information processing apparatus according to a fifth embodiment
  • It is explanatory drawing for demonstrating operation
  • FIG. 10 is an explanatory diagram for explaining an operation of an information processing apparatus according to a sixth embodiment
  • FIG. 10 is an explanatory diagram for explaining an operation of an information processing apparatus according to a sixth embodiment
  • FIG. 10 is a schematic block diagram of an information processing apparatus according to a seventh embodiment.
  • Embodiment 1 Embodiments of the present invention will be described below with reference to the drawings.
  • the information processing apparatus has a configuration according to the displacement detected by a displacement detection unit (including a sensing device such as an acceleration sensor and an angular velocity sensor) that detects a spatial displacement from the imaging unit. Process the supplied image data. As a result, it is possible to obtain a video having a higher value from the viewpoint of the person viewing the video. This point becomes more specific from the following description.
  • the information processing apparatus 100 includes a data processing unit (image data processing unit, image data processing unit) 50.
  • the data processing unit 50 receives image data and displacement data.
  • the data processing unit 50 is realized by a function circuit, execution of a program by the CPU, or the like.
  • the image data is supplied to the data processing unit 50 from an imaging unit (not shown).
  • the displacement data is supplied from a displacement detection unit (not shown) to the data processing unit 50.
  • the information processing apparatus 100 operates as follows. It is assumed that the imaging unit continuously shoots a subject and outputs image data, and the displacement detection unit detects its own movement and outputs displacement data.
  • the displacement detection unit detects a change in the imaging range captured by the imaging unit. If the imaging unit and the displacement detection unit are incorporated in a common housing, the displacement detection unit naturally senses the displacement of the imaging unit (change in imaging range / imaging target) by sensing its own displacement. become.
  • the data processing unit 50 changes the processing operation for the image data according to the displacement data.
  • the data processing unit 50 processes the image data in accordance with the displacement data in order to prevent an image that is difficult to view during acquisition from being acquired. More specifically, image deletion and image delay display processing are executed. As a result, it is possible to obtain a higher value video from the viewpoint of the viewer.
  • the information processing apparatus 100 functions as the imaging apparatus 100, and includes a lens unit (optical system) 30, an imaging unit (imaging unit) 40, and a position and orientation detection unit 60 (displacement). (Detection means, position and orientation detection means) 60 is further provided. Even in such a case, the same effects as those described in the above embodiment can be obtained. Note that the number / configuration of the lens units 30, the configuration of the imaging unit 40, and the configuration of the position / orientation detection unit 60 are arbitrary.
  • a plurality of lens portions may be prepared as schematically shown in FIG.
  • One lens unit 30 may be composed of a plurality of lenses to form a zoom lens system.
  • the imaging unit 40 may use, for example, a CCD (Charge-Coupled Device Device Image Sensor) imager, a CMOS (Complementary Metal Oxide Semiconductor) imager, or the like as an image acquisition unit.
  • the position / orientation detection unit 60 may include an acceleration / angular velocity sensor, a gyro sensor, and the like manufactured by utilizing MEMS (Micro Electro Mechanical Systems) or the like.
  • the subject image is formed on the imaging region of the imaging unit 40 via the lens unit 30.
  • the imaging unit 40 continuously acquires images, performs various processes such as level correction, A / D (Analog / Digital) conversion, and data compression processing, and supplies the image data to the data processing unit 50.
  • the position / orientation detection unit 60 includes at least one of an acceleration sensor and an angular acceleration sensor, and detects the displacement of the lens unit 30 / the imaging unit 40 / the imaging device 100 by detecting its own displacement.
  • the data processing unit 50 changes the data processing mode according to the detection result of the position / orientation detection unit 60.
  • the photographing apparatus 100 starts normal photographing (S100). Specifically, the imaging unit 40 continuously captures an image of the subject via the lens unit 30, performs various processes on the generated image signal, and outputs image data.
  • the data processing unit 50 writes the image data supplied from the imaging unit 40 in a storage device that the data processing unit 50 has. In this way, image data is continuously accumulated. More preferably, it is desirable to also acquire audio data and store it in a container common with the image data.
  • the detection value of the position / orientation detection unit 60 becomes equal to or greater than a threshold value (S101).
  • the output value of the acceleration sensor or angular acceleration sensor in the position / orientation detection unit 60 is equal to or greater than a threshold value.
  • the data processing unit 50 receives the detection value of the position / orientation detection unit 60 and compares it with a threshold value. When the detected value is equal to or greater than the threshold value, the data processing unit 50 executes data processing in order to realize slow mode shooting.
  • the values used for comparison by the data processing unit 50 may be integrated values of acceleration (velocity, position) and integrated values of angular acceleration (angular velocity, angle). The angular change may be calculated from the acceleration.
  • the threshold value may be stored in advance in a register or the like in the data processing unit 50. A threshold value may be supplied to the data processing unit 50 from the outside.
  • the imaging apparatus 100 starts slow mode imaging (S102).
  • the photographing mode of the photographing apparatus 100 is changed.
  • the change of the photographing mode of the photographing apparatus 100 is executed by the data processing unit 50 by changing the operation mode. This point will be described with reference to FIGS. Note that before switching in FIGS. 4 and 5 means a state before switching the shooting direction, and after switching, it means a state after switching the shooting direction. In the process before switching to after switching (acquisition period of images 1 to 6), the shooting direction of the shooting apparatus 100 changes at high speed.
  • the data processing unit 50 allows the image data to be reproduced at a timing delayed in time at a certain time. Is processed. Accordingly, it is possible to effectively suppress the video acquired during the displacement period of the lens unit 30 / imaging unit 40 / imaging device 100 from being an unsightly video in which the subject moves at high speed in the frame.
  • the images 7 and 8 are discarded according to the display timing delay processing of the images 2 to 6.
  • the data processing unit 50 performs the delay process of the images 2 to 6 on the input image data and executes the removal process of the images 7 and 8.
  • the mode / timing in which the data processing unit 50 writes the image data to the storage device is arbitrary.
  • the data processing unit 50 stores the image data in association with the time, stores the images 2 to 6 in association with the delay time, discards the images 7 and 8 and does not write to the storage device. Note that the image 9 and subsequent images are returned to the normal shooting mode.
  • the display timing of the images 7 to 10 may be shortened by delaying the display timing of the images 2 to 6.
  • the data processing unit 50 performs a process of delaying the images 2 to 6 and shortening the display interval of the images 7 to 10 with respect to the input image data.
  • the mode / timing in which the data processing unit 50 writes the image data to the storage device is arbitrary.
  • the data processing unit 50 stores image data in association with time, stores images 2 to 6 in association with delay times, and stores images 7 to 10 in association with delay times of short time intervals. .
  • the reliability of the captured moving image can be improved.
  • the normal shooting mode is restored.
  • the image data is processed so that an image to be reproduced at a certain point in time is reproduced at a timing delayed after detection of the high-speed displacement of the lens unit 30 / imaging unit 40 / imaging device 100.
  • the data processing unit 50 detects a predetermined state based on the output of the position / orientation detection unit 60 and removes an image acquired during the predetermined state period without storing it. To do. As a result, it is possible to obtain a video having a higher value from the viewpoint of the person viewing the video.
  • the lens unit 30 / imaging unit 40 / imaging device 100 has temporarily turned to a predetermined direction and has returned to the original state in a short time.
  • the imaging direction by the imaging unit 40 is in a predetermined direction and returned to the original direction in a short time.
  • the angle change calculated from the detection value of the position / orientation detection unit 60 becomes equal to or greater than the threshold (S201). Specifically, the angle change calculated from the output value of the angular acceleration sensor in the position / orientation detection unit 60 is equal to or greater than the threshold value.
  • the data processing unit 50 receives the detection value of the position / orientation detection unit 60, integrates the detection value, and compares the integration value with a threshold value. Note that the angle change corresponds to the angle between the initial position and the current position. When the photographing apparatus 100 exists at the initial position, the angle between the initial position and the current position is 0 °.
  • the method for detecting / calculating the angle change is arbitrary, and it is preferable to sequentially calculate the current angle by integration processing of angular acceleration continuously detected.
  • the angle is calculated with the predetermined direction being positive and the reverse direction being negative
  • the current angle with respect to the initial position that is, the angle change can be detected by simply adding the calculated values. An error added at an appropriate timing may be removed.
  • the initial position corresponds to, for example, a position when the image capturing apparatus 100 is activated.
  • the data processing unit 50 determines whether or not a predetermined time has elapsed by referring to a timer built therein.
  • the data processing unit 50 determines whether or not the angle change calculated based on the output value of the angular acceleration sensor in the position and orientation detection unit 60 is equal to or greater than a threshold value.
  • the moving image is partially cut (S204). Specifically, the data processing unit 50 discards the images acquired between steps S201 to S203 so as not to be reproduced as a moving image, and does not write them in the storage device. After S204, the process returns to the normal shooting mode. As a result, it is possible to remove an image shot in the wrong direction temporarily, and as a result, it is possible to obtain a higher value video from the viewpoint of the viewer. .
  • the data processing unit 50 detects that the direction of the lens unit 30 is a predetermined direction based on the output of the position / orientation detection unit 60, and acquires it during the state period. Remove the recorded image without memorizing it. As a result, it is possible to obtain a video having a higher value from the viewpoint of the person viewing the video.
  • the imaging device 100 detects whether or not the state in which the lens unit 30 faces the predetermined direction is continued by each operation of steps S301 and S302.
  • the data processing unit 50 determines whether or not the angle calculated from the detection value of the position / orientation detection unit 60 is included in a predetermined angle range. This angle may be considered in the same manner as the above-described angle change, and corresponds to, for example, the angle between the initial position and the current position.
  • the data processing unit 50 determines whether or not a predetermined time has elapsed by referring to a timer built therein.
  • the moving image is cut (S303). Specifically, the data processing unit 50 discards the images acquired between steps S301 to S302 so that they are not reproduced as moving images, and does not write them to the storage device. After S303, the process returns to the standby mode in which S301 is detected. Note that in the standby mode, normal shooting in S300 is performed.
  • the data processing unit 50 detects that the direction of the lens unit 30 is a predetermined direction based on the output of the position / orientation detection unit 60, and stores the image acquired during the state period. Without removing. As a result, for example, it is possible to suppress the acquisition of a truly unnecessary video (for example, a video showing the ground) due to forgetting to release the recording mode by the photographer. As a result, it is possible to obtain a video with higher value.
  • a truly unnecessary video for example, a video showing the ground
  • Embodiment 5 Hereinafter, Embodiment 5 will be described with reference to FIG. Unlike the above-described embodiment, in this embodiment, the data processing unit 50 acquires a still image with no change in the subject based on the output of the position / orientation detection unit 60 / the output of the imaging unit 40. Detect and remove the captured images during the same period without storing them. As a result, it is possible to obtain a video having a higher value from the viewpoint of the person viewing the video.
  • the imaging apparatus 100 detects that a still image having no change in the subject has been acquired.
  • the data processing unit 50 determines whether the acceleration is equal to or less than a threshold (S401), and determines whether the angular velocity is equal to or less than the threshold (S402). The data processing unit 50 detects that the photographing apparatus 100 is stationary when the acceleration is equal to or lower than the threshold and the angular velocity is equal to or lower than the threshold.
  • the data processing unit 50 determines whether or not the video has changed (S403), and then determines whether or not a predetermined time has passed (S404). For example, the data processing unit 50 determines the continuity of the video by evaluating the difference between frames that are continuously input. The continuity of the video may be determined by focusing on characteristic portions existing in the frame. Whether or not the predetermined time has elapsed may be determined by referring to a timer built in the data processing unit 50.
  • the moving image is cut (S405). Specifically, the data processing unit 50 discards the images acquired during a predetermined time after determining that there is no video change in step S403 so that the images are not reproduced as moving images. Is not written to the storage device. If the determination result is NO in S401 to S404, the process returns to step S400. By continuing the loop of S401 to S404 for a predetermined period, the step of S405 is executed.
  • the data processing unit 50 detects that a still image having no change in the subject is acquired based on the output of the position / orientation detection unit 60 / output of the imaging unit 40, and the captured image during the same period Remove without remembering. As a result, it is possible to remove an unnecessary video portion from the viewpoint of the person viewing the video, and it is possible to obtain a video with higher value.
  • Embodiment 6 the sixth embodiment will be described with reference to FIGS.
  • the imaging range P100 captured by the lens unit 30 is greater than the storage range R100 extracted and stored by the data processing unit 50. Is also wide. Even in such a case, the same effect as that of the above-described embodiment can be obtained.
  • the storage range changes slowly with respect to the movement of the imaging range. As a result, it is possible to make the video easy to see from the viewpoint of the viewer of the video, and it is possible to acquire a video with higher value.
  • the imaging range moves from left to right when the range P100, range P101, range P102, and range P103 and the paper surface are viewed from the front. Further, the storage range is set near the center of the imaging range, and moves in synchronization with the movement of the imaging range.
  • the data processing unit 50 detects the moving direction and moving speed of the imaging range based on the output of the position and orientation detection unit 60, and changes the storage range in the imaging range accordingly.
  • the data processing unit 50 changes the position of the storage range in the imaging range in the reverse direction.
  • the data processing unit 50 maintains this state when sequentially transitioning to the ranges P201 to P203.
  • the data processing unit 50 detects that the imaging range has not moved based on the output of the position / orientation detection unit 60, and accordingly, the storage range within the imaging range is determined. Return the position to the initial position.
  • the data processing unit 50 changes the position of the storage range in the imaging range in the reverse direction.
  • the data processing unit 50 maintains this state when sequentially transitioning to the ranges P301 to P303.
  • the data processing unit 50 detects that the imaging range has returned to the original direction based on the output of the position / orientation detection unit 60, and according to this, stores in the imaging range. Return the range position to the initial position.
  • the specific configuration of the position / orientation detection unit 60 is arbitrary, but it is preferable to detect the acceleration in the three-axis direction. As a result, displacement in any direction can be detected, and the storage range within the imaging range can be changed more accurately.
  • FIG. 12 is an exemplary detailed disclosure of the block diagram shown in FIG.
  • the specific configuration of the block configuration shown in FIG. 2 is arbitrary.
  • the information processing apparatus 100 includes a lens unit 30, an imager (imaging device) 41, a peripheral circuit 42, an interface 51, a bus 52, a CPU (Central Processing Unit) 53, a ROM (Read Only Memory) 54, A RAM (Random Access Memory) 55, a data processing circuit 56, a storage device 57, an acceleration detection unit 61, an angular velocity detection unit 62, a relay circuit 63, a lens driving device 71, and a relay circuit 72 are provided.
  • the imaging unit 40 includes, for example, an imager 41 and a peripheral circuit 42.
  • the data processing unit 50 includes, for example, an interface 51, a bus 52, a CPU 53, a ROM 54, a RAM 55, a data processing circuit 56, and a storage device 57.
  • the position / orientation detection unit 60 includes, for example, an acceleration detection unit 61, an angular velocity detection unit 62, and a relay circuit 63.
  • the imager 41 is a general semiconductor imaging device such as a CCD sensor or a CMOS sensor, and has an imaging region in which pixels are arranged in a matrix on the front surface.
  • the imager 41 images a subject through the lens unit 30.
  • the peripheral circuit 42 supplies various control signals to the imager 41 and performs various processes (for example, A / D conversion, digital signal correction processing, data compression, etc.) on the image signal supplied from the imager 41. Execute.
  • the interface 51, the bus 52, the CPU 53, the ROM 54, and the RAM 55 constitute the basis of the computer.
  • the CPU 53 executes programs stored in the storage device 57 (ROM 54, RAM 55) and realizes various functions.
  • the flowchart described in the above-described embodiment is realized by executing a program by the CPU 53.
  • the ROM 54 and the RAM 55 may store the threshold values shown in the above flowchart.
  • the storage location of the threshold is arbitrary, and in the case shown in FIG. 12, it may be stored in the threshold holding area 57b of the storage device 57.
  • the bus 52 is a transmission path for data, various control signals, and various values.
  • the interface 51 is a functional part that controls connection between the bus 51 and an external circuit.
  • the data processing circuit 56 is a functional circuit that processes image data supplied from the peripheral circuit 42 via the bus 52. For example, the data processing circuit 56 processes the original image data so that a reproduced image as shown in FIG. 4 is obtained. Further, the data processing circuit 56 processes the original image data so that a reproduced image as shown in FIG. 5 is obtained.
  • the specific operation method of the data processing circuit 56 is arbitrary. For example, when image data is supplied in association with time, the data processing circuit 56 adds the time associated with the image data for a predetermined time. As a result, the image is reproduced at a more delayed timing. In the case shown in FIG. 4, there are images (images 7 and 8) that cannot be reproduced and displayed by this delay processing. The data processing circuit 56 performs a process of deleting the images 7 and 8 in order to cope with this point. Thus, the original image data is processed and then stored in the image data holding area 57 a of the storage device 57 via the bus 52.
  • the data processing circuit 56 processes the original image data so that the images 7 to 10 are reproduced at a time interval shorter than the normal display time.
  • the original image data is processed and then stored in the image data holding area 57 a of the storage device 57 via the bus 52.
  • the data transfer control and the like are appropriately executed by the CPU 53, but the present invention is not limited to this, and may be executed by a timing controller circuit.
  • the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit of the present invention.
  • the specific configurations of the data processing unit and the displacement detection unit are arbitrary.
  • the specific configuration of the image data is arbitrary.
  • a photographing apparatus comprising:
  • the image data processing means detects that the displacement speed or the displacement angular speed detected by the displacement detection means is relatively fast based on a comparison between the output of the displacement detection means and a threshold, and according to the detection
  • the image data processing means detects that the displacement speed or the angular velocity detected by the displacement detection means is relatively fast based on a comparison between the output of the displacement detection means and a threshold value, and is acquired after the detection. 3.
  • the image data processing means detects that the displacement or rotation angle detected by the displacement detection means is greater than or equal to a predetermined angle based on a comparison between the output of the displacement detection means and a threshold value, and the displacement detection means
  • the imaging apparatus according to any one of appendices 1 to 3, wherein the image data is processed so that at least a part of an image acquired during a period in which the detected displacement is equal to or greater than a predetermined angle is removed. .
  • the image data processing unit detects that the imaging direction by the imaging unit is a predetermined direction based on the displacement detected by the displacement detection unit, and is acquired during a period in which the imaging direction by the imaging unit is the predetermined direction
  • the imaging apparatus according to any one of appendices 1 to 4, wherein the image data is processed so that at least a part of the image data is removed.
  • the image data processing means detects that the photographing apparatus is stationary based on the output of the displacement detection means, and the subject does not change based on the image data supplied from the imaging means.
  • the imaging apparatus according to any one of appendices 1 to 5, wherein the image data is processed so that at least a part of an image acquired by the imaging unit in the state is removed when the image is detected .
  • Appendix 7 The imaging apparatus according to any one of appendices 1 to 7, wherein the image data processing unit extracts a predetermined range of an image captured by the imaging unit, and the image data processing unit The imaging apparatus according to any one of appendices 1 to 6, wherein the image data is processed so that an image to be reproduced is in the same range even when is changed in a predetermined direction.
  • Appendix 8 The imaging apparatus according to any one of appendices 1 to 7, wherein the image data processing unit extracts a predetermined range of an image captured by the imaging unit, and the image data processing unit The imaging apparatus according to any one of appendices 1 to 7, wherein when the angle changes in a predetermined direction, the predetermined range is changed in a direction opposite to the predetermined direction.
  • An information processing apparatus that processes image data supplied from an imaging unit in a manner corresponding to a displacement detected by a displacement detection unit that detects a spatial displacement.
  • the imaging means generates imaging data
  • the displacement detection means detects a spatial displacement
  • the image data processing means has a mode according to the displacement detected by the displacement detection means, from the imaging means.
  • the present invention has been described as a hardware configuration, but the present invention is not limited to this.
  • the present invention can also realize arbitrary processing by causing a CPU (Central Processing Unit) to execute a computer program.
  • a CPU Central Processing Unit
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium). Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

映像を見る者の立場から見て、より価値が高い映像を取得することが望まれている。撮影装置（１００）は、撮像部（４０）と、空間的な変位を検出する位置姿勢検出部（６０）と、位置姿勢検出部（６０）により検出された変位に応じた態様にて、撮像部（４０）から供給される画像データを処理するデータ処理部（５０）とを有する。撮影装置（１００）は、例えば、携帯電話等に内蔵されるものである。撮像部（４０）に含まれるイメージャ上には、レンズ部（３０）が設けられることが多い。

Description

撮影装置、情報処理装置及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、撮影装置、情報処理装置、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　動画撮影機能を有する小型な電子機器（例えば、スマートフォン、ビデオカメラ等）の普及に伴い、様々な環境下にて動画撮影が行われている。動画撮影時には、ビデオカメラ自体が揺れ動く場合があるため、この変位を補償するべく様々な対策が提案されている。例えば、変位補償用の光学ユニットを装置内に組み込む対策、及び画像処理によって変位補償する対策等が提案されている。
　特許文献１には、情報処理装置に関し、ダイジェスト映像の作成を容易化し、かつ編集効率を上げるための技術が開示されている。具体的には、イベントデータに応じてカット信号を生成し、所定期間の動画像をカットする。これによって、動画像を撮影しながら当該動画像を適切な位置で切りだして順次動画像ファイルを生成すること等の効果を得ることができる（例えば、特許文献１の段落００４６参照）。
　特許文献２には、被写体がフレームアウトすることなく、正確にフレーム合わせを行う電子カメラが開示されている。具体的には、注目画像の移動から移動速度を求め、注目画像の動きが大きい場合には、注目画像の速度に合わせて、ズーム枠（撮像範囲）を拡大し、逆の場合には、ズーム枠を縮小する点が開示されている。
特開２０１０－１５４３０２号公報 特開２００２－３３９４９号公報
　上述のように、様々な環境下にて動画撮影が行われているが、撮影者の動き等に起因して、再生動画を見る者にとって重要ではない映像が取得されることも多い。例えば、頻繁／高速な撮影装置の動きによって、再生時に見づらい映像が取得されてしまう場合がある。また、撮影者による録画モードの解除忘れによって、真に不要な映像（例えば、地面を映す映像）が取得されてしまう場合がある。なお、ここに述べた具体例は、説明内容の充実化のために例示したものであり、この記載を以って、本願発明の技術的範囲を狭く解釈することは許されない。
　上記説明から明らかなように、映像を見る者の立場から見て、より価値が高い映像を取得することが強く望まれている。
　本発明に係る撮影装置は、撮像手段と、空間的な変位を検出する変位検出手段と、前記変位検出手段により検出された前記変位に応じた態様にて、前記撮像手段から供給される画像データを処理する画像データ処理手段と、を備える。
　本発明に係る情報処理装置は、空間的な変位を検出する変位検出手段により検出された前記変位に応じた態様にて、撮像手段から供給される画像データを処理する。
　本発明に係る撮影装置の動作方法は、撮像手段は、撮像データを生成し、変位検出手段は、空間的な変位を検出し、画像データ処理手段は、前記変位検出手段により検出された前記変位に応じた態様にて、前記撮像手段から供給される画像データを処理する。本発明に係るプログラムは、上記した手順をコンピュータに実行させる。
　本発明によれば、映像を見る者の立場から見て、より価値が高い映像を取得することができる。
実施の形態１にかかる情報処理装置の概略的なブロック図である。 実施の形態２にかかる情報処理装置の概略的なブロック図である。 実施の形態２にかかる情報処理装置の動作を示す概略的なフローチャートである。 実施の形態２にかかる情報処理装置の動作を示す説明図である。 実施の形態２にかかる情報処理装置の動作を示す説明図である。 実施の形態３にかかる情報処理装置の動作を示す概略的なフローチャートである。 実施の形態４にかかる情報処理装置の動作を示す概略的なフローチャートである。 実施の形態５にかかる情報処理装置の動作を示す概略的なフローチャートである。 参考例に係る情報処理装置の動作を説明するための説明図である。 実施の形態６にかかる情報処理装置の動作を説明するための説明図である。 実施の形態６にかかる情報処理装置の動作を説明するための説明図である。 実施の形態７にかかる情報処理装置の概略的なブロック図である。
　以下に説明する各実施の形態は、個々に独立したものではなく、互いに組み合わせ可能であり、かつそれらの組み合わせに基づく相乗効果も把握されるものとする。同一の要素には同一の符号を付し、各実施形態間の重複説明／重複図示は適宜省略している。
　実施の形態１
　以下、図面を参照して本発明の実施の形態について説明する。本実施形態に係る情報処理装置は、空間的な変位を検出する変位検出部（例えば、加速度センサ、角速度センサ等のセンシングデバイスを含む）により検出された変位に応じた態様にて、撮像部から供給される画像データを処理する。これによって、映像を見る者の立場から見て、より価値が高い映像を取得することができる。この点は、後述の説明から、より具体的になる。
　図１に示すように、情報処理装置１００は、データ処理部（画像データ処理手段、画像データ処理部）５０を含む。データ処理部５０には、画像データ、及び変位データが入力する。データ処理部５０は、機能回路、ＣＰＵによるプログラムの実行等によって実現される。なお、画像データは、不図示の撮像部からデータ処理部５０に供給される。変位データは、不図示の変位検出部からデータ処理部５０に供給される。
　情報処理装置１００は、次のように動作する。なお、撮像部は、被写体を連続撮影し、画像データを出力し、変位検出部は、自身の動きを検知して変位データを出力しているものとする。変位検出部は、撮像部により撮像される撮像範囲の変化を検出するものとする。撮像部と変位検出部とが共通の筐体内に組み込まれていれば、変位検出部は、自身の変位のセンシングによって、撮影部の変位（撮像範囲／撮像対象の変化）を当然にセンシングすることになる。
　データ処理部５０は、変位データに応じて、画像データに対する処理動作を変更する。例えば、データ処理部５０は、変位データに応じて、再生時に見づらい映像が取得されてしまうことを抑制するために画像データを加工する。より具体的には、画像の削除、画像の遅延表示処理を実行する。これによって、映像を見る者の立場から見て、より価値が高い映像を取得することが可能になる。
　上記例示説明から明らかなように、本実施形態に開示の構成を具備することによって、映像を見る者の立場から見て、より価値が高い映像を取得することができる。
　実施の形態２
　以下、図２乃至図５を参照して、実施の形態２について説明する。上述の実施形態とは異なり、本実施形態では、情報処理装置１００は、撮影装置１００として機能し、レンズ部（光学系）３０、撮像部（撮像手段）４０、及び位置姿勢検出部６０（変位検出手段、位置姿勢検出手段）６０を更に具備する。このような場合であっても、上述の実施形態で説明したものと同様の効果を得ることができる。なお、レンズ部３０の数／構成、撮像部４０の構成、及び位置姿勢検出部６０の構成は任意である。
　図２に模式的に示すように、複数のレンズ部を用意しても良い。一つのレンズ部３０を複数枚のレンズにて構成し、ズームレンズ系としても良い。撮像部４０は、例えば、ＣＣＤ(Charge Coupled Device Image Sensor)イメージャ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャ等を画像取得手段として活用すれば良い。位置姿勢検出部６０は、ＭＥＭＳ（Micro Electro Mechanical Systems）等の活用により製造された加速度／角速度センサ及びジャイロセンサ等を含むと良い。
　図２に模式的に示すように、被写体像は、レンズ部３０を介して撮像部４０の撮像領域に結像される。撮像部４０は、連続的に画像取得し、レベル補正、Ａ／Ｄ(Analog/Digital)変換、データ圧縮処理等の各種処理をして、画像データをデータ処理部５０に供給する。位置姿勢検出部６０は、加速度センサ及び角加速度センサの少なくとも一方を含み、自身の変位を検知することにより、レンズ部３０／撮像部４０／撮影装置１００の変位を検知する。データ処理部５０は、位置姿勢検出部６０の検知結果に応じて、データ処理モードを変更する。
　図３を参照して、撮影装置１００の動作について説明する。まず、撮影者による録画スタートボタン等の押し込み等に応じて、撮影装置１００は、通常撮影を開始する（Ｓ１００）。具体的には、撮像部４０は、レンズ部３０を介して被写体を連続撮像し、生成した画像信号に各種処理をし、画像データを出力する。データ処理部５０は、撮像部４０から供給される画像データを自身が有する記憶装置に書き込む。このようにして、画像データが連続的に蓄積されていくことになる。なお、より好適には、音声データも取得し、画像データと共通のコンテナに格納することが望ましい。
　次に、撮影装置１００が任意の方向に高速に変位すると、位置姿勢検出部６０の検出値が閾値以上となる（Ｓ１０１）。具体的には、位置姿勢検出部６０内の加速度センサ又は角加速度センサの出力値が閾値以上となる。データ処理部５０は、位置姿勢検出部６０の検出値を受信し、これと閾値との比較をする。検出値が閾値以上となると、データ処理部５０は、スローモード撮影を実現するべく、データ処理を実行する。なお、データ処理部５０による比較に用いられる値は、加速度の積分値（速度、位置）及び角加速度の積分値（角速度、角度）であっても良い。角変化を加速度から算出しても良い。閾値は、データ処理部５０内のレジスタ等に予め格納すれば良い。外部からデータ処理部５０へ閾値供給しても良い。
　検出値が閾値以上であるとき、撮影装置１００は、スローモード撮影を開始する（Ｓ１０２）。換言すれば、撮影装置１００の撮影モードが変更される。ここでは、撮影装置１００の撮影モードの変更は、データ処理部５０は動作モード変更によって実行される。この点について、図４及び図５を参照して説明する。なお、図４及び図５における切替え前は、撮影方向を切り替える前の状態を意味し、切替え後は、撮影方向を切り替えた後の状態を意味する。切替え前～切替え後の過程（画像１～６の取得期間）において、撮影装置１００の撮影方向が高速に変化する。
　図４に模式的に示すように、加工前の画像１～１２が時間的に連続記憶されるものとする。画像１～６の加工前後の比較から明らかなように、スローモード撮影時、データ処理部５０は、ある時点にて再生されるべき画像が時間的に遅れたタイミングで再生されるように画像データを加工する。これによって、レンズ部３０／撮像部４０／撮影装置１００の変位期間に取得される映像が、フレーム内を被写体が高速移動する見づらい映像となることを効果的に抑制することができる。
　なお、図４の場合には、画像２～６の表示タイミングの遅延処理に応じて、画像７、８は破棄されている。具体的には、データ処理部５０は、入力画像データに対して、画像２～６の遅延処理を為し、かつ画像７、８の除去処理を実行する。なお、データ処理部５０が画像データを記憶装置に書き込む態様／タイミングは任意である。例えば、データ処理部５０は、時間と対応づけて画像データを記憶し、画像２～６を遅延時刻に対応づけて記憶し、画像７、８は破棄して記憶装置に書き込まない。なお、画像９以降は、通常撮影モードに復帰している。
　図５に示すように、画像２～６の表示タイミングの遅延処理し、画像７～１０の表示間隔を短くしても良い。具体的には、データ処理部５０は、入力画像データに対して、画像２～６の遅延処理を為し、かつ画像７～１０の表示間隔を短時間化する処理を実行する。データ処理部５０が画像データを記憶装置に書き込む態様／タイミングは任意である。例えば、データ処理部５０は、時間と対応づけて画像データを記憶し、画像２～６を遅延時刻に対応づけて記憶し、画像７～１０は短い時間間隔の遅延時間に対応づけて記憶する。この場合、オリジナルな画像７～１０は、破棄されることはないため、撮影動画の信頼性を高めることができる。なお、画像１２以降は、通常撮影モードに復帰している。
　本実施形態では、レンズ部３０／撮像部４０／撮影装置１００の高速変位の検知後、ある時点にて再生されるべき画像が時間的に遅れたタイミングで再生されるように画像データが加工される。これによって、レンズ部３０／撮像部４０／撮影装置１００の変位期間に取得される映像が、フレーム内を被写体が高速移動する見づらい映像となることを効果的に抑制することができ、結果として、映像を見る者の立場から見て、より価値が高い映像を取得することが可能となる。
　実施の形態３
　以下、図６を参照して、実施の形態３について説明する。上述の実施形態とは異なり、本実施形態では、データ処理部５０は、位置姿勢検出部６０の出力に基づいて所定状態を検知し、当該所定状態期間において取得された画像を記憶せずに除去する。これによって、映像を見る者の立場から見て、より価値が高い映像を取得することが可能となる。
　図６を参照して、本実施形態に係る撮像装置１００の動作について説明する。まず、通常撮影をする（Ｓ２００）。この点は、図３に示す場合と同様である。
　次に、ステップＳ２０１～Ｓ２０３の動作によって、一時的にレンズ部３０／撮像部４０／撮影装置１００が所定方向を向き、短時間に元の状態に復帰したことを検知する。換言すれば、撮像部４０による撮像方向が所定方向を向き、短時間に元の方向に復帰したことを検知する。
　撮影装置１００が任意の方向に高速に回転すると、位置姿勢検出部６０の検出値から算出された角度変化が閾値以上となる（Ｓ２０１）。具体的には、位置姿勢検出部６０内の角加速度センサの出力値から算出された角度変化が閾値以上となる。データ処理部５０は、位置姿勢検出部６０の検出値を受信し、この検出値を積分処理し、この積分値と閾値とを比較をする。なお、角度変化は、初期位置と現在位置間の角度に対応する。初期位置に撮影装置１００が存在するとき、初期位置と現在位置間の角度は０°となる。角度変化の検出／算出方法は任意であり、連続的に検出される角加速度の積分処理によって、現在の角度を順次算出していくとよい。所定方向を正として逆方向を負として角度が算出される場合、算出値を単純に加算処理していくことで初期位置に対する現在の角度、つまり、角度変化を検知することができる。適当なタイミングで加算される誤差を除去しても良い。初期位置は、例えば、撮影装置１００の起動時の位置に対応する。
　積分値が閾値以上となると、所定時間経過したか否かを判定する（Ｓ２０２）。具体的には、データ処理部５０は、自身が内蔵するタイマーの参照等によって所定時間が経過したか否かを判断する。
　所定時間が経過していない場合、角度変化が閾値以下となったか判定する（Ｓ２０３）。具体的には、データ処理部５０は、位置姿勢検出部６０内の角加速度センサの出力値に基づいて算出された角度変化が閾値以上となるか否かを判定する。
　角度変化が閾値以下と判定された場合、動画を部分的にカットする（Ｓ２０４）。具体的には、データ処理部５０は、ステップＳ２０１～Ｓ２０３間に取得された画像を動画として再生されないように破棄し、これらを記憶装置に書き込まない。Ｓ２０４後、通常撮影モードへ帰還する。これによって、一時的に誤った方向を向いて撮影された画像を除去することが可能となり、結果として、映像を見る者の立場から見て、より価値が高い映像を取得することが可能となる。
　なお、Ｓ２０２にて所定時間が経過した場合、その角度にて撮影を継続する確率が高いものと判断できる。従って、ステップＳ２０４へ進まないように動作制御する。また、所定時間経過前に、角度変化が元の角度に戻らなかった場合も同様に考えることができる。本実施形態を実施の形態１、２のいずれか又は双方に対して適応しても良い。
　実施の形態４
　以下、図７を参照して、実施の形態４について説明する。上述の実施形態とは異なり、本実施形態では、データ処理部５０は、位置姿勢検出部６０の出力に基づいて、レンズ部３０の向きが所定方向であることを検知し、当該状態期間において取得された画像を記憶せずに除去する。これによって、映像を見る者の立場から見て、より価値が高い映像を取得することが可能となる。
　図７を参照して、本実施形態に係る撮像装置１００の動作について説明する。まず、通常撮影をする（Ｓ３００）。この点は、図３に示す場合と同様である。
　次に、ステップＳ３０１、Ｓ３０２の各動作によって、撮像装置１００は、レンズ部３０が所定方向を向いた状態が継続しているか否かを検知する。
　撮影装置１００のレンズ部３０が所定方向を向くと、レンズ向きが所定方向か否かを判断する（Ｓ３０１）。例えば、データ処理部５０は、位置姿勢検出部６０の検出値から算出された角度が所定角度範囲内に含まれるか否かを判断する。なお、この角度も、上述の角度変化と同様に考えれば良く、例えば、初期位置と現在位置間の角度に対応する。
　レンズ向きが所定方向と判定されたとき、所定時間が経過したか否かを判断する（Ｓ３０２）。具体的には、データ処理部５０は、自身が内蔵するタイマーの参照等によって所定時間が経過したか否かを判断する。
　所定時間が経過した場合、動画をカットする（Ｓ３０３）。具体的には、データ処理部５０は、ステップＳ３０１～Ｓ３０２間に取得された画像を動画として再生されないように破棄し、これらを記憶装置に書き込まない。Ｓ３０３の後、Ｓ３０１を検知するスタンバイモードに復帰する。なお、このスタンバイモードのときには、Ｓ３００の通常撮影が実行されている。
　本実施形態によれば、データ処理部５０は、位置姿勢検出部６０の出力に基づいて、レンズ部３０の向きが所定方向であることを検知し、当該状態期間において取得された画像を記憶せずに除去する。これにより、例えば、撮影者による録画モードの解除忘れによって、真に不要な映像（例えば、地面を映す映像）が取得されてしまうことを抑制することができ、結果として、映像を見る者の立場から見て、より価値が高い映像を取得することが可能となる。
　実施の形態５
　以下、図８を参照して、実施の形態５について説明する。上述の実施形態とは異なり、本実施形態では、データ処理部５０は、位置姿勢検出部６０の出力/撮像部４０の出力に基づいて、被写体に変化がない静止画を取得していることを検出し、同期間の撮影画像を記憶せずに除去する。これによって、映像を見る者の立場から見て、より価値が高い映像を取得することが可能となる。
　図８を参照して、本実施形態に係る撮像装置１００の動作について説明する。まず、通常撮影をする（Ｓ４００）。この点は、図３に示す場合と同様である。
　次に、ステップＳ４０１～Ｓ４０４の動作によって、撮像装置１００は、被写体に変化がない静止画を取得していることを検出する。
　まず、撮影装置１００が静止していることを位置姿勢検出部６０の出力から判断する。具体的には、データ処理部５０は、加速度が閾値以下か判断し（Ｓ４０１）、角速度が閾値以下か判断する（Ｓ４０２）。データ処理部５０は、加速度が閾値以下であり、角速度が閾値以下のとき、撮影装置１００が静止していることを検知する。
　次に、映像に変化がない状態が継続しているか判断する。具体的には、データ処理部５０は、映像の変化の有無を判断し（Ｓ４０３）、次に所定時間経過したか否かを判断する（Ｓ４０４）。例えば、データ処理部５０は、連続して入力するフレーム間の差分を評価することにより、映像の連続性を判断する。フレーム内に存在する特徴的部分に着眼して、映像の連続性を判断しても良い。所定時間経過したか否かは、データ処理部５０が内蔵するタイマーの参照によって判断すれば良い。
　映像に変化がない状態が継続していると判断したとき、動画カットする（Ｓ４０５）。具体的には、具体的には、データ処理部５０は、ステップＳ４０３にて映像変化なしと判断してから所定時間経過する時点間に取得された画像を動画として再生されないように破棄し、これらを記憶装置に書き込まない。なお、Ｓ４０１～Ｓ４０４には判定結果がＮＯの場合には、ステップＳ４００に帰還する。Ｓ４０１～Ｓ４０４のループを所定期間に亘って継続することによって、Ｓ４０５のステップが実行されることになる。
　本実施形態では、データ処理部５０は、位置姿勢検出部６０の出力/撮像部４０の出力に基づいて、被写体に変化がない静止画を取得していることを検出し、同期間の撮影画像を記憶せずに除去する。これによって、映像を見る者の立場から見て、不要な映像部分を除去することができ、より価値が高い映像を取得することが可能となる。
　実施の形態６
　以下、図９乃至１１を参照して、実施の形態６について説明する。上述の実施形態とは異なり、本実施形態では、図９に模式的に示すように、レンズ部３０により撮像される撮像範囲Ｐ１００は、データ処理部５０によって抽出して記憶される保存範囲Ｒ１００よりも広い。このような場合であっても、上述の実施形態と同様の効果を得ることができる。本実施形態では、図９との比較から明らかなように、図１０及び図１１に示すように、撮像範囲の移動に対して保存範囲が時間的にゆっくりと変化する。これによって、映像を見る者の立場から見て、見やすい映像とすることができ、より価値が高い映像を取得することが可能となる。
　図９に示す場合、時間経過に伴って、撮像範囲は、範囲Ｐ１００、範囲Ｐ１０１、範囲Ｐ１０２、範囲Ｐ１０３と紙面を正面視して左から右へ移動する。また、保存範囲は、撮像範囲の中央付近に設定されており、撮像範囲の移動に同調して移動する。
　本実施形態では、データ処理部５０は、位置姿勢検出部６０の出力に基づいて、撮像範囲の移動方向及び移動速度を検知し、これに応じて撮像範囲内における保存範囲を変化させる。
　図１０に示すように、撮像範囲が、範囲Ｐ２００から範囲Ｐ２０１へ推移するとき、データ処理部５０は、撮像範囲内の保存範囲の位置を逆方向へ変化させる。範囲Ｐ２０１～Ｐ２０３へと順次推移するとき、データ処理部５０は、この状態を維持する。範囲Ｐ２０３～Ｐ２０４へ推移するとき、データ処理部５０は、位置姿勢検出部６０の出力に基づいて、撮像範囲が移動していないことを検知し、これに応じて、撮像範囲内における保存範囲の位置を初期位置に戻す。
　図１１に示すように、撮像範囲が、範囲Ｐ３００から範囲Ｐ３０１へ推移するとき、データ処理部５０は、撮像範囲内の保存範囲の位置を逆方向へ変化させる。範囲Ｐ３０１～Ｐ３０３へと順次推移するとき、データ処理部５０は、この状態を維持する。範囲Ｐ３０３～Ｐ３０４へ推移するとき、データ処理部５０は、位置姿勢検出部６０の出力に基づいて、撮像範囲が元の方向に戻ったことを検知し、これに応じて、撮像範囲内における保存範囲の位置を初期位置に戻す。
　位置姿勢検出部６０の具体的な構成は、任意であるが、好適には、３軸方向の加速度を検知するものとすれば良い。これによって、いずれの方向に対する変位も検知することができ、より的確に撮像範囲内における保存範囲の変更を為すことができる。
　実施の形態７
　以下、図１２を参照して、実施の形態７について説明する。図１２は、図２に示したブロック図を例示的に詳細に開示したものである。図２に示したブロック構成の具体的構成は任意である。
　図１２に示すように、情報処理装置１００は、レンズ部３０、イメージャ（撮像素子）４１、周辺回路４２、インターフェイス５１、バス５２、ＣＰＵ(Central Processing Unit)５３、ＲＯＭ(Read Only Memory)５４、ＲＡＭ(Random Access Memory)５５、データ加工回路５６、記憶装置５７、加速度検出部６１、角速度検出部６２、中継回路６３、レンズ駆動装置７１、及び中継回路７２を備える。
撮像部４０は、例えば、イメージャ４１、及び周辺回路４２から構成される。データ処理部５０は、例えば、インターフェイス５１、バス５２、ＣＰＵ５３、ＲＯＭ５４、ＲＡＭ５５、データ加工回路５６、及び記憶装置５７から構成される。位置姿勢検出部６０は、例えば、加速度検出部６１、角速度検出部６２、及び中継回路６３から構成される。
　イメージャ４１は、ＣＣＤセンサ、ＣＭＯＳセンサ等の一般的な半導体撮像装置であり、マトリクス状にピクセルが配置された撮像領域を前面に有する。イメージャ４１は、レンズ部３０を介して被写体を撮像する。周辺回路４２は、イメージャ４１に対して各種の制御信号を供給し、かつイメージャ４１から供給される画像信号に対して各種の処理（例えば、Ａ／Ｄ変換、デジタル信号補正処理、データ圧縮等）を実行する。
　インターフェイス５１、バス５２、ＣＰＵ５３、ＲＯＭ５４、ＲＡＭ５５は、コンピュータの基礎を構成する。ＣＰＵ５３は、記憶装置５７（ＲＯＭ５４、ＲＡＭ５５）に格納されたプログラムを実行し、様々な機能を実現する。上述の実施形態にて説明したフローチャートは、ＣＰＵ５３によるプログラムの実行によって実現されるものである。ＲＯＭ５４、ＲＡＭ５５に、上述のフローチャートで示した閾値を格納してもよい。閾値の格納場所は任意であり、図１２に示す場合、記憶装置５７の閾値保持領域５７ｂに格納しても良い。バス５２は、データ、各種制御信号、各種値の伝送路である。インターフェイス５１は、バス５１と外部回路間の接続を制御する機能部分である。
　データ加工回路５６は、バス５２を介して周辺回路４２から供給される画像データを加工する機能回路である。例えば、データ加工回路５６は、上述の図４に示したような再生画像が得られるようにオリジナルの画像データを加工する。また、データ加工回路５６は、上述の図５に示したような再生画像が得られるようにオリジナルの画像データを加工する。
　なお、データ加工回路５６の具体的な動作方法は任意である。例えば、画像データが時間と関連づけられて供給される場合、データ加工回路５６は、画像データが関連づけられた時間を所定時間だけ加算する。これにより、より遅延したタイミングで画像再生されることになる。図４に示す場合、この遅延処理によって、再生表示できなくなる画像（画像７、８）が存在する。データ加工回路５６は、この点に対処するため、画像７、８を削除する処理をする。このようにしてオリジナルの画像データが加工され、その後、バス５２を介して、記憶装置５７の画像データ保持領域５７ａに格納されることになる。
　図５に示す場合、上述の遅延処理によって、再生表示できなくなる画像（画像７、８）が存在する。データ加工回路５６は、この点に対処するため、画像７～１０が通常表示時間よりも短い時間間隔で再生されるようにオリジナルの画像データを加工する。このようにしてオリジナルの画像データが加工され、その後、バス５２を介して、記憶装置５７の画像データ保持領域５７ａに格納されることになる。なお、データの転送制御等は、ＣＰＵ５３により適宜実行されるが、これに限らず、タイミングコントローラ回路により実行されるものであっても良い。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、データ処理部、変位検出部の具体的構成は任意である。画像データの具体的な構成は任意である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　撮像手段と、空間的な変位を検出する変位検出手段と、前記変位検出手段により検出された前記変位に応じた態様にて、前記撮像手段から供給される画像データを処理する画像データ処理手段と、を備える撮影装置。
　（付記２）
　前記画像データ処理手段は、前記変位検出手段の出力と閾値との比較に基づいて、前記変位検出手段により検出された変位速度又は変位角速度が相対的に速いことを検知し、当該検知に応じて前記画像データに対する処理内容を変更することを特徴とする付記１に記載の撮影装置。
　（付記３）
　前記画像データ処理手段は、前記変位検出手段の出力と閾値との比較に基づいて、前記変位検出手段により検出された変位速度又は変位角速度が相対的に速いことを検知し、当該検知以降に取得される画像が実際よりも時間的に遅延したタイミングで表示されるように前記画像データを加工することを特徴とする付記１又は２に記載の撮影装置。
　（付記４）
　前記画像データ処理手段は、前記変位検出手段の出力と閾値との比較に基づいて、前記変位検出手段により検出された変位又は回転角度が所定角度以上であることを検知し、前記変位検出手段により検出された変位が所定角度以上である期間に取得された画像の少なくとも一部が除かれるように前記画像データを加工することを特徴とする付記１乃至３のいずれか一項に記載の撮影装置。
　（付記５）
　前記画像データ処理手段は、前記変位検出手段が検出した変位により、前記撮像部による撮像方向が所定方向であることを検知し、前記撮像部による撮像方向が所定方向である期間に取得された画像の少なくとも一部が除かれるように前記画像データを加工することを特徴とする付記１乃至４のいずれか一項に記載の撮影装置。
　（付記６）
　前記画像データ処理手段は、前記変位検出手段の出力に基づいて、当該撮影装置が静止していることを検知し、かつ前記撮像手段から供給される前記画像データに基づいて被写体に変化がないことを検知したとき、当該状態時に前記撮像手段により取得された画像の少なくとも一部が除かれるように前記画像データを加工することを特徴とする付記１乃至５のいずれか一項に記載の撮影装置。
　（付記７）
　前記画像データ処理手段は、前記撮像手段により撮像される画像の所定範囲を抽出処理する、付記１乃至７のいずれか一項に記載の撮影装置であって、前記画像データ処理手段は、撮影方向が所定方向に変化する場合であっても再生される画像が同範囲となるように、前記画像データを処理することを特徴とする付記１乃至６のいずれか一項に記載の撮影装置。
　（付記８）
　前記画像データ処理手段は、前記撮像手段により撮像される画像の所定範囲を抽出処理する、付記１乃至７のいずれか一項に記載の撮影装置であって、前記画像データ処理手段は、撮影方向が所定方向に変化する場合、当該所定方向とは逆の方向に前記所定範囲を変更することを特徴とする付記１乃至７のいずれか一項に記載の撮影装置。
　（付記９）
　前記画像データ処理手段は、前記撮像手段により撮像される画像の所定範囲を抽出処理する、付記１乃至８のいずれか一項に記載の撮影装置であって、前記画像データ処理手段は、前記撮像手段により撮像される前記画像の縁に対して前記所定範囲が位置するとき、撮影方向の変化の終了に応じて、前記所定範囲を変更することを特徴とする付記１乃至８のいずれか一項に記載の撮影装置。
　（付記１０）
　空間的な変位を検出する変位検出手段により検出された変位に応じた態様にて、撮像手段から供給される画像データを処理する情報処理装置。
　（付記１１）
　撮像手段は、撮像データを生成し、変位検出手段は、空間的な変位を検出し、画像データ処理手段は、前記変位検出手段により検出された前記変位に応じた態様にて、前記撮像手段から供給される画像データを処理する、撮影装置の動作方法。
　（付記１２）
　付記１１に記載の手順をコンピュータに実行させるプログラム。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　この出願は、２０１１年３月１５日に出願された日本出願特願２０１１－０５６２４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００　　情報処理装置
３０　　レンズ部
４０　　撮像部
５０　　データ処理部
６０　　位置姿勢検出部

Claims (10)

  1. 　撮像手段と、
    　空間的な変位を検出する変位検出手段と、
    　前記変位検出手段により検出された前記変位に応じた態様にて、前記撮像手段から供給される画像データを処理する画像データ処理手段と、
    　を備える撮影装置。
  2. 　前記画像データ処理手段は、前記変位検出手段の出力と閾値との比較に基づいて、前記変位検出手段により検出された変位速度又は変位角速度が相対的に速いことを検知し、当該検知に応じて前記画像データに対する処理内容を変更することを特徴とする請求項１に記載の撮影装置。
  3. 　前記画像データ処理手段は、前記変位検出手段の出力と閾値との比較に基づいて、前記変位検出手段により検出された変位速度又は変位角速度が相対的に速いことを検知し、当該検知以降に取得される画像が実際よりも時間的に遅延したタイミングで表示されるように、又は当該検知以降に取得される画像の少なくとも一部を除くように、前記画像データを加工することを特徴とする請求項１又は２に記載の撮影装置。
  4. 　前記画像データ処理手段は、前記変位検出手段の出力と閾値との比較に基づいて、前記変位検出手段により検出された変位又は回転角度が所定角度以上であることを検知し、前記変位検出手段により検出された変位が所定角度以上である期間に取得された画像の少なくとも一部が除かれるように前記画像データを加工することを特徴とする請求項１乃至３のいずれか一項に記載の撮影装置。
  5. 　前記画像データ処理手段は、前記変位検出手段が検出した変位により、前記撮像部による撮像方向が所定方向であることを検知し、前記撮像部による撮像方向が所定方向である期間に取得された画像の少なくとも一部が除かれるように前記画像データを加工することを特徴とする請求項１乃至４のいずれか一項に記載の撮影装置。
  6. 　前記画像データ処理手段は、前記変位検出手段の出力に基づいて、当該撮影装置が静止していることを検知し、かつ前記撮像手段から供給される前記画像データに基づいて被写体に変化がないことを検知したとき、当該状態時に前記撮像手段により取得された画像の少なくとも一部が除かれるように前記画像データを加工することを特徴とする請求項１乃至５のいずれか一項に記載の撮影装置。
  7. 　前記画像データ処理手段は、前記撮像手段により撮像される画像の所定範囲を抽出処理する、請求項１乃至６のいずれか一項に記載の撮影装置であって、前記画像データ処理手段は、撮影方向が所定方向に変化する場合であっても再生される画像が同範囲となるように、前記画像データを処理することを特徴とする請求項１乃至６のいずれか一項に記載の撮影装置。
  8. 　空間的な変位を検出する変位検出手段により検出された変位に応じた態様にて、撮像手段から供給される画像データを処理する情報処理装置。
  9. 　撮像手段は、撮像データを生成し、
    　変位検出手段は、空間的な変位を検出し、
    　画像データ処理手段は、前記変位検出手段により検出された前記変位に応じた態様にて、前記撮像手段から供給される画像データを処理する、撮影装置の動作方法。
  10. 　請求項９に記載の手順をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2012/001216 2011-03-15 2012-02-22 撮影装置、情報処理装置及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2012124262A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/983,898 US9282306B2 (en) 2011-03-15 2012-02-22 Imaging device, information processing device, and non-transitory computer readable medium storing program
EP12757264.2A EP2688279A4 (en) 2011-03-15 2012-02-22 PICTURE DEVICE, INFORMATION PROCESSING DEVICE AND NON-TEMPERATURE COMPUTER-READABLE MEDIA WITH A PROGRAM SAVED THEREIN
CN201280023634.8A CN103621055B (zh) 2011-03-15 2012-02-22 成像设备、信息处理设备以及存储程序的非临时性计算机可读介质
JP2013504536A JP6048399B2 (ja) 2011-03-15 2012-02-22 撮影装置、情報処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-056244 2011-03-15
JP2011056244 2011-03-15

Publications (1)

Publication Number Publication Date
WO2012124262A1 true WO2012124262A1 (ja) 2012-09-20

Family

ID=46830355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001216 WO2012124262A1 (ja) 2011-03-15 2012-02-22 撮影装置、情報処理装置及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (5)

Country Link
US (1) US9282306B2 (ja)
EP (1) EP2688279A4 (ja)
JP (1) JP6048399B2 (ja)
CN (1) CN103621055B (ja)
WO (1) WO2012124262A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10750092B2 (en) 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245136A (ja) * 1993-02-16 1994-09-02 Sony Corp ビデオカメラ及びビデオ再生装置
JP2002033949A (ja) 2000-07-17 2002-01-31 Casio Comput Co Ltd 電子カメラ
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP2007174218A (ja) * 2005-12-21 2007-07-05 Konica Minolta Photo Imaging Inc 表示装置
JP2008206099A (ja) * 2007-02-22 2008-09-04 Canon Inc 記録装置
JP2010154302A (ja) 2008-12-25 2010-07-08 Sony Corp 情報処理装置、動画像切り出し方法および動画像切り出しプログラム
JP2010283432A (ja) * 2009-06-02 2010-12-16 Toshiba Corp フレームレート制御装置及び撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426314T2 (de) 1993-02-12 2001-04-12 Sony Corp Elektronische Zoomkontrolle und Bildstabilisierung
US7456875B2 (en) 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP2006140892A (ja) * 2004-11-15 2006-06-01 Konica Minolta Photo Imaging Inc 電子スチルカメラ
EP1952624A4 (en) * 2005-09-14 2011-03-23 Nokia Corp SYSTEM AND METHOD FOR IMPLEMENTING MOTION-CONTROLLED BRAKE MODE IMAGE STABILIZATION
JP4670647B2 (ja) 2006-01-12 2011-04-13 セイコーエプソン株式会社 撮像装置、制御方法および制御プログラム
US7693406B2 (en) 2005-12-28 2010-04-06 Seiko Epson Corporation Image capturing apparatus, method of controlling the same, and storage medium
JP4449973B2 (ja) * 2006-12-08 2010-04-14 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2008235969A (ja) 2007-03-16 2008-10-02 Sanyo Electric Co Ltd ビデオカメラ
JP2008270983A (ja) 2007-04-17 2008-11-06 Sanyo Electric Co Ltd 手ぶれ補正装置及び手ぶれ補正方法
RU2010122599A (ru) * 2007-12-03 2012-01-10 Панасоник Корпорэйшн (Jp) Устройство обработки изображений, устройство фотосъемки, устройство воспроизведения, интегральная схема и способ обработки изображений
JP4900401B2 (ja) * 2008-05-16 2012-03-21 カシオ計算機株式会社 撮影装置およびプログラム
JP5205337B2 (ja) * 2009-06-18 2013-06-05 富士フイルム株式会社 ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラ
JP5487911B2 (ja) * 2009-11-27 2014-05-14 株式会社リコー 撮像装置
JP2011114801A (ja) * 2009-11-30 2011-06-09 Olympus Imaging Corp 表示装置、撮影装置、及び、表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245136A (ja) * 1993-02-16 1994-09-02 Sony Corp ビデオカメラ及びビデオ再生装置
JP2002033949A (ja) 2000-07-17 2002-01-31 Casio Comput Co Ltd 電子カメラ
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP2007174218A (ja) * 2005-12-21 2007-07-05 Konica Minolta Photo Imaging Inc 表示装置
JP2008206099A (ja) * 2007-02-22 2008-09-04 Canon Inc 記録装置
JP2010154302A (ja) 2008-12-25 2010-07-08 Sony Corp 情報処理装置、動画像切り出し方法および動画像切り出しプログラム
JP2010283432A (ja) * 2009-06-02 2010-12-16 Toshiba Corp フレームレート制御装置及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2688279A4

Also Published As

Publication number Publication date
US9282306B2 (en) 2016-03-08
JPWO2012124262A1 (ja) 2014-07-17
JP6048399B2 (ja) 2016-12-21
EP2688279A1 (en) 2014-01-22
CN103621055A (zh) 2014-03-05
EP2688279A4 (en) 2014-09-24
CN103621055B (zh) 2017-09-19
US20130343728A1 (en) 2013-12-26

Similar Documents

Publication Publication Date Title
JP4823179B2 (ja) 撮像装置及び撮影制御方法
US8204355B2 (en) Image signal processing device, imaging device, and image signal processing method
EP2211306B1 (en) Imaging apparatus, subject tracking method and storage medium
US20130044228A1 (en) Motion-Based Video Stabilization
US9426369B2 (en) Imaging device
JP2006317848A (ja) 静止画撮像装置
JP2009038649A (ja) 信号処理回路、及び撮影装置
JP2008129554A (ja) 撮像装置及びオートフォーカス制御方法
JP5995637B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、記憶媒体
US9396756B2 (en) Image processing apparatus and control method thereof
JP6048399B2 (ja) 撮影装置、情報処理装置及びプログラム
US9706109B2 (en) Imaging apparatus having multiple imaging units and method of controlling the same
EP2712174B1 (en) Methods and devices for controlling camera image capture
JP2009272921A (ja) 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路
JP6427859B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011130378A (ja) 画像記録装置及び画像記録方法
JP2006054636A (ja) 撮像装置
US20230224587A1 (en) Imaging device and imaging method
JP2009010746A (ja) 画像記録再生装置
US10194082B2 (en) Image pickup apparatus that shoots moving image for predetermined time period at the time of shooting still image, control method for the image pickup apparatus, and storage medium
JP5257124B2 (ja) デジタルカメラおよび画像処理プログラム
JP2009077093A (ja) 情報記録再生装置及び情報記録方法及び情報再生方法
US20110279695A1 (en) Imaging apparatus
JP2013225773A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101096666B1 (ko) 특정 객체를 감지하는 디지털 비디오 레코드 시스템 및 디지털 비디오 레코드（ｄｖｒ） 시스템에서 특정 객체를 감지하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12757264

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13983898

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012757264

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013504536

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE