JP6427859B2 - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP6427859B2
JP6427859B2 JP2013194535A JP2013194535A JP6427859B2 JP 6427859 B2 JP6427859 B2 JP 6427859B2 JP 2013194535 A JP2013194535 A JP 2013194535A JP 2013194535 A JP2013194535 A JP 2013194535A JP 6427859 B2 JP6427859 B2 JP 6427859B2
Authority
JP
Japan
Prior art keywords
image
image processing
processing apparatus
angle
trimming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013194535A
Other languages
Japanese (ja)
Other versions
JP2015061235A (en
Inventor
和也 奈良
和也 奈良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013194535A priority Critical patent/JP6427859B2/en
Publication of JP2015061235A publication Critical patent/JP2015061235A/en
Application granted granted Critical
Publication of JP6427859B2 publication Critical patent/JP6427859B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program.

従来より、予め設定された時間間隔で撮像し、その結果得られた複数の静止画をフレームと見立てた動画を生成する技術が知られている(特許文献1)。このような特許文献1に開示される技術では、生成された動画をタイムラプス動画と呼称されている。   2. Description of the Related Art Conventionally, a technique is known in which a plurality of still images obtained as a result of capturing images at a preset time interval are generated as frames (Patent Document 1). In the technique disclosed in Patent Document 1, the generated moving image is called a time-lapse moving image.

特開2010−016599号公報JP 2010-016599 A

しかしながら、上述したような特許文献1に開示の技術では、得られたタイムラプス動画は画角が固定されているため、動画の内容によっては、変化に乏しいものになりがちであった。   However, with the technique disclosed in Patent Document 1 as described above, since the angle of view of the obtained time-lapse movie is fixed, the change tends to be poor depending on the content of the movie.

本発明は、このような状況に鑑みてなされたものであり、変化に富んだタイムラプス動画を生成することを目的とする。   The present invention has been made in view of such a situation, and an object thereof is to generate a time-lapse moving image rich in change.

上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段と、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段と、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段と、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なり、且つ、外部操作に基づき任意に設定された第2の時間間隔で順次再生させる静止画を特定する特定手段と、
前記検出手段によって検出された画角の変化の速度を示す情報と、前記第2の時間間隔の長さとに応じて、前記特定手段によって特定された複数の前記静止画をトリミングするトリミング手段と、
を備えたことを特徴とする。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes:
Imaging means;
An imaging control means for controlling the imaging means to continuously take images at a first time interval;
Detecting means for detecting a change in the angle of view when being imaged by the imaging control means;
Among a plurality of still images obtained as a result of being imaged by the imaging control means, still images that are sequentially reproduced at a second time interval that is different from the first time interval and arbitrarily set based on an external operation Identifying means for identifying
Trimming means for trimming the plurality of still images specified by the specifying means according to the information indicating the change speed of the angle of view detected by the detecting means and the length of the second time interval;
It is provided with.

本発明によれば、変化に富んだタイムラプス動画を生成することができる。   According to the present invention, it is possible to generate a time-lapse moving image rich in change.

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。It is a block diagram which shows the structure of the hardware of the imaging device which concerns on one Embodiment of this invention. インターバル撮影1のタイムラプス動画の生成を説明するための図である。It is a figure for demonstrating the production | generation of the time-lapse moving image of interval imaging | photography 1. FIG. インターバル撮影2のタイムラプス動画の生成を説明するための図である。It is a figure for demonstrating the production | generation of the time-lapse moving image of interval imaging | photography 2. FIG. 図1の撮像装置の機能的構成のうち、タイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing a time lapse animation production | generation process among the functional structures of the imaging device of FIG. 図4の機能的構成を有する図1の撮像装置が実行するタイムラプス動画生成処理の流れを説明するフローチャートである。5 is a flowchart for explaining a flow of time-lapse moving image generation processing executed by the imaging apparatus of FIG. 1 having the functional configuration of FIG. 4.

以下、本発明の実施形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
FIG. 1 is a block diagram showing a hardware configuration of an imaging apparatus according to an embodiment of the present invention.
The imaging device 1 is configured as a digital camera, for example.

撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。   The imaging apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an imaging unit 16, and an input unit 17. An output unit 18, a storage unit 19, a communication unit 20, and a drive 21.

CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。   The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13.

RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。   The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.

CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。   The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output interface 15.

撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。   Although not shown, the imaging unit 16 includes an optical lens unit and an image sensor.

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the imaging unit 16.
Hereinafter, the output signal of the imaging unit 16 is referred to as “captured image data”. Data of the captured image is appropriately supplied to the CPU 11 or an image processing unit (not shown).

入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The input unit 17 includes various buttons and the like, and inputs various types of information according to user instruction operations.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.
The storage unit 19 is composed of a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various image data.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.

ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。   A removable medium 31 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 31 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

以上のように構成される撮像装置1においては、撮影中にズームやパンの動作があった場合に、実際の撮影間隔とは異なる動画の再生速度に合わせて、ズームやパンの映像を段階的に変化するような画角の変化のあるタイムラプス動画を生成することができる機能を有する。   In the imaging apparatus 1 configured as described above, when zooming and panning operations are performed during shooting, zooming and panning images are stepped in accordance with a moving image playback speed different from the actual shooting interval. It has a function capable of generating a time-lapse moving image with a change in the angle of view that changes to.

このような撮像装置1において生成されるタイムラプス動画の生成の原理について説明する。
本実施形態のタイムラプス動画は、時間の経過と共に画角が所定の方向に移動すると共に、ズームするように変化する動画である。
本実施形態のタイムラプス動画は、画角の変化を撮影時に行わずに、所定の範囲を継続的に(時間的に連続して)インターバル撮影した動画を用いて、動画の生成時に画角が変化した画像を用いて生成する。本実施形態のタイムラプス動画は、インターバル撮影時の画角の変化に対応したものが生成される。
ここで、「インターバル撮影」とは、撮影により画像を一定の間隔をおいて間欠的に取得するように撮影、即ち、指定された撮影間隔又は撮影していない時間を含むトータルの撮影時間で連続した間欠撮影をいう。
The principle of generating a time-lapse moving image generated in such an imaging apparatus 1 will be described.
The time-lapse moving image according to the present embodiment is a moving image in which the angle of view moves in a predetermined direction with time and changes so as to zoom.
The time-lapse movie of this embodiment does not change the angle of view at the time of shooting, and the angle of view changes when the movie is generated by using a movie in which a predetermined range is taken continuously (continuously in time). Generated using the processed image. The time-lapse moving image according to the present embodiment is generated corresponding to the change in the angle of view during interval shooting.
Here, “interval shooting” means shooting so that images are acquired intermittently at fixed intervals by shooting, that is, continuous for a total shooting time including a specified shooting interval or a non-shooting time. Intermittent shooting.

以下、インターバル撮影時に、ズーム倍率が上がるTELE側にズームが変化したインターバル撮影1と、ズーム倍率が下がるWIDE側にズームが変化したインターバル撮影2の例について説明する。   Hereinafter, an example of interval shooting 1 in which the zoom is changed to the TELE side where the zoom magnification is increased and interval shooting 2 in which the zoom is changed to the WIDE side where the zoom magnification is reduced during the interval shooting will be described.

図2は、インターバル撮影1のタイムラプス動画の生成を説明するための図である。
インターバル撮影1では、図2(a)に示すように、所定の撮影間隔で、7枚の撮像画像101〜107が取得される。撮像画像101〜107のうち、撮像画像107は、その撮像前のAのタイミングでTELE側にズームが1倍から2倍に切り換えられ、撮像範囲の中央付近を拡大した画像となる。拡大に伴って図中丸で示した被写体が約2倍の大きさになっている。
FIG. 2 is a diagram for explaining generation of a time-lapse moving image of interval shooting 1.
In interval shooting 1, as shown in FIG. 2A, seven captured images 101 to 107 are acquired at predetermined shooting intervals. Among the captured images 101 to 107, the captured image 107 is an image in which the zoom is switched from 1 to 2 times on the TELE side at the timing A before the image capturing, and the vicinity of the center of the imaging range is enlarged. With enlargement, the subject indicated by a circle in the figure is about twice as large.

通常のタイムラプス動画の生成では、各撮像画像を、タイムラプス動画を構成するフレーム画像(以下、「構成フレーム画像」という。)として、現画角で動画化する。
このため、通常のタイムラプス動画として生成した場合には、図2(b)に示すように、動画開始のフレーム201からフレーム206に到るまで被写体の大きさが変化せず、フレーム207でいきなり被写体の大きさが変化して再生される。
In normal time-lapse moving image generation, each captured image is converted to a moving image at the current angle of view as a frame image (hereinafter referred to as “configuration frame image”) that constitutes the time-lapse moving image.
For this reason, when a normal time-lapse moving image is generated, the size of the subject does not change from the moving image start frame 201 to the frame 206 as shown in FIG. The size of is changed and played.

これに対して、本実施形態のタイムラプス動画では、図2(c)に示すように、TELE側にズームの変化があった撮像画像117の前(過去)の撮像画像113〜116において、徐々に画角がTELE側にズームして変化するように、撮像画像113〜116の画像領域(図中破線)をトリミングして、撮像画像111,112と同サイズに調整した画像を生成して、構成フレーム画像とする。
トリミングする撮像画像候補と当該撮像画像においてトリミングするサイズは、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して決定する。
本例では、変化したズーム倍率が1倍から2倍であり、ズーム移動時間が0.5秒であり、再生フレームレートが10fpsであるため、例えば、ズームの変化があるとしてトリミングするフレーム数(以下、「ズーム移動フレーム数」という。)を5枚としている。そして、ズーム倍率が1倍から2倍に変化しているために、ズーム移動フレーム数を5枚とし撮像画像113〜116におけるトリミングするサイズを1/5ずつ減らしながらトリミングする。
On the other hand, in the time-lapse moving image of the present embodiment, as shown in FIG. 2C, in the captured images 113 to 116 before (past) the captured image 117 in which the zoom has changed on the TELE side, gradually. The image area (broken line in the figure) of the captured images 113 to 116 is trimmed so that the angle of view changes by zooming to the TELE side, and an image adjusted to the same size as the captured images 111 and 112 is generated. Frame image.
The captured image candidate to be trimmed and the size to be trimmed in the captured image are determined in consideration of the zoom magnification, the zoom movement time, and the playback frame rate.
In this example, the changed zoom magnification is 1 to 2 times, the zoom movement time is 0.5 seconds, and the playback frame rate is 10 fps. Hereinafter, it is referred to as “the number of zoom movement frames”). Then, since the zoom magnification is changed from 1 to 2 times, the number of zoom movement frames is 5 and trimming is performed while reducing the trimming size in the captured images 113 to 116 by 1/5.

このようにトリミングする撮像画像と、各撮像画像においてトリミングするサイズとすることで、図2(d)に示すように、ズームの移動時間に対応した速度で徐々に拡大するように各フレーム211〜217において、画角がT(TELE)側へ変化するタイムラプス動画が生成される。
したがって、本例では、画角が自然な形で変化するタイムラプス動画が生成される。
By setting the captured image to be trimmed in this way and the size to be trimmed in each captured image, as shown in FIG. 2D, each frame 211 to gradually expands at a speed corresponding to the zoom movement time. In 217, a time-lapse moving image in which the angle of view changes to the T (TELE) side is generated.
Therefore, in this example, a time-lapse moving image in which the angle of view changes in a natural manner is generated.

図3は、インターバル撮影2のタイムラプス動画の生成を説明するための図である。
インターバル撮影2では、図3(a)に示すように、所定の撮影間隔で、7枚の撮像画像121〜127が取得される。撮像画像121〜127のうち、撮像画像121は、その撮像後のBのタイミングでWIDE側にズームが2倍から1倍に切り換えられ、撮像範囲の中央付近を縮小した画像となる。拡大に伴って図中丸で示した被写体が約1/2倍の大きさになっている。
FIG. 3 is a diagram for explaining generation of a time-lapse moving image of interval shooting 2.
In the interval shooting 2, as shown in FIG. 3A, seven captured images 121 to 127 are acquired at a predetermined shooting interval. Among the captured images 121 to 127, the captured image 121 is an image in which the zoom is switched from 2 times to 1 time on the WIDE side at the timing B after the image capturing and the vicinity of the center of the image capturing range is reduced. With enlargement, the subject indicated by a circle in the figure is about ½ times larger.

通常のタイムラプス動画の生成では、各撮像画像を、タイムラプス動画を構成する構成フレーム画像として、現画角で動画化する。
このため、通常のタイムラプス動画として生成した場合には、図3(b)に示すように、動画開始のフレーム221からフレーム222の間でいきなり被写体の大きさが変化し、その後、フレーム227に到るまで被写体の大きさが変化しないものとなる。
In the generation of a normal time-lapse moving image, each captured image is converted into a moving image at the current angle of view as a constituent frame image constituting the time-lapse moving image.
Therefore, when a normal time-lapse moving image is generated, the size of the subject suddenly changes between the moving image start frame 221 and the frame 222 as shown in FIG. 3B, and then reaches the frame 227. The size of the subject does not change until

これに対して、本実施形態のタイムラプス動画では、図3(c)に示すように、WIDE側にズームの変化があった撮像画像132の後(未来)の撮像画像133〜137において、徐々に画角がWIDE側にズームして変化するように、撮像画像132〜135の画像領域(図中破線)をトリミングして、撮像画像131と同サイズに調整した画像を生成して、構成フレーム画像とする。
トリミングする撮像画像と当該撮像画像においてトリミングするサイズは、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して決定する。
本例では、変化したズーム倍率が2倍から1倍であり、ズーム移動時間が0.5秒であり、再生フレームレートが10fpsであるため、例えば、ズームの変化があるとしてトリミングするフレーム数(以下、「ズーム移動フレーム数」という。)を5枚としている。そして、ズーム倍率が2倍から1倍に変化しているために、ズーム移動フレーム数を5枚とし、撮像画像132〜135におけるトリミングするサイズを1/5ずつ増やしながらトリミングする。
On the other hand, in the time-lapse moving image of the present embodiment, as shown in FIG. 3C, in the captured images 133 to 137 after (the future) the captured image 132 in which the zoom has changed on the WIDE side, gradually. The image area (broken line in the figure) of the captured images 132 to 135 is trimmed so that the angle of view changes by zooming to the WIDE side, and an image adjusted to the same size as the captured image 131 is generated, and the configuration frame image And
The captured image to be trimmed and the size to be trimmed in the captured image are determined in consideration of the zoom magnification, the zoom movement time, and the playback frame rate.
In this example, the changed zoom magnification is 2 to 1, the zoom movement time is 0.5 seconds, and the playback frame rate is 10 fps. Hereinafter, it is referred to as “the number of zoom movement frames”). Since the zoom magnification changes from 2 times to 1 time, the number of zoom movement frames is set to 5, and trimming is performed while increasing the trimming size in the captured images 132 to 135 by 1/5.

このようにトリミングする撮像画像と、各撮像画像においてトリミングするサイズとすることで、図3(d)に示すように、ズームの移動時間に対応した速度で徐々に縮小するように各フレーム231〜237において、画角がW(WIDE側)へ変化するタイムラプス動画が生成される。
したがって、本例でも、画角が自然な形で変化するタイムラプス動画が生成される。
By setting the captured image to be trimmed in this way and the size to be trimmed in each captured image, as shown in FIG. 3D, each frame 231-1 is gradually reduced at a speed corresponding to the zoom movement time. In 237, a time-lapse moving image in which the angle of view changes to W (WIDE side) is generated.
Therefore, also in this example, a time-lapse moving image in which the angle of view changes in a natural manner is generated.

図4は、このような撮像装置1の機能的構成のうち、タイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。
タイムラプス動画生成処理とは、インターバル撮影を行って取得した撮像画像において、撮影操作があった撮像画像付近の撮像画像から所定のサイズと位置で切り取った画像を用いて、急激に画角が変化したような動画とならないタイムラプス動画を生成するまでの処理をいう。本実施形態において、タイムラプス動画生成処理では、徐々にズームするようなタイムラプス動画が生成される。
FIG. 4 is a functional block diagram illustrating a functional configuration for executing the time-lapse moving image generation process among the functional configurations of the imaging apparatus 1 as described above.
Time-lapse movie generation processing means that in a captured image obtained by performing interval shooting, the angle of view changed rapidly using an image cut out at a predetermined size and position from the captured image near the captured image where the shooting operation was performed. This refers to processing until a time-lapse movie that does not become such a movie is generated. In the present embodiment, in the time-lapse moving image generation process, a time-lapse moving image that gradually zooms is generated.

タイムラプス動画生成処理は、図4に示すように、CPU11において、撮影期間設定部51と、入力操作検出部52と、インターバル撮影制御部53と、画像取得部54と、動画条件設定部55と、撮影操作特定部56と、トリミング処理部57と、タイムラプス動画生成部58と、が機能する。
また、記憶部19の一領域には、撮像画像記憶部71と、タイムラプス動画記憶部72と、が設定される。
撮像画像記憶部71には、撮像部16から出力された撮像画像のデータが記憶される。
タイムラプス動画記憶部72には、生成したタイムラプス動画のデータが記憶される。
As shown in FIG. 4, the time-lapse moving image generation process is performed by the CPU 11 in the shooting period setting unit 51, the input operation detection unit 52, the interval shooting control unit 53, the image acquisition unit 54, and the moving image condition setting unit 55. The shooting operation specifying unit 56, the trimming processing unit 57, and the time-lapse moving image generating unit 58 function.
A captured image storage unit 71 and a time-lapse moving image storage unit 72 are set in one area of the storage unit 19.
The captured image storage unit 71 stores captured image data output from the imaging unit 16.
The time-lapse moving image storage unit 72 stores data of the generated time-lapse moving image.

撮影期間設定部51は、撮像部16でのインターバル撮影における撮影期間を設定する。詳細には、撮影期間設定部51は、撮影フレームレート(第1の時間間隔)を設定する。   The shooting period setting unit 51 sets a shooting period for interval shooting in the imaging unit 16. Specifically, the shooting period setting unit 51 sets a shooting frame rate (first time interval).

入力操作検出部52は、入力部17に対して、ズームさせる操作等の撮影に係る操作(以下、「撮影操作」という。)を検出する。入力操作検出部52は、検出結果をインターバル撮影制御部53に出力する。   The input operation detection unit 52 detects an operation related to shooting (hereinafter referred to as “shooting operation”) such as an operation of zooming the input unit 17. The input operation detection unit 52 outputs the detection result to the interval shooting control unit 53.

インターバル撮影制御部53は、インターバル撮影を行うように撮像部16を制御する。また、インターバル撮影制御部53は、入力操作検出部52によって検出された撮影操作を受けて、ズーム等の画角を変化させる制御を行う。
さらに、インターバル撮影制御部53は、撮像部16から出力された撮像画像を撮像画像記憶部71に記憶させる。インターバル撮影制御部53は、出力された撮像画像に対して、撮像操作があった旨や撮影条件(EXIF(Exchangeable image file format)情報)を保存させる。具体的には、インターバル撮影制御部53は、撮像画像にズーム段等のズーム倍率の情報を保存する。
The interval shooting control unit 53 controls the imaging unit 16 to perform interval shooting. In addition, the interval shooting control unit 53 receives the shooting operation detected by the input operation detection unit 52 and performs control to change the angle of view such as zoom.
Further, the interval shooting control unit 53 stores the captured image output from the imaging unit 16 in the captured image storage unit 71. The interval shooting control unit 53 saves an imaging operation and shooting conditions (EXIF (Exchangeable image file format) information) on the output captured image. Specifically, the interval shooting control unit 53 saves zoom magnification information such as a zoom level in the captured image.

画像取得部54は、撮像画像記憶部71に記憶される撮像画像を取得する。   The image acquisition unit 54 acquires a captured image stored in the captured image storage unit 71.

動画条件設定部55は、生成するタイムラプス動画の再生フレームレートや再生時間等の動画条件を設定する。詳細には、動画条件設定部55は、再生フレームレート(第2の時間間隔)等の動画条件を設定する。   The moving picture condition setting unit 55 sets moving picture conditions such as a playback frame rate and a playback time of the time-lapse moving picture to be generated. Specifically, the moving image condition setting unit 55 sets moving image conditions such as a playback frame rate (second time interval).

撮影操作特定部56は、撮像画像に記憶されている撮像操作があった旨や撮影条件から、撮影操作があった撮像画像を特定する。また、撮影操作特定部56は、例えば、ズーム倍率等の撮影操作の内容を撮像画像に記憶される撮影条件等の情報から特定する。
図2(a)の例の場合には、撮影操作特定部56は、ズーム倍率が拡大しているTELE側にズームが変更された後の撮像画像が特定され、さらに、ズームが1倍から2倍に変化したことを特定する。
また、図3(a)の例の場合には、撮影操作特定部56は、ズーム倍率が縮小しているWIDE側にズームが変更される前の撮像画像を特定し、さらに、ズームが2倍から1倍に変化したことを特定する。
The shooting operation specifying unit 56 specifies a captured image in which a shooting operation has been performed based on the fact that there has been an imaging operation stored in the captured image and shooting conditions. Further, the shooting operation specifying unit 56 specifies the content of the shooting operation such as the zoom magnification from information such as shooting conditions stored in the captured image.
In the case of the example of FIG. 2A, the shooting operation specifying unit 56 specifies the captured image after the zoom is changed to the TELE side where the zoom magnification is increased, and further, the zoom is 1 to 2 times. Identify that it has doubled.
In the case of the example of FIG. 3A, the photographing operation specifying unit 56 specifies the captured image before the zoom is changed to the WIDE side where the zoom magnification is reduced, and the zoom is doubled. It is specified that it has changed from 1 to 1.

トリミング処理部57は、動画条件設定部55によって設定された動画条件と、撮影操作特定部56によって特定された撮影操作があった撮像画像とに基づいて、トリミング処理を実行する。
トリミング処理では、変化したズーム倍率から、その倍率まで移動するのに必要なズーム移動時間を取得し、再生フレームレートからズーム移動時間分のズーム移動フレーム数を算出する。そして、トリミング処理では、算出されたフレーム群に該当する撮像画像群に対して、段階的にズームが変化するように、該当する各撮像画像で所定のサイズで画像領域を切り取って画角を調整するトリミングを行う。また、トリミング処理では、トリミングする撮像画像と当該撮像画像においてトリミングするサイズは、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して決定する。
その結果、トリミング処理では、タイムラプス動画を構成するフレーム画像となる構成フレーム画像を生成する。
図2(a)の例では、ズーム倍率が拡大しているTELE側にズームが変更しているため、TELE側にズームが変更された後の撮像画像117からズーム移動フレーム数過去の撮像画像に対して、ズームが変更された後のズーム倍率まで、図2(c)に示すように徐々に画像領域を狭くなるようにトリミングして、構成フレーム画像を生成する。
また、図3(a)の例では、ズーム倍率が縮小しているWIDE側にズームが変更しているため、WIDE側にズームが変更される前の撮像画像131からズーム移動フレーム数未来の撮像画像に対して、ズームが変更された後のズーム倍率まで、図3(c)に示すように徐々に画像領域を広くなるようにトリミングして、構成フレーム画像を生成する。
このように構成フレーム画像を生成することにより、急激な画角の変化のない連続性のあるタイムラプス動画を生成することが可能となる。
The trimming processing unit 57 performs a trimming process based on the moving image condition set by the moving image condition setting unit 55 and the captured image specified by the shooting operation specifying unit 56.
In the trimming process, the zoom movement time required to move to the magnification is acquired from the changed zoom magnification, and the number of zoom movement frames corresponding to the zoom movement time is calculated from the reproduction frame rate. Then, in the trimming process, the angle of view is adjusted by cutting out the image area with a predetermined size in each corresponding captured image so that the zoom gradually changes with respect to the captured image group corresponding to the calculated frame group. Perform trimming. In the trimming process, the captured image to be trimmed and the size to be trimmed in the captured image are determined in consideration of the zoom magnification, the zoom movement time, and the playback frame rate.
As a result, in the trimming process, a constituent frame image that is a frame image constituting the time-lapse moving image is generated.
In the example of FIG. 2A, since the zoom is changed to the TELE side where the zoom magnification is enlarged, the captured image 117 after the zoom is changed to the TELE side is changed to the past captured image of the number of zoom movement frames. On the other hand, as shown in FIG. 2C, trimming is performed so that the image area is gradually narrowed up to the zoom magnification after the zoom is changed to generate a constituent frame image.
In the example of FIG. 3A, since the zoom is changed to the WIDE side where the zoom magnification is reduced, the future imaging of the zoom movement frame number from the captured image 131 before the zoom is changed to the WIDE side. As shown in FIG. 3C, the image is trimmed so as to gradually widen the image area up to the zoom magnification after the zoom is changed, thereby generating a configuration frame image.
By generating the configuration frame image in this manner, it is possible to generate a continuous time-lapse moving image without a sudden change in the angle of view.

タイムラプス動画生成部58は、動画条件設定部55によって設定された動画条件となるように、トリミング処理部57によって生成された構成フレーム画像からなるタイムラプス動画を生成する。また、タイムラプス動画生成部58は、生成したタイムラプス動画を出力してタイムラプス動画記憶部72に記憶させる。
その結果、図2(a)のようなインターバル撮影をした撮像画像101〜107を用いた場合には、図2(d)に示すような徐々に画角が拡大するような変化があるタイムラプス動画が生成される。また、図3(a)のようなインターバル撮影をした撮像画像121〜127を用いた場合には、図3(d)に示すような徐々に画角が縮小するような変化があるタイムラプス動画が生成される。
The time-lapse moving image generation unit 58 generates a time-lapse moving image including the constituent frame images generated by the trimming processing unit 57 so that the moving image condition set by the moving image condition setting unit 55 is satisfied. In addition, the time-lapse moving image generation unit 58 outputs the generated time-lapse moving image and stores it in the time-lapse moving image storage unit 72.
As a result, in the case of using the captured images 101 to 107 obtained by interval shooting as shown in FIG. 2A, a time-lapse movie having a change in which the angle of view gradually increases as shown in FIG. Is generated. In addition, when the captured images 121 to 127 obtained by interval shooting as shown in FIG. 3A are used, a time-lapse movie having a change that gradually reduces the angle of view as shown in FIG. Generated.

図5は、図5の機能的構成を有する図1の撮像装置1が実行するタイムラプス動画生成処理の流れを説明するフローチャートである。
タイムラプス動画生成処理は、ユーザによる入力部17へのタイムラプス動画生成処理開始の操作により開始される。
FIG. 5 is a flowchart for explaining the flow of the time-lapse moving image generation process executed by the imaging apparatus 1 of FIG. 1 having the functional configuration of FIG.
The time-lapse moving image generation process is started by an operation for starting the time-lapse moving image generation process to the input unit 17 by the user.

ステップS11において、インターバル撮影制御部53は、インターバル撮影を行う。詳細には、インターバル撮影制御部53は、予め撮影期間設定部51によって設定された撮影期間に基づいて、インターバル撮影を行う。インターバル撮影では、インターバル撮影制御部53は、入力操作検出部52によって検出された撮影操作を受けて、ズーム等の画角を変化させる制御を行う。
その後、インターバル撮影制御部53は、撮像部16から出力された撮像画像を撮像画像記憶部71に出力する。その際、インターバル撮影制御部53は、撮像部16から出力された撮像画像を撮像画像記憶部71に記憶させる。
その結果、撮像画像記憶部71には、撮影期間設定部51による設定に準じた間隔で撮影された撮像画像が記憶される。
具体的には、例えば、最終段階でTELE側にズームさせた場合には、図2(a)に示すような撮像画像101〜107が出力される。また、初期段階でWIDE側にズームさせた場合には、図3(a)に示すような撮像画像121〜127が出力される。
In step S11, the interval shooting control unit 53 performs interval shooting. Specifically, the interval shooting control unit 53 performs interval shooting based on the shooting period set in advance by the shooting period setting unit 51. In the interval shooting, the interval shooting control unit 53 receives the shooting operation detected by the input operation detection unit 52 and performs control to change the angle of view such as zoom.
Thereafter, the interval shooting control unit 53 outputs the captured image output from the imaging unit 16 to the captured image storage unit 71. At that time, the interval shooting control unit 53 stores the captured image output from the imaging unit 16 in the captured image storage unit 71.
As a result, the captured image storage unit 71 stores captured images captured at intervals according to the setting by the shooting period setting unit 51.
Specifically, for example, when zooming to the TELE side in the final stage, captured images 101 to 107 as shown in FIG. Further, when zooming to the WIDE side in the initial stage, captured images 121 to 127 as shown in FIG.

ステップS12において、画像取得部54は、撮像画像を取得する。詳細には、画像取得部54は、撮像画像記憶部71に記憶される撮像画像を取得する。   In step S12, the image acquisition unit 54 acquires a captured image. Specifically, the image acquisition unit 54 acquires a captured image stored in the captured image storage unit 71.

ステップS13において、動画条件設定部55は、ユーザによる入力操作やデフォルトの設定等から再生フレームレート等の動画条件を設定する。   In step S13, the moving image condition setting unit 55 sets moving image conditions such as a playback frame rate based on an input operation by a user, a default setting, and the like.

ステップS14において、撮影操作特定部56は、撮影操作した撮像画像と、撮影条件を特定する。
図2(a)の例の場合には、撮影操作特定部56は、ズーム倍率が拡大しているTELE側にズームが変更された後の撮像画像107が特定され、さらに、ズームが1倍から2倍に変化したことを特定する。
また、図3(a)の例の場合には、撮影操作特定部56は、ズーム倍率が縮小しているWIDE側にズームが変更される前の撮像画像121を特定し、さらに、ズームが2倍から1倍に変化したことを特定する。
In step S <b> 14, the shooting operation specifying unit 56 specifies the captured image that has been shot and the shooting conditions.
In the case of the example of FIG. 2A, the shooting operation specifying unit 56 specifies the captured image 107 after the zoom is changed to the TELE side where the zoom magnification is increased, and further, the zoom is started from 1 ×. Identify that it has changed by a factor of two.
In the case of the example of FIG. 3A, the photographing operation specifying unit 56 specifies the captured image 121 before the zoom is changed to the WIDE side where the zoom magnification is reduced, and further, the zoom is 2 Identifies the change from double to one.

ステップS15において、トリミング処理部57は、トリミング処理を実行する。トリミング処理部57は、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して、トリミングする撮像画像と当該撮像画像においてトリミングするサイズを決定して、決定した条件でトリミングする。
具体的には、トリミング処理部57は、図2(a)の例の場合では、ズーム倍率が拡大しているTELE側にズームが変更しているため、TELE側にズームが変更された後の撮像画像107からズーム移動フレーム数過去の撮像画像に対して、ズームが変更された後のズーム倍率まで、図2(c)に示すように徐々に画像領域を狭くなるように撮像画像102〜107に相当する撮像画像112〜117をトリミングして、構成フレーム画像を生成する。
また、トリミング処理部57は、図3(a)の例の場合では、ズーム倍率が縮小しているWIDE側にズームが変更しているため、WIDE側にズームが変更される前の撮像画像121からズーム移動フレーム数未来の撮像画像に対して、ズームが変更された後のズーム倍率まで、図3(c)に示すように徐々に画像領域を広くなるように撮像画像121〜125に相当する撮像画像131〜135をトリミングして、構成フレーム画像を生成する。
In step S15, the trimming processor 57 performs a trimming process. The trimming processing unit 57 determines the captured image to be trimmed and the size to be trimmed in the captured image in consideration of the zoom magnification, the zoom movement time, and the playback frame rate, and performs trimming under the determined conditions.
Specifically, in the case of the example of FIG. 2A, the trimming processing unit 57 has changed the zoom to the TELE side where the zoom magnification is increased, and therefore the trimming processing unit 57 has changed the zoom to the TELE side. As shown in FIG. 2C, the captured images 102 to 107 gradually narrow the image area from the captured image 107 to the zoom magnification after the zoom is changed with respect to the captured image in the past number of zoom movement frames. The captured images 112 to 117 corresponding to are trimmed to generate a configuration frame image.
In the example of FIG. 3A, the trimming processing unit 57 changes the zoom to the WIDE side where the zoom magnification is reduced, and thus the captured image 121 before the zoom is changed to the WIDE side. From the number of zoom movement frames to the future captured image, it corresponds to the captured images 121 to 125 so that the image area gradually increases as shown in FIG. 3C from the zoom magnification after the zoom is changed. The captured images 131 to 135 are trimmed to generate a configuration frame image.

ステップS16において、タイムラプス動画生成部58は、タイムラプス動画を生成する。詳細には、動画条件設定部55によって設定された動画条件となるように、トリミング処理部57によって生成された構成フレーム画像からなるタイムラプス動画を生成する。
具体的には、タイムラプス動画生成部58は、図2(a)のようなインターバル撮影をした撮像画像101〜107を用いた場合には、図2(d)に示すような徐々に画角が拡大するような変化があるタイムラプス動画を生成する。
また、タイムラプス動画生成部58は、図3(a)のようなインターバル撮影をした撮像画像121〜127を用いた場合には、図3(d)に示すような徐々に画角が縮小するような変化があるタイムラプス動画を生成する。
したがって、撮像装置1においては、急激な画角の変化のない連続性のあるタイムラプス動画を生成することができる。
In step S16, the time-lapse moving image generating unit 58 generates a time-lapse moving image. Specifically, a time-lapse moving image including the constituent frame images generated by the trimming processing unit 57 is generated so as to satisfy the moving image condition set by the moving image condition setting unit 55.
Specifically, the time-lapse moving image generating unit 58 gradually increases the angle of view as shown in FIG. 2D when using the captured images 101 to 107 obtained by interval shooting as shown in FIG. Generate time-lapse movies with changes that expand.
Further, when using the captured images 121 to 127 obtained by interval shooting as shown in FIG. 3A, the time-lapse moving image generation unit 58 gradually reduces the angle of view as shown in FIG. Generate a time-lapse movie with various changes.
Therefore, the imaging apparatus 1 can generate a continuous time-lapse moving image without a sudden change in the angle of view.

以上のように構成される撮像装置1は、撮像部16と、インターバル撮影制御部53と、入力操作検出部52と、撮影操作特定部56と、トリミング処理部57と、を備える。
インターバル撮影制御部53は、この撮像部16に対し、第1の時間間隔(撮影フレームレート)で時間的に連続して撮像するよう制御する。
入力操作検出部52は、このインターバル撮影制御部53によって撮像されている時に画角の変化を検出する。
撮影操作特定部56は、インターバル撮影制御部53によって撮像された結果得た複数の静止画のうち、第1の時間間隔(撮影フレームレート)とは異なる第2の時間間隔(再生フレームレート)で順次再生させる静止画を特定する。
トリミング処理部57は、入力操作検出部52によって検出された画角の変化に応じて、撮影操作特定部56によって特定された静止画をトリミングする。
これにより、撮像装置1においては、入力操作検出部52によって検出された画角の変化に応じて、撮影操作特定部56によって特定された静止画をトリミングするために、変化に富んだタイムラプス動画を生成することができる。
The imaging device 1 configured as described above includes the imaging unit 16, the interval shooting control unit 53, the input operation detection unit 52, the shooting operation specifying unit 56, and the trimming processing unit 57.
The interval shooting control unit 53 controls the image pickup unit 16 to take images continuously in time at the first time interval (shooting frame rate).
The input operation detection unit 52 detects a change in the angle of view when the interval shooting control unit 53 is capturing an image.
The shooting operation specifying unit 56 has a second time interval (reproduction frame rate) different from the first time interval (shooting frame rate) among a plurality of still images obtained as a result of being imaged by the interval shooting control unit 53. Specify still images to be played sequentially.
The trimming processing unit 57 trims the still image specified by the shooting operation specifying unit 56 in accordance with the change in the angle of view detected by the input operation detecting unit 52.
Thereby, in the imaging device 1, in order to trim the still image specified by the shooting operation specifying unit 56 according to the change in the angle of view detected by the input operation detecting unit 52, a time-lapse moving image rich in change is displayed. Can be generated.

入力操作検出部52は、装置に対しての画角を変化させる指示として撮影操作を検出する。
これにより、撮像装置1においては、例えば、ズーム操作や撮像装置1の向き変更操作等の撮影操作の検出を画角の変化とするために明示的なユーザによる意思を反映させたタイムラプス動画を生成することができる。
The input operation detection unit 52 detects a shooting operation as an instruction to change the angle of view with respect to the apparatus.
As a result, the imaging device 1 generates a time-lapse movie that reflects the intention of the explicit user in order to change the angle of view, for example, to detect a shooting operation such as a zoom operation or a direction change operation of the imaging device 1. can do.

また、トリミング処理部57は、検出手段によって検出された画角の変化と更に第2の時間間隔に応じて、複数の静止画をトリミングする。
これにより、撮像装置1では、変化が急激でなく変化が自然なタイムラプス動画を生成することができる。
In addition, the trimming processing unit 57 trims a plurality of still images according to the change in the angle of view detected by the detection unit and the second time interval.
Thereby, in the imaging device 1, it is possible to generate a time-lapse movie in which the change is not abrupt and the change is natural.

また、トリミング処理部57は、画角内を平行移動するような画角の変化に応じて、静止画をトリミングする。
この際、構成フレーム画像は、画像全体を用いるわけではなく、パンして移動する分を補える領域を残して生成される。このように構成することにより、パンにより画角が急激に変化した撮像画像しかなくても、余剰分の領域で移動する分を補える構成フレーム画像を生成することができる。
これにより、撮像装置1では、徐々にパンしたような変化に富んだタイムラプス動画を生成することができる。
The trimming processing unit 57 trims a still image according to a change in the angle of view that translates within the angle of view.
At this time, the constituent frame image is generated not by using the entire image but leaving an area that can be compensated for panning and moving. With this configuration, even if there is only a captured image in which the angle of view has changed rapidly due to panning, it is possible to generate a configuration frame image that can compensate for the movement in the surplus area.
Thereby, in the imaging device 1, it is possible to generate a time-lapse moving image that is rich in changes such as panning gradually.

また、トリミング処理部57は、画角の変化とは、枠の大きさ自体を変えるような画角の変化に応じて、静止画をトリミングする。
これにより、撮像装置1では、徐々にズームしたような変化に富んだタイムラプス動画を生成することができる。
In addition, the trimming processing unit 57 trims a still image in accordance with the change in the angle of view that changes the size of the frame itself.
As a result, the imaging apparatus 1 can generate a time-lapse moving image rich in changes such as gradually zooming.

また、撮像装置1は、動画を生成するタイムラプス動画生成部58を備える。
これにより、撮像装置1では、自装置で、タイムラプス動画の生成に用いる画像の撮影から動画の生成までを一貫して行うことができる。
In addition, the imaging apparatus 1 includes a time-lapse moving image generation unit 58 that generates a moving image.
Thereby, in the imaging device 1, it can perform consistently from imaging | photography of the image used for the production | generation of a time-lapse moving image to the production | generation of a moving image with an own apparatus.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。   In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.

上述の実施形態では、画角の変化は、ユーザの明示的な行動を反映すべく撮影操作によって検出するように構成したがこれに限られず、例えば、被写体に変更がなく撮像装置1の位置に変更(被写体に近づけたり遠ざけたり、向きを変えたり等の変更)があった場合や被写体の位置が変更したりした場合に、撮像画像を解析して、画角の変化を検出するように構成してもよい。   In the above-described embodiment, the change in the angle of view is configured to be detected by the shooting operation to reflect the explicit action of the user. However, the present invention is not limited to this. Configured to detect changes in the angle of view by analyzing captured images when there is a change (changes such as approaching or moving away from the subject, changing the orientation, etc.) or when the subject position is changed. May be.

また、上述の実施形態では、被写体分を考慮せずに撮像装置1の画角の変化だけをトリガにして自動的にトリミングの対象としていたがこれに限られない。例えば、主要な被写体や指定した特定の被写体を検出して、当該被写体が含まれるようにトリミング枠や切り出し領域を設定するように構成することができる。
具体的には、所定の被写体像を検知する検知手段を更に備える。
また、トリミング処理部57は、検知手段によって検知された所定の被写体像が含まれているようにトリミングする。
これにより、撮像装置1においては、被写体を追いかけたようなタイムラプス動画を生成することができるため、変化に富んだタイムラプス動画を生成することができる。
In the embodiment described above, the trimming is automatically performed using only the change in the angle of view of the imaging apparatus 1 as a trigger without considering the subject, but the present invention is not limited thereto. For example, a main subject or a specified specific subject can be detected, and a trimming frame or a cutout region can be set so that the subject is included.
Specifically, it further includes detection means for detecting a predetermined subject image.
In addition, the trimming processing unit 57 performs trimming so that a predetermined subject image detected by the detection unit is included.
As a result, the imaging apparatus 1 can generate a time-lapse moving image that follows the subject, and thus can generate a time-lapse moving image rich in change.

また、上述の実施形態では、トリミングする撮像画像を、画角変化をさせた実時間を考慮して決定したがこれに限られない。例えば、タイムラプス動画全体の変化を考慮して、全体の変化が早い場合には早くしたりして決定してもよい。トリミングするサイズについても同様である。   In the above-described embodiment, the captured image to be trimmed is determined in consideration of the real time when the angle of view is changed. However, the present invention is not limited to this. For example, in consideration of a change in the entire time-lapse moving image, when the change in the whole is fast, the determination may be made earlier. The same applies to the size to be trimmed.

また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、タイムラプス動画生成機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the imaging apparatus 1 to which the present invention is applied has been described using a digital camera as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having a time-lapse moving image generation function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the imaging apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function is not particularly limited to the example of FIG.
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray Disc(ブルーレイディスク)(登録商標)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。   The recording medium including such a program is not only constituted by the removable medium 31 of FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but also in a state of being incorporated in the apparatus main body in advance. The recording medium etc. provided in The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disc is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray Disc (Blu-ray Disc) (registered trademark), and the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preliminarily incorporated in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which a program is recorded, the hard disk included in the storage unit 19 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像手段と、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段と、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段と、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なる第2の時間間隔で順次再生させる静止画を特定する特定手段と、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段と、
を備えたことを特徴とする画像処理装置。
[付記2]
検出手段は、当該装置に対しての画角を変化させる指示を検出する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記トリミング手段は、前記検出手段によって検出された前記画角の変化と更に前記第2の時間間隔に応じて、前記複数の静止画をトリミングする、
ことを特徴とする付記1又は2に記載の画像処理装置。
[付記4]
前記トリミング手段は、画角内を平行移動するような前記画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする付記1乃至3のいずれか1つに記載の画像処理装置。
[付記5]
前記トリミング手段は、前記画角の変化とは、枠の大きさ自体を変えるような画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする付記1乃至4のいずれか1つに記載の画像処理装置。
[付記6]
所定の被写体像を検知する検知手段を更に備え、
前記トリミング手段は、この検知手段によって検知された所定の被写体像が含まれているようにトリミングする、
ことを特徴とする付記1乃至5のいずれか1つに記載の画像処理装置。
[付記7]
動画を生成する動画生成手段を備える、
ことを特徴とする付記1乃至6のいずれか1つに記載の画像処理装置。
[付記8]
撮像手段を備える画像処理装置で実行される画像処理方法において、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御ステップと、
この撮像制御ステップによって撮像されている時に画角の変化を検出する検出ステップと、
前記撮像制御ステップによって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なる第2の時間間隔で順次再生させる静止画を特定する特定ステップと、
前記検出ステップによって検出された画角の変化に応じて、前記特定ステップによって特定された前記静止画をトリミングするトリミングステップと、
を含む備えたことを特徴とする画像処理方法。
[付記9]
撮像手段を備える画像処理装置を制御するコンピュータを、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なる第2の時間間隔で順次再生させる静止画を特定する特定手段、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Imaging means;
An imaging control means for controlling the imaging means to continuously take images at a first time interval;
Detecting means for detecting a change in the angle of view when being imaged by the imaging control means;
A specifying unit that specifies a still image to be sequentially played back at a second time interval different from the first time interval among a plurality of still images obtained as a result of imaging by the imaging control unit;
Trimming means for trimming the still image specified by the specifying means according to a change in the angle of view detected by the detecting means;
An image processing apparatus comprising:
[Appendix 2]
The detecting means detects an instruction to change the angle of view for the device.
The image processing apparatus according to appendix 1, wherein:
[Appendix 3]
The trimming means trims the plurality of still images according to the change in the angle of view detected by the detection means and the second time interval.
The image processing apparatus according to appendix 1 or 2, characterized in that:
[Appendix 4]
The trimming means trims the still image according to a change in the angle of view that translates within the angle of view;
The image processing apparatus according to any one of supplementary notes 1 to 3, wherein:
[Appendix 5]
The trimming means trims the still image according to a change in the angle of view that changes the size of the frame itself.
The image processing apparatus according to any one of appendices 1 to 4, characterized in that:
[Appendix 6]
It further comprises detection means for detecting a predetermined subject image,
The trimming means performs trimming so that a predetermined subject image detected by the detection means is included;
The image processing apparatus according to any one of supplementary notes 1 to 5, wherein:
[Appendix 7]
A moving image generating means for generating a moving image;
The image processing apparatus according to any one of supplementary notes 1 to 6, wherein:
[Appendix 8]
In an image processing method executed by an image processing apparatus including an imaging unit,
An imaging control step for controlling the imaging means so as to continuously capture images at a first time interval;
A detection step for detecting a change in the angle of view when the image is captured by the imaging control step;
A specifying step for specifying still images to be sequentially played back at a second time interval different from the first time interval among a plurality of still images obtained as a result of imaging by the imaging control step;
A trimming step of trimming the still image specified by the specifying step according to a change in the angle of view detected by the detecting step;
An image processing method comprising:
[Appendix 9]
A computer that controls an image processing apparatus including an imaging unit;
An imaging control unit that controls the imaging unit to continuously capture images at a first time interval.
Detection means for detecting a change in the angle of view when the image is being picked up by the image pickup control means;
A specifying unit that specifies a still image to be sequentially played back at a second time interval different from the first time interval among a plurality of still images obtained as a result of being imaged by the imaging control unit;
Trimming means for trimming the still image specified by the specifying means according to a change in the angle of view detected by the detecting means;
A program characterized by functioning as

1・・・撮像装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,51・・・撮影期間設定部,52・・・入力操作検出部,53・・・インターバル撮影制御部,54・・・画像取得部,55・・・動画条件設定部55・・・撮影操作特定部,57・・・トリミング処理部,58・・・タイムラプス動画生成部,71・・・撮像画像記憶部,72・・・タイムラプス動画記憶部   DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input-output interface, 16 ... Imaging part, 17 ... Input unit, 18 ... output unit, 19 ... storage unit, 20 ... communication unit, 21 ... drive, 31 ... removable media, 51 ... shooting period setting unit, 52 ... Input operation detection unit, 53 ... interval shooting control unit, 54 ... image acquisition unit, 55 ... moving image condition setting unit 55 ... shooting operation specifying unit, 57 ... trimming processing unit, 58 ... Time-lapse moving image generation unit, 71 ... captured image storage unit, 72 ... time-lapse moving image storage unit

Claims (8)

撮像手段と、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段と、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段と、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なり、且つ、外部操作に基づき任意に設定された第2の時間間隔で順次再生させる静止画を特定する特定手段と、
前記検出手段によって検出された画角の変化の速度を示す情報と、前記第2の時間間隔の長さとに応じて、前記特定手段によって特定された複数の前記静止画をトリミングするトリミング手段と、
を備えたことを特徴とする画像処理装置。
Imaging means;
An imaging control means for controlling the imaging means to continuously take images at a first time interval;
Detecting means for detecting a change in the angle of view when being imaged by the imaging control means;
Among a plurality of still images obtained as a result of being imaged by the imaging control means, still images that are sequentially reproduced at a second time interval that is different from the first time interval and arbitrarily set based on an external operation Identifying means for identifying
Trimming means for trimming the plurality of still images specified by the specifying means according to the information indicating the change speed of the angle of view detected by the detecting means and the length of the second time interval;
An image processing apparatus comprising:
検出手段は、当該画像処理装置に対しての画角を変化させる指示を検出する、
ことを特徴とする請求項1に記載の画像処理装置。
The detecting means detects an instruction to change the angle of view for the image processing apparatus.
The image processing apparatus according to claim 1.
前記トリミング手段は、画角内を平行移動するような前記画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする請求項1又は2に記載の画像処理装置。
The trimming means trims the still image according to a change in the angle of view that translates within the angle of view;
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記トリミング手段は、枠の大きさ自体を変えるような画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
The trimming means trims the still image according to a change in the angle of view that changes the size of the frame itself.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
所定の被写体像を検知する検知手段を更に備え、
前記トリミング手段は、この検知手段によって検知された所定の被写体像が含まれているようにトリミングする、
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
It further comprises detection means for detecting a predetermined subject image,
The trimming means performs trimming so that a predetermined subject image detected by the detection means is included;
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
動画を生成する動画生成手段を備える、
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
A moving image generating means for generating a moving image;
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
撮像手段を備える画像処理装置で実行される画像処理方法において、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御ステップと、
この撮像制御ステップによって撮像されている時に画角の変化を検出する検出ステップと、
前記撮像制御ステップによって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なり、且つ、外部操作に基づき任意に設定された第2の時間間隔で順次再生させる静止画を特定する特定ステップと、
前記検出ステップによって検出された画角の変化の速度を示す情報と、前記第2の時間間隔の長さとに応じて、前記特定ステップによって特定された複数の前記静止画をトリミングするトリミングステップと、
を含む備えたことを特徴とする画像処理方法。
In an image processing method executed by an image processing apparatus including an imaging unit,
An imaging control step for controlling the imaging means so as to continuously capture images at a first time interval;
A detection step for detecting a change in the angle of view when the image is captured by the imaging control step;
Among a plurality of still images obtained as a result of imaging in the imaging control step, still images that are sequentially reproduced at a second time interval that is different from the first time interval and arbitrarily set based on an external operation Specific steps to identify,
A trimming step of trimming the plurality of still images specified by the specifying step according to information indicating the change speed of the angle of view detected by the detecting step and the length of the second time interval;
An image processing method comprising:
撮像手段を備える画像処理装置を制御するコンピュータを、
この撮像手段に対し、第1の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第1の時間間隔とは異なり、且つ、外部操作に基づき任意に設定された第2の時間間隔で順次再生させる静止画を特定する特定手段、
前記検出手段によって検出された画角の変化の速度を示す情報と、前記第2の時間間隔の長さとに応じて、前記特定手段によって特定された複数の前記静止画をトリミングするトリミング手段、
として機能させることを特徴とするプログラム。
A computer that controls an image processing apparatus including an imaging unit;
An imaging control unit that controls the imaging unit to continuously capture images at a first time interval.
Detection means for detecting a change in the angle of view when the image is being picked up by the image pickup control means;
Among a plurality of still images obtained as a result of being imaged by the imaging control means, still images that are sequentially reproduced at a second time interval that is different from the first time interval and arbitrarily set based on an external operation Identification means to identify,
Trimming means for trimming the plurality of still images specified by the specifying means according to information indicating the change speed of the angle of view detected by the detecting means and the length of the second time interval;
A program characterized by functioning as
JP2013194535A 2013-09-19 2013-09-19 Image processing apparatus, image processing method, and program Active JP6427859B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013194535A JP6427859B2 (en) 2013-09-19 2013-09-19 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013194535A JP6427859B2 (en) 2013-09-19 2013-09-19 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2015061235A JP2015061235A (en) 2015-03-30
JP6427859B2 true JP6427859B2 (en) 2018-11-28

Family

ID=52818428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013194535A Active JP6427859B2 (en) 2013-09-19 2013-09-19 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP6427859B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6456750B2 (en) * 2015-03-30 2019-01-23 Hoya株式会社 Image processing device
CN114501071A (en) * 2020-10-27 2022-05-13 中国移动通信有限公司研究院 Video processing method, video playing method and equipment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184155A (en) * 1994-12-15 1995-07-21 Olympus Optical Co Ltd Information processing device
JP3450476B2 (en) * 1994-12-15 2003-09-22 オリンパス光学工業株式会社 Information handling equipment
JP2000050237A (en) * 1998-07-29 2000-02-18 Matsushita Electric Ind Co Ltd Video monitor system and video monitor method
JP4810485B2 (en) * 2007-03-29 2011-11-09 キヤノン株式会社 Image processing apparatus, image processing method, and computer program
JP5225187B2 (en) * 2009-04-22 2013-07-03 三洋電機株式会社 Video camera
JP2011066828A (en) * 2009-09-18 2011-03-31 Canon Inc Imaging device, imaging method and program
JP2012119804A (en) * 2010-11-30 2012-06-21 Canon Inc Image recorder
JP5876991B2 (en) * 2011-03-25 2016-03-02 オリンパス株式会社 Shooting equipment, shooting method and playback method
JP5664440B2 (en) * 2011-04-27 2015-02-04 株式会社ニコン Imaging device
JP5447619B2 (en) * 2011-11-08 2014-03-19 株式会社ニコン Imaging device

Also Published As

Publication number Publication date
JP2015061235A (en) 2015-03-30

Similar Documents

Publication Publication Date Title
JP5655667B2 (en) Imaging apparatus, imaging control method, image processing apparatus, image processing method, and program
JP5817858B2 (en) Image processing apparatus, image processing method, and program
JP5447619B2 (en) Imaging device
JP5713055B2 (en) Imaging apparatus, imaging method, and program
JP2008129554A (en) Imaging device and automatic focusing control method
US20140285649A1 (en) Image acquisition apparatus that stops acquisition of images
JP6056551B2 (en) Image processing program and digital camera
KR20120071972A (en) Digital image signal processing apparatus and method for controlling the same
JP5896181B2 (en) Imaging apparatus, imaging control method, and program
JP6427859B2 (en) Image processing apparatus, image processing method, and program
JP2015061236A (en) Image processing apparatus, image processing method and program
JP2015061234A (en) Image processing apparatus, image processing method and program
US20120219264A1 (en) Image processing device
JP2014149541A (en) Automatic focus device and automatic focusing method, and imaging device
JP5455485B2 (en) Imaging device
JP2017098635A (en) Imaging apparatus, image evaluation method, and program
JP6340785B2 (en) Movie processing apparatus, movie processing method, and program
JP6357922B2 (en) Image processing apparatus, image processing method, and program
JP2010263548A (en) Imaging apparatus, control method thereof and program
JP2015192336A (en) Image processing device and digital camera
JP5593652B2 (en) Camera and movie playback program
JP6742862B2 (en) Imaging device, image processing device, control method of imaging device, and program
JP6090485B2 (en) Imaging apparatus, imaging control method, and program
JP2014217008A (en) Image processing device, imaging device, and image processing program
JP2016058878A (en) Imaging apparatus, control method therefor, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R150 Certificate of patent or registration of utility model

Ref document number: 6427859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150