JP6229377B2 - Imaging system, imaging method and program - Google Patents
Imaging system, imaging method and program Download PDFInfo
- Publication number
- JP6229377B2 JP6229377B2 JP2013182304A JP2013182304A JP6229377B2 JP 6229377 B2 JP6229377 B2 JP 6229377B2 JP 2013182304 A JP2013182304 A JP 2013182304A JP 2013182304 A JP2013182304 A JP 2013182304A JP 6229377 B2 JP6229377 B2 JP 6229377B2
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- imaging
- imaging device
- specific subject
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影システム、撮影方法及びプログラムに関する。 The present invention relates to an imaging system, an imaging method, and a program.
従来より、複数の撮像装置で、被写体の移動に追従して撮像装置を切り換えて自動的に動画を撮影する撮影技術があった。
このような撮影技術においては、例えば、撮影範囲が異なるように配置された複数の撮像装置で移動する物体を継続的に撮影して得られた複数の動画データを用いる特許文献1に記載の技術がある。特許文献1に記載の技術においては、被写体の移動中の各タイミングについて、被写体が含まれる動画データを選択するとともに、この選択された動画データに基づいて画像を生成する処理を行い、各タイミングに対応して生成された複数の画像を撮影時間の順に連結することで、移動する被写体を継続的に撮影した1つの動画データを生成する技術が記載されている。
2. Description of the Related Art Conventionally, there has been a shooting technique in which a plurality of imaging devices automatically captures a moving image by switching the imaging device following the movement of a subject.
In such a photographing technique, for example, a technique described in
しかしながら、上述した特許文献1に記載の技術では、被写体の移動中の各タイミングにおいて選択される動画は1つであるが、全ての撮像装置で常に撮影を行っているために、不必要な撮影を行っている。
However, in the technique described in
本発明は、このような状況に鑑みてなされたものであり、複数の撮像装置で移動する被写体を継続的に撮影する場合において、不必要な撮影を行わないようにすることができる撮影システム、撮影方法及びプログラムを提供することができることを目的とする。 The present invention has been made in view of such a situation, and an imaging system capable of preventing unnecessary imaging when continuously imaging a moving object with a plurality of imaging devices, An object is to provide a photographing method and a program.
前記目的を達成するため、本発明の撮影システムの一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおいて、前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、前記特定の被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングと前記現撮像装置で撮影を終了する終了タイミングとを、前記開始タイミングから所定時間後に前記終了タイミングがくるように決定する決定手段と、前記決定手段によって決定された前記開始タイミングで撮影を開始するように前記次撮像装置に対して指示を行う撮影指示手段と、を備える、ことを特徴とする。
また、前記目的を達成するため、本発明の撮影システムの一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおいて、前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、前記特定の被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを決定する決定手段と、前記決定手段によって決定された前記開始タイミングで撮影を開始するように、且つ、撮影の引き継ぎに際して前記現撮像装置の撮影条件も引き継ぐように、前記次撮像装置に対して指示を行う撮影指示手段と、を備える、ことを特徴とする。
また、前記目的を達成するため、本発明の撮影システムの一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおいて、前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、前記特定の被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを、各前記撮像装置において前記特定の被写体の撮影毎に決定する決定手段と、前記決定手段によって決定された前記開始タイミングで撮影を開始するように前記次撮像装置に対して指示を行う撮影指示手段と、を備える、ことを特徴とする。
また、前記目的を達成するため、本発明の撮影方法の一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおける撮影方法であって、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングと前記現撮像装置で撮影を終了する終了タイミングとを、前記開始タイミングから所定時間後に前記終了タイミングがくるように決定する決定ステップと、前記決定ステップによって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、を含む、ことを特徴とする。
また、前記目的を達成するため、本発明の撮影方法の一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおける撮影方法であって、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを決定する決定ステップと、前記決定ステップによって決定された前記開始タイミングで撮影を開始するように、且つ、撮影の引き継ぎに際して前記現撮像装置の撮影条件も引き継ぐように、前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明の撮影方法の一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおける撮影方法であって、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを、各前記撮像装置において前記特定の被写体の撮影毎に決定する決定ステップと、前記決定ステップによって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、を含む、ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムを制御するコンピュータに、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングと前記現撮像装置で撮影を終了する終了タイミングとを、前記開始タイミングから所定時間後に前記終了タイミングがくるように決定する決定機能、前記決定機能によって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、を実行させる、ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムを制御するコンピュータに、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを決定する決定機能、前記決定機能によって決定された前記開始タイミングで撮影を開始するように、且つ、撮影の引き継ぎに際して前記現撮像装置の撮影条件も引き継ぐように、前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、を実行させる、ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムを制御するコンピュータに、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを、各前記撮像装置において前記特定の被写体の撮影毎に決定する決定機能、前記決定機能によって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、を実行させる、ことを特徴とする。
To achieve the pre-Symbol purpose, one aspect of the present onset Ming imaging systems in the imaging system for controlling the continuous shooting a specific subject using a plurality of imaging devices, the plurality of imaging devices, the specific subject is arranged a movement path of such mutually shooting range as the shooting range is different, a moving state of the specific subject in the imaging range of the current imaging device in imaging the specific subject, the photographing from the current imaging device take over the imaging range of the following imaging device, based on, and an end timing to end the photographing in the next imaging the current imaging device and start timing for starting the photographing in the apparatus, the end timing from the start timing after a predetermined time line determination means, instructing to the next image pickup device so as to start shooting at the start timing determined by the determination means for determining to come And a photographing instruction means, you characterized in that.
In order to achieve the above object, one aspect of the imaging system of the present invention is an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices, wherein the plurality of imaging devices are the specific subject. The moving path of the specific subject is arranged so that the shooting ranges are different from each other, and the moving state of the specific subject within the shooting range of the current imaging device that is shooting the specific subject, and shooting from the current imaging device is performed. Based on the imaging range of the next imaging device to be taken over, determining means for determining a start timing for starting imaging with the next imaging device, so as to start imaging at the start timing determined by the determining means, and A shooting instruction means for giving an instruction to the next imaging device so that the shooting conditions of the current imaging device are also taken over when taking over the shooting. To.
In order to achieve the above object, one aspect of the imaging system of the present invention is an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices, wherein the plurality of imaging devices are the specific subject. The moving path of the specific subject is arranged so that the shooting ranges are different from each other, and the moving state of the specific subject within the shooting range of the current imaging device that is shooting the specific subject, and shooting from the current imaging device is performed. Based on the shooting range of the succeeding next imaging device, the start timing for starting shooting with the next imaging device is determined by each of the imaging devices for each shooting of the specific subject, and determined by the determination unit Imaging instruction means for instructing the next imaging apparatus to start imaging at the started timing.
In order to achieve the above object, one aspect of the imaging method of the present invention is an imaging method in an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices, Based on the moving state of the specific subject within the shooting range of the current imaging device and the shooting range of the next imaging device that takes over shooting from the current imaging device, a start timing for starting shooting with the next imaging device; A determination step for determining an end timing for ending photographing with the current imaging device so that the end timing comes after a predetermined time from the start timing, and a start of photographing at the start timing determined by the determination step And an imaging instruction step for instructing the next imaging apparatus from the current imaging apparatus.
In order to achieve the above object, one aspect of the imaging method of the present invention is an imaging method in an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices, Based on the movement state of the specific subject within the shooting range of the current imaging device and the shooting range of the next imaging device that takes over shooting from the current imaging device, a start timing for starting shooting at the next imaging device is determined. A determination step to determine, and the next imaging from the current imaging device to start imaging at the start timing determined by the determination step, and so as to inherit the imaging conditions of the current imaging device when taking over the imaging A shooting instruction step for instructing the apparatus,
It is characterized by that.
In order to achieve the above object, one aspect of the imaging method of the present invention is an imaging method in an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices, Based on the movement state of the specific subject within the shooting range of the current imaging device and the shooting range of the next imaging device that takes over shooting from the current imaging device, a start timing for starting shooting at the next imaging device is determined. A determination step determined for each shooting of the specific subject in each imaging device, and an instruction from the current imaging device to the next imaging device to start shooting at the start timing determined by the determination step And a photographing instruction step for performing.
In order to achieve the above object, according to one aspect of the program of the present invention, a computer that controls a photographing system that controls continuous photographing of a specific subject by a plurality of imaging devices is used to capture a current image while photographing the subject. Based on the movement state of the specific subject within the shooting range of the device and the shooting range of the next imaging device that takes over shooting from the current imaging device, the start timing for starting shooting at the next imaging device and the current A determination function for determining an end timing for ending photographing with the imaging device so that the end timing comes after a predetermined time from the start timing, and the current timing so as to start photographing at the start timing determined by the determination function. An imaging instruction function for instructing the next imaging apparatus from the imaging apparatus is executed.
In order to achieve the above object, according to one aspect of the program of the present invention, a computer that controls a photographing system that controls continuous photographing of a specific subject by a plurality of imaging devices is used to capture a current image while photographing the subject. Based on the movement state of the specific subject within the shooting range of the apparatus and the shooting range of the next imaging device that takes over the shooting from the current imaging device, a start timing for starting shooting at the next imaging device is determined. A determination function, from the current imaging device to the next imaging device so as to start shooting at the start timing determined by the determination function and so as to take over the shooting conditions of the current imaging device when taking over shooting A shooting instruction function for giving instructions.
In order to achieve the above object, according to one aspect of the program of the present invention, a computer that controls a photographing system that controls continuous photographing of a specific subject by a plurality of imaging devices is used to capture a current image while photographing the subject. Based on the movement state of the specific subject within the shooting range of the device and the shooting range of the next imaging device that takes over the shooting from the current imaging device, the start timing for starting shooting with the next imaging device is A shooting function for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determination function, a determination function determined for each shooting of the specific subject in the imaging device An instruction function is executed.
本発明によれば、複数の撮像装置で移動する被写体を継続的に撮影する場合において、不必要な撮影を行わないようにすることができる。 According to the present invention, it is possible to prevent unnecessary shooting from being performed when continuously shooting a moving object with a plurality of imaging devices.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明の一実施形態に係る被写体追従動画生成システムは、所定の位置に設置された複数の撮像装置で、各撮像装置における画角内を移動する被写体(以下、「特定被写体」という。)が撮影された動画(以下、「撮影動画」という。)を用いて、特定被写体が常に所定位置(本実施形態においては、動画の中心位置)に所定サイズ(例えば、特定被写体の全体を含み、かつ特定被写体の周囲に所定の余白を設けられるサイズ)で存在する動画(以下、「被写体追従動画」という。)データを生成する。被写体追従動画は、特定被写体が常に動画の中心に映し出されており、背景等の特定被写体以外の被写体が移動して見えるような動画、即ち、特定被写体と共に移動するような動画となる。 The subject tracking video generation system according to an embodiment of the present invention includes a plurality of imaging devices installed at predetermined positions, and subjects (hereinafter referred to as “specific subjects”) that move within the angle of view of each imaging device. Using a captured moving image (hereinafter referred to as “captured moving image”), the specific subject always has a predetermined size (for example, including the entire specific subject) at a predetermined position (in this embodiment, the center position of the moving image), and Moving image data (hereinafter referred to as “subject tracking moving image”) data having a predetermined margin around a specific subject is generated. The subject tracking moving image is a moving image in which a specific subject is always projected at the center of the moving image and a subject other than the specific subject such as a background appears to move, that is, a moving image that moves with the specific subject.
<第1の実施形態>
図1は、本発明の一実施形態に係る被写体追従動画生成システムのシステム構成を示すシステム構成図である。なお、本例では、所定の区間を走るランナーphを撮影対象(特定被写体)とした動画を撮影し、ランナーphが動画の中心に位置して背景が移動と共に変化するような、あたかもランナーphと併走しているような動画を生成する例について説明する。
<First Embodiment>
FIG. 1 is a system configuration diagram showing a system configuration of a subject tracking video generation system according to an embodiment of the present invention. In this example, a video is taken with a runner ph running in a predetermined section as a subject to be photographed (specific subject), and the runner ph is positioned at the center of the video and the background changes as it moves. An example of generating a moving image that is running concurrently will be described.
被写体追従動画生成システムSでは、図1に示すように、ネットワークnを介して互いに通信可能な複数の撮像装置1A乃至1Nと、ネットワークnを介して撮像装置1と通信可能な表示装置2と、を備える。
In the subject tracking video generation system S, as shown in FIG. 1, a plurality of
撮像装置1では、撮影した撮影動画からフレーム画像を切り出し加工して、特定被写体が中心に位置する被写体追従動画を構成するフレーム画像(以下、「構成フレーム画像」という)を生成する。撮像装置1では、生成したフレーム画像を表示装置2に送信する。
The
また、撮像装置1A乃至1Nは、ランナーphの移動経路である移動経路MDに並行し、互いに異なる撮影範囲となり、画角の一部がオーバーラップするように配置される。詳細には、撮像装置1Aは、例えば、ランナーphが走り出していないスタート位置においてランナーphが画角の中心にくる位置に配置される。その他の撮像装置1B乃至撮像装置1Nは、移動経路MDで、各撮像装置1B乃至1Nの画角の中心位置からランナーphがずれた場合に隣り合う撮像装置1が互いにランナーphを中心位置とする画角をカバーできる位置に配置される。撮像装置1A乃至1Nは、特に個別に説明しない場合には、単に撮像装置1とする。
In addition, the
表示装置2においては、ランナーphの移動、又はユーザの撮影開始の指示操作で撮影が開始されて、各撮像装置1A乃至1Nで撮影された撮影動画から、構成フレーム画像を取得して再生表示を行う。
即ち、表示装置2では、撮像装置1から送信された構成フレーム画像に基づいて、構成フレーム画像を撮影時間順に時系列に表示される被写体追従動画の再生表示を行う。
In the display device 2, shooting is started by the movement of the runner ph or the user's shooting start instruction operation, and the constituent frame images are acquired from the captured moving images shot by the
That is, the display device 2 performs reproduction display of the subject tracking moving image in which the configuration frame images are displayed in time series in the order of the shooting time based on the configuration frame image transmitted from the
このようにして、被写体追従動画生成システムSにおいては、常に動画の中央に特定被写体である移動する物体が中央に所定のサイズで位置する被写体追従動画を取得することができる機能を有する。これにより、ユーザは、撮影対象であるランナーphと併走しているような感覚で動画を楽しむことができる。 In this way, the subject tracking moving image generation system S has a function that can always acquire a subject tracking moving image in which a moving object that is a specific subject is located at the center of the moving image with a predetermined size. Thereby, the user can enjoy a moving image as if he / she is running with the runner ph that is the subject of photographing.
図2は、このような被写体追従動画生成システムSを構成する撮像装置1のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
FIG. 2 is a block diagram illustrating a hardware configuration of the
The
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、位置センサ17と、入力部18と、出力部19と、記憶部20と、通信部21と、ドライブ22と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
The
RAM13には、CPU11が各種の処理を実行する際において必要なデータ等も適宜記憶される。
The
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、位置センサ17、入力部18、出力部19、記憶部20、通信部21及びドライブ22が接続されている。
The
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
また、撮像部16は、撮像画像を、動画を構成するフレーム画像として出力する。結果、撮像制御装置3及び撮像装置1では、フレーム画像を撮影時間順に時系列で連結して、動画を取得する。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Hereinafter, the output signal of the
In addition, the
位置センサ17は、GPS(Global Positioning System)等を利用して、撮影する位置、向き、画角等の撮影範囲の情報を取得可能に装置の位置を検出する。位置センサ17から位置の情報を取得した装置は、装置に関するデータから画角の範囲を特定する。
The
入力部18は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部19は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部20は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部21は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The
The
The
The
ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ22によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部20にインストールされる。また、リムーバブルメディア31は、記憶部20に記憶されている画像のデータ等の各種データも、記憶部20と同様に記憶することができる。
A removable medium 31 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the
次に、このような撮像装置1の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成について説明する。
「被写体追従動画生成処理」とは、複数の撮像装置1において、移動する撮影対象である特定被写体を含む撮影動画を撮影し、当該撮影動画を構成するフレーム画像に基づいて、構成フレーム画像を取得して、当該取得した構成フレーム画像を撮影時間順に時系列で連結することで被写体追従動画を生成するまでの処理である。
Next, a functional configuration for executing the subject tracking moving image generation process among the functional configurations of the
“Subject tracking moving image generation processing” refers to shooting a moving image including a specific subject that is a moving shooting target in a plurality of
本例では、撮像装置1は、画角の中央に撮影対象となる特定被写体が位置した状態を撮影した場合には、当該特定被写体の撮影を行っている1台の撮像装置1から該当するフレーム画像が送信されるように構成される。また、画角の中央に撮影対象となる特定被写体が位置していない状態(中央に向かっている状態か、中央から遠ざかる状態)を撮影した場合には、当該特定被写体の撮影を行っている隣り合う2台の撮像装置1からフレーム画像が送信されるように構成される。即ち、撮像装置1は、いずれかの撮像装置1で画角の中央に特定被写体が位置している場合には、1台の撮像装置1のみで特定被写体が映り込むように配置される。また、撮像装置1は、いずれかの撮像装置1で画角の中央から外れた位置に特定被写体が位置している場合には、中央付近で特定被写体を捉えている撮像装置1と、外れた方向に位置する撮像装置1の2台で特定被写体が映り込むように配置される。
In this example, when the
図3は、図2の撮像装置1の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。
FIG. 3 is a functional block diagram illustrating a functional configuration for executing subject tracking moving image generation processing among the functional configurations of the
被写体追従動画生成処理を実行する場合には、撮像装置1のCPU11において、撮像範囲情報取得部51と、撮像装置特定部52と、通信制御部53と、撮像制御部54と、被写体検出部55と、画像加工部56と、移動速度判定部57と、撮影待機時間予測部58と、遅延時間特定部59と、撮影指示部60と、が機能する。
記憶部20の一領域には、画像記憶部71が設けられる。
画像記憶部71には、構成フレーム画像等の各種画像のデータが記憶される。
When the subject tracking moving image generation process is executed, the
An
The
撮像範囲情報取得部51は、位置センサ17から自己の撮影する位置・方向・画角等の情報(以下、「撮影範囲情報」という。)を取得し、他の撮像装置1の位置センサ17で取得した他の撮像装置1の撮影範囲情報を、通信部21を介して取得する。
The imaging range
撮像装置特定部52は、撮像範囲情報取得部51により取得した撮影範囲情報に基づいて、撮影を行う撮影順が次の隣にある撮像装置1(以下、「次撮像装置1」という)を特定する。
Based on the shooting range information acquired by the imaging range
通信制御部53は、通信部21を介して他の撮像装置1から撮影開始の指示があったか否かを判定する。
また、通信制御部53は、画像加工部56によって生成された構成フレーム画像を表示装置2に送信する。
The
In addition, the
撮像制御部54は、ユーザからの入力部18への撮像開始・終了操作や他の撮像装置1から撮影開始・終了の指示に基づいて、撮像を開始・終了するように撮像部16を制御する。
The
被写体検出部55は、撮像した撮影動画に含まれる被写体を検出する。また、被写体検出部55は、検出した特定被写体に撮影対象が含まれるか否かを判定する。
The
画像加工部56は、特定被写体が存在する現在の撮影画像から特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。
The
画像加工部56は、取得した撮影画像から特定被写体が中央に位置するように所定サイズの部分画像領域である被写体包含領域(以下、単に「画像領域」という。)を切り出す加工を行う。その結果、画像加工部56は、被写体追従動画を構成する構成フレーム画像を生成する。
The
ここで、画像加工部56での切り出し加工による構成フレーム画像の生成の詳細について説明する。
構成フレーム画像は、フレーム画像で所定のサイズで中央に特定被写体が位置している場合には、そのまま所定サイズの画像領域を切り出す切り出し加工によって生成される。
これに対して、フレーム画像の中央に特定被写体が位置していない場合や、所定サイズで中央に特定被写体が位置する画像が得られない場合には、他の撮像装置1で撮影された複数のフレーム画像から不足分を互いに補うように、各フレーム画像から対応する画像領域を切り出して、その後切り出した画像(以下、「切り出し画像」という。)を貼り合わせて、1枚の構成フレーム画像を生成する。また、他の撮像装置1で撮影された複数のフレーム画像から不足分を互いに補うフレーム画像を合成して、所定サイズ内に中央に特定被写体が位置するように合成した画像(以下、「合成画像」という。)から該当する画像領域を切り出して、1枚の構成フレーム画像を生成する。
即ち、構成フレーム画像は、画像から所定の画像領域を切り出して、各画像を合成するか、或いは、各画像を合成して、該当する画像領域を切り出すかする切り出し加工を行って生成される。
Here, details of generation of a configuration frame image by cutout processing in the
The component frame image is generated by a cut-out process that cuts out an image area of a predetermined size as it is when the specific subject is located at the center with a predetermined size in the frame image.
On the other hand, when the specific subject is not located at the center of the frame image, or when an image with the specific subject located at the center with a predetermined size cannot be obtained, a plurality of images captured by
That is, the constituent frame image is generated by cutting out a predetermined image area from the image and combining the images, or by combining the images and cutting out the corresponding image area.
図4は、切り出し加工による構成フレーム画像の生成例を示す模式図である。
具体的には、図4の例では、第1のフレーム画像においては、そのまま所定サイズで切り出すことでは構成フレーム画像を生成することができない場合について説明する。
FIG. 4 is a schematic diagram illustrating an example of generation of a configuration frame image by cutout processing.
Specifically, in the example of FIG. 4, a case will be described in which a configuration frame image cannot be generated by cutting out the first frame image as it is with a predetermined size.
図4(a)の第1の例に示すように、第1のフレーム画像p1においては、特定被写体であるランナーphが右端に位置しており、特定被写体であるランナーphが中央に位置した所定のサイズの画像領域を切り出すことができない。そこで、中央から離れた側の撮像装置1で取得された第2のフレーム画像p2を用いる。第2のフレーム画像p2では、特定被写体であるランナーphは画像の左端に位置しており、特定被写体であるランナーphを含む近傍の領域が第1のフレーム画像p1と重複する。
第1の例では、第1のフレーム画像p1と第2のフレーム画像p2の重複した領域(図中ハッチングで示した領域)を重ねて合成した画像p3を生成する。その後、第1の例では、所定のサイズで特定被写体であるランナーphが画像の中央に位置する画像領域を切り出して、構成フレーム画像p4を生成する。
As shown in the first example of FIG. 4A, in the first frame image p1, the runner ph that is the specific subject is located at the right end, and the runner ph that is the specific subject is located at the center. An image area of the size cannot be cut out. Therefore, the second frame image p2 acquired by the
In the first example, an image p3 is generated by superimposing overlapping regions (regions indicated by hatching in the figure) of the first frame image p1 and the second frame image p2. Thereafter, in the first example, the runner ph, which is a specific subject with a predetermined size, cuts out an image area located at the center of the image, and generates the constituent frame image p4.
これに対して、図4(b)の第2の例では、第1の例とは異なり、まず、第1のフレーム画像p1から特定被写体であるランナーphを含む領域で特定被写体であるランナーphを中心に所定サイズの半分の幅となるような領域と第2のフレーム画像p2と重複する領域(図中ハッチングで示した領域)を含んだ画像領域を切り出して第1の切り出し画像p5−1を生成する。第2のフレーム画像p2においても、第1のフレーム画像p1と同様に、特定被写体であるランナーphを含む画像領域で特定被写体であるランナーphを中心に所定サイズの半分の幅となるような領域と第1のフレーム画像p1と重複する領域(図中ハッチングで示した領域)を含んだ画像領域を切り出して第2の切り出し画像p5−2を生成する。その後、第1の切り出し画像p5−1と第2の切り出し画像p5−2とを重複する領域で合成して、構成フレーム画像p4を生成する。
なお、本実施形態においては、第1の例の手法で、構成フレーム画像p4を生成する。
On the other hand, in the second example of FIG. 4B, unlike the first example, first, the runner ph that is the specific subject in the region including the runner ph that is the specific subject from the first frame image p1. The first cutout image p5-1 is cut out by cutting out an image area that includes an area that is half the width of the predetermined size centered on and an area that overlaps the second frame image p2 (area indicated by hatching in the figure). Is generated. Similarly to the first frame image p1, the second frame image p2 is an image region that includes the runner ph that is the specific subject, and is an area that is half the predetermined size with the runner ph that is the specific subject as the center. A second cutout image p5-2 is generated by cutting out an image area including an area overlapping with the first frame image p1 (area indicated by hatching in the figure). Thereafter, the first cutout image p5-1 and the second cutout image p5-2 are combined in an overlapping region to generate a configuration frame image p4.
In the present embodiment, the configuration frame image p4 is generated by the technique of the first example.
移動速度判定部57は、特定被写体の移動速度を判定する。具体的には、移動速度判定部57は、例えば、撮影された動画を解析して、各フレーム画像の差分から特定被写体の移動速度を判定する。
The moving
撮影待機時間予測部58は、次撮像装置1で被写体追従動画に寄与する画像領域を切り出せるまでの待機時間、即ち、次撮像装置1の撮影開始までの待機時間(以下、「撮影開始待機時間」という。)を算出する。
また、撮影待機時間予測部58は、現撮像装置1が被写体追従動画に寄与する画像領域を切り出せなくなるまでの待機時間、即ち、現撮像装置1の撮影終了までの待機時間(以下、「撮影終了待機時間」という。)を算出する。
The shooting standby
In addition, the shooting standby
次撮像装置1の撮影開始待機時間は、例えば、移動速度から予想される特定被写体の原位置から次撮影装置1の撮影範囲のうち撮影を開始する開始端への到達時間で算出される。
即ち、撮影開始待機時間は、「次撮像装置1の撮影開始待機時間=特定被写体の原位置から次撮像装置1の撮影範囲の開始端までの距離/特定被写体の移動速度」で算出可能となる。
ここで、特定被写体の原位置は、例えば、撮像装置1において位置センサ17から取得した位置情報と、特定被写体との距離から絶対位置として割り出すことができる。また、撮影範囲は、例えば、撮像装置1において位置センサ17から取得した位置情報と、特定被写体の移動予定のルートから特定される特定被写体との距離から開始端から終了端までの範囲の絶対位置を割り出すことができる。
なお、撮影開始待機時間は、現撮像装置1の撮影範囲の終了端から次撮像装置1とのオーバーラップ分を差し引いて算出することもできる。
The imaging start standby time of the
That is, the imaging start standby time can be calculated by “the imaging start standby time of the
Here, the original position of the specific subject can be determined as an absolute position from, for example, the position information acquired from the
Note that the imaging start standby time can also be calculated by subtracting the overlap with the
現撮像装置1の撮影終了待機時間は、移動速度から予想される特定被写体の原位置から現撮影装置1の撮影範囲のうち撮影を開始する終了端への到達時間で算出される。
即ち、撮影終了待機時間は、「現撮像装置1の撮影終了待機時間=特定被写体の原位置から現撮像装置1の撮影範囲の終了端までの距離/特定被写体の移動速度」で算出可能となる。
The shooting completion waiting time of the
That is, the shooting end standby time can be calculated by “the shooting end standby time of the
遅延時間特定部59は、次撮像装置1との通信や次撮像装置1の性能等からくる撮影指示から撮影までの動作時間を考慮して、次撮像装置1への撮影の切り換えに要する時間(以下「遅延時間」という。)を特定する。
撮影を開始する時間に遅延時間を加味して、撮影の指示を行うことで、指示を受けた撮像装置1では、撮影のための準備期間が設けられるために、機器の調整等を行うことができ安定した状態で撮影を行うことができる。
The delay
By giving a shooting instruction with a delay time added to the time to start shooting, the
撮影指示部60は、撮影待機時間(撮影終了待機時間及び撮影開始待機時間)と遅延時間に基づいて、次撮像装置1への撮影開始の指示を行う。また、撮影指示部60は、待機時間に基づいて、現撮像装置1への撮影終了の指示を行う。また、撮影指示部60は、撮影の開始や終了の指示の際、撮影条件も含める。
The
なお、本実施形態においては、撮像装置1において、構成フレーム画像を生成して、表示装置2に送信して、表示装置2では、構成フレーム画像を時系列に表示することにより被写体追従動画を表示出力するように構成したがこれに限られない。撮像装置1においては、被写体追従動画を生成して表示装置2に送信するように構成してもよいし、撮像画像、切り出し画像、合成画像等の状態で表示装置2に送信して、表示装置2で切り出し加工を行って構成フレーム画像を生成するように構成してもよい。
In the present embodiment, the
図5は、図3の機能的構成を有する図2の撮像装置1が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
FIG. 5 is a flowchart for explaining the flow of subject tracking moving image generation processing executed by the
ステップS11において、撮像範囲情報取得部51は、自己及び他の撮像装置1の撮影する位置、方向、画角等の撮影範囲情報を取得する。
In step S <b> 11, the imaging range
ステップS12において、撮像装置特定部52は、取得した撮影範囲情報に基づいて次撮像装置1を特定する。
In step S12, the imaging
ステップS13において、通信制御部53は、ユーザ又は他の撮像装置1から撮影開始が指示されたか否かを判定する。
ユーザ又は他の撮像装置1から撮影開始が指示されない場合には、ステップS13においてNOと判定されて、待機状態となる。
ユーザ又は他の撮像装置1から撮影開始が指示された場合には、ステップS13においてYESと判定されて、処理はステップS14に進む。
In step S <b> 13, the
If the user or another
If the user or another
ステップS14において、撮像制御部54は、撮影を開始するように撮像部16を制御する。
In step S14, the
ステップS15において、被写体検出部55は、撮影フレーム内の被写体を検出する。
In step S15, the
ステップS16において、被写体検出部55は、特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップS16においてNOと判定されて、待機状態となる。
特定被写体が存在する場合には、ステップS16においてYESと判定されて、処理はステップS17に進む。
In step S <b> 16, the
If the specific subject does not exist, NO is determined in step S16 and a standby state is entered.
When the specific subject exists, it is determined as YES in Step S16, and the process proceeds to Step S17.
ステップS17において、画像加工部56は、現在の撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。
In step S <b> 17, the
ステップS18において、通信制御部53は、構成フレーム画像を表示装置2に転送する。
In step S <b> 18, the
ステップS19において、移動速度判定部57は、被写体の移動速度を判定する。
In step S19, the movement
ステップS20において、撮影待機時間予測部58は、次撮像装置1の撮影開始待機時間及び現撮像装置1の撮影終了待機時間を算出する。
In step S <b> 20, the shooting standby
ステップS21において、遅延時間特定部59は、次の撮像装置1への撮影切り換えに要する遅延時間を特定する。
In step S <b> 21, the delay
ステップS22において、撮影指示部60は、次撮像装置1の撮影開始待機時間と遅延時間が同じ(撮影開始待機時間=遅延時間)か否かを判定する。
次撮像装置1の撮影開始待機時間よりも遅延時間が短い場合には、ステップS22においてNOと判定されて、待機状態となる。
次撮像装置1の撮影開始待機時間と遅延時間が同じになった場合には、ステップS22においてYESと判定されて、処理はステップS23に進む。
In step S22, the photographing
If the delay time is shorter than the imaging start standby time of the
If the shooting start standby time and the delay time of the
ステップS23において、撮影指示部60は、次撮像装置1へ撮影開始を指示する。撮影指示部60は、当該撮影開始の指示と共に、撮影条件等の情報も指示する。
In step S23, the
ステップS24において、撮影指示部60は、現撮像装置1の撮影終了待機時間が0(次撮像装置1の撮影開始待機時間=0)か否かを判定する。
次撮像装置1の撮影終了開始時間が0でない場合には、ステップS24においてNOと判定されて、処理はステップS15に戻る。
次撮像装置1の撮影開始待機時間が0の場合には、ステップS24においてYESと判定されて、処理はステップS25に進む。
In step S24, the
If the shooting end start time of the
If the imaging start standby time of the
ステップS25において、撮影指示部60は、撮影を終了する指示を現撮像装置1に対して行う。その後、被写体追従動画生成処理を終了する。
In step S <b> 25, the
以上のように構成される被写体追従動画生成システムSは、特定被写体の継続的な撮影を制御する。
複数の撮像装置1は、特定被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置される。
また、被写体追従動画生成システムSは、撮影指示部60を備える。
撮影指示部60は、特定被写体を撮影中の現撮像装置1の撮影範囲内での特定被写体の移動状態と、当該現撮像装置1から撮影を引き継ぐ次撮像装置1の撮影範囲とに基づいて、当該現撮像装置1から当該次撮像装置1へ撮影を開始する開始タイミングを決定する。
また、撮影指示部60は、決定された開始タイミングで撮影を開始するように現撮像装置1から次撮像装置1に対して指示を行う。
これにより、被写体追従動画生成システムSにおいては、特定被写体の移動状況と次撮影装置の撮影範囲とに基づいて、現撮像装置1から当該次撮像装置1への撮影の切り換えのタイミングを決定するため、特定被写体を確実に捉えた撮影を行うことができ、また、移動する被写体を継続的に撮影する場合において、不必要な撮影を行わないようにすることができる。
The subject tracking video generation system S configured as described above controls continuous shooting of a specific subject.
The plurality of
The subject tracking moving image generation system S includes a
The
Further, the
Thereby, in the subject tracking moving image generating system S, in order to determine the timing of switching the shooting from the
撮影指示部60は、被写体を撮影中の現撮像装置の撮影範囲内での特定の被写体の移動状態と、当該現撮像装置の撮影範囲と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該現撮像装置の撮影を終了する終了タイミングと、当該次撮像装置で撮影を開始する開始タイミングを決定する。
また、撮影指示部60は、決定された終了タイミングで現撮像装置の撮影を終了し、決定された開始タイミングで次撮像装置の撮影を開始するように指示を行う。
The
In addition, the
撮影指示部60は、特定被写体の移動速度と、原位置から次撮像装置1の撮影範囲への到達位置までの時間に基づいて、開始タイミングを決定する。
これにより、被写体追従動画生成システムSにおいては、開始タイミングの決定に特定被写体が次撮像装置1の撮影範囲へ到達する時間に基づいて、開始タイミングを決定するために、より精度の高い撮影の切換タイミングの決定を行うことができる。
The
Thereby, in the subject tracking moving image generating system S, since the start timing is determined based on the time when the specific subject reaches the shooting range of the
撮影指示部60は、特定被写体の移動速度と、原位置から次撮像装置1の撮影範囲への到達位置までの時間を算出することで開始タイミングを決定する。
これにより、被写体追従動画生成システムSにおいては、特定被写体が次撮像装置1の撮影範囲に入り込む時間を算出するために、撮影範囲に入り込む時間に基づけば、確実に次撮像装置1における撮影を行うことができる。
The
Thereby, in the subject tracking moving image generation system S, in order to calculate the time for the specific subject to enter the shooting range of the
また、被写体追従動画生成システムSは、遅延時間特定部59を備える。
遅延時間特定部59は、開始タイミングの情報を現撮像装置1から次撮像装置1へ送信してから当該次撮像装置1が撮影を開始できるまでの遅延時間を特定する。
撮影指示部60は、開始タイミングに対して遅延時間よりも前のタイミングで、開始タイミングの情報を送信することで撮影の指示を行う。
これにより、被写体追従動画生成システムSにおいては、次撮影装置における撮影準備に要する時間を考慮して、撮影の指示を行うため、次撮影装置は安定した状態で撮影を確実に行うことができる。
In addition, the subject tracking moving image generation system S includes a delay
The delay
The
Thus, in the subject tracking moving image generation system S, the shooting instruction is given in consideration of the time required for shooting preparation in the next shooting apparatus, so that the next shooting apparatus can reliably perform shooting in a stable state.
撮影指示部60は、次撮像装置1に対して撮影を開始させる指示信号を送信することにより、開始タイミングの情報の送信を行い、次撮像装置1に撮影を開始させるタイミングに対して、遅延時間よりも前のタイミングで指示信号を送信する。
これにより、被写体追従動画生成システムSにおいては、次撮像装置1に対して撮影を開始させる指示信号を、遅延時間よりも前のタイミングで送信するために、次撮影装置は安定した状態で撮影を確実に行うことができる。
The
As a result, in the subject tracking moving image generation system S, the next imaging device performs imaging in a stable state in order to transmit an instruction signal for starting imaging to the
撮影指示部60は、撮影の引き継ぎに際して、現撮像装置1の撮影条件も引き継ぐ指示も送信する。
これにより、被写体追従動画生成システムSにおいては、直近の撮像装置1における撮影条件を引き継いで撮影を行うために、好適な撮影条件を反映させた撮影を行うことができる。
The
Thereby, in the subject tracking moving image generating system S, it is possible to perform shooting that reflects suitable shooting conditions in order to perform shooting while taking over the shooting conditions in the
開始タイミングの決定は、各撮像装置1において特定被写体の撮影毎に行う。
これにより、被写体追従動画生成システムSにおいては、特定被写体の移動速度が変化しても直近の移動状態に基づいて、撮影のタイミングを決定できるために、確実に次撮像装置1おける撮影に特定被写体を含めることができる。
The start timing is determined each time a specific subject is shot in each
As a result, in the subject tracking video generation system S, the shooting timing can be determined based on the most recent movement state even if the moving speed of the specific subject changes. Can be included.
<第2の実施形態>
第1の実施形態では、専用の撮像制御装置を用いずに、各撮像装置が相互に通信して撮像を行う撮像装置を決定して、動画の生成に寄与する撮像装置だけを順次切り換えて撮像させるように構成した。
これに対して、本実施形態では、専用の撮像制御装置が撮像装置の撮像を順次切り換え、撮像装置1で生成した切り出し画像を切り出し加工して連結して、被写体追従動画を生成するように構成する。また、本実施形態では、撮像装置での撮像に際しては、撮像制御装置3が撮影の不要な時期を見極めて、被写体追従動画の生成に寄与する撮像装置だけを順次切り換えて撮像をさせるように構成する。
なお、第2の実施形態の説明では、撮像制御装置3のハードウェア構成は第1の実施形態の撮像装置1と同様のため説明は省略する。また、その他の第1の実施形態と同様の構成についても説明を省略する。
<Second Embodiment>
In the first embodiment, without using a dedicated imaging control device, each imaging device communicates with each other to determine an imaging device that performs imaging, and sequentially switches only imaging devices that contribute to the generation of moving images. It was configured to make it.
On the other hand, in the present embodiment, the dedicated imaging control device sequentially switches the imaging of the imaging device, and the clipped image generated by the
In the description of the second embodiment, the hardware configuration of the
本実施形態において、撮像制御装置は、撮像装置の親機としての位置付けであり、撮像装置は撮像制御装置の子機の位置付けとなる。また、撮像制御装置3は、説明の関係上、撮像機能を備える構成としたが、撮像機能を備えないで構成してもよく、少なくとも、撮像装置との通信機能及び撮像装置から取得した画像を処理する機能を有していればよい。
In the present embodiment, the imaging control device is positioned as a master unit of the imaging device, and the imaging device is positioned as a slave unit of the imaging control device. The
図6は、第2の実施形態における被写体追従動画生成システムのシステム構成を示すシステム構成図である。 FIG. 6 is a system configuration diagram illustrating a system configuration of the subject tracking moving image generation system according to the second embodiment.
被写体追従動画生成システムSは、図6に示すように、撮像制御装置3と、複数の撮像装置1A乃至1Nと、で構成される。
As shown in FIG. 6, the subject tracking video generation system S includes an
撮像制御装置3は、各撮像装置1A乃至1Nと互いに通信可能に構成される。
撮像制御装置3では、各撮像装置1A乃至1Nから送信される動画から抽出されたフレーム画像を用いて、被写体追従動画のデータを生成する。
The
The
また、撮像装置1A乃至1Nは、ランナーphの移動経路MDに並行し、互いに異なる撮影範囲となり、画角の一部がオーバーラップするように配置される。詳細には、撮像装置1Aは、ランナーphが走り出していないスタート位置においてランナーphが画角の中心位置に配置される。その他の撮像装置1B乃至撮像装置1Nは、移動経路MDで、各撮像装置1B乃至1Nの画角の中心位置からランナーphがずれた場合に隣り合う撮像装置1が互いにランナーphを中心位置とする画角をカバーできる位置に配置される。
In addition, the
撮像装置1A乃至1Nにおいては、ランナーphの移動、又はユーザの撮影開始の指示操作で撮影が開始されて、各撮像装置1A乃至1Nで撮影された撮影動画から、構成フレーム画像を取得する。
被写体追従動画生成システムSでは、構成フレーム画像を撮影時間順に時系列に連結して、被写体追従動画を生成することになる。
In the
In the subject tracking moving image generation system S, the subject tracking moving image is generated by connecting the constituent frame images in time series in order of shooting time.
図7は、このような撮像制御装置3及び撮像装置1の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。なお、以下において、ハードウェアにおいて撮像制御装置3と撮像装置1とで記載を分ける場合には、撮像制御装置3のハードウェアを示すものには、符号に「−3」を付し、撮像装置1のハードウェアを示すものには、符号に「−1」を付す。
FIG. 7 is a functional block diagram illustrating a functional configuration for executing subject tracking moving image generation processing among the functional configurations of the
第2の実施形態における被写体追従動画生成処理を実行する場合には、撮像制御装置3のCPU11−3において、撮影指示部101と、撮影状況取得部102と、画像取得部103と、画像判定部104と、画像加工部105と、動画生成部106と、が機能する。
When the subject tracking moving image generation process in the second embodiment is executed, in the CPU 11-3 of the
また、撮像制御装置3の記憶部20−3の一領域には、画像記憶部120が設けられる。
画像記憶部120には、撮像画像等の各種画像データや撮影動画や被写体追従動画等の各種動画データが記憶される。
In addition, an
The
撮影指示部101は、通信部21−3を介して、各撮像装置1に対して、撮影の開始や終了の指示を行う。撮影指示部101は、撮影の開始や終了の指示の際、撮影条件も含める。
The
撮影状況取得部102は、各撮像装置1から通信部21−3を介して、現在の特定被写体の撮影状況を取得する。即ち、撮影状況取得部102は、各撮像装置1において撮影対象となる特定被写体が現在、画角(撮影フレーム)内に存在するか否かの撮影状況に関する情報として特定被写体が存在する旨(特定被写体が撮影フレーム内に存在する旨)の通知を取得する。
また、撮影状況取得部102は、取得した特定被写体が撮影フレーム内に存在する旨の通知から特定被写体を撮影中の撮像装置1の台数をカウントする。
The shooting
In addition, the shooting
画像取得部103は、各撮像装置1で撮影された撮影動画の該当するフレーム画像を撮影画像として、通信部21−3を介して取得する。画像取得部103は、取得した撮影画像を画像記憶部120に記憶させる。
The
画像判定部104は、画像取得部103により取得された切り出し画像に特定被写体を中心とする所定サイズの画像領域を全て含むか否かを判定する。
The
画像加工部105は、各撮像装置1から取得した切り出し画像を位置合わせして合成して構成フレーム画像を生成する。本例では、画像の切り出しは、各撮像装置1で行うために、画像加工部105は、合成のみを行う、即ち、合成画像の生成のみ行う。なお、画像加工部105は、特定被写体を中心とする所定サイズの画像領域を全て含むような合成の必要のない切り出し画像は、そのまま構成フレーム画像として扱う。
The image processing unit 105 aligns and combines the cut-out images acquired from the
動画生成部106は、画像加工部105で生成された構成フレーム画像を連結して被写体追従動画を生成する。即ち、動画生成部106は、順次取得して切り出し加工を行って生成した構成フレーム画像を時系列に連結することで被写体追従動画を生成する。動画生成部106は、生成した被写体追従動画を画像記憶部120に記憶させる。
The moving image generation unit 106 connects the constituent frame images generated by the image processing unit 105 to generate a subject tracking moving image. In other words, the moving image generation unit 106 generates a subject tracking moving image by sequentially connecting the constituent frame images generated by sequentially acquiring and cutting out the frame images. The moving image generation unit 106 stores the generated subject tracking moving image in the
また、第2の実施形態における被写体追従動画生成処理を実行する場合には、撮像装置1のCPU11−1において、撮像制御部54と、被写体検出部55と、画像加工部56と、通信制御部53と、が機能する。
In addition, when the subject tracking moving image generation process in the second embodiment is executed, in the CPU 11-1 of the
撮像制御部54は、撮像制御装置3からの撮影開始・終了の指示に基づいて、撮像を開始・終了するように撮像部16−1を制御する。
The
被写体検出部55は、撮像部16−1で撮影された撮影動画から被写体を検出し、撮影対象となっている特定被写体の有無を判定する。被写体検出部55は、検出結果を通信制御部53に出力する。被写体検出部55における被写体検出は、既存の被写体検出技術を用いる。また、特定被写体は、ユーザ指示等により特定した特定被写体の画像と検出した被写体との画像マッチング等により有無を判定する。
The
画像加工部56は、撮像部16−1で撮影された撮影動画を構成するフレーム画像を撮影画像として取得し、当該撮影画像に対して、撮影対象となる特定被写体を中心とする所定サイズの画像領域を切り出して切り出し画像を生成する。
The
通信制御部53は、通信部21−1を介して、撮像制御装置3からの撮影開始・終了の指示を取得して、撮像制御部54に出力する。
また、通信制御部53は、画像加工部56によって生成された切り出し画像を通信部21−1を介して、撮像制御装置3に送信する。
The
In addition, the
図8は、図7の機能的構成を有する図6の撮像制御装置3が実行する第2の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部18−3への被写体追従動画生成処理開始の操作により開始される。
FIG. 8 is a flowchart for explaining the flow of subject tracking moving image generation processing in the second embodiment executed by the
The subject tracking moving image generation process is started by an operation of starting the subject tracking moving image generation process to the input unit 18-3 by the user.
ステップS41において、撮影指示部101は、最初に特定被写体を撮影する現撮像装置1を特定して撮影開始を指示する。
In step S <b> 41, the
ステップS42において、撮影状況取得部102は、現撮像装置1から現在の特定被写体の撮影状況を取得する。
In step S <b> 42, the shooting
ステップS43において、撮影状況取得部102は、特定被写体を撮影中(特定被写体が撮影フレーム内に存在している)か否かを判定する。
特定被写体を撮影していない場合には、ステップS43においてNOと判定されて、待機状態となる。
特定被写体を撮影中(特定被写体が撮影フレーム内に存在している)の場合には、ステップS43においてYESと判定されて、処理はステップS44に進む。
In step S43, the shooting
If the specific subject has not been photographed, NO is determined in step S43 and a standby state is entered.
If the specific subject is being photographed (the specific subject is present in the photographing frame), YES is determined in step S43, and the process proceeds to step S44.
ステップS44において、画像取得部103は、現撮像装置1から切り出し画像を取得する。
In step S <b> 44, the
ステップS45において、画像判定部104は、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含むか否かを判定する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含む場合には、ステップS45においてYESと判定されて、処理はステップS51に進む。ステップS51以降の処理は後述する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含まない場合には、ステップS45においてNOと判定されて、処理はステップS46に進む。
In step S45, the
If the acquired cut-out image includes all image areas of a predetermined size centered on the specific subject, it is determined as YES in Step S45, and the process proceeds to Step S51. The processing after step S51 will be described later.
When the acquired cut-out image does not include all image areas of a predetermined size centered on the specific subject, it is determined as NO in Step S45, and the process proceeds to Step S46.
ステップS46において、撮影指示部101は、次撮像装置1を特定して撮影開始を指示する。その際、撮影指示部101は、現撮像装置1の撮影条件も含める。
In step S46, the
ステップS47において、画像取得部103は、次撮像装置1から切り出し画像を取得する。
In step S <b> 47, the
ステップS48において、画像判定部104は、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含むか否かを判定する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含む場合には、ステップS48においてYESと判定されて、処理はステップS49に進む。
In step S <b> 48, the
If the acquired cut-out image includes all image areas of a predetermined size centered on the specific subject, it is determined as YES in Step S48, and the process proceeds to Step S49.
ステップS49において、撮影指示部101は、現撮像装置1に撮影終了を指示する。その後処理はステップS51に進む。
In step S49, the
これに対して、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域の少なくとも1部を含まない場合には、ステップS48においてNOと判定されて、処理はステップS50に進む。 On the other hand, when the acquired cut-out image does not include at least one part of the image area of the predetermined size centered on the specific subject, it is determined as NO in Step S48, and the process proceeds to Step S50.
ステップS50において、画像加工部105は、現撮像装置1と次撮像装置1の切り出し画像の位置を合わせて合成して、構成フレーム画像を生成する。その後処理はステップS51に進む。
In step S50, the image processing unit 105 combines the positions of the cut-out images of the
ステップS51において、動画生成部106は、作成中の動画データの末尾に新たに取得した切り出し画像を連結して、被写体追従動画を生成する。生成した被写体追従動画のデータは、画像記憶部120に記憶させる。
In step S51, the moving image generating unit 106 generates a subject tracking moving image by connecting the newly obtained cut-out image to the end of the moving image data being created. The generated subject tracking moving image data is stored in the
ステップS52において、動画生成部106は、被写体追従動画のフレームレートに応じて次のフレームを生成すべき時間まで待機する。 In step S52, the moving image generating unit 106 waits until a time for generating the next frame according to the frame rate of the subject following moving image.
図9は、図7の機能的構成を有する図6の撮像装置1が実行する第2の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
FIG. 9 is a flowchart for explaining the flow of subject tracking moving image generation processing in the second embodiment executed by the
ステップS71において、通信制御部53は、撮影開始が指示されたか否かを判定する。
撮影開始が指示されない場合には、ステップS71においてNOと判定されて、待機状態となる。
撮影開始が指示された場合には、ステップS71においてYESと判定されて、処理はステップS72に進む。
In step S71, the
If the start of shooting is not instructed, NO is determined in step S71 and a standby state is entered.
If the start of shooting is instructed, YES is determined in step S71, and the process proceeds to step S72.
ステップS72において、撮像制御部54は、撮影を開始するように撮像部16を制御する。
In step S72, the
ステップS73において、被写体検出部55は、撮影フレーム内の被写体を検出する。
In step S73, the
ステップS74において、被写体検出部55は、特定被写体が撮影フレーム内に存在するか否かを判定する。
特定被写体が撮影フレーム内に存在しない場合には、ステップS74においてNOと判定されて、待機状態となる。
特定被写体が撮影フレーム内に存在する場合には、ステップS74においてYESと判定されて、処理はステップS75に進む。
In step S74, the
If the specific subject does not exist within the shooting frame, NO is determined in step S74, and a standby state is entered.
If the specific subject exists within the shooting frame, it is determined YES in step S74, and the process proceeds to step S75.
ステップS75において、通信制御部53は、特定被写体が撮影フレーム内に存在する旨を通知する。
In step S75, the
ステップS76において、画像加工部56は、現在の撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、切り出し画像を生成する。
In step S76, the
ステップS77において、通信制御部53は、生成された切り出し画像を送信する。
In step S77, the
ステップS78において、通信制御部53は、撮影終了が指示されたか否かを判定する。
撮影終了が指示されない場合には、ステップS78においてNOと判定されて、処理はステップS73に戻る。
撮影終了が指示された場合には、ステップS78においてYESと判定されて、処理はステップS79に進む。
In step S <b> 78, the
If the imaging end is not instructed, it is determined as Oite NO in step S78, the process the process returns to the step S73.
If the end of shooting is instructed, YES is determined in step S78, and the process proceeds to step S79.
ステップS79において、撮像制御部54は、撮影を終了するように撮像部16を制御する。その後、撮像装置1での被写体追従動画生成処理を終了する。
In step S79, the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、撮影指示部60は、開始タイミングから所定時間後に終了タイミングがくるように開始タイミングと終了タイミングを決定するように構成することができる。
これにより被写体追従動画生成システムSにおいては、装置の配置や特定被写体の速度等を考慮した終了タイミングの決定に係る算出等を行う必要がないために処理負担を軽減することができる。
In the above-described embodiment, the
Thereby, in the subject tracking moving image generation system S, it is not necessary to perform calculation related to the determination of the end timing in consideration of the arrangement of the apparatus, the speed of the specific subject, and the like, so that the processing load can be reduced.
また、上述の実施形態では、生成される被写体追従動画において、特定被写体が常に中央にいる画角の動画を生成したがこれに限られない。被写体追従動画を通じて、一定の位置であったり、例えば、特定被写体に近づいたり遠ざかったり等の所望する効果に応じて、動画における特定被写体の位置を変更するような動画であったりしてもよい。 Further, in the above-described embodiment, in the generated subject tracking moving image, a moving image having an angle of view in which the specific subject is always in the center is generated, but the present invention is not limited thereto. Through the subject tracking moving image, it may be a fixed position or a moving image in which the position of the specific subject in the moving image is changed according to a desired effect such as approaching or moving away from the specific subject.
また、上述の実施形態では、撮影を行わない撮像制御装置3と、各撮像装置1で構成する場合があったが、これに限られない。
例えば、撮影を行う撮像装置1での制御に基づいて、他の撮像装置1が撮影を行うように構成してもよい。即ち、被写体追従動画生成システムSは、主たる撮像装置1(親機)と従たる撮像装置1(子機)とで構成してもよい。
具体的には、被写体追従動画生成システムSにおいては、複数の撮像装置1のうちの1つが主の撮像装置1となって、従となる他の撮像装置1の選択と他の撮像装置1への指示を行う撮影指示手段を備えるように構成することができる。
これにより、被写体追従動画生成システムSは、撮像制御装置3のような撮像を制御する専用機を用いずに撮像装置1のみで被写体追従動画を生成することができる。
In the above-described embodiment, the
For example, another
Specifically, in the subject tracking video generation system S, one of the plurality of
Accordingly, the subject tracking moving image generation system S can generate the subject tracking moving image only by the
また、上述の実施形態では、動画に寄与する部分を切り出して加工して用いたがこれに限られない。例えば、撮影対象となる被写体等が映り込んでいない背景画像を取得して、撮影対象となる被写体を合成するようにしてもよい。このように加工した画像を用いることで、例えば、撮影対象となる被写体以外の被写体が映り込んでいない動画を生成することができる。
具体的には、被写体追従動画生成システムSにおいては、例えば、動画生成部106等の動画生成手段は、選択的な切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して1つの動画を生成するように構成することができる。
Further, in the above-described embodiment, a part that contributes to a moving image is cut out and processed, but the present invention is not limited to this. For example, a background image on which a subject to be photographed is not reflected may be acquired and a subject to be photographed may be synthesized. By using the image processed in this way, for example, a moving image in which a subject other than the subject to be photographed is not reflected can be generated.
Specifically, in the subject tracking moving image generation system S, for example, a moving image generation unit such as the moving image generation unit 106 performs a plurality of images that are selectively cut out corresponding to each timing by selective cutout processing. It can be configured to generate a single moving image by combining them in the shooting order while pasting and synthesizing to a predetermined still image.
また、上述の実施形態では、撮影対象となる被写体が映り込むことを検出、又は予測して撮影を行うように制御したが、これに限られない。
例えば、被写体を検出する等を行わずに、被写体が撮影されている撮像装置の前と後との撮像装置で撮影を行うように構成することもできる。このように構成することで、被写体が中央に位置した状態で撮影された画像と、被写体が中央に向かっている状態で被写体が中央から離れてしまった状態で撮影された画像と、でも切り出して加工することができる。
図13は、撮影タイミングの他の例を示す図である。
撮影タイミングは、図13の例に示すように、撮影開始時点では、被写体は中央と、中央から離れる方向になるため、撮像装置1Aと、撮像装置1Bとで撮影された画像で切り出し画像を生成することができる。
また、撮像装置1Aの次の撮像装置1Bで被写体を撮影した場合には、撮像装置1A、撮像装置1B、撮像装置1Cの3台の撮像装置で撮影を行う。撮像装置1Bで撮影する場合には、被写体は、中央に向かう状態と、中央に位置する状態と、中央から離れる状態があるため、撮像装置1Aと、撮像装置1Bと、撮像装置1Cとで撮影された画像で切り出し画像を生成することができる。撮像装置1Cで被写体を撮影した場合も撮像装置1Bの場合と同様に、撮像装置1Cの前後の撮像装置1Bと、撮像装置1Dとで撮影された画像で切り出し画像を生成することができる。
Further, in the above-described embodiment, the control is performed so as to detect or predict that the subject to be imaged is reflected, but the present invention is not limited to this.
For example, it is also possible to configure so that photographing is performed with the imaging devices before and after the imaging device in which the subject is photographed without detecting the subject. With this configuration, an image captured in a state where the object is located in the center, the image photographed in a state where the subject in a state in which the subject is toward the center had away from the center, but excised Can be processed.
FIG. 13 is a diagram illustrating another example of shooting timing.
As shown in the example of FIG. 13, since the subject is in the center and in a direction away from the center as shown in the example of FIG. 13, a cut-out image is generated from images captured by the
Further, when the subject is photographed by the
また、上述の実施形態では、特定被写体を含む所定の領域を、切り出しを行う画像領域としたがこれに限られない。例えば、特定被写体の形状に対応した領域、即ち、特定被写体の領域を、切り出しを行う画像領域とするように構成してもよい。
具体的には、被写体追従動画生成システムSにおいては、被写体包含領域は、被写体の形状に合わせた形状の画像領域である。また、画像加工部105等の切り出し手段は、被写体の形状に合わせた形状の画像領域を被写体の形状に合わせた領域のみを切り出すように構成することができる。
In the above-described embodiment, the predetermined area including the specific subject is the image area to be cut out, but is not limited thereto. For example, an area corresponding to the shape of the specific subject, that is, the area of the specific subject may be configured as an image area to be cut out.
Specifically, in the subject tracking moving image generation system S, the subject inclusion region is an image region having a shape that matches the shape of the subject . In addition, the clipping unit such as the image processing unit 105 can be configured to cut out only an area that matches the shape of the subject from the image area that matches the shape of the subject.
また、上述の実施形態では、撮影動画から構成フレーム画像を生成するように構成したがこれに限られず、例えば、所定のタイミングで撮影された撮像画像を用いて、構成フレーム画像を生成するように構成してもよい。 In the above-described embodiment, the configuration frame image is generated from the captured moving image. However, the present invention is not limited to this. For example, the configuration frame image is generated using a captured image captured at a predetermined timing. It may be configured.
また、上述の実施形態では、各撮像装置1から動画の生成を行う装置に撮影画像又は構成フレーム画像を送信するように構成したがこれに限られず、撮影動画を送信して、受信した撮影画像から構成フレーム画像を生成するように構成してもよい。
In the above-described embodiment, the captured image or the configuration frame image is transmitted from each
また、上述の実施形態では、複数の撮像装置1により撮影動画を撮影するように構成したがこれに限られず1の装置において複数の撮像手段を有するように構成してもよく、撮像手段から取得された画像に基づいて、被写体追従動画を生成するようにしてもよい。
Further, in the above-described embodiment, the moving image is captured by the plurality of
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、被写体追従動画生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
For example, the present invention can be applied to general electronic devices having a subject tracking moving image generation processing function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図3、図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3、図7の例に限定されない。
また1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configurations of FIGS . 3 and 7 are merely examples, and are not particularly limited. That is, it is sufficient that the
One functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図2のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray Disc(ブルーレイディスク)(登録商標)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2のROM12や、図2の記憶部20に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall apparatus including a plurality of apparatuses and a plurality of means.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおいて、
前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該次撮像装置で撮影を開始する開始タイミングを決定する決定手段と、
前記決定手段によって決定された前記開始タイミングで撮影を開始するように前記次撮像装置に対して指示を行う撮影指示手段と、
を備えることを特徴とする撮影システム。
[付記2]
前記決定手段は、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、当該現撮像装置の撮影範囲と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該現撮像装置の撮影を終了する終了タイミングと、当該次撮像装置で撮影を開始する開始タイミングを決定し、
前記撮影指示手段は、前記決定手段によって決定された前記終了タイミングで前記現撮像装置の撮影を終了し、前記決定手段によって決定された前記開始タイミングで前記次撮像装置の撮影を開始するように指示を行う、
ことを特徴とする付記1に記載の撮影システム。
[付記3]
前記決定手段は、前記開始タイミングから所定時間後に前記終了タイミングがくるように前記開始タイミングと前記終了タイミングを決定する、
ことを特徴とする付記2に記載の撮影システム。
[付記4]
前記決定手段は、特定の被写体の移動速度と、原位置から次撮像装置の撮影範囲への到達位置までの時間に基づいて、開始タイミングを決定する、
ことを特徴とする付記1乃至3のいずれか1つに記載の撮影システム。
[付記5]
前記決定手段は、特定の被写体の移動速度と、原位置から次撮像装置の撮影範囲への到達位置までの時間を算出することで開始タイミングを決定する、
ことを特徴とする付記1乃至4のいずれか1つに記載の撮影システム。
[付記6]
前記開始タイミングの情報を前記現撮像装置から前記次撮像装置へ送信してから当該次撮像装置が撮影を開始できるまでの遅延時間を特定する特定手段を備え、
前記撮影指示手段は、前記開始タイミングに対して前記遅延時間よりも前のタイミングで、前記開始タイミングの情報を送信することで前記撮影の指示を行う、
ことを特徴とする付記1乃至5のいずれか1つに記載の撮影システム。
[付記7]
前記撮影指示手段は、前記次撮像装置に対して撮影を開始させる指示信号を送信することにより、前記開始タイミングの情報の送信を行い、当該次撮像装置に撮影を開始させるタイミングに対して、遅延時間よりも前のタイミングで前記指示信号を送信する、
ことを特徴とする付記6に記載の撮影システム。
[付記8]
前記撮影指示手段は、前記撮影の引き継ぎに際して、現撮像装置の撮影条件も引き継ぐ指示も送信する、
ことを特徴とする付記1乃至7のいずれか1つに記載の撮影システム。
[付記9]
前記開始タイミングの決定は、各撮像装置において前記特定の被写体の撮影毎に行う、
ことを特徴とする付記1乃至8のいずれか1つに記載の撮影システム。
[付記10]
複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムにおける撮影方法であって、
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該現撮像装置から当該次撮像装置で撮影を開始する開始タイミングを決定する決定ステップと、
前記決定ステップによって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、
を含むことを特徴とする撮影方法。
[付記11]
複数の撮像装置による特定の被写体の継続的な撮影を制御する撮影システムを制御するコンピュータに、
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該現撮像装置から当該次撮像装置へ撮影を開始する開始タイミングを決定する決定機能、
前記決定機能によって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、
を実行させるためのプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
In a shooting system that controls continuous shooting of a specific subject by a plurality of imaging devices,
The plurality of imaging devices are arranged such that the shooting range is different from each other with the moving path of the specific subject as a shooting range,
Based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over shooting from the current imaging device, shooting is performed with the next imaging device. A determination means for determining a start timing to start;
Shooting instruction means for instructing the next imaging apparatus to start shooting at the start timing determined by the determination means;
An imaging system comprising:
[Appendix 2]
The determining means includes a moving state of the specific subject within a shooting range of the current imaging device that is shooting the subject, a shooting range of the current imaging device, and a next imaging device that takes over shooting from the current imaging device. Based on the shooting range, determine the end timing to end shooting of the current imaging device and the start timing to start shooting with the next imaging device,
The photographing instruction means instructs to finish photographing of the current imaging apparatus at the end timing determined by the determining means and to start photographing of the next imaging apparatus at the start timing determined by the determining means. I do,
The imaging system according to
[Appendix 3]
The determining means determines the start timing and the end timing so that the end timing comes after a predetermined time from the start timing;
The imaging system according to Supplementary Note 2, wherein
[Appendix 4]
The determination means determines a start timing based on a moving speed of a specific subject and a time from an original position to a position where the next imaging apparatus reaches a shooting range.
The imaging system according to any one of
[Appendix 5]
The determining means determines the start timing by calculating the moving speed of a specific subject and the time from the original position to the position where the next imaging apparatus reaches the shooting range.
The imaging system according to any one of
[Appendix 6]
Comprising specifying means for specifying a delay time from transmission of the start timing information from the current imaging device to the next imaging device until the next imaging device can start imaging;
The imaging instruction means instructs the imaging by transmitting information on the start timing at a timing before the delay time with respect to the start timing.
The imaging system according to any one of
[Appendix 7]
The imaging instruction means transmits an instruction signal for starting imaging to the next imaging device, thereby transmitting information on the start timing, and is delayed with respect to a timing at which the next imaging device starts imaging. Transmitting the instruction signal at a timing before time;
The imaging system according to appendix 6, characterized in that:
[Appendix 8]
The shooting instruction means transmits an instruction to take over the shooting conditions of the current imaging device when taking over the shooting,
The imaging system according to any one of
[Appendix 9]
The determination of the start timing is performed for each imaging of the specific subject in each imaging device.
The imaging system according to any one of
[Appendix 10]
An imaging method in an imaging system for controlling continuous imaging of a specific subject by a plurality of imaging devices,
Based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over the shooting from the current imaging device, A determination step for determining a start timing for starting shooting with the imaging device;
A shooting instruction step for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determining step;
A photographing method characterized by comprising:
[Appendix 11]
To a computer that controls an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices,
Based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over the shooting from the current imaging device, A decision function for deciding the start timing to start photographing on the imaging device;
A shooting instruction function for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determination function;
A program for running
1・・・撮像装置1・・・表示装置,2・・・撮像制御装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・位置センサ,18・・・入力部,19・・・出力部,10・・・記憶部,11・・・通信部,12・・・ドライブ,31・・・リムーバブルメディア,51・・・撮像範囲情報取得部,52・・・撮像装置特定部,53・・・通信制御部,54・・・撮像制御部,55・・・被写体特定部,56・・・画像加工部,57・・・移動速度判定部,58・・・撮影待機時間予測部,59・・・遅延時間特定部,60・・・撮影指示部,71・・・画像記憶部,91・・・撮像制御部,92・・・被写体検出部,93・・・通信制御部,94・・・画像加工部,101・・・撮影指示部,102・・・撮影状況取得部,103・・・画像取得部,104・・・画像判定部,105・・・画像加工部,106・・・動画生成部,120・・・画像記憶部,S・・・被写体追従動画生成システム
DESCRIPTION OF
Claims (14)
前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、
前記特定の被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングと前記現撮像装置で撮影を終了する終了タイミングとを、前記開始タイミングから所定時間後に前記終了タイミングがくるように決定する決定手段と、
前記決定手段によって決定された前記開始タイミングで撮影を開始するように前記次撮像装置に対して指示を行う撮影指示手段と、
を備える、
ことを特徴とする撮影システム。 In a shooting system that controls continuous shooting of a specific subject by a plurality of imaging devices,
The plurality of imaging devices are arranged such that the shooting range is different from each other with the moving path of the specific subject as a shooting range,
A moving state of the specific subject in the imaging range of the current imaging device in imaging the specific object, the the imaging range of the next image pickup apparatus to take over the shooting from the current imaging device, on the basis, the next image pickup device Determining means for determining a start timing for starting shooting and an end timing for ending shooting with the current imaging device so that the end timing comes after a predetermined time from the start timing ;
Shooting instruction means for instructing the next imaging apparatus to start shooting at the start timing determined by the determination means;
Equipped with a,
An imaging system characterized by that.
前記撮影指示手段は、前記決定手段によって決定された前記終了タイミングで前記現撮像装置の撮影を終了し、前記決定手段によって決定された前記開始タイミングで前記次撮像装置の撮影を開始するように指示を行う、
ことを特徴とする請求項1に記載の撮影システム。 Wherein said determining means to take over the moving state of the specific subject in the imaging range of the current imaging device in imaging the specific object, the the shooting range of the current imaging apparatus, the imaging from the current imaging device and shooting range of the following imaging device, based on to determine the said end timing to end the photographing in the current imaging device, and the start timing for starting the shooting in the next image pickup device, a
The photographing instruction means instructs to finish photographing of the current imaging apparatus at the end timing determined by the determining means and to start photographing of the next imaging apparatus at the start timing determined by the determining means. I do,
The imaging system according to claim 1.
ことを特徴とする請求項1又は2に記載の撮影システム。 It said determining means, said the moving speed of the specific subject, time from the original position to reach the position of the shooting range of the next imaging device, on the basis, to determine the start timing,
The imaging system according to claim 1 or 2 , characterized in that
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮影システム。 It said determining means determines said the moving speed of the specific subject, and calculating the time until reaching the position of the shooting range of the next imaging device from an original position, in the start timing,
The imaging system according to any one of claims 1 to 3 , wherein
前記撮影指示手段は、前記開始タイミングに対して前記遅延時間よりも前のタイミングで、前記開始タイミングの情報を送信することで撮影の指示を行う、
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮影システム。 Further comprising a specifying means for the next imaging device to specify the delay time until start shooting information of the start timing from transmission from the current imaging device to the next image pickup device,
The imaging instruction means with the timing earlier than the delay time relative to the start timing, and instructs the shooting by transmitting information of the start timing,
The imaging system according to any one of claims 1 to 4 , wherein:
ことを特徴とする請求項5に記載の撮影システム。 The imaging instruction means, by transmitting an instruction signal to start photographing to the next image pickup device performs transmission of information of the start timing, the timing for starting the shooting the next image pickup device, wherein Transmitting the instruction signal at a timing before a delay time;
The imaging system according to claim 5 .
前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、The plurality of imaging devices are arranged such that the shooting range is different from each other with the moving path of the specific subject as a shooting range,
前記特定の被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを決定する決定手段と、Based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the specific subject, and the shooting range of the next imaging device that takes over shooting from the current imaging device, the next imaging device Determining means for determining the start timing for starting shooting at;
前記決定手段によって決定された前記開始タイミングで撮影を開始するように、且つ、撮影の引き継ぎに際して前記現撮像装置の撮影条件も引き継ぐように、前記次撮像装置に対して指示を行う撮影指示手段と、Shooting instruction means for giving an instruction to the next imaging device so as to start shooting at the start timing determined by the determination unit and so as to take over shooting conditions of the current imaging device when taking over shooting; ,
を備える、Comprising
ことを特徴とする撮影システム。An imaging system characterized by that.
前記複数の撮像装置は、前記特定の被写体の移動経路を撮影範囲として互いに撮影範囲が異なるように配置され、The plurality of imaging devices are arranged such that the shooting range is different from each other with the moving path of the specific subject as a shooting range,
前記特定の被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを、各前記撮像装置において前記特定の被写体の撮影毎に決定する決定手段と、Based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the specific subject, and the shooting range of the next imaging device that takes over shooting from the current imaging device, the next imaging device Determining means for determining the start timing for starting shooting at each shooting of the specific subject in each imaging device;
前記決定手段によって決定された前記開始タイミングで撮影を開始するように前記次撮像装置に対して指示を行う撮影指示手段と、Shooting instruction means for instructing the next imaging apparatus to start shooting at the start timing determined by the determination means;
を備える、Comprising
ことを特徴とする撮影システム。An imaging system characterized by that.
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングと前記現撮像装置で撮影を終了する終了タイミングとを、前記開始タイミングから所定時間後に前記終了タイミングがくるように決定する決定ステップと、
前記決定ステップによって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、
を含む、
ことを特徴とする撮影方法。 An imaging method in an imaging system for controlling continuous imaging of a specific subject by a plurality of imaging devices,
A moving state of the specific subject in the imaging range of the current imaging apparatus in shooting the subject, the imaging range of the next image pickup apparatus to take over the shooting from the current imaging device, based on the shooting in the next imaging device A determination step for determining a start timing for starting an image and an end timing for ending photographing with the current imaging device so that the end timing comes after a predetermined time from the start timing ;
A shooting instruction step for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determining step;
Including,
An imaging method characterized by the above.
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを決定する決定ステップと、Shooting with the next imaging device based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over shooting from the current imaging device A determination step for determining a start timing for starting
前記決定ステップによって決定された前記開始タイミングで撮影を開始するように、且つ、撮影の引き継ぎに際して前記現撮像装置の撮影条件も引き継ぐように、前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、An instruction is given from the current imaging device to the next imaging device so as to start imaging at the start timing determined in the determination step and also to inherit imaging conditions of the current imaging device when taking over the imaging. Shooting instruction steps to be performed;
を含む、including,
ことを特徴とする撮影方法。An imaging method characterized by the above.
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを、各前記撮像装置において前記特定の被写体の撮影毎に決定する決定ステップと、Shooting with the next imaging device based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over shooting from the current imaging device A determination step of determining a start timing for starting each time the specific subject is captured in each of the imaging devices;
前記決定ステップによって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示ステップと、A shooting instruction step for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determining step;
を含む、including,
ことを特徴とする撮影方法。An imaging method characterized by the above.
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングと前記現撮像装置で撮影を終了する終了タイミングとを、前記開始タイミングから所定時間後に前記終了タイミングがくるように決定する決定機能、
前記決定機能によって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、
を実行させる、
ことを特徴とするプログラム。 To a computer that controls an imaging system that controls continuous imaging of a specific subject by a plurality of imaging devices,
A moving state of the specific subject in the imaging range of the current imaging apparatus in shooting the subject, the imaging range of the next image pickup apparatus to take over the shooting from the current imaging device, based on the shooting in the next imaging device A determination function for determining a start timing to start a shooting and an end timing to end shooting with the current imaging device so that the end timing comes after a predetermined time from the start timing ;
A shooting instruction function for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determination function;
To execute ,
A program characterized by that .
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを決定する決定機能、Shooting with the next imaging device based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over shooting from the current imaging device Decision function to determine the start timing,
前記決定機能によって決定された前記開始タイミングで撮影を開始するように、且つ、撮影の引き継ぎに際して前記現撮像装置の撮影条件も引き継ぐように、前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、An instruction is given from the current imaging device to the next imaging device so as to start imaging at the start timing determined by the determination function and also to inherit imaging conditions of the current imaging device when taking over imaging. Shooting instruction function to perform,
を実行させる、To execute,
ことを特徴とするプログラム。A program characterized by that.
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、前記現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲と、に基づいて、前記次撮像装置で撮影を開始する開始タイミングを、各前記撮像装置において前記特定の被写体の撮影毎に決定する決定機能、Shooting with the next imaging device based on the movement state of the specific subject within the shooting range of the current imaging device that is shooting the subject and the shooting range of the next imaging device that takes over shooting from the current imaging device A determination function for determining a start timing for starting each specific object in each imaging device,
前記決定機能によって決定された前記開始タイミングで撮影を開始するように前記現撮像装置から前記次撮像装置に対して指示を行う撮影指示機能、A shooting instruction function for instructing the next imaging device from the current imaging device to start shooting at the start timing determined by the determination function;
を実行させる、To execute,
ことを特徴とするプログラム。A program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013182304A JP6229377B2 (en) | 2013-09-03 | 2013-09-03 | Imaging system, imaging method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013182304A JP6229377B2 (en) | 2013-09-03 | 2013-09-03 | Imaging system, imaging method and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017201588A Division JP6481734B2 (en) | 2017-10-18 | 2017-10-18 | Imaging system, imaging method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015050696A JP2015050696A (en) | 2015-03-16 |
JP6229377B2 true JP6229377B2 (en) | 2017-11-15 |
Family
ID=52700341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013182304A Active JP6229377B2 (en) | 2013-09-03 | 2013-09-03 | Imaging system, imaging method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6229377B2 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6061657B2 (en) * | 2012-12-10 | 2017-01-18 | オリンパス株式会社 | Imaging device |
-
2013
- 2013-09-03 JP JP2013182304A patent/JP6229377B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015050696A (en) | 2015-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5804007B2 (en) | Movie generation system, movie generation method and program | |
JP5655667B2 (en) | Imaging apparatus, imaging control method, image processing apparatus, image processing method, and program | |
JP5067418B2 (en) | Subject tracking program, subject tracking device, and camera | |
KR101710633B1 (en) | Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same | |
US20140334681A1 (en) | Image processing apparatus, image processing method, and program | |
KR101591396B1 (en) | Image capture apparatus, a communication method, a storage medium and a communication system | |
JP5884723B2 (en) | Image composition apparatus, image composition method, and program | |
JP6188474B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
JP6235777B2 (en) | Imaging device, imaging method and program, and display device, display method and program | |
JP6481734B2 (en) | Imaging system, imaging method and program | |
JP2014168147A (en) | Image processing program and digital camera | |
JP2019097187A (en) | Imaging system, imaging method, and program | |
JP6229377B2 (en) | Imaging system, imaging method and program | |
US8760552B2 (en) | Shooting apparatus | |
JP6427859B2 (en) | Image processing apparatus, image processing method, and program | |
JP6004071B2 (en) | Display control apparatus, display control method, and program | |
KR20160078878A (en) | Image processing apparatus, image processing method, and program | |
JP5229371B2 (en) | Imaging device | |
JP2015061234A (en) | Image processing apparatus, image processing method and program | |
JP6234103B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
JP2019004297A (en) | Image processing device, image processing method, imaging apparatus and control method for imaging apparatus | |
JP6729583B2 (en) | Image processing apparatus and method | |
JP5659856B2 (en) | Imaging apparatus, imaging method, and program | |
JP2020057297A (en) | Image display apparatus, image display method, and program | |
JP2012170130A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6229377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |