JP5945425B2 - Imaging apparatus and imaging method thereof - Google Patents
Imaging apparatus and imaging method thereof Download PDFInfo
- Publication number
- JP5945425B2 JP5945425B2 JP2012021117A JP2012021117A JP5945425B2 JP 5945425 B2 JP5945425 B2 JP 5945425B2 JP 2012021117 A JP2012021117 A JP 2012021117A JP 2012021117 A JP2012021117 A JP 2012021117A JP 5945425 B2 JP5945425 B2 JP 5945425B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- unit
- view
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、例えば移動する主要被写体に発生する予期しないハプニングを撮像するのに好適な撮像装置及びその撮像方法に関する。 The present invention relates to an imaging apparatus suitable for imaging, for example, an unexpected happening that occurs in a moving main subject, and an imaging method therefor.
ユーザが被写体の撮像を行うときには、被写体に予期しないハプニングが発生することがある。例えば、被写体として運動会で子供がかけっこを行っているときに子供が転んだり、又、被写体として自動車等のレースの開催中に自動車がコーナでスピンしたりなどの予期しないハプニングが発生することがある。運動会や自動車等のレースに限らず、野球やサッカー等のスポーツ選手の動き等の被写体にも予期しないハプニングが発生することがある。ユーザとしては、かかる移動する被写体の撮像を行っているときに、被写体に発生する予期しないハプニングも撮像できることの要望がある。 When the user images a subject, an unexpected happening may occur in the subject. For example, an unexpected happening may occur, such as a child falling while a child is playing at an athletic meet as a subject, or a car spinning at a corner while a car race is held as a subject. . Unexpected happenings may occur not only in sports events and races such as automobiles, but also in subjects such as movements of athletes such as baseball and soccer. There is a demand for the user to be able to capture an unexpected happening that occurs in a subject when the moving subject is imaged.
特許文献１は、撮像装置における動画像の撮影時に実行されるズーム操作情報、又は加速度センサによる検出情報によって解析されるパンチルト処理情報、又は、ＧＰＳから入力する位置情報、又はクロック情報に基づいて識別される特定の記念日などの情報、或いは静止画撮影情報などの情報に基づいて重要シーン部を判定し、重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データに対応付けて記録することを開示する。 Patent Document 1 identifies based on zoom operation information executed at the time of capturing a moving image in an imaging device, pan / tilt processing information analyzed based on detection information by an acceleration sensor, position information input from GPS, or clock information. The important scene part is determined based on information such as a specific anniversary date or information such as still image shooting information, and highlight point information that can identify the important scene shooting part is generated and corresponds to the shot image data It is disclosed that it is attached and recorded.
しかしながら、特許文献１には、移動する被写体に発生する予期しないハプニングを撮像する技術について開示されておらず、移動する被写体に発生する予期しないハプニングにおいて、決定的なシーンを動画ばかりでなく、静止画でも残すことが要望されている。
本発明の目的は、移動する被写体に発生する予期しない決定的なシーンを動画ばかりでなく、決定的瞬間を捉えた静止画でも残すことができる撮像装置及びその撮像方法を提供することにある。
However, Patent Document 1 does not disclose a technique for imaging an unexpected happening that occurs in a moving subject. In the unexpected happening that occurs in a moving subject, not only a moving image but also a stationary scene There is a demand to leave pictures.
An object of the present invention is to provide an imaging apparatus and an imaging method thereof that can leave an unexpected decisive scene generated in a moving subject not only as a moving image but also as a still image capturing a decisive moment.
本発明の主要な局面に係る撮像装置は、被写体像を撮像する撮像部と、撮像装置本体の姿勢や構えられているときの動きを検出する加速度センサと、撮影レンズを移動させることにより画角を変更するレンズ制御部と、前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定する画角判定部と、前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させる画像処理制御部とを具備し、前記画像処理制御部は、バックグラウンドで複数の静止画を撮像した後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行する。
An image pickup apparatus according to a main aspect of the present invention includes an image pickup unit that picks up a subject image, an acceleration sensor that detects a posture of the image pickup apparatus body and a movement when the image pickup apparatus is held, and an angle of view by moving a photographing lens. A lens control unit that changes the angle, an angle of view determination unit that receives information on the angle of view of the photographing lens adjusted by the lens control unit, and that determines a change in the angle of view. When the acceleration detected by the acceleration sensor changes in speed more than a preset acceleration or deceleration value, or there is a large change in the angle of view by the angle-of-view determination unit. An image processing system that causes the imaging unit to capture a still image in the background of capturing a moving image when one or both of the states in which the field angle is detected to be stable are detected. Comprising a part, the image processing control unit, after capturing a plurality of still images in the background, again, it is detected that there is a rapid change in acceleration applied to the imaging apparatus main body by the acceleration sensor In this case, or when it is determined that the angle of view for capturing the subject image has been changed by the angle-of-view determination unit, the mode is shifted to a moving image mode in which the image capturing unit does not capture a still image in the background .
本発明の主要な局面に係る撮像装置の撮像方法は、撮像部と、加速度センサと、レンズ制御部と、画角判定部と、画像処理制御部とを備える撮像装置による撮像方法であって、前記撮像部により、被写体像を撮像することと、前記加速度センサにより、撮像装置本体の姿勢や構えられているときの動きを検出することと、前記レンズ制御部により、撮影レンズを移動させることにより画角を変更することと、前記画角判定部により、前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定することと、前記画像処理制御部により、前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させることと、バックグラウンドで複数の静止画を撮像した後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行することとを含む。
An imaging method of an imaging apparatus according to a main aspect of the present invention is an imaging method by an imaging apparatus including an imaging unit, an acceleration sensor, a lens control unit, an angle of view determination unit, and an image processing control unit, By capturing a subject image with the imaging unit, detecting an attitude of the imaging apparatus main body and a movement when the imaging apparatus body is held with the acceleration sensor, and moving a photographing lens with the lens control unit Changing the angle of view; receiving the information on the angle of view of the photographing lens adjusted by the lens control unit by the angle of view determination unit; determining change in the angle of view; and by the image processing control unit When the moving image is picked up by the image pickup unit, the acceleration detected by the acceleration sensor changes in speed more than a preset acceleration or deceleration value, or the angle of view. The background in which a moving image is captured when one or both of the following conditions are detected: After the image pickup unit picked up a still image, and after picking up a plurality of still images in the background, it was again detected that the acceleration applied to the image pickup apparatus main body by the acceleration sensor had a steep change. Or a transition to a moving image mode in which the image capturing unit does not capture a still image in the background when the field angle determining unit determines that there has been a change in the field angle for capturing the subject image .
本発明によれば、移動する被写体に発生する予期しない決定的なシーンを動画ばかりでなく、決定的瞬間を捉えた静止画でも残すことができる撮像装置及びその撮像方法を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can leave the unexpected critical scene which generate | occur | produces in the to-be-moved subject not only as a moving image but also the still image which caught the critical moment can be provided, and its imaging method.
（１）以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置（カメラ）の構成図を示す。この撮像装置１は、例えば自動車等の移動する主要被写体とその背景とを含む被写体の光学像（被写体像）の動画を撮像する動画モードと、被写体像の静止画を撮像する静止画モードとを有する。なお、動画モードと静止画モードとを含めて通常の撮像動作処理モードとする。
(1) Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration diagram of an imaging apparatus (camera). The imaging apparatus 1 includes a moving image mode for capturing a moving image of an optical image (subject image) of a subject including a moving main subject such as an automobile and the background, and a still image mode for capturing a still image of the subject image. Have. Note that the normal imaging operation processing mode is set to include the moving image mode and the still image mode.
この撮像装置１は、画像処理・制御部２と、ズーム（ｚｏｏｍ）レンズ部３と、撮像部４と、メモリ部５と、表示部６と、画像記録部７と、音声処理部８と、操作制御部９と、内蔵メモリ部１０と、ストロボ発光部１１と、加速度検出部（加速度センサ）１２と、姿勢検出部（姿勢センサ）１３と、接触検出部１４と、撮影者状態監視部１５とを有する。
The imaging device 1 includes an image processing / control unit 2, a
画像処理・制御部２は、ＣＰＵやＲＡＭ、ＲＯＭ等を含むマイクロコンピュータから成る。なお、ＣＰＵは、時間を計測するためにカウント動作を行うタイマー機能を有する。この画像処理・制御部２は、撮像装置１内部の各ブロック、例えばズームレンズ部３と、撮像部４と、ストロボ発光部１１となどを動画モード又は静止画モードの撮像に応じて統括的に動作制御し、かつ撮像部４を介して得られる動画又は静止画の各画像データに対して各種画像処理を行ったり、これら画像データを画像記録部７に記録するための画像圧縮を行う。
The image processing / control unit 2 includes a microcomputer including a CPU, RAM, ROM, and the like. The CPU has a timer function that performs a counting operation to measure time. The image processing / control unit 2 controls each block in the imaging device 1, for example, the
ズームレンズ部３は、被写体像のズーム像を撮像するためのもので、撮影レンズ３１と、レンズ制御部３２とを有する。撮影レンズ３１は、被写体像を撮像部４に集光させるための光学系である。この撮影レンズ３１は、光軸ｐ方向に移動可能に設けられている。レンズ制御部３２は、画像処理・制御部２から発せられた指示を受け、この指示に従って撮影レンズ３１を光軸ｐ方向に移動制御する。
The
この撮影レンズ３１は、画角を調整するためのズームレンズを含む。この撮影レンズ３１は、レンズ制御部３２によってズームレンズを広角側又は望遠側に駆動することで、撮影時の撮影画角を変更する。例えば、ズームレンズが広角側に駆動すると、撮影画角が広くなり、広い範囲の撮影に適した状態になる。一方、ズームレンズが望遠側に駆動すると、撮影画角が狭くなり、遠距離の被写体の撮影に適した状態になる。 The photographing lens 31 includes a zoom lens for adjusting the angle of view. The photographing lens 31 changes the photographing field angle at the time of photographing by driving the zoom lens to the wide angle side or the telephoto side by the lens control unit 32. For example, when the zoom lens is driven to the wide angle side, the shooting angle of view is widened, and a state suitable for a wide range of shooting is obtained. On the other hand, when the zoom lens is driven to the telephoto side, the shooting angle of view is narrowed, and a state suitable for shooting a subject at a long distance is obtained.
撮像部４は、例えば自動車等の主要被写体を含む被写体像を撮像するもので、撮像素子４１と、撮像素子ドライバ４２と、タイミングジェネレータ（ＴＧ）４３と、アナログフロントエンド回路（ＡＦＥ）４４とを有する。
撮像素子４１は、ＴＧ４３から出力される同期信号に同期して撮像動作を行い、アナログの電気信号（画像信号）を出力するもので、複数の画素を２次元状に配列されてなる撮像面を有し、撮影レンズ３１により集光された光を各画素で受光して光電変換することで、光の量を電気量に変換する。
撮像素子ドライバ４２は、ＴＧ４３から出力される同期信号に従って撮像素子４１を駆動する。
The
The imaging element 41 performs an imaging operation in synchronization with a synchronization signal output from the TG 43 and outputs an analog electric signal (image signal). An imaging surface in which a plurality of pixels are arranged in a two-dimensional manner is provided. The light collected by the photographic lens 31 is received by each pixel and subjected to photoelectric conversion, thereby converting the amount of light into an electrical quantity.
The
ＴＧ４３は、画像処理・制御部２からのタイミング信号に従って撮像素子４１を駆動するための同期信号を生成して撮像素子ドライバ４２に出力する。
ＡＦＥ４４は、撮像素子４１から出力されるアナログの電気信号（画像信号）に対して相関二重サンプリング（ＣＤＳ）処理やゲイン制御処理（ＡＧＣ）等の各種のアナログ処理を施した後、アナログ処理によって得られた画像信号をデジタルの画像信号（以降、画像データという）に変換する。
メモリ部５は、撮像部４のＡＦＥ４４において得られた画像データや、画像処理・制御部２における画像処理の結果として得られた画像データ等の各種データを一時的に記憶する。このメモリ部５は、例えばＤＲＡＭ（Ｄynamic ＲＡＭ）から構成される。
The TG 43 generates a synchronization signal for driving the image sensor 41 in accordance with the timing signal from the image processing / control unit 2 and outputs it to the
The AFE 44 performs various analog processing such as correlated double sampling (CDS) processing and gain control processing (AGC) on the analog electrical signal (image signal) output from the image sensor 41, and then performs analog processing. The obtained image signal is converted into a digital image signal (hereinafter referred to as image data).
The memory unit 5 temporarily stores various data such as image data obtained in the
表示部６は、例えば撮像装置１の本体背面に設けられた液晶ディスプレイ等である。この表示部６は、画像処理・制御部２において画像処理された画像データに基づく画像等の各種の画像を表示する。
画像記録部７は、例えば撮像装置１に対して着脱可能なメモリであり、画像処理・制御部２において画像処理された画像データを記録する。
The
The
音声処理部８は、画像処理・制御部２の制御に従って各種の音声データを発するための処理を行う。
操作制御部９は、例えば電源ボタン、レリーズボタン、ズームボタン、各種入力キー等の複数の操作部材を有する。この操作制御部９は、ユーザにより何れかの操作部材に対する操作を受けると、この操作指示を画像処理・制御部２に送る。この画像処理・制御部２は、操作部材からの操作指示に応じた各種の処理を実行する。この操作制御部９のうち電源ボタンは、撮像装置１の電源のオンオフ指示を行う。
この電源ボタンが押されると、画像処理・制御部２は、撮像装置１の電源をオン又はオフにする。レリーズボタンは、撮影実行の指示を行う。このレリーズボタンが押されると、画像処理・制御部２は、静止画撮影又は動画撮影を実行する。ズームボタンは、ズーミングの実行の指示を行う。このズームボタンが押されると、画像処理・制御部２は、撮影レンズ３１のズームレンズを広角側又は望遠側に駆動させるようにレンズ制御部３２に指示を送る。入力キーは、例えば、表示部６において表示されるメニュー画面上で撮影時の撮影条件等を設定する。
The
The
When the power button is pressed, the image processing / control unit 2 turns on or off the power of the imaging apparatus 1. The release button gives an instruction to execute shooting. When the release button is pressed, the image processing / control unit 2 executes still image shooting or moving image shooting. The zoom button instructs zooming. When the zoom button is pressed, the image processing / control unit 2 sends an instruction to the lens control unit 32 to drive the zoom lens of the photographing lens 31 to the wide angle side or the telephoto side. The input key sets, for example, shooting conditions at the time of shooting on a menu screen displayed on the
ストロボ発光部１１は、自動車等の主要被写体が低輝度の場合や逆光シーンの場合等に、画像処理・制御部２からの発光指示を受けて発光する。このストロボ発光部１１は、例えばキセノン（Ｘｅ）管等の発光管や反射傘を備える。
加速度検出部１２は、例えばユーザの手によって把持されて撮像装置１の本体が地表に対して水平な方向に移動された際の加速度を検出する。
姿勢検出部１３は、撮像装置本体の姿勢や当該撮像装置本体が例えばユーザによって構えられているときの動きを検出する。具体的に姿勢検出部１３は、撮影レンズ３１が地表に向いている状態を検出する。この姿勢検出部１３は、撮像装置１の本体に加わる加速度を検出する加速度センサを含む。なお、姿勢検出部１３は、加速度センサに角速度センサを併用しても良い。
The strobe light emitting unit 11 emits light in response to a light emission instruction from the image processing / control unit 2 when a main subject such as an automobile has a low luminance or a backlight scene. The strobe light emitting unit 11 includes a light emitting tube such as a xenon (Xe) tube and a reflector.
The
The
接触検出部１４は、撮像装置１の本体に対するユーザの接触、すなわちユーザの手によって撮像装置１の本体が把持されていることを検出する。
撮影者状態監視部１５は、ユーザが撮像装置１を構えている状態を検出する。この撮影者状態監視部１５は、例えば撮像装置１の背面に設けられ、ユーザ等の撮影者を撮像する。すなわち、ユーザが撮像装置１を構えている状態では、本撮像装置１を構えているユーザの画像が撮影者状態監視部１５を介して得られる。このユーザの画像により、ユーザが撮像装置１を構えていることを検出することが可能である。
The
The photographer
上記画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む主要被写体と、姿勢検出部１３により検出される撮像装置１の本体の姿勢とのいずれか一方から主要被写体に変化が生じたことを捉えて少なくとも被写体像の静止画を撮像する動画静止画連写モードに移行する。この動画静止画連写モードは、被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する。従って、静止画連写モード、あるいは一般的なカメラにおける連写モードを伴う動画撮影と表現することが出来る。動画は、静止画の集合であるが、静止画よりも、より画像サイズが小さく、フレームレートが高く、コマ間圧縮を伴うなどの違いがある。
この場合、画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む主要被写体の変化と、姿勢検出部１３により検出される撮像装置１の本体の姿勢から主要被写体に変化が生じたことを捉え、この変化を捉えたときから動画静止画連写モード（既に動画撮影は行われて継続していることから連写モードとも称する）に移行する。
ここで、主要被写体の位置の変化は、被写体像を撮像する画角の変化を考慮するものとする。撮像装置１の本体の姿勢の変化は、当該撮像装置１の本体に加わる加速度の変化を含む。
The image processing / control unit 2 detects the main subject from one of the main subject included in the image data acquired by the
In this case, the image processing / control unit 2 determines the main subject from the change of the main subject included in the image data acquired by the imaging of the
Here, the change in the position of the main subject takes into account the change in the angle of view for capturing the subject image. The change in the posture of the main body of the imaging apparatus 1 includes a change in acceleration applied to the main body of the imaging apparatus 1.
具体的に、画像処理・制御部２は、撮像部４により被写体像を動画で撮像している状態に、姿勢検出部１３の加速度センサにより検出される撮像装置１の本体に加わる加速度の変化、又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出したときから動画静止画連写モードに移行する。
画像処理・制御部２は、姿勢検出部１３の加速度センサにより検出される加速度が例えば予め設定された加速又は減速の値以上の速度の変化（以下、加速度の急峻な変化と称する）を検出した後、被写体像を撮像する画角の変化が予め設定された画角の変化の度合いよりも小さくなると、動画静止画連写モードに移行する。
Specifically, the image processing / control unit 2 changes the acceleration applied to the body of the imaging device 1 detected by the acceleration sensor of the
The image processing / control unit 2 detects a change in speed (hereinafter referred to as a steep change in acceleration) in which the acceleration detected by the acceleration sensor of the
画像処理・制御部２は、姿勢検出部１３の加速度センサにより検出される加速度の急峻な変化を検出しない状態で、被写体像を撮像する画角の変化が予め設定された画角の変化の度合いよりも小さくなり一定期間安定すると、動画静止画連写モードに移行する。
画像処理・制御部２は、動画静止画連写モード時に、姿勢検出部１３の加速度センサにより検出される加速度の急峻な変化、又は画角が予め設定された画角の変化の度合いよりも大きく変化のうちいずれか一方又は両方を検出すると、被写体像を動画で撮像する状態に戻る。
画像処理・制御部２は、撮像装置１の本体に対してユーザが接触したか否かを判定し、ユーザの接触を判定すると、姿勢検出部１３の加速度センサにより検出される加速度センサにより当該加速度が急峻に変化したか否かの判定を行う。
The image processing / control unit 2 does not detect a steep change in acceleration detected by the acceleration sensor of the
The image processing / control unit 2 has a steep change in acceleration detected by the acceleration sensor of the
The image processing / control unit 2 determines whether or not the user has touched the main body of the imaging device 1. When the user's contact is determined, the acceleration is detected by the acceleration sensor detected by the acceleration sensor of the
動画静止画連写モードにおいて、動画の撮像では、画像処理・制御部２は、例えば絞りを開放状態とし、撮像素子４１における複数の画素のうち動画撮像のために予め設定された各画素からの各電気信号を用いて動画の画像データを作成する。
動画静止画連写モードにおいて、静止画の連写の撮像では、画像処理・制御部２は、例えば絞りを開放状態とし、撮像素子４１における全画素からの各電気信号を用い、撮像素子４１に対する電子シャッタによって複数枚の静止画の画像データを逐次作成する。
In the moving image still image continuous shooting mode, when capturing a moving image, the image processing / control unit 2 opens, for example, the aperture, and from each pixel set in advance for moving image capturing among a plurality of pixels in the image sensor 41. Movie data is created using each electrical signal.
In the still image continuous shooting mode, in continuous image capturing of still images, the image processing / control unit 2 opens the aperture, for example, and uses the electrical signals from all the pixels in the image sensor 41 to Image data of a plurality of still images is sequentially created by an electronic shutter.
画像処理・制御部２は、被写体像を撮像する画角を判定する画角判定部２−１を有する。この画角判定部２−１は、レンズ制御部３２による撮影レンズ３１のズームレンズに対する画角の調整の情報を受け取って画角の変化を判定する。例えば、ズームレンズが広角側に駆動すると画角が広くなり、一方、ズームレンズが望遠側に駆動すると画角が狭くなり、ズームレンズが駆動しなければ、画角に変化が殆どないことになる。 The image processing / control unit 2 includes a field angle determination unit 2-1 that determines a field angle for capturing a subject image. The angle-of-view determination unit 2-1 receives information on adjustment of the angle of view of the photographing lens 31 with respect to the zoom lens by the lens control unit 32, and determines a change in the angle of view. For example, when the zoom lens is driven to the wide angle side, the field angle is widened. On the other hand, when the zoom lens is driven to the telephoto side, the field angle is narrowed, and if the zoom lens is not driven, there is almost no change in the field angle. .
例えば、ユーザは、移動する主要被写体として運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像することがあり、これら主要被写体は急に進路を変えるような動きをする必要があり、その不規則な動作や操作によって予期しないハプニングが発生することがあり、この主要被写体に発生する予期しないハプニングを撮像したいとの要望がある。
ここで、主要被写体としてレースでの自動車の走行の撮像を一例として図２を参照して説明する。自動車レースにおいてユーザが高速で走行する自動車Ｍを動画で撮像する場合、自動車Ｍが高速でカーブするコーナを走行するとき、このコーナにおいて自動車Ｍのハプニングの予期しない決定的なシーンが発生するケースがある。この予期しない決定的なシーンを動画ばかりでなく、高精細な静止画でも残すために、画像処理・制御部２は、上記の通り、動画の撮像と静止画の連写撮像とを行う動画静止画連写モードに移行する。
For example, a user may take pictures of a child's playing at an athletic meet, driving a car in a race, movements of sports players such as baseball and soccer, etc. as main moving subjects. It is necessary to make a movement that changes, and an unexpected happening may occur due to the irregular movement or operation, and there is a demand for imaging an unexpected happening occurring in the main subject.
Here, an example of taking an image of driving a car in a race as a main subject will be described with reference to FIG. When a user captures a moving vehicle M at a high speed in a car race, when the vehicle M travels a corner that curves at a high speed, an unexpected decisive scene of the happening of the vehicle M may occur in this corner. is there. In order to leave this unexpected decisive scene not only for moving images but also for high-definition still images, as described above, the image processing / control unit 2 performs moving image still image capturing for moving image capturing and continuous image capturing for still images as described above. Switch to continuous image capture mode.
従って、自動車レースにおいてストレートからカーブするコーナを高速で走行する自動車Ｍをユーザによって動画で撮像する場合、ユーザは、撮像装置１を手に持ち、コースに高速で走行する自動車Ｍを撮像範囲内に入れた状態で自動車Ｍを追うものとなる。レースのコースは、例えばストレートからカーブに到り、かつ遠方からユーザ側に近付くものとする。 Therefore, when the user captures a moving image of the vehicle M that travels at a high speed on a corner that curves from a straight in an automobile race, the user holds the imaging device 1 in his hand and places the vehicle M traveling at a high speed on a course within the imaging range. The vehicle M is followed in the state where it is put. The course of the race is, for example, from a straight line to a curve and from a distance to the user side.
このとき、撮像装置１に加わる加速度と被写体像を撮像する主被写体が画面内に占める割合とに着目する。ストレートのコースに自動車Ｍが走行するときには、撮像装置１の動きが自動車Ｍのほぼ一定の高速の走行速度に応じて例えばストレートの方向に移動するものとなり、このときに撮像装置１に加わる加速度の変化も殆どない。又、自動車Ｍは、遠方でストレートの方向に移動しているので、撮像装置１における被写体像を撮像するときの画角の変化も殆どない。
自動車Ｍがさらに走行し、カーブのコースに自動車Ｍが走行するときには、撮像装置１の動きが自動車Ｍの走行速度の変化、すなわちＵターンする移動方向で、かつ高速の走行速度から減速し、再び高速の走行速度に戻って走行する走行速度に対応して移動するものとなり、このときに撮像装置１に加わる加速度に急峻な変化が生じる。又、自動車Ｍは、遠方から近付いてきて減速しながらカーブを走行するので、撮像装置１における被写体像を撮像するときの自動車Ｍが画面内に占める割合も変化するものとなる。
At this time, attention is focused on the acceleration applied to the imaging apparatus 1 and the ratio of the main subject that captures the subject image in the screen. When the automobile M travels on a straight course, the movement of the image pickup apparatus 1 moves, for example, in a straight direction in accordance with the substantially constant high-speed running speed of the automobile M. At this time, the acceleration applied to the image pickup apparatus 1 is increased. There is almost no change. In addition, since the automobile M is moving in the straight direction at a distance, there is almost no change in the angle of view when the subject image is captured by the imaging apparatus 1.
When the automobile M further travels and the automobile M travels on the course of the curve, the movement of the imaging device 1 decelerates from the high traveling speed in the direction of movement in which the traveling speed of the automobile M changes, that is, the U-turn, and again. It moves corresponding to the traveling speed at which the traveling speed is returned to the high traveling speed, and at this time, a sharp change occurs in the acceleration applied to the imaging device 1. In addition, since the automobile M approaches from a distance and travels along a curve while decelerating, the ratio of the automobile M in the screen when the subject image is captured by the imaging apparatus 1 also changes.
従って、画像処理・制御部２は、撮像部４により被写体像を動画で撮像している状態に、加速度検出部１２により検出される加速度の情報と、画角判定部２−１により判定される被写体像を撮像する画角の情報とを受け取り、撮像部４の撮像により取得される画像データ中に含む例えば自動車Ｍ等の移動する主要被写体の位置の変化、ここでは主要被写体を撮像するときの画角の変化を含む主要被写体の位置の変化と、姿勢検出部１３により検出される撮像装置１の本体の姿勢の変化、ここでは撮像装置１の本体に加わる加速度の変化を含む姿勢の変化とのいずれか一方を検出したときから被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する動画静止画連写モードに移行する。
Therefore, the image processing / control unit 2 determines the information on the acceleration detected by the
具体的に、画像処理・制御部２は、撮像部４により被写体像を動画で撮像している状態に、加速度検出部１２により検出される加速度の変化、又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出したときから被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する動画静止画連写モードに移行する。このときの静止画の撮影は、撮像素子４１に対する電子シャッタにより行われ、撮像素子４１の全画素を用いて撮像が行われる。ここでの主要被写体のストレートな動きから、別な動きに変化した時にはシャッターチャンスが訪れる場合が多い。撮像装置の動きが一定であって、その時の主要被写体がほぼ画面の同じ位置や大きさにあることからストレートな動きは判定することが出来る。そして、上記主要被写体の進路の変化などは、このストレートな動きの判定の条件から外れたかどうかで検出することが出来る。
Specifically, the image processing / control unit 2 changes the acceleration detected by the
この場合、画像処理・制御部２は、接触検出部１４の出力信号を入力し、ユーザの手によって撮像装置１の本体に接触して当該撮像装置１の本体を保持しているか否かを判定するとさらに検出の確度を高めることが出来る。
この判定の結果、ユーザの手によって撮像装置１の本体が保持されていると、画像処理・制御部２は、撮像装置１の本体に対してユーザが接触した後に、加速度検出部１２により検出された加速度が急峻に変化したか否かを判定する。
この判定の後、画像処理・制御部２は、被写体像を撮像する画角の変化を検出し、加速度の急峻な変化又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出したタイミングに応動して動画静止画連写モードに移行する。前述のように、主要被写体のストレートな動きの条件を満たしたシーンが続いた後、その条件を満たさなくなった状況を判定すると、さらに確度を高めてモード切換が可能となる。
ここで、加速度の急峻な変化の判定は、例えば、加速度検出部１２により検出された加速度の時間経過に対する変化の度合いを求め、この度合いが一定値以上であれば、加速度が急峻に変化したと判定する。
In this case, the image processing / control unit 2 receives the output signal of the
As a result of the determination, if the main body of the imaging device 1 is held by the user's hand, the image processing / control unit 2 is detected by the
After this determination, the image processing / control unit 2 detects a change in the angle of view for capturing the subject image, and detects either or both of a steep change in acceleration or a change in the angle of view for capturing the subject image. Then, in response to the timing at which the change is detected, the moving image still image continuous shooting mode is entered. As described above, after a scene that satisfies the condition of the straight movement of the main subject continues, if it is determined that the condition is not satisfied, the mode can be switched with higher accuracy.
Here, the determination of the steep change in acceleration is performed by, for example, obtaining the degree of change of the acceleration detected by the
画像処理・制御部２は、加速度が急峻に変化したことを判定した後、被写体像を撮像する画角の変化、すなわち撮像する画角が小さくなったか否かを判定し、画角の変化が小さくなり安定すると、動画静止画連写モードに移行する。
ここで、画角の小さな変化は、例えば、画角判定部２−１により判定される画角の変化の度合いを求め、この度合いが一定値以下であれば、画角の小さな変化と判定する。これにより、画角の変化の安定は、画角の変化の大きさが所定の画角内に収まる状態である。
After determining that the acceleration has changed sharply, the image processing / control unit 2 determines whether the angle of view for capturing the subject image, that is, whether or not the angle of view for capturing has decreased, and the change in the angle of view is determined. When it becomes small and stable, it moves to the still image continuous shooting mode.
Here, for a small change in the angle of view, for example, the degree of change in the angle of view determined by the angle of view determination unit 2-1 is obtained, and if this degree is equal to or less than a predetermined value, it is determined that the angle of view is small. . Thereby, the stable change in the angle of view is a state in which the magnitude of the change in the angle of view falls within a predetermined angle of view.
画像処理・制御部２は、加速度の急峻な変化を判定しない状態で、被写体像を撮像する画角の変化が小さくなり安定したときも、動画静止画連写モードに移行する。
画像処理・制御部２は、動画静止画連写モード時に、加速度の急峻な変化、又は画角が大きく変化のうちいずれか一方又は両方を検出すると、被写体像を動画で撮像する状態に戻る。ここで、画角の大きな変化は、例えば、画角判定部２−１により判定される画角の変化の度合いを求め、この度合いが一定値以上であれば、画角の大きな変化と判定する。
The image processing / control unit 2 shifts to the moving image still image continuous shooting mode even when the change in the angle of view for capturing the subject image becomes small and stable without determining a steep change in acceleration.
When the image processing / control unit 2 detects one or both of a steep change in acceleration or a large change in angle of view in the moving image still image continuous shooting mode, the image processing / control unit 2 returns to the state of capturing the subject image as a moving image. Here, for a large change in the angle of view, for example, the degree of change in the angle of view determined by the angle of view determination unit 2-1 is obtained, and if this degree is equal to or greater than a certain value, it is determined that the angle of view is large. .
画像処理・制御部２は、動画静止画連写モード時、動画の撮像のバックグラウンドで連写により撮像した複数の静止画を例えば画像記録部７に記憶する。
画像処理・制御部２は、画像記録部７に記憶されている動画静止画連写モードで撮像した複数の静止画を選択し、この選択された静止画を表示部６に表示する。この場合、画像処理・制御部２は、画像記録部７に記憶されている複数の静止画のうち所定枚数の静止画を表示部６に表示し、これら表示された各静止画の中から所望の静止画が選択されると、当該静止画のみを表示部６に表示する。
In the moving image still image continuous shooting mode, the image processing / control unit 2 stores a plurality of still images captured by continuous shooting in the background of moving image capturing, for example, in the
The image processing / control unit 2 selects a plurality of still images captured in the moving image still image continuous shooting mode stored in the
画像処理・制御部２は、画像記録部７に記憶されている動画静止画連写モードで撮像した複数の静止画に対して保存するか破棄するかを選択し、この選択された静止画を保存又は破棄する。この場合、画像処理・制御部２は、画像記録部７に記憶されている複数の静止画のうち所定枚数の静止画を表示部６に表示し、これら表示された各静止画の中から保存又は破棄する静止画を選択されると、保存に選択された静止画を画像記録部７に記憶し、破棄に選択された静止画を画像記録部７から破棄する。
The image processing / control unit 2 selects whether to save or discard a plurality of still images captured in the moving image still image continuous shooting mode stored in the
又、画像処理・制御部２は、画質評価部２−２を有する。この画質評価部２−２は、動画静止画連写モードで撮像した複数の静止画に対する画質を評価し、この評価結果に基づいて不要な静止画を自動的に削除する。静止画の画質は、例えばボケの程度により画質を判定する。この画質評価部２−２は、例えば、ボケに対する評価値がある一定の値以下になると、不要な静止画として当該静止画を自動的に削除する。 The image processing / control unit 2 includes an image quality evaluation unit 2-2. The image quality evaluation unit 2-2 evaluates the image quality of a plurality of still images captured in the moving image still image continuous shooting mode, and automatically deletes unnecessary still images based on the evaluation result. The image quality of a still image is determined based on, for example, the degree of blur. For example, when the evaluation value for blur becomes a certain value or less, the image quality evaluation unit 2-2 automatically deletes the still image as an unnecessary still image.
次に、上記の如く構成された装置の撮像動作について図３に示す撮像動作フローチャートに従い、上記図２に示すように自動車レースにおいてユーザが高速で走行する自動車Ｍを撮像する場合について説明する。なお、走行する自動車Ｍの撮像について説明するが、運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像する場合も同様である。
電源スイッチがオン操作されると、画像処理・制御部２は、接触検出部１４から出力される信号を入力し、この信号から撮像装置１の本体に対してユーザの手等が接触し、撮像装置１の本体がユーザの手によって保持されているか否かを判定する。この判定の結果、例えば図４に示すように撮像装置１の本体に対してユーザの手等が接触していない、すなわち撮像装置１の本体がユーザの手によって保持されておらず、ユーザが撮像装置１のファインダを覗いていない状態であれば、画像処理・制御部２は、待機状態とし、省電力モードに移行する。
Next, the imaging operation of the apparatus configured as described above will be described in accordance with the imaging operation flowchart shown in FIG. 3 when the user images the automobile M traveling at high speed in the automobile race as shown in FIG. In addition, although imaging of the traveling automobile M will be described, the same applies to imaging of a child's playing in an athletic meet, traveling of an automobile in a race, movements of sports players such as baseball and soccer, and the like.
When the power switch is turned on, the image processing / control unit 2 inputs a signal output from the
この待機状態で省電力モードにあるときに、画像処理・制御部２は、ステップＳ２において、動作モードが動画静止画連写モード、又は通常の撮像動作処理モード（動画モードと静止画モードとを含む）のいずれかであるのかを判定する。この判定の結果、通常の撮像動作処理モードであれば、画像処理・制御部２は、通常の撮像動作処理モードである動画モード又は静止画モードに移行する。 When in the power saving mode in this standby state, the image processing / control unit 2 determines whether the operation mode is a moving image still image continuous shooting mode or a normal imaging operation processing mode (moving image mode and still image mode) in step S2. It is determined whether any of them is included). If the result of this determination is that the camera is in a normal imaging operation processing mode, the image processing / control unit 2 shifts to a moving image mode or a still image mode that is a normal imaging operation processing mode.
一方、動画静止画連写モードであれば、画像処理・制御部２は、ステップＳ３において、先ず、例えば自動車等の移動する主要被写体を含む被写体像の動画を撮像する動画モードに設定する。
画像処理・制御部２は、ステップＳ４において、上記同様に、接触検出部１４から出力される信号を入力し、撮像装置１の本体がユーザの手によって保持されているか否かを判定する。この判定の結果、例えば図４に示すように撮像装置１の本体に対してユーザの手等が接触せず、撮像装置１の本体がユーザの手によって保持されていなければ、画像処理・制御部２は、ステップＳ１に戻り、待機状態とし、省電力モードに移行する。
On the other hand, in the case of the moving image still image continuous shooting mode, the image processing / control unit 2 first sets to a moving image mode in which a moving image of a subject image including a moving main subject such as an automobile is captured in step S3.
In step S4, the image processing / control unit 2 inputs a signal output from the
撮像装置１の本体に対してユーザの手等が接触し、撮像装置１の本体がユーザの手によって保持されていると、画像処理・制御部２は、ステップＳ５において、加速度検出部１２により検出された撮像装置１の本体に加えられる加速度を入力し、この加速度に急峻な変化があるか否か、すなわち加速度が予め設定された加速度よりも大きく変化したか否かを判定する。
When the user's hand or the like is in contact with the main body of the imaging apparatus 1 and the main body of the imaging apparatus 1 is held by the user's hand, the image processing / control unit 2 detects the
図５（ａ）はユーザが手によって撮像装置１を保持して動画の撮像を行っている様子を示す。例えば、移動する主要被写体の撮像を一例として自動車Ｍ等の主要被写体を追って動画を撮像するとき、ユーザは、撮像装置１の本体を多方向にスイーブしながらズームレンズ部３を動かしながら動画撮像を行う。このような動画撮像では、撮像装置１の本体を多方向にスイーブすることから撮像装置１の本体に加わる加速度に変化が生じると共に、ユーザによってズームレンズ部３を動かすことにより画角に変化が生じる。
FIG. 5A shows a state where the user holds the imaging device 1 by hand and takes a moving image. For example, taking a moving subject as an example, when shooting a moving image following a main subject such as an automobile M, the user takes a moving image while moving the
例えば、上記図２に示すように自動車Ｍがストレートのコースを走行するとき、自動車Ｍは、同コースを等速で走行するので、撮像装置１に対して加わる加速度に変化がなく、画角にも大きな変化がなく、ユーザが設定した画角に保持される。図５（ｂ）はユーザが手によって撮像装置１を保持して等速で移動しながら動画の撮像を行っている様子を示す。 For example, as shown in FIG. 2 above, when the automobile M travels on a straight course, the automobile M travels on the course at a constant speed. Is maintained at the angle of view set by the user. FIG. 5B shows a state in which a user is capturing a moving image while holding the imaging device 1 by hand and moving at a constant speed.
続いて、上記図２に示すように自動車Ｍがカーブのコースを走行するときには、Ｕターンする移動方向で、かつ高速の走行速度から減速し、再び高速の走行速度に戻って走行するので、この自動車Ｍを追って動画を撮像しているときには、撮像装置１に対して加わる加速度が急峻に変化し、この後に撮像装置１に対して加わる加速度の変化は予め設定された加速度よりも小さくなり、ほぼ一定で安定した状態になる。これと共に、自動車Ｍは、遠方から近付いてきて減速しながらカーブを走行するので、撮像装置１における被写体像を撮像するときの画角もユーザの操作によって大きく変化し、この後に画角の変化は予め設定された画角よりも小さくなり、ほぼ一定で安定した状態になる。 Subsequently, as shown in FIG. 2, when the vehicle M travels on a course of a curve, the vehicle M travels in a U-turn moving direction and decelerates from a high speed, and returns to a high speed again. When a moving image is being imaged following the automobile M, the acceleration applied to the imaging device 1 changes sharply, and the change in the acceleration applied to the imaging device 1 thereafter becomes smaller than the preset acceleration, and is almost the same. It becomes constant and stable. At the same time, the car M approaches the vehicle from a distance and travels along a curve while decelerating. Therefore, the angle of view when the subject image is picked up by the image pickup apparatus 1 is also greatly changed by the operation of the user. The angle of view becomes smaller than a preset angle of view, and the state becomes almost constant and stable.
従って、自動車Ｍがストレートのコースを走行するとき、自動車Ｍは、等速で走行し、撮像装置１に対して加わる加速度に変化がなく、画角にも大きな変化がないので、画像処理・制御部２は、動画モードで自動車Ｍを撮像し、図２に示すように動画ファイルＭＦのみを取得する。 Therefore, when the automobile M travels on a straight course, the automobile M travels at a constant speed, the acceleration applied to the imaging device 1 does not change, and the angle of view does not change greatly. The unit 2 images the automobile M in the moving image mode, and acquires only the moving image file MF as shown in FIG.
続いて、画像処理・制御部２は、上記ステップＳ５において、自動車がカーブのコースを走行するときに、撮像装置１の本体に加えられる加速度に急峻な変化があったことを判定する。
続いて、画像処理・制御部２は、ステップＳ６において、画角判定部２−１により判定される被写体像を撮像する画角の情報を受け取り、撮像装置１における被写体像を撮像するときの画角がユーザの操作によって大きく変化し、この後に画角の変化が予め設定された画角よりも小さくなり、ほぼ一定で安定した状態になることを判定する。例えば図５（ｃ）はユーザの操作によって画角を小さくしたときの様子を示す。
Subsequently, in step S5, the image processing / control unit 2 determines that there is a steep change in the acceleration applied to the main body of the imaging device 1 when the automobile travels on a curve course.
Subsequently, in step S <b> 6, the image processing / control unit 2 receives information on the angle of view for capturing the subject image determined by the angle-of-view determination unit 2-1, and displays an image when the image capturing apparatus 1 captures the subject image. It is determined that the angle is greatly changed by the user's operation, and thereafter the change in the angle of view becomes smaller than a preset angle of view, and the state is almost constant and stable. For example, FIG. 5C shows a state when the angle of view is reduced by a user operation.
図６は動画静止画連写モードにおける動作タイミングを示す。同図に示すように撮像装置１の本体に加えられる加速度に急峻な変化があったことを判定し、この後に、画角の変化が予め設定された画角よりも小さくなり、ほぼ一定で安定した状態になることを判定すると、画像処理・制御部２は、ステップＳ７において、時刻ｔ１に動画静止画連写モードに移行する。すなわち、画像処理・制御部２は、加速度の急峻な変化を検出し、続いて被写体像を撮像する画角の変化が小さくなり安定すると、これら加速度の急峻な変化と画角の変化の安定したタイミングに応動して動画静止画連写モードに移行する。 FIG. 6 shows the operation timing in the moving image still image continuous shooting mode. As shown in the figure, it is determined that there is a steep change in the acceleration applied to the main body of the imaging apparatus 1, and thereafter, the change in the angle of view becomes smaller than a preset angle of view, which is substantially constant and stable. When it is determined that the state has been changed, the image processing / control unit 2 shifts to the moving image still image continuous shooting mode at time t1 in step S7. That is, the image processing / control unit 2 detects a steep change in acceleration, and subsequently, when the change in the angle of view for capturing the subject image becomes small and stable, the steep change in acceleration and the change in the angle of view become stable. Move to the video still image continuous shooting mode in response to the timing.
なお、画像処理・制御部２は、上記ステップＳ５において、撮像装置１の本体に加えられる加速度に急峻な変化がないと判定すると、ステップＳ８において、ＣＰＵのタイマー機能によって時間を計測し、予め設定された一定期間に、撮像装置１の本体に加えられる加速度に急峻な変化がないか否かを判定する。この判定の結果、予め設定された一定期間に、撮像装置１の本体に加えられる加速度に急峻な変化があれば、画像処理・制御部２は、上記ステップＳ７に移る。一方、予め設定された一定期間に、撮像装置１の本体に加えられる加速度に急峻な変化がなければ、画像処理・制御部２は、ステップＳ３に戻り、動画モードを続ける。 If the image processing / control unit 2 determines in step S5 that there is no steep change in the acceleration applied to the main body of the imaging device 1, the image processing / control unit 2 measures time by using the timer function of the CPU in step S8, and sets it in advance. It is determined whether or not there is a steep change in the acceleration applied to the main body of the imaging device 1 during the fixed period. As a result of this determination, if there is a steep change in the acceleration applied to the main body of the imaging device 1 during a predetermined period, the image processing / control unit 2 proceeds to step S7. On the other hand, if there is no steep change in the acceleration applied to the main body of the imaging apparatus 1 during a predetermined period, the image processing / control unit 2 returns to step S3 and continues the moving image mode.
画像処理・制御部２は、ステップＳ７において、動画静止画連写モードに移行すると、被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で複数枚撮像する。この動画静止画連写モードにおいて、静止画の撮影は、撮像素子４１に対する電子シャッタにより行われ、撮像素子４１の全画素を用いて複数枚連写で撮像が行われる。複数の静止画は、動画モードに比べて高精細な画像を得ることできる。この動画静止画連写モードにおいて画像処理・制御部２は、動画の撮像のバックグラウンドで連写により撮像した複数の静止画を例えば画像記録部７に記憶する。これにより、画像処理・制御部２は、図２に示すように動画ファイルＭＦと複数の静止画ＳＤとを取得する。
When the image processing / control unit 2 shifts to the moving image still image continuous shooting mode in step S7, the image processing / control unit 2 captures a subject image as a moving image and simultaneously captures a plurality of still images of the subject image by continuous shooting. In this moving image still image continuous shooting mode, a still image is shot by an electronic shutter for the image sensor 41, and a plurality of continuous images are shot using all the pixels of the image sensor 41. A plurality of still images can obtain a high-definition image as compared with the moving image mode. In this moving image still image continuous shooting mode, the image processing / control unit 2 stores a plurality of still images captured by continuous shooting in the background of moving image capturing, for example, in the
画像処理・制御部２は、ステップＳ９において、再び、加速度検出部１２により検出された撮像装置１の本体に加えられる加速度を入力し、この加速度に急峻な変化があるか否かを判定すると共に、画角判定部２−１により判定される被写体像を撮像する画角の情報とを受け取り、撮像装置１の画角がユーザの操作によって変化したか否かを判定する。
例えば、上記図２に示すように自動車Ｍは、カーブのコースを走行した後、再び、高速の走行速度に戻って走行するので、撮像装置１に対して加わる加速度が急峻に変化し、これと共に、撮像装置１の画角もユーザの操作によって大きく変化する。従って、画像処理・制御部２は、撮像装置１の本体に加わる加速度に急峻な変化があることを判定すると共に、撮像装置１の画角が変化したことを判定する。この判定の結果、画像処理・制御部２は、ステップＳ３に戻り、時刻ｔ２に動画モードに戻る。
In step S9, the image processing / control unit 2 again inputs the acceleration applied to the main body of the imaging apparatus 1 detected by the
For example, as shown in FIG. 2 above, the automobile M travels on a curve course and then travels back to a high traveling speed again, so that the acceleration applied to the imaging device 1 changes sharply and with this. The angle of view of the imaging device 1 also varies greatly depending on the user's operation. Therefore, the image processing / control unit 2 determines that there is a steep change in acceleration applied to the main body of the imaging apparatus 1 and determines that the angle of view of the imaging apparatus 1 has changed. As a result of this determination, the image processing / control unit 2 returns to step S3 and returns to the moving image mode at time t2.
撮像装置１の本体に加えられる加速度に急峻な変化がなく、撮像装置１の画角の変化しなければ、画像処理・制御部２は、ステップＳ１０において、例えばユーザが動画撮像を終了する等の操作を判定すると、続くステップＳ１１において、例えば画像記録部７に記憶されている動画静止画連写モード時に取得した複数の静止画を表示部６に表示可能とする。
この場合、画像処理・制御部２は、動画静止画連写モード時に取得した複数の静止画を表示部６に例えばサムネイル表示し、これら表示された複数の静止画から所望の静止画を選択して表示することを可能とする。図７（ａ）は表示部６に表示された複数の静止画ＳＤのサムエル表示の一例を示す。表示部６に表示する静止画の枚数は、任意に設定可能である。又、図７（ｂ）は表示部６に表示された複数の静止画ＳＤの他の表示例を示し、複数の静止画ＳＤを順次入れ替えながら１枚ずつ静止画ＳＤを表示可能である。
If there is no steep change in the acceleration applied to the main body of the image pickup apparatus 1 and the angle of view of the image pickup apparatus 1 does not change, the image processing / control unit 2 determines in step S10 that, for example, the user ends moving image pickup. When the operation is determined, in a subsequent step S11, for example, a plurality of still images acquired in the moving image still image continuous shooting mode stored in the
In this case, the image processing / control unit 2 displays a plurality of still images acquired in the moving image still image continuous shooting mode, for example, as thumbnails on the
一方、画像処理・制御部２は、上記ステップＳ５、Ｓ６の判定の結果、撮像装置１の本体に加えられる加速度に変化があった後でも、撮像装置１の画角の変化が大きく安定しなければ、動画モードを続ける。
又、画像処理・制御部２は、上記ステップＳ５の判定の結果、撮像装置１の本体に加えられる加速度に変化がなく、上記ステップＳ８の判定の結果、撮像装置１の画角の変化が一定期間小さく安定すると、上記ステップＳ７に移り、時刻ｔ３に動画静止画連写モードに移行する。
On the other hand, the image processing / control unit 2 must make the change in the angle of view of the image pickup apparatus 1 large and stable even after the acceleration applied to the main body of the image pickup apparatus 1 has changed as a result of the determination in steps S5 and S6. If so, continue the video mode.
The image processing / control unit 2 does not change the acceleration applied to the main body of the imaging apparatus 1 as a result of the determination in step S5, and the change in the angle of view of the imaging apparatus 1 is constant as a result of the determination in step S8. When the period is stable for a short time, the process proceeds to step S7, and the moving image still image continuous shooting mode is shifted to time t3.
画像処理・制御部２は、ステップＳ１２において、画像記録部７に記憶されている動画静止画連写モードで撮像した複数の静止画を表示部６に例えばサムネイル表示し、これら表示された複数の静止画に対して保存するか破棄するかを選択し、このうち保存を選択された静止画を画像記録部７に記録し、破棄を選択された静止画を画像記録部７から破棄する。
In step S12, the image processing / control unit 2 displays, for example, a plurality of still images captured in the moving image still image continuous shooting mode stored in the
画像処理・制御部２は、ステップＳ１３において、画質評価部２−２を動作させる。この画質評価部２−２は、動画静止画連写モードでの撮像により取得されて画像記録部７に記憶されている複数の静止画に対する画質、例えば複数の静止画のボケの程度を評価する。この画質評価部２−２は、複数の静止画に対する画質の評価結果に基づいて例えばボケの表れている程度が大きくて不要な静止画を自動的に削除する。
In step S13, the image processing / control unit 2 operates the image quality evaluation unit 2-2. The image quality evaluation unit 2-2 evaluates the image quality of a plurality of still images acquired by imaging in the moving image still image continuous shooting mode and stored in the
このように上記第１の実施の形態によれば、撮像部４により被写体像を動画で撮像している状態に、加速度検出部１２により検出される加速度の変化、又は被写体像を撮像する画角の変化のうちいずれか一方又は両方を検出すると、当該変化を検出した後に被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する動画静止画連写モードに移行するので、例えば、移動する主要被写体として運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像するときに、これら移動する主要被写体に発生する予期しないハプニングの決定的なシーンを動画ばかりでなく、動画モードに比べて高精細な静止画を複数枚撮影することができる。つまり、しばらく続いた規則的な動画撮影の条件から外れるかどうかでその後の動きが規則性を満たすか否かを予測してハプニングが起こりそうな機会を判定している。
As described above, according to the first embodiment, the change in the acceleration detected by the
撮像装置１に加わる加速度が急峻に変化したことを判定した後、撮像する画角が小さくなって安定すると、動画静止画連写モードに移行するので、例えば移動する主要被写体が高速で曲がる際、例えば子供がかけっこでコーナを曲がる際や、自動車がカーブを曲がる際等の高速で曲がる際に発生するハプニングを確実に高精細な静止画で複数枚撮影できる。なお、動画静止画連写モードにより複数枚連写するのに限らず、静止画を１枚取得するようにしてもよい。
又、加速度の急峻な変化を判定しない状態で、主要被写体像を撮像する画角の変化が小さくなり一定期間安定したときも、例えば高速で曲がりながら移動するときの主要被写体を動画静止画連写モードで、動画ばかりでなく、高精細な静止画を複数枚撮影できる。
After determining that the acceleration applied to the imaging apparatus 1 has changed sharply, when the angle of view to be captured becomes small and stable, the video image still image continuous shooting mode is entered. For example, when the moving main subject bends at high speed, For example, it is possible to shoot a plurality of high-definition still images with a high-definition still image that occurs when a child bends around a corner with a child or when a car bends at a high speed. It should be noted that a single still image may be acquired in addition to continuous shooting of a plurality of images in the moving image still image continuous shooting mode.
In addition, when the change in the angle of view for capturing the main subject image is small and stable for a certain period without judging the sudden change in acceleration, the main subject when moving while turning at a high speed, for example, is recorded. In mode, you can shoot multiple high-definition still images as well as videos.
動画静止画連写モードで撮像した複数の静止画を表示部６に表示して保存するか又は破棄するのかを選択できるので、表示部６に表示されている複数の静止画を確認して、当該静止画を保存するか又は破棄するのかを選択できる。これにより、例えば静止画に写っている自動車等の主要被写体の構図の良くない静止画を破棄でき、ユーザの趣向に合った静止画を保存できる。
動画静止画連写モードで取得した複数枚静止画の画質を評価するので、複数枚の静止画の中から例えばボケの程度が大きい静止画が存在すれば、当該ボケの程度が大きい静止画を自動的に削除できる。
（２）次に、本発明の第２の実施の形態について図面を参照して説明する。なお、本実施の形態の構成は、図１に示す構成と略同一構成であり、同一部分には同一符号を付して相違する部分について図１に示す撮像装置の構成図を援用して説明する。
画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む自動車Ｍ等の主要被写体の形状変化を予測し、実際の主要被写体の形状変化が予測した主要被写体の形状変化と相違すると、この相違したタイミングに応動して少なくとも被写体像の静止画を撮像するモードに移行する。
Since a plurality of still images captured in the video still image continuous shooting mode can be selected to be displayed on the
Since the image quality of multiple still images acquired in the video still image continuous shooting mode is evaluated, if there is a still image with a large degree of blur, for example, a still image with a large degree of blur will be displayed. Can be deleted automatically.
(2) Next, a second embodiment of the present invention will be described with reference to the drawings. The configuration of the present embodiment is substantially the same as the configuration shown in FIG. 1, and the same portions are denoted by the same reference numerals, and different portions are described with the aid of the configuration diagram of the imaging device shown in FIG. 1. To do.
The image processing / control unit 2 predicts the shape change of the main subject such as the automobile M included in the image data acquired by the imaging of the
具体的に、画像処理・制御部２は、自動車Ｍ等の主要被写体の形状変化として、撮像部４の撮像により取得される画像データ中に含む例えば自動車Ｍ等の主要被写体の位置の変化と、姿勢検出部１３により検出される撮像装置１の本体の姿勢の変化とに基づくタイミングに応動して少なくとも被写体像の静止画を撮像するもので、これら画像データ中に含む主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化とに基づいて主要被写体の動きを予測し、この主要被写体が予測の結果と異なる動きをしたときから少なくとも被写体像の静止画を撮像するモード、例えば動画静止画連写モードに移行する。
Specifically, the image processing / control unit 2 changes the position of the main subject such as the car M included in the image data acquired by the
ここで、撮像装置１の本体の姿勢は、当該撮像装置１の本体の撮像方向を表す方位と、又は加速度検出部１２により検出される撮像装置１の本体に加わる加速度と、撮像装置１により撮像された画像中の主要被写体の形状の変化のうち少なくとも１つを含む。例えば自動車等の主要被写体の位置の変化は、被写体像を撮像する画角の変化を含む。なお、図８は撮像装置１の本体を方位の変化が一定になるように移動したときを模式的に示す。図９は撮像装置１の本体を横方向のシフトを一定になるように移動したときを模式的に示す。
Here, the orientation of the main body of the imaging device 1 is determined by the orientation representing the imaging direction of the main body of the imaging device 1 or the acceleration applied to the main body of the imaging device 1 detected by the
画像処理・制御部２は、撮像部４の撮像により取得される画像データ中に含む自動車Ｍ等の主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測し、この主要被写体が予測の結果と異なる動きをしたときから少なくとも被写体像の静止画を撮像するモード、例えば動画静止画連写モードに移行する。
The image processing / control unit 2 changes the position of the main subject such as the automobile M included in the image data acquired by the imaging of the
図１０は撮像装置１の本体をユーザの手によって保持して例えば自動車Ｍ等の主要被写体の動画の撮像を行っている状態を示す。主要被写体は、上記同様に、運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等であってもよい。
この撮像では、自動車Ｍ等の主要被写体が一定の速度で走行していると、撮像装置１の本体は、例えば図８に示すように方位の変化が一定になるように移動する。この状態で、画像処理・制御部２は、画像データ中に含む主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測する。撮像装置１の表示部６には、主要被写体の動きを予測中である旨を示す「予測」Ｆを表示してもよい。
FIG. 10 shows a state in which the main body of the imaging apparatus 1 is held by a user's hand and a moving image of a main subject such as an automobile M is being captured. Similarly to the above, the main subject may be a child's playing at an athletic meet, a driving of a car in a race, a movement of a sports player such as baseball or soccer, and the like.
In this imaging, when a main subject such as an automobile M is traveling at a constant speed, the main body of the imaging apparatus 1 moves so that the change in orientation is constant as shown in FIG. 8, for example. In this state, the image processing / control unit 2 moves the main subject based on the change in the position of the main subject included in the image data, the change in the posture of the main body of the imaging device 1, and the change in the shape of the main subject. Predict. “Prediction” F indicating that the movement of the main subject is being predicted may be displayed on the
図１１は自動車Ｍ等の主要被写体が予測の結果と異なる動きをしたときの被写体像の静止画を撮像するモード、例えば動画静止画連写モードでの撮像状態を示す。同図は例えば自動車が高速でコーナを走行したときに、当該コーナにおいて自動車に発生するハプニングの予測の結果と異なる動きをしたときを示す。このとき撮像装置１は、少なくとも１枚の静止画を撮像する、又は例えば動画静止画連写モードで撮像を行う。 FIG. 11 shows an imaging state in a mode for capturing a still image of a subject image when a main subject such as an automobile M moves differently from the prediction result, for example, a moving image still image continuous shooting mode. The figure shows, for example, when a car travels around a corner at a high speed and moves differently from the prediction result of the happening that occurs in the car at the corner. At this time, the imaging apparatus 1 captures at least one still image, or performs imaging in, for example, a moving image still image continuous shooting mode.
図１２は撮像装置１の方位の変化の予測を示す。例えば図８に示すように撮像装置１の方位を一定の速度で変化させると、画像処理・制御部２は、撮像装置１の方位が時間の経過と共に一定の速度で変化することを予測ラインＦＬで予測する。実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上にあれば、実際の自動車Ｍ等の主要被写体が予測通りの方位の変化を示していることを表す。 FIG. 12 shows a prediction of a change in the orientation of the imaging apparatus 1. For example, as illustrated in FIG. 8, when the orientation of the imaging device 1 is changed at a constant speed, the image processing / control unit 2 predicts that the orientation of the imaging device 1 changes at a constant speed over time. Predict with. If the orientation of the main subject such as the actual car M is on the prediction line FL, it indicates that the main subject such as the actual car M shows a change in the orientation as predicted.
一方、実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上から大きくずれていれば、実際の自動車Ｍ等の主要被写体が予測と異なる動きをしたことを表す。なお、予測ラインＦＬ上と実際の自動車Ｍ等の主要被写体の方位との差異が予め設定された差異以上のときに、画像処理・制御部２は、実際の自動車Ｍ等の主要被写体が予測と異なる動きをしたと判定する。 On the other hand, if the orientation of the main subject such as the actual car M is greatly deviated from the prediction line FL, it indicates that the main subject such as the actual car M has moved differently from the prediction. Note that when the difference between the prediction line FL and the orientation of the main subject of the actual car M or more is greater than or equal to a preset difference, the image processing / control unit 2 determines that the main subject of the actual car M or the like is predicted. Judge that the movements are different.
図１３は撮像装置１の加速度の変化の予測を示す。例えば高速でストレートのコースからコーナを走行している自動車Ｍ等の主要被写体を撮像するとき、自動車Ｍ等の主要被写体は、高速の走行速度から減速し、再び高速の走行速度に戻って走行するので、撮像装置１に加わる加速度は、急峻な変化が生じ、この後に小さくなり安定する。画像処理・制御部２は、撮像装置１の加速度が時間の経過と共に急峻な変化して小さくなり安定することを予測ラインＧＬで予測する。実際の撮像装置１の加速度が予測ラインＧＬ上にあれば、実際の撮像装置１の加速度が予測通りの加速度の変化を示していることを表す。 FIG. 13 shows prediction of change in acceleration of the imaging apparatus 1. For example, when imaging a main subject such as an automobile M running on a corner from a straight course at a high speed, the main subject such as the automobile M decelerates from a high speed and returns to a high speed again. Therefore, the acceleration applied to the imaging device 1 undergoes a steep change, and thereafter becomes smaller and stable. The image processing / control unit 2 predicts with the prediction line GL that the acceleration of the imaging device 1 changes sharply with time and becomes small and stable. If the actual acceleration of the imaging device 1 is on the prediction line GL, it indicates that the actual acceleration of the imaging device 1 shows a change in acceleration as predicted.
一方、実際の撮像装置１の加速度が予測ラインＧＬ上から大きくずれていれば、実際の撮像装置１の加速度が予測と異なる動きをしたことを表す。なお、予測ラインＧＬ上と撮像装置１の加速度との差異が予め設定された差異以上のときに、画像処理・制御部２は、実際の撮像装置１の加速度が予測と異なる動きをしたと判定する。
すなわち、画像処理・制御部２は、主要被写体の動きの予測、すなわち撮像装置１の方位の予測ラインＦＬと実際の撮像装置１の方位とを対比し、かつ撮像装置１の加速度の予測ラインＧＬと実際の撮像装置１の加速度とを対比し、撮像装置１の方位の予測ラインＦＬと実際の撮像装置１の方位との差異、又は撮像装置１の加速度の予測ラインＧＬと実際の撮像装置１の加速度との差異のいずか一方又は両方が大きいと、少なくとも１枚の静止画を撮像する、又は動画静止画連写モードに移行する。
On the other hand, if the actual acceleration of the imaging apparatus 1 is greatly deviated from the predicted line GL, it indicates that the actual acceleration of the imaging apparatus 1 has moved differently from the prediction. When the difference between the prediction line GL and the acceleration of the imaging device 1 is equal to or larger than a preset difference, the image processing / control unit 2 determines that the actual acceleration of the imaging device 1 has moved differently from the prediction. To do.
That is, the image processing / control unit 2 compares the prediction of the movement of the main subject, that is, the prediction line FL of the orientation of the imaging device 1 with the actual orientation of the imaging device 1, and the acceleration prediction line GL of the imaging device 1. And the actual acceleration of the imaging device 1 are compared, and the difference between the prediction line FL of the orientation of the imaging device 1 and the orientation of the actual imaging device 1 or the prediction line GL of the acceleration of the imaging device 1 and the actual imaging device 1 If one or both of the differences with respect to the acceleration is large, at least one still image is captured or a transition to the moving image still image continuous shooting mode is made.
図１４（ａ）〜（ｄ）は撮像装置１による予測との差異の模式図を示す。同図（ａ）は主要被写体の動きを予測したときの動画中に写っている自動車Ｍ等の主要被写体の１画面の模式図を示す。同図（ｂ）（ｃ）はそれぞれ予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異や主要被写体の形状の変化の差異を示す。同図（ｂ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ１であり、同図（ｃ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ２であり、それぞれ予測との差異が小さいと判定されている。同図（ｄ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異、すなわち主要被写体の形状の変化が大きいと判定されている。 14A to 14D are schematic diagrams showing differences from prediction by the imaging apparatus 1. FIG. 4A is a schematic diagram of one screen of a main subject such as an automobile M that is reflected in a moving image when the movement of the main subject is predicted. FIGS. 7B and 7C show the difference between the predicted movement of the main subject such as the automobile M and the actual movement of the main subject such as the automobile M and the difference in the shape change of the main subject. In FIG. 6B, the difference between the predicted movement of the main subject such as the automobile M and the actual movement of the main subject such as the automobile M is ΔX1, and in FIG. The difference between the movement and the actual movement of the main subject such as the car M is ΔX2, and it is determined that the difference between the movement and the prediction is small. In FIG. 4D, it is determined that the difference between the predicted movement of the main subject such as the automobile M and the actual movement of the main subject such as the automobile M, that is, the change in the shape of the main subject is large.
画像処理・制御部２は、主要被写体の動きとして予測した方位、加速度又は画角のうち少なくとも１つと、主要被写体の実際の動きの方位、加速度又は画角のうち少なくとも１つとを対比し、これら方位、加速度又は画角の差異が予め設定された値よりも大きければ、動画静止画連写モードに移行する。 The image processing / control unit 2 compares at least one of the azimuth, acceleration, or angle of view predicted as the movement of the main subject with at least one of the azimuth, acceleration, or angle of view of the actual movement of the main subject. If the difference in azimuth, acceleration, or angle of view is larger than a preset value, the mode shifts to a moving image still image continuous shooting mode.
画像処理・制御部２は、動画静止画連写モードにおいて取得した静止画中から被写体像に含む主要被写体像をトリミングする。このトリミングは、静止画中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲を設定する。なお、このトリミングでは、ユーザの操作によってトリミング範囲を設定可能である。画像処理・制御部２は、トリミングされた画像を表示部６に表示する。
The image processing / control unit 2 trims the main subject image included in the subject image from the still images acquired in the moving image still image continuous shooting mode. In this trimming, a main subject image is searched from feature points and colors of a main subject image such as the car M from a still image, and a trimming range is set so as to include the main subject image. In this trimming, the trimming range can be set by a user operation. The image processing / control unit 2 displays the trimmed image on the
図１５（ａ）（ｂ）（ｃ）はトリミングの動作を示す。同図（ａ）は静止画Ｋ中に含まれる自動車Ｍ等の主要被写体像の模式図を示す。同図（ｂ）は静止画Ｋ中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲ＴＭを設定した状態を示す。同図（ｃ）は表示部６に表示されたトリミング範囲ＴＭの画像を示す。
FIGS. 15A, 15B and 15C show the trimming operation. FIG. 2A shows a schematic diagram of a main subject image of a car M or the like included in the still image K. FIG. 4B shows a state in which the main subject image is searched from the still image K from the feature points and colors of the main subject image such as the car M, and the trimming range TM is set so as to include this main subject image. FIG. 3C shows an image of the trimming range TM displayed on the
次に、上記の如く構成された装置の撮像動作について図１６に示す撮像動作フローチャートに従って説明する。
画像処理・制御部２は、ステップＳ１０１において、電源がオン（ＯＮ）されたか否かを判定する。この判定の結果、電源がオン（ＯＮ）されると、画像処理・制御部２は、ステップＳ１０２において、撮影モードに設定されているかを判定する。なお、電源がオン（ＯＮ）されていなければ、画像処理・制御部２は、ステップＳ１０１ａにおいて、スタンバイ状態になる。
Next, an imaging operation of the apparatus configured as described above will be described according to an imaging operation flowchart shown in FIG.
In step S101, the image processing / control unit 2 determines whether the power is turned on. If the power is turned on as a result of the determination, the image processing / control unit 2 determines whether or not the photographing mode is set in step S102. If the power is not turned on (ON), the image processing / control unit 2 enters a standby state in step S101a.
画像処理・制御部２は、撮影モードに設定されていると判定すると、ステップＳ１０３において、撮像装置（カメラ）１の移動を判定する。この撮像装置１の移動は、例えば加速度検出部１２により検出される撮像装置１の本体に加わる加速度や、姿勢検出部１３により検出される撮像装置１の本体の姿勢の変化により認識可能である。
If the image processing / control unit 2 determines that the shooting mode is set, it determines the movement of the imaging device (camera) 1 in step S103. This movement of the imaging device 1 can be recognized by, for example, an acceleration applied to the main body of the imaging device 1 detected by the
画像処理・制御部２は、撮影モードにおいて、静止画を撮像するモード又は動画を撮像するモードのいずれかに設定される。静止画を撮像するモードでは、画像処理・制御部２は、例えば撮像素子４１から出力される電気信号を画像処理し、スルー画像を表示部６に表示する。動画を撮像するモードでは、画像処理・制御部２は、例えば絞りを開放状態とし、撮像素子４１から出力される電気信号を画像処理し、動画を表示部６に表示する。
In the shooting mode, the image processing / control unit 2 is set to either a still image shooting mode or a moving image shooting mode. In the mode for capturing a still image, the image processing / control unit 2 performs image processing on, for example, an electrical signal output from the image sensor 41 and displays a through image on the
画像処理・制御部２は、ステップＳ１０４において、例えば表示部６の画面内に表示している画像中から例えば自動車Ｍ等の主要被写体像の形状を認識し、かつ画像中における主要被写体像の存在する位置を認識する。例えば自動車Ｍ等の主要被写体像は、当該主要被写体像の特徴点や色から画像中での位置を認識できる。
In step S104, the image processing / control unit 2 recognizes the shape of the main subject image of, for example, the car M from the image displayed on the screen of the
画像処理・制御部２は、ステップＳ１０５において、画像中における主要被写体像の動きのパターンの予測、すなわち撮像部４の撮像により取得される画像データ中に含む主要被写体の形状変化を予測し、実際の主要被写体の形状変化が予測した主要被写体の形状変化と相違すると、この相違したタイミングに応動して少なくとも被写体像の静止画を撮像するモードに移行する。
In step S105, the image processing / control unit 2 predicts the movement pattern of the main subject image in the image, that is, predicts the shape change of the main subject included in the image data acquired by the imaging of the
具体的に、画像処理・制御部２は、画像データ中に含む主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測する。
例えば、画像処理・制御部２は、図１２に示すように撮像装置１の方位が時間の経過と共に一定の速度で変化することを予測ラインＦＬで予測する。実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上にあれば、実際の自動車Ｍ等の主要被写体が予測通りの方位の変化を示していることを表す。これに対して実際の自動車Ｍ等の主要被写体の方位が予測ラインＦＬ上から大きくずれていれば、実際の自動車Ｍ等の主要被写体が予測と異なる動きをしたことを表す。図１２に示す時間Ｔ０は、例えば２、３秒というオーダーであり、撮影者が動画撮影を開始して、被写体を順調に追うことを開始したかどうかを判定するための時間となっている。鑑賞者の目も、被写体が規則的に動いているかどうかは、この程度の継続時間がないと分からない。動画としては、規則性が乱れることを表現できないと面白みがない。
Specifically, the image processing / control unit 2 moves the main subject based on the change in the position of the main subject included in the image data, the change in the posture of the main body of the imaging device 1, and the change in the shape of the main subject. Predict.
For example, the image processing / control unit 2 predicts that the azimuth of the imaging apparatus 1 changes at a constant speed with the passage of time as shown in FIG. If the orientation of the main subject such as the actual car M is on the prediction line FL, it indicates that the main subject such as the actual car M shows a change in the orientation as predicted. On the other hand, if the orientation of the main subject such as the actual car M is largely deviated from the prediction line FL, it indicates that the main subject such as the actual car M has moved differently from the prediction. The time T0 shown in FIG. 12 is, for example, an order of 2 or 3 seconds, and is a time for determining whether or not the photographer has started moving image shooting and started following the subject smoothly. Even the eyes of the viewer cannot know whether the subject is moving regularly without such a duration. As a movie, it is not interesting if it cannot express that the regularity is disturbed.
画像処理・制御部２は、図１３に示すように撮像装置１の加速度が時間の経過と共に急峻な変化して小さくなり安定することを予測ラインＧＬで予測する。実際の撮像装置１の加速度が予測ラインＧＬ上にあれば、実際の撮像装置１の加速度が予測通りの加速度の変化を示していることを表す。一方、実際の撮像装置１の加速度が予測ラインＧＬ上から大きくずれていれば、実際の撮像装置１の加速度が予測と異なる動きをしたことを表す。 As shown in FIG. 13, the image processing / control unit 2 predicts, based on the prediction line GL, that the acceleration of the imaging device 1 changes steeply with time and becomes small and stable. If the actual acceleration of the imaging device 1 is on the prediction line GL, it indicates that the actual acceleration of the imaging device 1 shows a change in acceleration as predicted. On the other hand, if the actual acceleration of the imaging apparatus 1 is greatly deviated from the predicted line GL, it indicates that the actual acceleration of the imaging apparatus 1 has moved differently from the prediction.
画像処理・制御部２は、ステップＳ１０６において、図１２に示す撮像装置１の方位の予測と、図１３に示す撮像装置１の加速度の予測と、画像データ中に含む主要被写体の形状変化の予測とを用い、実際の撮像装置１の方位と、実際の撮像装置１の加速度と、実際の主要被写体の形状変化とのうちいずれかが予測よりも相違しているか否かを判定する。つまり、しばらく続いた（例えば、２、３秒以上続いた）規則的な動画撮影の条件から外れるかどうかでその後の動きが規則性を満たすか否かを予測する。
この判定の結果、画像処理・制御部２は、例えば、図１４（ｂ）に示すように予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ１であり、同図（ｃ）では予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異がΔＸ２であり、それぞれ予測との差異が小さいと判定する。
画像処理・制御部２は、図１４（ｄ）に示すように予測した自動車Ｍ等の主要被写体の動きと実際の自動車Ｍ等の主要被写体の動きとの差異、すなわち主要被写体の形状の変化が大きいと判定する。つまり、しばらく続いた（例えば、２、３秒以上続いた）規則的な動画撮影の条件を、ここでは形状変化として予測する。
In step S106, the image processing / control unit 2 predicts the orientation of the imaging device 1 shown in FIG. 12, the acceleration of the imaging device 1 shown in FIG. 13, and the prediction of the shape change of the main subject included in the image data. Are used to determine whether any of the actual orientation of the imaging device 1, the actual acceleration of the imaging device 1, and the actual shape change of the main subject is different from the prediction. That is, whether or not the subsequent movement satisfies the regularity is predicted based on whether or not the condition of regular moving image shooting that has continued for a while (for example, continued for a few seconds or more) is not satisfied.
As a result of this determination, for example, the image processing / control unit 2 determines that the difference between the predicted movement of the main subject such as the automobile M and the actual movement of the main subject such as the automobile M is ΔX1 as shown in FIG. In FIG. 9C, the difference between the predicted movement of the main subject such as the automobile M and the actual movement of the main subject such as the automobile M is ΔX2, and it is determined that the difference from the prediction is small.
The image processing / control unit 2 determines the difference between the predicted movement of the main subject such as the car M and the actual movement of the main subject such as the car M, that is, the change in the shape of the main subject as shown in FIG. Judged to be large. That is, a regular moving image shooting condition that has continued for a while (for example, continued for a few seconds or more) is predicted as a shape change here.
このような判定の結果、実際の撮像装置１の方位と、実際の撮像装置１の加速度と、実際の主要被写体の形状変化とのうちいずれか１つの変化が予測に対して大きく差異があれば、画像処理・制御部２は、ステップＳ１０７において、静止画の撮影を開始し、ステップＳ１１５において、静止画の撮影を行う。又は、画像処理・制御部２は、同ステップＳ１０７において、動画静止画連写モードに移行し、被写体像を動画で撮像し、これと同時に被写体像の静止画を連写で撮像する。 As a result of such determination, if any one of the orientation of the actual imaging device 1, the acceleration of the actual imaging device 1, and the actual shape change of the main subject is significantly different from the prediction, The image processing / control unit 2 starts capturing a still image in step S107, and captures a still image in step S115. Alternatively, in step S107, the image processing / control unit 2 shifts to the moving image still image continuous shooting mode, captures the subject image as a moving image, and simultaneously captures the still image of the subject image as a continuous shooting.
画像処理・制御部２は、ステップＳ１１６において、トリミングを自動的に行う設定になっていれば、動画静止画連写モードにおいて取得した静止画中から被写体像に含む主要被写体像をトリミングする。このトリミングは、静止画中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲を設定する。例えば、画像処理・制御部２は、図１５（ｂ）に示すように静止画Ｋ中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲ＴＭを自動的に設定する。画像処理・制御部２は、ステップＳ１１７において、トリミング範囲ＴＭの画像を表示部６に表示する。なお、トリミング範囲ＴＭは、操作制御部９に対するユーザの操作によって手動により設定してもよい。
このトリミングであれば、例えば自動車等の主要被写体像が静止画中の中央部に写っていなくても、自動車等の主要被写体像を含んでトリミングするので、自動車等の主要被写体像を中央部に写っている静止画を取得できる。
If it is set to automatically perform trimming in step S116, the image processing / control unit 2 trims the main subject image included in the subject image from the still images acquired in the moving image still image continuous shooting mode. In this trimming, a main subject image is searched from feature points and colors of a main subject image such as the car M from a still image, and a trimming range is set so as to include the main subject image. For example, the image processing / control unit 2 searches the main subject image from the feature points and colors of the main subject image such as the car M from the still image K as shown in FIG. The trimming range TM is automatically set to include. The image processing / control unit 2 displays an image in the trimming range TM on the
With this trimming, for example, even if the main subject image of a car or the like is not shown in the central part of the still image, the main subject image of the car or the like is trimmed including the main subject image of the car or the like. Can capture still images.
一方、実際の撮像装置１の方位と、実際の撮像装置１の加速度と、実際の主要被写体の形状変化とのうちいずれか１つの変化が予測に対して大きく差異がなければ、画像処理・制御部２は、ステップＳ１１１において、例えばレリーズボタンが押されたか否かを判定する。
この判定の結果、レリーズボタンが押されていれば、画像処理・制御部２は、ステップＳ１１２において、静止画撮影又は動画撮影を実行し、これら撮像により取得された静止画又は動画を画像記録部７に記憶する。
画像処理・制御部２は、ステップＳ１１３において、画像記録部７に記憶した静止画又は動画を表示部６に表示する。
On the other hand, if any one of the orientation of the actual imaging device 1, the actual acceleration of the imaging device 1, and the actual shape change of the main subject is not significantly different from the prediction, image processing / control is performed. In step S111, the unit 2 determines whether, for example, a release button has been pressed.
If the release button is pressed as a result of the determination, the image processing / control unit 2 performs still image shooting or moving image shooting in step S112, and the still image or moving image acquired by the image pickup is recorded in the image recording unit. 7
In step S <b> 113, the image processing / control unit 2 displays the still image or moving image stored in the
上記ステップＳ１０２での判定の結果、撮影モードであれば、画像処理・制御部２は、ステップＳ１０２からステップＳ１２１に移り、再生モードに設定されているか否かを判定する。この判定の結果、再生モードに設定されていれば、画像処理・制御部２は、ステップＳ１２２において、画像記録部７に記憶した静止画又は動画を読み出し、これら静止画又は動画を表示部６に再生表示する。
If the result of determination in step S <b> 102 is the shooting mode, the image processing / control unit 2 proceeds from step S <b> 102 to step S <b> 121 and determines whether or not the playback mode is set. If the result of this determination is that playback mode has been set, the image processing / control unit 2 reads out the still image or moving image stored in the
画像処理・制御部２は、ステップＳ１２３において、表示部６に再生表示している静止画又は動画に対して変更処理、例えば図１５（ａ）（ｂ）（ｃ）に示すようなトリミングを行うか否かを判定する。トリミングを自動的に行う設定になっていれば、画像処理・制御部２は、ステップＳ１２４において、例えば画像処理・制御部２によって静止画Ｋ中から例えば自動車Ｍ等の主要被写体像の特徴点や色から主要被写体像を検索し、この主要被写体像を含むようにトリミング範囲ＴＭを自動的に設定し、このトリミング範囲ＴＭの画像を表示部６に表示する。なお、トリミング範囲ＴＭは、操作制御部９に対するユーザの操作によって手動により設定してもよい。
In step S123, the image processing / control unit 2 performs change processing, for example, trimming as shown in FIGS. 15A, 15B, and 15C, on the still image or moving image that is reproduced and displayed on the
上記ステップＳ１２１での判定の結果、再生モードに設定されていなければ、画像処理・制御部２は、ステップＳ１２５において、例えば画像記録部７に記憶されている静止画又は動画を読み出し、これら静止画又は動画を送信するために他の機器との間で通信を行う。画像処理・制御部２は、他の機器との間で通信を行い、当該他の機器から静止画又は動画等の各種データを受け取ってもよい。
If the result of determination in step S121 is that playback mode has not been set, the image processing / control unit 2 reads out still images or moving images stored in the
このように上記第２の実施の形態によれば、撮像部４の撮像により取得される画像データ中に含む自動車Ｍ等の主要被写体の形状変化をしばらく続いた規則的な動画撮影の条件から外れるかどうかで予測し、実際の主要被写体の形状変化が予測した主要被写体の形状変化と相違すると、この相違したときから少なくとも被写体像の静止画を撮像するモードに移行するので、上記第１の実施の形態と同様に、例えば、移動する主要被写体として運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等を撮像するときに、これら移動する主要被写体に発生する予期しないハプニングの決定的なシーンを動画ばかりでなく、動画モードに比べて高精細な静止画を複数枚撮影することができる。この静止画は、１枚取得してもよいし、動画静止画連写モードにより複数枚連写で取得してもよい。
As described above, according to the second embodiment, the change in the shape of the main subject such as the car M included in the image data acquired by the imaging of the
予測では、画像データ中に含む自動車Ｍ等の主要被写体の位置の変化と、撮像装置１の本体の姿勢の変化と、主要被写体の形状の変化とに基づいて主要被写体の動きを予測する、具体的に主要被写体の動きとして予測した方位、加速度又は画角のうち少なくとも１つと、主要被写体の実際の動きの方位、加速度又は画角のうち少なくとも１つとを対比するので、これら予測のうちいずれか１つでも予測が大きく異なると、被写体像の静止画を撮像するモード、例えば動画静止画連写モードに移行して静止画を撮像することができ、移動する主要被写体として例えば運動会での子供のかけっこや、レースでの自動車の走行、野球やサッカー等のスポーツ選手の動き等に発生するハプニングを確実に高精細な静止画で複数枚撮影できる。 In the prediction, the movement of the main subject is predicted based on the change in the position of the main subject such as the automobile M included in the image data, the change in the posture of the main body of the imaging device 1, and the change in the shape of the main subject. Since at least one of the azimuth, acceleration, or angle of view predicted as the movement of the main subject is compared with at least one of the actual direction, acceleration, or angle of view of the main subject, any one of these predictions If even one of the predictions is significantly different, it is possible to take a still image by switching to a mode for capturing a still image of a subject image, for example, a moving image still image continuous shooting mode. It is possible to reliably capture multiple occurrences of high-definition still images that occur during a race, driving a car in a race, movements of athletes such as baseball and soccer.
動画静止画連写モードにおいて取得した静止画中から被写体像に含む主要被写体像をトリミングするので、移動する主要被写体像が静止画中の中央部に写っていなくても、移動する主要被写体像を含んでトリミングすることで、移動する主要被写体像を中央部に写っている静止画として取得できる。 Since the main subject image included in the subject image is trimmed from the still images acquired in the video still image continuous shooting mode, the moving main subject image is displayed even if the moving main subject image is not shown in the center of the still image. By including and trimming, the moving main subject image can be acquired as a still image in the center.
１：撮像装置、２：画像処理・制御部、３：ズーム（ｚｏｏｍ）レンズ部、４：撮像部、５：メモリ部、６：表示部、７：画像記録部、８：音声処理部、９：操作制御部、１０：内蔵メモリ部、１１：ストロボ発光部、１２：加速度検出部、１３：姿勢検出部、１４：接触検出部、１５：撮影者状態監視部、３１：撮影レンズ、３２：レンズ制御部、４１：撮像素子、４２：撮像素子ドライバ、４３：タイミングジェネレータ（ＴＧ）、４４：アナログフロントエンド回路（ＡＦＥ）、２−１：画角判定部、２−２：画質評価部。 1: imaging device, 2: image processing / control unit, 3: zoom lens unit, 4: imaging unit, 5: memory unit, 6: display unit, 7: image recording unit, 8: audio processing unit, 9 : Operation control unit, 10: Built-in memory unit, 11: Strobe light emission unit, 12: Acceleration detection unit, 13: Posture detection unit, 14: Contact detection unit, 15: Photographer state monitoring unit, 31: Shooting lens, 32: Lens control unit, 41: imaging device, 42: imaging device driver, 43: timing generator (TG), 44: analog front end circuit (AFE), 2-1: angle of view determination unit, 2-2: image quality evaluation unit.
Claims (6)
撮像装置本体の姿勢や構えられているときの動きを検出する加速度センサと、
撮影レンズを移動させることにより画角を変更するレンズ制御部と、
前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定する画角判定部と、
前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させる画像処理制御部と、
を具備し、
前記画像処理制御部は、バックグラウンドで前記撮像部に前記静止画を撮像させた後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行する
ことを特徴とする撮像装置。 An imaging unit that captures a subject image;
An acceleration sensor that detects the posture of the imaging device body and the movement when it is held;
A lens controller that changes the angle of view by moving the photographic lens;
An angle-of-view determination unit that receives information on the angle of view of the photographing lens adjusted by the lens control unit and determines a change in the angle of view;
When the moving image is picked up by the image pickup unit, a state in which the acceleration detected by the acceleration sensor becomes a change in speed equal to or greater than a preset acceleration or deceleration value, or by the angle of view determination unit When one or both of the states in which a large change in the angle of view is detected and the angle of view is subsequently detected are detected, the image is captured in the background of capturing a moving image. An image processing control unit that causes a still image to be captured;
Equipped with,
When the image processing control unit detects that the acceleration applied to the imaging device main body by the acceleration sensor is abruptly changed after the still image is captured by the imaging unit in the background, Alternatively, when the angle-of-view determination unit determines that the angle of view for capturing the subject image has changed , the imaging apparatus shifts to a moving image mode in which the image capturing unit does not capture a still image in the background .
前記撮像部により、被写体像を撮像することと、
前記加速度センサにより、撮像装置本体の姿勢や構えられているときの動きを検出することと、
前記レンズ制御部により、撮影レンズを移動させることにより画角を変更することと、
前記画角判定部により、前記レンズ制御部よって調整された前記撮影レンズの画角の情報を受け取って画角の変化を判定することと、
前記画像処理制御部により、前記撮像部で動画像を撮像している際に、前記加速度センサにより検出された加速度が予め設定された加速又は減速の値以上の速度の変化となった状態、または、前記画角判定部により画角に大きな変化がありその後に当該画角が安定することが検出された状態、のいずれか一方の状態または両方の状態が検出された際に、動画を撮像しているバックグラウンドで前記撮像部に静止画を撮像させることと、
バックグラウンドで複数の静止画を撮像した後、再び、前記加速度センサにより撮像装置本体に加えられる加速度に急峻な変化があったことが検出された場合、又は前記画角判定部により被写体像を撮像する画角の変化があったと判定された場合に、バックグラウンドで前記撮像部に静止画を撮像させない動画モードに移行することと
を含む撮像方法。 An imaging method by an imaging device including an imaging unit, an acceleration sensor, a lens control unit, an angle of view determination unit, and an image processing control unit,
Capturing a subject image by the imaging unit;
Detecting the posture of the imaging apparatus main body and the movement when it is held by the acceleration sensor;
Changing the angle of view by moving the photographic lens by the lens control unit;
Receiving the information of the angle of view of the photographing lens adjusted by the lens control unit by the angle of view determination unit and determining a change in the angle of view;
When the image processing control unit captures a moving image with the imaging unit, the acceleration detected by the acceleration sensor changes in speed more than a preset acceleration or deceleration value, or When one or both of the states in which a large change in the angle of view is detected by the angle-of-view determination unit and the angle of view is subsequently stabilized are captured, a moving image is captured. Causing the imaging unit to capture a still image in the background,
After taking a plurality of still images in the background, if it is detected again that the acceleration applied to the imaging device main body is abruptly changed by the acceleration sensor, or a subject image is taken by the view angle determination unit An image capturing method including transitioning to a moving image mode in which the image capturing unit does not capture a still image in the background when it is determined that there has been a change in the angle of view .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012021117A JP5945425B2 (en) | 2012-02-02 | 2012-02-02 | Imaging apparatus and imaging method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012021117A JP5945425B2 (en) | 2012-02-02 | 2012-02-02 | Imaging apparatus and imaging method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013162233A JP2013162233A (en) | 2013-08-19 |
| JP5945425B2 true JP5945425B2 (en) | 2016-07-05 |
Family
ID=49174170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012021117A Expired - Fee Related JP5945425B2 (en) | 2012-02-02 | 2012-02-02 | Imaging apparatus and imaging method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5945425B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243819B (en) * | 2014-08-29 | 2018-02-23 | 小米科技有限责任公司 | Photo acquisition methods and device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4341936B2 (en) * | 1998-12-25 | 2009-10-14 | カシオ計算機株式会社 | Imaging method and imaging apparatus |
| JP2005229235A (en) * | 2004-02-12 | 2005-08-25 | Casio Comput Co Ltd | Camera system and program |
| JP4760918B2 (en) * | 2009-01-23 | 2011-08-31 | カシオ計算機株式会社 | Imaging apparatus, subject tracking method, and program |
| JP2010226430A (en) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | Image pickup device and method for starting up power supply thereof |
| JP2010268400A (en) * | 2009-05-18 | 2010-11-25 | Nikon Corp | Electronic camera |
| JP5625325B2 (en) * | 2009-11-02 | 2014-11-19 | カシオ計算機株式会社 | Image data recording apparatus and image data recording program |
| JP5163774B2 (en) * | 2011-05-25 | 2013-03-13 | カシオ計算機株式会社 | Imaging control apparatus, imaging control method, and program |
-
2012
- 2012-02-02 JP JP2012021117A patent/JP5945425B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013162233A (en) | 2013-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7948526B2 (en) | Imaging apparatus, imaging method and program thereof | |
| US8736689B2 (en) | Imaging apparatus and image processing method | |
| JP4018695B2 (en) | Method and apparatus for continuous focusing and exposure adjustment in a digital imaging device | |
| US20080181460A1 (en) | Imaging apparatus and imaging method | |
| JP7036423B2 (en) | Controls, control methods and control programs | |
| JP2008276214A (en) | Digital camera | |
| EP3363191B1 (en) | Omnidirectional camera with movement detection | |
| US20070237513A1 (en) | Photographing method and photographing apparatus | |
| JP4798506B2 (en) | Imaging apparatus and program thereof | |
| US7860385B2 (en) | Autofocus system | |
| JP4501927B2 (en) | Imaging apparatus and program thereof | |
| JP2005338352A (en) | Autofocus system | |
| JP5332160B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP2007133301A (en) | Autofocus camera | |
| JP4902577B2 (en) | Auto focus system | |
| JP5945425B2 (en) | Imaging apparatus and imaging method thereof | |
| JP5423187B2 (en) | Imaging apparatus, image selection method, and program | |
| JP2011018989A (en) | Imaging device, image selection method, and program | |
| JP5586215B2 (en) | camera | |
| JP2005333420A (en) | Electronic camera apparatus | |
| US8073319B2 (en) | Photographing method and photographing apparatus based on face detection and photography conditions | |
| JP2008104070A (en) | Portable apparatus with camera and program for portable apparatus with camera | |
| JP5257496B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP5358826B2 (en) | Digital camera | |
| JP5048559B2 (en) | Auto focus system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141119 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160530 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5945425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |