JP5386915B2 - Movie imaging apparatus, movie imaging method, and program - Google Patents

Movie imaging apparatus, movie imaging method, and program Download PDF

Info

Publication number
JP5386915B2
JP5386915B2 JP2008252846A JP2008252846A JP5386915B2 JP 5386915 B2 JP5386915 B2 JP 5386915B2 JP 2008252846 A JP2008252846 A JP 2008252846A JP 2008252846 A JP2008252846 A JP 2008252846A JP 5386915 B2 JP5386915 B2 JP 5386915B2
Authority
JP
Japan
Prior art keywords
recording
moving image
frame
factor
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008252846A
Other languages
Japanese (ja)
Other versions
JP2010087712A (en
JP2010087712A5 (en
Inventor
祐司 栗山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008252846A priority Critical patent/JP5386915B2/en
Publication of JP2010087712A publication Critical patent/JP2010087712A/en
Publication of JP2010087712A5 publication Critical patent/JP2010087712A5/ja
Application granted granted Critical
Publication of JP5386915B2 publication Critical patent/JP5386915B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画撮像装置、動画撮像方法、及びプログラムに関する。   The present invention relates to a moving image capturing apparatus, a moving image capturing method, and a program.

従来より、デジタルカメラなどにおいて、動画撮影機能を有し、動画撮影時に位置情報を付加し、動画撮影後、付加された位置情報を利用して様々な処理を行う技術が知られている(例えば、特許文献1、特許文献2、特許文献3参照)。   2. Description of the Related Art Conventionally, in digital cameras and the like, a technique is known that has a moving image shooting function, adds position information at the time of moving image shooting, and performs various processes using the added position information after moving image shooting (for example, Patent Document 1, Patent Document 2, and Patent Document 3).

特開2004−140433号公報JP 2004-140433 A 特開2002−374443号公報JP 2002-374443 A 特開2001−8140号公報Japanese Patent Laid-Open No. 2001-8140

しかしながら、上記従来技術によるデジタルカメラでは、動画データに位置情報を付加する際に、全てのフレームに付加すると処理効率や、記録効率が悪いため、一定の時間間隔(例えば、30フレームに1回の割合)や、一定の移動距離などで位置情報を付加している。このため、撮影後に何らかのアプリケーションなどで利用しようとしても、所望するフレームの位置情報が得られないなど、利便性が悪いという問題があった。   However, in the digital camera according to the above-described prior art, when position information is added to moving image data, if it is added to all frames, processing efficiency and recording efficiency are poor, and therefore, a certain time interval (for example, once every 30 frames). Ratio) and a certain moving distance are added. For this reason, there is a problem in that the convenience is poor because, for example, the position information of the desired frame cannot be obtained even if it is used for some application after shooting.

そこで本発明は、指定した記録要因が発生したときに撮像されたフレームを示す情報を動画とともに記録することで、動画撮影時における処理効率及び記録効率を向上させることができ、かつ、動画撮影後の利用における利便性を向上させることができる動画撮像装置、動画撮像方法、及びプログラムを提供することを目的とする。   Therefore, the present invention can improve processing efficiency and recording efficiency at the time of moving image shooting by recording information indicating a frame captured when a designated recording factor occurs together with the moving image, and after moving image shooting. An object of the present invention is to provide a moving image capturing apparatus, a moving image capturing method, and a program that can improve the convenience of use of the video.

上記目的達成のため、本発明による動画撮像装置は、動画を撮像記録する動画撮像手段と、前記動画撮像手段による動画の撮像記録中に、位置情報を逐次取得する位置情報取得手段と、前記位置情報取得手段により逐次取得される位置情報に基づいて、位置に関する複数種類の事象のいずれかが発生したことを特定する特定手段と、前記動画撮像手段による動画の撮像記録を行う前に、前記動画撮像手段により撮像される動画のフレームを選択するための条件となる記録要因を、前記特定手段により特定可能な位置に関する複数種類の事象の中から任意に選択して指定する記録要因指定手段と、前記動画撮像手段による動画の撮像記録動作中に、前記記録要因指定手段により指定された記録要因に該当する事象が発生したことが前記特定手段により特定されると、該記録要因の発生時点における前記動画撮像手段により撮像された動画のフレームを所定の処理の対象として逐次選択していくフレーム選択手段とを備え、前記特定手段は、各々の種類の事象において、その事象の発生の程度を更に特定し、前記記録要因指定手段は、前記記録要因として、事象の種類と当該事象の発生の程度の両方を任意に指定することを特徴とする。 To achieve the above object, a moving image capturing apparatus according to the present invention includes a moving image capturing unit that captures and records a moving image, a position information acquisition unit that sequentially acquires position information during capturing and recording of a moving image by the moving image capturing unit, and the position Based on the position information sequentially acquired by the information acquisition means, a specifying means for specifying that any of a plurality of types of events related to the position has occurred, and before the moving image is recorded by the moving image imaging means, the moving image A recording factor designating unit that arbitrarily selects and designates a recording factor as a condition for selecting a frame of a moving image captured by the imaging unit from among a plurality of types of events related to a position that can be identified by the identifying unit; The specifying means that an event corresponding to the recording factor specified by the recording factor specifying means has occurred during the moving picture imaging / recording operation by the moving picture imaging means. Once more particularly, a frame selection means to continue to sequentially select the video frames captured as an object of predetermined processing by said video imaging means in time point of generation of the recording factors, said specifying means, each In the type of event, the degree of occurrence of the event is further specified, and the recording factor designation means arbitrarily designates both the type of event and the degree of occurrence of the event as the recording factor .

また、好ましい態様として更に、前記動画撮像手段による動画の撮像記録動作中に前記フレーム選択手段により選択された複数のフレームを示すフレーム選択情報を、前記動画撮像手段により撮像記録された動画に対応付けて記録するフレーム選択情報記録手段を更に備えることを特徴とする。
また、好ましい態様として更に、前記フレーム選択情報記録手段は、前記動画撮像手段による動画の撮像記録動作中に、前記記録要因指定手段により指定された記録要因に該当する事象が発生すると、前記記録要因の発生時点における前記位置情報取得手段により取得した位置情報を、前記フレーム選択手段により選択されるフレームを示すフレーム選択情報に対応付けて記録することを特徴とする。
Further, as a preferred aspect, further, frame selection information indicating a plurality of frames selected by the frame selection unit during a moving image capturing / recording operation by the moving image capturing unit is associated with the moving image captured and recorded by the moving image capturing unit. And a frame selection information recording means for recording.
Further, as a preferred aspect, when the event corresponding to the recording factor specified by the recording factor specifying unit occurs during the moving image capturing / recording operation by the moving image capturing unit, the frame selection information recording unit The position information acquired by the position information acquisition unit at the time of occurrence of the above is recorded in association with frame selection information indicating a frame selected by the frame selection unit.

また、好ましい態様として更に、前記フレーム選択情報記録手段は、前記動画撮像手段による動画の撮像記録動作中に、前記記録要因指定手段により指定された記録要因に該当する事象が発生すると、この発生した記録要因を示す情報を、記フレーム選択手段により選択されるフレームを示すフレーム選択情報に対応付けて記録することを特徴とする。
Further, as a preferred aspect , the frame selection information recording means is generated when an event corresponding to the recording factor specified by the recording factor specifying means occurs during the moving image capturing / recording operation by the moving image capturing means. Information indicating a recording factor is recorded in association with frame selection information indicating a frame selected by the frame selection means.

また、好ましい態様として更に、前記動画撮像手段による動画の撮像記録動作中に前記フレーム選択手段により選択された複数のフレームの個数を更に記憶する選択個数情報記録手段を更に備えることを特徴とする。 In a preferred aspect, the apparatus further comprises selection number information recording means for further storing the number of a plurality of frames selected by the frame selection means during the moving picture imaging / recording operation by the moving picture imaging means.

また、好ましい態様として更に、前記特定手段が特定可能な複数種類の事象には、距離の変化と方向の変化を含み、前記記録要因指定手段は、距離の変化と方向の変化を含む複数種類の事象の中から前記記録要因を選択することを特徴とする。
また、好ましい態様として更に、前記特定手段が特定可能な複数種類の事象には、方向の変化を含み、相対的な方向の変化と絶対的な方位を特定可能であり、前記記録要因指定手段は、前記記録要因として、相対的な方向の変化量と絶対的な方位とを指定可能であることを特徴とする。
Further, as a preferred aspect, the plurality of types of events that can be specified by the specifying unit include a change in distance and a change in direction, and the recording factor specifying unit includes a plurality of types of events including a change in distance and a change in direction. The recording factor is selected from events.
Further, as a preferred aspect, the plurality of types of events that can be specified by the specifying means include a change in direction, and a change in relative direction and an absolute direction can be specified. As the recording factor, it is possible to designate a relative direction change amount and an absolute direction.

また、好ましい態様として更に、撮像記録後の動画ファイルを用いて所定の処理を実行する複数の処理機能に対して、それぞれの処理機能で利用可能な記録要因を記憶する記憶手段と、前記撮像記録後の動画ファイルに対して利用する処理機能を指定する処理機能指定手段とを更に具備し、前記記録要因指定手段は、前記処理機能指定手段により指定された処理機能に対して前記記憶手段に記憶されている記録要因を、前記指定された記録要因とすることを特徴とする。 Further, as a preferable aspect, for a plurality of processing functions for executing predetermined processing using a moving image file after imaging and recording, storage means for storing recording factors usable in each processing function, and the imaging and recording Processing function specifying means for specifying a processing function to be used for a later moving image file, and the recording factor specifying means stores the processing function specified by the processing function specifying means in the storage means. The designated recording factor is the designated recording factor.

また、好ましい態様として更に、前記フレーム選択情報記録手段により記録されたフレーム選択情報で示される複数のフレームを、該フレーム選択情報に対応して記録されている動画から抽出するフレーム抽出手段と、前記フレーム抽出手段により抽出された複数のフレームに対して所定の処理を実行する処理手段とを更に具備することを特徴とする。 Further, as a preferred aspect, the frame extraction means for extracting a plurality of frames indicated by the frame selection information recorded by the frame selection information recording means from a moving image recorded corresponding to the frame selection information; The image processing apparatus further includes processing means for executing predetermined processing on the plurality of frames extracted by the frame extraction means.

また、好ましい態様として更に、前記フレーム選択情報記録手段により記録されたフレーム選択情報で示される複数のフレームを、該フレーム選択情報に対応して記録されている動画から抽出するフレーム抽出手段と、前記フレーム選択情報に対応付けて記録された前記位置情報に基づいて、前記フレーム抽出手段により抽出されたフレームに対して所定の処理を実行する処理手段とを更に具備することを特徴とする。 Further, as a preferred aspect, the frame extraction means for extracting a plurality of frames indicated by the frame selection information recorded by the frame selection information recording means from a moving image recorded corresponding to the frame selection information; The image processing apparatus further includes processing means for executing a predetermined process on the frame extracted by the frame extraction means based on the position information recorded in association with frame selection information.

上記目的達成のため、本発明による動画撮像方法は、動画を撮像記録する動画撮像処理と、前記動画撮像処理による動画の撮像記録中に、位置情報を逐次取得する位置情報取得処理と、前記逐次取得される位置情報に基づいて、位置に関する複数種類の事象のいずれかが発生したことを特定する特定処理と、前記撮像記録される動画のフレームを選択するための条件となる記録要因を、前記特定処理により特定可能な位置に関する複数種類の事象の中から任意に選択して指定する記録要因指定処理と、動画の撮像記録中に、前記指定された記録要因に該当する事象が発生したことが前記特定処理により特定されると、該記録要因の発生時点で撮像された動画のフレームを所定の処理の対象として逐次選択していくフレーム選択処理を含み、前記特定処理は、各々の種類の事象において、その事象の発生の程度を更に特定し、前記記録要因指定処理は、前記記録要因として、事象の種類と当該事象の発生の程度の両方を任意に指定することを特徴とする。 For the purposes achieved, moving image capturing method according to the invention, a video imaging process that images recorded video during video imaging and recording by the video imaging process, the position information acquisition process for sequentially acquiring position information, the sequential Based on the acquired position information, a specific process for specifying that any of a plurality of types of events related to the position has occurred, and a recording factor that is a condition for selecting a frame of the moving image to be recorded and recording factors designation process for designating selected arbitrarily from among a plurality of types of events relating to identifiable position by a particular process, moving during imaging and recording of that event corresponding to the designated recording factor occurs Once identified by the identification process, and a sequential selection to continue frame selecting process a video frame captured at time point of generation of the recording factors as the target of the predetermined processing, The identification process further specifies the degree of occurrence of each type of event, and the recording factor designation process arbitrarily specifies both the type of event and the degree of occurrence of the event as the recording factor. It is characterized by specifying .

上記目的達成のため、本発明によるプログラムは、動画を撮像する動画撮像装置の動作を制御するプログラムであって、コンピュータに、動画を撮像記録する動画撮像機能、前記動画撮像手段による動画の撮像記録中に、位置情報を逐次取得する位置情報取得機能、前記位置情報取得機能により逐次取得される位置情報に基づいて、位置に関する複数種類の事象のいずれかが発生したことを特定する特定機能、前記動画撮像機能により撮像される動画のフレームを選択するための条件となる記録要因を、前記特定手段により特定可能な位置に関する複数種類の事象の中から任意に選択して指定する記録要因指定機能、前記動画撮像機能による動画の撮像記録動作中に、前記記録要因指定機能により指定された記録要因に該当する事象が発生したことが前記特定手段により特定されると、該記録要因の発生時点における前記動画撮像機能により撮像された動画のフレームを所定の処理の対象として逐次選択していくフレーム選択機能、を実現させ、前記特定機能は、各々の種類の事象において、その事象の発生の程度を更に特定し、前記記録要因指定機能は、前記記録要因として、事象の種類と当該事象の発生の程度の両方を任意に指定することを特徴とする。 In order to achieve the above object, a program according to the present invention is a program for controlling the operation of a moving image capturing apparatus that captures a moving image. The moving image capturing function that captures and records a moving image on a computer, A position information acquisition function for sequentially acquiring position information, a specification function for specifying that one of a plurality of types of events related to the position has occurred based on the position information sequentially acquired by the position information acquisition function, A recording factor specifying function for arbitrarily selecting and specifying a recording factor as a condition for selecting a frame of a moving image captured by the moving image capturing function from a plurality of types of events related to a position that can be specified by the specifying unit; An event corresponding to the recording factor specified by the recording factor specifying function occurs during the moving image capturing / recording operation by the moving image capturing function. If it is specified by the specifying means, to realize the frame selection function, which will sequentially select the video frames captured as an object of predetermined processing by the moving image pickup function of time point of generation of the recording factors, the The specific function further specifies the degree of occurrence of the event in each type of event, and the recording factor designation function arbitrarily designates both the type of event and the degree of occurrence of the event as the recording factor. characterized in that it.

この発明によれば、事象の種類と当該事象の発生の程度の両方で指定した記録要因が発生したときに撮像されたフレームを示す情報を動画とともに記録することで、動画撮影時における処理効率及び記録効率を向上させることができ、かつ、動画撮影後の利用における利便性を向上させることができるという利点が得られる。 According to the present invention, the information indicating the frame that is captured when the recording factor specified by both the type of event and the degree of occurrence of the event occurs is recorded together with the moving image. There are advantages in that the recording efficiency can be improved and the convenience in use after moving image shooting can be improved.

以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

A.実施形態の構成
図1は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部10は、レンズ11、シャッタ12、LPF13からなる。レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ12は、シャッタボタン7が操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行なう。LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a digital camera according to an embodiment of the present invention. In the figure, the image acquisition unit 10 includes a lens 11, a shutter 12, and an LPF 13. The lens 11 is a normal optical lens and includes a lens group in which aspherical lenses are stacked. The shutter 12 is a so-called mechanical shutter that is operated by a driver 14 driven by the control unit 20 when the shutter button 7 is operated. Depending on the digital camera, a mechanical shutter may not be provided, and in the case of a model equipped with a retractable lens structure and mechanical zoom, these drivers are also controlled by the driver 14. The LPF 13 is a crystal low-pass filter and is mounted to prevent the occurrence of moire.

次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行なう。A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。   Next, the analog signal processing unit 15 includes an image sensor (CCD, CMOS) 16, a sampling / signal amplification processing unit 17, and an A / D converter 18. The imaging sensor 16 forms a subject image (image), and converts the intensity of light of each color of RGB into a current value. The sampling / signal amplification processing unit 17 performs correlated double sampling processing and signal amplification processing for suppressing noise and color unevenness. The A / D converter 18 is also called an analog front end, and converts the sampled / amplified analog signal into a digital signal (converts each color of RGB and CMYG into 12-bit data and outputs it to the bus line).

次に、制御部(CPU)20は、後述するプログラムメモリ格納されるプログラムに基づいてデジタルカメラ(撮像装置)の全体を制御する。特に、本実施形態では、制御部(CPU)20は、動画撮影中に、音声データと映像データとを多重化し、動画ファイルを生成するとともに、動画のフレームを選択するための条件となる、後述するキー操作部27から指定された記録要因に該当する事象が発生した場合に、その時点のフレーム番号に対応付けて、その記録要因を示す情報や、後述する位置情報入力部34により取得された位置情報などを、逐次、選択フレームファイルに記録する。なお、記録要因及び選択フレームファイルの詳細については後述する。   Next, the control unit (CPU) 20 controls the entire digital camera (imaging device) based on a program stored in a program memory described later. In particular, in the present embodiment, the control unit (CPU) 20 multiplexes audio data and video data during moving image shooting, generates a moving image file, and becomes a condition for selecting a frame of the moving image, which will be described later. When an event corresponding to the recording factor designated by the key operating unit 27 occurs, the information indicating the recording factor in association with the frame number at that time, or the position information input unit 34 described later is acquired. Position information and the like are sequentially recorded in the selected frame file. Details of the recording factor and the selected frame file will be described later.

また、制御部(CPU)20は、動画撮影後に、所望するフレーム画像を検索するための検索要因(=記録要因)が、キー操作部27から指定されると、撮影後の動画ファイル、及び選択フレームファイルを用いて、動画ファイルから、検索要因に該当するフレーム画象や、その位置情報を検索して抽出し、所定の処理(例えば、スライドショー表示や、ムービープリント)を行う。   In addition, when a search factor (= recording factor) for searching for a desired frame image is designated from the key operation unit 27 after moving image shooting, the control unit (CPU) 20 selects a moving image file after shooting and selection. Using the frame file, a frame image corresponding to the search factor and its position information are searched and extracted from the moving image file, and a predetermined process (for example, slide show display or movie print) is performed.

計時部21は、動画撮像開始からの経過時間を計時する。プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行なう。   The timer unit 21 measures the elapsed time from the start of moving image capturing. The preview engine 22 is stored in the image buffer 26 immediately after detection of digital data input via the image acquisition unit 10 and the analog signal processing unit 15 in the recording mode (also referred to as recording mode or photographing mode) or shutter operation detection. Thinning processing is performed in order to display the digital data and the digital data stored in the image memory 31 on the display unit 25.

D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。   The D / A converter 23 converts the digital data thinned out by the preview engine 22 and outputs it to the driver 24 at the subsequent stage. The driver 24 includes a buffer area for temporarily storing digital data displayed on the display unit 25 at the subsequent stage, and drives the display unit 25 based on a control signal input via the key operation unit 27 and the control unit 20. The display unit 25 includes a color TFT liquid crystal, an STN liquid crystal, or the like, and displays a preview image, image data after shooting, a setting menu, and the like.

イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部27は、シャッタボタン7を含め、記録/再生モードの切り換えキー、十字キー、メニューキー等などの各種操作キーや、位置情報を記録する際の条件となる上記記録要因などを入力する入力キーなどからなる。デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータ(非圧縮のRAWイメージデータ)に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調を行なう。画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータ(非圧縮のRAWイメージデータ)をJPEG方式に圧縮符号化したり、再生モードにおいては、JPEG形式のファイルを伸張する。   The image buffer 26 temporarily stores digital data immediately after photographing until it is input via the analog signal processing unit 15 or the digital signal processing unit 28 and passed to the digital signal processing unit 28. The key operation unit 27 inputs various operation keys such as a recording / playback mode switching key, a cross key, a menu key, and the like, a recording factor as a condition for recording position information, and the like including the shutter button 7. It consists of input keys. The digital signal processing unit 28 performs white balance processing, color processing, gradation processing, and outline emphasis on the digital data (uncompressed RAW image data) input via the analog signal processing unit 15. The image compression / decompression processing unit 29 compresses and encodes digital data (uncompressed RAW image data) input via the digital signal processing unit 28 into the JPEG format, or decompresses a JPEG format file in the playback mode. To do.

プログラムメモリ30は、制御部20にロードされる各種プログラムや、ベストショット機能におけるEV値、色補正情報等の各種をテーブル単位で格納する。また、DCF規格に準拠されているファイルに埋め込むべき各種情報も記憶している。画像メモリ31は、各種ファイル形式に変換されたデジタルデータを格納する。カードI/F32は、外部記録媒体33と撮像装置本体との間のデータ交換を制御する。外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる。   The program memory 30 stores various programs loaded in the control unit 20, various values such as EV values and color correction information in the best shot function in units of tables. In addition, various information to be embedded in a file compliant with the DCF standard is also stored. The image memory 31 stores digital data converted into various file formats. The card I / F 32 controls data exchange between the external recording medium 33 and the imaging apparatus main body. The external recording medium 33 includes a compact flash (registered trademark), a memory stick, an SD card, and the like.

位置情報入力部34は、GPSなどからなり、所定の時間間隔で現在位置を示す位置情報(緯度、経度)を取得する。マイクロフォン36は、動画撮影時などに音声を入力する。スピーカ37は、動画再生時などに音声を出力する。音声処理部38は、所定のコーディックにより符号化(圧縮)/復号化(伸張)などを行うことにより、スピーカ37へ出力する音声データのアナログ化、マイクロフォン36からの音声信号のデジタル化などを行う。   The position information input unit 34 includes a GPS or the like, and acquires position information (latitude and longitude) indicating the current position at a predetermined time interval. The microphone 36 inputs sound when shooting a moving image. The speaker 37 outputs sound when playing back a moving image. The audio processing unit 38 performs encoding (compression) / decoding (decompression) or the like using a predetermined codec, thereby converting the audio data output to the speaker 37 into an analog signal and digitizing the audio signal from the microphone 36. .

図2は、本実施形態で作成される選択フレームファイルの構成を示す概念図である。本実施形態では、撮影した動画とともに、予め指定されている記録要因に合致する状態になった場合に位置情報などを動画ファイルとは別の選択フレームファイルとして記憶するようになっている。図2に示すように、選択フレームファイルは、記録されたフレーム数を示す選択フレーム個数、位置情報が記録されたフレームのフレーム番号、そのフレームが記録された要因を示す記録要因、そのフレームが記録された位置を示す座標、そのフレームが記録されたときの進行方向を示す方位からなる。記録要因としては、時間経過、距離変化、方向変化、指定方向、及び、これらの組合せがある。   FIG. 2 is a conceptual diagram showing the configuration of the selected frame file created in this embodiment. In the present embodiment, the position information and the like are stored as a selected frame file different from the moving image file when the moving image is in a state that matches a pre-specified recording factor together with the captured moving image. As shown in FIG. 2, the selected frame file includes the number of selected frames indicating the number of recorded frames, the frame number of the frame where the position information is recorded, the recording factor indicating the factor that recorded the frame, and the frame recorded. It is composed of coordinates indicating the recorded position and an azimuth indicating the traveling direction when the frame is recorded. As recording factors, there are time passage, distance change, direction change, designated direction, and a combination thereof.

図示の例では、選択フレーム個数が「5」であることから、全部で5フレームが記録されていることが分かる。記録されているフレームとしては、フレーム番号「1」、「2345」、「6789」、「12345」、及び「23456」が記録されている。また、それぞれのフレームの記録要因は、フレーム番号「1」が先頭フレーム、フレーム番号「2345」が位置変化、フレーム番号「6789」が方向変化、フレーム番号「12345」が指定された方向への方向変化、フレーム番号「23456」が位置変化、または方向変化である。そして、それぞれのフレーム毎に記録要因が発生し、フレームが記録されたときの位置を示す座標と、そのときの進行方向を示す方位とが記録されている。   In the illustrated example, since the number of selected frames is “5”, it can be seen that a total of 5 frames are recorded. As the recorded frames, frame numbers “1”, “2345”, “6789”, “12345”, and “23456” are recorded. In addition, the recording factor of each frame is that the frame number “1” is the leading frame, the frame number “2345” is the position change, the frame number “6789” is the direction change, and the direction is the direction in which the frame number “12345” is specified. Change, frame number “23456” is a position change or direction change. A recording factor is generated for each frame, and coordinates indicating a position when the frame is recorded and an azimuth indicating a traveling direction at that time are recorded.

図3(a)〜(c)は、本実施形態において、位置情報を記録するフレームを指定するための位置データ記録要因設定画面の一例を示す模式図である。図3(a)〜(c)に示すように、位置データ記録要因設定画面には、位置情報を記録するフレームを指定する指定項目として、時間経過、距離変化、方向変化、指定方向が表示され、それぞれに対して、有効/無効を指示するチェックボックス、及び具体的な数値を入力するための入力ボックスが表示されている。ユーザは、該位置データ記録要因設定画面において、位置情報を記録したいフレームを指定すべく、所望する項目のチェックボックスをチェックし、具体的な数値を入力すればよい。   FIGS. 3A to 3C are schematic views showing an example of a position data recording factor setting screen for designating a frame for recording position information in the present embodiment. As shown in FIGS. 3A to 3C, the position data recording factor setting screen displays time, distance change, direction change, and designated direction as designation items for designating a frame for recording position information. For each, a check box for instructing validity / invalidity and an input box for inputting a specific numerical value are displayed. On the position data recording factor setting screen, the user may check a check box of a desired item and input a specific numerical value in order to designate a frame for which position information is to be recorded.

図3(a)には、距離が50m以上変化する毎、及び進行方向が30°以上変化する毎に、記録要因の情報とともに位置情報を記録するよう指定している状態が示されている。また、図3(b)には、進行方向が北北東に変化した瞬間に、記録要因の情報とともに位置情報を記録するよう指定している状態が示されている。また、図3(c)には、進行方向が北北東から北東の間にある間は、時間が20秒経過する毎に、録要因の情報とともに位置情報を記録するよう指定している状態が示されている。   FIG. 3A shows a state in which the position information is specified to be recorded together with the recording factor information every time the distance changes by 50 m or more and every time the traveling direction changes by 30 ° or more. FIG. 3B shows a state in which the position information is specified to be recorded together with the recording factor information at the moment when the traveling direction changes from north to northeast. Further, in FIG. 3C, while the traveling direction is between the north-northeast and the north-east, every time 20 seconds elapses, it is designated that the position information is recorded together with the recording factor information. It is shown.

このように、本実施形態では、どのような条件になった場合に位置情報を記録するかを、さまざまな条件を指定することで、さらには、それら条件を組み合わせることで詳細に、かつ具体的に指定することが可能になっている。このため、撮影後に、撮影時と同様に、さまざまな条件を指定したり、それらの条件を組み合わせたりすることで、所望するフレームを抽出することが可能となり、さまざまな利用用途に用いることができるようになる。   As described above, in the present embodiment, by specifying various conditions, the condition information is recorded when the conditions are met, and further, by combining these conditions in detail and concretely. It is possible to specify. For this reason, after shooting, it is possible to extract a desired frame by specifying various conditions or combining those conditions as in shooting, and it can be used for various uses. It becomes like this.

次に、図4は、本実施形態において、撮影後に用いるアプリケーションを指定することで自動的に設定される記録要因を示す概念図である。本実施形態では、撮影後に、さまざまなアプリケーションから前述した選択フレームファイル(図2)を参照することで、撮影後の動画から所望する条件に合ったフレームを抽出して利用することが可能である。そこで、本実施形態では、撮影前に、予め撮影後に利用するアプリケーションを指定することで、そのアプリケーションに適切な記録要因を自動的に設定するようになっている。   Next, FIG. 4 is a conceptual diagram showing recording factors that are automatically set by designating an application to be used after shooting in the present embodiment. In this embodiment, it is possible to extract and use a frame that meets a desired condition from a moving image after shooting by referring to the above-described selected frame file (FIG. 2) from various applications after shooting. . Therefore, in this embodiment, by specifying an application to be used after shooting before shooting, an appropriate recording factor for the application is automatically set.

撮影後に用いるアプリケーションとしては、例えば、スライドショー、ムービープリント、ナビゲーションなどがある。スライドショーでは、記録要因として、時間経過と距離変化(AND条件)が自動的に設定される。また、ムービープリントでは、記録要因として、距離変化が自動的に設定される。また、ナビゲーションでは、記録要因として、方向変化が自動的に設定される。これらアプリケーションと記録要因との組み合わせは、予めデフォルトとして設定されているが、ユーザ操作により任意に再設定可能になっている。   Examples of applications used after shooting include a slide show, movie print, and navigation. In the slide show, time passage and distance change (AND condition) are automatically set as recording factors. In movie print, a change in distance is automatically set as a recording factor. In navigation, a change in direction is automatically set as a recording factor. The combinations of these applications and recording factors are set in advance as defaults, but can be arbitrarily reset by a user operation.

図5は、本実施形態において、撮影後に利用を想定するアプリケーションを設定する際のアプリケーション設定画面を示す模式図である。本実施形態では、上述したように、撮影後に利用するアプリケーションを指定することで、そのアプリケーションに適切な記録要因を自動的に設定するようになっている。そこで、本実施形態では、図5に示すように、利用するアプリケーションを指定するためのアプリケーション設定画面を用意している。   FIG. 5 is a schematic diagram showing an application setting screen when setting an application assumed to be used after shooting in the present embodiment. In the present embodiment, as described above, by specifying an application to be used after shooting, a recording factor appropriate for the application is automatically set. Therefore, in the present embodiment, as shown in FIG. 5, an application setting screen for specifying an application to be used is prepared.

アプリケーション設定画面には、利用可能なアプリケーションの一覧と、それぞれを指定するためのチェックボックスとが表示される。ユーザは、該アプリケーション設定画面において、利用したいアプリケーションを指定すべく、所望するアプリケーションのチェックボックスをチェックすればよい。アプリケーションを指定することで、図4に示す記録要因が自動的に設定され、動画撮影時には、設定された記録要因が満足する場合にその時点のフレームに対応付けて位置情報などを記録するようになっている。   On the application setting screen, a list of available applications and a check box for specifying each are displayed. On the application setting screen, the user may check a check box of a desired application in order to specify an application to be used. By specifying an application, the recording factors shown in FIG. 4 are automatically set, and when shooting a moving image, if the set recording factors are satisfied, position information or the like is recorded in association with the frame at that time. It has become.

B.実施形態の動作
次に、上述した実施形態の動作について説明する。
図6及び図7は、本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。なお、図示のフローチャートにおいて、ステップS10〜S40のループは、動画撮影時のフレームレートに同期して実行され、動画撮影時のフレーム毎に実行される。例えば、動画撮影時のフレームレートが30fpsであれば、ステップS10〜S40のループは、1/30秒毎に実行される。また、動画撮影に際して、記録要因は、前述した図3(a)〜(c)に示す位置データ記録要因設定画面や、図5に示すアプリケーション設定画面で予め設定されているものとする。
B. Operation of Embodiment Next, the operation of the above-described embodiment will be described.
6 and 7 are flowcharts for explaining the operation of the digital camera according to the present embodiment. In the illustrated flowchart, the loop of steps S10 to S40 is executed in synchronization with the frame rate at the time of moving image shooting, and is executed for each frame at the time of moving image shooting. For example, if the frame rate at the time of moving image shooting is 30 fps, the loop of steps S10 to S40 is executed every 1/30 seconds. Further, it is assumed that the recording factors are set in advance on the position data recording factor setting screen shown in FIGS. 3A to 3C and the application setting screen shown in FIG.

まず、現在の位置情報を取得し(ステップS10)、後述するステップで記憶しておいた1フレーム前の位置情報との比較により、移動距離及び移動方向を算出する(ステップS12)。なお、移動距離及び移動方向は、撮影開始からの累積値であり、後述するステップで記録要因の条件に合致した場合にクリアされる。次に、現在の位置情報を所定のレジスタなどに一時保持する(ステップS14)。該位置情報は、上記ステップS12での1フレーム前の位置情報として用いられる。次に、記録要因(レジスタ)を「なし(クリア)」とする(ステップS16)。   First, the current position information is acquired (step S10), and the moving distance and the moving direction are calculated by comparison with the position information of one frame before stored in the step described later (step S12). Note that the moving distance and moving direction are cumulative values from the start of shooting, and are cleared when the conditions of the recording factor are met in the steps described later. Next, the current position information is temporarily held in a predetermined register or the like (step S14). The position information is used as position information one frame before in step S12. Next, the recording factor (register) is set to “none (clear)” (step S16).

次に、記録要因として、時間経過が指定されており、かつ、撮影開始からの時間経過が指定された時間経過に達したか否かを判断し(ステップS18)、該記録要因が満足すれば、選択フレームファイルの記録要因に、「時間経過」を記録する(ステップS20)。   Next, it is determined whether the passage of time is designated as a recording factor and whether the passage of time from the start of photographing has reached the designated passage of time (step S18), and if the recording factor is satisfied. Then, “time elapsed” is recorded as the recording factor of the selected frame file (step S20).

また、記録要因として、距離変化(移動距離)が指定されており、かつ、距離が指定された以上変化したか否かを判断し(ステップS22)、該記録要因が満足すれば、選択フレームファイルの記録要因に、「位置変化」を記録する(ステップS24)。   Further, it is determined whether a change in distance (movement distance) is designated as a recording factor, and whether the distance has changed more than the designated value (step S22). If the recording factor is satisfied, the selected frame file is determined. The “position change” is recorded as the recording factor (step S24).

また、記録要因として、方向変化が指定されており、かつ、方向が指定された以上変化したか否かを判断し(ステップS26)、該記録要因が満足すれば、選択フレームファイルの記録要因に、「方向変化」を記録する(ステップS28)。   Further, it is determined whether or not the direction change is designated as a recording factor and whether or not the direction has changed more than the designated value (step S26). If the recording factor is satisfied, the recording factor of the selected frame file is determined. , “Direction change” is recorded (step S28).

また、記録要因として、方向が指定されており、かつ、移動方向が指定された方向に変化したか否かを判断し(ステップS26)、該記録要因が満足すれば、選択フレームファイルの記録要因に、「方向変化」を記録する(ステップS28)。   Further, it is determined whether or not the direction is designated as the recording factor and the moving direction has changed to the designated direction (step S26). If the recording factor is satisfied, the recording factor of the selected frame file is determined. "Direction change" is recorded (step S28).

次に、何からの記録要因が満足したか否かを判断し(ステップS34)、上述したステップS18〜S32で、いずれかの記録要因が満足していれば、現在の位置情報を選択フレームファイルの座標に、移動方向を方位に記録し(ステップS36)、選択フレームファイルに記録されたフレームに付ける連番、及びフレーム番号を記録する(ステップS38)。一方、上述したステップS18〜S32で、1つの記録要因も満足していなければ、座標、及び方位、ならびに連番、フレーム番号を記録することはない。当然、この場合、記録要因も何ら記録されない。   Next, it is determined whether or not the recording factor is satisfied (step S34). If any of the recording factors is satisfied in the above-described steps S18 to S32, the current position information is selected as the selected frame file. The moving direction is recorded at the coordinates of the direction (step S36), and the serial number and frame number assigned to the frame recorded in the selected frame file are recorded (step S38). On the other hand, if one recording factor is not satisfied in the above-described steps S18 to S32, the coordinates, direction, serial number, and frame number are not recorded. Of course, in this case, no recording factor is recorded.

次に、動画撮影が継続しているか否かを判断し(ステップS40)、動画撮影が継続している場合には、ステップS10に戻り、次のフレームに対して上述した処理を繰り返す。一方、動画撮影が終了した場合には、選択フレームファイルに選択フレーム個数(位置情報個数)を記録して終了する(ステップS42)。   Next, it is determined whether or not the moving image shooting is continued (step S40). If the moving image shooting is continued, the process returns to step S10 and the above-described processing is repeated for the next frame. On the other hand, when the moving image shooting is finished, the number of selected frames (position information number) is recorded in the selected frame file, and the process is finished (step S42).

上述した実施形態によれば、動画撮影後に、動画ファイルと、図2に示すような選択フレームファイルとが生成されることになる。すなわち、予め指定した記録要因を満足する状態が発生する度に、その時点のフレーム番号、どのような要因で記録されたかを示す記録要因、その時点の座標(位置情報)、及び方位(進行方向)からなる選択フレームファイルが生成される。したがって、動画撮影後に、記録要因や、座標、方位をキーとして、選択フレームファイルを検索することにより、検索条件に合致するフレーム番号を取得することができ、該フレーム番号を指定することで、動画ファイルから検索条件に合致するフレーム(静止画)を容易に抽出することが可能となる。   According to the embodiment described above, a moving image file and a selected frame file as shown in FIG. 2 are generated after moving image shooting. That is, each time a state that satisfies a pre-specified recording factor occurs, the frame number at that time, the recording factor indicating what was recorded, the coordinates (position information) at that time, and the direction (traveling direction) ) Is generated. Therefore, after shooting a movie, it is possible to obtain a frame number that matches the search condition by searching the selected frame file using the recording factor, coordinates, and orientation as keys, and by specifying the frame number, Frames (still images) that match the search conditions can be easily extracted from the file.

次に、動画撮影後の利用について説明する。
まず、動画撮影後の利用として、動画撮影後に、検索要因と検索開始フレーム番号とを指定し、選択フレームファイルを検索することにより、指定された検索要因に合致するフレーム番号とその位置情報(座標)を取得し、動画ファイルから該抽出したフレーム番号のフレーム(静止画)を抽出し、そのフレームに対応付けて記録されている位置情報に基づいて所定の処理を実行する場合について説明する。
Next, use after moving image shooting will be described.
First, as a use after movie shooting, by specifying a search factor and a search start frame number after movie shooting and searching a selected frame file, a frame number that matches the specified search factor and its position information (coordinates) ), A frame (still image) of the extracted frame number is extracted from the moving image file, and a predetermined process is executed based on position information recorded in association with the frame.

位置情報を利用する処理としては、例えば、次のような利用法がある。
(1)位置情報に基づいて、地図上にフレーム(静止画)を表示する(貼り付ける)。
(2)位置情報に基づいて、異なる場所や、位置変化点におけるフレーム(静止画)として印刷する。
(3)位置情報に基づいて、位置変化点のフレームへジャンプしながら表示する(インデックス的な使用)。
(4)位置情報に基づいて、指定した距離以上離れた位置のフレームへジャンプしながら表示する。
(5)位置情報に基づいて、指定した方向の位置のフレームへジャンプしながら表示する。
(6)位置情報に基づいて、位置変化点から指定秒数ずつ動画を再生する(スライドショー的な使用)。
As a process using position information, for example, there is the following usage.
(1) Display (paste) a frame (still image) on a map based on the position information.
(2) Print as a frame (still image) at a different place or at a position change point based on the position information.
(3) Display while jumping to the frame of the position change point based on the position information (use as an index).
(4) Display while jumping to a frame at a position more than a specified distance based on the position information.
(5) Based on the position information, display while jumping to the frame at the position in the designated direction.
(6) Based on the position information, the moving image is played in specified seconds from the position change point (use as a slide show).

図8は、本実施形態において、動画ファイルから指定された検索要因に合致するフレーム(静止画)を抽出し、そのフレームに位置情報に基づく所定の処理を実行する検索処理の動作を説明するためのフローチャートである。まず、検索要因(=記録要因)を指定する(ステップS50)。検索要因としては、上述した記録要因のいずれか、あるいは組み合わせに相当し、例えば、「位置変化」があったフレーム、「方向変化」があったフレーム、「指定方向に方向変化」があったフレーム、「位置変化」または「方向変化」があったフレームなどが想定される。   FIG. 8 is a diagram for explaining the operation of a search process for extracting a frame (still image) that matches a specified search factor from a moving image file and executing a predetermined process based on position information for the frame in the present embodiment. It is a flowchart of. First, a search factor (= recording factor) is designated (step S50). The search factors correspond to any of the above-mentioned recording factors or combinations, for example, a frame with “position change”, a frame with “direction change”, and a frame with “direction change in specified direction”. A frame having a “position change” or “direction change” is assumed.

次に、検索開始フレーム番号を指定し、検索を開始する(ステップS52)。検索が開始されると、まず、初期設定として、カウンタを「0」、結果(レジスタ)を「一致なし」、位置情報(レジスタ)を「0」とする(ステップS54)。なお、カウンタは、検索するフレームをカウントするものであり、選択フレームファイルの記録されたフレーム番号に付けられた連番に相当する。   Next, the search start frame number is designated, and the search is started (step S52). When the search is started, first, as an initial setting, the counter is set to “0”, the result (register) is set to “no match”, and the position information (register) is set to “0” (step S54). The counter counts the frames to be searched and corresponds to the serial number assigned to the frame number recorded in the selected frame file.

次に、上記カウンタが選択フレームファイルの選択フレーム個数(位置情報個数)以上になったか否か、すなわち、選択フレームファイルの全フレームについて検索が終了したか否かを判断する(ステップS56)。そして、全フレームについて検索が終了していない場合には、カウンタが指す位置の位置情報を読み込む(ステップS58)。次に、カウンタが示す位置の記録要因に検索要因があるか否かを判断し(ステップS60)、記録要因に検索要因がない場合には、該当しないフレームであるので、カウンタを「1」だけインクリメントし(ステップS62)、ステップS56に戻り、次の記録されたフレームに対して上述した処理を繰り返す。   Next, it is determined whether or not the counter is equal to or greater than the number of selected frames (number of position information) in the selected frame file, that is, whether or not the search has been completed for all the frames in the selected frame file (step S56). If the search is not completed for all the frames, the position information of the position pointed to by the counter is read (step S58). Next, it is determined whether or not there is a search factor in the recording factor at the position indicated by the counter (step S60). If there is no search factor in the recording factor, the frame is not applicable, so the counter is set to “1”. Increment (step S62), return to step S56, and repeat the above-described processing for the next recorded frame.

一方、ステップS60で、カウンタが指す位置の記録要因に検索要因がある場合には、結果(レジスタ)にその位置のフレーム番号を格納し、位置情報(レジスタ)にその位置の座標を格納する(ステップS64)。次に、結果(レジスタ)に格納したフレーム番号が指定した検索開始フレーム番号未満であるか否かを判断し(ステップS66)、検索開始フレーム番号未満である場合には、ステップS62で、カウンタを「1」だけインクリメントし、ステップS56に戻り、次の記録されたフレームに対して上述した処理を繰り返す。   On the other hand, if there is a search factor in the recording factor of the position pointed to by the counter in step S60, the frame number of the position is stored in the result (register), and the coordinates of the position are stored in the position information (register) ( Step S64). Next, it is determined whether or not the frame number stored in the result (register) is less than the specified search start frame number (step S66). If it is less than the search start frame number, the counter is set in step S62. Increment by "1", return to step S56, and repeat the above-described processing for the next recorded frame.

一方、ステップS66で、フレーム番号が指定した検索開始フレーム番号未満でない場合には、動画ファイルから、結果(レジスタ)に格納されているフレーム番号のフレーム(静止画)を抽出し、該フレーム(静止画)と位置情報(レジスタ)に格納されている座標とから所定の処理を実行する(ステップS68)。次に、次のフレームを検索するか否かを判断し(ステップS70)、次のフレームを検索する場合には、ステップS62で、カウンタを「1」だけインクリメントし、ステップS56に戻り、次の記録されたフレームに対して上述した処理を繰り返す。   On the other hand, if the frame number is not less than the designated search start frame number in step S66, the frame (still image) of the frame number stored in the result (register) is extracted from the moving image file, and the frame (still image) is extracted. Image) and the coordinates stored in the position information (register), a predetermined process is executed (step S68). Next, it is determined whether or not the next frame is to be searched (step S70). If the next frame is to be searched, the counter is incremented by “1” in step S62, and the process returns to step S56. The above-described processing is repeated for the recorded frame.

一方、ステップS56で、カウンタが選択フレーム個数以上となった場合や、ステップS70で、次のフレームを検索しないことが選択された場合には、当該処理を終了する。なお、上述した処理において、抽出された1つ1つのフレーム(静止画)に対して所定の処理を実行するのではなく、検索要因に該当する全てのフレーム番号、位置情報を保持しておき、検索処理終了後に、保持しておいた全てのフレーム番号、位置情報に従って、動画ファイルから該当するフレーム(静止画)を順次取り出しながら、所定の処理を行うようにしてもよい。   On the other hand, if the counter is equal to or greater than the number of selected frames in step S56, or if it is selected not to search for the next frame in step S70, the process ends. In the above-described processing, the predetermined processing is not executed for each extracted frame (still image), but all frame numbers and position information corresponding to the search factor are held, After the search process is completed, the predetermined process may be performed while sequentially extracting the corresponding frame (still image) from the moving image file in accordance with all the stored frame numbers and position information.

次に、動画撮影後の利用として、動画撮影後に、位置情報が記録されたフレームをスライドショー再生する場合について説明する。   Next, as a use after moving image shooting, a case where a frame in which position information is recorded after a moving image is played back as a slide show will be described.

図9は、本実施形態による、動画撮影後に、位置情報が記録されたフレームを動画ファイルから抽出し、スライドショー再生するスライドショー再生処理の動作を説明するためのフローチャートである。まず、選択フレームファイルの選択フレーム個数が「10」より大であるか否かを判断する(ステップS80)。これは、位置情報が記録されたフレーム数が10以下である場合には、スライドショー再生する効果があまり期待できないためである。したがって、選択フレームファイルの選択フレーム個数が「10」以下である場合には、当該処理を終了する。   FIG. 9 is a flowchart for explaining the operation of a slide show reproduction process for extracting a frame in which position information is recorded from a moving image file and reproducing the slide show after moving image shooting according to the present embodiment. First, it is determined whether or not the number of selected frames in the selected frame file is greater than “10” (step S80). This is because when the number of frames in which position information is recorded is 10 or less, the effect of slide show reproduction cannot be expected so much. Therefore, when the number of selected frames in the selected frame file is “10” or less, the processing ends.

一方、選択フレームファイルの選択フレーム個数が「10」より大である場合には、カウンタを「0」とし(ステップS82)、カウンタが指す位置のフレーム番号を取得し(ステップS84)、動画ファイルから当該フレーム番号のフレーム(静止画)を取得する(ステップS86)。   On the other hand, if the number of selected frames in the selected frame file is greater than “10”, the counter is set to “0” (step S82), the frame number at the position pointed to by the counter is obtained (step S84), and from the moving image file. A frame (still image) with the frame number is acquired (step S86).

次に、取得したフレーム(静止画)を予め設定されているか、ユーザから指定された所定時間だけ再生表示し(ステップS88)、カウンタを「1」だけインクリメントし、該カウンタが選択フレーム個数以上になったか否かを判断し(ステップS92)、選択フレーム個数以上でない場合には、ステップS84に戻り、次のフレームに対して上述した処理を繰り返す。そして、選択フレームファイルに記録された全てのフレーム番号に対応するフレームの再生が終了すると、当該処理を終了する。   Next, the acquired frame (still image) is set in advance, or is reproduced and displayed for a predetermined time designated by the user (step S88), and the counter is incremented by “1”, and the counter exceeds the number of selected frames. It is determined whether or not the number of selected frames is greater than or equal to the number of selected frames (step S92), the process returns to step S84 and the above-described processing is repeated for the next frame. Then, when the reproduction of the frames corresponding to all the frame numbers recorded in the selected frame file is finished, the processing is finished.

次に、動画撮影後の利用として、動画撮影後に、位置情報が記録されたフレームを印刷する場合について説明する。   Next, as a use after moving image shooting, a case of printing a frame in which position information is recorded after moving image shooting will be described.

図10は、本実施形態による、動画撮影後に、位置情報が記録されたフレームを動画ファイルから抽出し、位置情報に応じたページ内の位置に配置して印刷するムービープリント処理の動作を説明するためのフローチャートである。まず、選択フレームファイルの選択フレーム個数が「10」より大であるか否かを判断する(ステップS100)。これは、位置情報が記録されたフレーム数が10以下である場合には、位置情報に応じてページ内に配置して印刷しても効果があまり期待できないためである。したがって、選択フレームファイルの選択フレーム個数が「10」以下である場合には、当該処理を終了する。   FIG. 10 illustrates an operation of a movie print process according to the present embodiment, in which a frame in which position information is recorded is extracted from a moving image file after moving image shooting, and is arranged and printed at a position in a page corresponding to the position information. It is a flowchart for. First, it is determined whether or not the number of selected frames in the selected frame file is greater than “10” (step S100). This is because when the number of frames in which the position information is recorded is 10 or less, the effect cannot be expected so much even if the print is arranged in the page according to the position information. Therefore, when the number of selected frames in the selected frame file is “10” or less, the processing ends.

一方、選択フレームファイルの選択フレーム個数が「10」より大である場合には、カウンタを「0」とし(ステップS102)、カウンタが指す位置のフレーム番号を取得し(ステップS104)、動画ファイルから当該フレーム番号のフレーム画像(静止画)を取得する(ステップS106)。   On the other hand, if the number of selected frames in the selected frame file is greater than “10”, the counter is set to “0” (step S102), the frame number at the position pointed to by the counter is acquired (step S104), and from the moving image file. A frame image (still image) with the frame number is acquired (step S106).

次に、取得したフレーム画像(静止画)を、その座標(位置情報)に対応するページ内の位置に配置して合成し(ステップS108)、カウンタを「1」だけインクリメントし(ステップS110)、該カウンタが選択フレーム個数以上になったか否かを判断し(ステップS112)、選択フレーム個数以上でない場合には、ステップS104に戻り、次のフレームに対して上述した処理を繰り返す。そして、選択フレームファイルに記録された全てのフレーム番号に対応するフレーム画像のページ内への合成が終了すると、ページ内に配置して合成したフレーム画像を印刷し(ステップS114)、当該処理を終了する。   Next, the acquired frame image (still image) is arranged and synthesized at a position in the page corresponding to the coordinates (position information) (step S108), and the counter is incremented by “1” (step S110). It is determined whether or not the counter is equal to or greater than the number of selected frames (step S112). If it is not equal to or greater than the number of selected frames, the process returns to step S104 and the above-described processing is repeated for the next frame. When the frame images corresponding to all the frame numbers recorded in the selected frame file have been combined into the page, the combined frame image arranged in the page is printed (step S114), and the process ends. To do.

上述した実施形態によれば、指定した記録要因が発生した場合に位置情報を記録するようにしたので、処理効率及び記録効率を向上させることができる。また、指定した記録要因を元に、対応するフレーム及び位置情報を検索可能としたので、位置情報の変化点におけるフレームを容易に抽出することができ、動画撮影後の利用における利便性を向上させることができる。   According to the embodiment described above, since the position information is recorded when the designated recording factor occurs, the processing efficiency and the recording efficiency can be improved. In addition, since the corresponding frame and position information can be searched based on the designated recording factor, the frame at the change point of the position information can be easily extracted, and the convenience in use after moving image shooting is improved. be able to.

なお、上述した実施形態においては、動画撮影中に、キー操作でその時点のフレーム番号に対応付けて位置情報を記録するようにしてもよい。また、記録要因として、高度や、高度変化を加え、指定した高度で、あるいは指定した高度変化で、その時点のフレーム番号に対応付けて位置情報を記録するようにしてもよい。また、フレーム番号の逆順に位置情報を検索する処理であってもよい。   In the embodiment described above, the position information may be recorded in association with the frame number at that time by key operation during moving image shooting. Further, altitude or altitude change may be added as a recording factor, and position information may be recorded in association with the frame number at that time at a specified altitude or at a specified altitude change. Alternatively, the position information may be searched in the reverse order of the frame number.

本発明の実施形態によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by embodiment of this invention. 本実施形態で作成される選択フレームファイルの構成を示す概念図である。It is a conceptual diagram which shows the structure of the selection frame file produced in this embodiment. 本実施形態において、位置情報を記録するフレームを指定するための位置データ記録要因設定画面の一例を示す模式図である。In this embodiment, it is a schematic diagram which shows an example of the position data recording factor setting screen for designating the flame | frame which records position information. 本実施形態において、撮影後に用いるアプリケーションを指定することで自動的に設定される記録要因を示す概念図である。In this embodiment, it is a conceptual diagram which shows the recording factor set automatically by designating the application used after imaging | photography. 本実施形態において、撮影後に利用を想定するアプリケーションを設定する際のアプリケーション設定画面を示す模式図である。In this embodiment, it is a schematic diagram which shows the application setting screen at the time of setting the application which assumes utilization after imaging | photography. 本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the present embodiment. 本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the present embodiment. 本実施形態において、動画ファイルから指定された検索要因に合致するフレーム(静止画)を抽出し、そのフレームに位置情報に基づく所定の処理を実行する検索処理の動作を説明するためのフローチャートである。In this embodiment, it is a flowchart for demonstrating the operation | movement of the search process which extracts the flame | frame (still image) which matches the search factor designated from the moving image file, and performs the predetermined | prescribed process based on positional information on the frame. . 本実施形態による、位置情報が記録されたフレームをスライドショー再生するスライドショー再生処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the slide show reproduction | regeneration processing which carries out slide show reproduction | regeneration of the flame | frame with which the positional information was recorded by this embodiment. 本実施形態による、位置情報が記録されたフレームを印刷するムービープリント処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the movie print process which prints the flame | frame with which the positional information was recorded by this embodiment.

符号の説明Explanation of symbols

10 画像取得部
11 レンズ
12 シャッタ
14 ドライバ
15 アナログ信号処理部
16 撮像センサ
17 サンプリング/信号増幅処理部
18 A/Dコンバータ
20 制御部
21 計時部
22 プレビューエンジン
23 D/Aコンバータ
24 ドライバ
25 表示部
26 イメージバッファ
27 キー操作部
28 デジタル信号処理部
29 画像圧縮/伸張処理部
30 プログラムメモリ
31 画像メモリ
32 カードI/F
33 外部記録媒体
34 位置情報入力部
36 マイクロフォン
37 スピーカ
38 音声処理部
DESCRIPTION OF SYMBOLS 10 Image acquisition part 11 Lens 12 Shutter 14 Driver 15 Analog signal processing part 16 Imaging sensor 17 Sampling / signal amplification process part 18 A / D converter 20 Control part 21 Time measuring part 22 Preview engine 23 D / A converter 24 Driver 25 Display part 26 Image buffer 27 Key operation unit 28 Digital signal processing unit 29 Image compression / decompression processing unit 30 Program memory 31 Image memory 32 Card I / F
33 External recording medium 34 Position information input unit 36 Microphone 37 Speaker 38 Audio processing unit

Claims (12)

動画を撮像記録する動画撮像手段と、
前記動画撮像手段による動画の撮像記録中に、位置情報を逐次取得する位置情報取得手段と、
前記位置情報取得手段により逐次取得される位置情報に基づいて、位置に関する複数種類の事象のいずれかが発生したことを特定する特定手段と、
前記動画撮像手段による動画の撮像記録を行う前に、前記動画撮像手段により撮像される動画のフレームを選択するための条件となる記録要因を、前記特定手段により特定可能な位置に関する複数種類の事象の中から任意に選択して指定する記録要因指定手段と、
前記動画撮像手段による動画の撮像記録動作中に、前記記録要因指定手段により指定された記録要因に該当する事象が発生したことが前記特定手段により特定されると、該記録要因の発生時点における前記動画撮像手段により撮像された動画のフレームを所定の処理の対象として逐次選択していくフレーム選択手段と
を備え、
前記特定手段は、各々の種類の事象において、その事象の発生の程度を更に特定し、
前記記録要因指定手段は、前記記録要因として、事象の種類と当該事象の発生の程度の両方を任意に指定することを特徴とする動画撮像装置。
Moving image capturing means for capturing and recording moving images;
Position information acquisition means for sequentially acquiring position information during moving image recording by the moving image pickup means;
Based on the position information sequentially acquired by the position information acquisition means, a specifying means for specifying that any of a plurality of types of events related to the position has occurred,
A plurality of types of events relating to positions that can be specified by the specifying unit as recording conditions that are conditions for selecting a frame of the moving image picked up by the moving image pickup unit before performing the moving image pickup and recording by the moving image pickup unit Recording factor designation means for arbitrarily selecting and designating from among,
When an event corresponding to the recording factor specified by the recording factor specifying unit occurs during the moving image capturing / recording operation by the moving image capturing unit, the specifying unit specifies the occurrence of the recording factor. Frame selection means for sequentially selecting a frame of a moving image captured by the moving image capturing means as a target of a predetermined process;
With
The specifying means further specifies the degree of occurrence of each type of event,
The moving image imaging apparatus according to claim 1, wherein the recording factor designating unit arbitrarily designates both the type of event and the degree of occurrence of the event as the recording factor .
前記特定手段が特定可能な複数種類の事象には、距離の変化と方向の変化を含み、
前記記録要因指定手段は、距離の変化と方向の変化を含む複数種類の事象の中から前記記録要因を選択することを特徴とする請求項1に記載の動画撮像装置。
The plurality of types of events that can be specified by the specifying means include a change in distance and a change in direction,
The moving image imaging apparatus according to claim 1 , wherein the recording factor designating unit selects the recording factor from a plurality of types of events including a change in distance and a change in direction.
前記特定手段が特定可能な複数種類の事象には、方向の変化を含み、相対的な方向の変化と絶対的な方位を特定可能であり、
前記記録要因指定手段は、前記記録要因として、相対的な方向の変化量と絶対的な方位とを指定可能であることを特徴とする請求項2に記載の動画撮像装置。
The plurality of types of events that can be specified by the specifying means include a change in direction, and a change in relative direction and an absolute direction can be specified.
The moving image capturing apparatus according to claim 2 , wherein the recording factor designating unit can designate a relative direction change amount and an absolute direction as the recording factor.
撮像記録後の動画ファイルを用いて所定の処理を実行する複数の処理機能に対して、それぞれの処理機能で利用可能な記録要因として、前記特定手段が特定可能な複数種類の事象のいずれかを記憶する記憶手段と、
前記撮像記録後の動画ファイルに対して利用する処理機能を、前記記憶手段に記録要因が記憶されている複数の処理機能の中から選択して指定する処理機能指定手段と
を更に具備し、
前記記録要因指定手段は、前記処理機能指定手段により指定された処理機能に対して前記記憶手段に記憶されている記録要因を、前記指定された記録要因とすることを特徴とする請求項1乃至3のいずれかに記載の動画撮像装置。
For a plurality of processing functions that execute a predetermined process using a moving image file after imaging and recording, any one of a plurality of types of events that can be specified by the specifying unit is used as a recording factor that can be used by each processing function. Storage means for storing;
Processing function specifying means for selecting and specifying a processing function to be used for the moving image file after imaging and recording from a plurality of processing functions whose recording factors are stored in the storage means;
The recording factor designating means, the recording factors stored in said storage means to the specified processing functions by the processing function specification unit, 1 to claim, characterized in that the recording factors the specified 4. The moving image imaging apparatus according to any one of 3 .
前記動画撮像手段による動画の撮像記録動作中に前記フレーム選択手段により選択された複数のフレームを示すフレーム選択情報を、前記動画撮像手段により撮像記録された動画に対応付けて記録するフレーム選択情報記録手段を更に備えることを特徴とする請求項1記載の動画撮像装置。   Frame selection information recording that records frame selection information indicating a plurality of frames selected by the frame selection unit during the video recording and recording operation by the video imaging unit in association with the video captured and recorded by the video imaging unit. The moving image imaging apparatus according to claim 1, further comprising means. 前記フレーム選択情報記録手段は、
前記動画撮像手段による動画の撮像記録動作中に、前記記録要因指定手段により指定された記録要因に該当する事象が発生すると、前記記録要因の発生時点における前記位置情報取得手段により取得した位置情報を、前記フレーム選択手段により選択されるフレームを示すフレーム選択情報に対応付けて記録することを特徴とする請求項5記載の動画撮像装置。
The frame selection information recording means includes
When an event corresponding to the recording factor specified by the recording factor specifying unit occurs during the moving image capturing / recording operation by the moving image capturing unit, the position information acquired by the position information acquiring unit at the time of occurrence of the recording factor is obtained. 6. The moving image capturing apparatus according to claim 5 , wherein the moving image imaging apparatus records the frame selected in association with frame selection information indicating a frame selected by the frame selecting means.
前記フレーム選択情報記録手段は、
前記動画撮像手段による動画の撮像記録動作中に、前記記録要因指定手段により指定された記録要因に該当する事象が発生すると、この発生した記録要因を示す情報を、記フレーム選択手段により選択されるフレームを示すフレーム選択情報に対応付けて記録することを特徴とする請求項5または6に記載の動画撮像装置。
The frame selection information recording means includes
When an event corresponding to the recording factor specified by the recording factor specifying unit occurs during the moving image capturing / recording operation by the moving image capturing unit, information indicating the generated recording factor is selected by the recording frame selecting unit. The moving image imaging apparatus according to claim 5 or 6 , wherein recording is performed in association with frame selection information indicating a frame.
前記動画撮像手段による動画の撮像記録動作中に前記フレーム選択手段により選択された複数のフレームの個数を更に記憶する選択個数情報記録手段を更に備えることを特徴とする請求項5乃至7のいずれかに記載の動画撮像装置。 Any one of claims 5 to 7, characterized by further comprising a selection number information recording means further stores the number of a plurality of frames selected by said frame selection means during imaging and recording operation of the moving by the moving image pickup unit The moving image imaging device described in 1. 前記フレーム選択情報記録手段により記録されたフレーム選択情報で示される複数のフレームを、該フレーム選択情報に対応して記録されている動画から抽出するフレーム抽出手段と、
前記フレーム抽出手段により抽出された複数のフレームに対して所定の処理を実行する処理手段と
を更に具備することを特徴とする請求項5乃至8のいずれかに記載の動画撮像装置。
Frame extraction means for extracting a plurality of frames indicated by the frame selection information recorded by the frame selection information recording means from a moving image recorded corresponding to the frame selection information;
The moving image capturing apparatus according to claim 5 , further comprising processing means for executing predetermined processing on the plurality of frames extracted by the frame extraction means.
前記フレーム選択情報記録手段により記録されたフレーム選択情報で示される複数のフレームを、該フレーム選択情報に対応して記録されている動画から抽出するフレーム抽出手段と、
前記フレーム選択情報に対応付けて記録された前記位置情報に基づいて、前記フレーム抽出手段により抽出されたフレームに対して所定の処理を実行する処理手段と
を更に具備することを特徴とする請求項5乃至8のいずれかに記載の動画撮像装置。
Frame extraction means for extracting a plurality of frames indicated by the frame selection information recorded by the frame selection information recording means from a moving image recorded corresponding to the frame selection information;
Claims based on the recorded position information in association with the frame selection information, and further comprising a processing means for executing predetermined processing for a frame extracted by the frame extracting means The moving image imaging apparatus according to any one of 5 to 8 .
動画を撮像記録する動画撮像処理と、
前記動画撮像処理による動画の撮像記録中に、位置情報を逐次取得する位置情報取得処理と、
前記逐次取得される位置情報に基づいて、位置に関する複数種類の事象のいずれかが発生したことを特定する特定処理と、
前記撮像記録される動画のフレームを選択するための条件となる記録要因を、前記特定処理により特定可能な位置に関する複数種類の事象の中から任意に選択して指定する記録要因指定処理と、
動画の撮像記録中に、前記指定された記録要因に該当する事象が発生したことが前記特定処理により特定されると、該記録要因の発生時点で撮像された動画のフレームを所定の処理の対象として逐次選択していくフレーム選択処理
を含み、
前記特定処理は、各々の種類の事象において、その事象の発生の程度を更に特定し、
前記記録要因指定処理は、前記記録要因として、事象の種類と当該事象の発生の程度の両方を任意に指定することを特徴とする動画撮像方法。
Moving image capturing processing for capturing and recording moving images ;
Position information acquisition processing that sequentially acquires position information during moving image recording by the moving image imaging processing ;
Based on the sequentially acquired position information, a specific process for specifying that any of a plurality of types of events related to the position has occurred,
The recording factors that condition for selecting a video frame to be the image-recording, the recording factors designation process for designating selected arbitrarily from among a plurality of types of events relating to identifiable position by said specific processing,
When it is determined by the specifying process that an event corresponding to the specified recording factor has occurred during moving image capturing / recording, a frame of the moving image captured at the time of occurrence of the recording factor is subjected to a predetermined process. Frame selection process that selects sequentially as
Including
The specifying process further specifies the degree of occurrence of each type of event,
The moving picture imaging method characterized in that the recording factor designation process arbitrarily designates both the type of event and the degree of occurrence of the event as the recording factor .
動画を撮像する動画撮像装置の動作を制御するプログラムであって、
コンピュータに、
動画を撮像記録する動画撮像機能、
前記動画撮像手段による動画の撮像記録中に、位置情報を逐次取得する位置情報取得機能、
前記位置情報取得機能により逐次取得される位置情報に基づいて、位置に関する複数種類の事象のいずれかが発生したことを特定する特定機能、
前記動画撮像機能により撮像される動画のフレームを選択するための条件となる記録要因を、前記特定手段により特定可能な位置に関する複数種類の事象の中から任意に選択して指定する記録要因指定機能、
前記動画撮像機能による動画の撮像記録動作中に、前記記録要因指定機能により指定された記録要因に該当する事象が発生したことが前記特定手段により特定されると、該記録要因の発生時点における前記動画撮像機能により撮像された動画のフレームを所定の処理の対象として逐次選択していくフレーム選択機能、
を実現させ、
前記特定機能は、各々の種類の事象において、その事象の発生の程度を更に特定し、
前記記録要因指定機能は、前記記録要因として、事象の種類と当該事象の発生の程度の両方を任意に指定することを特徴とするプログラム。
A program for controlling the operation of a moving image capturing apparatus for capturing a moving image,
On the computer,
Movie imaging function for capturing and recording movies,
A position information acquisition function for sequentially acquiring position information during imaging recording of the video by the video imaging means;
A specific function for specifying that any of a plurality of types of events related to the position has occurred based on the position information sequentially acquired by the position information acquisition function;
Recording factor designation function for arbitrarily selecting and specifying a recording factor as a condition for selecting a frame of a moving image captured by the moving image imaging function from among a plurality of types of events related to a position that can be specified by the specifying unit ,
When the event that corresponds to the recording factor specified by the recording factor specifying function has occurred during the moving image capturing / recording operation by the moving image capturing function, the specifying unit specifies the occurrence of the recording factor. A frame selection function for sequentially selecting a frame of a moving image captured by the moving image capturing function as a target of predetermined processing;
Realized
The specific function further specifies the degree of occurrence of each type of event,
The recording factor designation function arbitrarily designates both the type of event and the degree of occurrence of the event as the recording factor .
JP2008252846A 2008-09-30 2008-09-30 Movie imaging apparatus, movie imaging method, and program Active JP5386915B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008252846A JP5386915B2 (en) 2008-09-30 2008-09-30 Movie imaging apparatus, movie imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008252846A JP5386915B2 (en) 2008-09-30 2008-09-30 Movie imaging apparatus, movie imaging method, and program

Publications (3)

Publication Number Publication Date
JP2010087712A JP2010087712A (en) 2010-04-15
JP2010087712A5 JP2010087712A5 (en) 2011-10-20
JP5386915B2 true JP5386915B2 (en) 2014-01-15

Family

ID=42251244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008252846A Active JP5386915B2 (en) 2008-09-30 2008-09-30 Movie imaging apparatus, movie imaging method, and program

Country Status (1)

Country Link
JP (1) JP5386915B2 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4525558B2 (en) * 2005-11-08 2010-08-18 ソニー株式会社 Information processing apparatus, imaging apparatus, information processing method, and computer program

Also Published As

Publication number Publication date
JP2010087712A (en) 2010-04-15

Similar Documents

Publication Publication Date Title
JP4931845B2 (en) Imaging apparatus and captured image display control method
JP4645685B2 (en) Camera, camera control program, and photographing method
JP4730569B2 (en) Imaging apparatus, imaging method, and program
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
US20100253801A1 (en) Image recording apparatus and digital camera
CN101263706A (en) Imaging device and recording method
JP2010130437A (en) Imaging device and program
US8538247B2 (en) Image processing apparatus and image processing method
JP5332369B2 (en) Image processing apparatus, image processing method, and computer program
JP5369776B2 (en) Imaging apparatus, imaging method, and imaging program
JP2010237911A (en) Electronic apparatus
JP2004248171A (en) Moving image recorder, moving image reproduction device, and moving image recording and reproducing device
JP4826480B2 (en) Imaging apparatus, image management method, and program
JP5316869B2 (en) Image processing apparatus, image processing method, and program
JP4888829B2 (en) Movie processing device, movie shooting device, and movie shooting program
JP4678273B2 (en) Imaging apparatus, moving image storage method, and moving image storage program
JP5386915B2 (en) Movie imaging apparatus, movie imaging method, and program
JP5962974B2 (en) Imaging apparatus, imaging method, and program
KR101480407B1 (en) Digital image processing apparatus, method for controlling the same and medium of recording the method
JP4404200B2 (en) Imaging apparatus and image file generation program
JP5170217B2 (en) Camera, camera control program, and photographing method
JP2011101161A (en) Imaging device, control method of the same, reproducing device, and program
JP2005109658A (en) Photographing apparatus
JP2009087004A (en) Image retrieval device and image retrieval method
JP2012235273A (en) Imaging device, control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130726

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130923

R150 Certificate of patent or registration of utility model

Ref document number: 5386915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150