JP6172990B2 - Image recording apparatus, a control method and program of the image recording processing - Google Patents

Image recording apparatus, a control method and program of the image recording processing Download PDF

Info

Publication number
JP6172990B2
JP6172990B2 JP2013067312A JP2013067312A JP6172990B2 JP 6172990 B2 JP6172990 B2 JP 6172990B2 JP 2013067312 A JP2013067312 A JP 2013067312A JP 2013067312 A JP2013067312 A JP 2013067312A JP 6172990 B2 JP6172990 B2 JP 6172990B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
frame
image
image recording
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013067312A
Other languages
Japanese (ja)
Other versions
JP2014192755A (en )
Inventor
浩亮 入佐
浩亮 入佐
川合 澄夫
澄夫 川合
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、動画像データを記録する画像記録装置、画像記録処理の制御方法及びそのプログラムに関する。 The present invention relates to an image recording apparatus for recording moving image data, a control method and a program for image recording processing.

近年、デジタルカメラやデジタルビデオで動画像データを記録して、その場で再生を楽しむ機能を備える装置が広く普及してきている。 In recent years, recording the moving image data in a digital camera or a digital video, an apparatus having a function to enjoy playing in situ have become widespread. 動画像データを記録する記録媒体の容量は年々増加してきており、記録可能な時間もますます長くなってきている。 Capacity of the recording medium for recording the moving image data has been increasing year by year, it has become increasingly longer recordable time.

所望のシーンを抽出する公知の技術としては、例えば、記録媒体に記録された動画像からフレーム画像を抽出して重み付けを行い、重み付けに応じてユーザの好みの動画像のシーンのプレイリストを作成する技術について開示されている(例えば、特許文献1)。 Known techniques for extracting a desired scene, for example, performs weighting by extracting frame images from the moving image recorded on the recording medium, creating a playlist of the scene of the moving image of the user's preference in accordance with the weighting to discloses a technique (e.g., Patent Document 1). これによれば、タイムライン上に表示するコマ間隔を荒くしても、ユーザの好みのシーンはタイムラインにコマ表示され、ユーザの使い勝手が向上する。 According to this, even if rough the frame interval to be displayed on the time line, favorite scenes user is frame displayed in the time line, thereby improving user convenience.

また、例えば、複数の画像フレーム間の類似度よりシーンの変わり目のフレームを決定し、動画像データのダイジェスト動画の自動編集・作成を行う技術について開示されている(例えば、特許文献2)。 Further, for example, to determine the frame at the turn from the scene similarity between a plurality of image frames, it discloses a technique for automatically editing and creating digest movie of the moving image data (for example, Patent Document 2). これによれば、シーンの変わり目のフレームを決定することにより区切られたシーンの中において、ダイナミックなダイジェスト作成指示を受けた場合には、直前のフレームと類似度の低い特定時間分のフレームをマージしてダイジェスト動画を編集・作成する。 According to this, merge at in the delimited by determining the frame of scene change scene, the dynamic when subjected to digest creation instruction, the immediately preceding frame and low similarity particular time of the frame to edit and create a digest videos with. おとなしいダイジェスト作成指示を受けた場合には、直前のフレームとの類似度の高い特定時間分のフレームをマージしてダイジェスト動画を編集・作成する。 When subjected to a gentle digest creation instruction is, edit and create a digest moving image by merging the high specific time of the frame of the similarity of the immediately preceding frame.

また、生体情報を利用して、特定の画像をズームして再生する技術についても開示されている(例えば、特許文献3)。 Moreover, by utilizing the biometric information, it is also disclosed a technique for reproducing zooming a specific image (for example, Patent Document 3). 具体的には、撮像部を通じて被写体の画像を撮像している場合に、撮影者の生体情報を検出し、画像と生体情報とを同期させて記録しておく。 Specifically, if you are an image of the object through the imaging unit, detect the biological information of the photographer, it is recorded in synchronization with the image and biometric information. 記録された画像の再生時には、生体情報を解析して得られる感情状態を示す情報に基づいて、画像処理を施すべき画像が特定される。 The recorded time of reproduction of the image, based on the information indicating the emotional state obtained by analyzing the biometric information, an image is specified to be subjected to image processing. そして、特定された画像に対してズーム等の画像処理を施して再生する。 Then, play by performing image processing of the zoom or the like to the specified image.

特開2010−263374号公報 JP 2010-263374 JP 特開2000−235638号公報 JP 2000-235638 JP 特開2005−63087号公報 JP 2005-63087 JP

上記のとおり、記録媒体の容量が増大し、ファイルの記録時間が長くなってくるにつれて、ユーザにとっては、撮影後に動画像を再生して、不要と判断した部分についてはその場で削除する等の編集作業が、より煩わしいものとなる。 As described above, the capacity of the recording medium increases, as the recording time of the file becomes long, such as for the user reproduces a moving image after shooting, for determination portion unnecessary to remove in situ editing work, becomes more troublesome. ユーザが作業や特段の操作を行うことなく、画像記録装置において、撮影者にとって必要と思われるシーンを判断して抽出できることが好ましい。 Without the user is performing work or special operations, the image recording apparatus, it is preferable to be extracted to determine the scene which will be necessary for the photographer.

本発明は、動画像データの中から、動画像の撮影者や視聴者にとって必要なシーンを適切に判断することのできる技術を提供することを目的とする。 The present invention aims to from the moving image data, to provide a technique capable of appropriately determining the required scene for photographer and viewer of the moving image.

前述の目的を達成するために、本発明の態様の一つである画像記録装置によれば、 動画データのフレーム画像を記録する記録部と、前記動画データの撮影中における影者生体情報を取得する情報検出部と、前記画データの各フレーム画像に前記情報検出部で検出された生体情報を同期させるとともに、前記生体情報を解析し、前記撮影者の生体の変化が開始したか否かを判断し、前記撮影者生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させるよう制御を行う動画記録制御部と、を有する To achieve the foregoing objects, according to the image recording apparatus which is one embodiment of the present invention, a recording unit for recording the frame image of the moving image data, biometric information Kagesha shooting during shooting of the moving image data an information detection unit for acquiring, with synchronizing the detected biometric information with the information detecting section to each frame image of the moving image data, analyzes the biometric information, or change in the biological the photographer has started it determines whether the frame image corresponding to the timing it is judged that a change in biological the photographer has started the unsteady frame, when the frame images other than the unsteady frame and stationary frame, reads out non-stationary frame possible is recorded in the recording unit in a state, having a video recording control unit that performs control so as to record in the recording unit in the reading is not possible condition for steady frame とを特徴とする。 And wherein the door.

また、本発明の態様の一つである画像記録の制御方法によれば、 動画データのフレーム画像の記録を制御する方法であって、前記動画データの撮影中における影者生体情報を取得し、前記フレーム画像を記録するときに、前記画データの各フレーム画像に前記取得された生体情報を同期させるとともに、前記生体情報を解析し、前記撮影者の生体の変化が開始したか否かを判断し、前記撮影者生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが不可能な状態での記録を行うよう制御を行う、ことを特徴とする。 Further, according to the control method of the image recording, which is one aspect of the present invention, there is provided a method for controlling the recording of the frame image of the moving image data, acquires biometric information of Kagesha shooting during shooting of the moving image data and, wherein when recording the frame image, along with synchronizing the acquired biometric information to each frame image of the moving image data, it analyzes the biometric information, whether a change in biological the photographer has started determine the frame image corresponding to the timing it is judged that a change in biological the photographer has started the unsteady frame, when the frame images other than the unsteady frame and stationary frame, can be read non-stationary frame is recorded in a state, for the steady frame performs control so as to perform recording in a retrieval is impossible state, characterized in that.

また、本発明の態様の一つである制御プログラムによれば、画像記録装置において動画データのフレーム画像の画像記録を制御するための制御プログラムであって、前記動画データの撮影中における撮影者生体情報を取得し、前記フレーム画像を記録するときに、前記画データの各フレーム画像に前記取得された生体情報を同期させるとともに、前記生体情報を解析し、前記撮影者の生体の変化が開始したか否かを判断し、前記撮影者生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが不可能な状態での記録を行うよう制御を行う、ことを特 Further, according to the which is one control program of the embodiment of the present invention, there is provided a control program for controlling the image recording of the frame image of the moving image data in the image recording apparatus, the photographer during shooting of the moving image data acquires biometric information, when recording the frame image, along with synchronizing the acquired biometric information to each frame image of the moving image data, it analyzes the biometric information, a change of a living body of the photographer it is determined whether the start, the frame image corresponding to the timing it is judged that a change in biological the photographer has started the unsteady frame, when the frame images other than the unsteady frame and stationary frame, unsteady is recorded in a state capable of reading frames, performs control so as to perform recording in a retrieval is impossible state for steady frame, especially that とする。 To.

本発明によれば、動画像データの中から、動画像の撮影者や視聴者にとって必要なシーンを適切に判断することが可能となる。 According to the present invention, from the moving image data, it is possible to properly determine the necessary scenes for photographer and viewer of the moving image.

第1の実施形態に係る画像記録装置の構成図である。 Is a configuration diagram of an image recording apparatus according to the first embodiment. 第1の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。 Is a flowchart showing an image recording process by the image recording apparatus according to the first embodiment. 第1の実施形態に係るフラグF1の設定方法を説明する図である。 It is a diagram for explaining a method of setting the flag F1 according to the first embodiment. 第1の実施形態の変形例に係る画像記録装置による画像記録処理を示したフローチャートである。 Is a flowchart showing an image recording process by the image recording apparatus according to a modification of the first embodiment. 従来におけるFATの書き換え方法について説明する図である。 Is a diagram for describing FAT rewriting method in the prior art. 第1の実施形態の変形例に係る画像記録装置によるFATの書き換え方法を説明する図である。 It is a diagram for explaining a method for rewriting FAT by the image recording apparatus according to a modification of the first embodiment. 第1の実施形態の変形例に係る画像記録装置による他のFATの書き換え方法を説明する図である。 It is a diagram for explaining a method for rewriting other FAT by the image recording apparatus according to a modification of the first embodiment. 読出装置による、図4の画像記録制御処理によって記録部に記録された動画の再生処理を示したフローチャートである。 By reading device is a flowchart showing the playback processing of the moving image recorded in the recording unit by the image recording control process of FIG. 第2の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。 Is a flowchart showing an image recording process by the image recording apparatus according to the second embodiment. 第3の実施形態に係る画像記録装置の構成図である。 It is a configuration diagram of an image recording apparatus according to a third embodiment. 第3の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。 Is a flowchart showing an image recording process by the image recording apparatus according to the third embodiment. 第3の実施形態の変形例に係る画像記録装置による画像記録処理を示したフローチャートである。 Is a flowchart showing an image recording process by the image recording apparatus according to a modification of the third embodiment. 第4の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。 Is a flowchart showing an image recording process by the image recording apparatus according to a fourth embodiment. レート変換の過程を模式的に示す図である。 The process of rate conversion is a diagram schematically illustrating. 読出回路によるフレーム間のフィルタ処理を説明する図である。 It is a diagram for explaining a filtering process between frames due to the readout circuit. 実施形態に係る画像記録の制御方法をデジタルカメラに適用した場合について説明する図である。 It is a diagram illustrating a case of applying the control method of the image recording according to the embodiment in a digital camera. 実施形態に係る画像記録の制御方法を内視鏡に適用した場合について説明する図である。 It is a diagram illustrating a case of applying the control method of the image recording according to the embodiment to an endoscope. 内視鏡において取得する生体情報の例について説明する図である。 Is a diagram illustrating an example of biometric information obtained in the endoscope. 内視鏡において取得する生体情報の例について説明する他の図である。 Is another view explaining an example of biometric information obtained in the endoscope.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<第1の実施形態> <First embodiment>
図1は、本実施形態に係る画像記録装置の構成図である。 Figure 1 is a block diagram of an image recording apparatus according to the present embodiment. 図1に示す画像記録装置1は、データ要否判定回路3及び記録部4を有する。 The image recording apparatus 1 shown in FIG. 1 has a data necessity determination circuit 3 and the recording unit 4. 図1においては、本実施形態に係る画像記録の制御方法に係わる構成のみを示している。 1 shows only the configuration relating to the control method of the image recording according to the present embodiment. 以下の実施形態の構成図についても同様とする。 The same applies to the configuration diagram of the embodiments below.

記録部4は、画像記録装置1において取得した動画データのフレーム画像を記録する。 Recording unit 4 records the frame image of the moving image data obtained in the image recording apparatus 1.
データ要否判定回路3は、画像記録装置1が取得した各フレーム画像に、同様に画像記録装置1が取得した撮影者の生体情報を同期させる。 Data necessity determination circuit 3, each frame image by the image recording apparatus 1 has acquired, to synchronize the biometric information of the photographer to the image recording apparatus 1 has acquired similarly. データ要否判定回路3がフレーム画像と同期させる情報には、撮影中における撮影者の生体変化を示す生体情報や、動画を撮像する装置の設定パラメータの値の変化等を含む。 The information data necessity determination circuit 3 synchronizes with the frame image, and biological information indicating the biological variation of the photographer during shooting, including changes in the value of the configuration parameters of a device for capturing a moving image.

撮影者の生体情報の例としては、例えば、瞬きの回数、瞳孔の直径、画像を撮像する装置のファインダ画像のうち、特定のエリアにおける撮影者の注視時間、脳波、音響、血圧や脈、呼吸、鼻息、鼓動(拍動や心拍数)、汗、サーモグラフィ、撮影者の声、表情等が挙げられる。 Examples of the photographer's biological information, for example, the number of blinks, the pupil diameter, the image of the viewfinder image of a device for imaging the gaze time of the photographer in a particular area, EEG, acoustical, blood pressure and pulse, respiration , snort, beating (beating and heart rate), sweat, thermography, the voice of the photographer, facial expression, and the like. 被写体を撮像する画像撮像装置の設定パラメータの例としては、例えば、レンズのズーム・ワイドの変化、イメージャや光学系の単位時間当たりの移動距離や変化量等が挙げられる。 Examples of configuration parameters for imaging apparatus for imaging a subject, for example, a zoom-wide change in the lens, the moving distance and the change amount of the per unit of the imager and the optical system time and the like. 以下の説明においては、データ要否判定回路3が取得する情報については、単に「生体情報」あるいは「生体情報等」と略記することもある。 In the following description, information data necessity determination circuit 3 is obtained, sometimes abbreviated as "biometric information" or "biological information, etc.".

生体情報等は、例えば公知のMPEG(Moving Picture Experts Group)−7、AVI(Audio Video Interleave)、あるいはXML(Extensible Markup Language)形式等にしたがって記述する。 Biological information such as describes for example a known MPEG (Moving Picture Experts Group) -7, AVI (Audio Video Interleave), or according to XML (Extensible Markup Language) format or the like. また、生体情報等と各フレーム画像との対応付けは、オーディオトラックに時系列に生体情報等を記録していくことにより、あるいはJPEG(Joint Photographic Experts Group)では、フレーム画像のデータの始めや終わりの空き領域を使用して記録することにより行う。 Further, correspondence between the biological information and the like and each frame image by going to record the biometric information or the like in a time series in the audio track, or the JPEG (Joint Photographic Experts Group), the end or beginning of a data frame images It carried out by recording using the free space.

データ要否判定回路3は、フレーム画像ごとに撮影者の生体情報を同期させていくとともに、生体情報を解析して、撮影者の生体の変化が開始したか否かを判断する。 Data necessity determination circuit 3, we intend to synchronize biometric information of the photographer for each frame image, analyzes the biometric information to determine whether the change in the photographer's biological has started. そして、データ要否判定回路3は、「非定常フレーム」であるフレーム画像については、読み出し可能な状態で記録部4に記録し、「定常フレーム」であるフレーム画像については、少なくとも、読み出しが可能な状態のみでの記録部4への記録は行わないよう、制御を行う。 The data necessity determination circuit 3, the frame image is "non-stationary frame" is recorded in the recording unit 4 in readable condition, the frame image is a "constant frame", at least, reading can the recording state only to the recording unit 4 in not to perform, and controls.

ここで、フレーム画像が非定常フレームであるとは、撮影者の生体の状態変化や画像記録装置の設定パラメータの値の所定の閾値以上の変化が開始したタイミングに対応するフレーム画像をいうこととする。 Here, the frame image is a non-stationary frame has a to say a frame image corresponding to the timing at which further change the predetermined threshold value has started the value of the configuration parameters of the camera's biological state change or an image recording apparatus to. また、フレーム画像が定常フレームであるとは、そのフレーム画像が非定常フレームに該当しないフレーム画像をいうこととする。 A frame picture is to be a stationary frame, and it means a frame image in which the frame image does not correspond to the non-stationary frame.

本実施形態に係る画像記録装置1のデータ要否判定回路3は、制御プログラムで構成されることとしてもよい。 Data necessity determination circuit 3 of the image recording apparatus 1 according to this embodiment may also be constituted by a control program. データ要否判定回路3が制御プログラムで構成される場合、図1においては不図示のメモリ等に当該制御プログラムを予め記録しておき、これを図1においては不図示の制御部が読み出して実行する。 If the data necessity determination circuit 3 is composed of a control program may be recorded beforehand the control program in the memory or the like not shown in FIG. 1, which in Figure 1 reads the control unit (not shown) running to.

読出装置7は、読出回路5を有し、記録部4に記録されている動画データの読み出しを行う。 The reading device 7 includes a reading circuit 5 reads the moving image data recorded in the recording unit 4. 読出回路5にて読み出された動画データは、読出装置7と接続される図1においては不図示の表示装置や読出装置7に設けられる表示部等に表示される。 Video data read by the reading circuit 5, in FIG. 1 to be connected to the reading device 7 is displayed on the display unit or the like provided in the display device and the reading device 7, not shown.

図1の画像記録装置1は、動画データの各フレーム画像と同期される生体情報にしたがって、非定常フレーム以外のフレーム画像である定常フレームについては、動画再生時には記録部4から読み出されないよう、画像記録処理を制御する。 The image recording apparatus 1 of FIG. 1 in accordance with biometric information is synchronized with each frame image of the moving image data, for the steady frame is a frame image other than the non-stationary frames, so that it is not read out from the recording unit 4 at the time of moving image reproduction, It controls the image recording processing. 以下に、図2や図3を参照して、具体的に説明する。 Hereinafter, with reference to FIGS. 2 and 3 will be specifically described.

図2は、本実施形態に係る画像記録装置1による画像記録処理を示したフローチャートである。 Figure 2 is a flowchart showing an image recording process by the image recording apparatus 1 according to this embodiment.
まず、ステップS102で、データ要否判定回路3は、画像記録装置1に入力された生体情報等を解析し、解析結果に基づき、フレーム画像に対応付けて、そのフレーム画像の記録の要否を表すフラグF1を設定する。 First, in step S102, the data necessity determination circuit 3 analyzes the biometric information input to the image recording apparatus 1 or the like, based on the analysis result in association with the frame image, the necessity of recording the frame image It sets the flag F1 indicating. フラグF1は、対応するフレーム画像が、画像記録装置1において画像記録制御の対象とすべきフレーム画像であるか否かを識別するための情報である。 Flag F1 is the corresponding frame image, is information for identifying whether the frame image to be subjected to image recording control in the image recording apparatus 1. 実施例では、撮影者の生体情報より定常フレームと判断したフレーム画像には、対応するフラグF1に値「0」を設定し、非定常フレームと判断したフレーム画像には、対応するフラグF1に値「1」を設定する。 In an embodiment, the frame image is determined that the steady frame from a living body information of the photographer sets the value "0" in the flag F1 corresponding to the non-stationary frame and determines the frame image, the value in the corresponding flag F1 "1" is set.

ここで、フレーム画像が定常フレームであるとは、撮影者の生体変化や画像記録装置の設定パラメータの値の変化が所定のレベル未満である状態(撮影者の生体情報等が定常状態であること)をいうこととする。 It has now, the frame image is a stationary frame, a biological information such as a steady state condition (photographer change is below a predetermined level value of the configuration parameter of the biological changes or an image recording apparatus of the photographer ) to be referred to. また、フレーム画像が非定常フレームであるとは、撮影者の生体変化や画像記録装置の設定パラメータの値の変化が所定のレベル以上である状態(撮影者の生体情報等が非定常状態であること)をいうこととする。 The frame image is a non-stationary frame, the state change in the value of the configuration parameter of the biological changes or an image recording apparatus of the photographer is above a predetermined level (the photographer's biometric information or the like is unsteady state and to say that).

ステップS103で、データ要否判定回路3は、画像記録装置1に入力された動画データを、RAM(Random Access Memory)等の仮記録部に一時的に記録させておく。 In step S103, the data necessity determination circuit 3, the video data input to the image recording apparatus 1, previously temporarily recorded in the temporary recording unit such as a RAM (Random Access Memory).

図3は、フラグF1の設定方法を説明する図である。 Figure 3 is a diagram for explaining a method of setting the flag F1. 図3の上段には、撮影者がマラソンの動画をウェラブルカメラ等で撮像した場合等に、当該ウェラブルカメラ等に設けられたセンサ等で撮影者の心拍数を動画データのフレーム画像ごとに対応付けて取得した場合の心拍数を上段に示す。 In the upper part of FIG. 3, or the like when the photographer has captured the video Marathon wearable camera, the heart rate of the photographer for each frame image of the moving image data or the like sensor of the wearable camera, etc. the heart rate when obtaining correspondence shown in the upper part. 図3においては、最上段の生体情報である心拍数に続き、上から順に、心拍数の微分値、計測フラグ、非定常状態の開始情報、フラグF1及び非定常状態判定イネーブル信号を示す。 In Figure 3, following the heart rate is a top of the biological information, from the top, showing the differential value of the heart rate, the measurement flag, the start information of the non-steady state, the flag F1 and the non-steady-state determination enable signal.

このうち、図3の計測フラグ、非定常状態の開始情報、フラグF1及び非定常状態判定イネーブル信号については、各値は複数のフレームからなる1つの「ブロック」を表す。 Of these, the measurement flag of FIG. 3, the start information of the non-steady state, the flag F1 and the non-steady-state determination enable signal, each value represents the "block" one composed of a plurality of frames.
図3の心拍数の微分は、図3の最上段に示す心拍数(生体情報)を微分して得られる値であり、生体情報の変化率を表す。 Heart rate differential of FIG. 3 is a value obtained by differentiating the heart rate shown in the top row of FIG. 3 (biometric information), representing the rate of change of the biometric information.

計測フラグは、生体情報の変化率、すなわち心拍数の微分値を判断した結果を表す。 Measurement flag represents the rate of change of the biometric information, i.e., the result of the determination of the differential value of the heart rate. 実施例では、微分値が上限の閾値を上回るブロック及び下限の閾値を下回るブロックには、生体情報に状態変化があったと判断して、計測フラグに値「0」を設定する。 In an embodiment, the block below the threshold of the block and the lower the differential value exceeds the upper threshold, it is determined that there is a state change in the biological information, sets the value "0" to the measurement flag. 微分値が下限の閾値以上且つ上限の閾値以下の範囲内にあるブロックには、生体情報に状態変化がなかったとして、計測フラグに値「1」を設定する。 The block differential value is within and upper end of the range below the threshold or the lower threshold, as there is no status change in the biological information, sets the value "1" to the measurement flag.

非定常状態の開始情報は、計測フラグに基づき、撮影者の生体情報について、上記閾値を超える大きい変化率が検出されたことを表し、実施例では、フラグを用いてこれを表す。 Start information of non-steady state, based on the measurement flag, the biometric information of the photographer, indicates that a large change rate exceeds the threshold value is detected, in the embodiment, representing it with a flag. 実施例では、非定常状態の開始情報に値「1」が設定されているブロックは、そのブロックにおいて生体情報が「定常状態」から「非定常状態」に切り替わったことを表す。 In an embodiment, the block to the start information of the non-steady-state value "1" is set, indicating that the biological information is switched from the "normal state" to the "unsteady state" in the block. 撮影者の生体情報について、上記閾値を超える大きい変化率が検出されていないブロックには、フラグに値「0」を設定する。 For biometric information of the photographer, the blocks large change rate exceeding the threshold value is not detected, sets the value "0" to the flag.

ここで、「あるブロックの生体情報が(定常状態から外れて)非定常状態になる」とは、その生体情報と同期するフレーム画像を含むブロックから、閾値を超える生体情報の変化率が検出されたことをいう。 Here, "the biometric information of a certain block (off the steady state) in a non-steady state" and, from the block including a frame image to be synchronized with the biological information, the change rate of the biological information exceeds the threshold is detected It says that was. 「あるブロックの生体情報が定常状態である」とは、その生体情報が非定常状態にはないこと、すなわち、その生体情報と同期するフレーム画像を含むブロックにおいては、閾値を超える生体情報の変化率は検出されなかったことをいう。 The "biological information of a block is in a steady state", that the biometric information is not in the non-steady-state, i.e., in a block including a frame image to be synchronized with the biological information, the change of the biological information exceeds the threshold value the rate refers to that which has not been detected.

フラグF1は、対応するフレーム画像が、画像記録装置1において、読出装置7で読み出しの対象となるよう記録制御をおこなうべきフレーム画像であるか否かを識別するための情報である。 Flag F1 is the corresponding frame image, in the image recording apparatus 1 is information for identifying whether the frame image to be recorded controlled to be subjected to read in the reading device 7. 実施例では、生体情報より非定常フレームと判断したフレーム画像には、対応するフラグF1に値「1」を設定し、非定常フレームと判断したフレーム画像には、対応するフラグF1に値「0」を設定する。 In an embodiment, the frame image is determined that unsteady frame from biometric information, set the value "1" to the corresponding flag F1, the non-stationary frame and determines the frame image, the corresponding flag F1 value "0 setting the ". 実施例では、生体情報が定常状態から非定常状態へと切り替わったタイミングのブロックに同期するフレーム画像だけでなく、その切り替わりのあったブロック以降の所定数のブロックについても、生体情報が定常/非定常のいずれの状態にあるかによらず、対応するフレーム画像を、非定常フレームとしている。 In an embodiment, the biological information is not only the frame images to be synchronized to the block timing switched to the non-steady state from the steady state, for the predetermined number of blocks of a block after of that switch, the biological information is normal / non regardless of whether the one of the state of the normal, the corresponding frame picture, and a non-stationary frame.

非定常状態判定イネーブル信号(以下判定イネーブル信号と略記)は、画像記録装置1において、非定常状態の開始を検出する処理を実行するか否かを表す情報である。 Unsteady state determination enable signal (hereinafter determination enable signal for short), in the image recording apparatus 1, the information indicating whether to execute processing for detecting the start of a non-steady state. 実施例では、判定イネーブル信号に値「1」が設定されているブロックは、非定常状態が開始したことを検出する処理を実行するが、値「0」が設定されているブロックについては、この検出処理は行わないこととする。 In an embodiment, the block determination enable signal value "1" is set, executes the processing for detecting that the non-steady state has started, the block the value "0" is set, this and that the detection process is not performed. 判定イネーブル信号は、上記の非定常状態の開始情報の値が「0」から「1」に切り替わるタイミングで、値を「1」から「0」に切り替える。 Determination enable signal, the value of the start information of the non-steady-state described above at the timing of switching from "0" to "1", switches the value from "1" to "0". そして、所定のブロックに渡って値を「0」で維持した後、元の値「1」に戻す。 Then, after maintaining the value over a predetermined block in the "0" back to its original value "1".

判定イネーブル信号の値を「0」で維持するブロックの数については、図3に例示するように、フラグF1が値「1」を維持するブロック数と同一となるように設定してもよいし、異なるブロック数を設定してもよい。 The value of the determination enable signal for the number of blocks to be maintained at "0", as illustrated in FIG. 3, to the flag F1 may be set equal to the number of blocks to maintain the value "1" , it may be set a different number of blocks.

図2のステップS102の処理を図3に示す例についてみると、データ要否判定回路3は、入力された心拍数に対し、例えば、各ブロックの心拍数の微分値あるいは分散値をとる。 As for example shown in FIG. 3 the processing of step S102 in FIG. 2, data necessity determination circuit 3, to heart rate input, for example, taking the derivative value or dispersion value of the heart rate of each block. 図3では、心拍数の微分をとる場合を示している。 3 shows the case of taking the derivative of heart rate.

ここで、図3に示す例では、1ブロックは、10〜20フレーム分のフレーム画像を含むこととする。 In the example shown in FIG. 3, one block is intended to include 10 to 20 frames of the frame image. また、動画データは、例えば30[fps]または60[fps]のフレームレートで取得される。 Also, the moving image data is acquired at a frame rate of for example 30 [fps] or 60 [fps]. フレームレートを30[fps]とすると、1ブロック分の動画データを再生表示した場合には、その表示時間は凡そ0.3〜0.7[sec]となる。 When the frame rate 30 [fps], 1 when the moving picture data blocks reproduced display, the display time is approximately 0.3 to 0.7 [sec].

図3においては、心拍数を簡略化して示しているが、実施例では、心拍数は、例えば1[kHz]のサンプリング周波数で取得される。 In FIG. 3, but shown simplified heart rate, in the embodiment, the heart rate is obtained with a sampling frequency of, for example, 1 [kHz]. これに対し、動画データは、30[fps]や60[fps]のフレームレートで取得される。 In contrast, video data is acquired at a frame rate of 30 [fps] and 60 [fps]. このため、あるフレーム画像(を含むあるブロック)に対応付けられている生体情報のアナログデータを見ると、図3には示されていない高周波成分が含まれている。 Thus, looking at the analog data of the biometric information associated with a frame image (which blocks containing), which contains high frequency components which are not shown in FIG. 分散値を用いる場合には、より適切に心拍数の変化率を適切に判断することができる。 When using a dispersion value can be appropriately determined more appropriately heart rate change rate.

図3の説明に戻ると、データ要否判定回路3は、求めた微分値や分散値が上限及び下限の閾値を超えた場合には、対応するブロックの計測フラグの値を「1」から「0」に切り替える。 Returning to the explanation of FIG. 3, the data necessity determination circuit 3, when the differential value and the dispersion value obtained exceeds a threshold value of the upper and lower limits, the value of the measurement flag of the corresponding block from "1", " switch to 0 ". データ要否判定回路3は、微分値や分散値が閾値の範囲内にある場合は、対応するブロックの計測フラグの値を「1」で維持する。 Data necessity determination circuit 3, when the differential value and the dispersion value is within the threshold range, maintains the value of the measurement flag of the corresponding block in the "1".

実施例では、上限及び下限の閾値は、求めた各ブロックの微分値等が心拍数の微分値等の平均に対してどれだけ離れているかに基づき決定する。 In an embodiment, the upper and lower threshold of the differential value of each obtained block or the like is determined based on how far to the average of the differential value or the like of the heart rate. すなわち、生体情報取得部(不図示)からの心拍数の入力が開始されると、データ要否判定回路3は、心拍数の微分値等の算出を開始するとともに、その微分値の平均についても、算出を開始する。 That is, when the heart rate input from the biometric information acquiring unit (not shown) is started, the data necessity determination circuit 3 starts the calculation of the differential value or the like of the heart rate, also the average of the differential value , to start the calculation.

微分値の平均を算出する処理については、判定イネーブル信号の値が「0」となったタイミングで一旦平均の算出処理を停止し、判定イネーブル信号の値が「1」に戻った後の微分値を利用して、改めて当該平均の算出を開始してもよい。 The process of calculating the average differential value is determined once stops calculation of the average value of the enable signal at the timing when "0", the determination value of the enable signal differential value after returning to the "1" utilizing, it may start anew calculation of the average. あるいは、判定イネーブル信号の値によらず、動画データの開始時刻以降の平均を求めることとしてもよい。 Alternatively, regardless of the value of the determination enable signal, it is also possible to determine the average since the start time of the video data. 図3においては簡単のため、図示を省略しているが、判定イネーブル信号の値が1に戻った後の微分値を利用して平均の算出処理を再開する場合は、微分の平均値は、平均の算出処理を停止させる(判定イネーブル信号の値が0に切り替わる)以前の値から変動し得る。 For simplicity in FIG. 3, although not shown, when the value of determination enable signal to resume the average calculation process by using the differential values ​​after returning to 1, the average value of the differential, to stop the process of calculating the average (the value of the determination enable signal is switched 0) may vary from the previous value. このため、心拍数の微分値の閾値についても、これに伴い変動し得る。 Therefore, for the threshold value of the differential value of the heart rate, it can vary accordingly.

図3の微分値が上限の閾値を上回るか下限の閾値を下回るかしたことに基づき、あるブロックの計測フラグの値が1から0に変更されると、データ要否判定回路3は、そのブロックの非定常状態の開始情報の値を「0」から「1」に切り替える。 Based on the differential value of FIG. 3 is either below or lower threshold exceeds the upper threshold, the value of the measurement flag of a block is changed from 0 to 1, the data necessity determination circuit 3, the block switching the value of the start information of the non-steady-state from "0" to "1". 実施例では、動画データ(及び生体情報)が開始した当初は、「非定常状態の開始情報」の設定は行わず、動画データの開始後最初に非定常状態に切り替わってから、当該「非定常状態の開始情報」の設定を開始している。 In an embodiment, initially the video data (and the biological information) has started, set the "start information of the non-steady state" is not performed, the switches to the first after the start of the video data in the non-steady state, the "unsteady We have started the state of the start information "setting in. 図3では、動画データの開始時刻(図3の左端のブロック)から4つ目のブロックで、生体情報である心拍数が定常状態から非定常状態に切り替わり、このブロックから、当該「非定常状態の開始情報」の設定を開始している。 In Figure 3, in the fourth block from the start time of the moving image data (leftmost block in FIG. 3), the heart rate is a biological information is switched to a non-steady-state from a steady state, from this block, the "non-steady state We have started the start information "setting in.

データ要否判定回路3は、非定常状態の開始情報の値を「1」に切り替えるとともに、これに応じて、フラグF1と判定イネーブル信号の設定値を変更する。 Data necessity determination circuit 3 switches the value of the start information of the non-steady-state "1", in response thereto, changes the setting value of the flag F1 and the determination enable signal. すなわち、フラグF1には、対応するフレーム画像が非定常フレームであることを表す値「1」を設定する。 That is, the flag F1, the corresponding frame image is set to the value "1" indicating that it is a non-stationary frame. 判定イネーブル信号には、非定常状態の開始の検出処理は行わないことを表す値「0」を設定する。 The determination enable signal sets the value "0" indicating that the detection process of the start of the non-steady state is not performed.

実施例では、フラグF1及び判定イネーブル信号のいずれについても、非定常状態が開始したブロック以降の所定数のブロックについて、それぞれ切り替えた値を維持させる。 In an embodiment, for any of the flags F1 and determination enable signal, for a predetermined number of blocks after the blocks unsteady state has started, to maintain the value of switching respectively. 図3に示す例では、4ブロック分の期間については、フラグF1は値「1」、判定イネーブル信号は値「0」を維持させる。 In the example shown in FIG. 3, for a period of four blocks, the flag F1 is value "1", the determination enable signal to maintain the value "0".

前述のとおり、判定イネーブル信号に値「0」が設定されている期間については、計測フラグの値に変化があっても、定常/非定常の状態が切り替わったか否かの判定は行わない。 As described above, for the period which the value "0" to the determination enable signal is set, even if there is a change in the value of the measurement flag, determines whether switched state of steady / unsteady is not performed. 図3の例では、動画データの開始時刻から12ブロック目で、計測フラグに基づき非定常状態の開始情報の値が「1」に切り替えられている。 In the example of FIG. 3, in 12-th block from the start time of the moving image data, the value of the start information of the non-steady-state based on the measurement flag is switched to "1". これに従って、判定イネーブル信号については、12ブロック目から4ブロック分の区間(図3の区間(*))に渡り、値「0」が設定される。 Accordingly, the determination enable signal, over the four blocks from the 12-th block section (section in Fig. 3 (*)), the value "0" is set. これにより、図3の区間(*)では、13〜15ブロック目も12ブロック目と同様に心拍数の微分値は閾値の範囲外にあり、計測フラグの値は「0」であるものの、非定常状態の開始情報は値「0」のままとなる。 Thus, in the interval of FIG. 3 (*), the differential value of the heart rate Like the 12-th block 13-15 th block is outside the range of the threshold value, although the value of the measurement flag is "0", the non start information of the steady state is kept at a value of "0". すなわち、フラグF1に値「0」が設定される区間が、13〜15ブロック目の計測フラグに応じて伸びることはない。 That is, interval flag F1 value "0" is set, does not extend in response to the measurement flag of 13-15 th block.

ステップS105で、データ要否判定回路3は、各フレーム画像について、フラグF1を参照し、値「1」が設定されているか否かを判定する。 In step S105, the data necessity determination circuit 3, for each frame image, with reference to the flag F1, determines whether or not the value "1" is set. フラグF1に値「1」が設定されている場合は、処理をステップS106へと移行させ、値「0」が設定されている場合は、処理をステップS107へと移行させる。 If the flag F1 value "1" is set, the process is shifted to step S106, if the value "0" is set, the process proceeds to step S107.

ステップS106で、データ要否判定回路3は、非定常フレームと判定されたフレーム画像については、「必要なシーン」と判断し、図1の読出装置7がそのフレーム画像を記録部4から読み出し可能な状態で、記録部4に記録させる。 In step S106, the data necessity determination circuit 3, the determination frame image and non-stationary frames, determines that the "Required scene", the reading unit 7 of FIG. 1 can read the frame image from the recording unit 4 in such a state, it is recorded in the recording unit 4. ステップS107では、データ要否判定回路3は、定常フレームと判定されたフレーム画像については、「不要なシーン」と判断し、読出装置7がそのフレーム画像を記録部4から読み出しができないよう、画像記録処理の制御を行う。 In step S107, the data necessity determination circuit 3, for the determination frame image steady frame, it is determined that "an unnecessary scene", so that the reading device 7 can not read the frame image from the recording unit 4, the image It performs the control of the recording process. 具体的には、ステップS103で一時的に記録した動画データのうち、ステップS105において不要なシーンと判定されたフレーム画像については記録部4に記録を行わず、削除する等の処理を行う。 Specifically, among the temporarily recorded videos data in step S103, without performing the recording in the recording unit 4 for frame images determined unnecessary scenes in step S105, it performs processing such as delete.

なお、あるフレーム画像が「必要なシーン」のフレーム画像であるとは、生体情報取得部6で取得した生体情報より、動画の撮影者の身体的変化(例えば、止まっている状況から走り出した等)があったり、感情の変化(驚いた等)があった状態で撮影を行った、すなわち撮影者や視聴者にとって重要度が高いと推測されるフレーム画像であることをいう。 Here, the certain frame image is a frame image "Required scene", from biometric information acquired by the biological information acquisition unit 6, physical changes in the video photographer (e.g., such as started running from For still situation ) or have refers to were photographed in a state where there is a change in (surprised etc.) emotions, i.e. a frame image is estimated to have a high degree of importance for the photographer and viewer. あるフレーム画像が「不要なシーン」のフレーム画像であるとは、生体情報取得部6で取得した生体情報より、動画の撮影者は、あまり身体的変化もなく、感情の変化も無く撮影を行った、すなわち撮影者や視聴者にとっては重要度が低いと推測されるフレーム画像であることをいう。 And a frame image is a frame image of the "unnecessary scenes", than the biological information acquired by the biological information acquisition unit 6, the video of the photographer, so without any physical changes, carried out without taking even emotional changes and, that refers to the importance for the photographer and viewer a frame image is estimated to be low.

上記においては、図3を参照して、生体情報である心拍数の変化率が図3に示す閾値を超えたブロックから、これに含まれるフレーム画像を必要なシーンと判断する場合について説明している。 In the above, with reference to FIG. 3, a block heart rate change rate is a biological information exceeds the threshold value shown in FIG. 3, and described the case of determining the required scene frame images contained in this there. これに対し、変形例として、例えば、生体情報の変化率が図3の閾値を超えたタイミングよりも時間的に前のブロックのフレーム画像から、必要なシーンと判断する構成としてもよい。 In contrast, as a modification, for example, the rate of change of biological information from the frame image of the block before in time than the timing of exceeding the threshold value of FIG. 3 may be configured to determine that the required scene. 実施例では、生体情報の変化率が図3の閾値を超えたフレーム画像より5〜10フレーム分だけ前のフレーム画像から、必要なシーンと判断する。 In an embodiment, the rate of change of biological information from the previous frame image only 5-10 frames from the frame image exceeds the threshold value of FIG. 3, it is determined that the required scene. このような構成とすることで、必要なシーンの再生時に、撮影者の身体的変化や感情の変化の時間的な遅れがある場合に必要なシーンを不必要なシーンと判断して再生しないことを避けることができる。 With such a configuration, at the time of reproduction of the required scene, that the scene required if there is a time lag of the change in the physical changes and feelings of the photographer not to play it is determined that the unnecessary scene it can be avoided.

生体情報の変化率が図3の閾値を超えたタイミングより前のブロックのフレーム画像から必要なシーンと判断する方法としては、例えば以下の2とおりの方法が考えられる。 As a method of changing rate of the biological information is deemed necessary scene from the frame image of the previous block from the timing that exceeds the threshold value of FIG. 3, for example, we considered the following two ways.
1つ目の方法によれば、生体情報の変化率の閾値に、図3の場合よりも低い値を設定する。 According to first method, the threshold value of the rate of change of the biometric information, to set a lower value than the case of FIG. より低い値を閾値に設定することで、 生体の変化が開始したと判断されるタイミングが図3の場合よりも前倒しされる。 By setting the lower value to the threshold, the timing that is determined to change the biological starts is accelerated than in FIG.

2つ目の方法によれば、生体情報の変化率があるブロックで閾値を超えると、そのブロックから所定数のフレーム分前のフレーム画像からフラグF1に値「1」を設定する。 According to the second method, it exceeds the threshold value at block there is a change rate of the biometric information and sets the value "1" to the flag F1 of a predetermined number of frames preceding the frame image from the block. 具体的には、図2のステップS102において、nフレーム目のフレーム画像と対応する生体情報について、その変化率が閾値を超えると、(n−k)フレーム目のフレーム画像と対応するフラグF1にその旨を表す値「0」を設定する。 Specifically, in step S102 of FIG. 2, the biometric information corresponding to the n th frame of the frame image, when the rate of change exceeds the threshold, the flag F1 corresponding to the (n-k) th frame of the frame image to set the value "0" indicating to that effect.

2つ目の方法においては、例えば、フラグF1に必要なシーンであることを表す値「1」を設定する期間については、(n−k)フレーム目から数えて、上記と同様の4ブロック分の期間としてもよい。 In the second method, for example, for the period to set the value "1" indicating that the scene required flag F1, (n-k) counting from th frame, similar to the above four blocks it may be a period of time. あるいは、フラグF1に値「1」を設定する期間は、(kフレーム+4ブロック)分に相当する期間としてもよい。 Alternatively, the period to set the value "1" to the flag F1 may be a period corresponding to the (k frame +4 block) minutes. いずれの場合であっても、非定常状態イネーブル信号の値の切り替えタイミングは、フラグF1に値「1」を設定する期間に応じて設定するのが望ましい。 In any case, the switching timing of the value of the non-steady-state enable signal is preferably set depending on the period to set the value "1" to the flag F1. いずれの場合であっても、実際に生体情報の変化率が図3の閾値を超えたブロックよりも前の(ブロックの)フレーム画像から必要なシーンとして処理されることとなる。 In any case, the fact that the rate of change of the biometric information is processed as necessary scenes from threshold exceeded than the previous block (block) frame image of FIG.

以上説明したように、本実施形態に係る画像記録装置1によれば、フレーム画像を撮影したときの撮影者の生体情報等の状態変化が開始したか否かに応じて、フレーム画像ごとに、必要なシーンに含まれると推定される非定常フレームであるか否かを判断する。 As described above, according to the image recording apparatus 1 according to this embodiment, depending on whether the start state changes such photographer's biometric information upon shooting frame image, for each frame image, determining whether a non-stationary frame which is estimated to be included in the required scene. そして、画像記録装置1は、フレーム画像ごとに、必要なシーンであるか否か(非定常フレームであるか否か)を識別するフラグF1をフレーム画像に対応付けて付し、必要なシーンのみが再生されるよう、非定常フレームのみを動画データを記録部4に記録する。 Then, the image recording apparatus 1, for each frame image, subjected associates a flag F1 identifies whether a required scene (whether non-stationary frame) to the frame image, the necessary scenes only There to be reproduced, it is recorded only unsteady frame moving picture data to the recording unit 4. これにより、読出装置7は、画像記録装置4の記録部4から動画データを読み出して再生するときに、不要なシーンについては再生せずに、必要なシーンのみを再生することが可能となる。 Thus, the reading apparatus 7, from the recording unit 4 of the image recording apparatus 4 when reading and reproducing moving image data, without playing for unnecessary scenes, it is possible to reproduce only necessary scenes.

なお、上記においては、図2のステップS103で、動画データを、仮記録部に一時的に記録させておき、データ要否判定回路3は、仮記録部から読み出した動画データに対して要否を判定する場合について説明しているが、これには限定されない。 In the above, at step S103 in FIG. 2, the moving image data, leave temporarily recorded in the temporary recording unit, data necessity determination circuit 3 necessity on the moving data read from the temporary recording unit It has described the case where determining not limited thereto. 例えば、画像記録装置1において取得した動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路3が、これを直接に処理して要否を判定してもよい。 For example, without for temporarily to record the moving image data obtained in the image recording apparatus 1 in the temporary recording unit, data necessity determination circuit 3, which may determine the necessity to process directly. あるいは、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路3が上記の要否判定を行うこととしてもよい。 Alternatively, while by temporarily storing moving image data in temporary recording unit, data necessity determination circuit 3 may perform the necessity determination described above. どのような構成をとる場合であっても、同様の効果を得る。 Even when taking any configuration, the same effect.
<第1の実施形態の変形例> <Modification of First Embodiment>

上記の実施形態においては、不要なシーンのフレーム画像であると判断した場合、そのフレーム画像については削除し、記録部4への記録は行っていない。 In the above embodiment, when it is determined that the unnecessary scene of the frame image, and delete for the frame image, recording to the recording unit 4 is not performed. しかし、不要なシーンと判定されたフレーム画像の処理方法については、これに限定されるものではない。 However, the processing method of the determined frame image with unnecessary scenes, but is not limited thereto. ここで説明する上記実施形態の変形例によれば、記録部4への記録は行うものの、図1の読出装置7において動画データを読み出すときに、不要なシーンについては読み出しを行わないようにする。 According to a variant of the embodiments described herein, although recording is performed to the recording unit 4, when reading the video data in the reading apparatus 7 of FIG. 1, so as not read for unnecessary scenes .

以下に、上記の実施形態と異なる点を中心に、第1の実施形態に係る画像記録の制御方法の変形例について、図面を参照して具体的に説明する。 Hereinafter, mainly the differences from the embodiment, a modified example of the control method of the image recording of the first embodiment will be specifically described with reference to the drawings. なお、ここで説明する第1の実施形態の変形例に係る画像記録装置の構成については、上記の実施形態と同様であり、図1に示すとおりであるので、ここでは説明を省略し、上記の実施形態と同一の構成については同一の符号を付して説明することとする。 Here, the configuration of the first image recording apparatus according to a modification of the embodiments described are similar to those of the above embodiment, since it is as shown in FIG. 1, description thereof is omitted, and said and it will be denoted by the same reference configuration to the embodiment of.

図4は、第1の実施形態の変形例に係る画像記録装置1による画像記録処理を示したフローチャートである。 Figure 4 is a flowchart showing an image recording process by the image recording apparatus 1 according to a modification of the first embodiment. 実施例では、画像記録装置1は、FAT(File Allocation Table)を採用するファイルシステムの下において、動画データを含む各種ファイルを管理している。 In an embodiment, the image recording apparatus 1, in the bottom of the file system employing the FAT (File Allocation Table), which manages the various files including moving data.

図4のステップS112及びステップS113の処理は、それぞれ図2のステップS102及びステップS103の処理と同様である。 Processing of step S112 and step S113 in FIG. 4 is the same as the processing in steps S102 and S103 of FIG. 2, respectively. 動画データの各フレーム画像に対応付けて図3のフラグF1が設定され、動画データがRAM等の仮記録部に一時的に記録されると、ステップS115へと処理を移行させる。 In association with each frame image of the moving image data is flagged F1 in FIG. 3, the moving image data is temporarily recorded in the temporary recording unit such as a RAM, and the process advances to step S115.

ステップS115で、データ要否判定回路3は、ステップS112において各フレーム画像に対応付けて設定したフラグF1を用いて、ファイルアロケーションテーブル(FAT)の書き換えを行う。 In step S115, the data necessity determination circuit 3 uses the flag F1 set in association with each frame image in step S112, rewriting of the file allocation table (FAT).

ステップS113の処理に関しては、上記図2のステップS103の処理と同様に、動画データを仮記録部に一時的に記録させておき、データ要否判定回路3が仮記録部から読み出した動画データに対して要否を判定する場合に限定されない。 For the processing of step S113, as in step S103 of FIG. 2, the video data keep temporarily recorded in the temporary recording unit, the moving image data to the data necessity determination circuit 3 is read out from the temporary recording unit not limited to the case of determining the necessity for. 動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路3が、画像処理装置1において取得した動画データを直接に処理して要否を判定してもよい。 Without to be temporarily recorded moving picture data to the temporary recording unit, data necessity determination circuit 3, directly necessity to process the video data obtained in the image processing apparatus 1 may determine. また、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路3が上記の要否判定を行うこととしてもよい。 Also, while by temporarily storing moving image data in temporary recording unit, data necessity determination circuit 3 may perform the necessity determination described above.

FATの書き換えについて、図5〜図7を参照して説明する。 The FAT rewriting, will be described with reference to FIGS.
図5は、従来におけるFATの書き換え方法について説明する図である。 Figure 5 is a diagram for explaining FAT rewriting method in the prior art. このうち、図5(a)は、FATファイルシステムのイメージ図である。 Of these, FIGS. 5 (a) is an image diagram of a FAT file system.

図5(a)のイメージ図に示すように、FATでフォーマットした記録部4は、記録領域は、システム領域とデータ領域とから構成される。 As shown in the conceptual diagram of FIG. 5 (a), the recording unit 4 formatted in the FAT, the recording area is composed of a system area and a data area. データ領域は、クラスタ単位で動画データを含むファイル本体のデータ等を格納するための領域である。 Data area is an area for storing data of a file body containing the moving picture data in units of clusters. システム領域には、画像記録の制御処理に関しては、(1)動画データの格納されているデータ領域の構造等を定義するブートセクタ領域、(2)データ領域に存在するクラスタの状態を記憶しておくFAT領域、(3)記録部4のルートディレクトリに存在するファイルやサブディレクトリの情報を管理するディレクトリ領域が含まれる。 The system area, with respect to the control process of the image recording, (1) the boot sector area that defines the structure of data area storing video data, and stores the state of the clusters present in (2) data area placing FAT area contains directory area for managing information (3) files and subdirectories in the root directory of the recording unit 4.

図5(b)は、FATでフォーマットした記録部4の各領域を模式的に示している。 FIG. 5 (b) shows the respective regions of the recording unit 4 formatted with FAT schematically. 説明の簡単のため、ここでは、データ領域の各クラスタには、それぞれフレーム画像のデータが、1枚分ずつ格納されているとする。 For simplicity of explanation, here, each cluster of data area, the data of each frame image, and are stored one by one sheet.

ディレクトリ領域には、データ領域の各クラスタに格納されているファイルの名称と、そのファイルが格納されているクラスタの先頭のクラスタ番号とが格納される。 The directory area, and the name of the file that is stored in each cluster of data area, the head of the cluster number of the cluster where the file is stored is stored.
FATには、クラスタ番号に対応付けて、次に読み出すべきクラスタのクラスタ番号が格納される。 The FAT, in association with the cluster number, then the cluster of the cluster number to be read is stored.

図5(b)に示す例では、図1の読出装置7等は、記録媒体から動画データを読み出すときは、ディレクトリ領域から先頭のフレーム画像(フレーム0)が格納されるクラスタ番号を取得する。 In the example shown in FIG. 5 (b), readout device 7 or the like in FIG. 1, when reading the video data from the recording medium, obtains the cluster number leading frame image (frame 0) is stored in the directory area. そして、読出装置7は、クラスタ番号「0」のデータをデータ領域から読み出すとともに、FATを参照して、クラスタ番号「0」のクラスタの次に読み出すべきクラスタの番号「1」を取得する。 The reading device 7 reads the data of the cluster number "0" from the data area, by referring to the FAT, you must get the number "1" of the cluster to be read out next cluster of the cluster number "0". 以降についても同様の処理により、読出装置7は、順次クラスタからデータを読み出していき、最後のデータであることを認識するまで、データの読み出しを続ける。 The same processing for later reading device 7, will read the data from the sequential clusters, until it recognizes that it is the last data, continue the reading of data. 図5(b)の例では、クラスタ番号「XX」のFATの情報より、XX番のデータが最後のデータであることを認識し、XX番のクラスタまでデータ読み出しを行う。 In the example of FIG. 5 (b), from the FAT information of the cluster number "XX", it recognizes that XX number of data is the last data, reading data to XX-th cluster.

図6は、第1の実施形態の変形例に係る画像記録装置1によるFATの書き換え方法を説明する図である。 Figure 6 is a diagram for explaining the FAT rewriting process by the image recording apparatus 1 according to a modification of the first embodiment. 図6を参照して、読み出しの際には非定常フレームのみが読み出されるよう、図4のステップS115において画像記録装置1のデータ要否判定回路3が実行する処理について、具体的に説明する。 6, so that only non-stationary frame is read during reading, data necessity determination circuit 3 of the image recording apparatus 1 is processing executed, specifically described in step S115 of FIG.

図6に示すとおり、図5(b)に示す従来の構造と比較すると、図4のステップS113で設定したフラグF1の情報を更に有している。 As shown in FIG. 6, when compared with the conventional structure shown in FIG. 5 (b), further it has information of the flag F1 set at step S113 in FIG. 4.
図6に示す例では、フレーム0からフレームX0の連続するフレーム画像のうち、網掛けされている部分が、生体情報等により必要なシーン、すなわち、非定常フレームと判断されたフレーム画像である。 In the example shown in FIG. 6, among successive frame images of the frame X0 from the frame 0, the portion that is shaded, the necessary scenes by the biological information or the like, i.e., a frame image determined as non-stationary frame. 図6のフレーム4〜8、フレーム11〜X0(X0は動画の最後のフレーム)までについては、フラグF1には、対応するフレーム画像が非定常フレームであることを表す値「1」が格納されている。 Frame 4-8, the frame 11~X0 in FIG 6 (X0 is the last frame of the moving image) for up, the flag F1, a value "1" indicating that the corresponding frame image is a non-stationary frame has been stored ing. 他のフレーム(フレーム0〜4、フレーム9〜10)については、フラグF1には、対応するフレーム画像が定常フレームであることを表す値「0」が格納されている。 For other frames (frame 0-4, the frame 9-10), the flag F1, which is stored the value "0" indicating that the corresponding frame image is a stationary frame.

データ要否判定回路3は、元の動画データ(フレーム0〜X0)までのフレーム画像だけでなく、元の動画データの最後のフレームである「フレームX0」以降に、フラグF1に値「1」の設定されている非定常フレームのみを更に記録しておく。 Data necessity determination circuit 3, as well as the frame image to the original video data (frame 0~X0), it is the last frame of the original video data in the "Frame X0" and later, the flag F1 value "1" keep the set only further unsteady frame are recorded.

図6の例では、クラスタ番号X1以降に、非定常フレームのデータを格納していき、フレーム0〜3及びフレーム8〜最後のフレームのフレーム画像のデータが格納される。 In the example of FIG. 6, after the cluster number X1, continue to store the data of the non-stationary frames, the data frames 0-3 and a frame 8 of the last frame the frame image is stored.
FATには、シーンごとに、最後のフレームに対して、そのフレームを格納するクラスタに最後のデータが格納されていることを表す情報を設定する。 The FAT, for each scene, for the last frame, sets information indicating that the last data to the cluster storing the frame is stored. 図6の例では、クラスタ番号X5及びXXのクラスタが最後のデータが格納されていることを表す情報を設定する。 In the example of FIG. 6, sets information indicating that the cluster number X5 and XX cluster last data is stored.

なお、データ要否判定回路3においてある動画データから必要なシーンとして抽出されたフレームをすべてつなぎ合わせて保存する構成としてもよい。 Incidentally, it may be configured to store the frame extracted as a necessary scene from the moving picture data in the data necessity determination circuit 3 to suit all tie. この場合は、FATには、クラスタ番号X0についてのみ、最後のデータが格納されていることを表す情報が設定される。 In this case, the FAT, the cluster number X0 only, information indicating that the last data is stored is set.

データ要否判定回路3は、図5(a)のシステム領域のうち、ブートセクタ領域のロードに関する定義(以下においては、ブートセクタ情報とする)を変更する。 Data necessity determination circuit 3, of the system area in FIG. 5 (a), the definition of loading the boot sector area (in the following, a boot sector information) is changed. 具体的には、記録部4に記録されている動画データを読み出す際は、クラスタ番号X0番号以降のデータをロードするように設定する。 Specifically, when reading the video data recorded in the recording unit 4 is set so as to load data for subsequent cluster number X0 number. これにより、必要なシーンと判定されたフレーム画像(非定常フレーム)のみを読み出して再生することが可能となる。 Thus, it is possible to reading and reproducing only is determined that the necessary scene frame image (non-stationary frames).

図7は、第1の実施形態の変形例に係る画像記録装置1による他のFATの書き換え方法を説明する図である。 Figure 7 is a diagram for explaining another FAT rewriting method by the image recording apparatus 1 according to a modification of the first embodiment. 図7に示す例においても、図6と同様に、フレーム0からフレームX0の連続するフレーム画像のうち、網掛けされている部分が、生体情報等により必要なシーン、すなわち、非定常フレームと判断されたフレーム画像である。 In the example shown in FIG. 7, similarly to FIG. 6, among the frame images successive frames X0 from the frame 0, the portion that is shaded, the necessary scenes by the biological information or the like, i.e., determines that the non-stationary frame a frame image.

図7に示す他のFATの書き換え方法によれば、図6を参照して説明した方法のように、元の動画データとは別に、非定常フレームのみを抽出してクラスタに格納しておくことはしない。 According to another FAT rewriting method shown in FIG. 7, as in the method described with reference to FIG. 6, separately from the original video data, be stored in the cluster by extracting only unsteady frame It is not. その代わりに、図7に示す例では、FATにおいて、各クラスタに格納されているデータが、動画の再生時に読み出すべきデータであるか否かを表す情報が追加されている。 Instead, in the example shown in FIG. 7, in the FAT, data stored in each cluster, is added information indicating whether the data to be read during video playback.

データ要否判定回路3は、図5(a)のシステム領域のうち、上記ブートセクタ情報を変更して、フラグF1の値にしたがってクラスタからの読み出しを行うか否かを設定する。 Data necessity determination circuit 3, of the system area of ​​FIG. 5 (a), by changing the boot sector information, for setting whether to read from the cluster according to the value of the flag F1. フラグF1の値にしたがって読み出しを行うことと設定すると、図6の場合と同様に、必要なシーンと判定されたフレーム画像(非定常フレーム)のみを読み出して再生することが可能となる。 With the setting be read according to the value of the flag F1, as in the case of FIG. 6, it is possible to read and play back only determines that the necessary scene frame image (non-stationary frames).

図8は、図1の読出装置7による、図4の画像記録制御処理によって記録部4に記録された動画の再生処理を示したフローチャートである。 Figure 8 is due to the reading device 7 in FIG. 1 is a flowchart showing the playback processing of the moving image recorded in the recording unit 4 by the image recording control process of FIG. 図8を参照して、図6や図7に示す方法でFATが書き換えられた場合に、読出装置7の読出回路5が動画データを読み出す方法について説明する。 Referring to FIG. 8, when the FAT is rewritten in the manner shown in FIGS. 6 and 7, the read circuit 5 of the reading device 7 will be described a method of reading the video data.

まず、ステップS121で、読出回路5は、動画再生の指示を受け付けたか否かを判定する。 First, in step S121, the read circuit 5, determines whether it has received an instruction for video playback. 動画の再生指示を認識すると、ステップS123へと処理を移行させる。 It recognizes the reproduction instruction of the video, and the process advances to step S123. ステップS121の判定と並行させて、読出回路5は、ステップS122で、図6または図7のFATの読み出しを行っておく。 By concurrently with the determination of step S121, the read circuit 5, at step S122, the previously performed FAT read in FIG. 6 or 7.

ステップS123では、フラグF1に値「1」が設定されている非定常フレームからなるシーンのみが、ブートセクタ情報が「読み出しする」になっており、必要なシーンとして再生される。 At step S123, only the scene consisting of a non-stationary frame in the flag F1 value "1" is set, the boot sector information has become a "reading", and reproduced as required scene. 非定常フレームのみを読み出す方法については、図6や図7の説明において述べたとおりである。 The method of reading only unsteady frame is the same as that described in the description of FIG. 6 and FIG. 7. 図6のFATの書き換え方法によれば、クラスタ番号X1以降のデータが読み出されることにより、非定常フレームのみが再生される。 According to the FAT writing method of FIG. 6, by cluster numbers X1 subsequent data is read, only the non-stationary frames are reproduced. 図7のFATの書き換え方法によれば、ブートセクタ領域に設定されている「ブートセクタ情報」に基づき、図7のFATより読み出し対象と設定されているデータのみが選択的に読み出されることにより、非定常フレームのみが再生される。 According to the FAT writing method of FIG. 7, on the basis of the "boot sector information" set in the boot sector area, by only the data that has been set from the FAT in Fig. 7 a read target is selectively read out, only non-stationary frame is played.

以上説明したように、第1の実施形態の変形例に係る画像記録方法によれば、第1の実施形態と同様に、画像記録装置1において必要なシーンと判定された部分のみの再生を可能としつつ、不要なシーンも記録しておく。 As described above, according to the image recording method according to a modification of the first embodiment, as in the first embodiment, enables the reproduction of only the determined portion requires an scene in the image recording apparatus 1 while and, it should also recorded unnecessary scenes. これにより、上記第1の実施形態と同様の効果を奏するとともに、画像記録装置1により「不要なシーン」と判定されたシーンであっても実際には撮影者や閲覧者等のユーザにとっては重要度の高いシーンが、再生不能となることを防ぐことができる。 Accordingly, the same effects as in the first embodiment, important to the user, such as shooting and viewers by the image recording apparatus 1 in fact be determined scene as "unnecessary scenes" high degree scene, it is possible to prevent an unreproducible.
<第2の実施形態> <Second Embodiment>

上記の実施形態においては、データ要否判定回路3に不要なシーンと判定されたフレーム画像については削除する・読み出されないようにファイルシステムに設定しておく等により、不要なシーンは再生されない構成をとる。 In the above embodiment, the like is set to the file system so that it is not read-to delete the frame images determined in the data necessity determination circuit 3 and the unnecessary scenes, the unnecessary scenes not play structure the take. これに対し、本実施形態においては、不要なシーンもユーザの指示等に応じて再生可能であることを特徴とする。 In contrast, in this embodiment, wherein the undesired scenes can also be played in accordance with an instruction of the user.

以下に、本実施形態に係る画像記録装置1による画像記録の制御方法について、上記の実施形態と異なる点を中心に説明する。 Hereinafter, a method of controlling the image recording by the image recording apparatus 1 according to this embodiment will be described focusing on differences from the embodiment. 本実施形態においても、画像記録装置の構成については上記の実施形態と同様であり、図1に示すとおりであるので、ここでは説明を省略し、上記の実施形態と同一の構成については同一の符号を付して説明することとする。 In this embodiment, the configuration of the image recording apparatus is similar to the above embodiment, since it is as shown in FIG. 1, description thereof is omitted, and the same for the same structure as the above embodiment and it is described by a reference numeral.

図9は、本実施形態に係る画像記録装置1による画像記録処理を示したフローチャートである。 Figure 9 is a flowchart showing an image recording process by the image recording apparatus 1 according to this embodiment. 以下の説明においては、上記の実施形態のうち、図2の第1の実施形態に係る画像記録処理と比較して、異なる処理を中心に説明する。 In the following description, of the above embodiment, as compared with the image recording processing according to the first embodiment of FIG. 2 will be described focusing on different processing.

ステップS202及びステップS203の処理は、それぞれ図2のステップS102及びステップS103と同様である。 Processing of step S202 and step S203 are similar to steps S102 and S103 of FIG. 2, respectively.
ステップS205で、データ要否判定回路3は、画像記録装置1に入力された元の動画データをフレーム画像ごとに記録して、ステップS206に進む。 In step S205, the data necessity determination circuit 3 records the original video data input to the image recording apparatus 1 for each frame image, the process proceeds to step S206.

ステップS206以降の処理については、図2のステップS105以降の処理とそれぞれ同様である。 Step S206 The subsequent processing are respectively similar to steps S105 and subsequent steps in FIG.
このように、本実施形態に係る画像記録の制御方法によれば、必要と判断された非定常フレームだけ記録するのではなく、元の動画データについてもフレーム画像ごとに記録する(図9のステップS205)。 Thus, according to the control method of the image recording according to the present embodiment, instead of recording only unsteady frames deemed necessary, also recorded for each frame image for the original moving image data (step in FIG. 9 S205). データ要否判定回路3が、撮影者の生体情報等に基づき不要なシーンのフレームであると判定したとしても、実際には、そのフレーム画像が撮影者や閲覧者等にとって必要な画像であることもある。 That the data necessity determination circuit 3, even if judged to be unnecessary scene frames based on the photographer's biometric information, etc., in practice, the frame image is a required image for photographing and viewers like there is also. このような場合であっても、元の動画データも記録しておくことにより、実際には必要な画像がデータ要否判定回路3の判定結果により閲覧不能となってしまうことを回避している。 Even in such a case, it is avoided that by previously also the original moving image data recording, it becomes impossible browse by actually result decision required image data necessity determination circuit 3 .

なお、図9のステップS203の処理に関しては、上記の実施形態と同様に、本実施形態は、動画データを仮記録部に一時的に記録させておき、データ要否判定回路3が仮記録部から読み出した動画データに対して要否を判定する場合に限定されない。 Regarding the process of step S203 in FIG. 9, as in the above embodiment, the present embodiment, the video data keep temporarily recorded in the temporary recording unit, data necessity determination circuit 3 temporary recording unit not limited to the case of determining the necessity on the moving data read from. 動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路3が、フレームデータ取得部2から入力される動画データを直接に処理して要否を判定してもよい。 Without to be temporarily recorded moving picture data to the temporary recording unit, data necessity determination circuit 3 may be determined directly necessity to process the video data input from the frame data acquisition unit 2 . また、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路3が上記の要否判定を行うこととしてもよい。 Also, while by temporarily storing moving image data in temporary recording unit, data necessity determination circuit 3 may perform the necessity determination described above.

本実施形態に係る画像記録装置1によれば、上記第1の実施形態の変形例と同様に、画像記録装置1により「不要なシーン」と判定されたシーンであっても実際には撮影者や閲覧者等のユーザにとっては重要度の高いシーンが再生不能となることを防ぐ。 According to the image recording apparatus 1 according to this embodiment, the similar to the modification of the first embodiment, the image recording apparatus 1 by the "unnecessary scene" and the determined actually be a scene photographer for and viewers of the user a high degree of importance scene prevented from becoming a non-renewable.
<第3の実施形態> <Third Embodiment>

上記の実施形態においては、画像記録装置1は、他の装置において取得された動画データと生体情報とが入力されると、入力された生体情報より各フレーム画像に対応付けてフラグF1の情報を付していく。 In the above embodiment, the image recording apparatus 1, when the obtained moving image data and the biological information in the other device are inputted, the information of the flag F1 in association than biometric information input in each frame image It is given. これに対し、本実施形態においては、画像処理装置1′が動画データと生体情報とを取得している点で異なる。 In contrast, in the present embodiment differs in that the image processing apparatus 1 'has acquired the video data and the biometric information.

以下に、本実施形態に係る画像記録装置1′による画像記録の制御方法について、上記第1の実施形態と異なる点を中心に説明する。 Hereinafter, a method of controlling the image recording by the image recording apparatus 1 'according to the present embodiment will be described focusing on differences from the first embodiment.
図10は、本実施形態に係る画像記録装置の構成図である。 Figure 10 is a block diagram of an image recording apparatus according to the present embodiment. 図10に示す画像記録装置1´は、図2の画像記録装置1と比較すると、生体情報取得部6及びフレームデータ取得部2を更に備える点で異なる。 The image recording apparatus 1 'shown in FIG. 10 is different from the image recording apparatus 1 of FIG. 2, it differs in that it further includes a biological information acquisition unit 6 and the frame data acquisition unit 2.

フレームデータ取得部2は、被写体が撮影された動画データをフレーム画像ごとに取得する撮影部である。 Frame data acquisition unit 2 is a photographing unit for obtaining the moving image data subject is photographed for each frame image.
生体情報取得部6は、本実施形態においては、画像記録装置1´に設けられたセンサ等により、撮影中の撮影者の生体情報等の情報を取得して、取得した生体情報等をデータ要否判定回路3に通知する。 Biological information acquisition unit 6, in this embodiment, the sensor or the like provided in the image recording apparatus 1 ', to obtain information such as biometric information of the photographer during shooting, data relevant to the acquired biometric information or the like and it notifies the determination circuit 3. 生体情報取得部6が取得する情報の具体例については、上記第1の実施形態の説明において述べたとおりである。 For an example of the information that the biological information acquisition unit 6 acquires, are as described in the description of the first embodiment.

図11を参照して、本実施形態における画像記録の制御方法について、具体的に説明する。 Referring to FIG. 11, the control method of the image recording in the present embodiment will be specifically described.
図11は、本実施形態に係る画像記録装置1´による画像記録処理を示したフローチャートである。 Figure 11 is a flowchart showing an image recording process by the image recording apparatus 1 'according to this embodiment.

まず、ステップS301で、データ要否判定回路3は、動画像の撮影が開始されているか否かを判定する。 First, in step S301, the data necessity determination circuit 3 determines whether or not the photographing of a moving image is started. ステップS301の判定は、データ要否判定回路3において、フレームデータ取得部2からの動画データの入力開始を認識したことに基づき行う。 Determination in step S301, in the data necessity determination circuit 3 performs based on the recognized input start of the moving image data from the frame data acquisition unit 2.

ステップS302以降の処理については、図2のステップS102以降の処理とそれぞれ同様である。 Step S302 The subsequent processing are respectively similar to steps S102 and subsequent steps in FIG. すなわち、ステップS302において、データ要否判定回路3は、生体情報取得部6から入力された生体情報等を用いて解析を行い、データフレーム取得部2において取得した各フレーム画像に順次フラグF1を付してゆく。 That is, with in step S302, the data necessity determination circuit 3 performs analysis using the biometric information input from the biometric information acquisition unit 6 or the like, sequentially flag F1 to each frame image acquired in the data frame acquisition unit 2 slide into. データ要否判定回路3は、フラグF1の値により、必要なシーンか不要なシーンかを判断し、必要なシーンのフレーム画像を記録部4に記録する一方で、不要なシーンについては、削除する。 Data necessity determination circuit 3, the value of the flag F1, to determine the necessary scenes or unnecessary scenes, while recording the frame image required scene recording unit 4, for unnecessary scenes, delete .

本実施形態に係る画像記録装置1´によれば、上記第1の実施形態と同様の効果を得ることができる。 According to the image recording apparatus 1 'according to this embodiment, it is possible to obtain the same effect as in the first embodiment.
<第3の実施形態の変形例> <Modification of Third Embodiment>

上記第3の実施形態についても、第1の実施形態の変形例と同様に、不要なシーンのフレーム画像については削除せず、読出装置7の読み出しの対象外となるように処理することができる。 For even the third embodiment, it is possible to similarly to the modification of the first embodiment, without removing about unnecessary scene frame images, processed as out of the target of reading of the reading unit 7 .

以下に、第3の実施形態に係る画像記録の制御方法の変形例について、図12を参照して説明する。 Hereinafter, a modified example of the control method of the image recording of the third embodiment will be described with reference to FIG. 12. 第3の実施形態の変形例に係る画像記録装置の構成については、図10に示すとおりであるので、ここでは説明を省略し、上記第3の実施形態と同一の構成については同一の符号を付して説明することとする。 The configuration of the image recording apparatus according to a modification of the third embodiment, since it is as shown in FIG. 10, description thereof is omitted, and the same reference configuration in the third embodiment assigned to the be explained.

図12は、第3の実施形態の変形例に係る画像記録装置1´による画像記録処理を示したフローチャートである。 Figure 12 is a flowchart showing an image recording process by the image recording apparatus 1 'according to a modification of the third embodiment. 実施例では、画像記録装置1´は、第1の実施形態の変形例と同様に、FATを採用するファイルシステムの下において動画データを含む各種ファイルを管理している。 In an embodiment, the image recording apparatus 1 ', as in the modification of the first embodiment manages the various files including moving data in below the file system employing the FAT.

図12のステップS311乃至ステップS313の処理は、それぞれ図11のステップS301乃至ステップS303の処理と同様である。 Processing in steps S311 to step S313 of FIG. 12 is the same as the processing in steps S301 through S303 in FIG. 11, respectively. ステップS312において、生体情報取得部6より入力される生体情報より、フレームデータ取得部2から入力された動画データの各フレームに対応付けて図3のフラグF1が設定される。 In step S312, the more biometric information input from the biometric information acquisition unit 6, the flag F1 of FIG. 3 is set in association with each frame of video data inputted from the frame data acquisition unit 2. そして、動画データがRAM等の仮記録部に一時的に記録されると、ステップS315へと処理を移行させる。 When the moving image data is temporarily recorded in the temporary recording unit such as a RAM, and the process advances to step S315.

ステップS315で、データ要否判定回路3は、ステップS312において各フレーム画像に対応付けて設定したフラグF1を用いて、ファイルアロケーションテーブル(FAT)の書き換えを行う。 In step S315, the data necessity determination circuit 3 uses the flag F1 set in association with each frame image in step S312, the rewriting of the file allocation table (FAT).

ステップS315のFATの書き換え処理の詳細については、図5乃至図7を参照して第1の実施形態の変形例の説明において述べたとおりである。 For details of the FAT rewriting processing in step S315, it is as described in the description of the modification of the first embodiment with reference to FIGS. 第3の実施形態の変形例についても、同様に、図6または図7に示す方法のいずれかにより、FATの書き換えを行う。 For even modification of the third embodiment, similarly, by any of the methods shown in FIGS. 6 and 7, it performs the FAT rewriting.

また、ステップS313の処理についても、図4のステップS113の処理と同様に、必ずしも動画データを仮記録部に一時記録させておく場合に限定されない。 As for the process of step S313, as in step S113 of FIG. 4, not necessarily limited to the case where allowed to temporarily stored moving picture data to the temporary recording unit. 動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路3が、フレームデータ取得部2において取得した動画データを直接に処理して要否を判定してもよい。 Without to be temporarily recorded moving picture data to the temporary recording unit, data necessity determination circuit 3 may be determined directly necessity to process the video data obtained in the frame data acquisition unit 2. また、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路3が上記の要否判定を行うこととしてもよい。 Also, while by temporarily storing moving image data in temporary recording unit, data necessity determination circuit 3 may perform the necessity determination described above.

第3の実施形態の変形例によれば、上記の第1の実施形態の変形例と同様の効果を得ることができる。 According to a variant of the third embodiment, it is possible to obtain the same effect as the modification of the first embodiment described above.
<第4の実施形態> <Fourth Embodiment>

上記の第2の実施形態においては、他の装置において取得した動画データについて、必要なシーンのみを記録するだけでなく、不要なシーンもユーザの指示等に応じて再生可能なように、元の動画データについても記録しておくよう画像記録の制御を行っている。 In the second embodiment described above, the moving image data obtained in another system, not only to record only necessary scenes, even as playable in accordance with an instruction of the user unnecessary scenes, the original control is performed for image recording to be recorded also moving image data. 一方、上記の第3の実施形態においては、自装置において取得した動画データについて、必要なシーンのみの記録を行っている。 On the other hand, in the third embodiment described above, the moving image data obtained in its own device, recording is performed for only the required scenes. これに対し、本実施形態に係る画像記録装置では、自装置において取得した動画データに対して、必要なシーンのみを記録するだけでなく、不要なシーンも再生可能となるよう、元の動画データも記録しておくよう画像記録の制御を行う。 In contrast, in the image recording apparatus according to the present embodiment is different from the moving picture data acquired in its own device, not only to record only necessary scenes, so that it becomes possible to reproduce unnecessary scenes, the original video data It controls the image recording as to be also recorded.

以下においては、自装置において取得した動画データに対して元の動画データも記録しておくよう画像記録の制御を行う方法について、上記第2及び3の実施形態と異なる点を中心に説明する。 In the following, a method for controlling the image recording as to be also recorded original video data to the video data acquired in its own device, will be described focusing on differences from the embodiment of the second and third. なお、ここで説明する第4の実施形態に係る画像記録装置の構成については、上記第3の実施形態と同様であり、図10に示すとおりであるので、ここでは説明を省略し、上記の実施形態と同一の構成については同一の符号を付して説明する。 The configuration of the image recording apparatus according to the fourth embodiment described here, is the same as the third embodiment, since it is as shown in FIG. 10, description thereof is omitted, and the the same components as the embodiment are denoted by the same reference numerals.

図13は、本実施形態に係る画像記録装置1´による画像記録処理を示したフローチャートである。 Figure 13 is a flowchart showing an image recording process by the image recording apparatus 1 'according to this embodiment.
まず、ステップS401乃至ステップS403の処理については、それぞれ第3の実施形態の図11に示すステップS301乃至ステップS303の処理と同様である。 First, the processing of steps S401 to step S403, the same as the processing in steps S301 through S303 shown in FIG. 11 of the third embodiment, respectively.

ステップS405の処理については、第2の実施形態の図9に示すステップS205の処理と同様である。 The processing of step S405, the same as the processing in step S205 shown in FIG. 9 of the second embodiment.
ステップS406以降の処理については、第2及び第3の実施形態の処理、すなわち、図9のステップS206以降及び図11のステップS305以降の処理と同様である。 Step S406 for subsequent processing, the processing of the second and third embodiments, i.e., the same as the step S305 and subsequent processing in steps S206 and subsequent and 11 of Figure 9.

このように、本実施形態に係る画像記録装置1´によれば、上記第3の実施形態のように、自装置で取得した動画データに対して、上記第2の実施形態のように、元の動画データを記録しつつ、必要なシーンのみを記録することが可能となる。 Thus, according to the image recording apparatus 1 'according to this embodiment, as in the third embodiment, with respect to video data obtained by the own apparatus, as the second embodiment, the original while recording the moving image data, it is possible to record only the necessary scenes. したがって、上記の実施形態と同様の効果を奏する。 Therefore, the same effects as in the above embodiment.

なお、上記の説明においては記載を省略しているが、本実施形態に係る画像記録の制御方法を、例えばFATを採用するファイルシステムの下において動画データ等の各種ファイルを管理する場合に適用可能であることは勿論である。 Incidentally, although not described in the above description, applicable method for controlling the image recording according to the present embodiment, when managing various files such as moving data at below the file system employing the FAT e.g. it is a matter of course it is.
<第5の実施形態> <Fifth Embodiment>

上記の第1〜第4の実施形態においては、画像記録装置1、1´において必要なシーンのフレーム画像と判定したフレームのみを、読出装置7において再生する方法について説明している。 In the first to fourth embodiments described above, only the frame determined to be necessary scene of the frame image in the image recording apparatus 1, 1 ', which explains how to play in the reading device 7. これに対し、本実施形態においては、動画の再生時には、画像記録装置1のデータ要否判定回路3においてシーンの要否を判定した結果を利用して画像処理を施した画像を出力することを特徴とする。 In contrast, in the present embodiment, at the time of video playback, to output the data necessity determination circuit 3 of the image recording apparatus 1 by using the result of determining the necessity of scene image subjected to image processing and features. これは、例えば第2の実施形態や第4の実施形態のように、元の動画データも併せて記録部4に記録しておいたような場合に実現可能である。 This, for example, as in the second embodiment and the fourth embodiment can be implemented when, as had been recorded in the recording unit 4 together also original video data. あるいは、第1の実施形態の変形例及び第3の実施形態の変形例のように、不要なシーンのフレーム画像と判定した場合であっても読み出しが可能な構成をとる場合に実現が可能である。 Alternatively, as in the modification of the modified embodiment and the third embodiment of the first embodiment, can be realized when taking possible even read even if it is determined that the unnecessary scene frame images constituting is there.

以下に、先に説明した方法によりシーンの要否を判定した結果を利用して、図1や図10に示す読出装置7(の読出回路5)が、動画データを画像記録装置1、1´から読み出して所定のフレーム画像に画像処理を施した上で再生する方法について、具体的に説明する。 Below, by the methods described above by using the result of determining the necessity of the scene, the reading device 7 shown in FIG. 1 and FIG. 10 (readout circuit 5), the image recording apparatus 1, 1 'video data reading from how to play after applying image processing on a predetermined frame image will be specifically described.

所定のフレーム画像に画像処理を施す方法としては、例えば、不要なシーンと判定されたフレーム画像(定常フレーム)については輝度を低下させ、必要なシーンと判定されたフレーム画像(非定常フレーム)については輝度に変化を加えない。 As a method of performing image processing on a predetermined frame image, for example, the unnecessary for scene determined to be a frame image (stationary frame) to reduce the brightness, it is determined as the necessary scene frame image (non-stationary frame) It adds no change in brightness. これにより、非定常フレーム、すなわち、必要なシーンと判定されたフレーム画像を強調して再生することができる。 Thus, non-stationary frames, i.e., can be reproduced by emphasizing the frame images determined necessary scenes.

なお、必要なシーンと判定されたフレーム画像を強調するためには、再生される動画のうち、非定常フレームが定常フレームに対して強調されるよう、定常フレームと非定常フレームのうち、少なくとも一方に対して輝度を変化させる処理を施すこととすればよい。 In order to emphasize the frame images determined necessary scene, among the video played, so that non-stationary frames are emphasized relative to stationary frame, among the stationary frame and unsteady frame, at least one it may be the applying process of changing the luminance respect.

輝度以外にも、例えば、非定常フレームと比較して、定常フレームのS/N(Signal to Noise ratio)比を小さくする、鮮鋭度を低下させる、解像度を低下させる、彩度を低下させる、被写体等の変形処理を大きくする等の画像処理を実施してもよい。 Besides brightness, for example, as compared to the non-stationary frame, to reduce the S / N (Signal to Noise ratio) ratio of the steady frame, reducing the sharpness, reducing the resolution, decreasing the chroma, the subject image processing may be performed such as to increase the deformation process of the like. 上記のとおり、定常フレームと比較して、非定常フレームに対して輝度の変化を強調する、S/N比を大きくする、鮮鋭度を上げる、解像度を上げる等の画像処理を実施してもよい。 As described above, compared to stationary frame, emphasizing the change in luminance with respect to non-stationary frames, increasing the S / N ratio increases the sharpness may be carried out image processing such as raising the resolution . 更には、S/N比、鮮鋭度、解像度等が定常フレームと非定常フレームとで差が出るように、定常フレーム及び非定常フレームの両方に対して画像処理を行うこととしてもよい。 Furthermore, S / N ratio, sharpness, as resolution and the like is a difference exits between the stationary frame and the non-stationary frames, the image processing may be performed for both stationary frame and non-stationary frames.

あるいは、例えば、定常フレームが非定常フレームよりも被写体にディストーションが多くかかるよう画像処理を行ってもよい。 Alternatively, for example, stationary frame may be subjected to image processing so that according to many distortion subject than non-stationary frame.

あるいは、処理対象のフレーム画像より時間的に前のフレーム画像の画像データを使用して画像処理を行うこととしてもよい。 Alternatively, the image data from the frame image temporally previous frame image to be processed may perform the image processing using.
また、非定常フレームより補間フレーム画像を生成し、生成した補間フレーム画像を、当該非定常フレームの前あるいは後ろに挿入することとしてもよい。 Also generates from the interpolation frame image unsteady frame, the generated interpolation frame image may be inserted after or before the non-stationary frame. すなわち、フレームレートが30fps(Frames Per Second)で取得した動画に対し、補間フレームを挿入することにより、60fpsの動画データを生成・再生することとしてもよい。 That is, for videos frame rate acquired at 30fps (Frames Per Second), by inserting the interpolation frame, may be generated and reproduced video data of 60 fps.

また、少なくとも2つの定常フレームを合成してもよいし、定常フレームが非定常フレームに対してぼかし量が多い画像となるよう画像処理を実施してもよい。 Further, it may be synthesized at least two stationary frames, the image processing may be performed so that the stationary frame blurring amount becomes large image to non-stationary frame.
補間フレームを挿入する処理、フレームの合成処理等について、図14及び図15を参照して説明する。 Process of inserting an interpolated frame, the synthesis processing of the frame, will be described with reference to FIGS. 14 and 15.

図14は、レート変換の過程を模式的に示す図である。 Figure 14 is a diagram showing a process of rate conversion schematically. フレーム間補間による高フレームレート化を行い、非定常フレームに対する注視度が上がるようにする。 It performs high frame rate by the frame interpolation, so that attention degree for non-stationary frame is increased. なお、ここで説明するレート変換については、一般的に使用されるレート変換であり、これに限定されるものではない。 As for the rate conversion described here, a rate conversion that is commonly used, but it is not limited thereto.

図14(A)は、取得したフレーム画像の並びを模式的に示す図である。 14 (A) is a diagram schematically showing the arrangement of the acquired frame images. 奥側が古い画像で前側が新しい画像で、中央が非定常フレームFnである。 The front side with the new image in the back side of the old image, the center is a non-stationary frame Fn. 図14(B)、(C)に、非定常フレームFnの前2枚目と3枚目で、その中間画像を作成する例を示す。 FIG. 14 (B), the (C), the two sheets eyes 3rd previous non-stationary frame Fn, showing an example of creating an intermediate image.

フレーム間補間では、隣接したフレーム画像Fn−3とFnー2から、特徴点、対応点を検出し、中間のフレームデータを生成して、フレーム画像Fn−2.5を作成する(図14(C))。 The inter-frame interpolation from the frame image Fn-3 and Fn-2 that adjacent feature point, detecting the corresponding points, and generates an intermediate frame data to create a frame image Fn-2.5 (Fig. 14 ( C)).

非定常フレームFnの近傍区間(Fn−3〜Fn+3)について、同様に、中間フレームのデータを作成し、中間フレーム画像を元の動画像に合成すると図14(D)に示すような動画像が作成される。 Unsteady frame Fn vicinity interval (Fn-3~Fn + 3), similarly, to create the data of the intermediate frame, the moving image as the synthesized intermediate frame images to the original moving image shown in FIG. 14 (D) is It is created. 補間処理により作成された画像を破線で示し、カッコ内の番号は、元の画像のフレーム番号を示す。 Shows an image generated by the interpolation process by the broken line, the number in parentheses indicates the frame number of the original image.

このようなレート変換された動画像を再生すると、非定常フレームFnの近傍でスローモーションになるような画像が再生される。 When reproducing such rate conversion moving image, an image such that the slow motion in the vicinity of the non-stationary frame Fn is reproduced. さらに、非定常フレームFnに近づくほど合成画像の数を増やして、非定常フレームのより近傍でスローモーション効果が強調されるようにしてもよい。 Furthermore, by increasing the number of more synthetic image closer to the non-stationary frame Fn, may be more slow motion effects in the vicinity of the non-stationary frames are emphasized.

また、読出回路5は、ステップS408で、フレームレートを変更するフレーム補間処理の代わりにフレーム間のフィルタ処理を行うようにしてもよい。 Further, the read circuit 5, at step S408, may be performed to filter between frames instead of frame interpolation processing for changing the frame rate. 図15は、図1等の読出回路5によるフレーム間のフィルタ処理を説明する図である。 Figure 15 is a diagram for explaining the filtering process between frames by reading circuit 5 in FIG. 1 and the like.

読出回路5は、フレーム画像Fmにつき、その前後のフレーム画像(Fm−i〜Fm+i)を用いて、下式に示す合成処理を行い、F´mを生成する。 Reading circuit 5, per frame image Fm, using the front and rear frame images (Fm-i~Fm + i), performs the combining process shown in the following equation, to generate a F'm.

読出回路5が、かかる処理を行うことで、フレーム画像Fmからぼけた画像F´mを作成することができる。 The read circuit 5, by performing such processing, it is possible to create an image F'm blurred from the frame image Fm. 読出回路5は、非定常フレームFnの近傍に関してはフレーム間のフィルタ処理は行わず、非定常フレームFnから離れるにつれて、時間的な帰還率を大きくし、ぼけた画像を作成する。 Reading circuit 5 does not perform the filtering process between frames with respect to the vicinity of the non-stationary frame Fn, increasing distance from the non-stationary frame Fn, to increase the temporal feedback factor, creating a blurred image. 非定常フレームFnの近傍で、ぼけた画像からぼけのないクリアな画像に変わることで、非定常フレームFnをより印象づけることができる。 In the vicinity of the non-stationary frame Fn, by changing the blur-free clear images from blurred images can impress more unsteady frame Fn.
<適用例> <Application>

以下においては、上記の各実施形態に係る画像記録の制御方法を適用した装置の具体例について説明する。 In the following, a specific example of device to which the control method of the image recording according to the embodiments described above.
図16は、上記の実施形態に係る画像記録の制御方法をデジタルカメラに適用した場合について説明する図である。 Figure 16 is a diagram for explaining the case of applying the control method of the image recording according to the embodiment in a digital camera.

図16(a)は、上記の実施形態に係る画像記録の制御方法を適用したデジタルカメラ80の外観図である。 16 (a) is an external view of a digital camera 80 according to the control method of the image recording according to the embodiment. 図16(a)のデジタルカメラ80に生体情報を取得するためのセンサ等の手段を設けることについては、公知の技術であるのでここでは詳細な説明は省略する。 For the provision of means such as a sensor for the digital camera 80 acquires biological information of FIG. 16 (a), the detailed description is a known technique will be omitted.

図16(b)は、デジタルカメラ80の構成を示す図である。 16 (b) is a diagram showing a configuration of the digital camera 80. デジタルカメラ80は、撮像部81、表示部83、表示用メモリ82、画像圧縮伸張部84、入力部85、RAM(Random Access Memory)88、ROM(Read Only Memory)89、記録部86及びCPU87を有する。 Digital camera 80 includes an imaging unit 81, a display unit 83, display memory 82, the image compression and expansion unit 84, an input unit 85, RAM (Random Access Memory) 88, ROM (Read Only Memory) 89, a recording unit 86 and the CPU87 a.

入力部85は、十字キーやボタン等や生体情報取得用のセンサから構成され、ユーザの入力やユーザの生体情報を受け付ける。 The input unit 85 is composed of sensors of the cross key or a button or the like and biometric information for acquiring accepts biometric information of the input or the user of the user. 例えば撮影の開始・終了の指示や、記録した動画の再生等の指示を受け付ける。 For example, the start and end of the instructions and shooting, receives an instruction such as reproduction of the recorded video.
撮像部81は、図10のフレームデータ取得部2に対応する。 Imaging unit 81 corresponds to the frame data acquisition unit 2 of FIG. 10. 画像圧縮伸張部84は、撮像部81から出力された画像データを所定の圧縮アルゴリズムを用いて圧縮したり、伸張したり等の処理を行う。 Image compression and expansion unit 84, or compression, processing such or decompression performed by using a predetermined compression algorithm the image data output from the imaging unit 81. 記録部86は、図10(や図1の)のデータ要否判定回路3の機能を備え、デジタルカメラ80本体のフラッシュメモリや着脱可能な記録媒体等の記録部4に、動画データ等の書き込みを行う。 Recording unit 86 in FIG. 10 (and in Figure 1) a function of the data necessity determination circuit 3 of the recording unit 4 such as a flash memory or a detachable recording medium of the digital camera 80 main body, writing such as moving data I do.

ROM89は、図10等のデータ要否判定回路3の機能を制御プログラムにより実現する場合には、当該制御プログラムを格納する。 ROM89, when realized by a control program the function of the data necessity determination circuit 3 such as 10, stores the control program. CPU87は、ROM89から当該制御プログラムを読み出して実行させることにより、上記の各実施形態の画像記録の制御方法を実現させる。 CPU87 is by reading and executing the control program from the ROM 89, to realize a control method of the image recording of the above embodiments.

表示部83は、液晶表示装置等からなり、例えば記録した動画の再生時には、動画を表示させる。 Display unit 83 includes a liquid crystal display device or the like, for example, during reproduction of the recorded video, to display the video. 表示用メモリ82は、表示部83に画像を表示するときに、映像信号を一時的に保持するためのメモリである。 Display memory 82, when an image is displayed on the display unit 83 is a memory for temporarily storing the video signal.

RAM88は、例えば上記の実施形態のうち、図10のフレームデータ取得部2で取得した動画データを一時的に記録する構成をとる場合は、撮像部81で取得したデータを一時的に保存するメモリ領域である。 RAM88, for example of the above embodiment, when taking the temporarily recorded constitutes the video data obtained by the frame data acquisition unit 2 of FIG. 10, for temporarily storing data acquired by the imaging unit 81 memory it is a region.

図17、図18は、上記の実施形態に係る画像記録の制御方法を内視鏡に適用した場合について説明する図である。 17, FIG. 18 is a diagram for explaining the case of applying the control method of the image recording according to the embodiment to an endoscope.
図17(a)は、上記の実施形態に係る画像記録の制御方法を適用した内視鏡20の外観図である。 Figure 17 (a) is an external view of the endoscope 20 according to the control method of the image recording according to the embodiment. 図17(a)の内視鏡20は、光源90から照明の供給を受けて、被検者の体腔内の画像を先端部P2のスコープで取得する。 The endoscope of FIG. 17 (a) 20 is supplied with illumination from the light source 90, and acquires the image in the body cavity of the subject in the scope of the tip portion P2.

プロセッサ100は、スコープで取得した画像に所定の画像処理を施し、モニタ等の表示部50に表示させる。 The processor 100 performs predetermined image processing on the image obtained by the scope, and displays on the display unit 50 such as a monitor. 表示部50には、正面部P3にカメラやセンサ等が設けられている。 The display unit 50, a camera or a sensor or the like is provided in the front portion P3. 医師は、手元の操作部P1のボタン等により内視鏡20の各部を操作して、表示部50に表示される画像により、病変の観察や鉗子挿入口21から挿入した鉗子で患者の体腔内の組織・異物を除去・回収する等の処置を施す。 Physician operates the respective units of the endoscope 20 by a button or the like of the hand operating portion P1, the image displayed on the display unit 50, the body cavity of the patient at the insertion forceps from lesions observed and the forceps insertion opening 21 subjected to a treatment such as the organizations and foreign matter is removed and recovered.

図17(a)の内視鏡20の操作部P1や先端部P2、表示部50の正面部P3を通じて、撮影者である医師や、被検者である患者の生態情報を取得する方法については、後述する。 17 the endoscope 20 of the operation portion P1 and the front end portion P2 of the (a), through the front portion P3 of the display unit 50, and the doctor is the photographer, a method of acquiring biometric information of the patient is subject It will be described later.

図17(b)は、図17(a)の内視鏡20と接続されるプロセッサ100の構成図である。 Figure 17 (b) is a block diagram of a processor 100 that is connected to the endoscope 20 in FIG. 17 (a). プロセッサ100は、入力部105、画像圧縮伸張部104、記録部106、RAM108、ROM109、表示用メモリ102及びCPU107を有する。 Processor 100, an input unit 105, the image compression decompression unit 104, recording unit 106, RAM 108, ROM 109, display memory 102 and CPU 107.

入力部105は、各種ボタンから構成され、術者である医師等のユーザの入力を受け付ける。 The input unit 105 is composed of various buttons, accepting user input of a doctor such as a surgeon.
プロセッサ100には、内視鏡20の先端部P2のスコープが、図10のフレームデータ取得部2に対応する。 The processor 100, the scope of the distal end portion P2 of the endoscope 20, corresponding to the frame data acquisition unit 2 of FIG. 10. 画像圧縮伸張部104の動作は、図16(b)の画像圧縮伸張部104と同様である。 Operation of the image compression decompression unit 104 is the same as the image compression and expansion unit 104 in FIG. 16 (b). 記録部106は、図10(や図1)のデータ要否判定回路3の機能を備え、内視鏡20を含む内視鏡システムの記録媒体等の記録部4に、動画データ等の書き込みを行う。 Recording unit 106 has a function of data necessity determination circuit 3 of FIG. 10 (or FIG. 1), the recording unit 4, such as a recording medium of an endoscopic system including an endoscope 20, a writing such as moving data do.

ROM109やCPU107、図17(a)の表示部50や表示用メモリ102、RAM108の動作については、それぞれ図16のROM89、CPU87、表示部83、表示用メモリ82及びRAM88と同様である。 ROM109 and CPU 107, for operation of the display unit 50 and the display memory 102, RAM 108 of FIG. 17 (a), ROM 89, respectively, of FIG 16, CPU 87, display unit 83, is similar to the display memory 82 and RAM 88.

図17に例示する内視鏡20にて動画を撮影するときに、内視鏡20の操作部P1や先端部P2あるいは表示部50の正面部P3にて取得する生体情報について、図18及び図19を参照して具体的に説明する。 When shooting movies at the endoscope 20 illustrated in FIG. 17, the biometric information acquired by the front portion P3 of the operation unit P1 and the front end portion P2 or the display unit 50 of the endoscope 20, FIG. 18 and FIG. specifically described 19 with reference to the.

図18は、内視鏡20において取得する生体情報の例について説明する図である。 Figure 18 is a diagram explaining an example of biometric information obtained in the endoscope 20.
例えば内視鏡20の操作部P1や、スコープの先端部P2(あるいは蛇管部)にセンサを取り付け、例えば、撮影者である医師Dと被検者である患者Sとの会話より、それぞれ医師Dや患者Sの呼吸、音響、鼻息等を生体情報として取り込むことができる。 For example, the operation unit P1 of the endoscope 20, attach the sensor to the scope of the tip portion P2 (or the flexible portion), for example, from conversation with the patient S is the physician D and subject a photographer, respectively physician D breathing and patient S, can be incorporated acoustic, it snorts like as biological information.

あるいは、モニタ等の表示部50の正面部P3にカメラや各種センサを取り付けて、医師Dの特定のエリアにおける注視時間や表情等を生体情報として取り込むことができる。 Alternatively, by attaching a camera and various sensors in the front portion P3 of the display unit 50 such as a monitor, it is possible to incorporate gaze time or facial expressions in a specific area of ​​the physician D as biological information.
なお、内視鏡20に取り付けるセンサについては、操作部20やスコープの先端部P2に限定されるものではない。 Note that the sensor attached to the endoscope 20, but is not limited to the operation unit 20 and the scope of the tip portion P2. 一般的に、内視鏡20を用いて検査や手術等を行う環境はさほど広くない。 In general, the environment for performing an inspection and surgery such as using an endoscope 20 is not very large. このため、操作部20やスコープの先端部P2以外に設ける場合であっても、例えば医師Dや患者Sの声等については検出することが可能である。 Therefore, even when provided in addition to the operation unit 20 and the scope of the tip portion P2, for example it is possible to detect the voice, etc. physician D and patients S.

図19は、内視鏡20において取得する生体情報の例について説明する他の図である。 Figure 19 is another diagram illustrating an example of biometric information obtained in the endoscope 20.
例えば内視鏡20のスコープの先端部P2や蛇管部にセンサを取り付け、被写体である患者Sの心拍数や血圧等を生体情報として取り込むこともできる。 For example mounting the sensor to the tip P2 and the flexible portion of the scope of the endoscope 20, it is also possible to incorporate heart rate and blood pressure, etc. of the patient S is subject as the biological information. これは、診断であれば患者Sの状態が安定した状態が必要なシーンの1つであり、もう1つは患者の苦痛等の異常状態を医師Dが知ることができる状態が必要なシーンであり、患者Sの状態(不安、緊張、安堵等)により心拍数や血圧等が変化すると考えられ、そうであるとすれば、患者Sの状態が興奮状態から安静状態、あるいは安静状態から興奮状態、もしくは安静状態から生体情報が低位な異常状態に変化したときに撮影された画像は、「必要なシーン」に含まれると推定されることに基づく。 This is the condition of the patient S if diagnosis is one of the necessary stable scene and one abnormal conditions such as pain of the patient requiring state can know the physician D scene Yes, the state of the patient S (anxiety, tension, relief, etc.) is considered the heart rate and blood pressure, etc. is changed by, if this is the case, the state is resting state from the excited state of the patient S or excited state from the rest state, or biological information from the resting state is taken when changing to a lower abnormal state image is based on the estimated and included in the "required scene".

なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。 The present invention can be embodied by modifying components without departing foil with directly limited to the embodiment described above, the gist of the implementation phase. また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。 Also, by properly combining the structural elements disclosed in the above embodiment, it is possible to form various inventions. 例えば、実施形態に示される全構成要素を適宜組み合わせても良い。 For example, it may be combined all the components shown in the embodiments as appropriate. さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 It may be appropriately combined components in different embodiments. このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。 Such, it is capable of various modifications and applications without departing from the scope and spirit of the invention as a matter of course.

1 画像記録装置 2 フレームデータ取得部 3 データ要否判定部 4 記録部 5 読出回路 6 生体情報取得部 7 読出装置 20 内視鏡 80 デジタルカメラ 100 プロセッサ 1 an image recording apparatus 2 frame data acquisition unit 3 data necessity determining unit 4 recording unit 5 read circuit 6 biometric inside information acquisition unit 7 reading device 20 endoscope 80 digital camera 100 processor

Claims (25)

  1. 動画データのフレーム画像を記録する記録部と、 A recording unit for recording the frame image of the moving image data,
    前記動画データの撮影中における影者生体情報を取得する情報検出部と、 An information detection unit for acquiring biological information of Kagesha shooting during shooting of the moving image data,
    前記画データの各フレーム画像に前記情報検出部で検出された生体情報を同期させるとともに、 Together to synchronize the detected biometric information in the information detecting section to each frame image of the moving image data,
    前記生体情報を解析し、前記撮影者の生体の変化が開始したか否かを判断し、 The biological information by analyzing an, it is determined whether a change in biological the photographer has started,
    前記撮影者生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させるよう制御を行う動画記録制御部と、 Wherein the photographer's frame image changes in a living body corresponding to the timing it is judged that the start time as unsteady frame, when the frame images other than the unsteady frame and stationary frame, the recording in a readable unsteady frame state part is recorded, the video recording control unit that performs control so as to record in the recording unit in the reading is not possible condition for stationary frame,
    を有することを特徴とする画像記録装置。 The image recording apparatus characterized by having a.
  2. 前記動画記録制御部は、 The moving image recording control unit,
    複数の前記フレーム画像ごとに、前記複数の前記フレーム画像それぞれに同期する複数の前記生体情報に基づいて、前記非定常フレームまたは定常フレームのいずれに該当すると判断したかを表す判断データを生成し、 For each of the plurality of the frame images, based on a plurality of the biological information to be synchronized with each of the plurality of the frame images, it generates decision data indicating whether it is determined to correspond to any of the non-stationary frame or constant frame,
    前記生成された判断データに基づいて前記複数のフレーム画像ごとに、前記非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させることを特徴とする請求項1に記載の画像処理装置。 For each of the plurality of frame images based on the determination data the generated recording the at ready read the unsteady frame is recorded in the recording unit, the recording unit in the reading is not possible condition for steady frame the image processing apparatus according to claim 1, characterized in that cause.
  3. 前記動画記録制御部は、前記動画データの開始フレームから予め設定された所定数のフレームに対応する前記生体情報については、前記撮影者の生体の変化が開始したと判断することを特徴とする請求項1に記載の画像処理装置。 The moving image recording control unit, for the biometric information corresponding to a predetermined number of frames that is set in advance from the start frame of the moving image data, wherein, characterized in that it is determined that the change in the living body the photographer has started the image processing apparatus according to claim 1.
  4. 前記動画記録制御部は、前記動画データの撮影と並行して、前記非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させる The moving image recording control unit, in parallel with the photographing of the moving image data, recording the at ready read the unsteady frame is recorded in the recording unit, the recording unit in the reading is not possible condition for steady frame makes
    ことを特徴とする請求項1記載の画像記録装置。 The image recording apparatus according to claim 1, wherein a.
  5. 記動画データを仮記録する仮記録部と、 And the temporary recording unit for temporarily recording before Symbol moving image data,
    を更に有し、 Further comprising a,
    前記動画記録制御部は、前記仮記録部に仮記録された前記動画データを読み出して、前記非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させる The moving image recording control unit reads out the moving image data is temporarily recorded in the temporary recording unit, wherein in a state capable of reading a non-stationary frame is recorded in the recording unit, reading is impossible state for steady frame in is recorded in the recording unit
    ことを特徴とする請求項4記載の画像記録装置。 The image recording apparatus according to claim 4, wherein a.
  6. 前記動画記録制御部は、前記動画データを前記仮記録部に仮記録している間に、前記非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させる The moving image recording control unit, while the temporary recording the video data in the temporary recording unit, wherein is recorded in the recording unit in a readable unsteady frame state, which can not be read for a steady frame It is recorded in the recording unit in a state
    ことを特徴とする請求項5記載の画像記録装置。 The image recording apparatus according to claim 5, wherein a.
  7. 前記動画記録制御部は、前記生体情報を単位時間当たり計測し、前記計測された生体情報の変化率が閾値を超えた場合に、前記撮影者の生体の変化が開始したと判断する ことを特徴とする請求項1から6のいずれか1項に記載の画像記録装置。 The moving image recording control unit, wherein the biological information is measured per unit time, when the rate of change of the measured biological information exceeds the threshold value, it is determined that the change in the living body the photographer has started the image recording apparatus according to any one of claims 1 6,.
  8. 前記生体情報は、瞬きの回数、瞳孔の直径、特定のエリアにおける注視時間、脳波、音響、表情、血圧、脈、呼吸、鼻息、鼓動、汗、サーモグラフィのいずれかである ことを特徴とする請求項7記載の画像記録装置。 The biological information, the number of blinks, the pupil diameter, gaze time in a particular area, EEG, acoustical, facial expression, blood pressure, pulse, breathing, snorting, beating, sweat, claims, characterized in that either thermography the image recording apparatus of claim 7, wherein.
  9. 前記撮影者生体情報の変化率の閾値を記憶する記憶部と、 A storage unit for storing a threshold value of the rate of change of the biometric information of the photographer,
    を更に有し、 Further comprising a,
    前記動画記録制御部は、前記生体情報の変化率が前記閾値を超えている場合に、前記撮影者の生体の変化が開始したと判断する ことを特徴とする請求項1から6のいずれか1項に記載の画像記録装置。 The moving image recording control unit, when the rate of change of the biological information exceeds the threshold value, one of 6 claim 1, characterized in that it is determined that the change in the living body the photographer has started 1 the image recording apparatus according to claim.
  10. さらに、被写体が撮影された動画データをフレーム画像ごとに取得する撮影部と、を有し、 Further comprising an imaging unit for acquiring moving image data subject is photographed for each frame image, and
    前記記録部は、前記撮影部の設定の初期状態情報を取得し、 The recording unit acquires initial state information of the setting of the photographing unit,
    前記動画記録制御部は、前記撮影部が前記被写体を撮影しているときの前記撮影部の設定と、前記撮影部の初期設定とを取得し、前記撮影中の設定の前記初期設定からの変化率が閾値を超えた場合、前記生体の変化が開始したと判断する ことを特徴とする請求項9記載の画像記録装置。 The moving image recording control unit, the change from the setting of the photographing unit and acquires the initial setting of the imaging unit, the initial setting of the setting in the shooting when the imaging unit is imaging the subject If the rate exceeds the threshold, the image recording apparatus according to claim 9, wherein the determining the change in the living body starts.
  11. 前記撮影部の設定の変化量とは、撮像装置のレンズのズーム、ワイドの変化またはイメージャ若しくは光学系の単位時間当たりの移動距離または変化量である ことを特徴とする請求項10記載の画像記録装置。 The variation of setting of the imaging unit and the lens zoom of the image pickup apparatus, image recording according to claim 10, wherein it is a moving distance or the amount of change per unit time of the wide variation or imager or optical system apparatus.
  12. 前記生体情報は、脳波、撮影者の声、表情のいずれかである ことを特徴とする請求項10記載の画像記録装置。 The biological information, brain wave, the photographer's voice, an image recording apparatus according to claim 10, wherein a is any one of facial expressions.
  13. 前記動画記録制御部は、FAT(File Allocation Table)の書き込み制御により、前記撮影者の生体の変化が開始したと判断されたタイミングに対応するフレーム画像について、読み出し対象とならないように記録制御を行う ことを特徴とする請求項1から6のいずれか1項に記載の画像記録装置。 The moving image recording control unit, the write control of the FAT (File Allocation Table), the frame image corresponding to the timing it is judged that a change in biological the photographer has started, performs recording control so as not to read target the image recording apparatus according to any one of claims 1 6, characterized in that.
  14. 前記動画記録制御部は、前記定常フレームについては読み出し対象とならないように記録制御を行うとともに、該定常フレームを別途記録するよう記録制御を行う ことを特徴とする請求項1から6のいずれか1項に記載の画像記録装置。 The moving image recording control unit performs recording control so as not to read target for the stationary frame, any one of claims 1, wherein the performing recording control to separately record the steady frame 6 of 1 the image recording apparatus according to claim.
  15. 前記動画記録制御部は、前記フレーム画像ごとに、画像処理パラメータを異ならせることで、 前記非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させる The moving image recording control unit, for each of the frame images, by varying the image processing parameter, wherein is recorded in the recording unit in a readable unsteady frame state, the reading is impossible state for steady frame It is recorded in the recording unit
    ことを特徴とする請求項1記載の画像記録装置。 The image recording apparatus according to claim 1, wherein a.
  16. 前記動画記録制御部は、前記非定常フレームが前記定常フレームに対し、前記フレーム画像ごとがノイズを低くなる、輝度の変化が強調される、鮮鋭度を増大される、または、解像度が向上されるような画像処理を実行する ことを特徴とする請求項15記載の画像記録装置。 The moving image recording control unit, the relative unsteady frame said stationary frame, wherein each frame image is low noise, variation in brightness is emphasized, is increased sharpness or resolution is improved the image recording apparatus according to claim 15, wherein performing the image processing such as.
  17. 前記動画記録制御部は、前記定常フレームが前記非定常フレームに対し、被写体にディストーションが多くかかる画像処理を実行する ことを特徴とする請求項15記載の画像記録装置。 The moving image recording control unit, the relative steady frame the unsteady frame, an image recording apparatus according to claim 15, wherein performing the image processing according distortion much the subject.
  18. 前記動画記録制御部は、処理対象の前記フレーム画像より前に成された前記フレーム画像の画像データを使用して、 前記非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが不可能な状態で前記記録部に記録させる The moving image recording control unit uses the image data of the frame images that were generated before the frame image to be processed, is recorded the in the recording unit in a readable unsteady frame state, the steady frame is recorded in the recording unit in the reading is impossible state for
    ことを特徴とする請求項1記載の画像記録装置。 The image recording apparatus according to claim 1, wherein a.
  19. 前記動画記録制御部は、前記非定常フレームから補間フレーム画像を生成し、前記補間フレーム画像を当該非定常フレームの前または後ろに挿入する画像処理を行う ことを特徴とする請求項1記載の画像記録装置。 The moving image recording control unit generates an interpolation frame image from the non-stationary frames, according to claim 1, wherein the image of the interpolation frame image and performs the image processing to be inserted before or after the said non-stationary frame recording device.
  20. 前記動画記録制御部は、少なくとも2つの前記定常フレームを合成処理する画像処理を行う ことを特徴とする請求項1記載の画像記録装置。 The moving image recording control unit, an image recording apparatus according to claim 1, wherein the performing image processing for synthesizing processing at least two of said stationary frame.
  21. 前記動画記録制御部は、前記定常フレームが前記非定常フレームに対し、ぼかし量が多い画像を生成する画像処理を行う ことを特徴とする請求項1記載の画像記録装置。 The moving image recording control unit, the relative steady frame the unsteady frame, an image recording apparatus according to claim 1, wherein the performing image processing to generate an image blurring amount is large.
  22. 前記動画記録制御部は、前記定常フレームと前記非定常フレームとの画像の連続性を維持する画像処理パラメータを生成し、前記定常フレーム及び前記非定常フレームとを画像処理する ことを特徴とする請求項1記載の画像記録装置。 The moving image recording control unit, wherein the said steady frame generates image processing parameters to maintain the continuity of the image of the non-stationary frame, characterized in that the steadily frame and the image and the unsteady frame processing the image recording apparatus of claim 1, wherein.
  23. 動画データのフレーム画像の記録を制御する方法であって、 A method for controlling the recording of the moving image data of the frame image,
    前記動画データの撮影中における影者生体情報を取得し、 It acquires biometric information of Kagesha shooting during shooting of the moving image data,
    前記フレーム画像を記録するときに、 When recording the frame image,
    前記画データの各フレーム画像に前記取得された生体情報を同期させるとともに、 With synchronizing the acquired biometric information to each frame image of the moving image data,
    前記生体情報を解析し、前記撮影者の生体の変化が開始したか否かを判断し、 The biological information by analyzing an, it is determined whether a change in biological the photographer has started,
    前記撮影者生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが不可能な状態での記録を行うよう制御を行う、 A frame image corresponding to the timing when determining that a change in biological the photographer has started the unsteady frame, when the frame images other than the unsteady frame and stationary frame, is recorded in a readable unsteady frame state performs control so as to perform recording in a retrieval is impossible state for steady frame,
    ことを特徴とする画像記録の制御方法。 Method for controlling an image recording, characterized in that.
  24. 画像記録装置において動画データのフレーム画像の画像記録を制御するための制御プログラムであって、 A control program for controlling the image recording of the moving image data frame image in the image recording apparatus,
    前記動画データの撮影中における撮影者生体情報を取得し、 It acquires biometric information of the photographer during shooting of the moving image data,
    前記フレーム画像を記録するときに、 When recording the frame image,
    前記画データの各フレーム画像に前記取得された生体情報を同期させるとともに、 With synchronizing the acquired biometric information to each frame image of the moving image data,
    前記生体情報を解析し、前記撮影者の生体の変化が開始したか否かを判断し、 The biological information by analyzing an, it is determined whether a change in biological the photographer has started,
    前記撮影者生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが不可能な状態での記録を行うよう制御を行う、 A frame image corresponding to the timing when determining that a change in biological the photographer has started the unsteady frame, when the frame images other than the unsteady frame and stationary frame, is recorded in a readable unsteady frame state performs control so as to perform recording in a retrieval is impossible state for steady frame,
    ことを特徴とする制御プログラム。 A control program, characterized in that.
  25. 請求項24に記載の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。 Recorded computer-readable recording medium a control program according to claim 24.
JP2013067312A 2013-03-27 2013-03-27 Image recording apparatus, a control method and program of the image recording processing Active JP6172990B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013067312A JP6172990B2 (en) 2013-03-27 2013-03-27 Image recording apparatus, a control method and program of the image recording processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013067312A JP6172990B2 (en) 2013-03-27 2013-03-27 Image recording apparatus, a control method and program of the image recording processing

Publications (2)

Publication Number Publication Date
JP2014192755A true JP2014192755A (en) 2014-10-06
JP6172990B2 true JP6172990B2 (en) 2017-08-02

Family

ID=51838638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013067312A Active JP6172990B2 (en) 2013-03-27 2013-03-27 Image recording apparatus, a control method and program of the image recording processing

Country Status (1)

Country Link
JP (1) JP6172990B2 (en)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110849A (en) * 1994-10-12 1996-04-30 Nippon Telegr & Teleph Corp <Ntt> Image display method
JP4323601B2 (en) * 1999-02-15 2009-09-02 キヤノン株式会社 An image processing system and image processing method
JP2006067065A (en) * 2004-08-25 2006-03-09 Canon Inc Imaging apparatus
JP4720358B2 (en) * 2005-08-12 2011-07-13 ソニー株式会社 Recording device, recording method
JP4379409B2 (en) * 2005-11-08 2009-12-09 ソニー株式会社 Imaging device, information processing method, and computer program
JP2008072231A (en) * 2006-09-12 2008-03-27 Sony Corp Image forming apparatus
JP4709791B2 (en) * 2007-03-13 2011-06-22 株式会社東芝 Image processing apparatus and image processing method
JP2008251073A (en) * 2007-03-29 2008-10-16 Pioneer Electronic Corp Information data recording system
JP4548493B2 (en) * 2008-02-19 2010-09-22 カシオ計算機株式会社 Imaging device, moving image generating method and a program
JP2011015129A (en) * 2009-07-01 2011-01-20 Mitsubishi Electric Corp Image quality adjusting device
JP2011203821A (en) * 2010-03-24 2011-10-13 Sony Corp Information processor, information processing method and program
JP2012004890A (en) * 2010-06-17 2012-01-05 Toshiba Corp Video signal output device, and video signal output method

Also Published As

Publication number Publication date Type
JP2014192755A (en) 2014-10-06 application

Similar Documents

Publication Publication Date Title
US6982757B2 (en) Image sensing apparatus
US20050261550A1 (en) System, apparatus, and method for supporting insertion of endoscope
US20080253695A1 (en) Image storage processing apparatus, image search apparatus, image storage processing method, image search method and program
US20060256203A1 (en) Image sensing apparatus and its control method
JP2009005020A (en) Image extracting apparatus, and image extracting program
JP2006334297A (en) Image display device
JP2007316982A (en) Image display control device, image display device, camera, and image display control program
JP2006277192A (en) Image display system
Hertegård et al. High-speed imaging: applications and development
JP2007319478A (en) Medical image displaying unit and method, and endoscope device
US20070263978A1 (en) System, method and medium editing moving pictures using biometric signals
JP2004350251A (en) Recording method, recording apparatus, recording medium, reproducing method, reproducing apparatus and imaging apparatus
US20120113239A1 (en) System and method for displaying an image stream
JPH0981233A (en) Monitor and control supporting device
JP5699432B2 (en) Image processing apparatus
CN101419666A (en) Image processing apparatus, image capturing apparatus, image processing method and recording medium
US20110217019A1 (en) Imaging device and digest playback method
US20060164519A1 (en) Data processing apparatus
JP2001359039A (en) Image recorder
US20110050931A1 (en) Image pickup apparatus, image pickup method, and image pickup program
JPH08191440A (en) Method and device for correcting endoscope image
JP2007116309A (en) Image information reproduction apparatus
JPH0723293A (en) X-ray diagnostic system
JP2002153450A (en) X-ray image diagnostic device and x-ray image diagnostic method
JP2004118711A (en) Image processor, image processing method and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170704

R151 Written notification of patent or utility model registration

Ref document number: 6172990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151