JP6218296B1 - Video playback device, video playback method, the program and the recording medium - Google Patents

Video playback device, video playback method, the program and the recording medium

Info

Publication number
JP6218296B1
JP6218296B1 JP2016251384A JP2016251384A JP6218296B1 JP 6218296 B1 JP6218296 B1 JP 6218296B1 JP 2016251384 A JP2016251384 A JP 2016251384A JP 2016251384 A JP2016251384 A JP 2016251384A JP 6218296 B1 JP6218296 B1 JP 6218296B1
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016251384A
Other languages
Japanese (ja)
Inventor
勝幸 中島
勝幸 中島
忍 小川
忍 小川
Original Assignee
株式会社ユニコーン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Abstract

【課題】撮像した動画の中から再生したい指定の画像から指定の画像間を再生できる画像処理の実現ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。 A realization of the image processing that can play between the specified image from the specified image to be reproduced from the video captured could, video playback device can be further image processing of the reproduced image containing visual axis detection information, moving image reproduction method, and to provide a program and a recording medium.
【解決手段】取得した画像データを用いて動画を再生する動画再生装置であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、前記画像データによる動画を画面上に再生する動画再生手段と、動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、前記動画再生範囲指定手段により指定された範囲の動画を画面上に再生する動画再生装置により課題解決できた。 A video playback apparatus for reproducing video using An image data obtained, the image data acquisition and storage means for acquiring image data displayed on the display screen, the screen on the video by the image data and video reproducing means for reproducing the includes a video reproduction range designation means for designating a start time and end time in the range of desires to play the video, and the video range specified by the video reproduction range designation means It could solve problems by moving image reproducing apparatus for reproducing on the screen.
【選択図】 図1 .FIELD 1

Description

本発明は、撮像した画像の再生を実施する動画再生装置、動画再生方法、そのプログラム及び記録媒体に関する。 The present invention, video playback apparatus for carrying out the reproduction of an image captured, moving image playback method, a program and a recording medium.

撮像した画像の再生を実施する動画再生装置や方法については、例えば特許文献1に、再構成画像の生成が可能な画像データを取得する画像データ取得手段と、前記画像データに付与された視線検出情報を取得する視線検出情報取得手段と、前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理手段と、を備えた動画再生装置であって、前記視線検出情報は、視線位置と前記視線位置での注視時間を含み、前記画像処理手段は、前記視線位置の被写体にピントが合った再構成画像を生成し、前記視線位置での前記注視時間に基づいて前記生成された再構成画像の表示時間を設定して前記動画を生成し、前記画像処理手段は、前記注視時間が所定時間より長い前記視線位置についてのみ、前記再構成 The motion picture reproducing apparatus and a method for implementing playback of captured images, for example, in Patent Document 1, an image data acquisition means for generating the reconstructed image to acquire image data capable, granted sight line detection in the image data gaze detection information obtaining means for obtaining information, on the basis of the sight line detection information, and an image processing means for generating a moving image to generate a reconstructed image from the image data, a moving image reproduction apparatus provided with the visual axis detection information includes fixation time at the viewpoint position and the sight line position, the image processing means generates a reconstructed image in focus on the subject of the viewpoint position, the gaze time in the line-of-sight position based on setting the display time of the reconstructed image the generated generates the moving image, the image processing means, wherein the fixed time is only for long the line-of-sight position than the predetermined time, the reconstruction 像を生成し、前記動画再生装置は、前記所定時間を設定する注視時間閾値設定手段を備える動画再生装置が開示されている。 Generating an image, the moving image reproducing apparatus, video playback device with a fixation time threshold setting means for setting the predetermined time is disclosed.

特開2014−179870号公報 JP 2014-179870 JP

特許文献1に記載の発明は、画像処理が注視時間の閾値を設定して閾値の注視時間より長い画像の再生をすることができるが、撮像したすべての動画の中から所望する限られた範囲の画像を閲覧したいという要望には応えられないという問題があった。 Scope the invention described in Patent Document 1, image processing can be a reproduction of the longer image than watching time threshold by setting the threshold of the gaze time, a limited to desired from all the videos captured the image to the desire to browse the there has been a problem that it can not meet.

本発明はこうした問題に鑑み創案されたもので、撮像した動画の中から再生したい範囲に限定した動画を再生できる画像処理ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。 The present invention has been made in view of such problems, it is an image processing capable of playing back videos is limited to a range to be reproduced from the video captured moving image reproduction apparatus may further image processing of the reproduced image containing visual axis detection information , and to provide a video playback method, a program and a recording medium.

請求項1に記載の動画再生装置1は、取得した画像データを用いて動画10を再生する動画再生装置1であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段3と、前記画像データによる動画10を画面上に再生する動画再生手段4と、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段5と、 前記複数のコマ画像データにより表される複数のコマ画像11群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段6と、動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段7と、を備え、 前記動画再生範囲指定手段7が、前記動画10と前記複数のコマ画像11を同一画面に表示し、前記画面内で、前 Claim video playback apparatus 1 according to 1, a video playback apparatus 1 to reproduce the video 10 by using the image data acquired, the image data acquisition and storage means for acquiring image data displayed on the display screen 3, a moving image reproducing means 4 for reproducing the moving image 10 by the image data on a screen, the frame image data extraction unit 5 for extracting frame image data at predetermined time intervals from the image data, the plurality of frame images scroll display means 6 for scrolling displayed with the arranged in time series a plurality of frame images 11 group represented by the data on the screen, specify the start and end times of the range desires to play a video It includes a video reproduction range designation means 7, wherein the video reproduction range designation means 7, a plurality of frame images 11 and the moving image 10 displayed on the same screen, in the screen, before 動画10の開始時間を示す開始マーク22、動画10の終了時間を示す終了マーク23、及び、再生中の動画10の時間を示す再生時間マーク24を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段20と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段21とを備え、前記画面上に前記動画10の表示領域と前記コマ画像11群の表示領域を分離状態で同時に表示させ、前記再生中の動画10に対応するコマ画像11を含んだ、時系列に並んだ前記コマ画像11群を、再生時間マーク24を右端にドラッグすることにより自動的にスクロールさせ、前記開始マーク22及び前記終了マーク23を所望の時間に移動操作させることにより動画再生範囲が指定され、前記指定された範囲の動画 Start mark 22 indicating the start time of the video 10, end mark 23 indicating the end time of the video 10, and displays the playback time mark 24 indicating the video 10 playing time position corresponding to each on the same time axis a mark display unit 20 for, and a said respective mark a desired time moved to be capable of moving operation means 21, the display area of the display region and the frame image 11 group of the video 10 on the screen is displayed simultaneously in a separated state, including the frame images 11 corresponding to the moving 10 in the reproduction, when the frame images 11 groups arranged in series, automatically scrolling by dragging the mark 24 at the right end reproduction time is allowed, the moving image playback range by moving operating the start mark 22 and the end mark 23 at a desired time is specified, a range of videos the specified 画面上に再生することを特徴とする。 Characterized in that it reproduced on screen.

請求項2に記載の動画再生装置1は、請求項1において、被視線検出者60の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段8と、前記視線座標データを、前記画像データによる動画10を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段9と、を備え、 前記視線座標データ再生手段9が、表示再生モードとして、動画10の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再 Video reproducing apparatus 1 according to claim 2, in claim 1, the sight line detection data acquired at predetermined time intervals the visual axis for the image data displayed on the display screen of the visual axis detected individual 60, passed a line-of-sight coordinate data recording unit 8 for recording by imparting time data, the line-of-sight coordinate data, the video 10 by the image data when playing on the screen, the course of the elapsed time and the line of sight coordinate data of the image data a line-of-sight coordinate data reproducing means 9 for to synchronize the time display to play on the same display screen, wherein the line-of-sight coordinate data reproducing means 9, as a display reproduction mode corresponds to the time during video playback 10 gaze re each in a predetermined shape and the position of the display on the screen of the visual axis coordinate data in the predetermined time before the display position and the time on the screen of the coordinate data 動画上に表示する第一の再生モード、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。 First playback mode for displaying on the video display to grant all of the line of sight coordinate data number to the elapsed time order to the playing video to up to the time of playing the time specified in the start mark 22 of the video playback range second regeneration mode, or, on the video according to the number of density of all of the line of sight coordinate data from the time specified in the start mark 22 of the video playback range to the time of playing, determined for each advance density wherein the play in the third playback mode for the identification.

請求項に記載の動画再生装置1は、請求項において、前記第二の再生モード又は第三の再生モードの表示を前記動画10の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク31を設定し表示させるマーク設定表示手段30を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする。 3. Video reproducing apparatus 1 according to, in claim 2, you can separate the display of the second reproduction mode or the third reproduction mode until the reproduction start time-reproduction end time of the video 10 the possible delimiter mark 31 mark setting display section 30 for setting displays provided, the separator mark the display on the screen of the second reproduction mode or the third reproduction mode, in addition to starting from the playback start time characterized in that to realize the starting from.

請求項に記載の動画再生方法2は、取得した画像データを用いて動画10を再生する動画再生方法2であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程13 と、前記画像データ取得・記憶工程13で取得し記憶した前記画像データによる動画10を、前記動画10を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程14と、 前記画像データ取得・記憶工程13で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像11群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程15と、を備え、前記動画再生工程14が、前記画面上に前記動画10の Video playback method 2 according to claim 4, the acquired image data to a video playback method 2 for reproducing video 10 using the image data acquisition and storage step for acquiring image data displayed on the display screen 13, the video 10 by pre-Symbol the image data acquired and stored by the image data acquisition and storage step 13, the start time and end time in the range of desires to play the video 10 to the specified to the screen and video playback step 14 of reproducing, the acquired image data acquisition and storage process 13 extracts the frame image data at predetermined time intervals from the stored the image data comprises a plurality of frame image data which the extracted frame images a frame image display process 15 for scrolling the display in a state arranged in time series 11 groups on a screen, wherein the video playback step 14, the video 10 on the screen 示領域と前記コマ画像11群の表示領域を分離状態で同時に表示させ、前記再生中の動画10に対応するコマ画像11を含んだ、時系列に並んだ前記コマ画像11群を、再生時間マーク24を右端にドラッグすることにより自動的にスクロールさせる画面上で、動画10の開始時間を示す開始マーク22、動画の終了時間を示す終了マーク23、及び、再生中の動画の時間を示す再生時間マーク24を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を指定することを特徴とする。 The display area of the display region and the frame image 11 groups are displayed simultaneously in a separated state, including the frame images 11 corresponding to the moving 10 in the reproduction, when arranged in series the frame images 11 group, playing time mark on the screen to automatically scrolled by dragging the 24 at the right end, the start mark 22 indicating the start time of the video 10, end mark 23 indicating the end time of the video, and playback time indicating the moving time during playback the mark 24 is displayed at a position corresponding to each on the same time axis, each of the marks, characterized in that specifying the video playback range by moving operation to a desired time.

請求項に記載の動画再生方法2は、請求項において、被視線検出者60の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程18と、前記視線座標データを、前記画像データによる動画10を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程19と、を備え、 前記視線座標データ再生工程19が、表示再生モードとして、動画10の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれ Video playback method 2 according to claim 5, in claim 4, the visual line detection data acquired at predetermined time intervals the visual axis for the image data displayed on the display screen of the visual axis detected individual 60, passed a gaze coordinate data recording step 18 of recording by applying time data, the line-of-sight coordinate data, the video 10 by the image data when playing on the screen, the course of the elapsed time and the line of sight coordinate data of the image data a line-of-sight coordinate data reproducing step 19 to synchronize the time display to play on the same display screen, wherein the line-of-sight coordinate data reproducing step 19, as a display reproduction mode corresponds to the time during video playback 10 gaze it in a predetermined shape and the position of the display on the screen of the visual axis coordinate data of the predetermined in time before the position and the time of display on the screen of the coordinate data れ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データの数の密度34に応じて動画10上に、あらかじめ密度34ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。 Is assigned a first reproduction mode, all eyes coordinate data number to the elapsed time order to the playing video to up to the time of playing the time specified in the start mark 22 of the video playback range to be displayed on the playback video second playback mode for displaying Te, or, on the video 10 in accordance with the number of density 34 of all the sight coordinate data up to the time of playing the time specified by the start mark 22 of the video playback range, advance density wherein the play in the third reproducing mode in which an identification that defines for each 34.

請求項に記載の動画再生方法2は、請求項において、前記第二の再生モード又は第三の再生モードの表示を前記動画10の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク31を所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク31からの開始を実現させることを特徴とする請求項9に記載の動画再生方法。 6. Video playback method 2 described, in Claim 5, can separate the display of the second reproduction mode or the third reproduction mode until the reproduction start time-reproduction end time of the video 10 the separator marks 31 can be set to a desired time, starting from the separator mark 31 displayed on the screen of the second reproduction mode or the third reproduction mode, in addition to starting from the playback start time video playback method according to claim 9, characterized in that to realize.

請求項に記載のプログラムは、請求項4〜6のいずれかに記載の動画再生方法2をコンピュータに実行させるためのプログラムである。 Program according to claim 7 is a program for executing a video reproducing method 2 according to the computer in any one of claims 4-6.

請求項に記載の記憶媒体は、請求項に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体である。 The storage medium of claim 8 is a storage medium readable program is stored a computer according to claim 7.

請求項1、 4、7又は8に記載の発明は、動画10の中から再生したい範囲を動画10の時間帯を指定することで所望通りに再生させることが容易にできるという効果を奏する。 The invention according to claim 1, 4, 7 or 8, an effect that can be easily be regenerated as desired by specifying the time zone of the moving image 10 a range to be reproduced from the video 10.

請求項1、4、7又は8に記載の発明は、動画10の中から再生したい動画10の時間帯をコマ画像11の表示を確認することにより所望通りに指定できるので、動画10の画像の時間を把握していなくてもコマ画像11のシーンを見て再生したい範囲を指定できるという効果を奏する。 The invention according to claim 1,4,7 or 8, it is possible to specify as desired by confirming the display of the frame image 11 hours video 10 to be reproduced from the video 10, the image of the video 10 there is an effect that can specify the range you want to play to see the scene of the frame image 11 even if you do not know the time.

請求項1、4、7又は8に記載の発明は、動画10の範囲を所望通りに指定する手段を画面上に表示でき、その表示されたマークを、マウスを使ってドラッグすれば開始マーク22及び終了マーク23を所望の時間に簡単に移動させることができ動画再生範囲が設定されるという効果を奏する。 The invention according to claim 1,4,7 or 8, the means for specifying the range of the video 10 as desired can be displayed on the screen, the displayed mark, start mark 22 by dragging with the mouse and there is an effect that video playback range can be the end mark 23 is easily moved to the desired time is set.

請求項2、5、7又は8に記載の発明は、画面に表示されている動画10に対する被視線検出者60の視線を経過時間とともに記録でき、様々な表示モードで再生できるという効果を奏する。 The invention according to claim 2, 5, 7 or 8, an effect that can be recorded over time the line of sight of the sight line detected individual 60 for moving 10 that is displayed on the screen, can be played on a variety of display modes.

請求項2、5、7又は8に記載の発明は、画面に表示されている動画10に対する被視線検出者60の視線を再生するときに、第一の再生モードとして、例えば被視線検出者60の視線の先を示す視線座標データに基づく視線検出位置32の一つ一つを円形の図形で表してその円形の図形の数を10個となるように表示する時間帯を設定すると、被視線検出者60が目をつぶっていない限り、現在表示されている時間に該当する視線座標データの円形の図形を含めて過去に遡った常時10個の円形図形が順次表示される。 The invention according to claim 2, 5, 7 or 8, when playing the viewpoint of the sight line detected individual 60 for moving 10 that is displayed on the screen, as the first reproduction mode, for example, the visual line detected individual 60 When the line of sight of every one of the line-of-sight detection position 32 based on the line-of-sight coordinate data indicating the above to set the time zone to display the number of the circular figure so that 10 represents a circular shape, the line of sight detected individual 60 unless eyes closed, circular shape circular shape in the past predated 10 constantly in including the line of sight coordinate data corresponding to the time that is currently displayed are sequentially displayed. これにより、画面上に現在表示されている時間に該当する視線座標データに基づく視線検出位置32のみであると円形の図形が急にあちこち移動したときに円形の図形を見失うことが生じやすいが、過去の時間に該当する円形の図形を表示させることによって円形の図形を被視線検出者60の視線が画面上であちこち移動しても見失うことがないという効果を奏する。 Thus, although prone to losing sight of the circular figure when the only line-of-sight detection position 32 based on the line-of-sight coordinate data corresponding to the time that is currently displayed circular figure is moved around suddenly on the screen, viewpoint of the sight line detected individual 60 a circular shape by displaying a circular shape corresponding to the past time is an effect that does not lose sight be moved around on the screen.

第二のモードとして、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線を再生中の動画に経過時間順に開始時間のときを例えば「1」にして順に番号を付与して表示することができる。 As a second mode of, in turn number and the time from the time specified in the start mark 22 of the video playback range of start time elapsed time in order to the playing video all of the line-of-sight up to the time during playback, for example, to "1" it can be displayed to impart. これにより、被視線検出者60の関心先がどのように変わっていったかを容易に知ることができる。 As a result, it is possible to easily know what went on behalf of how the interest destination of the line-of-sight detection's 60.

第三のモードとして、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置32の数の密度34に応じて動画10上に、あらかじめ密度34ごとに定めた色や模様による識別表示をする。 As a third mode, on the video 10 in accordance with the number of density 34 of the line-of-sight detection position 32 based on all of the line of sight coordinate data up to the time of playing the time specified in the start mark 22 of the video playback range, advance the identification by the color or pattern that defines for each density 34. これにより、被視線検出者60の関心の高さの分布を容易に知ることができる。 Accordingly, it is easily know the distribution of the high level of interest in the visual line detected individual 60.

請求項3、6、7又は8に記載の発明は、第二の再生モード又は第三の再生モードの表示を動画10の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク31を設けたことにより、動画10は開始マーク22で設定された時間から再生中であるが、途中に区切りマーク31を追加して設定することにより、動画10のシーンが変わったときに最初からの累計を表示していた第二の再生モード又は第三の再生モードの表示が途切れ、区切りマーク31で設定された時間から、新たに表示される。 Invention of claim 3,6,7 or 8, a second reproduction mode or separator mark that can be separated between the display of the third reproduction mode until the reproduction start time-reproduction end time of the video 10 by providing the 31, although moving 10 is being reproduced from the time set by the start mark 22, by setting to add a separator mark 31 on the way from the beginning when the scene of the moving image 10 is changed display of the second reproduction mode or the third reproduction mode has been displayed a total of interruptions, the set time delimited marks 31 are newly displayed. 例えば、第二の再生モードであれば区切りした時間から「1」からの番号が表示され、第三の再生モードであれば区切りした時間からの密度34が識別表示される。 For example, numbers from "1" from the second time that has separated if the playback mode is displayed, density 34 from the third time that has separated if the playback mode is displayed identified. これにより、変わる動画10のシーンに合わせて第二の再生モード又は第三の再生モードの表示をすることができる。 This makes it possible to display to suit scene change video 10 second regeneration mode or the third reproduction mode.

本願発明の動画再生装置の機能構成図である。 It is a functional block diagram of a video playback apparatus of the present invention. 本願発明の動画再生装置のハードウエア構成図である。 It is a hardware configuration diagram of a video playback apparatus of the present invention. 本願発明の動画再生方法のフロー図である。 It is a flow diagram of a video playback method of the present invention. 画面の表示装置の概要図である。 It is a schematic view of a display device of the screen. 図4のX部の拡大図で、コマ画像や時間や各種マークの配置状況の概要説明図である。 An enlarged view of X portion of FIG. 4 is a schematic illustration of a disposition of an image frame and time and various marks. スクロールの説明図で、スクロール前を示す図である。 In illustration of the scroll is a diagram illustrating a pre-scrolling. スクロールの説明図で、スクロール後を示す図である。 In illustration of the scroll is a diagram showing the after scrolling. 第一の再生モードの説明図である。 It is an explanatory view of the first reproduction mode. 第二の再生モードの説明図である。 It is an explanatory view of a second reproduction mode. 第三の再生モードの説明図である。 It is an explanatory view of a third reproduction mode. 視線検出位置を中心とした範囲を基に密度の高低の説明をする説明図である。 It is an explanatory diagram for a description of high and low density based on an area around a line of sight detection position. 視線検出位置を中心とした範囲に重みづけをして密度の高低の説明をする説明図で、(a)が重みづけのやり方の説明図で、(b)が重みづけの実施例である。 In illustration of the center and the range of the height of the description of the density by the weighted visual axis detection position, in illustration of (a) is way weighting, an example of a weighting is (b). 区切りマークによる区切りの説明図で、(a)及び(b)が区切りマークを使用しない場合の説明図で、(c)が区切りマークを使用した場合の説明図である。 In illustration of delimited by delimiter marks, in explanatory diagram in the case of (a) and (b) does not use the delimiter mark is an explanatory diagram of a case where (c) was used delimiter mark.

本発明の動画再生装置1は、図1に示すように、取得した画像データを用いて動画10を再生する動画再生装置1であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段3と、前記画像データによる動画10を画面上に再生する動画再生手段4と、動画10を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段7と、を備え、前記動画再生範囲指定手段7により指定された範囲の動画を画面上に再生する。 Video reproducing apparatus 1 of the present invention, as shown in FIG. 1, a video playback apparatus 1 to reproduce the video 10 by using the image data acquired, the image data to obtain image data displayed on the display screen the acquisition and storage means 3, a moving image reproduction means 4 for reproducing the moving image 10 by the image data on a screen, video playback range specifying means 7 for specifying the start time and end time in the range of desires to play a video 10 When the equipped to reproduce the video range specified by the video reproduction range designation means 7 on the screen.

そして、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段5と、前記複数のコマ画像データにより表される複数のコマ画像11群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段6と、を備えている。 Then, the frame image data extraction unit 5 for extracting frame image data at predetermined time intervals from the image data, arranged in time series a plurality of frame images 11 group represented by the plurality of frame image data on a screen scroll display means 6 for scrolled on the state, and a. また、前記動画再生範囲指定手段7には動画10を区切ることができる区切りマーク31を設定し表示するマーク設定・表示手段30を備えている。 Also, the moving picture reproduction range specifying means 7 is provided with a mark setting and display unit 30 for displaying set the delimiter mark 31 that can separate the video 10.

そして、動画再生装置1は、図2に示すように、前記種々の手段の制御を含む動画再生装置1の制御する制御部40、マウスやキーボード等の操作部41、外部から画像等を取得する取得部42、画像データ等を記憶する記憶部43、デスクトップ等の表示装置44に動画10などを表示する表示部45、電源部46等が備えられている。 The motion picture reproducing apparatus 1, as shown in FIG. 2, the various means control unit 40 for controlling the video playback apparatus 1 including the control of the operation unit 41 such as a mouse and keyboard, and acquires the image and the like from the outside acquisition unit 42, a storage unit 43 for storing image data or the like, a display unit 45 for displaying the moving image 10 in the display device 44 such as a desktop, the power supply unit 46, etc. are provided.

そして、動画再生装置1の表示装置44の形態としては、例えば図4や図5に示すように、表示画面、表示画面の下方に帯状のコマ画像11群、そのコマ画像11群の下方に時間表示部25がそれぞれ配設され表示されており、前記コマ画像11及び時間表示部25は同期させた状態でスクロールする。 Then, as the mode of a display device 44 of the motion picture reproducing apparatus 1, for example, FIGS. 4 and 5, the display screen, strip-shaped frame image 11 groups below the display screen, time below the frame image 11 group display unit 25 are displayed respectively disposed, the frame image 11 and the time display unit 25 scrolls in a state of being synchronized. 前記時間表示部25の下方に、開始マーク22、終了マーク23及び再生時間マーク24が表示され、区切りマーク31が設定・表示される。 Below the time display unit 25, the start mark 22, end mark 23 and the playback time mark 24 is displayed, separator marks 31 is set and displayed. 開始マーク22、終了マーク23及び再生時間マーク24はマウスでドラッグして移動操作することができ、区切りマーク31はマウスで設定したり解除することができる。 Start mark 22, end mark 23 and the playback time mark 24 can move operation by dragging the mouse, separated marks 31 can be released or set the mouse.

画像データ取得・記憶手段3は、被視線検出者60に見させている被視線検出対象画像50の画像データを取得して記憶部43に記憶する。 Image data acquisition and storage means 3 stores in the storage unit 43 acquires the image data of the sight line detection target image 50 that is let seen the sight line detected individual 60. 図2に示すように、被視線検出者60が見ている被視線検出対象画像50を制御部40の画像データ取得・記憶手段3で取得部42に取得させて記憶部43に記憶させる。 As shown in FIG. 2, in the storage unit 43 by acquiring the acquisition unit 42 to be line-of-sight detection target image 50 which the visual line detected individual 60 is viewed in the image data acquisition and storage means 3 of the control section 40.

動画再生手段4は、前記記録部43に記録された画像データに基づく動画10を画面上に再生する。 Video playback means 4 reproduces the video 10 based on the image data recorded in the recording unit 43 on a screen.

動画再生範囲指定手段7は、動画10を再生させたいと所望する範囲の開始時間及び終了時間を指定する。 Video reproduction range designation unit 7 specifies the start time and end time in the range of desires to play a video 10. 前記動画再生範囲指定手段7は、動画10と同一画面内で、前記動画10の開始時間を示す開始マーク22、動画10の終了時間を示す終了マーク23、及び、再生中の動画10の時間を示す再生時間マーク24を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段20と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段21とを備えている。 The video reproduction range designation means 7, in the same screen and video 10, the start start mark 22 indicating the time, end mark indicating the end time of the video 10 23 of the video 10, and the video 10 playing time a mark display unit 20 for displaying the playback time mark 24 at a position corresponding to each on the same time axis shown, each of the marks the and a moving operation means 21 that can be moved to the desired time. そして、前記移動操作手段21はマウスであり、前記開始マーク22及び前記終了マーク23をマウスでドラッグして所望の時間に移動操作させることにより動画再生範囲を設定する。 Then, the moving operation means 21 is a mouse, and sets the video playback range by moving the operation to a desired time the start mark 22 and the end mark 23 by dragging the mouse.

前記記録部43に記録された画像データに基づく動画10を画面上に再生するときは、一般的に連続的に撮影され記録された画像データの記録開始時から記録終了時までが再生されるように、開始指示や終了指示が出される。 Wherein when the recording unit 43 moving 10 based on the recorded image data to be reproduced on the screen, so that from the time generally is photographed continuously recording start of the recorded image data until the end of recording is reproduced to, start instruction and end instruction is issued. この開始指示又は終了指示を変更できるようにすることにより、動画10の再生範囲を一般的な記録開始時から記録終了時のみではなく、所望の開始時から終了時の範囲に変更することができた。 By to change the start instruction or end instruction, you can change the playback range of the moving image 10 general recording start not only when the recording is completed from the scope of the end from the time desired starting It was. この開始指示の変更は開始マーク22を移動させてできるように、終了指示の変更は終了マーク23を移動させてできるようにした。 As this change in the start instruction may move the start mark 22, the change of the end instruction has to be able to move the end mark 23.

動画再生手段4は、前記記録部43に記録された画像データの中から動画再生範囲指定手段7により定められた範囲に該当する画像データに基づく動画10を画面上に再生する。 Video playback means 4 reproduces the video 10 based on the image data corresponding to the range determined by the moving reproduction range designation means 7 out of the image data recorded in the recording unit 43 on a screen. 例えば、記憶部43に記憶された動画10の記録開始時間が0.00分から記録終了時間が5.00分の場合に、所望する再生する動画10の開始時間を1.00分に終了時間を2.00分にしたいときに、開始マーク22を時間表示部25の時間1.00分に移動し終了マーク23を時間表示部25の時間2.00分に移動して、開始及び終了の時間を変更して設定して動画10全体の中から部分的に1.00分〜2.00分間の動画10を再生する。 For example, if the recording end time recording start time minutes 0.00 videos 10 stored in the storage unit 43 is 5.00 minutes, the end time 1.00 minutes the start time of the moving image 10 to be reproduced desired when you want to 2.00 minutes, and move the end mark 23 moves the start mark 22 to the time 1.00 minute time display unit 25 in time 2.00 minute time display unit 25, the start and end of the time the set change partially reproducing a moving 10 1.00 minutes 2.00 minutes from the entire video 10.

コマ画像データ抽出手段5は、前記記録部43に記録された前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出する。 Frame image data extraction unit 5 extracts the frame image data at predetermined time intervals from the image data recorded in the recording unit 43. 前記あらかじめ定めた時間間隔は動画の1コマごとの時間間隔より異なる設定をすることができ、動画10の1コマごとの時間間隔より長く設定することもできる。 The time interval determined in advance can be configured differently than the time interval of each frame of the video may be set longer than the time interval of each frame of the video 10. 前記抽出されたコマ画像データによるコマ画像11は動画10と同一画面に表示される。 Frame image 11 by the extracted frame image data are displayed on video 10 and the same screen. 例えば、図4又は図5に示すように、動画10は時間メモリごとに0.001秒ごとに作成され、コマ画像11は0.01秒ごとに作成される。 For example, as shown in FIG. 4 or FIG. 5, video 10 is creation time for each memory every 0.001 seconds, the frame image 11 is created for each 0.01 seconds.

スクロール表示手段6は、前記複数のコマ画像データにより表される複数のコマ画像11群を画面上に時系列に並べた状態でスクロール表示する。 Scroll display means 6 scroll display in a state arranged in a time series a plurality of frame images 11 group represented by the plurality of frame image data on a screen. 動画10とコマ画像11の表示される位置関係の1形態としては、図4に示すように、動画10の下方にコマ画像10群を横長の帯状に表示させる形態がある。 As one form of the positional relationship display video 10 and the frame image 11, as shown in FIG. 4, there is a form of displaying the frame image 10 groups strip horizontally below the video 10.

スクロールは、再生時間マーク24を右端にドラッグさせると、コマ画像11や時間表示部25が自動的にスクロールされ、動画10が進む。 Scrolling, when the drag the playback time mark 24 at the right end, the frame image 11 and the time display portion 25 is automatically scrolled, video 10 advances. 例えば、図6に示すように、再生時間マーク24を右端の0.11秒付近にドラッグすると、図7に示すように、コマ画像11が図6に示すA〜KがスクロールされてF〜Pに順に自動的にスクロールされる。 For example, as shown in FIG. 6, dragging the playback time mark 24 in proximity to the right of 0.11 seconds, as shown in FIG. 7, the frame image 11 is scrolled A~K shown in FIG. 6 F~P in turn it is automatically scroll to.

次に、本発明の動画再生装置1は、被視線検出者60の前記表示画面に表示されている画像データである被視線検出対象画像50に対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段18と、前記視線座標データを、前記画像データによる動画10を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段19と、を備える。 Then, motion picture reproducing apparatus 1 of the present invention, the line-of-sight detection data acquired at predetermined time intervals gaze with respect to the visual axis detection target image 50 is an image data displayed on the display screen of the visual axis detected individual 60 in a line-of-sight coordinate data recording means 18 for recording by imparting the elapsed time data, the line-of-sight coordinate data, when playing videos 10 by the image data on a screen, the line of sight coordinate and the elapsed time of the image data It synchronizes the elapsed time of the data includes a line-of-sight coordinate data reproducing means 19 to display reproduced on the same display screen, the.

市販されている視線検出装置51が視線検出対象画像50の画面の近傍に取り付けられており、前記視線座標データ記録手段18は、前記視線検出装置51からの視線検出情報をあらかじめ定めた時間間隔で、取得部42で取得し、経過時間データを付与させて前記記憶部43に記憶する。 Gaze detecting device 51 which are commercially available are attached to the vicinity of the screen of the visual line detection target image 50, the line-of-sight coordinate data recording unit 18, at predetermined time intervals the visual axis detection information from the sight line detecting device 51 , obtained by the obtaining unit 42, and stores in the storage unit 43 by applying the elapsed time data. 視線検出装置51は視線を検出し視線検出情報を出力できるものであればよい。 Visual axis detecting device 51 may be any one which can output a visual axis detection information to detect the line of sight.

視線座標データ再生手段19は、前記視線座標データ記録手段18により記憶した視線座標データを、図8〜図10に示すように、表示装置44の表示画面に表示している動画10の画像の経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生するとともに、動画10の画像上の座標と視線の座標データの座標とを一致させて重ねて再生する。 Sight coordinate data reproducing unit 19, a line-of-sight coordinate data stored by said line-of-sight coordinate data recording unit 18, as shown in FIGS. 8 to 10, the course of the image of the moving image 10 being displayed on the display screen of the display device 44 reproduces the same display screen to synchronize the time elapsed time and the line of sight coordinate data, it is matched with the coordinates and line of sight coordinate data on the image of the video 10 coordinates reproduces overlaid.

次に、前記視線座標データ再生手段19による表示再生モードとして、第一の再生モードは、図8に示すように、動画10の再生中の時間に該当する視線座標データによる表示画面上の視線検出位置32と前記時間より前の予め定めた時間内の視線座標データの表示画面上の視線検出位置32とを予め定めた図形でそれぞれ再生動画10上に表示する再生モードである。 Next, examples of display reproduction mode by line-of-sight coordinate data reproducing unit 19, the first reproduction mode, as shown in FIG. 8, the display screen of the visual line detection by sight coordinate data corresponding to the time during video playback 10 the playback mode to display on the playback video 10 respectively position 32 and a line-of-sight detection position 32 on the display screen of the line-of-sight coordinate data in the predetermined time prior to the time at a predetermined shape.

例えば、視線座標データの記録された時間間隔が0.01秒とし、予め定めた図形を円状の図形とし、視線座標データに基づく視線検出位置32を示す円状の図形を表示する時間帯として予め定めた時間の長さを0.09秒と設定すると、表示されている画面の時間が2.00分の場合には、図8に示すように、動画10の画面上には視線検出位置32を示す円状の図形が、時間2.0分から0.09秒前の間の0.09秒の時間帯に相当する10個が表示される。 For example, the recorded time intervals gaze coordinate data and 0.01 seconds, and a predetermined figure and circular shapes, as the time period for displaying a circular figure indicating the sight line detecting position 32 based on the line-of-sight coordinate data when the predetermined time length is set to 0.09 seconds, when the time of the displayed screen of 2.00 minutes, as shown in FIG. 8, the line-of-sight detection position on the screen of the video 10 circular figure showing a 32 to 10 corresponding to the time zone of 0.09 seconds between the front time 2.0 minutes 0.09 seconds is displayed. 視線検出位置32を示す円状の図形は複数表示されているので前記円状の図形があちこちに移動しても動画10の画面上で追跡確認がしやすい。 Gaze circular figure indicating the detection position 32 tends to tracking confirmed on the screen of the video 10 be the circular shape because it is more displays is moved to and fro. 円状等の図形は赤色等の色を付けて表示することもできる。 Graphic circular shape or the like can also be displayed with a color such as red.

ここで、表示された視線検出位置32を示す円状の図形の数が設定した0.09秒に相当する10個の場合、表示されている動画10が時間経過で移り変わっても目を開け続けて視線を検出し続けたときの視線検出位置32を示す円状の図形の数は常時10個であるが、もし被視線検出者が目を閉じた場合等の視線を検出できないときにはその閉じた時間に相当する円状の図形の数は減じられて表示される。 In the case of 10, which corresponds to 0.09 seconds the number of the circular figure indicating the sight line detecting position 32 that is displayed has been set, the video 10 displayed continues eyes open even Utsurikawa' the elapsed time the number of the circular figure indicating the sight line detecting position 32 when continued to detect the line of sight Te is 10 constantly, but if when the line of sight detected individual is unable to detect the line of sight, such as when closing the eyes were closed its the number of the circular figure corresponding to the time is displayed reduced. 例えば、目を閉じた時間が0.02秒の場合には表示される円形の図形の数は8個となる。 For example, the number of circular figure that is displayed when the time of closing the eyes of 0.02 seconds is eight.

次に、第二の再生モードは、図9に示すように、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置32に経過時間順に番号33を付与して動画10上に表示する再生モードであります。 Then, the second playback mode, as shown in FIG. 9, the elapsed time visual axis detection position 32 based on all of the line of sight coordinate data up to the time of playing the time specified by the start mark 22 of the video playback range in order to grant the number 33 located in the playback mode to display on the moving 10. これは経過時間順に付けた番号33を図9に示すように線で繋げて表示する。 This displays the elapsed time number 33 attached to sequentially connect a line as shown in FIG. 番号33のみの表示であれば目で順番を負うのが難しくなるが線で結ぶことにより目で順番を容易に知ることができる。 That bear the order becomes difficult in the eyes if the display of only the number 33 can be easily known order by eye by connecting a line.

次に、第三の再生モードは、図10に示すように、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置32の数の密度34に応じて動画10上に、あらかじめ密度34ごとに定めた色や模様による識別表示をする再生モードであります。 Next, the third playback mode, as shown in FIG. 10, the sight line detecting position 32 based on all of the line of sight coordinate data up to the time of playing the time specified by the start mark 22 of the video playback range of numbers on video 10 depending on the density 34, there in the playback mode of the identification by the color or pattern that defines for each advance density 34.

視線座標データに基づく動画10上の視線検出位置32を中心として予め定めた大きさの円状の範囲を、動画再生範囲の開始マーク22で指定された時間から再生中の時間までを累積させていき、前記円状の範囲の重なり数の最大と最小との差から密度を識別する区分を、又は、視線座標データに基づく動画10上の視線検出位置32を中心として予め定めた大きさの円状の範囲であって視線検出位置32からの距離に応じた重みづけをした円状の範囲を、動画再生範囲の開始マーク22で指定された時間から再生中の時間までを累積させていき、前記重みづけを加算した数の最大と最小との差から密度を識別する区分を、決定する。 The predetermined size circular range around the visual axis detection position 32 on video 10 based on the line-of-sight coordinate data, by accumulating until the time of playing the time specified in the start mark 22 of the video playback range go, the indicator identifies the density from the difference between the maximum and minimum overlap number of the circular range, or, a predetermined size of the circle around the visual axis detection position 32 on video 10 based on the line-of-sight coordinate data a Jo range a circular range in which the weighted according to the distance from the sight line detecting position 32, will then accumulate until the time of playing the time specified by the start mark 22 of the video playback range, the indicator identifying the density from the difference between the maximum and minimum number obtained by adding the weighting is determined. そして、区分別に予め定めた色や模様等による識別表示をする。 Then, an identification by Segment separately predetermined color and pattern or the like.

例えば、図11に示すように、3つの視線座標データに基づく動画10上の視線検出位置32を中心とした円状の範囲が重なった場合には、3枚が重なった範囲を密度高aとして黒色表示に、2枚が重なった範囲を密度中bとして斜線表示に、1枚のみの範囲を密度低cとして白色表示にして、密度34の高低を視覚的にわかりやすくする。 For example, as shown in FIG. 11, when the overlapped circular range line-of-sight detection position 32 centered on video 10 based on the three line-of-sight coordinate data, a range in which three sheets are overlapped as density high a black display, the range in which two sheets overlapping the shaded display as density in b, then the white display the range of only one as density low c, clarity of high and low density 34 visually. また、識別表示の他の例として、例えば最も密度が高い区域を赤色、密度が徐々に低くなるにつれて、橙色黄色、緑色、青色のように密度別に色を変えて表示することもでき、目で瞬時にどこを頻繁に見たかを知ることができる。 As another example of the identification, for example, most density high zone red, as the density becomes gradually lower, orange yellow, green, can also be displayed in different colors for each density as the blue eyes it is possible to know whether or seen where frequently in an instant.

図11に示した密度34表示の方法によって、図10に示すように、表示装置44の画面の動画10に重ねて、密度34の区分を決め、密度高aの区域を黒色に、密度中bの区域を斜線表示に、密度低cの区域を白色表示にして、密度34の高低を視覚的にわかりやすくする。 The density 34 display method shown in FIG. 11, as shown in FIG. 10, superimposed on video 10 of the screen of the display device 44, it determines the classification of density 34, the area of ​​density high a black density in b the area in the shaded display, an area of ​​density low c in the white display, for clarity the height of the density 34 visually.

また、図12(a)に示すように、視線検出位置32を中心とした円状の範囲を、視線検出位置32からの距離に応じて重みづけをする。 Further, as shown in FIG. 12 (a), a circular range around the visual axis detection position 32, the weighting according to the distance from the line-of-sight detection position 32. そして、図12(b)に示すように、各視線検出位置32を中心とした範囲を積み重ねて、重みづけの数を加算した数の最大と最小との差から密度を識別する区分をする。 Then, as shown in FIG. 12 (b), by stacking range around the sight line detecting position 32, the partition identifies the density from the difference between the maximum and minimum number obtained by adding the number of weighting. 加算された重みづけの数によって色を変えて識別表示する。 Identification display in different colors depending on the number of summed weighted. 密度34の高低を視覚的にわかりやすくする。 Clarity of high and low density 34 visually.

次に、前記第二の再生モード又は第三の再生モードの表示を前記動画10の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク31を設定し表示させるマーク設定・表示手段30を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク31からの開始を実現させることができる。 Next, the second reproduction mode or the third display the playback start time ~ mark setting and display for setting displays a delimiter mark 31 that can be separated by until the reproduction end time of the moving image 10 in the reproduction mode the means 30 is provided, the display on the screen of the second reproduction mode or the third reproduction mode, can be realized starting from the separator mark 31 to another starting from the playback start time.

動画10の再生開始時間〜再生終了時間までの間で、前記第二の再生モード又は第三の再生モードの再生を区切るために、時間表示部25の区切りマーク31を設定した時間で第二の再生モード又は第三の再生モードの再生を初期化しクリアするようにしている。 Between until the reproduction start time-reproduction end time of the video 10, to separate the reproduction of the second reproduction mode or the third reproduction mode, time display unit 25 set time the delimiter mark 31 in the second of so that clear and initialize the reproduction of the reproduction mode or the third reproduction mode. そして初期化しクリアした後は、第二の再生モード又は第三の再生モードの再生が区切りマーク31の時間から再開されるようにしている。 And after clearing initialized, the reproduction of the second reproduction mode or the third reproduction mode is to be resumed from the time separator mark 31. また、前記区切りマーク31の設定を解除すれば区切りが実行されないようにしている。 Further, separators if unset the delimiter mark 31 is not executed.

被視線検出者60の視線の動きを再生により調査するときに、動画10の中で画像シーンが変わることがある。 When investigated by reproducing the motion of the line of sight of the sight line detected individual 60, it is possible to image a scene within the video 10 is changed. このときに第二の再生モード又は第三の再生モードの表示については動画10のシーンごとに分離されて表示されることが視線の動きの分析に適している場合に視線の分析を効果的に行うことができる。 Analysis of gaze effectively when that the the display of the second reproduction mode or the third reproduction mode is displayed is separated in each scene of the moving image 10 when it is suitable for the analysis of eye movement It can be carried out.

例えば、図13(a)に示すように、再生時間マーク24がコマ画像11の「A」の時間を示している場合には、動画10には被視線検出者60の視線の順に視線検出位置32を示す箇所に「1〜3」の番号が表示されている。 For example, as shown in FIG. 13 (a), when the reproduction time mark 24 indicates the time of the "A" of the frame image 11, the line-of-sight detection position in the order of the line of sight of the sight line detected individual 60 video 10 number of "1-3" is displayed on the portion indicated 32. このまま動画10を進めていき図13(b)に示すように、再生時間マーク24がコマ画像11の「B」の時間を示した場合には、動画10には「B」の文字周囲に被視線検出者60の視線の順に「4〜5」の番号が表示される。 As shown in FIG. 13 will promote this state video 10 (b), when the reproduction time mark 24 indicates the time "B" of the frame image 11, the moving image 10 the character around the "B" number of "4-5" is displayed in the order of the line-of-sight of the line-of-sight detection's 60. ここで、図13(c)に示すように、区切りマーク31をコマ画像11の「A」から「B」に動画10のシーンが変わる時間に設定すると、再生時間マーク24がコマ画像11の「B」の時間を示した場合には、動画10には「B」の文字周囲に被視線検出者60の視線の順に「1〜2」の番号が表示される。 Here, as shown in FIG. 13 (c), a separator mark 31 of the frame image 11 is set to time the scene changes in the video 10 to the "B" from "A", the playback time mark 24 of the frame image 11 " when showing the B "of time, the video 10 is displayed number" 1-2 "in the order of the line of sight of the character to be the visual axis detection person 60 around the" B ". このように、動画10のシーンによって第二の再生モード又は第三の再生モードの表示を変えることができるので、所望するデータによって再生モードを使い分けることができる。 Thus, it is possible to change the display of the second reproduction mode or the third reproduction mode by the scene of the moving image 10 can be selectively used reproduction mode by the desired data.

次に、動画再生方法2について説明する。 Next, a description about video playback method 2. 本願発明の動画再生方法2は、図3に示すように、取得した画像データを用いて動画10を再生する動画再生方法2であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程13と、前記画像データ取得・記憶工程13で取得し記憶した前記画像データによる動画10を、前記動画10を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程14と、を備える。 Video playback method 2 of the present invention, as shown in FIG. 3, a video playback method 2 for reproducing video 10 by using the image data acquired, the image data to obtain image data displayed on the display screen the acquisition and storage process 13, the video 10 by the image data acquired and stored by the image data acquisition and storage process 13, by specifying the start time and end time in the range of desires to play the video 10 screen comprising a video playback step 14 to play on, and.

そして、前記画像データ取得工程13で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像11群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程15を備える。 Then, time series the image acquired by the data acquisition process 13 extracts the frame image data at predetermined time intervals from the stored image data; a frame image 11 group including a plurality of frame image data which the extracted on a screen comprising a frame image display process 15 for scrolling the display in a state arranged in.

そして、前記動画再生工程14が、動画10の開始時間を示す開始マーク22、動画の終了時間を示す終了マーク23、及び、再生中の動画10の時間を示す再生時間マーク24を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を設定する。 Then, the moving image reproduction step 14, the start marks 22 indicating the start time of the video 10, end mark 23 indicating the end time of the video, and, on the same time axis the playback time mark 24 indicating the video 10 playing time of it is displayed in the appropriate position in each of the respective marks by moving operation to a desired time to set the moving image playback range.

また、動画再生方法2は、被視線検出者60の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程18と、前記視線座標データを、前記画像データによる動画10を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程19と、を備える。 Also, video playback method 2, the sight line detection data acquired by the display predetermined time intervals sight to the image data displayed on the screen of the visual axis detected individual 60, and records by applying the elapsed time data gaze the coordinate data recording step 18, the line-of-sight coordinate data, the video 10 by the image data when playing on the screen, on the same display screen by synchronizing the elapsed time of the line-of-sight coordinate data and the elapsed time of the image data comprising a line-of-sight coordinate data reproducing step 19 to display reproduced, the.

そして、前記視線座標データ再生工程19における表示再生モードとして、動画10の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画10上に表示する第一の再生モード、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画10に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク22で指定された時間から再生中の時間までのすべての視線座標データの数の密度34に応じて動画10上に、あらかじめ密度34ごとに定めた識別表示をする第三の再生モードを選択する。 Then, the as display reproduction mode in sight coordinate data playback step 19, the line of sight coordinate data of the predetermined in time before the position and the time on the display screen of the line-of-sight coordinate data corresponding to the time during video playback 10 first playback mode for displaying on the respective reproduced moving 10 in figure that defines the position on the display screen in advance, all the sight coordinate data up to the time of playing the time specified in the start mark 22 of the video playback range a second playback mode for displaying the elapsed time order and numbered video 10 playing, or all of the line of sight coordinate data up to the time of playing the time specified by the start mark 22 of the video playback range on video 10 according to the number of density 34 to select the third playback mode to an identification that defines for each advance density 34.

前記第二の再生モード又は第三の再生モードの表示を前記動画10の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク31を、マウスでドラッグして所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク31からの開始を実現させる。 Setting a desired time display of the second reproduction mode or the third regeneration mode separator mark 31 that can be separated by until the reproduction start time-reproduction end time of the video 10, by dragging the mouse to the display on the screen of the second reproduction mode or the third reproduction mode, to realize the starting from the separator mark 31 to another starting from the playback start time.

また、本発明は以下の処理を実行することによっても実現される。 Further, the present invention is realized by executing the following processing. 前記動画再生方法をコンピュータで実行可能なプログラムであって、前記プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータが前記プログラムを呼び出して実行する処置である。 A executable program of the moving image playback method on the computer to supply the program to a system or apparatus via a network or a storage medium, a treatment of the system or apparatus computer calling and executing the program.

また、前記動画再生方法をコンピュータに実行させるプログラムを記憶した記憶媒体であって、コンピュータ読み取り可能な前記粒子数計測方法を実現するプログラムを記憶した記憶媒体に記憶した前記プログラムを呼び出して実行する処置である。 Also, a storage medium storing a program for executing the video reproducing method on a computer, the treatment to be executed by calling the program stored in the storage medium storing a program for realizing a computer-readable The particle number measurement method it is. 前記記憶媒体としては、CD−ROM、ハードディスク、フレキシブルディスク、磁気テープ、光磁気ディスクなどがある。 As the storage medium, CD-ROM, a hard disk, flexible disk, magnetic tape, a magneto-optical disk.

1 動画再生装置2 動画再生方法3 画像データ取得・記憶手段4 動画再生手段5 コマ画像データ抽出手段6 スクロール表示手段7 動画再生範囲指定手段8 視線座標データ記憶手段9 視線座標データ再生手段10 動画11 コマ画像13 画像データ取得・記憶工程14 動画再生工程15 コマ画像表示工程18 視線座標データ記憶工程19 視線座標データ再生工程20 マーク表示手段21 移動操作手段22 開始マーク23 終了マーク24 再生時間マーク25 時間表示部30 マーク設定・表示手段31 区切りマーク32 視線検出位置33 番号34 密度40 制御部41 操作部42 取得部43 記憶部44 表示装置45 表示部50 視線検出対象画像51 視線検出装置60 被視線検出者 1 video reproducing apparatus 2 video playback method 3 image data acquisition and storage means 4 moving picture reproduction unit 5 frame image data extracting unit 6 scrolling display means 7 moving picture reproduction range specifying means 8 sight coordinate data storage means 9 sight coordinate data reproducing means 10 moving 11 frame image 13 image data acquisition and storage steps 14 video playback step 15 frame image display process 18 line-of-sight coordinate data storing step 19 gaze coordinate data reproducing step 20 the mark display unit 21 moves the operating means 22 start mark 23 end mark 24 Duration marks 25 hours display unit 30 marks the setting-and-display unit 31 delimited mark 32 line-of-sight detection position 33 No. 34 density 40 control unit 41 operation unit 42 acquiring unit 43 storage unit 44 display 45 display unit 50 line-of-sight detection target image 51 visual axis detecting device 60 to be line-of-sight detection person

Claims (8)

  1. 取得した画像データを用いて動画を再生する動画再生装置であって、 A video playback apparatus for reproducing video using the acquired image data,
    表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、 An image data acquisition and storage means for acquiring image data displayed on the display screen,
    前記画像データによる動画を画面上に再生する動画再生手段と、 And video reproduction means for reproducing the moving image by the image data on a screen,
    前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段と、 A frame image data extracting means for extracting the frame image data at predetermined time intervals from the image data,
    前記複数のコマ画像データにより表される複数のコマ画像群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段と、 The scroll display means for scrolling in a state in which arranged in time series a plurality of frame images represented by the plurality of frame image data on a screen,
    動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、 Includes a start time and end time in the range of desires to play a video and video reproduction range specifying means specifying, with,
    前記動画再生範囲指定手段が、前記動画と前記複数のコマ画像を同一画面に表示し、前記画面内で、前記動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段とを備え、 The video reproduction range designation means, said plurality of frame images and the moving image displayed on the same screen, in the screen, the start mark indicating the start time of the video, end mark indicating the end time of the video, and playback comprising a mark display means for displaying the playback time mark indicating the in video time position corresponding to each on the same time axis, and a moving operation means capable of moving each of the mark the the desired time ,
    前記画面上に前記動画の表示領域と前記コマ画像群の表示領域を分離状態で同時に表示させ、前記再生中の動画に対応するコマ画像を含んだ、時系列に並んだ前記コマ画像群を、再生時間マークを右端にドラッグすることにより自動的にスクロールさせ、 Wherein the display area and the display area of the frame images of the moving image on a screen to be displayed simultaneously in a separated state, including the frame images corresponding to the moving image in the reproduction, when arranged in series the frame image group, is automatically scrolled by dragging the playback time mark at the right end,
    前記開始マーク及び前記終了マークを所望の時間に移動操作させることにより動画再生範囲が指定され、前記指定された範囲の動画を画面上に再生することを特徴とする動画再生装置。 Video reproducing apparatus characterized by the start mark and the end mark video playback range is specified by moving the operation to a desired time, watch videos from the specified range on the screen.
  2. 被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段と、 The visual line detection data acquired at predetermined time intervals the visual axis for the image data displayed on the display screen of the visual axis detection's gaze coordinate data recording means for recording by imparting the elapsed time data,
    前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段と、を備え、 The gaze coordinate data, when playing video by the image data on a screen, the line of sight coordinate data said elapsed time of the image data and to synchronize the elapsed time of the line-of-sight coordinate data and displays the playback on the same display screen and a reproduction means,
    前記視線座標データ再生手段が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項に記載の動画再生装置。 The gaze coordinate data reproducing means, as the display reproduction mode, on the display screen of the line-of-sight coordinate data in the position and the predetermined prior time period on the display screen of the line-of-sight coordinate data corresponding to the time during video playback the first reproduction mode, playing video all gaze coordinate data up to the time of playing the time specified in the start mark video play range at the location and predetermined graphical display on the respective reproduced moving second playback mode for displaying by applying a number of the elapsed time order, or video depending on the number of density of all of the line of sight coordinate data from the time specified in the start mark of the moving image reproduction range to the time during playback above, motion picture reproducing apparatus according to claim 1, characterized in that the play in the third reproducing mode in which an identification that defines for each advance densities.
  3. 前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを設定し表示させるマーク設定表示手段を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項に記載の動画再生装置。 Said second reproduction mode or the third mark setting display means for displaying set the delimiter mark that can be separated between the display until playback start time-reproduction end time of the video reproduction mode is provided, wherein the the display on the screen of the second reproduction mode or the third reproduction mode, video playback apparatus according to claim 2, wherein said that to realize the starting from separator mark to another starting from the playback start time .
  4. 取得した画像データを用いて動画を再生する動画再生方法であって、 A moving image reproducing method for reproducing video using the acquired image data,
    表示画面に表示されている画像データを取得する画像データ取得・記憶工程と、前記画像データ取得・記憶工程で取得し記憶した前記画像データによる動画を、前記動画を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程と、 An image data acquisition and storage step for acquiring image data displayed on the display screen, the pre SL video by the image data acquired and stored by the image data acquisition and storage process, a range of desires to play the video and video playback step of playing on the screen the start time and end time by specifying,
    前記画像データ取得・記憶工程で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程と、を備え、 The image acquired by the data acquisition and storage step extracts the frame image data at predetermined time intervals from the stored image data; arranging the frame image group including a plurality of frame image data which the extracted time series on a screen a frame image display step of scrolled on the state, with a
    前記動画再生工程が、前記画面上に前記動画の表示領域と前記コマ画像群の表示領域を分離状態で同時に表示させ、前記再生中の動画に対応するコマ画像を含んだ、時系列に並んだ前記コマ画像群を、再生時間マークを右端にドラッグすることにより自動的にスクロールさせる画面上で、動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を指定することを特徴とする動画再生方法。 The video playback step, wherein the display area and the display area of the frame images of the moving image on a screen to be displayed simultaneously in a separated state, including the frame images corresponding to the moving image in the reproduction, time-sequentially juxtaposed the frame images on the screen to be automatically scrolled by dragging the playback time mark at the right end, the start mark indicating the start time of the video, end mark indicating the end time of the video, and, during playback video to display the reproduction time mark indicating a time position corresponding to each on the same time axis, moving image playback method characterized by specifying the video playback range respective marks by moving operation to a desired time.
  5. 被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程と、 The visual line detection data acquired at predetermined time intervals the visual axis for the image data displayed on the display screen of the visual axis detection's gaze coordinate data recording step of recording by applying an elapsed time data,
    前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程と、を備え、 The gaze coordinate data, when playing video by the image data on a screen, the line of sight coordinate data said elapsed time of the image data and to synchronize the elapsed time of the line-of-sight coordinate data and displays the playback on the same display screen and a regeneration step,
    前記視線座標データ再生工程が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項に記載の動画再生方法。 The gaze coordinate data regeneration step, displayed as a playback mode, on the display screen of the line-of-sight coordinate data in the position and the predetermined prior time period on the display screen of the line-of-sight coordinate data corresponding to the time during video playback the first reproduction mode, playing video all gaze coordinate data up to the time of playing the time specified in the start mark video play range at the location and predetermined graphical display on the respective reproduced moving second playback mode for displaying by applying a number of the elapsed time order, or video depending on the number of density of all of the line of sight coordinate data from the time specified in the start mark of the moving image reproduction range to the time during playback above, video playback method according to claim 4, characterized in that the play in the third reproducing mode in which an identification that defines for each advance densities.
  6. 前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項に記載の動画再生方法。 And the delimiter mark that can be separated between the display of the second reproduction mode or the third reproduction mode until the video playback start time-reproduction end time is set to a desired time, the second regeneration video playback method according to claim 5, characterized in that the screen display of the mode or the third reproduction mode, to realize the starting from the separator mark to another starting from the playback start time.
  7. 請求項4〜6のいずれかに記載の動画再生方法をコンピュータに実行させるためのプログラム。 Program for executing a video reproducing method according to the computer in any one of claims 4-6.
  8. 請求項に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体。 Program stored computer-readable storage medium of claim 7.
JP2016251384A 2016-12-26 2016-12-26 Video playback device, video playback method, the program and the recording medium Active JP6218296B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016251384A JP6218296B1 (en) 2016-12-26 2016-12-26 Video playback device, video playback method, the program and the recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016251384A JP6218296B1 (en) 2016-12-26 2016-12-26 Video playback device, video playback method, the program and the recording medium

Publications (1)

Publication Number Publication Date
JP6218296B1 true JP6218296B1 (en) 2017-10-25

Family

ID=60156757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016251384A Active JP6218296B1 (en) 2016-12-26 2016-12-26 Video playback device, video playback method, the program and the recording medium

Country Status (1)

Country Link
JP (1) JP6218296B1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281433A (en) * 2001-03-15 2002-09-27 Kddi Corp Device for retrieving and reading editing moving image and recording medium
JP2005080027A (en) * 2003-09-02 2005-03-24 Sony Computer Entertainment Inc Apparatus and method for editing dynamic image data
JP2005277733A (en) * 2004-03-24 2005-10-06 Seiko Epson Corp Moving image processing apparatus
JP2006101270A (en) * 2004-09-30 2006-04-13 Sony Computer Entertainment Inc Edition device for dynamic-image data and method for editing dynamic-image data
JP2007184743A (en) * 2006-01-06 2007-07-19 Sharp Corp Content editing device and editing method
JP2007288637A (en) * 2006-04-19 2007-11-01 Sony Corp Reproducing apparatus and method, as well as program
JP2014096786A (en) * 2012-10-12 2014-05-22 Sharp Corp Video recording/reproducing device and video recording/reproducing method
JP2014179870A (en) * 2013-03-15 2014-09-25 Canon Inc Image reproducing apparatus, image reproducing method, and imaging apparatus
JP2015080167A (en) * 2013-10-18 2015-04-23 キヤノン株式会社 Imaging device, control method thereof, and control program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281433A (en) * 2001-03-15 2002-09-27 Kddi Corp Device for retrieving and reading editing moving image and recording medium
JP2005080027A (en) * 2003-09-02 2005-03-24 Sony Computer Entertainment Inc Apparatus and method for editing dynamic image data
JP2005277733A (en) * 2004-03-24 2005-10-06 Seiko Epson Corp Moving image processing apparatus
JP2006101270A (en) * 2004-09-30 2006-04-13 Sony Computer Entertainment Inc Edition device for dynamic-image data and method for editing dynamic-image data
JP2007184743A (en) * 2006-01-06 2007-07-19 Sharp Corp Content editing device and editing method
JP2007288637A (en) * 2006-04-19 2007-11-01 Sony Corp Reproducing apparatus and method, as well as program
JP2014096786A (en) * 2012-10-12 2014-05-22 Sharp Corp Video recording/reproducing device and video recording/reproducing method
JP2014179870A (en) * 2013-03-15 2014-09-25 Canon Inc Image reproducing apparatus, image reproducing method, and imaging apparatus
JP2015080167A (en) * 2013-10-18 2015-04-23 キヤノン株式会社 Imaging device, control method thereof, and control program

Similar Documents

Publication Publication Date Title
US20080097854A1 (en) Method for Creating and Analyzing Advertisements
Smith et al. Edit Blindness: The relationship between attention and global change blindness in dynamic scenes.
US20020175997A1 (en) Surveillance recording device and method
US20030063130A1 (en) Reproducing apparatus providing a colored slider bar
US8289390B2 (en) Method and apparatus for total situational awareness and monitoring
US20120151346A1 (en) Parallel echo version of media content for comment creation and delivery
US20030030852A1 (en) Digital visual recording content indexing and packaging
US7996771B2 (en) Methods and interfaces for event timeline and logs of video streams
US20080022230A1 (en) Information processing apparatus and method, and program
US20040078805A1 (en) System method and apparatus for capturing recording transmitting and displaying dynamic sessions
US20130336628A1 (en) Automatic tracking, recording, and teleprompting device
JP2006101186A (en) Camera
US20130249944A1 (en) Apparatus and method of augmented reality interaction
JPH0822557A (en) Device for displaying video image to user and method therefor
CN101727949A (en) Device, method and system for positioning playing video
US20080317386A1 (en) Playback of Digital Images
US20090116815A1 (en) Method and system for replaying a movie from a wanted point by searching specific person included in the movie
JPH08182786A (en) Picture image analyzer of moving body
US20120188452A1 (en) Image processing method and device for instant replay
JP2001036867A (en) Synchronous display device for plural channel moving images
JP2005286378A (en) Moving picture reproduction system and moving picture reproduction method
JP2005033276A (en) System, program, and method for image reproducing
CN101321271A (en) Information processing apparatus and information processing method
JP2000113208A (en) Information presenting method, information presenting device and recording medium
JP2005277733A (en) Moving image processing apparatus

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170922

R150 Certificate of patent or registration of utility model

Ref document number: 6218296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150