JP5863195B2 - Video playback device, video playback method, and video playback program - Google Patents
Video playback device, video playback method, and video playback program Download PDFInfo
- Publication number
- JP5863195B2 JP5863195B2 JP2013054610A JP2013054610A JP5863195B2 JP 5863195 B2 JP5863195 B2 JP 5863195B2 JP 2013054610 A JP2013054610 A JP 2013054610A JP 2013054610 A JP2013054610 A JP 2013054610A JP 5863195 B2 JP5863195 B2 JP 5863195B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- motion
- frame
- video
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、映像が表示されている画面内の位置情報から、映像内の所望の画像フレームを再生させる映像再生装置、映像再生方法、および映像再生用プログラムに関する。 The present invention relates to a video playback device, a video playback method, and a video playback program for playing back a desired image frame in a video from position information in a screen on which the video is displayed.
従来、映像中から所望の再生フレームを指定するためのインタフェースとして、スライダ型のＧＵＩを画面上に表示する技術がある。このスライダ型のＧＵＩは、始点と終点を持つ１つの線分から構成されており、ユーザがマウスやタッチパネルなどのポインティングデバイスを用いて線分上の所望の位置を指定することにより、ＧＵＩの始点と終点との間の位置を示す値が設定される。 Conventionally, there is a technique for displaying a slider-type GUI on a screen as an interface for designating a desired reproduction frame from video. This slider-type GUI is composed of a single line segment having a start point and an end point. When the user designates a desired position on the line segment using a pointing device such as a mouse or a touch panel, the GUI start point and A value indicating a position between the end point is set.
このスライダ型のＧＵＩは通常画面内の下部位置に表示され、時間軸に対応するカーソルとして機能し、再生中の画像フレームの相対的な位置を表示するとともに、例えばランダムな再生、早送り、および巻き戻しなど、映像の可変速再生のためのインタフェースとして用いることができる。 This slider-type GUI is normally displayed at the lower position in the screen, functions as a cursor corresponding to the time axis, displays the relative position of the image frame being played back, and plays, for example, random playback, fast-forward, and winding. It can be used as an interface for variable speed playback of video, such as back.
さらにこの技術を拡張させ、スライダ型のＧＵＩを映像中の被写体の動きや変形の軌跡と重なるように画面内に配置し、線分上をなぞるように操作することによりあたかも映像中の被写体を掴んで動かしているかのような感覚をユーザに提供するためのインタラクション技術がある。 Furthermore, this technology has been expanded so that a slider-type GUI is placed on the screen so that it overlaps the movement and deformation trajectory of the subject in the video, and it is as if the subject in the video is grasped by operating it to trace the line segment. There is an interaction technology to provide the user with a feeling as if he / she is moving.
この技術では、複数のフレームを通して人間や物体が運動するような映像を対象としており、ユーザが注目する被写体の移動軌跡とＧＵＩとして表示される線分とを空間的に対応付け、さらに被写体が線分上の近接する位置に対応するように、線分上の位置情報と映像中の各画像のフレーム番号とを時間的に対応付けている。 In this technique, an image in which a human or an object moves through a plurality of frames is targeted, the movement trajectory of the subject that the user pays attention to is spatially associated with the line segment displayed as the GUI, and the subject is a line. The position information on the line segment and the frame number of each image in the video are temporally associated with each other so as to correspond to adjacent positions on the minute.
この技術により、ＧＵＩとして表示された線分上を、ユーザがマウスによりドラッグ操作したり、タッチパネル上でなぞる操作をしたりすることにより、これらの操作に追随して被写体が動作し、直感的なインタラクションを提供した映像再生制御を実現することができる。このようなインタラクション技術には、以下のような手動設定タイプのもの、特徴点追跡タイプのものがある。 With this technology, when the user drags the mouse on a line segment displayed as a GUI or performs an operation of tracing on the touch panel, the subject moves following these operations and is intuitive. It is possible to realize video playback control that provides interaction. Such interaction techniques include the following manually set type and feature point tracking type.
(A) 手動設定タイプ
手動設定タイプのインタラクション技術では、特許文献１に記載のように、あらかじめ映像を視聴したユーザが映像中の任意の運動に注目し、その運動の軌跡に合致するように手動で折れ線スライダ型のＧＵＩを作成する。
(A) Manual setting type In the manual setting type interaction technology, as described in
この技術では、被写体の位置に対応するように、折れ線スライダ型のＧＵＩ上の各頂点についての座標情報と対応するフレーム番号とをユーザが手動で設定する。この設定により作成された折れ線スライダ型のＧＵＩが表示された画面では、ポインティングデバイスで画面上のスライダ周辺が選択、またはドラッグされることでスライダのＧＵＩ上の座標に対応したフレームが表示される。これにより、ユーザは直感的な操作で所望の映像をコマ送りに再生させることができる。 In this technique, the user manually sets the coordinate information about each vertex on the polygonal line slider type GUI and the corresponding frame number so as to correspond to the position of the subject. On the screen on which the polygonal slider type GUI created by this setting is displayed, a frame corresponding to the coordinates of the slider on the GUI is displayed by selecting or dragging around the slider on the screen with a pointing device. As a result, the user can reproduce a desired video frame by frame by an intuitive operation.
(B) 特徴点追跡タイプ
特徴点追跡タイプのインタラクション技術では、非特許文献１に記載のように、あらかじめ映像中のフレーム全域に対してParticle Tracking等の動き検出技術を用いて画面上の多数の特徴点を追跡する。そしてポインティングデバイスの入力座標に最も近い点(particle)の移動経路から自動的に折れ線スライダ型のＧＵＩを作成し、ポインティングデバイスの移動に従って対応したフレームを表示する。
(B) Feature point tracking type In the feature point tracking type interaction technology, as described in Non-Patent
しかし、上述した(A)手動タイプのインタラクション技術では、あらかじめ被写体の動きに対応した折れ線スライダ型のＧＵＩを表示するための設定をユーザが手動で実行する必要がある。 However, in the above-described (A) manual type interaction technique, it is necessary for the user to manually execute a setting for displaying a polygonal line slider type GUI corresponding to the movement of the subject in advance.
そのため折れ線スライダ型のＧＵＩを表示する画面を作成するのに手間がかかり、映像の登録からスライダのＧＵＩの表示までの作業コストが高くなるという問題がある。またタッチパネルを指で操作するときに、ポインティングの精度が悪く折れ線の頂点を正確に位置決めできないため、スライダのＧＵＩ表示情報の生成が困難であるという問題がある。 Therefore, it takes time to create a screen for displaying a polygonal slider type GUI, and there is a problem that the work cost from the registration of the video to the display of the GUI of the slider becomes high. Further, when the touch panel is operated with a finger, there is a problem that it is difficult to generate the GUI display information of the slider because the pointing accuracy is poor and the vertex of the broken line cannot be accurately positioned.
また上述した(B) 特徴点追跡タイプのインタラクション技術では、あらかじめ映像中のフレーム画像全域に対して特徴点が各フレームでどの座標へ移動したかを追尾しておく必要がある。 In the (B) feature point tracking type interaction technique described above, it is necessary to track in advance to which coordinate the feature point has moved in each frame over the entire frame image in the video.
そのため映像を解析するコンピュータの計算コストが高く、すべてのフレームについてParticle Tracking等の画像処理が終了するまでの時間がかかってしまう問題がある。このParticle Trackingにかかる処理を軽くするためには特徴点の数を少なくする必要があるが、そのような場合は検出されるparticleがフレーム画像中の一部分に偏ってしまい、フレーム画像中の一部の被写体しか動きを検出できない恐れがある。 For this reason, there is a problem in that the calculation cost of the computer that analyzes the video is high, and it takes time until image processing such as particle tracking is completed for all frames. It is necessary to reduce the number of feature points in order to lighten the processing related to particle tracking, but in such a case, the detected particles are biased to a part in the frame image and a part in the frame image. There is a possibility that only the subject can detect the movement.
さらに(B)特徴点追跡タイプのインタラクション技術では、追跡した多数のparticleのうち1つをユーザの入力から選択し、その移動経路を折れ線スライダ型のＧＵＩとしている。そのためユーザによる入力の時点で表示されているフレーム画像上に配置されているparticleからしか折れ線スライダ型のＧＵＩを作成できず、その時点で出現していない被写体については掴んで動かすような操作を提供することができない。 Furthermore, in the (B) feature point tracking type interaction technique, one of the tracked particles is selected from the user's input, and the movement path is a polygonal slider type GUI. Therefore, a polygonal slider-type GUI can be created only from the particles placed on the frame image displayed at the time of input by the user, and an operation that grasps and moves an object that does not appear at that time is provided. Can not do it.
そこで本発明では、直感的なインタラクションにより、映像中からユーザが所望の画像フレームを再生させることが可能な映像再生装置、映像再生方法、および映像再生用プログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a video playback device, a video playback method, and a video playback program that allow a user to play back a desired image frame from a video by intuitive interaction.
上記の課題を解決するための、本発明の映像再生装置は、処理対象の映像を構成する各フレーム画像情報内の、複数の基準座標情報に関する動き方向情報および動き量情報を含む動きベクトルを検出する動き検出手段と、ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力手段と、前記入力手段で入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記角度情報で示される移動方向と前記基準座標情報の動き方向との内角が直角になるときを最低値とし、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが同方向または逆方向に近い程、高い値で算出する、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記位置座標情報ごとに特定する表示フレーム番号特定手段と、前記表示フレーム番号特定手段で特定されたフレーム番号のフレーム画像情報を順次表示する表示手段とを備えることを特徴とする。
また、本発明の他の形態の映像再生装置は、処理対象の映像を構成する各フレーム画像情報内の、複数の基準座標情報に関する動き方向情報および動き量情報を含む動きベクトルを検出する動き検出手段と、ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力手段と、前記入力手段で入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記処理対象の映像を構成するすべてのフレーム画像情報内の中から、前記位置座標情報ごとに特定する表示フレーム番号特定手段と、前記表示フレーム番号特定手段で特定されたフレーム番号のフレーム画像情報を順次表示する表示手段とを備えることを特徴とする。
In order to solve the above-described problem, the video playback apparatus of the present invention detects a motion vector including motion direction information and motion amount information related to a plurality of reference coordinate information in each frame image information constituting a video to be processed. When the user performs an operation of tracing the screen on which the video to be processed is displayed, an input for inputting position coordinate information in the screen continuously designated by the operation is performed. Angle information indicating a movement direction from the position coordinate information input a predetermined number of times before the position coordinate information input by the input means and the input means, and the movement direction indicated by the angle information and the reference coordinate information The minimum value is when the internal angle with respect to the movement direction is perpendicular, and the higher the value is calculated, the closer the movement direction indicated by the angle information and the movement direction of the reference coordinate information are in the same direction or in the opposite direction. To the degree of approximation between the angle information and the motion direction information for the respective reference coordinate information, and the frame number of the corresponding highest frame motion score calculated from the motion amount information, specific for each of the position coordinate information Display frame number specifying means for displaying, and display means for sequentially displaying frame image information of the frame number specified by the display frame number specifying means.
In addition, the video reproduction apparatus according to another aspect of the present invention is a motion detection that detects a motion vector including motion direction information and motion amount information related to a plurality of reference coordinate information in each frame image information constituting a video to be processed. Means for inputting position coordinate information in the screen continuously designated by the operation when the user performs an operation of tracing the screen on which the processing target video is displayed; For each position coordinate information input by the input means, angle information indicating a moving direction from position coordinate information input a predetermined number of times before is acquired, and each angle information and movement direction information of each reference coordinate information are obtained. The frame number of the frame having the highest motion score calculated from the degree of approximation and the corresponding motion amount information is selected from among all the frame image information constituting the processing target video. A display frame number specifying means for specifying for each of the position coordinate information, characterized by comprising a display means for sequentially displaying the frame image information for that frame number in the display frame number specifying means.
また本発明の映像再生方法は、映像再生装置が、処理対象の映像を構成する各フレーム画像情報内の、複数の基準座標情報に関する動き方向情報および動き量情報を含む動きベクトルを検出する動き検出ステップと、ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力ステップと、前記入力ステップで入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記角度情報で示される移動方向と前記基準座標情報の動き方向との内角が直角になるときを最低値とし、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが同方向または逆方向に近い程、高い値で算出する、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記位置座標情報ごとに特定する表示フレーム番号特定ステップと、前記表示フレーム番号特定ステップで特定されたフレーム番号のフレーム画像情報を順次表示する表示ステップとを有することを特徴とする。
また、本発明の他の形態の映像再生方法は、映像再生装置が、処理対象の映像を構成する各フレーム画像情報内の、複数の基準座標情報に関する動き方向情報および動き量情報を含む動きベクトルを検出する動き検出ステップと、ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力ステップと、前記入力ステップで入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記処理対象の映像を構成するすべてのフレーム画像情報内の中から、前記位置座標情報ごとに特定する表示フレーム番号特定ステップと、前記表示フレーム番号特定ステップで特定されたフレーム番号のフレーム画像情報を順次表示する表示ステップとを有することを特徴とする。
In the video playback method of the present invention, the video playback device detects motion vectors including motion direction information and motion amount information related to a plurality of reference coordinate information in each frame image information constituting the video to be processed. An input step for inputting positional coordinate information in the screen continuously designated by the operation when an operation of tracing the screen on which the processing target video is displayed is performed by the user; For each position coordinate information input in the input step, angle information indicating a movement direction from position coordinate information input a predetermined number of times before is obtained, and the movement direction indicated by the angle information and the movement direction of the reference coordinate information The minimum value is when the internal angle becomes a right angle, and the higher the value, the closer the movement direction indicated by the angle information and the movement direction of the reference coordinate information are in the same direction or in the opposite direction. It calculates the degree of approximation between the angle information and the motion direction information for the respective reference coordinate information, and the frame number of the corresponding highest frame motion score calculated from the motion amount information, for each of the position coordinate information A display frame number specifying step for specifying, and a display step for sequentially displaying frame image information of the frame number specified in the display frame number specifying step.
According to another aspect of the present invention, there is provided a motion vector including a motion vector including motion direction information and motion amount information regarding a plurality of reference coordinate information in each frame image information constituting a processing target video. When the user performs an operation of tracing on the screen on which the video to be processed is displayed, position coordinate information in the screen that is continuously specified by the operation is input. Angle information indicating a moving direction from the position coordinate information input a predetermined number of times before the input step and the position coordinate information input in the input step, and each angle information and each reference coordinate information All of the video that is the processing target, the degree of approximation with the motion direction information, and the frame number of the frame with the highest motion score calculated from the corresponding motion amount information A display frame number specifying step for specifying each position coordinate information from among the frame image information, and a display step for sequentially displaying the frame image information of the frame number specified in the display frame number specifying step. Features.
また本発明の映像再生用プログラムは、上記映像再生装置を、コンピュータで構成するものであることを特徴とする。 The video playback program of the present invention is characterized in that the video playback device is configured by a computer.
本発明の映像再生装置、映像再生方法、および映像再生用プログラムによれば、ユーザが画面上で行う簡易ななぞり操作により、映像中から所望の画像フレームを容易に再生させることが可能になる。 According to the video playback device, the video playback method, and the video playback program of the present invention, it is possible to easily play back a desired image frame from the video by a simple tracing operation performed on the screen by the user.
《第１実施形態》
〈第１実施形態による映像再生装置の構成〉
本実施形態による映像再生装置の構成を、図１を参照して説明する。本実施形態による映像再生装置１は、映像情報記憶部１１と、フレーム画像情報復号部１２と、フレーム画像選択部１３と、表示部１４と、対象フレーム情報記憶部１５と、動き検出部１６と、動き検出情報記憶部１７と、入力部１８と、表示フレーム番号特定部１９とを有する。
<< First Embodiment >>
<Configuration of Video Playback Device according to First Embodiment>
The configuration of the video playback apparatus according to the present embodiment will be described with reference to FIG. The
映像情報記憶部１１は、処理対象の映像情報を記憶する。
The video
フレーム画像情報復号部１２は、映像情報記憶部１１に記憶された映像情報を構成するそれぞれのフレーム画像情報を表示部１４に表示させるために復号する。
The frame image
フレーム画像選択部１３は、復号されたフレーム画像情報のうち、後述する表示フレーム番号特定部１９により特定されたフレーム番号のフレーム画像情報を選択する。
The frame
表示部１４はモニタ画面であり、フレーム画像選択部１３で選択されたフレーム画像情報を順次表示する。
The
対象フレーム情報記憶部１５は、フレーム画像選択部１３で選択されたフレーム画像に関するフレーム番号等の情報を記憶する。
The target frame
動き検出部１６は、処理対象の映像情報の各フレーム画像情報について、予め設定された一定の距離間隔ごとの画素に関する動きベクトルの検出を行う。
The
動き検出情報記憶部１７は、動き検出部１６で検出された動き検出結果を、映像情報ごと、フレーム番号ごと、および検出対象の画素の位置座標ごとに記憶する。
The motion detection
入力部１８は、ユーザにより、処理対象の映像が表示された表示部１４の画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される画面内の位置座標情報を入力する。
When the user performs an operation of tracing the screen of the
表示フレーム番号特定部１９は、ユーザによるなぞり操作の角度情報と画面の被写体の動きから検出された動きベクトルの動き方向情報との近似度、および対応する動きベクトルの動き量情報から、ユーザによる注目度を示す動きスコアが最も高いフレームのフレーム番号を、位置座標情報ごとに特定する。
The display frame
〈第１実施形態による映像再生装置の動作〉
次に、本実施形態による映像再生装置１の動作について、図２のフローチャートを参照して説明する。
<Operation of Video Playback Device According to First Embodiment>
Next, the operation of the
まず、ユーザが処理対象とする映像情報を、映像再生装置１の映像情報記憶部１１に記憶させる（Ｓ１）。本実施形態においては、第１映像情報〜第３映像情報を処理対象の映像情報として記憶させる。
First, video information to be processed by the user is stored in the video
第１映像情報は、図３に示すように、フレーム番号「10 frame」から途中の「20 frame」を経て「30 frame」までの21枚のフレーム画像情報を含み、画面の左端から右端に向かって右方向に小型車が移動する状況を撮影したものである。また第２映像情報は、図４に示すように、フレーム番号「10 frame」から途中の「20 frame」を経て「30 frame」までの21枚のフレーム画像情報を含み、フレーム番号「10 frame」から「20 frame」にかけては画面の左端から右端に向かって右方向に大型クレーン車が移動し、フレーム番号「20 frame」から「30 frame」にかけては画面の右下から左上に向かって左上方向に小型車が移動する状況を撮影したものである。また第３映像情報は、図５に示すように、フレーム番号「10 frame」から途中の「20 frame」を経て「30 frame」までの21枚のフレーム画像情報を含み、フレーム番号「10 frame」から「20 frame」にかけては画面の左端から中央に向かって右方向に大型クレーン車が移動し、フレーム番号「20 frame」から「30 frame」にかけてはこの大型クレーン車のクレーンが上方向に上昇する状況を撮影したものである。 As shown in FIG. 3, the first video information includes 21 frame image information from frame number “10 frame” to “30 frame” through “20 frame” in the middle, from the left end to the right end of the screen. This is a picture of the situation where a small car moves to the right. Further, as shown in FIG. 4, the second video information includes 21 pieces of frame image information from frame number “10 frame” to “30 frame” through “20 frame” on the way, and frame number “10 frame”. From `` 20 frame '' to `` 20 frame '', the large crane moves in the right direction from the left edge to the right edge of the screen, and from frame number `` 20 frame '' to `` 30 frame '' in the upper left direction from the lower right to the upper left of the screen This is a picture of the situation where a small car moves. Further, as shown in FIG. 5, the third video information includes 21 frame image information from frame number “10 frame” to “30 frame” through “20 frame” in the middle, and frame number “10 frame”. From `` 20 frame '' to the `` 20 frame '', the large crane truck moves to the right from the left edge of the screen toward the center, and the crane of this large crane truck rises upward from `` 20 frame '' to `` 30 frame '' This is a picture of the situation.
処理対象の第１映像情報〜第３映像情報が記憶されると、各映像情報のすべてのフレーム画像情報について、動き検出処理が実行される（ループＡ）。 When the first video information to third video information to be processed are stored, motion detection processing is executed for all frame image information of each video information (loop A).
各フレーム画像情報について動き検出処理が実行される際は、まずフレーム画像情報復号部１２において、記憶された映像情報を構成する各フレーム画像情報が復号される（Ｓ２）。 When motion detection processing is executed for each frame image information, first, each frame image information constituting the stored video information is decoded by the frame image information decoding unit 12 (S2).
次に動き検出部１６において、処理対象の映像情報のすべてのフレーム画像情報について、フレーム全域の動き検出が行われる（Ｓ３）。
Next, the
動き検出部１６による動き検出は、例えばブロックマッチング法を用いて、隣り合うフレーム画像情報との間でオプティカルフローと呼ばれるベクトルを求めることにより検出される。
Motion detection by the
この動き検出には、勾配法や画像ピラミッドを利用したLucas-Kanade法（Jean Yves Bouguet. Pyramidal implementation of the lucas kanade feature tracker. Intel Corporation, Microprocessor Research Labs, 2000.）などを用いてもよい。 For this motion detection, a gradient method or a Lucas-Kanade method using an image pyramid (Jean Yves Bouguet. Pyramidal implementation of the lucas kanade feature tracker. Intel Corporation, Microprocessor Research Labs, 2000.) may be used.
オプティカルフローの検出処理は、フレーム画像情報の全画素について検出するのではなく、一定の距離間隔ごとの画素について実行される。例えば、解像度が210pixel × 150pixelのフレーム画像情報について、横方向および縦方向にそれぞれ10pixelの間隔を空けて検出対象画素の座標をP(10,10)、P(20,10)、P(30,10)・・・P(10,20)、P(20,20)、P(30,20)、・・・P(190,140)、P(200,140)のように特定し、これらの座標Pについてオプティカルフローが検出される。これらの特定された各座標Pを基準座標情報、フレーム画像情報内の全基準座標情報を、基準座標情報群と呼ぶ。フレーム画像情報の端ではオプティカルフローの検出が不安定になるため、検出処理を行わないように余白部分を設定してもよい。 The optical flow detection process is not performed for all the pixels of the frame image information, but is performed for pixels at certain distance intervals. For example, for frame image information with a resolution of 210 pixels × 150 pixels, the coordinates of the detection target pixels are set to P (10,10), P (20,10), P (30, 10) ... P (10,20), P (20,20), P (30,20), ... P (190,140), P (200,140) A flow is detected. These specified coordinates P are referred to as reference coordinate information, and all reference coordinate information in the frame image information is referred to as a reference coordinate information group. Since the detection of the optical flow becomes unstable at the end of the frame image information, a blank portion may be set so as not to perform the detection process.
基準座標情報群の各座標のオプティカルフローが検出されることにより、各座標における被写体の動き方情報向および動き量（大きさ）情報を含む動きベクトルが検出される。 By detecting the optical flow of each coordinate in the reference coordinate information group, a motion vector including the direction of motion of the subject and the motion amount (size) information at each coordinate is detected.
図６は、第１映像情報のフレーム番号「20 frame」のフレーム画像情報についての動きベクトルの検出結果を各基準座標位置に対応させて表示した画面情報であり、オプティカルフローにより検出された座標Pの動きベクトルの方向を黒矢印で示している。ここで、動きベクトルの大きさが所定の閾値以下であり、誤差として十分に無視できるオプティカルフローの座標位置には矢印を表示していない。以降に示すフレーム画像情報の動き検出結果の画面情報においても、同様の方法により表示するものとする。 FIG. 6 shows screen information in which the motion vector detection result for the frame image information of the frame number “20 frame” of the first video information is displayed in correspondence with each reference coordinate position, and the coordinates P detected by the optical flow are shown. The direction of the motion vector is indicated by a black arrow. Here, no arrow is displayed at the coordinate position of the optical flow where the magnitude of the motion vector is equal to or less than a predetermined threshold and can be sufficiently ignored as an error. The screen information of the motion detection result of the frame image information shown below is also displayed by the same method.
図６では、第１映像情報のフレーム番号「20 frame」のフレーム画像情報について、画面の中央付近のいくつかの座標で、おおよそ右方向への動きベクトルが検出され矢印が表示されている。 In FIG. 6, for the frame image information of the frame number “20 frame” of the first video information, a motion vector approximately in the right direction is detected at some coordinates near the center of the screen, and an arrow is displayed.
第２画像情報においては、図７に示すように、フレーム番号「10 frame」〜フレーム番号「20 frame」の間のフレーム画像情報については、画面情報７１に示すように画面の中央付近のいくつかの座標で、おおよそ右方向への動きベクトルが検出され矢印が表示されている。また、フレーム番号「20 frame」〜フレーム番号「30 frame」の間のフレーム画像情報については、画面情報７２に示すように画面の中央付近のいくつかの座標で、おおよそ左上方向への動きベクトルが検出され矢印が表示されている。
In the second image information, as shown in FIG. 7, the frame image information between the frame number “10 frame” and the frame number “20 frame” has some near the center of the screen as shown in the
また第３画像情報においては、図８に示すように、フレーム番号「10 frame」〜フレーム番号「20 frame」の間のフレーム画像情報については、画面情報８１に示すように画面の中央付近のいくつかの座標で、おおよそ右方向への動きベクトルが検出され矢印が表示されている。また、フレーム番号「20 frame」〜フレーム番号「30 frame」の間のフレーム画像情報については、画面情報８２に示すように画面の中央付近のいくつかの座標で、おおよそ上方向への動きベクトルが検出され矢印が表示されている。
In the third image information, as shown in FIG. 8, the frame image information between the frame number “10 frame” and the frame number “20 frame” is a number near the center of the screen as shown in the
動き検出部１６で検出された、映像情報ごと、フレーム画像情報ごと、および検出対象の画素の位置情報ごとの動きベクトルの検出結果は、動き検出情報記憶部１７に記憶される（Ｓ４）。以上で、ループＡで実行される動き検出処理の説明を終了する。
The detection result of the motion vector for each video information, each frame image information, and each position information of the detection target pixel detected by the
次に、ユーザが操作対象とする映像情報（例えば第２映像情報）の、最初のフレーム画像情報（フレーム番号「10 frame」のフレーム画像情報）が、表示部１４に表示される（Ｓ５）。 Next, the first frame image information (frame image information of the frame number “10 frame”) of the video information (for example, second video information) to be operated by the user is displayed on the display unit 14 (S5).
そしてユーザにより、表示部１４の画面上を用いてドラッグ操作やスワイプ操作などにより連続的に位置座標情報が入力されると（Ｓ６の「YES」）、当該操作中、表示フレーム番号特定部１９において位置座標情報ごとに、表示対象とする画像情報のフレーム番号が特定される（Ｓ７）。
When the position coordinate information is continuously input by the user by dragging or swiping on the screen of the display unit 14 (“YES” in S6), the display frame
表示フレーム番号特定部１９で、表示する画像情報のフレーム番号が位置座標情報ごとに特定されるときの処理について、図９のフローチャートを参照して詳細に説明する。
The processing when the frame number of the image information to be displayed is specified for each position coordinate information by the display frame
まず、最初のフレーム画像情報が表示された表示部１４の画面上で、ユーザが、検出したい被写体の位置近辺で当該被写体の動きをおおまかになぞるようにマウスによるドラッグ操作、またはタッチパネルのスワイプ操作などを開始すると、これらの操作に基づいて連続して指定された位置座標情報が入力部１８から入力される。
First, on the screen of the
このとき、位置座標情報に加え、各位置座標情報に関する角度情報が表示フレーム番号特定部１９で取得される。この角度情報は、各位置座標情報における、１つ前（あるいは所定数前）の位置座標情報からの移動方向を示すものである。なお、ドラッグ操作やスワイプ操作によって複数の位置座標情報が連続的に入力される場合、１つ前（あるいは所定数前）の座標からのＸ軸、Ｙ軸の値の増減分について正接関数（アークタンジェント）を用いて計算することで、角度情報を取得することができる（Ｓ１１）。例えば、ドラッグ操作やスワイプ操作により位置座標情報a0〜a20が連続して入力されたときに、このうちの位置座標情報a1について、位置座標情報ａ0から位置座標情報ａ1への移動方向を示す角度情報が取得される。
At this time, in addition to the position coordinate information, angle information regarding each position coordinate information is acquired by the display frame
次に、上述したステップＳ３において動きベクトルが検出された基準座標情報群の中から、ステップＳ１１で入力された位置座標情報について、近傍の基準座標情報が対応する座標情報として抽出される（Ｓ１２）。このとき、１つの位置座標情報に関し、４点あるいは１６点などの複数の基準座標情報を抽出してもよい。 Next, from the reference coordinate information group in which the motion vector is detected in step S3, the reference coordinate information in the vicinity of the position coordinate information input in step S11 is extracted as corresponding coordinate information (S12). . At this time, a plurality of reference coordinate information such as 4 points or 16 points may be extracted with respect to one position coordinate information.
次に、当該操作対象とする第２映像情報のすべてのフレームについてそれぞれ、ユーザによる注目度を示す動きスコアが算出される（ループＣ）。 Next, a motion score indicating the degree of attention by the user is calculated for all the frames of the second video information to be operated (loop C).
各フレームにおける、動きスコアの算出処理について説明する。まず、動き検出情報記憶部１７に記憶された動き検出結果から、ステップＳ１２で抽出された各基準座標情報に関する動きベクトルの動き方向情報が取得される。そして取得された動きベクトルの動き方向情報と、対応する位置座標情報（例えば位置座標情報ａ1）の角度情報とが比較される。
A motion score calculation process in each frame will be described. First, from the motion detection result stored in the motion detection
比較の結果から、ユーザの操作により入力された位置座標情報の角度情報と、対応する基準座標情報の動きベクトルの動き方向情報との近似度（ratio）が算出される（Ｓ１３）。この近似度（ratio）は、ユーザがドラッグ操作またはスワイプ操作により画面上をなぞった軌跡の方向と、対応する動きベクトルの方向とが同じ方向を向いているか、もしくは逆方向を向いているときに高く算出されるものであり、後述する動きスコアを算出するために必要な情報である。 From the comparison result, the degree of approximation (ratio) between the angle information of the position coordinate information input by the user's operation and the motion direction information of the motion vector of the corresponding reference coordinate information is calculated (S13). This approximation ratio is determined when the direction of the trajectory traced on the screen by the drag operation or swipe operation and the direction of the corresponding motion vector are in the same direction or in the opposite direction. It is calculated to be high and is information necessary for calculating a motion score, which will be described later.
この近似度（ratio）は、例えば下記式（１）で示されるように、余弦関数（cos）を利用して算出することができる。
ここで「angle」は、図１０で示されるように、ユーザの操作による位置座標情報の角度情報Vdと、対応する基準座標情報の動きベクトルの方向Vnとの内角（inner(Vd,Vn)）である。例えば、ユーザが右方向になぞる操作を行ったとき、この操作の角度情報を０度とすると、取得された動きベクトルが右上方向（ユーザの操作による角度情報に対して相対的に３０度の方向）への情報を持っていたとする。このとき、ユーザの操作による位置座標情報の角度情報Vdと、対応する基準座標情報の動きベクトルの方向Vnとが比較されることにより、これらの内角（angle）が「３０度」として得られる。 Here, as shown in FIG. 10, “angle” is an inner angle (inner (Vd, Vn)) between the angle information Vd of the position coordinate information by the user's operation and the direction Vn of the motion vector of the corresponding reference coordinate information. It is. For example, when the user performs an operation of tracing in the right direction, if the angle information of this operation is 0 degree, the acquired motion vector is in the upper right direction (a direction of 30 degrees relative to the angle information by the user operation). ). At this time, the angle information Vd of the position coordinate information by the user's operation and the direction Vn of the motion vector of the corresponding reference coordinate information are compared, so that these interior angles (angle) are obtained as “30 degrees”.
内角（angle）は０度以上、１８０度以下で得られるため、この式（１）によって得られる近似度（ratio）は、図１１に示すようになる。図１１のグラフでは、内角（angle）が０度（同方向）のときと１８０度（逆方向）のとき、最も高い近似度「１」が算出される。一方で、内角（angle）が９０度のように角度情報と動きベクトルの方向とが直角に交わっているときに、最も低い近似度「−１」が算出される。 Since the inner angle (angle) is obtained at 0 degree or more and 180 degrees or less, the approximation degree (ratio) obtained by this equation (1) is as shown in FIG. In the graph of FIG. 11, when the inner angle (angle) is 0 degrees (same direction) and 180 degrees (reverse direction), the highest degree of approximation “1” is calculated. On the other hand, when the angle information and the direction of the motion vector intersect at a right angle such that the inner angle (angle) is 90 degrees, the lowest degree of approximation “−1” is calculated.
この近似度の算出において、内角（angle）が逆方向であっても高い値となることについて説明する。 In the calculation of the degree of approximation, it will be described that a high value is obtained even if the inner angle (angle) is in the reverse direction.
例えば、図５に示す第３映像情報が表示されている画面上で、ユーザが右方向に移動する大型クレーン車を検出対象の被写体として注目した場合について説明する。 For example, a case will be described in which a user pays attention to a large crane vehicle moving in the right direction as a subject to be detected on the screen on which the third video information shown in FIG. 5 is displayed.
ユーザは当該第３映像情報において、時間的に順方向に大型クレーン車が移動する場面をシークして再生させたい場合、画面中央付近で、当該大型クレーン車の移動方向と同じ右方向になぞるようにドラッグ操作やスワイプ操作を行う。また、時間的に逆方向に大型クレーン車が移動する場面をシークして再生させたい場合、画面上で、当該大型クレーン車の移動方向と真逆の左方向になぞるようにドラッグ操作やスワイプ操作を行う。 In the third video information, when the user wants to seek and reproduce a scene in which the large crane vehicle moves in the forward direction in time, the user traces the same right direction as the moving direction of the large crane vehicle near the center of the screen. Drag and swipe to. Also, when you want to seek and replay a scene in which a large crane truck moves in the opposite direction in time, drag or swipe the screen to trace the left direction that is the opposite of the moving direction of the large crane truck. I do.
この右方向と左方向の操作を交互に繰り返すことにより、この操作に追従して大型クレーン車が移動する場面が順方向と逆方向とで繰り返し表示され、ユーザは直感的に大型クレーン車を掴んで動かしているかのような感覚を体験することができる。 By repeating this right and left operation alternately, the scene where the large crane truck moves following this operation is displayed repeatedly in the forward and reverse directions, and the user intuitively grabs the large crane truck. You can experience the feeling of moving with
このようにユーザが直感的にある被写体に注目して映像を動かそうとする場合、順再生、逆再生を繰り返すことでより「掴んで動かしている感覚」が強まり、なぞり操作が往復することが多々あることに着目し、図１２に示すように、内角（angle）が逆方向であっても高い値となるように定めている。 In this way, when the user intuitively pays attention to a certain subject and moves the video, repeating “forward playback” and “reverse playback” strengthens the “feeling of grabbing and moving”, and the tracing operation can reciprocate. Focusing on the fact that there are many, as shown in FIG. 12, even if the inner angle (angle) is in the opposite direction, it is determined to be a high value.
一方で、ユーザは注目した被写体の動きの方向と直交するような方向になぞる可能性は低いため、図１２に示すように、内角が９０度に近い場合はノイズを小さくするために近似度が低い値となるように定めている。 On the other hand, since the user is unlikely to trace in a direction orthogonal to the direction of movement of the subject of interest, as shown in FIG. 12, when the interior angle is close to 90 degrees, the degree of approximation is reduced in order to reduce noise. It is set to be a low value.
図９のフローチャートに戻り、ステップＳ１３で近似度（ratio）が算出されると、次に、動き検出情報記憶部１７に記憶された動き検出結果から、ステップＳ１２で抽出された各基準座標情報に関する動きベクトルの動き量（被写体の動きの大きさ）情報が取得される。そして取得された動きベクトルの動き量情報に、ステップＳ１３で算出された近似度（ratio）がかけ合わされることで、ユーザの注目度を示す動きスコアＳが算出される。動きスコアＳは、映像情報中の被写体のうち、ユーザが示す方向に近似する方向に大きく動く程、高い値で算出される。なお、抽出された１つの位置座標情報に対して複数の基準座標情報が抽出されている場合には、下記式（２）に示すように、それぞれの基準座標情報に関する動きベクトルについて得られた動きスコアの総和が、当該フレームの動きスコアＳとして算出される（Ｓ１４）。
なお複数の基準座標情報が抽出されている場合に、あらかじめ対象となる動きベクトルの平均値を求め、この平均値について動きスコアＳを算出するようにしてもよい。 When a plurality of reference coordinate information is extracted, an average value of target motion vectors may be obtained in advance, and a motion score S may be calculated for this average value.
すべてのフレームについて動きスコアＳが算出されると（ループＣ終了）、その結果に基づいて図１３の下段に示すようにヒストグラムが生成される（Ｓ１５）。 When the motion score S is calculated for all frames (end of loop C), a histogram is generated as shown in the lower part of FIG. 13 based on the result (S15).
図１３のヒストグラムでは、横軸がフレーム番号に対応し、縦軸が該当する動きスコアＳに対応している。 In the histogram of FIG. 13, the horizontal axis corresponds to the frame number, and the vertical axis corresponds to the corresponding motion score S.
ここでは、図１３の上段に示す第２映像情報が表示されているときに、図１３の中段に白抜き矢印で示すようにユーザが画面の中央付近で右方向へなぞる操作が行うと、映像中ではフレーム番号「10 frame」〜「20 frame」の間に当該操作の位置付近で大型クレーン車が右方向に移動していることにより、画面情報１３１に示すように、対応するフレームの複数の基準座標情報に関し右方向の動きベクトルが得られる。また、フレーム番号「20 frame」〜「30 frame」の間に当該操作の位置付近で小型車が左上方向に移動していることにより、画面情報１３２に示すように、対応する複数の基準座標情報に関し左上方向の動きベクトルが得られる。
Here, when the second video information shown in the upper part of FIG. 13 is displayed, if the user performs an operation of tracing in the right direction near the center of the screen as shown by the white arrow in the middle part of FIG. In the frame number “10 frame” to “20 frame”, the large crane vehicle is moving in the right direction in the vicinity of the position of the operation. A rightward motion vector is obtained with respect to the reference coordinate information. In addition, since the small car is moving in the upper left direction near the position of the operation between the frame numbers “20 frame” to “30 frame”, as shown in the
得られたそれぞれの動きベクトルと、ユーザの操作の方向（角度情報）とが比較された結果、ユーザのなぞる操作が右方向であるため大型クレーン車の移動場面は近似度（ratio）が高く算出され、ヒストグラム上でも高い動きスコアが得られている。一方、小型車の移動により得られる動きベクトルの方向は、ユーザのなぞる操作の方向に直角に近い角度で交わっているため、小型車の移動場面の動きスコアは低くなっている。 As a result of comparing each obtained motion vector with the user's direction of operation (angle information), the user's tracing operation is in the right direction, so the moving scene of a large crane vehicle is calculated with a high degree of approximation (ratio). A high motion score is also obtained on the histogram. On the other hand, since the direction of the motion vector obtained by the movement of the small vehicle intersects with the direction of the user's tracing operation at an angle close to a right angle, the movement score of the small vehicle moving scene is low.
次に、生成されたヒストグラムに基づいて、当該位置座標情報に関し、動きスコアが最大となるフレームのフレーム番号が特定される（Ｓ１６）。ここでは、フレーム番号「15 frame」が特定されたものとする。 Next, based on the generated histogram, the frame number of the frame having the maximum motion score is specified for the position coordinate information (S16). Here, it is assumed that the frame number “15 frame” is specified.
以上で、表示フレーム番号特定部１９において実行されるフレーム番号の特定処理の説明を終了する。
This is the end of the description of the frame number specifying process executed in the display frame
図２のフローチャートに戻り、特定されたフレーム番号のフレーム画像情報がフレーム画像選択部１３で選択され、表示部１４に表示される（Ｓ８）。このステップＳ７のフレーム番号特定処理およびステップＳ８のフレーム画像情報表示処理は、ユーザのドラッグ操作やスワイプ操作が実行されている間、連続的に順次入力される位置座標情報ごとに実行される（ループＢ）。
Returning to the flowchart of FIG. 2, the frame image information of the specified frame number is selected by the frame
上述した例では、ユーザの画面をなぞる操作の方向と映像情報から検出された動きベクトルの方向とが近いフレームが高い動きスコアを有するため、ユーザが水平方向に往復してなぞり操作を加えると、フレーム番号「10 frame」から「20 frame」の間に対応するフレームが選択され、表示される。このとき、なぞり操作の途中でフレーム番号「20 frame」から「30 frame」の間の小型車が移動する場面のフレームも動きベクトルが大きいと判断されるが、なぞり操作との方向が近くない（直交に近い）ため動きスコアが低くなり表示されにくい。このように表示処理が位置座標情報ごとに順次実行されることにより、ユーザは画面上の操作から所望の被写体を直感的に動かすような感覚を効果的に得ることが可能となる。 In the above-described example, since the frame in which the direction of the operation of tracing the user's screen and the direction of the motion vector detected from the video information are close to each other has a high motion score, when the user applies the tracing operation by reciprocating in the horizontal direction, Corresponding frames between frame numbers “10 frame” and “20 frame” are selected and displayed. At this time, the frame of the scene where the small car moves between frame numbers “20 frame” and “30 frame” during the tracing operation is also judged to have a large motion vector, but the direction of the tracing operation is not close (orthogonal) The movement score is low and difficult to display. By sequentially executing the display processing for each piece of position coordinate information in this way, the user can effectively obtain a feeling of intuitively moving a desired subject from an operation on the screen.
つまり本実施形態においては、画像上の同じ位置を別方向に移動する被写体を含む映像情報を対象とする場合においても、ユーザは画面上でなぞる方向によって映像のシークに利用したい被写体を選ぶことができ、それぞれの被写体の画像上での動きに基づいて映像のシークを行うことが可能になる。 That is, in the present embodiment, even when video information including a subject moving in the same direction on the same position on the image is targeted, the user can select a subject to be used for seeking a video according to the direction of tracing on the screen. Thus, it is possible to seek a video based on the movement of each subject on the image.
また本実施形態において位置座標情報が移動することにより表示されるフレーム画像情報が変更されるとき、連続するフレーム番号で遷移するようにしてもよい。例えば、現在表示している画像情報のフレーム番号が「10 frame」であり、ユーザの画面上をなぞる操作により表示フレーム番号特定部１９で次に特定されたフレームのフレーム番号が「20 frame」であったとする。このとき、「10 frame」の表示からすぐに「20 frame」の表示に切り替えるのではなく、「10 frame」→「11 frame」→「12 frame」→・・・「20 frame」といったようにフレーム番号の順に連続して表示させながら「20 frame」まで表示されるように遷移させることができる。このように処理することにより、フレーム画像が飛び飛びに表示されることによる違和感が少なくなり、シークされた映像の被写体が滑らかに動くように表示される。この遷移処理はユーザによる入力される位置座標情報が取得されるごとに行ってもよいし、0.1秒ごとなど予め設定した時間ごとに行うようにしてもよい。
Further, in the present embodiment, when the frame image information displayed by the movement of the position coordinate information is changed, the frame image information may be changed by successive frame numbers. For example, the frame number of the currently displayed image information is “10 frame”, and the frame number of the next frame specified by the display frame
ユーザが映像情報の中から被写体の動きに基づいて所望のシーンを検索する操作を行うときに、マウスでのクリックやタッチパネルへのタップ操作で位置を指定することもあるが、本実施形態においては、それよりも「マウスでのドラッグ操作やタッチパネルへのスワイプ操作」が多いことに注目している。つまり、ユーザの操作に追従して被写体が動くように再生させたいと思ったとき、画面上の座標だけでなく、さらに動きの方向までも指定される。 When the user performs an operation of searching for a desired scene based on the movement of the subject from the video information, the position may be specified by clicking with the mouse or by tapping on the touch panel. It is noted that there are more “drag operations with the mouse and swipe operations to the touch panel” than that. That is, when it is desired to reproduce the subject so as to follow the user's operation, not only the coordinates on the screen but also the direction of movement is specified.
ドラッグ操作やスワイプ操作での画面をなぞる操作によって位置と方向が指定されれば、あとはその位置周辺の動きベクトルを全フレームについて比較し、似た方向に向いている動きベクトルが特に多いフレームを表示対象とすれば、ユーザの意図に沿った動きが含まれているフレームが表示される。 If the position and direction are specified by dragging or swiping the screen, the motion vectors around that position are compared for all frames, and the frames with the most motion vectors pointing in similar directions are compared. As a display target, a frame including a movement according to the user's intention is displayed.
特に本実施形態では、ユーザによるなぞり操作の方向と同じ方向の動きベクトルだけを似ていると判断するのではなく、逆方向の動きベクトルも似ていると判断する。また、なぞり操作の方向に対し直角方向の動きベクトルは最も似ていないと判断する。これは、映像中の被写体を動かすためにユーザが直感的に操作する場合、なぞり操作が被写体の動きに対し往復することが多々あることに着目したためである。なぞり操作を往復することによって映像は順再生、逆再生を繰り返すことになり、ユーザはより強く「ユーザが被写体を掴んで動かしている」感覚を得ることができる。 In particular, in this embodiment, it is not determined that only the motion vector in the same direction as the direction of the tracing operation by the user is similar, but it is also determined that the motion vector in the reverse direction is similar. Further, it is determined that the motion vector in the direction perpendicular to the direction of the tracing operation is not the most similar. This is because when the user performs an intuitive operation to move the subject in the video, the tracing operation often reciprocates with respect to the motion of the subject. By reciprocating the tracing operation, the video repeats forward playback and reverse playback, and the user can obtain a stronger sense that the user is grabbing and moving the subject.
《第２実施形態》
本発明の第２実施形態として、処理対象とする映像情報が、カメラワークを利用して撮影されたものである場合や、撮影の際に手振れが発生しているものである場合の処理について説明する。
<< Second Embodiment >>
As a second embodiment of the present invention, a description will be given of a process in a case where video information to be processed is captured using camerawork, or a camera shake occurs during shooting. To do.
処理対象の映像情報がカメラワークを利用して撮影されていたり撮影の際に手振れが発生していたりした場合、動きの検出結果の中に背景の動きに起因する動きベクトルが多く含まれてしまっていた。これにより、第１実施形態で説明したようにユーザがなぞった座標について検出された動きベクトルを参照しても、それはユーザが動かしたいと思った被写体の動きによるものなのか、背景の動きによるものなのかを区別できず、結果としてユーザが意図するように映像を再生させることができない場合があった。 If the video information to be processed is shot using camerawork or if camera shake occurs during shooting, many motion vectors resulting from background movement are included in the motion detection results. It was. Thus, as described in the first embodiment, even if the motion vector detected with respect to the coordinates traced by the user is referred to, it is due to the motion of the subject that the user wants to move or the motion of the background. In some cases, the video cannot be played back as intended by the user.
処理対象とする映像情報に、撮影時のカメラワークや手振れに起因する動き情報が含まれるケースについて図１４および１５を参照して説明する。 A case in which motion information resulting from camerawork or camera shake at the time of shooting is included in video information to be processed will be described with reference to FIGS.
図１４は、本実施形態において処理対象とする第４映像情報を示している。当該第４映像情報は、フレーム番号「10 frame」から途中の「20 frame」を経て「30 frame」までの21枚のフレーム画像情報を含み、画面の左端から右端に向かって小型車が移動する状況を撮影したものである。 FIG. 14 shows fourth video information to be processed in the present embodiment. The fourth video information includes 21 frame image information from frame number “10 frame” through “20 frame” to “30 frame”, and the situation where the small car moves from the left end of the screen to the right end. Was taken.
この第４映像情報は第１映像情報と同じ被写体の動き（小型車の左端から右端への移動）を撮影したものであるが、第４映像情報ではカメラが小型車の移動に追随し、パン機能により右方向へ水平に回転しながら撮影しているため、フレームが進むにつれて画面上では背景が左方向に移動しているように見える。 The fourth video information is the same subject movement as the first video information (moving from the left end of the small car to the right end), but in the fourth video information, the camera follows the movement of the small car, Since the image is taken while rotating horizontally to the right, the background appears to move to the left on the screen as the frame advances.
この第４映像情報が表示されている画面上で、ユーザが画面中央付近で小型車の移動方向と同じ右方向になぞるようにドラッグ操作やスワイプ操作を行ったときに、第１実施形態で説明したように動きスコアＳを算出してヒストグラムを生成すると、図１５の下段のようになる。図１５のヒストグラムは、ユーザがなぞる操作し始めのときの位置座標情報に基づいて生成されたものである。 As described in the first embodiment, when the user performs a drag operation or a swipe operation so that the user traces in the right direction in the vicinity of the center of the screen on the screen on which the fourth video information is displayed. Thus, when the motion score S is calculated and the histogram is generated, the lower part of FIG. 15 is obtained. The histogram in FIG. 15 is generated based on the position coordinate information when the user starts the tracing operation.
このとき、映像中ではフレーム番号「10 frame」〜「20 frame」の間に当該操作の位置付近で小型車が右方向に移動していることにより、対応するフレームの基準座標情報に関して得られた右方向の動きベクトルから動きスコアが算出される。 At this time, when the small car is moving in the right direction near the position of the operation between frame numbers “10 frame” to “20 frame” in the video, the right coordinate obtained with respect to the reference coordinate information of the corresponding frame A motion score is calculated from the motion vector in the direction.
しかしこの第４映像情報では、小型車の移動に追従するようにカメラワークが発生しており、画面上では小型車の移動により検出される動きベクトルよりもカメラワークにより検出される背景の右向きの動きベクトルのほうが大きくなる。そのため小型車の移動に関して算出される動きスコアは、画面情報１５１に示すように、カメラワークがない第１映像情報と比べると小さく検出されてしまう。
However, in this fourth video information, camera work is generated so as to follow the movement of the small car, and the motion vector in the right direction of the background detected by the camera work rather than the motion vector detected by the movement of the small car on the screen. Is bigger. Therefore, as shown in the
例えば、カメラが小型車を常に画面中央に映るようなカメラワークで撮影すると、小型車は実際にはどれほどの速度で移動しようとも画面上では動かない。一方で背景はカメラワークに伴って画面上で左方向へ移動するため、画面全体にわたって左方向の動きベクトルが検出される。 For example, if the camera shoots with a camera work that always shows a small car in the center of the screen, the small car will not move on the screen no matter how fast it actually moves. On the other hand, since the background moves to the left on the screen along with the camera work, a motion vector in the left direction is detected over the entire screen.
図１５の例では、撮影の開始から終了まで（フレーム番号「10 frame」から「30 frame」まで）一定の速度でカメラワークが発生した場合の、ユーザの指で示す位置におけるヒストグラムを想定している。 In the example of FIG. 15, a histogram at the position indicated by the user's finger when camerawork occurs at a constant speed from the start to the end of shooting (from frame number “10 frame” to “30 frame”) is assumed. Yes.
ここで、ユーザが画面上で示している位置に小型車が重なっていないとき、つまり画面情報１５２に示すように当該位置が背景と重なっているとき（例えば、フレーム番号「20 frame」から「30 frame」の間）には、カメラワークに起因して発生する動きベクトルに基づいて動きスコアが算出される。そのため、ヒストグラム上では最初から最後までほぼ一定の動きスコアが検出される。ただし、カメラと被写体との距離に応じて動きベクトルの大きさは変化するため、完全に一定ではなく、フレームによってばらつきは生じる。 Here, when the small car does not overlap the position indicated by the user on the screen, that is, when the position overlaps the background as shown in the screen information 152 (for example, from the frame number “20 frame” to “30 frame ”), A motion score is calculated based on a motion vector generated due to camera work. Therefore, a substantially constant motion score is detected from the beginning to the end on the histogram. However, since the magnitude of the motion vector changes according to the distance between the camera and the subject, it is not completely constant and varies depending on the frame.
その結果、第１実施形態に記載の技術を利用して、ユーザが小型車の移動に注目して該当する場面をシークして再生させようとした場合、いずれの位置座標情報に関しても、ヒストグラム上で動きスコアが最大となるフレームはカメラワークに起因するものとなってしまう。そのため、ユーザのなぞる操作と表示される小型車の動きとが重ならず、所望の被写体を掴んで動かしているかのような感覚を得ることができない。 As a result, using the technique described in the first embodiment, when a user tries to seek and reproduce a corresponding scene while paying attention to the movement of a small car, any position coordinate information is displayed on the histogram. The frame with the maximum motion score is caused by camera work. Therefore, the user's tracing operation does not overlap with the displayed movement of the small car, and it is impossible to obtain a feeling as if the user is grabbing and moving a desired subject.
この問題を解決するため本実施形態においては、動きベクトルの検出結果から、または端末の傾きや回転の情報から、カメラワークや手振れによって発生した動き、つまり背景の動きベクトルを検出して無効化（キャンセリング）する処理を行う。 In order to solve this problem, the present embodiment detects and invalidates the motion generated by camerawork or camera shake, that is, the motion vector of the background, from the motion vector detection result or the information on the tilt and rotation of the terminal. Canceling is performed.
この無効化（キャンセリング）処理により、表示するフレームを決定する際に映像中の被写体の動きに起因する動きベクトルのみを参照でき、ユーザが被写体の動きに注目してなぞり操作を行う場合に、カメラワークや手振れによる動きが発生している映像においてもロバストに所望のフレームを表示させることができる。 By this invalidation (cancelling) process, when determining the frame to be displayed, only the motion vector due to the motion of the subject in the video can be referred to, and when the user performs a tracing operation paying attention to the motion of the subject, A desired frame can be displayed robustly even in an image in which movement due to camerawork or camera shake occurs.
〈第２実施形態による映像再生装置の構成〉
本実施形態による映像再生装置の構成を、図１６を参照して説明する。本実施形態による映像再生装置２は、カメラワーク検出部２０を有することを除いては第１実施形態で説明した映像再生装置１の構成と同様であるため、同一機能を有する構成部についての詳細な説明は省略する。
<Configuration of Video Playback Device according to Second Embodiment>
The configuration of the video playback apparatus according to the present embodiment will be described with reference to FIG. The video playback device 2 according to the present embodiment is the same as the configuration of the
カメラワーク検出部２０は、撮影時のカメラワークまたは手振れに起因して発生した被写体の背景の動きに関する動きベクトルを検出し、動き検出部１６で取得された動きベクトルから当該被写体の背景の動きに関する動きベクトルを差し引くことで、被写体の背景の動きに関する情報を無効化（キャンセリング）する。
The camera
〈第２実施形態による映像再生装置の動作〉
次に、本実施形態による映像再生装置２の動作について説明する。
<Operation of Video Playback Device according to Second Embodiment>
Next, the operation of the video reproduction device 2 according to the present embodiment will be described.
まず、ユーザが処理対象とする映像情報を、映像再生装置２の映像情報記憶部１１に記憶させる（Ｓ１）。本実施形態においては、第４映像情報を処理対象の映像情報として記憶させる。
First, video information to be processed by the user is stored in the video
処理対象の第４映像情報が記憶されると、当該映像情報のすべてのフレーム画像情報について、第１実施形態と同様に各基準座標情報に関し動き検出処理が実行される（図２のステップＳ１〜Ｓ４）。 When the fourth video information to be processed is stored, the motion detection process is performed on each reference coordinate information for all the frame image information of the video information as in the first embodiment (steps S1 to S1 in FIG. 2). S4).
本実施形態においては、フレーム画像情報の横方向の画素数を９分割し、縦方向の画素数を６分割することにより得られる各領域の中心点を基準座標情報とし、これらの基準座標に関しそれぞれ動き検出処理が実行されるものとする。ここでは、説明を簡易化するために１フレーム画像情報について９×６個（５４個）の基準座標情報の動きベクトルが検出される場合について説明するが、実際には１フレーム画像情報をより小さな領域に分割することにより、より多くの数の動きベクトルを検出して精度を上げるようにしてもよい。 In the present embodiment, the center point of each area obtained by dividing the number of pixels in the horizontal direction of the frame image information by 9 and dividing the number of pixels in the vertical direction by 6 is used as reference coordinate information, It is assumed that the motion detection process is executed. Here, in order to simplify the description, a case will be described in which 9 × 6 (54) motion vectors of reference coordinate information are detected for one frame image information, but actually one frame image information is smaller. By dividing into regions, a larger number of motion vectors may be detected to improve accuracy.
本実施形態ではステップＳ４の処理としてさらに、カメラワーク検出部２０において、動き検出部１６における動き検出処理で検出された動きベクトルの情報から、撮影時のカメラワークや手振れに起因して発生した被写体の背景の動きに関する情報が検出され、無効化（キャンセリング）される。
In the present embodiment, as a process in step S4, the camera
カメラワークや手振れに起因する情報が検出され無効化されるときの処理について、図１７および図１８を参照して説明する。 Processing when information caused by camerawork or camera shake is detected and invalidated will be described with reference to FIGS. 17 and 18.
まずカメラワーク検出部２０において、動き検出部１６で検出された動きベクトルの情報が取得される。
First, in the camera
ここで、あるフレーム（例えばフレーム番号「15 frame」のフレーム）についての動き検出結果である動きベクトルを、各座標位置に対応させて画面情報として表示させた一例を、図１７（ａ）に示す。 Here, FIG. 17A shows an example in which a motion vector as a motion detection result for a certain frame (for example, a frame with frame number “15 frame”) is displayed as screen information in association with each coordinate position. .
このとき各動きベクトルを、画面の左上の基本座標情報から順にF0, F1, F2,・・・とし、右下をF53と呼ぶことにする。 At this time, the motion vectors are F0, F1, F2,... In order from the basic coordinate information at the upper left of the screen, and the lower right is called F53.
そしてまず図１７（ａ）に丸印で示すように、動きベクトルF0が基本ベクトルとして抽出される（Ｓ２１）。次に、当該基本ベクトルである動きベクトルF0と、画面上の他の動きベクトルF1〜F53との方向・大きさ（＝長さ、ノルム）の差分値がそれぞれ算出される（Ｓ２２）。ここで算出された差分値を、各座標位置に対応させて画面情報として表示させると、図１７（ｂ）のようになる。 First, as indicated by a circle in FIG. 17A, the motion vector F0 is extracted as a basic vector (S21). Next, a difference value between the direction and size (= length, norm) between the motion vector F0, which is the basic vector, and the other motion vectors F1 to F53 on the screen is calculated (S22). When the difference value calculated here is displayed as screen information in association with each coordinate position, it is as shown in FIG.
画面上のすべての動きベクトルF1〜F53について基本ベクトルF0との大きさの差分値が算出されると（ループＥ）、得られた基本ベクトルごとの差分値の総和が、カメラワークスコアとして算出される（Ｓ２３）。 When the difference value of the magnitude with respect to the basic vector F0 is calculated for all the motion vectors F1 to F53 on the screen (loop E), the sum of the obtained difference values for each basic vector is calculated as a camera work score. (S23).
例えば、基本ベクトルをFbとし、ｎ番目の動きベクトルをFnとしたとき、当該フレームのカメラワークスコアCSは下記式（３）のように算出される。
同様にして、図１７（ｃ）に示すように動きベクトルF1を基本ベクトルとしたときの、他の動きベクトルF0およびF2〜F53との差分値が図１７（ｄ）のように算出され、これらに基づいてカメラワークスコアが算出される。以降、順次それぞれの基準座標情報の動きベクトルを基本ベクトルとしたときの他の動きベクトルとの差分値が算出され、図１７（ｅ）に示すように動きベクトルF53を基本ベクトルとしたときには、図１７（ｆ）のように差分値が算出され、カメラワークスコアが算出される（ループＤ）。 Similarly, as shown in FIG. 17C, the difference values between the other motion vectors F0 and F2 to F53 when the motion vector F1 is a basic vector as shown in FIG. 17C are calculated as shown in FIG. A camera work score is calculated based on the above. Thereafter, a difference value from another motion vector when the motion vector of each reference coordinate information is used as a basic vector is sequentially calculated, and when the motion vector F53 is used as a basic vector as shown in FIG. The difference value is calculated as in (f), and the camera work score is calculated (loop D).
次に、算出された中からカメラワークスコアが最小の動きベクトルが、当該フレームに関する「撮影時のカメラワークまたは手振れに起因して発生した被写体の背景の動きに関する動きベクトル」（カメラワークのベクトル）として採用される（Ｓ２４）。 Next, the motion vector having the smallest camera work score from among the calculated “motion vector related to the motion of the background of the subject caused by camera work or camera shake at the time of shooting” related to the frame (camera work vector) (S24).
当該カメラワークのベクトルについて説明を補足する。このカメラワークのベクトルは画面上に表示された動きベクトルから代表として選択されたものであるが、その基準は「カメラワークに起因する動きベクトルはおおよそ同じ方向・大きさである」、「動きベクトルの大半が同じ方向・大きさであれば、それはカメラワークに起因するものである」といった前提に基づいたものである。２つのベクトルの方向と大きさが近いとき、その差分のノルムは小さいものとなる。つまり、カメラワークスコアが小さいということは、基本ベクトルに似た動きベクトルが画面上に多く分布しているということであり、似た（差分値の小さい）動きベクトルの数が最大となるとき（＝カメラワークスコアが最小となるとき）の基本ベクトルの情報が、カメラワークのベクトルであると判断している。 The explanation of the camerawork vector will be supplemented. This camerawork vector is selected as a representative from the motion vectors displayed on the screen, but the criteria are “the motion vectors resulting from camerawork are approximately the same direction and size”, “motion vectors If most of them are in the same direction and size, it is due to camera work. " When the directions of two vectors are close to each other, the difference norm is small. In other words, a small camera work score means that many motion vectors similar to the basic vector are distributed on the screen, and when the number of similar (small difference values) motion vectors is maximum ( (When the camera work score is minimum), the basic vector information is determined to be a camera work vector.
そのため、フレーム画像情報上の大半を覆うような物体が映りこんでしまうと、その物体に基づく動きベクトルをカメラワークのベクトルとして検出してしまう。 Therefore, if an object that covers most of the frame image information is reflected, a motion vector based on the object is detected as a camerawork vector.
この場合は、撮影するカメラ装置の傾きや回転に関する情報を、内蔵する３軸ジャイロセンサ等で取得し、取得した情報から、撮影した画像上でどの程度動きベクトルが発生したかを算出する方法により、精度の高いカメラワークのベクトルを検出することができる。 In this case, information on the tilt and rotation of the camera device to be photographed is acquired by a built-in three-axis gyro sensor or the like, and how much a motion vector is generated on the photographed image is calculated from the acquired information. Highly accurate camerawork vector can be detected.
次に、検出したカメラワークのベクトルと、当該フレーム内の各動きベクトルとの差分値がそれぞれ算出され、その差分値で動き検出情報記憶部１７内の動きベクトルが上書きされることで、各動きベクトルからカメラワークに起因するベクトル分が無効化（キャンセリング）される（Ｓ２５）。
Next, a difference value between the detected camera work vector and each motion vector in the frame is calculated, and the motion vector in the motion detection
以上の、カメラワークや手振れに起因する情報の無効化（キャンセリング）処理が、すべてのフレームについて実行される（ループＡ）。 The processing for invalidating (cancelling) information due to camera work and camera shake as described above is executed for all frames (loop A).
第４映像情報の当該フレームにおいては、左方向の動きベクトルがカメラワークのベクトルとして検出され、キャンセルされている。 In the frame of the fourth video information, the leftward motion vector is detected as a camerawork vector and canceled.
キャンセル後の画面の背景に対応する基準座標上では、左方向の動きベクトルで差分値が計算されているため、上書きされた動きベクトルの値（差分値）はほぼ「０」か、「０」でなくても無視できるほどに充分に小さい値である。 On the reference coordinates corresponding to the background of the screen after cancellation, since the difference value is calculated with the motion vector in the left direction, the overwritten motion vector value (difference value) is almost “0” or “0”. Even if it is not, the value is small enough to be ignored.
一方、キャンセル後の画面の小型車が映っている領域では、既に存在していた右方向の動きベクトルからカメラワークの左方向のベクトルを差し引くため、より強い（大きい）右方向のベクトルとして上書きされる。 On the other hand, in the area where the small car appears on the screen after cancellation, the leftward vector of the camera work is subtracted from the existing rightward motion vector, so it is overwritten as a stronger (larger) rightward vector. .
つまり、カメラワークのベクトルでキャンセル処理を行うことにより、当該フレーム画像情報からカメラワークとは関係のない被写体の動きだけが残る。 That is, by performing the cancel process with the camera work vector, only the movement of the subject unrelated to the camera work remains from the frame image information.
このようにカメラワークのベクトルでキャンセル処理を行う場合、図１４の第４映像情報のようにカメラワークによって移動する被写体を追従はするがカメラワークが追い越さない場合は、キャンセル処理後も被写体の移動に関する動きベクトルは右方向で計算される。そのため第１実施形態の場合と同様に、ユーザは画面上の操作から所望の被写体を直感的に動かすような感覚を効果的に得ることが可能となる。 When cancel processing is performed with the camerawork vector in this way, the subject moving by the camerawork follows the camerawork as in the fourth video information of FIG. 14, but the camerawork does not overtake, the subject moves even after the cancellation processing. The motion vector for is calculated in the right direction. Therefore, as in the case of the first embodiment, the user can effectively obtain a sense of intuitively moving a desired subject through an operation on the screen.
例えば図１９のように、第４映像情報が表示されている画面の左よりの位置でユーザが水平方向になぞり操作を加えると、画面情報１９１のように、フレーム番号「10 frame」から「20 frame」の間に対応するフレームの動きスコアが高く算出されて選択され、表示対象となる。また、フレーム番号「20 frame」から「30 frame」の間に対応するフレームでは、表示画面１９２のように当該位置での被写体の動きがないため動きスコアが低く算出され、表示対象にならない。
For example, as shown in FIG. 19, when the user performs a tracing operation in the horizontal direction at a position from the left of the screen on which the fourth video information is displayed, the frame numbers “10 frame” to “20” are displayed as in the
一方、カメラワークによって移動する被写体を追従しカメラワークが追い越してしまう場合、つまり図２０（ａ）のようにフレーム番号「Frame 10」〜「Frame 30」の動きベクトルが検出されているときに、カメラワークのベクトルでキャンセル処理が実行されると、図２０（ｂ）のように上書きされる。このように上書きされることにより、被写体の動きベクトルは右方向を示すが、被写体の位置は逆方向に、つまり画面の右端から左端に移動している。
On the other hand, when the camerawork overtakes the subject moving with camerawork, that is, when motion vectors of frame numbers “
この場合でも、ユーザが画面の中央付近で右方向へのなぞる操作が行われると、ユーザが操作した箇所においてなぞった方向、またはなぞった方向と逆の方向の動きベクトルで動きスコアが高く算出されるため、動きベクトルの方向と逆方向に被写体の位置が移動していても、ユーザは画面上の操作から所望の被写体を直感的に動かすような感覚を効果的に得ることが可能となる。 Even in this case, when the user performs a tracing operation in the right direction near the center of the screen, the motion score is calculated with a motion vector in the direction traced at the location operated by the user or in the direction opposite to the tracing direction. Therefore, even if the position of the subject moves in the direction opposite to the direction of the motion vector, the user can effectively obtain a feeling of intuitively moving the desired subject through an operation on the screen.
また、カメラワークによって移動する被写体を追従し、被写体を常に画面の中央に捉えている場合、つまり図２１（ａ）のようにフレーム番号「Frame 10」〜「Frame 30」の動きベクトルが検出されているときに、カメラワークのベクトルでキャンセル処理が実行されると、図２１（ｂ）のように上書きされる。このように上書きされることにより、被写体の動きベクトルが右方向を示して画面の中心付近に静止した状態となる。
Further, when the subject moving by camera work is tracked and the subject is always captured at the center of the screen, that is, motion vectors of frame numbers “
この場合、画面上で被写体は動いていないが動きベクトルは検出され続けているため、これらの動きベクトルから算出される動きスコアに基づいて特定されたフレーム画像が表示される。 In this case, since the subject is not moving on the screen but the motion vector is continuously detected, the frame image specified based on the motion score calculated from these motion vectors is displayed.
以上の第２実施形態によれば、処理対象とする映像情報が、カメラワークを利用して撮影されたものである場合や、撮影の際に手振れが発生しているものである場合にも、カメラワークや手振れに起因する動きベクトルを検出してキャンセル処理を加えることができるため、高い精度で被写体の動きを抽出することができ、ユーザは画面上の操作から所望の被写体を直感的に動かすような感覚を効果的に得ることが可能となる。 According to the second embodiment described above, even when the video information to be processed is captured using camerawork or when camera shake occurs during shooting, Since motion vectors resulting from camerawork and camera shake can be detected and cancellation processing can be added, the motion of the subject can be extracted with high accuracy, and the user can intuitively move the desired subject through operations on the screen Such a feeling can be effectively obtained.
上述した実施形態においては、カメラワークのベクトルを取得する際、既に表示フレームの決定処理で利用するために算出された動きベクトルを利用して取得している。 In the above-described embodiment, when acquiring a camerawork vector, a motion vector already calculated for use in the display frame determination process is acquired.
カメラワークを検出するには、他の方法として、端末に内蔵されたセンサを利用して取得した端末の傾きや回転の情報や動画像から検出する方法もあるが、これらの手法を利用するには、端末にセンサ機能や、動画像に対する特徴量抽出処理機能などの高負荷な機能を新たに搭載する必要があった。また、端末から取得した回転の情報のみを用いる場合には、所定量の回転により画面上でどれだけ動きベクトルが発生したのかを改めて算出する機能が必要であった。 To detect camerawork, other methods include detecting the tilt and rotation information and moving images of the terminal acquired using the sensor built in the terminal. Therefore, it is necessary to newly install a high-load function such as a sensor function or a feature amount extraction processing function for moving images in the terminal. In addition, when only the rotation information acquired from the terminal is used, a function for recalculating how many motion vectors are generated on the screen by a predetermined amount of rotation is necessary.
本実施形態においてはカメラワークのベクトルを検出した後、既に検出した動きベクトルとの差を算出して無効化（キャンセリング）の処理を行う必要があるが、動きベクトルから求めたカメラワークのベクトルであればその計算も容易である。 In this embodiment, after detecting the camera work vector, it is necessary to calculate the difference from the already detected motion vector and perform invalidation (cancelling) processing. However, the camera work vector obtained from the motion vector is used. If so, the calculation is easy.
よって本実施形態では、カメラワークのベクトルの検出処理および無効化（キャンセリング）処理において、他の手法よりも「映像中の動きベクトルとユーザの入力操作とに基づいて表示対象とするフレームを決定する」という機能との親和性が高く、計算にかかる負荷や時間的コストを低くすることができる。 Therefore, in this embodiment, in the camera work vector detection process and the invalidation (cancelling) process, the “frame to be displayed is determined based on the motion vector in the video and the user's input operation, compared to other methods. It has a high affinity with the function “Yes” and can reduce the calculation load and time cost.
《第３実施形態》
本発明の第３実施形態として、処理対象とする映像情報に、往復運動をする被写体や同じ領域を移動する複数の被写体が含まれている場合の処理について説明する。
<< Third Embodiment >>
As a third embodiment of the present invention, processing when video information to be processed includes a subject that reciprocates and a plurality of subjects that move in the same region will be described.
図２２は、本実施形態において処理対象とする第５映像情報を示している。当該第５映像情報は、フレーム番号「10 frame」から途中の「20 frame」、「25 frame」を経て「35 frame」までの26枚のフレーム画像情報を含み、フレーム番号「15 frame」付近で画面の左端から右端に向かって右方向に消防車が通り過ぎ、その後フレーム番号「30 frame」付近で画面の右端から左端に向かって左方向にパトカーが通り過ぎる状況を撮影したものである。この映像情報内では、画面の中段付近のほぼ同じ水平領域を消防車とパトカーとがすれ違うように移動している。 FIG. 22 shows fifth video information to be processed in this embodiment. The fifth video information includes 26 frame image information from frame number “10 frame” to “35 frame” through “20 frame” and “25 frame” on the way, and near the frame number “15 frame”. This is a picture of a situation where a fire truck passes in the right direction from the left end of the screen toward the right end, and then a police car passes in the left direction from the right end of the screen toward the left end near the frame number “30 frame”. In this video information, the fire engine and the police car are moving in the same horizontal area near the middle of the screen.
このような第５映像情報が表示されている画面上で、ユーザが画面中央付近で右方向になぞるように操作を行ったときに、第１実施形態または第２実施形態で説明したように余弦（cos）関数により近似度の算出処理を行うと、当該なぞり操作の方向と略同方向である右方向（内角「０度」近く）へ動く被写体である消防車に対しても、略逆方向である左方向（内角「１８０度」近く）へ動く被写体であるパトカーに対しても、同等レベルの値が算出されることになる。つまり、１回のなぞり操作に対して２つの被写体の近似度が同等レベルで算出される。 As described in the first embodiment or the second embodiment, when the user performs an operation to trace the right direction near the center of the screen on the screen on which the fifth video information is displayed, as described in the first embodiment or the second embodiment. When the degree of approximation is calculated using the (cos) function, the fire truck, which is the subject moving in the right direction (near the inner angle “0 degree”), which is substantially the same as the direction of the tracing operation, is also in the substantially reverse direction. The same level value is also calculated for a police car that is a subject moving in the left direction (inner angle “near 180 degrees”). That is, the degree of approximation of two subjects is calculated at the same level for one tracing operation.
このような場合、１回のなぞり操作が継続されている間、どちらかの被写体に特定して表示するように考慮されていなかったため、場合によってはなぞり操作により指定される位置座標情報がずれるたびに他方の被写体に表示が変更されてしまい、表示フレーム番号が飛び飛びになって適切に表示が行われないことがあった。適切に表示が行われないと、ユーザに対して被写体を掴んで動かしているかのような感覚を提供することができなかった。 In such a case, while one tracing operation is continued, it is not considered that the subject is specified and displayed on one of the subjects. Therefore, in some cases, the position coordinate information specified by the tracing operation is shifted. In other cases, the display is changed to the other subject, the display frame number skips, and the display is not performed properly. If the display is not performed properly, it is impossible to provide the user with a feeling as if the user is grasping and moving the subject.
また、往復運動をする被写体を含む映像情報、例えば人物が左右や上下に手を振るような動作を含む映像情報が表示されているときに、第１実施形態または第２実施形態で説明したように近似度の算出処理を行うと、当該手を振る動作の往動作に対しても復動作に対しても同等レベルの値が算出されることになり、場合によってはやはり、なぞり操作により指定される位置座標情報がずれるたびに表示フレーム番号が飛び飛びになって適切に表示が行われないことがあった。 In addition, as described in the first or second embodiment, when video information including a subject that reciprocates, for example, video information including an action in which a person shakes his / her hand from side to side or up and down is displayed. When the degree of approximation is calculated, the same level of value is calculated for both the forward and backward movements of the waving motion. In some cases, the value is specified by the tracing operation. Each time the position coordinate information deviates, the display frame number skips and display is not performed properly.
この問題を解決するため本実施形態においては、１回のなぞり操作に対して操作開始時のなぞり操作の方向に基づいて１つの被写体を動き特定し、フレーム特定処理を行うようにする。 In order to solve this problem, in the present embodiment, for one tracing operation, one subject is identified based on the direction of the tracing operation at the start of the operation, and frame identification processing is performed.
このように処理を行うことにより、ユーザの意向に沿って被写体の動き特定し、当該被写体を掴んで動かしているかのような感覚を提供することができる。 By performing the processing in this manner, it is possible to specify the movement of the subject in accordance with the user's intention and provide a feeling as if the subject is grasped and moved.
〈第３実施形態による映像再生装置の構成〉
本発明の第３実施形態による映像再生装置３の構成は、図１の映像再生装置１と同様であるため、同一機能を有する部分の詳細な説明は省略する。
<Configuration of Video Playback Device according to Third Embodiment>
Since the configuration of the video playback device 3 according to the third embodiment of the present invention is the same as that of the
本実施形態においてフレーム番号特定部１９は、ユーザによる１回のなぞり操作の継続中に行われた折り返し操作の回数を計数する。折り返し操作とは、位置座標情報の移動方向が略逆方向に変更するようになぞる操作である。
In the present embodiment, the frame
そして、移動方向に基づいて算出される角度情報と、基準座標情報の動きベクトルに含まれる動き方向情報との近似度を、当該なぞる操作の継続中に計数された折り返し操作の回数が偶数回である場合には、角度情報で示される移動方向と基準座標情報の動き方向とが略同方向のときのほうが、略逆方向のときよりも高い値となるように第１近似度算出処理により算出する。 Then, the degree of approximation between the angle information calculated based on the moving direction and the motion direction information included in the motion vector of the reference coordinate information is an even number of times of the folding operation counted while continuing the tracing operation. In some cases, the first approximation calculation processing is performed so that the moving direction indicated by the angle information and the movement direction of the reference coordinate information are substantially the same direction, and have a higher value than the substantially reverse direction. To do.
また、当該なぞる操作の継続中に計数された折り返し操作の回数が奇数回である場合には、角度情報で示される移動方向と基準座標情報の動き方向とが略逆方向のときのほうが、略同方向のときよりも高い値となるように第２近似度算出処理により算出する。 Further, when the number of folding operations counted during the tracing operation is an odd number, the movement direction indicated by the angle information and the movement direction of the reference coordinate information are substantially opposite. The second approximation degree calculation process is performed so that the value is higher than that in the same direction.
このように処理することで、折り返し操作が行われる都度、第１近似度算出処理と第２近似度算出処理とを交互に実行するように切り替えて、算出した近似度に基づいてフレーム番号を特定する。 By performing the processing in this way, each time the folding operation is performed, the first approximation degree calculation process and the second approximation degree calculation process are switched alternately, and the frame number is specified based on the calculated approximation degree. To do.
〈第３実施形態による映像再生装置の動作〉
本実施形態による映像再生装置３の動作について、図２のフローチャートを参照して説明する。
<Operation of Video Playback Device According to Third Embodiment>
The operation of the video reproduction apparatus 3 according to the present embodiment will be described with reference to the flowchart of FIG.
まず、ユーザが処理対象とする映像情報を、映像再生装置１の映像情報記憶部１１に記憶させる（Ｓ１）。本実施形態においては、第５映像情報を処理対象の映像情報として記憶させる。
First, video information to be processed by the user is stored in the video
処理対象の第５映像情報が記憶されると、当該映像情報のすべてのフレーム画像情報について、第１実施形態と同様に各基準座標情報に関し動き検出処理が実行される（図２のステップＳ２〜Ｓ４：ループＡ）。 When the fifth video information to be processed is stored, the motion detection process is executed for each reference coordinate information for all the frame image information of the video information as in the first embodiment (steps S2 to S2 in FIG. 2). S4: Loop A).
次に、操作対象とする第５映像情報の最初のフレーム画像情報（フレーム番号「10 frame」のフレーム画像情報）が、表示部１４に表示される（Ｓ５）。 Next, the first frame image information of the fifth video information to be operated (frame image information with the frame number “10 frame”) is displayed on the display unit 14 (S5).
そしてユーザにより、表示部１４の画面上を用いてドラッグ操作やスワイプ操作などにより連続的に位置座標情報が入力されると（Ｓ６の「YES」）、当該操作中、表示フレーム番号特定部１９において位置座標情報ごとに、表示対象とする画像情報のフレーム番号が特定される（Ｓ７）。
When the position coordinate information is continuously input by the user by dragging or swiping on the screen of the display unit 14 (“YES” in S6), the display frame
表示フレーム番号特定部１９で、表示する画像情報のフレーム番号が位置座標情報ごとに特定されるときの処理について、図９のフローチャートを参照して詳細に説明する。
The processing when the frame number of the image information to be displayed is specified for each position coordinate information by the display frame
まず、最初のフレーム画像情報が表示された表示部１４の画面上で、ユーザが、検出したい被写体の位置近辺で当該被写体の動きをおおまかになぞるようにマウスによるドラッグ操作、またはタッチパネルのスワイプ操作などを開始すると、これらの操作に基づいて連続して指定された位置座標情報が入力部１８から入力される。
First, on the screen of the
また、位置座標情報に加え、第１実施形態で説明した場合と同様に、各位置座標情報に関する角度情報が表示フレーム番号特定部１９で取得される（Ｓ１１）。さらに入力された位置座標情報について、近傍の基準座標情報が対応する座標情報として抽出される（Ｓ１２）。
In addition to the position coordinate information, angle information regarding each position coordinate information is acquired by the display frame
このとき、ユーザが特定の被写体、例えば消防車を直感的に掴んで動かすように表示させる目的で、１回のなぞり操作（１回のドラッグ操作やスワイプ操作）中に、図２３に示すように右方向へのなぞり操作から、折り返して左方向へのなぞり操作を行う場合がある。 At this time, as shown in FIG. 23, during a single tracing operation (one drag operation or swipe operation) for the purpose of causing the user to intuitively grasp and move a specific subject, for example, a fire truck, as shown in FIG. There is a case where a tracing operation in the left direction is performed after a tracing operation in the right direction.
そこで表示フレーム番号特定部１９では、１回のなぞり操作の継続中に略逆方向への折り返し操作が行われたか、つまり前回の角度情報から今回の角度情報が所定角度以上（例えば１３５度以上）変更されたことにより、なぞり操作の軌跡が折り返されたか否かが監視されている。
Therefore, in the display frame
次に、当該操作対象とする第５映像情報のすべてのフレームについてそれぞれ、ユーザによる注目度を示す動きスコアが算出される（ループＣ）。ここで、各フレームにおける動きスコアの算出処理において、第１実施形態で説明した場合と同様にステップＳ１２で抽出された各基準座標情報に関する動きベクトルの動き方向情報が取得され、さらにユーザの操作により入力された位置座標情報の角度情報と、対応する基準座標情報の動きベクトルの動き方向情報との近似度（ratio）が算出される（Ｓ１３）。 Next, a motion score indicating the degree of attention by the user is calculated for all the frames of the fifth video information to be operated (loop C). Here, in the calculation process of the motion score in each frame, the motion direction information of the motion vector related to each reference coordinate information extracted in step S12 is acquired as in the case described in the first embodiment, and further, by the user's operation The degree of approximation (ratio) between the angle information of the input position coordinate information and the motion direction information of the motion vector of the corresponding reference coordinate information is calculated (S13).
本実施形態において近似度（ratio）が算出される際の処理について、図２４のフローチャートを参照して説明する。 Processing when the degree of approximation (ratio) is calculated in the present embodiment will be described with reference to the flowchart of FIG.
まず、なぞり操作が開始されると、上述したように表示フレーム番号特定部１９における監視処理により折り返し操作が検知される都度、折り返し操作回数がインクリメントされて計数される（Ｓ３１）。
First, when the tracing operation is started, each time the folding operation is detected by the monitoring process in the display frame
次に、計数された折り返し回数が偶数か奇数かが判定される（Ｓ３２）。ここで偶数であると判定されたとき（Ｓ３２の「YES」）には、近似度算出式で利用する方向フラグ（flag）が「０」に設定される（Ｓ３３）。また、奇数であると判定されたとき（Ｓ３２の「NO」）には、当該方向フラグ（flag）が「１」に設定される（Ｓ３４）。 Next, it is determined whether the counted number of times of folding is an even number or an odd number (S32). When it is determined that the number is even ("YES" in S32), the direction flag (flag) used in the approximation calculation formula is set to "0" (S33). When it is determined that the number is an odd number (“NO” in S32), the direction flag (flag) is set to “1” (S34).
次に、ユーザの操作による位置座標情報の移動方向と、対応する基準座標情報の動きベクトルの方向とのなす内角（angle）が取得され、当該内角（angle）が「０度以上４５度未満」のとき（Ｓ３５の「YES」）には、下記式（４）により近似度（ratio）が算出される（Ｓ３６）。
また、内角（angle）が「１３５度超、１８０度以下」のとき（Ｓ３５の「NO」、Ｓ３７の「YES」）には、下記式（５）により近似度（ratio）が算出される（Ｓ３８）。
また、「０度以上４５度未満」および「１３５度超、１８０度以下」のどちらにも該当しないとき（Ｓ３７の「NO」）、近似度が「０」として算出される（Ｓ３９）。 Further, when it does not correspond to either “0 degree or more and less than 45 degrees” or “more than 135 degrees or less than 180 degrees” (“NO” in S37), the degree of approximation is calculated as “0” (S39).
方向フラグが「０」（flag=0）のとき、ステップＳ３５〜Ｓ３９により算出される近似度（ratio）と内角（angle）との関係をグラフに示すと、図２５（ａ）のようになる。 When the direction flag is “0” (flag = 0), the relationship between the degree of approximation (ratio) calculated in steps S35 to S39 and the interior angle (angle) is shown in FIG. 25A. .
図２５（ａ）のグラフでは、内角「４５度」〜「１３５度」のときは近似度が「０」であり、内角「４５度」から「０度」に近づくにつれて近似度が大きくなり、「０度」のときが最大近似度「１」となる。また、内角「１３５度」から「１８０度」に近づくにつれて近似度が大きくなるが、「１８０度」のときの近似度は「０度」のときの半分の値の「０．５」となる。 In the graph of FIG. 25A, when the inner angle is “45 degrees” to “135 degrees”, the degree of approximation is “0”, and the degree of approximation increases as the inner angle “45 degrees” approaches “0 degree”. When it is “0 degree”, the maximum degree of approximation is “1”. Further, the degree of approximation increases as the inner angle “135 degrees” approaches “180 degrees”, but the degree of approximation at “180 degrees” is “0.5”, which is a half value of “0 degrees”. .
つまり、往復するようになぞり操作が行われたときに、操作開始時および偶数回目の折り返し操作が行われ開始時と同方向への操作中は、なぞり操作の移動方向と基準座標情報の動き方向（被写体の動き方向）とが略同方向のときのほうが、略逆方向のときよりも高い近似度となることを示している。このように方向フラグが「０」（flag=0）のときに図２５（ａ）のグラフで示すように近似度を算出する処理を、第１近似度算出処理と称する。 In other words, when the tracing operation is performed so as to reciprocate, the movement direction of the tracing operation and the movement direction of the reference coordinate information are performed during the operation in the same direction as when the operation starts and when the even number of folding operations are performed. It shows that the degree of approximation is higher when the (subject movement direction) is substantially the same direction than when it is substantially the opposite direction. The process for calculating the degree of approximation as shown in the graph of FIG. 25A when the direction flag is “0” (flag = 0) is referred to as a first degree of approximation calculation process.
また方向フラグが「１」（flag=1）のとき、ステップＳ３５〜Ｓ３９により算出される近似度（ratio）と内角（angle）との関係をグラフに示すと、図２５（ｂ）のようになる。 When the direction flag is “1” (flag = 1), the relationship between the approximation (ratio) calculated in steps S35 to S39 and the interior angle (angle) is shown in a graph as shown in FIG. Become.
図２５（ｂ）のグラフでは、内角「４５度」〜「１３５度」のときは近似度が「０」であり、内角「１３５度」から「１８０度」に近づくにつれて近似度が大きくなり、「１８０度」のときが最大近似度「１」となる。また、内角「４５度」から「０度」に近づくにつれて近似度が大きくなるが、「０度」のときの近似度は「１８０度」のときの半分の値の「０．５」となる。 In the graph of FIG. 25B, when the inner angle is “45 degrees” to “135 degrees”, the degree of approximation is “0”, and the degree of approximation increases as the inner angle “135 degrees” approaches “180 degrees”. When it is “180 degrees”, the maximum degree of approximation is “1”. In addition, the degree of approximation increases as the inner angle “45 degrees” approaches “0 degrees”, but the degree of approximation at “0 degrees” is “0.5”, which is half the value at “180 degrees”. .
つまり、往復するようになぞり操作が行われたときに、奇数回目の折り返し操作が行われ開始時と逆方向への操作中は、なぞり操作の移動方向と基準座標情報の動き方向（被写体の動き方向）とが略逆方向のときのほうが、略同方向のときよりも高い近似度となることを示している。このように方向フラグが「１」（flag=1）のときに図２５（ｂ）のグラフで示すように近似度を算出する処理を、第２近似度算出処理と称する。 In other words, when the tracing operation is performed so as to reciprocate, the odd-numbered folding operation is performed, and during the operation in the opposite direction from the start, the movement direction of the tracing operation and the movement direction of the reference coordinate information (the movement of the subject) When the direction is substantially opposite, the degree of approximation is higher than when the direction is substantially the same. The process of calculating the degree of approximation as shown in the graph of FIG. 25B when the direction flag is “1” (flag = 1) is referred to as a second degree of approximation calculation process.
図９のフローチャートに戻り、算出された近似度に基づいて各フレームの動きスコアが算出される（Ｓ１４）。そしてさらに、映像情報中で最も動きスコアが大きいフレームのフレーム番号が特定され（Ｓ１５、Ｓ１６）、当該特定されたフレーム番号の画像情報が表示される（図２：Ｓ８）。 Returning to the flowchart of FIG. 9, the motion score of each frame is calculated based on the calculated degree of approximation (S14). Further, the frame number of the frame having the largest motion score in the video information is specified (S15, S16), and the image information of the specified frame number is displayed (FIG. 2: S8).
上述した処理について、第５映像情報が表示された画面の中段付近で図２３のようになぞり操作が行われた場合を用いて、図２６を用いて具体的に説明する。ここで、フレーム番号「15 frame」前後では消防車の動きに沿った右方向の動きベクトルが多く検出されており、フレーム番号「30 frame」前後ではパトカーの動きに沿った左方向の動きベクトルが多く検出されているものとする。 The processing described above will be specifically described with reference to FIG. 26 using a case where the tracing operation is performed as shown in FIG. 23 near the middle of the screen on which the fifth video information is displayed. Here, many motion vectors in the right direction along the motion of the fire engine are detected before and after the frame number “15 frame”, and the motion vectors in the left direction along the motion of the police car are detected around the frame number “30 frame”. It is assumed that many are detected.
まず、図２３の右側上段に示すように、ユーザが消防車の動きに着目して消防車の動きと同じ右方向へのなぞり操作を開始したとき（flag=0）の算出結果について、図２６の中段に示す。 First, as shown in the upper right side of FIG. 23, the calculation result when the user starts the tracing operation in the right direction same as the movement of the fire engine focusing on the movement of the fire engine (flag = 0) is shown in FIG. 26. Shown in the middle row.
この右方向へのなぞり操作において、フレーム番号「15 frame」に対してはなぞり操作の方向と消防車の動きベクトルの方向とが一致し内角は０度になるため、近似度は「１」となる（図２６中段中欄）。 In this rightward tracing operation, the direction of the tracing operation and the direction of the motion vector of the fire engine coincide with each other for the frame number “15 frame”, and the interior angle becomes 0 degrees, so the degree of approximation is “1”. (The middle column in FIG. 26).
一方で、フレーム番号「30 frame」に対してはなぞり操作の方向とパトカーの動きベクトルの方向とが逆になり内角は１８０度になるため、近似度は「０．５」となる（図２６中段右欄）。 On the other hand, for the frame number “30 frame”, the direction of the tracing operation and the direction of the motion vector of the police car are reversed and the inner angle is 180 degrees, so the degree of approximation is “0.5” (FIG. 26). Middle right column).
このように近似度が算出されたことにより、右方向へなぞり操作を開始したときには、右方向へ動く被写体を含むフレーム番号「15 frame」前後のフレーム画像情報が特定され、順方向に再生されることになる。 As the degree of approximation is calculated in this way, when the tracing operation is started in the right direction, frame image information before and after the frame number “15 frame” including the subject moving in the right direction is specified and reproduced in the forward direction. It will be.
その後なぞり操作が左方向に折り返されたとき（flag=1）の算出結果について、図２６の下段に示す。 The calculation result when the tracing operation is turned back leftward (flag = 1) is shown in the lower part of FIG.
この左方向へのなぞり操作において、フレーム番号「15 frame」に対してはなぞり操作の方向と消防車の動きベクトルの方向は逆になり内角が１８０度になっているが、折り返されたことにより図２５（ｂ）のグラフに対応して近似度が算出されるため、「１」となる（図２６下段中欄）。 In this trace operation to the left, the direction of the trace operation and the direction of the motion vector of the fire engine are reversed for the frame number “15 frame” and the interior angle is 180 degrees. Since the degree of approximation is calculated corresponding to the graph of FIG. 25B, it is “1” (the lower middle column of FIG. 26).
一方で、フレーム番号「30 frame」に対してはなぞり操作の方向とパトカーの動きベクトルの方向とが一致し内角は０度になるが、図２５（ｂ）のグラフに対応して近似度は「０．５」となる（図２６下段右欄）。 On the other hand, for the frame number “30 frame”, the direction of the tracing operation coincides with the direction of the motion vector of the police car, and the interior angle becomes 0 degree, but the degree of approximation corresponds to the graph of FIG. “0.5” (lower right column in FIG. 26).
このように近似度が算出されたことにより、左方向へ折り返されてなぞり操作が継続されているときには、フレーム番号「15 frame」前後のフレーム画像情報が逆方向に再生されることになる。 Since the degree of approximation is calculated in this way, when the tracing operation is continued by folding back to the left, the frame image information before and after the frame number “15 frame” is reproduced in the reverse direction.
その後さらに折り返し操作が行われると折り返しの都度、フラグが「flag=0」と「flag=1」とで変更され、これにより第１近似度算出処理と第２近似度算出処理とが交互に実行されるように切り替えられる。そして１回のなぞり操作中に何度も折り返し操作が行われることで、図２８に示すように、消防車が映っている「10 frame」〜「20 frame」の範囲の近似度が高くなり、この範囲の画像情報が順方向、逆方向に繰り返し再生され、ユーザは画像上で消防車を掴んで動かしているかのような感覚を得ることができる。 Thereafter, when further folding operation is performed, the flag is changed between “flag = 0” and “flag = 1” every time the looping operation is performed, whereby the first approximation degree calculation process and the second approximation degree calculation process are alternately executed. To be switched. And by performing the folding operation many times during one tracing operation, as shown in FIG. 28, the degree of approximation in the range of “10 frame” to “20 frame” in which the fire engine is reflected increases. The image information in this range is repeatedly reproduced in the forward direction and the reverse direction, and the user can feel as if he / she is grabbing and moving the fire engine on the image.
次に、図２３の右側下段に示すように、ユーザがパトカーの動きに着目してパトカーの動きと同じ左方向へのなぞり操作を開始したとき（flag=0）の算出結果について、図２７の中段に示す。 Next, as shown in the lower right side of FIG. 23, the calculation result when the user starts a tracing operation in the same left direction as the police car movement (flag = 0) focusing on the police car movement is shown in FIG. 27. Shown in the middle.
この左方向へのなぞり操作において、フレーム番号「15 frame」に対してはなぞり操作の方向と消防車の動きベクトルの方向とが逆になり内角は１８０度になるため、近似度は「０．５」となる（図２７中段中欄）。 In the tracing operation to the left, the direction of the tracing operation and the direction of the motion vector of the fire engine are reversed with respect to the frame number “15 frame”, and the internal angle is 180 degrees. Therefore, the degree of approximation is “0. 5 "(middle column of FIG. 27).
一方で、フレーム番号「30 frame」に対してはなぞり操作の方向とパトカーの動きベクトルの方向とが一致し内角は０度になるため、近似度は「１」となる（図２７中段右欄）。 On the other hand, for the frame number “30 frame”, the direction of the tracing operation and the direction of the motion vector of the police car coincide with each other, and the internal angle becomes 0 degrees, so the degree of approximation is “1” (right column in the middle row of FIG. ).
このように近似度が算出されたことにより、左方向へなぞり操作を開始したときには、左方向に移動する被写体を含むフレーム番号「30 frame」前後のフレーム画像情報が順方向に再生されることになる。 As the degree of approximation is calculated in this way, when the tracing operation is started in the left direction, the frame image information before and after the frame number “30 frames” including the subject moving in the left direction is reproduced in the forward direction. Become.
その後なぞり操作が右方向に折り返されたとき（flag=1）の算出結果について、図２７の下段に示す。 The calculation result when the tracing operation is turned back to the right (flag = 1) is shown in the lower part of FIG.
この右方向へのなぞり操作において、フレーム番号「30 frame」に対してはなぞり操作の方向とパトカーの動きベクトルの方向は逆になり内角が１８０度になっているが、折り返されたことにより図２５（ｂ）のグラフに対応して近似度が算出されるため、「１」となる。 In this rightward tracing operation, for the frame number “30 frame”, the direction of the tracing operation and the direction of the motion vector of the police car are reversed and the inner angle is 180 degrees. Since the degree of approximation is calculated corresponding to the graph of 25 (b), it is “1”.
一方で、フレーム番号「15 frame」に対してはなぞり操作の方向と消防車の動きベクトルの方向とが一致し内角は０度になるが、図２５（ｂ）のグラフに対応して近似度は「０．５」となる。 On the other hand, for the frame number “15 frame”, the direction of the stroking operation matches the direction of the motion vector of the fire engine, and the interior angle is 0 degree, but the degree of approximation corresponds to the graph of FIG. Becomes “0.5”.
このように近似度が算出されたことにより、右方向へ折り返されてなぞり操作が継続されているときには、フレーム番号「30 frame」前後のフレーム画像情報が逆方向に再生されることになる。 Since the degree of approximation is calculated in this way, frame image information before and after the frame number “30 frame” is reproduced in the reverse direction when the tracing operation is continued by folding back to the right.
その後さらに折り返し操作が行われると折り返しの都度、フラグが「flag=0」と「flag=1」とで変更され、これにより第１近似度算出処理と第２近似度算出処理とが交互に実行されるように切り替えられる。そして、１回のなぞり操作中に何度も折り返し操作が行われることで、図２８に示すように、パトカーが映っているフレーム番号「25 frame」〜「35 frame」の範囲の近似度が高くなり、この範囲の画像情報が順方向、逆方向に繰り返し再生されるため、ユーザは画像上でパトカーを掴んで動かしているかのような感覚を得ることができる。 Thereafter, when further folding operation is performed, the flag is changed between “flag = 0” and “flag = 1” every time the looping operation is performed, whereby the first approximation degree calculation process and the second approximation degree calculation process are alternately executed. To be switched. Then, since the folding operation is performed many times during one tracing operation, as shown in FIG. 28, the degree of approximation in the range of frame numbers “25 frame” to “35 frame” in which the police car is shown is high. Thus, since the image information in this range is repeatedly reproduced in the forward direction and the reverse direction, the user can obtain a feeling as if he / she is grasping and moving the police car on the image.
上述したように処理が行われることにより、図２２の第５映像情報のように、１本の映像情報中に同じ領域を異なる方向に動く複数の被写体があり、これらが異なるフレーム範囲に映っている場合、ユーザのなぞり操作の開始方向と似た動きベクトルを持つ被写体について、往復して掴んで動かす感覚を提供することが可能になる。時間軸上でみると、なぞり操作の開始時は順方向に再生を行い、その後折り返し操作が行われると逆方向に再生を行うように切り替え、さらに折り返し操作が繰り返し行われると順方向、逆方向の再生を順次切り替えるように処理が行われている。 By performing the processing as described above, there are a plurality of subjects moving in the same area in different directions in one video information as in the fifth video information of FIG. 22, and these are reflected in different frame ranges. If it is, it is possible to provide a sense that the subject having a motion vector similar to the start direction of the user's tracing operation is grabbed and moved. On the time axis, playback starts in the forward direction at the start of the tracing operation, then switches to playback in the reverse direction when the looping operation is performed, and forwards and reverses when the looping operation is repeated. The processing is performed so as to sequentially switch the reproduction of the images.
本実施形態において、例えば図２２の第５映像情報のフレーム番号「10 frame」〜「20 frame」のみで構成されたものを第６映像情報として想定すると、この第６映像情報には一方向に動く一つの被写体（消防車）が１回しか映っていない。 In the present embodiment, for example, assuming that the sixth video information includes only the frame numbers “10 frame” to “20 frame” of the fifth video information in FIG. 22, the sixth video information has one direction. One moving subject (fire truck) is shown only once.
この場合、flag=0（図２５の（ａ））且つ内角（angle）が１８０度の場合、または、flag=1（図２５の（ｂ））且つ内角（angle）が０度の場合にも、近似度は「０．５」が与えられ、動きスコアが算出される。 In this case, even when flag = 0 ((a) in FIG. 25) and the inner angle (angle) is 180 degrees, or when flag = 1 ((b) in FIG. 25) and the inner angle (angle) is 0 degrees. The degree of approximation is given as “0.5”, and the motion score is calculated.
これにより、例えばユーザが消防車の動きと逆の方向からなぞり操作を始めたとしても、他のフレームで消防車の動きに対する動きスコアを超える動きがなければ、ユーザに消防車を掴んで動かしているかのような感覚を提供することができる。 Thus, for example, even if the user starts a tracing operation in the opposite direction to the movement of the fire truck, if there is no movement exceeding the movement score for the movement of the fire truck in another frame, the user grabs the fire truck and moves it. Can provide a feeling as if
上述した本実施形態による処理は、被写体が往復運動をしている場合や、水平以外の方向になぞり操作が行われた場合にも同様に、ユーザが注目する被写体の動きを検出することができる。 The above-described processing according to the present embodiment can detect the movement of the subject that the user notices when the subject is reciprocating or when the tracing operation is performed in a direction other than the horizontal direction. .
例えば図２９に示すように、上下方向に往復動作をする被写体が映っている第７映像情報を処理対象とする場合について説明する。 For example, as shown in FIG. 29, a case will be described in which the seventh video information in which a subject that reciprocates in the vertical direction is shown is the processing target.
第７映像情報は、フレーム番号「10 frame」から途中の「20 frame」を経て「30 frame」までの21枚のフレーム画像情報を含み、フレーム番号「10 frame」から「20 frame」にかけて人が手を上げ、フレーム番号「20 frame」を区切りに、フレーム番号「20 frame」から「30 frame」にかけて手を下げる動作を行うことで、手を上下方向に往復運動している状況を撮影したものである。 The 7th video information includes 21 frame image information from frame number “10 frame” to “30 frame” through “20 frame” in the middle, and people from frame number “10 frame” to “20 frame” Taking a picture of the situation where the hand is reciprocating up and down by raising the hand and lowering the hand from frame number `` 20 frame '' to `` 30 frame '' with frame number `` 20 frame '' as a break It is.
当該第７映像情報において、図２９に示すように、フレーム番号「10 frame」と「20 frame」との間の「15 frame」前後では、画面の中段付近で上方向の動きベクトルが多く検出されており、フレーム番号「20 frame」と「30 frame」との間の「25 frame」前後では、画面の中段付近で下方向の動きベクトルが多く検出されている。 In the seventh video information, as shown in FIG. 29, a large number of upward motion vectors are detected near the middle of the screen before and after “15 frame” between frame numbers “10 frame” and “20 frame”. In the vicinity of “25 frame” between the frame numbers “20 frame” and “30 frame”, many downward motion vectors are detected near the middle of the screen.
この場合も第５映像情報の処理のときと同様に、なぞり操作の開始時は、当該なぞり操作の方向と一致する（または近い）方向の動きベクトルを有するフレームで高い動きスコアが算出され、なぞり操作が折り返された後には、なぞり操作の方向と真逆（または真逆に近い）方向の動きベクトルを有するフレームで高い動きスコアが算出される。 Also in this case, similarly to the processing of the fifth video information, at the start of the tracing operation, a high motion score is calculated for a frame having a motion vector in a direction that matches (or is close to) the direction of the tracing operation. After the operation is turned back, a high motion score is calculated for a frame having a motion vector in the direction opposite to (or close to) the direction of the tracing operation.
その結果、図３０に示すように、下から上方向に向かってなぞり操作を始め、折り返しにより往復するようになぞり操作が継続された場合、フレーム番号「10 frame」から「20 frame」の範囲が順方向、逆方向に順次切り替えられて繰り返し再生される。 As a result, as shown in FIG. 30, when the tracing operation is started from the bottom to the top and the tracing operation is continued so as to reciprocate by folding, the range of the frame numbers “10 frame” to “20 frame” is Playback is repeated by sequentially switching between the forward and reverse directions.
逆に、上から下方向に向かってなぞり操作を始め、折り返しにより往復するようになぞり操作が継続された場合、フレーム番号「20 frame」から「30 frame」の範囲が順方向、逆方向に順次切り替えられて繰り返し再生される。 On the other hand, when the tracing operation is started from the top to the bottom and the tracing operation is continued so as to reciprocate by folding, the range from frame number “20 frame” to “30 frame” is forward and backward in order. It is switched and played repeatedly.
このような往復運動をしている被写体の動きを再生させる場合、往復するなぞり操作により実質的には往復双方の運動のすべてを再生できるわけではない。しかし、第７映像情報のように往と復とが見かけ上似ている動作の場合、上述したように順方向、逆方向の再生を繰り返すことで、ユーザ自身は被写体の往復運動を自ら操って操作しているような感覚を得ることができる。 When reproducing the movement of a subject that is reciprocating, it is not possible to reproduce substantially all of the reciprocating movement by a reciprocating tracing operation. However, when the forward and backward movements are similar in appearance, such as the seventh video information, the user himself / herself manipulates the reciprocating motion of the subject by repeating the forward and backward reproduction as described above. You can feel as if you are operating.
以上の本実施形態によれば、往復運動や同じ領域をすれ違うような動作をする被写体が含まれた映像情報でも、操作感を損なうことなく、ユーザに所望の被写体を掴んで動かすような感覚を提供することができる。また、なぞり操作の開始方向によって、表示するフレームの選択、言い換えると掴んで動かす対象とする被写体の動きを選択することができる、という自由度も提供することができる。ユーザは、右方向に動いている被写体を掴んで動かすように操作したいと思ったときに、通常は右方向になぞり操作を開始させるため、このような有用な効果を得ることができる。 According to the above-described embodiment, even in the case of video information including a subject that reciprocates or moves in the same area, the user feels as if he / she grabs and moves the desired subject without losing the operational feeling. Can be provided. In addition, it is possible to provide a degree of freedom that the selection of the frame to be displayed, in other words, the movement of the subject to be grasped and moved can be selected according to the start direction of the tracing operation. Such a useful effect can be obtained because the user usually starts the tracing operation in the right direction when he / she wants to grasp and move the subject moving in the right direction.
また、上記の各実施形態における映像再生装置の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを映像再生装置として機能させる映像再生用プログラムを構築することも可能である。 It is also possible to construct a video playback program that causes the computer to function as a video playback device by programming the functional configuration of the video playback device in each of the above embodiments into a computer.
１、２…映像再生装置
１１…映像情報記憶部
１２…フレーム画像情報復号部
１３…フレーム画像選択部
１４…表示部
１５…対象フレーム情報記憶部
１６…動き検出部
１７…検出情報記憶部
１８…入力部
１９…表示フレーム番号特定部
２０…カメラワーク検出部
７１、７２、８１、８２、１３１、１３２、１５１、１５２、１９１、１９２…画面情報
DESCRIPTION OF
Claims (12)
ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力手段と、
前記入力手段で入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記角度情報で示される移動方向と前記基準座標情報の動き方向との内角が直角になるときを最低値とし、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが同方向または逆方向に近い程、高い値で算出する、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記位置座標情報ごとに特定する表示フレーム番号特定手段と、
前記表示フレーム番号特定手段で特定されたフレーム番号のフレーム画像情報を順次表示する表示手段と
を備えることを特徴とする映像再生装置。 Motion detection means for detecting a motion vector including motion direction information and motion amount information related to a plurality of reference coordinate information in each frame image information constituting the video to be processed;
When the user performs an operation of tracing the screen on which the processing target video is displayed, input means for inputting positional coordinate information in the screen that is continuously designated by the operation;
For each position coordinate information input by the input means, angle information indicating a movement direction from position coordinate information input a predetermined number of times before is acquired, and the movement direction indicated by the angle information and the movement direction of the reference coordinate information Each angle information is calculated as a minimum value when the inner angle of the angle is a right angle, and the moving direction indicated by the angle information and the movement direction of the reference coordinate information are closer to the same direction or the opposite direction. Display frame number specifying means for specifying the frame number of the frame having the highest motion score calculated from the corresponding motion amount information and the degree of approximation between the reference coordinate information and the motion direction information of each reference coordinate information When,
A video reproduction apparatus comprising: display means for sequentially displaying frame image information of the frame number specified by the display frame number specifying means.
前記角度情報と前記動き方向情報との近似度を、
当該なぞる操作の継続中に計数された前記折り返し操作の回数が偶数回である場合には、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが略同方向のときのほうが、略逆方向のときよりも高い値となるように第１近似度算出処理により算出し、当該なぞる操作の継続中に計数された前記折り返し操作の回数が奇数回である場合には、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが略逆方向のときのほうが、略同方向のときよりも高い値となるように第２近似度算出処理により算出することで、前記折り返し操作が行われる都度、前記第１近似度算出処理と前記第２近似度算出処理とを交互に実行するように切り替えて算出した近似度に基づいてフレーム番号を特定することを特徴とする請求項１に記載の映像再生装置。 The frame number specifying means counts the number of folding operations that are performed while the tracing operation is performed once, and the moving direction of the position coordinate information is changed in a substantially reverse direction,
The degree of approximation between the angle information and the motion direction information is
When the number of times of the folding operation counted during the tracing operation is an even number, when the movement direction indicated by the angle information and the movement direction of the reference coordinate information are substantially the same direction, When the number of times of the folding operation is calculated by the first approximation degree calculation process so as to be higher than that in the substantially reverse direction and counted during the tracing operation is an odd number, the angle information Is calculated by the second degree-of-approximation calculation process so that a higher value is obtained when the movement direction indicated by the reference coordinate information and the movement direction of the reference coordinate information are substantially opposite to each other. The frame number is specified based on an approximation calculated by switching so that the first approximation calculation process and the second approximation calculation process are alternately performed each time an operation is performed. 1 Video reproducing apparatus.
ことを特徴とする請求項１または２に記載の映像再生装置。 By detecting a motion vector related to the background motion of the subject generated due to camerawork or camera shake during shooting, and subtracting the motion vector related to the background motion of the subject from the motion vector acquired by the motion detection means, Camera work detecting means for invalidating information on the background movement of the subject is further included.
The video reproducing apparatus according to claim 1, wherein the video reproducing apparatus is a video reproducing apparatus.
ことを特徴とする請求項３に記載の映像再生装置。 The camera work detection means detects a motion vector related to the background motion of the subject using the motion vector detected by the motion detection means.
The video reproduction apparatus according to claim 3, wherein
処理対象の映像を構成する各フレーム画像情報内の、複数の基準座標情報に関する動き方向情報および動き量情報を含む動きベクトルを検出する動き検出ステップと、
ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力ステップと、
前記入力ステップで入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記角度情報で示される移動方向と前記基準座標情報の動き方向との内角が直角になるときを最低値とし、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが同方向または逆方向に近い程、高い値で算出する、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記位置座標情報ごとに特定する表示フレーム番号特定ステップと、
前記表示フレーム番号特定ステップで特定されたフレーム番号のフレーム画像情報を順次表示する表示ステップと
を有することを特徴とする映像再生方法。 Video playback device
A motion detection step of detecting a motion vector including motion direction information and motion amount information related to a plurality of reference coordinate information in each frame image information constituting the video to be processed;
An input step of inputting position coordinate information in the screen continuously designated by the operation when the user performs an operation of tracing the screen on which the processing target video is displayed;
For each position coordinate information input in the input step, angle information indicating a movement direction from position coordinate information input a predetermined number of times before is obtained, and the movement direction indicated by the angle information and the movement direction of the reference coordinate information Each angle information is calculated as a minimum value when the inner angle of the angle is a right angle, and the moving direction indicated by the angle information and the movement direction of the reference coordinate information are closer to the same direction or the opposite direction. Display frame number specifying step for specifying, for each position coordinate information, the frame number of the frame having the highest motion score calculated from the corresponding motion amount information and the degree of approximation between the reference coordinate information and the motion direction information of each reference coordinate information When,
A display step of sequentially displaying frame image information of the frame number specified in the display frame number specifying step;
A video reproduction method characterized by comprising:
前記角度情報と前記動き方向情報との近似度を、
当該なぞる操作の継続中に計数された前記折り返し操作の回数が偶数回である場合には、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが略同方向のときのほうが、略逆方向のときよりも高い値となるように第１近似度算出処理により算出し、当該なぞる操作の継続中に計数された前記折り返し操作の回数が奇数回である場合には、前記角度情報で示される移動方向と前記基準座標情報の動き方向とが略逆方向のときのほうが、略同方向のときよりも高い値となるように第２近似度算出処理により算出することで、前記折り返し操作が行われる都度、前記第１近似度算出処理と前記第２近似度算出処理とを交互に実行するように切り替えて算出した近似度に基づいてフレーム番号を特定することを特徴とする請求項５に記載の映像再生方法。 In the frame number specifying step, the number of folding operations that are performed while the tracing operation is continued once and the moving direction of the position coordinate information is changed in a substantially reverse direction is counted,
The degree of approximation between the angle information and the motion direction information is
When the number of times of the folding operation counted during the tracing operation is an even number, when the movement direction indicated by the angle information and the movement direction of the reference coordinate information are substantially the same direction, When the number of times of the folding operation is calculated by the first approximation degree calculation process so as to be higher than that in the substantially reverse direction and counted during the tracing operation is an odd number, the angle information Is calculated by the second degree-of-approximation calculation process so that a higher value is obtained when the movement direction indicated by the reference coordinate information and the movement direction of the reference coordinate information are substantially opposite to each other. The frame number is specified based on an approximation calculated by switching so that the first approximation calculation process and the second approximation calculation process are alternately performed each time an operation is performed. Recorded in 5 Video playback method of.
ことを特徴とする請求項５または６に記載の映像再生方法。 By detecting a motion vector related to the background motion of the subject generated due to camerawork or camera shake at the time of shooting, and subtracting a motion vector related to the background motion of the subject from the motion vector acquired in the motion detection step, A camera work detecting step of invalidating information on the background movement of the subject;
The video reproduction method according to claim 5 or 6, characterized in that
ことを特徴とする請求項７に記載の映像再生方法。 The video according to claim 7, wherein in the camera work detection step, a motion vector related to a background motion of the subject is detected using the motion vector detected in the motion detection step. Playback method.
ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力手段と、 When the user performs an operation of tracing the screen on which the processing target video is displayed, input means for inputting positional coordinate information in the screen that is continuously designated by the operation;
前記入力手段で入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記処理対象の映像を構成するすべてのフレーム画像情報内の中から、前記位置座標情報ごとに特定する表示フレーム番号特定手段と、 For each position coordinate information input by the input means, angle information indicating a moving direction from position coordinate information input a predetermined number of times before is acquired, and each angle information and movement direction information of each reference coordinate information are obtained. The frame number of the frame having the highest motion score calculated from the degree of approximation and the corresponding motion amount information is specified for each position coordinate information from among all the frame image information constituting the processing target video. Display frame number specifying means to perform,
前記表示フレーム番号特定手段で特定されたフレーム番号のフレーム画像情報を順次表示する表示手段と Display means for sequentially displaying frame image information of the frame number specified by the display frame number specifying means;
を備えることを特徴とする映像再生装置。A video playback apparatus comprising:
処理対象の映像を構成する各フレーム画像情報内の、複数の基準座標情報に関する動き方向情報および動き量情報を含む動きベクトルを検出する動き検出ステップと、 A motion detection step of detecting a motion vector including motion direction information and motion amount information related to a plurality of reference coordinate information in each frame image information constituting the video to be processed;
ユーザにより、前記処理対象の映像が表示された画面上をなぞる操作が実行されたときに、当該操作により連続的に指定される前記画面内の位置座標情報を入力する入力ステップと、 An input step of inputting position coordinate information in the screen continuously designated by the operation when the user performs an operation of tracing the screen on which the processing target video is displayed;
前記入力ステップで入力された位置座標情報ごとに所定数前に入力された位置座標情報からの移動方向を示す角度情報を取得し、前記各角度情報と前記各基準座標情報の動き方向情報との近似度、および、対応する動き量情報から算出される動きスコアが最も高いフレームのフレーム番号を、前記処理対象の映像を構成するすべてのフレーム画像情報内の中から、前記位置座標情報ごとに特定する表示フレーム番号特定ステップと、 For each position coordinate information input in the input step, angle information indicating a movement direction from the position coordinate information input a predetermined number of times before is acquired, and each angle information and the movement direction information of each reference coordinate information are obtained. The frame number of the frame having the highest motion score calculated from the degree of approximation and the corresponding motion amount information is specified for each position coordinate information from among all the frame image information constituting the processing target video. Display frame number identification step to be performed,
前記表示フレーム番号特定ステップで特定されたフレーム番号のフレーム画像情報を順次表示する表示ステップと A display step of sequentially displaying frame image information of the frame number specified in the display frame number specifying step;
を有することを特徴とする映像再生方法。A video reproduction method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013054610A JP5863195B2 (en) | 2012-11-14 | 2013-03-18 | Video playback device, video playback method, and video playback program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012249905 | 2012-11-14 | ||
| JP2012249905 | 2012-11-14 | ||
| JP2013054610A JP5863195B2 (en) | 2012-11-14 | 2013-03-18 | Video playback device, video playback method, and video playback program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014116919A JP2014116919A (en) | 2014-06-26 |
| JP5863195B2 true JP5863195B2 (en) | 2016-02-16 |
Family
ID=51172468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013054610A Active JP5863195B2 (en) | 2012-11-14 | 2013-03-18 | Video playback device, video playback method, and video playback program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5863195B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016142965A1 (en) * | 2015-03-10 | 2016-09-15 | 日本電気株式会社 | Video processing device, video processing method, and storage medium storing video processing program |
| KR101750060B1 (en) * | 2015-08-13 | 2017-06-22 | 이철우 | Method and program for making reactive video |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000270347A (en) * | 1999-03-17 | 2000-09-29 | Sharp Corp | Recorder and monitor system using the recorder |
| JP4168940B2 (en) * | 2004-01-26 | 2008-10-22 | 三菱電機株式会社 | Video display system |
| JP2006252279A (en) * | 2005-03-11 | 2006-09-21 | Seiko Epson Corp | Image operation method, image operation device, image display device and printer |
| JP2008262560A (en) * | 2008-04-07 | 2008-10-30 | Toshiba Corp | Video search method and video search device |
| JP2012222653A (en) * | 2011-04-11 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | Video playback device, video playback method, and video playback program |
-
2013
- 2013-03-18 JP JP2013054610A patent/JP5863195B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014116919A (en) | 2014-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4586709B2 (en) | Imaging device | |
| KR101180119B1 (en) | Method, apparatusand computer-readable recording medium for controlling display by head trackting using camera module | |
| US9333420B2 (en) | Computer readable medium recording shooting game | |
| US9405373B2 (en) | Recognition apparatus | |
| US11809637B2 (en) | Method and device for adjusting the control-display gain of a gesture controlled electronic device | |
| US20180173393A1 (en) | Apparatus and method for video zooming by selecting and tracking an image area | |
| KR20200023634A (en) | System and method for controlling a virtual camera | |
| JP5264844B2 (en) | Gesture recognition apparatus and method | |
| JP5427385B2 (en) | Operation control device and operation display method | |
| KR20030007728A (en) | Method for assisting an automated video tracking system in reacquiring a target | |
| KR20130105321A (en) | Gesture recognition apparatus, electronic device, gesture recognition method, and computer-readable recording medium for control program | |
| US20140298261A1 (en) | Information input device and information display method | |
| EP3021206B1 (en) | Method and device for refocusing multiple depth intervals, and electronic device | |
| JP5932082B2 (en) | Recognition device | |
| JP2021013095A (en) | Image processing device, display method, and program | |
| CN113630547A (en) | Image display apparatus, control method, and non-transitory computer-readable storage medium | |
| CN105991928A (en) | Image processing apparatus and image processing method | |
| JP2017510922A (en) | Generation of trajectory data for video data | |
| JP5863195B2 (en) | Video playback device, video playback method, and video playback program | |
| JP5312505B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
| JP6245117B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2014096804A (en) | Operation control device and operation display method | |
| KR101374316B1 (en) | Apparatus for recognizing gesture by using see-through display and Method thereof | |
| JP2014109885A (en) | Display device and notification method | |
| JP5844697B2 (en) | Video playback device, video playback method, and video playback program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5863195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |