JP5098976B2 - Behavior analysis support system and behavior analysis support program - Google Patents

Behavior analysis support system and behavior analysis support program Download PDF

Info

Publication number
JP5098976B2
JP5098976B2 JP2008305080A JP2008305080A JP5098976B2 JP 5098976 B2 JP5098976 B2 JP 5098976B2 JP 2008305080 A JP2008305080 A JP 2008305080A JP 2008305080 A JP2008305080 A JP 2008305080A JP 5098976 B2 JP5098976 B2 JP 5098976B2
Authority
JP
Japan
Prior art keywords
image
unit
moving image
information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008305080A
Other languages
Japanese (ja)
Other versions
JP2010129146A (en
Inventor
育子 刑部
真志 戸田
朋弘 植村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ochanomizu University
Original Assignee
Ochanomizu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ochanomizu University filed Critical Ochanomizu University
Priority to JP2008305080A priority Critical patent/JP5098976B2/en
Publication of JP2010129146A publication Critical patent/JP2010129146A/en
Application granted granted Critical
Publication of JP5098976B2 publication Critical patent/JP5098976B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、動画像に基づいた行動分析ツールとして利用される行動分析支援システム及び行動分析支援プログラムに関する。   The present invention relates to a behavior analysis support system and a behavior analysis support program used as a behavior analysis tool based on a moving image.

児童やスポーツ選手の行動分析のために、記録した動画像を利用する方法は周知である。取得された動画像データの編集を容易にするシステムは知られている（例えば、特許文献１及び特許文献２参照。）。しかし、例えば行動分析者が一人で動画像を撮影する場合、撮影機材の撮影の操作のために、撮影中に注目すべき行動に気付いても、その行動に関するメモをノートやパソコンに記録することは困難である。このため、撮影中に残しておきたいコメントを音声情報として記録する方法は既に知られている（例えば、非特許文献１参照）。
特開２００４−１９３９３４号公報 特開２００４−５３４４５８号公報 刑部育子、戸田真志、”Ｓｃｅｎｅ−Ｃｏｍｍｅｎｔａｒｙ Ｄｅｖｉｃｅ： Ａ Ｔｏｏｌ ｆｏｒ ｔｈｅ Ｉｍｍｅｄｉａｔｅ Ｒｅｆｌｅｃｔｉｏｎ ｏｖｅｒ Ｏｂｓｅｒｖｅｄ Ｅｐｉｓｏｄｅｓ、 Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｌｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｄｕｃａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ， Ｈｙｐｅｒｍｅｄｉａ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ２００８”、 米国、 ２００８年、Ｐ．５６３５−５６３９ A method of using recorded moving images for analyzing behaviors of children and athletes is well known. Systems that facilitate editing of acquired moving image data are known (see, for example, Patent Document 1 and Patent Document 2). However, for example, when a behavior analyst shoots a moving image alone, even if he notices a behavior that should be noticed during shooting due to the shooting operation of the photographic equipment, a note regarding the behavior should be recorded on a notebook or a personal computer. It is difficult. For this reason, a method of recording a comment that is desired to remain during shooting as audio information is already known (see, for example, Non-Patent Document 1).
JP 2004-193934 A JP 2004-534458 A Kyoko Ikuko, Masashi Toda, “Scene-Commentary Device: A Tool for the Immediate Reflection over 8 years, and the United States of World Confederations, In Proceedings of World Confederation, In Proceedings of World Confidence. 5635-5639

しかし、単に記録された動画像を再生して当該再生画像に基づいて分析を行う従来方法においては、動画像の見直し、重要な出来事の抽出、当該出来事の文字情報化、及び分析結果の生成、といった作業が必要となり、分析結果が生成されるまでに一般に記録時間の約１０倍の時間がかかる。特に、記録時間が長い場合は、重要な出来事の抽出のために記録された動画像を一から見直さなければならず、分析者の負担は多大となる。一方、音声情報を動画像と共に記録する方法は、記録される情報量に限りがあり、また、多くの被写体が撮影されている場合、動画像と音声情報との対応関係が直観的にわかりにくいため、音声情報の確認のために動画像を何度も再生しなければならないといった問題がある。   However, in the conventional method in which the recorded moving image is simply reproduced and analyzed based on the reproduced image, the moving image is reviewed, important events are extracted, the events are converted into character information, and analysis results are generated. In general, it takes about ten times the recording time until an analysis result is generated. In particular, when the recording time is long, it is necessary to review the recorded moving image from the beginning for the extraction of important events, which increases the burden on the analyst. On the other hand, the method of recording audio information together with a moving image has a limited amount of information to be recorded, and when many subjects are photographed, the correspondence between the moving image and the audio information is not intuitive. Therefore, there is a problem that a moving image must be reproduced many times for confirmation of audio information.

そこで、本発明は、容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム及び行動分析支援プログラムを提供することを目的とする。   Therefore, an object of the present invention is to provide a behavior analysis support system and a behavior analysis support program that function as a behavior analysis tool that shortens the time required for behavior analysis with an easy operation.

本発明は、以下の手段により上述した課題を解決する。なお、本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記するが、それにより本発明が図示の形態に限定されるものではない。   The present invention solves the above-described problems by the following means. In order to facilitate understanding of the present invention, reference numerals in the accompanying drawings are appended in parentheses, but the present invention is not limited to the illustrated embodiment.

本発明の行動分析支援システム（１）は、所定の動体の動画データを取得する動画取得部（２）と、前記動画取得部によって取得された動画データを記憶する画像記憶部（４０ａ）と、複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部（１０）と、前記動画取得部によって取得される動画データに関する処理を制御する制御部（５０）と、ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、を備えた行動分析支援システムであって、前記制御部は、ユーザによる取得開始操作と取得終了操作に応じて前記動画データを前記動画取得部を介して取得するデータ取得制御部（５０ａ）と、前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部（５０ｄ）と、前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付けることにより、前記付加情報を前記動画データの所定区間の画像に対応付ける付付加情報処理部（５０ｅ）と、前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部（５０ｂ）と、前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して、前記サムネイル表示領域に各動画データのサムネイル画像を再生しつつ一覧表示するサムネイル画像生成部（５０ｃ）と、を有し、前記サムネイル画像生成部は、前記所定区間の動画データに対応する前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示する、ことにより上記の課題を解決する。 The behavior analysis support system (1) of the present invention includes a moving image acquisition unit (2) that acquires moving image data of a predetermined moving object, an image storage unit (40a) that stores the moving image data acquired by the moving image acquisition unit, The present invention relates to an image display unit (10) having a thumbnail display area in which a plurality of thumbnail images are displayed in a list, a playback display area in which a playback image of predetermined video data is displayed, and video data acquired by the video acquisition unit A behavior analysis support system comprising: a control unit (50) that controls processing; and an operation input unit that sends an operation signal corresponding to a user operation to the control unit, wherein the control unit starts acquisition by a user A data acquisition control unit (50a) that acquires the moving image data via the moving image acquisition unit in response to an operation and an acquisition end operation, and the moving image data being acquired by the moving image acquisition unit The video playback unit (50d) that is displayed in the playback display area and the additional information visually added to the image displayed in the playback display area is received by the user, and the input additional information is received. Is associated with the displayed image, and the additional information is associated with the additional information processing unit (50e) that associates the additional information with the image of the predetermined section of the moving image data, and is acquired according to the acquisition start operation and the acquisition end operation. For each moving image data, a data storage control unit (50b) that stores in the image storage unit as acquired image data together with the additional information, and a thumbnail image obtained by reducing a reproduction image of each moving image data stored in the image storage unit Yes generated and thumbnail image generating unit that lists while reproducing a thumbnail image of each video data in the thumbnail display area and (50c), the The thumbnail image generation unit, in the reproduced image corresponding to the moving data of the predetermined section, and displays the additional information together with the image to which the additional information is associated, to solve the above problems by.

本発明の行動分析システムによれば、まず、データ取得制御部により、各動画データは、ユーザの取得開始操作及び取得終了操作に応じて取得されるので、ユーザは所望のタイミングで動画データの取得開始及び終了のタイミングを指定することができる。従って、ユーザは、被分析者がいる現場で留意すべきシーンのみを動画データとして取得しておくことができる。そして、付加情報処理部によって再生中の画像に対してユーザによって入力された付加情報を対応付けることができ、付加情報はデータ記憶制御部によって動画データとともに取得画像データとして記憶される。更に、サムネイル画像生成部によって、取得された複数の動画データのそれぞれはサムネイル画像として一覧表示され、当該再生時には付加情報も対応する画像とともに再生される。   According to the behavior analysis system of the present invention, first, each moving image data is acquired by the data acquisition control unit according to the user's acquisition start operation and acquisition end operation, so that the user acquires the moving image data at a desired timing. Start and end timing can be specified. Therefore, the user can acquire only scenes to be noted at the site where the subject is present as moving image data. The additional information input by the user can be associated with the image being reproduced by the additional information processing unit, and the additional information is stored as acquired image data together with the moving image data by the data storage control unit. Furthermore, each of the plurality of pieces of moving image data acquired by the thumbnail image generation unit is displayed as a list of thumbnail images, and additional information is also reproduced together with the corresponding image during the reproduction.

「表示された画像に視覚的に付加する付加情報」は、所定の画像上に付加可能な周知の視覚的情報でであればよく、例えば、再生表示領域に表示される画像に対してタッチペン等による手書き入力情報や、当該画像の任意の位置に対してキーボード等によって入力するテキスト情報等がある。特に、手書き入力を採用した場合は、ユーザは動画の取得中にその取得している画像上にメモ書きをする感覚で付加情報を任意の位置に容易に入力することができる。更に、一連の動画データを取得した後は、各動画データのサムネイル画像を一覧して見ることができる。各サムネイル画像では留意すべき行動のシーンがメモ書きとしての付加情報付きで再生されるので、動画取得時の記憶を思い出しやすく、また、各行動の関連性や特徴も見出しやすくなる。ユーザは行動の特徴を文字ではなく実際の行動シーンである複数の動画像を一度に見て分析できるので、特に分析者の直観や経験に基づいた分析を支援することができる。   The “additional information visually added to the displayed image” may be well-known visual information that can be added to a predetermined image. For example, a touch pen or the like is used for the image displayed in the reproduction display area. Handwritten input information, and text information to be input with a keyboard or the like at an arbitrary position of the image. In particular, when handwriting input is employed, the user can easily input additional information at an arbitrary position as if writing a memo on the acquired image during acquisition of the moving image. Furthermore, after acquiring a series of moving image data, thumbnail images of each moving image data can be listed and viewed. In each thumbnail image, an action scene to be noted is reproduced with additional information as a memo, so it is easy to remember the memory at the time of moving image acquisition, and it is also easy to find the relevance and characteristics of each action. Since the user can analyze the behavior characteristics by looking at a plurality of moving images that are actual behavior scenes instead of characters at a time, the analysis can be particularly supported based on the intuition and experience of the analyst.

「所定の動体」は動きのあるものであればよく、人、生物、物など問わない。付加情報を特定の画像に対応付ける態様には、例えば、動画データを構成する複数の画像フレームのうち対応付けるべき画像の画像フレームに対して付加情報を対応付ける場合と、動画データの再生を開始してから対応付けるべき画像が表示されるまでの再生経過時間に付加情報を対応付ける場合とがある。操作入力部は、マウス、キーボート等のユーザが直接操作する操作部材から発信される操作信号を受け付けて制御部へ送る構成であればよい。   The “predetermined moving object” may be anything that moves, and may be a person, a living thing, an object, or the like. The mode of associating the additional information with a specific image includes, for example, a case where the additional information is associated with an image frame of an image to be associated among a plurality of image frames constituting the moving image data, and after reproduction of the moving image data is started. In some cases, additional information is associated with the elapsed playback time until an image to be associated is displayed. The operation input unit may be configured to receive an operation signal transmitted from an operation member directly operated by a user such as a mouse or a keyboard and send the operation signal to the control unit.

前記動画再生部は、前記サムネイル表示領域に表示された複数のサムネイル画像の中から、ユーザによって選択されたサムネイル画像に対応する動画データを再生して前記再生表示領域に表示してもよい。   The moving image reproducing unit may reproduce moving image data corresponding to a thumbnail image selected by a user from among a plurality of thumbnail images displayed in the thumbnail display area and display the moving image data in the reproduction display area.

これにより、サムネイル画像の一覧から所望の動画データを選択して、当該動画データを再生表示領域に表示させることができる。再生表示領域に表示された画像に対しては付加情報処理部により付加情報を付加することができるので、例えば、動画データ取得後に十分検討した分析内容を付加情報として付加することができる。行動内容を文字で表現することなく取得した画像を利用して分析内容を付加できるため、行動分析を行うユーザの負担を軽減化することができる。   Thereby, desired moving image data can be selected from the list of thumbnail images, and the moving image data can be displayed in the reproduction display area. Since additional information can be added to the image displayed in the reproduction display area by the additional information processing unit, for example, analysis content that has been sufficiently studied after moving image data acquisition can be added as additional information. Since analysis contents can be added using images acquired without expressing the action contents in characters, the burden on the user who performs the action analysis can be reduced.

前記各取得画像データの動画データには、少なくとも１つのレイヤーを対応付け可能であり、前記付加情報処理部は、前記付加情報が入力される際に前記表示された画像にレイヤーを対応付け、その対応付けられたレイヤーに前記付加情報を設定して前記画像記憶部に記憶し、前記動画再生部及び前記サムネイル画像生成部は、前記画像を再生する際に、前記表示された画像と共に、その画像に対応付けられたレイヤーに設定された付加情報を、前記再生表示領域に表示してもよい。   The moving image data of each acquired image data can be associated with at least one layer, and the additional information processing unit associates a layer with the displayed image when the additional information is input, The additional information is set in the associated layer and stored in the image storage unit, and the moving image reproduction unit and the thumbnail image generation unit, together with the displayed image, reproduce the image when reproducing the image. The additional information set in the layer associated with may be displayed in the reproduction display area.

これにより、付加情報をレイヤー構造にて動画データに対応付けることができる。レイヤー毎に同じ表示タイミングで表示されるべき付加情報を設定しておけば、レイヤー単位で付加情報の表示タイミングを制御することができる。また、時間経緯に従って、異なるレイヤーを設定可能であるので、時々刻々変化する出来事に対応したメモ書きをすることができる。   Thereby, additional information can be associated with moving image data in a layer structure. If additional information to be displayed at the same display timing is set for each layer, the display timing of the additional information can be controlled in units of layers. In addition, since different layers can be set according to the time, it is possible to write notes corresponding to events that change from moment to moment.

前記サムネイル表示領域及び前記再生表示領域を合わせた全体領域の少なくとも一部の領域に表示する画像に関する情報である領域画像情報を記憶する領域画像記憶部（４０ｃ）と、前記領域画像情報は少なくとも１つの領域レイヤーにて構成され、前記制御部は、前記少なくとも一部の領域に対応付けられた領域レイヤーを設定し、前記少なくとも一部の領域に対してユーザによって入力される領域付加情報を、前記領域レイヤーに設定して前記領域画像情報として記憶する領域付加情報設定部（５０）と、ユーザによって前記領域レイヤーが指定されると、前記領域画像記憶部を参照して、前記領域レイヤーに設定された前記領域付加情報を、前記領域レイヤーが対応する前記少なくとも一部に表示する領域レイヤー表示制御部（５０）とを有してもよい。     An area image storage unit (40c) that stores area image information that is information related to an image to be displayed in at least a part of the total area including the thumbnail display area and the reproduction display area; and the area image information is at least 1 The control unit sets an area layer associated with the at least some area, and adds the area additional information input by the user to the at least some area. An area additional information setting unit (50) that sets an area layer and stores it as the area image information. When the area layer is designated by the user, the area image storage unit is referred to and the area additional information setting section (50) is set to the area layer. An area layer display control unit (50) for displaying the area additional information on the at least part corresponding to the area layer It may have.

これにより、再生表示領域及びサムネイル表示領域上に領域レイヤーを設定でき、再生表示領域及びサムネイル表示領域を問わず、自由にコメントの設定やメモ書きをすることができる。例えば、複数のサムネイル画像間の関連性を示す情報や再生表示領域に表示されている動画像といずれかのサムネイル画像との関連性を示す情報を領域付加情報として手書き入力することができ、ユーザの操作に応じて画像表示部に表示させることができる。領域レイヤーと少なくとも一部の領域との対応付けは、例えば、ユーザの操作によって当該領域が設定されてもよいし、予め、所定の領域に対応付けられた複数種類の領域レイヤーが用意されていてもよい。領域付加情報が入力される方法は、全体領域における任意の位置に領域付加情報が入力できる方法であればよく、例えば、タッチペン等により直接所望の位置に手書き入力される方法や、入力位置を指定して入力すべき領域付加情報がキーボードによって入力される場合とがある。   Thereby, an area layer can be set on the playback display area and the thumbnail display area, and a comment can be freely set and notes can be written regardless of the playback display area and the thumbnail display area. For example, information indicating the relationship between a plurality of thumbnail images or information indicating the relationship between a moving image displayed in the reproduction display area and any one of the thumbnail images can be input by handwriting as the area additional information. Can be displayed on the image display unit according to the operation. The area layer may be associated with at least a part of the area, for example, the area may be set by a user operation, or a plurality of types of area layers associated with a predetermined area are prepared in advance. Also good. The method for inputting the region additional information may be any method as long as the region additional information can be input at an arbitrary position in the entire region. For example, a method in which handwriting input is directly performed at a desired position with a touch pen or the like, or an input position is designated. In some cases, additional information to be input is input by a keyboard.

前記付加情報はテキスト情報と前記テキスト情報を配置する位置情報で構成され、 前記制御部は、前記ユーザによって、所望のキーワードが指定されると、前記テキスト情報を検索して、前記キーワードを含むテキスト情報が対応付けられた動画データを検出する検出部（５０）を更に有し、前記サムネイル画像生成部は、前記検出部によって検出された動画データから前記サムネイル画像を生成して前記サムネイル表示領域に表示してもよい。   The additional information includes text information and position information where the text information is arranged, and the control unit searches the text information when a desired keyword is specified by the user, and includes the keyword. A detection unit (50) for detecting moving image data associated with the information; and the thumbnail image generation unit generates the thumbnail image from the moving image data detected by the detection unit and stores the thumbnail image in the thumbnail display area. It may be displayed.

これにより、複数の動画データを取得した場合であっても、所望のキーワードと関連のある動画データの検索を容易にすることができる。検索された動画データはサムネイル画像として一覧されるため、所望の１つのサムネイル画像を選択すれば、動画再生部により、選択されたサムネイル画像に対応する動画データの再生画像を再生表示領域に表示することができる。   Thereby, even if it is a case where several moving image data are acquired, the search of the moving image data relevant to a desired keyword can be made easy. Since the searched moving image data is listed as thumbnail images, if a desired one thumbnail image is selected, the moving image reproducing unit displays the reproduced image of the moving image data corresponding to the selected thumbnail image in the reproduction display area. be able to.

また、前記付加情報は、手書き入力操作の軌跡情報であり、前記動画再生部及び前記サムネイル画像生成部は、前記動画データに対応する画像の表示とともに、前記軌跡情報に従った表示を開始してもよい。 Further, the additional information is trajectory information of a handwriting input operation, and the moving image playback unit and the thumbnail image generation unit start displaying according to the trajectory information together with displaying an image corresponding to the moving image data. Also good.

前記データ取得制御部は、ユーザによりスタンバイ操作があると、前記動画取得部によってバックグラウンド動画データの取得を開始して前記画像記憶部に記憶し、前記取得終了操作があると、前記バックグラウンド動画データのうち、前記取得開始操作がされた時から所定時間遡った時から前記取得終了操作がされた時までに対応する部分を、前記動画データとして取得してもよい。   When there is a standby operation by the user, the data acquisition control unit starts acquisition of background video data by the video acquisition unit and stores it in the image storage unit, and when there is the acquisition end operation, the background video Of the data, a portion corresponding to the time from when the acquisition start operation is performed to the time when the acquisition end operation is performed may be acquired as the moving image data.

これにより、取得開始操作時の所定時間前からの動画データが取得画像データとして記憶されるため、取得開始操作が遅れた場合であっても、所定時間前からの行動を動画データとして取得することできる。従って、行動観察者が特徴のある行動に気付いてから取得開始操作を行うまでのタイムラグを解消することができる。   Thereby, since moving image data from a predetermined time before the acquisition start operation is stored as acquired image data, even if the acquisition start operation is delayed, an action from the predetermined time before is acquired as moving image data. it can. Therefore, the time lag from when the behavior observer notices a characteristic behavior to when the acquisition start operation is performed can be eliminated.

本発明の行動分析支援プログラムは、所定の動体の動画データを取得する動画取得部と、前記動画取得部によって取得された動画データを記憶する画像記憶部（４０ａ）と、複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部（３）と、前記動画取得部によって取得される動画データに関する処理を制御する制御部（５０）と、ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、を備えたコンピュータを機能させる行動分析支援プログラムであって、前記制御部を、ユーザによる取得開始操作と取得終了操作に応じて前記動画データを前記動画取得部を介して取得するデータ取得制御部（５０ａ）と、前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部（５０ｄ）と、前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付けることにより、前記付加情報を前記動画データの所定区間の画像に対応付ける付加情報処理部（５０ｅ）と、前記開始操作と前記終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部（５０ｂ）と、前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して、前記サムネイル表示領域に各動画データのサムネイル画像を再生しつつ一覧表示するサムネイル画像生成部（５０ｃ）と、して機能させ、前記サムネイル画像生成部に、前記所定区間の動画データに対応する前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示させることにより、上記の課題を解決する。本発明の行動分析支援プログラムを、コンピュータに実行させることにより、行動分析支援システムとして実現することができる。 The behavior analysis support program of the present invention includes a moving image acquisition unit that acquires moving image data of a predetermined moving object, an image storage unit (40a) that stores the moving image data acquired by the moving image acquisition unit, and a list of a plurality of thumbnail images. An image display unit (3) having a thumbnail display area to be displayed and a reproduction display area in which a reproduction image of predetermined moving image data is displayed, and a control unit that controls processing relating to the moving image data acquired by the moving image acquisition unit (50) and an operation input support unit that sends an operation signal corresponding to a user's operation to the control unit, the behavior analysis support program causing the computer to function, wherein the control unit is an acquisition start operation by the user A data acquisition control unit (50a) that acquires the moving image data via the moving image acquisition unit in response to an acquisition end operation, and being acquired by the moving image acquisition unit The moving image reproducing unit (50d) that reproduces moving image data and displays it in the reproduction display area and the user's input of additional information that is visually added to the image displayed in the reproduction display area are received and input. The additional information is associated with the displayed image, and is acquired in accordance with the additional information processing unit (50e) that associates the additional information with the image of the predetermined section of the moving image data, and the start operation and the end operation. For each moving image data, a data storage control unit (50b) that stores in the image storage unit as acquired image data together with the additional information, and a thumbnail image obtained by reducing a reproduction image of each moving image data stored in the image storage unit generating and thumbnail image generating unit that lists while reproducing a thumbnail image of each video data in the thumbnail display area and (50c), To function Te, the thumbnail image generation unit, in the reproduction image corresponding to the moving image data of the predetermined interval, by displaying the additional information together with the image to which the additional information is associated, to solve the above problems . The behavior analysis support program of the present invention can be implemented as a behavior analysis support system by causing a computer to execute the program.

上述したように、本発明によれば、ユーザの操作に応じて所定の動体の動画データを取得し、取得中の画像における任意の位置に対してユーザによる付加情報の入力を受け付け、その入力された付記情報を前記位置を示す位置情報とともに付加情報として画像に対応付け、取得された複数の動画データのサムネイル画像を一覧表示し、各サムネイル画像では付加情報とともに再生画像が表示されることにより、容易な操作で行動分析に要する時間を短縮する行動分析ツールとして機能する行動分析支援システム等を提供することができる。   As described above, according to the present invention, moving image data of a predetermined moving object is acquired according to a user's operation, and an input of additional information by a user is accepted at an arbitrary position in an image being acquired and the input is performed. The additional information is associated with the image as the additional information together with the position information indicating the position, and the thumbnail images of the acquired plurality of moving image data are displayed as a list, and the reproduction image is displayed together with the additional information in each thumbnail image, It is possible to provide a behavior analysis support system that functions as a behavior analysis tool that shortens the time required for behavior analysis with an easy operation.

図１は、本発明の行動分析支援システム１の構成の一例を示す図である。行動分析支援システム１は、カメラ２と、モニタ３ａを有するタブレットＰＣ３と、マウス４とで構成される。タブレットＰＣ３に情報を入力する方法には、マウス４によるマウス入力と不図示のキーボードによるキー入力がある。カメラ２は小型なハンディカメラが望ましく、また、カメラ２及びマウス４はタブレットＰＣに対して無線接続される態様が好適である。   FIG. 1 is a diagram showing an example of the configuration of the behavior analysis support system 1 of the present invention. The behavior analysis support system 1 includes a camera 2, a tablet PC 3 having a monitor 3a, and a mouse 4. Methods for inputting information to the tablet PC 3 include mouse input using the mouse 4 and key input using a keyboard (not shown). The camera 2 is preferably a small handy camera, and the camera 2 and the mouse 4 are preferably wirelessly connected to the tablet PC.

なお、本形態では、マウス４の操作に基づいて動作する仮想ペンによる入力が可能である。これにより、マウス４は、タッチパネルとしてのモニタ３ａに手書き入力可能なタッチペンの代替手段として機能する。以下、マウス４の位置をモニタ３ａ上の位置に対応させた位置情報を「マウス座標」という。本形態では、カメラ２によって動体としての複数の児童の行動を記録し、行動分析支援システム１が児童の行動分析支援ツールとして使用される場合について説明する。   In this embodiment, input with a virtual pen that operates based on the operation of the mouse 4 is possible. Thereby, the mouse 4 functions as an alternative means of a touch pen that can be input by handwriting on the monitor 3a as a touch panel. Hereinafter, position information in which the position of the mouse 4 is made to correspond to the position on the monitor 3a is referred to as “mouse coordinates”. In this embodiment, a case will be described in which the behavior of a plurality of children as moving objects is recorded by the camera 2 and the behavior analysis support system 1 is used as a behavior analysis support tool for children.

まず、本形態のモニタ３ａに表示される基本画面１０について図２を用いて説明する。基本画面１０は、カメラ２によって記録中の動画データの再生画像が表示される再生表示領域１０ａと、複数のサムネイル画像１１…１１が一覧表示されるサムネイル表示領域１０ｂと、処理ボタン領域１０ｃとで構成される。再生表示領域１０ａには記録中の動画データの再生画像又は記録した動画データの再生画像が表示される。各サムネイル画像１１には、取得された複数の動画データのそれぞれが縮小化された状態で再生表示される。処理ボタン領域１０ｃには複数の処理ボタンが表示され、目的の処理ボタンにポイントをあわてマウス４をクリックすることにより目的の処理ボタンが選択される。以下、再生表示領域１０ａとサムネイル表示領域１０ｂを合わせた領域を全体領域１０ｄという。   First, the basic screen 10 displayed on the monitor 3a of this embodiment will be described with reference to FIG. The basic screen 10 includes a playback display area 10a in which a playback image of moving image data being recorded by the camera 2 is displayed, a thumbnail display area 10b in which a plurality of thumbnail images 11 ... 11 are listed, and a processing button area 10c. Composed. In the reproduction display area 10a, a reproduction image of the moving image data being recorded or a reproduction image of the recorded moving image data is displayed. Each thumbnail image 11 is reproduced and displayed in a state in which each of the acquired plurality of moving image data is reduced. A plurality of processing buttons are displayed in the processing button area 10c, and the target processing button is selected by pointing the target processing button to a point and clicking the mouse 4. Hereinafter, an area including the reproduction display area 10a and the thumbnail display area 10b is referred to as an entire area 10d.

本形態の動画データは、ユーザにより記録開始操作がされてから記録終了操作がされるまでに取得される動画像のデータを１つの単位としたデータである。従って、図３が示すように、記録開始操作ＳＯ１から記録終了操作ＥＯ１までに記録された動画データは動画データＡＤ１として生成され、記録開始操作ＳＯ２から記録終了操作ＥＯ２までに記録された動画データは動画データＡＤ２として生成され、記録開始操作ＳＯ３から記録終了操作ＥＯ３までに記録された動画データは動画データＡＤ３として生成され、記録開始操作ＳＯ４から記録終了操作ＥＯ４までに記録された動画データは動画データＡＤ４として生成される。動画データＡＤ１〜動画データＡＤ４のそれぞれは、サムネイル画像１１としてサムネイル表示領域１０ｂに生成された順に順次表示される。図３の例では、再生表示領域１０ａに、記録中の動画データＡＤ５の再生画像が表示されている。なお、サムネイル表示領域１０ｂに表示されたサムネイル画像１１のうち、ユーザにより選択されたサムネイル画像１１の再生画像も再生表示部１０ａに表示させることができる。   The moving image data of this embodiment is data in which moving image data acquired from when the user performs a recording start operation to when the recording end operation is performed is used as one unit. Therefore, as shown in FIG. 3, the moving image data recorded from the recording start operation SO1 to the recording end operation EO1 is generated as moving image data AD1, and the moving image data recorded from the recording start operation SO2 to the recording end operation EO2 is The moving image data generated as the moving image data AD2 and recorded from the recording start operation SO3 to the recording end operation EO3 is generated as the moving image data AD3, and the moving image data recorded from the recording start operation SO4 to the recording end operation EO4 is the moving image data. Generated as AD4. Each of the moving image data AD1 to moving image data AD4 is sequentially displayed as the thumbnail image 11 in the order generated in the thumbnail display area 10b. In the example of FIG. 3, a reproduction image of the moving image data AD5 being recorded is displayed in the reproduction display area 10a. Of the thumbnail images 11 displayed in the thumbnail display area 10b, a playback image of the thumbnail image 11 selected by the user can also be displayed on the playback display unit 10a.

以下、記録開始操作ＳＯ１〜ＳＯ４を区別する必要がない時は、「記録開始操作ＳＯ」といい、記録終了操作ＥＯ１〜ＥＯ４を区別する必要がない時は、「記録終了操作ＥＯ」といい、動画データＡＤ１〜ＡＤ４を区別する必要がない時は、「動画データＡＤ」という。   Hereinafter, when it is not necessary to distinguish the recording start operations SO1 to SO4, it is referred to as “recording start operation SO”, and when it is not necessary to distinguish between the recording end operations EO1 to EO4, it is referred to as “recording end operation EO”. When it is not necessary to distinguish the moving image data AD1 to AD4, it is referred to as “moving image data AD”.

本形態においては、動画を記録する際に、まずスタンバイ開始操作ＳＳＯが要求される。スタンバイ開始操作ＳＳＯが行われると、行動分析支援システム１はスタンバイ状態となり、バックグランドでの動画データＡＤ（以下「バックグランド動画データＡＤｂａｃｋ」という。）の記録を開始する。そして、スタンバイ終了操作ＳＥＯがあるまでバックグランド動画データＡＤｂａｃｋを記録し続ける。一方、ユーザによって記録開始操作ＳＯがあると、記録開始操作ＳＯから記録終了操作ＥＯまでに対応するバックグランド動画データＡＤｂａｃｋを動画データＡＤとして生成する。なお、本形態では、記録開始操作ＳＯがされたタイミングよりも約１５秒前から記録終了操作ＥＯがされるまでのバックグランド動画データＡＤｂａｃｋ を取得された動画データＡＤとする。これにより、重要シーンが観察者に認識されて実際に記録開始操作ＳＯが行われるまでのタイムラグを解消することができる。   In this embodiment, when recording a moving image, first, a standby start operation SSO is requested. When the standby start operation SSO is performed, the behavior analysis support system 1 enters a standby state, and starts recording moving image data AD (hereinafter referred to as “background moving image data ADback”) in the background. The background moving image data ADback is continuously recorded until the standby end operation SEO is performed. On the other hand, when there is a recording start operation SO by the user, background moving image data ADback corresponding to the recording start operation SO to the recording end operation EO is generated as moving image data AD. In this embodiment, the background moving image data ADback from about 15 seconds before the recording start operation SO to the recording end operation EO is assumed to be the acquired moving image data AD. Thereby, it is possible to eliminate the time lag from when the important scene is recognized by the observer until the recording start operation SO is actually performed.

記録中または編集中に再生表示部１０ａに表示された画像（以下「表示画像」という。）に対して、ユーザは覚書きや注意点等を記した付加情報を付加することができる。当該付加情報について図４及び図５を用いて説明する。付加情報には、手書き入力により入力される手書き情報とキーボードを介してキー入力により入力されるコメントがある。まず、手書き情報について図４を用いて説明する。行動分析支援システム１では、上述したようにマウス４の操作により、表示画像に対して仮想ペンによる手書き入力が可能である。図４では、再生表示領域１０ａに表示される表示画像Ｄ１に対して、“たくやくんつよい口調”の手書き情報Ｈが付加情報として手書き入力された状態が示されている。この手書き機能は既存の手書き入力システムを採用すればよい。手書き入力機能により、文字列だけでなく所望の記号や図形を手書き情報Ｈとして表示画像Ｄ１の任意の位置にメモ書きの感覚で入力可能である。このように、手書き入力機能は、特に記録中の表示画像に対するメモ書き機能として有効である。なお、仮想ペンの太さ、色等の属性は任意に設定可能である。   The user can add additional information describing memorandums, cautions, etc. to an image (hereinafter referred to as “display image”) displayed on the playback display unit 10a during recording or editing. The additional information will be described with reference to FIGS. The additional information includes handwritten information input by handwriting input and a comment input by key input via the keyboard. First, handwritten information will be described with reference to FIG. In the behavior analysis support system 1, as described above, handwriting input with a virtual pen can be performed on a display image by operating the mouse 4. FIG. 4 shows a state in which handwritten information H of “smooth and mellow tone” is input by handwriting as additional information with respect to the display image D1 displayed in the reproduction display area 10a. The handwriting function may be an existing handwriting input system. With the handwriting input function, it is possible to input not only a character string but also a desired symbol or figure as handwritten information H at an arbitrary position on the display image D1 as if writing notes. Thus, the handwriting input function is particularly effective as a memo writing function for a display image being recorded. Note that attributes such as the thickness and color of the virtual pen can be arbitrarily set.

キー入力によって入力されるコメントの例を図５に示す。行動分析支援システム１では、図５に示すようなコメントＣ１〜Ｃ３を付加情報として表示画像Ｄ２に付加することができる。以下、コメントＣ１〜Ｃ３を特に区別する必要がない時は「コメントＣ」という。本形態のコメントＣは、所定の位置に配置されたコメント枠２０にコメント内容２１が表示される構成である。コメント内容２１はキーボードのキー入力により設定することができ、コメント枠２０の色、形状、透過性、位置等の属性は任意に設定可能である。   An example of a comment input by key input is shown in FIG. In the behavior analysis support system 1, comments C1 to C3 as shown in FIG. 5 can be added to the display image D2 as additional information. Hereinafter, when it is not necessary to distinguish the comments C1 to C3, they are referred to as “comments C”. The comment C of this embodiment is configured such that the comment content 21 is displayed in the comment frame 20 arranged at a predetermined position. The comment content 21 can be set by keyboard input, and attributes such as the color, shape, transparency, and position of the comment frame 20 can be arbitrarily set.

上述した付加情報は、サムネイル画像１１の再生時にも対応する画像とともに再生される。従って、例えば、ユーザはサムネイル表示領域１０ｂに表示されている複数のサムネイル画像１１の手書き情報Ｈを手掛かりにして分析すべき行動の画像を探し、当該画像に対応する動画データＡＤを再生表示領域１０ａにて再生させて、手書き情報Ｈに基づいた行動に関するコメントＣを後から付加することができる。なお、コメントＣ１に示すように、コメント内容２１として、サムネイル画像１１を設定することも可能である。当該設定は、言葉では表現しにくい行動態様や言葉では助長になる行動態様に対して有効である。   The additional information described above is reproduced together with the corresponding image when the thumbnail image 11 is reproduced. Therefore, for example, the user searches for an action image to be analyzed using the handwritten information H of the plurality of thumbnail images 11 displayed in the thumbnail display area 10b as a clue, and reproduces the moving image data AD corresponding to the image in the reproduction display area 10a. The comment C regarding the action based on the handwritten information H can be added later. As shown in the comment C1, the thumbnail image 11 can be set as the comment content 21. This setting is effective for behavior modes that are difficult to express in words and behavior modes that are encouraged in words.

付加情報が動画データＡＤの画像に対応付けられる態様について説明する。本形態では、動画データＡＤに対応付けられる付加情報はレイヤー構造を有している。手書き情報Ｈ及びコメントＣ１〜Ｃ２のそれぞれは、例えば、図６に示すように各レイヤーＬ１〜Ｌ２に設定される。各レイヤーＬ１〜Ｌ２、対応する付加情報が入力された画像に対応付けられる。例えば、手書き情報Ｈが設定されたレイヤーＬ１は、手書き情報Ｈが画像Ｉ１（Ｄ１）に対して入力されたため、動画データＡＤの画像Ｉ１（Ｄ１）から表示され、レイヤーＬは、コメントＣ１〜Ｃ３が画像Ｉ２（Ｄ２）に対して入力されたため、画像Ｉ２（Ｄ２）から表示されるように設定されている。また、所定の操作により手書き情報Ｈが画像Ｉ３にて消去されるように設定されたため、レイヤーＬ１は画像Ｉ１〜画像Ｉ３までの部分に対応付けられている。これにより、レイヤーＬ１に設定された手書き情報Ｈは、動画データＡＤの画像Ｉ１（Ｄ１）〜画像Ｉ３が再生される際に再生画像とともに再生表示領域１０ａに表示される。   A mode in which the additional information is associated with the image of the moving image data AD will be described. In this embodiment, the additional information associated with the moving image data AD has a layer structure. Each of the handwritten information H and the comments C1 to C2 is set in each of the layers L1 and L2, for example, as shown in FIG. Each layer L1 to L2 and the corresponding additional information are associated with the input image. For example, the layer L1 in which the handwritten information H is set is displayed from the image I1 (D1) of the moving image data AD because the handwritten information H is input to the image I1 (D1), and the layer L includes the comments C1 to C3. Is input to the image I2 (D2), and is set to be displayed from the image I2 (D2). Further, since the handwritten information H is set to be erased in the image I3 by a predetermined operation, the layer L1 is associated with the portions from the image I1 to the image I3. Thereby, the handwritten information H set in the layer L1 is displayed in the reproduction display area 10a together with the reproduced image when the images I1 (D1) to I3 of the moving image data AD are reproduced.

このように、各レイヤーＬ１〜Ｌ２を動画データＡＤにおける所望の画像に対応付けることにより、コメントＣや手書き情報ＨＮの描画及び消去のタイミングを任意に設定することができる。以下、レイヤーＬ１〜レイヤーＬ２を区別する必要のない時はレイヤーＬという。図６の例では、コメントＣ１〜Ｃ３は同じレイヤーＬ２に設定されているが、各コメントＣ１〜Ｃ３を異なるタイミングで入力し、例えばレイヤーＬ３にコメントＣ２、レイヤーＬ４にコメントＣ３を設定することもできる。これにより再生時にはコメントＣ１、コメントＣ２、コメントＣ３が順次表示されるようになる。   Thus, by associating each of the layers L1 and L2 with a desired image in the moving image data AD, the timing for drawing and erasing the comment C and the handwritten information HN can be arbitrarily set. Hereinafter, the layers L1 to L2 are referred to as layers L when it is not necessary to distinguish them. In the example of FIG. 6, the comments C1 to C3 are set in the same layer L2. However, the comments C1 to C3 are input at different timings, for example, the comment C2 may be set in the layer L3 and the comment C3 may be set in the layer L4. it can. As a result, the comment C1, the comment C2, and the comment C3 are sequentially displayed during reproduction.

動画データＡＤの画像に対応付けられた複数のレイヤーＬの階層構造は、図６に示すように、後から入力された付加情報が設定されたレイヤーが上層となるように構成されるが、レイヤー順位は既存の画像処理システムにおけるレイヤー構造と同様に変更可能としてもよい。以下、動画データＡＤにおいて、付加情報の表示が開始される画像を表示開始画像、当該表示が終了する画像を表示終了画像というときがある。   As shown in FIG. 6, the hierarchical structure of the plurality of layers L associated with the image of the moving image data AD is configured such that a layer in which additional information input later is set is an upper layer. The order may be changeable similarly to the layer structure in the existing image processing system. Hereinafter, in the moving image data AD, an image at which the display of additional information is started may be referred to as a display start image, and an image at which the display ends is sometimes referred to as a display end image.

行動分析支援システム１のハードウェア構成の概略について図７を用いて説明する。行動分析支援システム１は、カメラ２、モニタ３、マウス４、キーボード５、データ記憶部４０、及び制御部５０で構成される。制御部５０はＣＰＵ及びその動作に必要な記憶域を含みコンピュータとして構成され、主に、データ取得制御部５０ａ、データ記憶制御部５０ｂ、サムネイル画像生成部５０ｃ、動画再生部５０ｄ、及び付加情報処理部５０ｅとして機能する。   An outline of the hardware configuration of the behavior analysis support system 1 will be described with reference to FIG. The behavior analysis support system 1 includes a camera 2, a monitor 3, a mouse 4, a keyboard 5, a data storage unit 40, and a control unit 50. The control unit 50 is configured as a computer including a CPU and a storage area necessary for its operation, and mainly includes a data acquisition control unit 50a, a data storage control unit 50b, a thumbnail image generation unit 50c, a moving image playback unit 50d, and additional information processing. It functions as the part 50e.

データ記憶部４０には、カメラ２によって取得された動画データＡＤに関する情報である取得画像データ６０が記憶された画像データ記憶部４０ａ、本発明を実現するためのコンピュータプログラム等が記憶されたプログラム記憶部４０ｂ、及び全体領域１０ｄに対応付ける画像に関する領域画像情報７０が記憶された領域画像記憶部４０ｃが含まれる。取得画像データ６０について図８を用いて説明する。取得画像データ６０は動画データＡＤ毎に生成されるデータである。本形態の取得画像データ６０においては、動画データＡＤの識別情報である動画ＩＤ６１に対して、動画データＡＤと、記録時情報６２と、付加再生情報６３が対応付けられている。記録時情報６２は動画データＡＤが記録された日時を示す情報である。   The data storage unit 40 stores an image data storage unit 40a in which acquired image data 60, which is information related to the moving image data AD acquired by the camera 2, is stored, and a program storage in which a computer program for realizing the present invention is stored. The unit 40b and a region image storage unit 40c in which region image information 70 relating to an image associated with the entire region 10d is stored are included. The acquired image data 60 will be described with reference to FIG. The acquired image data 60 is data generated for each moving image data AD. In the acquired image data 60 of this embodiment, the moving image data AD, the recording time information 62, and the additional reproduction information 63 are associated with the moving image ID 61 that is identification information of the moving image data AD. The recording time information 62 is information indicating the date and time when the moving image data AD was recorded.

付加再生情報６３には、動画データＡＤに対応付けられた各レイヤーＬ１〜Ｌ２に対応するレイヤー１情報６４ａ〜レイヤー２情報６４ｂが対応付けられている。以下、レイヤー１情報６４ａ〜レイヤー２情報６４ｂを区別する必要のない時は「レイヤー情報６４」という。レイヤー情報６４には、設定情報と付加情報とが含まれる。設定情報には、動画データＡＤにおいてレイヤーＬが対応付けられる画像部分（以下「対応部分」という。）、及び階層順位等のレイヤー自体の設定情報が設定される。本形態では、対応部分は動画データＡＤを構成する画像フレームによって設定される。例えば、レイヤーＬ１の設定情報の場合は、動画データＡＤにおける画像Ｉ１に対応する画像フレームから画像Ｉ３に対応する画像フレームまでが対応部分として設定される。   The additional reproduction information 63 is associated with layer 1 information 64a to layer 2 information 64b corresponding to the layers L1 to L2 associated with the moving image data AD. Hereinafter, when it is not necessary to distinguish the layer 1 information 64a to the layer 2 information 64b, they are referred to as “layer information 64”. The layer information 64 includes setting information and additional information. In the setting information, setting information of the layer itself such as an image portion (hereinafter referred to as “corresponding portion”) to which the layer L is associated in the moving image data AD, and a hierarchical order is set. In the present embodiment, the corresponding part is set by an image frame constituting the moving image data AD. For example, in the case of the setting information of the layer L1, the image frame corresponding to the image I1 to the image frame corresponding to the image I3 in the moving image data AD is set as the corresponding portion.

付加再生情報には、コメントＣに関するコメント情報ＣＯＭ及び／又は手書き情報Ｈに関する情報である手書き入力情報ＨＮＤが設定される。本形態では、レイヤー１情報６４ａの付加情報に手書き情報Ｈに関する手書き入力情報ＨＮＤ１が対応付けられ、レイヤー２情報６４ｂの付加情報にコメントＣ１〜Ｃ３に関するコメント情報ＣＯＭ１〜ＣＯＭ３が対応付けられている。以下、コメント情報ＣＯＭ１〜ＣＯＭ３を区別する必要のない時は「コメント情報ＣＯＭ」という。   In the additional reproduction information, comment information COM regarding the comment C and / or handwriting input information HND which is information regarding the handwriting information H is set. In this embodiment, handwritten input information HND1 related to handwritten information H is associated with additional information of layer 1 information 64a, and comment information COM1 to COM3 regarding comments C1 to C3 are associated with additional information of layer 2 information 64b. Hereinafter, when it is not necessary to distinguish the comment information COM1 to COM3, it is referred to as “comment information COM”.

手書き入力情報ＨＮＤは、仮想ペンの軌跡を示す手書き軌跡情報及び消しゴムの軌跡を示す消しゴム軌跡情報で構成される。手書き軌跡情報は、座標配列情報とペン情報とで構成される。ペン情報は仮想ペンの太さ、色等を示す情報である。座標配列情報は、手書き入力の軌跡をマウス座標の配列として示す情報である。消しゴム軌跡情報は座標配列情報と消しゴム情報とで構成される。座標配列情報は、消しゴム入力の軌跡をマウス座標の配列として示す情報である。消しゴム情報は消しゴムの幅を示す情報である。   The handwriting input information HND includes handwriting locus information indicating the locus of the virtual pen and eraser locus information indicating the locus of the eraser. The handwritten trajectory information is composed of coordinate array information and pen information. The pen information is information indicating the thickness, color, etc. of the virtual pen. The coordinate array information is information indicating the locus of handwritten input as an array of mouse coordinates. The eraser trajectory information is composed of coordinate arrangement information and eraser information. The coordinate array information is information indicating the locus of the eraser input as an array of mouse coordinates. The eraser information is information indicating the width of the eraser.

コメント情報ＣＯＭは、コメント枠情報とコメント内容情報とで構成される。コメント枠情報は、コメント枠２０の大きさ、色、形状、位置等を示す情報であり、コメント内容情報は、コメントとして表示する内容である。テキスト情報だけでなく、サムネイル画像１１の識別情報も設定可能である。なお、１つのレイヤー情報６４の付加情報に、手書き入力情報ＨＮＤ及びコメント情報ＣＯＭを設定することも可能である。   The comment information COM includes comment frame information and comment content information. The comment frame information is information indicating the size, color, shape, position, and the like of the comment frame 20, and the comment content information is content displayed as a comment. Not only text information but also identification information of the thumbnail image 11 can be set. Note that handwritten input information HND and comment information COM can be set as additional information of one layer information 64.

以下、動画の記録時に行われる記録時処理について、図９のフローチャートに従って説明する。本形態では、表示画像Ｄ１にて手書き情報Ｈが入力された場合について説明する。まず、ステップＳ１００にて、スタンバイ開始操作ＳＳＯの有無が判断される。例えば、基本画面１０の処理ボタン領域１０ｃにおけるスタンバイ開始用ボタンを選択することにより、スタンバイ開始操作ＳＳＯがあったと判断される。ステップＳ１００が否定判断された時は、記録時処理を終了し、肯定判断された時は、ステップＳ１０５に進む。ステップＳ１０５では、スタンバイ状態が開始される。スタンバイ状態とは、上述したように、バックグランド動画データＡＤｂａｃｋの記録が開始される。バックグランド動画データＡＤｂａｃｋは、例えば、データ記憶部４０に記憶されればよい。   Hereinafter, the recording process performed at the time of recording a moving image will be described with reference to the flowchart of FIG. This form demonstrates the case where the handwritten information H is input in the display image D1. First, in step S100, it is determined whether or not there is a standby start operation SSO. For example, by selecting a standby start button in the processing button area 10c of the basic screen 10, it is determined that the standby start operation SSO has been performed. When a negative determination is made in step S100, the recording process is terminated, and when an affirmative determination is made, the process proceeds to step S105. In step S105, the standby state is started. In the standby state, as described above, recording of the background moving image data ADback is started. The background moving image data ADback may be stored in the data storage unit 40, for example.

続いて、ステップＳ１１０にて、動画記録の開始か否かが判断される。ユーザにより記録開始操作ＳＳＯがあった時に動画記録の開始と判断される。本形態では、カメラの記録ボタンが押されると記録開始操作と判断される。ステップＳ１１０では、肯定判断されるまで記録開始操作待ち状態となり、肯定判断された場合はステップＳ１１５へ進み、記録処理が開始される。記録処理には、例えば、記録日時情報６２の設定処理、及び記録開始のフラグを立てる処理等がある。また、記録開始操作後に取得されるバックグランド動画データＡＤｂａｃｋが再生されて再生表示部１０ａに表示される。続いて、ステップＳ１２０へ進み、手書き処理を開始するか否かが判断される。本形態では、マウス４の左ボタンが所定時間以上押下されると、手書き処理開始と判断される。   Subsequently, in step S110, it is determined whether or not moving image recording is started. When the user performs the recording start operation SSO, it is determined that the moving image recording is started. In this embodiment, it is determined that the recording start operation is performed when the recording button of the camera is pressed. In step S110, the recording start operation is waited until an affirmative determination is made. If an affirmative determination is made, the process proceeds to step S115, and the recording process is started. Examples of the recording process include a process for setting the recording date and time information 62 and a process for setting a recording start flag. Further, the background moving image data ADback acquired after the recording start operation is reproduced and displayed on the reproduction display unit 10a. Then, it progresses to step S120 and it is judged whether a handwriting process is started. In this embodiment, when the left button of the mouse 4 is pressed for a predetermined time or more, it is determined that the handwriting process starts.

ステップＳ１２０にて否定判断された時は、ステップＳ１４０へ進み、肯定判断された時は、ステップＳ１２５に進む。ステップＳ１２５では、手書き入力情報ＨＮＤ１が設定されるレイヤーＬ１が設定される。例えば、表示画像Ｄ１が表示された時にマウス４の左ボタンが所定時間以上押下された場合は、レイヤーＬ１の設定情報には表示画像Ｄ１に対応する画像Ｉ１の画像フレームが表示開始画像として設定される。また、階層順位には「１」が設定される。   If a negative determination is made in step S120, the process proceeds to step S140. If an affirmative determination is made, the process proceeds to step S125. In step S125, the layer L1 in which the handwritten input information HND1 is set is set. For example, when the left button of the mouse 4 is pressed for a predetermined time or more when the display image D1 is displayed, the image frame of the image I1 corresponding to the display image D1 is set as the display start image in the setting information of the layer L1. The Further, “1” is set as the hierarchical order.

続いて、ステップＳ１３０に進み、手書き処理が行われる。手書き処理では、表示画像が拡大され、マウス４のドラッグ操作があると、マウス４の移動に伴って変化するマウス座標を座標配列情報として取得する。入力の際に表示画像が拡大されるため、手書き入力が容易である。手書き入力される際にマウス４が仮想ペンとして設定される場合は手書き入力軌跡情報が生成され、消しゴムとして設定される場合は消しゴム軌跡情報が設定される。なお、仮想ペンとしての太さや色の設定は、不図示の仮想ペン属性画面を開いて任意の時に設定することができる。ステップＳ１３５では、手書き処理が終了か否かが判断される。本形態では、マウス４の左ボタンが押下状態でなくなると、手書き処理が終了と判断される。ステップＳ１３５が肯定判断されない限り、手書き処理が継続され、肯定判断されると、ステップＳ１４０へ進む。   Then, it progresses to step S130 and a handwriting process is performed. In the handwriting process, when the display image is enlarged and the mouse 4 is dragged, mouse coordinates that change as the mouse 4 moves are acquired as coordinate array information. Since the display image is enlarged at the time of input, handwriting input is easy. When the mouse 4 is set as a virtual pen when handwritten, handwriting input trajectory information is generated, and when set as an eraser, eraser trajectory information is set. The thickness and color of the virtual pen can be set at any time by opening a virtual pen attribute screen (not shown). In step S135, it is determined whether the handwriting process is finished. In this embodiment, when the left button of the mouse 4 is not pressed, it is determined that the handwriting process is finished. The handwriting process is continued unless step S135 is determined to be affirmative. If an affirmative determination is made, the process proceeds to step S140.

ステップＳ１４０では、動画記録を終了するか否かが判断される。所定の記録終了操作があった時に、動画記録を終了すると判断される。例えば、カメラ２の記録終了ボタンを押すことにより、動画記録を終了すると判断される。ステップＳ１４０にて否定判断された時は、ステップＳ１２０へ戻り、肯定判断された時はステップＳ１４５へ進む。ステップＳ１４５では、取得画像データ６０が生成される。取得画像データ６０の動画データＡＤには、記録開始時の約１５秒前から記録終了時までに記録されたバックグランド動画データＡＤｂａｃｋが設定される。動画ＩＤ６１には、動画データＡＤに固有に付与される識別情報を設定する。   In step S140, it is determined whether or not to end the moving image recording. When there is a predetermined recording end operation, it is determined to end the moving image recording. For example, when the recording end button of the camera 2 is pressed, it is determined that the moving image recording is ended. When a negative determination is made in step S140, the process returns to step S120, and when an affirmative determination is made, the process proceeds to step S145. In step S145, acquired image data 60 is generated. In the moving image data AD of the acquired image data 60, background moving image data ADback recorded from about 15 seconds before the start of recording until the end of recording is set. In the moving image ID 61, identification information uniquely assigned to the moving image data AD is set.

付加再生情報６３には、手書き処理にて生成された手書き入力情報ＨＮＤ１が付加情報として、設定情報と共にレイヤー１情報６４ａに設定される。手書き入力情報ＨＮＤ１は、ステップＳ１３０にて生成された手書き軌跡情報及び消しゴム軌跡情報を時系列に配列することにより生成される。ペン情報及び消しゴム情報は、所望の設定を記録時処理前に設定しておけばよい。なお、記録時情報６２はステップＳ１１５にて設定される。生成された取得画像データ６０はデータ記憶部４０に記憶される。   In the additional reproduction information 63, handwritten input information HND1 generated by handwriting processing is set as additional information in the layer 1 information 64a together with setting information. The handwriting input information HND1 is generated by arranging the handwriting locus information and the eraser locus information generated in step S130 in time series. For the pen information and the eraser information, desired settings may be set before processing at the time of recording. The recording time information 62 is set in step S115. The generated acquired image data 60 is stored in the data storage unit 40.

また、レイヤー１情報６４ａの設定情報において、表示終了画像としての画像フレームは、例えば、動画データの記録中に所定の消去操作（例えば、処理ボタン領域１０ｃの所定ボタンの選択）を行ったタイミングに対応する画像フレームを設定すればよい。当該消去操作をしない場合は、取得された動作データＡＤの最後の画像フレームを表示終了画像として設定情報に設定される。   Further, in the setting information of the layer 1 information 64a, the image frame as the display end image is, for example, at a timing when a predetermined erasing operation (for example, selection of a predetermined button in the processing button area 10c) is performed during recording of moving image data. A corresponding image frame may be set. When the erasing operation is not performed, the last image frame of the acquired operation data AD is set as the display end image in the setting information.

取得画像データ６０の生成後、ステップＳ１５０に進み、動画データＡＤに基づいてサムネイル画像１１が生成され、サムネイル表示領域１０ｂに表示される。その後、ステップＳ１５５に進み、スタンバイ状態を終了するか否かが判断される。スタンバイ終了操作ＳＥＯがあると、スタンバイ状態を終了すると判断される。例えば、基本画面１０の処理ボタン領域１０ｃにおけるスタンバイ終了用ボタンが選択されると、スタンバイ終了操作ＳＥＯと判断される。ステップＳ１５５にて、肯定判断された時は記録時処理を終了し、否定判断された時はステップＳ１１０に戻り、次の動作データの取得のための処理が行われる。記録時処理の終了時には、記録時処理にて生成された一連の取得画像データ６０を１つの画像データ群として例えば、画像データ群を識別するデータ群識別情報が設定される。   After the acquired image data 60 is generated, the process proceeds to step S150, where the thumbnail image 11 is generated based on the moving image data AD and displayed in the thumbnail display area 10b. Thereafter, the process proceeds to step S155, and it is determined whether or not to end the standby state. If there is a standby end operation SEO, it is determined to end the standby state. For example, when the standby end button in the processing button area 10c of the basic screen 10 is selected, it is determined that the standby end operation SEO. If an affirmative determination is made in step S155, the recording process is terminated. If a negative determination is made, the process returns to step S110, and a process for acquiring the next operation data is performed. At the end of the recording process, for example, data group identification information for identifying the image data group is set with the series of acquired image data 60 generated by the recording process as one image data group.

記録時処理の終了後、取得データ６０を再生し、所望の画像にコメントＣを付加することが可能である。動画データＡＤにコメントＣを付加する記録後処理について、図１０のフローチャートに従って説明する。まず、ステップＳ２００にて、サムネイル表示領域１０ｂに表示されているサムネイル画像１１から所望のサムネイル画像１１を選択する。例えば、所望ののサムネイル画像１１にポイントをあててマウス４のボタンをクリックすることにより、サムネイル画像１１が選択される。続いてステップＳ２０５に進み、選択されたサムネイル画像１１に対応する動画データＡＤの再生が再生表示部１０ａにて開始される。次にステップＳ２１０にて画像ストップ操作があったか否かが判断される。ステップＳ２１０にて肯定判断されるまで、動画データＡＤの再生状態が継続される。例えば、表示画像Ｄ２で画像ストップ操作がされた場合、ステップＳ２１０にて肯定判断され、ステップＳ２１５へ進む。   It is possible to reproduce the acquired data 60 and add a comment C to a desired image after the recording process is completed. The post-recording process for adding the comment C to the moving image data AD will be described with reference to the flowchart of FIG. First, in step S200, a desired thumbnail image 11 is selected from the thumbnail images 11 displayed in the thumbnail display area 10b. For example, the thumbnail image 11 is selected by placing the point on the desired thumbnail image 11 and clicking the button of the mouse 4. In step S205, reproduction of the moving image data AD corresponding to the selected thumbnail image 11 is started in the reproduction display unit 10a. Next, in step S210, it is determined whether or not an image stop operation has been performed. The reproduction state of the moving image data AD is continued until an affirmative determination is made in step S210. For example, when the image stop operation is performed on the display image D2, an affirmative determination is made in step S210, and the process proceeds to step S215.

ステップＳ２１５ではコメント生成操作の有無が判断される。例えば、処理ボタン領域１０ｃのコメント生成用ボタンが選択されるとコメント生成操作があったと判断される。ステップＳ２１５にて肯定判断されるまで、画像ストップ状態が継続し、肯定判断されると、ステップＳ２２０に進んでコメント生成処理が行われる。コメント生成処理では、再生表示領域１０ａにてストップされた状態で表示されている表示画像Ｄ２に対して対応付けられるコメント情報ＣＯＭが生成される。コメント生成処理については後述する。コメント生成処理が終了すると、ステップＳ２２５に進み、記録後処理を終了するか否かが判断される。所定の処理終了処理があった時は記録後処理を終了し、処理終了処理がない時はステップＳ２０５へ戻る。   In step S215, the presence / absence of a comment generation operation is determined. For example, when a comment generation button in the processing button area 10c is selected, it is determined that a comment generation operation has been performed. The image stop state continues until an affirmative determination is made in step S215. If an affirmative determination is made, the process proceeds to step S220, and a comment generation process is performed. In the comment generation process, comment information COM associated with the display image D2 displayed in a stopped state in the reproduction display area 10a is generated. The comment generation process will be described later. When the comment generation process ends, the process proceeds to step S225, and it is determined whether or not to end the post-recording process. When there is a predetermined process end process, the post-recording process is ended, and when there is no process end process, the process returns to step S205.

コメント生成処理において行われる処理について、図１１のフローチャートに従って説明する。本形態では、レイヤーＬ２に対応付けられたコメント情報ＣＯＭ１〜ＣＯＭ３を生成するコメント生成処理について説明する。まず、ステップＳ３００にて、コメント情報ＣＯＭ１が設定されるレイヤーＬ２が設定される。レイヤーＬ２のレイヤー２情報６４ｂの設定情報に、再生表示領域１０ａに表示されている表示画像Ｄ２に対応する画像Ｉ２の画像フレームが表示開始画像として設定される。また、階層順位に「２」が設定される。ステップＳ３１０へ進み、基本画面１０上にコメント編集画面が開かれる。コメント編集画面は、ユーザによりコメント情報ＣＯＭのコメント内容情報及びコメント枠情報が設定可能なように構成された画面である。   Processing performed in the comment generation processing will be described with reference to the flowchart of FIG. In this embodiment, a comment generation process for generating comment information COM1 to COM3 associated with the layer L2 will be described. First, in step S300, a layer L2 in which comment information COM1 is set is set. In the setting information of the layer 2 information 64b of the layer L2, the image frame of the image I2 corresponding to the display image D2 displayed in the reproduction display area 10a is set as the display start image. In addition, “2” is set in the hierarchy order. In step S310, the comment edit screen is opened on the basic screen 10. The comment editing screen is a screen configured such that the user can set comment content information and comment frame information of the comment information COM.

例えば、コメント編集画面に表示されたコメント内容情報設定用ボタンを選択することにより、コメント内容情報の設定状態となる。コメント内容情報として、キーボード５によってキー入力されるテキスト情報の他、サムネイル画像１１が設定可能である。例えば、コメント内容情報の設定状態の時にサムネイル表示領域１０ｂにおいて所望のサムネイル画像１１がマウス４で選択されると、選択されたサムネイル画像１１に対応する動画ＩＤ６１がコメント内容情報に設定される。   For example, by selecting a comment content information setting button displayed on the comment edit screen, the comment content information is set. In addition to text information key-inputted by the keyboard 5, a thumbnail image 11 can be set as comment content information. For example, when the desired thumbnail image 11 is selected with the mouse 4 in the thumbnail display area 10b in the comment content information setting state, the moving image ID 61 corresponding to the selected thumbnail image 11 is set as the comment content information.

コメント枠情報には、コメント枠２０の色、大きさ、透明度、形状、位置等を設定することができる。例えば、コメント編集画面に表示されたコメント枠情報設定ボタンを選択すると、コメント枠情報の現在の設定状態が表示され、所望の項目を変更することができる画面が表示される。続いて、ステップＳ３２０にて、終了操作の有無が判断される。たとえば、コメント編集画面において「ＯＫ」ボタンが選択された時、終了操作があったと判断される。   In the comment frame information, the color, size, transparency, shape, position, etc. of the comment frame 20 can be set. For example, when a comment frame information setting button displayed on the comment edit screen is selected, the current setting state of the comment frame information is displayed, and a screen on which a desired item can be changed is displayed. Subsequently, in step S320, the presence / absence of an end operation is determined. For example, when the “OK” button is selected on the comment edit screen, it is determined that an end operation has been performed.

ステップＳ３２０にて肯定判断されるまで、コメント編集画面にてコメント情報の設定処理が可能であり、例えば、コメントＣ１と同様にコメントＣ２及びコメントＣ３を入力すればよい。ステップＳ３２０にて肯定判断された時はステップＳ３３０へ進む。ステップＳ３３０では、コメント編集画面にて設定されたコメント内容情報及びコメント枠情報で構成されるコメント情報ＣＯＭ１、コメント情報ＣＯＭ２、及びコメント情報ＣＯＭ３が生成され、レイヤー２情報６４ｂに追加される。コメント情報ＣＯＭ１〜ＣＯＭ３の生成後、ステップＳ３４０へ進み、レイヤー描画処理が行われる。レイヤー描画処理では、処理対象のレイヤーＬに設定された付加情報が再生される。レイヤー描画処理については後述する。レイヤー描画処理の終了後、コメント生成処理を終了する。なお、本形態のコメント生成処理では、レイヤーＬ２の設定情報に表示終了画像を設定しないため、表示終了画像として、処理対象の動画データＡＤの最終画像Ｉ６の画像フレームが設定される。表示終了画像を設定するときは、例えば、ステップＳ３００のレイヤー設定時に、レイヤーＬ１と同様の消去操作を行うことにより、レイヤーＬ２の設定情報に所望の表示終了画像を設定してもよい。   Until affirmative determination is made in step S320, comment information setting processing can be performed on the comment edit screen. For example, the comment C2 and the comment C3 may be input in the same manner as the comment C1. If a positive determination is made in step S320, the process proceeds to step S330. In step S330, comment information COM1, comment information COM2, and comment information COM3 including comment content information and comment frame information set on the comment edit screen are generated and added to the layer 2 information 64b. After the comment information COM1 to COM3 is generated, the process proceeds to step S340, and layer drawing processing is performed. In the layer drawing process, additional information set in the layer L to be processed is reproduced. The layer drawing process will be described later. After the layer drawing process ends, the comment generation process ends. In the comment generation process of this embodiment, since the display end image is not set in the setting information of the layer L2, the image frame of the final image I6 of the moving image data AD to be processed is set as the display end image. When the display end image is set, for example, a desired display end image may be set in the setting information of the layer L2 by performing an erasing operation similar to the layer L1 at the time of layer setting in step S300.

なお、コメント生成後に、特定のレイヤーＬを指定することにより、レイヤーＬに対応付けられたコメント情報ＣＯＭを再生表示領域１０ａに表示させ、処理対象のコメントを選択することにより、コメント編集画面にて対応するコメント情報ＣＯＭの設定変更を行うことがでできる。また、再生表示領域１０ａに表示されているコメントＣをマウス４でドラッグすることにより、コメントＣの位置を移動させることも可能である。更に、手書き入力も、例えば、ステップＳ２１５にて否定判断された後に、手書き入力開始操作の有無を判断し、手書き入力開始操作があった時は、手書き入力操作を受け付け、手書き入力情報ＨＮＤを生成する処理を設けてもよい。   In addition, by designating a specific layer L after generating a comment, the comment information COM associated with the layer L is displayed in the reproduction display area 10a, and the comment to be processed is selected on the comment editing screen. The setting of the corresponding comment information COM can be changed. It is also possible to move the position of the comment C by dragging the comment C displayed in the reproduction display area 10a with the mouse 4. Further, for example, after a negative determination is made in step S215, the handwriting input is also determined whether or not there is a handwriting input start operation. When the handwriting input start operation is performed, the handwriting input operation is accepted and the handwriting input information HND is generated. You may provide the process to do.

レイヤー描画処理について図１２のフローチャートに従って説明する。レイヤー描画処理は、処理対象のレイヤーＬに対応付けられている付加情報、即ち手書き情報Ｈ及び／又はコメントＣが描画される際に行われる処理である。なお、手書き情報ＨやコメントＣが更新された場合は、更新された領域を検出して、当該領域のみに対して、レイヤー描画処理が行われる。   The layer drawing process will be described with reference to the flowchart of FIG. The layer drawing process is a process performed when additional information associated with the processing target layer L, that is, the handwritten information H and / or the comment C is drawn. When the handwritten information H or the comment C is updated, the updated area is detected, and the layer drawing process is performed only on the area.

まず、ステップＳ４００にて、処理対象のレイヤーに手書き入力情報ＨＮＤが対応付けられているか否かが判断される。ステップＳ４００にて否定判断された時は、ステップＳ４５０へ進み、肯定判断された時はステップＳ４０５へ進む。以下、ステップＳ４０５〜ステップＳ４４０は手書き入力情報ＨＮＤを描画するための処理である。ステップＳ４０５では、手書き入力情報ＨＮＤに含まれる消しゴム軌跡情報を参照することにより、全ての消しゴム領域を無効状態に設定する。消しゴム領域とは、ユーザが仮想消しゴムを移動させた領域であり、消しゴム軌跡情報に設定されている領域である。無効状態とは、手書き軌跡情報により、手書き入力の軌跡情報が存在する領域であっても当該軌跡が描画されない状態をいう。   First, in step S400, it is determined whether or not the handwritten input information HND is associated with the processing target layer. When a negative determination is made in step S400, the process proceeds to step S450, and when an affirmative determination is made, the process proceeds to step S405. Hereinafter, steps S405 to S440 are processes for drawing the handwritten input information HND. In step S405, all the eraser areas are set to an invalid state by referring to the eraser trajectory information included in the handwritten input information HND. The eraser area is an area where the user has moved the virtual eraser, and is an area set in the eraser locus information. The invalid state refers to a state in which the locus is not drawn even in a region where the locus information of handwritten input exists due to the handwriting locus information.

次に、ステップＳ４１０にて、手書き入力情報ＨＮＤに含まれる軌跡情報をすべて処理したか否かが判断される。ステップＳ４１０にて肯定判断された時は手書き入力情報ＨＮＤは表示済みと判断し、ステップＳ４５０へ進む。ステップＳ４１０にて否定判断された時は、ステップＳ４２０へ進み、軌跡情報の種類を判別する。手書き軌跡情報の場合は、ステップＳ４３０へ進んで手書き軌跡を描画する。なお、この場合、無効領域には手書き軌跡は描画されない。   Next, in step S410, it is determined whether all the trajectory information included in the handwritten input information HND has been processed. When an affirmative determination is made in step S410, it is determined that the handwritten input information HND has been displayed, and the process proceeds to step S450. If a negative determination is made in step S410, the process proceeds to step S420 to determine the type of trajectory information. In the case of handwritten trajectory information, the process proceeds to step S430 to draw the handwritten trajectory. In this case, a handwritten locus is not drawn in the invalid area.

ステップＳ４２０にて、消しゴム軌跡情報と判別された時は、ステップＳ４４０に進み、処理対象の消しゴム軌跡情報に対応する消しゴム領域の無効状態を解除する。無効状態を解除するとは、解除された後は、手書き入力の軌跡情報に基づいて手書き入力が描画される状態に戻ったことをいう。ステップＳ４３０又はステップＳ４４０の処理終了後、次の軌跡情報について処理を行うためにステップＳ４１０へ戻る。   If it is determined in step S420 that the eraser locus information is determined, the process proceeds to step S440, and the invalid state of the eraser region corresponding to the eraser locus information to be processed is canceled. To cancel the invalid state means that after the cancellation, the handwritten input is returned to the state in which the handwritten input is drawn based on the locus information of the handwritten input. After the process of step S430 or step S440 is completed, the process returns to step S410 to process the next trajectory information.

ステップＳ４５０では、コメント情報ＣＯＭが処理対象のレイヤーＬに対応付けられているか否かが判断される。ステップＳ４５０にて否定判断された時は、レイヤー描画処理を終了し、肯定判断された時はステップＳ４５５へ進み、コメント描画処理が行われる。コメント描画処理では、処理対象のレイヤーＬに対応付けられたコメント情報ＣＯＭに基づいて、コメントＣを表示する。コメントＣの表示後、レイヤー描画処理を終了する。   In step S450, it is determined whether or not the comment information COM is associated with the layer L to be processed. If a negative determination is made in step S450, the layer drawing process is terminated. If an affirmative determination is made, the process proceeds to step S455, where a comment drawing process is performed. In the comment drawing process, the comment C is displayed based on the comment information COM associated with the layer L to be processed. After the comment C is displayed, the layer drawing process is terminated.

更に、行動分析システム１においては、図１３に示すように、サムネイル領域１０ｂにおいて、サムネイル画像１１間の関連性に関するメモ書き情報Ｍ１や、表示画像とサムネイル画像１１との関連性に関するメモ書きＭ２を入力することも可能である。本形態では、再生表示領域１０ａとサムネイル表示領域１０ｂとを合わせた全体領域１０ｄの少なくとも一部の領域に、表示情報を対応付けられるレイヤーＬａ（以下「領域レイヤーＬａ」という。）を設定可能である。所定の領域に設定された領域レイヤーＬａにメモ書きＭ１、Ｍ２を設定することにより、メモ書きＭ１、Ｍ２を設定した領域１０ｄ上に表示させることができる。本形態では、全体領域１０ｄに対応付けられた領域レイヤーＬａにメモ書きＭ１、Ｍ２を設定する領域レイヤー処理について図１４に示すフローチャートに従って説明する。領域レイヤー処理は制御部５０によって制御される。   Further, in the behavior analysis system 1, as shown in FIG. 13, in the thumbnail area 10 b, note writing information M <b> 1 related to the relationship between the thumbnail images 11 and note writing M <b> 2 related to the relationship between the display image and the thumbnail image 11 are stored. It is also possible to input. In this embodiment, a layer La (hereinafter referred to as “area layer La”) that can associate display information can be set in at least a part of the entire area 10d including the reproduction display area 10a and the thumbnail display area 10b. is there. By setting the memos M1 and M2 in the area layer La set as a predetermined area, the memos M1 and M2 can be displayed on the set area 10d. In the present embodiment, region layer processing for setting memos M1 and M2 in the region layer La associated with the entire region 10d will be described with reference to the flowchart shown in FIG. The area layer process is controlled by the control unit 50.

領域レイヤー処理は、記録後処理において領域レイヤー処理を開始する操作がユーザによってされることにより開始される。例えば、処理ボタン領域１０ｃにおける領域レイヤー処理開始用ボタンが選択されると領域レイヤー処理の開始と判断される。なお、領域レイヤー処理は、制御部５０によって制御される。領域レイヤー処理では、まず、ステップＳ５００にて、全体領域１０ｄ上に対応付けられた領域レイヤーＬａを設定する。当該設定は、例えばユーザが所望の領域をマウス４で指定することにより、設定されてもよいし、予め全体領域１０ｄに対応付けられた領域レイヤーＬａが用意されていてもよい。続いてステップＳ５１０にて、領域付加情報入力処理が行われる。本形態の領域付加情報入力処理では、ユーザによる手書き入力操作を受け付け、当該手書き入力操作に基づいて、メモ書きＭ１、Ｍ２のそれぞれに対応する手書き入力情報ＨＮＤが生成される。   The area layer process is started when the user performs an operation for starting the area layer process in the post-recording process. For example, when the region layer processing start button in the processing button region 10c is selected, it is determined that the region layer processing is started. Note that the area layer processing is controlled by the control unit 50. In the area layer processing, first, in step S500, an area layer La associated with the entire area 10d is set. The setting may be set, for example, by the user specifying a desired area with the mouse 4, or an area layer La previously associated with the entire area 10d may be prepared. Subsequently, in step S510, an area additional information input process is performed. In the region additional information input process of this embodiment, a handwriting input operation by the user is accepted, and handwriting input information HND corresponding to each of the memos M1 and M2 is generated based on the handwriting input operation.

なお、領域付加情報入力処理では、コメントＣの入力を受け付けてコメント情報ＣＯＭが生成されてもよい。次に、ステップＳ５２０にて生成された領域付加情報としての手書き入力情報ＨＮＤを領域レイヤーＬａに設定する。領域レイヤーＬａに対応する領域と手書き入力情報ＨＮＤとが設定された情報は、領域画像情報７０として領域画像記憶部４０ｃに記憶される。これにより、制御部５０は領域付加設定部として機能する。   In the area additional information input process, the input of the comment C may be accepted and the comment information COM may be generated. Next, the handwritten input information HND as the region additional information generated in step S520 is set in the region layer La. Information in which the area corresponding to the area layer La and the handwritten input information HND are set is stored as area image information 70 in the area image storage unit 40c. Thereby, the control unit 50 functions as an area addition setting unit.

以後、例えば、ユーザによって、領域レイヤー表示開始操作が行われ、領域画像情報７０が指定されると、制御部５０によって領域画像情報７０が参照され、領域レイヤーＬａに対応付けられた手書き入力情報ＨＮＤに基づいてメモ書きＭ１、Ｍ２が全体領域１０ｄ上に描画される。これにより、制御部５０は領域レイヤー表示制御部として機能する。このように、サムネイル画像１１間の関係や表示画像とサムネイル画像１１との関係を手書き入力操作によって簡単に入力することができ、当該関係を後からでも確認することができる。領域画像情報７０の指定は、例えば、領域画像情報７０に対応するファイル名を指定すればよい。   Thereafter, for example, when the region layer display start operation is performed by the user and the region image information 70 is designated, the region image information 70 is referred to by the control unit 50, and the handwritten input information HND associated with the region layer La Based on the above, memos M1 and M2 are drawn on the entire area 10d. Thereby, the control unit 50 functions as a region layer display control unit. As described above, the relationship between the thumbnail images 11 and the relationship between the display image and the thumbnail image 11 can be easily input by a handwriting input operation, and the relationship can be confirmed later. The area image information 70 may be specified by specifying a file name corresponding to the area image information 70, for example.

最後に、行動分析支援システム１における検索機能について説明する。行動分析支援システム１においては、キーワードで検索することにより、キーワードに関連した動画データＡＤを集めることができる。当該検索機能を実現する検索処理について図１５に示すフローチャートに従って説明する。検索処理はユーザによって所定の検索開始操作がされることにより開始される。なお、検索処理は制御部５０によって制御される。   Finally, the search function in the behavior analysis support system 1 will be described. The behavior analysis support system 1 can collect moving image data AD related to a keyword by searching for the keyword. A search process for realizing the search function will be described with reference to the flowchart shown in FIG. The search process is started when a predetermined search start operation is performed by the user. Note that the search process is controlled by the control unit 50.

まず、ステップＳ６００にて、検索キーワードを設定する。例えば、検索開始操作をすることにより、検索キーワード入力画面が表示され、当該画面に入力すればよい。次に、ステップＳ６１０に進み、画像データ記憶部４０ａに記憶された取得画像データ６０群に対して、設定された検索キーワードを有するコメント内容情報を検索する。これにより、制御部５０は検索部として機能する。検索対象の取得画像データ６０群は、画像データ記憶部４０ａに記憶されているすべての取得画像データ６０であってもよいし、所望の画像データ群のデータ群識別情報を指定することにより、当該識別情報にて対応付けられた取得画像データ６０群であってもよい。続いて、ステップＳ６２０では、検索された各コメント内容情報について、対応する動画データＡＤを抽出し、サムネイル画像１１にしてサムネイル表示領域１０ｂに表示する。   First, in step S600, a search keyword is set. For example, when a search start operation is performed, a search keyword input screen is displayed, and input may be performed on the screen. In step S610, the comment content information having the set search keyword is searched for the acquired image data 60 group stored in the image data storage unit 40a. Thereby, the control part 50 functions as a search part. The acquired image data 60 group to be searched may be all the acquired image data 60 stored in the image data storage unit 40a, or by specifying data group identification information of a desired image data group, The acquired image data 60 group associated with the identification information may be used. Subsequently, in step S620, the corresponding moving image data AD is extracted for each searched comment content information, and is displayed as the thumbnail image 11 in the thumbnail display area 10b.

このように、検索処理によって、所望のキーワードに関する動画データＡＤをサムネイル表示領域１０ｂに一覧することができ、ユーザは、一覧表示された複数のサムネイル画像１１間の関連性を分析したり、更に所望の動画データＡＤを選択して再生表示領域１０ａに表示させ、当該動画データＡＤの動画に基づいた分析処理を進めることができる。   In this way, the moving image data AD relating to the desired keyword can be listed in the thumbnail display area 10b by the search process, and the user can analyze the relevance between the plurality of thumbnail images 11 displayed as a list, and further Can be selected and displayed in the reproduction display area 10a, and analysis processing based on the moving image of the moving image data AD can be advanced.

なお、キーワード設定において、コメント枠の色が指定されることにより、コメント情報ＣＯＭのコメント枠情報が検索され、指定された色のコメント枠が設定されたコメント枠情報を有するコメント情報ＣＯＭが対応付けられた動画データＡＤが検索されてもよい。更に、例えば仮想ペンの色を指定することにより、手書き入力情報ＨＮＤのペン情報が検索され、指定された色に設定されたペン情報を有する手書き入力情報ＨＮＤが対応付けられた動画データＡＤが検索されてもよい。   In the keyword setting, when the color of the comment frame is specified, the comment frame information of the comment information COM is searched, and the comment information COM having the comment frame information in which the comment frame of the specified color is set is associated. The obtained moving image data AD may be searched. Further, for example, by specifying the color of the virtual pen, the pen information of the handwritten input information HND is searched, and the moving image data AD associated with the handwritten input information HND having the pen information set to the specified color is searched. May be.

本発明は上述の形態に限らず種々の形態にて実施されてよい。例えば、タッチパネルを備えたタブレットＰＣの場合、タッチペンにより手書き入力操作を行ってもよい。この場合、マウス４の左ボタン押下操作はタッチペンで画面に触れる操作に対応し、マウス４の移動はタッチペンを画面上で移動させる操作に対応し、マウス４の左ボタン押下を解除する操作はタッチペンを画面から離す操作に対応する。また、記録後処理において記録された動画データＡＤの所望箇所を削除する機能を備えてもよい。   The present invention is not limited to the above-described embodiment, and may be implemented in various forms. For example, in the case of a tablet PC provided with a touch panel, a handwriting input operation may be performed with a touch pen. In this case, the operation of pressing the left button of the mouse 4 corresponds to the operation of touching the screen with the touch pen, the movement of the mouse 4 corresponds to the operation of moving the touch pen on the screen, and the operation of releasing the left button of the mouse 4 is the touch pen. Corresponds to the operation of releasing from the screen. Moreover, you may provide the function to delete the desired location of the moving image data AD recorded in the post-recording process.

本形態では、スタンバイ開始操作ＳＳＯからスタンバイ終了操作ＳＥＯがあるまでに取得された複数の動画データＡＤのそれぞれが、サムネイル表示領域１０ｂの各サムネイル画像１１として表示されるが、サムネイル画像１１に表示される動画データＡＤを動画ＩＤ６１によって指定可能なように構成し、動画データＡＤを取得した時間や場所とは関係なくサムネイル領域１０ｂに表示できるように設定してもよい。また、記録中、再生中にユーザの操作により特定の画像を静止画としてキャプチャーするキャプチャー機能をを備えていてもよい。行動分析の対象者は、スポーツ選手、所定の作業を行う作業員や患者等であってもよい。また、動物や移動体であってもよい。   In this embodiment, each of the plurality of moving image data AD acquired from the standby start operation SSO to the standby end operation SEO is displayed as each thumbnail image 11 in the thumbnail display area 10b, but is displayed on the thumbnail image 11. The moving image data AD may be specified by the moving image ID 61 so that the moving image data AD can be displayed in the thumbnail area 10b regardless of the time and place where the moving image data AD is acquired. Further, a capture function for capturing a specific image as a still image by a user operation during recording or reproduction may be provided. The target person of behavior analysis may be an athlete, a worker who performs a predetermined work, a patient, or the like. Further, it may be an animal or a moving body.

本発明の行動分析支援システムの構成の一例を示す図。The figure which shows an example of a structure of the action analysis assistance system of this invention. モニタに表示される基本画面の一例を示す図。The figure which shows an example of the basic screen displayed on a monitor. 取得される動画データと基本画面との関係を示す図。The figure which shows the relationship between the moving image data acquired and a basic screen. 表示画像に手書き入力されたようすを示すフローチャート。6 is a flowchart showing a state where a handwritten input is made on a display image. 表示画像にコメントが入力されたようすを示すフローチャート。7 is a flowchart showing how a comment is input to a display image. 動画データに対応付けられる付加情報のレイヤー構造を示すフローチャート。The flowchart which shows the layer structure of the additional information matched with moving image data. 図１に示す行動分析支援システムのハードウェア構成の概略を示す図。The figure which shows the outline of the hardware constitutions of the action analysis assistance system shown in FIG. 取得画像データのデータ構造を示す図。The figure which shows the data structure of acquisition image data. 記録時処理において行われる処理の流れを示すフローチャート。The flowchart which shows the flow of the process performed in the process at the time of recording. 記録後処理において行われる処理の流れを示すフローチャート。The flowchart which shows the flow of the process performed in a post-recording process. コメント生成処理において行われる処理の流れを示すフローチャート。The flowchart which shows the flow of the process performed in a comment production | generation process. レイヤー描画処理において行われる処理の流れを示すフローチャート。The flowchart which shows the flow of the process performed in a layer drawing process. 領域付加情報が全体領域に入力されたようすを示す図。FIG. 5 is a diagram illustrating a state where area additional information is input to the entire area. 領域レイヤー処理において行われる処理の流れを示すフローチャート。The flowchart which shows the flow of the process performed in an area | region layer process. 検索処理において行われる処理の流れを示すフローチャート。The flowchart which shows the flow of the process performed in a search process.

符号の説明Explanation of symbols

１ 行動分析支援システム
２ カメラ（画像取得部）
３ モニタ（画像表示部）
４ マウス
５ キーボード
４０ データ記憶部
４０ａ 画像データ記憶部
５０ 制御部
５０ａ データ取得制御部
５０ｂ データ記憶制御部
５０ｃ サムネイル画像生成部
５０ｄ 動画再生部
５０ｅ 付加情報処理部 1 Action analysis support system 2 Camera (image acquisition unit)
3 Monitor (image display part)
4 mouse 5 keyboard 40 data storage unit 40a image data storage unit 50 control unit 50a data acquisition control unit 50b data storage control unit 50c thumbnail image generation unit 50d moving image reproduction unit 50e additional information processing unit

Claims (8)

所定の動体の動画データを取得する動画取得部と、
前記動画取得部によって取得された動画データを記憶する画像記憶部と、
複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部と、
前記動画取得部によって取得される動画データに関する処理を制御する制御部と、
ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、
を備えた行動分析支援システムであって、
前記制御部は、
ユーザによる取得開始操作と取得終了操作に応じて、前記動画データを前記動画取得部を介して取得するデータ取得制御部と、
前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部と、
前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付けることにより、前記付加情報を前記動画データの所定区間の画像に対応付ける付加情報処理部と、
前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部と、
前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して、前記サムネイル表示領域に各動画データのサムネイル画像を再生しつつ一覧表示するサムネイル画像生成部と、を有し、
前記サムネイル画像生成部は、前記所定区間の動画データに対応する前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示する、ことを特徴とする行動分析支援システム。 A video acquisition unit for acquiring video data of a predetermined moving object;
An image storage unit for storing moving image data acquired by the moving image acquisition unit;
An image display unit having a thumbnail display area in which a plurality of thumbnail images are displayed in a list, and a playback display area in which a playback image of predetermined moving image data is displayed;
A control unit that controls processing related to the video data acquired by the video acquisition unit;
An operation input unit that sends an operation signal corresponding to a user operation to the control unit;
A behavior analysis support system comprising
The controller is
A data acquisition control unit that acquires the moving image data via the moving image acquisition unit in response to an acquisition start operation and an acquisition end operation by a user;
A video playback unit that plays back the video data being acquired by the video acquisition unit and displays it in the playback display area;
By accepting an input by the user of additional information visually added to the image displayed in the reproduction display area and associating the input additional information with the displayed image, the additional information is converted into the moving image data. An additional information processing unit associated with an image of a predetermined section of
A data storage control unit for storing in the image storage unit as acquired image data together with the additional information for each moving image data acquired in response to the acquisition start operation and the acquisition end operation;
Yes generates a thumbnail image obtained by reducing the reproduction image of the moving image data stored in the image storage unit, a thumbnail image generating unit that lists while reproducing a thumbnail image of each video data in the thumbnail display area, the And
The behavior analysis support system, wherein the thumbnail image generation unit displays the additional information together with the image associated with the additional information in the reproduced image corresponding to the moving image data of the predetermined section . 前記動画再生部は、前記サムネイル表示領域に表示された複数のサムネイル画像の中から、ユーザによって選択されたサムネイル画像に対応する動画データを再生して前記再生表示領域に表示する、ことを特徴とする請求項１に記載の行動分析支援システム。   The moving image reproduction unit reproduces moving image data corresponding to a thumbnail image selected by a user from a plurality of thumbnail images displayed in the thumbnail display area and displays the reproduced data in the reproduction display area. The behavior analysis support system according to claim 1. 前記各取得画像データの動画データには、少なくとも１つのレイヤーを対応付け可能であり、
前記付加情報処理部は、前記付加情報が入力される際に前記表示された画像にレイヤーを対応付け、その対応付けられたレイヤーに前記付加情報を設定して前記画像記憶部に記憶し、
前記動画再生部及び前記サムネイル画像生成部は、前記画像を再生する際に、前記表示された画像と共に、その画像に対応付けられたレイヤーに設定された付加情報を、前記再生表示領域に表示する、ことを特徴とする請求項１又は２に記載の行動分析支援システム。 The moving image data of each acquired image data can be associated with at least one layer,
The additional information processing unit associates a layer with the displayed image when the additional information is input, sets the additional information in the associated layer, stores the additional information in the image storage unit,
When reproducing the image, the moving image reproduction unit and the thumbnail image generation unit display, in the reproduction display area, the additional information set in the layer associated with the displayed image together with the displayed image. The behavior analysis support system according to claim 1 or 2, characterized by the above-mentioned. 前記サムネイル表示領域及び前記再生表示領域を合わせた全体領域の少なくとも一部の領域に表示する画像に関する情報である領域画像情報を記憶する領域画像記憶部と、
前記領域画像情報は少なくとも１つの領域レイヤーにて構成され、
前記制御部は、前記少なくとも一部の領域に対応付けられた領域レイヤーを設定し、前記少なくとも一部の領域に対してユーザによって入力される領域付加情報を、前記領域レイヤーに設定して前記領域画像情報として記憶する領域付加情報設定部と、
ユーザによって前記領域レイヤーが指定されると、前記領域画像記憶部を参照して、前記領域レイヤーに設定された前記領域付加情報を、前記領域レイヤーが対応する前記少なくとも一部に表示する領域レイヤー表示制御部とを有する、ことを特徴とする請求項１〜３のずれか１項に記載の行動分析支援システム。 An area image storage unit that stores area image information that is information relating to an image to be displayed in at least a part of the total area including the thumbnail display area and the reproduction display area;
The region image information is composed of at least one region layer,
The control unit sets an area layer associated with the at least some area, sets area additional information input by the user for the at least some area, and sets the area layer to the area layer. An area additional information setting unit for storing image information;
When the user designates the region layer, the region layer display that displays the region additional information set in the region layer on the at least part corresponding to the region layer with reference to the region image storage unit The behavior analysis support system according to claim 1, further comprising a control unit. 前記付加情報はテキスト情報と前記テキスト情報を配置する位置情報で構成され、
前記制御部は、前記ユーザによって所望のキーワードが指定されると、前記テキスト情報を検索して、前記キーワードを含むテキスト情報が対応付けられた動画データを検出する検出部を更に有し、
前記サムネイル画像生成部は、前記検出部によって検出された動画データから前記サムネイル画像を生成して前記サムネイル表示領域に表示することを特徴とする、請求項１〜４のいずれか１項に記載の行動分析支援システム。 The additional information includes text information and position information for arranging the text information.
The control unit further includes a detection unit that, when a desired keyword is designated by the user, searches the text information and detects moving image data associated with text information including the keyword,
5. The thumbnail image generation unit according to claim 1, wherein the thumbnail image generation unit generates the thumbnail image from the moving image data detected by the detection unit and displays the thumbnail image in the thumbnail display area. Behavior analysis support system. 前記付加情報は、手書き入力操作の軌跡情報であり、
前記動画再生部及び前記サムネイル画像生成部は、前記動画データに対応する画像の表示とともに、前記軌跡情報に従った表示を開始する、ことを特徴とする請求項５に記載の行動分析支援システム。 The additional information is locus information of a handwriting input operation,
The behavior analysis support system according to claim 5, wherein the moving image reproduction unit and the thumbnail image generation unit start displaying according to the trajectory information together with display of an image corresponding to the moving image data . 前記データ取得制御部は、ユーザによりスタンバイ操作があると、前記動画取得部によってバックグラウンド動画データの取得を開始して前記画像記憶部に記憶し、前記取得終了操作があると、前記バックグラウンド動画データのうち、前記取得開始操作がされた時から所定時間遡った時から前記取得終了操作がされた時までに対応する部分を、前記動画データとして取得する、ことを特徴とする請求項１〜６のいずれか１項に記載の行動分析支援システム。   When there is a standby operation by the user, the data acquisition control unit starts acquisition of background video data by the video acquisition unit and stores it in the image storage unit, and when there is the acquisition end operation, the background video The portion corresponding to the time from when the acquisition start operation is performed to when the acquisition end operation is performed from when the acquisition start operation is performed is acquired as the moving image data. 6. The behavior analysis support system according to any one of items 6. 所定の動体の動画データを取得する動画取得部と、
前記動画取得部によって取得された動画データを記憶する画像記憶部と、
複数のサムネイル画像が一覧表示されるサムネイル表示領域と、所定の動画データの再生画像が表示される再生表示領域とを有する画像表示部と、
前記動画取得部によって取得される動画データに関する処理を制御する制御部と、
ユーザの操作に対応した操作信号を前記制御部へ送る操作入力部と、
を備えたコンピュータを機能させる行動分析支援プログラムであって、
前記制御部を、
ユーザによる取得開始操作と取得終了操作に応じて、前記動画データを前記動画取得部を介して取得するデータ取得制御部と、
前記動画取得部によって取得中の動画データを再生して前記再生表示領域に表示する動画再生部と、
前記再生表示領域に表示された画像に対して視覚的に付加する付加情報のユーザによる入力を受け付け、その入力された付加情報を前記表示された画像に対応付けることにより、前記付加情報を前記動画データの所定区間の画像に対応付ける付加情報処理部と、
前記取得開始操作と前記取得終了操作に応じて取得された前記動画データ毎に、前記付加情報と共に取得画像データとして前記画像記憶部に記憶するデータ記憶制御部と、
前記画像記憶部に記憶された各動画データの再生画像を縮小したサムネイル画像を生成して、前記サムネイル表示領域に各動画データのサムネイル画像を再生しつつ一覧表示するサムネイル画像生成部と、して機能させ、
前記サムネイル画像生成部に、前記所定区間の動画データに対応する前記再生画像において、前記付加情報が対応付けられた画像とともにその付加情報を表示させる、
ことを特徴とする行動分析支援プログラム。 A video acquisition unit for acquiring video data of a predetermined moving object;
An image storage unit for storing moving image data acquired by the moving image acquisition unit;
An image display unit having a thumbnail display area in which a plurality of thumbnail images are displayed in a list, and a playback display area in which a playback image of predetermined moving image data is displayed;
A control unit that controls processing related to the video data acquired by the video acquisition unit;
An operation input unit that sends an operation signal corresponding to a user operation to the control unit;
A behavior analysis support program for causing a computer equipped with
The control unit
A data acquisition control unit that acquires the moving image data via the moving image acquisition unit in response to an acquisition start operation and an acquisition end operation by a user;
A video playback unit that plays back the video data being acquired by the video acquisition unit and displays it in the playback display area;
By accepting an input by the user of additional information visually added to the image displayed in the reproduction display area and associating the input additional information with the displayed image, the additional information is converted into the moving image data. An additional information processing unit associated with an image of a predetermined section of
A data storage control unit for storing in the image storage unit as acquired image data together with the additional information for each moving image data acquired in response to the acquisition start operation and the acquisition end operation;
It generates a thumbnail image obtained by reducing the reproduction image of the moving image data stored in the image storage unit, a thumbnail image generating unit that lists while reproducing a thumbnail image of each video data in the thumbnail display area, to Make it work
Causing the thumbnail image generation unit to display the additional information together with the image associated with the additional information in the reproduction image corresponding to the moving image data of the predetermined section ;
A behavior analysis support program characterized by this.
JP2008305080A 2008-11-28 2008-11-28 Behavior analysis support system and behavior analysis support program Expired - Fee Related JP5098976B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008305080A JP5098976B2 (en) 2008-11-28 2008-11-28 Behavior analysis support system and behavior analysis support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008305080A JP5098976B2 (en) 2008-11-28 2008-11-28 Behavior analysis support system and behavior analysis support program

Publications (2)

Publication Number Publication Date
JP2010129146A JP2010129146A (en) 2010-06-10
JP5098976B2 true JP5098976B2 (en) 2012-12-12

Family

ID=42329424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008305080A Expired - Fee Related JP5098976B2 (en) 2008-11-28 2008-11-28 Behavior analysis support system and behavior analysis support program

Country Status (1)

Country Link
JP (1) JP5098976B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6462638B2 (en) * 2013-03-01 2019-01-30 株式会社リコー Electronic information board, image processing method and program
JP6945794B1 (en) * 2021-04-30 2021-10-06 ＢｏｎＢｏｎ株式会社 Programs, methods, information processing equipment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354413A (en) * 2001-03-23 2002-12-06 Matsushita Electric Ind Co Ltd Image signal recording device
JP4194272B2 (en) * 2001-12-28 2008-12-10 キヤノン株式会社 Moving image management apparatus and method
JP2005293339A (en) * 2004-04-01 2005-10-20 Sony Corp Information processor and information processing method
JP4325541B2 (en) * 2004-11-16 2009-09-02 ソニー株式会社 Image processing apparatus, reproduction image processing apparatus, image processing method, and reproduction image processing apparatus
WO2007007556A1 (en) * 2005-07-07 2007-01-18 Sharp Kabushiki Kaisha Broadcast recording device
JP4240330B2 (en) * 2006-10-24 2009-03-18 ソニー株式会社 Database creation method, database creation program, database creation device, and video content recording device
JP4270404B2 (en) * 2007-01-16 2009-06-03 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 Portable terminal device, display control device, display control method, and display control program
JP4208028B2 (en) * 2007-10-01 2009-01-14 ヤマハ株式会社 Information processing apparatus, information processing apparatus control method, and program

Also Published As

Publication number Publication date
JP2010129146A (en) 2010-06-10

Similar Documents

Publication Publication Date Title
CN106227439B (en) Device and method for capturing digitally enhanced image He interacting
US10897486B2 (en) Display control apparatus, display control method, program, and communication system
CN101073048B (en) A content-management interface
US20150106750A1 (en) Display control apparatus, display control method, program, and communication system
JP5438377B2 (en) Information processing program and information processing apparatus
US20020055955A1 (en) Method of annotating an image
US20140019881A1 (en) Display control apparatus, display control method, program, and communication system
JP2010244526A (en) Method, system, and computer program for automatic detection of collaborative content, and method and system for visualizing change over time of content
WO2017002505A1 (en) Information processing device, information processing method and program
JP2005202863A (en) Information display program, method and device, and recording medium
JP5889028B2 (en) Moving picture recording apparatus, control method therefor, computer program, and storage medium
CN102033710A (en) Method for managing file folder and related equipment
KR20120006434A (en) Image processing device, image processing method, and computer program
JP2006054746A5 (en)
US20080228866A1 (en) Scrapbook server, method of controlling same, and control program therefor
JP5374169B2 (en) Image display device
CN113918522A (en) File generation method and device and electronic equipment
JP5098976B2 (en) Behavior analysis support system and behavior analysis support program
JP5345963B2 (en) Method for generating tag data to search for images
JP2018073096A (en) Information display device
JP6875861B2 (en) Information processing methods, devices, and programs
JP2008250700A (en) Information processor, window reproduction method and program
JP2007124368A (en) Segment metadata creation device and method
JP2007057958A (en) Display controller and display control method
JP3727794B2 (en) Information storage search method, information storage search device, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120910

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5098976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees