JPH11136573A - Simultaneous adding method for video information and recording medium recording the method - Google Patents
Simultaneous adding method for video information and recording medium recording the methodInfo
- Publication number
- JPH11136573A JPH11136573A JP29379597A JP29379597A JPH11136573A JP H11136573 A JPH11136573 A JP H11136573A JP 29379597 A JP29379597 A JP 29379597A JP 29379597 A JP29379597 A JP 29379597A JP H11136573 A JPH11136573 A JP H11136573A
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- information
- cluster
- video information
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、映像に属性や注釈
などの情報を付加する装置に関する。[0001] 1. Field of the Invention [0002] The present invention relates to an apparatus for adding information such as attributes and annotations to a video.
【０００２】[0002]
【従来の技術】映像の使い勝手を向上させるために、映
像にカット点情報やキーワードなどの属性や注釈の情報
を付加し、映像の検索や分類に用いることが提案されて
いる。これらの情報を付加する方法として、計算機によ
る映像解析により自動的に行う方法と、人手によって行
う方法がある。2. Description of the Related Art In order to improve the usability of videos, it has been proposed to add attributes such as cut point information and keywords and information of annotations to videos and use them for video search and classification. As a method of adding such information, there are a method of automatically performing the image analysis by a computer and a method of manually adding the information.
【０００３】従来技術のうち、人手によって映像に情報
を付加するための装置として、表計算機能を持ったスプ
レッドシート用いるものがある（特開平８−９５９８６
号）。この従来技術は、ビデオ映像を入力して、場面毎
に代表画像を抽出する第１の手段と、場面毎に関連する
情報を入力する第２の手段と、代表画像と場面毎の関連
情報とが同じ行もしくは列になるように表を作成して表
示する第３の手段を有する。なお、場面とは、同一被写
体の存在区間、同一テーマの区間、類似フレーム画像の
連続区間、などといった、ある基準により切り分けられ
るフレーム区間である。この従来技術によると、ユーザ
はビデオ映像をモニタしながら、気付いたときに随時関
連情報を書き込むことができ、また、入力された情報か
ら計算される別の情報を一覧表の中で即座に確認でき
る。[0003] Among the prior arts, as a device for manually adding information to a video, there is a device using a spreadsheet having a spreadsheet function (JP-A-8-95986).
issue). This prior art includes a first means for inputting a video image and extracting a representative image for each scene, a second means for inputting information related to each scene, and a method for inputting a representative image and related information for each scene. Has a third means for creating and displaying a table so that the tables are in the same row or column. Note that a scene is a frame section that is separated based on a certain standard, such as a section where the same subject exists, a section with the same theme, a continuous section of similar frame images, and the like. According to this conventional technique, a user can write relevant information as needed while monitoring a video image, and can immediately check other information calculated from the input information in a list. it can.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら上記の従
来技術では、場面毎の代表画像に対して個々に情報を付
加する必要があるため、オペレータの負担が大きいの
で、小規模の映像に対して情報を付加する場合には有効
であるが、大量の映像データを対象にして情報を付加す
る場合には実用的ではないという問題があった。However, in the above prior art, since it is necessary to add information individually to the representative image for each scene, the burden on the operator is large. Is effective when the information is added, but is not practical when information is added to a large amount of video data.
【０００５】そこで本発明は、代表画像を類似度により
分類し、分類毎でまとめて一斉に情報を付加し、オペレ
ータの負担を減らすことができる映像情報付加装置を提
供することを課題とする。Accordingly, an object of the present invention is to provide a video information adding apparatus which classifies representative images according to similarity, adds information collectively for each classification, and reduces the burden on the operator.
【０００６】[0006]
【課題を解決するための手段】前記の課題を解決するた
めに、本発明は、各場面の代表フレーム画像の特徴量ベ
クトルを抽出する特徴量抽出段階と、特徴量ベクトルが
類似したクラスタに分類するクラスタリング段階と、ク
ラスタ毎にフレーム画像を表示手段に表示するフレーム
画像表示段階と、フレーム画像を指定して情報を入力す
る情報入力段階とを有することを特徴とする。In order to solve the above-mentioned problems, the present invention provides a feature value extracting step of extracting a feature value vector of a representative frame image of each scene, and classifying the feature vectors into clusters having similar feature value vectors. Clustering step, a frame image displaying step of displaying a frame image on a display unit for each cluster, and an information inputting step of inputting information by designating the frame image.
【０００７】また、本発明は、前記特徴量抽出段階にお
いて、各場面の代表フレーム画像を縮小した画像の輝度
値の並びを特徴量ベクトルとすることを特徴とするもの
もある。[0007] The present invention is also characterized in that, in the feature amount extracting step, a sequence of luminance values of an image obtained by reducing a representative frame image of each scene is used as a feature amount vector.
【０００８】また、本発明は、前記クラスタリング段階
において、所望のクラスタ数になるまで、クラスタの重
心と特徴量ベクトルとの間の距離の和の最も大きいクラ
スタを分割することによってクラスタリングを行うこと
を特徴とするものもある。Further, in the present invention, in the clustering step, clustering is performed by dividing a cluster having the largest sum of the distance between the center of gravity of the cluster and the feature vector until the desired number of clusters is obtained. Some are characteristic.
【０００９】また、本発明は、前記フレーム画像表示段
階が、クラスタの重心と特徴量ベクトルとの間の距離の
標準偏差の小さい順にクラスタを並べることを特徴とす
るものもある。The present invention is also characterized in that the frame image displaying step arranges the clusters in ascending order of the standard deviation of the distance between the center of gravity of the cluster and the feature quantity vector.
【００１０】また、本発明は、前記フレーム画像表示段
階が、クラスタの重心と特徴量ベクトルとの間の距離が
小さい順にフレーム画像を並べることを特徴とするもの
もある。In another aspect of the present invention, the displaying of the frame images includes arranging the frame images in ascending order of the distance between the center of gravity of the cluster and the feature vector.
【００１１】また、本発明は、前記フレーム画像表示段
階が、クラスタの重心と特徴量ベクトルとの間の距離
と、前記距離の標準偏差との比較結果に基づいて、フレ
ーム画像をハイライト表示することを特徴とするものも
ある。In the present invention, the displaying of the frame image may include highlighting the frame image based on a comparison result between a distance between the center of gravity of the cluster and the feature vector and a standard deviation of the distance. Some are characterized by:
【００１２】また、本発明は、前記フレーム画像表示段
階が、情報付加済、あるいは、未付加のフレーム画像を
ハイライト表示することを特徴とするものもある。The present invention is also characterized in that in the frame image display step, a frame image to which information has been added or to which information has not been added is highlighted.
【００１３】また、本発明は、前記フレーム画像表示段
階が、指定したフレーム画像に付加されている情報を表
示し、指定したフレーム画像が複数の場合には、付加情
報の和集合、あるいは、積集合を表示することを特徴と
するものもある。Further, according to the present invention, in the frame image display step, information added to the designated frame image is displayed, and when there are a plurality of designated frame images, a union set or a product of the additional information is displayed. Some are characterized by displaying sets.
【００１４】本発明では、映像の各場面を代表するフレ
ーム画像から抽出した特徴量ベクトルが類似したクラス
タに分類し、分類したクラスタ毎にフレーム画像を表示
することで、分類毎でまとめて情報を付加できるように
することにより、似たフレーム画像を持つ場面をまとめ
て一斉に情報を付加できるようにしている。In the present invention, the feature vectors extracted from a frame image representing each scene of a video are classified into similar clusters, and a frame image is displayed for each of the classified clusters. By making it possible to add information, scenes having similar frame images can be added all at once.
【００１５】[0015]
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１６】図１は、本発明による方法の一実施形態例
を表す流れ図である。まず、場面を代表するフレーム画
像の情報が入力されると、ステップ１０１の特徴量抽出
段階においてフレーム画像から特徴量ベクトルを抽出す
る。次に、ステップ１０２のクラスタリング段階におい
て、特徴量ベクトルが類似したクラスタに分割する。ス
テップ１０３のフレーム画像表示段階では、クラスタ毎
にフレーム画像を表示する。ステップ１０４の情報入力
段階では、対象となるフレーム画像を指定して情報を入
力する。FIG. 1 is a flowchart representing one embodiment of the method according to the present invention. First, when information of a frame image representing a scene is input, a feature amount vector is extracted from the frame image in a feature amount extraction step of step 101. Next, in the clustering stage of step 102, the feature vectors are divided into clusters having similar feature vectors. In the frame image display stage of step 103, a frame image is displayed for each cluster. In the information input stage of step 104, information is input by designating a target frame image.
【００１７】入力となるフレーム画像は、例えば、図２
に示す場面管理表によって管理される。第１列は場面の
ＩＤ番号であり、重複のない数字が割り振られる。第２
列は映像データのＩＤ番号であり、この列が存在するこ
とによって、複数の映像データを一括して管理すること
ができる。第３，４列は、それぞれ、場面の開始、終了
フレーム番号である。なお、ここではフレーム番号とし
たが時間によって管理してもよい。The input frame image is, for example, as shown in FIG.
Is managed by the scene management table shown in FIG. The first column is a scene ID number, and a unique number is assigned. Second
The column is the ID number of the video data, and the presence of this column allows a plurality of video data to be managed collectively. The third and fourth columns are the start and end frame numbers of the scene, respectively. Although the frame number is used here, it may be managed by time.
【００１８】この場面管理表によって管理された情報を
用いて、図３のように映像データからフレーム画像を取
り出す。まず、場面管理表から１行ずつ情報を取り出
す。映像ＩＤ（図では「２００１」）によって指定され
る映像データから、開始フレーム番号（図では「４
５」）をのフレーム画像を取り出す。なお、ここでは場
面の開始フレームを代表としたが、終了フレームや中間
のフレームを用いてもよい。次に、取り出したフレーム
画像を、場面ＩＤ（図では「１」）と組にして管理す
る。以上の手順を場面管理表の各行について実行すれ
ば、各場面を代表するフレーム画像と場面ＩＤの組を取
り出すことができる。Using the information managed by the scene management table, a frame image is extracted from the video data as shown in FIG. First, information is extracted line by line from the scene management table. From the video data specified by the video ID (“2001” in the figure), the start frame number (“4” in the figure)
5)) is taken out. Although the start frame of the scene is represented here, an end frame or an intermediate frame may be used. Next, the extracted frame image is managed in combination with a scene ID (“1” in the figure). By executing the above procedure for each row of the scene management table, a set of a frame image and a scene ID representing each scene can be extracted.
【００１９】図４に、本発明の特徴量抽出段階（ステッ
プ１０１）の実施形態例を示す。ここでは、まず、フレ
ーム画像を９×６画素の縮小画像に縮小する。各画素
は、赤緑青（ＲＧＢ）の色の３要素から構成されるの
で、縮小画像は９×６×３＝１６２個の値から構成され
ることになる。この値を一定の順番で並べて（例えば、
左上から右下に走査する）１６２次元の特徴量ベクトル
ｘn（１≦ｎ≦Ｎ）とする。ここでｘnの添字ｎは、場面
ＩＤであり、Ｎは場面数である。FIG. 4 shows an embodiment of the feature extraction step (step 101) of the present invention. Here, first, the frame image is reduced to a reduced image of 9 × 6 pixels. Since each pixel is composed of three elements of red, green and blue (RGB), the reduced image is composed of 9 × 6 × 3 = 162 values. This value is arranged in a certain order (for example,
(Scan from the upper left to the lower right) is assumed to be a 162-dimensional feature amount vector x n (1 ≦ n ≦ N). Here, the subscript n of x n is a scene ID, and N is the number of scenes.
【００２０】なお、ここでは縮小画像を９×６画素とし
たが、これ以外の大きさにしてもよい。また、色空間を
ＲＧＢ空間から、Ｌ* ｕ* ｖ* 均等色空間やＬ* ａ* ｂ
* 均等色空間など、他の色空間に変換してもよい。Although the reduced image is 9 × 6 pixels here, the reduced image may have another size. The color space is changed from the RGB space to the L * u * v * uniform color space or the L * a * b
* It may be converted to another color space such as a uniform color space.
【００２１】特徴量ベクトルｘnの各成分ｘnjは、平均
値Each component x nj of the feature vector x n is an average value
【００２２】[0022]
【数１】 (Equation 1)
【００２３】を引き、標準偏差σjで割って正規化して
おく。すなわち、Is subtracted and normalized by the standard deviation σ j . That is,
【００２４】[0024]
【数２】 (Equation 2)
【００２５】とする。It is assumed that
【００２６】図５に、本発明のクラスタリング段階（ス
テップ１０２）の実施形態例の流れ図を示す。この実施
形態例では、初期クラスタ数を１とし、クラスタ数が所
望の数になるまで、クラスタの重心とそのクラスタに属
する特徴量ベクトルとの距離の和が最大であるクラスタ
を分割していく。つまり、ばらつきが大きいクラスタを
分割していくことにより、バランスが良く歪みの少ない
クラスタリングを行うものである。FIG. 5 shows a flowchart of an exemplary embodiment of the clustering step (step 102) of the present invention. In this embodiment, the initial cluster number is set to 1, and the cluster having the largest sum of the distance between the center of gravity of the cluster and the feature vector belonging to the cluster is divided until the cluster number reaches a desired number. In other words, clustering with good balance and little distortion is performed by dividing clusters having large variations.
【００２７】まず、ステップ５０１で正規化された特徴
量ベクトルｘn（１≦ｎ≦Ｎ）を入力する。ただしＮは
特徴量ベクトルの数、すなわち、入力したフレーム画像
の数である。次に、ステップ５０２において１番目のク
ラスタの重心ｚ1の初期値を与える。またｍをクラスタ
数とし、初期値１とする。First, the feature quantity vector x n (1 ≦ n ≦ N) normalized in step 501 is input. Here, N is the number of feature amount vectors, that is, the number of input frame images. Next, in step 502, an initial value of the center of gravity z1 of the first cluster is given. Also, m is the number of clusters, and the initial value is 1.
【００２８】続いて、ステップ５０３において、すべて
のｘnについて、最も近いクラスタ重心ｚi（１≦ｉ≦
ｍ）を見つけ、そのクラスタＣiにｘnが属するとする。
つまり、すべてのｘnを、いずれかのクラスタＣiに分配
する。数式で表すと、ｘn∈Ｃj,ｊ＝ａｒｇi ｍｉｎ
ｄ（ｘn，ｚi） （４）となる。ただし、ａｒｇi
ｍｉｎ ｘ（ｉ）は、ｘ（ｉ）が最小となるｉを表
す。また、ｄ（ｘ，ｙ）はｘとｙの間の距離であり、例
えば、ユーグリッド距離Subsequently, in step 503, for all x n , the nearest cluster centroid z i (1 ≦ i ≦
m) and let x n belong to that cluster C i .
That is, all x n are distributed to any of the clusters C i . Expressed as a mathematical expression, x n ∈C j , j = arg i min
d (x n , z i ) (4) Where arg i
min x (i) represents i at which x (i) is minimized. Also, d (x, y) is a distance between x and y, for example, a U grid distance.
【００２９】[0029]
【数３】 (Equation 3)
【００３０】を用いることができる。Can be used.
【００３１】次に、ステップ５０４において、次のよう
に距離の総和Ｄを求め、閾値Ｔと比較する。Next, at step 504, the total sum D of the distance is obtained as follows and compared with the threshold T.
【００３２】[0032]
【数４】 (Equation 4)
【００３３】Ｄiは、クラスタＣiの重心ｚiとそのクラ
スタに属する特徴量ベクトルｘとの距離の和であり、Ｄ
は全クラスタにわたってＤiの和を求めたものである。
もしＤ＜Ｔならば、ステップ５０６に進み、そうでない
ならば、ステップ５０５に進む。[0033] D i is the sum of the distance between the center of gravity z i and feature vector x belonging to the cluster of cluster C i, D
Is one obtained a sum of D i over all clusters.
If D <T, go to step 506; otherwise, go to step 505.
【００３４】ステップ５０５では、次のように各クラス
タＣiの重心ｚiを再計算する。In step 505, the center of gravity z i of each cluster C i is calculated again as follows.
【００３５】[0035]
【数５】 (Equation 5)
【００３６】ただし、ＫiはＣiに属するｘの個数であ
る。ｚiの再計算の後は、ステップ５０３に戻って、ｘn
を分配し直す。[0036] However, K i is the number of x belonging to C i. After recalculating z i , the process returns to step 503, where x n
Redistribute.
【００３７】ステップ５０６では、クラスタ数ｍが、所
望のクラスタ数Ｍに達したかどうかを判別し、もしｍ＝
Ｍならば、ステップ５０７に進んでクラスタリング段階
を終了する。ｍ＜Ｍならば、ステップ５０８に進む。In step 506, it is determined whether or not the number m of clusters has reached a desired number M of clusters.
If M, go to step 507 to end the clustering stage. If m <M, the process proceeds to step 508.
【００３８】ステップ５０８では、距離の和Ｄiが最大
のクラスタＣdを求める。In step 508, the cluster C d having the largest sum of distances D i is obtained.
【００３９】ｄ＝ａｒｇi ｍａｘ Ｄi …（９） 次のステップ５０９では、Ｃdを分割して、新しいクラ
スタＣm+1を生成する。そこで、Ｃm+1の重心ｚm+1を、
Ｃdの重心ｚdの近傍のｚd＋Δｚとし、ｚdは、ｚd−Δ
ｚに置き換える。D = arg i max D i (9) In the next step 509, C d is divided to generate a new cluster C m + 1 . Thus, the center of gravity z m + 1 of C m + 1 is
Let z d + Δz near the center of gravity z d of C d , where z d is z d −Δ
Replace with z.
【００４０】ｚm+1＝ｚd＋Δｚ …（１０） ｚd＝ｚd−Δｚ …（１１） ただし、Δｚは、小さいベクトルであり、例えば、 Δｚi＝０．００１ …（１２） を用いることができる。Z m + 1 = z d + Δz (10) z d = z d -Δz (11) where Δz is a small vector, and for example, Δz i = 0.001 (12) is used. be able to.
【００４１】次のステップ５１０では、クラスタ数ｍを
１増やす。そして、ステップ５０３に戻って、ｘnを分
配し直す。In the next step 510, the number m of clusters is increased by one. Then, the process returns to step 503 to redistribute xn .
【００４２】以上の手順によって、ｘnをＭ個のクラス
タＣi（１≦ｉ≦Ｍ）に分けることができる。According to the above procedure, x n can be divided into M clusters C i (1 ≦ i ≦ M).
【００４３】クラスタリングの結果は、図６と図７に示
すようなクラスタ情報管理表（１），（２）によって管
理される。図６のクラスタ情報管理表（１）は、各クラ
スタの距離の和Ｄi、ｘの個数Ｋiを管理している。さら
に、The result of the clustering is managed by the cluster information management tables (1) and (2) as shown in FIGS. The cluster information management table (1) in FIG. 6 manages the sum D i of distances of each cluster and the number K i of x. further,
【００４４】[0044]
【数６】 (Equation 6)
【００４５】によって標準偏差σiを求めて、併せて表
に記録しておく。この値は後で並べ替えやハイライト表
示のときに頻繁に用いられるので、あらかじめ計算して
おくと効率がよい。もちろん、このようにσiをあらか
じめ計算しておくのではなく、必要になった時点でその
都度ＤiとＫiから計算してもよい。[0045] by seeking the standard deviation sigma i, together is recorded in the table. Since this value is frequently used later for sorting or highlighting, it is efficient to calculate it in advance. Of course, in this way rather than calculated in advance the sigma i, may be calculated from each time D i and K i when needed.
【００４６】図７のクラスタ情報管理表（２）は、各ク
ラスタに属する特徴量ベクトルを管理する表である。前
記のクラスタリングの結果、各クラスタに特徴量ベクト
ルが分配されたが、その特徴量ベクトルｘnの添字ｎは
場面ＩＤを表していた。そこで、各クラスタごとに、場
面ＩＤを並べる形式で表を構成する。さらに、ｘnと、
クラスタ重心ｚiとの距離ｄ＝ｄ（ｘn，ｚi）の値も併
せて記録しておく。ｄは、後で、並べ替えやハイライト
表示のために用いられる。The cluster information management table (2) in FIG. 7 is a table for managing feature amount vectors belonging to each cluster. As a result of the clustering, the feature vectors were distributed to the respective clusters, and the subscript n of the feature vector xn represented the scene ID. Therefore, a table is formed in a format in which scene IDs are arranged for each cluster. Further, x n and
The value of the distance d = d (x n , z i ) from the cluster centroid z i is also recorded. d will be used later for sorting and highlighting.
【００４７】次に、図８を用いて、本発明のフレーム画
像表示段階（ステップ１０３）と情報入力段階（１０
４）の実施形態例を説明する。前記クラスタリングの結
果は、後述のように８０１と８０９のようなフレーム画
像表示部を用いて表示される。また、８０６の情報入力
部を用いて、後述のようにフレーム画像に対して情報が
付加される。Next, referring to FIG. 8, a frame image display step (step 103) and an information input step (10
The embodiment 4) will be described. The result of the clustering is displayed using a frame image display unit such as 801 and 809 as described later. Also, information is added to the frame image using the information input unit 806 as described later.
【００４８】８０１は、フレーム画像表示部の第１の実
施形態例である。このフレーム画像表示部８０１には、
各場面のフレーム画像がクラスタ毎に並んで表示され
る。８０２や８０３は、各場面のフレーム画像の例であ
る。８０２は後に述べるように太枠によってハイライト
表示されている例である。８０４はスクロールバーであ
り、クラスタリングの結果が画面に収まりきらない場合
に、このスクロールバー８０４を操作することによっ
て、画面をスクロールして全体を表示することができ
る。Reference numeral 801 denotes a first embodiment of the frame image display unit. The frame image display unit 801 includes:
Frame images of each scene are displayed side by side for each cluster. Reference numerals 802 and 803 are examples of frame images of each scene. An example 802 is highlighted by a bold frame as described later. Reference numeral 804 denotes a scroll bar. When the result of clustering does not fit on the screen, by operating the scroll bar 804, the screen can be scrolled to display the entire screen.
【００４９】フレーム画像はクラスタ毎に表示される
が、クラスタの並び順は次のように決めることができ
る。すなわち、前述の図６のクラスタ情報管理表（１）
のように、各クラスタについて標準偏差σを計算した
が、このσの小さい順にクラスタを並べ替えることがで
きる。このようにすれば、よりばらつきの少ないクラス
タほど先頭に現れるようになる。クラスタ内のばらつき
が小さければ、情報をまとめて付加するのが容易にな
る。したがって、情報を一斉に入力するのに適した順に
並べることができる。The frame image is displayed for each cluster, and the order of the clusters can be determined as follows. That is, the cluster information management table (1) in FIG.
As described above, the standard deviation σ is calculated for each cluster, but the clusters can be rearranged in ascending order of σ. In this way, clusters with less variation appear at the top. If the variation in the cluster is small, it becomes easy to add information collectively. Therefore, information can be arranged in an order suitable for simultaneous input.
【００５０】また、ひとつのクラスタ内での、フレーム
画像の並び順は、次のように決めることができる。すな
わち、前記の図７のクラスタ情報管理表（２）のよう
に、フレーム画像とクラスタ重心との間の距離ｄを記録
したが、このｄの値の小さい順にフレーム画像を並べる
ことができる。このようにすれば、クラスタ重心に近い
順にフレーム画像が並ぶので、そのクラスタを代表する
フレーム画像ほど先に現れることになる。The arrangement order of frame images in one cluster can be determined as follows. That is, the distance d between the frame image and the cluster center of gravity is recorded as in the cluster information management table (2) in FIG. 7, but the frame images can be arranged in ascending order of the value of d. In this way, the frame images are arranged in order from the closest to the center of gravity of the cluster, so that the frame image representing the cluster appears earlier.
【００５１】さらに、前述の標準偏差σと距離ｄとを比
較して、ｄ＜Ｎσとなるフレーム画像をハイライト表示
することができる。ただし、Ｎは１，２，３であり、そ
れぞれについて色を変えるなど異なる方法でハイライト
表示してもよい。統計学によれば、クラスタ内のばらつ
きを正規分布と仮定すれば、σ以内に６８％、２σ以内
に９５％、３σ以内に９９％の要素が分布していること
が知られている。したがって、ハイライト表示されてい
るフレーム画像は、クラスタを代表するフレーム画像で
あることを表す。逆に、ハイライト表示されていないフ
レーム画像は、そのクラスタにとって異質であることを
表す。つまり、ハイライト表示によって、そのフレーム
画像がそのクラスタを代表するかどうかが分かりやすく
なる。Further, by comparing the standard deviation σ with the distance d, a frame image satisfying d <Nσ can be highlighted. However, N is 1, 2, 3, and each of them may be highlighted by a different method such as changing a color. According to statistics, it is known that, assuming that the variation within a cluster is a normal distribution, 68% of the elements are distributed within σ, 95% within 2σ, and 99% within 3σ. Therefore, the highlighted frame image represents a frame image representing a cluster. Conversely, a frame image that is not highlighted indicates that it is foreign to the cluster. In other words, the highlight display makes it easy to see whether the frame image represents the cluster.
【００５２】さらに、情報付加済のフレーム画像のみを
ハイライト表示したり、逆に、未付加のフレーム画像を
ハイライト表示することもできる。Further, it is possible to highlight only the frame image to which information is added, or to highlight the frame image to which information is not added.
【００５３】以上の並べ替え及びハイライト表示によ
り、似たフレーム画像同士がまとまり、しかも、まとま
りの良い順に目立つように表示されるので、オペレータ
が情報を一斉に入力するのが容易になる。さらに、情報
が付加されているかどうかによって、ハイライト表示を
切り替えることができるので、情報の付け忘れを防ぐこ
とができる。By the above-described rearrangement and highlight display, similar frame images are grouped together and are displayed so as to be conspicuous in the order of grouping, so that the operator can easily input information all at once. Furthermore, highlight display can be switched depending on whether or not information has been added, so that forgetting to add information can be prevented.
【００５４】８０５の斜線部は、情報入力の対象となる
フレーム画像を選択した範囲を表している。この選択範
囲８０５は、フレーム画像をポインティングデバイスに
よって指定したり、マウスドラッグなどの範囲選択法に
よってまとめて指定したりすることができる。この選択
範囲８０５内のフレーム画像を、選択フレーム画像と呼
ぶ。A shaded portion 805 indicates a range in which a frame image to be input of information is selected. This selection range 805 can be specified by using a pointing device to specify frame images or collectively using a range selection method such as mouse dragging. A frame image within the selection range 805 is called a selected frame image.
【００５５】８０６は情報入力部の実施形態例である。
８０７は情報入力欄であり、前記の選択フレーム画像に
対して付加する情報をキーボードなどによって入力す
る。なお、メニューなどの一覧から選択するようにして
もよい。８０８は入力ボタンであり、これを押すことに
よって、対象フレーム画像に入力情報が付加される。Reference numeral 806 denotes an embodiment of the information input unit.
An information input field 807 is used to input information to be added to the selected frame image using a keyboard or the like. In addition, you may make it select from a list, such as a menu. An input button 808 is pressed to add input information to the target frame image.
【００５６】８０９はフレーム画像表示部の第２の実施
形態例である。８１０は、前記の選択フレーム画像が表
示される領域である。複数のフレーム画像が選択されて
いる場合は、どれかひとつが表示される。８１１には、
選択フレーム画像に付加された情報が一覧表示される領
域である。情報が画面に収まらない場合には、８１２の
スクロールバーによってスクロールして表示することが
できる。複数のフレーム画像が選択されている場合に
は、選択フレーム画像すべてに共通する情報（積集合）
を表示してもよいし、いずれかの選択フレーム画像に付
加されている情報（和集合）を表示してもよい。このよ
うにして、入力済の情報を確認することができる。Reference numeral 809 denotes a second embodiment of the frame image display unit. Reference numeral 810 denotes an area where the selected frame image is displayed. When a plurality of frame images are selected, one of them is displayed. 811:
This is an area where a list of information added to the selected frame image is displayed. If the information does not fit on the screen, the information can be scrolled and displayed using a scroll bar 812. When multiple frame images are selected, information common to all selected frame images (intersection)
May be displayed, or information (union) added to any of the selected frame images may be displayed. Thus, the input information can be confirmed.
【００５７】なお、表示手段としては、ブラウン管や、
液晶ディスプレイなどを用いることができる。入力手段
としては、マウスやタッチパネル、タブレット、キーボ
ードなどを用いることができる。また、フレーム画像の
ハイライト表示は、枠を太くして強調する、あるいは、
明度を向上させるなどの方法の他に、それ以外のフレー
ム画像を、目立たないように表示する、あるいは、表示
しないことによって、相対的にハイライト表示を実現し
てもよい。As the display means, a cathode ray tube,
A liquid crystal display or the like can be used. As the input means, a mouse, a touch panel, a tablet, a keyboard, or the like can be used. Also, the highlight display of the frame image is emphasized by making the frame thicker,
In addition to the method of improving the brightness, the other frame images may be displayed inconspicuously or may not be displayed, so that a relatively highlighted display may be realized.
【００５８】情報入力部８０６によって入力された情報
は、図９のような場面ＩＤと、入力された付加情報の組
を蓄積した付加情報管理表によって管理される。この付
加情報管理表を用いれば、例えば、特定の情報が付加さ
れている場面ＩＤを検索したり、ある場面に付加されて
いる情報一覧を得たりすることができる。それぞれ、Ｓ
ＱＬ言語を用いて表せば、 ＳＥＬＥＣＴ 場面 ＩＤ ＦＲＯＭ 付加情報管理表
ＷＨＥＲＥ 付加情報＝’人物’；ＳＥＬＥＣＴ 付
加情報 ＦＲＯＭ 付加情報管理表 ＷＨＥＲＥ 場面
ＩＤ＝１２３４；となる。The information input by the information input unit 806 is managed by an additional information management table in which sets of scene IDs and input additional information as shown in FIG. 9 are stored. By using this additional information management table, for example, a scene ID to which specific information is added can be searched, or a list of information added to a certain scene can be obtained. S
If expressed using the QL language, SELECT scene ID FROM additional information management table WHERE additional information = 'person'; SELECT additional information FROM additional information management table WHERE scene ID = 1234;
【００５９】なお、図２，６，７，９に示した表は、リ
レーショナルデータベースに適するように構成した例で
あり、これ以外の構成もありうる。例えば、オブジェク
ト指向データベース等を用いる場合には、図１０に示す
ように複数の表を参照関係によって結びつけて構成して
もよい。The tables shown in FIGS. 2, 6, 7 and 9 are examples configured to be suitable for a relational database, and other configurations are possible. For example, when an object-oriented database or the like is used, a plurality of tables may be linked by a reference relationship as shown in FIG.
【００６０】なお、以上の実施形態例で示した各種の抽
出手順、および、クラスタリング手順、表示手順、情報
付加手順は、コンピュータで適宜実行することが可能で
あり、その手順をコンピュータに実行させるためのプロ
グラムを、該コンピュータが読み取り可能な記録媒体、
例えばフロッピーディスクやＣＤ−ＲＯＭなどに記録し
て配布することが可能である。The various extraction procedures, the clustering procedure, the display procedure, and the information addition procedure described in the above embodiment can be appropriately executed by a computer, and are executed by the computer. A computer-readable recording medium,
For example, it can be recorded on a floppy disk or a CD-ROM and distributed.
【００６１】本発明は、その主旨を変更しない範囲で様
々に変形して用いることができる。例えば、特徴量とし
て、色のヒストグラムや、画面の動き、物体の形状など
を用いることができる。The present invention can be variously modified and used without changing the gist thereof. For example, a color histogram, screen movement, shape of an object, or the like can be used as the feature amount.
【００６２】[0062]
【発明の効果】本発明によれば、特徴量抽出段階とクラ
スタリング段階とフレーム画像表示段階と情報入力段階
を有するので、似たフレーム画像を持つ場面をまとめて
一斉に情報を付加することができる。According to the present invention, since there are a feature extraction stage, a clustering stage, a frame image display stage, and an information input stage, scenes having similar frame images can be collectively added with information. .
【００６３】また、本発明によれば、フレーム画像を縮
小した画像の輝度値の並びを特徴量ベクトルとするの
で、フレーム画像を反映した特徴量を得ることができ
る。Further, according to the present invention, since the arrangement of the luminance values of the image obtained by reducing the frame image is used as the characteristic amount vector, the characteristic amount reflecting the frame image can be obtained.
【００６４】また、本発明によれば、クラスタの重心と
特徴量ベクトルとの間の距離の和の最も大きいクラスタ
を分割することによってクラスタリングを行うので、バ
ランスが良く歪みの少ないクラスタリングが可能であ
る。Further, according to the present invention, clustering is performed by dividing the cluster having the largest sum of the distance between the center of gravity of the cluster and the feature vector, so that clustering with good balance and little distortion is possible. .
【００６５】また、本発明によれば、クラスタの重心と
特徴量ベクトルとの間の距離の標準偏差の小さい順にク
ラスタを並べるので、よりばらつきの少ないクラスタほ
ど先頭に現れるようになる。クラスタ内のばらつきが小
さければ、情報をまとめて付加するのが容易になるの
で、情報を一斉に入力するのに適した順に並べることが
できる。According to the present invention, the clusters are arranged in ascending order of the standard deviation of the distance between the center of gravity of the cluster and the feature vector, so that the cluster with less variation appears first. If the variation in the cluster is small, it is easy to add the information collectively, so that the information can be arranged in an order suitable for simultaneous input.
【００６６】また、本発明によれば、クラスタ内で、ク
ラスタの重心と特徴量ベクトルとの間の距離が小さい順
にフレーム画像を並べるので、そのクラスタを代表する
フレーム画像ほど先に現れる。したがって、似たフレー
ム画像どうしがまとまり、オペレータが情報を一斉に入
力するのが容易になる。Further, according to the present invention, since the frame images are arranged in the cluster in ascending order of the distance between the center of gravity of the cluster and the feature vector, the frame image representing the cluster appears earlier. Therefore, similar frame images are united, and it becomes easy for the operator to input information all at once.
【００６７】また、本発明によれば、クラスタの重心と
特徴量ベクトルとの間の距離と、前記距離の標準偏差と
の比較結果に基づいて、フレーム画像をハイライト表示
するので、そのフレーム画像がそのクラスタを代表する
かどうかが分かりやすくなる。According to the present invention, a frame image is highlighted based on the result of comparison between the distance between the center of gravity of the cluster and the feature vector and the standard deviation of the distance. Is easy to understand whether or not represents the cluster.
【００６８】また、本発明によれば、情報付加済、ある
いは、未付加のフレーム画像をハイライト表示するの
で、情報の付け忘れを防ぐことができる。According to the present invention, a frame image to which information has been added or to which information has not been added is highlighted, so that it is possible to prevent information from being forgotten.
【００６９】前記フレーム画像表示段階が、指定したフ
レーム画像に付加されている情報を表示し、指定したフ
レーム画像が複数の場合には、付加情報の和集合、ある
いは、積集合を表示するので、入力済の情報を確認する
ことができる。In the frame image display step, information added to the designated frame image is displayed. If there are a plurality of designated frame images, the union or intersection of the additional information is displayed. You can check the information that has been entered.
【図１】本発明の一実施形態例を表す流れ図である。FIG. 1 is a flowchart illustrating an exemplary embodiment of the present invention.
【図２】上記実施形態例における場面管理表を表す図で
ある。FIG. 2 is a diagram illustrating a scene management table in the embodiment.
【図３】上記実施形態例において場面管理表から代表フ
レームを得る手順を表す図である。FIG. 3 is a diagram illustrating a procedure for obtaining a representative frame from a scene management table in the embodiment.
【図４】本発明における特徴量ベクトルを得る手順の実
施形態例を表す図である。FIG. 4 is a diagram illustrating an embodiment of a procedure for obtaining a feature amount vector according to the present invention.
【図５】本発明におけるクラスタリングの手順の実施形
態例を表す流れ図である。FIG. 5 is a flowchart illustrating an exemplary embodiment of a clustering procedure according to the present invention.
【図６】上記実施形態例におけるクラスタ情報管理表
（１）を表す図である。FIG. 6 is a diagram showing a cluster information management table (1) in the embodiment.
【図７】上記実施形態例におけるクラスタ情報管理表
（２）を表す図である。FIG. 7 is a diagram showing a cluster information management table (2) in the embodiment.
【図８】本発明におけるフレーム画像表示段階と情報入
力段階の手段の実施形態例を表す図である。FIG. 8 is a diagram illustrating an embodiment of means for a frame image display stage and an information input stage in the present invention.
【図９】上記実施形態例における付加情報管理表を表す
図である。FIG. 9 is a diagram illustrating an additional information management table in the embodiment.
【図１０】場面管理表、付加情報管理表、クラスタ情報
管理表の別の実施形態例を表す図である。FIG. 10 is a diagram illustrating another embodiment example of a scene management table, an additional information management table, and a cluster information management table.
１０１…特徴量抽出段階 １０２…クラスタリング段階 １０３…フレーム画像表示段階 １０４…情報入力段階 ５０１〜５１０…クラスタリング段階のステップ ８０１…フレーム画像表示部 ８０２…フレーム画像（ハイライト表示） ８０３…フレーム画像 ８０６…情報入力部 ８０７…情報入力欄 ８０８…入力ボタン ８０９…フレーム画像表示部 ８１０…選択フレーム画像表示領域 ８１１…付加情報表示領域 101: Feature extraction stage 102: Clustering stage 103: Frame image display stage 104: Information input stage 501 to 510: Clustering stage step 801: Frame image display unit 802: Frame image (highlight display) 803: Frame image 806 ... Information input section 807 ... Information input field 808 ... Input button 809 ... Frame image display section 810 ... Selected frame image display area 811 ... Additional information display area
Claims (16)
出する特徴量抽出段階と、 前記抽出された特徴量ベクトルが類似したクラスタに分
類するクラスタリング段階と、 前記分類されたクラスタ毎にフレーム画像を表示手段に
表示するフレーム画像表示段階と、 フレーム画像を指定して情報を入力する情報入力段階
と、 を有することを特徴とする映像情報一斉付加方法。1. A method for adding information to a video, comprising: extracting a feature vector of a representative frame image of each scene of the video; and classifying the extracted feature vectors into clusters having similar feature vectors. Video information, comprising: a clustering step of performing a frame image display step of displaying a frame image on a display unit for each of the classified clusters; and an information input step of inputting information by designating a frame image. Simultaneous addition method.
フレーム画像を縮小した画像の輝度値の並びを特徴量ベ
クトルとする、 ことを特徴とする請求項１記載の映像情報一斉付加方
法。2. The video information simultaneous addition method according to claim 1, wherein in the feature amount extracting step, a sequence of luminance values of images obtained by reducing a representative frame image of each scene is used as a feature amount vector.
ラスタ数になるまで、クラスタの重心と特徴量ベクトル
との間の距離の和の最も大きいクラスタを分割すること
によってクラスタリングを行う、 ことを特徴とする請求項１ないし２記載の映像情報一斉
付加方法。3. In the clustering step, clustering is performed by dividing a cluster having the largest sum of the distance between the center of gravity of the cluster and the feature vector until the number of clusters reaches a desired number. 3. The method for simultaneously adding video information according to claim 1.
タの重心と特徴量ベクトルとの間の距離の標準偏差の小
さい順にクラスタを並べる、 ことを特徴とする請求項１ないし３記載の映像情報一斉
付加方法。4. The simultaneous addition of video information according to claim 1, wherein, in the frame image display step, clusters are arranged in ascending order of a standard deviation of a distance between the center of gravity of the cluster and the feature amount vector. Method.
タの重心と特徴量ベクトルとの間の距離が小さい順にフ
レーム画像を並べる、 ことを特徴とする請求項１ないし４記載の映像情報一斉
付加方法。5. The video information simultaneous addition method according to claim 1, wherein, in the frame image displaying step, the frame images are arranged in ascending order of the distance between the center of gravity of the cluster and the feature amount vector.
タの重心と特徴量ベクトルとの間の距離と、前記距離の
標準偏差との比較結果に基づいて、フレーム画像をハイ
ライト表示する、 ことを特徴とする請求項１ないし５記載の映像情報一斉
付加方法。6. The frame image display step, wherein a frame image is highlighted based on a result of comparison between a distance between a center of gravity of a cluster and a feature vector and a standard deviation of the distance. 6. The method for simultaneously adding video information according to claim 1, wherein
加済、あるいは、未付加のフレーム画像をハイライト表
示する、 ことを特徴とする請求項１ないし６記載の映像情報一斉
付加方法。7. The video information simultaneous adding method according to claim 1, wherein in the frame image displaying step, a frame image to which information has been added or to which information has not been added is highlighted.
たフレーム画像に付加されている情報を表示し、指定し
たフレーム画像が複数の場合には、付加情報の和集合、
あるいは、積集合を表示する、 ことを特徴とする請求項１ないし７記載の映像情報一斉
付加方法。8. In the frame image displaying step, information added to the designated frame image is displayed, and when there are a plurality of designated frame images, a union of additional information;
8. The method according to claim 1, further comprising displaying an intersection.
ュータで実行するために、 映像の各場面の代表フレーム画像の特徴量ベクトルを抽
出する特徴量抽出手順と、 前記抽出された特徴量ベクトルが類似したクラスタに分
類するクラスタリング手順と、 前記分類されたクラスタ毎にフレーム画像を表示手段に
表示するフレーム画像表示手順と、 フレーム画像を指定して情報を入力する情報入力手順
と、 を有するプログラムを該コンピュータで読み取り可能な
媒体に記録した、 ことを特徴とする映像情報一斉付加方法を記録した記録
媒体。9. A feature value extraction procedure for extracting a feature value vector of a representative frame image of each scene of a video to execute a method of simultaneously adding information to a video by a computer; A clustering procedure for classifying into similar clusters; a frame image display procedure for displaying a frame image for each of the classified clusters on a display unit; and an information input procedure for inputting information by designating a frame image. A recording medium recorded with the method for simultaneously adding video information, which is recorded on the computer-readable medium.
表フレーム画像を縮小した画像の輝度値の並びを特徴量
ベクトルとする、 ことを特徴とする請求項９記載の映像情報一斉付加方法
を記録した記録媒体。10. The video information simultaneous addition method according to claim 9, wherein in the feature amount extracting step, a sequence of luminance values of an image obtained by reducing a representative frame image of each scene is used as a feature amount vector. The recording medium on which it was recorded.
クラスタ数になるまで、クラスタの重心と特徴量ベクト
ルとの間の距離の和の最も大きいクラスタを分割するこ
とによってクラスタリングを行う、 ことを特徴とする請求項９ないし１０記載の映像情報一
斉付加方法を記録した記録媒体。11. In the clustering procedure, clustering is performed by dividing a cluster having the largest sum of the distance between the center of gravity of the cluster and the feature vector until the number of clusters reaches a desired number. A recording medium on which the video information simultaneous adding method according to claim 9 is recorded.
スタの重心と特徴量ベクトルとの間の距離の標準偏差の
小さい順にクラスタを並べる、 ことを特徴とする請求項９ないし１１記載の映像情報一
斉付加方法を記録した記録媒体。12. The video information simultaneous addition according to claim 9, wherein in the frame image display procedure, clusters are arranged in ascending order of the standard deviation of the distance between the center of gravity of the cluster and the feature amount vector. A recording medium recording the method.
スタの重心と特徴量ベクトルとの間の距離が小さい順に
フレーム画像を並べる、 ことを特徴とする請求項９ないし１２記載の映像情報一
斉付加方法を記録した記録媒体。13. The video information simultaneous addition method according to claim 9, wherein in the frame image display procedure, the frame images are arranged in ascending order of a distance between the center of gravity of the cluster and the feature vector. The recording medium on which it was recorded.
スタの重心と特徴量ベクトルとの間の距離と、前記距離
の標準偏差との比較結果に基づいて、フレーム画像をハ
イライト表示する、 ことを特徴とする請求項９ないし１３記載の映像情報一
斉付加方法を記録した記録媒体。14. The frame image display procedure, wherein a frame image is highlighted based on a comparison result between a distance between a center of gravity of a cluster and a feature vector and a standard deviation of the distance. 14. A recording medium on which the video information simultaneous adding method according to claim 9 is recorded.
付加済、あるいは、未付加のフレーム画像をハイライト
表示する、 ことを特徴とする請求項９ないし１４記載の映像情報一
斉付加方法を記録した記録媒体。15. The recording method according to claim 9, wherein in the frame image display procedure, a frame image to which information has been added or to which information has not been added is highlighted. Medium.
したフレーム画像に付加されている情報を表示し、指定
したフレーム画像が複数の場合には、付加情報の和集
合、あるいは、積集合を表示する、 ことを特徴とする請求項９ないし１５記載の映像情報一
斉付加方法を記録した記録媒体。16. In the frame image display procedure, information added to a designated frame image is displayed, and when there are a plurality of designated frame images, a union or intersection of the additional information is displayed. 16. A recording medium on which the video information simultaneous addition method according to claim 9 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29379597A JP3821558B2 (en) | 1997-10-27 | 1997-10-27 | Video information simultaneous addition method and recording medium recording the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29379597A JP3821558B2 (en) | 1997-10-27 | 1997-10-27 | Video information simultaneous addition method and recording medium recording the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11136573A true JPH11136573A (en) | 1999-05-21 |
| JP3821558B2 JP3821558B2 (en) | 2006-09-13 |
Family
ID=17799263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29379597A Expired - Fee Related JP3821558B2 (en) | 1997-10-27 | 1997-10-27 | Video information simultaneous addition method and recording medium recording the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3821558B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077906A (en) * | 2000-07-06 | 2002-03-15 | Mitsubishi Electric Research Laboratories Inc | Method and system for extracting high-level features from low-level features of multimedia content |
| JP2007012024A (en) * | 2005-06-03 | 2007-01-18 | Canon Inc | Image retrieval apparatus, image retrieval method, program and storage medium |
| JP2008519547A (en) * | 2004-11-05 | 2008-06-05 | インターグラフ ソフトウェアー テクノロジーズ カンパニー | How to generate composite images |
| JP2009060413A (en) * | 2007-08-31 | 2009-03-19 | Kddi Corp | Method and system for extracting feature of moving image, and method and system for retrieving moving image |
| US7929037B2 (en) | 2004-08-02 | 2011-04-19 | Canon Kabushiki Kaisha | Digital camera |
| JP2011221807A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Image processing apparatus, method and program |
| JP2013506216A (en) * | 2009-09-29 | 2013-02-21 | モベア エス．アー | System and method for recognizing gestures |
| US9691004B2 (en) | 2014-07-02 | 2017-06-27 | Fujitsu Limited | Device and method for service provision according to prepared reference images to detect target object |
| JP2019211811A (en) * | 2018-05-31 | 2019-12-12 | 富士ゼロックス株式会社 | Image processing apparatus and program |
-
1997
- 1997-10-27 JP JP29379597A patent/JP3821558B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077906A (en) * | 2000-07-06 | 2002-03-15 | Mitsubishi Electric Research Laboratories Inc | Method and system for extracting high-level features from low-level features of multimedia content |
| JP4566466B2 (en) * | 2000-07-06 | 2010-10-20 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | Method and system for extracting high-level features from low-level features of multimedia content |
| US7929037B2 (en) | 2004-08-02 | 2011-04-19 | Canon Kabushiki Kaisha | Digital camera |
| JP2008519547A (en) * | 2004-11-05 | 2008-06-05 | インターグラフ ソフトウェアー テクノロジーズ カンパニー | How to generate composite images |
| JP4767258B2 (en) * | 2004-11-05 | 2011-09-07 | インターグラフ ソフトウェアー テクノロジーズ カンパニー | How to generate composite images |
| JP2007012024A (en) * | 2005-06-03 | 2007-01-18 | Canon Inc | Image retrieval apparatus, image retrieval method, program and storage medium |
| JP2009060413A (en) * | 2007-08-31 | 2009-03-19 | Kddi Corp | Method and system for extracting feature of moving image, and method and system for retrieving moving image |
| JP2013506216A (en) * | 2009-09-29 | 2013-02-21 | モベア エス．アー | System and method for recognizing gestures |
| JP2011221807A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Image processing apparatus, method and program |
| US9691004B2 (en) | 2014-07-02 | 2017-06-27 | Fujitsu Limited | Device and method for service provision according to prepared reference images to detect target object |
| JP2019211811A (en) * | 2018-05-31 | 2019-12-12 | 富士ゼロックス株式会社 | Image processing apparatus and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3821558B2 (en) | 2006-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11749413B2 (en) | Method for controlling information terminal, and recording medium | |
| US10216762B2 (en) | Control method and non-transitory computer-readable recording medium for comparing medical images | |
| US20070036371A1 (en) | Method and apparatus for indexing and searching graphic elements | |
| US7327347B2 (en) | Image classifying systems and methods | |
| US20020150310A1 (en) | Video retrieval method and apparatus | |
| JP3320197B2 (en) | Image editing apparatus and method | |
| CN108230262A (en) | Image processing method, image processing apparatus and storage medium | |
| US20120321223A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| US20120294531A1 (en) | Human image retrieval system | |
| JPH1196364A (en) | Image feature amount comparing device and recording medium recording image feature amount comparison program | |
| CN102640146B (en) | Database search method, system and controller | |
| JPH0895965A (en) | Document processor | |
| JPH11136573A (en) | Simultaneous adding method for video information and recording medium recording the method | |
| JP4250619B2 (en) | Representative image extraction apparatus and method | |
| US9111346B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2016085534A (en) | Image processing apparatus, control method of image processing apparatus, and program | |
| JPWO2004047026A1 (en) | Image search program | |
| US20020161798A1 (en) | Information retrieving device | |
| JPH06222898A (en) | Method and system for operation of data sorting at inside of data processing system | |
| CN108269260B (en) | Dynamic image back removing method, system and computer readable storage device | |
| JPH05282380A (en) | Animation image retrieving method | |
| WO2020149242A1 (en) | Work assistance device, work assistance method, program, and object detection model | |
| JP3024574B2 (en) | Video search device | |
| JP6756961B1 (en) | Work support devices, work support methods, programs, and object detection models. | |
| JPH02205982A (en) | Picture processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060620 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| LAPS | Cancellation because of no payment of annual fees |