JPWO2018011870A1 - 動画像処理装置、動画像処理方法及び動画像処理プログラム - Google Patents
動画像処理装置、動画像処理方法及び動画像処理プログラム Download PDFInfo
- Publication number
- JPWO2018011870A1 JPWO2018011870A1 JP2018527274A JP2018527274A JPWO2018011870A1 JP WO2018011870 A1 JPWO2018011870 A1 JP WO2018011870A1 JP 2018527274 A JP2018527274 A JP 2018527274A JP 2018527274 A JP2018527274 A JP 2018527274A JP WO2018011870 A1 JPWO2018011870 A1 JP WO2018011870A1
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frame
- similarity
- sequence
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
取得部（１０６）は、クエリ動画像の特徴量の集合であるクエリ特徴量（３０）と、候補動画像の特徴量の集合である特徴量レコード（４０）とを取得する。類似度マップ生成部（１０７）は、クエリ特徴量（３０）と特徴量レコード（４０）との比較を行い、候補動画像のフレームごとにクエリ特徴量（３０）と特徴量レコード（４０）との類似度を算出して類似度が時系列に並べられた類似度列を生成し、候補動画像のフレームごとの類似度列が候補動画像のフレームの順に並べられた類似度マップを生成する。
Description
本発明は、動画像処理技術に関する。
従来、動画像から抽出した動きベクトルから算出した特徴量から、動画像中の特定のシーンを検索する技術として、例えば特許文献１に示す技術がある。特許文献１では、動画像中の特定範囲における動きベクトルの角度別ヒストグラムに基づき、例えば、テニスの試合画像からサーブを打つシーンを検索する技術が示されている。
ところが特許文献１に示す技術は、特徴量の比較過程において時間長の相違があった場合に類似シーンを抽出することができないという課題がある。例えば、人が５秒間で画面を横切るシーンに類似するシーンを動画像から抽出する場合に、１０秒間で画面を横切るシーンが動画像に含まれていても、特許文献１の技術によれば、時間長が異なるため、１０秒間で画面を横切るシーンを類似シーンとして抽出することができない。
また、特許文献１に示す技術は、特徴量に部分的な不一致の連続があった場合に類似シーンを抽出できないという課題がある。例えば、人が停止することなく画面を横切るシーンに類似するシーンを動画像から抽出する場合に、人が途中で数秒間停止して画面を横切るシーンが動画像に含まれていても、特許文献１の技術によれば、特徴量に部分的な不統一の連続があるため、人が途中で数秒間停止して画面を横切るシーンを類似シーンとして抽出することができない。
特許文献１の上記の課題は、人間の周期動作を繰り返し検出するような適用例を考えた場合に、特許文献１の技術が被写体の体調変化や周囲の環境変動によって生じる動作の乱れに対応できないことを意味する。人間の周期動作が、全周期に渡って完全には一致し得ないことを考えれば、この課題への対応は、動画像の類似シーン抽出には必須である。
また、特許文献１に示す技術は、特徴量に部分的な不一致の連続があった場合に類似シーンを抽出できないという課題がある。例えば、人が停止することなく画面を横切るシーンに類似するシーンを動画像から抽出する場合に、人が途中で数秒間停止して画面を横切るシーンが動画像に含まれていても、特許文献１の技術によれば、特徴量に部分的な不統一の連続があるため、人が途中で数秒間停止して画面を横切るシーンを類似シーンとして抽出することができない。
特許文献１の上記の課題は、人間の周期動作を繰り返し検出するような適用例を考えた場合に、特許文献１の技術が被写体の体調変化や周囲の環境変動によって生じる動作の乱れに対応できないことを意味する。人間の周期動作が、全周期に渡って完全には一致し得ないことを考えれば、この課題への対応は、動画像の類似シーン抽出には必須である。
本発明は、上記の課題を解決することを主な目的とする。より具体的には、本発明は、比較対象の動作の時間長の相違及び比較対象の動作の間に特徴量の部分的な不一致の連続があっても類似シーンを抽出できるようにすることを主な目的とする。
本発明に係る動画像処理装置は、
複数のフレームで構成される第１の動画像の各フレームに対して生成された特徴量である第１の特徴量が前記第１の動画像のフレームの順に並べられた第１の特徴量列と、前記第１の動画像よりも多い複数のフレームで構成される第２の動画像の各フレームに対して生成された特徴量である第２の特徴量が前記第２の動画像のフレームの順に並べられた第２の特徴量列とを取得する取得部と、
前記第１の特徴量列と前記第２の特徴量列との比較を、前記第１の特徴量列との比較の対象となる前記第２の動画像の比較対象範囲を前記第２の動画像のフレームの順に移動させながら行い、前記第２の動画像のフレームごとに前記第１の特徴量列内の前記第１の特徴量と比較対象範囲の前記第２の特徴量列内の前記第２の特徴量との類似度を算出して前記類似度が時系列に並べられた類似度列を生成し、前記第２の動画像のフレームごとの類似度列が前記第２の動画像のフレームの順に並べられた類似度マップを生成する類似度マップ生成部とを有する。
複数のフレームで構成される第１の動画像の各フレームに対して生成された特徴量である第１の特徴量が前記第１の動画像のフレームの順に並べられた第１の特徴量列と、前記第１の動画像よりも多い複数のフレームで構成される第２の動画像の各フレームに対して生成された特徴量である第２の特徴量が前記第２の動画像のフレームの順に並べられた第２の特徴量列とを取得する取得部と、
前記第１の特徴量列と前記第２の特徴量列との比較を、前記第１の特徴量列との比較の対象となる前記第２の動画像の比較対象範囲を前記第２の動画像のフレームの順に移動させながら行い、前記第２の動画像のフレームごとに前記第１の特徴量列内の前記第１の特徴量と比較対象範囲の前記第２の特徴量列内の前記第２の特徴量との類似度を算出して前記類似度が時系列に並べられた類似度列を生成し、前記第２の動画像のフレームごとの類似度列が前記第２の動画像のフレームの順に並べられた類似度マップを生成する類似度マップ生成部とを有する。
本発明により得られる類似度マップを解析することで、比較対象の動作の時間長の相違及び比較対象の動作の間に特徴量の部分的な不一致の連続があっても類似シーンを抽出することができる。
以下、本発明の実施の形態について、図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分または相当する部分を示す。
実施の形態１．
本実施の形態では、動画像から抽出した動きベクトルの角度別ヒストグラムを特徴量として生成する構成を説明する。
＊＊＊構成の説明＊＊＊
図１は、実施の形態１及び２に係る動画像処理装置１０の機能構成例を示す。
また、図２は実施の形態１及び２に係る動画像処理装置１０のハードウェア構成例を示す。
なお、動画像処理装置１０で行われる動作は、動画像処理方法に相当する。
本実施の形態では、動画像から抽出した動きベクトルの角度別ヒストグラムを特徴量として生成する構成を説明する。
＊＊＊構成の説明＊＊＊
図１は、実施の形態１及び２に係る動画像処理装置１０の機能構成例を示す。
また、図２は実施の形態１及び２に係る動画像処理装置１０のハードウェア構成例を示す。
なお、動画像処理装置１０で行われる動作は、動画像処理方法に相当する。
まず、図２を参照して、動画像処理装置１０のハードウェア構成例を説明する。
図２に示すように、動画像処理装置１０は、入力インタフェース２０１、プロセッサ２０２、出力インタフェース２０３及び記憶装置２０４を備えるコンピュータである。
図２に示すように、動画像処理装置１０は、入力インタフェース２０１、プロセッサ２０２、出力インタフェース２０３及び記憶装置２０４を備えるコンピュータである。
入力インタフェース２０１は、例えば、図１に示す動画像動き情報２０及びクエリ特徴量３０を取得する。入力インタフェース２０１は、例えば、マウス、キーボード等の入力装置である。また、動画像処理装置１０が通信により動画像動き情報２０及びクエリ特徴量３０を取得する場合は、入力インタフェース２０１は通信装置である。また、動画像処理装置１０が動画像動き情報２０及びクエリ特徴量３０をファイルとして取得する場合は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）とのインタフェース装置である。
プロセッサ２０２は、図１に示す特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４を実現する。つまり、プロセッサ２０２は、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムを実行する。
図２は、プロセッサ２０２が特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムを実行している状態を模式的に示している。
なお、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムは、動画像処理プログラムの例である。
プロセッサ２０２は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図２は、プロセッサ２０２が特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムを実行している状態を模式的に示している。
なお、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムは、動画像処理プログラムの例である。
プロセッサ２０２は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
記憶装置２０４は、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムを記憶している。
記憶装置２０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ等である。
記憶装置２０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ等である。
出力インタフェース２０３は、プロセッサ２０２の解析結果を出力する。出力インタフェース２０３は、例えばディスプレイである。また、動画像処理装置１０がプロセッサ２０２の解析結果を送信する場合は、出力インタフェース２０３は通信装置である。また、動画像処理装置１０がプロセッサ２０２の解析結果をファイルとして出力する場合は、出力インタフェース２０３はＨＤＤとのインタフェース装置である。
次に、図１を参照して、動画像処理装置１０の機能構成例を説明する。
なお、本実施の形態では、動画像動き情報２０、特徴量抽出部１１及び入力数カウンタ１０４についてのみ説明し、クエリ特徴量３０、特徴量レコード４０、特徴量比較部１２及び類似区間情報５０は実施の形態２で説明する。
なお、本実施の形態では、動画像動き情報２０、特徴量抽出部１１及び入力数カウンタ１０４についてのみ説明し、クエリ特徴量３０、特徴量レコード４０、特徴量比較部１２及び類似区間情報５０は実施の形態２で説明する。
動画像動き情報２０は、動画像から抽出された動きベクトルが示される情報である。
特徴量抽出部１１は、フィルタ１０１、偏角算出部１０２、ヒストグラム生成部１０３及び平滑化処理部１０５で構成される。
フィルタ１０１は、入力インタフェース２０１を介して取得された動画像動き情報２０から既定の条件に合致する動画像動き情報２０を選別する。そして、フィルタ１０１は、選別した動画像動き情報２０を偏角算出部１０２に出力する。
偏角算出部１０２は、動画像に含まれるフレームごとに、フィルタ１０１から取得した動画像動き情報２０の動きベクトルの偏角成分を算出する。そして、偏角算出部１０２は、算出結果をヒストグラム生成部１０３に出力する。
なお、偏角算出部１０２で行われる処理は、偏角算出処理に相当する。
なお、偏角算出部１０２で行われる処理は、偏角算出処理に相当する。
ヒストグラム生成部１０３は、偏偏角算出部１０２の偏角成分の算出結果を用いて、フレームごとに偏角成分のヒストグラムデータを生成する。また、ヒストグラム生成部１０３は、入力数カウンタ１０４から処理開始通知が出力された際に、平滑化処理部１０５にヒストグラムデータの完成を通知する。
なお、ヒストグラム生成部１０３で行われる処理は、ヒストグラム生成処理に相当する。
なお、ヒストグラム生成部１０３で行われる処理は、ヒストグラム生成処理に相当する。
入力数カウンタ１０４は、入力インタフェース２０１が取得する動画像動き情報２０を計数する。そして、入力数カウンタ１０４は、動画像１フレーム分の動画像動き情報２０が入力された場合に、ヒストグラム生成部１０３へ処理開始通知を出力する。
平滑化処理部１０５は、ヒストグラムデータを取得し、取得したヒストグラムデータに対する平滑処理を行って特徴量を生成する。
そして、平滑化処理部１０５は、生成した特徴量を特徴量レコード４０として記憶装置２０４に格納する。特徴量レコード４０の詳細は、実施の形態２で説明する。
そして、平滑化処理部１０５は、生成した特徴量を特徴量レコード４０として記憶装置２０４に格納する。特徴量レコード４０の詳細は、実施の形態２で説明する。
＊＊＊動作の説明＊＊＊
次に、図３のフローチャートを参照して本実施の形態に係る動画像処理装置１０の動作例を説明する。
次に、図３のフローチャートを参照して本実施の形態に係る動画像処理装置１０の動作例を説明する。
フィルタ１０１は、デジタルカメラやネットワークカメラ等で撮影された動画像から抽出された動きベクトルが示される動画像動き情報２０を、入力インタフェース２０１を介して取得する（ステップＳＴ３０１）。
フィルタ１０１が取得する動画像動き情報２０には、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等で規定される符号化動きベクトルのように、近接する動画像フレーム間の輝度勾配等から画素ブロック単位で計算される動きベクトルが示される。
フィルタ１０１が取得する動画像動き情報２０には、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等で規定される符号化動きベクトルのように、近接する動画像フレーム間の輝度勾配等から画素ブロック単位で計算される動きベクトルが示される。
次に、フィルタ１０１は、取得した動画像動き情報２０に示される動きベクトルが既定の条件を満たしているか否かを判定する（ステップＳＴ３０２）。フィルタ１０１は、条件を満たす動きベクトルの動画像動き情報２０を偏角算出部１０２に出力する。
フィルタ１０１が用いる条件は、例えば、動きベクトルのノルムの上限値の条件及び下限の条件である。
フィルタ１０１が用いる条件は、例えば、動きベクトルのノルムの上限値の条件及び下限の条件である。
偏角算出部１０２は、フィルタ１０１から出力された動画像動き情報２０の動きベクトルの偏角成分を算出する（ステップＳＴ３０３）。
そして、偏角算出部１０２は、算出結果をヒストグラム生成部１０３に出力する。
そして、偏角算出部１０２は、算出結果をヒストグラム生成部１０３に出力する。
ヒストグラム生成部１０３は、偏角算出部１０２からの偏角成分の算出結果の取得頻度を、角度別にカウントしてヒストグラムデータを生成する（ステップＳＴ３０４）。そして、ヒストグラム生成部１０３はヒストグラムデータを記憶装置２０４に蓄積する。
入力数カウンタ１０４は、入力インタフェース２０１が取得する動画像動き情報２０を計数し、動画像１フレーム分の動画像動き情報２０が入力された際に、ヒストグラム生成部１０３へ処理開始通知を出力する（ステップＳＴ３０５）。
ヒストグラム生成部１０３は入力数カウンタ１０４からの処理開始通知をトリガに、平滑化処理部１０５にヒストグラムデータの完成を通知する。
平滑化処理部１０５は、ヒストグラム生成部１０３からヒストグラムデータの完成が通知されると、記憶装置２０４からヒストグラムデータを取得し、取得したヒストグラムデータに対する平滑化処理を行う（ステップＳＴ３０６）。
平滑化処理部１０５は、例えば、取得したヒストグラムデータに先行する任意数の連続するフレームに対してヒストグラム生成部１０３により生成されたヒストグラムデータを用いた平滑化処理を行って、特徴量を生成する。
より具体的には、平滑化処理部１０５は、特徴量を生成するフレーム（記憶装置２０４から取得したヒストグラムデータに対応するフレーム）と任意数の先行するフレームの各々との時間的距離に応じた重み付けを任意数の先行するフレームのヒストグラムデータの各々に適用して平滑化処理を行う。
平滑化処理部１０５は、例えば、取得したヒストグラムデータに先行する任意数の連続するフレームに対してヒストグラム生成部１０３により生成されたヒストグラムデータを用いた平滑化処理を行って、特徴量を生成する。
より具体的には、平滑化処理部１０５は、特徴量を生成するフレーム（記憶装置２０４から取得したヒストグラムデータに対応するフレーム）と任意数の先行するフレームの各々との時間的距離に応じた重み付けを任意数の先行するフレームのヒストグラムデータの各々に適用して平滑化処理を行う。
最後に、平滑化処理部１０５が、平滑処理後のデータ（特徴量）を特徴量レコード４０として記憶装置２０４に格納する（ステップＳＴ３０７）。
＊＊＊実施の形態の効果の説明＊＊＊
特許文献１の技術では、比較対象の動作にスケール差があると、類似シーンを抽出できないという課題がある。
本実施の形態では、動きベクトルの偏角成分のみでヒストグラムを生成して特徴量を得ているので、比較対象の動作にスケール差がある場合でも類似シーンを抽出することができる。
特許文献１の技術では、比較対象の動作にスケール差があると、類似シーンを抽出できないという課題がある。
本実施の形態では、動きベクトルの偏角成分のみでヒストグラムを生成して特徴量を得ているので、比較対象の動作にスケール差がある場合でも類似シーンを抽出することができる。
実施の形態２．
本実施の形態では、２つ以上の動画像から抽出した特徴量の比較から類似度を算出し、高い類似度が最も連続する区間を、例えば動的計画法などの、時間長の相違、あるいは部分的な不一致の連続を考慮したマッチング手法によって推定することで、動画像の類似区間を抽出する構成を説明する。
本実施の形態では、２つ以上の動画像から抽出した特徴量の比較から類似度を算出し、高い類似度が最も連続する区間を、例えば動的計画法などの、時間長の相違、あるいは部分的な不一致の連続を考慮したマッチング手法によって推定することで、動画像の類似区間を抽出する構成を説明する。
＊＊＊構成の説明＊＊＊
本実施の形態では、図１に示すクエリ特徴量３０、特徴量レコード４０、特徴量比較部１２及び類似区間情報５０を説明する。
本実施の形態では、図１に示すクエリ特徴量３０、特徴量レコード４０、特徴量比較部１２及び類似区間情報５０を説明する。
クエリ特徴量３０は、特徴量列である。より具体的には、クエリ特徴量３０は、複数のフレームで構成されるクエリ動画像の各フレームに対して生成された特徴量がクエリ動画像のフレームの順に並べられた特徴量列である。
クエリ動画像は、検索対象の動きが表されている動画像である。
例えば、クエリ動画像が３００枚のフレームで構成されている場合は、クエリ特徴量３０には、３００個の特徴量がフレームの順に並べられている。
クエリ特徴量３０を構成する各特徴量は、実施の形態１で説明した生成方法と同様の方法で生成された特徴量（平準化処理後のヒストグラムデータ）である。
クエリ動画像は第１の動画像に相当する。クエリ特徴量３０は第１の特徴量列に相当する。更に、クエリ動画像の各フレームの特徴量は第１の特徴量に相当する。
クエリ動画像は、検索対象の動きが表されている動画像である。
例えば、クエリ動画像が３００枚のフレームで構成されている場合は、クエリ特徴量３０には、３００個の特徴量がフレームの順に並べられている。
クエリ特徴量３０を構成する各特徴量は、実施の形態１で説明した生成方法と同様の方法で生成された特徴量（平準化処理後のヒストグラムデータ）である。
クエリ動画像は第１の動画像に相当する。クエリ特徴量３０は第１の特徴量列に相当する。更に、クエリ動画像の各フレームの特徴量は第１の特徴量に相当する。
特徴量レコード４０も特徴量列である。特徴量レコード４０は、候補動画像の各フレームに対して生成された特徴量（平準化処理後のヒストグラムデータ）が候補動画像のフレームの順に並べられた特徴量列である。
候補動画像は、クエリ動画像で表される動きと同じ動き又は類似する動きが含まれる可能性がある動画像である。候補動画像は、クエリ動画像よりも多い複数のフレームで構成される。
例えば、候補動画像が３０００枚のフレームで構成されている場合は、特徴量レコード４０には、３０００個の特徴量がフレームの順に並べられている。
特徴量レコード４０は、実施の形態１で説明した特徴量抽出部１１により生成される。
候補動画像は第２の動画像に相当する。特徴量レコード４０は第２の特徴量列に相当する。更に、特徴量レコード４０の各フレームの特徴量は第２の特徴量に相当する。
候補動画像は、クエリ動画像で表される動きと同じ動き又は類似する動きが含まれる可能性がある動画像である。候補動画像は、クエリ動画像よりも多い複数のフレームで構成される。
例えば、候補動画像が３０００枚のフレームで構成されている場合は、特徴量レコード４０には、３０００個の特徴量がフレームの順に並べられている。
特徴量レコード４０は、実施の形態１で説明した特徴量抽出部１１により生成される。
候補動画像は第２の動画像に相当する。特徴量レコード４０は第２の特徴量列に相当する。更に、特徴量レコード４０の各フレームの特徴量は第２の特徴量に相当する。
特徴量比較部１２は、取得部１０６、類似度マップ生成部１０７及び区間抽出部１０８で構成される。
取得部１０６は、クエリ特徴量３０を入力インタフェース２０１を介して取得する。また、取得部１０６は、記憶装置２０４から特徴量レコード４０を取得する。そして、取得部１０６は、取得したクエリ特徴量３０と特徴量レコード４０を類似度マップ生成部１０７に出力する。
取得部１０６で行われる処理は、取得処理に対応する。
取得部１０６で行われる処理は、取得処理に対応する。
類似度マップ生成部１０７は、クエリ特徴量３０と特徴量レコード４０とを比較する。より具体的には、類似度マップ生成部１０７は、クエリ特徴量３０との比較の対象となる候補動画像の比較対象範囲を候補動画像のフレームの順に移動させながらクエリ特徴量３０と特徴量レコード４０との比較を行う。
そして、類似度マップ生成部１０７は、候補動画像のフレームごとにクエリ特徴量３０内の特徴量と比較対象範囲の特徴量レコード４０内の特徴量との類似度を算出して類似度が時系列に並べられた類似度列を生成する。
更に、類似度マップ生成部１０７は、候補動画像のフレームごとの類似度列を候補動画像のフレームの順に並べて類似度マップを生成する。つまり、類似度マップは、候補動画像のフレームごとの類似度列が候補動画像のフレームの順に並べられている二次元の類似度情報である。
類似度マップ生成部１０７で行われる処理は、類似度マップ生成処理に相当する。
そして、類似度マップ生成部１０７は、候補動画像のフレームごとにクエリ特徴量３０内の特徴量と比較対象範囲の特徴量レコード４０内の特徴量との類似度を算出して類似度が時系列に並べられた類似度列を生成する。
更に、類似度マップ生成部１０７は、候補動画像のフレームごとの類似度列を候補動画像のフレームの順に並べて類似度マップを生成する。つまり、類似度マップは、候補動画像のフレームごとの類似度列が候補動画像のフレームの順に並べられている二次元の類似度情報である。
類似度マップ生成部１０７で行われる処理は、類似度マップ生成処理に相当する。
区間抽出部１０８は、類似度マップを解析し、クエリ動画像で表されている動きと同じ動き又は類似する動きが表されている候補動画像のフレームの区間である類似区間を抽出する。類似区間は対応区間に相当する。
類似区間情報５０は、区間抽出部１０８が抽出した類似区間が示される情報である。
図５は、類似度マップの例を示す。
図５では、フレーム数Ｌｑのクエリ特徴量Ｓｑに対して、フレーム数Ｌｒ（０≦Ｌｑ≦Ｌｒ）の特徴量レコードＳｒとの類似度マップを生成する手順を示す。
類似度マップ生成部１０７は、特徴量レコードＳｒのフレームの順に、フレームごとに、比較対象範囲（Ｌｑ個のフレーム）の始点フレームをシフトさせ、比較対象範囲の各フレームの特徴量とクエリ特徴量Ｓｑの対応する位置にあるフレームの特徴量とを比較して、フレームの単位で類似度を算出する。
つまり、類似度マップ生成部１０７は、特徴量レコードＳｒの０番目のフレームＬ０からの比較対象範囲（フレームＬ０〜Ｌｑ−１）に対する比較では、特徴量レコードＳｒのフレームＬ０とクエリ特徴量Ｓｑの０番目のフレームＬｏとの比較を行って、類似度を算出する。次に、類似度マップ生成部１０７は、特徴量レコードＳｒの１番目のフレームＬ１とクエリ特徴量Ｓｑの１番目のフレームＬ１との比較を行って、類似度を算出する。フレームＬ２以降についても類似度マップ生成部１０７は同様の比較を行う。
特徴量レコードＳｒのフレームＬｑ−１とクエリ特徴量ＳｑのフレームＬｑ−１との比較が終わると、類似度マップ生成部１０７は、特徴量レコードＳｒの１番目のフレームＬ１からの比較対象範囲（フレームＬ１〜Ｌｑ）に対する比較を行う。特徴量レコードＳｒの１番目のフレームＬ１からの比較対象範囲（フレームＬ１〜Ｌｑ）に対する比較では、特徴量レコードＳｒのフレームＬ１とクエリ特徴量Ｓｑの０番目のフレームＬｏとの比較を行って、類似度を算出する。次に、類似度マップ生成部１０７は、特徴量レコードＳｒのフレームＬ２とクエリ特徴量Ｓｑの１番目のフレームＬ１との比較を行って、類似度を算出する。フレームＬ２以降についても類似度マップ生成部１０７は同様の比較を行う。
特徴量レコードＳｒのフレームＬｑとクエリ特徴量ＳｑのフレームＬｑ−１との比較が終わると、類似度マップ生成部１０７は、特徴量レコードＳｒの２番目のフレームＬ２からの比較対象範囲（フレームＬ２〜Ｌｑ＋１）に対する比較を行う。以降、類似度マップ生成部１０７は、同様の処理をフレームＬｒ−ｑに至るまで繰り返す。以上の処理により得られた各比較対象範囲での類似度列を特徴量レコードＳｒのフレームの順に配列することで類似度マップが得られる。
図５では、フレーム数Ｌｑのクエリ特徴量Ｓｑに対して、フレーム数Ｌｒ（０≦Ｌｑ≦Ｌｒ）の特徴量レコードＳｒとの類似度マップを生成する手順を示す。
類似度マップ生成部１０７は、特徴量レコードＳｒのフレームの順に、フレームごとに、比較対象範囲（Ｌｑ個のフレーム）の始点フレームをシフトさせ、比較対象範囲の各フレームの特徴量とクエリ特徴量Ｓｑの対応する位置にあるフレームの特徴量とを比較して、フレームの単位で類似度を算出する。
つまり、類似度マップ生成部１０７は、特徴量レコードＳｒの０番目のフレームＬ０からの比較対象範囲（フレームＬ０〜Ｌｑ−１）に対する比較では、特徴量レコードＳｒのフレームＬ０とクエリ特徴量Ｓｑの０番目のフレームＬｏとの比較を行って、類似度を算出する。次に、類似度マップ生成部１０７は、特徴量レコードＳｒの１番目のフレームＬ１とクエリ特徴量Ｓｑの１番目のフレームＬ１との比較を行って、類似度を算出する。フレームＬ２以降についても類似度マップ生成部１０７は同様の比較を行う。
特徴量レコードＳｒのフレームＬｑ−１とクエリ特徴量ＳｑのフレームＬｑ−１との比較が終わると、類似度マップ生成部１０７は、特徴量レコードＳｒの１番目のフレームＬ１からの比較対象範囲（フレームＬ１〜Ｌｑ）に対する比較を行う。特徴量レコードＳｒの１番目のフレームＬ１からの比較対象範囲（フレームＬ１〜Ｌｑ）に対する比較では、特徴量レコードＳｒのフレームＬ１とクエリ特徴量Ｓｑの０番目のフレームＬｏとの比較を行って、類似度を算出する。次に、類似度マップ生成部１０７は、特徴量レコードＳｒのフレームＬ２とクエリ特徴量Ｓｑの１番目のフレームＬ１との比較を行って、類似度を算出する。フレームＬ２以降についても類似度マップ生成部１０７は同様の比較を行う。
特徴量レコードＳｒのフレームＬｑとクエリ特徴量ＳｑのフレームＬｑ−１との比較が終わると、類似度マップ生成部１０７は、特徴量レコードＳｒの２番目のフレームＬ２からの比較対象範囲（フレームＬ２〜Ｌｑ＋１）に対する比較を行う。以降、類似度マップ生成部１０７は、同様の処理をフレームＬｒ−ｑに至るまで繰り返す。以上の処理により得られた各比較対象範囲での類似度列を特徴量レコードＳｒのフレームの順に配列することで類似度マップが得られる。
クエリ特徴量Ｓｑの時間軸をｔｑ（０≦ｔｑ＜Ｌｑ）、特徴量レコードＳｒの時間軸をｔｒ（０≦ｔｒ＜Ｌｒ）とし、特徴量の次元をＮとすると、クエリ特徴量Ｓｑと特徴量レコードＳｒの類似度Ｓｉｍは、各時間軸の関数として、次式で表せる。
ここで、関数ｆは特徴量の各次元における類似度を求める関数であり、例えば、コサイン類似度などが適用できる。また、類似度にはノイズ軽減、あるいは強調を目的としたフィルタを適用することができる。例えば、近傍数フレームの類似度に重みをつけて積算し、指数関数フィルタを適用することで、類似度のコントラスト強調ができる。
以上より、類似度マップ生成部１０７は、２つ以上の特徴量に対する類似度を計算し、類似度マップを生成し、生成した類似度マップを記憶装置２０４に格納する。更に、類似度マップ生成部１０７は、区間抽出部１０８へ類似度マップの生成を通知する。
以上より、類似度マップ生成部１０７は、２つ以上の特徴量に対する類似度を計算し、類似度マップを生成し、生成した類似度マップを記憶装置２０４に格納する。更に、類似度マップ生成部１０７は、区間抽出部１０８へ類似度マップの生成を通知する。
なお、図５の例では、類似度マップ生成部１０７は、画像イメージデータの類似度マップを生成しているが、図９に示すように、類似度マップ生成部１０７が数値データの類似度マップを生成するようにしてもよい。
図９では、破線で囲んでいる数値の列が、特徴量レコードＳｒのｎ番目のフレームＬｎからの比較対象範囲（フレームＬｎ〜Ｌｎ＋ｑ−１）とクエリ特徴量ＳｑのフレームＬ０〜Ｌｑ−１との類似度列を示す。なお、図９の例では、類似度は０．０〜１．０の値としている。また、図９に示す、Ｌｎ、Ｌｎ＋１、Ｌｎ＋２等は説明用に付したものであり、実際の類似度マップには含まれていない。
図９では、破線で囲んでいる数値の列が、特徴量レコードＳｒのｎ番目のフレームＬｎからの比較対象範囲（フレームＬｎ〜Ｌｎ＋ｑ−１）とクエリ特徴量ＳｑのフレームＬ０〜Ｌｑ−１との類似度列を示す。なお、図９の例では、類似度は０．０〜１．０の値としている。また、図９に示す、Ｌｎ、Ｌｎ＋１、Ｌｎ＋２等は説明用に付したものであり、実際の類似度マップには含まれていない。
＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る動画像処理装置１０の動作例を図４を参照して説明する。
次に、本実施の形態に係る動画像処理装置１０の動作例を図４を参照して説明する。
まず、取得部１０６がクエリ特徴量３０と特徴量レコード４０を取得する（ステップＳＴ４０１）。前述したように、取得部１０６は、クエリ特徴量３０を入力インタフェース２０１を介して取得し、記憶装置２０４から特徴量レコード４０を取得する。そして、取得部１０６は、取得したクエリ特徴量３０と特徴量レコード４０を類似度マップ生成部１０７に出力する。
次に、類似度マップ生成部１０７が、特徴量レコード４０、クエリ特徴量３０の参照フレーム位置をそれぞれの開始点ｔｒ＝０、ｔｑ＝０に設定する（ステップＳＴ４０１、ステップＳＴ４０２）。
次に、類似度マップ生成部１０７は、特徴量レコード４０の参照位置を固定し、クエリ特徴量３０の参照位置を１フレームずつ移動させながら、式（１）にしたがって各時点における類似度を算出し、算出した類似度を記憶装置２０４に保存する（ステップＳＴ４０３、ステップＳＴ４０４）。
クエリ特徴量３０の参照位置が末尾に達した場合（ステップＳＴ４０５でＹＥＳ）は、類似度マップ生成部１０７は、特徴量レコード４０の参照位置を正方向に隣接するフレームに移行し（ステップＳＴ４０６）、ステップＳＴ４０２〜ＳＴ４０５の処理を繰り返す。
特徴量レコード４０の参照位置が末尾に達した場合（ステップＳＴ４０７でＹＥＳ）は、類似度マップ生成部１０７は、処理完了を区間抽出部１０８に通知する。
区間抽出部１０８は、類似度マップ生成部１０７からの通知を取得し、記憶装置２０４から類似度マップを読み出し、類似度マップから最適パスを抽出する（ステップＳＴ４０８）。
より具体的には、区間抽出部１０８は、類似度マップから、特徴量レコード４０の各フレームから既定範囲ｗ内で、最も類似度が高いパスを最適パスとして抽出する。
図５の類似度マップでは、類似度の高低が画像の明暗と対応して表現されている。図５の類似度マップを用いる場合は、区間抽出部１０８は、特徴量レコード４０の各フレームから既定範囲ｗ内で明度の高い箇所が類似度マップの上部から右下方向に直線状に伸びている箇所を検出することによって最適パスを抽出する。すなわち区間抽出部１０８は、類似度マップにおいて、特徴量レコード４０の各フレームから既定範囲ｗ内で最も高い類似度の積算値を持つパスを選択する。
より具体的には、区間抽出部１０８は、類似度マップから、特徴量レコード４０の各フレームから既定範囲ｗ内で、最も類似度が高いパスを最適パスとして抽出する。
図５の類似度マップでは、類似度の高低が画像の明暗と対応して表現されている。図５の類似度マップを用いる場合は、区間抽出部１０８は、特徴量レコード４０の各フレームから既定範囲ｗ内で明度の高い箇所が類似度マップの上部から右下方向に直線状に伸びている箇所を検出することによって最適パスを抽出する。すなわち区間抽出部１０８は、類似度マップにおいて、特徴量レコード４０の各フレームから既定範囲ｗ内で最も高い類似度の積算値を持つパスを選択する。
区間抽出部１０８の最適パスの抽出手順を図１０及び図１１を用いて説明する。
図１０では、フレームＬｎについての最適パスの抽出手順を示している。
図１１では、フレームＬｎ＋３についての最適パスの抽出手順を示している。
なお、図１０及び図１１では、既定範囲ｗ＝７としている。つまり、図１０では、区間抽出部１０８はフレームＬｎと当該フレームＬｎに後続する７つのフレームとの範囲（Ｌｎ〜Ｌｎ＋７）で最適パスを抽出する。また、図１１では、区間抽出部１０８はフレームＬｎ＋３と当該フレームＬｎ＋３に後続する７つのフレームとの範囲（フレームＬｎ＋３〜Ｌｎ＋１０）で最適パスを抽出する。なお、図１０及び図１１において、一点鎖線で囲んだ範囲が、最適パスの抽出範囲である。
図１０に示すように、区間抽出部１０８は、各行において最も数値が高い類似度を選択する。但し、１行目は、左端の類似度を選択する。図１０において、破線で囲んだ類似度が最も数値が高い類似度である。このようにして各行で選択した最も数値が高い類似度（図１０の破線で囲んだ類似度）をつないで得られるパスが最適パスである。つまり、最適パスは、各フレームの類似度列と各フレームに後続する既定範囲ｗ内のフレームの類似度列の中から選択された、最も類似度積算値が高くなるパスである。なお、図１０において、一点鎖線で囲んだ範囲が、最適パスの抽出範囲である。
図１１のように、最適パスが左上から右下４５度に向かう最適パスが得られた場合は、クエリ動画像に表される動きと、当該最適パスに対応する候補動画像内の類似区間に表される動きが時間長においても一致している。例えば、人が５秒間で画面を横切るシーンがクエリ動画像に表されている場合に、図１１のような最適パスが得られた場合は、当該最適パスに対応する候補動画像内の類似区間にも人が５秒間で画面を横切るシーンが表されている。
区間抽出部１０８は、最適パスの抽出対象のフレームを、Ｌｎ、Ｌｎ＋１、Ｌｎ＋２…とシフトさせて、順次、各フレームに対して最適パスを抽出する。
図１０では、フレームＬｎについての最適パスの抽出手順を示している。
図１１では、フレームＬｎ＋３についての最適パスの抽出手順を示している。
なお、図１０及び図１１では、既定範囲ｗ＝７としている。つまり、図１０では、区間抽出部１０８はフレームＬｎと当該フレームＬｎに後続する７つのフレームとの範囲（Ｌｎ〜Ｌｎ＋７）で最適パスを抽出する。また、図１１では、区間抽出部１０８はフレームＬｎ＋３と当該フレームＬｎ＋３に後続する７つのフレームとの範囲（フレームＬｎ＋３〜Ｌｎ＋１０）で最適パスを抽出する。なお、図１０及び図１１において、一点鎖線で囲んだ範囲が、最適パスの抽出範囲である。
図１０に示すように、区間抽出部１０８は、各行において最も数値が高い類似度を選択する。但し、１行目は、左端の類似度を選択する。図１０において、破線で囲んだ類似度が最も数値が高い類似度である。このようにして各行で選択した最も数値が高い類似度（図１０の破線で囲んだ類似度）をつないで得られるパスが最適パスである。つまり、最適パスは、各フレームの類似度列と各フレームに後続する既定範囲ｗ内のフレームの類似度列の中から選択された、最も類似度積算値が高くなるパスである。なお、図１０において、一点鎖線で囲んだ範囲が、最適パスの抽出範囲である。
図１１のように、最適パスが左上から右下４５度に向かう最適パスが得られた場合は、クエリ動画像に表される動きと、当該最適パスに対応する候補動画像内の類似区間に表される動きが時間長においても一致している。例えば、人が５秒間で画面を横切るシーンがクエリ動画像に表されている場合に、図１１のような最適パスが得られた場合は、当該最適パスに対応する候補動画像内の類似区間にも人が５秒間で画面を横切るシーンが表されている。
区間抽出部１０８は、最適パスの抽出対象のフレームを、Ｌｎ、Ｌｎ＋１、Ｌｎ＋２…とシフトさせて、順次、各フレームに対して最適パスを抽出する。
区間抽出部１０８は、例えば、動的計画法を用いて類似度マップにおける最適パスを特徴量レコード４０の全領域に渡って複数推定する。
動的計画法を用いているため、クエリ動画像に表される動きと候補動画像中の類似する動きとの間に時間長の差異がある場合（図６）でも、区間抽出部１０８は類似区間を抽出することができる。また、動的計画法を用いているため、クエリ動画像に表される動きと候補動画像中の類似する動きとの間に部分的に連続した不一致区間がある場合（図７）においても、区間抽出部１０８は類似区間を抽出することができる。
図６及び図７は、図５に示すような画像イメージとして表現されている類似度マップにおいて抽出された最適パスを示している。図６及び図７において、白い線が最適パスを表す。
図６の（ａ）の最適パスは、図１１の最適パスと同様に、左上から右下４５度に向かう最適パスである。このため、図６の（ａ）の最適パスに対応する候補動画像内の類似区間に表される動きは、クエリ動画像に表される動きと時間長においても一致している。
図６の（ｂ）の最適パスが得られた場合は、クエリ動画像の動きの時間長が候補動画像の類似区間の動きの時間長に対して短い。例えば、人が５秒間で画面を横切るシーンがクエリ動画像に表されている場合に、図６の（ｂ）のような最適パスが得られた場合は、当該最適パスに対応する候補動画像内の類似区間には人が１０秒間で画面を横切るシーンが表されている。
また、図７の最適パスは、左上から右下４５度に向かうパスの途中に水平のパスが含まれている。図７の最適パスが得られた場合は、当該最適パスに対応する候補画像内の類似区間に表される動きには、クエリ動画像に表される動きと、クエリ動画像に表されていない動きとが含まれている。例えば、人が停止することなく画面を横切るシーンがクエリ動画像に表されている場合に、図７のような最適パスが得られた場合は、当該最適パスに対応する候補動画像内の類似区間には、人が途中で数秒間停止して画面を横切るシーンが表される。
動的計画法を用いているため、クエリ動画像に表される動きと候補動画像中の類似する動きとの間に時間長の差異がある場合（図６）でも、区間抽出部１０８は類似区間を抽出することができる。また、動的計画法を用いているため、クエリ動画像に表される動きと候補動画像中の類似する動きとの間に部分的に連続した不一致区間がある場合（図７）においても、区間抽出部１０８は類似区間を抽出することができる。
図６及び図７は、図５に示すような画像イメージとして表現されている類似度マップにおいて抽出された最適パスを示している。図６及び図７において、白い線が最適パスを表す。
図６の（ａ）の最適パスは、図１１の最適パスと同様に、左上から右下４５度に向かう最適パスである。このため、図６の（ａ）の最適パスに対応する候補動画像内の類似区間に表される動きは、クエリ動画像に表される動きと時間長においても一致している。
図６の（ｂ）の最適パスが得られた場合は、クエリ動画像の動きの時間長が候補動画像の類似区間の動きの時間長に対して短い。例えば、人が５秒間で画面を横切るシーンがクエリ動画像に表されている場合に、図６の（ｂ）のような最適パスが得られた場合は、当該最適パスに対応する候補動画像内の類似区間には人が１０秒間で画面を横切るシーンが表されている。
また、図７の最適パスは、左上から右下４５度に向かうパスの途中に水平のパスが含まれている。図７の最適パスが得られた場合は、当該最適パスに対応する候補画像内の類似区間に表される動きには、クエリ動画像に表される動きと、クエリ動画像に表されていない動きとが含まれている。例えば、人が停止することなく画面を横切るシーンがクエリ動画像に表されている場合に、図７のような最適パスが得られた場合は、当該最適パスに対応する候補動画像内の類似区間には、人が途中で数秒間停止して画面を横切るシーンが表される。
以上のようにして最適パスが抽出されると、次に、区間抽出部１０８は、最適パスを解析して、候補動画像から類似区間を抽出する（図４のステップＳＴ４０９）。
そして、区間抽出部１０８は、出力インタフェース２０３から、類似区間の抽出結果を類似区間情報５０として出力する。
区間抽出部１０８は、各フレームの最適パスでの類似度の積算値の波形特徴に基づき、候補動画像から、クエリ動画像の動きと同じ動き又は類似する動きが表される類似区間を抽出する。
そして、区間抽出部１０８は、出力インタフェース２０３から、類似区間の抽出結果を類似区間情報５０として出力する。
区間抽出部１０８は、各フレームの最適パスでの類似度の積算値の波形特徴に基づき、候補動画像から、クエリ動画像の動きと同じ動き又は類似する動きが表される類似区間を抽出する。
類似区間の抽出手順を図８を参照して説明する。
図８は、候補動画像の各フレームでの最適パスの類似度積算値を候補動画像のフレームの順にプロットして得られる類似度積算値の波形を示す。
図８の横軸Ｔｒは、候補動画像のフレーム番号に対応する。
区間抽出部１０８は、複数の最適パスから最適な類似区間を選定するため、図８の波形から、最も確からしい区間を推定する。すなわち、区間抽出部１０８は、図８の波形において、類似度積算値が周囲と比較して総合的に高い箇所を求めることで、類似区間を推定する。区間抽出部１０８は、例えば、図８に示したように上限閾値と下限閾値を設け、波形の立ち上がりを検出する手法により類似区間を抽出する。つまり、区間抽出部１０８は、図８の波形において類似度積算値が下限閾値を上回ってから類似度積算値が上限閾値を下回るまでの間における類似度積算値の極大値に対応する候補動画像のフレームを、類似区間の開始点として抽出する。
この上限閾値と下限閾値は、動画像全体の動き量やヒストグラムのパターンから、動的に変更してもよい。
図８は、候補動画像の各フレームでの最適パスの類似度積算値を候補動画像のフレームの順にプロットして得られる類似度積算値の波形を示す。
図８の横軸Ｔｒは、候補動画像のフレーム番号に対応する。
区間抽出部１０８は、複数の最適パスから最適な類似区間を選定するため、図８の波形から、最も確からしい区間を推定する。すなわち、区間抽出部１０８は、図８の波形において、類似度積算値が周囲と比較して総合的に高い箇所を求めることで、類似区間を推定する。区間抽出部１０８は、例えば、図８に示したように上限閾値と下限閾値を設け、波形の立ち上がりを検出する手法により類似区間を抽出する。つまり、区間抽出部１０８は、図８の波形において類似度積算値が下限閾値を上回ってから類似度積算値が上限閾値を下回るまでの間における類似度積算値の極大値に対応する候補動画像のフレームを、類似区間の開始点として抽出する。
この上限閾値と下限閾値は、動画像全体の動き量やヒストグラムのパターンから、動的に変更してもよい。
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態で説明した類似度マップを用いることで、比較対象の動作の時間長の相違及び比較対象の動作の間に特徴量の部分的な不一致の連続があっても類似シーンを抽出することができる。
そして、長時間に渡って撮影された動画像から、特定の動作に類似する区間を時間的な伸縮や部分的な相違を含めて抽出できることで、動画像検索にかかっていた時間を短縮することができる。
本実施の形態で説明した類似度マップを用いることで、比較対象の動作の時間長の相違及び比較対象の動作の間に特徴量の部分的な不一致の連続があっても類似シーンを抽出することができる。
そして、長時間に渡って撮影された動画像から、特定の動作に類似する区間を時間的な伸縮や部分的な相違を含めて抽出できることで、動画像検索にかかっていた時間を短縮することができる。
以上、本発明の実施の形態について説明したが、これら２つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
例えば、実施の形態２では、特徴量比較部１２は、実施の形態１で説明した特徴量抽出部１１で生成された特徴量、すなわち、動きベクトルの偏角成分の特徴量を用いて候補動画像から類似区間を抽出している。しかし、特徴量比較部１２は、動きベクトルとの偏角成分とノルムとの特徴量を用いて候補動画像から類似区間を抽出するようにしてもよい。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
例えば、実施の形態２では、特徴量比較部１２は、実施の形態１で説明した特徴量抽出部１１で生成された特徴量、すなわち、動きベクトルの偏角成分の特徴量を用いて候補動画像から類似区間を抽出している。しかし、特徴量比較部１２は、動きベクトルとの偏角成分とノルムとの特徴量を用いて候補動画像から類似区間を抽出するようにしてもよい。
＊＊＊ハードウェア構成の説明＊＊＊
最後に、動画像処理装置１０のハードウェア構成の補足説明を行う。
図２に示す記憶装置２０４には、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムの他に、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ２０２により実行される。
プロセッサ２０２はＯＳの少なくとも一部を実行しながら、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムを実行する。
プロセッサ２０２がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の処理の結果を示す情報やデータや信号値や変数値が、記憶装置２０４、プロセッサ２０２内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。
最後に、動画像処理装置１０のハードウェア構成の補足説明を行う。
図２に示す記憶装置２０４には、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムの他に、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ２０２により実行される。
プロセッサ２０２はＯＳの少なくとも一部を実行しながら、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムを実行する。
プロセッサ２０２がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の処理の結果を示す情報やデータや信号値や変数値が、記憶装置２０４、プロセッサ２０２内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。
また、特徴量抽出部１１及び特徴量比較部１２の「部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、動画像処理装置１０は、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった電子回路により実現されてもよい。
この場合は、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４は、それぞれ電子回路の一部として実現される。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
また、動画像処理装置１０は、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった電子回路により実現されてもよい。
この場合は、特徴量抽出部１１、特徴量比較部１２及び入力数カウンタ１０４は、それぞれ電子回路の一部として実現される。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
１０ 動画像処理装置、１１ 特徴量抽出部、１２ 特徴量比較部、２０ 動画像動き情報、３０ クエリ特徴量、４０ 特徴量レコード、５０ 類似区間情報、１０１ フィルタ、１０２ 偏角算出部、１０３ ヒストグラム生成部、１０４ 入力数カウンタ、１０５ 平滑化処理部、１０６ 取得部、１０７ 類似度マップ生成部、１０８ 区間抽出部、２０１ 入力インタフェース、２０２ プロセッサ、２０３ 出力インタフェース、２０４ 記憶装置。
Claims (13)
- 複数のフレームで構成される第１の動画像の各フレームに対して生成された特徴量である第１の特徴量が前記第１の動画像のフレームの順に並べられた第１の特徴量列と、前記第１の動画像よりも多い複数のフレームで構成される第２の動画像の各フレームに対して生成された特徴量である第２の特徴量が前記第２の動画像のフレームの順に並べられた第２の特徴量列とを取得する取得部と、
前記第１の特徴量列と前記第２の特徴量列との比較を、前記第１の特徴量列との比較の対象となる前記第２の動画像の比較対象範囲を前記第２の動画像のフレームの順に移動させながら行い、前記第２の動画像のフレームごとに前記第１の特徴量列内の前記第１の特徴量と比較対象範囲の前記第２の特徴量列内の前記第２の特徴量との類似度を算出して前記類似度が時系列に並べられた類似度列を生成し、前記第２の動画像のフレームごとの類似度列が前記第２の動画像のフレームの順に並べられた類似度マップを生成する類似度マップ生成部とを有する動画像処理装置。 - 前記動画像処理装置は、更に、
前記類似度マップを解析し、前記第１の動画像で表されている動きと同じ動き又は類似する動きが表されている前記第２の動画像のフレームの区間である対応区間を抽出する区間抽出部を有する請求項１に記載の動画像処理装置。 - 前記区間抽出部は、
前記類似度マップにおいて、前記第２の動画像のフレームごとに、当該フレームの類似度列と当該フレームに後続する既定範囲内のフレームの類似度列との中から最も類似度積算値が高くなるパスである最適パスを抽出し、
前記第２の動画像のフレームごとの最適パスの類似度積算値を解析して、前記対応区間を抽出する請求項２に記載の動画像処理装置。 - 前記区間抽出部は、
各最適パスの類似度積算値を前記第２の動画像のフレームの順にプロットして得られる類似度積算値の波形において類似度積算値が下限閾値を上回ってから類似度積算値が上限閾値を下回るまでの間における類似度積算値の極大値に対応する前記第２の動画像のフレームを、前記対応区間の開始点として抽出する請求項３に記載の動画像処理装置。 - 前記区間抽出部は、
動的計画法を用いて、前記第２の動画像のフレームごとに最適パスを抽出する請求項３に記載の動画像処理装置。 - 前記取得部は、
前記第１の動画像の各フレームから抽出された動きベクトルの偏角成分の特徴量である第１の特徴量が前記第１の動画像のフレームの順に並べられた第１の特徴量列と、前記第２の動画像の各フレームから抽出された動きベクトルの偏角成分の特徴量である第２の特徴量が前記第２の動画像のフレームの順に並べられた第２の特徴量列とを取得する請求項１に記載の動画像処理装置。 - 動画像に含まれるフレームごとに動きベクトルの偏角成分を算出する偏角算出部と、
前記偏角算出部の偏角成分の算出結果を用いて、フレームごとに偏角成分のヒストグラムデータを生成するヒストグラム生成部とを有する動画像処理装置。 - 前記動画像処理装置は、更に、
前記ヒストグラム生成部により生成された前記偏角成分のヒストグラムデータに対して、先行する任意数の連続するフレームに対して前記ヒストグラム生成部により生成された前記偏角成分のヒストグラムデータを用いた平滑化処理を行って特徴量を生成する平滑化処理部を有する請求項７に記載の動画像処理装置。 - 前記平滑化処理部は、
特徴量を生成するフレームと前記任意数のフレームの各々との時間的距離に応じた重み付けを前記任意数のフレームの前記偏角成分のヒストグラムデータの各々に適用して平滑化処理を行う請求項８に記載の動画像処理装置。 - コンピュータが、複数のフレームで構成される第１の動画像の各フレームに対して生成された特徴量である第１の特徴量が前記第１の動画像のフレームの順に並べられた第１の特徴量列と、前記第１の動画像よりも多い複数のフレームで構成される第２の動画像の各フレームに対して生成された特徴量である第２の特徴量が前記第２の動画像のフレームの順に並べられた第２の特徴量列とを取得し、
前記コンピュータが、前記第１の特徴量列と前記第２の特徴量列との比較を、前記第１の特徴量列との比較の対象となる前記第２の動画像の比較対象範囲を前記第２の動画像のフレームの順に移動させながら行い、前記第２の動画像のフレームごとに前記第１の特徴量列内の前記第１の特徴量と比較対象範囲の前記第２の特徴量列内の前記第２の特徴量との類似度を算出して前記類似度が時系列に並べられた類似度列を生成し、前記第２の動画像のフレームごとの類似度列が前記第２の動画像のフレームの順に並べられた類似度マップを生成する動画像処理方法。 - コンピュータが、動画像に含まれるフレームごとに動きベクトルの偏角成分を算出し、
前記コンピュータが、偏角成分の算出結果を用いて、フレームごとに偏角成分のヒストグラムデータを生成する動画像処理方法。 - 複数のフレームで構成される第１の動画像の各フレームに対して生成された特徴量である第１の特徴量が前記第１の動画像のフレームの順に並べられた第１の特徴量列と、前記第１の動画像よりも多い複数のフレームで構成される第２の動画像の各フレームに対して生成された特徴量である第２の特徴量が前記第２の動画像のフレームの順に並べられた第２の特徴量列とを取得する取得処理と、
前記第１の特徴量列と前記第２の特徴量列との比較を、前記第１の特徴量列との比較の対象となる前記第２の動画像の比較対象範囲を前記第２の動画像のフレームの順に移動させながら行い、前記第２の動画像のフレームごとに前記第１の特徴量列内の前記第１の特徴量と比較対象範囲の前記第２の特徴量列内の前記第２の特徴量との類似度を算出して前記類似度が時系列に並べられた類似度列を生成し、前記第２の動画像のフレームごとの類似度列が前記第２の動画像のフレームの順に並べられた類似度マップを生成する類似度マップ生成処理とをコンピュータに実行させる動画像処理プログラム。 - 動画像に含まれるフレームごとに動きベクトルの偏角成分を算出する偏角算出処理と、
前記偏角算出処理の偏角成分の算出結果を用いて、フレームごとに偏角成分のヒストグラムデータを生成するヒストグラム生成処理とをコンピュータに実行させる動画像処理プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/070478 WO2018011870A1 (ja) | 2016-07-11 | 2016-07-11 | 動画像処理装置、動画像処理方法及び動画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018011870A1 true JPWO2018011870A1 (ja) | 2018-10-25 |
| JP6419393B2 JP6419393B2 (ja) | 2018-11-07 |
Family
ID=60952838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018527274A Active JP6419393B2 (ja) | 2016-07-11 | 2016-07-11 | 動画像処理装置、動画像処理方法及び動画像処理プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20190220670A1 (ja) |
| JP (1) | JP6419393B2 (ja) |
| CN (1) | CN109478319A (ja) |
| DE (1) | DE112016006940T5 (ja) |
| WO (1) | WO2018011870A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110324660B (zh) * | 2018-03-29 | 2021-01-19 | 北京字节跳动网络技术有限公司 | 一种重复视频的判断方法及装置 |
| KR102608736B1 (ko) * | 2020-12-15 | 2023-12-01 | 주식회사 포티투마루 | 질의에 대한 문서 검색 방법 및 장치 |
| CN113177467A (zh) * | 2021-04-27 | 2021-07-27 | 上海鹰觉科技有限公司 | 火焰识别方法及系统、装置、介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000341631A (ja) * | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 |
| JP2007020195A (ja) * | 2006-07-18 | 2007-01-25 | Hitachi Ltd | 映像の検索方法および装置 |
| WO2009157402A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | コンテンツ再生制御システムと、その方法及びプログラム |
| JP2012123654A (ja) * | 2010-12-09 | 2012-06-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索装置、情報検索方法及び情報検索プログラム |
| WO2015005196A1 (ja) * | 2013-07-09 | 2015-01-15 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5870754A (en) * | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
| KR20010009273A (ko) * | 1999-07-08 | 2001-02-05 | 김영환 | 움직임 정도 기술방법을 이용한 동영상 색인 및 검색방법 |
| US20100086053A1 (en) * | 2007-04-26 | 2010-04-08 | Panasonic Corporation | Motion estimation device, motion estimation method, and motion estimation program |
| JP4973729B2 (ja) * | 2007-06-07 | 2012-07-11 | 富士通株式会社 | 動画像類似判定装置、および動画像類似判定方法 |
| CN101394559B (zh) * | 2007-09-21 | 2010-10-27 | 扬智科技股份有限公司 | 动态图像处理方法、译码方法及其装置 |
| GB2485733A (en) * | 2009-08-06 | 2012-05-23 | Toshiba Res Europ Ltd | Correlated probabilistic trajectories pedestrian motion detection using a decision forest |
| CN102542571B (zh) * | 2010-12-17 | 2014-11-05 | 中国移动通信集团广东有限公司 | 一种运动目标检测方法及装置 |
| JP2012203613A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 画像処理装置および方法、記録媒体並びにプログラム |
| JP2013164667A (ja) | 2012-02-09 | 2013-08-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索装置、映像検索方法、および映像検索用プログラム |
| CN102710743A (zh) * | 2012-04-16 | 2012-10-03 | 杭州斯凯网络科技有限公司 | 手持终端apn自适应的无线接入方法 |
| WO2015049732A1 (ja) * | 2013-10-02 | 2015-04-09 | 株式会社日立製作所 | 画像検索方法、画像検索システム、および情報記録媒体 |
| CN104021676B (zh) * | 2014-06-25 | 2016-08-03 | 上海交通大学 | 基于车辆动态视频特征的车辆定位及车速测量方法 |
-
2016
- 2016-07-11 WO PCT/JP2016/070478 patent/WO2018011870A1/ja active Application Filing
- 2016-07-11 DE DE112016006940.5T patent/DE112016006940T5/de not_active Withdrawn
- 2016-07-11 JP JP2018527274A patent/JP6419393B2/ja active Active
- 2016-07-11 CN CN201680087486.4A patent/CN109478319A/zh active Pending
- 2016-07-11 US US16/302,832 patent/US20190220670A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000341631A (ja) * | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 |
| JP2007020195A (ja) * | 2006-07-18 | 2007-01-25 | Hitachi Ltd | 映像の検索方法および装置 |
| WO2009157402A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | コンテンツ再生制御システムと、その方法及びプログラム |
| JP2012123654A (ja) * | 2010-12-09 | 2012-06-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索装置、情報検索方法及び情報検索プログラム |
| WO2015005196A1 (ja) * | 2013-07-09 | 2015-01-15 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6419393B2 (ja) | 2018-11-07 |
| WO2018011870A1 (ja) | 2018-01-18 |
| CN109478319A (zh) | 2019-03-15 |
| US20190220670A1 (en) | 2019-07-18 |
| DE112016006940T5 (de) | 2019-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Recurrently aggregating deep features for salient object detection | |
| CN109977262B (zh) | 从视频中获取候选片段的方法、装置及处理设备 | |
| JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
| US9646389B2 (en) | Systems and methods for image scanning | |
| US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| JP2019036009A (ja) | 制御プログラム、制御方法、及び情報処理装置 | |
| JP2019036008A (ja) | 制御プログラム、制御方法、及び情報処理装置 | |
| KR101479387B1 (ko) | 얼굴 검출을 위한 방법 및 장치 | |
| US20100194869A1 (en) | Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method | |
| JP6419393B2 (ja) | 動画像処理装置、動画像処理方法及び動画像処理プログラム | |
| JP4496595B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| KR101982258B1 (ko) | 오브젝트 검출 방법 및 오브젝트 검출 장치 | |
| JP2005252359A (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| JP4525064B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| KR101589492B1 (ko) | 다수의 재귀 규칙을 이용한 디지털 비디오의 움직임 추정 방법 및 시스템 | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP6787075B2 (ja) | 画像処理システム、画像処理装置および画像処理方法 | |
| JP4622265B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム | |
| JP2009021864A (ja) | 動きベクトル探索装置 | |
| KR101507998B1 (ko) | 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치 | |
| JP2015049702A (ja) | 対象認識装置、対象認識方法、およびプログラム | |
| US9390347B2 (en) | Recognition device, method, and computer program product | |
| JP4207764B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| JP2021157794A (ja) | ビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体 | |
| JP5470529B2 (ja) | 動き検出装置、動き検出方法及び動き検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180801 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180801 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180801 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181009 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6419393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |