JP5699856B2 - 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム - Google Patents
動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム Download PDFInfo
- Publication number
- JP5699856B2 JP5699856B2 JP2011178815A JP2011178815A JP5699856B2 JP 5699856 B2 JP5699856 B2 JP 5699856B2 JP 2011178815 A JP2011178815 A JP 2011178815A JP 2011178815 A JP2011178815 A JP 2011178815A JP 5699856 B2 JP5699856 B2 JP 5699856B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- moving image
- partial moving
- partial
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
特許文献2には、部分動画像同士の類似度に基づいて類似する部分動画像を特定し、類似する部分動画像に対して同一のグループ属性を付与し、グループ化した類似する部分動画像の出現パターンに基づいて動画像の種別を判定する動画像処理装置が開示されている。また特許文献2には、この動画像処理装置が、動画像を、3分ごと、30秒ごと、あるいは、連続する3ショット、10ショットといった複数の小区間に分割し、各小区間ごとに、動画像種別を判定することが記載されている。
ここで、カット点を検出する処理は、例えば、動画像中の連続する2枚のピクチャを順次比較することにより行われる。そのため、動画像処理装置は動画像に含まれる多数のピクチャについて演算することになるので、カット点を検出する処理は動画像処理装置に対する演算負荷が大きい。したがって、動画像のデータサイズ、または動画像処理装置が有するハードウェアリソースによっては、ユーザは、動画像処理装置が動画像をシーンごとに分割するまでに、ある程度待たなければならないおそれがあった。また、特許文献2に開示されているように、動画像処理装置が、動画像を一定の時間ごとに小区間に分割し、小区間ごとにシーンの特徴量を求めるとしても、小区間の区切りとシーンの区切りは必ずしも一致しない。そのため、小区間の区切りによって分割されたシーンについては、動画像処理装置は、正確にそのシーンの特徴量を求めることができないおそれがあった。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
インターフェース部11は、動画像入力装置から、または通信ネットワークを介して動画像を取得し、その動画像を制御部15へ渡す。
またインターフェース部11は、動画像から検出された各シーン、あるいは検索対象シーンと類似すると判定されたシーンについて、シーンの開始時刻と終了時刻、及びシーンの特徴量を含むシーンの情報を制御部15から受け取る。そしてインターフェース部11は、その情報を通信ネットワークを介して動画像処理装置1と接続された他の機器へ送信してもよい。
制御部15は、演算部16−1〜16−nのそれぞれに、割り当てた部分動画像を渡す。さらに制御部15は、元の動画像の先頭を含む部分動画像を割り当てた演算部に対して、その部分動画像の先頭が元の動画像の先頭であることを通知する。同様に、制御部15は、元の動画像の最後を含む部分動画像を割り当てた演算部に対して、その部分動画像の最後が元の動画像の最後であることを通知する。
あるいは、制御部15は、動画像を、動画像処理装置1が有する演算部の数とは無関係に、複数の部分動画像に分割してもよい。例えば、制御部15は、動画像を、10分ずつ、あるいは、30分ずつといった、一定期間ごとに分割してもよい。この場合において、部分動画像の数が動画像処理装置1が有する演算部の数よりも多ければ、制御部15は、演算部ごとに割り当てる部分動画像の数を変えてもよい。また、演算部ごとに処理能力が異なる場合には、制御部15は、処理能力が高い演算部ほど、多くの部分動画像を割り当ててもよい。
さらに制御部15は、動画像中で、検索対象シーンと類似するシーンを検出する。ここで、検索対象シーンとなり得る、個々のシーンに対応する複数の動画像(以下検索候補シーンと呼ぶ)及び各検索候補シーンから抽出された特徴量は、例えば、予め記憶部13に記憶される。そして表示装置に各検索候補シーンが表示された状態で、ユーザが、動画像処理装置1と接続されたマウスなどのユーザインターフェース(図示せず)を操作することにより、検索候補シーンの中から一つ又は複数の検索対象シーンが選択される。また、動画像処理装置1は、インターフェース部11を介して、他の機器から検索対象シーンに相当する動画像及びその検索対象シーンから抽出された特徴量を受け取ってもよい。あるいは、動画像処理装置1は、インターフェース部11を介して、他の機器から検索対象シーンに相当する動画像のみを受け取ってもよい。この場合、制御部15あるいは演算部16−1〜16−nの何れかが、検索対象シーンの特徴量を抽出し、その特徴量を、検索対象シーンとともに記憶部13に記憶させておいてもよい。
例えば、制御部15は、シーンの特徴量のそれぞれを要素とする特徴量ベクトルと、検索対象シーンの特徴量のそれぞれを要素とする特徴量ベクトル間の距離を算出する。そして制御部15は、その距離が所定の閾値以下である場合、そのシーンは、検索対象シーンと類似していると判定する。なお、所定の閾値は、例えば、特徴量ベクトル間の距離の取り得る最大値の1/20〜1/5に設定される。なお、特徴ベクトル間の距離は、例えば、ユークリッド距離またはマンハッタン距離とすることができる。
なお、各演算部により実行される処理は同一であるため、以下では、演算部16−1により実行される処理について説明する。
なお、演算部16−1は、カット点を検出するための他の様々な方法のうちの何れかによってカット点を検出してもよい。例えば、演算部16−1は、度数分布法、色度数分布法、χ2検定法あるいは分割χ2検定法によってカット点を検出してもよい。
この例では、演算部16−1は、特徴量yiを要素とする特徴量ベクトルY=(y1,y2,...,y9)を制御部15に渡す。
あるいは、演算部16−1は、シーンに含まれる各ピクチャに対してフーリエ変換あるいはウェーブレット変換といった周波数変換処理を行って周波数成分の分布を求めてもよい。そして演算部16−1は、例えば、各ピクチャの周波数成分ごとに平均値を求め、その平均値が高い方から所定数(例えば、10個)の周波数成分をそれぞれ特徴量としてもよい。
さらに、演算部16−1は、正規化色度数分布、正規化輝度度数分布または周波数成分が高い方から所定個数の周波数成分を、ピクチャを複数のブロックに分割したブロックごとに求めて、それぞれ特徴量としてもよい。さらにまた、演算部16−1は、シーンごとに、複数種類の特徴量を求めてもよい。例えば、演算部16−1は、正規化色度数分布と、ブロックごとの平均輝度値とを特徴量として求めてもよい。
先ず、制御部15は、対象となる動画像を、動画像処理装置1が有する演算部の数に応じて分割することにより、複数の部分動画像を作成する(ステップS101)。そして制御部15は、各部分動画像を、演算部16−1〜16−nの何れかに渡す。
その後、動画像処理装置1は、動画像処理を終了する。
(付記1)
動画像を複数の部分動画像に分割する制御部と、
前記複数の部分動画像の何れかが割り当てられ、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第1のシーンの特徴量を抽出する複数の演算部とを有し、
前記制御部は、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第2のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
動画像処理装置。
(付記2)
前記制御部は、前記動画像を、前記複数の演算部の数と同じ数の部分動画像に等分割し、前記複数の演算部のそれぞれに、前記複数の部分動画像のうちの何れか一つを割り当てる、付記1に記載の動画像処理装置。
(付記3)
前記制御部は、前記複数の演算部のそれぞれに割り当てる部分動画像の時間長が、当該演算部の演算能力が高いほど長くなるように、前記動画像を分割する、付記1に記載の動画像処理装置。
(付記4)
制御部が動画像を複数の部分動画像に分割し、該複数の部分動画像のそれぞれを複数の演算部の何れかに割り当て、
前記複数の演算部のそれぞれが、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第1のシーンの特徴量を抽出し、
前記制御部が、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第2のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
ことを含む動画像処理方法。
(付記5)
前記制御部は、
前記複数の演算部のうちの前記第2のシーンの特徴量を抽出した演算部から前記第2のシーンの特徴量を受け取るよりも前に、前記第1のシーンの特徴量を検索対象シーンの特徴量と比較することにより、前記第1のシーンが当該検索対象シーンと類似するシーンか否かを判定し、
前記第2のシーンの特徴量を受け取った後に、前記第2のシーンの特徴量を前記検索対象シーンの特徴量と比較することにより、前記第2のシーンが当該検索対象シーンと類似するシーンか否かを判定する、付記4に記載の動画像処理方法。
(付記6)
制御部と、複数の演算部とを含むコンピュータにおいて実行される動画像処理用コンピュータプログラムであって、
前記制御部に、動画像を複数の部分動画像に分割させ、かつ、該複数の部分動画像のそれぞれを前記複数の演算部の何れかに割り当てさせ、
前記複数の演算部のそれぞれに、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出させ、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第1のシーンの特徴量を抽出させ、
前記複数の演算部の何れかに、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第2のシーンの特徴量を抽出させる、
動画像処理用コンピュータプログラム。
11 インターフェース部
12 モニタインターフェース部
13 記憶部
14 記録媒体アクセス装置
15 制御部
16−1〜16−n 演算部
17 記録媒体
Claims (4)
- 動画像を複数の部分動画像に分割する制御部と、
前記複数の部分動画像の何れかが割り当てられ、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第1のシーンの特徴量を抽出する複数の演算部とを有し、
前記制御部は、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第2のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
動画像処理装置。 - 制御部が動画像を複数の部分動画像に分割し、該複数の部分動画像のそれぞれを複数の演算部の何れかに割り当て、
前記複数の演算部のそれぞれが、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第1のシーンの特徴量を抽出し、
前記制御部が、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第2のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
ことを含む動画像処理方法。 - 前記制御部は、
前記複数の演算部のうちの前記第2のシーンの特徴量を抽出した演算部から前記第2のシーンの特徴量を受け取るよりも前に、前記第1のシーンの特徴量を検索対象シーンの特徴量と比較することにより、前記第1のシーンが当該検索対象シーンと類似するシーンか否かを判定し、
前記第2のシーンの特徴量を受け取った後に、前記第2のシーンの特徴量を前記検索対象シーンの特徴量と比較することにより、前記第2のシーンが当該検索対象シーンと類似するシーンか否かを判定する、請求項2に記載の動画像処理方法。 - 制御部と、複数の演算部とを含むコンピュータにおいて実行される動画像処理用コンピュータプログラムであって、
前記制御部に、動画像を複数の部分動画像に分割させ、かつ、該複数の部分動画像のそれぞれを前記複数の演算部の何れかに割り当てさせ、
前記複数の演算部のそれぞれに、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出させ、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第1のシーンの特徴量を抽出させ、
前記複数の演算部の何れかに、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第2のシーンの特徴量を抽出させる、
動画像処理用コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011178815A JP5699856B2 (ja) | 2011-08-18 | 2011-08-18 | 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011178815A JP5699856B2 (ja) | 2011-08-18 | 2011-08-18 | 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013042412A JP2013042412A (ja) | 2013-02-28 |
JP5699856B2 true JP5699856B2 (ja) | 2015-04-15 |
Family
ID=47890368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011178815A Active JP5699856B2 (ja) | 2011-08-18 | 2011-08-18 | 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5699856B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6958279B2 (ja) | 2017-11-20 | 2021-11-02 | トヨタ自動車株式会社 | 情報処理装置 |
KR102027297B1 (ko) * | 2018-02-23 | 2019-10-02 | (주)온넷시스템즈코리아 | 장면 기반 동영상 네비게이션 장치 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3785068B2 (ja) * | 2001-08-28 | 2006-06-14 | 日本電信電話株式会社 | 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体 |
JP4491009B2 (ja) * | 2003-09-30 | 2010-06-30 | 株式会社東芝 | 動画像処理装置 |
JP4559935B2 (ja) * | 2005-08-25 | 2010-10-13 | 株式会社東芝 | 画像記憶装置及び方法 |
-
2011
- 2011-08-18 JP JP2011178815A patent/JP5699856B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013042412A (ja) | 2013-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106687990B (zh) | 用于基于渐进式改良从视频序列选择帧的方法 | |
US20160098636A1 (en) | Data processing apparatus, data processing method, and recording medium that stores computer program | |
CN109791695B (zh) | 基于图像块的运动向量确定所述块的方差 | |
KR102087882B1 (ko) | 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법 | |
EP2216749A1 (en) | Image classification device and image classification program | |
US10242287B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US20180075304A1 (en) | Method, system for removing background of a video, and a computer-readable storage device | |
US10430966B2 (en) | Estimating multi-person poses using greedy part assignment | |
US20170228453A1 (en) | Photograph organization based on facial recognition | |
JP2012243313A (ja) | 画像処理方法および画像処理装置 | |
KR20150114437A (ko) | 화상처리장치 및 화상처리방법 | |
US10289884B2 (en) | Image analyzer, image analysis method, computer program product, and image analysis system | |
EP2798576A2 (en) | Method and system for video composition | |
US20130088645A1 (en) | Method of Processing Moving Picture and Apparatus Thereof | |
US9549162B2 (en) | Image processing apparatus, image processing method, and program | |
JP2016134803A (ja) | 画像処理装置及び画像処理方法 | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
JP6577397B2 (ja) | 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム | |
WO2012108088A1 (ja) | 相違領域検出システム及び相違領域検出方法 | |
US9699501B2 (en) | Information processing device and method, and program | |
US10650242B2 (en) | Information processing apparatus, method, and storage medium storing a program that obtain a feature amount from a frame in accordance with a specified priority order | |
JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5699856B2 (ja) | 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム | |
JP2014197342A (ja) | 物体位置検出装置、物体位置検出方法、及びプログラム | |
JP2021111228A (ja) | 学習装置、学習方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5699856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |