JP6254771B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP6254771B2 JP6254771B2 JP2013103839A JP2013103839A JP6254771B2 JP 6254771 B2 JP6254771 B2 JP 6254771B2 JP 2013103839 A JP2013103839 A JP 2013103839A JP 2013103839 A JP2013103839 A JP 2013103839A JP 6254771 B2 JP6254771 B2 JP 6254771B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- shot
- histogram
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims 1
- 239000012634 fragment Substances 0.000 description 54
- 238000000034 method Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 27
- 230000008859 change Effects 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 238000002360 preparation method Methods 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
本発明は、例えば映像に含まれる複数のフレーム画像を用いて、映像(例えば、シーン毎)に対する特徴情報を取得する。具体的には、各フレーム画像に対して1又は複数の異なる画像サイズ(以下、「多重スケール」という)を有する画像片ワードのヒストグラム(多重スケール画像片ワードヒストグラム、Histogram of Multi−scale Image Piece Word、以下、必要に応じて「H−MIPW」という)に基づく特徴情報を用いて各シーンの分類を行う。
図3は、画像処理装置の機能構成の一例を示す図である。図3の例に示す画像処理装置10は、サンプリング取得手段11と、分割ブロック設定手段12と、画像片ワード生成手段(ブロック特徴情報生成手段)13と、ショット分割手段14と、ヒストグラム生成手段15と、シーン系列生成手段16とを有する。
次に、上述した画像処理装置10における画像処理例についてフローチャートを用いて説明する。図4は、本実施形態における画像処理の一例を示すフローチャートである。図4の例において、サンプリング取得手段11は、例えば1又は複数のジャンルからなる複数の映像集合から無作為に選んだ準備用映像集合21を入力し(S01)、入力した準備用映像集合21から所定のフレーム画像をサンプリングする(S02)。なお、サンプリングは、例えば一定間隔毎のフレーム画像を取得してもよく、映像区切り等に基づいてフレーム画像を取得してもよい。
次に、上述した画像片ワード生成手段13における多重スケール画像片ワード(MIPWord)を生成する手法について説明する。図5は、画像片ワード生成手段における処理の一例を示すフローチャートである。また、図6は、画像片ワードの生成の流れを示す図である。
次に、ヒストグラム生成手段15における処理対象映像24の各ショットの画像片ワードヒストグラムの生成例について、図を用いて説明する。図7は、ヒストグラム生成手段における処理の一例を示すフローチャートである。また、図8は、画像片ワードヒストグラムの生成の流れを示す図である。
次に、シーン系列生成手段16におけるシーン生成の一例について説明する。図9は、シーン生成処理の一例を示すフローチャートである。また、図10は、シーン生成の概要を説明するための図である。
Bn−N={bn−N[1,1],bn−N[1,2],・・・,bn−N[N_R,KN_R]}
Bn−N+1={bn−N+1[1,1],bn−N+1[1,2],・・・,bn−N+1[N_R,KN_R]}
・・・
Bn−1={bn−1[1,1],bn−1[1,2],・・・,bn−1[N_R,KN_R]}
を、「BM={bM[1,1],bM[1,2],・・・,bM[N_R,KN_R]}」のように統合して統合K値データBMを取得する。ただし、bM[j,k]=MAX(bn−N[j,k],bn−N+1[j,k],・・・,bn−1[j,k])とする。また、MAX(a1,a2,…,aN)は、「a1,a2,…,aNの中の最大値」を表す。
B'M={b'M[1,1],b'M[1,2],・・・,b'M[N_R,KN_R]}
ただし、bn[j,k]>0の場合には、b'M[j,k]=bM[j,k]とし、bn[j,k]=0の場合には、b'M[j,k]=0とする。
R=(b'M[1,1]+b'M[1,2]+…+b'M[N_R,KN_R])/(bn[1,1]+bn[1,2]+…+bn[N_R,KN_R])
次に、シーン系列生成手段16は、上述したように、シーン系列生成パラメータRと閾値RTHとを比較し、図11の例に示すように、シーン系列生成パラメータRが閾値RTH以上(R≧RTH)である場合には、ショットSTnにおける場面転換はないと判断し、STnをシーンSNkに入れる。また、シーン系列生成手段16は、シーン系列生成パラメータRが閾値RTH以上でない場合には、ショットSTnにおいて場面転換が発生したと判断し、k=k+1として、STnで新しいシーンSNkを生成する。また、シーン系列生成手段16は、n=n+1、n>N_STである場合、シーン系列生成処理を終了と判断して、シーン系列を出力し、そうでない場合には、上述したS33の処理に戻る。これにより、シーン系列生成手段16は、処理対象映像24(V)に対して適切なシーン系列27(SN1,…,SNN_SN)を出力することができる。
ここで、上述した画像処理装置10は、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性の記憶装置、ROM(Read Only Memory)等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
11 サンプリング取得手段
12 分割ブロック設定手段
13 画像片ワード生成手段(ブロック特徴情報生成手段)
14 ショット分割手段
15 ヒストグラム生成手段
16 シーン系列生成手段
21 準備用映像集合
22 準備用フレーム画像集合
23 画像片ワード
24 処理対象映像
25 ショット系列
26 画像片ワードヒストグラム
27 シーン系列
Claims (4)
- 映像からシーン系列を生成する画像処理装置において、
サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、
前記サンプリング取得手段により得られる各フレーム画像に対して、1又は複数のスケール毎にそれぞれのフレーム画像をブロック画像に分割し、分割した各ブロック画像の色特徴又はテクスチャ特徴である特徴情報を生成し、各ブロック画像を前記特徴情報に基づいてクラスタリングすることにより、各ブロック画像が各種類に分類された情報を生成する情報生成手段と、
前記シーン系列を生成するための処理対象映像をショット毎に予め設定された一定のフレーム間隔で分割するショット分割手段と、
前記ショット分割手段により分割されたショット毎に、分割した各ショットに含まれるフレーム画像をブロック画像に分割し、分割した各ブロック画像の前記特徴情報と、前記情報生成手段により分類分けされた各種類のブロック画像の前記特徴情報との類似性から、前記各種類のブロック画像の出現比率を算出し、算出した前記出現比率に基づくヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成されたヒストグラムを用いて前記処理対象映像に対するシーン系列を生成するシーン系列生成手段とを有し、
前記シーン系列生成手段は、
前記ヒストグラム生成手段により生成された前記ショット毎のヒストグラムの各要素を2以上の数値で多値化し、多値化されたデータ列を前記ショット毎にマージして得られる統合多値データに基づいて、前記シーン系列の分割部分を判断することを特徴とする画像処理装置。 - 前記情報生成手段により生成される1又は複数のブロックの大きさ、種類、及び数のうち、少なくとも1つを設定する分割ブロック設定手段を有することを特徴とする請求項1に記載の画像処理装置。
- 前記シーン系列生成手段は、
前記ショット毎のヒストグラムにおける前記各種類のブロック画像毎の出現比率と、予め設定された1又は複数の閾値とを比較することにより多値化を行うことを特徴とする請求項2に記載の画像処理装置。 - コンピュータを、
請求項1乃至3の何れか1項に記載の画像処理装置が有する各手段として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013103839A JP6254771B2 (ja) | 2013-05-16 | 2013-05-16 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013103839A JP6254771B2 (ja) | 2013-05-16 | 2013-05-16 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014225118A JP2014225118A (ja) | 2014-12-04 |
JP6254771B2 true JP6254771B2 (ja) | 2017-12-27 |
Family
ID=52123758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013103839A Active JP6254771B2 (ja) | 2013-05-16 | 2013-05-16 | 画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6254771B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6557592B2 (ja) * | 2015-12-15 | 2019-08-07 | 日本放送協会 | 映像シーン分割装置及び映像シーン分割プログラム |
CN112381471B (zh) * | 2021-01-13 | 2021-05-18 | 航天神舟智慧系统技术有限公司 | 基于视频图像智能采样的安全生产监管系统及方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3358692B2 (ja) * | 1995-08-02 | 2002-12-24 | 日本電信電話株式会社 | 映像ブロック分類方法及び装置 |
JP5046241B2 (ja) * | 2008-06-23 | 2012-10-10 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
-
2013
- 2013-05-16 JP JP2013103839A patent/JP6254771B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014225118A (ja) | 2014-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107534796B (zh) | 视频处理系统和数字视频分发系统 | |
CN106937114B (zh) | 用于对视频场景切换进行检测的方法和装置 | |
KR101891225B1 (ko) | 배경 모델을 업데이트하기 위한 방법 및 장치 | |
CN108881947B (zh) | 一种直播流的侵权检测方法及装置 | |
KR102315574B1 (ko) | 데이터 분류 방법 및 장치와 관심영역 세그멘테이션 방법 및 장치 | |
Pape et al. | Utilizing machine learning approaches to improve the prediction of leaf counts and individual leaf segmentation of rosette plant images | |
CN104376003B (zh) | 一种视频检索方法及装置 | |
US8467611B2 (en) | Video key-frame extraction using bi-level sparsity | |
US20090274364A1 (en) | Apparatus and methods for detecting adult videos | |
CN110688524B (zh) | 视频检索方法、装置、电子设备及存储介质 | |
US20120148149A1 (en) | Video key frame extraction using sparse representation | |
US9430718B1 (en) | Efficient local feature descriptor filtering | |
JP6794197B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5116017B2 (ja) | 動画検索方法およびシステム | |
KR101833943B1 (ko) | 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템 | |
CN108966042B (zh) | 一种基于最短路径的视频摘要生成方法及装置 | |
JP6254771B2 (ja) | 画像処理装置及び画像処理プログラム | |
Sahoo et al. | A fast valley-based segmentation for detection of slowly moving objects | |
JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR101332630B1 (ko) | 경량화된 랜덤펀스 및 이를 이용한 이미지 표현방법 | |
CN104850600A (zh) | 一种用于搜索包含人脸的图片的方法和装置 | |
JP2015130041A (ja) | 画像処理装置及び画像処理プログラム | |
KR101507998B1 (ko) | 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치 | |
JP6257337B2 (ja) | 画像選択装置 | |
JP6034702B2 (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6254771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |