JP3731952B2 - 動画像検索用情報生成装置 - Google Patents
動画像検索用情報生成装置 Download PDFInfo
- Publication number
- JP3731952B2 JP3731952B2 JP27655196A JP27655196A JP3731952B2 JP 3731952 B2 JP3731952 B2 JP 3731952B2 JP 27655196 A JP27655196 A JP 27655196A JP 27655196 A JP27655196 A JP 27655196A JP 3731952 B2 JP3731952 B2 JP 3731952B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- moving image
- image
- frame
- search information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、動画像検索用の情報を生成する装置に関し、より詳細には、動画像情報を処理してその変化を求めることにより、検索を支援するために表現されたデータを生成する装置に関する。
【0002】
【従来の技術】
ユーザが動画像中のある画像にアクセスしようとする場合に、意図する画像が動画像中のどの時点にあるかを一目でわかるようにする従来の方法として、特開平4−235589号公報に記載されている技術がある。これは、動画像のフレーム毎の画像情報を時間変化として表示するという方法をとっている。
この方法では、輝度を複数段階に分類し、各フレームにおけるそれぞれの輝度を持つ画素数のヒストグラムを作成し、前記ヒストグラムを高さ情報などとして時系列にその変化が分かるように表示することで、ユーザの意図するシーンをある程度判別可能にしている。
【0003】
【発明が解決しようとする課題】
しかしながら、上述の方法では、ヒストグラムを作成する際、所定フレームの画面のトータルとして1つのヒストグラムを得るという処理を行い画面内の位置情報が欠落するために、画像内にとらえられた対象物体の動きを知りたい場合、画面中のどの場所であったのかを知ることは困難である。
また、この方法では、背景の情報もヒストグラムに含まれてしまうため、注目したい対象物体の動きが埋もれてしまうおそれがある。
本発明は、こうした従来技術における問題点に鑑みてなされたもので、動画像の検索に用いる情報を生成する場合に、動画像の変化を画面中のどの場所(位置)で起きているかを含めて検索用のデータを提示することを可能にして、動画像のより細い変化にもとづいて動画像の意図する画像へのアクセスをより正確になし得るようにする動画像の検索に用いる情報を生成する装置を提供することをその解決すべき課題とする。
【0005】
【課題を解決するための手段】
請求項1の発明は、検索されるべき動画像信号について、動画像を構成するフレーム列に沿って順次画像の所定範囲における明度値ヒストグラムを求めるヒストグラム作成手段と、該ヒストグラム作成手段によって作成されたヒストグラムに基づきフレーム間同士で対応するヒストグラムのフレーム間差分値を検索用情報として求め、該検索用情報を前記フレーム列に沿い表現するための処理を行う検索用情報処理手段と、前記検索用情報をグラフィックに表示する表示手段とを有し、前記検索用情報によって前記フレーム列から特定画像部分を検索し得るようにした動画像検索用情報生成装置において、前記ヒストグラム作成手段は動画像の各フレーム毎に且つフレームの少なくとも1以上の方向についてのヒストグラムを求め、前記表示手段は前記検索用情報をピクセルの輝度値として、前記少なくとも1以上の方向毎に時間軸に沿って1画面で表示するようにしたことを特徴とするものである。
【0006】
請求項2の発明は、請求項1の発明において、前記ヒストグラム作成手段に入力する画像をエッジ画像とするエッジ画像処理手段を備えるようにしたことを特徴とするものである。
【0009】
【発明の実施の形態】
以下、添付図面を用いることにより、本発明の一実施形態を詳細に説明する。
図1は、本発明の動画像検索用情報生成装置の実施形態の概要を示すブロック図である。図1において、1は動画像メモリ、2は動画像処理部、3はディスプレイであり、動画像処理部2には、エッジ処理部21、ヒストグラム作成部22及びフレーム間差分演算部23を備える。
【0010】
次に、図1に示される構成の本実施形態についてその動作に関する説明をする。
動画像メモリ1に蓄積された動画像は、動画像処理部2でフレーム内処理,フレーム間処理の順に処理を施される。
まず、フレーム内処理について説明する。フレーム内処理は、各フレーム毎に行なわれる。処理の対象がカラー画像であれば、まず明度画像に変換する必要がある(図示せず)。こうして変換された明度画像を次にエッジ抽出部21においてRobertsフィルタを用いてエッジ画像に変換する。
図2は、動画像処理部において行われるエッジ画像抽出の一例を示す概念図である。図2に示すように、明度情報に変換されたフレーム内の画像(A)は、エッジ抽出処理によってエッジ部分だけで表現される画像(B)に変換される。
明度情報への変換やエッジ画像への変換処理の方法は、(森俊二・板倉栂子:“画像認識の基礎”、オーム社、1990)等、多くの文献に既に記載されているので、それらを参照することとして、ここでは省略する。
【0011】
次に、ヒストグラム作成部22において、上述のようにして得られたエッジ画像からx方向,y方向のヒストグラムを求める。このとき、フレーム番号iの画像の座標(x,y)の明度値がI(x,y)(1≦x≦X,1≦y≦Y)であったとする(図2(B)参照)。なお、ここでX,Yはそれぞれ1フレームの縦,横の長さを表すものとして画像の横方向,縦方向のピクセル数でそれを表す。
そして、y方向のヒストグラムHy(x),x方向のヒストグラムHx(y)は、
【0012】
【数1】
【0013】
図3は、エッジ画像からx方向及びy方向のヒストグラムを求めた結果をエッジ画像とともに示す図である。図3において、ヒストグラムは座標ごとの明度値のヒストグラムがバーで表示するように処理されている例を示す。
次に、フレーム間差分演算部23で行なうフレーム間処理の説明に移る。ここでは、フレーム内処理で得られたフレーム番号iのX方向、Y方向のヒストグラムをそれぞれHy(i,x)、Hx(i,y)とする。フレーム間差分Dy(i,x)、Dx(i,y)は、
Dy(i,x)=abs(Hy(i,x)−Hy(i−1,x)),
Dx(i,y)=abs(Hx(i,y)−Hx(i−1,y))
と定義され、この定義に従ってそれぞれ求めることになる。なお、上記した式におけるabsは絶体値を取るための関数である。
【0014】
図4は、フレーム間処理を行って求めた結果(B)を各フレームのエッジ画像のヒストグラム(A1,A2)とともに示す図である。
図4において、フレームt−1からtにかけて動画像中の人間が正面を向いているシーン(A1)から頭を下げているシーン(A2)へと変化する場合のDx(i,y)(1≦y≦Y)を算出した例を示す。
この例では、画像(A1及びA2)中の頭の高さに対応するyにおいてDx(i,y)が大きな値を示しており、頭の高さの付近で動きがあることがわかる。このようにフレーム間で差分を取ることで、カメラの位置が不変の場合、背景は差分をとることにより0出力となって背景の影響を打ち消すことができ、対象となる物体の動きだけを捉えることが可能となる。また、y方向のDy(i,x)も同様に動きを検出することが可能である。
【0015】
上述のようにして得たヒストグラムのフレーム間差分Dy(i,x)、Dx(i,y),1≦i≦Iをディスプレイ3に表示する。ここでIは、表示の対象とする動画像のフレーム数で動画像の連なり、つまり動画像を構成するフレーム列から検索する画像の箇所を表す。
表示は、Dy(i,x)については、画面上の座標(i,x)のピクセルの輝度値をDy(i,x)にすることで行なう。Dx(i,y)も同様に、座標(i,y)のピクセルの輝度値をDx(i,y)にすることで行なう。
図5は、フレーム間処理を行って求めたx方向(A)及びy方向(B)の結果を時間軸(フレーム数)を横軸にして表示した例を示すものである。
図5において、動画面中央で人間が「おじぎ」を行なったものを処理した結果であるが、画面中央で何かが上下していることが一目でわかる。もし、人間の対話を収録した動画像であれば、頭の上下に対応すると考えられ、実際に動画像を再生せずとも「おじぎ」を行なっていると推測できる。したがって、図5のように、動画像の所定時間に含まれるフレームの画像の変化をし画像で表示する形式をとると、その画面表示から、検索しようとするシーンを容易に見付けることができる。
【0016】
【発明の効果】
本発明によれば、画像における明度のヒストグラムの時間的変化を単に求めるだけの従来技術ではとらえられなかった動画像中の対象を特定の時点の画面において特定の方向でのヒストグラムからとらえることができ、それによってシーンを推測できるので、より正確にシーンの検索が可能となる。さらに、上記したヒストグラムのフレーム間差分をとり、その結果を一画面に時間(フレーム数)軸にそって表示するようにしているので、より容易にシーンの検索が可能となる。
【図面の簡単な説明】
【図1】本発明の動画像検索用情報生成装置の実施形態の概要を示すブロック図である。
【図2】動画像処理部において行われるエッジ画像抽出の一例を示す概念図である。
【図3】エッジ画像からx方向及びy方向のヒストグラムを求めた結果をエッジ画像とともに示す図である。
【図4】図4は、フレーム間処理を行って求めた結果(B)を各フレームのエッジ画像のヒストグラム(A1,A2)とともに示す図である。
【図5】フレーム間処理を行って求めたx方向(A)及びy方向(B)の結果を時間軸(フレーム数)を横軸にして表示した例を示すものである。
【符号の説明】
1…動画像メモリ、2…動画像処理部、21…エッジ処理部、22…ヒストグラム作成部、23…フレーム間差分演算部、3…ディスプレイ。
Claims (2)
- 検索されるべき動画像信号について、動画像を構成するフレーム列に沿って順次画像の所定範囲における明度値ヒストグラムを求めるヒストグラム作成手段と、該ヒストグラム作成手段によって作成されたヒストグラムに基づきフレーム間同士で対応するヒストグラムのフレーム間差分値を検索用情報として求め、該検索用情報を前記フレーム列に沿い表現するための処理を行う検索用情報処理手段と、前記検索用情報をグラフィックに表示する表示手段とを有し、前記検索用情報によって前記フレーム列から特定画像部分を検索し得るようにした動画像検索用情報生成装置において、前記ヒストグラム作成手段は動画像の各フレーム毎に且つフレームの少なくとも1以上の方向についてのヒストグラムを求め、前記表示手段は前記検索用情報をピクセルの輝度値として、前記少なくとも1以上の方向毎に時間軸に沿って1画面で表示するようにしたことを特徴とする動画像検索用情報生成装置。
- 前記ヒストグラム作成手段に入力する画像をエッジ画像とするエッジ画像処理手段を備えるようにしたことを特徴とする請求項1記載の動画像検索用情報生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27655196A JP3731952B2 (ja) | 1996-10-18 | 1996-10-18 | 動画像検索用情報生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27655196A JP3731952B2 (ja) | 1996-10-18 | 1996-10-18 | 動画像検索用情報生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10126721A JPH10126721A (ja) | 1998-05-15 |
JP3731952B2 true JP3731952B2 (ja) | 2006-01-05 |
Family
ID=17571072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27655196A Expired - Fee Related JP3731952B2 (ja) | 1996-10-18 | 1996-10-18 | 動画像検索用情報生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3731952B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3622527B2 (ja) | 1998-08-24 | 2005-02-23 | 株式会社日立製作所 | 映像の特徴場面検出方法及び装置 |
JP2002084440A (ja) * | 2000-09-06 | 2002-03-22 | Olympus Optical Co Ltd | デジタルカメラ、画像処理方法及び記録媒体 |
JP2002084441A (ja) * | 2000-09-06 | 2002-03-22 | Olympus Optical Co Ltd | デジタルカメラ、画像処理方法及び記録媒体 |
JP2006295890A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2006293985A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP4588642B2 (ja) | 2005-03-15 | 2010-12-01 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2006293986A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
EP2600305A1 (en) * | 2011-11-30 | 2013-06-05 | Thomson Licensing | Method and apparatus for generating metadata for digital content |
US9955103B2 (en) | 2013-07-26 | 2018-04-24 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, appended information display method, and appended information display system |
WO2015015712A1 (ja) | 2013-07-30 | 2015-02-05 | パナソニックIpマネジメント株式会社 | 映像受信装置、付加情報表示方法および付加情報表示システム |
WO2015033501A1 (ja) | 2013-09-04 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
JP6281125B2 (ja) | 2013-09-04 | 2018-02-21 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
JP6194483B2 (ja) | 2014-03-26 | 2017-09-13 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
WO2015145493A1 (ja) | 2014-03-26 | 2015-10-01 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
EP3171609B1 (en) * | 2014-07-17 | 2021-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Recognition data generation device, image recognition device, and recognition data generation method |
EP3185577B1 (en) | 2014-08-21 | 2018-10-24 | Panasonic Intellectual Property Management Co., Ltd. | Content identification apparatus and content identification method |
-
1996
- 1996-10-18 JP JP27655196A patent/JP3731952B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10126721A (ja) | 1998-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3731952B2 (ja) | 動画像検索用情報生成装置 | |
JP5607079B2 (ja) | 前景−背景制約伝播に基づくビデオマッティング | |
US8089515B2 (en) | Method and device for controlling auto focusing of a video camera by tracking a region-of-interest | |
JP3679512B2 (ja) | 画像抽出装置および方法 | |
US20110243451A1 (en) | Image processing apparatus and method, and program | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
CN110675371A (zh) | 一种场景切换的检测方法、装置、电子设备及存储介质 | |
JP6924932B2 (ja) | 移動体追跡方法、移動体追跡装置、およびプログラム | |
CN111612696B (zh) | 图像拼接方法、装置、介质及电子设备 | |
JP2010057105A (ja) | オブジェクトの3次元追跡方法およびシステム | |
KR20010024435A (ko) | 정지 영상 생성 방법 및 장치 | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
KR100695030B1 (ko) | 정지 화상 생성 방법 및 장치 | |
JP4192719B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
JP3480408B2 (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
JP3197633B2 (ja) | 移動体の自動追尾装置 | |
CN113552944B (zh) | 一种智慧宣传系统 | |
JP2005309740A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
US20050129312A1 (en) | Unit for and method of segmentation | |
CN115239551A (zh) | 视频增强方法和装置 | |
JPH09265538A (ja) | 自動追尾装置 | |
CN113313707A (zh) | 原始图像处理方法、装置、设备及可读存储介质 | |
JP4453202B2 (ja) | 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 | |
US20070092158A1 (en) | Image processing method and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051011 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |