JP3731952B2 - 動画像検索用情報生成装置 - Google Patents

動画像検索用情報生成装置 Download PDF

Info

Publication number
JP3731952B2
JP3731952B2 JP27655196A JP27655196A JP3731952B2 JP 3731952 B2 JP3731952 B2 JP 3731952B2 JP 27655196 A JP27655196 A JP 27655196A JP 27655196 A JP27655196 A JP 27655196A JP 3731952 B2 JP3731952 B2 JP 3731952B2
Authority
JP
Japan
Prior art keywords
histogram
moving image
image
frame
search information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27655196A
Other languages
English (en)
Other versions
JPH10126721A (ja
Inventor
次郎 木山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP27655196A priority Critical patent/JP3731952B2/ja
Publication of JPH10126721A publication Critical patent/JPH10126721A/ja
Application granted granted Critical
Publication of JP3731952B2 publication Critical patent/JP3731952B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、動画像検索用の情報を生成する装置に関し、より詳細には、動画像情報を処理してその変化を求めることにより、検索を支援するために表現されたデータを生成する装置に関する。
【0002】
【従来の技術】
ユーザが動画像中のある画像にアクセスしようとする場合に、意図する画像が動画像中のどの時点にあるかを一目でわかるようにする従来の方法として、特開平4−235589号公報に記載されている技術がある。これは、動画像のフレーム毎の画像情報を時間変化として表示するという方法をとっている。
この方法では、輝度を複数段階に分類し、各フレームにおけるそれぞれの輝度を持つ画素数のヒストグラムを作成し、前記ヒストグラムを高さ情報などとして時系列にその変化が分かるように表示することで、ユーザの意図するシーンをある程度判別可能にしている。
【0003】
【発明が解決しようとする課題】
しかしながら、上述の方法では、ヒストグラムを作成する際、所定フレームの画面のトータルとして1つのヒストグラムを得るという処理を行い画面内の位置情報が欠落するために、画像内にとらえられた対象物体の動きを知りたい場合、画面中のどの場所であったのかを知ることは困難である。
また、この方法では、背景の情報もヒストグラムに含まれてしまうため、注目したい対象物体の動きが埋もれてしまうおそれがある。
本発明は、こうした従来技術における問題点に鑑みてなされたもので、動画像の検索に用いる情報を生成する場合に、動画像の変化を画面中のどの場所(位置)で起きているかを含めて検索用のデータを提示することを可能にして、動画像のより細い変化にもとづいて動画像の意図する画像へのアクセスをより正確になし得るようにする動画像の検索に用いる情報を生成する装置を提供することをその解決すべき課題とする。
【0005】
【課題を解決するための手段】
請求項の発明は、検索されるべき動画像信号について、動画像を構成するフレーム列に沿って順次画像の所定範囲における明度値ヒストグラムを求めるヒストグラム作成手段と、該ヒストグラム作成手段によって作成されたヒストグラムに基づきフレーム間同士で対応するヒストグラムのフレーム間差分値を検索用情報として求め、該検索用情報を前記フレーム列に沿い表現するための処理を行う検索用情報処理手段と、前記検索用情報をグラフィックに表示する表示手段とを有し、前記検索用情報によって前記フレーム列から特定画像部分を検索し得るようにした動画像検索用情報生成装置において、前記ヒストグラム作成手段は動画像の各フレーム毎に且つフレームの少なくとも1以上の方向についてのヒストグラムを求め、前記表示手段は前記検索用情報をピクセルの輝度値として、前記少なくとも1以上の方向毎に時間軸に沿って1画面で表示するようにしたことを特徴とするものである。
【0006】
請求項の発明は、請求項1の発明において、前記ヒストグラム作成手段に入力する画像をエッジ画像とするエッジ画像処理手段を備えるようにしたことを特徴とするものである。
【0009】
【発明の実施の形態】
以下、添付図面を用いることにより、本発明の一実施形態を詳細に説明する。
図1は、本発明の動画像検索用情報生成装置の実施形態の概要を示すブロック図である。図1において、1は動画像メモリ、2は動画像処理部、3はディスプレイであり、動画像処理部2には、エッジ処理部21、ヒストグラム作成部22及びフレーム間差分演算部23を備える。
【0010】
次に、図1に示される構成の本実施形態についてその動作に関する説明をする。
動画像メモリ1に蓄積された動画像は、動画像処理部2でフレーム内処理,フレーム間処理の順に処理を施される。
まず、フレーム内処理について説明する。フレーム内処理は、各フレーム毎に行なわれる。処理の対象がカラー画像であれば、まず明度画像に変換する必要がある(図示せず)。こうして変換された明度画像を次にエッジ抽出部21においてRobertsフィルタを用いてエッジ画像に変換する。
図2は、動画像処理部において行われるエッジ画像抽出の一例を示す概念図である。図2に示すように、明度情報に変換されたフレーム内の画像(A)は、エッジ抽出処理によってエッジ部分だけで表現される画像(B)に変換される。
明度情報への変換やエッジ画像への変換処理の方法は、(森俊二・板倉栂子:“画像認識の基礎”、オーム社、1990)等、多くの文献に既に記載されているので、それらを参照することとして、ここでは省略する。
【0011】
次に、ヒストグラム作成部22において、上述のようにして得られたエッジ画像からx方向,y方向のヒストグラムを求める。このとき、フレーム番号iの画像の座標(x,y)の明度値がI(x,y)(1≦x≦X,1≦y≦Y)であったとする(図2(B)参照)。なお、ここでX,Yはそれぞれ1フレームの縦,横の長さを表すものとして画像の横方向,縦方向のピクセル数でそれを表す。
そして、y方向のヒストグラムHy(x),x方向のヒストグラムHx(y)は、
【0012】
【数1】
Figure 0003731952
【0013】
図3は、エッジ画像からx方向及びy方向のヒストグラムを求めた結果をエッジ画像とともに示す図である。図3において、ヒストグラムは座標ごとの明度値のヒストグラムがバーで表示するように処理されている例を示す。
次に、フレーム間差分演算部23で行なうフレーム間処理の説明に移る。ここでは、フレーム内処理で得られたフレーム番号iのX方向、Y方向のヒストグラムをそれぞれHy(i,x)、Hx(i,y)とする。フレーム間差分Dy(i,x)、Dx(i,y)は、
Dy(i,x)=abs(Hy(i,x)−Hy(i−1,x)),
Dx(i,y)=abs(Hx(i,y)−Hx(i−1,y))
と定義され、この定義に従ってそれぞれ求めることになる。なお、上記した式におけるabsは絶体値を取るための関数である。
【0014】
図4は、フレーム間処理を行って求めた結果(B)を各フレームのエッジ画像のヒストグラム(A1,A2)とともに示す図である。
図4において、フレームt−1からtにかけて動画像中の人間が正面を向いているシーン(A1)から頭を下げているシーン(A2)へと変化する場合のDx(i,y)(1≦y≦Y)を算出した例を示す。
この例では、画像(A1及びA2)中の頭の高さに対応するyにおいてDx(i,y)が大きな値を示しており、頭の高さの付近で動きがあることがわかる。このようにフレーム間で差分を取ることで、カメラの位置が不変の場合、背景は差分をとることにより0出力となって背景の影響を打ち消すことができ、対象となる物体の動きだけを捉えることが可能となる。また、y方向のDy(i,x)も同様に動きを検出することが可能である。
【0015】
上述のようにして得たヒストグラムのフレーム間差分Dy(i,x)、Dx(i,y),1≦i≦Iをディスプレイ3に表示する。ここでIは、表示の対象とする動画像のフレーム数で動画像の連なり、つまり動画像を構成するフレーム列から検索する画像の箇所を表す。
表示は、Dy(i,x)については、画面上の座標(i,x)のピクセルの輝度値をDy(i,x)にすることで行なう。Dx(i,y)も同様に、座標(i,y)のピクセルの輝度値をDx(i,y)にすることで行なう。
図5は、フレーム間処理を行って求めたx方向(A)及びy方向(B)の結果を時間軸(フレーム数)を横軸にして表示した例を示すものである。
図5において、動画面中央で人間が「おじぎ」を行なったものを処理した結果であるが、画面中央で何かが上下していることが一目でわかる。もし、人間の対話を収録した動画像であれば、頭の上下に対応すると考えられ、実際に動画像を再生せずとも「おじぎ」を行なっていると推測できる。したがって、図5のように、動画像の所定時間に含まれるフレームの画像の変化をし画像で表示する形式をとると、その画面表示から、検索しようとするシーンを容易に見付けることができる。
【0016】
【発明の効果】
本発明によれば、画像における明度のヒストグラムの時間的変化を単に求めるだけの従来技術ではとらえられなかった動画像中の対象を特定の時点の画面において特定の方向でのヒストグラムからとらえることができ、それによってシーンを推測できるので、より正確にシーンの検索が可能となる。さらに、上記したヒストグラムのフレーム間差分をとり、その結果を一画面に時間(フレーム数)軸にそって表示するようにしているので、より容易にシーンの検索が可能となる。
【図面の簡単な説明】
【図1】本発明の動画像検索用情報生成装置の実施形態の概要を示すブロック図である。
【図2】動画像処理部において行われるエッジ画像抽出の一例を示す概念図である。
【図3】エッジ画像からx方向及びy方向のヒストグラムを求めた結果をエッジ画像とともに示す図である。
【図4】図4は、フレーム間処理を行って求めた結果(B)を各フレームのエッジ画像のヒストグラム(A1,A2)とともに示す図である。
【図5】フレーム間処理を行って求めたx方向(A)及びy方向(B)の結果を時間軸(フレーム数)を横軸にして表示した例を示すものである。
【符号の説明】
1…動画像メモリ、2…動画像処理部、21…エッジ処理部、22…ヒストグラム作成部、23…フレーム間差分演算部、3…ディスプレイ。

Claims (2)

  1. 検索されるべき動画像信号について、動画像を構成するフレーム列に沿って順次画像の所定範囲における明度値ヒストグラムを求めるヒストグラム作成手段と、該ヒストグラム作成手段によって作成されたヒストグラムに基づきフレーム間同士で対応するヒストグラムのフレーム間差分値を検索用情報として求め、該検索用情報を前記フレーム列に沿い表現するための処理を行う検索用情報処理手段と、前記検索用情報をグラフィックに表示する表示手段とを有し、前記検索用情報によって前記フレーム列から特定画像部分を検索し得るようにした動画像検索用情報生成装置において、前記ヒストグラム作成手段は動画像の各フレーム毎に且つフレームの少なくとも1以上の方向についてのヒストグラムを求め、前記表示手段は前記検索用情報をピクセルの輝度値として、前記少なくとも1以上の方向毎に時間軸に沿って1画面で表示するようにしたことを特徴とする動画像検索用情報生成装置。
  2. 前記ヒストグラム作成手段に入力する画像をエッジ画像とするエッジ画像処理手段を備えるようにしたことを特徴とする請求項1記載の動画像検索用情報生成装置。
JP27655196A 1996-10-18 1996-10-18 動画像検索用情報生成装置 Expired - Fee Related JP3731952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27655196A JP3731952B2 (ja) 1996-10-18 1996-10-18 動画像検索用情報生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27655196A JP3731952B2 (ja) 1996-10-18 1996-10-18 動画像検索用情報生成装置

Publications (2)

Publication Number Publication Date
JPH10126721A JPH10126721A (ja) 1998-05-15
JP3731952B2 true JP3731952B2 (ja) 2006-01-05

Family

ID=17571072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27655196A Expired - Fee Related JP3731952B2 (ja) 1996-10-18 1996-10-18 動画像検索用情報生成装置

Country Status (1)

Country Link
JP (1) JP3731952B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622527B2 (ja) 1998-08-24 2005-02-23 株式会社日立製作所 映像の特徴場面検出方法及び装置
JP2002084440A (ja) * 2000-09-06 2002-03-22 Olympus Optical Co Ltd デジタルカメラ、画像処理方法及び記録媒体
JP2002084441A (ja) * 2000-09-06 2002-03-22 Olympus Optical Co Ltd デジタルカメラ、画像処理方法及び記録媒体
JP2006295890A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
EP2600305A1 (en) * 2011-11-30 2013-06-05 Thomson Licensing Method and apparatus for generating metadata for digital content
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
WO2015015712A1 (ja) 2013-07-30 2015-02-05 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
WO2015033501A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6281125B2 (ja) 2013-09-04 2018-02-21 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6194483B2 (ja) 2014-03-26 2017-09-13 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
WO2015145493A1 (ja) 2014-03-26 2015-10-01 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
EP3171609B1 (en) * 2014-07-17 2021-09-01 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
EP3185577B1 (en) 2014-08-21 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method

Also Published As

Publication number Publication date
JPH10126721A (ja) 1998-05-15

Similar Documents

Publication Publication Date Title
JP3731952B2 (ja) 動画像検索用情報生成装置
JP5607079B2 (ja) 前景−背景制約伝播に基づくビデオマッティング
US8089515B2 (en) Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
JP3679512B2 (ja) 画像抽出装置および方法
US20110243451A1 (en) Image processing apparatus and method, and program
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
CN110675371A (zh) 一种场景切换的检测方法、装置、电子设备及存储介质
JP6924932B2 (ja) 移動体追跡方法、移動体追跡装置、およびプログラム
CN111612696B (zh) 图像拼接方法、装置、介质及电子设备
JP2010057105A (ja) オブジェクトの3次元追跡方法およびシステム
KR20010024435A (ko) 정지 영상 생성 방법 및 장치
US8311269B2 (en) Blocker image identification apparatus and method
KR100695030B1 (ko) 정지 화상 생성 방법 및 장치
JP4192719B2 (ja) 画像処理装置および方法、並びにプログラム
JPH10320566A (ja) 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体
JP3480408B2 (ja) 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体
JP3197633B2 (ja) 移動体の自動追尾装置
CN113552944B (zh) 一种智慧宣传系统
JP2005309740A (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20050129312A1 (en) Unit for and method of segmentation
CN115239551A (zh) 视频增强方法和装置
JPH09265538A (ja) 自動追尾装置
CN113313707A (zh) 原始图像处理方法、装置、设备及可读存储介质
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体
US20070092158A1 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051011

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees