JP5106271B2 - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5106271B2 JP5106271B2 JP2008169592A JP2008169592A JP5106271B2 JP 5106271 B2 JP5106271 B2 JP 5106271B2 JP 2008169592 A JP2008169592 A JP 2008169592A JP 2008169592 A JP2008169592 A JP 2008169592A JP 5106271 B2 JP5106271 B2 JP 5106271B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- moving image
- face
- tracking
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 41
- 238000004590 computer program Methods 0.000 title description 5
- 238000003672 processing method Methods 0.000 title description 4
- 238000001514 detection method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 30
- 239000013598 vector Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
特許文献1では、ショット(シーン)の切り替わりを検出し、各ショットの先頭フレームから顔の検出を行い、顔が検出されたフレームを代表画像としている。このとき顔の向き、サイズ、数、男女別、人種別、人物名といった属性についても識別し、その属性を代表画像の条件として指定できるようにしている。
また、特許文献2では、フレームから顔を検出し、検出した顔のサイズ、顔の数、フレームの中心からの距離等から評価値を算出し、その評価値が極大又は極小となるフレームを代表画像としている。
図9では、被写体A、Bが撮影されているが、撮影者が意図して撮影しているのは被写体Aであり、被写体Bは偶然居合わせたものとする。ここで、被写体A、Bは、ビデオカメラから略等距離にあり、被写体A、Bの顔のサイズは略同じであるとする。そして、被写体Aは、図に向かって左側へ移動しようとしており、被写体Bは停止又は図に向かって右側へ移動しようとしていたとする。従って、このまま時間が経過すると被写体Aはフレームアウトしてしまうので、撮影者はビデオカメラを左側へパンさせる。これに伴って、フレーム画面601内では、被写体Bの顔が、フレーム画面601の中心付近を通って右側へ移動する。このために、特許文献2に記載の技術では、主要被写体でない被写体Bの顔の評価値が高くなってしまい、その結果、非主要被写体が代表画像に抽出されてしまう。
尚、以下の実施形態では、検索対象の被写体の一例として人物、特に顔を扱うこととする。そして、動画像中から主要被写体となる顔を抽出し、抽出した顔を含む動画像のみを表示できるようにすることにより動画像の内容をユーザが把握できるようにする場合を例に挙げて説明する。もちろん、被写体として人物以外のオブジェクトを対象にした場合にも本発明を適用することが可能である。
図1は、本実施形態における動画像処理装置の制御構成の一例を示すブロック図である。
図1において、CPU101は、動画像処理装置100における各種制御を実行する。ROM102は、動画像処理装置100の立ち上げ時に実行されるブートプログラムや各種データを格納する。RAM103は、CPU101が処理するための制御プログラムを格納(展開)すると共に、CPU101が各種制御を実行する際の作業領域を提供する。キーボード104、マウス105は、ユーザによる各種入力操作環境を提供する。
尚、図1に示す構成において、ビデオカメラ110、VTR112や外部記憶装置106を、ネットワークに接続(配置)されたもので代用してもよい。
図2において、動画像入力部201は、ビデオI/F109を介してビデオカメラ110、VTR112等から動画像データを取得し、動画像処理装置100に入力するものである。動画像入力部201で取得された動画像データは、動画記憶部202に動画ファイルとして記録される。尚、外部記憶装置106やNIC108を介して外部から動画像処理装置100にアクセスできる"ネットワークに接続された外部装置"に記憶されている動画ファイルを、動画像入力部201が取得して構わない。このようにした場合には、動画像入力部201で取得された動画ファイルを改めて外部記憶装置106に記憶しなくてもよい。
顔追跡部204は、顔検出部203で検出された人物顔パターンを、その人物顔パターンを検出したフレームに後続するフレーム中から追跡し、その追跡した結果から得られる顔シーケンスを主要顔判定部206に出力する。ここで、顔シーケンスには、顔が存在する区間(期間)、フレーム画面内の顔領域の移動速度ベクトルの情報が含まれる。
主要顔判定部206は、顔追跡部204から出力された顔シーケンスと、カメラ操作抽出部205から出力されたカメラ操作情報とに基づいて、主要被写体となる顔に関する顔シーケンスを判定し、判定した顔シーケンスを代表画像抽出部207に出力する。
表示部209は、インデックス記憶部208からインデックス情報を読み出して表示器107に表示し、キーボード104、マウス105等を介して取得した"ユーザの指示"に基づいて、動画記憶部202に記憶された動画ファイルから、主要被写体となる顔が存在する区間の動画像を再生表示する。
まず、動画像入力部201は、所望の動画像データを入力し、その動画像データのフレームを順に読み出す(ステップS310)。本実施形態では、例えば、ステップS310の処理を行うことにより入力手段の一例が実現される。
次に、顔検出部203は、ステップS310で読み出されたフレームから、人物顔パターン(顔)を検出し、その検出した結果を顔追跡部204に出力する(ステップS320)。
本実施形態では、所定のフレーム間隔毎に、各フレームから人物顔パターンの検出(顔の検出)を行うものとする。また、本実施形態では、文献(Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998)で提案されている"ニューラル・ネットワークにより、画像中の人物顔パターンを検出する方法"を適用した場合を例に挙げて説明する。
図4は、人物顔パターンを検出する方法の一例を概念的に示す図である。図4を参照しながら、顔検出部203のより詳細な処理の一例について説明する。
図4に示すように、顔検出部203は、ニューラル・ネットワーク401への入力対象となる領域の切り出し位置を、フレームの画像402a〜402c全域を上の行から下の行に向けて順に走査して変更する。そして、顔検出部203は、切り出した領域の画素値の分布を、顔と照合するパターン403a〜403cとして抽出し、そのパターン403a〜403cを入力としてニューラル・ネットワーク401による演算を行う。これにより、切り出した領域が人物顔パターン(顔)であるか否かが検出される。
また、本実施形態では、図4に示すように、様々な大きさの顔の検出に対応するため、顔検出部203は、顔の検出対象となるフレームの画像402aを所定の割合で順次縮小し、縮小した画像402b、402cの夫々に対しても前述した走査を行い、顔の検出を行うようにしている。
図5に示すように、以上のようにして顔検出部203によって、動画像データ501の所定間隔のフレーム毎に人物顔パターンが検出された結果、フレーム内での顔画像502a、502bの位置が抽出される。
尚、画像から顔を検出する方法は、前述したニューラル・ネットワークによる方法に限定されるものではない。例えば、文献(Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002)に挙げられている各種方式を適用できる。
以上のように本実施形態では、例えば、ステップS320の処理を行うことにより検出手段の一例が実現される。
まず、顔追跡部204は、顔検出部203で検出された人物顔パターン(顔画像502a、502b)の領域情報に基づいて、後続するフレームにおいて、その人物顔パターンの探索を行う探索領域を設定する(ステップS510)。顔検出部203で人物顔パターンを検出したフレームの次のフレームで探索を行う場合には、その人物顔パターンの領域を、水平位置及び垂直位置の少なくとも何れか一方について所定量だけその中心位置をずらした近傍の矩形領域を探索領域とする。顔検出部203で人物顔パターンを検出したフレームの次の次以降のフレームで探索を行う場合には、そのフレームの1つ前のフレームで探索された人物顔パターンの領域を前述したようにしてずらした領域を探索領域とする。
尚、ここでは、人物顔パターンの追跡のために輝度分布の相関値を用いたが、必ずしもこのようにする必要はない。例えば、RGB毎の画素値の分布の相関を用いてもよい。また、探索領域内での輝度分布やRGB値のヒストグラム等、画像の特徴量の相関を用いてもよい。
次に、顔追跡部240は、次のフレームがあるか否かを判定する(ステップS550)。この判定の結果、次のフレームがない場合には、人物顔パターンの追跡を終了し、後述するステップS570に進む。
以上のようにして人物顔パターンの追跡が終了すると、RAM103に一次的に保存していた一連の顔の移動速度ベクトルを、人物顔パターンを追跡できた区間の情報と共に、顔シーケンス503として主要顔判定部206に出力する(ステップS570)。
以上のように本実施形態では、例えば、ステップS330の処理を行うことにより追跡手段の一例が実現される。
以上のように本実施形態では、例えば、ステップS340の処理を行うことにより抽出手段の一例が実現される。
尚、以上のステップS340をステップS320又はステップS330の前に行ってもよい。
ここで、図7のフローチャートを参照しながら、主要顔判定部206の処理の一例を詳細に説明する。
まず、主要顔判定部206は、ステップS330で得られた顔シーケンス503同士に時間的な重なりの区間があるか否かを判定する(ステップS810)。この判定の結果、顔シーケンス503同士に時間的な重なりの区間がない場合には、後述するステップS840に進む。
ここで、追尾量を算出する方法の一例を説明する。図8は、2つの顔が存在する区間の一例を示す図である。ここでは、2つの顔が存在する区間が、図8に示すようにして重なっている場合を例に挙げて説明する。
顔Aに追尾させようとしてカメラを操作した結果失われた"フレーム画面601内での顔Aの速さVAは、以下の(1)式で表される。
以上の速さVA、V Bは、フレーム毎の追尾量である。そこで、主要顔判定部206は、これらを重なり区間903に対して積分することにより、追尾量VAI、V BIを算出する。具体的に主要顔判定部206は、顔A、Bの夫々について、以下の(2)式、(3)式により追尾量VAI、V BIを算出する。
以上のように本実施形態では、例えば、ステップS350の処理を行うことにより主要被写体判定手段の一例が実現される。
具体的に説明すると、代表画像抽出部207は、主要被写体となる顔に関する顔シーケンス503と、その顔シーケンス503に対応する重なり区間903の情報に基づいて、代表画像を抽出する。例えば、前述した図8及び図9に示した例で、顔Aが主要被写体となる顔である場合は、代表画像に顔Bが含まれていることは好ましくない。そこで、代表画像抽出部207は、顔Aが存在する区間901から、重なり区間903を除いた、顔Aのみが存在する区間904を求める。そして、代表画像抽出部207は、求めた区間904における"フレームの画像"を1つ又は複数抽出し、これを代表画像とする。
また、重なり区間903がない場合は、各顔シーケンス503には、主要被写体として、顔A、顔Bの何れかしか存在していない。そこで、代表画像抽出部207は、各顔シーケンス503における所定のフレームの画像を1つ又は複数抽出し、これを代表画像とする。
以上のように本実施形態では、例えば、ステップS360の処理を行うことにより代表画像抽出手段の一例が実現される。
インデックス情報は、再生対象となる区間(以下の説明では、必要に応じて再生対象区間と称する)と、その区間における代表画像とを相互に関連付けたものである。例えば、前述した図8に示した例において、顔Aのみが主要被写体である場合には、顔Aが存在する区間901を再生対象区間とし、その区間901と、その区間901における代表画像とを相互に関連付けてインデックス記憶部208に記憶する。
また、顔A、Bが共に主要被写体となる場合には、重なり区間903、又は、顔Aが存在する区間901と、顔Bが存在する区間902とのOR演算を行った区間を再生対象区間とする。そして、その区間と、その区間における代表画像とを相互に関連付けてインデックス記憶部208に記憶する。
図10は、表示部209のブラウザによって表示機107に表示されるグラフィックユーザインターフェースの一例を示す図である。
図10(a)において、ブラウザの表示領域1001には、サムネイル表示領域1002内の複数のサムネイル画像と、スクロールバー1003と、ポインタ1004とが表示される。
表示部209は、インデックス記憶部208からインデックス情報を読み出す。次に、表示部209は、読み出したインデックス情報に含まれる代表画像を縮小してサムネイル画像を生成し、生成したサムネイル画像を、サムネイル表示領域1002に並べて表示する。図10(a)に示す例では、サムネイル画像は、サムネイル表示領域1002の最上列から順番に左から右に向けて表示される。ユーザがスクロールバー1003を操作すると、表示部209は、サムネイル表示領域1002に表示されているサムネイル画像をスクロールさせる。これによりサムネイル表示領域1002に一度に表示し切れないサムネイル画像を、順に表示させることができる。
本実施形態では、例えば、以上のような表示部209の処理により、再生手段の一例が実現される。
尚、ここでは、再生対象区間の動画像を動画再生画面1005に表示するようにしたが、必ずしもこのようにする必要はない。例えば、再生対象区間の動画像を編集できるようにしてもよい。
また、主要被写体及び非主要被写体のうち、主要被写体のみが存在する区間の中から代表画像を1つ抽出してそのサムネイル画像を表示し、表示したサムネイル画像を選択させるようにした。したがって、その区間をユーザに選択しやすい形で提示し、再生や、編集への利用を容易にしたり、主要被写体が写っている区間から構成されるダイジェストを自動生成したりすることが可能になる。
尚、本実施形態では、顔の移動速度ベクトルやカメラ操作の速度ベクトルを、フレーム単位に求める場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、所定フレーム毎にこれらを求めるようにしてもよい。例えば、動画がMPEGフォーマットのものであれば、GOP単位にこれらを求めるようにしても構わない。このようにすることで、処理の高速化を図ることが可能となる。
次に、本発明の第2の実施形態について説明する。被写体の動きが早すぎてユーザが被写体を追いきれず、被写体が一旦フレームアウトして、再度フレームインするような場合が考えられる。本実施形態では、このような場合にも、一連の顔シーケンスとして扱うようにする。このように本実施形態では、前述した第1の実施形態に対し、複数の顔シーケンスが同一の被写体(顔)によるものであるかどうかを判定し、同一であればそれらを一連の顔シーケンスとする処理等を追加したものである。したがって、本実施形態の説明において、前述した第1の実施形態と同一の部分については、図1〜図10に付した符号と同一の符号を付すこと等により詳細な説明を省略する。
顔特徴抽出部1101は、顔シーケンス503を代表する顔の特徴量として、顔検出部203で検出された顔画像502を用いる。顔の照明条件や顔の向き等の条件がよいほど顔が検出され易いので、顔シーケンス503を代表する顔画像としてふさわしいからである。顔特徴量算出部1101は、顔画像502から、顔の判定に有効な"顔の特徴点"を探索する。具体的に説明すると、顔特徴量算出部1101は、顔の特徴点として、例えば、目尻、口の両端、鼻の頂点等をパターン照合に基づき抽出する。そして、顔特徴量算出部1101は、抽出した各特徴点における局所輝度分布を、例えばガボールウェーブレット変換により特徴量として抽出し、ベクトル化する。
以上のように本実施形態では、例えば、類似度判定部1102により、顔の特徴量の類似度が所定値以上であるか否かを判定することにより、同一被写体判定手段の一例が実現される。
このように本実施形態では、例えば、主要顔判定部206により、同一人物の顔のものであると判定された複数の顔シーケンス503を同一の顔シーケンスとして統合することにより、動画像区間統合手段の一例が実現される。
図12に示すように、顔Aが一旦フレームアウトして再度フレームインしているため、顔Aが存在する区間1201、1202が2つに分かれてしまっている。このような場合に、類似度判定部1102は、これらの区間1201、1202に対応する顔シーケンス503が同一人物の顔のものであると判定する。
また、顔特徴抽出部1101と類似度判定部1102を更に設けると、顔画像502をクエリとして、顔の特徴で顔の検索を行うような場合でも、主要顔判定手段206により、主要でない顔シーケンス503を検索対象から除外することが可能になる。
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
201 動画像入力部
202 動画記憶部
203 顔検出部
204 顔追跡部
205 カメラ操作抽出部
206 主要顔判定部
207 代表画像抽出部
208 インデックス記憶部
209 表示部
1101 顔特徴抽出部
1102 類似度判定部
Claims (8)
- 動画像を入力する入力手段と、
前記入力手段により入力された動画像から、被写体を検出する検出手段と、
前記入力手段により入力された動画像から、前記検出手段により検出された被写体を追跡し、追跡した結果に基づいて、その被写体の動きと、その被写体が前記動画像に存在している動画像区間とを得る追跡手段と、
複数の被写体について前記追跡手段により得られた動画像区間に重なりがある場合に、撮影者が撮影装置で被写体を追尾した量に関する追尾量を、前記追跡手段により追跡された被写体の夫々について算出し、前記被写体の夫々の追尾量を比較した結果に基づいて、各被写体が主要な被写体かどうかを判定する主要被写体判定手段と、を備えることを特徴とする画像処理装置。 - 前記動画像を撮影した撮影装置の動きを抽出する動き抽出手段を更に備え、
前記主要被写体判定手段は、前記動き抽出手段により抽出された撮影装置の動きと、前記複数の被写体の夫々の動きとに基づいて、各被写体の追尾量を算出することを特徴とする請求項1に記載の画像処理装置。 - 前記主要被写体判定手段で主要な被写体と判定された被写体についての代表画像を、前記動画像から抽出する代表画像抽出手段を更に備えたことを特徴とする請求項1または2に記載の画像処理装置。
- 前記代表画像抽出手段は、前記検出手段により検出された被写体のうち、前記主要被写体判定手段で主要な被写体と判定された被写体のみが存在する動画像区間の中から、代表画像を抽出することを特徴とする請求項3に記載の画像処理装置。
- 前記主要被写体判定手段で主要な被写体と判定された被写体が存在する動画像区間を抽出し、抽出した動画像区間の動画像を連続して再生する再生手段を更に備えたことを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
- 前記追跡手段により得られた複数の動画像区間が、同一の被写体のものであるかどうかを判定する同一被写体判定手段と、
前記同一被写体判定手段により同一の被写体のものであると判定された複数の動画像区間を統合する動画像区間統合手段を更に備え、
前記主要被写体判定手段は、前記動画像区間統合手段により統合された動画像区間を1つの動画像区間とし、その動画像区間と、前記追跡手段により得られたその他の動画像区間とに重なりがある場合に、各被写体が主要な被写体かどうかを判定することを特徴とする請求項1〜5の何れか1項に記載の画像処理装置。 - 動画像を入力する入力ステップと、
前記入力ステップにより入力された動画像から、被写体を検出する検出ステップと、
前記入力ステップにより入力された動画像から、前記検出ステップにより検出された被写体を追跡し、追跡した結果に基づいて、その被写体の動きと、その被写体が前記動画像に存在している動画像区間とを得る追跡ステップと、
複数の被写体について前記追跡ステップにより得られた動画像区間に重なりがある場合に、撮影者が撮影装置で被写体を追尾した量に関する追尾量を、前記追跡ステップにより追跡された被写体の夫々について算出し、前記被写体の夫々の追尾量を比較した結果に基づいて、各被写体が主要な被写体かどうかを判定する主要被写体判定ステップと、を有することを特徴とする画像処理方法。 - コンピュータに、
動画像を入力する入力ステップと、
前記入力ステップにより入力された動画像から、被写体を検出する検出ステップと、
前記入力ステップにより入力された動画像から、前記検出ステップにより検出された被写体を追跡し、追跡した結果に基づいて、その被写体の動きと、その被写体が前記動画像に存在している動画像区間とを得る追跡ステップと、
複数の被写体について前記追跡ステップにより得られた動画像区間に重なりがある場合に、撮影者が撮影装置で被写体を追尾した量に関する追尾量を、前記追跡ステップにより追跡された被写体の夫々について算出し、前記被写体の夫々の追尾量を比較した結果に基づいて、各被写体が主要な被写体かどうかを判定する主要被写体判定ステップと、を実行させることを特徴とするコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008169592A JP5106271B2 (ja) | 2008-06-27 | 2008-06-27 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
US12/491,588 US8379931B2 (en) | 2008-06-27 | 2009-06-25 | Image processing apparatus for retrieving object from moving image and method thereof |
US13/743,235 US8971585B2 (en) | 2008-06-27 | 2013-01-16 | Image processing apparatus for retrieving object from moving image and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008169592A JP5106271B2 (ja) | 2008-06-27 | 2008-06-27 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010009425A JP2010009425A (ja) | 2010-01-14 |
JP5106271B2 true JP5106271B2 (ja) | 2012-12-26 |
Family
ID=41447525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008169592A Active JP5106271B2 (ja) | 2008-06-27 | 2008-06-27 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US8379931B2 (ja) |
JP (1) | JP5106271B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5106271B2 (ja) * | 2008-06-27 | 2012-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP5219847B2 (ja) * | 2009-01-09 | 2013-06-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5665380B2 (ja) * | 2010-06-15 | 2015-02-04 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体 |
US8600106B1 (en) * | 2010-08-31 | 2013-12-03 | Adobe Systems Incorporated | Method and apparatus for tracking objects within a video frame sequence |
JP5677011B2 (ja) * | 2010-10-07 | 2015-02-25 | キヤノン株式会社 | 動画再生装置及びその制御方法 |
JP5740934B2 (ja) * | 2010-11-25 | 2015-07-01 | カシオ計算機株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
WO2012086616A1 (ja) * | 2010-12-22 | 2012-06-28 | 株式会社Jvcケンウッド | 映像処理装置、映像処理方法及び映像処理プログラム |
JP2014170978A (ja) * | 2011-05-12 | 2014-09-18 | Nec Corp | 情報処理装置、情報処理方法および情報処理プログラム |
JP5990903B2 (ja) * | 2011-12-15 | 2016-09-14 | 株式会社ニコン | 画像生成装置 |
US9430840B1 (en) * | 2015-07-23 | 2016-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting an image based on motion vanishing points |
EP3142040A1 (en) * | 2015-09-11 | 2017-03-15 | Canon Kabushiki Kaisha | Information processing apparatus, method of controlling the same, and program |
JP6775343B2 (ja) | 2015-09-11 | 2020-10-28 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
CN107316322A (zh) * | 2017-06-27 | 2017-11-03 | 上海智臻智能网络科技股份有限公司 | 视频跟踪方法和装置、以及对象识别方法和装置 |
CN109859240B (zh) * | 2017-11-30 | 2021-06-18 | 比亚迪股份有限公司 | 视频对象跟踪方法和装置、车辆 |
CN108256479B (zh) * | 2018-01-17 | 2023-08-01 | 百度在线网络技术(北京)有限公司 | 人脸跟踪方法和装置 |
CN110069995A (zh) * | 2019-03-16 | 2019-07-30 | 浙江师范大学 | 一种基于深度学习的餐盘运动状态识别方法 |
CN110602554B (zh) * | 2019-08-16 | 2021-01-29 | 华为技术有限公司 | 封面图像确定方法、装置及设备 |
JP7483352B2 (ja) | 2019-11-19 | 2024-05-15 | キヤノン株式会社 | 撮影装置及びその制御方法並びにプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3192483B2 (ja) * | 1992-05-22 | 2001-07-30 | キヤノン株式会社 | 光学機器 |
JP3312105B2 (ja) | 1997-02-05 | 2002-08-05 | 株式会社東芝 | 動画像インデックス生成方法および生成装置 |
JP2001167110A (ja) | 1999-12-08 | 2001-06-22 | Matsushita Electric Ind Co Ltd | 画像検索方法及びその装置 |
JP4244593B2 (ja) * | 2002-08-13 | 2009-03-25 | ソニー株式会社 | オブジェクト抽出装置、オブジェクト抽出方法および画像表示装置 |
JP4223762B2 (ja) * | 2002-08-26 | 2009-02-12 | ソニー株式会社 | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム |
JP4168940B2 (ja) * | 2004-01-26 | 2008-10-22 | 三菱電機株式会社 | 映像表示システム |
US8032840B2 (en) * | 2006-01-10 | 2011-10-04 | Nokia Corporation | Apparatus, method and computer program product for generating a thumbnail representation of a video sequence |
US20070237225A1 (en) * | 2006-03-30 | 2007-10-11 | Eastman Kodak Company | Method for enabling preview of video files |
JP5106271B2 (ja) * | 2008-06-27 | 2012-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
-
2008
- 2008-06-27 JP JP2008169592A patent/JP5106271B2/ja active Active
-
2009
- 2009-06-25 US US12/491,588 patent/US8379931B2/en not_active Expired - Fee Related
-
2013
- 2013-01-16 US US13/743,235 patent/US8971585B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20130129157A1 (en) | 2013-05-23 |
US8379931B2 (en) | 2013-02-19 |
JP2010009425A (ja) | 2010-01-14 |
US20090324086A1 (en) | 2009-12-31 |
US8971585B2 (en) | 2015-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5106271B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
CN105100894B (zh) | 面部自动标注方法及系统 | |
JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
US8270806B2 (en) | Information processing apparatus and method of controlling same | |
KR100996066B1 (ko) | 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 | |
US11625835B2 (en) | Alias capture to support searching for an object-of-interest | |
EP2344983B1 (en) | Method, apparatus and computer program product for providing adaptive gesture analysis | |
US8014566B2 (en) | Image processing apparatus | |
CN106663196B (zh) | 用于识别主体的方法、系统和计算机可读存储介质 | |
US20090169065A1 (en) | Detecting and indexing characters of videos by NCuts and page ranking | |
TW201921270A (zh) | 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統 | |
JP2011505601A (ja) | 映像処理方法および映像処理装置 | |
JP2010118868A (ja) | 情報処理装置およびその制御方法 | |
JP2010140425A (ja) | 画像処理システム | |
WO2014065033A1 (ja) | 類似画像検索装置 | |
JP5538781B2 (ja) | 画像検索装置及び画像検索方法 | |
WO1999005865A1 (en) | Content-based video access | |
JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
US20130188880A1 (en) | Computer-readable recording medium storing image accumulating program, method and apparatus | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
JP4995770B2 (ja) | 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム | |
JP4909315B2 (ja) | 映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体 | |
KR20140033667A (ko) | 객체 기반 동영상 편집 장치 및 방법 | |
Yasuda et al. | Motion belts: Visualization of human motion data on a timeline |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5106271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |