JP5111269B2

JP5111269B2 - 画像処理装置、画像処理方法

Info

Publication number: JP5111269B2
Application number: JP2008179458A
Authority: JP
Inventors: 靖浩伊藤; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-09
Filing date: 2008-07-09
Publication date: 2013-01-09
Anticipated expiration: 2028-07-09
Also published as: US8300926B2; US20100007762A1; JP2010021728A

Description

本発明は、画像処理技術に関するものである。

動画像に対する代表画像を記録する画像検索装置は、例えば、特許文献１に開示されている。特許文献１に開示の技術では、動画像を構成する各フレームから特定のオブジェクトを検出し、検出したオブジェクトに関する特徴量、背景に関する特徴量、オブジェクトと背景の差分、を動画像外に記録するようにしている。

また、所定の被写体が写っているフレームを代表フレームとして抽出する方法は、例えば、特許文献２に開示されている。特許文献２に開示の技術では、画像中の部分領域内に特定のオブジェクトが存在するか否かを辞書を用いて評価する。そして、辞書に登録されたものと近いと評価されたフレームを代表フレームとして抽出する。
特開2000-222584号公報特開平10-224736号公報

しかしながら、特許文献１に開示の技術では、動きベクトルを用いて特定のオブジェクトを検出するので、画像中で動きのないところに特定のオブジェクトが存在する場合、このオブジェクトの検出が行えないという問題がある。そのため、画像全体の冗長度は低減されるものの、動画像そのものの内容の把握が出来なくなってしまう。従って、動画像をその被写体内容に応じて最適な時間で再生したり、編集を行うことが難しくなってしまう。

また、特許文献２に開示の技術では、一部分を評価するだけであるので、代表フレームに同じような画像パターンが入ってきてしまうことが考えられる。この場合、このような動画区間を検索したとしても、ほぼ同内容の代表フレームが多数生成されてしまうことになり、動画内容の把握には適さない。そのため、被写体内容に応じて最適な時間から再生したり、編集を行うことは容易でない。

本発明は以上の問題に鑑みてなされたものであり、動画像を代表する代表画像を、動画像の内容を鑑みたより正確な代表画像として取得するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

即ち、連続するフレームで構成されているフレーム列を１以上のサブフレーム列に分割する分割手段と、
前記１以上のサブフレーム列のそれぞれについて、当該サブフレーム列を構成する各フレームの画像のうち規定の被写体が映っている画像群を特定し、特定した画像群から１つの画像を選択画像として選択する選択手段と、
前記選択手段が選択した選択画像を、前記フレーム列の代表画像として出力する出力手段と
を備え、
前記出力手段は、
前記フレーム列の先頭フレームに最も近い選択画像の背景部分と、その他の選択画像のそれぞれの背景部分との相関値を計算し、前記フレーム列の先頭フレームに最も近い選択画像の背景部分との相関値が閾値よりも小さい選択画像、及び前記フレーム列の先頭フレームに最も近い選択画像、を出力する
ことを特徴とする。

本発明の構成によれば、動画像を代表する代表画像を、動画像の内容を鑑みたより正確な代表画像として取得することができる。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、被写体として人の顔を用いる。しかし、被写体が人の顔以外の如何なるものであったとしても以下の説明は同様に適用することができることは、当業者であれば明らかである。

従って、本実施形態はこのような前提の元、動画像を構成する連続するフレームで構成されているフレーム列を１以上のサブフレーム列に分割し、分割したそれぞれのサブフレーム列について代表画像を求めて表示する。

図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１に示す如く、本実施形態に係る画像処理装置は、画像入力部１００、画像メモリ２００、顔シーケンス作成部３００、辞書ＤＢ（データベース）３３１、代表フレーム候補作成部４００、代表フレーム候補決定部５００、表示部６００、を有する。以下、これらの各部について説明する。

画像入力部１００は、動画像のデータを入力し、入力した動画像のデータを後段の画像メモリ２００に格納するためのもので、例えば、カムコーダ等で構成されている。しかし、動画像のデータの入力形態については特に限定するものではない。例えば、ビデオカメラなどの撮像装置が撮像した動画像のデータを、この撮像装置から直接若しくはネットワークを介して取得しても良いし、予め作成された動画像のデータを記憶保持するハードディスクドライブ装置からこの動画像のデータを取得しても良い。もちろん、画像入力部１００は、この動画像の取得形態に応じたものを用いることになる。なお、周知の通り、動画像のデータは、複数フレームの画像群のデータで構成されている。

画像メモリ２００は、画像入力部１００から送出された動画像のデータを格納するためのものである。

顔シーケンス作成部３００は、画像メモリ２００から動画像のデータを読み出すと、係る動画像を構成する各フレームの画像データを解析し、その解析結果を、各フレームの画像データと共に後段の代表フレーム候補作成部４００に送出する。図１に示す如く、顔シーケンス作成部３００は、カット点検出部３１０、顔検出部３２０、顔弁別部３３０、顔シーケンス記憶部３４０、を有する。

カット点検出部３１０は、画像メモリ２００から読み出したデータが示す動画像を構成するフレーム列を、１以上のサブフレーム列に分割する処理を行う。係る処理は、動画像をシーン毎に分割し、それぞれのシーン毎のサブフレーム列を生成する処理である。動画像を１以上のサブフレーム列に分割するための処理では、例えば、先頭フレームから順に画像を参照し、現在参照しているフレームの画像と１つ前に参照したフレームの画像との間で色の相関値を計算する。そして計算した相関値が閾値よりも小さい場合には、現在参照しているフレームの画像を区切りのフレームと判断し、係る区切りのフレームを、新たなサブフレーム列の先頭フレームとする。一方、計算した相関値が閾値以上である場合には、現在参照しているフレームを、１つ前に参照したフレームの画像が属するサブフレーム列の後端フレームとする。係る処理により、フレーム列には、１以上の区切りのフレームが設けられるので、区切りのフレームから次の区切りのフレームの１つ手前のフレームまでを１つのサブフレーム列とすることができる。係る処理を換言すれば、ｘ（ｘ＝１，２，…）フレーム目の画像と、（ｘ＋１）フレーム目の画像とで、色の相関値を計算し、計算した相関値が閾値以上であれば、ｘフレーム目の画像と（ｘ＋１）フレーム目の画像とは同じサブフレーム列に含める。一方、相関値が閾値よりも小さい場合には、ｘフレーム目の画像が属するサブフレーム列とは異なるサブフレーム列に（ｘ＋１）フレーム目の画像を含める。なお、１つのフレーム列を１以上のサブフレーム列に分割する方法は係る方法に限定するものではない。

顔検出部３２０は、サブフレーム列毎に次のような処理を行う。即ち、サブフレーム列を構成する各フレームの画像を参照し、参照した画像から顔領域を検出する。そして、サブフレーム列を構成する各フレームの画像のデータと共に、顔領域の位置やサイズ、検出したフレームの番号等の情報（顔領域情報）を、後段の顔弁別部３３０に送出する。なお、顔領域情報は、どのフレームにおける画像中のどの位置のどのサイズの領域内に顔があったのかを特定する為のものであるので、係る点が特定できるのであれば、顔領域情報に含まれる情報はこれに限定するものではない。また、顔領域を含まないフレームの画像については、顔領域が検出できなかった旨を示す情報を顔領域情報として出力する。即ち、顔検出部３２０からは、サブフレーム列を構成する各フレームについて、画像のデータ、顔領域情報のセットが、出力されることになる。

顔弁別部３３０は先ず、辞書ＤＢ３３１から、予め登録されている人の顔のデータ（辞書データ）を読み出す。辞書データは、例えば、Ａさんの顔を特定するためのデータ、Ｂさんの顔を特定する為のデータ等、予め決められた人の顔を特定するためのデータにより構成されている。そして顔弁別部３３０は、サブフレーム列毎に次のような処理を行う。即ち、顔弁別部３３０は、１つのサブフレーム列を構成する各フレームの顔領域情報を参照し、顔領域が検出されたフレームを特定する。そして、特定したフレームの顔領域情報を参照し、このフレーム内の顔領域を特定する。そして、特定した顔領域内の顔が、辞書データが示す顔であるか否かを判断する。そして、特定した顔領域内の顔が、例えばＡさんの顔である場合には、このフレームの顔領域情報と、「Ａさんの顔」に対応付けられたコード（顔コード）、のセットを、顔シーケンス情報として顔シーケンス記憶部３４０に出力する。また、特定した顔領域内の顔が、例えばＢさんの顔である場合には、このフレームの顔領域情報と、「Ｂさんの顔」に対応付けられたコード、のセットを、顔シーケンス情報として顔シーケンス記憶部３４０に出力する。このように、特定した顔領域内の顔が、予め登録されている顔である場合には、このフレームの顔領域情報と、この顔に対応付けられたコード、のセットを、顔シーケンス情報として顔シーケンス記憶部３４０に出力する。

これにより、顔シーケンス情報には、１つのサブフレーム列を構成するフレーム群において、どのフレームにどの人の顔がどの位置にどのサイズで映っているのかが登録されることになる。顔弁別部３３０は、このような処理を、サブフレーム列毎に行う。

顔シーケンス記憶部３４０は、顔弁別部３３０から受けたサブフレーム列毎の顔シーケンス情報を記憶保持する。なお、顔弁別部３３０から受けた情報は、外部のメモリに格納するようにしても良い。

代表フレーム候補作成部４００は、サブフレーム列毎に顔シーケンス記憶部３４０に記憶保持されている顔シーケンス情報を用いて、サブフレーム列毎の代表画像（動画像の代表フレームの候補）を特定する。図１に示す如く、代表フレーム候補作成部４００は、代表フレーム候補抽出部４１０、代表フレーム候補記憶部４２０を有する。

代表フレーム候補抽出部４１０は、サブフレーム列毎に次のような処理を行う。先ず、１つのサブフレーム列について顔シーケンス記憶部３４０に記憶保持されている顔シーケンス情報を参照し、それぞれの顔シーケンス情報中に記されている顔コードの数をカウントする。即ち、予め登録されている顔が映っている各フレームについて、予め登録されている顔が１つのフレーム内にいくつ映っているのかをカウントする。そして、最も多くの顔（辞書データに登録されている顔）が映っているフレームを選択フレーム（選択画像）として選択する。もし、選択フレームの候補が複数存在する場合には、フレーム番号が最も小さい（より先頭フレームに近い）フレームを選択フレームとして選択する。係る選択フレームは、１つのサブフレーム列について１つ選択されることになるので、代表フレーム候補抽出部４１０が各サブフレーム列についてこのような処理を行うことで、サブフレーム列毎に１つの選択フレームが決定することになる。そして代表フレーム候補抽出部４１０は、サブフレーム列毎の選択フレームの画像データと、顔シーケンス情報とを代表フレーム候補記憶部４２０に格納する。

代表フレーム候補決定部５００は、それぞれの選択フレームの画像のうち、他と類似しない選択フレームのみを選択し、選択した選択フレームを「動画像を代表する代表フレーム」として決定する。そして決定した代表フレームの画像を、後段の表示部６００に表示させる。図１に示す如く、代表フレーム候補決定部５００は、代表フレーム候補特徴量抽出部５１０、代表フレーム候補類似度判定部５２０、代表フレーム表示制御部５３０、により構成されている。

代表フレーム候補特徴量抽出部５１０は、それぞれの選択フレームの画像データを受けると、それぞれの画像データについて次のような処理を行う。即ち、１つの画像において、この画像の顔領域以外の部分（背景部分）を構成する各画素の平均画素値を求める。この画像の顔領域については、この画像が属するサブフレーム列に対応する顔シーケンス情報に記されている。

代表フレーム候補類似度判定部５２０は、最も小さいフレーム番号の選択フレームについて求めた平均画素値と、その他の選択フレームのそれぞれについて求めた平均画素値との相関値を計算する。そして、最も小さいフレーム番号の選択フレームについて求めた平均画素値との相関値が閾値よりも小さい選択フレームの画像、及び最も小さいフレーム番号の選択フレームの画像、を、後段の代表フレーム表示制御部５３０に送出する。

代表フレーム表示制御部５３０は、代表フレーム候補類似度判定部５２０から送出されたそれぞれの画像を、動画像を代表する代表フレームの画像として、表示部６００に表示させる。

図８は、以上説明した、動画像から、この動画像を代表する代表フレームを決定するための処理を説明する為の図である。図８において、Ｓは、動画像を示しており、８５０，８５１はそれぞれ、この動画像Ｓから得られたサブフレーム列である。ここで、それぞれのフレームに映っている顔は何れも予め登録されている顔であるとする。従ってこの場合、サブフレーム列８５０については、最も多くの顔が映っているフレームは３フレーム目と４フレーム目であるので、先頭フレームに近い３フレーム目の画像を、サブフレーム列８５０に対する選択フレームの画像８６１として選択する。サブフレーム列８５１については何れのフレームにも同数の顔が映っているので、先頭フレームに近い１フレーム目の画像を、サブフレーム列８５１に対する選択フレームの画像８６２として選択する。８６３は、サブフレーム列８５１の後段のサブフレーム列から選択された選択フレームの画像であるとする。

次の処理としては、選択フレームの画像８６１、８６２、８６３のうち、表示対象の画像、即ち、動画像Ｓを代表する代表フレームを決定する処理を行う。画像８６１は表示対照とするので、あとは、画像８６２，８６３について表示対象とするか否かを決定する処理を行う。画像８６２は画像８６１とは類似していないので表示対象とする。しかし、画像８６３は画像８６１と類似しているので、表示対象とはしない。

図２は、以上説明した、１つの動画像について、代表フレームの画像を決定して表示するための処理のフローチャートである。なお、以下の説明では、動画像を構成する各フレームの画像は、各画素が８ビットのＲ成分、８ビットのＧ成分、８ビットのＢ成分で構成されているものとして説明する。

ステップＳ２０１では、画像入力部１００は、動画像のデータを入力し、入力した動画像のデータを後段の画像メモリ２００に格納する。なお、動画像のデータがＭＰＥＧやＪＰＥＧ等の圧縮方式でもって圧縮されている場合、画像入力部１００は、圧縮方式に対応する伸張方式でもってこの動画像を伸張し、伸張後のデータを画像メモリ２００に送出する。

次に、ステップＳ２０２では、カット点検出部３１０は、画像メモリ２００から読み出したデータが示す動画像を構成するフレーム列を、１以上のサブフレーム列に分割する処理を行う。係る処理では先ず、先頭フレームから順に各フレームの画像の平均画素値を計算する。平均画素値は、１つの画像を構成する全ての画素の画素値を加算し、その加算結果を１つの画像を構成する全ての画素の数で除算した結果である。そして、現在参照しているフレームについて計算した平均画素値と１つ前に参照したフレームについて計算した平均画素値との相関値（色の相関値）を計算する。そして計算した相関値が閾値よりも小さい場合には、現在参照しているフレームの画像を区切りのフレームと判断し、係る区切りのフレームを、新たなサブフレーム列の先頭フレームとする。一方、計算した相関値が閾値以上である場合には、現在参照しているフレームを、１つ前に参照したフレームの画像が属するサブフレーム列の後端フレームとする。

次に、ステップＳ２０３では、顔検出部３２０は、ステップＳ２０２で分割された１以上のサブフレーム列のうち１つを処理対象として選択する。そして処理対象として選択したサブフレーム列（処理対象サブフレーム列）を構成する各フレームの画像を参照し、参照した画像から顔領域を検出する。顔領域の検出技術には様々なものがあり、本実施形態ではどのような技術を用いて顔領域を検出しても良い。顔領域の検出技術には、例えば、「Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998」に開示されている技術がある。また、このほかにも、例えば、「Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002」に開示されている技術もある。

そして、顔検出部３２０は、処理対象サブフレーム列を構成する各フレームの画像のデータと顔領域情報とを、後段の顔弁別部３３０に送出する。

ここで、全てのサブフレーム列についてステップＳ２０３における処理を行ったのであれば、処理をステップＳ２０４を介してステップＳ２０５に進める。一方、未だ処理対象となっていないサブフレーム列がある場合には、処理をステップＳ２０４を介してステップＳ２０３に戻し、未だ処理対象となっていないサブフレーム列についてステップＳ２０３における処理を行う。

ステップＳ２０５では、顔弁別部３３０は先ず、辞書ＤＢ３３１から、予め登録されている人の顔のデータ（辞書データ）を読み出す。そして顔弁別部３３０は、サブフレーム列毎に次のような処理を行う。即ち、顔弁別部３３０は、１つのサブフレーム列を構成する各フレームの顔領域情報を参照し、顔領域が検出されたフレームを特定する。そして、特定したフレームの顔領域情報を参照し、このフレーム内の顔領域を特定する。そして、特定した顔領域内の顔が、予め登録されている顔である場合には、このフレームの顔領域情報と、この顔に対応付けられたコード、のセットを、顔シーケンス情報として顔シーケンス記憶部３４０に出力する。

図３は、ステップＳ２０１からステップＳ２０５までの処理を説明するための図である。図３においてＳは動画像を示しており、図２では、この動画像は、サブフレーム列Ａ１とサブフレーム列Ａ２とに分割されている。図２では、サブフレーム列Ａ１から顔Ｂ１が検出されると、この顔Ｂ１は辞書ＤＢ３３１に登録されている辞書データと照合される。図２では、顔Ｂ１はａさんの顔と認識された。また、図２では、サブフレーム列Ａ１から顔Ｂ２が検出されると、この顔Ｂ２は辞書ＤＢ３３１に登録されている辞書データと照合される。図２では、顔Ｂ２はｂさんの顔と認識された。なお、顔の弁別技術については、例えば、U.S.Patent 4165992に開示されている技術を用いる。

次に、ステップＳ２０６では、代表フレーム候補抽出部４１０は、サブフレーム列毎に次のような処理を行う。先ず、１つのサブフレーム列について顔シーケンス記憶部３４０に記憶保持されている顔シーケンス情報を参照し、それぞれの顔シーケンス情報中に記されている顔コードの数をカウントする。そして、最も多くの顔（辞書データに登録されている顔）が映っているフレームを選択フレーム（選択画像）として選択する。もし選択フレームの候補が複数存在する場合には、フレーム番号が最も小さい（より先頭フレームに近い）フレームを選択フレームとして選択する。そして代表フレーム候補抽出部４１０は、サブフレーム列毎の選択フレームの画像データと、顔シーケンス情報とを代表フレーム候補記憶部４２０に格納する。

ステップＳ２０７では、代表フレーム候補特徴量抽出部５１０は、それぞれの選択フレームの画像データを受けると、それぞれの画像データについて次のような処理を行う。即ち、１つの画像において、この画像の顔領域以外の部分（背景部分）を構成する各画素の平均画素値を求める。

代表フレーム表示制御部５３０は、代表フレーム候補類似度判定部５２０から送出されたそれぞれの画像を、動画像を代表する代表フレームの画像として、表示部６００に表示させる。なお、代表フレームの画像の出力先は表示部６００に限定するものではなく、メモリに格納させるなど、その出力先には様々なものが考え得る。

図４は、ステップＳ２０６，Ｓ２０７における処理を説明するための図である。

Ａ４，Ａ５、Ａ６は何れも同じ動画像から得られたサブフレーム列である。

ここで、Ｃ１に示す如く、サブフレーム列Ａ４においてａさんの顔（予め登録されている顔）は１フレーム目から４フレーム目までに映っており、ｂさんの顔（予め登録されている顔）は３フレーム目から５フレーム目までに映っている。従ってサブフレーム列Ａ４においては、３フレーム目と４フレーム目とに２つの顔が映っており、この２つのフレームが最も多い顔が映っているフレームとなる。従って、この２つのフレームのうち、より先頭フレームに近いフレームである３フレーム目の画像を、このサブフレーム列Ａ４に対する選択フレームの画像Ｄ１とする。

一方、Ｃ２に示す如く、サブフレーム列Ａ５にはｃさんの顔（予め登録されている顔）のみが全てのフレームに渡って映っている。従ってサブフレーム列Ａ５においては、より先頭フレームに近いフレームである１フレーム目の画像を、このサブフレーム列Ａ５に対する選択フレームの画像Ｄ２とする。

一方、Ｃ３に示す如く、サブフレーム列Ａ６においてａさんの顔は１フレーム目から６フレーム目までに映っており、ｃさんの顔は３フレーム目から５フレーム目までに映っている。従ってサブフレーム列Ａ６においては、３フレーム目から５フレーム目に２つの顔が映っており、この２つのフレームが最も多い顔が映っているフレームとなる。従って、この３フレーム目から５フレーム目のうち、より先頭フレームに近いフレームである３フレーム目の画像を、このサブフレーム列Ａ６に対する選択フレームの画像Ｄ３とする。

次に、画像Ｄ１と画像Ｄ２との間で類似性の比較、画像Ｄ１と画像Ｄ３との間で類似性の比較、を行う。

ここで、画像間の類似性の比較処理の一例を、図６を用いて説明する。

先ず、代表フレーム候補特徴量抽出部５１０は、比較対象画像６９０を複数のブロックに分割する。６９１は比較対象画像６９０を複数のブロックに分割した場合の画像を示しており、分割箇所を点線で示している。そして代表フレーム候補類似度判定部５２０は、それぞれのブロックについて、ブロック内の各画素の画素値の平均値を計算する。６９２は、それぞれのブロック内を、対応する平均画素値を有する画素で埋めた場合の画像を示す。代表フレーム候補類似度判定部５２０は、２つの画像を比較する場合、画像間で位置的に対応するブロック同士で平均画素値を比較し、その差分（絶対値）を全てのブロックについて累積する。そしてその累積値が閾値以上であれば、画像間の類似性はないものと判断する。もちろん、類似性の判断処理は係る処理に限定するものではない。

そして、このような類似性の判断処理の結果、画像Ｄ１と画像Ｄ２とは類似性がないものと判断されるし、画像Ｄ１と画像Ｄ３とは類似性があるものと判断される。従って、画像Ｄ１と画像Ｄ２とが表示対象として選択されることになる。

なお、本実施形態では、表示部６００に表示するものは、動画像を代表する代表フレームの画像のみとしているが、その他の情報を更に表示するようにしても良い。例えば、代表フレームを決定する際には、そのフレームの画像内に映っている顔が誰のものであるのかを、顔コードとして判別しているので、この顔コードや、この顔コードに対応する人の名前などを表示部６００に表示しても良い。

［第２の実施形態］
第１の実施形態では、画像間の類似性を画するための処理の一例として、先ず、図６に示す如く、比較対象画像６９０を複数のブロックに分割し、それぞれのブロックについて、ブロック内の各画素の画素値の平均値を計算した。そして、２つの画像を比較する場合、画像間で位置的に対応するブロック同士で平均画素値を比較し、その差分を全てのブロックについて累積し、その累積値が閾値以上であれば、画像間の類似性はないものと判断した。

本実施形態では、顔領域とその下方の領域に含まれるブロックについてはこのような処理の対象外とする。

図７は、本実施形態に係る画像間の類似性の比較処理を説明するための図である。

先ず、代表フレーム候補特徴量抽出部５１０は、比較対象画像７９０において、顔領域とその下部を特定する。図７では、比較対象画像７９０において点線で示している領域が、顔領域とその下部領域の合計を示している。これは第１の実施形態についても同様であるが、特定（検出、抽出）する領域の形状については矩形に限定するものではなく、円形、楕円形などの形状であっても良い。そして代表フレーム候補特徴量抽出部５１０は、比較対象画像７９０において、顔領域とその下部領域については以降の処理対象外とする。７９１は、比較対象画像７９０において処理対象外とした領域を塗りつぶしたものである。

次に、代表フレーム候補特徴量抽出部５１０は、画像７９１を複数のブロックに分割する。７９２は画像７９１を複数のブロックに分割した場合の画像を示しており、分割箇所を点線で示している。そして代表フレーム候補類似度判定部５２０は、それぞれのブロックについて、ブロック内の各画素の画素値の平均値を計算する。７９３は、それぞれのブロック内を、対応する平均画素値を有する画素で埋めた場合の画像を示す図である。以降の処理については第１の実施形態と同じである。

［第３の実施形態］
第１の実施形態、第２の実施形態では、１つの動画像を１以上のサブフレーム列に分割する処理、即ち、動画像をシーン毎に分割する処理を行うためには、それぞれの画像の平均画素値を求め、画像間でその平均画素値の相関値を計算していた。しかし、次のような処理を行うことで、１つの動画像を１以上のサブフレーム列に分割するようにしても良い。

即ち、１つの画像を複数のブロックに分割し、ブロック毎に、ブロック内の平均画素値を求める処理を、各フレームの画像について行う。そして、先頭フレームから順に画像を参照し、現在参照しているフレームの画像と１つ前に参照したフレームの画像との間で、位置的に対応するブロック同士で平均画素値の差（絶対値）を求める。そしてそれぞれのブロックについて求めた差の合計値が閾値以上である場合には、現在参照しているフレームの画像を区切りのフレームと判断し、係る区切りのフレームを、新たなサブフレーム列の先頭フレームとする。一方、上記合計値が閾値よりも小さい場合には、現在参照しているフレームを、１つ前に参照したフレームの画像が属するサブフレーム列の後端フレームとする。

［第４の実施形態］
上記実施形態で用いた画像処理装置には、動画像を再生する為の専用機や、ＰＣ（パーソナルコンピュータ）等が適用可能である。

図５は、上記実施形態において用いた画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行する。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から受信したデータなどを一時的に記憶するためのエリアを有する。また、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ５０２は、各種のエリアを適宜提供することができる。例えば、ＲＡＭ５０２は、図１に示した画像メモリ２００、顔シーケンス記憶部３４０、代表フレーム候補記憶部４２０、としても機能する。

ＲＯＭ５０３は、本コンピュータの設定データや、ブートプログラムなどを格納する。

操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。例えば、動画像の取得指示等をこの操作部５０４を用いて入力することができる。

表示装置５０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ５０１による処理結果を画像や文字などでもって表示することができる。表示装置５０５は、図１に示した表示部６００に対応するものである。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして上述した各処理をＣＰＵ５０１に実行させる為のコンピュータプログラムやデータが保存されている。係るコンピュータプログラムには、図１に示した下記の各部の機能をＣＰＵ５０１に実行させるためのコンピュータプログラムが含まれている。

・カット点検出部３１０
・顔検出部３２０
・顔弁別部３３０
・代表フレーム候補抽出部４１０
・代表フレーム候補特徴量抽出部５１０
・代表フレーム候補類似度判定部５２０
・代表フレーム表示制御部５３０
また、外部記憶装置５０６には、図１に示した辞書ＤＢ３３１も保存されている。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。

Ｉ／Ｆ５０７は、図１に示した画像入力部１００として機能する。撮像装置やネットワーク上の装置から供給される動画像のデータは、このＩ／Ｆ５０７を介して外部記憶装置５０６やＲＡＭ５０２に送出される。

５０８は上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。１つの動画像について、代表フレームの画像を決定して表示するための処理のフローチャートである。ステップＳ２０１からステップＳ２０５までの処理を説明するための図である。ステップＳ２０６，Ｓ２０７における処理を説明するための図である。各実施形態において用いた画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。画像間の類似性の比較処理の一例を説明するための図である。画像間の類似性の比較処理を説明するための図である。動画像から、この動画像を代表する代表フレームを決定するための処理を説明する為の図である。

Claims

連続するフレームで構成されているフレーム列を１以上のサブフレーム列に分割する分割手段と、
前記１以上のサブフレーム列のそれぞれについて、当該サブフレーム列を構成する各フレームの画像のうち規定の被写体が映っている画像群を特定し、特定した画像群から１つの画像を選択画像として選択する選択手段と、
前記選択手段が選択した選択画像を、前記フレーム列の代表画像として出力する出力手段と
を備え、
前記出力手段は、
前記フレーム列の先頭フレームに最も近い選択画像の背景部分と、その他の選択画像のそれぞれの背景部分との相関値を計算し、前記フレーム列の先頭フレームに最も近い選択画像の背景部分との相関値が閾値よりも小さい選択画像、及び前記フレーム列の先頭フレームに最も近い選択画像、を出力する
ことを特徴とする画像処理装置。
前記分割手段は、
ｘ（ｘ＝１，２，…）フレーム目の画像と、（ｘ＋１）フレーム目の画像とで、色の相関値を計算し、計算した相関値が閾値以上であればｘフレーム目の画像と（ｘ＋１）フレーム目の画像とは同じサブフレーム列に含め、前記相関値が閾値よりも小さい場合には、ｘフレーム目の画像が属するサブフレーム列とは異なるサブフレーム列に（ｘ＋１）フレーム目の画像を含める、ことを特徴とする請求項１に記載の画像処理装置。
前記選択手段は、
１つのサブフレーム列を構成する各フレームの画像のうち、規定の被写体が最も多く映っている画像を、前記１つのサブフレーム列に対する選択画像として選択する処理を、それぞれのサブフレーム列について行うことを特徴とする請求項１又は２に記載の画像処理装置。
前記選択手段は、
前記１つのサブフレーム列を構成する各フレームの画像のうち、規定の被写体が最も多く映っている画像が複数存在する場合には、該複数の画像うち該１つのサブフレーム列の先頭フレームに最も近いフレームの画像を、前記１つのサブフレーム列に対する選択画像として選択することを特徴とする請求項３に記載の画像処理装置。
画像処理装置が行う画像処理方法であって、
前記画像処理装置の分割手段が、連続するフレームで構成されているフレーム列を１以上のサブフレーム列に分割する分割工程と、
前記画像処理装置の選択手段が、前記１以上のサブフレーム列のそれぞれについて、当該サブフレーム列を構成する各フレームの画像のうち規定の被写体が映っている画像群を特定し、特定した画像群から１つの画像を選択画像として選択する選択工程と、
前記画像処理装置の出力手段が、前記選択工程で選択した選択画像を、前記フレーム列の代表画像として出力する出力工程と
を備え、
前記出力工程では、
前記フレーム列の先頭フレームに最も近い選択画像の背景部分と、その他の選択画像のそれぞれの背景部分との相関値を計算し、前記フレーム列の先頭フレームに最も近い選択画像の背景部分との相関値が閾値よりも小さい選択画像、及び前記フレーム列の先頭フレームに最も近い選択画像、を出力する
ことを特徴とする画像処理方法。
コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
請求項６に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。