JP5362001B2

JP5362001B2 - 画像処理装置、方法及びプログラム

Info

Publication number: JP5362001B2
Application number: JP2011518076A
Authority: JP
Inventors: 智行柴田; 真由美湯浅
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-06-11
Filing date: 2009-06-11
Publication date: 2013-12-11
Anticipated expiration: 2029-06-11
Also published as: JPWO2010143229A1; WO2010143229A1; US8838121B2; US20120076360A1

Description

本発明は、映像等のインデクシングに関する。

特願平９−３３４９０号公報は、録画された映像等に対して特定のチャンネル単位で画像や音声等の検索を行うためのインデクシング処理に関する技術を開示している。

特願平９−３３４９０号公報

C. Harris and M. Stephens (1988). "A combined corner and edge detector". Proceedings of the 4th Alvey Vision Conference: pp 147--151.

しかしながら、特願平９−３３４９０号公報に開示された技術では、放送中の映像等を受信しながら同時にインデクシング処理を行うことはできない。

本発明は、上記の背景を鑑みてなされたものであり、放送中の映像等を受信しながら同時にインデクシング処理を行うことを目的とする。

本発明の一態様に係る画像処理装置は、受信部と、登録部と、判定部と、制御部とを備える。受信部は複数のチャンネルの信号を含む放送波を受信する。登録部は認識対象を登録する。判定部は、前記受信部で受信した放送波に含まれる複数のチャンネルの信号の中に前記登録部で登録した認識対象が存在するか否かを判定し、同一チャンネルの前画像フレームとの類似度が連続して閾値未満であるチャンネルに割り当てる処理時間の割合を、それ以外のチャンネルよりも少なくする。制御部は、前記判定部で判定した判定結果に応じて、前記受信部で受信する複数のチャンネルを順次切り替える。

本発明によれば、放送中の映像等を受信しながら同時にインデクシング処理を行うことができる。

第１の実施形態に係る画像処理装置の構成を示すブロック図。チューナーと受信しているチャンネルの信号との関係を示す図。第１の実施形態の動作を表すフローチャートを示す図。第２の実施形態に係る画像処理装置の構成を示すブロック図。第２の実施形態の動作を表すフローチャートを示す図。第３の実施形態に係る画像処理装置の構成を示すブロック図。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置１のブロック図である。画像処理装置１は、複数のチャンネルＣｈ１〜ＣｈＮ（Ｎは、２以上の整数）を含む放送波を受信するための受信部２と、認識対象を登録する登録部３と、受信部２で受信したチャンネルの信号の中に登録部３で登録した認識対象が存在するか否かを判定する判定部６と、判定部６で判定した判定結果に応じて、受信部２で受信するチャンネルを順次切り替える制御部８と、を備える。一般に、放送波は、複数のチャンネルの信号が各チャンネルに対応する周波数帯に割り当てられている。

受信部２は、放送波を受信する。ここでは、放送波に含まれる複数のチャンネルＣｈ１〜ＣｈＮのうち、ユーザがリモコン等の入力部を用いてチャンネルＣｈ１を視聴している場合を例示的に示す。受信部２は、受信したチャンネルの信号を、チューナー部９で映像化し、フレームごとに特徴量抽出部４へ送る。

登録部３は、入力された認識対象を登録する。この認識対象は、人物や物体などの任意の形状であり、静止画像及び動画像の少なくとも一方を含む。登録部３は、認識対象を含む少なくとも1枚以上の画像フレームを、画像フレームごとに特徴量抽出部４へ送る。登録部３は、後述のように特徴量抽出部４から送られた特徴量を記憶部（不図示）に格納する。登録部３はまた、格納した特徴量を類似度算出部５へ送る。なお、認識対象の特徴量が予め抽出されている場合には、登録部３は、その特徴量を格納し、類似度算出部５へ送る。

特徴量抽出部４は、受信部２から送られた画像フレームと、登録部３から送られた画像フレームから、それぞれの画像フレームにおける認識対象の特徴量を抽出する。特徴量抽出部４は、登録部３から送られた画像フレームより抽出した特徴量を登録部３へ送る。登録部３へ送られた特徴量は、登録部３内の記憶部に格納される。なお、特徴量抽出部４は、登録部３の外部の記憶部に特徴量を格納してもよい。また、特徴量抽出部４は、受信部２から送られた画像フレーム中から抽出した特徴量を類似度算出部５へ送る。ここで、特徴量抽出部４が抽出する特徴量は、コーナー点検出（非特許文献１参照）により得られた特徴点を基点とした、局所的な画像パターンの集合であるとする。また、登録部３から送られた画像フレームは、認識対象の領域が既知であるものとする。また、局所パターンは、認識対象の領域内とそれ以外の領域とに、それぞれラベルを付与しておくものとする。

類似度算出部５は、登録部３内の記憶部に格納された特徴量と、特徴量抽出部４で信号の１画像フレームから抽出された特徴量との間の類似度を算出する。類似度算出部５は、現在の画像フレームから抽出した各局所パターンに対して、登録した局所パターン内で最も似ている局所パターンを探索し、画像フレーム内の全ての局所パターンの識別結果からラベルのヒストグラムを求め、各認識対象との類似度を求める。類似度算出部５は、算出した類似度を判定部６へ送る。

判定部６は、後述するように類似度算出部５で算出した類似度に基づいて、受信部２から送られた信号の１画像フレーム中の認識対象の有無を判定する。判定部６は、類似度算出部５で算出した類似度が予め設定された閾値以上であれば、その画像フレーム中に認識対象が存在していると判定する。判定部６は、類似度算出部５で算出した類似度が予め設定された閾値未満であれば、その画像フレーム中に認識対象が存在しないと判定する。判定部６は、判定結果を通知部７及び制御部８にそれぞれ送る。

通知部７は、判定部６から送られた判定結果をユーザへ通知する。通知する方法としては、例えば、画像処理装置１にスピーカーが接続されている場合は音、ディスプレイが接続されている場合は画像で通知することができる。ただし、通知方法はこれらに限定されず、音と画像の両方を用いてもよいし、ユーザが知覚可能なその他の方法によりユーザへ通知してもよい。画像処理装置１がネットワークに接続されている場合は、予め設定したアドレスへメールを送りユーザへ通知してもよい。また、ユーザからの指定により、ユーザへの通知を行わないように設定してもよい。

制御部８は、判定部６から送られた判定結果に基づいて、放送波に含まれる複数のチャンネルを順次切り替える。一般に、放送中の映像等を受信しながら同時に映像化できるチャンネル数は、受信部２で用いられるチューナーの数に等しい。放送波に含まれるチャンネル数よりもチューナー数の方が少ない場合、全てのチャンネルを受信することができない。そのため、放送中の映像等を受信しながら同時にインデクシング処理を行うことはできなかった。これに対し、本実施形態では、チューナー数よりも多くのチャンネルを放送中の映像等を受信しながら同時にインデクシング処理することができる。例えば、ユーザがチューナー９ａでチャンネルＣｈ１を視聴して場合、制御部８は、ユーザが視聴していないチャンネルＣｈ２〜ＣｈＮを順次切り替えて、各チャンネルの信号をチューナー９ｂで受信するよう制御する。これにより、ユーザが視聴しているチャンネルＣｈ１の信号は、ユーザがチャンネルを変更しない限り継続して受信されるが、ユーザが視聴していないチャンネルＣｈ２〜ＣｈＮの信号は、順次切り替えて受信される。

図２は、チューナーと受信しているチャンネルの信号との関係を示す図である。図２では、ユーザがチャンネルＣｈ１を視聴し、残りのチャンネルＣｈ２〜ＣｈＮのうち、チャンネルＣｈ２を受信している。制御部８は、第２の期間ごとに、受信部２におけるチャンネルの切り替えを指示する。受信部２は、制御部８の指示に従ってチャンネルＣｈ２〜ＣｈＮを順次切り替えて、チャンネルＣｈ２〜ＣｈＮのいずれかの信号を受信する。ユーザは、チャンネルＣｈ１を視聴しているため、チャンネルＣｈ１の信号はチューナー９ａで引き続き映像化される。制御部８は、受信部２で受信するチャンネルＣｈ２〜ＣｈＮを順次切り替えて、その信号をチューナー９ｂで順次映像化し、チャンネルＣｈＮまで切り替えた後は、チャンネルＣｈ２に戻ってチャンネルの切り替えを繰り返す。なお、ユーザが視聴しているチャンネルを変更した場合には、その変更されたチャンネル以外のチャンネルを順次切り替えればよい。

判定部６で現在の画像フレーム中に認識対象が存在すると判定されたチャンネルに対しては、チャンネルの切り替えを行わず、認識対象が第１の期間に画像フレーム中に存在しなくなるまで、そのチャンネルの信号の受信を継続する。制御部８は、判定部６により現在の画像フレーム中に認識対象が存在しないと判定した場合には、第２の期間ごとに、ユーザが視聴していないチャンネルを順次切り替える。制御部８は、切り替えるチャンネルの情報を受信部２へ順次送る。なお、第１の期間と第２の期間は、同一の時間間隔であってもよいし、異なる時間間隔であってもよい。

なお、上記の説明では、ユーザの視聴により用いられているチューナー以外のチューナーでチャンネルの切り替えを行ったが、本発明はこれに限定されない。例えば、ユーザの視聴に用いられているチューナーで受信したチャンネルの信号を、表示用の記憶部から読み出して処理用の記憶部に移し、認識対象が存在するか否を判定してもよい。これにより、ユーザの視聴により用いられているチューナーで受信したチャンネルの信号に対しても、認識対象が存在するか否かを判定することができる。その結果、受信部２で用いられる全てのチューナーを用いて、認識対象が存在するチャンネルの信号を取得することも可能となる。また、ユーザが視聴しているチャンネルが１つの場合を示したが、本発明はこれに限定されない。ユーザが複数のチャンネルを同時に視聴する場合には、ユーザが視聴している複数のチャンネル以外のチャンネルを順次切り替えればよい。また、上述のように、ユーザが視聴している複数のチャンネルの信号を、表示用の記憶部から読み出して処理用の記憶部に移すことによって、ユーザが視聴飼料しているチャンネルに対しても、認識対象が存在するか否かを判定してもよい。

図３は、画像処理装置１の動作を表すフローチャートを示す図である。

ステップＳ３０１では、制御部８は、放送波に含まれる複数のチャンネルを予め設定された時間間隔で順次切り替える。チャンネルを順次変更することにより、受信可能なチャンネルを全て受信することが可能となる。

ステップＳ３０２では、受信部２は、制御部８により指示されたチャンネルの信号を受信する。受信部２は、受信した信号を対応するチューナーで映像化し、画像フレームごとに特徴量抽出部４へ送る。特徴量抽出部４は、受信部２から送られた画像フレームと、登録部３から送られた画像フレームから、認識対象の特徴量をそれぞれ抽出する。特徴量抽出部４は、登録部３から送られた画像フレームから抽出した特徴量を登録部３へ送る。

ステップＳ３０３では、判定部６は、受信部２で受信した信号の１画像フレームにおける認識対象の有無を判定する。判定部６は、上述したように類似度算出部５で算出した類似度に基づいて、認識対象の有無を判定する。この類似度は、登録部３に格納された認識対象の特徴量と、特徴量抽出部４で抽出された特徴量との間の類似度に対応する。判定部６は、認識対象が存在する場合には（ステップＳ３０３で「ＹＥＳ」）、ステップＳ３０４に処理を進める。判定部６は、認識対象が存在しない場合には（ステップＳ３０３で「ＮＯ」）、ステップＳ３０５に処理を進める。

ステップＳ３０４では、制御部８は、チャンネルの切り替えを行わないで、受信するチャンネルを固定する。これにより、固定されたチャネルに存在する認識対象の画像フレームを継続して取得（録画等）することができる。

ステップＳ３０５では、制御部８は、チャンネルの受信を終了するか否かを判断する。例えば、予めチャンネルの受信時間等を設定しておき、これに基づいて受信の終了を判定すればよい。

このように、本実施形態では、放送波に含まれる複数のチャンネルの信号を映像化し、各画像フレームから抽出した特徴量と、予め抽出した認識対象の特徴量との類似度を評価する。このときの評価結果を用いて、映像化するチャンネルを順次切り替えることにより、放送中の映像等を受信しながら同時に画像や音声等の検索（インデクシング処理）を行うことができる。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る画像処理装置１０１のブロック図である。画像処理装置１０１は、録画部１０９及び追跡部１１０を更に備える点で、画像処理装置１と相違する。画像処理装置１０１のうち、画像処理装置１と同様な構成については、説明を省略する。

受信部２は、放送波に含まれる複数のチャンネルの信号を受信する。受信部２は、受信した信号のうち、制御部８から指示されたチャンネルの信号を、２個以上のチューナーを用いて映像化する。受信部２は、後述するように判定部６で追跡が成功していると判定された場合には、映像化した信号を画像フレームごとに特徴量抽出部４へ送る。

特徴量抽出部４は、受信部２から送られた画像フレームにおいて、予め学習した認識対象の顔画像領域に基づいてモデルを学習し、そのモデルに基づいて顔領域を検出する。特徴量抽出部４は、検出された顔領域ごとに特徴量を抽出する。この特徴量は、顔部品検出を行い、顔部品の位置により画像を正規化した正規化画像とする。なお、正規化画像は、照明変動を抑制するフィルタなどで前処理を行うことも可能である。

類似度算出部５は、登録した特徴量と現在の画像フレームから検出した顔領域の特徴量との類似度を算出する。類似度算出部５は、算出した類似度を判定部６へ送る。

判定部６は、類似度算出部５で算出した類似度が予め設定された閾値以上であれば、その画像フレーム中に認識対象が存在すると判定する。判定部６は、類似度算出部５で算出した類似度が予め設定された閾値未満であれば、その画像フレーム中に認識対象が存在しないと判定する。判定部６はまた、後述するように追跡部１１０で算出した追跡尤度が、上記とは異なる閾値以上であれば追跡が成功し、その追跡尤度がその閾値未満であれば追跡が失敗したと判定する。判定部６は、通知部７、制御部８及び録画部１０９へ判定結果を送る。また、判定部６は、登録した認識対象が存在すると判定された場合又は追跡が成功したと判定された場合、現在の画像フレーム中の登録した認識対象の顔領域の位置情報を追跡部１１０へ送る。

制御部８は、判定部６で現在の画像フレーム中に認識対象が存在すると判定されたチャンネルについては、登録した認識対象の追跡が失敗するまでチャンネルを切り替えずに、継続して受信を行う。

録画部１０９は、判定部６で認識対象が存在すると判定されたときに、認識対象が認識された画像フレームから録画を開始する。後述する追跡部１１０において、追跡が失敗した画像フレームが一定時間続いた場合には、録画を中止する。なお、録画の終了処理は、電子番組表（ＥＰＧ）などから得た現在の番組プログラムの終了を基準に行ってもよい。

追跡部１１０は、受信部２から送られた画像フレームにおいて、送られた顔領域の位置情報により範囲と顔領域の大きさを限定し、予め学習した認識対象の顔画像領域から学習したモデルに基づいて顔領域を検出する。追跡部１１０はまた、検出した顔領域と前画像フレームの顔領域との類似度を算出し、算出した類似度を追跡尤度として判定部６へ送る。

図５は、画像処理装置１０１の動作を表すフローチャートを示す図である。画像処理装置１０１の動作のうち、ステップＳ５０１〜Ｓ５０３、Ｓ５０５、Ｓ５０６は、図３のステップＳ３０１〜Ｓ３０５と同様であるため、説明を省略する。

ステップＳ５０４では、追跡部１１０は、検出した顔領域と前画像フレームの顔領域との類似度を算出し、算出した類似度を追跡尤度として判定部６へ送る。追跡部１１０は、追跡が成功したと判定した場合には（ステップＳ５０４で「ＹＥＳ」）、ステップＳ５０５に処理を進める。追跡が成功していないと判定した場合には（ステップＳ５０４で「ＮＯ」）、追跡部１１０は、ステップＳ５０６に処理を進める。

このように、本実施形態では、現在の画像フレーム中に認識対象が存在すると判定されたチャンネルについては、登録した認識対象が認識された画像フレームから一定時間その認識対象が認識されないか、又は、認識対象が追跡されなくなるまで信号を受信する。そして、このときの評価結果を用いてチャンネルを順次切り替え、登録した認識対象が認識された場合は、以降の処理を追跡に切り替えて、認識対象が追跡できなくなるまで追跡を続ける。

（第３の実施形態）
図６は、本発明の第３の実施形態に係る画像処理装置２０１のブロック図である。画像処理装置２０１のうち、画像処理装置１０１と同様な構成については説明を省略する。

受信部２は、特徴抽出部４及び追跡部１１０に加えて、フレーム間類似度算出部２１１にも画像フレームを送る。

フレーム間類似度算出部２１１は、同一チャンネルで時間的に連続した画像フレームにおいて、画像フレーム同士の類似度を算出する。フレーム間類似度算出部２１１は、画像フレーム全体を一定のサイズにリサイズした後、1本のベクトルとしてコサイン相関値を求め類似度とする。フレーム間類似度算出部２１１は、算出したフレーム間類似度を判定部６へ送る。

判定部６は、認識対象を認識したチャンネル又は追跡が成功しているチャンネル以外のチャンネルの制御に割り当てる処理時間を少なくする。具体的には、判定部６は、フレーム間類似度算出部２１１から送られたフレーム間類似度が連続して閾値未満であるチャンネルに割り当てる処理時間の割合を、それ以外のチャンネルよりも少なくする。

このように、本実施形態では、登録した人物等が認識された画像フレームから一定時間その人物が認識されないか又は追跡されなくなるまで映像を保存する。このときのフレーム間で差分が少ないチャンネルの優先度を下げて処理を行うことにより、認識対象が出現しているチャンネルの処理時間を優先的に多くすることができる。

なお、本発明の実施形態に係る画像処理装置の各部の各機能は、コンピュータに格納されたプログラムによっても実現することができる。また、本発明は、上記実施形態に限定されず、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：画像処理装置、２：受信部２：登録部、４：特徴量抽出部、５：類似度算出部、６：判定部、７：通知部、８：制御部

Claims

複数のチャンネルの信号を含む放送波を受信する受信部と、
認識対象を登録する登録部と、
前記受信部で受信した放送波に含まれる複数のチャンネルの信号の中に前記登録部で登録した認識対象が存在するか否かを判定する判定部と、
前記判定部で判定した判定結果に応じて、前記受信部で受信する複数のチャンネルを順次切り替える制御部と、
を備え、
前記判定部は、同一チャンネルの前画像フレームとの類似度が連続して閾値未満であるチャンネルに割り当てる処理時間の割合を、それ以外のチャンネルよりも少なくする
ことを特徴とする画像処理装置。
前記制御部は、前記判定部で前記認識対象が存在すると判定された場合には、前記受信部で受信する複数のチャンネルを切り替えないこと
を特徴とする請求項１に記載の画像処理装置。
同一チャンネルの前画像フレームでの認識対象の認識結果に基づいて追跡処理を行う追跡部を更に備え、
前記判定部は、前記追跡部の追跡処理の結果に基づいて追跡が成功したか否かを判定し、
前記制御部は、前記判定部で認識対象の追跡が成功している間は、チャンネルを変更しないことを特徴とする請求項２に記載の画像処理装置。
画像処理装置を制御するための画像処理方法であって、
受信部が、複数のチャンネルの信号を含む放送波を受信するステップと、
登録部が、認識対象を登録するステップと、
判定部が、前記受信部で受信した放送波に含まれる複数のチャンネルの信号の中に前記登録部で登録した認識対象が存在するか否かを判定するステップと、
制御部が、前記判定部で判定した判定結果に応じて、前記受信部で受信する複数のチャンネルを順次切り替えるステップと、
前記判定ステップは、同一チャンネルの前画像フレームとの類似度が連続して閾値未満であるチャンネルに割り当てる処理時間の割合を、それ以外のチャンネルよりも少なくすること
とを特徴とする画像処方法。
コンピュータを、
複数のチャンネルの信号を含む放送波を受信する受信部と、
認識対象を登録する登録部と、
前記受信部で受信した放送波に含まれる複数のチャンネルの信号の中に前記登録部で登録した認識対象が存在するか否かを判定する判定部と、
前記判定部で判定した判定結果に応じて、前記受信部で受信する複数のチャンネルを順次切り替える制御部と
前記判定部は、同一チャンネルの前画像フレームとの類似度が連続して閾値未満であるチャンネルに割り当てる処理時間の割合を、それ以外のチャンネルよりも少なくする判定部として機能させるための画像処理プログラム。