JP4654773B2 - 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は人物の構成部品を識別する基準となる情報を取得する技術に関する。

従来、手話を行う人物などを被写体とした動画像の動きを検知する技術が存在する。例えば特許文献１によると、前フレーム画像と現フレーム画像の差分が所定の閾値以上であることを条件に動作を伴い主なる被写体に次ぐ重要性を持つ対象部を囲んで変動自在の周辺動きウインドウを構成する全画像を矩形の小ブロックに分割して逐次処理を行う方式の下で、ブロックの動画像に伴った動きベクトルを利用して、次のフレームの周辺動きウインドウの位置及び領域を推定し、変動自在の領域にまで周辺動きウインドウを追随させる。

また、特許文献２によると、撮像画像解析装置は、基準カメラであるカメラで撮像された画像（撮像画像）から、その撮像画像内に存在する対象人物の肌色領域を抽出する。具体的には、撮像画像における全画素のＲＧＢ値を、色相、明度、彩度からなるＨＬＳ空間に変換し、色相、明度、彩度が予め設定された閾値の範囲内にある画素を肌色領域として抽出する。輪郭抽出装置は対象人物の輪郭を抽出する。そして、ジェスチャ認識装置は、対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。
特開２００２−１６５２２２号公報 特開２００４−３０３０１４号公報

特許文献１の技術では動きベクトルで手の位置を推定するため、人物とは無関係の物体の動きを誤って追従してしまうことがある。また、人物の肌の色は個人によって差異があるため、特許文献２の技術のような画一的な肌色の閾値の範囲内では、必ずしも手の肌色を正確に検出できるとは限らない。本発明はこのような問題点に鑑みてなされたもので、特定人物の構成部品を正確に識別できるようにすることを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、フレーム動画像データを入力する入力部と、入力部に入力されたあるフレーム動画像データに基づいて人物の構成部品を識別する基準となる基準情報を取得する基準情報取得部と、基準情報取得部が取得した基準情報に基づき、人物の構成部品の存在する領域である構成部品領域を、基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出する構成部品領域抽出部と、構成部品領域に基づいて、所定の情報処理を優先的に行う領域である優先領域を基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定する優先領域設定部と、優先領域設定部の設定した優先領域に所定の情報処理を優先的に行う処理部と、を備える。

この発明によると、あるフレーム動画像からある人物の基準情報を取得する。特定人物の基準情報を取得できれば、そのフレーム動画像以後のフレーム動画像における特定人物の構成部品、例えば手や顔の存在領域を正確に追従できる。そして、抽出した特定人物の構成部品の存在領域に基づいて優先的な処理を行う領域を設定することで、人物の構成部品の存在する重要な領域に各種の情報処理を優先して行うことができる。

この情報処理装置は、入力部に入力されたあるフレーム動画像データから人物の顔領域を検出する検出部をさらに備え、基準情報取得部は検出部の検出した人物の顔領域から基準情報を取得するようにしてもよい。

好ましくは、この情報処理装置は、基準情報取得部は人物の顔領域の色情報を基準情報として取得する。

こうすると、各人物の肌の色の情報を人物ごとに取得できる。

好ましくは、検出部は入力部に入力されたあるフレーム動画像データから人物の目、口又は鼻の領域を検出し、基準情報取得部は人物の顔領域から人物の目、口又は鼻の領域を除外した領域の色情報を基準情報として取得する。

こうすれば、特定人物の肌の色の情報を可及的に正確に取得することができる。

基準情報の概念には、基準情報取得部の取得した色情報に基づいて規定される色の範囲を含めることができる。例えば、基準情報は、顔領域における色相、輝度及び彩度の上限値及び下限値で規定される色の範囲とすることができる。あるいは、顔領域中の各画素の色情報の平均値を基準とした所定の誤差範囲としてもよい。

そして、構成部品領域抽出部は色の範囲内に収まる色情報を有する画素領域を構成部品領域として抽出するとよい。

また、優先領域設定部は構成部品領域を包含する領域を優先領域として設定するとよい。

なお、優先領域の大きさや形状は任意であるが、少なくとも、構成部品領域を包含する領域を優先領域に設定すれば、優先領域によって人物の顔や手の可動範囲をカバーでき好ましい。

この情報処理装置は、入力部に入力されたあるフレーム動画像データから人物の目、口又は鼻の位置を検出する検出部をさらに備え、優先領域設定部は検出部の検出した人物の目、口又は鼻の位置に基づいて優先領域を設定してもよい。

本発明に係る動画像符号化装置は、フレーム動画像データを入力する入力部と、入力部に入力されたフレーム動画像データを圧縮する圧縮部と、圧縮部の圧縮したフレーム動画像データを量子化する量子化部と、量子化部の量子化したフレーム動画像データを出力する出力部と、入力部に入力されたあるフレーム動画像データに基づいて人物の構成部品を識別する基準となる基準情報を取得する基準情報取得部と、基準情報取得部が取得した基準情報に基づき、人物の構成部品の存在する領域である構成部品領域を、基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出する構成部品領域抽出部と、構成部品領域に基づいて、量子化の適応レベルを細かくする領域である高レベル量子化領域を基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定する高レベル量子化領域設定部と、を備え、量子化部は高レベル量子化領域の設定された高レベル量子化領域のブロックに対する量子化の適応レベルを細かくするよう調節する。

あるフレーム動画像からある特定人物の基準情報を取得できれば、そのフレーム動画像以後のフレーム動画像における特定人物の構成部品、例えば手や顔の存在領域を正確に追従できる。そして、抽出した特定人物の構成部品の存在領域に基づいて量子化の適応レベルを細かくする領域を設定することで、人物の構成部品の存在する重要な領域の画質を優先的に高めることができる。

なお、フレーム動画像データを入力するステップと、入力されたあるフレーム動画像データに基づいて人物の構成部品を識別する基準となる基準情報を取得するステップと、基準情報に基づき、人物の構成部品の存在する領域である構成部品領域を、基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出するステップと、構成部品領域に基づいて、所定の情報処理を優先的に行う領域である優先領域を基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定するステップと、優先領域に所定の情報処理を優先的に行うステップと、を含む情報処理方法も本発明に含まれる。この方法をコンピュータに実行させるプログラムも本発明に含まれる。

この発明によると、あるフレーム動画像からある特定人物の基準情報を取得できれば、そのフレーム動画像以後のフレーム動画像における特定人物の構成部品、例えば手や顔の存在領域を正確に追従できる。そして、抽出した特定人物の構成部品の存在領域に基づいて優先的な処理を行う領域を設定することで、人物の構成部品の存在する重要な領域に各種の情報処理を優先して行うことができる。

抽出した特定人物の構成部品の存在領域に基づいて量子化の適応レベルを細かくする領域を設定することで、人物の構成部品の存在する重要な領域の画質を優先的に高めることができる。

以下、添付した図面を参照し本発明の好ましい実施形態を説明する。

図１は本発明の好ましい実施形態に係る基準情報取得装置１及び基準情報取得装置１を内蔵した符号化装置１００のブロック図である。符号化装置１００は、画像入力部１１、動きベクトル検出回路１４、動き補償回路１５、ＤＣＴ１６、適応量子化回路１７、可変長符号化器（ＶＬＣ）１８、符号化制御部２０、バッファ１９、データ送信部２１等を備えている。この装置は、動き補償予測符号化と、ＤＣＴによる圧縮符号化を組み合わせたＭＰＥＧ２方式の符号化装置の構成を一部含んでいる。

画像入力部１１は、図示しないＣＣＤ等の撮像素子を備えた撮像装置などから動画像信号を入力する。

動きベクトル検出回路１４は、画像入力部１１から入力されたデータが表す現在のフレーム画像を、フレームメモリ２２に記憶されている前のフレーム画像と比較することで、動きベクトルを検出する。この動きベクトルの検出は、入力された現在のフレーム画像を複数のマクロブロックに分割し、個々のマクロブロックを単位として、前のフレーム画像上に各々設定した探索範囲内で被探索マクロブロックを適宜動かしながら誤差演算を繰り返すことで、被探索マクロブロックに最も類似しているマクロブロック（誤差が最小となるマクロブロック）を探索範囲内から探し出し、該マクロブロックと被探索マクロブロックとのずれ量及びずれの方向を被探索マクロブロックについての動きベクトルとする。そして、各マクロブロック毎に求めた動きベクトルを各マクロブロック毎の誤差を考慮して合成することで、予測符号化における予測差分を最小とする動きベクトルを求めることができる。

動き補償回路１５は、検出した動きベクトルに基づき予測用参照画像に対して動き補償を行うことで予測画像のデータを生成し、減算器２３へ出力する。減算器２３は、画像入力部１１からから入力されたデータが表す現在のフレーム画像から、動き補償回路１５から入力されたデータが表す予測画像を減算することで、予測差分を表す差分データを生成する。

減算器２３にはＤＣＴ（離散コサイン変換）部１６、適応量子化回路１７、ＶＬＣ１８、バッファ１９が順次接続されている。ＤＣＴ１６は、減算器２３から入力された差分データを任意のブロック毎に直交変換して出力し、適応量子化回路１７は、ＤＣＴ１６から入力された直交変換後の差分データを所定の量子化ステップで量子化してＶＬＣ１８へ出力する。また、ＶＬＣ１８には動き補償回路１５が接続されており、動き補償回路１５から動きベクトルのデータも入力される。ＶＬＣ１８は、直交変換・量子化を経た差分データを２次元ハフマン符号により符号化すると共に、入力された動きベクトルのデータもハフマン符号により符号化し、両者を多重化して符号化動画像データとして出力する。符号化動画像データはバッファ１９に蓄積され、データ送信部２１から画像圧縮情報としてインターネットなどのネットワークにパケット送出される。

適応量子化回路１７は、画面を複数のブロックに分割して量子化処理を行う際、量子化ステップをブロック内の特徴量に応じてブロック単位に変化させる適応量子化処理を行う。

図２は本発明に係る基準情報取得装置１の詳細構成を示すブロック図である。基準情報取得装置１は、入力されたあるフレーム画像から人物の構成部品の特徴量（具体的には位置、形状、大きさ）を示すランドマークを検出するランドマーク検出部２と、ランドマーク検出部２によって検出されたランドマークに基づいて基準領域を設定し、設定された基準領域に包含される基準情報を取得する基準情報取得部３とを備える。

ランドマーク検出部２によるランドマーク検出の技術は各種のものを採用しうる。

図３は、ランドマーク検出部２が人物の顔を含んだ画像から検出した、人物の構成部品の一例である目、口、鼻、顔の輪郭の位置、形状、大きさを示すランドマークをドットで示している。

基準情報取得部３の設定する基準領域は、ランドマークの位置に基づいて設定されるが、どのように基準領域を設定するかは特に限定されない。

図４は一例として、顔輪郭のランドマークで囲まれかつ目のランドマークの位置より下の領域から鼻と口のランドマークで囲まれた領域を除外した領域Ｒ１を基準領域に設定している。目、鼻、口を除外するのは、特定人物の肌の色の情報を可及的に正確に取得するためである。

基準情報取得部３は、基準領域から基準情報を抽出する。基準情報は、人物の構成部品を識別する基準となる情報であり、好ましくは、基準領域中の各画素の色情報に基づいて規定される。例えば、基準情報は、基準領域中の各画素の色相、輝度及び彩度の上限値及び下限値で規定される色の範囲とすることができる。あるいは、基準領域中の各画素の色情報の平均値を基準とした所定の誤差範囲としてもよい。以下、このような色の範囲を規定する基準情報を、特に基準色範囲と呼ぶ。

なお、どのフレーム画像から基準情報を取得するかは任意であり、入力されたフレーム画像ごとに取得してもよいし、特定のフレーム画像（所定の時間間隔で入力されるフレーム画像ごと）に取得してもよい。

再び図１を参照すると、適応量子化回路１７は、構成部品領域抽出部１７ａ及び領域設定部１７ｂを有している。構成部品領域抽出部１７ａは、基準情報取得装置１があるフレーム画像から取得した基準情報に基づき、人物の構成部品の存在する領域である構成部品領域を、基準情報を抽出したフレーム画像以後のフレーム画像（以後の各フレーム画像あるいは所定の時間を隔てたフレーム画像ごと）から抽出する。領域設定部１７ｂは、構成部品領域に基づき、所定の情報処理を優先的に行う領域である優先領域、具体的には量子化の適応レベルを細かくする領域（以下高レベル量子化領域と称す）を以後の各フレーム画像に設定する。

構成部品領域は、基準情報をパラメータとして検索できる領域であれば何でもよいが、好適には、基準色範囲内に収まる色情報を有する画素領域とする。

また、優先領域は、構成部品領域の位置、形状、大きさなどをパラメータとして決定される領域であれば何でもよいが、好適には、構成部品領域を包含する領域とする。

例えば、ある特定人物の顔部分の領域Ｒ１から基準色範囲が取得できれば、その人物の手の肌の色も基準色範囲内に収まると考えられる。このため、図５に示すように、基準色範囲内に収まる色情報を有する画素領域を構成部品領域Ｘ１（右手部分）、Ｘ２（左手部分）、Ｘ３（顔部分）とし、構成部品領域Ｘ１〜Ｘ３を全部包含する最小面積の多角形領域Ｒ２を、優先領域ないし高レベル量子化領域に設定すると、人物の顔部分及び両手部分がこの領域Ｒ２に収まる。領域Ｒ２の形状は特に限定されず、円形等であってもよい。フレーム画像ごとに構成部品領域Ｘ１〜Ｘ３の位置は変化しうるが、領域Ｒ２は、フレームごとに設定されるため、各フレームにおける構成部品領域Ｘ１〜Ｘ３の位置に追従して変形することになる。

なお、基準情報を取得したフレーム画像においては、ランドマークの位置に基づいて顔部分に相当する構成部品領域Ｘ３を抽出することも可能である。ランドマークの位置、形状、大きさに基づいて構成部品領域Ｘ１（右手部分）、Ｘ２（左手部分）の可動領域を推定し、この可動領域を優先領域に設定してもよい。

なお、領域設定部１７ａは、基準情報取得装置１に備えられていてもよい。フレーム画像に設定された優先領域内にのみ、所定の情報処理（例えばエッジ処理などの各種画像処理）を優先的に行ってもよい。

適応量子化回路１７は、領域設定部１７ｂの設定した高レベル量子化領域のブロックに対しては量子化の適応レベル（量子化スケール）が細かくなるよう調節し、画像復号による画質の劣化を目立ちにくくする。一方、高レベル量子化領域以外のブロックに対しては、量子化の適応レベルが粗くなるよう調節する。これにより、データ量削減と必要な部分の画質維持を両立することが可能となる。

この符号化装置１００は、特にテレビ電話による聴覚障害者の手話通話に有用である。例えば、図５のような高レベル量子化領域Ｒ２を設定しておけば、表情と手の位置が刻々変化しても、それに追従する高品質の領域Ｒ２で容易に確認できる。かつ、手話通話にとって余り重要でない領域Ｒ２以外の部分（主として背景などの動きのない部分）のデータ量は削減できるから、不要なデータ転送による遅延発生を防止でき、手話通話のスムースな実現の一助となる。

以上説明した通り、本発明の基準情報取得装置１は、従来のように画一的な肌色領域でなく、人物ごとに微妙に異なる基準情報を入力した任意のフレーム画像から検出し、また、本発明の領域設定部１７ｂは、動きベクトルでなく基準情報に基づいて優先領域を設定するから、人物とは無関係の物体に領域が追従することもなく、正確・適切に人物の構成部品の存在領域を追従できる。

なお、本実施形態で述べた基準情報取得装置１や符号化装置１００を構成する回路は、コンピュータ（演算装置）のプログラム制御によって実現可能であり、その制御の方法も本発明に含めることができる。

符号化装置のブロック図 基準情報取得装置のブロック図 ランドマークの一例を示す図 基準領域の一例を示す図 画像中に設定された高レベル量子化領域の一例を示す図

符号の説明

１：基準情報取得装置、２：ランドマーク検出部、３：基準情報取得部、１７ｂ：領域設定部

Claims (12)

1. フレーム動画像データを入力する入力部と、
   前記入力部に入力されたあるフレーム動画像データから人物の顔領域を検出する検出部と、
   前記検出部の検出した人物の顔領域に基づいて人物の顔および手を含む構成部品を識別する基準となる基準情報を取得する基準情報取得部と、
   前記基準情報取得部が取得した基準情報に基づき、前記人物の顔および手を含む構成部品の存在する領域である構成部品領域を、前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出する構成部品領域抽出部と、
   前記構成部品領域抽出部が抽出した人物の顔および手を含む構成部品領域を包含し、所定の情報処理を優先的に行う領域である優先領域を前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定する優先領域設定部と、
   前記優先領域設定部の設定した優先領域に前記所定の情報処理を優先的に行う処理部と、
   を備える情報処理装置。
2. 前記基準情報取得部は前記人物の顔領域の色情報を前記基準情報として取得する請求項１に記載の情報処理装置。
3. 前記検出部は前記入力部に入力されたあるフレーム動画像データから前記人物の目、口又は鼻の領域を検出し、
   前記基準情報取得部は前記人物の顔領域から前記人物の目、口又は鼻の領域を除外した領域の色情報を前記基準情報として取得する請求項２に記載の情報処理装置。
4. 前記基準情報は前記基準情報取得部の取得した色情報に基づいて規定される色の範囲を含む請求項２又は３に記載の情報処理装置。
5. 前記構成部品領域抽出部は前記色の範囲内に収まる色情報を有する画素領域を構成部品領域として抽出する請求項４に記載の情報処理装置。
6. 前記入力部に入力されたあるフレーム動画像データから人物の目、口又は鼻の位置を検出する検出部をさらに備え、
   前記優先領域設定部は前記検出部の検出した人物の目、口又は鼻の位置に基づいて前記優先領域を設定する請求項１に記載の情報処理装置。
7. 前記構成部品領域は前記人物の右手および左手を含む請求項１〜６のいずれかに記載の情報処理装置。
8. 前記処理部は、前記優先領域のブロックに対する量子化の適応レベルを細かくするよう調節する請求項１〜７のいずれかに記載の情報処理装置。
9. 前記処理部は、前記優先領域以外のブロックに対する量子化の適応レベルを粗くするよう調節し、前記優先領域のブロックおよび前記優先領域以外のブロックに対する量子化の適応レベルに応じた量子化ステップで前記フレーム動画像データを量子化し、テレビ電話の手話通話のデータとして送信する請求項８に記載の情報処理装置。
10. フレーム動画像データを入力する入力部と、
    前記入力部に入力されたフレーム動画像データを圧縮する圧縮部と、
    前記圧縮部の圧縮したフレーム動画像データを量子化する量子化部と、
    前記量子化部の量子化したフレーム動画像データを出力する出力部と、
    前記入力部に入力されたあるフレーム動画像データから人物の顔領域を検出する検出部と、
    前記検出部の検出した人物の顔領域に基づいて人物の顔および手を含む構成部品を識別する基準となる基準情報を取得する基準情報取得部と、
    前記基準情報取得部が取得した基準情報に基づき、前記人物の顔および手を含む構成部品の存在する領域である構成部品領域を、前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出する構成部品領域抽出部と、
    前記構成部品領域抽出部が抽出した人物の顔および手を含む構成部品領域を包含し、量子化の適応レベルを細かくする領域である高レベル量子化領域を前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定する高レベル量子化領域設定部と、
    を備え、
    前記量子化部は前記高レベル量子化領域の設定された高レベル量子化領域のブロックに対する量子化の適応レベルを細かくするよう調節する動画像符号化装置。
11. フレーム動画像データを入力するステップと、
    前記入力されたあるフレーム動画像データから人物の顔領域を検出するステップと、
    前記検出した人物の顔領域に基づいて人物の顔および手を含む構成部品を識別する基準となる基準情報を取得するステップと、
    前記基準情報に基づき、前記人物の顔および手を含む構成部品の存在する領域である構成部品領域を、前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出するステップと、
    前記抽出した人物の顔および手を含む構成部品領域を包含し、所定の情報処理を優先的に行う領域である優先領域を前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定するステップと、
    前記優先領域に前記所定の情報処理を優先的に行うステップと、
    を含む情報処理方法。
12. フレーム動画像データを入力するステップと、
    前記入力されたあるフレーム動画像データから人物の顔領域を検出するステップと、
    前記検出した人物の顔領域に基づいて人物の顔および手を含む構成部品を識別する基準となる基準情報を取得するステップと、
    前記基準情報に基づき、前記人物の顔および手を含む構成部品の存在する領域である構成部品領域を、前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データから抽出するステップと、
    前記抽出した人物の顔および手を含む構成部品領域を包含し、所定の情報処理を優先的に行う領域である優先領域を前記基準情報を抽出したフレーム動画像データ以後に入力されるフレーム動画像データに設定するステップと、
    前記優先領域に前記所定の情報処理を優先的に行うステップと、
    をコンピュータに実行させる情報処理プログラム。

Images