JP6007523B2 - 生成装置、生成プログラムおよび生成方法 - Google Patents

Description

本発明は、生成装置、生成プログラムおよび生成方法に関する。

オフィス、ショッピングセンター、商店街など様々な場所に、カメラを設置し、カメラで撮影された映像が、防犯、マーケティング、サービスなど様々な目的で用いられる。例えば、ショッピングセンター、商店街などに設置されたカメラによって撮影された映像は、利用者がどのような経路を移動し、どのような商品を手に取ったかなどの解析に用いられる。そして、解析の結果は、商品の陳列方法の改善などに利用される。

ここで、カメラによって撮影された人物の肖像権やプライバシーの侵害が問題となる可能性がある。そこで、従来、撮影した画像に含まれる人物の顔画像を抽出し、抽出した顔画像にモザイクをかける技術がある。

また、従来、撮影した画像に含まれる人物全体の領域を抽出し、抽出した人物全体の領域にモザイクをかける技術がある。

特開２０００−０００２１６号公報 特開２００４−０６２５６０号公報

しかしながら、上記の従来の技術では、撮影された人物の肖像権やプライバシーの侵害を抑制しつつ、人物の行動を把握することが困難であるという問題がある。

例えば、顔画像にモザイクをかける従来の技術では、顔画像にモザイクがかけられたところで、人物の服装や体型から個人を特定することができる場合がある。このため、顔画像にモザイクをかける従来の技術では、撮影された人物の肖像権やプライバシーの侵害となる場合がある。

また、人物全体の領域にモザイクをかける従来の技術では、人物全体の領域にモザイクがかかるため、人物の行動が把握することが困難である。

開示の技術は、上記に鑑みてなされたものであって、撮影された人物の肖像権やプライバシーの侵害を抑制しつつ、人物の行動を容易に把握することができる生成装置、生成プログラムおよび生成方法を提供することを目的とする。

本願の開示する生成装置は、抽出部と、変更部と、生成部とを有する。抽出部は、画像内の人物の画像領域と、当該画像領域内の特徴点とを抽出する。変更部は、人物の画像領域を他の画像に変更する。生成部は、他の画像と、特徴点とを重ね合わせて画像を生成する。また、抽出部は、人物の画像領域ごとに、抽出した特徴点の数に応じて、人物の画像領域から特徴点を抽出する抽出方法を変更する。

本願の開示する生成装置の一つの態様によれば、撮影された人物の肖像権やプライバシーの侵害を抑制しつつ、人物の行動を容易に把握することができる。

図１は、実施例１に係る生成装置を有するシステムのシステム構成の一例を示す図である。 図２Ａは、人物および背景が黒色に塗りつぶされ、人物の特徴点が人物に重ね合わされた画像が時系列に沿って表示された場合の一例を示す図である。 図２Ｂは、人物および背景が黒色に塗りつぶされ、人物の特徴点が人物に重ね合わされた画像が時系列に沿って表示された場合の一例を示す図である。 図３は、画像データに含まれるフレームの一例を示す図である。 図４は、人物領域の検出方法の一例を説明するための図である。 図５は、実施例１に係る生成装置が実行する処理の一例を説明するための図である。 図６は、実施例１に係る生成装置が実行する処理の一例を説明するための図である。 図７は、実施例１に係る生成装置が実行する処理の一例を示す図である。 図８は、実施例１に係る生成処理の手順を示すフローチャートである。 図９は、実施例１に係る他の生成処理の手順を示すフローチャートである。 図１０は、実施例２に係る生成装置を有するシステムのシステム構成の一例を示す図である。 図１１は、実施例２に係る生成装置が実行する処理の一例を説明するための図である。 図１２は、実施例２に係る生成装置が実行する処理の一例を説明するための図である。 図１３は、実施例２に係る生成処理の手順を示すフローチャートである。 図１４は、実施例３に係る生成装置を有するシステムのシステム構成の一例を示す図である。 図１５は、実施例３に係る生成処理の手順を示すフローチャートである。 図１６は、実施例４に係る生成装置を有するシステムのシステム構成の一例を示す図である。 図１７は、実施例４に係る生成処理の手順を示すフローチャートである。 図１８は、生成プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する生成装置、生成プログラムおよび生成方法の各実施例を図面に基づいて詳細に説明する。なお、実施例は開示の技術を限定するものではない。

［生成装置１０を有するシステムのシステム構成］
実施例に係る生成装置について説明する。図１は、実施例１に係る生成装置を有するシステムのシステム構成の一例を示す図である。システム１は、カメラ２０および生成装置１０を有する。カメラ２０は、人物を撮影可能な場所に設置される。例えば、カメラ２０は、オフィス、ショッピングセンター、商店街などの場所に設置される。カメラ２０で撮影された映像は、防犯、マーケティング、サービスなど様々な目的で用いられる。カメラ２０は、撮影した動画像の映像を、フレームごとに生成装置１０に出力する。

生成装置１０は、カメラ２０で撮影された映像の各画像内の人物の画像領域から特徴点を抽出する。また、生成装置１０は、人物の画像領域を、他の画像、例えば、所定の色に塗りつぶされた画像に変更する。そして、生成装置１０は、他の画像と、特徴点とを重ね合わせて画像を生成する。続いて、生成装置１０は、生成した画像を時系列に沿って表示するように、後述の表示部１２の表示を制御する。

ここで、このようにして生成された画像が、時系列に沿って表示された場合には、人は、表示内容から、画像中の人物がどのような行動をとったか把握することができる。これは、人は、二次元上に配置された複数の特徴点が動いている場合に、特徴点の動きから、特徴点を三次元の各平面に投影させて、二次元の人物の動きを、三次元の人物の動きに変換して考えることができるからである。例えば、人物の体を１０個くらいの特徴点で表現していても、人は、各点の動きから、どの点が手の部分で、どの点が足の部分であるのかを判断し、人物がどのように動いているかを把握することができる。そのため、人物全体が、所定の色、例えば、黒色の塗りつぶされた画像に変換された画像であっても、特徴点が表示されることで、人は、人物がどのように動いているかを把握することができる。

図２Ａおよび図２Ｂは、人物および背景が黒色に塗りつぶされ、人物の特徴点が人物に重ね合わされた画像が時系列に沿って表示された場合の一例を示す図である。図２Ａおよび図２Ｂの例に示す画像から、人物がどのように動いているかを把握することができる。

図１に示すように、生成装置１０は、入力部１１と、表示部１２と、通信部１３と、記憶部１４と、制御部１５とを有する。

入力部１１は、各種情報を制御部１５に入力する。例えば、入力部１１は、ユーザから、各種の指示を受け付けて、受け付けた指示を制御部１５に入力する。入力部１１のデバイスの一例としては、マウスやキーボードなどのユーザの操作を受け付けるデバイスなどが挙げられる。

表示部１２は、各種の情報を出力する。例えば、表示部１２は、後述の表示制御部１５ｅの制御により、人物領域が所定の色に塗りつぶされた画像と、人物の特徴点とが重ね合わせられた画像を時系列に沿って表示する。表示部１２のデバイスの一例としては、液晶ディスプレイなどが挙げられる。

通信部１３は、通信を行うためのインターフェースである。例えば、通信部１３は、カメラ２０から、動画像の映像を、フレームごとに受信すると、受信した各フレームを生成装置１０に出力する。

記憶部１４は、各種情報を記憶する。例えば、記憶部１４は、画像データ１４ａを記憶する。

画像データ１４ａは、後述の生成部１５ｄにより生成されるデータである。画像データ１４ａは、人物領域が所定の色に塗りつぶされた画像と、人物の特徴点とが重ね合わせられた各フレームを含む動画像のデータである。

図３は、画像データに含まれるフレームの一例を示す図である。図３の例では、人物２１の領域２２が、所定の色、例えば、青に塗りつぶされた画像と、人物の複数の特徴点２３とが重ね合わされた画像２４のフレームを示す。このような画像が時系列に沿って表示された場合には、人は、人物２１がどのように動いているかを把握することができる。

記憶部１４は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。

制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。図１に示すように、制御部１５は、取得部１５ａと、抽出部１５ｂと、変更部１５ｃと、生成部１５ｄと、表示制御部１５ｅとを有する。

取得部１５ａは、通信部１３から出力されたフレームを取得する。取得したフレームは、抽出部１５ｂおよび変更部１５ｃの各部での処理に用いられる。

抽出部１５ｂは、画像内の人物の画像領域から特徴点を抽出する。具体例を挙げて説明すると、抽出部１５ｂは、取得部１５ａによって取得されたフレームごとに、すなわち、人物を撮影した動画像のフレームごとに、１フレーム内の人物の画像領域から特徴点を抽出する。

例えば、抽出部１５ｂは、まず、取得部１５ａによって取得されたフレームごとに、人物の領域（画像領域）である人物領域を検出する。ここで、人物領域の検出方法の一例について説明する。図４は、人物領域の検出方法の一例を説明するための図である。図４の例に示すように、人物２１がいない状態の画像（背景画像）を予め記憶部１４に記憶しておき、抽出部１５ｂは、フレームと背景画像との各画素の輝度値を比較し、輝度値の差が閾値を超えた画素の集合を人物領域２２として検出することができる。また、抽出部１５ｂは、特開２００６−０７９８３２号公報に記載されているような手法により、人物領域を検出することもできる。すなわち、抽出部１５ｂは、フレームの画像中から人物の顔を検出し、検出した顔の大きさや位置とカメラの位置、向きなどから画像中での人物の体部分の範囲を検出し、検出した顔部分および体部分の領域を人物領域として検出することもできる。また、抽出部１５ｂは、他の公知の技術を用いて、人物領域を検出することもできる。

そして、抽出部１５ｂは、人物領域内の特徴点を抽出する。特徴点を抽出する方法について、例を挙げて説明する。例えば、抽出部１５ｂは、画像上のコントラストが大きいエッジ点を利用して特徴点を抽出することができる。この特徴点の抽出方法は、例えば、「“ロボットビジョン” ｐｐ５１−７６、４．２ エッジ検出法、谷内田雅彦著」に記載されている。すなわち、抽出部１５ｂは、ソーベルオペレータなどによって画像をエッジ画像に変換し、ある範囲内でエッジ強度が周囲より大きいものだけを残すことで特徴点を抽出することができる。

また、抽出部１５ｂは、テンプレート画像と類似した点を特徴点として抽出することができる。この特徴点の抽出方法は、例えば、「“ロボットビジョン” ｐｐ１０４−１０６、６．１．１ テンプレート照合法、谷内田雅彦著」に記載されている。すなわち、抽出部１５ｂは、同一の輝度を有する所定のテンプレート画像を利用して、人物領域の全領域に対して正規化相関によりテンプレート画像との類似度を算出し、類似度が所定値を超えた点を特徴点として検出することができる。

また、抽出部１５ｂは、画像からＳＨＩＦＴ特徴量を算出し、算出したＳＨＩＦＴ特徴量が閾値を超えた人物領域内の点を特徴点として検出することもできる。この特徴点の抽出方法は、例えば、「D.Lowe. “Distinctive image features from scale invariant keypoints”, Proc. of International Journal of Computer Vision (IJCV), 60(2), pp.91-110, 2004.」に記載されている。

このように各種の方法により特徴点を抽出するので、抽出部１５ｂによれば、特徴点として抽出する際に処理時間を要する人物の目や鼻や口などを特徴点として抽出する場合と比較して、簡易に特徴点を抽出することができる。なお、抽出部１５ｂが、人物の目や鼻や口などを特徴点として抽出してもよい。

図５および図６は、実施例１に係る生成装置が実行する処理の一例を説明するための図である。図５の例は、１フレーム内において、抽出部１５ｂにより、人物２１の人物領域２２が検出された場合を示す。図５の例に示すように、人物領域２２が検出されると、抽出部１５ｂは、人物領域２２内の特徴点２３を抽出する。

変更部１５ｃは、画像内の人物の画像領域を、他の画像に変更する。具体例を挙げて説明すると、変更部１５ｃは、取得部１５ａによって取得されたフレームごとに、１フレーム内の人物の画像領域を、他の画像に変更する。これにより、画像中の人物の特定が困難となる。したがって、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。

例えば、変更部１５ｃは、抽出部１５ｂにより検出された人物領域を、所定の色で塗りつぶされた画像に変更する。ここで、変更部１５ｃは、人物領域を、青、黒、または、赤色などの色に塗りつぶされた画像に変更することができる。なお、塗りつぶされた画像の色については、任意の色を採用することができる。図７は、実施例１に係る生成装置が実行する処理の一例を示す図である。図７の例は、抽出部１５ｂが、人物領域２２を、青の色に塗りつぶされた画像に変更した場合を示す。図７の例に示すように、人物領域２２が、青の色に塗りつぶされた画像に変更されているため、図７に示す画像から画像中の人物を特定することは、困難である。

このようにして、変更部１５ｃは、カメラ２０から入力された全フレームについて画像内の人物を特定するための情報量が削減された画像を生成する。

生成部１５ｄは、他の画像と、特徴点とを重ね合わせて画像を生成する。例えば、先の図３の例に示すように、生成部１５ｄは、１フレームごとに、人物領域２２の変更された画像（他の画像）と、特徴点２３とを重ね合わせて画像を生成する。特徴点の描き方としては、例えば、色のついた丸や四角などのマークを描いたり、他の特徴点と重ならないような小さい画像などをはりつけたりするなどの方法がある。そして、生成部１５ｄは、生成した１フレームの画像を画像データ１４ａとして記憶装置１４に格納する。生成部１５ｄは、このような処理を、カメラ２０から入力された全フレームについて行う。そのため、記憶装置１４に記憶された動画像の画像データ１４ａが時系列に沿って表示部１２に表示された場合には、例えば、先の図２Ａおよび図２Ｂに示すような動画像において人物領域２２以外の部分の背景画像が表示された動画像となる。したがって、生成装置１０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、上述したように、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

続いて、表示制御部１５ｅは、画像データ１４ａが示す動画像が表示されるように表示部１２の表示を制御する。すなわち、表示制御部１５ｅは、画像データ１４ａが示す各フレームを時系列に沿って表示されるように表示部１２の表示を制御する。これにより、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる画像を表示することができる。

制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路またはＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

［処理の流れ］
次に、本実施例に係る生成装置１０の処理の流れについて説明する。図８は、実施例１に係る生成処理の手順を示すフローチャートである。生成処理は、例えば、通信部１３を介してカメラ２０からのフレームを取得部１５ａが受信したタイミングで、実行される。

図８に示すように、抽出部１５ｂは、取得部１５ａによって取得されたフレームの画像から人物領域を検出する（Ｓ１０１）。続いて、抽出部１５ｂは、人物領域内の特徴点を抽出する（Ｓ１０２）。その後、変更部１５ｃは、抽出部１５ｂにより検出された人物領域を、所定の色で塗りつぶされた画像に変更する（Ｓ１０３）。

そして、生成部１５ｄは、他の画像と、特徴点とを重ね合わせて１フレームの画像を生成する（Ｓ１０４）。続いて、生成部１５ｄは、生成した１フレームの画像を画像データ１４ａとして記憶装置１４に格納する（Ｓ１０５）。その後、表示制御部１５ｅは、画像データ１４ａが示す各フレームを時系列に沿って表示されるように表示部１２の表示を制御する（Ｓ１０６）。そして、表示制御部１５ｅは、次のフレームがあるか否かを判定する（Ｓ１０７）。なお、表示制御部１５ｅは、例えば、取得部１５ａによって次のフレームが取得されたか否かを判定することで、次のフレームがあるか否かを判定することができる。次のフレームがある場合（Ｓ１０７肯定）には、Ｓ１０１に戻って、抽出部１５ｂが、取得部１５ａによって新たに取得されたフレームの画像から人物領域を検出し、以降の処理を繰り返し行う。一方、次のフレームがない場合（Ｓ１０７否定）には、処理を終了する。

上述してきたように、本実施例に係る生成装置１０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

なお、実施例１では、変更部１５ｃが、人物領域を、所定の色で塗りつぶされた画像に変更する場合について例示した。しかしながら、開示の生成装置１０は、これに限定されない。例えば、生成装置１０の変更部１５ｃは、人物領域における人物の画像をガウシアンフィルタや平滑化フィルタをかけてぼかした画像を生成する。そして、生成装置１０の変更部１５ｃは、人物領域を、生成したぼかした画像に変更することができる。したがって、生成装置１０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

［処理の流れ］
次に、本実施例に係る生成装置１０の他の処理の流れについて説明する。図９は、実施例１に係る他の生成処理の手順を示すフローチャートである。生成処理は、例えば、通信部１３を介してカメラ２０からのフレームを取得部１５ａが受信したタイミングで、実行される。なお、Ｓ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０７の各処理は、上述した図８に示すＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０７の各処理と同様であるため、説明を省略する。

図９に示すように、Ｓ１０２での処理の次に、変更部１５ｃは、人物領域における人物の画像をぼかした画像を生成し、人物領域を、生成したぼかした画像に変更し（Ｓ２０１）、Ｓ１０４へ進む。

上述してきたように、生成装置１０は、人物領域における人物の画像をぼかした画像を生成し、人物領域を、生成したぼかした画像に変更する。これにより、生成装置１０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置１０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

実施例２では、変更部３５ｃが、人物領域を、当該人物領域に対応する背景画像に変更する場合について説明する。

［生成装置３０を有するシステムのシステム構成］
図１０は、実施例２に係る生成装置を有するシステムのシステム構成の一例を示す図である。図１０に示すように、生成装置３０は、制御部３５を有する。制御部３５は、図１に示す実施例１に係る制御部１５と比較して、変更部３５ｃを有する点が異なる。なお、以下では、上記の実施例１と同様の機能を果たす各部や機器については図１と同様の符号を付し、その説明を省略することとする。

変更部３５ｃは、取得部１５ａによって取得されたフレームごとに、１フレーム内の人物領域を、当該人物領域に対応する背景画像に変更する。図１１および図１２は、実施例２に係る生成装置が実行する処理の一例を説明するための図である。図１１の例は、人物２１がいない状態の画像（背景画像）の一例を示す。例えば、記憶部１４には、予め背景画像が記憶されており、変更部３５ｃは、抽出部１５ｂにより人物領域が検出されたフレームに対して、次のような処理を行う。すなわち、変更部３５ｃは、まず、背景画像を生成する。具体例を挙げて説明すると、変更部３５ｃは、記憶部１４に記憶された背景画像を取得する。なお、変更部３５ｃは、予め背景画像が記憶部１４に記憶されていない場合であっても、抽出部１５ｂにより人物領域が検出されてないときのフレームを、背景画像として取得することで、背景画像を生成することができる。そして、変更部３５ｃは、人物領域を、当該人物領域に対応する背景画像に変更する。その後、図１２の例に示すように、生成部１５ｄによって、人物領域の背景画像と、特徴点２３とが重ね合わせられた画像が生成される。したがって、生成装置３０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置３０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置３０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

［処理の流れ］
次に、本実施例に係る生成装置３０の他の処理の流れについて説明する。図１３は、実施例２に係る生成処理の手順を示すフローチャートである。生成処理は、例えば、通信部１３を介してカメラ２０からのフレームを取得部１５ａが受信したタイミングで、実行される。なお、Ｓ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０７の各処理は、上述した図８に示すＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０７の各処理と同様であるため、説明を省略する。

図１３に示すように、Ｓ１０２での処理の次に、変更部３５ｃは、背景画像を生成する（Ｓ３０１）。そして、変更部３５ｃは、人物領域を、当該人物領域に対応する背景画像に変更し（Ｓ３０２）、Ｓ１０４へ進む。

上述してきたように、生成装置３０は、人物領域対応する背景画像を生成し、人物領域を、生成した背景画像に変更する。これにより、生成装置３０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置３０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置３０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

実施例３では、抽出部４５ｂが、抽出した特徴点を追従して、当該特徴点が抽出されたフレームの次のフレーム内の人物領域から特徴点を抽出する場合について説明する。

［生成装置４０を有するシステムのシステム構成］
図１４は、実施例３に係る生成装置を有するシステムのシステム構成の一例を示す図である。図１４に示すように、生成装置４０は、制御部４５を有する。制御部４５は、実施例１に係る制御部１５や実施例２に係る制御部３５と比較して、抽出部４５ｂを有する点が異なる。なお、以下では、上記の実施例１、実施例２と同様の機能を果たす各部や機器については図１、図１０と同様の符号を付し、その説明を省略することとする。

抽出部４５ｂは、あるフレームについて、人物領域から特徴点を抽出する際に、そのフレームの１つ前のフレームにおいて抽出された特徴点と類似した点を探し、前フレームと類似した特徴点以外の特徴点を利用しない。具体的には、まず特徴点を抽出する際に、各フレームにおける各特徴点の特徴量の大きさ（エッジ強度など）や検出座標を記憶しておく。今回のフレームで検出した各特徴点に対して、前フレームで抽出された特徴点と、特徴量の大きさが類似しており、さらに検出座標が近い場合のみ特徴点として採用する。したがって、本実施例の生成装置４０によれば、前フレームと同じ特徴点を表示することになるため、特徴点の量がフレームによって変化せず、さらに同一の特徴点を表示することで人物の動作をより認識しやすい動画像の画像データ１４ａを生成することができる。なお、実施例３に係る抽出部４５ｂは実施例１、実施例２の各実施例に適用できる。

［処理の流れ］
次に、本実施例に係る生成装置４０の他の処理の流れについて説明する。図１５は、実施例３に係る生成処理の手順を示すフローチャートである。生成処理は、例えば、通信部１３を介してカメラ２０からのフレームを取得部１５ａが受信したタイミングで、実行される。なお、Ｓ１０１〜Ｓ１０７の各処理は、上述した図８に示すＳ１０１〜Ｓ１０７の各処理と同様であるため、説明を省略する。

図１５に示すように、Ｓ１０２での処理の次に、抽出部４５ｂは、今回のフレームの処理で検出した人物の特徴点が前回フレームで抽出していたか否かを判定する（Ｓ４０１）。初めて特徴点を抽出した場合（Ｓ４０１肯定）には、これまでと同様にＳ１０３に進む。既に前フレーム以前に特徴点を抽出したことがある場合（Ｓ４０１否定）には、現在のフレームで抽出された特徴点と、前回のフレームで抽出された特徴点とで類似度を調査し、同一と考えられる特徴点を対応づける（Ｓ４０２）。そして、前回フレームの特徴点と対応づかなかった現在のフレームの特徴点を消去する（Ｓ４０３）。その後Ｓ１０３に進む。

また、Ｓ１０６での処理の次に、今回のフレームで検出した特徴点の情報（特徴量の大きさや検出座標位置など）を記憶する。これは次のフレームの特徴点との類似度比較に使用する。

上述してきたように、生成装置４０は、人物領域対応する背景画像を生成し、人物領域を、生成した背景画像に変更する。これにより、生成装置４０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置４０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置４０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

また、本実施例の生成装置４０によれば、特徴点を追従しているため、人物の動作がより滑らかとなる動画像の画像データ１４ａを生成することができる。

実施例４では、抽出部４５ｂが、抽出した特徴点の数が少ない場合には、人物領域から特徴点を抽出する抽出方法を変更する場合について説明する。

［生成装置５０を有するシステムのシステム構成］
図１６は、実施例４に係る生成装置を有するシステムのシステム構成の一例を示す図である。図１６に示すように、生成装置５０は、制御部５５を有する。制御部５５は、実施例１に係る制御部１５、実施例２に係る制御部３５、実施例３に係る制御部４５と比較して、抽出部５５ｂを有する点が異なる。なお、以下では、上記の実施例１、実施例２、実施例３と同様の機能を果たす各部や機器については図１、図１０、図１４と同様の符号を付し、その説明を省略することとする。

抽出部５５ｂは、第一の特徴点の抽出方法を用いて特徴点を抽出し、抽出した特徴点の数がα以下である場合には、第二の特徴点の抽出方法を用いて特徴点を抽出する。例えば、抽出部５５ｂは、実施例１で説明した方法と同様に、肌色のテンプレート画像を用いて、人物領域から特徴点を抽出する。そして、抽出部５５ｂは、抽出した特徴点の個数がαより大きいか否かを判定する。特徴点の個数がα以下である場合には、抽出部５５ｂは、エッジ点を利用して、人物領域から特徴点を抽出する。したがって、本実施例の生成装置５０によれば、より多くの個数の特徴点を抽出することができるため、人物の動作がより把握しやすい画像データを生成することができる。なお、実施例４に係る抽出部５５ｂは、実施例１〜実施例３の各実施例に適用できる。

［処理の流れ］
次に、本実施例に係る生成装置５０の他の処理の流れについて説明する。図１７は、実施例４に係る生成処理の手順を示すフローチャートである。生成処理は、例えば、通信部１３を介してカメラ２０からのフレームを取得部１５ａが受信したタイミングで、実行される。なお、Ｓ１０１、Ｓ１０３〜Ｓ１０７の各処理は、上述した図８に示すＳ１０１、Ｓ１０３〜Ｓ１０７の各処理と同様であるため、説明を省略する。

図１７に示すように、Ｓ１０１での処理の次に、抽出部５５ｂは、実施例１で説明した方法と同様に、肌色のテンプレート画像を用いて、人物領域から特徴点を抽出する（Ｓ５０１）。そして、抽出部５５ｂは、抽出した特徴点の個数がαより大きいか否かを判定する（Ｓ５０２）。特徴点の個数がα以下である場合（Ｓ５０２否定）には、抽出部５５ｂは、エッジ点を利用して、人物領域から特徴点を抽出し（Ｓ５０３）、Ｓ１０３へ進む。また、特徴点の個数がαより大きい場合（Ｓ５０２肯定）にも、Ｓ１０３へ進む。

上記では、特徴点が少ない場合についてのみ述べたが、特徴量が多すぎる場合や、特徴点の分布が人物領域内の一部に偏っているなどで分布状況が悪い場合なども同様である。
また、特徴点の抽出方法の変更についても、第１の抽出方法と第２の抽出方法で抽出された特徴点全てを使うだけでなく、第２の抽出方法のみ使用したり、第１の抽出方法で抽出る特徴点の特徴量の閾値を変更する方法などもある。

上述してきたように、生成装置５０は、人物領域対応する背景画像を生成し、人物領域を、生成した背景画像に変更する。これにより、生成装置５０によれば、人物の行動を容易に把握することができる画像データを生成することができる。また、生成装置５０によれば、撮影された人物の肖像権やプライバシーの侵害が抑制された画像データを生成することができる。それゆえ、生成装置５０によれば、撮影された人物の肖像権やプライバシーの侵害を抑制し、かつ、撮影された人物の行動を容易に把握することができる。

また、本実施例の生成装置５０によれば、特徴点を追従しているため、人物の動作がより滑らかとなる動画像の画像データ１４ａを生成することができる。

また、生成装置５０によれば、人物の動作がより把握しやすい画像データを生成することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

例えば、各実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。また、各実施例において説明した各処理のうち、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

また、各種の負荷や使用状況などに応じて、各実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。

また、各種の負荷や使用状況などに応じて、各実施例において説明した各処理の各ステップでの処理の順番を変更できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

［生成プログラム］
また、上記の実施例で説明した生成装置の各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図１８を用いて、上記の各実施例で説明した生成装置と同様の機能を有する生成プログラムを実行するコンピュータの一例を説明する。図１８は、生成プログラムを実行するコンピュータを示す図である。

図１８に示すように、コンピュータ３００は、ＣＰＵ、ＲＯＭ３２０、ＨＤＤ３３０、ＲＡＭ３４０を有する。

ＲＯＭ３２０には、ＯＳなどの基本プログラムが記憶されている。また、ＨＤＤ３３０には、上記の実施例で示す取得部、抽出部、変更部、生成部、表示制御部と同様の機能を発揮する生成プログラム３３０ａが予め記憶される。なお、生成プログラム３３０ａについては、適宜分離しても良い。また、ＨＤＤ３３０には、画像データが設けられる。画像データは、上述した画像データ１４ａに対応する。

そして、ＣＰＵ３１０が、生成プログラム３３０ａをＨＤＤ３３０から読み出して実行する。

そして、ＣＰＵ３１０は、画像データを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された画像データを用いて、生成プログラム３３０ａを実行する。なお、ＲＡＭ３４０に格納されるデータは、常に全てのデータがＲＡＭ３３０に格納されなくともよい。処理に用いられるデータがＲＡＭ３４０に格納されれば良い。

なお、上記した生成プログラム３３０ａについては、必ずしも最初からＨＤＤ３３０に記憶させておく必要はない。

例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１０ 生成装置
１１ 入力部
１２ 表示部
１３ 通信部
１４ 記憶部
１４ａ 画像データ
１５ 制御部
１５ａ 取得部
１５ｂ 抽出部
１５ｃ 変更部
１５ｄ 生成部
１５ｅ 表示制御部
２０ カメラ

Claims (8)

1. 画像内の人物の画像領域と、当該画像領域内の特徴点とを抽出する抽出部と、
   前記人物の画像領域を他の画像に変更する変更部と、
   前記他の画像と、前記特徴点とを重ね合わせて画像を生成する生成部とを有し、
   前記抽出部は、前記人物の画像領域ごとに、抽出した特徴点の数に応じて、前記人物の画像領域から特徴点を抽出する抽出方法を変更する
   ことを特徴とする生成装置。
2. 前記抽出部は、前記人物を撮影した動画像の１フレームごとに、１フレーム内の人物の画像領域から特徴点を抽出し、
   前記変更部は、前記動画像の１フレームごとに、１フレーム内の前記人物の画像領域を他の画像に変更し、
   前記生成部は、前記動画像の１フレームごとに、前記他の画像と、前記特徴点とを重ね合わせてフレームを生成し、
   さらに、前記生成部により生成されたフレームが示す画像を表示するように制御する表示制御部を有することを特徴とする請求項１に記載の生成装置。
3. 前記抽出部は、抽出した特徴点を追従して、該特徴点が抽出されたフレームの次のフレーム内の人物の画像領域から特徴点を抽出する
   ことを特徴とする請求項１または２に記載の生成装置。
4. 前記変更部は、前記人物の画像領域を、所定の色で塗りつぶされた画像に変更する
   ことを特徴とする請求項１〜３のいずれか１つに記載の生成装置。
5. 前記変更部は、前記人物の画像領域を、該人物の画像領域に対応する背景画像に変更する
   ことを特徴とする請求項１〜３のいずれか１つに記載の生成装置。
6. 前記変更部は、前記人物の画像領域を、該人物の画像をぼかした画像に変更する
   ことを特徴とする請求項１〜３のいずれか１つに記載の生成装置。
7. コンピュータに、
   画像内の人物の画像領域と、当該画像領域内の特徴点とを抽出し、
   前記人物の画像領域を他の画像に変更し、
   前記他の画像と、前記特徴点とを重ね合わせて画像を生成する各処理を実行させ、
   前記抽出する処理は、前記人物の画像領域ごとに、抽出した特徴点の数に応じて、前記画像領域から特徴点を抽出する抽出方法を変更する生成プログラム。
8. コンピュータが実行する生成方法であって、
   画像内の人物の画像領域と、当該画像領域内の特徴点とを抽出し、
   前記人物の画像領域を他の画像に変更し、
   前記他の画像と、前記特徴点とを重ね合わせて画像を生成する各処理を実行し、
   前記抽出する処理は、前記人物の画像領域ごとに、抽出した特徴点の数に応じて、前記画像領域から特徴点を抽出することを特徴とする生成方法。

Images