JP6436385B2 - 撮像装置、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像に対する画像処理を行う撮像装置、画像処理装置及び画像処理方法に関する。

従来、人の生体情報を推定するバイタルセンシング技術は、例えば在宅医療や健康管理の分野にとどまらず、運転中の眠気検知、ゲーム中のユーザの心理状態の取得、監視システムでの異常者検知等、多岐にわたる分野への応用が期待されている。現在、生体情報をセンシングする機器は、人の身体に接触させて使うタイプが主流であり、ユーザ自身が装着する必要があるため、応用範囲が限定されてしまう。

このため、非接触でセンシングするための取り組みの一つとして、カメラの撮像により得られた画像から生体情報の一例としての脈拍を推定する技術が提案されている。この技術を用いることで、ユーザに自ら意識させることなく生体情報をセンシングすることができ、応用範囲の拡大が期待できる。例えば、監視カメラで撮影しながら、撮像により得られた画像を画像処理することで、ストレスにより脈拍変動が大きくなった不審人物を検知することが可能である。また、画像処理により１つのカメラに映る複数人を同時にセンシング可能であることも大きなメリットである。接触型と比べ、ユーザ毎に対して個別の機器を用意する必要がなく、体に取り付ける煩わしさも低減できる。

ここで、カメラを用いた脈拍推定技術に関する先行技術として、例えば特許文献１に示す脈拍計測装置が知られている。この脈拍計測装置は、撮像された入力画像の特徴量を算出し、算出された特徴量から脈波のピーク間隔を検出し、検出された脈波のピーク間隔から脈拍数を算出する。また、脈拍計測装置は、算出された脈拍数のうち、有効なピーク間隔の割合を示す採用率に基づいた有効なピーク間隔を有する脈拍数と真の脈拍数との推定最大誤差が規定値以下となるように、単位時間あたりに撮像されるフレーム数を示すフレームレートを制御する。

特開２０１０−５１５９２号公報

しかし、上述した特許文献１では、カメラにより撮像された画像の高画質化（例えば４Ｋ化、スーパーハイビジョン（８Ｋ）化）が進むと、例えば放送用の映像コンテンツの画像処理により、映像コンテンツに現れる人物（例えば出演者）の脈拍数が視聴者に知られてしまい、出演者のプライバシーの的確な保護が困難となる課題があった。

例えば、放送用の映像コンテンツはＰＣ（Personal Computer）で受信及び視聴が可能なので、上述した画像処理により脈拍数を推定するアプリケーションがＰＣにインストールされて使用されると、画像処理結果によって出演者の脈拍数が簡単に知られてしまい、プライバシーの観点では好ましくない。

本発明は、上述した状況に鑑みて案出され、映像コンテンツの制作者や配信者が意図しない生体情報の配信を効果的に抑制し、映像コンテンツに現れる人物のプライバシーを的確に保護する撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、人物が撮像された画像データを入力する画像入力部と、前記画像データから前記人物の少なくとも顔領域又は手領域を含む特定色の領域を検出する領域検出部と、前記画像入力部に入力された前記画像データの処理対象フレームデータとその前後のフレームデータとを用いて、前記領域検出部により検出された前記特定色の領域における画素値を平滑化するフィルタ部と、前記フィルタ部の出力画像を符号化する符号化部と、前記符号化部により符号化された前記フィルタ部の出力画像を出力する出力部と、を備え、前記フィルタ部は、前記処理対象フレームデータより検出される特定色の処理対象領域の位置と前記前後のフレームデータより検出される前後の特定色の領域の位置との間の動きベクトルを算出し、前記処理対象領域における処理対象画素の画素値と、算出された前記動きベクトルを用いて前記前後のフレームデータより求められる前記処理対象画素の対応画素の画素値と、の差分が所定値より大きい場合には、前記処理対象画素の前記平滑化の実行を省略して出力する、画像処理装置である。

また、本発明は、人物を被写体として撮像する撮像部と、前記撮像部により撮像された前記人物を含む画像データから前記人物の少なくとも顔領域又は手領域を含む特定色の領域を検出する領域検出部と、前記撮像部に撮像された前記画像データの処理対象フレームデータとその前後のフレームデータとを用いて、前記領域検出部により検出された前記特定色の領域における画素値を平滑化するフィルタ部と、前記フィルタ部の出力画像を符号化する符号化部と、前記符号化部により符号化された前記フィルタ部の出力画像を出力する出力部と、を備え、前記フィルタ部は、前記処理対象フレームデータより検出される特定色の処理対象領域の位置と前記前後のフレームデータより検出される前後の特定色の領域の位置との間の動きベクトルを算出し、前記処理対象領域における処理対象画素の画素値と、算出された前記動きベクトルを用いて前記前後のフレームデータより求められる前記処理対象画素の対応画素の画素値と、の差分が所定値より大きい場合には、前記処理対象画素の前記平滑化の実行を省略して出力する、撮像装置である。

更に、本発明は、画像処理装置における画像処理方法であって、人物が撮像された画像データを入力するステップと、前記画像データから前記人物の少なくとも顔領域又は手領域を含む特定色の領域を検出するステップと、入力された前記画像データの処理対象フレームデータとその前後のフレームデータとを用いて、検出された前記特定色の領域における画素値を平滑化するステップと、前記特定色の領域における画素値が平滑化された出力画像を符号化するステップと、符号化された前記出力画像を出力するステップと、を有し、前記平滑化するステップは、前記処理対象フレームデータより検出される特定色の処理対象領域の位置と前記前後のフレームデータより検出される前後の特定色の領域の位置との間の動きベクトルを算出し、前記処理対象領域における処理対象画素の画素値と、算出された前記動きベクトルを用いて前記前後のフレームデータより求められる前記処理対象画素の対応画素の画素値と、の差分が所定値より大きい場合には、前記処理対象画素の前記平滑化の実行を省略して出力する、画像処理方法である。

本発明によれば、映像コンテンツの制作者や配信者が意図しない生体情報の配信を効果的に抑制でき、映像コンテンツに現れる人物のプライバシーを的確に保護できる。

（Ａ）人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図、（Ｂ）光の強度の時系列変化の一例を示す図 ヘモグロビンにおける光の波長毎の吸収率の一例を示す図 本実施形態の画像処理装置の内部構成の一例を示すブロック図 本実施形態の撮像装置の内部構成の一例を示すブロック図 人物の肌色領域の検出に関する説明図 光電脈波変動除去フィルタの動作概要を示す説明図 被写体の人物が静止している場合の光電脈波変動除去フィルタの動作例を示す説明図 被写体の人物が移動している場合の光電脈波変動除去フィルタの動作例を示す説明図 本実施形態の画像処理装置の動作手順の一例を説明するフローチャート

以下、本発明に係る撮像装置、画像処理装置及び画像処理方法を具体的に開示した実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の撮像装置は、例えばＤＳＣ（Digital Still Camera）、デジタルカムコーダ、カメラ機能を有するスマートフォンや携帯電話機やタブレット端末、監視カメラである。本実施形態の画像処理装置は、例えばエンコーダのアプリケーションがインストールされた電子機器（例えばデスクトップ型又はラップトップ型のＰＣ）、専用機器としてのエンコーダ機器、レコーダである。

以下、本実施形態では、画像処理装置を例示して画像処理装置の動作を説明するが、画像処理装置の説明は、画像処理装置と撮像装置との構成上の相違に基づく説明以外は、撮像装置の説明として共通に適用可能である。本実施形態の画像処理装置は、人物が撮像された画像データを外部（例えば画像処理装置に接続された外部装置）から入力し、入力した画像データの特定色の領域を検出し、入力された画像データのフレームとその入力した時点の前後における各々の画像データのフレームとを用いて、画像データのフレーム内の特定色（例えば肌色）の領域における画素値を平滑化する。平滑化の一例としては、例えば前後のフレームと対応する特定色の領域の画素値を用いた平均化処理を用いるが、詳細については後述する。画像処理装置は、画素値が平滑化された後の出力画像を符号化し、符号化された出力画像を外部（例えばネットワークに接続された外部装置、又はディスプレイ）に出力する。

先ず、本実施形態の画像処理装置又は撮像装置における脈拍数の推定原理について、図１（Ａ）及び（Ｂ）を参照して説明する。図１（Ａ）は、人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図である。図１（Ｂ）は、光の強度の時系列変化の一例を示す図である。

図１（Ａ）では、人の心臓の収縮（systole）に同期して血管の容積が変化することが示されている。心臓の収縮に応じて血管の容積が増大すると、光（例えば図２に示す特定波長域の光）の吸収量が増大するので、光の強度（Light intensity）も減少する（図１（Ｂ）参照）。なお、脈波とは、血液が心臓の収縮により大動脈に押し出された時に発生した血管内の圧力変化が末梢方向に伝わっていく時の波の動きを示す。

図１（Ｂ）では、横軸は時間を示し、縦軸は光の吸収量の変化によって得られた信号（光電脈波）の強度を示す。つまり、図１（Ｂ）において、ピークが現れている時は光の吸収量が少ないので血管の容積が増大していない状態になっており、極小値が現れている時には光の吸収量が多いので血管の容積が増大している状態となっている。なお、心臓と末梢部分との距離によって完全には同期しておらず多少の遅延は見られるが、心臓の収縮と光電脈波の強度の変化とは基本的に同期して変動している。

図２は、ヘモグロビンにおける光の波長毎の吸収率の一例を示す図である。図２では、例えばヘモグロビン（血液）は４００ｎｍの波長（つまり緑色）を吸収し易いことが示されている。以下の本実施形態では、撮像された人物（例えばテレビ番組の出演者）のプライバシーを的確に保護するために、画像処理装置は、撮像により得られた画像データを構成する１枚のフレーム内における特定色（例えば肌色）の領域の画素値を平滑化することを説明する。但し、特定色は肌色に限定されず、例えば画像処理装置は、赤色（図２に示す１０００ｎｍを超える波長）の領域の画素値を平滑化してもよい。

先ず、本実施形態の画像処理装置１及び撮像装置１Ａの構成について、図３及び図４を参照して説明する。図３は、本実施形態の画像処理装置１の内部構成の一例を示すブロック図である。図４は、本実施形態の撮像装置１Ａの内部構成の一例を示すブロック図である。図４では、図３に示す画像処理装置１の各部と同一の構成には同一の符号を付与して説明を簡略化又は省略する。

図３に示す画像処理装置１は、画像入力部１１と、画像蓄積部１３と、肌色領域検出部１５と、光電脈波変動除去フィルタ１７と、画像符号化部１９と、画像出力制御部２１と、記録メディア２３と、画像出力部２５とを含む構成である。

図４に示す撮像装置１Ａは、撮像部２７と、画像蓄積部１３Ａと、信号処理部２９と、肌色領域検出部１５と、光電脈波変動除去フィルタ１７と、画像符号化部１９と、画像出力制御部２１と、記録メディア２３と、画像出力部２５とを含む構成である。

画像入力部１１は、不図示の外部装置（例えば所定のフレームレートで撮像するカメラ）により人物（例えばテレビ番組の出演者）が撮像された画像データのフレームを外部装置から連続的に入力（取得）して画像蓄積部１３に保存する。

記憶部の一例としての画像蓄積部１３は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリ又はハードディスクを用いて構成され、画像入力部１１が入力した画像データ、光電脈波変動除去フィルタ１７の出力画像の画像データを保存する。

領域検出部の一例としての肌色領域検出部１５は、画像入力部１１が画像蓄積部１３に保存した画像データを読み出し、画像データのフレーム内の特定色（例えば肌色）の領域（例えば図５に示す人物ＨＭの顔領域ＦＣ，手領域ＨＤ）を検出する。肌色領域検出部１５は、画像データのフレームの中で検出した特定色の領域に関する情報（例えば座標）を光電脈波変動除去フィルタ１７に出力する。なお、肌色領域検出部１５における特定色（例えば肌色）の領域の検出方法については、図５を参照して後述する。

フィルタ部の一例としての光電脈波変動除去フィルタ１７は、画像入力部１１が画像蓄積部１３に保存した画像データを部分領域毎に読み出し、画像入力部１１が入力した画像データのフレームの該当する部分領域の画素値と画像入力部１１への入力前後の各々の画像データのフレームの対応する部分領域の画素値とを用いて、肌色領域検出部１５により検出された特定色の領域の画像データの画素値を平滑化する（図６参照）。画素値は、輝度（Ｙ）と色差（Ｕ，Ｖ）とにより示される。光電脈波変動除去フィルタ１７は、特定色の領域の画像データの画素値を平滑化した後の画像データを画像蓄積部１３に保存する。なお、光電脈波変動除去フィルタ１７における平滑化方法については、図６〜図８を参照して後述する。

符号化部の一例としての画像符号化部１９は、画像蓄積部１３に保存された光電脈波変動除去フィルタ１７の出力画像の画像データ（つまり、光電脈波変動除去フィルタ１７により平滑化された特定色の領域の画素値を有する画像データ）を用いて、画像データの保存及び送信が可能な所定のデータフォーマットに変換するための符号化データを生成する。画像符号化部１９は、画像データの符号化データを画像出力制御部２１に出力する。

画像出力制御部２１は、画像符号化部１９により符号化された画像データを記録メディア２３に保存し、又は画像出力部２５に出力する。

記録部の一例としての記録メディア２３は、例えばＤＲＡＭ等の半導体メモリ又はハードディスクを用いて構成され、画像符号化部１９により生成された画像データの符号化データを記録する。なお、記録メディア２３は、画像処理装置１又は撮像装置１Ａに内蔵された半導体メモリ又はハードディスクに限定されず、例えばＵＳＢ（Universal Serial Bus）端子を介して接続可能な外部接続媒体（例えばＤＲＡＭ等の半導体メモリ）でもよい。

出力部の一例としての画像出力部２５は、画像出力制御部２１における指示に応じて、画像符号化部１９により生成された画像データの符号化データを用いて、例えば送信先である外部装置（不図示）に送信するためのパケット生成処理を行い、画像データの符号化データのパケットを外部装置に送信する。これにより、画像出力部２５は、特定色の領域の画素値が平滑化された画像データ（言い換えると、画像データに現れる人物の脈拍数の解析が困難な画像データ）を外部装置に送信できる。

ネットワークは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えばＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、無線ＬＡＮ（Local Area Network）、３Ｇ、ＬＴＥ（Long Term Evolution）又はＷｉＧｉｇである。有線ネットワークは、例えばイントラネット又はインターネットである。

また、画像出力部２５は、画像出力制御部２１における指示に応じて、画像蓄積部１３に保存された光電脈波変動除去フィルタ１７の出力画像の画像データ（つまり、光電脈波変動除去フィルタ１７により平滑化された特定色の領域の画素値を有する画像データ）を、例えばディスプレイ（不図示）に表示する。

一方、図４に示す撮像装置１Ａでは、撮像部２７は、被写体としての人物（例えばテレビ番組の出演者）を撮像するためのレンズ及びイメージセンサを少なくとも含む構成である。レンズ（不図示）は、撮像装置１Ａの外部から入射する環境光を集光し、イメージセンサ（不図示）の所定の撮像面に結像させる。

イメージセンサは、例えばＣＣＤ（Charged-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）の固体撮像素子を用いて構成され、撮像面に結像した光学像を電気信号に変換する。イメージセンサの出力は、画像蓄積部１３Ａに入力されて保存される。

記憶部の一例としての画像蓄積部１３Ａは、例えばＤＲＡＭ等の半導体メモリ又はハードディスクを用いて構成され、撮像部２７のイメージセンサの出力、光電脈波変動除去フィルタ１７の出力画像の画像データを保存する。

信号処理部２９は、画像蓄積部１３Ａに保存されたイメージセンサの出力を用いて、人が認識可能なＲＧＢ（Red Green Blue）形式の画像データ又はＹＵＶ（輝度（Ｙ）・色差（Ｕ、Ｖ））により規定される画像データのフレームを生成し、生成したフレームを画像蓄積部１３Ａに保存する。

次に、肌色領域検出部１５が画像データのフレーム内の特定色（例えば肌色）の領域を検出する方法について、図５を参照して説明する。図５は、人物の肌色領域の検出に関する説明図である。図５では、肌色領域検出部１５が画像データのフレーム内の特定色（例えば肌色）の領域を検出する方法として例えば２種類の方法を説明する。

第１例では、肌色領域検出部１５は、画像データのフレーム内の画素値（例えば色差）がＨＳＶ色空間において予め指定された範囲（例えば０と６０との間の所定範囲）に含まれる色を肌色と判定する。従って、肌色領域検出部１５は、図５の上段に示す人物ＨＭが映っている画像データに対し、顔領域ＦＣ及び手領域ＨＤを肌色の領域として検出する。

第２例では、肌色領域検出部１５は、図５の下段に示す人物ＨＭが映っている画像データのフレーム内に対して輝度信号を基にした画像処理（例えば顔検出処理）を行うことで人物ＨＭの顔を検出し、検出された顔領域ＦＣと同一又は顔領域ＦＣの色差から所定範囲内の色差を有する領域の色を肌色と判定する。従って、肌色領域検出部１５は、図５の下段に示す人物ＨＭが映っている画像データに対し、顔領域ＦＣと同じ又は顔領域ＦＣに近い（同等の）色差を有する手領域ＨＤを肌色の領域として検出する。

次に、光電脈波変動除去フィルタ１７が特定色（例えば肌色）の領域の画素値を平滑化する処理について、図６〜図８を参照して説明する。図６は、光電脈波変動除去フィルタ１７の動作概要を示す説明図である。図７は、被写体の人物が静止している場合の光電脈波変動除去フィルタ１７の動作例を示す説明図である。図８は、被写体の人物が移動している場合の光電脈波変動除去フィルタ１７の動作例を示す説明図である。

図６に示すように、光電脈波変動除去フィルタ１７は、肌色領域検出部１５により人物の肌色の領域が検出された画像データＩＭ１のフレームに対し、肌色の領域の画素値の微小変動分（図６に示すグラフＧＰＨ１参照）の除去及び平滑化を実行する。画素値は、（１個の画素×１個の画素）、或いは（フレームの横方向３２個の画素×同フレームの縦方向３２個の画素）から構成可能な１ブロックにおける画素値の平均値でもよい。なお、１ブロックを構成する画素の個数は、（フレームの横方向３２個×同フレームの縦方向３２個）に限定されない。

これにより、グラフＧＰＨ１に示される肌色の領域の画素値の時間Ｔに対する微小変動分が徐々に平滑化されて緩やかになる（グラフＧＰＨ２，ＧＰＨ３参照）。言い換えると、肌色の領域の画素値の元データの推察が困難となり、結果的に脈拍数の推定が困難となるので、画像データＩＭ１のフレームに映っている人物のプライバシーが的確に保護可能となる。

ここで、被写体の人物が静止している状態を例示し、光電脈波変動除去フィルタ１７の動作例について図７を参照してより具体的に説明する。図７では、画像入力部１１が入力した画像（入力画像）のフレームＰが時刻Ｔ毎に連続的に入力される。光電脈波変動除去フィルタ１７は、時刻Ｔ＝ｔにおいて入力されたフレームＰ（ｔ）と、その入力前後の時刻Ｔ＝（ｔ−１），Ｔ＝（ｔ＋１）において入力されたフレームＰ（ｔ−１），Ｐ（ｔ＋１）とを用いて、特定色（例えば肌色）の領域ＴＧの画素値Ｐ（ｔ，ｉ，ｊ）を平滑化する。

具体的には、光電脈波変動除去フィルタ１７は、特定色（例えば肌色）の領域ＴＧの画素値Ｐ（ｔ，ｉ，ｊ）の時間方向の平滑化として、フレームＰ（ｔ）における特定色（例えば肌色）の領域ＴＧの画素値Ｐ（ｔ，ｉ，ｊ）と、対応するフレームＰ（ｔ−１），Ｐ（ｔ＋１）における特定色（例えば肌色）の領域ＴＧの画素値Ｐ（ｔ−１，ｉ，ｊ），Ｐ（ｔ＋１，ｉ，ｊ）との平均値（数式（１）参照）を算出する。なお、光電脈波変動除去フィルタ１７は、特定色（例えば肌色）の領域ＴＧ以外の画素値については、数式（１）による平滑化は実行しない。

数式（１）において、Ｑ（ｔ，ｉ，ｊ）は、光電脈波変動除去フィルタ１７におけるフレームＰ（ｔ）内の特定色（例えば肌色）の領域ＴＧの画素値Ｐ（ｔ，ｉ，ｊ）の平滑化出力を示す。また、数式（１）において、Ｐ（ｔ，ｉ，ｊ）は、時刻Ｔ＝ｔにおいて入力されたフレームＰ（ｔ）内の座標（ｉ，ｊ）における画素値を示す。

なお、光電脈波変動除去フィルタ１７は、時刻Ｔ＝ｔにおけるフレームＰ（ｔ）内の特定色の領域の画素値と時刻Ｔ＝（ｔ−１），（ｔ＋１）におけるフレームＰ（ｔ−１），Ｐ（ｔ＋１）の対応する特定色の領域の画素値との差分が所定値（例えば４）より大きい場合には、時刻Ｔ＝ｔにおけるフレームＰ（ｔ）内の特定色の領域における画素値の平滑化の実行を省略し、そのまま出力する。これにより、光電脈波変動除去フィルタ１７は、画像入力部１１が入力した時点のフレームＰ（ｔ）内に動きが鮮明に現れているので、入力した時点のフレームＰ（ｔ）とその入力前後の各フレームＰ（ｔ−１），Ｐ（ｔ＋１）とを用いた平滑化を行わないことでフレームの画質に対する影響（例えば画質劣化）を低減できる。

次に、被写体の人物が移動している状態を例示し、光電脈波変動除去フィルタ１７の動作例について図８を参照してより具体的に説明する。図８では、図７と同様に、画像入力部１１が入力した画像（入力画像）のフレームＰが時刻Ｔ毎に連続的に入力される。光電脈波変動除去フィルタ１７は、時刻Ｔ＝ｔにおいて入力されたフレームＰ（ｔ）と、その入力前後の時刻Ｔ＝（ｔ−１），Ｔ＝（ｔ＋１）において入力されたフレームＰ（ｔ−１），Ｐ（ｔ＋１）と、隣接する前後のフレーム間で発生した特定色（例えば肌色）の領域の動きベクトルとを用いて、特定色（例えば肌色）の領域ＴＧの画素値Ｐ（ｔ，ｉ，ｊ）を平滑化する。

具体的には、光電脈波変動除去フィルタ１７は、画像データのフレームをブロック単位（例えば４画素×４画素、８画素×８画素、１６画素×１６画素、…）に分割し、ブロック単位で同一又は類似した画素値を有するブロックが隣接する前後のフレームのどこにあるかをスキャンして探索する。例えば、光電脈波変動除去フィルタ１７は、前フレーム（時刻Ｔ＝（ｔ−１）のフレーム）のブロックＢ、現フレーム（時刻Ｔ＝ｔのフレーム）のブロックＮについて、数式（２）に示す画素値の差分絶対値の和を算出する。光電脈波変動除去フィルタ１７は、ブロック同士で対応する位置における画素値の差分絶対値の和の最小値が得られるブロックを、隣接する前後のフレームにおいて現フレームの特定色（例えば肌色）の領域と同一又は類似した画素値を有するブロックとして決定する。

次に、光電脈波変動除去フィルタ１７は、隣接する前後のフレームにおいて同一又は類似した画素値を有するブロックの位置までのベクトル値を動きベクトルとして算出する。図８では、光電脈波変動除去フィルタ１７により算出された前フレーム（つまり、時刻Ｔ＝（ｔ−１）のフレーム）に対する動きベクトルは（Ｘ_{（ｔ−１）}，Ｙ_{（ｔ−１）}）として示され、光電脈波変動除去フィルタ１７により算出された後フレーム（つまり、時刻Ｔ＝（ｔ＋１）のフレーム）に対する動きベクトルは（Ｘ_{（ｔ＋１）}，Ｙ_{（ｔ＋１）}）として示される。

光電脈波変動除去フィルタ１７は、算出した動きベクトルを用いて、時刻Ｔ＝ｔのフレームＰ（ｔ）における特定色（例えば肌色）の領域の画素値Ｐ（ｔ，ｉ，ｊ）と、時刻Ｔ＝ｔに隣接する前後のフレーム（つまり、時刻Ｔ＝（ｔ−１），Ｔ＝（ｔ＋１）における各フレーム）において対応する画素値Ｐ（ｔ−１，ｇ，ｈ），画素値Ｐ（ｔ＋１，ｋ，ｌ）との平均値（数式（３）参照）を算出する。なお、光電脈波変動除去フィルタ１７は、特定色（例えば肌色）の領域ＴＧ以外の画素値については、数式（３）による平滑化は実行しない。

なお、数式（３）において、時刻Ｔ＝（ｔ−１）におけるフレームＰ（ｔ−１）において、時刻Ｔ＝ｔにおけるフレームＰ（ｔ）の特定色（例えば肌色）の領域の画素値Ｐ（ｔ，ｉ，ｊ）に対応する画素値の座標（ｇ，ｈ）は数式（４）により示される。同様に、数式（３）において、時刻Ｔ＝（ｔ＋１）におけるフレームＰ（ｔ＋１）において、時刻Ｔ＝ｔにおけるフレームＰ（ｔ）の特定色（例えば肌色）の領域の画素値Ｐ（ｔ，ｉ，ｊ）に対応する画素値の座標（ｋ，ｌ）は数式（５）により示される。

次に、本実施形態の画像処理装置１における光電脈波変動を除去するための動作手順について、図９を参照して説明する。図９は、本実施形態の画像処理装置１の動作手順の一例を説明するフローチャートである。

図９において、画像入力部１１は、不図示の外部装置（例えば所定のフレームレートで撮像するカメラ）により人物（例えばテレビ番組の出演者）が撮像された画像データのフレームを外部装置から連続的に入力（取得）して画像蓄積部１３に保存する。肌色領域検出部１５は、画像入力部１１が画像蓄積部１３に保存した画像データを読み出し、画像データのフレーム内の特定色（例えば肌色）の領域（例えば図５に示す人物ＨＭの顔領域ＦＣ，手領域ＨＤ）を検出する。肌色領域検出部１５は、画像データのフレームの中で検出した特定色の領域に関する情報（例えば座標）を光電脈波変動除去フィルタ１７に出力する。

光電脈波変動除去フィルタ１７は、画像入力部１１が画像蓄積部１３に保存した画像データを部分領域毎に読み出し（Ｓ１）、肌色領域検出部１５の出力（つまり、画像データのフレームの中で検出した特定色の領域に関する情報（例えば座標））を基に、読み出した部分領域が肌色であるか否かを判断する（Ｓ２）。なお、上述したように、画素値は、（１個の画素×１個の画素）、或いは（フレームの横方向３２個の画素×同フレームの縦方向３２個の画素）から構成可能な１ブロックにおける画素値の平均値でもよい。

光電脈波変動除去フィルタ１７は、ステップＳ１にて読み出した部分領域の画素値のデータが予め指定された色（例えば肌色）である場合には（Ｓ２、ＹＥＳ）、ステップＳ１において読み出した部分領域のフレームと画像入力部１１への入力前後の各々の画像データのフレームとを用いて、肌色領域検出部１５により検出された特定色の領域の画像データの画素値（より具体的には、輝度（Ｙ）と色差（Ｕ，Ｖ））を平滑化する（Ｓ３）。

ステップＳ３における平滑化処理では、例えば画像データに映る人物が静止している場合には、図７に示す方法で平滑化処理され、一方、画像データに映る人物が移動している場合には、図８に示す方法で平滑化処理される。光電脈波変動除去フィルタ１７は、特定色の領域の画像データの画素値を平滑化した後の部分領域の画像データを画像蓄積部１３に保存する。

一方、ステップＳ１にて読み出された部分領域の画素値のデータが予め指定された色（例えば肌色）ではない場合には（Ｓ２、ＮＯ）、画像処理装置１の処理はステップＳ４に進む。

画像符号化部１９は、画像蓄積部１３に保存された光電脈波変動除去フィルタ１７の出力画像の画像データ（つまり、光電脈波変動除去フィルタ１７がステップＳ１において読み出した部分領域の画素値が平滑化された部分領域の画像データ）を符号化する（Ｓ４）。

１つのフレーム内の全体が符号化された場合には（Ｓ５、ＹＥＳ）、図９に示す画像処理装置１の動作は終了する。一方、１つのフレーム内の全体が符号化されていない場合には（Ｓ５、ＮＯ）、１つのフレーム内の全体が符号化されるまで、ステップＳ１〜ステップＳ４の各処理が繰り返される。

以上により、本実施形態の画像処理装置１は、人物が撮像された画像データを画像入力部１１において入力し、入力した画像データの特定色の領域を肌色領域検出部１５において抽出し、入力された画像データのフレームとその入力した時点の前後における各々の画像データのフレームとを用いて、特定色（例えば肌色）の領域における画素値を光電脈波変動除去フィルタ１７において平滑化する。また、画像処理装置１は、画素値が平滑化された後の光電脈波変動除去フィルタ１７の出力画像を符号化し、符号化された出力画像を外部（例えばネットワークに接続された外部装置、又はディスプレイ）に出力する。

これにより、画像処理装置１は、画像データのフレーム内の特定色（例えば肌色）の領域における画素値を平滑化するので、画像データにより構成される映像コンテンツの制作者や配信者が意図しない生体情報（例えば脈拍数）の配信を効果的に抑制できるので、映像コンテンツに現れる人物のプライバシーを的確に保護できる。より具体的な例として、画像処理装置１は、テレビ番組にアナウンサーが出演している場合に発言内容を言い間違えたアナウンサーの脈拍数の上昇や、将棋の対局において棋士の脈拍数の上昇などを視聴者に知られることを防ぐことができ、映像コンテンツの制作者、配信者に出演者のプライバシーを的確に保護可能な映像コンテンツを制作させることが可能となる。

また、本実施形態の画像処理装置１は、入力した画像データのフレーム内の特定色の領域の画素値と入力した時点の前後における各々の画像データのフレームの対応する特定色の領域の画素値との差分が所定値（例えば４）より大きい場合に、入力した画像データのフレーム内の特定色の領域における画素値の平滑化の実行を省略し、そのまま出力する。

これにより、画像処理装置１は、画像入力部１１が入力した時点のフレーム内に動きが鮮明に現れているので、入力した時点のフレームとその入力前後の各フレームとを用いた平滑化を行わないことでフレームの画質に対する影響（例えば画質劣化）を低減できる。

また、画像処理装置１では、特定色の領域における画素値は、画像入力部１１に入力された画像データのフレームの横方向における複数の画素（例えば３２個の画素）及び縦方向における複数の画素（例えば３２個）のブロックの平均値が用いられる。

これにより、画像処理装置１は、特定色の領域における画素値として複数個の画素を有するブロック単位の画素値の平均値を用いるので、単一の画素の画素値を用いる場合に比べて、特定色の領域における画素値の信頼性を向上できる。

以上、図面を参照して各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

本発明は、映像コンテンツの制作者や配信者が意図しない生体情報の配信を効果的に抑制し、映像コンテンツに現れる人物のプライバシーを的確に保護する撮像装置、画像処理装置及び画像処理方法として有用である。

１ 撮像装置
１Ａ 画像処理装置
１１ 撮像部
１３、１３Ａ 画像蓄積部
１５ 信号処理部
１７ 肌色領域検出部
１９ 光電脈波変動除去フィルタ
２１ 画像符号化部
２３ 画像出力制御部
２５ 記録メディア
２７ 画像出力部
２９ 画像入力部

Claims (4)

1. 人物が撮像された画像データを入力する画像入力部と、
   前記画像データから前記人物の少なくとも顔領域又は手領域を含む特定色の領域を検出する領域検出部と、
   前記画像入力部に入力された前記画像データの処理対象フレームデータとその前後のフレームデータとを用いて、前記領域検出部により検出された前記特定色の領域における画素値を平滑化するフィルタ部と、
   前記フィルタ部の出力画像を符号化する符号化部と、
   前記符号化部により符号化された前記フィルタ部の出力画像を出力する出力部と、を備え、
   前記フィルタ部は、前記処理対象フレームデータより検出される特定色の処理対象領域の位置と前記前後のフレームデータより検出される前後の特定色の領域の位置との間の動きベクトルを算出し、
   前記処理対象領域における処理対象画素の画素値と、算出された前記動きベクトルを用いて前記前後のフレームデータより求められる前記処理対象画素の対応画素の画素値と、の差分が所定値より大きい場合には、前記処理対象画素の前記平滑化の実行を省略して出力する、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記領域検出部により検出された前記特定色の領域における画素値は、前記画像入力部に入力された前記画像データのフレームの横方向における複数の画素及び縦方向における複数の画素の平均値が用いられる、
   画像処理装置。
3. 人物を被写体として撮像する撮像部と、
   前記撮像部により撮像された前記人物を含む画像データから前記人物の少なくとも顔領域又は手領域を含む特定色の領域を検出する領域検出部と、
   前記撮像部に撮像された前記画像データの処理対象フレームデータとその前後のフレームデータとを用いて、前記領域検出部により検出された前記特定色の領域における画素値を平滑化するフィルタ部と、
   前記フィルタ部の出力画像を符号化する符号化部と、
   前記符号化部により符号化された前記フィルタ部の出力画像を出力する出力部と、を備え、
   前記フィルタ部は、前記処理対象フレームデータより検出される特定色の処理対象領域の位置と前記前後のフレームデータより検出される前後の特定色の領域の位置との間の動きベクトルを算出し、
   前記処理対象領域における処理対象画素の画素値と、算出された前記動きベクトルを用いて前記前後のフレームデータより求められる前記処理対象画素の対応画素の画素値と、の差分が所定値より大きい場合には、前記処理対象画素の前記平滑化の実行を省略して出力する、
   撮像装置。
4. 画像処理装置における画像処理方法であって、
   人物が撮像された画像データを入力するステップと、
   前記画像データから前記人物の少なくとも顔領域又は手領域を含む特定色の領域を検出するステップと、
   入力された前記画像データの処理対象フレームデータとその前後のフレームデータとを用いて、検出された前記特定色の領域における画素値を平滑化するステップと、
   前記特定色の領域における画素値が平滑化された出力画像を符号化するステップと、
   符号化された前記出力画像を出力するステップと、を有し、
   前記平滑化するステップは、前記処理対象フレームデータより検出される特定色の処理対象領域の位置と前記前後のフレームデータより検出される前後の特定色の領域の位置との間の動きベクトルを算出し、
   前記処理対象領域における処理対象画素の画素値と、算出された前記動きベクトルを用いて前記前後のフレームデータより求められる前記処理対象画素の対応画素の画素値と、の差分が所定値より大きい場合には、前記処理対象画素の前記平滑化の実行を省略して出力する、
   画像処理方法。