JP6198187B2 - 信号処理装置及び信号処理方法 - Google Patents

Description

本発明は、映像等を視聴する視聴者の盛り上がりの度合いを把握する際に用いて好適な信号処理装置及び信号処理方法に関する。

特許文献１には、テレビ番組等の視聴者の番組への関心の有無を把握するための技術が記載されている。特許文献１に記載されている技術では、テレビに取り付けられたカメラで視聴者を撮像し、視聴者の顔の向きがテレビに向いている時間の割合を計測することで関心度が算出される。また、特許文献１に記載されている技術では、視聴者が複数の場合、顔認識処理を用いて予め登録した各視聴者について、視聴者個人を特定し、視聴者毎に関心度が算出される。

特開２００９−８１６３７号公報

ところで、テレビ番組等の視聴における視聴者の心理的な要素には、盛り上がりという要素もある。すなわち、気分が高揚するとか、元気になるとかといった要素である。この盛り上がりの度合いは、上述した関心度の度合いとは必ずしも一致しない。すなわち、盛り上がり度と関心度とは異なる心理的な要素である。ある番組に対する視聴者の関心度は、特許文献１に記載されているように、視聴者の顔がテレビに向いている時間の割合との相関が強いように思われる。しかしながら、盛り上がり度については、必ずしもテレビに顔が向いている時間で計ることができるとはいえないように思われる。例えば、盛り上がり度が高くなると、テレビ画面に顔を向けていられないようになったり、周囲の他の視聴者の方に顔を向けてしまったりといった場合も想定できるからである。

また、盛り上がり度については、番組全体にわたって一定であるということよりも、むしろ短時間でどの程度の盛り上がりがあったのかということの方が、度合いを把握するという点では重要な要素であるように思われる。

本発明は、上記のような事情を考慮してなされたものであり、視聴者の盛り上がりの度合いを的確に把握することができる信号処理装置及び信号処理方法を提供することを目的とする。

上記課題を解決するため、本発明の信号処理装置は、視聴者の画像を所定時間分撮像する撮像部と、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の人数を識別する視聴人数識別部と、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の体の動き量を算出する体の動き量算出部と、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の顔パーツの動き量を算出する顔パーツの動き量算出部と、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の集中度を算出する集中度算出部と、前記集中度算出部が算出した視聴者の集中度と、前記体の動き量算出部が算出した視聴者の体の動き量と、前記顔パーツの動き量算出部が算出した視聴者の顔パーツの動き量とに基づき、前記視聴人数識別部が識別した視聴者の人数分、視聴者の盛り上がり度を、盛り上がり度＝集中度×（所定の係数α×体の動き量＋所定の係数β×顔パーツの動き量）として算出する盛り上がり度算出部とを備えることを特徴とする。

また、本発明の他の信号処理装置は、前記盛り上がり度算出部が、さらに、視聴者全員としての集合盛り上がり度を、前記盛り上がり度を全員分積算して、積分結果に所定の係数γを乗じることにより算出することを特徴とする。

また、本発明の他の信号処理装置は、前記体の動き量算出部が、視聴者の体の所定の基準点から手先までの距離の変化量に基づいて、視聴者の体の動き量を算出することを特徴とする。

また、本発明の他の信号処理装置は、前記顔パーツの動き量算出部が、視聴者の顔の所定の基準点から所定の特徴点までの距離の変化量に基づいて、視聴者の顔パーツの動き量を算出することを特徴とする。

また、本発明の他の信号処理装置は、前記体の動き量算出部又は前記顔パーツの動き量算出部の少なくとも一方が、前記撮像部が撮像した所定時間分の画像と、予め記憶した所定のパターンとを比較することで、前記動き量を算出することを特徴とする。

また、本発明の信号処理方法は、視聴者の画像を所定時間分撮像する撮像部を用いて、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の人数を識別し、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の体の動き量を算出し、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の顔パーツの動き量を算出し、前記撮像部が撮像した所定時間分の画像に基づき、視聴者の集中度を算出し、そして、前記視聴者の集中度と、前記視聴者の体の動き量と、前記視聴者の顔パーツの動き量とに基づき、視聴者の人数分、視聴者の盛り上がり度を、盛り上がり度＝集中度×（所定の係数α×体の動き量＋所定の係数β×顔パーツの動き量）として算出することを特徴とする。
また、本発明の他の信号処理方法は、さらに、視聴者全員としての集合盛り上がり度を、前記盛り上がり度を全員分積算して、積分結果に所定の係数γを乗じることにより算出することを特徴とする。

本発明によれば、撮像部が撮像した所定時間分の視聴者の画像に基づいて算出された、視聴者の体の動き量と、視聴者の顔パーツの動き量とに応じて、視聴者の盛り上がり度を算出するので、例えば集中度に基づいて算出する場合と比較してより適切に盛り上がり度を算出すことができるという効果が期待できる。

本発明の一実施の形態の構成例を示したブロック図である。 図１に示した盛り上がり度算出装置１の動作例を示したフローチャートである。 図１に示した盛り上がり度算出装置１の動作の説明に用いる模式図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態としての信号処理装置１００の構成例を示したブロック図である。信号処理装置１００は、盛り上がり度算出装置１、番組情報入力部２、盛り上がり度対応付け部３、及び盛り上がり度付加番組情報データベース４を備えている。信号処理装置１００は、図示していないＣＰＵ（中央処理装置）とその周辺装置及びＣＰＵで実行されるプログラムを用いて構成されている。信号処理装置１００は、例えばテレビ受信機、プロジェクタ等の映像投影機や番組録画機器等と一体として構成されていてもよいし、あるいは、全部または一部がテレビ受信機、プロジェクタ等の映像投影機や番組録画機器等と別に構成されていてもよい。

盛り上がり度算出装置１は、撮像部１１、視聴人数識別部１２、集中度算出部１３、体の動き量算出部１４、顔パーツの動き量算出部１５、及び盛り上がり度算出部１６を備えている。撮像部１１は、例えば視聴者が視聴している映像の表示面（あるいは投影面）側から視聴者が位置する側に向かって設置され、視聴者の画像を撮像するカメラである。撮像部１１は、所定時間分の画像を動画としてあるいは連続した静止画像として撮像し、撮像した画像を表す所定形式の映像信号あるいは画像信号を出力する。撮像部１１は、常時映像等を撮像していてもよいし、あるいは、所定の時間分の撮像を間欠的に繰り返し行うものであってもよい。

視聴人数識別部１２は、撮像部１１が撮像した所定時間分の画像に基づき、視聴者の人数を識別する。視聴人数識別部１２は、画像中に何人の視聴者が含まれているのかを識別すればよく、各視聴者の個人を識別しなくてもよい。ただし、視聴人数識別部１２は、顔認識処理等を行って、例えば画像中に含まれる予め登録しておいた特定の個人を識別するようにしてもよい。そして、個人を識別した場合に、集中度、体の動き量や顔パーツの動き量を、識別した個人に対応づけて算出するようにしてもよい。

集中度算出部１３は、撮像部１１が撮像した所定時間分の画像に基づき、視聴者の集中度を算出する。本実施形態では、集中度算出部１３は、視聴者が所定の方向（すなわち映像が映されている画面方向）を向いている時間に基づいて、視聴者の集中度を算出する。本実施形態では、集中度を、撮像部１１が撮像した所定時間の画像における全フレーム数分の、視聴者が所定の方向を向いているフレーム数で求めることができる。ただし、フレーム数ではなく、時間を基準として算出することもできる。また、視聴人数識別部１２が、複数の視聴者を識別した場合、集中度算出部１３は、その人数分、視聴者の集中度を算出する。

体の動き量算出部１４は、撮像部１１が撮像した所定時間分の画像に基づき、視聴者の体の動き量を算出する。本実施形態では、体の動き量算出部１４が、視聴者の体の所定の基準点から手先までの距離の変化量に基づいて、視聴者の体の動き量を算出する。所定の基準点とは例えば上半身の中心部分とか（図３に模式的に示した白抜きの十字の位置）、首の中心点とかといった点とすることができる。また、手先とは例えば、両手の指の最先端部（図３に模式的に示した黒塗りの矩形の位置）とすることができる。あるいは、体の動き量算出部１４は、撮像部１１が撮像した所定時間分の画像と、予め記憶した所定の体の動きパターンとを比較することで、体の動きの形態（例えば拍手をしているとか、隣の視聴者と握手をしているといったアクションの種別）や体の動き量（例えばそのアクションの大きさ等）を算出するようにしてもよい。また、視聴人数識別部１２が、複数の視聴者を識別した場合、体の動き量算出部１４は、その人数分、体の動き量を算出する。

顔パーツの動き量算出部１５は、撮像部１１が撮像した所定時間分の画像に基づき、視聴者の顔パーツの動き量を算出する。本実施形態では、顔パーツの動き量算出部１５が、視聴者の顔の所定の基準点から所定の特徴点までの距離の変化量に基づいて、視聴者の顔パーツの動き量を算出する。例えば、顔の所定の基準点は、両目の中間点（図３に模式的に示した黒塗りの十字の位置）としたり、両耳と頭の縦方向の中心線との交点としたり、眉間の中心部分としたりすることができる。また、特徴点とは、図３に模式的に黒丸で示したように、目、鼻、口、眉等の１又は複数の端部、中心部等の点である。あるいは、顔パーツの動き量算出部１５は、撮像部１１が撮像した所定時間分の画像と、予め記憶した所定の顔パーツの動きパターンとを比較することで、顔パーツの動きの形態（例えば笑っているとか、泣いているとかといった表情の種別）や顔パーツの動き量（例えば表情の変化の大きさ）を算出するようにしてもよい。また、視聴人数識別部１２が、複数の視聴者を識別した場合、顔パーツの動き量算出部１５は、その人数分、顔パーツの動き量を算出する。

盛り上がり度算出部１６は、集中度算出部１３が算出した視聴者の集中度と、体の動き量算出部１４が算出した視聴者の体の動き量と、顔パーツの動き量算出部１５が算出した視聴者の顔パーツの動き量とに基づき、視聴者の盛り上がり度を算出する。ただし、集中度と、体の動き量と、顔パーツの動き量のうち、集中度については、場合によっては盛り上がり度算出のパラメータとして用いなかったり、あるいは補助的な値として用いることとしたりすることができる。盛り上がり度は、例えば、（α×体の動き量＋β×顔パーツの動き量）や、集中度×（α×体の動き量＋β×顔パーツの動き量）（ただし、α、βは所定の定数）として算出することができる。また、盛り上がり度算出部１６は、視聴人数識別部１２が識別した視聴者の人数分、視聴者の盛り上がり度を算出し、さらに、視聴者人数分の盛り上がり度に基づいて視聴者全員での集合盛り上がり度を算出する。

一方、番組情報入力部２は、テレビ番組等に付属する電子番組情報等の番組情報を入力する。また、盛り上がり度対応付け部３は、番組情報入力部２が入力した番組情報と、盛り上がり度算出部１６が算出した盛り上がり度との対応付けを行う。その際、盛り上がり度対応付け部３は、１つの番組情報に対して複数の盛り上がり度を対応づけたり、さらに盛り上がり度とその盛り上がり度が算出された時刻を表す情報とを組み合わせたものを番組情報に対応づけたりすることができる。そして、盛り上がり度対応付け部３は、対応付けした番組情報と盛り上がり度とを、盛り上がり度付加番組情報として、盛り上がり度付加番組情報データベース４に格納する。

次に、図２を参照して、図１に示した盛り上がり度算出装置１の動作例について説明する。ユーザによる所定の指示がなされると（あるいは一度指示がなされた後は所定の周期で繰り返して）、盛り上がり度算出装置１が、図２に示した動作を開始する。まず、撮像部１１が、一定時間分、視聴者画像を撮像する（ステップＳ１０１）。次に、視聴人数識別部１２が、撮像された画像から視聴者人数を識別する（ステップＳ１０２）。

次に、集中度算出部１３が、視聴者ｉについて「集中度」を求める（ステップＳ１０３）。ここで、ｉは、各視聴者に一意に付与される番号であり、画像中の人数分の値をとる。ただし、このｉは、視聴者個人を識別する番号ではなく、所定時間分の画像中で同じ視聴者と他の視聴者を区別することができれば十分であり、他の所定時間分の画像では同じ視聴者に異なる番号が割り当てられてもよい。本実施形態では、例えば、集中度＝映像を見ているフレーム数／全フレーム数として求める。

次に、体の動き量算出部１４が、視聴者ｉについて、所定フレーム毎に体の中心から手先までの距離の変化量を求める（ステップＳ１０４）。すなわち、体の動き量算出部１４は、撮像された画像を所定フレームで除した分、距離とその差分を求める。ここで、所定フレームのフレーム数は１又は複数の値とすることができる。次に、体の動き量算出部１４は、視聴者ｉの「体の動き量」を、全フレーム分の距離の変化量に基づいて算出する（ステップＳ１０５）。例えば、ステップＳ１０４で求めた複数の変化量を統計的に処理することで、体の動き量算出部１４は、視聴者ｉの「体の動き量」を算出する。

次に、顔パーツの動き量算出部１５は、視聴者ｉについて、所定フレーム毎に顔の中心から各特徴点までの距離の変化量を求める（ステップＳ１０６）。次に、顔パーツの動き量算出部１５は、視聴者ｉの「顔パーツの動き量」を、各特徴点の全フレーム分の距離の変化量に基づいて算出する（ステップＳ１０７）。

次に、盛り上がり度算出部１６は、視聴者ｉについて「盛り上がり度」を求める（ステップＳ１０８）。この場合、盛り上がり度算出部１６は、盛り上がり度を、ステップＳ１０３、Ｓ１０５及びＳ１０７で算出された「集中度」、「体の動き量」及び「顔パーツの動き量」に基づいて、盛り上がり度＝集中度×（α×体の動き量＋β×顔パーツの動き量）として算出する。

ここで、集中度算出部１３、体の動き量算出部１４、顔パーツの動き量算出部１５及び盛り上がり度算出部１６の各部は、視聴人数識別部１２が識別した視聴者全員分の算出が終了したか否かを判定し、終了していない場合にはステップＳ１０３へ戻り、次の視聴者に対して同様に盛り上がり度の算出処理を行う（ステップＳ１０９で「ＮＯ」の場合）。他方、視聴者全員について算出処理が終了した場合は（ステップＳ１０９で「ＹＥＳ」の場合は）、盛り上がり度算出部１６が視聴者全員についての「集合盛り上がり度」を算出する（ステップＳ１１０）。

ここで、「集合盛り上がり度」とは、視聴者全員（あるいは視聴者全体）としての盛り上がり度である。「集合盛り上がり度」は、例えば、各視聴者の「盛り上がり度」（ステップＳ１０８で算出されたもの）を全員分積算して、所定の係数γを乗じることで求めることができる。このγは、視聴者の人数や番組のジャンル等に応じて予め定めた定数である。

以上のように、本実施形態では、撮像部１１が撮像した所定時間分の視聴者の画像に基づき、視聴者の集中度と、視聴者の体の動き量と、視聴者の顔パーツの動き量とに応じて、視聴者の盛り上がり度を算出するので、例えば集中度のみに応じて（すなわち、画面を見ている時間等のみに応じて）算出する場合と比較してより適切に盛り上がり度を算出すことができるという効果が期待できる。

なお、本発明の実施の形態は上記のものに限定されない。例えば、盛り上がり度算出装置１は、算出した盛り上がり度を表示したり、通信回線を介して送信したりする装置として構成することができる。この場合、盛り上がり度算出装置１は、撮像部１１を省略して、撮像部１１を用いて撮像した画像を入力して処理する、ソフトウェアとして構成することもできる。また、各視聴者の盛り上がり度の計算式における定数αやβは、例えば、視聴人数に応じて変更すること等が適宜可能である。また、集中度、体の動き量及び顔パーツの動き量については、時間や基準点からの距離の変化に基づいて求めることに代えて、あるいはそれらの計算に追加して、パターンマッチングの手法で、予め用意した複数の画像との比較結果に基づいて、集中度や各動き量を推定する構成を用いることもできる。

また、例えば、視聴人数が多い場合に、α、βを、１人の場合に比べて大きい値に設定することで、盛り上がり度に占める集中度の割合に対して、体の動き量、及び顔パーツの動き量の占める割合を大きくしてすることも出来る。これにより、視聴者全員での集合盛り上がり度を、より精度よく算出することができる。一方、視聴人数が一人の場合に、α、βを、視聴人数が多い場合に比べて小さい値に設定することで、盛り上がり度に占める集中度の割合の割合を大きくすることも出来る。これにより、一人でいる場合の盛り上がり度を、精度よく算出することができる。

１００ 信号処理装置
１ 盛り上がり度算出装置
１１ 撮像部
１２ 視聴人数識別部
１３ 集中度算出部
１４ 体の動き量算出部
１５ 顔パーツの動き量算出部
１６ 盛り上がり度算出部

Claims (7)

1. 視聴者の画像を所定時間分撮像する撮像部と、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の人数を識別する視聴人数識別部と、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の体の動き量を算出する体の動き量算出部と、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の顔パーツの動き量を算出する顔パーツの動き量算出部と、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の集中度を算出する集中度算出部と、
   前記集中度算出部が算出した視聴者の集中度と、前記体の動き量算出部が算出した視聴者の体の動き量と、前記顔パーツの動き量算出部が算出した視聴者の顔パーツの動き量とに基づき、前記視聴人数識別部が識別した視聴者の人数分、視聴者の盛り上がり度を、
   盛り上がり度＝集中度×（所定の係数α×体の動き量＋所定の係数β×顔パーツの動き量）として算出する盛り上がり度算出部と
   を備えることを特徴とする信号処理装置。
2. 前記盛り上がり度算出部は、さらに、
   視聴者全員としての集合盛り上がり度を、
   前記盛り上がり度を全員分積算して、積分結果に所定の係数γを乗じることにより算出することを特徴とする請求項１に記載の信号処理装置。
3. 前記体の動き量算出部が、視聴者の体の所定の基準点から手先までの距離の変化量に基づいて、視聴者の体の動き量を算出する
   ことを特徴とする請求項１又は２に記載の信号処理装置。
4. 前記顔パーツの動き量算出部が、視聴者の顔の所定の基準点から所定の特徴点までの距離の変化量に基づいて、視聴者の顔パーツの動き量を算出する
   ことを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
5. 前記体の動き量算出部又は前記顔パーツの動き量算出部の少なくとも一方が、前記撮像部が撮像した所定時間分の画像と、予め記憶した所定のパターンとを比較することで、前記動き量を算出する
   ことを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
6. 視聴者の画像を所定時間分撮像する撮像部を用いて、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の人数を識別し、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の体の動き量を算出し、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の顔パーツの動き量を算出し、
   前記撮像部が撮像した所定時間分の画像に基づき、視聴者の集中度を算出し、
   そして、
   前記視聴者の集中度と、前記視聴者の体の動き量と、前記視聴者の顔パーツの動き量とに基づき、視聴者の人数分、視聴者の盛り上がり度を、
   盛り上がり度＝集中度×（所定の係数α×体の動き量＋所定の係数β×顔パーツの動き量）として算出する
   ことを特徴とする信号処理方法。
7. さらに、
   視聴者全員としての集合盛り上がり度を、
   前記盛り上がり度を全員分積算して、積分結果に所定の係数γを乗じることにより算出することを特徴とする請求項６に記載の信号処理方法。

Images