JP3867627B2 - 観客状況推定装置と観客状況推定方法および観客状況推定プログラム - Google Patents

観客状況推定装置と観客状況推定方法および観客状況推定プログラム Download PDF

Info

Publication number
JP3867627B2
JP3867627B2 JP2002186690A JP2002186690A JP3867627B2 JP 3867627 B2 JP3867627 B2 JP 3867627B2 JP 2002186690 A JP2002186690 A JP 2002186690A JP 2002186690 A JP2002186690 A JP 2002186690A JP 3867627 B2 JP3867627 B2 JP 3867627B2
Authority
JP
Japan
Prior art keywords
motion
audience
periodicity
feature amount
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002186690A
Other languages
English (en)
Other versions
JP2004032424A (ja
Inventor
哲二郎 近藤
裕二 奥村
幸一 藤島
知之 大月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002186690A priority Critical patent/JP3867627B2/ja
Priority to US10/602,779 priority patent/US8392939B2/en
Publication of JP2004032424A publication Critical patent/JP2004032424A/ja
Application granted granted Critical
Publication of JP3867627B2 publication Critical patent/JP3867627B2/ja
Priority to US12/119,844 priority patent/US8244537B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、観客状況推定装置と観客状況推定方法および観客状況推定プログラムに関する。詳しくは、観客を撮影した画像信号に基づき、観客の動き周期性等が検出されて、この検出結果に基づき観客状況を推定するものである。
【０００２】
【従来の技術】
従来、映画や番組等のコンテンツを提供する場合、画像表示装置や音声出力装置等を用いて、予め作成されている画像信号や音声信号に基づいて画像表示や音声提示が行われている。
【０００３】
ここで、コンテンツの提供を効果的に行うためには、視聴者の状況を把握することが重要である。例えば、どのようなシーンで笑いや拍手が生じたを把握すれば、コンテンツの提供の際に、視聴者の反応状況に応じた効果音等を付加することで、より効果的なコンテンツ提供を行うことができる。また、コンテンツの製作者は、視聴者の反応状況を利用して、笑いが生じたシーンや拍手が生じたシーンを容易に判別することが可能となり、新たにコンテンツを制作する上で、視聴者の反応状況を有効に活用することができる。また、コンテンツの制作段階で視聴者の反応状況を利用すれば、さらに効果的なコンテンツ制作を行うことも可能となる。
【０００４】
【発明が解決しようとする課題】
ところで、このように視聴者の反応状況を把握する場合、人が視聴者を観察して、どのようなシーンでどのような反応状況を示したかを判別しなければならないため、簡単に視聴者の反応状況を把握することができない。
【０００５】
そこで、この発明では、人が観客状況を観察しなくとも、観客状況を容易に推定できる観客状況推定装置および観客状況推定方法および観客状況推定プログラムを提供するものである。
【０００６】
【課題を解決するための手段】
この発明に係る観客状況推定装置は、観客を撮影した画像信号を生成する撮像手段と、前記画像信号に基づいて、前記観客の動き周期性を検出する動き周期性検出手段と、前記観客の動き周期性に基づいて観客状況を推定する推定手段とを有し、前記動き周期性検出手段は、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記動き周期性とするものである。
【００１３】
次に、この発明に係る観客状況推定方法は、観客を撮影して画像信号を生成し、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記観客の動き周期性として検出し、前記観客の動き周期性に基づいて観客状況を推定するものである。
【００２０】
さらに、この発明に係る観客状況推定プログラムは、コンピュータに、観客を撮影して生成された画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記観客の動き周期性として検出する手順と、前記観客の動き周期性に基づいて観客状況を推定する手順とを実行させるものである。
【００２１】
この発明においては、観客を撮影した画像信号が生成されて、この画像信号に基づき、例えば観客の動きの周期性が検出されて、この検出結果に基づき観客が手拍子状態や拍手状態あるいは笑い状態等のいずれであるかが推定される。
【００２２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、観客状況推定装置１０の構成を示している。観客状況推定装置１０の入力部２０では、観客の状態をビデオカメラやマイクロフォンを用いて監視して監視情報を生成する。例えば、観客を撮影することにより、監視情報として撮影画像信号（以下「画像信号」という）ＳＶを生成する。また、観客からの音声を取得することにより、監視情報として音声信号ＳＡの生成を行う。特徴量検出部３０では、監視情報である画像信号ＳＶと音声信号ＳＡに基づいて複数の特徴量を検出する。推定部４０では、検出された複数の特徴量に基づき、観客状態を推定して出力部５０に供給する。出力部５０では、推定部４０での推定結果を出力する。
【００２３】
図２は、入力部２０の動作を説明するための図である。映画や番組等の画像は、視聴者６０の前方に設けられた画像表示装置６１で表示されると共に、音声はスピーカ６２から出力される。入力部２０は、撮像部２１と音声取得部２２で構成されている。撮像部２１は、観客状況推定対象である視聴者６０の前方に設けられて、例えば図３に示すような視聴者６０側の撮影画像を示す画像信号ＳＶを生成する。音声取得部２２は、視聴者６０側からの音声を取得して音声信号ＳＡを生成する。このようにして生成された画像信号ＳＶと音声信号ＳＡは、特徴量検出部３０に供給される。
【００２４】
図４は、特徴量検出部３０の構成を示している。この特徴量検出部３０は、特徴量として例えば視聴者６０側の動きの大きさや周期性および音声の音量や周期性を検出する。さらに、音声の周波数成分に関する特徴量を検出するものである。
【００２５】
特徴量検出部３０の動き量検出部３１では、動きの大きさを示す特徴量を検出する。動き周期性検出部３２では、動きの周期性を示す特徴量を検出する。パワースペクトル検出部３４では、音声の周波数成分に関する特徴量を検出する。また、音量検出部３５では、音声の大きさを示す特徴量を検出すると共に、音声周期性検出部３６では、音声の周期性を示す特徴量を検出する。
【００２６】
図５は、動き量検出部３１の構成を示している。肌色領域抽出部３１１では、ＲＧＢ色空間やＹＩＱ色空間あるいはＨＳＶ色空間等において、肌色と認識できる画素範囲を判別する。例えば、ＲＧＢ色空間では、肌色と認識する赤色信号の範囲と緑色信号の範囲と青色信号の範囲を示す閾値を設定して、画像信号ＳＶに基づいて生成した三原色信号の信号レベルが肌色の領域内であるか否かを画素毎に判別することで、肌色と認識できる画素範囲（以下「肌色領域」という）を抽出できる。
【００２７】
次に、動きベクトル計算部３１２では、肌色領域の動きベクトルを計算する。この動きベクトルの計算では、抽出された肌色領域をブロックに分割して、ブロック毎に動きベクトルを計算する。例えば、各視聴者の顔の部分や手の部分をそれぞれブロックとして、各ブロックについて次フレーム（または前フレーム）の画像とでブロックマッチングを行い、最もブロックの画像が一致したときの移動方向と移動量を動きベクトルＭＶとする。このようにして、式（１）に示すように２次元動きベクトルＭＶiを検出する。
【００２８】
【数１】
Figure 0003867627
【００２９】
なお、式（１）において、「i」はブロック番号を示しており、ブロック数が例えば「ｍ＋１」であるときには「i＝０〜ｍ」となる。また「ｕ」は水平方向の移動量、「ｖ」は垂直方向の移動量とする。さらに、動きベクトルの計算はブロックマッチング法に限られるものではなく、例えば代表点マッチング法や勾配法等の他の方法を用いるものとしても良い。
【００３０】
平均動き量計算部３１３は、式（２）に基づき、フレーム内の各ブロックの動きベクトルを一定期間分だけ順次用いて、動きベクトルの大きさの移動平均を計算して平均動き量Ｗjとする。この算出した平均動き量Ｗjを特徴量ＣＶaとする。なお、移動平均を算出する際に重み付けを行って平均動き量Ｗjを算出することもできる。
【００３１】
【数２】
Figure 0003867627
【００３２】
図６は、特徴量ＣＶaすなわちフレーム毎に算出した平均動き量Ｗjの推移を例示したものである。
【００３３】
また、式（２）では、水平方向と垂直方向を足し合わせて平均動き量Ｗjを計算したが、水平方向あるいは垂直方向のいずれか一方に基づいて平均動き量Ｗjを計算することもできる。
【００３４】
図７は、動き周期性検出部３２の構成を示している。自己相関計算部３２１では、動き量検出部３１で求めた平均動き量Ｗjを用いて、フレーム毎の自己相関係数ＲＶを式（３）に基づいて計算する。
【００３５】
【数３】
Figure 0003867627
【００３６】
図８は、式（３）で示されている自己相関係数の算出動作を説明するためのものであり、説明を簡単とするため平均動き量Ｗjが図８Ａに示すように正弦波である場合を示している。ここで、「ｋ＝１」のときには、図８Ｂに示す最初の「０」フレームから（ｎ−２）フレームまでの平均動き量Ｗjと、図８Ｃに示す「１」フレームから（ｎ−1）フレームまでの平均動き量Ｗj+kを用いて自己相関係数ＲＶを算出する。同様に、「ｋ＝ａ」のときには、図８Ｄに示す最初の「０」フレームから（ｎ−１−ａ）フレームまでの平均動き量Ｗjと、図８Ｅに示す「ａ」フレームから（ｎ−1）フレームまでの平均動き量Ｗj+kを用いて自己相関係数ＲＶを算出する。このように、自己相関係数ＲＶの算出に用いる平均動き量を順次変更することで、図８Ｆに示すように、「ｋ＝１」から「ｋ＝ａ」フレームまでの自己相関係数ＲＶの推移を求めることができる。
【００３７】
最大位置抽出部３２２は、算出された自己相関係数ＲＶから、最大値となるフレーム位置を検出する。例えば、式（３）に基づいて算出した自己相関係数ＲＶの推移が図９に示す波形となったとき、フレーム位置ＰＦmxが自己相関最大位置ＭＰとなる。また、自己相関係数を算出する平均動き量Ｗjの位置を時間方向に順次シフトさせて同様な処理を行い、自己相関最大位置ＭＰを順次検出すると、時間方向の自己相関最大位置ＭＰの推移は例えば図１０に示すものとなる。
【００３８】
分散計算部３２３は、自己相関最大位置ＭＰの分散を算出する。ここで分散Ｖpを算出する場合、検出する観客状況の周期性に応じて分散の算出に用いるフレーム範囲を決定する。すなわち、周期性を検出するためには、少なくとも検出する周期以上の窓幅（フレーム範囲）の信号を用いなければ周期性を検出できない。また、窓幅を大きくすると、検出結果の精度を向上できると共に、周期変動が生じても正しい検出結果を得ることができる。しかし、窓幅が大きくなることにより、短時間の挙動の変化に対する応答が鈍くなると共に処理時間も長くなってしまう。このため、窓幅は検出する周期の数倍程度が好ましい。ここで、観客状況として視聴者６０の例えば手拍子を推定するとき、手拍子の周期を０．５秒程度と考えて２秒程度を分散の算出に用いる窓幅とする。
【００３９】
ここで設定された窓幅、例えばｐフレームに対して±（q/2）フレームを窓幅、この窓幅での自己相関最大位置の平均値をＭＰav、ｊフレーム目での自己相関最大位置をＭＰjとすると、式（４）に基づいて分散Ｖpを算出できる。
【００４０】
【数４】
Figure 0003867627
【００４１】
このように、動き周期性検出部３２は、平均動き量の自己相関最大位置ＭＰの分散Ｖpを算出して、この分散Ｖpを特徴量ＣＶbとする。この特徴量ＣＶbの値が大きければ周期の変動が大きく、特徴量ＣＶbの値が小さければ周期の変動が小さい。なお、特徴量ＣＶbは、信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置ＭＰの標準偏差等を用いることもできる。なお、図１１は式（４）に基づいて検出した特徴量ＣＶbの推移を例示したものである。
【００４２】
次に音声信号ＳＡに基づいた特徴量について説明する。フィルタ部３３は、音声信号ＳＡの帯域制限を行い、パワースペクトル検出部３４や音量検出部３５および音声周期性検出部３６で特徴量を生成するために適した周波数帯域の成分を抽出する。なお、この周波数帯域の以外の成分が音声信号ＳＡに含まれていないとき、あるいはこの周波数帯域の以外の成分が少なく特徴量を正しく生成できるときには、フィルタ部３３を設けなくても良いことは勿論である。
【００４３】
パワースペクトル検出部３４では、フィルタ部３３を介して供給された音声信号ＳＡを用いて、検出する観客状況に応じて設定した時間分の音声信号ＳＡに基づき重心を算出する。例えば、視聴者６０の「笑い」状態を検出する場合には、重心を算出する際に笑い声の周波数成分が含まれるように時間長を設定する。図１２は、パワースペクトル検出部３４の構成を示している。
【００４４】
フーリエ変換部３４１は、設定した時間分の音声信号ＳＡのフーリエ変換を行い、周波数毎のパワーを検出する。例えば図１３に示す音声信号ＳＡのフーリエ変換結果は図１４に示すものとなる。
【００４５】
重心計算部３４２では、周波数ｆiに対してパワーＰＷiの重みを付けた平均、すなわち重心ＣＡを求める。この重心ＣＡは、重心ＣＡを求める際の周波数範囲を「ｆ0〜ｆg」としたとき、式（５）に基づいて算出できる。この算出した重心ＣＡを特徴量ＣＶcとする。図１５は、特徴量ＣＶcの推移を例示したものである。
【００４６】
【数５】
Figure 0003867627
【００４７】
音量検出部３５では、フィルタ部３３を介して供給された音声信号ＳＡを用いて、予め設定した区間、例えば１フレーム期間分の音声レベルの分散を算出する。なお分散の算出は、上述の式（４）と同様にして算出できる。この算出した分散は、音量を示す特徴量ＣＶdとする。また、分散を算出する際には、音声信号を用いる１フレーム期間を順次移動させて、移動平均の算出と同様にして分散を算出する。図１６は、特徴量ＣＶdの推移を例示したものである。
【００４８】
音声周期性検出部３６では、画像の場合と同様にして、自己相関最大位置の分散を算出して特徴量ＣＶeとする。図１７は音声周期性検出部３６の構成を示している。
【００４９】
自己相関計算部３６１では、フィルタ部３３を介して供給された音声信号ＳＡの例えば所定区間分を用いて、この音声信号ＳＡの信号レベルａjから式（６）に基づき自己相関係数ＲＡを算出する。なお、所定区間は、上述の自己相関係数ＲＶの算出と同様に、検出する音声の周期よりも長く設定する。
【００５０】
【数６】
Figure 0003867627
【００５１】
最大位置抽出部３６２は、算出された自己相関係数ＲＡから、最大となる位置を、検出する観客状況に応じて設定された時間範囲毎に検出する。このように自己相関係数ＲＡが最大となる位置を検出することで、自己相関最大位置ＭＱは例えば図１８に示すものとなる。
【００５２】
分散計算部３６３は、自己相関最大位置ＭＱの分散を算出する。ここで自己相関最大位置の分散の算出は、上述の式（４）と同様な演算処理を行うことで算出できる。この算出した分散を特徴量ＣＶeとする。なお、図１９は特徴量ＣＶeの推移を例示したものである。
【００５３】
このように、音声周期性検出部３６は、音声の自己相関最大位置の分散を特徴量ＣＶeとする。この特徴量ＣＶeの値が大きければ周期の変動が大きく、特徴量ＣＶeの値が小さければ周期の変動が小さい。なお、特徴量ＣＶeは、音声信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置の標準偏差等を用いることもできる。
【００５４】
推定部４０は、特徴量検出部３０で検出された複数の特徴量を用いて、視聴者６０の状況を推定する。図２０は、特徴量検出部３０で検出された特徴量ＣＶa，ＣＶb，ＣＶc，ＣＶd，ＣＶeを用いて、視聴者６０の状況を推定する場合を示している。動きの大きさを示す特徴量ＣＶaやパワースペクトルの重心を示す特徴量ＣＶcが、基準レベルよりも大きいときには、例えば「手拍子」あるいは「拍手」のいすれかの状態と推定する。また、基準レベルよりも小さいときには、「笑い」あるいは「その他の動作」のいずれかの状態と推定する。なお、基準レベルは、各特徴量に応じて予め設定されるものであり、以下の場合も同様である。
【００５５】
例えば、図２１Ａに示すように、特徴量ＣＶaが基準レベルＬv1よりも大きいときには「手拍子」あるいは「拍手」のいすれかの状態と推定すると共に、基準レベルＬv1以下であるときには、「笑い」あるいは「その他の動作」のいずれかの状態と推定する。
【００５６】
また、図２１Ｂに示すように、特徴量ＣＶcが基準レベルＬa1よりも大きいときには「手拍子」あるいは「拍手」のいすれかの状態と推定すると共に、基準レベルＬa1以下であるときには「笑い」あるいは「その他の動作」のいずれかの状態と推定する。
【００５７】
次に、動きの周期性を示す特徴量ＣＶbや音声の周期性を示す特徴量ＣＶeは、上述したように、自己相関最大値の分散であることから、特徴量ＣＶ b ，ＣＶ e が大きければ周期の変動が大きいので周期性は小さい。また、特徴量ＣＶ b ，ＣＶ e が小さければ周期の変動が小さので周期性は大きい。したがって、周期性が所定レベルよりも大きいとき、すなわち特徴量ＣＶ b や特徴量ＣＶ e が基準レベルよりも小さいときには「手拍子」の状態と推定する。また、周期性が所定レベルよりも大きくないとき、すなわち特徴量ＣＶ b や特徴量ＣＶ e が基準レベルよりも大きいときには「拍手」の状態と推定する。
【００５８】
例えば、図２２Ａに示すように、特徴量ＣＶbが基準レベルＬv2よりも大きいときには「拍手」の状態と推定すると共に、基準レベルＬv2以下であるときには「手拍子」の状態と推定する。また、図２２Ｂに示すように、特徴量ＣＶeが基準レベルＬa2よりも大きいときには「拍手」の状態と推定すると共に、基準レベルＬa2以下であるときには「手拍子」の状態と推定する。
【００５９】
さらに、音声の周期性を示す特徴量ＣＶdが基準レベルよりも大きいときには「笑い」の状態と推定すると共に、基準レベルよりも小さいときには「その他の動作」の状態と推定する。例えば、図２２Ｃに示すように、特徴量ＣＶdが基準レベルＬa3よりも大きいときには「笑い」の状態と推定すると共に、基準レベルＬa3以下であるときには「その他の動作」の状態と推定する。
【００６０】
また、動きの周期性を示す特徴量ＣＶbの推定結果と音声の周期性を示す特徴量ＣＶeの推定結果の論理積あるいは論理和、例えば「拍手」を論理「０」、「手拍子」を論理「１」として論理演算を行い、演算結果を最終推定結果としても良い。この場合には、動きの周期性に基づく推定結果と音声の周期性に基づく推定結果が異なる場合が生じても、１つの推定結果を得ることができる。
【００６１】
さらに、視聴者６０の状況の推定に用いる特徴量をコンテンツ提供状況に応じて選択して用いるものとしても良い。すなわち、視聴者６０の動きを良好に取得できると共に音声の取得が困難なときには、動きの大きさや周期性を示す特徴量を主として用いることで観客状況を推定する。また、視聴者６０の動きの取得が困難であると共に音声を良好に取得できるときには、音声の音量や周期性を示す特徴量を主として用いることで観客状況を推定する。例えば、図２３に示すように、コンサート等では、○印で示すように、動き大きさや音声の周期性および音声の音量を示す特徴量ＣＶa，ＣＶe，ＣＶdを用いるものとする。また、映画館では、館内が暗いことから、パワースペクトルや音声の周期性および音声の音量を示す特徴量ＣＶc，ＣＶe，ＣＶdを用いるものとする。さらに、スポーツ中継では、コンサート等に比べて音声の周期性が少ないことから、動きの大きさや動きの周期性および音声の音量を示す特徴量ＣＶa，ＣＶb，ＣＶdを用いるものとする。このように、観客状況の推定に用いる特徴量をコンテンツ提供状況に応じて選択することで、より適正な観客状況の推定を行うことができる。
【００６２】
また、複数の特徴量を統合して、統合結果と閾値を比較して観客状況の推定を行うものとしても良い。例えば、動きの大きさや音声の音量等を平均して平均値を算出すると共に、この平均値と閾値を比較して状況推定を行う。あるいは、コンテンツの提供状況に応じて動きの大きさや音声の音量等に重み付けを行い、この重み付けがなされた特徴量の平均値を用いて状況推定を行うこともできる。さらに、特徴量の加算値や線形和すなわち重み付けがなされた特徴量の加算値を算出して、この加算値と閾値を比較した比較結果に基づき状況推定を行うものとしても良い。
【００６３】
出力部５０では、表示器を用いて推定結果を表示する。あるいは、提供しているコンテンツが記録媒体に記録されているコンテンツであるとき、あるいは提供しているコンテンツを記録媒体に記録しているとき、この推定結果を合わせて記録媒体に記録すれば、視聴者が所望の状態となった部分を容易に検索できる。
【００６４】
このように、人が視聴者を観察しなくとも、視聴者６０側の撮影画像を示す画像信号ＳＶや視聴者６０側からの音声を取得して生成した音声信号ＳＡに基づき、視聴者６０側の動きや音声の大きさや周期性等を判別して、視聴者６０の状況を自動的に推定できる。
【００６５】
また、上述の観客状況の推定は、ハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２４に示す。コンピュータは、図２４に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には操作入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５，表示部７１６が接続されている。
【００６６】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された操作入力部７１１から命令が入力されたりすると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００６７】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の推定処理をコンピュータで実行させるための観客状況推定プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて観客状況を推定して、推定結果を信号出力部７１５から出力する。また、記録媒体に観客状況推定プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、観客状況推定プログラムを記録媒体に記録しあるいは記録媒体に記録されている観客状況推定プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、観客状況推定プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した観客状況推定プログラムをコンピュータで実行するものとしても良い。
【００６８】
次に、観客状況推定プログラムについて説明する。図２５は、観客状況推定処理の全体を示すフローチャートを示している。
【００６９】
ステップＳＴ１では、画像信号と音声信号の取り込みを行う。例えば、信号入力部７１４に供給された画像信号ＳＶと音声信号ＳＡを用いて、観客状況の推定を開始する。
【００７０】
ステップＳＴ２では、特徴量の検出を行う。図２６は特徴量ＣＶaの検出動作を示すフローチャートである。また図２７〜図３０は、特徴量ＣＶb，ＣＶc，ＣＶd，ＣＶeの各検出動作を示している。
【００７１】
図２６のステップＳＴ１１では、画像信号ＳＶに基づき肌色領域を抽出する。ステップＳＴ１２では、ステップＳＴ１１で抽出した肌色領域の動きベクトルをブロック毎に算出する。ステップＳＴ１３ではステップＳＴ１２で算出したブロック毎の動きベクトルに基づき、各ブロックの動き量をフレーム毎に平均して平均動き量を算出する。さらに、算出した平均動き量を特徴量ＣＶaとする。
【００７２】
図２７のステップＳＴ２１は、ステップＳＴ１３で算出した平均動き量を用いて自己相関係数を算出する。ステップＳＴ２２では、予め設定された所定区間（ｋフレームまで）分だけ完了した否かを判別して、完了していないときにはステップＳＴ２１に戻る。また完了したときにはステップＳＴ２３に進む。
【００７３】
ステップＳＴ２３では、所定区間分の自己相関係数から最大となる位置を判別してステップＳＴ２４に進む。ステップＳＴ２４では、自己相関最大位置の抽出が検出する動きの周期性に応じて設定された窓幅分だけ行われたか否かを判別する。このステップＳＴ２４で、窓幅分の抽出が完了していないときにはステップＳＴ２１に戻る。また、抽出が完了したときにはステップＳＴ２５に進む。
【００７４】
ステップＳＴ２５は、抽出した自己相関最大位置を用いて分散を算出する。この算出した分散を特徴量ＣＶbとする。
【００７５】
図２８のステップＳＴ３１では、検出する観客状況に応じて設定した時間分の音声信号ＳＡのフーリエ変換を行い、周波数毎のパワーを検出する。ステップＳＴ３２では、重心を算出して周波数に対してパワーの重みを付けた平均、すなわち重心ＣＡを求める。この重心ＣＡを特徴量ＣＶcとする。
【００７６】
図２９のステップＳＴ４１では、予め設定した区間分、例えばフレーム分の音声信号ＳＡを抽出してステップＳＴ４２に進む。ステップＳＴ４２では抽出した音声信号ＳＡの分散を算出して特徴量ＣＶdとする。
【００７７】
図３０のステップＳＴ５１では、音声信号ＳＡの信号レベルの自己相関係数を算出する。ステップＳＴ５２では、自己相関の算出を予め定められた所定区間分だけ完了した否かを判別して、完了していないときにはステップＳＴ５１に戻る。また完了したときにはステップＳＴ５３に進む。
【００７８】
ステップＳＴ５３では、所定区間分の自己相関係数から最大となる位置を判別してステップＳＴ５４に進む。ステップＳＴ５４では、自己相関最大位置の抽出が検出する音声の周期性に応じて設定された窓幅分だけ行われたか否かを判別する。このステップＳＴ５４で、窓幅分の抽出が完了していないときにはステップＳＴ５１に戻る。また、抽出が完了したときにはステップＳＴ５５に進む。
【００７９】
ステップＳＴ５５は、抽出した自己相関最大位置を用いて分散を算出する。この算出した分散を特徴量ＣＶeとする。
【００８０】
このように、動き量や動きの周期性、音声の音量や周期性、パワースペクトルの重心を特徴量として検出する。図２５のステップＳＴ３では、ステップＳＴ２で検出した複数の特徴量に基づいて、観客状況を推定する。図３１は、観客状況推定処理を示すフローチャートである。
【００８１】
ステップＳＴ６１では、平均動き量を示す特徴量ＣＶaあるいはパワースペクトルの重心を示す特徴量ＣＶcの何れかを選択してステップＳＴ６２に進む。
【００８２】
ステップＳＴ６２では、ステップＳＴ６１で特徴量ＣＶaが選択されたか否かを判別する。ここで、特徴量ＣＶaが選択されたときにはステップＳＴ６３に進む。また特徴量ＣＶcが選択されたときにはステップＳＴ７３に進む。
【００８３】
ステップＳＴ６３では、特徴量ＣＶaが基準レベルＬv1よりも大きいか否かを判別する。ここで、特徴量ＣＶaが基準レベルＬv1よりも大きいときにはステップＳＴ６４に進み、大きくないときにはステップＳＴ７４に進む。
【００８４】
ステップＳＴ６４では、観客状況が「手拍子」あるいは「拍手」のいずれかの状態であると推定してステップＳＴ６４に進む。
【００８５】
ステップＳＴ６５では、特徴量ＣＶbあるいは特徴量ＣＶeのいずれかを選択してステップＳＴ６６に進む。ステップＳＴ６６では、ステップＳＴ６５で特徴量ＣＶbが選択されたときステップＳＴ６７に進む。また特徴量ＣＶeが選択されたときにはステップＳＴ７０に進む。
【００８６】
ステップＳＴ６７では、特徴量ＣＶbが基準レベルＬv2よりも大きいか否かを判別する。ここで、特徴量ＣＶbが基準レベルＬv2よりも大きいときにはステップＳＴ６８に進み、観客状況は「拍手」の状態であると推定する。また、特徴量ＣＶbが基準レベルＬv2よりも大きくないときにはステップＳＴ６９に進み、観客状況は「手拍子」の状態であると推定する。
【００８７】
ステップＳＴ６５で特徴量ＣＶeが選択されて、ステップＳＴ６６からステップＳＴ７０に進むと、ステップＳＴ７０では、特徴量ＣＶeが基準レベルＬa2よりも大きいか否かを判別する。ここで、特徴量ＣＶeが基準レベルＬa2よりも大きいときにはステップＳＴ７１に進み、観客状況は「拍手」の状態であると推定する。また、特徴量ＣＶeが基準レベルＬa2よりも大きくないときにはステップＳＴ７２に進み、観客状況は「手拍子」の状態であると推定する。
【００８８】
ステップＳＴ６１で特徴量ＣＶcが選択されて、ステップＳＴ６２からステップＳＴ７３に進むと、ステップＳＴ７３では、特徴量ＣＶcが基準レベルＬa1よりも大きいか否かを判別する。ここで、特徴量ＣＶcが基準レベルＬa1よりも大きいときにはステップＳＴ６４に進む。また、特徴量ＣＶcが基準レベルＬa1よりも大きくないときにはステップＳＴ７４に進む。
【００８９】
ステップＳＴ６３あるいはステップＳＴ７３からステップＳＴ７４に進むと、ステップＳＴ７４では、観客状況が「笑い」あるいは「その他の動作」のいずれかの状態であると推定してステップＳＴ７５に進む。
【００９０】
ステップＳＴ７５では、特徴量ＣＶdが基準レベルＬa3よりも大きいか否かを判別する。ここで、特徴量ＣＶdが基準レベルＬa3よりも大きいときにはステップＳＴ７６に進み、観客状況は「笑い」の状態であると推定する。また、特徴量ＣＶdが基準レベルＬa3よりも大きくないときにはステップＳＴ７７に進み、観客状況は「その他の動作」の状態であると推定する。
【００９１】
このようにして観客状況が推定されると図２５のステップＳＴ４では、この推定結果を示す推定結果信号を信号出力部７１５から出力する。あるいは、表示部７１６に推定結果を表示する。また、記録媒体にコンテンツが記録されており、このコンテンツを再生して信号出力部７１５からコンテンツの画像信号や音声信号を出力する場合には、このコンテンツの再生位置と推定結果を関係付けて記録媒体に記録し、あるいは記憶手段に記憶させるものとしても良い。このようにすれば、コンテンツの内容と観客状況の関係を容易に確認できる。
【００９２】
以上のように観客状況推定プログラムを実行することで、ソフトウェアに基づいても観客状況を推定することができる。
【００９３】
ところで、上述の実施の形態では、動きの大きさを示す特徴量ＣＶa、動きの周期性を示す特徴量ＣＶb、パワースペクトルの重心を示す特徴量ＣＶc、音声の音量を示す特徴量ＣＶd、音声の周期性を示す特徴量ＣＶeを用いて、視聴者６０の状況を推定する場合を示したが、特徴量はこれらに限られるものではない。
【００９４】
図３２は、特徴量検出部の他の構成を示している。この特徴量検出部８０は、特徴量として例えば視聴者６０側の一定時間内における動き量、動きの周期性、一定時間内における音量、音声の周期性を検出する。さらに、音声の周波数成分に関する特徴量を検出するものである。ここで、動き量や音量の検出は、上述の特徴量検出部３０と同様に、１フレーム毎の画像信号や１フレームに対応する期間毎の音声信号を用いて、一定期間内における動き量や音量の検出を行う。また、動きや音声の周期性の検出は、低域フィルタによる帯域制限やフーリエ変換によって低周波成分の検出を行い、検出された低周波成分に基づいて算出する。さらに、音声の周波数成分に関する特徴量の検出は、音声レベルのフーリエ変換結果を用いて行う。
【００９５】
特徴量検出部８０の動き量検出部８１では、平均動き量を検出する。動き周期性検出部８２では、動きの周波数成分に基づいて周期性を検出する。音量検出部８４では、音量を検出すると共に、音声周期性検出部８５では、音声の周波数成分に基づいて周期性を検出する。高周波対低周波成分比算出部８６では、音声の周波数成分に関する特徴量として音声の高周波対低周波成分比を算出する。
【００９６】
図３３は動き量検出部８１の構成を示している。なお、図５に示す動き量検出部３１と対応する部分については同一符号を付している。肌色領域抽出部３１１は肌色領域を抽出すると共に、動きベクトル計算部３１２は肌色領域の動きベクトルを計算する。平均動き量計算部３１３は、式（２）に基づき、フレーム毎に動きベクトルの大きさの平均を計算して、平均動き量Ｗjとする。この算出した平均動き量Ｗjを時間平均計算部８１１と動き周期性検出部８２に供給する。
【００９７】
時間平均計算部８１１では、平均動き量Ｗjを時間方向に平均して時間マクロ動き量ＷＵを算出する。この時間マクロ動き量ＷＵの算出は、移動平均や重み付け移動平均の算出と同様に行う。例えばｎフレーム分の平均動き量Ｗjを用いて時間マクロ動き量ＷＵを算出する場合、ａフレームから（ａ＋ｎ）フレームまでの平均動き量を用いて時間マクロ動き量ＷＵaを算出する。次に、（ａ＋１）フレームから（ａ＋ｎ＋１）フレームまでの平均動き量Ｗjを平均して時間マクロ動き量ＷＵ(a+1)を算出する。以下同様にして、フレーム位置を順次移動させて時間マクロ動き量ＷＵを順次算出すると共に、この時間マクロ動き量を特徴量ＣＷaとする。また、重み付け移動平均を算出する場合には、各フレームの平均動き量に重み付けを行ってから平均して時間マクロ動き量を算出する。さらにフレーム位置を順次移動させて時間マクロ動き量を算出して特徴量ＣＷaとする。この時間マクロ動き量の算出の際に平均するフレーム数は、推定する観客状況に応じて設定する。例えば「手拍子」や「拍手」「笑い」等の状態を推定する場合には、１〜２秒程度のフレーム分の平均動き量Ｗjを用いて時間マクロ動き量ＷＵを算出する。なお、図３４Ａおよび図３４Ｂは、時間マクロ動き量ＷＵである特徴量ＣＷaの時間方向の推移を例示している。
【００９８】
動き周期性検出部８２は、動きベクトルの大きさの平均を示す平均動き量、すなわち検出する動きの周期性に応じて設定された窓幅内の平均動き量Ｗjについてフーリエ変換を行う。このフーリエ変換結果に基づき、平均動き量Ｗjの低周波成分比、すなわちフーリエ変換結果に基づいて、全パワーに対する低周波成分のパワーの比を算出する。ここで、低周波成分の範囲は、検出する状態の周期性に応じて設定する。すなわち、検出する状態の周波数が「ｆa」で、他の状態の周波数が「ｆb」である場合、周波数「ｆa」と周波数「ｆb」との間に閾値を設定して、この閾値以下の成分を低周波成分とする。ここで低周波成分が大きいときには検出する状態であり、低周波成分が少ないときには他の状態であると推定できる。例えば、手拍子の周波数が２Ｈｚ程度で、拍手が５Ｈｚ程度あるときには、この２つの状態の周期が含まれるように窓幅を設定すると共に閾値を２Ｈzと５Ｈzの間に設定して、低周波成分を決定する。このようにして低周波成分比ＥＶaを算出すると共に、この低周波成分比ＥＶaを特徴量ＣＷbとする。また、直流成分を除いて低周波成分比ＥＶaを算出することで、周期性をより明確化できる。
【００９９】
さらに、動き周期性検出部８２は、低域フィルタを用いて時間マクロ動き量ＷＵから低域成分を抽出して、この低域成分と低域フィルタによる帯域制限前の時間マクロ動き量ＷＵとの比を低周波成分比として求め、この低周波成分比を特徴量ＣＷbとしても良い。さらに、帯域フィルタを用いて、直流成分を除くものとすれば、更に精度良く周期性を検出できる。
【０１００】
図３５Ａは周波数の低い状態であるときにフーリエ変換結果を示しており、図３５Ｂは周波数の低い状態でないときにフーリエ変換結果を示している。ここで、閾値を周波数ＬＦaに設定すれば、低周波成分比ＥＶaに基づき、周波数の低い状態であるか否かを判別できる。また、図３６は特徴量ＣＷbの推移を例示したものである。
【０１０１】
図３７は、音量検出部８４の構成を示している。音量検出部８４の分散計算部８４１では、上述の音量検出部３５と同様にして、予め設定した区間、例えばフレーム毎に音声レベルの分散を算出する。時間平均計算部８４２では、時間平均計算部８１１での時間マクロ動き量ＷＵの算出と同様な処理を行い、予め設定した区間、例えばフレーム毎の分散を、推定する観客状況に応じた所定区間分毎に順次用いて移動平均あるいは重み付け移動平均の算出を行い、この算出された移動平均を時間マクロ音量ＷＴとする。さらに、この時間マクロ音量ＷＴを特徴量ＣＷcとする。例えば図３８Ａおよび図３８Ｂは、特徴量ＣＷcの推移を例示したものである。
【０１０２】
このように、フレーム毎に算出した音声レベルの分散を平均化することで、例えば単独フレームの音声レベルが、視聴内容や環境によって変動しても、変動の少ない安定した特徴量を得ることができる。
【０１０３】
音声周期性検出部８５では、音量検出部８４で算出した時間マクロ音量ＷＴのフーリエ変換を行い、このフーリエ変換結果に基づき、全パワーに対する低周波成分のパワーの比を算出する。ここで、低周波成分の範囲は、動き周期性の場合と同様に、検出する音声の周期性に応じて設定する。ここで、低周波成分が大きいときには検出する状態であり、低周波成分が少ないときには他の状態であると推定できる。この音声周期性検出部８５で算出した低周波成分比を特徴量ＣＷdとする。
【０１０４】
また、音声周期性検出部８５では、低域フィルタを用いて時間マクロ音量ＷＴから低域成分を抽出して、この低域成分と低域フィルタによる帯域制限前の時間マクロ音量ＷＴとの比を低周波成分比として求め、この低周波成分比を特徴量ＣＷdとしても良い。図３９は、特徴量ＣＷdの推移を例示したものである。なお、帯域フィルタを用いて、直流成分を除くものとすれば、更に精度良く周期性を検出できる。
【０１０５】
高周波対低周波成分比計算部８６では、フィルタ部３３を介して供給された音声信号ＳＡを例えば推定する観客状況に応じた所定区間分だけ用いてフーリエ変換を行うことで所定区間分のパワーを高周波成分と低周波成分に区分して、高周波対低周波成分比を算出する。さらに、この高周波対低周波成分比を特徴量ＣＷeとする。
【０１０６】
ここで、例えば「拍手」と「笑い」の状態での音声では、「笑い」よりも「拍手」の状態で高い周波数成分が多くなる。このため、高周波対低周波成分比に基づき観客状況を推定することが可能となる。
【０１０７】
なお、高周波対低周波成分比の算出では、高域フィルタによって音声信号ＳＡから高周波成分を分離すると共に、低域フィルタを用いて低周波成分を分離して、得られた高周波成分と低周波成分から高周波対低周波成分比を算出することもできる。図４０は特徴量ＣＷeの推移を例示したものである。
【０１０８】
推定部９０は、特徴量ＣＷa，ＣＷb，ＣＷc，ＣＷd，ＣＷeを用いて、視聴者６０の状態を推定する。図４１は推定動作を示している。動き量を示す特徴量ＣＷaや音量の大きさを示す特徴量ＣＷcが、第１の基準レベルよりも大きいときには、例えば「手拍子」あるいは「拍手」のいすれかの状態と推定する。また、第１の基準レベルよりも低い第２の基準レベルよりも小さいときには、「その他の動作」の状態と推定する。また、第１の基準レベルと第２の基準レベルの範囲内であるときには「笑い」の状態と判断する。
【０１０９】
例えば図４２Ａに示すように、特徴量ＣＷaが基準レベルＬv12よりも大きい部分では、「手拍子」あるいは「拍手」のいずれかの状態と推定する。また図４２Ｂに示すように、特徴量ＣＷaが基準レベルＬv11よりも小さい部分では、「その他の動作」の状態と推定すると共に、基準レベルＬv11〜Ｌv12の範囲は、「笑い」の状態と推定する。
【０１１０】
また、図４３Ａに示すように、特徴量ＣＷcが基準レベルＬa12よりも大きい部分では、「手拍子」あるいは「拍手」のいずれかの状態と推定する。また図４３Ｂに示すように、特徴量ＣＷcが基準レベルＬa11よりも小さい部分では、「その他の動作」の状態と推定すると共に、基準レベルＬa11〜Ｌa12の範囲は、「笑い」の状態と推定する。
【０１１１】
次に、平均動き量の低周波成分比を示す特徴量ＣＷbや音量の低周波成分比を示す特徴量ＣＷdが基準レベルよりも大きいときには「手拍子」の状態と推定すると共に、基準レベルよりも小さいときには「拍手」の状態と推定する。
【０１１２】
例えば図４４Ａに示すように、特徴量ＣＷbが基準レベルＬv13よりも大きい部分では「手拍子」、基準レベルＬv13以下の部分では「拍手」の状態と推定する。また図４４Ｂに示すように、特徴量ＣＷdが基準レベルＬa13よりもよりも大きい部分では「手拍子」、基準レベルＬa13以下の部分では「拍手」の状態と推定する。
【０１１３】
また高周波対低周波成分比を示す特徴量ＣＷeを用いる場合には、図４５に示す推定動作を行う。動きの大きさを示す特徴量ＣＷaや音量の大きさを示す特徴量ＣＶcが、基準レベルよりも大きいときには、例えば「手拍子」あるいは「拍手」または「笑い」のいすれかの状態と推定する。また、基準レベルよりも小さいときには、「その他の動作」の状態と推定する。次に、音声の高周波対低周波成分比を示す特徴量ＣＷeが基準レベルよりも大きいときには「手拍子」あるいは「拍手」の状態と推定すると共に、基準レベルよりも小さいときには「笑い」の状態と推定する。例えば、図４６に示すように、特徴量ＣＷeが基準レベルＬa14よりも大きいときには「手拍子」あるいは「拍手」の状態と推定すると共に、基準レベルＬa14よりも小さいときには「笑い」の状態と推定する。
【０１１４】
動きの低周波成分比を示す特徴量ＣＷbや音量の低周波成分比を示す特徴量ＣＷdが基準レベルよりも大きいときには「手拍子」の状態と推定すると共に、基準レベルよりも小さいときには「拍手」の状態と推定する。さらに、音声の周期性を示す特徴量ＣＶdが基準レベルよりも大きいときには「笑い」の状態と推定すると共に、基準レベルよりも小さいときには「その他の動作」の状態と推定する。
【０１１５】
また、上述したように、動きの低周波成分比を示す特徴量ＣＷbの推定結果と音量の低周波成分比を示す特徴量ＣＷdの推定結果の論理演算を行い、演算結果を最終推定結果としても良い。さらに、視聴者６０の状態の推定に用いる特徴量をコンテンツ提供状況に応じて選択して用いるものとしても良いことは勿論である。
【０１１６】
次に、動きや音声の周波数成分に基づいて特徴量を検出する場合の観客状況推定プログラムについて説明する。なお、この場合、図２５のステップＳＴ３に示す特徴量の検出とステップＳＴ４の推定が異なる処理となり、他の処理は同一であることから、特徴量の検出と推定の処理についてのみ説明する。
【０１１７】
図４７のステップＳＴ８１では、画像信号ＳＶに基づき肌色領域を抽出する。ステップＳＴ８２では、ステップＳＴ８１で抽出した肌色領域の動きベクトルをブロック毎に算出する。ステップＳＴ８３では、ステップＳＴ８２で算出したブロック毎の動きベクトルに基づき、各ブロックの動き量をフレーム毎に平均して平均動き量を算出する。ステップＳＴ８４では、平均動き量が、推定する観客状況に応じて設定された所定区間分算出されたか否かを判別して、所定区間分算出されていないときにはステップＳＴ８１に戻る。また所定区間分算出されたときにはステップＳＴ８５に進む。ステップＳＴ８５では、所定区間分の平均動き量を平均して時間マクロ動き量を算出する。また、この時間マクロ動き量を特徴量ＣＷaとする。
【０１１８】
図４８のステップＳＴ９１は、ステップＳＴ８３で算出した平均動き量を取得すると共に、ステップＳＴ９２では、平均動き量が窓幅分算出されたか否かを判別して、窓幅分算出されていないときにはステップＳＴ９１に戻る。また窓幅分算出されたときにはステップＳＴ９３に進む。ステップＳＴ９３では、窓幅分の平均動き量から低周波成分比を算出する。例えば窓幅分の平均動き量のフーリエ変換やフィルタ処理を行い、全パワーに対する低周波成分のパワー比を低周波成分比として算出し、この低周波成分比を特徴量ＣＷbとする。
【０１１９】
図４９のステップＳＴ１０１では、フレーム期間分の音声信号ＳＡを抽出してステップＳＴ１０２に進む。ステップＳＴ１０２では抽出した音声信号ＳＡの分散を算出してステップＳＴ１０３に進む。ステップＳＴ１０３では、分散が所定期間分算出されたか否かを判別して、所定期間分算出されていないときにはステップＳＴ１０１に戻る。また所定期間分算出されたときにはステップＳＴ１０４に進む。ステップＳＴ１０４では、所定期間分の分散の平均を算出して、算出された時間マクロ音量を特徴量ＣＷcとする。
【０１２０】
図５０のステップＳＴ１１１は、ステップＳＴ１０２で算出した分散を取得すると共に、ステップＳＴ１１２では、分散が窓幅分算出されたか否かを判別して、窓幅分算出されていないときにはステップＳＴ１１１に戻る。また窓幅分算出されたときにはステップＳＴ１１３に進む。ステップＳＴ１１３では、窓幅分の分散を用いて低周波成分比を算出する。例えば窓幅分の分散のフーリエ変換やフィルタ処理を行い、全パワーに対する低周波成分のパワー比を低周波成分比として算出し、この低周波成分比を特徴量ＣＷdとする。
【０１２１】
図５１のステップＳＴ１２１は、窓幅分の音声信号ＳＡについてフーリエ変換を行う。ステップＳＴ１２２では、フーリエ変換結果に基づき高周波成分と低周波成分を分離してステップＳＴ１２３に進む。ステップＳＴ１２３では、高周波対低周波成分比を算出して特徴量ＣＷeとする。
【０１２２】
このように、動き量や動きの低周波成分、音声の音量や低周波成分、音声の高周波対低周波成分比を特徴量として検出する。
【０１２３】
次に、検出した複数の特徴量に基づく、観客状況推定処理を図５２および図５３に示す。なお、図５２は特徴量ＣＷeを用いない場合、図５３は特徴量ＣＷeを用いた場合の処理を示している。
【０１２４】
図５２のステップＳＴ１３１では、動き量を示す特徴量ＣＷaが基準レベルＬv11よりも小さいか否かを判別する。ここで、特徴量ＣＷaが基準レベルＬv11よりも小さくないときにはステップＳＴ１３２に進む。また、基準レベルＬv11よりも小さいときにはステップＳＴ１３３に進み、「その他の動作」の状態と推定する。
【０１２５】
ステップＳＴ１３２では、特徴量ＣＷaが基準レベルＬv12よりも大きいか否かを判別する。ここで、特徴量ＣＷaが基準レベルＬv12よりも大きくないときにはステップＳＴ１３４に進む。また、基準レベルＬv12よりも大きいときにはステップＳＴ１３５に進み、「笑い」の状態と推定する。
【０１２６】
ステップＳＴ１３４では、動きの周期性を示す特徴量ＣＷbが基準レベルＬv13よりも大きいか否かを判別する。ここで、特徴量ＣＷbが基準レベルＬv13よりも大きいときにはステップＳＴ１３６に進み、「手拍子」の状態と推定する。また、基準レベルＬv13よりも大きくないときにはステップＳＴ１３７に進み、「拍手」の状態と推定する。
【０１２７】
なお、図５２では、動きに基づいて観客状況を推定したが、音声に基づいた特徴量ＣＷc，ＣＷdを用いても同様に処理することで観客状況を推定できる。
【０１２８】
高周波対低周波成分比を用いる場合、図５３のステップＳＴ１４１では、動き量を示す特徴量ＣＷaが基準レベルＬv11よりも小さいか否かを判別する。ここで、特徴量ＣＷaが基準レベルＬv11よりも小さくないときにはステップＳＴ１４２に進む。また、基準レベルＬv11よりも小さいときにはステップＳＴ１４３に進み、「その他の動作」の状態と推定する。
【０１２９】
ステップＳＴ１４２では、高周波対低周波成分比を示す特徴量ＣＷeが基準レベルＬa14よりも大きいか否かを判別する。ここで、特徴量ＣＷeが基準レベルＬa14よりも大きいときにはステップＳＴ１４４に進む。また、基準レベルＬa14よりも大きくないときにはステップＳＴ１４５に進み、「笑い」の状態と推定する。
【０１３０】
ステップＳＴ１４４では、動きの周期性を示す特徴量ＣＷbが基準レベルＬv13よりも大きいか否かを判別する。ここで、特徴量ＣＷbが基準レベルＬv13よりも大きいときにはステップＳＴ１４６に進み、「手拍子」の状態と推定する。また、基準レベルＬv13よりも大きくないときにはステップＳＴ１４７に進み、「拍手」の状態と推定する。なお、音声に基づいた特徴量ＣＷc，ＣＷdを用いても同様に処理することでも観客状況を推定できる。
【０１３１】
このように、動きや音声の周波数成分に基づいて特徴量を検出して、この特徴量を用いても観客状況の推定を行うことができる。さらに、動きや音声の周波数成分に基づいて特徴量を検出する場合でも、画像信号に基づいた特徴量の推定結果と音声信号に基づいた特徴量の推定結果について論理積あるいは論理和を算出することで、推定結果が異なる場合が生じても１つの推定結果を得ることができる。また、上述の図２３と同様に、視聴者６０の状況の推定に用いる特徴量をコンテンツ提供状況に応じて選択して用いるものとしても良い。さらに、複数の特徴量から統合値を決定して、この統合値と閾値を比較して観客状況を推定しても良い。
【０１３２】
【発明の効果】
この発明によれば、観客を撮影した画像信号が生成されて、画像信号に基づき、観客の動きの周期性が検出されて、観客状況が、検出結果に基づき推定される。このため、例えば人が観客を観察して、どのような状況であるかを判別しなくとも簡単に観客状況を推定できる。
【図面の簡単な説明】
【図１】観客状況推定装置の構成を示す図である。
【図２】入力部を説明するための図である。
【図３】視聴者側の撮影画像示す図である。
【図４】特徴量検出部の構成を示す図である。
【図５】動き量検出部の構成を示す図である。
【図６】特徴量ＣＶaの推移を示す図である。
【図７】動き周期性検出部の構成を示す図である。
【図８】自己相関係数の算出動作を説明するための図である。
【図９】自己相関係数の推移を示す図である。
【図１０】自己相関最大位置の推移を示す図である。
【図１１】特徴量ＣＶbの推移を示す図である。
【図１２】パワースペクトル検出部の構成を示す図である。
【図１３】音声信号を示す図である。
【図１４】音声信号のフーリエ変換結果を示す図である。
【図１５】特徴量ＣＶcの推移を示す図である。
【図１６】特徴量ＣＶdの推移を示す図である。
【図１７】音声周期性検出部の構成を示す図である。
【図１８】自己相関最大位置の推移を示す図である。
【図１９】特徴量ＣＶeの推移を示す図である。
【図２０】推定動作を示す図である。
【図２１】特徴量に基づいた推定結果（その１）を示す図である。
【図２２】特徴量に基づいた推定結果（その２）を示す図である。
【図２３】観客状況の推定に用いる特徴量とコンテンツ提示状況の関係を示す図である。
【図２４】コンピュータを用いた構成を示す図である。
【図２５】観客状況推定処理の全体を示すフローチャートである。
【図２６】特徴量ＣＶaの検出処理を示すフローチャートである。
【図２７】特徴量ＣＶbの検出処理を示すフローチャートである。
【図２８】特徴量ＣＶcの検出処理を示すフローチャートである。
【図２９】特徴量ＣＶdの検出処理を示すフローチャートである。
【図３０】特徴量ＣＶeの検出処理を示すフローチャートである。
【図３１】観客状況の推定処理を示すフローチャートである。
【図３２】特徴量検出部の他の構成を示す図である。
【図３３】動き量検出部の構成を示す図である。
【図３４】特徴量ＣＷaの推移を示す図である。
【図３５】平均動き量のフーリエ変換結果を示す図である。
【図３６】特徴量ＣＷbの推移を示す図である。
【図３７】音量検出部の構成を示す図である。
【図３８】特徴量ＣＷcの推移を示す図である。
【図３９】特徴量ＣＷdの推移を示す図である。
【図４０】特徴量ＣＷeの推移を示す図である。
【図４１】推定処理（特徴量ＣＷeを用いない場合）示す図である。
【図４２】特徴量に基づいた推定結果（その３）を示す図である。
【図４３】特徴量に基づいた推定結果（その４）を示す図である。
【図４４】特徴量に基づいた推定結果（その５）を示す図である。
【図４５】推定処理（特徴量ＣＷeを用いる場合）示す図である。
【図４６】特徴量に基づいた推定結果（その６）を示す図である。
【図４７】特徴量ＣＷaの検出処理を示すフローチャートである。
【図４８】特徴量ＣＷbの検出処理を示すフローチャートである。
【図４９】特徴量ＣＷcの検出処理を示すフローチャートである。
【図５０】特徴量ＣＷdの検出処理を示すフローチャートである。
【図５１】特徴量ＣＷeの検出処理を示すフローチャートである。
【図５２】観客状況の推定処理（特徴量ＣＷeを用いない場合）を示すフローチャートである。
【図５３】観客状況の推定処理（特徴量ＣＷeを用いる場合）を示すフローチャートである。
【符号の説明】
１０・・・観客状況推定装置、２０・・・入力部、２１・・・撮像部、２２・・・音声取得部、３０，８０・・・特徴量検出部、３１，８１・・・動き量検出部、３２，８２・・・周期性検出部、３３・・・フィルタ部、３４・・・パワースペクトル検出部、３５，８４・・・音量検出部、３６，８５・・・音声周期性検出部、４０，９０・・・推定部、５０・・・出力部、６０・・・視聴者、６１・・・画像表示装置、６２・・・スピーカ、８６・・・高周波対低周波成分比計算部、３１１・・・肌色領域抽出部、３１２・・・動きベクトル計算部、３１３・・・平均動き量計算部、３２１，３６１・・・自己相関計算部、３２２，３６２・・・最大位置抽出部、３２３，３６３，８４１・・・分散計算部、３４１・・・フーリエ変換部、３４２・・・重心計算部、８１１，８４２・・・時間平均計算部、８５１・・・フーリエ変換部、８５２・・・低周波成分比計算部

Claims (5)

  1. 観客を撮影した画像信号を生成する撮像手段と、
    前記画像信号に基づいて、前記観客の動き周期性を検出する動き周期性検出手段と、
    前記観客の動き周期性に基づいて観客状況を推定する推定手段とを有し、
    前記動き周期性検出手段は、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記動き周期性とする
    ことを特徴とする観客状況推定装置。
  2. 前記推定手段では、前記動き周期性が所定レベルよりも大きいときには前記観客状況を手拍子状態、前記所定レベルよりも大きくないときには前記観客状況を拍手状態と推定する
    ことを特徴とする請求項１記載の観客状況推定装置。
  3. 観客を撮影して画像信号を生成し、
    前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記観客の動き周期性として検出し、
    前記観客の動き周期性に基づいて観客状況を推定する
    ことを特徴とする観客状況推定方法。
  4. 前記動き周期性が所定レベルよりも大きいときには前記観客状況を手拍子状態、前記所定レベルよりも大きくないときには前記観客状況を拍手状態と推定する
    ことを特徴とする請求項３記載の観客状況推定方法。
  5. コンピュータに、
    観客を撮影して生成された画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記観客の動き周期性として検出する手順と、
    前記観客の動き周期性に基づいて観客状況の推定を行う手順とを実行させるための観客状況推定プログラム。
JP2002186690A 2002-06-26 2002-06-26 観客状況推定装置と観客状況推定方法および観客状況推定プログラム Expired - Fee Related JP3867627B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002186690A JP3867627B2 (ja) 2002-06-26 2002-06-26 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
US10/602,779 US8392939B2 (en) 2002-06-26 2003-06-24 Audience state estimation system, audience state estimation method, and audience state estimation program
US12/119,844 US8244537B2 (en) 2002-06-26 2008-05-13 Audience state estimation system, audience state estimation method, and audience state estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002186690A JP3867627B2 (ja) 2002-06-26 2002-06-26 観客状況推定装置と観客状況推定方法および観客状況推定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006155979A Division JP4483831B2 (ja) 2006-06-05 2006-06-05 観客状況推定装置と観客状況推定方法および観客状況推定プログラム

Publications (2)

Publication Number Publication Date
JP2004032424A JP2004032424A (ja) 2004-01-29
JP3867627B2 true JP3867627B2 (ja) 2007-01-10

Family

ID=31181970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002186690A Expired - Fee Related JP3867627B2 (ja) 2002-06-26 2002-06-26 観客状況推定装置と観客状況推定方法および観客状況推定プログラム

Country Status (2)

Country Link
US (2) US8392939B2 (ja)
JP (1) JP3867627B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US20040117814A1 (en) * 2003-10-22 2004-06-17 Roye Steven A. Method and apparatus for determining positive audience response
GB2415639B (en) * 2004-06-29 2008-09-17 Sony Comp Entertainment Europe Control of data processing
JP4729927B2 (ja) * 2005-01-11 2011-07-20 ソニー株式会社 音声検出装置、自動撮像装置、および音声検出方法
JP5116679B2 (ja) * 2005-09-15 2013-01-09 株式会社ソニー・コンピュータエンタテインメント 強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置
US8416985B2 (en) * 2006-12-18 2013-04-09 Disney Enterprises, Inc. Method, system and computer program product for providing group interactivity with entertainment experiences
US20090113297A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Requesting a second content based on a user's reaction to a first content
US9582805B2 (en) 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US9513699B2 (en) * 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20140176665A1 (en) * 2008-11-24 2014-06-26 Shindig, Inc. Systems and methods for facilitating multi-user events
US9049345B2 (en) 2008-12-29 2015-06-02 Thomson Licensing Method and system for monitoring a display venue
US20110004474A1 (en) * 2009-07-02 2011-01-06 International Business Machines Corporation Audience Measurement System Utilizing Voice Recognition Technology
US20110265110A1 (en) * 2010-04-23 2011-10-27 Weinblatt Lee S Audience Monitoring System Using Facial Recognition
JP2012129800A (ja) * 2010-12-15 2012-07-05 Sony Corp 情報理装置および方法、プログラム、並びに情報処理システム
WO2012151471A2 (en) * 2011-05-05 2012-11-08 Net Power And Light Inc. Identifying gestures using multiple sensors
WO2012177641A2 (en) * 2011-06-21 2012-12-27 Net Power And Light Inc. Method and system for providing gathering experience
WO2013006324A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation Audio playback system monitoring
EP2749036B1 (en) * 2011-08-25 2018-06-13 Intel Corporation System and method and computer program product for human presence detection based on audio
US8806518B2 (en) * 2012-06-27 2014-08-12 Intel Corporation Performance analysis for combining remote audience responses
DE102012017869B4 (de) * 2012-09-04 2020-01-16 Hagenuk KMT Kabelmeßtechnik GmbH Vorrichtung zur Reduzierung von Störeinflüssen bei der Mantelfehlerortung und Mantelfehlerortungsvorrichtung
JP6494903B2 (ja) * 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
US9500865B2 (en) 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9443144B2 (en) 2013-03-15 2016-09-13 Disney Enterprises, Inc. Methods and systems for measuring group behavior
US9361705B2 (en) 2013-03-15 2016-06-07 Disney Enterprises, Inc. Methods and systems for measuring group behavior
US9792952B1 (en) * 2014-10-31 2017-10-17 Kill the Cann, LLC Automated television program editing
US10300394B1 (en) 2015-06-05 2019-05-28 Amazon Technologies, Inc. Spectator audio analysis in online gaming environments
JP6614547B2 (ja) * 2015-08-17 2019-12-04 パナソニックＩｐマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR101687763B1 (ko) * 2016-04-06 2016-12-20 (주)감성과학연구센터 라이프로깅 데이터를 이용한 동기화 기반 자동 범주화 시스템 및 그 방법
WO2019012974A1 (ja) * 2017-07-14 2019-01-17 シャープ株式会社 情報処理装置、端末装置、情報提供システム、情報処理装置としてコンピュータを機能させるためのプログラム、端末装置としてコンピュータを機能させるためのプログラム、および、情報処理装置の制御方法
US11048920B2 (en) * 2017-11-13 2021-06-29 International Business Machines Corporation Real-time modification of presentations based on behavior of participants thereto
WO2022091297A1 (ja) * 2020-10-29 2022-05-05 日本電気株式会社 観客監視装置、観客監視システム、観客監視方法及び非一時的なコンピュータ可読媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4646145A (en) * 1980-04-07 1987-02-24 R. D. Percy & Company Television viewer reaction determining systems
US4769697A (en) * 1986-12-17 1988-09-06 R. D. Percy & Company Passive television audience measuring systems
US5121428A (en) * 1988-01-20 1992-06-09 Ricoh Company, Ltd. Speaker verification system
US5162832A (en) * 1989-06-20 1992-11-10 Konica Corporation Automatic release camera
WO1991003912A1 (en) * 1989-09-01 1991-03-21 Joseph Enterprises, Inc. Digital acoustic switch
JP3277398B2 (ja) * 1992-04-15 2002-04-22 ソニー株式会社 有声音判別方法
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5459814A (en) * 1993-03-26 1995-10-17 Hughes Aircraft Company Voice activity detector for speech signals in variable background noise
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
JP3319211B2 (ja) * 1995-03-23 2002-08-26 ヤマハ株式会社 音声変換機能付カラオケ装置
US5923337A (en) * 1996-04-23 1999-07-13 Image Link Co., Ltd. Systems and methods for communicating through computer animated images
KR100253203B1 (ko) * 1997-10-29 2000-04-15 구자홍 동영상을 이용한 객체 추출방법
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6377618B1 (en) * 1998-12-30 2002-04-23 Agere Systems Guardian Corp. Auto-correlation system and method for rate detection of a data communication channel
KR100361497B1 (ko) * 1999-01-08 2002-11-18 엘지전자 주식회사 얼굴영역 추출방법
WO2000060575A1 (en) * 1999-04-05 2000-10-12 Hughes Electronics Corporation A voicing measure as an estimate of signal periodicity for a frequency domain interpolative speech codec system
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
JP2001266148A (ja) 2000-03-17 2001-09-28 Yokogawa Electric Corp 公演評価システム
US7266771B1 (en) * 2000-04-21 2007-09-04 Vulcan Patents Llc Video stream representation and navigation using inherent data
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
JP3419754B2 (ja) * 2000-10-30 2003-06-23 株式会社ソニー・コンピュータエンタテインメント 入力音声をキャラクタの動作に反映させるエンタテインメント装置、方法および記憶媒体
EP1244093B1 (en) * 2001-03-22 2010-10-06 Panasonic Corporation Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
WO2003077552A1 (en) * 2002-02-13 2003-09-18 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals

Also Published As

Publication number Publication date
US20040117815A1 (en) 2004-06-17
US8244537B2 (en) 2012-08-14
JP2004032424A (ja) 2004-01-29
US20080263580A1 (en) 2008-10-23
US8392939B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
JP3867627B2 (ja) 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
JP5038483B2 (ja) ビデオデータのデインターレーシング
US6959099B2 (en) Method and apparatus for automatic face blurring
JP4961800B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US6535254B1 (en) Method and device for noise reduction
JP2013126206A (ja) 情報処理装置、情報処理方法およびプログラム
CN100380960C (zh) 用于在运动图像信号中嵌入和检测水印的方法和设备
US20060013441A1 (en) Image monitoring method, image monitoring apparatus and storage media
JP2009501476A (ja) ビデオ時間アップコンバージョンを用いた処理方法及び装置
JPH11509386A (ja) 動作推定の相関処理の改良
JP2005528708A (ja) 現動きベクトルを推定するユニット及び方法
JP2003510983A (ja) 分類適応誤り回復方法及び装置
JP4483831B2 (ja) 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
JP4222753B2 (ja) 分類適応誤り回復方法及び装置
US8385430B2 (en) Video signal processing apparatus and video signal processing method
JP2009003599A (ja) 計測装置および方法、プログラム、並びに記録媒体
WO2006126308A1 (ja) 画像表示付き音楽装置
CN111931754A (zh) 一种样本中目标物的识别方法、系统和可读存储介质
JP2017063402A5 (ja)
JP2004112678A (ja) 映像検索装置
US20090022370A1 (en) Method and apparatus for detecting meaningful motion
Lin et al. Video quality enhancement based on visual attention model and multi-level exposure correction
Gupta et al. DA-IICT at MediaEval 2017: Objective Prediction of Media Interestingness.
US8902360B2 (en) Method for detecting image sequences having linewise repeated data
JP6167483B2 (ja) 再生処理装置、撮像装置および再生処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061002

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees