JP6560503B2 - 盛り上がり通知システム - Google Patents

Description

本発明は、盛り上がり通知システムに関する。

例えば、ある番組の視聴中に、同時刻で放送している他の番組（以下、必要に応じて「裏番組」という）の盛り上がりを知りたいことがある。例えば、歌番組やドラマを視聴しているときに、裏番組でサッカーのライブ中継が放送されている場合には、ゴールシーンや選手の高度なプレイ等の観客が盛り上がるシーンを、ほぼリアルタイムで視聴したいということがある。

このような場合に裏番組を視聴する手段として、例えば２つの番組をテレビスクリーンに２画面表示し、副画面に表示した番組の音声信号を用いて、その音声レベルが所定期間、所定レベル以上継続すると、視聴者に知らせる手法が存在する（例えば、特許文献１参照）。

特許文献１では、副画面に割り当てられた放送映像・音声を一定期間記録することにより、盛り上がり時刻から所定時間だけ遡った映像・音声を再生（スキップバック再生）することができる。

例えば、サッカーのライブ中継等の番組では、ゴールシーンや選手の高度なプレイー等が行われたときに、観客が大きな歓声を挙げるため、特許文献１の手法を用いることで、サッカー以外の番組を視聴中の視聴者は、サッカー番組の盛り上がりをすぐに気づくことができ、その番組を視聴することができる。

特開２００３−１３４４１５号公報

しかしながら、特許文献１の手法では、放送された音声信号レベルを用いているため、例えば番組の合間のコマーシャル（ＣＭ）時の大きな音声や番組テーマ曲等の大きな音声、アナウンサーや解説者の大きな声にも盛り上がっていると判定されてしまう。したがって、例えばサッカー会場の観客の盛り上がりとは無関係なシーンであっても視聴者に盛り上がり通知を行ってしまう場合がある。

本発明は、上述した問題点に鑑みなされたものであり、番組の盛り上がりを高精度に検知し、効率的にユーザ（視聴者等）へ通知することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

一つの態様として、本発明は、番組の撮影現場から音声及び映像を取得する現場情報取得装置と、該現場情報取得装置から得られる前記音声及び映像から検出した前記番組の盛り上がりに対する通知をユーザ端末に通知する通知サーバとを有する盛り上がり通知システムにおいて、前記現場情報取得装置は、前記撮影現場の背景音を入力する音声入力手段と、前記撮影現場の背景映像を撮影する撮像手段とを有し、前記通知サーバは、前記現場情報取得装置から得られる前記背景音及び前記背景映像の特徴量から前記番組の盛り上がりを判定する盛り上がり判定手段と、前記盛り上がり判定手段からの判定結果に基づいて、前記番組に対する盛り上がり通知を要求した前記ユーザ端末に前記通知を行う通知手段とを有し、前記盛り上がり判定手段は、入力された前記背景音の前記特徴量に含まれる音声レベルの予め定めた期間の積分値に基づいて、前記背景音に対応する番組が盛り上がっているかどうかを判定し、撮影された前記背景映像の前記特徴量に含まれる動きベクトルの大きさ又はその積分値、或いは前記背景映像から抽出された、観客を含む人物の顔画像の表情に基づいて、当該背景映像に対応する番組が盛り上がっているかどうかを判定する。

また、一つの態様として、本発明は、番組の撮影現場から音声及び映像を取得する現場情報取得装置と、該現場情報取得装置から得られる前記音声及び映像から検出した前記番組の盛り上がりに対する通知をユーザ端末に通知する通知サーバとを有する盛り上がり通知システムにおいて、前記現場情報取得装置は、前記撮影現場の背景音を入力する音声入力手段と、前記撮影現場の背景映像を撮影する撮像手段と、前記音声入力手段から得られる前記背景音及び前記撮像手段から得られる前記背景映像の特徴量から前記番組の盛り上がりを判定する盛り上がり判定手段とを有し、前記盛り上がり判定手段は、入力された前記背景音の前記特徴量に含まれる音声レベルの予め定めた期間における積分値に基づいて、前記背景音に対応する番組が盛り上がっているかどうかを判定し、撮影された前記背景映像の前記特徴量に含まれる動きベクトルの大きさ又はその積分値、或いは前記背景映像から抽出された、観客を含む人物の顔画像の表情に基づいて、当該背景映像に対応する番組が盛り上がっているかどうかを判定し、前記通知サーバは、前記盛り上がり判定手段からの判定結果に基づいて、前記番組に対する盛り上がり通知を要求した前記ユーザ端末に前記通知を行う通知手段とを有する。

本発明によれば、番組の盛り上がりを高精度に検知し、効率的にユーザへ通知することができる。

盛り上がり通知システムの概略略例を示す図である。 通知サーバの機能構成の一例を示す図である。 盛り上がり通知処理の第１実施例を示すシーケンス図である。 盛り上がり判定から通知処理までの処理の一例を示すフローチャートである。 盛り上がり通知処理の第２実施例を示すシーケンス図である。 本実施形態における設定画面の一例を示す図（その１）である。 本実施形態における設定画面の一例を示す図（その２）である。 通知内容を説明するための図である。

＜本発明について＞
本発明は、例えば、サッカー等のスポーツ番組や歌番組、漫才等の観客が存在するテレビ番組等の撮影現場において、その観客から得られる音声（以下、必要に応じて「背景音」という）や観客を撮影した映像（以下、必要に応じて「背景映像」という）等に基づき、番組の盛り上がりを検出し、検出した結果を盛り上がり通知要求のあった視聴者に通知する。背景音には、アナウンサーや解説者の音声やコマーシャル（ＣＭ）等の音声が含まれず、撮影現場の音声等が入力される。また、背景映像には、アナウンサーや解説者の映像やコマーシャル（ＣＭ）等の映像が含まれず、撮影現場の映像等が入力される。

例えば、撮影現場に、観客の盛り上がりを検出するためのマイク（音声入力手段）やカメラ（撮像手段）等を設置し、マイクから得られた背景音の音声レベルや抑揚等の特徴量や、カメラで撮影した背景映像の動きベクトルの大きさや被写体の変動値等の特徴量等を利用して、番組の盛り上がりを検出する。これにより、高精度に撮影現場（会場等）の盛り上がりを検出し、視聴者に通知することが可能となる。

以下に、上述したような特徴を有する本発明における盛り上がり通知システムを好適に実施した形態について、図面を用いて詳細に説明する。

＜盛り上がり通知システムの概略例＞
図１は、盛り上がり通知システムの概略略例を示す図である。図１に示す盛り上がり通知システム１０は、１又は複数の現場情報取得装置１１−１〜１１−ｎ（以下、必要に応じて「現場情報取得装置１１」と総称する）と、通知サーバ１２と、１又は複数のユーザ端末１３−１〜１３−ｎ（以下、必要に応じて「ユーザ端末１３」と総称する）とを有する。

現場情報取得装置１１と、通知サーバ１２と、ユーザ端末１３とは、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワーク１４により、データの送受信が可能な状態で接続されている。

現場情報取得装置１１は、音声入力手段の一例であるマイク２１と、撮像手段の一例であるカメラ２２と、通信手段２３とを有する。なお、現場情報取得装置１１は、マイク２１又はカメラ２２の一方だけ有していてもよい。

現場情報取得装置１１は、それぞれの所定の番組の撮影現場に設置される。例えば、現場情報取得装置１１は、ある番組でサッカーのライブ中継が行われている場合には、その中継先の競技場等に設置され、また、他の番組で野球中継が行われる場合には、その中継先の野球場等に設置される。

マイク２１は、例えば番組に対応したスポーツ（例えば、サッカー、バスケットボール、ラグビー、野球等）を観戦している観客の歓声等の背景音が取得しやすい位置や方向に配置されるののが好ましいが、これに限定されるものではない。マイク２１は、異なる位置に複数設置されてもよい。

カメラ２２は、例えばスポーツを観戦している観客の顔や体の動きの変化を、撮影した映像（背景映像）から取得しやすい位置や方向に設置されるのが好ましいが、これに限定されるものではない。カメラ２２は、異なる位置に複数設置されてもよい。

通信手段２３は、通信ネットワーク１４を介して通知サーバ１２やユーザ端末１３との間でデータの送受信を行う。通信手段２３は、マイク２１からリアルタイムな背景音の音声信号を取得し、カメラ２２からリアルタイムな背景映像の映像信号を取得する。通信手段２３は、取得した音声信号及び映像信号の一方又は両方を、通信ネットワーク１４を介して通知サーバ１２に送信する。なお、送信時には、現場情報取得装置１１の識別情報や、どの番組に対応する音声又は映像であるかを識別するための情報を付加して送信してもよいが、これに限定されるものではない。

通知サーバ１２は、各現場情報取得装置１１−１〜１１−ｎから得られる音声信号や映像信号に基づいて、その各信号に対応する番組が盛り上がっているか否かを判定する。

また、通知サーバ１２は、現場情報取得装置１１から得られる情報に基づいて、盛り上がっていると判定した場合に、ユーザ端末１３から予め設定された設定情報等に基づいて、その番組の盛り上がり時に通知を要求しているユーザ（ユーザ端末１３）に対して通知を行う。

通知サーバ１２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）でもよく、少なくとも１つの情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバであってもよい。

ユーザ端末１３は、通知サーバ１２から、予め登録した番組に対して、盛り上がり時の通知を受け付ける。ユーザ端末１３は、盛り上がりの通知を受けた場合には、通知内容を画面に表示してユーザ（視聴者）に知らせる。また、ユーザ端末１３は、番組表示アプリケーション等のソフトウェアにより対応する番組を画面に表示させたり、盛り上がり時の前後の映像を含むスキップバック映像等を表示させる処理を行ってもよい。なお、スキップバック映像は、ユーザ端末１３で生成されてもよく、また通知サーバ１２側で生成し、必要に応じてユーザ端末１３に送信してもよい。

ユーザ端末１３は、例えばスマートフォンやタブレット端末、携帯電話等でもよく、ＰＣやテレビ受像機等でもよい。

上述した盛り上がり通知システム１０により、例えば、ユーザが現在視聴していない裏番組の盛り上がりを高精度に検知し、希望者に通知することで、番組の盛り上がったシーンを効率的に視聴することができる。

＜通知サーバ１２の機能構成例＞
次に、上述した通知サーバ１２の機能構成例について、図を用いて説明する。図２は、通知サーバの機能構成の一例を示す図である。図２において、通知サーバ１２は、入力手段３１と、出力手段３２と、記憶手段３３と、設定手段３４と、盛り上がり判定手段３５と、通知手段３６と、通信手段３７と、制御手段３８とを有する。

入力手段３１は、通知サーバ１２のユーザ（例えば、管理者）等から各種指示の入力を受け付ける。入力手段３１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。

出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の表示や出力を行う。出力手段３２は、ディスプレイやスピーカ等からなる。また、出力手段３２は、番組を再生するチューナ等の機能を有していてもよく、出力手段３２から１又は複数の番組を表示出力することができる。

なお、入力手段３１と出力手段３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよい。この場合には、ユーザの指やタッチペン等を用いて画面上の所定の位置をタッチして入力を行うことができる。

記憶手段３３は、本実施形態における盛り上がり判定や通知処理に必要な各種データを記憶する。例えば記憶手段３３は、現場情報取得装置１１から得られる音声（背景音）や映像（背景映像）、ユーザ端末１３からの設定情報等を記憶する。

また、記憶手段３３は、盛り上がり判定結果や、各番組に対する所定時間分の映像（スキップバック映像）等を記憶する。例えば、盛り上がり毎に、その盛り上がりを検知した時刻から数分前、又は数秒前後の所定時間分の番組映像（音声を含んでもよい）をスキップバック映像として記憶する。

なお、記憶手段３３に記憶するデータ例は、これに限定されるものではない。また、記憶手段３３は、必要に応じて記憶している各種データを読み出したり、各種データ書き込んだりすることができる。

設定手段３４は、現場情報取得装置１１からの音声信号や映像信号等から盛り上がりを検出したときに、その旨の通知を行うか否かの設定の入力を受け付ける。設定手段３４は、例えばウェブ画面等により提示された番組表に対して、ユーザ端末１３を介してユーザが選択した番組情報を受け付ける。

例えば、設定手段３４は、番組表として時間帯毎に配列して表示された各チャンネルの番組情報（以下、必要に応じて「番組欄」という）のうち、盛り上がり通知可能な番組の番組欄に「盛り上がり通知」ボタン等を付加する。ユーザは、盛り上がり通知を受けたい番組に「盛り上がり通知」ボタンが付加されている場合、そのボタンを押下する。これにより、設定手段３４は、「盛り上がり通知」ボタンが押された番組情報を、盛り上がり通知対象として受け付けることができる。また、設定手段３４は、「盛り上がり通知」ボタンを押した場合に、盛り上がりレベルの設定画面等を表示し、ユーザからレベル等の詳細設定を受け付けてもよい。

また、設定手段３４は、例えば予め設定された番組表から選択されたある時間帯における各チャンネルの番組と、その番組毎に盛り上がり通知を行うか否かを選択させるための画面を表示し、表示画面からユーザが選択した情報を設定情報として受け付けてもよい。

また、設定手段３４は、選択した番組情報に対して盛り上がり通知をする場合の盛り上がりレベル等の設定を受け付けてもよい。例えば、設定手段３４は、盛り上がりのレベルが多段階（例えば、５段階）に設定できる場合に、どのレベルまで盛り上がった状態で通知を受けるかを番組毎に設定することができる。

また、設定手段３４は、ユーザから嗜好情報（例えば、好きな番組のジャンル、スポーツ、食べ物等）や年齢、性別等の個人情報等の入力を受け付けてもよい。この場合、設定手段３４は、例えば、受け付けた嗜好情報と、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等から得られる番組のジャンルや要約とを比較し、その類似度等に応じて、自動で各番組を盛り上がり通知の対象とする設定や盛り上がり通知するレベルの設定を行ってもよい。これにより、ユーザの設定に対する負担を軽減することができる。設定手段３４により受け付けた情報は、記憶手段３３により記憶される。

盛り上がり判定手段３５は、現場情報取得装置１１から得られる音声や映像を用いて、その番組（観客、会場）が盛り上がっているか否かを判断する。例えば、サッカー中継や野球中継を行うときや、漫才番組、歌番組の制作現場では、観客の近くで観客に向けてマイク２１やカメラ２２等が設置される。

盛り上がり判定手段３５は、マイク２１から得られる背景音の音声レベルや抑揚等の特徴量から、例えばマイク２１の入力音声レベルが一定以上になったり、一定期間のマイク２１の入力音声レベルの積分値が一定以上になったときに、その背景音に対応する番組が盛り上がっていると判定する。

また、盛り上がり判定手段３５は、カメラ２２で撮影した背景映像に対し、画像処理によりオプティカルフロー等の動きベクトルの特徴量が計算され、この特徴量から、例えば動きベクトルが一定以上の大きさになったり、一定期間の動きベクトルの積分値が一定以上になったときに、その背景映像に対応する番組が盛り上がっていると判定する。オプティカルフローとは、映像（時間的に連続する画像）の中で、物体の動きをベクトルで表したものである。

また、例えば、漫才番組等の場合における盛り上がり判定としては、客の動きというよりも顔表情がどれだけ笑っているかが重要になる。そこで、盛り上がり判定手段３５は、例えばカメラ２２で撮影した背景映像から観客等の人物の顔画像を抽出し、その顔の表情を解析し、所定の表情（例えば、大きく口を開けて笑う、喜ぶ等）になった場合に、その背景映像に対応する番組が盛り上がっていると判定してもよい。

顔画像の抽出については、例えば予め設定された顔の特徴情報（例えば、目、鼻、口等の各部の色情報や、各部の相対位置情報）等に基づいて抽出することができる。また、顔の表情の解析については、例えば抽出した顔画像から得られる顔の特徴情報と、予め設定された各表情の特徴情報とを比較し、その類似度等に基づいて、表情を特定することができる。なお、顔画像の抽出手法や表情の解析手法等については、上述の例に限定されるものではない。

また、盛り上がり判定手段３５は、マイク２１とカメラ２２とからそれぞれ得られる各特徴量から動きベクトルと入力音声レベルが一定以上の大きさ、或いは、これらの時系列数値が一定の条件を満たしたときに、その背景音、背景映像に対応する番組が盛り上がっていると判断する。また、盛り上がり判定手段３５は、特徴量の大きさと閾値とに基づいて、盛り上がりのレベルを判定してもよい。

また、盛り上がり判定手段３５における判定手法は、これに限定されるものではなく、例えば撮影現場やテレビ放送を視聴しているサービス提供者が盛り上がりを判断してもよい。また、盛り上がり判定手段３５は、例えば特許第３９８３５３２号公報等に記載されている場面抽出手法における音声信号の特徴量（音声信号のパワーレベル値の統計解析等により得られる特徴量）等を用いて盛り上がりを検出してもよい。

盛り上がり判定手段３５は、各現場情報取得装置１１から得られるそれぞれの音声信号又は映像信号に対して盛り上がり判定を行ってもよく、同一の撮影現場に複数の現場情報取得装置１１設置された場合には、それらの判定結果を統合して最終的な盛り上がり判定を行ってもよい。

通知手段３６は、盛り上がり判定手段３５により盛り上がっていると判定された番組に対して、設定手段３４により、その番組の盛り上がりに応じて通知する旨の設定をされているユーザ（ユーザ端末１３）を選択し、選択されたユーザ端末１３に対して通知を行う。

また、通知手段３６は、ユーザ端末１３から現時点で盛り上がっている、又は最近盛り上がった番組があるか否かの問い合わせ要求に対して、対応する番組があれば、その内容を要求のあったユーザ端末１３に通知してもよい。

また、通知手段３６は、設定手段３４により通知対象の盛り上がりレベルが設定されている場合、特徴量から得られる盛り上がりレベルが、通知対象の盛り上がりレベルの条件を満たす場合に、ユーザに通知を行ってもよい。

なお、通知手段３６が通知する内容としては、盛り上がっている番組のチャンネルや盛り上がった時刻、盛り上がりレベル等であるが、これに限定されるものではない。

通信手段３７は、例えばインターネット等に代表される通信ネットワーク１４を介して接続される通知サーバ１２やユーザ端末１３等の外部装置等とデータの送受信を行う。なお、通信手段３７は、外部装置等から既に記憶されている映像や音声等や処理プログラム等を受信することができ、また通知サーバ１２で解析された結果を、通信ネットワーク１４を介して外部装置に送信することもできる。

制御手段３８は、通知サーバ１２の各構成部全体の制御を行う。具体的には、制御手段３８は、例えばユーザ等による入力手段３１からの指示等に基づいて、設定手段３４による各種設定や、盛り上がり判定手段３５による盛り上がり判定、通知手段３６による盛り上がり通知等の制御を行うが、制御内容はこれに限定されるものではない。

＜盛り上がり通知処理の第１実施例＞
次に、本実施形態における盛り上がり通知処理の第１実施例について、図を用いて説明する。図３は、盛り上がり通知処理の第１実施例を示すシーケンス図である。図３に示す第１実施例では、便宜上、複数の取得装置（図３の例では、現場情報取得装置１１−１，１１−２）と、通知サーバ１２と、複数のユーザ端末（図３の例では、ユーザ端末１３−１，１３−２）とを有するが、これに限定されるものではない。

図３に示す第１実施例において、まずユーザ端末１３−１，１３−２は、通知サーバ１２にアクセスし、盛り上がり通知を受ける対象番組の設定登録を行う（Ｓ０１，Ｓ０２）。通知サーバ１２は、それぞれのユーザ端末１３−１，１３−２の設定内容を記憶する（Ｓ０３）。次に、ユーザ端末１３−１，１３−２は、それぞれのユーザが番組を視聴する（Ｓ０４，Ｓ０５）。なお、視聴している番組は、設定した番組でもよく、設定していない番組でもよい。また、説明の便宜上、視聴している番組は、設定登録した番組の放送時間と同時刻に放送された番組とするが、これに限定されるものではない。また、ユーザ端末１３は、番組を視聴していなくてもよい。

次に、それぞれの撮影現場にある現場情報取得装置１１−１，１１−２は、リアルタイムに放送されている番組等に対応させて、その現場にいる観客等から得られる音声及び映像を取得し（Ｓ０６〜Ｓ０９）、取得した音声及び映像を通知サーバ１２に送信する（Ｓ１０，Ｓ１１）。なお、第１実施例では、音声及び映像のうち、何れかの信号を取得して通知サーバ１２に送信してもよい。

通知サーバ１２は、現場情報取得装置１１−１，１１−２から得られる音声及び映像に基づいて盛り上がり判定を行い（Ｓ１２）、盛り上がっている番組に対してＳ０１，Ｓ０２における設定により、通知を希望しているユーザ端末１３を選択する（Ｓ１３）。図３の第１実施例では、ユーザ端末１３−１が通知を希望しているものとして説明する。

通知サーバ１２は、ユーザ端末１３−１に登録した番組が現在盛り上がっている旨の通知を行う（Ｓ１４）。ユーザ端末１３−１は、通知された番組の内容を確認し、通知された番組に合わせた通知を行い（Ｓ１６）、ユーザからの指示により対象の番組表示等を行う（Ｓ１７）。

例えば、Ｓ１６処理では、通知を受けた番組が、例えばＳ０４の処理で視聴中の番組と同一である場合には、すでにユーザ端末１３−１のユーザは、リアルタイムに盛り上がりシーンを見ているため、その場合には、通知を行わないといった処理を行ってもよい。

また、Ｓ１７の処理では、対象の番組表示を行わなくてもよく、ユーザ端末１３以外の装置（例えば、プロジェクタ、テレビ受像機等）を用いて番組表示してもよい。

＜盛り上がり判定から通知までの処理の具体例＞
次に、上述したＳ１２〜Ｓ１４の処理における盛り上がり判定から通知までの処理の具体例について、図を用いて説明する。図４は、盛り上がり判定から通知処理までの処理の一例を示すフローチャートである。図４の例において、通知サーバ１２は、現場情報取得装置１１から音声信号を取得し（Ｓ２１）、取得した音声の特徴量を解析する（Ｓ２２）。また、通知サーバ１２は、現場情報取得装置１１から映像信号を取得し（Ｓ２３）、取得した映像の特徴量を解析する（Ｓ２４）。

次に、通知サーバ１２は、取得した音声や映像に対応する番組が盛り上がっているか否かを判断する（Ｓ２５）。なお、Ｓ２５の処理では、音声から得られる特徴量のみを用いて盛り上がり判定を行ってもよく、映像から得られる特徴量のみを用いて盛り上がり判定を行ってもよい。音声の特徴量のみから盛り上がり判定を行う場合には、Ｓ２３、Ｓ２４の処理は必要なく、映像の特徴量のみから盛り上がり判定を行う場合には、Ｓ２１、Ｓ２２の処理は必要ない。

Ｓ２５の処理において、盛り上がっていると判断した場合（Ｓ２５において、ＹＥＳ）、予め設定された閾値と比較し、盛り上がりレベルを設定する（Ｓ２６）。Ｓ２６の処理では、音声レベルの大きさ又は映像の動きベクトルの大きさ等に基づいて盛り上がりレベルを設定することができる。例えば、音声入力レベルが１００より大きい場合に盛り上がりレベルを５とし、音声入力レベルが８０〜１００の場合に盛り上がりレベルを４とし、音声入力レベルが６０〜８０の場合に盛り上がりレベルを３とし、音声入力レベルが４０〜６０の場合に盛り上がりレベルを２とし、音声入力レベルが４０未満の場合に盛り上がりレベルを１とする等の設定を行うことができるが、これに限定されるものではない。

また、Ｓ２６の処理後、予めユーザ端末１３毎に登録された設定情報に基づき、盛り上がり判定を行った音声や映像等に対応する対象の番組で、Ｓ２６で設定された盛り上がりレベル以下の条件で通知要求を設定したユーザがいるか否かを判断し（Ｓ２７）、ユーザがいる場合（Ｓ２７において、ＹＥＳ）、そのユーザに盛り上がり情報を通知する（Ｓ２８）。

上述したＳ２７の処理では、例えばＳ２６の処理で設定された盛り上がりレベルが「４」である場合、同一の番組であって盛り上がりレベルを１〜４に設定しているユーザが通知対象のユーザとなるが、これに限定されるものではない。例えば、Ｓ２６で設定された盛り上がりレベルが「４」である場合、同一の番組であって盛り上がりレベルが一致する（「４」である）ユーザのみを通知対象としてもよい。

上述したＳ２８の処理では、例えば、所定時間間隔毎に行ってもよく、例えば一度盛り上がり通知を送ったユーザに対しては、Ｓ２６の処理で盛り上がりレベルの設定が変更された場合にのみ、再度の通知を送ってもよい。これにより、ユーザが同じ通知を何度も受け取ることを防止することができる。

Ｓ２８の処理後、Ｓ２５の処理において、盛り上がっていると判定されなかった場合（Ｓ２５において、ＮＯ）、又はＳ２７の処理において、対象の番組で盛り上がりレベル以下に設定したユーザがいない場合（Ｓ２７において、ＮＯ）、処理を終了するか否かを判断し（Ｓ２９）、処理を終了しない場合（Ｓ２９において、ＮＯ）、Ｓ２１の処理に戻る。また、Ｓ２９の処理において、処理を終了する場合（Ｓ２９において、ＹＥＳ）、上述した処理を終了する。

なお、上述した図４に示す例では、Ｓ２６の処理において、盛り上がりレベルを設定し、Ｓ２７の処理において、設定した盛り上がりレベルと、ユーザが設定した盛り上がりレベルとを比較して通知対象のユーザを決定していたが、これに限定されるものではない。例えば、Ｓ２６の処理を省略し、Ｓ２７の処理において、対象の番組を盛り上がり通知設定したユーザがいるか否かを判断することで、通知対象のユーザを決定してもよい。

＜盛り上がり通知処理の第２実施例＞
次に、本実施形態における盛り上がり通知処理の第２実施例について、図を用いて説明する。図５は、盛り上がり通知処理の第２実施例を示すシーケンス図である。図５に示す第２実施例では、便宜上、複数の取得装置（図５の例では、現場情報取得装置１１−１，１１−２）と、通知サーバ１２と、複数のユーザ端末（図５の例では、ユーザ端末１３−１，１３−２）とを有するが、これに限定されるものではない。

図５に示す第２実施例において、まずユーザ端末１３−１は、自己の端末に盛り上がりの番組設定を行い、同一番組又は他の番組の番組表示を行う（Ｓ３１，Ｓ３２）。また、ユーザ端末１３−２も同様に自己の端末に盛り上がりの番組設定を行い、同一番組又は他の番組表示を行う（Ｓ３３，Ｓ３４）。Ｓ３２、Ｓ３４の処理では、Ｓ３１、Ｓ３３で設定した盛り上がりを通知する番組と同時刻に放送される番組を表示している例を示している。

次に、それぞれの撮影現場にある現場情報取得装置１１−１，１１−２は、リアルタイムに放送されている番組等に対応させて、その現場にいる観客等から得られる音声及び映像を取得し（Ｓ３５〜Ｓ３８）、取得した音声及び映像を通知サーバ１２に送信する（Ｓ３９，Ｓ４０）。なお、第２実施例では、音声及び映像のうち、何れかの信号を取得して通知サーバ１２に送信してもよい。

通知サーバ１２は、現場情報取得装置１１−１，１１−２から得られる音声及び映像に基づいて盛り上がり判定を行い（Ｓ４１）、盛り上がっていると判定された番組情報を登録しておく（Ｓ４２）。なお、盛り上がっていると判定された番組は、ユーザ端末１３−１，１３−２の問い合わせ間隔より長い所定時間登録を維持する。

ユーザ端末１３−１，１３−２は、それぞれＳ３２及びＳ３４の処理で、ある番組を表示しながら、裏番組の盛り上がり状態を所定の時間間隔（例えば、数秒〜数十秒程度の間隔）で通知サーバ１２に問い合わせを行う（Ｓ４３，Ｓ４４）。この場合、ユーザ端末１３−１，１３−２は、それぞれＳ３１及びＳ３３の処理により設定された盛り上がりを通知する対象番組の情報を通知サーバ１２に通知する。

通知サーバ１２は、現時点で登録されている盛り上がり番組の情報の中で、各ユーザ端末１３−１，１３−２から取得した盛り上がりの通知対象の番組と一致する番組があった場合に、その盛り上がり番組の情報の結果を送信する（Ｓ４５）。なお、一致する番組がなかった場合には、その旨を示す情報を送信する（Ｓ４６）。

ユーザ端末１３−１は、通知サーバ１２から得られた内容の通知を行い（Ｓ４７）、第１実施例と同様に、ユーザ指示等に応じて番組を表示する（Ｓ４８）。

なお、Ｓ４７の処理では、通知サーバ１２から通知された番組が、Ｓ３２の番組表示処理で、すでにユーザが視聴している場合には、通知を行わない。

また、ユーザ端末１３−２は、通知サーバ１２から設定した番組に対する盛り上がりがなかった旨の通知であるため、その後の処理を行わない。

上述したように、第２実施例では、第１実施例のように通知サーバに盛り上がり通知対象の番組を登録する必要がなく、各ユーザ端末１３に設定しておき、通知サーバ１２への問い合わせのときに、盛り上がり通知対象番組により得られる盛り上がり通知の内容と、各ユーザ端末１３の設定情報とを比較して、条件に当てはまる場合に、ユーザに通知を行う。

なお、本実施形態では、上述した第１実施例及び第２実施例の一部又は全部を組み合わせてもよい。

更に、上述した第１実施例及び第２実施例では、通知サーバ１２が、現場情報取得装置１１−１，１１−２からそれぞれ得られる音声及び映像に基づいて盛り上がり判定を行っているが、これに限定されるものではなく、例えば現場情報取得装置１１−１，１１−２のそれぞれに上述した盛り上がり判定手段３５の機能を設けてもよい。

その場合、現場情報取得装置１１−１，１１−２は、各装置内で得られた音声及び映像に基づいて盛り上がり判定を行い、例えばその番組が盛り上がっていると判定された場合、又はその番組が所定のレベルまで盛り上がっていると判定された場合に、現時点で盛り上がっている旨の通知を通知サーバ１２に送信する。

また、送信された通知サーバ１２は、上述した盛り上がり判定手段３５の機能を設けなくてもよく、現場情報取得装置１１−１，１１−２の少なくとも１つから盛り上がっている旨の通知を受けた場合に、その装置から得られる音声及び映像に対応する番組の盛り上がり通知を希望しているユーザ端末１３に通知したり、盛り上がっている番組情報を登録する。

また、他の例として、現場情報取得装置１１−１，１１−２は、各装置内で得られた音声及び映像に基づく盛り上がり判定で、その番組が盛り上がっていると判定された場合に、その音声及び映像を通知サーバ１２に送信してもよい。この場合、通知サーバ１２は、取得した音声及び映像を用いて、盛り上がっていると判定された番組情報に対して、ユーザ毎に設定された基準（レベル）に基づく盛り上がり判定を行い、所定のレベルまで盛り上がっていると判定された場合に、対象のユーザ端末１３に通知したり、盛り上がっている番組情報を登録してもよい。

上述したような実施形態にすることで、例えば通信ネットワーク１４に余計な音声や映像を送信することがないため、通信量を少なくすることができる。また、通信エラーやデータ損失等による影響も少なくなるため、盛り上がり通知システム１０全体の安定性を確保することができる。

＜設定情報＞
次に、本実施形態におけるユーザ端末１３の設定情報について、図を用いて説明する。図６、図７は、本実施形態における設定画面の一例を示す図（その１，その２）である。

図６に示す設定画面４０−１及び図７に示す設定画面４０−２は、例えばユーザ端末１３が通知サーバ１２にアクセスした際に、設定手段３４等によりウェブ画面上に表示される画面（ブラウザ表示画面）であるが、これに限定されるものではなく、例えば専用のアプリケーション等を用いて通知設定を行う場合には、そのアプリケーションにより提示される画面であってもよい。

図６に示す設定画面４０−１には、例えばＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等の番組表が表示されている。図６の例では、ある時刻（例えば、１２月２６日（金）の１９：００〜）の各チャンネル（ＣＨ１〜）の番組情報が表示されている。図６に示す番組表には、番組のタイトルや番組の開始時刻、番組要約等が表示され、更に出演者の名前、モノラル／ステレオ・二カ国語放送等の区別、字幕の有無等も表示することができる。なお、表示される内容については、これに限定されるものではない。

また、図６に示す設定画面４０−１には、盛り上がり通知可能な番組欄に、盛り上がり通知を行うか否かをユーザに選択させる選択部の一例として、「盛り上がり通知」ボタン４１が表示されている。ユーザは、盛り上がり通知を受けたい番組を選択し、その番組の「盛り上がり通知」ボタン４１を押下することで、その番組情報を、盛り上がり通知対象として受け付けることができる。

また、図７に示す設定画面４０−２には、例えばＥＰＧ等の番組表からユーザが選択した、ある時刻（例えば、２０１４年１２月２８日（日） １９：００〜）の各チャンネルの番組情報が表示されている。図７の例に示す設定画面４０−２は、各チャンネル（ＣＨ１〜）に対応する番組のタイトル、及びその番組に対してユーザが盛り上がりを通知するか否かを示す通知設定領域４２を有する。また、設定画面４０−２は、ユーザが、通知設定領域４２において「盛り上がりを通知する」を設定した場合に、通知対象の盛り上がりレベルを設定するレベル設定領域４３を有する。図７の例では、５段階でレベルを設定することができるが、これに限定されるものではない。また、予めレベルの初期値を設定しておくことでユーザの設定負担を軽減することができる（図７の例では、初期値レベル「３」）。なお、図６に示す設定画面４０−１についても、ユーザが「盛り上がり通知」ボタン４１を押下した後に、上述したレベル設定領域４３を表示して、ユーザにレベル設定をさせてもよい。

このように、通知対象の盛り上がりレベルを番組毎に調整することで、盛り上がりを検出した場合でも、どの程度の盛り上がりに対して通知させるのかをユーザの好みに応じて設定することができる。したがって、興味のある番組は、盛り上がりレベルが低いものであっても通知対象とし、興味のない番組については、盛り上がりレベルが高い場合のみ通知対象とすることができる。

例えば、図７の例では、ＣＨ２のサッカー中継に対して盛り上がりを通知するよう設定している。通知サーバ１２は、ＣＨ２のサッカー中継に対応する背景音又は背景映像から盛り上がりを検出し、盛り上がりレベルが３以上であった場合に、図７の設定を行ったユーザ端末１３に通知する。ユーザ端末１３は、他のチャンネル（例えば、歌祭り）を見ている場合に、その画面に、ポップアップ画面や副画面等を用いてユーザに通知を行う。

また、図７の例では、例えばユーザ端末１３が、所定の時間間隔で通知サーバ１２にアクセスし、盛り上がりの状況を確認する。そして、例えばユーザが歌番組を視聴している時に、サッカーが盛り上がっていない状態から盛り上がった状感に変わるとポップアップ画面や副画面等を用いてユーザに通知を行ってもよい。

ここで、図８は、通知内容を説明するための図である。本実施形態では、通知を表示する際、例えば図８（Ａ）に示すように、視聴している番組画面５０上に、ポップアップ画面５１を表示して視聴者（ユーザ）に通知する。視聴者は、ポップアップ画面の「はい」ボタンを押すことで、チャンネルをサッカー番組に切り替えて表示することができる。

また、盛り上がりを検出してから、チャンネルを切り替えるとサッカーのゴールシーンが終わっているということがある。そのため、ユーザ端末１３は、盛り上がり通知を受けた番組に対して、盛り上がりのあった前後（例えば、５〜１０秒程度）の番組映像（スキップバック映像）をハードディスク等の記憶手段等に記憶しておくことで、通知を受けてから少し遡った時点から再生（スキップバック再生）することができる。また、ユーザ端末１３は、上記のスキップバック映像を通知サーバ１２に要求し、通知サーバ１２から通信ネットワーク１４を経由して取得したスキップバック映像を再生してもよい。なお、盛り上がり通知を受けた番組に対してスキップバック再生を行うか、リアルタイム再生を行うかについては、予め番組毎に設定しておいてもよく、ユーザがその都度選択してもよい。

なお、盛り上がりの通知手法としては、上述の例に限定されるものではなく、例えば音声で通知してもよく、図８（Ｂ）に示すように盛り上がりが通知された番組を副画面５２で表示して、ユーザに通知してもよい。図８（Ｂ）の例では、図８（Ａ）に示すポップアップ画面や音声で知らせる方法と比較して、盛り上がっている状況を迅速にユーザが確認できるため、チャンネルを切り替えるかどうかを判断しやすくすることができる。

また、通知手法としては、例えば図８（Ｃ）に示すようにユーザ端末１３と有線又は無線で接続されたプロジェクタを用いて、番組画面５０を視聴している部屋（実空間）６０の壁６１や予め設置されたスクリーン等に、放送局等から得られるサッカーの放送映像６２をプロジェクタから照射して、盛り上がりを通知してもよい。この場合、図８（Ａ）、（Ｂ）と比較して、番組画面５０の視聴映像の邪魔をせずに、盛り上がりの雰囲気を一目で把握することができる。

また、通知手法としては、例えば、ユーザ端末１３が有するメール機能やＬＩＮＥ（登録商標）等のインスタントメッセンジャー機能を用いて通知を行ってもよい。また、上述したような通知手法は、番組毎に異なる通知を行ってもよい。その場合、どの番組にどのような通知を行うかを事前に設定しておくことが好ましい。

また、本実施形態において、同時に複数の番組で盛り上がりを検出した場合には、それぞれについて通知してもよく、予め番組毎に優先度（例えば、スポーツ優先、ＣＨ１を優先等）を設定しておき、その優先度が一番高いもの、又は優先度順に通知を行ってもよい。

上述した通知システムの内容は、ＰＣで番組を視聴することを前提として説明したが、テレビに盛り上がり通知設定機能、通知サーバ１２との通信機能、プロジェクタ等への出力機能を実装した装置を有していてもよい。また、通知を受けるときに番組を視聴していなくてもよい。また、本実施形態では、上述した盛り上がり判定を、現場情報取得装置１１が行い、盛り上がっていると判定した場合に通知サーバ１２に通知してもよい。

また、本実施形態では、盛り上がりを通知するシステムを説明したが、盛り上がり以外の内容を通知してもよく、また盛り上がりシーンの前後一定時間の区間の映像、音声を繋げていき，ダイジェスト番組を生成してもよい。

上述したように本発明によれば、番組の盛り上がりを高精度に検知し、番組の盛り上がったシーンを効率的に通知することができる。また、番組の盛り上がりを希望者に通知することで、番組の盛り上がったシーンを迅速にユーザに視聴させることが可能となる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

１０ 盛り上がり通知システム
１１ 現場情報取得装置
１２ 通知サーバ
１３ ユーザ端末
１４ 通信ネットワーク
２１ マイク（音声入力手段）
２２ カメラ（撮像手段）
２３，３７ 通信手段
３１ 入力手段
３２ 出力手段
３３ 記憶手段
３４ 設定手段
３５ 盛り上がり判定手段
３６ 通知手段
３８ 制御手段
４０ 設定画面
４１ 「盛り上がり通知」ボタン
４２ 通知設定領域
４３ レベル設定領域
５０ 番組画面
５１ ポップアップ画面
５２ 副画面
６０ 部屋（実空間）
６１ 壁
６２ 放送映像

Claims (7)

1. 番組の撮影現場から音声及び映像を取得する現場情報取得装置と、該現場情報取得装置から得られる前記音声及び映像から検出した前記番組の盛り上がりに対する通知をユーザ端末に通知する通知サーバとを有する盛り上がり通知システムにおいて、
   前記現場情報取得装置は、
   前記撮影現場の背景音を入力する音声入力手段と、
   前記撮影現場の背景映像を撮影する撮像手段とを有し、
   前記通知サーバは、
   前記現場情報取得装置から得られる前記背景音及び前記背景映像の特徴量から前記番組の盛り上がりを判定する盛り上がり判定手段と、
   前記盛り上がり判定手段からの判定結果に基づいて、前記番組に対する盛り上がり通知を要求した前記ユーザ端末に前記通知を行う通知手段とを有し、
   前記盛り上がり判定手段は、
   入力された前記背景音の前記特徴量に含まれる音声レベルの予め定めた期間の積分値に基づいて、前記背景音に対応する番組が盛り上がっているかどうかを判定し、
   撮影された前記背景映像の前記特徴量に含まれる動きベクトルの大きさ又はその積分値、或いは前記背景映像から抽出された、観客を含む人物の顔画像の表情に基づいて、当該背景映像に対応する番組が盛り上がっているかどうかを判定することを特徴とする盛り上がり通知システム。
2. 番組の撮影現場から音声及び映像を取得する現場情報取得装置と、該現場情報取得装置から得られる前記音声及び映像から検出した前記番組の盛り上がりに対する通知をユーザ端末に通知する通知サーバとを有する盛り上がり通知システムにおいて、
   前記現場情報取得装置は、
   前記撮影現場の背景音を入力する音声入力手段と、
   前記撮影現場の背景映像を撮影する撮像手段と、
   前記音声入力手段から得られる前記背景音及び前記撮像手段から得られる前記背景映像の特徴量から前記番組の盛り上がりを判定する盛り上がり判定手段とを有し、
   前記盛り上がり判定手段は、
   入力された前記背景音の前記特徴量に含まれる音声レベルの予め定めた期間における積分値に基づいて、前記背景音に対応する番組が盛り上がっているかどうかを判定し、
   撮影された前記背景映像の前記特徴量に含まれる動きベクトルの大きさ又はその積分値、或いは前記背景映像から抽出された、観客を含む人物の顔画像の表情に基づいて、当該背景映像に対応する番組が盛り上がっているかどうかを判定し、
   前記通知サーバは、
   前記盛り上がり判定手段からの判定結果に基づいて、前記番組に対する盛り上がり通知を要求した前記ユーザ端末に前記通知を行う通知手段とを有することを特徴とする盛り上がり通知システム。
3. 前記通知サーバは、
   前記盛り上がり通知の対象の番組と、盛り上がりのレベルとを設定する設定手段を有し、
   前記通知手段は、盛り上がり判定手段により得られる盛り上がりレベルが、前記設定手段により設定された盛り上がりレベルの条件を満たす場合に、前記ユーザ端末に通知を行うことを特徴とする請求項１又は２に記載の盛り上がり通知システム。
4. 前記設定手段は、
   前記ユーザ端末からユーザの嗜好情報の設定を受け付け、受け付けた嗜好情報と、前記盛り上がり通知の対象の番組に予め対応付けられている番組情報とを比較し、比較結果から得られる類似度に応じた盛り上がりレベルを設定することを特徴とする請求項３に記載の盛り上がり通知システム。
5. 前記通知手段は、
   前記ユーザ端末からの問い合わせ要求を受け付けたときに、前記盛り上がり判定手段により盛り上がっていると判定された番組を通知することを特徴とする請求項１乃至４の何れか１項に記載の盛り上がり通知システム。
6. 前記設定手段は、
   予め設定された番組表に表示された各時間帯における複数の番組毎に盛り上がり通知を行うか否かを選択させる選択部を表示し、表示した画面からユーザが選択した情報を設定情報として受け付けることを特徴とする請求項３に記載の盛り上がり通知システム。
7. 前記設定手段は、
   予め設定された番組表から選択された時間帯における各番組と、番組毎に盛り上がり通知を行うか否かを選択させるための画面を表示し、表示した画面からユーザが選択した情報を設定情報として受け付けることを特徴とする請求項３に記載の盛り上がり通知システム。

Images