JP3617757B2 - 動画像表示装置及び方法及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像視聴時に所望の場面からのランダムアクセスを行う動画像表示装置及び方法に関し、映像視聴時の臨場感を増大させる動画像表示装置及び方法及び記録媒体に関する。
【０００２】
【従来の技術】
衛星放送、ケーブルテレビジョン放送の普及などにより、家庭においても視聴可能な映像チャンネル数は増加の一途をたどっている。また従来のビデオテープやレーザーディスクなどの映像記録媒体に加え、映像音声情報をディジタルデータとして記録再生できるＤＶＤも１９９６年には製品化され、ごく普通のユーザが大量の映像にアクセスできる環境は充実しつつあるといってよい。
【０００３】
その一方で、それら大量の映像の中から目的の映像に効率よくアクセスできる技術の提供は従前のままである。例えばテレビの視聴者は、新聞などに掲載される番組欄を参照してみたい映像（番組）を選択したり、ビデオソフトパッケージを購入しようとする消費者はパッケージに記載されているタイトルや出演者、あらすじなどを参照して希望のビデオを選択する。これらは文字による映像情報のテキスト記述であるが、映像のすべてに対して記述がなされているわけでもなく、そのようにすべてに対して記述をすることは大変な手間となるものであることはいうまでもない。
【０００４】
また、映像中のどの部分をみたいか、という要求は当然ユーザ個々に異なるものであるはずで、すべてのユーザに対応可能なテキスト記述を作成することは付加情報量の増大を招き、おもに放送メディアなど供給できる情報量に限界があるソースにおいては実用が難しい。このためテレビ視聴者はニュース番組中の特定の話題だけをみたい場合にも、テレビをつけたままで目的の話題となるのを待たなくてはならなかったり、すでに別の番組で見たニュースを繰り返し見させられたりして、著しく時間の無駄となっている。
【０００５】
このように貧弱な映像アクセス環境のままでは、近い将来、ユーザが大量の映像情報にアクセスできる状況が実現したとしても、その情報量をスムーズに享受できるとはいえず、かえって情報量の多さに混乱するユーザが増える懸念もある。
【０００６】
また、室内の明るさに適応して画面の明るさをコントロールするテレビ受像器はすでに存在しており、テレビ画面の見易さを向上させるために効果をあげている。
【０００７】
一方、映像視聴環境において室内の照明を変化させる装置も存在してはいるが、それらは主に展示会などのパビリオンなどに見られる特殊効果映像シアター向けのシステムであり、装置が大規模である上に、照明自体は映像とは無関係にあらかじめ時間系列でプログラムされたものを実行してコントロールしているに過ぎない。
【０００８】
【発明が解決しようとする課題】
本発明は、動画像を場面ごとに分割する場面分割手段と、この場面分割手段によって分割された場面を代表するフレームを選択する代表フレーム選択手段と、前記場面分割手段によって分割された前記場面ごとの音響信号を解析して、音響の種類を判定する音響解析手段と、この音響解析手段によって解析された結果と前記代表フレームとを対応づけて、複数の代表フレームの縮小画面を同時に一覧表示する一覧画面作成手段とを有する動画像表示装置において、前記音響解析手段によって解析された音響の種類が少なくとも発話を含む場合には、一覧画面作成手段は、当該発話を含むことを示す情報を記号化して当該代表フレームと対応づけて表示すると共に、当該代表フレームの縮小画面と対応づけられた発話の冒頭部分のせりふをテキスト表示することを特徴とする。
【０００９】
また本発明は、前記動画像表示装置において、前記音響解析手段によって解析された音響の種類が音楽、擬音または効果音を含む場合には、一覧画面作成手段は、当該音楽、擬音または効果音を含むことを示す情報を記号化して当該代表フレームと対応づけて表示することを特徴とする。
【００１０】
また本発明の動画像表示方法は、動画像を場面ごとに分割し、分割された場面を代表するフレームを選択し、分割された前記場面ごとの音響信号を解析して音響の種類を判定し、判定された結果と前記代表フレームとを対応づけて、複数の代表フレームの縮小画面を同時に一覧表示する動画像表示方法において、前記解析された音響の種類が少なくとも発話を含む場合には、当該発話を含むことを示す情報を記号化して当該代表フレームと対応づけて表示すると共に、当該代表フレームの縮小画面と対応づけられた発話の冒頭部分のせりふをテキスト表示することを特徴とする。
【００１１】
また本発明の動画像を表示するプログラムを記録したコンピュータ読み取り可能な記録媒体は、動画像を場面ごとに分割し、分割された場面を代表するフレームを選択し、分割された前記場面ごとの音響信号を解析して音響の種類を判定し、判定された結果と前記代表フレームとを対応づけて、複数の代表フレームの縮小画面を同時に一覧表示するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記解析された音響の種類が少なくとも発話を含む場合には、当該発話を含むことを示す情報を記号化して当該代表フレームと対応づけて表示すると共に、当該代表フレームの縮小画面と対応づけられた発話の冒頭部分のせりふをテキスト表示することを特徴とする。
【００１２】
【課題を解決するための手段】
本発明の動画像表示装置は、映像の区切り（ショット）ごとの代表フレームの一覧表示を行う際に、ショット内の音響の挙動を代表フレームに対応づけて文字または記号で表示する。
【００１３】
本発明の動画像表示装置は、映像内容を解析し、映像の背景部分の色調に合わせて室内光源を操作し、映像内の明るさまたは色調に室内光のそれが近くなるようにする。
【００１４】
【発明の実施の形態】
（実施例１）
本発明の動画像表示装置は、ＤＶＤなどランダムアクセス可能な映像記録再生装置と協調動作して、付加的なユーザインタフェースを提供することを想定している。
【００１５】
本発明の実施例を図面に基づいて説明する。
図１は本発明の動画像表示装置の表示例を示した概念図である。図１（ａ）は、動画像をショットごとに分割し、各ショットあたり１枚の代表フレーム（静止画）を並べることによって動画像内容を一覧するユーザインタフェースの表示例である。画面内に代表フレーム１０１が並んでいる。代表フレームは、カット検出によって場面の変わり目を検知し、カットごとに区切られた区間をショットとして、ショットごとに（たとえばショットの先頭フレームなど）１ 枚ずつの静止画像を代表フレームとするのが従来一般的な方法であるが、本発明ではショット分割の手法および代表フレーム選択は限定しない。最も単純な方法として、映像を１０秒ごとに機械的に分割し、分割された各ショット内の５秒経過時点の映像を代表フレームとする、などとしてもよい。代表フレームを羅列した場合、数１０枚〜数１００枚のフレームを持つショットの映像を、たった一枚の静止画で表現しているため、ショット内でどのような動作があったかを知るためには情報が不足している。そこで、ショット内の音響を解析し、記号化して代表フレーム上にスーパーインポーズ（重ね書き）する。
【００１６】
図１（ｂ）は、音響解析の結果、バックミュージックが検出された際の表示例である。代表フレーム上には音楽の演奏を示す記号１０３が表示されている。
図１（ｃ）は擬音または効果音が検出された際の表示例である。図の例では、このショットではコップ１０６が床に落下し、割れる音が擬音記号１０４として表示されている。
【００１７】
図１（ｄ）は発話が検出された際の表示例である。このショット中での登場人物１０２のセリフの冒頭部分が吹き出し記号１０５として表示されている。
以下では、本発明の動画像表示装置が以上の表示を行うための処理手順について、図に基づいて説明する。図２は本発明の動画像表示装置の処理手順を示すフローチャートである。動画像はまず場面分割（Ｓ２０１）によって処理単位であるショットに分けられる。ショット生成については、上述のように必ずしも映像中の場面に即したものでなくてもよく、５秒、１０秒といった機械的なものでも構わない。以下の処理はショット単位に行われるものである。ショット内の音響は、音響辞書と比較され（Ｓ２０２）、音楽（Ｓ２０３）、擬音または効果音（Ｓ２０５）、発話（Ｓ２０８）が含まれていたかどうかが解析され、音楽を含む場合には、それを示すアイコンを表示する（Ｓ２０４）。
【００１８】
こうした音楽検出方法としては、たとえば南ら「音情報を用いたビデオブラウザ」（電子情報通信学会総合大会Ａ−２９１、１９９５年）などに示されている。擬音または効果音が含まれていた場合には、擬音・効果音の種類を辞書と比較することによって判定し、擬音・効果音の種類に応じたアイコンを代表フレーム上に表示する（Ｓ２０７）。ここでいう「種類に応じたアイコン」とは、例えば図１（ｃ）で示したように、コップが割れる音ならば「ガチャン」という文字とともに周囲がギザギザの吹き出しを描く（１０４）ようなものである。この実現の方法としては、たとえばコップが割れた時の音響スペクトルの変化辞書を作成しておき、入力音響とのマッチングをとることで、着目部分にコップの割れる音が含まれているかどうかを検査するような方法が考えられる。辞書には他の効果音に対する項目も用意しておき、それらすべてと比較を行えば、登録済みの効果音に関しては有無を検出することが可能である（図３）。
【００１９】
音声解析の結果、発話が検出された場合には、発話内容を言語理解によってテキスト化し、その冒頭部分を吹き出しとして表示する（Ｓ２１０）。言語理解の方法としては、たとえば本件出願人によって出願済みの特開平５−１９７３８９などがある。表示するセリフは、画面の許す限りセリフ全体を表示してもよいし、あらかじめ利用者が設定しておいたキーワードを含む部分の近傍に限定して表示してもよい。また、以上の処理手順においては、音楽、擬音・効果音、発話、という順で処理を行ったが、この順序は任意に変えても処理に影響を与えないことは明らかである。
【００２０】
なお、映像中のカメラワーク（ズーム、パンなど）を代表フレーム上の線として視覚化する手法が浜野ら「構造化映像自動要約手法の検討」（電子情報通信学会技術報告ＩＥ９６−３８ ）に示されているが、本発明の動画像表示装置では音響を利用し、その種類や内容を表示する点でこれとは明らかに異なる。
【００２１】
以上のようにして、カット検出により作成された代表フレームの一覧画面において、ショットの音響内容を記号化して表示することができるので、利用者は、従来静止画に限定されていた代表フレーム映像から、より多くの情報を得ることができるようになる。
【００２２】
（実施例２）
本発明の動画像表示装置は、テレビモニタなど従来の動画像表示装置の拡張部分として用いられることを想定している。
【００２３】
本発明の実施例を図面に基づいて説明する。図４は本発明の動画像表示装置の構成を示したブロック図である。
以下では映像の原データの形式をＭＰＥＧ圧縮されたディジタル映像と仮定して説明するが、映像形式はこれに限ったものではない。
【００２４】
入力端子４０１から入力された映像は、通常の表示手順と同様に、ＭＰＥＧデコーダ４０２によってモニタテレビなどに表示可能なアナログデータに復号される。復号されたアナログ映像データは映像表示部４１０によって利用者に表示される。この過程で、動画像は瞬間ごとの静止画像としてフレームバッファ４０３に蓄積される。フレームバッファ４０３では数枚の映像を静止画として格納しておくことができる。フレームバッファ４０３に格納された時間連続な静止画像を用いて、背景分離部４０４では映像の背景部分とそれ以外の、主に登場人物などが写っている部分に弁別される。
【００２５】
この分離方法としては、例えば窪田ら「ハフ変換を用いたカメラパラメータの推定及び動画像からの移動物体の分離」（画像の認識・理解シンポジウムＭＩＲＵ‘９６、講演論文集ＩＩ−１２１）などの方法がある。ＭＰＥＧ圧縮された映像データの場合、圧縮時に次のフレームへの画面各部の動きがベクトルとして符号化されているので、この動きベクトルの挙動をオプティカルフローとみなして背景を弁別することもできる。このような背景分離方法については本発明の出願人によってすでに特許出願済みである（特願平８−１５６４３）。本発明では背景分離方法を限定しない。
【００２６】
背景分離部４０４によって識別された背景部分は、領域情報として映像ヒストグラム作成部４０５に送られる。映像ヒストグラム作成部４０５では、現在表示中の映像で背景に相当する部分についてのみ、画面の色の特徴をヒストグラムとして計算する。
【００２７】
ここで計算されるヒストグラムとは、例えば色相ヒストグラムのことをいう。以下では色相ヒストグラムを用いた場合について、計算方法を説明する。
ＭＰＥＧの映像データは、人間の目が感度の高い輝度の情報（Ｙ）と、それを補って実際のカラー映像を構成するための色相情報（Ｃｂ，Ｃｒ）とが別々に記録されている。２つの色相情報は、それぞれ青色成分と赤色成分とを示しており、Ｃｂが大きな正数である画素は青が強く、Ｃｒが大きな正数である画素は赤が強い。逆にＣｂが絶対値の大きな負数である画素は黄が強く、Ｃｒが絶対値の大きな負数である場合には緑が強い。ＣｂもＣｒもゼロである画素は、黒から白へのグレイ階調の色を持つ。このＣｂ，Ｃｒを極座標表示に変換すると、（Ｃｂ，Ｃｒ）＝（ρｃｏｓθ，ρｓｉｎθ）のように、（θ，ρ）の組み合わせで画素値が表現される。動画像中のある瞬間の画像全体について、θの値ごとの画素数を計算すると色相ヒストグラムになる。色相ヒストグラムの計算方法については、例えば青木ら「映像ブラウジングのための類似ショット統合」（情報処理学会研究報告９６−ＨＩ−６７）などにも触れられている。
【００２８】
同様にして、室内の色相ヒストグラムも室内光ヒストグラム作成部４０７によって計算される。室内光ヒストグラム作成部４０７では、室内光センサ４０８によって検出された室内画像から、上記の映像ヒストグラム作成部４０５と同様の手法によって色相ヒストグラムを計算する。これら映像ヒストグラム作成部４０５によって計算された映像のヒストグラムと室内光ヒストグラム作成部４０７によって計算された室内光のヒストグラムは比較器４０７に送られ、両者の差が計算される。
【００２９】
図５には、映像のヒストグラムと室内光のヒストグラムの例を示した。図では、映像の色相ヒストグラム５０２は緑にピークをもち、緑がかった映像が現在表示されていることを示している。それに対して、室内光の色相ヒストグラム５０１は赤にピークをもち、室内は赤みがかっている。本発明の動画像表示装置が例えば赤、青、緑、黄の４色の光源を装備している場合、映像、室内光のヒストグラム中の緑色成分は映像の方が大きい。したがって、比較器４０６は、光源４０９に対して緑色光源の出力を強める指示を送る。
【００３０】
同様に、赤色成分は室内光の方が大きいので、光源４０９に対して赤色光源の出力を弱める指示を送る。このようなフィードバック処理は、２つのヒストグラムの各色成分がもっとも近くなるまで継続するため、映像の色調と室内光の色調が一致するまで、光源はコントロールされる。
【００３１】
本実施例では、映像と室内光の比較に色相ヒストグラムを用いたが、以上説明した色相ヒストグラムは輝度情報（Ｙ）を室内光コントロールの根拠に用いていない。したがって、画面全体が真っ白である場合には、各色成分もゼロになるため、光源は出力ゼロ、つまり室内光源は真っ暗な状態になる。このような照明形態を好まない利用者に対しては、ヒストグラムの作成方法をＣｂとＣｒによる計算ではなく、画像中および室内光中のＲ（赤）、Ｇ（緑）、Ｂ（青）それぞれの成分に対してヒストグラムを作成し、上記同様に、赤、青、緑光源に対してフィードバック・コントロールを行ってもよい。また、色相情報をまったく用いず、明るさだけをコントロールしてもよい。
【００３２】
さらに上記の説明では、一度映像の背景を分離してから、背景部分に関してのみ特徴量計算を行ったが、背景部分だけを選択せずに画像全体の特徴量に合致するように室内光をコントロールしてもよい。この場合には図１中の背景分離部４０４は不要である。
【００３３】
このように本発明の動画像表示装置では、画面に映し出されている映像に合致するように室内光をコントロールするので、画面の中だけにとどまっていた映像空間が擬似的に部屋全体に拡張され、利用者はより強い臨場感を得ることが期待できる。
【００３４】
なお、本発明はコンピュータに実行させることのできるプログラムとしてフロッピーディスク，ハードディスク、ＣＤ−ＲＯＭ，半導体メモリなどの記録媒体に格納して配布することもできる。
【００３５】
例えば、図６のように、ハードディスク装置１００６、フロッピーディスク装置１００７及び光ディスク装置１００８のいずれかの記録媒体に上述した動画像表示方法のプログラムが格納される。そして、このプログラムに従って、入力部１００２から入力された動画像に対して、ＣＰＵ１００１で、図２のフローチャートに示した処理が実行され、その処理結果が出力部１００３から出力される。
このようにすることにより、通常のパーソナルコンピュータを用いて本発明を実施することができる。
【００３６】
【発明の効果】
以上説明したように、本発明の動画像表示装置によれば、利用者は映像全体の構造を把握しながら、所望の映像だけを選択的に見ることが可能になる。
また、本発明の動画像表示装置によれば、従来音声に限られていた臨場感効果を、比較的平易な装置によって、映像を反映した部屋全体の照明として実現することができる。
【図面の簡単な説明】
【図１】本発明の動画像表示装置の表示例を説明する概念図である。
【図２】本発明の動画像表示装置の処理手順を説明するフローチャートの図である。
【図３】本発明の動画像表示装置の処理を説明する概念図である。
【図４】本発明の動画像表示装置に係るブロック図である。
【図５】本発明の動画像表示装置の処理方法を説明する概念図である。
【図６】本発明のプログラムを実行するコンピュータシステムの構成例を示した図である。
【符号の説明】
１０３…音楽の演奏を示す記号
１０４…擬音の存在を示す記号
１０５…発話の存在を示す記号
５０１…映像背景部分の色相ヒストグラム
５０２…室内光の色相ヒストグラム

Claims (5)

1. 動画像を場面ごとに分割する場面分割手段と、この場面分割手段によって分割された場面を代表するフレームを選択する代表フレーム選択手段と、前記場面分割手段によって分割された前記場面ごとの音響信号を解析して、音響の種類を判定する音響解析手段と、この音響解析手段によって解析された結果と前記代表フレームとを対応づけて、複数の代表フレームの縮小画面を同時に一覧表示する一覧画面作成手段とを有する動画像表示装置において、前記音響解析手段によって解析された音響の種類が少なくとも発話を含む場合には、一覧画面作成手段は、発話を含むことを示す情報を記号化して当該代表フレームの縮小画面と対応づけて表示すると共に、当該代表フレームの縮小画面と対応づけられた発話の冒頭部分のせりふをテキスト表示することを特徴とする動画像表示装置。
2. 前記音響解析手段によって解析された音響の種類が音楽、擬音または効果音を含む場合には、一覧画面作成手段は、当該音楽、擬音または効果音を含むことを示す情報を記号化して当該代表フレームと対応づけて表示することを特徴とする請求項１記載の動画像表示装置。
3. 前記一覧画面作成手段によって一覧表示された代表フレームが指示されることによって、前記代表フレームが代表する場面から動画像再生を行うことを特徴とする請求項１又は２記載の動画像表示装置。
4. 動画像を場面ごとに分割し、分割された場面を代表するフレームを選択し、分割された前記場面ごとの音響信号を解析して音響の種類を判定し、判定された結果と前記代表フレームとを対応づけて、複数の代表フレームの縮小画面を同時に一覧表示する動画像表示方法において、前記解析された音響の種類が少なくとも発話を含む場合には、当該発話を含むことを示す情報を記号化して当該代表フレームと対応づけて表示すると共に、当該代表フレームの縮小画面と対応づけられた発話の冒頭部分のせりふをテキスト表示することを特徴とする動画像表示方法。
5. 動画像を場面ごとに分割し、分割された場面を代表するフレームを選択し、分割された前記場面ごとの音響信号を解析して音響の種類を判定し、判定された結果と前記代表フレームとを対応づけて、複数の代表フレームの縮小画面を同時に一覧表示するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記解析された音響の種類が少なくとも発話を含む場合には、当該発話を含むことを示す情報を記号化して当該代表フレームと対応づけて表示すると共に、当該代表フレームの縮小画面と対応づけられた発話の冒頭部分のせりふをテキスト表示することを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images