JPH1188798A - 動画像表示装置及び方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、映像視聴時に所望の場面からのラ
ンダムアクセスを許容すること及び映像視聴時の臨場感
を増大させることを課題とする。 【解決手段】 ショットの代表フレーム一覧の際に、シ
ョット内の音響を記号化し、代表フレームと関連づけて
表示する。また、映像の色相など特徴量を分析し、室内
光の照明条件がその特徴量に合致するように室内光源を
操作する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像視聴時に所望
の場面からのランダムアクセスを行う動画像表示装置及
び方法に関し、映像視聴時の臨場感を増大させる動画像
表示装置及び方法及び記録媒体に関する。

【０００２】

【従来の技術】衛星放送、ケーブルテレビジョン放送の
普及などにより、家庭においても視聴可能な映像チャン
ネル数は増加の一途をたどっている。また従来のビデオ
テープやレーザーディスクなどの映像記録媒体に加え、
映像音声情報をディジタルデータとして記録再生できる
ＤＶＤも１９９６年には製品化され、ごく普通のユーザ
が大量の映像にアクセスできる環境は充実しつつあると
いってよい。

【０００３】その一方で、それら大量の映像の中から目
的の映像に効率よくアクセスできる技術の提供は従前の
ままである。例えばテレビの視聴者は、新聞などに掲載
される番組欄を参照してみたい映像（番組）を選択した
り、ビデオソフトパッケージを購入しようとする消費者
はパッケージに記載されているタイトルや出演者、あら
すじなどを参照して希望のビデオを選択する。これらは
文字による映像情報のテキスト記述であるが、映像のす
べてに対して記述がなされているわけでもなく、そのよ
うにすべてに対して記述をすることは大変な手間となる
ものであることはいうまでもない。

【０００４】また、映像中のどの部分をみたいか、とい
う要求は当然ユーザ個々に異なるものであるはずで、す
べてのユーザに対応可能なテキスト記述を作成すること
は付加情報量の増大を招き、おもに放送メディアなど供
給できる情報量に限界があるソースにおいては実用が難
しい。このためテレビ視聴者はニュース番組中の特定の
話題だけをみたい場合にも、テレビをつけたままで目的
の話題となるのを待たなくてはならなかったり、すでに
別の番組で見たニュースを繰り返し見させられたりし
て、著しく時間の無駄となっている。

【０００５】このように貧弱な映像アクセス環境のまま
では、近い将来、ユーザが大量の映像情報にアクセスで
きる状況が実現したとしても、その情報量をスムーズに
享受できるとはいえず、かえって情報量の多さに混乱す
るユーザが増える懸念もある。

【０００６】また、室内の明るさに適応して画面の明る
さをコントロールするテレビ受像器はすでに存在してお
り、テレビ画面の見易さを向上させるために効果をあげ
ている。

【０００７】一方、映像視聴環境において室内の照明を
変化させる装置も存在してはいるが、それらは主に展示
会などのパビリオンなどに見られる特殊効果映像シアタ
ー向けのシステムであり、装置が大規模である上に、照
明自体は映像とは無関係にあらかじめ時間系列でプログ
ラムされたものを実行してコントロールしているに過ぎ
ない。

【０００８】

【発明が解決しようとする課題】本発明は、動画像を場
面ごとに分割する場面分割手段と、この場面分割手段に
よって分割された場面を代表するフレームを選択する代
表フレーム選択手段と、前記場面分割手段によって分割
された前記場面ごとの音響信号を解析して、音響の種類
を判定する音響解析手段と、この音響解析手段によって
解析された結果と前記代表フレームとを対応づけて同時
に一覧表示する一覧画面作成手段とを有することを特徴
とする。

【０００９】つまり、本発明はユーザがディジタル映像
を視聴する際に、その映像データを構造化して表示する
ことによって、ユーザが今見ている映像の全体像をつか
みやすくすることを目的とする。

【００１０】また、本発明は、動画像の輝度または色相
の特徴量を求める映像分析手段と、動画像を再生する室
内の光の明るさを求める照明分析手段と、前記映像分析
手段によって求められた特徴量と前記照明分析手段によ
って求められた室内光の明るさを比較する比較手段と、
この比較手段によって比較された結果に基づいて、前記
動画像の輝度または色調と室内の明るさを変化させるよ
うに室内光源を操作する光源操作手段とを有することを
特徴とする。

【００１１】つまり、本発明はまた、今後増加するであ
ろうディジタル映像を逐次解析し、映像内容に応じて視
聴室内の環境を操作することによって、狭い画面や音声
に限られた臨場感増大効果ではなく、部屋全体で包み込
むような視聴環境を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明の動画像表示装置
は、映像の区切り（ショット）ごとの代表フレームの一
覧表示を行う際に、ショット内の音響の挙動を代表フレ
ームに対応づけて文字または記号で表示する。

【００１３】本発明の動画像表示装置は、映像内容を解
析し、映像の背景部分の色調に合わせて室内光源を操作
し、映像内の明るさまたは色調に室内光のそれが近くな
るようにする。

【００１４】

【発明の実施の形態】

（実施例１）本発明の動画像表示装置は、ＤＶＤなどラ
ンダムアクセス可能な映像記録再生装置と協調動作し
て、付加的なユーザインタフェースを提供することを想
定している。

【００１５】本発明の実施例を図面に基づいて説明す
る。図１は本発明の動画像表示装置の表示例を示した概
念図である。図１（ａ）は、動画像をショットごとに分
割し、各ショットあたり１枚の代表フレーム（静止画）
を並べることによって動画像内容を一覧するユーザイン
タフェースの表示例である。画面内に代表フレーム１０
１が並んでいる。代表フレームは、カット検出によって
場面の変わり目を検知し、カットごとに区切られた区間
をショットとして、ショットごとに（たとえばショット
の先頭フレームなど）1 枚ずつの静止画像を代表フレー
ムとするのが従来一般的な方法であるが、本発明ではシ
ョット分割の手法および代表フレーム選択は限定しな
い。最も単純な方法として、映像を１０秒ごとに機械的
に分割し、分割された各ショット内の５秒経過時点の映
像を代表フレームとする、などとしてもよい。代表フレ
ームを羅列した場合、数１０枚〜数１００枚のフレーム
を持つショットの映像を、たった一枚の静止画で表現し
ているため、ショット内でどのような動作があったかを
知るためには情報が不足している。そこで、ショット内
の音響を解析し、記号化して代表フレーム上にスーパー
インポーズ（重ね書き）する。

【００１６】図１（ｂ）は、音響解析の結果、バックミ
ュージックが検出された際の表示例である。代表フレー
ム上には音楽の演奏を示す記号１０３が表示されてい
る。図１（ｃ）は擬音または効果音が検出された際の表
示例である。図の例では、このショットではコップ１０
６が床に落下し、割れる音が擬音記号１０４として表示
されている。

【００１７】図１（ｄ）は発話が検出された際の表示例
である。このショット中での登場人物１０２のセリフの
冒頭部分が吹き出し記号１０５として表示されている。
以下では、本発明の動画像表示装置が以上の表示を行う
ための処理手順について、図に基づいて説明する。図２
は本発明の動画像表示装置の処理手順を示すフローチャ
ートである。動画像はまず場面分割（Ｓ２０１）によっ
て処理単位であるショットに分けられる。ショット生成
については、上述のように必ずしも映像中の場面に即し
たものでなくてもよく、５秒、１０秒といった機械的な
ものでも構わない。以下の処理はショット単位に行われ
るものである。ショット内の音響は、音響辞書と比較さ
れ（Ｓ２０２）、音楽（Ｓ２０３）、擬音または効果音
（Ｓ２０５）、発話（Ｓ２０８）が含まれていたかどう
かが解析され、音楽を含む場合には、それを示すアイコ
ンを表示する（Ｓ２０４）。

【００１８】こうした音楽検出方法としては、たとえば
南ら「音情報を用いたビデオブラウザ」（電子情報通信
学会総合大会Ａ−２９１、１９９５年）などに示されて
いる。擬音または効果音が含まれていた場合には、擬音
・効果音の種類を辞書と比較することによって判定し、
擬音・効果音の種類に応じたアイコンを代表フレーム上
に表示する（Ｓ２０７）。ここでいう「種類に応じたア
イコン」とは、例えば図１（ｃ）で示したように、コッ
プが割れる音ならば「ガチャン」という文字とともに周
囲がギザギザの吹き出しを描く（１０４）ようなもので
ある。この実現の方法としては、たとえばコップが割れ
た時の音響スペクトルの変化辞書を作成しておき、入力
音響とのマッチングをとることで、着目部分にコップの
割れる音が含まれているかどうかを検査するような方法
が考えられる。辞書には他の効果音に対する項目も用意
しておき、それらすべてと比較を行えば、登録済みの効
果音に関しては有無を検出することが可能である（図
３）。

【００１９】音声解析の結果、発話が検出された場合に
は、発話内容を言語理解によってテキスト化し、その冒
頭部分を吹き出しとして表示する（Ｓ２１０）。言語理
解の方法としては、たとえば本件出願人によって出願済
みの特開平５−１９７３８９などがある。表示するセリ
フは、画面の許す限りセリフ全体を表示してもよいし、
あらかじめ利用者が設定しておいたキーワードを含む部
分の近傍に限定して表示してもよい。また、以上の処理
手順においては、音楽、擬音・効果音、発話、という順
で処理を行ったが、この順序は任意に変えても処理に影
響を与えないことは明らかである。

【００２０】なお、映像中のカメラワーク（ズーム、パ
ンなど）を代表フレーム上の線として視覚化する手法が
浜野ら「構造化映像自動要約手法の検討」（電子情報通
信学会技術報告IE96-38 ）に示されているが、本発明の
動画像表示装置では音響を利用し、その種類や内容を表
示する点でこれとは明らかに異なる。

【００２１】以上のようにして、カット検出により作成
された代表フレームの一覧画面において、ショットの音
響内容を記号化して表示することができるので、利用者
は、従来静止画に限定されていた代表フレーム映像か
ら、より多くの情報を得ることができるようになる。

【００２２】（実施例２）本発明の動画像表示装置は、
テレビモニタなど従来の動画像表示装置の拡張部分とし
て用いられることを想定している。

【００２３】本発明の実施例を図面に基づいて説明す
る。図４は本発明の動画像表示装置の構成を示したブロ
ック図である。以下では映像の原データの形式をＭＰＥ
Ｇ圧縮されたディジタル映像と仮定して説明するが、映
像形式はこれに限ったものではない。

【００２４】入力端子４０１から入力された映像は、通
常の表示手順と同様に、ＭＰＥＧデコーダ４０２によっ
てモニタテレビなどに表示可能なアナログデータに復号
される。復号されたアナログ映像データは映像表示部４
１０によって利用者に表示される。この過程で、動画像
は瞬間ごとの静止画像としてフレームバッファ４０３に
蓄積される。フレームバッファ４０３では数枚の映像を
静止画として格納しておくことができる。フレームバッ
ファ４０３に格納された時間連続な静止画像を用いて、
背景分離部４０４では映像の背景部分とそれ以外の、主
に登場人物などが写っている部分に弁別される。

【００２５】この分離方法としては、例えば窪田ら「ハ
フ変換を用いたカメラパラメータの推定及び動画像から
の移動物体の分離」（画像の認識・理解シンポジウムＭ
ＩＲＵ‘９６、講演論文集II−１２１）などの方法があ
る。ＭＰＥＧ圧縮された映像データの場合、圧縮時に次
のフレームへの画面各部の動きがベクトルとして符号化
されているので、この動きベクトルの挙動をオプティカ
ルフローとみなして背景を弁別することもできる。この
ような背景分離方法については本発明の出願人によって
すでに特許出願済みである（特願平８−１５６４３）。
本発明では背景分離方法を限定しない。

【００２６】背景分離部４０４によって識別された背景
部分は、領域情報として映像ヒストグラム作成部４０５
に送られる。映像ヒストグラム作成部４０５では、現在
表示中の映像で背景に相当する部分についてのみ、画面
の色の特徴をヒストグラムとして計算する。

【００２７】ここで計算されるヒストグラムとは、例え
ば色相ヒストグラムのことをいう。以下では色相ヒスト
グラムを用いた場合について、計算方法を説明する。Ｍ
ＰＥＧの映像データは、人間の目が感度の高い輝度の情
報（Ｙ）と、それを補って実際のカラー映像を構成する
ための色相情報（Ｃｂ，Ｃｒ）とが別々に記録されてい
る。２つの色相情報は、それぞれ青色成分と赤色成分と
を示しており、Ｃｂが大きな正数である画素は青が強
く、Ｃｒが大きな正数である画素は赤が強い。逆にＣｂ
が絶対値の大きな負数である画素は黄が強く、Ｃｒが絶
対値の大きな負数である場合には緑が強い。ＣｂもＣｒ
もゼロである画素は、黒から白へのグレイ階調の色を持
つ。このＣｂ，Ｃｒを極座標表示に変換すると、（Ｃ
ｂ，Ｃｒ）＝（ρｃｏｓθ，ρｓｉｎθ）のように、
（θ，ρ）の組み合わせで画素値が表現される。動画像
中のある瞬間の画像全体について、θの値ごとの画素数
を計算すると色相ヒストグラムになる。色相ヒストグラ
ムの計算方法については、例えば青木ら「映像ブラウジ
ングのための類似ショット統合」（情報処理学会研究報
告９６−ＨＩ−６７）などにも触れられている。

【００２８】同様にして、室内の色相ヒストグラムも室
内光ヒストグラム作成部４０７によって計算される。室
内光ヒストグラム作成部４０７では、室内光センサ４０
８によって検出された室内画像から、上記の映像ヒスト
グラム作成部４０５と同様の手法によって色相ヒストグ
ラムを計算する。これら映像ヒストグラム作成部４０５
によって計算された映像のヒストグラムと室内光ヒスト
グラム作成部４０７によって計算された室内光のヒスト
グラムは比較器４０７に送られ、両者の差が計算され
る。

【００２９】図５には、映像のヒストグラムと室内光の
ヒストグラムの例を示した。図では、映像の色相ヒスト
グラム５０２は緑にピークをもち、緑がかった映像が現
在表示されていることを示している。それに対して、室
内光の色相ヒストグラム５０１は赤にピークをもち、室
内は赤みがかっている。本発明の動画像表示装置が例え
ば赤、青、緑、黄の４色の光源を装備している場合、映
像、室内光のヒストグラム中の緑色成分は映像の方が大
きい。したがって、比較器４０６は、光源４０９に対し
て緑色光源の出力を強める指示を送る。

【００３０】同様に、赤色成分は室内光の方が大きいの
で、光源４０９に対して赤色光源の出力を弱める指示を
送る。このようなフィードバック処理は、２つのヒスト
グラムの各色成分がもっとも近くなるまで継続するた
め、映像の色調と室内光の色調が一致するまで、光源は
コントロールされる。

【００３１】本実施例では、映像と室内光の比較に色相
ヒストグラムを用いたが、以上説明した色相ヒストグラ
ムは輝度情報（Ｙ）を室内光コントロールの根拠に用い
ていない。したがって、画面全体が真っ白である場合に
は、各色成分もゼロになるため、光源は出力ゼロ、つま
り室内光源は真っ暗な状態になる。このような照明形態
を好まない利用者に対しては、ヒストグラムの作成方法
をＣｂとＣｒによる計算ではなく、画像中および室内光
中のＲ（赤）、Ｇ（緑）、Ｂ（青）それぞれの成分に対
してヒストグラムを作成し、上記同様に、赤、青、緑光
源に対してフィードバック・コントロールを行ってもよ
い。また、色相情報をまったく用いず、明るさだけをコ
ントロールしてもよい。

【００３２】さらに上記の説明では、一度映像の背景を
分離してから、背景部分に関してのみ特徴量計算を行っ
たが、背景部分だけを選択せずに画像全体の特徴量に合
致するように室内光をコントロールしてもよい。この場
合には図１中の背景分離部４０４は不要である。

【００３３】このように本発明の動画像表示装置では、
画面に映し出されている映像に合致するように室内光を
コントロールするので、画面の中だけにとどまっていた
映像空間が擬似的に部屋全体に拡張され、利用者はより
強い臨場感を得ることが期待できる。

【００３４】なお、本発明はコンピュータに実行させる
ことのできるプログラムとしてフロッピーディスク，ハ
ードディスク、ＣＤ−ＲＯＭ，半導体メモリなどの記録
媒体に格納して配布することもできる。

【００３５】例えば、図６のように、ハードディスク装
置１００６、フロッピーディスク装置１００７及び光デ
ィスク装置１００８のいずれかの記録媒体に上述した動
画像表示方法のプログラムが格納される。そして、この
プログラムに従って、入力部１００２から入力された動
画像に対して、ＣＰＵ１００１で、図２のフローチャー
トに示した処理が実行され、その処理結果が出力部１０
０３から出力される。このようにすることにより、通常
のパーソナルコンピュータを用いて本発明を実施するこ
とができる。

【００３６】

【発明の効果】以上説明したように、本発明の動画像表
示装置によれば、利用者は映像全体の構造を把握しなが
ら、所望の映像だけを選択的に見ることが可能になる。
また、本発明の動画像表示装置によれば、従来音声に限
られていた臨場感効果を、比較的平易な装置によって、
映像を反映した部屋全体の照明として実現することがで
きる。

【図面の簡単な説明】

【図１】本発明の動画像表示装置の表示例を説明する概
念図である。

【図２】本発明の動画像表示装置の処理手順を説明する
フローチャートの図である。

【図３】本発明の動画像表示装置の処理を説明する概念
図である。

【図４】本発明の動画像表示装置に係るブロック図であ
る。

【図５】本発明の動画像表示装置の処理方法を説明する
概念図である。

【図６】本発明のプログラムを実行するコンピュータシ
ステムの構成例を示した図である。

【符号の説明】

１０３…音楽の演奏を示す記号 １０４…擬音の存在を示す記号 １０５…発話の存在を示す記号 ５０１…映像背景部分の色相ヒストグラム ５０２…室内光の色相ヒストグラム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 窪田 進 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (10)

【特許請求の範囲】
1. 【請求項１】動画像を場面ごとに分割する場面分割手段
   と、 この場面分割手段によって分割された場面を代表するフ
   レームを選択する代表フレーム選択手段と、 前記場面分割手段によって分割された前記場面ごとの音
   響信号を解析して、音響の種類を判定する音響解析手段
   と、 この音響解析手段によって解析された結果と前記代表フ
   レームとを対応づけて同時に一覧表示する一覧画面作成
   手段とを有することを特徴とする動画像表示装置。
2. 【請求項２】前記音響解析手段によって解析された結果
   が擬音または効果音を含む場合には、擬音または効果音
   の種類を判別し、一覧画面作成手段は擬音または効果音
   の種類を判別した結果を前記代表フレームと対応づけて
   一覧表示することを特徴とする請求項１記載の動画像表
   示装置。
3. 【請求項３】前記音響解析手段によって解析されたが発
   話を含む場合には、発話内容の理解処理を行い、一覧画
   面作成手段は理解処理を行った発話内容を前記代表フレ
   ームと対応づけて一覧表示することを特徴とする請求項
   １又は請求項２記載の動画像表示装置。
4. 【請求項４】前記一覧画面作成手段によって一覧表示さ
   れた代表フレームが指示されることによって、前記代表
   フレームが代表する場面から動画像再生を行うことを特
   徴とする請求項１又は請求項２又は請求項３記載の動画
   像表示装置。
5. 【請求項５】動画像を場面ごとに分割し、 分割された前記場面を代表するフレームを選択し、 分割された前記場面ごとの音響信号を解析して、音響の
   種類を判定し、 前記場面ごとの音響信号が解析された結果と前記代表フ
   レームとを対応づけて同時に一覧表示することを特徴と
   する動画像表示方法。
6. 【請求項６】動画像を表示するプログラムを記録した機
   械読み取り可能な記録媒体であって、 動画像を場面ごとに分割し、 分割された前記場面を代表するフレームを選択し、 分割された前記場面ごとの音響信号を解析して、音響の
   種類を判定し、 前記場面ごとの音響信号が解析された結果と前記代表フ
   レームとを対応づけて同時に一覧表示するプログラムを
   記録した機械読み取り可能な記録媒体。
7. 【請求項７】動画像の輝度または色相の特徴量を求める
   映像分析手段と、 動画像を再生する室内の光の明るさを求める照明分析手
   段と、 前記映像分析手段によって求められた特徴量と前記照明
   分析手段によって求められた室内光の明るさを比較する
   比較手段と、 この比較手段によって比較された結果に基づいて、前記
   動画像の輝度または色調と室内の明るさを変化させるよ
   うに室内光源を操作する光源操作手段とを有することを
   特徴とする動画像表示装置。
8. 【請求項８】動画像の背景を分離する背景分離手段を有
   し、 動画像の背景または前景のみに限定して前記特徴量を求
   めることを特徴とする請求項７記載の動画像表示装置。
9. 【請求項９】動画像の輝度または色相の特徴量を求め、 動画像を再生する室内の光の明るさを求め、 求められた特徴量と求められた室内光の明るさを比較
   し、 比較された結果に基づいて、前記動画像の輝度または色
   調と室内の明るさを変化させるように室内光源を操作す
   ることを特徴とする動画像表示方法。
10. 【請求項１０】動画像を表示するプログラムを記録した
    機械読み取り可能な記録媒体であって、 動画像の輝度または色相の特徴量を求め、 動画像を再生する室内の光の明るさを求め、 求められた特徴量と求められた室内光の明るさを比較
    し、 比較された結果に基づいて、前記動画像の輝度または色
    調と室内の明るさを変化させるように室内光源を操作す
    るプログラムを記録した機械読み取り可能な記録媒体。