JP4506190B2 - 映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体 - Google Patents

Description

本発明は、映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体に関し、例えば対談等のテレビジョン番組の視聴に適用することができる。本発明は、複数系統に振り分けて動画と静止画とにより番組を表示する場合に、同一の被写体を撮影している箇所を動画より切り出して静止画に嵌め込むことにより、動画の動きを静止画の表示にも反映させて、一段と臨場感を向上することができるようにする。

従来、テレビジョン放送の番組の処理に関して、シーンチェンジ等を検出して頭出し等に利用する方法が種々に提案されるようになされている。

すなわち例えば特開平７−１９３７４８号公報においては、画素値の比較により例えばニュース番組におけるメインキャスターの登場場面を検出し、この登場場面を基準にして一連の番組における各シーンを分類する方法が提案されるようになされている。また特開平７−２８８８４０号公報においては、色のヒストグラムによりシーンチェンジを検出する方法が提案されるようになされている。

これに対して番組視聴時の臨場感を向上する方法として、さらには複数番組を同時に視聴する方法として、マルチ画面、ピクチャーインピクチャー等の手法が提供されるようになされており、例えば特開２００３−１６９２６８号公報においては、このピクチャーインピクチャーに係る複数の子画面表示に供するメモリについて、制御を簡略化する方法が提案されるようになされている。

ところで例えば視聴者の周囲を囲むようにモニタ装置を配置し、これらのモニタ装置に対談番組の登場者をそれぞれ振り分けて表示すれば、あたかも視聴者自身が討論会に参加しているかのような雰囲気を醸し出すことができ、番組視聴時の臨場感を一段と向上することができると考えられる。

すなわち例えば図１１に示すように、ゲスト１Ａとホスト１Ｂとによる対談において、それぞれテレビジョンカメラ２Ａ、２Ｂによりゲスト１Ａ、ホスト１Ｂのバストショットを撮影し、テレビジョンカメラ２Ｃによりゲスト１Ａ、ホスト１Ｂの双方を撮影する場合、この対談の番組においては、図１２に示すように、ゲスト１Ａによるシーン、ホスト１Ｂによるシーン、ゲスト１Ａ、ホスト１Ｂの双方によるシーンが切り換えられて放送される。これによりゲスト１Ａによるシーン、ホスト１Ｂによるシーン、ゲスト１Ａ、ホスト１Ｂの双方によるシーンをユーザーの正面に配置したそれぞれ表示装置３Ａ〜３Ｃに振り分けて表示する。またその時点で番組が振り分けられていない表示装置には、直前のシーンの静止画を表示するようにする。

このようにすれば、ユーザーの目の前でゲスト１Ａとホスト１Ｂとが対談しているかのような雰囲気を形成し得ると考えられる。なおこれらのシーンの振り分けにあっては、各表示装置３Ａ〜３Ｃにそれまで振り分けた画像と、順次入力される映像信号による画像との比較により判定することができる。また同様のバストショットであるテレビジョンカメラ２Ａ、２Ｂによる映像４Ａ、４Ｂであっても、図１３に示すように、背景の相違により何れの表示装置に振り分けるべきかを判定することができると考えられる。

しかしながらこのようにして映像を振り分けて表示する場合、例えば図１２においてゲスト１Ａの映像が提供されている期間Ｔにおいては、図１４に示すように、ゲスト１Ａのシーンを振り分ける表示装置３Ａにおいては、このゲスト１Ａの映像が動画により表示されるのに対し、ゲスト１Ａ、ホスト１Ｂの双方によるシーンを振り分ける表示装置３Ｃにおいては、このゲスト１Ａが静止画により表示される。この場合、視聴者においては、違和感を感じることになる。

これによりこのように複数の表示に振り分けて動画と静止画とにより番組を表示する場合に、動画の動きを静止画の表示にも反映させることができれば、一段と臨場感を向上することができると考えられる。
特開平７−１９３７４８号公報 特開平７−２８８８４０号公報 特開２００３−１６９２６８号公報

本発明は以上の点を考慮してなされたもので、複数系統に振り分けて動画と静止画とにより番組を表示する場合に、動画の動きを静止画の表示にも反映させて、一段と臨場感を向上することができる映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、映像信号による動画を複数系統に分類して表示する映像表示装置に適用して、映像信号を複数系統に分類し、該分類結果により映像信号による動画を複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる映像信号による静止画を割り当てる画像分類手段と、動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理手段と、画像処理手段による検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成手段とを備えるようにする。

また請求項７の発明においては、映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、各系統に設けられる映像表示装置に適用して、映像信号を複数系統に分類し、該分類結果により、映像信号が担当の系統に分類されたものである場合、映像信号による動画を担当の系統に割り当て、映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる映像信号による静止画を担当の系統に割り当てる画像分類手段と、静止画を担当の系統に割り当てている場合、映像信号による動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理手段と、静止画を担当の系統に割り当てている場合、画像処理手段による検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成手段とを備えるようにする。

また請求項１３の発明においては、映像信号による動画を複数系統に分類して表示する映像表示方法に適用して、映像信号を分類し、該分類結果により映像信号による動画を複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる映像信号による静止画を割り当てる画像分類のステップと、動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、画像処理のステップによる検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成のステップとを有するようにする。

また請求項１４の発明においては、映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、各系統の映像表示方法に適用して、映像信号を複数系統に分類し、該分類結果により、映像信号が担当の系統に分類されたものである場合、映像信号による動画を担当の系統に割り当て、映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる映像信号による静止画を担当の系統に割り当てる画像分類のステップと、静止画を担当の系統に割り当てている場合、映像信号による動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、静止画を担当の系統に割り当てている場合、画像処理のステップによる検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成のステップとを有するようにする。

また請求項１５の発明においては、演算処理手段に所定の処理手順を実行させることにより、映像信号による動画を複数系統に分類して表示する映像表示方法のプログラムに適用して、処理手順が、映像信号を分類し、該分類結果により映像信号による動画を複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる映像信号による静止画を割り当てる画像分類のステップと、動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、画像処理のステップによる検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成のステップとを有するようにする。

また請求項１６の発明においては、映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、各系統に係る演算処理手段に所定の処理手順を実行させる映像表示方法のプログラムに適用して、処理手順が、映像信号を複数系統に分類し、該分類結果により、映像信号が担当の系統に分類されたものである場合、映像信号による動画を担当の系統に割り当て、映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる映像信号による静止画を担当の系統に割り当てる画像分類のステップと、静止画を担当の系統に割り当てている場合、映像信号による動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、静止画を担当の系統に割り当てている場合、画像処理のステップによる検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成のステップとを有するようにする。

また請求項１７の発明においては、演算処理手段に所定の処理手順を実行させることにより、映像信号による動画を複数系統に分類して表示する映像表示方法のプログラムを記録した記録媒体に適用して、処理手順が、映像信号を分類し、該分類結果により映像信号による動画を複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる映像信号による静止画を割り当てる画像分類のステップと、動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、画像処理のステップによる検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成のステップとを有するようにする。

また請求項１８の発明においては、映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、各系統に係る演算処理手段に所定の処理手順を実行させる映像表示方法のプログラムを記録した記録媒体に適用して、処理手順が、映像信号を複数系統に分類し、該分類結果により、映像信号が担当の系統に分類されたものである場合、映像信号による動画を担当の系統に割り当て、映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる映像信号による静止画を担当の系統に割り当てる画像分類のステップと、静止画を担当の系統に割り当てている場合、映像信号による動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、静止画を担当の系統に割り当てている場合、画像処理のステップによる検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成のステップとを有するようにする。

請求項１の構成により、映像信号による動画を複数系統に分類して表示する映像表示装置に適用して、映像信号を複数系統に分類し、該分類結果により映像信号による動画を複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる映像信号による静止画を割り当てる画像分類手段と、動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理手段と、画像処理手段による検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成手段とを備えるようにすれば、静止画の表示においては、画像合成手段の処理により、動画と同一の被写体を撮影した箇所については、動画の対応する箇所が表示され、これにより複数系統に振り分けて動画と静止画とにより番組を表示する場合に、静止画の表示に動画の動きを反映させて一段と臨場感を向上することができる。

これにより請求項１３、請求項１５、請求項１７の構成によれば、複数系統に振り分けて動画と静止画とにより番組を表示する場合に、動画の動きを静止画の表示にも反映させて、一段と臨場感を向上することができる映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体を提供することができる。

また請求項７の構成により、映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、各系統に設けられる映像表示装置に適用して、映像信号を複数系統に分類し、該分類結果により、映像信号が担当の系統に分類されたものである場合、映像信号による動画を担当の系統に割り当て、映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる映像信号による静止画を担当の系統に割り当てる画像分類手段と、静止画を担当の系統に割り当てている場合、映像信号による動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出する画像処理手段と、静止画を担当の系統に割り当てている場合、画像処理手段による検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する画像合成手段とを備えるようにすれば、静止画の表示においては、画像合成手段の処理により、動画と同一の被写体を撮影した箇所については、動画の対応する箇所が表示され、これにより複数系統に振り分けて動画と静止画とにより番組を表示する場合に、静止画の表示に動画の動きを反映させて一段と臨場感を向上することができる。

これらにより請求項１４、請求項１６、請求項１８の構成によれば、複数系統に振り分けて動画と静止画とにより番組を表示する場合に、動画の動きを静止画の表示にも反映させて、一段と臨場感を向上することができる映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体を提供することができる。

本発明によれば、複数系統に振り分けて動画と静止画とにより番組を表示する場合に、動画の動きを静止画の表示にも反映させて、一段と臨場感を向上することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例に係る放送システムを示すブロック図である。この放送システム１１において、放送局１２は、例えばスタジオ１３に設けられた複数のテレビジョンカメラ２Ａ、２Ｂ、２Ｃにより被写体１Ａ、１Ｂを撮影し、各テレビジョンカメラ２Ａ〜２Ｃの映像１５Ａ、１５Ｂ、１５Ｃを編集部１６によりスイッチイングして１つの映像に編集する。放送局１２は、この編集処理された映像による映像信号Ｓ１を送信設備１７により有線又は無線で送出し、これにより例えば対談番組の登場者１Ａ、１Ｂをそれぞれテレビジョンカメラ２Ａ〜２Ｃで撮影した場合にあっては、これらテレビジョンカメラ２Ａ〜２Ｃによる映像の切り替えに対応して登場者１Ａ、１Ｂの映像が順次切り替えられて番組が提供される。受信側１９は、この映像信号Ｓ１を受信部２０により受信し、分類装置２１により各テレビジョンカメラ２Ａ〜２Ｃの映像に分類する。またこの分類により各テレビジョンカメラ２Ａ〜２Ｃの映像信号Ｓ１を表示装置２２Ａ、２２Ｂ、２２Ｃに振り分けて表示する。

この実施例において、これら表示装置２２Ａ、２２Ｂ、２２Ｃは、視聴者の正面に並べて配置され、また両端のテレビジョンカメラ２Ａ、２Ｂは、それぞれゲスト１Ａ、ホスト１Ｂをバストショットにより撮影するのに対し、中央のテレビジョンカメラ２Ｃは、ゲスト１Ａ、ホスト１Ｂの双方をバストショットにより撮影するようになされている。これにより受信側１９においては、視聴者の目の前でゲスト１Ａとホスト１Ｂとが対談しているかのような雰囲気を形成して、臨場感を向上するようになされている。

このため分類装置２１は、この映像信号Ｓ１に係る時系列による画像を分類して表示装置２２Ａ、２２Ｂ、２２Ｃに振り分けるようになされ、またこのようにして映像信号Ｓ１を振り分けて、その時点で映像信号Ｓ１が振り分けられていない表示装置には、過去に振り分けた映像信号による映像の中から直前の映像を静止画により表示するようになされている。

図１は、この分類装置２１に係る要部を示す機能ブロック図である。分類装置２１は、所定の処理プログラムの実行により映像信号Ｓ１を順次処理する演算処理手段により構成され、この演算処理手段により分類部３１、画像合成部３５、バストショット判定部３６、合成位置検出部３７等が構成されるようになされている。なおこの一連の処理に係る処理プログラムにおいては、この分類装置２１にプリインストールされて提供されるものの、このようなプリインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、さらには各種の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体としては、例えばＣＤ−ＲＯＭ、ＤＶＤ等の光ディスク、フロッピーディスク等の磁気ディスク、駆動機構と一体構成による着脱可能なハードディスク装置、メモリカード等、種々の記録媒体を広く適用することができる。

分類装置２１において、分類部３１は、受信部２０で受信されてなる映像信号Ｓ１を順次入力し、この映像信号Ｓ１による画像が何れの表示装置２２Ａ〜２２Ｃに係る系統のものかを分類する。すなわちこの分類部３１において、画像取得部３２は、受信部２０で受信されてなる映像信号Ｓ１を順次入力して差分計算部３３に出力する。

差分計算部３３は、表示装置２２Ａ〜２２Ｃに係る各系統に設定した基準画像と、順次入力される映像信号Ｓ１による画像との間で、類似の程度を判定することにより、この映像信号Ｓ１による画像を分類する。ここで基準画像は、それぞれ過去に各系統に分類した映像信号Ｓ１による画像の中から最新のものが適用され、これにより差分計算部３３は、現在の映像信号Ｓ１を分類している系統については、順次、この映像信号Ｓ１により基準画像を更新するようになされている。また差分計算部３３は、類似の程度の判定により、過去に映像信号Ｓ１を分類した系統との間で、現在入力されている映像信号Ｓ１による画像について、類似の程度が低いと判断される場合、未だ映像信号Ｓ１を分類していない系統にこの映像信号Ｓ１を新規に分類し、またこの新規の分類によりこの系統に基準画像を設定する。

具体的に、この実施例において、差分計算部３３は、順次入力される映像信号Ｓ１による画像と、基準画像との間で、画素値の差分絶対値をフレーム単位で累積することにより、類似の程度が低下するに従って値の大きくなる累積値を各基準画像毎に計算し、これにより類似の程度を計算する。またこのようにして計算した累積値のうち、値の最も小さな系統を検出し、この系統に映像信号Ｓ１を分類する。またこのときこの最も値の小さな累積値が所定のしきい値より大きい場合、未だ映像信号Ｓ１を分類していない系統にこの映像信号Ｓ１を新規に分類する。

画像分類結果保持部３４は、順次入力される映像信号Ｓ１、各系統の基準画像、分類部３１の処理結果、これら一連の処理に係るプログラム等を記録して保持する記録装置であり、図示しない制御部の制御により、画像合成部３５を介して分類部３１の分類結果に従って映像信号Ｓ１を表示装置２２Ａ〜２２Ｃに出力する。これによりこの実施例においては、テレビジョンカメラ２Ａ〜２Ｃに係る各シーンがそれぞれ表示装置２２Ａ〜２２Ｃに表示されるようになされている。また同様の制御部の制御により、画像合成部３５を介して順次入力される映像信号Ｓ１を出力することにより、その時点で映像信号Ｓ１を振り分けていない系統については、この系統に過去に振り分けた映像信号Ｓ１による画像の中で、最新の画像による映像信号を出力し、これにより直前のシーンを静止画により表示するようになされている。

分類装置２１は、このようにして映像信号Ｓ１による１つの番組を複数の表示に振り分けて動画と静止画とにより表示するようにして、動画の動きを静止画による表示にも反映させる。このため分類装置２１は、バストショット判定部３６で現在入力されている映像信号Ｓ１が１つの被写体だけを撮影してなるものか否か判定し、この判定結果により１つの被写体だけを撮影してなる映像を分類してなる系統を検出する。この実施例においては、それぞれテレビジョンカメラ２Ａ、２Ｂ、２Ｃで、ゲスト１Ａのバストショット、ホスト１Ｂのバストショット、ゲスト１Ａ、ホスト１Ｂの双方を撮影していることにより、バストショット判定部３６は、１人の人物だけを撮影してなるテレビジョンカメラ２Ａ、２Ｂによる映像１５Ａ、１５Ｂについて、この映像１５Ａ、１５Ｂが分類された系統を検出する。

ここでこのように人物を被写体に設定して、１人の人物だけを撮影してなるシーンにおいては、図３に示すように、この人物１Ａ（１Ｂ）が画面のほぼ中央に位置するように撮影され、これによりこの画像を水平方向に３等分して形成される３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲのうち、左右の領域ＡＲＬ、ＡＲＲでは背景が表示されることになる。これによりバストショット判定部３６は、この画像の特徴を利用して図４に示す処理手順の実行により現在入力されている映像信号Ｓ１が１人の人物だけを撮影してなる映像か否か判定する。

すなわちバストショット判定部３６は、分類部３１において分類が切り換わった後、所定フレーム数だけ経過すると、この処理手順を開始し、ステップＳＰ１からステップＳＰ２に移る。ここでバストショット判定部３６は、現在入力される映像信号Ｓ１の画像より肌色の領域を抽出する。続いてバストショット判定部３６は、ステップＳＰ３に移り、この抽出した肌色の領域の形状認識により、顔に相当する形状の部位が抽出した肌色の領域に含まれているか否か判断する。またこの顔に相当する形状の部位の画素数をカウントして判定することにより、この部位の面積が所定面積以上か否か判断する。これによりこのバストショット判定部３６は、順次入力される映像信号Ｓ１による画像に人物が含まれているか否か、さらにはこの人物の画像を後述する画像合成部３５により静止画に画像合成して、動画による動きを静止画に反映させるに十分な大きさにより撮影されているか否か判断する。

この判断により否定結果が得られると、バストショット判定部３６は、ステップＳＰ３からステップＳＰ４に移り、現在入力されている映像信号Ｓ１に係るシーンについては、１人の人物だけを撮影してなる映像ではないと判定した後、すなわちこの場合はバストショットではないと判定した後、ステップＳＰ５に移ってこの処理手順を終了する。

これに対してステップＳＰ３で肯定結果が得られると、バストショット判定部３６は、ステップＳＰ３からステップＳＰ６に移り、ここでフレーム間差分を検出する。ここでバストショット判定部３６は、現在、入力されてなる画像と、過去数フレームの画像との間で、それぞれ順次対応する画素間で画素値の差分値を計算することにより、現在の入力画像に対してこれら複数フレームのフレーム間差分を検出する。なおこの実施例では、この画素値の差分値を輝度レベルにより検出する。なおこのような過去数フレームの画像との間のフレーム間差分値の計算に代えて、過去1フレームの画像との間でフレーム間差分値を計算するようにしてもよい。また、このような差分値を各色信号について求めるようにしてもよい。

続いてバストショット判定部３６は、ステップＳＰ７に移り、このようにして検出した過去数フレームとの間のフレーム間差分が全て所定のしきい値以下の画素を検出することにより、現在の入力画像に対して過去数フレームで画素値が殆ど変化していないと判断される画素を検出する。バストショット判定部３６は、続くステップＳＰ８において、このようにして検出した画素を、３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲ毎に集計する。

しかしてこのようにして画素値が過去数フレームに渡って殆ど変化していない画素にあっては、動きの無い部分の画素であることにより、このような画素が多く検出される領域にあっては、背景を写した領域であると判断することができる。これによりバストショット判定部３６は、続くステップＳＰ９において、このようにして検出した３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲの集計値の比較により、画素値が過去数フレームに渡って殆ど変化していない画素（いわゆる静止点である）の数が中央の領域ＡＲＣで最も少ないか否か判断する。

ここで否定結果が得られると、バストショット判定部３６は、ステップＳＰ９からステップＳＰ４に移り、１人の人物だけを撮影してなる映像ではないと判断した後、すなわちこの場合バストショットではないと判定した後、ステップＳＰ５に移ってこの処理手順を終了する。これに対してステップＳＰ９で肯定結果が得られると、ステップＳＰ１０に移り、１人の人物だけを撮影してなる映像であると判断した後、すなわちこの場合バストショットであると判定した後、ステップＳＰ５に移ってこの処理手順を終了する。

これらによりバストショット判定部３６は、順次入力される映像信号Ｓ１について、１人の人物だけを撮影してなる映像を検出する。

分類装置２１では、このバストショット判定部３６の検出結果に基づいて、表示装置２２Ａ、２２Ｂ、２２Ｃの系統にそれぞれテレビジョンカメラ２Ａ、２Ｂ、２Ｃの撮像結果を振り分けるようにして、図５（Ａ）に示すように、現在入力されている映像信号Ｓ１による画像がテレビジョンカメラ２Ａによりゲスト１Ａだけを撮影してなる画像の場合、この映像信号Ｓ１によるゲスト１Ａの画像を切り出して、このゲスト１Ａが表示されてなる他の静止画に画像合成する。しかしてこの場合、この他の静止画がテレビジョンカメラ２Ｃによる映像を表示する表示装置２２Ｃの系統に割り当てられていることにより、分類装置２１は、この静止画にゲスト１Ａの画像を画像合成する。これによりこの場合、表示装置２２Ａに表示する動画の動きを、表示装置２２Ｃによる静止画の表示に反映させる。

また図５（Ｂ）に示すように、現在入力されている映像信号Ｓ１による画像がテレビジョンカメラ２Ｂによりホスト１Ｂだけを撮影してなる画像の場合、同様に、この映像信号Ｓ１によるホスト１Ｂの画像を切り出して、このホスト１Ｂが表示されてなる他の静止画に画像合成する。しかしてこの場合も、この他の静止画がテレビジョンカメラ２Ｃによる映像を表示する表示装置２２Ｃの系統に割り当てられていることにより、分類装置２１は、この静止画にホスト１Ｂの画像を画像合成する。これによりこの場合、表示装置２２Ｂに表示する動画の動きを、表示装置２２Ｃによる静止画の表示に反映させる。

また図５（Ｃ）に示すように、現在入力されている映像信号Ｓ１による画像がテレビジョンカメラ２Ｃによりゲスト１Ａ、ホスト１Ｂの双方を撮影してなる画像の場合、それぞれゲスト１Ａ、ホスト１Ｂの画像を切り出して、それぞれゲスト１Ａ、ホスト１Ｂが表示されてなる他の静止画に画像合成する。しかしてこの場合、この他の静止画がテレビジョンカメラ２Ａ、２Ｂによる映像をそれぞれ表示する表示装置２２Ａ、２２Ｂの系統に割り当てられていることにより、分類装置２１は、表示装置２２Ａ、２２Ｂに係る静止画にそれぞれゲスト１Ａ、ホスト１Ｂの画像を画像合成する。これによりこの場合、表示装置２２Ｃに表示する動画の動きを、表示装置２２Ａ、２２Ｂによる静止画の表示に反映させる。

このため分類装置２１は、バストショット判定部３６による判定結果に基づいて、順次入力される映像信号Ｓ１の所定フレーム毎に、合成位置検出部３７により図６の処理手順を実行して動画と静止画とで同一の被写体を撮影した箇所を検出し、これにより画像合成の位置を検出する。

さらにこの実施例においては、バストショット判定部３６で１人の人物だけを撮影してなるシーンと判定された画像と、１人の人物だけを撮影してなるシーンではないと判定された画像との間で、この図６に示す処理手順を実行し、これにより処理の負担を軽減する。これらにより合成位置検出部３７は、図５（Ａ）について上述したように、表示装置２２Ａに映像信号Ｓ１による動画を表示し、表示装置２２Ｂ、２２Ｃに静止画を表示している場合、表示装置２２Ａに係る動画と表示装置２２Ｃに係る静止画との間で図６の処理手順を実行するのに対し、図５（Ｂ）について上述したように、表示装置２２Ｂに映像信号Ｓ１による動画を表示し、表示装置２２Ａ、２２Ｃに静止画を表示している場合、表示装置２２Ｂに係る動画と表示装置２２Ｃに係る静止画との間で図６の処理手順を実行する。これに対して図５（Ｃ）について上述したように、表示装置２２Ｃに映像信号Ｓ１による動画を表示し、表示装置２２Ａ、２２Ｂに静止画を表示している場合、表示装置２２Ｃに係る動画と表示装置２２Ａに係る静止画との間、表示装置２２Ｃに係る動画と表示装置２２Ｂに係る静止画との間でそれぞれ図６の処理手順を実行する。

この処理において、合成位置検出部３７は、色の特徴量により画像合成の位置を検出する。すなわち図７に示すように、例えばゲスト１Ａのバストショットによる表示装置２２Ａに表示する画像と、表示装置２２Ｃに表示するゲスト１Ａ、ホスト１Ｂの双方を撮影してなる画像との間において、ゲスト１Ａの領域ＡＲ１、ＡＲ２にあっては、これら双方の画像において、同じ人物、同じ背景が撮影されていることにより、色の特徴量が極めて類似していることになる。これに対してこのような色の特徴量が類似していない領域間にあっては、相関が低い場合であり、例えばゲスト１Ａのバストショットに係るゲスト１Ａの領域ＡＲ１と、ゲスト１Ａ、ホスト１Ｂの双方を撮影してなる画像におけるホスト１Ｂの領域とを比較している場合、さらにはゲスト１Ａの領域ＡＲ１と、表示装置２２Ｃにおける背景だけの領域とを比較している場合等に、このような相関の低い場合が発生する。またゲスト１Ａの領域ＡＲ１、ＡＲ２にあっても、大きく異なる方向より撮影している場合には、相関が低くなり、このような場合には、画像合成しても違和感のある画像が生成されると考えられる。これらにより合成位置検出部３７は、色の特徴量により画像合成の位置を検出することにより、簡易かつ確実に画像合成の位置を検出するようになされている。なお以下において、適宜、１人の人物だけを撮影してなる画像をアップ画像と呼び、それ以外の画像を二者画像と呼ぶ。

すなわち合成位置検出部３７は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、画像分類結果保持部３４より処理対象であるアップ画像と二者画像とをロードする。続いて合成位置検出部３７は、図８に示すように、アップ画像と二者画像とにそれぞれ矩形の形状による位置検出用の領域ＡＲ３、比較用の領域ＡＲ４を設定し、これらの領域ＡＲ３、ＡＲ４間で、類似の程度を示す評価値を計算する。ここでこれら領域ＡＲ３、ＡＲ４にあっては、ほぼ同一の領域を撮像してなる大きさに設定される。この実施例では、経験的にほぼ同一の領域を撮像してなる大きさに、これら領域ＡＲ３、ＡＲ４の大きさが設定される。これによりこれら領域ＡＲ３、ＡＲ４は、相似形状により形成され、アップ画像の領域ＡＲ３に比して二者画像の領域ＡＲ４が小型形状により形成される。なお領域ＡＲ４においては、大きさの異なる複数種類を設定するようにしてもよく、この場合には、続く評価値の検出、判定が、これら複数種類の領域毎に実行される。また領域ＡＲ３、ＡＲ４にあっては、例えば図４のステップＳＰ３で検出した顔に相当する形状の面積に基づいて、大きさを設定するようにしてもよい。

合成位置検出部３７は、アップ画像の領域ＡＲ３にあっては、ほぼこのアップ画像の中央に設定するのに対し、二者画像の領域ＡＲ４にあっては、例えば二者画像の走査開始端側に偏らせて配置する。合成位置検出部３７は、アップ画像と二者画像とについて、それぞれ領域ＡＲ３、ＡＲ４における色ヒストグラムを計算し、これら領域ＡＲ３、ＡＲ４の色ヒストグラムを形成する各レベルの度数を、それぞれ領域ＡＲ３、ＡＲ４の画素数により正規化する。これにより合成位置検出部３７は、アップ画像と二者画像とにそれぞれ設定したほぼ同一の領域を撮像してなる矩形の領域ＡＲ３、ＡＲ４について、比較可能に、色の特徴量を検出する。なおこの色のヒストグラムにあっては、いわゆるＲＧＢヒストグラム又はＨＳＶヒストグラムを適用することができる。

合成位置検出部３７は、このようして正規化してなる２つの色ヒストグラム間で、対応するレベル間で度数の差分値を順次計算し、この差分値を絶対値化して累積加算する。これにより合成位置検出部３７は、これら矩形の領域ＡＲ３、ＡＲ４間における類似の程度を色特徴量により示す評価値を計算する。

このようにして評価値を計算すると、合成位置検出部３７は、ステップＳＰ２４に移り、領域ＡＲ４を設定可能な全ての位置について、評価値を計算したか否か判断し、ここで否定結果が得られると、ステップＳＰ２４からステップＳＰ２５に移り、図８において矢印により示すように、ラスタ走査方向に領域ＡＲ４の設定位置を移動させた後、ステップＳＰ２３に戻り、この移動させた位置で、改めて評価値を計算する。これにより合成位置検出部３７は、この矩形の領域ＡＲ４を順次ラスタ走査方向に移動させながら、各移動位置毎に、評価値を計算し、移動可能な全ての位置で評価値を計算すると、ステップＳＰ２４で肯定結果が得られることにより、ステップＳＰ２４からステップＳＰ２６に移る。

ここで合成位置検出部３７は、このようにして求めた評価値より値の最も小さな評価値を検出する。また続くステップＳＰ２７において、この値の最も小さな評価値が所定のしきい値以下か否か判断することにより、この評価値による類似の程度が同一の被写体を撮影していると判断できる程度に十分に大きいか否か判断する。ここで否定結果が得られると、合成位置検出部３７は、ステップＳＰ２７からステップＳＰ２８に移り、この処理手順を終了する。これに対してステップＳＰ２７で肯定結果が得られると、合成位置検出部３７は、ステップＳＰ２７からステップＳＰ２９に移り、ステップＳＰ２６で検出した評価値が最小となる領域ＡＲ４の位置を、画像合成位置に設定した後、ステップＳＰ２８に移ってこの処理手順を終了する。

なお合成位置検出部３７は、二者画像側に大きさの異なる複数種類の領域ＡＲ４を設定した場合、これら複数種類の領域ＡＲ４を移動可能な範囲でそれぞれ移動させて検出される全ての評価値について、値の最も小さな評価値を検出し、この評価値をステップＳＰ２７により判定するようになされ、この値の最も小さな評価値が検出されてなる領域の大きさを併せて検出するようになされている。しかしてこの実施例では、このようにアップ画像と二者画像とそれぞれ設定した領域ＡＲ３、ＡＲ４で画像合成するようになされており、これにより二者画像側に大きさの異なる複数種類の領域ＡＲ４を設定した場合、合成位置検出部３７は、単に画像合成の位置を検出するだけでなく、画像合成に供するアップ画像側の領域ＡＲ３に対して対応する二者画像側の領域の大きさをも検出するようになされている。これらにより合成位置検出部３７は、この場合、画像合成に供するアップ画像側の領域ＡＲ３に対して、二者画像側の対応する領域ＡＲ４の大きさを検出する処理により、画像合成における倍率をも間接的に検出するようになされている。

分類装置２１において、画像合成部３５は、このようにして合成位置検出部３７で検出された画像合成位置により静止画に係る映像信号を画像合成して出力する。すなわち画像合成部３５は、図５（Ａ）及び（Ｂ）に示すように、アップ画像、二者画像がそれぞれ動画、静止画の場合であって、これらアップ画像、二者画像において合成位置検出部３７で合成位置が検出された場合、アップ画像に設定した領域ＡＲ３によりアップ画像を切り出し、この切り出した領域の画素値の補間演算処理によりこの切り出した領域ＡＲ３を領域ＡＲ４の大きさに縮小する。また合成位置検出部３７で検出された合成位置にこの大きさを縮小してなる画像を嵌め込むように、静止画による映像信号を画像合成する。画像合成部３５は、アップ画像に係る動画のフィールド毎に、この処理を実行し、これにより動画の動きを対応する静止画の表示に反映させる。

またこれとは逆に、アップ画像、二者画像がそれぞれ静止画、動画の場合であって、これらアップ画像、二者画像において合成位置検出部３７で合成位置が検出された場合、合成位置検出部３７で検出された合成位置により二者画像に領域ＡＲ４を設定し、この領域ＡＲ４により二者画像を切り出す。またこの切り出した領域の画素値の補間演算処理によりこの切り出した領域ＡＲ４をそれぞれ領域ＡＲ３の大きさに拡大する。またこの拡大した領域をアップ画像の領域ＡＲ３に嵌め込むように、静止画による映像信号を画像合成する。画像合成部３５は、二者画像に係る動画のフィールド毎に、この処理を実行し、これにより動画の動きを対応する静止画の表示に反映させる。なおこのように縮小、拡大した領域を領域ＡＲ３、ＡＲ４に嵌め込む処理においては、単にキーイングにより実行する場合、さらには境界を間に挟んで徐々に重み付け係数を変化させて内挿処理により実行する場合等、種々の手法を適用することができる。

これらによりこの実施例において、分類装置２１は、図９に示す機能ブロックにより構成されるようになされている。すなわち分類装置２１において、画像分類手段４１は、映像信号Ｓ１による動画を複数系統に分類し、この分類結果により映像信号Ｓ１による動画を複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる映像信号Ｓ１による静止画を割り当てるようになされている。また画像処理手段４２は、この映像信号Ｓ１に係る動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出するようになされ、画像合成手段４３は、画像処理手段４２による検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成するようになされている。

また画像処理手段４２において、画像検出手段４５は、このような複数系統より、１つの被写体を撮影した画像の系統を検出し、位置検出手段４６は、この画像検出手段４５による検出結果に基づいて、同一の被写体を撮影した箇所を検出するようになされ、さらにこの位置検出手段４６において、位置検出用領域の分布検出手段４７は、画像検出手段４５による検出結果に基づいて、１つの被写体を撮影した画像に、１つの被写体を含む位置検出用の領域を設定し、この位置検出用の領域における画素値の分布を検出し、比較用領域の分布検出手段４８は、１つの被写体を撮影した画像の系統とは異なる系統の画像に位置検出用の領域に対応する比較用の領域を設定し、この異なる系統の画像上で比較用の領域の位置を順次移動させて比較用の領域における画素値の分布を検出し、比較用領域の位置検出手段４９は、位置検出用の領域における画素値の分布と、比較用の領域における画素値の分布との比較により、画素値の分布が最も似通ってなる比較用の領域の位置を検出し、該検出した比較用の領域の位置により、同一の被写体を撮影した箇所を検出するようになされている。

またこのような構成において、位置検出用の領域に係る分布検出手段４７、比較用の領域に係る分布検出手段４８は、色のヒストグラムにより画素値の分布を検出するようになされ、また比較用の領域に係る位置検出手段４９は、これらの色のヒストグラムによる画素値の分布を領域間における画素値の相違により補正した後、比較するようになされている。またこのような比較の際に、各レベル毎の差分値を絶対値化して累積することにより評価値を検出し、この評価値の比較により、画素値の分布が最も似通ってなる比較用の領域の位置を検出するようになされている。

（２）実施例の動作
以上の構成において、この放送システム１１では（図２）、放送局１２のテレビジョンカメラ２Ａ、２Ｂ、２Ｃでゲスト１Ａ、ホスト１Ｂ、ゲスト１Ａ及びホスト１Ｂの双方をそれぞれ撮影してなる映像がスイッチイングされて放送に供する１つの映像が生成され、この映像による映像信号Ｓ１が送信設備１７により送信されて受信側１９で受信される。この受信側１９において、この放送に係る映像信号Ｓ１は、分類装置２１の分類部３１により表示装置２２Ａ〜２２Ｃ（図３）に係る複数の系統に分類され、これら分類された映像信号Ｓ１がそれぞれ表示装置２２Ａ〜２２Ｃにより表示される。またこのようにして映像信号Ｓ１を振り分けて表示して、映像信号Ｓ１が振り分けられていない期間にあっては、それぞれ映像信号Ｓ１を振り分けた最後の画像が静止画により表示される。

これによりこの放送システム１１に係る受信側１９においては、これら表示装置２２Ａ〜２２Ｃを視聴者の正面に配置して、各表示装置２２Ａ〜２２Ｃにそれぞれゲスト１Ａ、ホスト１Ｂ、ゲスト１Ａ及びホスト１Ｂの双方の映像が表示され、あたかも目の前でゲスト１Ａとホスト１Ｂとが対談しているかのような臨場感を視聴者に提供することができるようになされている。これにより受信側１９においては、複数系統に振り分けて動画と静止画とにより１つの番組を表示するようにして、従来に比して臨場感を向上することができるようになされている。

このようにして複数系統に振り分けて動画と静止画とにより１つの番組を表示するようにして、分類装置２１では（図１）、バストショット判定部３６及び合成位置検出部３７により、これらの動画と静止画とが比較され、これにより動画と静止画とで同一の被写体を撮影した箇所が検出され、この検出結果により画像合成部３５で、この同一の被写体を撮影した箇所が動画より切り出されて静止画に嵌め込まれる。これにより動画と同一の被写体については、この動画の被写体が静止画の対応する被写体に置き換えられて表示され、これにより動画による動きが静止画の表示に反映される。これによりこの実施例では、動画により表示する被写体にあっては、静止画による表示においても、この動画と同一の動きのある画像により表示することができ、より現実の事象に合致するように静止画を表示して、複数台の表示装置で画像表示することができ、これにより一段とユーザーの臨場感を向上することができる。

しかして分類装置２１においては、順次入力される映像信号Ｓ１が分類部３１により表示装置２２Ａ〜２２Ｃに対応する複数系統に分類され、またこの映像信号Ｓ１による画像がバストショット判定部３６に入力され、ここで１つの被写体を撮影した画像であるか否か判定され、この判定結果と分類部３１による分類とにより、表示装置２２Ａ〜２２Ｃに分類された何れの系統が１つの被写体を撮影した画像によるものかが検出される。

この実施例では、この１つの被写体が人物に設定され、人物にあっては縦長の画像であって、かつ殆どが画面の中央で撮影されることにより、バストショット判定部３６において、映像信号Ｓ１による画像が水平方向に３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲに等分割され（図３）、これら３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲにおいて画素値に変化の無い画素数がそれぞれ計測され、さらにこれら画素数の比較により、１つの被写体を撮影した画像であるか否か判定される（図４）。

また合成位置検出部３７において（図８）、このような１つの被写体を撮影した画像に対しては、ほぼこの画像全体を含むように位置検出用の領域ＡＲ３が設定され、このような１つの被写体を撮影した画像では無い画像については、位置検出用の領域ＡＲ３より大きさの小さな相似形状による比較用の領域ＡＲ４が設定され、表示装置２２Ａ〜２２Ｃに提供する動画と静止画との間における比較により、この１つの被写体を撮影した箇所が検出される。すなわち合成位置検出部３７において、位置検出用の領域ＡＲ１における画素値の分布が検出される。また比較用の領域ＡＲ４にあっては、順次位置が移動されて、各位置毎に画素値の分布が検出され、位置検出用の領域ＡＲ３における画素値の分布と、各位置における比較用の領域ＡＲ４における画素値の分布との比較により、画素値の分布が位置検出用の領域ＡＲ３に最も似通ってなる比較用の領域ＡＲ４の位置が検出される。

すなわち一人の人物を撮影した画像と、この人物を他の人物と共に撮影した画像とにおいて（図７）、この一人の人物に係る領域ＡＲ１、ＡＲ２では、同じ前景と背景が含まれていることになり、これら２つの領域ＡＲ１、ＡＲ２間に高い相関が検出される。これによりこの実施例においては、画像の特徴を有効に利用して画像合成の位置を検出するようになされ、その分、人物に係る被写体について、簡易かつ確実に画像合成して動画の動きを静止画に反映させることができるようになされている。

これによりこの実施例では、１つの被写体を撮影した画像の系統を検出して、他の系統より同一の被写体を撮影した箇所を検出するようにして、それぞれ位置検出用の領域と比較用の領域を設定し、この位置検出用の領域における画素値の分布と、順次比較用の領域の位置を移動させて検出される画素値の分布との比較により、画素値の分布が最も似通ってなる比較用の領域の位置を検出し、この検出した比較用の領域の位置により、同一の被写体を撮影した箇所を検出することにより、画像の特徴を有効に利用して簡易かつ確実に同一の被写体を撮影している箇所を動画より切り出して静止画に嵌め込むことができるようになされている。

すなわち１つの被写体を撮影した画像の系統を検出して、他の系統より同一の被写体を撮影した箇所を検出するようにして、それぞれ位置検出用の領域と比較用の領域を設定し、この位置検出用の領域における画素値の分布と、順次比較用の領域の位置を移動させて検出される画素値の分布との比較により、画素値の分布が最も似通ってなる比較用の領域の位置を検出し、この検出した比較用の領域の位置により、同一の被写体を撮影した箇所を検出することにより、画像の特徴を有効に利用して簡易かつ確実に同一の被写体を撮影している箇所を動画より切り出して静止画に嵌め込むことができる。

より具体的に、この実施例では、このような画素値の分布の比較が、色のヒストグラムにより画素値の分布を検出して実行される。しかしてこのような色のヒストグラムにあっては、異なるテレビジョンカメラで同一の被写体を撮影した場合に、極めて似通った分布をこのような２つの領域ＡＲ１、ＡＲ２間で検出することができる。これによりこの実施例では、簡易かつ確実に、画像合成の位置を検出することができ、一段と確実に同一の被写体を撮影している箇所を動画より切り出して静止画に嵌め込むことができるようになされている。

またこのようにして色のヒストグラムにより画素値の分布を検出するようにして、これら領域ＡＲ３、ＡＲ４にそれぞれ含まれる画素数により各ヒストグラムのレベルをそれぞれ正規化することにより、これら領域ＡＲ３、ＡＲ４にそれぞれ含まれる画素数の相違により各領域ＡＲ３、ＡＲ４における色のヒストグラムを補正し、その後、これら領域ＡＲ３、ＡＲ４における画素値の分布を比較することにより、領域ＡＲ３、ＡＲ４の面積が大きく異なる場合にあっても、確実に、同一の被写体を撮影した箇所を検出して画像合成することができる。すなわちこの場合、位置検出用の領域及び比較用の領域を異なる大きさにより設定した場合における画像合成位置の誤検出を有効に回避することができる。

合成位置検出部３７において、このように正規化してなる色のヒストグラムについて、各レベル毎の差分値を絶対値化して累積することにより、比較用の領域の各位置における評価値を検出し、この各位置における評価値の比較により、画素値の分布が最も似通ってなる比較用の領域の位置が検出される。これにより簡易かつ確実に画像合成の位置を検出することができるようになされている。

またこの画素値の分布が最も似通ってなる比較用の領域における評価値を、所定のしきい値により大小判定し、該判定結果に基づいて、画素値の分布が最も似通ってなる比較用の領域の位置が、同一の被写体を撮影した箇所に設定され、評価値がしきい値より大きく、似通ってなる程度が小さいと判断される場合には、このように画素値の分布が最も似通ってなる比較用の領域の位置であっても、同一の被写体を撮影した箇所とが判定されないで、画像合成位置には適用されないようになされる。これによりこの実施例では、誤って、例えば静止画によるゲスト１Ａの表示に、ホスト１Ｂの画像を嵌め込むような処理が有効に回避される。

しかしてこの分類装置１１では、このようにして検出された位置と、領域ＡＲ３、ＡＲ４に基づいて、動画により画像が切り出された後、拡大、縮小されて静止画に嵌め込まれ（図５）、これにより動画の動きが静止画に反映される。

（３）実施例の効果
以上の構成によれば、複数系統に振り分けて動画と静止画とにより番組を表示する場合に、同一の被写体を撮影している箇所を動画より切り出して静止画に嵌め込むことにより、動画の動きを静止画の表示にも反映させて、一段と臨場感を向上することができる。

この実施例においては、各表示装置に分類装置をそれぞれ設け、これら複数の分類装置により実施例１について上述した分類装置２１の機能を分担する。これにより図９との対比により図１０に示すように、この実施例において、各分類装置５１Ａ〜５１Ｂは、映像信号Ｓ１を分類して担当の系統に係る表示部２２Ａ〜２２Ｃをそれぞれ駆動し、この担当の系統と映像信号Ｓ１との比較により上述した実施例１に係る分類装置２１の機能を分担するようになされている。なお分類装置５１Ａ〜５１Ｂは、このように担当の系統に係る処理が異なる点を除いて、同一に構成されることにより、以下においては、分類装置５１Ａについて詳述する。

すなわち分類装置５１Ａにおいては、プリインストール、ダウンロード、各種記録媒体等により提供される処理プログラムを演算処理手段で実行することにより、各機能ブロックが構成され、この機能ブロックによる画像分類手段５２は、映像信号Ｓ１を表示装置２２Ａ〜２２Ｃに係る複数系統に分類し、この分類結果により、映像信号Ｓ１が担当の系統に分類されたものである場合、映像信号Ｓ１による動画を担当の系統に割り当て、映像信号Ｓ１が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる映像信号Ｓ１による静止画を担当の系統に割り当て、画像処理手段５３は、静止画を担当の系統に割り当てている場合、映像信号Ｓ１による動画と静止画との比較により、動画と静止画とで同一の被写体を撮影した箇所を検出し、画像合成手段５４は、静止画を担当の系統に割り当てている場合、画像処理手段５３による検出結果に基づいて、動画と静止画とを画像合成して、同一の被写体を撮影した箇所を、動画より切り出して静止画に嵌め込んでなる画像を生成する。

またこの画像処理手段５３において、画像検出手段５５は、静止画及び動画より、１つの被写体を撮影した画像を検出し、位置検出手段５６は、この画像検出手段５５による検出結果に基づいて、同一の被写体を撮影した箇所を検出する。またこの位置検出手段５６において、位置検出用領域に係る分布検出手段５７は、画像検出手段５５による検出結果に基づいて、静止画及び動画のうちで同一の被写体を撮影した画像に、この同一の被写体を含む位置検出用の領域を設定し、この位置検出用の領域における画素値の分布を検出し、比較用領域に係る分布検出手段５８は、静止画及び動画のうちの残る画像に、位置検出用の領域に対応する比較用の領域を設定し、この残る画像上で比較用の領域の位置を順次移動させて比較用の領域における画素値の分布を検出し、比較用領域の位置検出手段５９は、位置検出用領域における画素値の分布と、比較用領域における画素値の分布との比較により、画素値の分布が最も似通ってなる比較用領域の位置を検出し、該検出した比較用領域の位置により、同一の被写体を撮影した箇所を検出する。

またこれらの位置検出用領域に係る分布検出手段５７、比較用領域に係る分布検出手段５８は、色のヒストグラムにより画素値の分布を検出し、比較用領域の位置検出手段５９は、これら位置検出用の領域による色のヒストグラム、及び又は比較用の領域による色のヒストグラムを、位置検出用領域及び比較用領域における画素値の相違により補正した後、各レベル毎の差分値を絶対値化して累積することにより、比較用の領域の各位置における評価値を検出し、この各位置における評価値の比較により、画素値の分布が最も似通ってなる比較用の領域の位置を検出するようになされている。なお、このように各分類装置へのそれぞれの映像信号の入力に代えて、1台の分類装置に映像信号を入力するようにして、各分類装置間のデータ通信によりこれら一連の処理を実行するようにしてもよい。

この実施例のように、各表示装置の系統で処理を分担するようにしても、実施例１と同様の効果を得ることができる。

なお上述の実施例においては、色のヒストグラムにより画素値の分布を検出する場合について述べたが、本発明はこれに限らず、実用上十分な精度を確保できる場合には、例えば輝度レベルのヒストグラムにより画素値の分布を検出するようにしてもよい。

また上述の実施例においては、位置検出用の領域及び比較用の領域の双方について、正規化により画素値の相違を補正する場合について述べたが、本発明はこれに限らず、何れか一方についてのみ画素値の相違を補正するようにしてもよい。

また上述の実施例においては、評価値検出用の領域と比較用の領域とで画素値の分布を画素数の相違により補正する場合について述べたが、本発明はこれに限らず、評価値検出用の領域と比較用の領域との大きさが大きく異ならない場合等にあって、実用上十分な精度を確保できる場合には、この補正の処理を省略するようにしてもよい。

また上述の実施例においては、水平方向に画像を３つに等分割して領域を設定し、複数フレームにおいて画素値が殆ど変化していない画素数を各領域で検出、比較することにより、１つの被写体を撮影してなる箇所を検出する場合について述べたが、本発明はこれに限らず、１つの被写体を撮影してなる箇所の検出にあっては、例えば形状認識等の手法を適用する場合等、種々の手法を広く適用することができる。

また上述の実施例においては、各表示画像の系統に１つの番組を振り分けて表示する場合について述べたが、本発明はこれに限らず、例えば１台の表示装置の表示画面を複数の領域に分割し、これらの各領域に対応する系統に１つの番組を振り分けて表示する場合等、表示の形態においては、種々の形態を広く適用することができる。

本発明は、例えば対談等のテレビジョン番組の視聴に適用することができる。

本発明の実施例１に係る分類装置の構成を示すブロック図である。 本発明の実施例１に係る放送システムを示すブロック図である。 図１の分類装置におけるバストショット判定部の動作に供する略線図である。 図１の分類装置におけるバストショット判定部の処理手順を示すフローチャートである。 図１の分類装置における画像合成部の動作に供する略線図である。 図１の分類装置における合成位置検出部の処理手順を示すフローチャートである。 図６の合成位置検出部の動作に供する略線図である。 図６の合成位置検出部により領域設定の説明に供する略線図である。 図１の分類装置の機能ブロック図である。 実施例２に係る分類装置の機能ブロック図である。 番組撮影の１場面を示す略線図である。 図１０の構成により番組の構成を示す略線図である。 背景の相違による映像の分類の説明図に供する略線図である。 図１２の番組の表示に供する略線図である。

符号の説明

１Ａ、１Ｂ……人物、２Ａ〜２Ｃ……テレビジョンカメラ、３Ａ〜３Ｃ、２２Ａ〜２２Ｃ……表示装置、２０……受信部、２１、５１Ａ〜５１Ｃ……分類装置、３１……分類部、３６……バストショット判定部、３７……合成位置検出部、３５……画像合成部

Claims (18)

1. 映像信号による動画を複数系統に分類して表示する映像表示装置であって、
   前記映像信号を前記複数系統に分類し、該分類結果により前記映像信号による動画を前記複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる前記映像信号による静止画を割り当てる画像分類手段と、
   前記動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理手段と、
   前記画像処理手段による検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成手段と
   を備える、映像表示装置。
2. 前記画像処理手段は、
   前記複数系統より、画像内にある所定の被写体を含む画像の系統を検出する画像検出手段と、
   前記画像検出手段による検出結果に基づいて、前記同一の被写体を撮影した箇所を検出する位置検出手段とを備え、
   前記位置検出手段は、
   前記画像検出手段による検出結果に基づいて、前記画像内にある所定の被写体を含む画像に、前記所定の被写体を含む位置検出用の領域を設定し、前記位置検出用の領域における画素値の分布を検出する位置検出用の領域に係る分布検出手段と、
   前記画像内にある所定の被写体を含む画像の系統とは異なる系統の画像に前記位置検出用の領域に対応する比較用の領域を設定し、前記異なる系統の画像上で前記比較用の領域の位置を順次移動させて前記比較用の領域における画素値の分布を検出する比較用の領域に係る分布検出手段と、
   前記位置検出用の領域における画素値の分布と、前記比較用の領域における画素値の分布との比較により、前記画素値の分布が最も似通ってなる前記比較用の領域の位置を検出し、該検出した比較用の領域の位置により、前記同一の被写体を撮影した箇所を検出する比較用の領域の位置検出手段とを有する
   請求項１に記載の映像表示装置。
3. 前記位置検出用の領域に係る分布検出手段は、
   色のヒストグラムにより前記画素値の分布を検出し、
   前記比較用の領域に係る分布検出手段は、
   色のヒストグラムにより前記画素値の分布を検出する
   請求項２に記載の映像表示装置。
4. 前記比較用の領域の位置検出手段は、
   前記位置検出用の領域による前記色のヒストグラム、及び又は前記比較用の領域による前記色のヒストグラムを、前記位置検出用の領域及び前記比較用の領域における画素数の相違により補正した後、比較する
   請求項３に記載の映像表示装置。
5. 前記比較用の領域の位置検出手段は、
   前記位置検出用の領域による前記色のヒストグラム、及び又は前記比較用の領域による前記色のヒストグラムを、前記位置検出用の領域及び前記比較用の領域における画素数の相違により補正した後、各レベル毎の差分値を絶対値化して累積することにより、前記比較用の領域の各位置における評価値を検出し、
   前記各位置における評価値の比較により、前記画素値の分布が最も似通ってなる前記比較用の領域の位置を検出する
   請求項３に記載の映像表示装置。
6. 前記比較用の領域の位置検出手段は、
   前記画素値の分布が最も似通ってなる前記比較用の領域における前記評価値を、所定のしきい値により大小判定し、該判定結果に基づいて、前記画素値の分布が最も似通ってなる前記比較用の領域の位置を、前記同一の被写体を撮影した箇所に設定する
   請求項５に記載の映像表示装置。
7. 映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、前記各系統に設けられる映像表示装置であって、
   前記映像信号を前記複数系統に分類し、該分類結果により、前記映像信号が担当の系統に分類されたものである場合、前記映像信号による動画を担当の系統に割り当て、前記映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる前記映像信号による静止画を前記担当の系統に割り当てる画像分類手段と、
   前記静止画を担当の系統に割り当てている場合、前記映像信号による動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理手段と、
   前記静止画を担当の系統に割り当てている場合、前記画像処理手段による検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成手段と
   を備える、映像表示装置。
8. 前記画像処理手段は、
   前記静止画及び前記動画より、画像内にある所定の被写体を含む画像を検出する画像検出手段と、
   前記画像検出手段による検出結果に基づいて、前記同一の被写体を撮影した箇所を検出する位置検出手段とを備え、
   前記位置検出手段は、
   前記画像検出手段による検出結果に基づいて、前記静止画及び前記動画のうちで前記画像内にある所定の被写体を含む画像に、前記所定の被写体を含む位置検出用の領域を設定し、前記位置検出用の領域における画素値の分布を検出する位置検出用の領域に係る分布検出手段と、
   前記静止画及び前記動画のうちの残る画像に、前記位置検出用の領域に対応する比較用の領域を設定し、該残る画像上で前記比較用の領域の位置を順次移動させて前記比較用の領域における画素値の分布を検出する比較用の領域に係る分布検出手段と、
   前記位置検出用の領域における画素値の分布と、前記比較用の領域における画素値の分布との比較により、前記画素値の分布が最も似通ってなる前記比較用の領域の位置を検出し、該検出した比較用の領域の位置により、前記同一の被写体を撮影した箇所を検出する比較用の領域の位置検出手段とを有する
   請求項７に記載の映像表示装置。
9. 前記位置検出用の領域に係る分布検出手段は、
   色のヒストグラムにより前記画素値の分布を検出し、
   前記比較用の領域に係る分布検出手段は、
   色のヒストグラムにより前記画素値の分布を検出する
   請求項８に記載の映像表示装置。
10. 前記比較用の領域の位置検出手段は、
    前記位置検出用の領域による前記色のヒストグラム、及び又は前記比較用の領域による前記色のヒストグラムを、前記位置検出用の領域及び前記比較用の領域における画素数の相違により補正した後、比較する
    請求項９に記載の映像表示装置。
11. 前記比較用の領域の位置検出手段は、
    前記位置検出用の領域による前記色のヒストグラム、及び又は前記比較用の領域による前記色のヒストグラムを、前記位置検出用の領域及び前記比較用の領域における画素数の相違により補正した後、各レベル毎の差分値を絶対値化して累積することにより、前記比較用の領域の各位置における評価値を検出し、
    前記各位置における評価値の比較により、前記画素値の分布が最も似通ってなる前記比較用の領域の位置を検出する
    請求項９に記載の映像表示装置。
12. 前記比較用の領域の位置検出手段は、
    前記画素値の分布が最も似通ってなる前記比較用の領域における前記評価値を、所定のしきい値により大小判定し、該判定結果に基づいて、前記画素値の分布が最も似通ってなる前記比較用の領域の位置を、前記同一の被写体を撮影した箇所に設定する
    請求項１１に記載の映像表示装置。
13. 映像信号による動画を複数系統に分類して表示する映像表示方法であって、
    前記映像信号を分類し、該分類結果により前記映像信号による動画を前記複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる前記映像信号による静止画を割り当てる画像分類のステップと、
    前記動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、
    前記画像処理のステップによる検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成のステップと
    を有する、映像表示方法。
14. 映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、前記各系統の映像表示方法であって、
    前記映像信号を前記複数系統に分類し、該分類結果により、前記映像信号が担当の系統に分類されたものである場合、前記映像信号による動画を担当の系統に割り当て、前記映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる前記映像信号による静止画を前記担当の系統に割り当てる画像分類のステップと、
    前記静止画を担当の系統に割り当てている場合、前記映像信号による動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、
    前記静止画を担当の系統に割り当てている場合、前記画像処理のステップによる検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成のステップとを有する
    映像表示方法。
15. 演算処理手段に所定の処理手順を実行させることにより、映像信号による動画を複数系統に分類して表示する映像表示方法のプログラムであって、
    前記処理手順が、
    前記映像信号を分類し、該分類結果により前記映像信号による動画を前記複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる前記映像信号による静止画を割り当てる画像分類のステップと、
    前記動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、
    前記画像処理のステップによる検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成のステップとを有する
    映像表示方法のプログラム。
16. 映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、前記各系統に係る演算処理手段に所定の処理手順を実行させる映像表示方法のプログラムであって、
    前記処理手順が、
    前記映像信号を前記複数系統に分類し、該分類結果により、前記映像信号が担当の系統に分類されたものである場合、前記映像信号による動画を担当の系統に割り当て、前記映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる前記映像信号による静止画を前記担当の系統に割り当てる画像分類のステップと、
    前記静止画を担当の系統に割り当てている場合、前記映像信号による動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、
    前記静止画を担当の系統に割り当てている場合、前記画像処理のステップによる検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成のステップとを有する
    映像表示方法のプログラム。
17. 演算処理手段に所定の処理手順を実行させることにより、映像信号による動画を複数系統に分類して表示する映像表示方法のプログラムを記録した記録媒体であって、
    前記処理手順が、
    前記映像信号を分類し、該分類結果により前記映像信号による動画を前記複数系統の１つの系統に割り当て、他の系統には、各系統にそれぞれ直前に割り当ててなる前記映像信号による静止画を割り当てる画像分類のステップと、
    前記動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、
    前記画像処理のステップによる検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成のステップとを有する
    映像表示方法のプログラムを記録した記録媒体。
18. 映像信号による動画を複数系統に分類して表示する映像表示システムに適用されて、前記各系統に係る演算処理手段に所定の処理手順を実行させる映像表示方法のプログラムを記録した記録媒体であって、
    前記処理手順が、
    前記映像信号を前記複数系統に分類し、該分類結果により、前記映像信号が担当の系統に分類されたものである場合、前記映像信号による動画を担当の系統に割り当て、前記映像信号が担当の系統に分類されたものでない場合、担当の系統に直前に割り当ててなる前記映像信号による静止画を前記担当の系統に割り当てる画像分類のステップと、
    前記静止画を担当の系統に割り当てている場合、前記映像信号による動画と前記静止画との比較により、前記動画と前記静止画とで同一の被写体を撮影した箇所を検出する画像処理のステップと、
    前記静止画を担当の系統に割り当てている場合、前記画像処理のステップによる検出結果に基づいて、前記動画と前記静止画とを画像合成して、前記同一の被写体を撮影した箇所を、前記動画より切り出して前記静止画に嵌め込んでなる画像を生成する画像合成のステップとを有する
    映像表示方法のプログラムを記録した記録媒体。
    

Images